kafka调优 调优目标吞吐量,也就是 TPS,是指 Broker 端进程或 Client 端应用程序每秒能处理的字节数或消息数。 延时,表示从 Producer 端发送消息到 Broker 端持久化完成之间的时间间隔。 优化操作系统调优1、最好在挂载(M 2021-03-30 kafka kafka
kafka授权 授权,一般是指对与信息安全或计算机安全相关的资源授予访问权限,特别是存取控制。 Kafka用的是 ACL 模型,规定了什么用户对什么资源有什么样的访问权限。 kafka-acls 脚本# Alice 增加了集群级别的所有权限 $ kafka 2021-03-29 kafka kafka
kafka认证 认证要解决的是你要证明你是谁的问题,授权要解决的则是你能做什么的问题。 Kafka 认证机制基于 SSL 的认证主要是指 Broker 和客户端的双路认证。 客户端认证 Broker 的证书,且Broker 也要认证客户端的证书。 基于 S 2021-03-29 kafka kafka
KafkaAdminClient 功能主题管理:包括主题的创建、删除和查询。 权限管理:包括具体权限的配置与删除。 配置参数管理:包括 Kafka 各种资源的参数设置、详情查询。所谓的 Kafka 资源,主要有 Broker、主题、用户、Client-id 等。 副本日志管 2021-03-29 kafka kafka
kafka脚本 生产消息# 使用控制台来向 Kafka 的指定主题发送消息 $ bin/kafka-console-producer.sh --broker-list kafka-host:port --topic test-topic --request 2021-03-29 kafka kafka
kafka主题管理 主题增删改查创建bin/kafka-topics.sh --bootstrap-server broker_host:port --create --topic my_topic_name --partitions 1 --replica 2021-03-28 kafka kafka
kafka高水位和Leader Epoch 高水位在分区高水位以下的消息被认为是已提交消息。kafka中,分区的高水位就是其 Leader 副本的高水位。 作用 定义消息可见性,即用来标识分区下的哪些消息是可以被消费者消费的。 帮助 Kafka 完成副本同步。 LEO(Log E 2021-03-28 kafka kafka
Kafka控制器 控制器组件(Controller),是 Apache Kafka 的核心组件。它的主要作用是在 Apache ZooKeeper 的帮助下管理和协调整个 Kafka 集群。每个正常运转的 Kafka 集群,在任意时刻都有且只有一个控制器。 2021-03-28 kafka kafka
kafka Broker请求处理 所有的请求都是通过 TCP 网络以 Socket 的方式进行通讯的。 Kafka 使用的是 Reactor 模式处理请求。 Reactor 模式是事件驱动架构的一种实现方式,特别适合应用于处理多个客户端并发向服务器端发送请求的场景。多个客户 2021-03-28 kafka kafka
kafka副本 主题可划分成若干个分,每个分区配置有若干个副本。副本(Replica),本质是一个只能追加写消息的提交日志。 副本分类副本分成两类:领导者副本(Leader Replica)和追随者副本(Follower Replica)。每个分区在创建时 2021-03-28 kafka kafka
kafka消费者 消费者组Consumer Group 是 Kafka 提供的可扩展且具有容错性的消费者机制。 Consumer Group 下可以有一个或多个 Consumer 实例。 Group ID 是一个字符串,在一个 Kafka 集群中,它标识唯 2021-03-23 kafka kafka