博客中kafka相关的思维导图。
2021-04-02
kafka调优
调优目标吞吐量，也就是 TPS，是指 Broker 端进程或 Client 端应用程序每秒能处理的字节数或消息数。
延时，表示从 Producer 端发送消息到 Broker 端持久化完成之间的时间间隔。
优化操作系统调优1、最好在挂载（M
2021-03-30
kafka授权
授权，一般是指对与信息安全或计算机安全相关的资源授予访问权限，特别是存取控制。
Kafka用的是 ACL 模型，规定了什么用户对什么资源有什么样的访问权限。
kafka-acls 脚本# Alice 增加了集群级别的所有权限
$ kafka
2021-03-29
kafka认证
认证要解决的是你要证明你是谁的问题，授权要解决的则是你能做什么的问题。
Kafka 认证机制基于 SSL 的认证主要是指 Broker 和客户端的双路认证。
客户端认证 Broker 的证书，且Broker 也要认证客户端的证书。
基于 S
2021-03-29
KafkaAdminClient
功能主题管理：包括主题的创建、删除和查询。
权限管理：包括具体权限的配置与删除。
配置参数管理：包括 Kafka 各种资源的参数设置、详情查询。所谓的 Kafka 资源，主要有 Broker、主题、用户、Client-id 等。
副本日志管
2021-03-29
kafka脚本
生产消息# 使用控制台来向 Kafka 的指定主题发送消息
$ bin/kafka-console-producer.sh --broker-list kafka-host:port --topic test-topic --request
2021-03-29
kafka主题管理
主题增删改查创建bin/kafka-topics.sh --bootstrap-server broker_host:port --create --topic my_topic_name --partitions 1 --replica
2021-03-28
kafka高水位和Leader Epoch
高水位在分区高水位以下的消息被认为是已提交消息。kafka中，分区的高水位就是其 Leader 副本的高水位。
作用
定义消息可见性，即用来标识分区下的哪些消息是可以被消费者消费的。
帮助 Kafka 完成副本同步。
LEO（Log E
2021-03-28
Kafka控制器
控制器组件（Controller），是 Apache Kafka 的核心组件。它的主要作用是在 Apache ZooKeeper 的帮助下管理和协调整个 Kafka 集群。每个正常运转的 Kafka 集群，在任意时刻都有且只有一个控制器。
2021-03-28
kafka Broker请求处理
所有的请求都是通过 TCP 网络以 Socket 的方式进行通讯的。
Kafka 使用的是 Reactor 模式处理请求。
Reactor 模式是事件驱动架构的一种实现方式，特别适合应用于处理多个客户端并发向服务器端发送请求的场景。多个客户
2021-03-28
kafka副本
主题可划分成若干个分，每个分区配置有若干个副本。副本（Replica），本质是一个只能追加写消息的提交日志。
副本分类副本分成两类：领导者副本（Leader Replica）和追随者副本（Follower Replica）。每个分区在创建时
2021-03-28
kafka消费者
消费者组Consumer Group 是 Kafka 提供的可扩展且具有容错性的消费者机制。
Consumer Group 下可以有一个或多个 Consumer 实例。
Group ID 是一个字符串，在一个 Kafka 集群中，它标识唯
2021-03-23