归档
业精于勤荒于嬉,行成于思毁于随
03
30
kafka调优 kafka调优
调优目标吞吐量,也就是 TPS,是指 Broker 端进程或 Client 端应用程序每秒能处理的字节数或消息数。 延时,表示从 Producer 端发送消息到 Broker 端持久化完成之间的时间间隔。 优化操作系统调优1、最好在挂载(M
2021-03-30
29
kafka授权 kafka授权
授权,一般是指对与信息安全或计算机安全相关的资源授予访问权限,特别是存取控制。 Kafka用的是 ACL 模型,规定了什么用户对什么资源有什么样的访问权限。 kafka-acls 脚本# Alice 增加了集群级别的所有权限 $ kafka
2021-03-29
29
kafka认证 kafka认证
认证要解决的是你要证明你是谁的问题,授权要解决的则是你能做什么的问题。 Kafka 认证机制基于 SSL 的认证主要是指 Broker 和客户端的双路认证。 客户端认证 Broker 的证书,且Broker 也要认证客户端的证书。 基于 S
2021-03-29
29
KafkaAdminClient KafkaAdminClient
功能主题管理:包括主题的创建、删除和查询。 权限管理:包括具体权限的配置与删除。 配置参数管理:包括 Kafka 各种资源的参数设置、详情查询。所谓的 Kafka 资源,主要有 Broker、主题、用户、Client-id 等。 副本日志管
2021-03-29
29
kafka脚本 kafka脚本
生产消息# 使用控制台来向 Kafka 的指定主题发送消息 $ bin/kafka-console-producer.sh --broker-list kafka-host:port --topic test-topic --request
2021-03-29
28
kafka主题管理 kafka主题管理
主题增删改查创建bin/kafka-topics.sh --bootstrap-server broker_host:port --create --topic my_topic_name --partitions 1 --replica
2021-03-28
28
kafka高水位和Leader Epoch kafka高水位和Leader Epoch
高水位在分区高水位以下的消息被认为是已提交消息。kafka中,分区的高水位就是其 Leader 副本的高水位。 作用 定义消息可见性,即用来标识分区下的哪些消息是可以被消费者消费的。 帮助 Kafka 完成副本同步。 LEO(Log E
2021-03-28
28
Kafka控制器 Kafka控制器
控制器组件(Controller),是 Apache Kafka 的核心组件。它的主要作用是在 Apache ZooKeeper 的帮助下管理和协调整个 Kafka 集群。每个正常运转的 Kafka 集群,在任意时刻都有且只有一个控制器。
2021-03-28
28
kafka Broker请求处理 kafka Broker请求处理
所有的请求都是通过 TCP 网络以 Socket 的方式进行通讯的。 Kafka 使用的是 Reactor 模式处理请求。 Reactor 模式是事件驱动架构的一种实现方式,特别适合应用于处理多个客户端并发向服务器端发送请求的场景。多个客户
2021-03-28
28
kafka副本 kafka副本
主题可划分成若干个分,每个分区配置有若干个副本。副本(Replica),本质是一个只能追加写消息的提交日志。 副本分类副本分成两类:领导者副本(Leader Replica)和追随者副本(Follower Replica)。每个分区在创建时
2021-03-28
23
kafka消费者 kafka消费者
消费者组Consumer Group 是 Kafka 提供的可扩展且具有容错性的消费者机制。 Consumer Group 下可以有一个或多个 Consumer 实例。 Group ID 是一个字符串,在一个 Kafka 集群中,它标识唯
2021-03-23
23
kafka精确一次 kafka精确一次
kafka通过幂等性(Idempotence)和事务(Transaction)实现消息精确一次(exactly once)的可靠性保障。 幂等性 Producer设置props.put(“enable.idempotence”, ture)
2021-03-23
1 / 3