分类
业精于勤荒于嬉,行成于思毁于随
kafka精确一次 kafka精确一次
kafka通过幂等性(Idempotence)和事务(Transaction)实现消息精确一次(exactly once)的可靠性保障。 幂等性 Producer设置props.put(“enable.idempotence”, ture)
2021-03-23
kafka拦截器 kafka拦截器
Kafka 拦截器分为生产者拦截器和消费者拦截器。 生产者拦截器允许你在发送消息前以及消息提交成功后植入你的拦截器逻辑; 而消费者拦截器支持在消费消息前以及提交位移后编写特定逻辑。 使用 当前 Kafka 拦截器的设置方法是通过参数配置完成
2021-03-23
kafka消息丢失 kafka消息丢失
kafka 只对“已提交”的消息做有限度的持久化保证。 避免消息丢失生产者 不要使用 producer.send(msg),而要使用producer.send(msg, callback)。一定要使用带有回调通知的 send 方法。 设置
2021-03-23
kafka生产者 kafka生产者
消息分区机制为什么分区提供负载均衡的能力,实现系统的高伸缩性。 不同的分区能够被放置到不同节点的机器上,而数据的读写操作也都是针对分区这个粒度而进行的,这样每个节点的机器都能独立地执行各自分区的读写请求处理。并且,还可以通过添加新的节点机器
2021-03-23
kafka集群配置 kafka集群配置
Broker 端参数 log.dirs:Broker 需要使用的若干个文件目录路径,必须指定;最好不同路径挂载到不同的物理磁盘,提升读写性能且能能够实现故障转移 log.dir:单个路径 zookeeper.connect:zookee
2020-12-10
2 / 2