知识梳理、总结、分享
业精于勤荒于嬉,行成于思毁于随
kafka精确一次 kafka精确一次
kafka通过幂等性(Idempotence)和事务(Transaction)实现消息精确一次(exactly once)的可靠性保障。 幂等性 Producer设置props.put(“enable.idempotence”, ture)
2021-03-23
kafka拦截器 kafka拦截器
Kafka 拦截器分为生产者拦截器和消费者拦截器。 生产者拦截器允许你在发送消息前以及消息提交成功后植入你的拦截器逻辑; 而消费者拦截器支持在消费消息前以及提交位移后编写特定逻辑。 使用 当前 Kafka 拦截器的设置方法是通过参数配置完成
2021-03-23
kafka消息丢失 kafka消息丢失
kafka 只对“已提交”的消息做有限度的持久化保证。 避免消息丢失生产者 不要使用 producer.send(msg),而要使用producer.send(msg, callback)。一定要使用带有回调通知的 send 方法。 设置
2021-03-23
kafka生产者 kafka生产者
消息分区机制为什么分区提供负载均衡的能力,实现系统的高伸缩性。 不同的分区能够被放置到不同节点的机器上,而数据的读写操作也都是针对分区这个粒度而进行的,这样每个节点的机器都能独立地执行各自分区的读写请求处理。并且,还可以通过添加新的节点机器
2021-03-23
InnoDB LRU 优化 InnoDB LRU 优化
InnoDB内存管理用的是最近最少使用 (Least Recently Used)算法,这个算法的核心就是淘汰最久未使用的数据。为了应对全表扫描的影响,InnoDB对LRU算法做了改进。 在InnoDB实现上,按照5:3的比例把整个LRU链
2021-03-21
数据恢复 数据恢复
介绍了delete误删行、truncate/drop误删库/表时不跑路方法,以及如何预防。
2021-03-21
基础架构 基础架构
MySQL可以分为Server层和存储引擎层两部分。 Server层包括连接器、查询缓存、分析器、优化器、执行器等,涵盖MySQL的大多数核心服务功能,以及所有的内置函数。 存储引擎层负责数据的存储和提取。其架构模式是插件式的,支持Inn
2021-03-21
分库分表 分库分表
垂直拆分和水平拆分的概述;分库分表的场景;
2021-03-15
读写分离 读写分离
mysql主从复制中异步复制和半同步复制的原理;可靠性/可用性优先策略下的主从切换;备库并行复制策略;主从延迟的原因和判断方法;主备切换的多种方法;过期读的解决方案;
2021-03-15
MVCC MVCC
MVCC多版本并发控制。 MVCC 只在 RC 和 RR 两个隔离级别下工作。 不管需要执行多长时间,每个事务看到的数据都是一致的。根据事务开始的时间不同,每个事务对同一张表,同一时刻看到的数据可能是不一样的。 Undo logundo
2021-03-14
事务 事务
事务ACID、隔离级别及实现。分析了事务可见性,介绍了Binlog、redolog,并加以对比。数据库不丢数据的设置,给出了使用事务的建议。
2021-03-14
锁
锁就是协调多个用户或者客户端并发访问某一资源的机制,保证数据并发访问时的一致性和有效性。 全局锁MySQL 全局锁会关闭所有打开的表,并使用全局读锁锁定所有表。 FLUSH TABLES WITH READ LOCK; UNLOCK TAB
2021-03-14
5 / 8