Kafka / Message Queue

1. Kafka版本号 kafka 2.12-2.8.0.tgz 前面的数字 2.12 表示Scala版本，后面的数字 2.8.0 便是Kafka的版本 2. Kafka集群搭建 2.1. 搭建zookeeper环境 Zookeeper安装.md 2.2. 搭建scala环境 2.2.1. 下载sc

1. Kafka是什么 - 分布式的消息系统 2. Kafka使用场景 - 消息系统：基于发布订阅模式 - 存储系统：消息会持久化到磁盘 - 流式处理平台 3. Kafka安装 Kafka安装.md 4. Kafka使用 Kafka使用.md 5. Kafka原理 Kafka架构.md 6. Kaf

1. 命令行使用 1.1. Topic 1. 创建Topic Topic名叫first； --partition设置为2表示有2个分片，可以在logs目录中看到； replication-factor设置为1表明只有一份数据，就是他自己。如果设置为2为报错，因为只有一个broker，无法分散副本；

1. Kafka拓扑结构 Producer 将消息发送到特定的Topic，Topic中的消息存储在Broker上，Consumer 通过订阅特定的Topic来消费消息。 2. 三大组件 2.1. 生产者 Kafka生产者.md 2.2. Broker Kafka Broker.md Kafka To

1. 生产者是什么 - Kafka的客户端之一，负责生产消息，push到Kafka 2. 生产者消息发送流程 - 涉及三个对象： main 线程、Sender 线程、一个线程共享变量： RecordAccumulator（存放待发送的数据） - 过程：main 线程创建消息，通过Intercepto

1. Broker是什么 - Kafka的服务端，负责存储消息 - Kafka Cluster中的每个节点叫做Broker。可以看作是一个独立的 Kafka 实例。多个 Kafka Broker 组成一个 Kafka Cluster。 2. Controller 2.1. Controller是什么

1. 消费者是什么 - Kafka的客户端之一，负责消费消息，从Kafka pull消息 1.1. 消费者组 - 一个Consumer Group可以有多个Consumer - 每个Consumer Group可以独立消费Topic的所有消息 - 对于一个Topic，同一个Group的两个Consu

1. 日志 1.1. 日志目录结构 - 每个partition一个文件夹，包含四类文件 .index .log .timeindex leader-epoch-checkpoint - .index .log .timeindex 三个文件成对出现 前缀为上一个segment的最后一个消息的偏移 -

1. Topic - Kafka中的消息以Topic分类，是个逻辑概念 - Kakfa有两个内部Topic - consumer offsets 用于存放存放消费者偏移量 - transcation state 用于持久化事务状态信息。 2. Partition - Topic分成多个Partiti

1. 写吞吐量 - Batch and Fan In / Fan out 2. 带宽优化 开启压缩 3. 参考 - How to Consume Kafka Efficiently in Golang? \ by Jing \ The Startup \ Medium