ThinkerQAQ

Message Queue

19 篇笔记

  1. 1.1 消息队列介绍historical

    1. 什么是MQ - 消息队列，解耦生产者和消费者 - 生产者消费者其实也可以用数据库实现：生产者可以将事件写入数据库，消费者定时轮询数据库 - 但是这种方式对数据库的压力太大 2. MQ消息分发模型 - 有两种消息模型：队列模型和发布-订阅模型 2.1. 队列模型 - 一个生产者- Queue-

    1.Fundamentals
  2. 1.2 消息队列消息的顺序性historical

    1. 什么是消息的顺序性问题 如图，生产者先后向消息队列发送了两条数据： 插入数据 、 更新数据 ，假设消费者有两个节点，消息队列会把这两条数据轮询发送消费者，消费者1消费了 插入数据 ，消费者2消费了 更新数据 ，最后插入MySQL的顺序先后是 更新数据 、 插入数据 ，这样的话更新数据的时候还没

    1.Fundamentals
  3. 2.1 Kafka安装historical

    1. Kafka版本号 kafka 2.12-2.8.0.tgz 前面的数字 2.12 表示Scala版本，后面的数字 2.8.0 便是Kafka的版本 2. Kafka集群搭建 2.1. 搭建zookeeper环境 Zookeeper安装.md 2.2. 搭建scala环境 2.2.1. 下载sc

    2.Kafka
  4. 2.2 Kafka介绍historical

    1. Kafka是什么 - 分布式的消息系统 2. Kafka使用场景 - 消息系统：基于发布订阅模式 - 存储系统：消息会持久化到磁盘 - 流式处理平台 3. Kafka安装 Kafka安装.md 4. Kafka使用 Kafka使用.md 5. Kafka原理 Kafka架构.md 6. Kaf

    2.Kafka
  5. 2.3 Kafka使用historical

    1. 命令行使用 1.1. Topic 1. 创建Topic Topic名叫first； --partition设置为2表示有2个分片，可以在logs目录中看到； replication-factor设置为1表明只有一份数据，就是他自己。如果设置为2为报错，因为只有一个broker，无法分散副本；

    2.Kafka
  6. 2.4 Kafka架构historical

    1. Kafka拓扑结构 Producer 将消息发送到特定的Topic，Topic中的消息存储在Broker上，Consumer 通过订阅特定的Topic来消费消息。 2. 三大组件 2.1. 生产者 Kafka生产者.md 2.2. Broker Kafka Broker.md Kafka To

    2.Kafka
  7. 2.5 Kafka生产者historical

    1. 生产者是什么 - Kafka的客户端之一，负责生产消息，push到Kafka 2. 生产者消息发送流程 - 涉及三个对象： main 线程、Sender 线程、一个线程共享变量： RecordAccumulator（存放待发送的数据） - 过程：main 线程创建消息，通过Intercepto

    2.Kafka
  8. 2.6 Kafka Brokerhistorical

    1. Broker是什么 - Kafka的服务端，负责存储消息 - Kafka Cluster中的每个节点叫做Broker。可以看作是一个独立的 Kafka 实例。多个 Kafka Broker 组成一个 Kafka Cluster。 2. Controller 2.1. Controller是什么

    2.Kafka
  9. 2.7 Kafka消费者historical

    1. 消费者是什么 - Kafka的客户端之一，负责消费消息，从Kafka pull消息 1.1. 消费者组 - 一个Consumer Group可以有多个Consumer - 每个Consumer Group可以独立消费Topic的所有消息 - 对于一个Topic，同一个Group的两个Consu

    2.Kafka
  10. 2.8 Kafka消息磁盘存储historical

    1. 日志 1.1. 日志目录结构 - 每个partition一个文件夹，包含四类文件 .index .log .timeindex leader-epoch-checkpoint - .index .log .timeindex 三个文件成对出现 前缀为上一个segment的最后一个消息的偏移 -

    2.Kafka