ThinkerQAQ

Message Queue

19 篇笔记

  1. 2.9 Kafka Topichistorical

    1. Topic - Kafka中的消息以Topic分类，是个逻辑概念 - Kakfa有两个内部Topic - consumer offsets 用于存放存放消费者偏移量 - transcation state 用于持久化事务状态信息。 2. Partition - Topic分成多个Partiti

    2.Kafka
  2. 2.10 Kafka优化historical

    1. 写吞吐量 - Batch and Fan In / Fan out 2. 带宽优化 开启压缩 3. 参考 - How to Consume Kafka Efficiently in Golang? \ by Jing \ The Startup \ Medium

    2.Kafka
  3. 2.11 Kafka压测historical

    1. 压测 1.1. 生产者 1.2. 消费者 2. 分片数和机器数确定 同业务系统设计分析思路.md的 发布 1. 计算单个分片/机器所能支撑的QPS，参考压力测试.md 2. 计算分片/机器数 = 业务预估QPS/单个分片/机器所能支撑的QPS + 一点富余量 3. 参考 - Kafka压力测试

    2.Kafka
  4. 2.12 云Kafkahistorical

    1. 腾讯云Kafka 基于VIP+原生Kafka - VIP：就是北极星注册中心的寻址+健康检查+就近路由的功能 CKafka 会为客户端暴露一个 VIP，客户端在连接到 VIP 后，会拿到主题分区的元数据信息 当某个可用区不可用时，该 VIP 会自动漂移到该地域另一个可用的节点，从而实现跨可用区

    2.Kafka
  5. 2.13 Kafka源码阅读historical

    环境搭建 Windows 系统 Kafka\-0\.10\.0\.1 源码阅读环境搭建\ after95的博客\-CSDN博客

    2.Kafka
  6. 3.RabbitMQhistorical

    1. RabbitMQ使用 - RabbitMQ使用.md 2. RabbitMQ安装 - RabbitMQ集群模式.md 3. RabbitMQ原理 - RabbitMQ消息的可靠性.md 4. 参考 - RabbitMQ面试题 - 昕友软件开发 - 博客园 - 2019年12道RabbitMQ高

    3.RabbitMQ
  7. 3.1 RabbitMQ使用historical

    1. 数据传输流程 生产者发送消息- rabbitmq的exchange，通过routing key路由到相应的queue上- 消费者接收消息 2. 工作模式 发送消息的代码 - 工作队列，交换机为空 这种模式会把消息发送到QUEUE NAME的队列上 - 发布订阅，fanout交换机 这种模式会广

    3.RabbitMQ
  8. 3.2 RabbitMQ消息的可靠性historical

    1. 三种情况 1.1. 生产者 消息没传到mq丢失了，或者到了mq但是mq出问题了没保存消息 1.2. MQ mq把消息暂存在内存中，还未写入磁盘，挂了 1.3. 消费者 消费了这条消息，但是没有处理成功就挂了 2. 解决 2.1. 生产者 2.1.1. 开启事务 开始事务后生产者会同步阻塞直到m

    3.RabbitMQ
  9. 3.3 RabbitMQ集群模式historical

    1. 集群模式 1.1. 普通集群模式 master节点存放元数据和队列数据，其他节点只存放元数据。 消费者可以向任意一个节点发出请求，如果是slave会将请求转发给master进行处理后返回给客户端 - 优点 - 提高消费者的吞吐量 - 缺点 - 可能会在集群内部产生大量的数据传输 - maste

    3.RabbitMQ