4.1 Redis Cluster

1. 为什么需要redis cluster

分布式系统分区.md

2. 什么是redis cluster

Redis的分布式方案，解决了主从复制写能力受到单机限制的问题和无法自动进行故障转移的问题

3. 如何搭建redis cluster

集群中可以有多个master，每个master可以由多个slave。一般需要3+3=6台机器

3.1. 手动搭建

3.1.1. 配置启动cluster模式

redis7000.conf

daemonize yes
bind 127.0.0.1
port 7000
dir "/home/zsk/software/redis/redis-cluster/data"
logfile "7000.log"
dbfilename "dump7000.conf"
cluster-enabled yes
cluster-config-file nodes-7000.conf
cluster-require-full-coverage no

cluster-config-file由redis实例创建，不需要我们创建

redis*.conf

sed "s/7000/7001/g" redis7000.conf > redis7001.conf
sed "s/7000/7002/g" redis7000.conf > redis7002.conf
sed "s/7000/7003/g" redis7000.conf > redis7003.conf
sed "s/7000/7004/g" redis7000.conf > redis7004.conf
sed "s/7000/7005/g" redis7000.conf > redis7005.conf
sed "s/7000/7006/g" redis7000.conf > redis7006.conf

启动

bin/redis-server conf/redis7000.conf
bin/redis-server conf/redis7001.conf
bin/redis-server conf/redis7002.conf
bin/redis-server conf/redis7003.conf
bin/redis-server conf/redis7004.conf
bin/redis-server conf/redis7005.conf
bin/redis-server conf/redis7006.conf

启动后会输出[82462] 26 Nov 11:56:55.329 * No cluster configuration found, I'm 97a3a64667477371c4479320d683e4c8db5858b1每个node都有一个nodeId，用于节点之间通信

3.1.2. 握手

bin/redis-cli -p 7000 cluster meet 127.0.0.1 7001
bin/redis-cli -p 7000 cluster meet 127.0.0.1 7002
bin/redis-cli -p 7000 cluster meet 127.0.0.1 7003
bin/redis-cli -p 7000 cluster meet 127.0.0.1 7004
bin/redis-cli -p 7000 cluster meet 127.0.0.1 7005
bin/redis-cli -p 7000 cluster meet 127.0.0.1 7006

3.1.3. 分配槽

#/bin/bash
start=$1
end=$2
port=$3

for slot in `seq ${start} ${end}`
do
    echo "slow:${slot}"
    bin/redis-cli -p ${port} cluster addslots ${slot}
done

sh ./addslots.sh 0 5461 7000
sh ./addslots.sh 5462 10922 7001
sh ./addslots.sh 10923 16383 7002

3.1.4. replication

slave

#使用下面的命令获取runid
bin/redis-cli -p 7000 cluster nodes

bin/redis-cli -p 7003 cluster replicate cf302160bacc05ce1131462b0d6fd727c498a6e9
bin/redis-cli -p 7004 cluster replicate a0c58fe607a57f31fd2f31f9f64bcd72ca200bb2
bin/redis-cli -p 7003 cluster replicate be55251b5ca4e5441cac8415e381e501644613ca

3.1.5. 客户端使用

bin/redis-cli -c -p 7000

3.2. 脚本搭建

./redis-trib.rb create --replicas 1 127.0.0.1:6379 127.0.0.1:6380 127.0.0.1:6381 127.0.0.1:6382 127.0.0.1:6383 127.0.0.1:6384

4. redis cluster原理

4.1. 分区

分布式系统分区.md

4.1.1. 拆分数据

4.1.1.1. 拆分key的选择

Redis本身就是key value型数据库，拆分自然用的key

4.1.1.2. 数据拆分策略

slot partition

4.1.2. 数据读写

4.1.2.1. 路由组件

server
- moved重定向：Redis收到key后计算slot及其对应的节点，如果是自身那么处理命令，否则回复moved重定向，通知客户端请求正确的节点
client
- smart客户端：内部维护着slot->node的映射，本地可以实现key-node的查找，MOVED重定向帮助smart客户端更新slot->node

4.1.2.2. 路由过程

key通过CRC16（key）% 16384计算属于哪个slot进而决定分配在哪个节点上

4.1.2.3. 分区分配

redis cluster有16384个hash slot用于存储数据，每个节点负责一部分slot。

4.1.3. 分区再平衡

slot在节点之间移动

4.2. 主从复制

4.2.1. Leader选举

同Redis Replication.md

4.2.2. 请求处理