redis

Redis应⽤场景

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
1.缓存-键过期
 把session数据缓存在redis⾥，过期删除
 换⽤⽤户信息，缓存mysql部分的数据，⽤户先访问redis,如果redis没命中，在访问mysql，
然后回写给redis
 商城优惠卷过期
 短信验证码过期
2.排⾏榜-列表&有序集合
 热度/点击量
 直播间礼物打赏排⾏榜
3.计数器-天然计数器
 帖⼦浏览数
 视频播放次数
 评论次数
 点赞/点踩
4.社交⽹络-集合
 粉丝
 共同好友/可能认识的⼈
 兴趣爱好/标签
5.消息队列
 ELK缓存⽇志
 聊天记录

Redis的安装部署

1.Redis官⽹

1
https://redis.io/download

2.版本选择

1
2
3
4
2.x ⾮常⽼
3.x 主流 redis-cluster
4.x 混合持久化
5.x 最新稳定版 新增加了流处理类型

3.规划⽬录

1
2
3
/data/soft 下载⽬录
/opt/redis_6379/{conf,logs,pid} 安装⽬录，⽇志⽬录，pid⽬录，配置⽬录
/data/redis_6379/ 数据⽬录

4.安装命令

1
2
3
4
5
6
7
8
9
mkdir /data/soft -p
cd /data/soft/
wget http://download.redis.io/releases/redis-5.0.7.tar.gz
tar zxf redis-5.0.7.tar.gz -C /opt/
cd /opt
ln -s /opt/redis-5.0.7 /opt/redis
cd /opt/redis
make
make install

5.编写配置⽂件

1
2
3
4
5
6
7
8
9
mkdir -p /opt/redis_6379/{conf,logs,pid}
mkdir -p /data/redis_6379
cat >/opt/redis_6379/conf/redis_6379.conf<<EOF
daemonize yes
bind 127.0.0.1 10.0.0.51
port 6379
pidfile /opt/redis_6379/pid/redis_6379.pid
logfile /opt/redis_6379/logs/redis_6379.log
EOF

6.启动命令

1
redis-server /opt/redis_6379/conf/redis_6379.conf

7.检查

1
2
ps -ef|grep redis
netstat -lntup|grep 6379

8.连接 redis

1
2
3
4
5
6
[root@db01 ~]# redis-cli
127.0.0.1:6379> set k1 v1
OK
127.0.0.1:6379> get k1
"v1"
127.0.0.1:6379>

9.关闭命令

1
2
3
4
5
6
7
8
第⼀种：
[root@db01 ~]# redis-cli
127.0.0.1:6379> SHUTDOWN
第⼆种：
[root@db01 ~]# redis-cli shutdown
第三种：
kill
pkill

10.system 启动配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
groupadd redis -g 1000
useradd redis -u 1000 -g 1000 -M -s /sbin/nologin
chown -R redis:redis /opt/redis*
chown -R redis:redis /data/redis*
cat >/usr/lib/systemd/system/redis.service<<EOF
[Unit]
Description=Redis persistent key-value database
After=network.target
After=network-online.target
Wants=network-online.target
[Service]
ExecStart=/usr/local/bin/redis-server /opt/redis_6379/conf/redis_6379.conf
--supervised systemd
ExecStop=/usr/local/bin/redis-cli shutdown
Type=notify
User=redis
Group=redis
RuntimeDirectory=redis
RuntimeDirectoryMode=0755
[Install]
WantedBy=multi-user.target
EOF
systemctl daemon-reload
systemctl start redis

Redis全局命令

1.Redis 数据格式

1
2
key:value
键:值

2.写⼊测试命令

1
2
3
set k1 v1
set k2 v2
set k3 v3

3.查看所有的**key-**注意！！！此操作未满18岁，请在⽗⺟陪同下操 作！！！

1
2
线上⽣产禁⽌执⾏！！！
keys *

4.查看有多少个key

1
DBSIZE

5.查看某个key是否存在

1
2
3
4
5
EXISTS k1
状态码：
0: 表示这个key不存在
1: 表示这个key存在
N: 表示有N个key存在

6.删除KEY

1
2
3
4
5
6
DEL k1
DEL k1 k2
状态码：
0: 要删除的KEY不存在
1: 表示这个key存在，并且被删除成功了
N: 表示N个key存在，并且被删除成功了N个

7.键过期

设置过期时间 :

1
2
3
4
5
EXPIRE k1 10

状态码：
0：这个key不存在
1：这个key存在，并且设置过期时间成功

查看key是否过期 :

1
2
3
4
5
6
TTL k1

状态码：
-1 ：这个key存在，并且没有设置过期时间，永不过期
-2 ：这个key不存在
N ：表示这个key存在，并且还有N秒过期

取消过期时间 :

1
2
3
4
5
第⼀种⽅法：
set k1 v1

第⼆种⽅法：
PERSIST k1

字符串操作

1.设置⼀个key

1
2
set k1 v1
set k1 v1 EX 10

2.查看⼀个key

1
get k1

3.设置多个key

1
MSET k1 v1 k2 v2 k3 v3

4.查看多个key

1
MGET k1 k2 k3

5.天然计数器

1
2
3
4
5
6
7
8
9
10
11
12
13
加1:
SET k1 1
INCR k1
GET k1

加N：
INCRBY k1 100

减1:
INCRBY k1 -1

减N：
INCRBY k1 -N

列表操作

1.插⼊列表

1
2
3
4
5
从左边压⼊数据：
LPUSH list1 A

从右边压⼊数据：
RPUSH list1 D

2.查看列表⻓度

1
LLEN list1

3.查看列表内容

1
LRANGE list1 0 -1

4.删除列表元素

1
2
RPOP list1
LPOP list1

5.删除整个列表

1
DEL list1

HASH操作

1.mysql数据格式如何缓存到redis

1
2
3
4
5
6
7
8
9
10
11
12
mysql数据格式：
user表
id name job age
1 boss it 18
2 wei it 24
3 cookz it 30

hash类型存储格式：
key field1 value field2 value field3 value
user:1 name boss job it age 18
user:2 name wei job it age 18
user:3 name cookz job it age 18

2.创建⼀个HASH数据

1
2
3
HMSET user:1 name boss job it age 18
HMSET user:2 name wei job it age 24
HMSET user:3 name cooz job it age 30

3.查看hash⾥的指定字段的值

1
2
3
4
select name from user where id = 1 ;

HMGET user:1 name
HMGET user:1 name job age

4.查看hash⾥的所有字段的值

1
2
3
select * from user where id = 1 ;

HGETALL user:1

集合操作

1.创建集合

1
2
SADD set1 1 2 3
SADD set2 1 3 5 7

2.查看集合成员

1
SMEMBERS set1

3.查看集合的交集

1
2
3
4
5
6
127.0.0.1:6379> SINTER set1 set2
1) "1"
2) "3"
127.0.0.1:6379> SINTER set2 set1
1) "1"
2) "3"

4.查看集合的差集

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
127.0.0.1:6379> SMEMBERS set1
1) "1"
2) "2"
3) "3"

127.0.0.1:6379> SMEMBERS set2
1) "1"
2) "3"
3) "5"
4) "7"

127.0.0.1:6379> SDIFF set1 set2
1) "2"

127.0.0.1:6379> SDIFF set2 set1
1) "5"
2) "7"

5.查看集合的并集

1
2
3
4
5
6
127.0.0.1:6379> SUNION set1 set2
1) "1"
2) "2"
3) "3"
4) "5"
5) "7"

有序集合

1.添加有序集合

1
2
3
ZADD bj67 100 wei
ZADD bj67 10 cookzhang
ZADD bj67 99 jun

2.计算成员个数

1
ZCARD bj67

3.计算某个成员分数

1
ZSCORE bj67 wei

4.按照升序查看成员名次

1
ZRANK bj67 cookzhang

5.按照降序查看成员名次

1
ZREVRANK bj67 wei

6.删除成员

1
ZREM bj67 cookzhang

7.返回指定排名范围的成员

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
127.0.0.1:6379> ZRANGE bj67 0 -1
1) "cookzhang"
2) "cookz"
3) "zcook"
4) "jun"
5) "wei"
127.0.0.1:6379> ZRANGE bj67 0 -1 WITHSCORES
 1) "cookzhang"
 2) "10"
 3) "cookz"
 4) "20"
 5) "zcook"
 6) "30"
 7) "jun"
 8) "99"
 9) "wei"
10) "100"
127.0.0.1:6379> ZRANGE bj67 1 3
1) "cookz"
2) "zcook"
3) "jun"

8.返回指定分数范围的成员

1
2
3
4
5
6
7
8
127.0.0.1:6379> ZRANGEBYSCORE bj67 50 100
1) "jun"
2) "wei"
127.0.0.1:6379> ZRANGEBYSCORE bj67 50 100 WITHSCORES
1) "jun"
2) "99"
3) "wei"
4) "100"

9.增加成员分数

1
ZINCRBY bj67 50 wei

持久化

1.RDB持久化和AOF持久化

1
2
3
4
5
6
7
RDB: 类似于快照，当前内存⾥的数据的状态持久化到硬盘
优点：压缩格式/恢复速度快
缺点：不是实时的，可能会丢数据，操作⽐较重量

AOF:类似于mysql的binlog，可以设置成每秒/每次操作都以追加的形式保存在⽇志⽂件中
优点：安全，最多只损失1秒的数据，具备⼀定的可读性
缺点：⽂件⽐较⼤，恢复速度慢

2.配置RDB持久化

1
2
3
4
5
save 900 1
save 300 10
save 60 10000
dbfilename redis.rdb
dir /data/redis_6379/

3.RDB持久化结论：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
没配置save参数时：
1.shutdown/pkill/kill都不会持久化保存
2.可以⼿动执⾏bgsave

配置save参数时：
1.shutdown/pkill/kill均会⾃动触发bgsave持久化保存数据
2.pkill -9 不会触发持久化

恢复时：
1.持久化数据⽂件名要和配置⽂件⾥定义的⼀样才能被识别
2.RDB⽂件只有⼀个数据⽂件，迁移和备份只要这⼀个RDB⽂件即可

注意：
RDB⾼版本兼容低版本，低版本不能兼容⾼版本
3.x >> 5.X >> OK
5.x >> 3.x >> NoOK

⽇志内容：

1
2
3
4
5
6
8952:M 13 Apr 2020 17:33:12.947 # User requested shutdown...
8952:M 13 Apr 2020 17:33:12.947 * Saving the final RDB snapshot before
exiting.
8952:M 13 Apr 2020 17:33:12.947 * DB saved on disk
8952:M 13 Apr 2020 17:33:12.947 * Removing the pid file.
8952:M 13 Apr 2020 17:33:12.947 # Redis is now ready to exit, bye bye...

4.AOF持久化配置

1
2
3
appendonly yes
appendfilename "redis.aof"
appendfsync everysec

5.AOF重写机制

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
执⾏的命令 aof记录 redis⾥的数据
set k1 v1 set k1 k1

set k2 v2 set k1 k1 k2
 set k2
 
set k3 v3 set k1 k1 k2 k3
 set k2 
 set k3
 
del k1 set k1 k2 k3
 set k2 
 set k3
 del k1
 
del k2 set k1 k3
 set k2 
 set k3
 del k1
 del k2
 
aof⽂件⾥实际有意义的只有⼀条记录：
set k3

6.AOF和RDB读取实验

实验背景 :

1
aof和rdb同时存在，redis重启会读取哪⼀个数据？

实验步骤：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
set k1 v1
set k2 v2
bgsave rbd保存 k1 k2 
mv redis.rdb /opt/

flushall
set k3 v3
set k4 v4 aof保存 k3 k4
mv redis.aof /opt/

redis-cli shutdown
rm -rf /data/redis_6379/*
mv /opt/redis.aof /data/redis_6379/
mv /opt/redis.rdb /data/redis_6379/

systemctl start redis

实验结论：

1
当aof和rdb同时存在的时候，redis会优先读取aof的内容

7.AOF模拟故障

损坏实验结论：

1
2
1.aof修复命令不要⽤，因为他的修复⽅案⾮常粗暴，⼀⼑切，从出错的地⽅到最后全部删除
2.任何操作之前，先备份数据

kill -9 实验 :

1
2
for i in {1..10000};do redis-cli set key_${i} v_${i} && echo "${i} is ok";done
ps -ef|grep redis|grep -v grep|awk '{print "kill -9",$2}'

结论：

1
1.aof相对⽐较安全，最多丢失1秒数据

8.如果设置了过期时间，恢复数据后会如何处理？

1
2
3
1.aof⽂件会记录下过期时间
2.恢复的时候会去对⽐过期时间和当前时间，如果超过了，就删除key
3.key的过期时间不受备份影响

9.AOF RDB如何选择

1
2
3
4
5
6
https://redis.io/topics/persistence
1.开启混合模式
2.开启aof
3.不开启rdb
4.rdb采⽤定时任务的⽅式定时备份
5.可以从库开启RDB进⾏备份

redis⽤户验证

1.配置密码认证功能

1
requirepass 123456

2.使⽤密码

第⼀种：

1
2
3
4
5
6
7
[root@db01 ~]# redis-cli
127.0.0.1:6379> set k1 v1
(error) NOAUTH Authentication required.
127.0.0.1:6379> AUTH 123456
OK
127.0.0.1:6379> keys *
1) "k1"

第⼆种：

1
2
3
4
[root@db01 ~]# redis-cli -a '123456' get k1
Warning: Using a password with '-a' or '-u' option on the command line
interface may not be safe.
"v1"

3.为什么redis的密码认证这么简单?

1
2
1.redis⼀般都部署在内⽹环境，默认是相对⽐较安全的
2.有兄弟担⼼密码写在配置⽂件⾥，不⽤担⼼，因为开发不允许SSH登陆到Linux服务器，但是可以远程连接Redis，所以设置密码还是有作⽤的

禁⽤或重命名危险命令

1.禁⽤危险命令

1
2
3
4
rename-command KEYS ""
rename-command SHUTDOWN ""
rename-command CONFIG ""
rename-command FLUSHALL ""

2.重命名危险命令

1
2
3
4
rename-command KEYS "QQ526195417"
rename-command SHUTDOWN ""
rename-command CONFIG ""
rename-command FLUSHALL ""

主从复制

1.快速部署第⼆台Redis服务器

1
2
3
4
5
6
7
8
9
10
11
12
rsync -avz 10.0.0.51:/opt/redis* /opt/
rsync -avz 10.0.0.51:/usr/local/bin/redis* /usr/local/bin/
rsync -avz 10.0.0.51:/usr/lib/systemd/system/redis.service
/usr/lib/systemd/system/
sed -i 's#51#52#g' /opt/redis_6379/conf/redis_6379.conf
mkdir -p /data/redis_6379
groupadd redis -g 1000
useradd redis -u 1000 -g 1000 -M -s /sbin/nologin
chown -R redis:redis /opt/redis*
chown -R redis:redis /data/redis*
systemctl daemon-reload
systemctl start redis

报错总结：

1
2
3
4
5
6
1.在db01上执⾏了命令
2.配置⽂件⾥的密码没删掉
3.配置⽂件⾥的重命名参数没删掉
4.⽤户id和组id冲突
5.没有rsync
6.拷⻉过来的配置⽂件没有修改IP地址

2.db01插⼊测试命令

1
for i in {1..1000};do redis-cli set key_${i} v_${i} && echo "${i} is ok";done

3.配置主从复制

⽅法1:临时⽣效

1
redis-cli -h 10.0.0.52 SLAVEOF 10.0.0.51 6379

⽅法2:写进配置⽂件永久⽣效

1
SLAVEOF 10.0.0.51 6379

4.主从复制流程

1.简单流程

1
2
3
4
5
6
7
8
1.从节点发送同步请求到主节点
2.主节点接收到从节点的请求之后,做了如下操作
 - ⽴即执⾏bgsave将当前内存⾥的数据持久化到磁盘上
 - 持久化完成之后,将rdb⽂件发送给从节点
3.从节点从主节点接收到rdb⽂件之后,做了如下操作
 - 清空⾃⼰的数据
 - 载⼊从主节点接收的rdb⽂件到⾃⼰的内存⾥
4.后⾯的操作就是和主节点实时的了

5.取消复制

1
SLAVEOF no one

6.主从复制注意

1
2
3
4
5
6
7
1.从节点只读不可写
2.从节点不会⾃动故障转移，他会⼀直尝试同步主节点，并且依然不可写
3.主从复制故障转移需要介⼊的地⽅
 - 修改代码指向新主的IP
 - 从节点需要执⾏slaveof no one
4.从库建⽴同步时会清空⾃⼰的数据，如果同步对象写错了，就清空了
5.从库也可以正常的RDB持久化

7.安全的操作

1
⼀定要做好数据备份，⽆论是主节点还是从节点，操作前最好做下备份

Redis Sentinel(哨兵)

1.哨兵的作⽤

1
2
1.解决主从复制需要⼈为⼲预的问题
2.提供了⾃动的⾼可⽤⽅案

2.⽬录和端⼝规划

1
2
redis节点 6379
哨兵节点 26379

3.部署3台redis单节点主从关系

db01操作

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
pkill redis
cat >/opt/redis_6379/conf/redis_6379.conf <<EOF 
daemonize yes
bind 127.0.0.1 10.0.0.51
port 6379
pidfile "/opt/redis_6379/pid/redis_6379.pid"
logfile "/opt/redis_6379/logs/redis_6379.log"
dbfilename "redis.rdb"
dir "/data/redis_6379"
appendonly yes
appendfilename "redis.aof"
appendfsync everysec
EOF
systemctl start redis
redis-cli

db02和db03操作

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
ssh-keygen
ssh-copy-id 10.0.0.51

pkill redis
rm -rf /opt/redis*
rsync -avz 10.0.0.51:/usr/local/bin/redis-* /usr/local/bin
rsync -avz 10.0.0.51:/usr/lib/systemd/system/redis.service
/usr/lib/systemd/system/
mkdir /opt/redis_6379/{conf,logs,pid} -p
mkdir /data/redis_6379 -p
cat >/opt/redis_6379/conf/redis_6379.conf <<EOF 
daemonize yes
bind 127.0.0.1 $(ifconfig eth0|awk 'NR==2{print $2}')
port 6379
pidfile "/opt/redis_6379/pid/redis_6379.pid"
logfile "/opt/redis_6379/logs/redis_6379.log"
dbfilename "redis.rdb"
dir "/data/redis_6379"
appendonly yes
appendfilename "redis.aof"
appendfsync everysec
EOF
useradd redis -M -s /sbin/nologin
chown -R redis:redis /opt/redis*
chown -R redis:redis /data/redis*
systemctl daemon-reload
systemctl start redis
redis-cli

4.配置主从复制

1
2
3
redis-cli -h 10.0.0.52 slaveof 10.0.0.51 6379
redis-cli -h 10.0.0.53 slaveof 10.0.0.51 6379
redis-cli -h 10.0.0.51 info replication

5.部署哨兵节点**-3**台机器都操作

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
mkdir -p /data/redis_26379
mkdir -p /opt/redis_26379/{conf,pid,logs}
cat >/opt/redis_26379/conf/redis_26379.conf << EOF
bind $(ifconfig eth0|awk 'NR==2{print $2}')
port 26379
daemonize yes
logfile /opt/redis_26379/logs/redis_26379.log
dir /data/redis_26379
sentinel monitor myredis 10.0.0.51 6379 2
sentinel down-after-milliseconds myredis 3000
sentinel parallel-syncs myredis 1
sentinel failover-timeout myredis 18000
EOF
chown -R redis:redis /data/redis*
chown -R redis:redis /opt/redis*
cat >/usr/lib/systemd/system/redis-sentinel.service<<EOF
[Unit]
Description=Redis persistent key-value database
After=network.target
After=network-online.target
Wants=network-online.target

[Service]
ExecStart=/usr/local/bin/redis-sentinel
/opt/redis_26379/conf/redis_26379.conf --supervised systemd
ExecStop=/usr/local/bin/redis-cli -h $(ifconfig eth0|awk 'NR==2{print
$2}') -p 26379 shutdown
Type=notify
User=redis
Group=redis
RuntimeDirectory=redis
RuntimeDirectoryMode=0755

[Install]
WantedBy=multi-user.target
EOF
systemctl daemon-reload
systemctl start redis-sentinel
redis-cli -h 10.0.0.51 -p 26379

关键配置解释:

1
2
3
4
5
6
7
8
sentinel monitor myredis 10.0.0.51 6379 2 
# myredis主节点别名 主节点IP 端⼝ 需要2个哨兵节点同意
sentinel down-after-milliseconds myredis 3000
# 认定服务器已经断线所需要的毫秒数
sentinel parallel-syncs myredis 1
#向主节点发给复制操作的从节点个数，1表示轮训发起复制
sentinel failover-timeout myredis 18000
#故障转移超时时间

6.哨兵注意

1
2
3
4
1.哨兵发起故障转移的条件是master节点失去联系，从节点挂掉不会发起故障转移
2.哨兵会⾃⼰维护配置⽂件，不需要⼿动修改
3.如果主从的结构发⽣变化，哨兵之间会⾃动同步最新的消息并且⾃动更新配置⽂件
4.哨兵启动完成之后，不要再⾃⼰去设置主从关系

7.验证主机点

1
redis-cli -h 10.0.0.51 -p 26379 SENTINEL get-master-addr-by-name myredis

8.哨兵的常⽤命令

1
2
3
4
redis-cli -h 10.0.0.51 -p 26379 SENTINEL get-master-addr-by-name myredis
redis-cli -h 10.0.0.51 -p 26379 SENTINEL master myredis
redis-cli -h 10.0.0.51 -p 26379 SENTINEL slaves myredis
redis-cli -h 10.0.0.51 -p 26379 SENTINEL ckquorum myredis

9.模拟故障转移

模拟⽅法：

1
2
3
4
5
6
关闭redis当前的主节点
观察其他2个节点会不会发⽣选举
查看哨兵配置⽂件会不会更新
查看从节点配置⽂件会不会更新
查看主节点能不能写⼊
查看从节点是否同步正常

流程：

1
2
3
4
5
6
7
1）在从节点列表中选出⼀个节点作为新的主节点，选择⽅法如下：
a）过滤：“不健康”（主观下线、断线）、5秒内没有回复过Sentinel节 点ping响应、与主节点失联超过down-after-milliseconds*10秒。
b）选择slave-priority（从节点优先级）最⾼的从节点列表，如果存在则
返回，不存在则继续。
c）选择复制偏移量最⼤的从节点（复制的最完整），如果存在则返
回，不存在则继续。
d）选择runid最⼩的从节点

结论：

1
2
3
4
5
主节点挂掉，哨兵会选举新的主节点
在新主节点上执⾏slaveof no one
在从节点执⾏slave of 新主节点
⾃动更新哨兵配置
⾃动更新从节点配置

10.故障修复重新上线

1
2
启动单节点
检查是否变成从库

11.哨兵加权选举

查看权重

1
2
3
redis-cli -h 10.0.0.51 -p 6379 CONFIG GET slave-priority
redis-cli -h 10.0.0.52 -p 6379 CONFIG GET slave-priority
redis-cli -h 10.0.0.53 -p 6379 CONFIG GET slave-priority

暗箱操作：假如选中53作为最新的master

1
2
redis-cli -h 10.0.0.51 -p 6379 CONFIG SET slave-priority 0
redis-cli -h 10.0.0.52 -p 6379 CONFIG SET slave-priority 0

检查：

1
2
3
redis-cli -h 10.0.0.51 -p 6379 CONFIG GET slave-priority 
redis-cli -h 10.0.0.52 -p 6379 CONFIG GET slave-priority 
redis-cli -h 10.0.0.51 -p 26379 sentinel get-master-addr-by-name myredis

主动发⽣选举

1
2
redis-cli -h 10.0.0.51 -p 26379 sentinel failover myredis
redis-cli -h 10.0.0.51 -p 26379 sentinel get-master-addr-by-name myredi

Redis集群-最新版5.x

1.哨兵的不⾜

1
2
3
1.主库写压⼒太⼤
2.资源利⽤率不⾼
3.连接过程繁琐，效率低

2.集群的重要概念

1
2
3
4
5
6
7
8
1.Redis集群，⽆论有⼏个节点，⼀共只有16384个槽位
2.所有的槽都必须被正确分配，哪怕有1个槽不正常，整个集群都不可⽤
3.每个节点的槽的顺序不重要，重要的是槽的数量
4.HASH算法⾜够平均，⾜够随机
5.每个槽被分配到数据的概率是⼤致相当的
6.集群的⾼可⽤依赖于主从复制
7.集群节点之间槽位的数量允许在2%的误差范围内
8.集群通讯会使⽤基础端⼝号+10000的端⼝，⾃动创建的，不是配置⽂件配置的，⽣产要注意的是防⽕墙注意要放开此端⼝

3.⽬录规划

1
2
主节点 6380
从节点 6381

4.db01的操作

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
#1.发送SSH认证，⽅便后⾯传输
ssh-keygen
ssh-copy-id 10.0.0.52
ssh-copy-id 10.0.0.53

#2.创建⽬录
pkill redis
mkdir -p /opt/redis_{6380,6381}/{conf,logs,pid}
mkdir -p /data/redis_{6380,6381}

#3.⽣成主节点配置⽂件
cat >/opt/redis_6380/conf/redis_6380.conf<<EOF
bind 10.0.0.51
port 6380
daemonize yes
pidfile "/opt/redis_6380/pid/redis_6380.pid"
logfile "/opt/redis_6380/logs/redis_6380.log"
dbfilename "redis_6380.rdb"
dir "/data/redis_6380/"
appendonly yes
appendfilename "redis.aof"
appendfsync everysec
cluster-enabled yes
cluster-config-file nodes_6380.conf
cluster-node-timeout 15000
EOF

#4.复制主节点的配置⽂件到从节点并更改端⼝号
cd /opt/
cp redis_6380/conf/redis_6380.conf redis_6381/conf/redis_6381.conf
sed -i 's#6380#6381#g' redis_6381/conf/redis_6381.conf

#5.更改授权为redis
chown -R redis:redis /opt/redis_*
chown -R redis:redis /data/redis_*

#6.⽣成主节点的systemd启动⽂件
cat >/usr/lib/systemd/system/redis-master.service<<EOF
[Unit]
Description=Redis persistent key-value database
After=network.target
After=network-online.target
Wants=network-online.target

[Service]
ExecStart=/usr/local/bin/redis-server /opt/redis_6380/conf/redis_6380.conf
--supervised systemd
ExecStop=/usr/local/bin/redis-cli -h $(ifconfig eth0|awk 'NR==2{print
$2}') -p 6380 shutdown
Type=notify
User=redis
Group=redis
RuntimeDirectory=redis
RuntimeDirectoryMode=0755

[Install]
WantedBy=multi-user.target
EOF

#7.复制master节点的启动⽂件给slave节点并修改端⼝号
cd /usr/lib/systemd/system/
cp redis-master.service redis-slave.service
sed -i 's#6380#6381#g' redis-slave.service

#8.重载并启动集群节点
systemctl daemon-reload
systemctl start redis-master
systemctl start redis-slave
ps -ef|grep redis

#9.把创建好的⽬录和启动⽂件发送给db02和db03
rsync -avz /opt/redis_638* 10.0.0.52:/opt/
rsync -avz /opt/redis_638* 10.0.0.53:/opt/
rsync -avz /usr/lib/systemd/system/redis-*.service 10.0.0.52:/usr/lib/systemd/system/
rsync -avz /usr/lib/systemd/system/redis-*.service 10.0.0.53:/usr/lib/systemd/system/

5.db02的操作

1
2
3
4
5
6
7
8
9
10
11
12
#1.替换db01发送过来的⽂件并修改IP地址
pkill redis
find /opt/redis_638* -type f -name "*.conf"|xargs sed -i "/bind/s#51#52#g"
cd /usr/lib/systemd/system/
sed -i 's#51#52#g' redis-*.service
mkdir –p /data/redis_{6380,6381}
chown -R redis:redis /opt/redis_*
chown -R redis:redis /data/redis_*
systemctl daemon-reload
systemctl start redis-master
systemctl start redis-slave
ps -ef|grep redis

6.db03的操作

1
2
3
4
5
6
7
8
9
10
11
12
#1.替换db01发送过来的⽂件并修改IP地址
pkill redis
find /opt/redis_638* -type f -name "*.conf"|xargs sed -i "/bind/s#51#53#g"
cd /usr/lib/systemd/system/
sed -i 's#51#53#g' redis-*.service
mkdir –p /data/redis_{6380,6381}
chown -R redis:redis /opt/redis_*
chown -R redis:redis /data/redis_*
systemctl daemon-reload
systemctl start redis-master
systemctl start redis-slave
ps -ef|grep redis

7.集群⼿动发现节点

1
2
3
4
5
6
redis-cli -h 10.0.0.51 -p 6380 CLUSTER MEET 10.0.0.52 6380
redis-cli -h 10.0.0.51 -p 6380 CLUSTER MEET 10.0.0.53 6380
redis-cli -h 10.0.0.51 -p 6380 CLUSTER MEET 10.0.0.51 6381
redis-cli -h 10.0.0.51 -p 6380 CLUSTER MEET 10.0.0.52 6381
redis-cli -h 10.0.0.51 -p 6380 CLUSTER MEET 10.0.0.53 6381
redis-cli -h 10.0.0.51 -p 6380 CLUSTER NODES

8.集群⼿动分配槽位

1.槽位规划

1
2
3
db01:6380 5461 0-5460
db02:6380 5461 5461-10921
db03:6380 5462 10922-16383

2.分配槽位

1
2
3
redis-cli -h 10.0.0.51 -p 6380 CLUSTER ADDSLOTS {0..5460}
redis-cli -h 10.0.0.52 -p 6380 CLUSTER ADDSLOTS {5461..10921}
redis-cli -h 10.0.0.53 -p 6380 CLUSTER ADDSLOTS {10922..16383}

3.查看集群状态

1
2
redis-cli -h 10.0.0.51 -p 6380 CLUSTER NODES
redis-cli -h 10.0.0.51 -p 6380 CLUSTER INFO

9.⼿动分配复制关系

1.先获取集群节点信息

1
redis-cli -h 10.0.0.52 -p 6381 CLUSTER nodes

2.过滤删除不必要的信息

1
2
3
6380的ID 10.0.0.51
6380的ID 10.0.0.53
6380的ID 10.0.0.52

3.配置复制关系

1
2
3
redis-cli -h 10.0.0.51 -p 6381 CLUSTER REPLICATE db02的6380的ID
redis-cli -h 10.0.0.52 -p 6381 CLUSTER REPLICATE db03的6380的ID
redis-cli -h 10.0.0.53 -p 6381 CLUSTER REPLICATE db01的6380的ID

4.检查复制关系

1
redis-cli -h 10.0.0.51 -p 6381 CLUSTER NODES

集群写⼊数据

1.尝试插⼊⼀条数据

1
2
3
4
5
6
7
8
9
10
11
12
13
[root@db01 ~]# redis-cli -h 10.0.0.51 -p 6380
10.0.0.51:6380> set k1 v1
(error) MOVED 12706 10.0.0.53:6380

[root@db01 ~]# redis-cli -c -h 10.0.0.51 -p 6380
10.0.0.51:6380>
10.0.0.51:6380> set k4 v4
-> Redirected to slot [8455] located at 10.0.0.52:6380
OK
10.0.0.52:6380> keys *
1) "k4"
10.0.0.52:6380> get k4
"v4"

2.⽬前的现象

1
2
3
4
5
1.在db01的6380上插⼊数据提示错误
2.报错提示应该移动到db03的6380上
3.根据提示在db03的6380上执⾏相同的命令可以写⼊成功
4.db01的6380有的数据可以写⼊，有的不⾏
5.使⽤-c参数后，可以正常写⼊命令，并且由⽬标节点返回信息

3.问题原因

1
因为集群模式有ASK规则，加⼊-c参数后，会⾃动跳转到⽬标节点处理并由⽬标节点返回信息。

验证集群hash是否⾜够随机⾜够平均

1.写⼊测试命令

1
for i in {1..1000};do redis-cli -c -h 10.0.0.51 -p 6380 set k_${i} v_${i} && echo "${i} is ok";done

2.验证⾜够平均

1
2
3
4
5
6
[root@db01 ~]# redis-cli -c -h 10.0.0.51 -p 6380 DBSIZE
(integer) 339
[root@db01 ~]# redis-cli -c -h 10.0.0.52 -p 6380 DBSIZE
(integer) 326
[root@db01 ~]# redis-cli -c -h 10.0.0.53 -p 6380 DBSIZE
(integer) 335

3.验证⾜够随机

1
2
redis-cli -c -h 10.0.0.51 -p 6380 keys \* > keys.txt
cat keys.txt |awk -F "_" '{print $2}'|sort -rn

4.允许节点的槽个数误差在**2%**以内的依据

1
2
3
4
5
6
7
[root@db01 ~]# redis-cli --cluster rebalance 10.0.0.51:6380
>>> Performing Cluster Check (using node 10.0.0.51:6380)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
*** No rebalancing needed! All nodes are within the 2.00% threshold.

5.检查集群健康状态

1
2
3
4
5
6
[root@db01 ~]# redis-cli --cluster info 10.0.0.51:6380
10.0.0.51:6380 (f765d849...) -> 3343 keys | 5461 slots | 1 slaves.
10.0.0.52:6380 (5ff2b711...) -> 3314 keys | 5461 slots | 1 slaves.
10.0.0.53:6380 (de167d13...) -> 3343 keys | 5462 slots | 1 slaves.
[OK] 10000 keys in 3 masters.
0.61 keys per slot on average.

使⽤⼯具⾃动部署redis集群-通⽤ ruby法

1.安装依赖-只要在db01上操作

1
2
3
4
yum install -y rubygems
gem sources -a http://mirrors.aliyun.com/rubygems/
gem sources --remove http://rubygems.org/
gem install redis -v 3.3.3

2.还原集群环境

1
2
3
4
5
6
7
8
9
redis-cli -c -h 10.0.0.51 -p 6380 flushall
redis-cli -c -h 10.0.0.52 -p 6380 flushall
redis-cli -c -h 10.0.0.53 -p 6380 flushall
redis-cli -h 10.0.0.51 -p 6380 CLUSTER RESET
redis-cli -h 10.0.0.52 -p 6380 CLUSTER RESET
redis-cli -h 10.0.0.53 -p 6380 CLUSTER RESET
redis-cli -h 10.0.0.51 -p 6381 CLUSTER RESET
redis-cli -h 10.0.0.52 -p 6381 CLUSTER RESET
redis-cli -h 10.0.0.53 -p 6381 CLUSTER RESET

3.快速部署Redis集群

1
2
cd /opt/redis/src/
./redis-trib.rb create --replicas 1 10.0.0.51:6380 10.0.0.52:6380 10.0.0.53:6380 10.0.0.51:6381 10.0.0.52:6381 10.0.0.53:6381

使⽤⼯具⾃动部署redis集群-⾼科技版

1.还原集群状态

1
2
3
4
5
6
7
8
9
redis-cli -c -h 10.0.0.51 -p 6380 flushall
redis-cli -c -h 10.0.0.52 -p 6380 flushall
redis-cli -c -h 10.0.0.53 -p 6380 flushall
redis-cli -h 10.0.0.51 -p 6380 CLUSTER RESET
redis-cli -h 10.0.0.52 -p 6380 CLUSTER RESET
redis-cli -h 10.0.0.53 -p 6380 CLUSTER RESET
redis-cli -h 10.0.0.51 -p 6381 CLUSTER RESET
redis-cli -h 10.0.0.52 -p 6381 CLUSTER RESET
redis-cli -h 10.0.0.53 -p 6381 CLUSTER RESET

2.快速部署Redis集群

1
redis-cli --cluster create 10.0.0.51:6380 10.0.0.52:6380 10.0.0.53:6380 10.0.0.51:6381 10.0.0.52:6381 10.0.0.53:6381 --cluster-replicas 1

3.检查集群

1
redis-cli --cluster info 10.0.0.51:6380

使⽤⼯具扩容

1.需要考虑的问题

1
2
3
4
1.迁移时槽的数据会不会迁过去
2.迁移过程集群读写受影响吗
3.需要限速吗
4.如何确保迁移后的完整性

2.如何设计实验验证迁移过程是否受影响

1
2
1.迁移过程中，⼀个窗⼝读数据，⼀个窗⼝写数据
2.观察是否会中断

3.创建新节点

1
2
3
4
5
6
7
8
9
10
11
12
13
mkdir -p /opt/redis_{6390,6391}/{conf,logs,pid}
mkdir -p /data/redis_{6390,6391}
cd /opt/
cp redis_6380/conf/redis_6380.conf redis_6390/conf/redis_6390.conf
cp redis_6380/conf/redis_6380.conf redis_6391/conf/redis_6391.conf
sed -i 's#6380#6390#g' redis_6390/conf/redis_6390.conf
sed -i 's#6380#6391#g' redis_6391/conf/redis_6391.conf
redis-server /opt/redis_6390/conf/redis_6390.conf
redis-server /opt/redis_6391/conf/redis_6391.conf
ps -ef|grep redis
redis-cli -c -h 10.0.0.51 -p 6380 cluster meet 10.0.0.51 6390
redis-cli -c -h 10.0.0.51 -p 6380 cluster meet 10.0.0.51 6391
redis-cli -c -h 10.0.0.51 -p 6380 cluster nodes

4.扩容步骤

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
#重新分配槽位
redis-cli --cluster reshard 10.0.0.51:6380

#第⼀次交互：每个节点最终分配多少个槽
How many slots do you want to move (from 1 to 16384)? 4096

#第⼆次交互：接受节点的ID
What is the receiving node ID? 6390的ID

#第三次交互：哪些节点需要导出
Please enter all the source node IDs.
 Type 'all' to use all the nodes as source nodes for the hash slots.
 Type 'done' once you entered all the source nodes IDs.
Source node #1:all

#第四次交互:确认信息
Do you want to proceed with the proposed reshard plan (yes/no)? yes

5.验证命令

写命令

1
for i in {1..1000};do redis-cli -c -h 10.0.0.51 -p 6380 set k_${i} v_${i} && echo ${i} is ok;sleep 0.5;done

读命令

1
for i in {1..1000};do redis-cli -c -h 10.0.0.51 -p 6380 get k_${i};sleep 0.5;done

使⽤⼯具收缩

1.缩容命令

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
#重新分配槽
redis-cli --cluster reshard 10.0.0.51:6380

#第⼀次交互：需要迁移多少个槽
How many slots do you want to move (from 1 to 16384)? 1365

#第三次交互：接受节点ID是多少
What is the receiving node ID? db01的6380的ID

#第三次交互：哪些节点需要导出
Please enter all the source node IDs.
 Type 'all' to use all the nodes as source nodes for the hash slots.
 Type 'done' once you entered all the source nodes IDs.
Source node #1: 6390的ID
Source node #2: done

#第四次交互:确认信息
Do you want to proceed with the proposed reshard plan (yes/no)? yes

重复上述操作，知道6390所有的槽都被分配完毕

2.检查命令

1
redis-cli --cluster info 10.0.0.51:6380

3.归⼀再分配法

1
把要缩容节点的数据都扔到其中⼀个节点
1
2
然后利⽤集群重新负载均衡命令重新分配
redis-cli --cluster rebalance 10.0.0.51:6380

模拟故障转移

1.关闭主节点，测试集群是否依然可⽤

1
2
3
4
5
6
7
8
9
10
11
12
10.0.0.51:6381> CLUSTER NODES
f765d849975ddfda7029d16be717ddffcc4c4bc7 10.0.0.51:6380@16380 slave 2a55b4454e33b3c5a953264c9d69a58a56ab1a85 0 1587000834939 20 connected
5ff2b711ff5b377bf06ce5ef878b3a7aaf881a98 10.0.0.52:6380@16380 slave
7d1328883b4a162d2728f8719fffc53d5fb3d801 0 1587000838082 22 connected
de167d131d45eedcb9b56ef0021ae110d6e55d46 10.0.0.53:6380@16380 slave
aef2cbf60bc3109ba76253d52d691e2dba7bd3e5 0 1587000837000 21 connected
aef2cbf60bc3109ba76253d52d691e2dba7bd3e5 10.0.0.51:6381@16381 myself,master
- 0 1587000837000 21 connected 10923-16383
2a55b4454e33b3c5a953264c9d69a58a56ab1a85 10.0.0.52:6381@16381 master - 0
1587000837000 20 connected 0-5460
7d1328883b4a162d2728f8719fffc53d5fb3d801 10.0.0.53:6381@16381 master - 0
1587000837070 22 connected 5461-10922

2.主动发起故障转移

1
2
3
redis-cli -c -h 10.0.0.51 -p 6380 CLUSTER FAILOVER
redis-cli -c -h 10.0.0.52 -p 6380 CLUSTER FAILOVER
redis-cli -c -h 10.0.0.53 -p 6380 CLUSTER FAILOVER

迁移过程意外中断如何修复

1.模拟场景：迁移时⼈为中断，导致槽的状态不对

1
[5754->-f765d849975ddfda7029d16be717ddffcc4c4bc7]

2.⼿动修复

1
redis-cli -c -h 10.0.0.52 -p 6380 CLUSTER SETSLOT 5754 STABLE

3.使⽤⼯具修复-⽣产建议使⽤⼯具修复

1
redis-cli --cluster fix 10.0.0.51:6380

Redis常⽤运维⼯具

1.使⽤redis-cli数据迁移

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
4.x以前的数据迁移使⽤第三⽅⼯具
https://github.com/vipshop/redis-migrate-tool

不加copy参数相当于mv,⽼数据迁移完成后就删掉了
redis-cli --cluster import 10.0.0.51:6380 --cluster-from 10.0.0.51:6379

加了copy参数相当于cp,⽼数据迁移完成后会保留
redis-cli --cluster import 10.0.0.51:6380 --cluster-from 10.0.0.51:6379 --cluster-copy

添加replace参数会覆盖掉同名的数据，如果不添加遇到同名的key会提示冲突，对新集群新增加的数据
不受影响
redis-cli --cluster import 10.0.0.51:6380 --cluster-from 10.0.0.51:6379 --cluster-copy --cluster-replace

验证迁移期间边写边导会不会影响: 同时开2个终端，⼀个写⼊key，
for i in {1..1000};do redis-cli set k_${i} v_${i};sleep 0.2;echo ${i};done

⼀个执⾏导⼊命令
redis-cli --cluster import 10.0.0.51:6380 --cluster-copy --cluster-replace --cluster-from 10.0.0.51:6379

得出结论：
只会导⼊当你执⾏导⼊命令那⼀刻时，当前被导⼊节点的所有数据，类似于快照，对于后⾯再写⼊的数据不会更新

2.分析key⼤⼩

使⽤redis-cli分析

1
2
redis-cli --bigkeys
redis-cli --memkeys

使⽤第三⽅分析⼯具: 

1
2
3
4
5
6
7
安装命令 :
yum install python-pip gcc python-devel -y
cd /opt/
git clone https://github.com/sripathikrishnan/redis-rdb-tools
cd redis-rdb-tools
pip install python-lzf
python setup.py install

⽣成测试数据

1
redis-cli set txt $(cat txt.txt)

⽣成rdb⽂件

1
redis-cli bgsave

使⽤⼯具解析RDB⽂件

1
2
cd /data/redis_6379/
rdb -c memory redis_6379.rdb -f redis_6379.rdb.csv

过滤分析

1
2
3
4
awk -F"," '{print $4,$3}' redis_6379.rdb.csv |sort -r

将结果整理汇报给领导,询问开发这个key是否可以删除
删除之前，最好做次备份

3.性能测试

1
redis-benchmark -n 10000 -q

Redis内存管理

1.⽣产上⼀定要配置Redis内存限制

1
maxmemory NG

2.内存回收机制

1
2
3
4
5
6
1.noevicition 默认策略，不会删除任务数据，拒绝所有写⼊操作并返回客户端错误信息，此时只响应读操作
2.volatile-lru 根据LRU算法删除设置了超时属性的key，指导腾出⾜够空间为⽌，如果没有可删除的key，则退回到noevicition策略
3.allkeys-lru 根据LRU算法删除key，不管数据有没有设置超时属性
4.allkeys-random 随机删除所有key
5.volatile-random 随机删除过期key
5.volatile-ttl 根据key的ttl，删除最近要过期的key

3.⽣产上redis限制多⼤内存

1
2
3
4
5
6
7
8
9
先空出来系统⼀半内存
48G ⼀共
24G 系统
24G redis
redis先给8G内存 满了之后，分析结果告诉⽼⼤和开发，让他们排查⼀下是否所有的key都是必须的
redis再给到12G内存 满了之后，分析结果告诉⽼⼤和开发，让他们排查⼀下是否所有的key都是必须的
redis再给到16G内存 满了之后，分析结果告诉⽼⼤和开发，让他们排查⼀下是否所有的key都是必须的
等到24G都⽤完了之后，汇报领导，要考虑买内存了。
等到35G的时候，就要考虑是加内存，还是扩容机器。

4.优化建议

1
2
3
4
5
1.专机专⽤，不要跑其他的服务
2.内存给够，限制内存使⽤⼤⼩
3.使⽤SSD硬盘
4.⽹络带宽够⼤
5.定期分析BigKey