Lvs 学习与使用
· 阅读需 12 分钟
1. 核心内容
- 负载均衡 lvs 负责对数据进行转发
- 一次请求，一次响应
- 反向代理 nginx/haproxy 负责代替用户找数据，找到后再发送给用户
- 两次请求，两次响应
2. arp
- DNS 为域名解析，将域名解析为IP地址
- arp协议 为地址解析协议 将IP地址解析到mac地址
- ip地址为网络层，3层
- mac地址为2层
- arp协议属于3层协议，但工作在2层
2.1 arp解析过程
- 假如有A、B、C、D四台设备连接在同一个交换机上，A想连接B，A知道B的IP地址10.0.0.8，但 不知道B的mac地址，A将会发广播：Who has 10.0.0.8?Tell 10.0.0.7（谁知道10.0.0.8的mac地址？请告诉A10.0.0.7”），B、C、D设备都会接受到该广播，但C、D设备的IP地址 都不是10.0.0.8，则会丢弃该广播，B设备收到广播后知道A是要自己的mac地址，则B会悄悄（一对一）的将自己的mac地址发送给A，A收到B返回的信息后会缓存一份数据，用于下次连接B的时候用。
2.2 linux的arp缓存查看命令
arp -n # 若无此命令，则需要安装 net-tools
2.3 手动缓存其他设备的mac地址，只需手动在该设备上ping对应设备的IP地址
[root@lb01 ~]# arp -n
Address HWtype HWaddress Flags Mask Iface
10.0.0.1 ether 00:50:56:c0:00:08 C eth0
10.0.0.254 ether 00:50:56:f2:d4:34 C eth0
[root@lb01 ~]# ping 10.0.0.7
PING 10.0.0.7 (10.0.0.7) 56(84) bytes of data.
64 bytes from 10.0.0.7: icmp_seq=1 ttl=64 time=3.37 ms
64 bytes from 10.0.0.7: icmp_seq=2 ttl=64 time=1.27 ms
^C
--- 10.0.0.7 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1002ms
rtt min/avg/max/mdev = 1.272/2.324/3.376/1.052 ms
[root@lb01 ~]# arp -n
Address HWtype HWaddress Flags Mask Iface
10.0.0.1 ether 00:50:56:c0:00:08 C eth0
10.0.0.7 ether 00:0c:29:8e:5d:df C eth0
10.0.0.254 ether 00:50:56:f2:d4:34 C eth0
[root@lb01 ~]#
2.4 通过抓包查看缓存mac地址过程
Vmware_86:09:1d Broadcast ARP 60 Who has 10.0.0.7? Tell 10.0.0.5 #Broadcast为广播
Vmware_8e:5d:df Vmware_86:09:1d ARP 60 10.0.0.7 is at 00:0c:29:8e:5d:df
Vmware_c0:00:08 Vmware_86:09:1d ARP 42 Who has 10.0.0.5? Tell 10.0.0.1
Vmware_86:09:1d Vmware_c0:00:08 ARP 60 10.0.0.5 is at 00:0c:29:86:09:1d
5问：谁有7的mac地址？
7回：我有，地址是.......
7问： 谁有5的mac地址？
5回：我有，地址是......
说明：第一次讯问为广播，一旦有回应之后，则进行缓存，下次再讯问则不是广播，而是直接按照缓存去一对一连接。
2.5 删除arp 缓存命令
# arp -d ip地址，例如：
arp -d 10.0.0.7
2.6 arp欺骗
- 描述：A和B都连接与同一个交换机，并都通过这个交换机上网，即A和B也都缓存着这个交换机的mac地址，突然有一天B大量的发出广播“交换机的mac地址是我B设备的mac地址”，慢慢的其他设备会逐渐替换并缓存B广播的这个假消息，导致其他设备误认为B设备为交换机，导致不能上网了。
3. lvs
- lvs专业名称为：linux virtual server 即linux虚拟服务器
- 因为lvs处理请求支持的并发特别高，以至于lvs模块嵌入到了linux内核中，即 ip_vs
- 管理 ip_vs 有两种方式：通过ipvsadm管理命令 和 keepalived（keepalived for lvs）
4. lvs的工作模式
- dr direct routing 直接路由模式（使用较多）
- nat （使用较多）
- tun 隧道模式（使用少）
- full nat（使用少）
4.1 预备知识
- 名词
- 用户
- 用的IP地址为：CIP
- 负载均衡
- 负载均衡利用高可用软件生成的的IP地址为：VIP
- 负载均衡设备本身的IP地址为：DIP
- 真实服务器（RS服务器）
- 真实服务器的IP地址为：RIP
- 用户
4.2 nat模式
- 用户访问过程：
- 用户发出请求时携带源IP（CIP）、目标IP（VIP）到达复杂均衡服务器，lvs执行DNAT，将用户数据包的目标IP地址修改为RIP（网络设备会保存修改记录用于相同访问使用）发给RS服务器，RS服务器收到并处理后将RIP设为源IP、CIP设为目标IP发送给lvs，lvs执行SNAT，将RS服务器发来的源IP由RIP修改为VIP，即此时的数据包源IP为VIP，目标IP为CIP，由负载均衡发给用户。
- 此过程只涉及IP地址，不涉及mac地址。
- 特点：
- lvs与RE服务器可以不再同一局域网
- 用户访问端口和后端RS服务器响应的端口可以不一致
- nat模式流量出入都要经过lvs，效率、性能不高
4.3 dr模式
-
用户访问过程：
-
用户发出请求时携带源IP（CIP）、目标IP（VIP）到达复杂均衡服务器，lvs将用户数据包的目标IP的mac地址修改为RS服务器的mac地址（随机选择任一台RS服务器）发给RS服务器，RS服务器收到后校对mac地址时发现与自己mac地址一致，所以接受并解封装数据包，因为所有RS服务器的lo网卡已经绑定了VIP，所以拆数据包时发现目标IP与自己绑定的VIP一致，所以RS服务器将处理结果直接发给用户。
-
小知识：windows中删除arp缓存方法
# 用管理员权限打开cmd
arp -d
-
-
-
为什么要做arp抑制
-
因为所有RS服务器的lo回环网卡都绑定了VIP，所以lvs服务器以及所有RS服务器都有了VIP，当用户查询具有VIP的服务器的mac地址时，如果不做抑制，则lvs服务器以及所有RS服务器都会同时响应用户的请求，这样就发生混乱导致用户不能正常访 问，给所有RS服务器做arp抑制之后，用户请求时，RS服务器不会响应，仅lvs服务器响应，则用户可以正常访问。
-
特点
- lvs dr模式中，lvs只负责转发并修改用户请求的目标mac地址，称为dmact
- lvs dr模式中，后端RS服务器处理完的数据直接响应给用户
- lvs dr模式中，RS服务器也要有公网IP
- lvs dr模式中，支持更高的并发数，几万甚至几十万
- lvs dr模式中，lvs服务器和后端RS服务器必须在同一个局域网
- lvs dr模式中，用户请求过来的端口是不能修改的，所以后端RS服务器就要开启用户访问的端口
4.4 dr模式环境准备
4.4.1 配置web01、web02
# web01要能够访问http://10.0.0.7/oldboy.html
# web02要能够访问http://10.0.0.8/oldboy.html
[root@web01 ~]# cat /etc/nginx/nginx.conf
worker_processes 1;
events {
worker_connections 1024;
}
http{
server {
server_name www.oldboy.com;
listen 80;
root /usr/share/nginx/html/ ;
}
}
# 在oldboy.html中写入主机名
[root@web01 ~]# echo 'hostname' >/usr/share/nginx/html/oldboy.html
# 关闭nginx
[root@web01 ~]# pkill nginx
# 重启nginx
[root@web01 ~]# systemctl restart nginx
4.4.2 配置lb01、lb02
# 关闭lb01、lb02的keeplived nginx负载均衡
[root@lb01 ~]# systemctl stop keepalived nginx
[root@lb01 ~]# systemctl disable keepalived nginx
# lb01安装ipvsadm
[root@lb01 ~]# yum install -y ipvsadm
# lb01手动添加vip
[root@lb01 ~]# ip addr add 10.0.0.3/24 dev eth0 label eth:0
# lb01手动添加池塘
[root@lb01 ~]# ipvsadm -A -t 10.0.0.3:80 -s wrr -p 20
#参数：-A 创建池塘（VIP:端口） -t tcp协议 -s 轮询算法 wrr 加强轮询 -p 会话保持时间，默认是300秒
# lb01手动添加RS服务器
[root@lb01 ~]# ipvsadm -a -t 10.0.0.3:80 -r 10.0.0.7:80 -g -w 1
[root@lb01 ~]# ipvsadm -a -t 10.0.0.3:80 -r 10.0.0.8:80 -g -w 1
# 参数：-a 添加RS服务器 -t tcp协议 -r 指定RS服务器（IP:端口） -g dr模式 -w 权重
# lb01查看ipvs规则
[root@lb01 ~]# ipvsadm -Ln #注意：与iptables进行区分（-nL）
# lb01查看ipvs规则及详细信息(查看具体流量信息)
[root@lb01 ~]# ipvsadm -Ln --stats
# 清空ipvs规则命令
[root@lb01 ~]# ipvsadm -C
# 设置tcp超时时间
[root@lb01 ~]# ipvsadm --set 30 # 常用超时时间为30 5 60
# 注意：ipvsadm是linux管理ip_vs的命令，无需启动操作，直接使用。
4.4.3 配置RS服务器（web）
# 所有RS服务器lo网卡绑定vip（永久）
[root@web01 ~]# cat /etc/sysconfig/network-scripts/ifcfg-lo:1
DEVICE=lo:1
IPADDR=10.0.0.3
NETMASK=255.255.255.255
ONBOOT=yes
NAME=loopback
# 所有RS服务器抑制arp解析
cat >>/etc/sysctl.conf<<EOF
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2 EOF
# 配置生效
sysctl -p
# RS服务器检查lo网卡
[root@web01 ~]# ip a s lo
# 注意：
# 1. 不要在lvs服务器本地进行curl测试，会失败；
# 2. lvs负载均衡当用户与访问量巨大的时候，才会使各个RS服务器的分配接近1：1，而平时测试访问量小的时 候，会长时间分配在同1台RS服务器上，要等1-2分钟才会变。
# 此时可以通过浏览器访问VIP网页测试
# 如访问失败，故障排查流程：
# 1. 浏览器通过负载均衡访问 10.0.0.3/oldboy.html
# 2. RS服务器通过ping/telnet连接负载均衡，查看是否成功
# 3. 在RS服务器上通过命令行curl 负载均衡vip网址
# 4. 浏览器单独访问RS服务器 RIP地址的网页，查看是否能正常访问
# 5. 查看RS服务器配置是否正确
4.4.4 lvs规则的备份与恢复
# 将ipvs规则打印到屏幕上
[root@lb01 ~]# ipvsadm-save -n
# 将ipvs规则保存到文件
[root@lb01 ~]# ipvsadm-save -n >/root/ipvsadm.conf
# 将ipvs规则从文件恢复
[root@lb01 ~]# ipvsadm-restore </root/ipvsadm.conf
5. lvs与keepalived配合使用
# 清除lb上手动添加的VIP，最简单的办法是重启网卡
systemctl restart network
# 配置lb01的keepalived配置文件（主）
[root@lb01 ~]# vim /etc/keepalived/keepalived.conf
global_defs {
router_id lb01 #keepalived身份 id 每个keepalived 不同
}
vrrp_instance oldboy { #实例名称 在同1对主备之间 要一致
state MASTER #MASTER BACKUP
interface eth0 #指定网卡 公网网卡
virtual_router_id 62 #虚拟路由id 同1对 主备之间要一致 在同1个keepalived文件中要不同
priority 100 #优先级 主>备 相差50
advert_int 1 #interval 间隔 心跳间隔 秒 每隔1秒检查
authentication { #认证 方式
auth_type PASS #简单认证
auth_pass 1234 #在同1对 主备之间一直
}
virtual_ipaddress { #vip
10.0.0.3/24 dev eth0 label eth0:0
}
}
virtual_server 10.0.0.3 80 { #创建组 池塘
delay_loop 6
lb_algo wrr #轮询算法
lb_kind DR # lvs DR模式
nat_mask 255.255.255.0 #vip对应的子网掩码
persistence_timeout 50 #会话保持时间 -p
protocol TCP #协议 -t
real_server 10.0.0.7 80 { #rs服务器的配置
weight 1 #权重
TCP_CHECK { #-t TCP_CHECK 检查 传输层
connect_timeout 8
nb_get_retry 3 #number of get retry 重试的次数
delay_before_retry 3 #每次检查之前 等待3秒
connect_port 80 #检查端口
}
}
real_server 10.0.0.8 80 {
weight 1
TCP_CHECK {
connect_timeout 8
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
}
# 重启lb01的keepalived，并查看ipvs规则
[root@lb01 ~]# systemctl restart keepalived.service
[root@lb01 ~]# ipvsadm -Ln
# 配置lb02的keepalived配置文件（备）
[root@lb02 ~]# vim /etc/keepalived/keepalived.conf
#GLOBAL CONFIGURATION 全局定义部分
global_defs {
router_id lb02 #keepalived身份 id 每个keepalived 不同
}
#VRRPD CONFIGURATION vrrp实例部分 虚拟路由冗余协议
##vrrp
vrrp_instance oldboy { #实例名称 在同1对主备之间 要一致
state BACKUP #MASTER BACKUP
interface eth0 #指定网卡 公网网卡
virtual_router_id 62 #虚拟路由id 同1对 主备之间要一致 在同1个keepalived文件中要不同
priority 50 #优先级 主>备 相差50
advert_int 1 #interval 间隔 心跳间隔 秒 每隔1秒检查
authentication { #认证 方式
auth_type PASS #简单认证
auth_pass 1234 #在同1对 主备之间一直
}
virtual_ipaddress { #vip
10.0.0.3/24 dev eth0 label eth0:0
#ip addr add 10.0.0.3/24 dev eth0 label eth0:0
}
}
virtual_server 10.0.0.3 80 { #创建组 池塘
delay_loop 6
lb_algo wrr #轮询算法
lb_kind DR # lvs DR模式
nat_mask 255.255.255.0 #vip对应的子网掩码
persistence_timeout 50 #会话保持时间 -p
protocol TCP #协议 -t
real_server 10.0.0.7 80 { #rs服务器的配置
weight 1 #权重
TCP_CHECK { #-t TCP_CHECK 检查 传输层
connect_timeout 8
nb_get_retry 3 #number of get retry 重试的次数
delay_before_retry 3 #每次检查之前 等待3秒
connect_port 80 #检查端口
}
}
real_server 10.0.0.8 80 {
weight 1
TCP_CHECK {
connect_timeout 8
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
}
# 重启lb02的keepalived，并查看ipvs规则
[root@lb02 ~]# systemctl restart keepalived.service
[root@lb02 ~]# ipvsadm -Ln