LVS DR模式

Net21-冰冻vs西瓜 • • Linux干货

一、测试环境说明

操作系统：CentOS6.7-X64

IP_VS版本：1.2.26

DR：10.10.10.130

VIP:10.10.10.140

RS1：10.10.10.131

RS2：10.10.10.132


二、LVS-DR模式原理

blob.png

a）客户端发送一个请求（源地址为CIP，目标地址为VIP，我们简称为CIP:VIP）到LVS的DR

b）通过在调度器上修改数据包的目的MAC地址来实现转发（仍旧保持为CIP:VIP）

c）请求的报文经过调度器，而RS响应处理后的报文无需经过调度器，直接将返回请求给客户端（VIP:CIP）

d）因为DR模式是通过MAC地址的改写机制来实现的转发，因此，所有RS节点和调度器只能在同一个LAN中

e）RS节点需要绑定VIP(如果有多个VIP地址，lo:vip,lo1:vip)以及配置ARP抑制问题

f）RS节点默认网关不需要是调度器的DIP,而直接是IDC机房分配的上级路由器的IP(这是RS带有外网IP的情况），理论上：只要RS可以出网即可，不需要配置外网IP

h）由于DR模式的调度器仅进行了目的MAC地址的改写，因此，调度器无法改变请求的报文的目的端口

i）调度器支持大多数UNIX及Linux（暂不支持windows），RS可以是windows


三、实际操作配置

1）DR上的配置：

关闭iptables：
[root@DR1 ~]# iptables -X
[root@DR1 ~]# iptables -F
[root@DR1 ~]# iptables -Z
[root@DR1 ~]# service iptables stop
iptables：将链设置为政策 ACCEPT：filter                    [确定]
iptables：清除防火墙规则：                                 [确定]
iptables：正在卸载模块：                                   [确定]
[root@DR1 ~]# chkconfig iptables off
安装配置http服务，并设置好软链接：
[root@DR1 ~]# yum -y install httpd
[root@DR1 ~]# sevice httpd start
[root@DR1 ~]# chkconfig httpd on
[root@DR1 ~]# echo "网站维护中">/var/www/html/index.html
[root@DR1 ~]# ln -s /usr/src/kernels/2.6.32-573.el6.x86_64/ /usr/src/linux
[root@DR1 ~]# ll /usr/src/
总用量 8
drwxr-xr-x. 2 root root 4096 9月  23 2011 debug
drwxr-xr-x. 3 root root 4096 7月   5 23:49 kernels
lrwxrwxrwx  1 root root   39 8月  31 08:49 linux -> /usr/src/kernels/2.6.32-573.el6.x86_64/
安装并加载ip_vs模块：
[root@DR1 ~]# yum -y install libnl* popt*
[root@DR1 ~]# lsmod | grep ip_vs
[root@DR1 ~]# cd /usr/local/src/
[root@DR1 src]# wget http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.26.tar.gz
root@DR1 src]# tar -zxvf ipvsadm-1.26.tar.gz
[root@DR1 src]# cd ipvsadm-1.26
[root@DR1 ipvsadm-1.26]# make
[root@DR1 ipvsadm-1.26]# make install 
[root@DR1 ipvsadm-1.26]# ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
说明：也可以使用modprobe ip_vs
[root@DR1 ipvsadm-1.26]# lsmod | grep ip_vs
ip_vs                 126534  0 
libcrc32c               1246  1 ip_vs
ipv6                  335589  285 ip_vs,cnic,ip6t_REJECT,nf_conntrack_ipv6,nf_defrag_ipv6
配置VIP地址：
[root@DR1 ~]# ifconfig eth0:0 10.10.10.140/24 up
[root@DR1 ~]# route add -host 10.10.10.140 dev eth0 
[root@DR1 ~]# ifconfig -a
eth0      Link encap:Ethernet  HWaddr 00:0C:29:53:CF:52  
          inet addr:10.10.10.130  Bcast:10.10.10.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fe53:cf52/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:2849 errors:0 dropped:0 overruns:0 frame:0
          TX packets:955 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:268088 (261.8 KiB)  TX bytes:112049 (109.4 KiB)
eth0:0    Link encap:Ethernet  HWaddr 00:0C:29:53:CF:52  
          inet addr:10.10.10.140  Bcast:10.10.10.255  Mask:255.255.255.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:6 errors:0 dropped:0 overruns:0 frame:0
          TX packets:6 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:344 (344.0 b)  TX bytes:344 (344.0 b)
  
查看路由表信息：
[root@DR1 ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
10.10.10.140    0.0.0.0         255.255.255.255 UH    0      0        0 eth0
10.10.10.0      0.0.0.0         255.255.255.0   U     0      0        0 eth0
169.254.0.0     0.0.0.0         255.255.0.0     U     1002   0        0 eth0
0.0.0.0         10.10.10.2      0.0.0.0         UG    0      0        0 eth0
手动配置LVS-ipvs规则：
[root@DR1 ~]# ipvsadm -A -t 10.10.10.140:80 -s rr
[root@DR1 ~]# ipvsadm -A -t 10.10.10.140:80 -s rr -p 20
可选：-p，是会话保持时间
[root@DR1 ~]# ipvsadm -a -t 10.10.10.140:80 -r 10.10.10.131 -g -w 1
[root@DR1 ~]# ipvsadm -a -t 10.10.10.140:80 -r 10.10.10.132 -g -w 1
-g：代表DR模式
-w 1：指的是设置权重为1
查看ipvs，可以看到使用rr算法，下面的real server分别是10.10.10.131和10.10.10.132
[root@DR1 ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.10.10.140:80 rr persistent 20
  -> 10.10.10.131:80              Route   1      0          0         
  -> 10.10.10.132:80              Route   1      0          0 
  
扩充选项：
a) 删除LVS
[root@DR1 ~]# ipvsadm -D -t 10.10.10.140:80 -s rr -p 20
[root@DR1 ~]# ipvsadm -D -t 10.10.10.140:80
[root@DR1 ~]# ipvsadm -d -t 10.10.10.140:80 -r 10.10.10.131
[root@DR1 ~]# ipvsadm -d -t 10.10.10.140:80 -r 10.10.10.132 
 
b) 查看连接状态
[root@DR1 ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.10.10.140:80 rr
  -> 10.10.10.131:80              Route   1      0          194       
  -> 10.10.10.132:80              Route   1      0          194       
[root@DR1 ~]# watch -n 2 ipvsadm -L -n
[root@DR1 html]# watch -n 2 ipvsadm -L -n --stats

2）RS1的配置：

停用iptables规则：
[root@C67-X64-A2 ~]# iptables -X
[root@C67-X64-A2 ~]# iptables -F
[root@C67-X64-A2 ~]# iptables -Z
[root@C67-X64-A2 ~]# service iptables stop
iptables：将链设置为政策 ACCEPT：filter                    [确定]
iptables：清除防火墙规则：                                 [确定]
iptables：正在卸载模块：                                   [确定]
[root@C67-X64-A2 ~]# chkconfig iptables off
绑定lo地址（注意网关为255.255.255.255）：
[root@RS1 ~]# ifconfig lo:0 10.10.10.140 netmask 255.255.255.255 up
[root@RS1 ~]# route add -host 10.10.10.140 dev lo
[root@RS1 ~]# ifconfig -a
eth0      Link encap:Ethernet  HWaddr 00:0C:29:38:73:A5  
          inet addr:10.10.10.131  Bcast:10.10.10.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fe38:73a5/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:2794 errors:0 dropped:0 overruns:0 frame:0
          TX packets:504 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:188141 (183.7 KiB)  TX bytes:52385 (51.1 KiB)
lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:4 errors:0 dropped:0 overruns:0 frame:0
          TX packets:4 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:240 (240.0 b)  TX bytes:240 (240.0 b)
lo:0      Link encap:Local Loopback  
          inet addr:10.10.10.140  Mask:255.255.255.255
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
  
[root@RS1 ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
10.10.10.140    0.0.0.0         255.255.255.255 UH    0      0        0 lo
10.10.10.0      0.0.0.0         255.255.255.0   U     0      0        0 eth0
169.254.0.0     0.0.0.0         255.255.0.0     U     1002   0        0 eth0
0.0.0.0         10.10.10.2      0.0.0.0         UG    0      0        0 eth0
配置httpd服务：
[root@RS1 ~]# yum -y install httpd
[root@RS1 ~]# service httpd start
[root@RS1 ~]# chkconfig httpd on
[root@RS1 ~]# echo "10.10.10.131">/var/www/html/index
配置ARP抑制：
[root@RS1 ~]# echo 1 >/proc/sys/net/ipv4/conf/lo/arp_ignore
[root@RS1 ~]# echo 1 >/proc/sys/net/ipv4/conf/all/arp_ignore
[root@RS1 ~]# echo 2 >/proc/sys/net/ipv4/conf/lo/arp_announce
[root@RS1 ~]# echo 2 >/proc/sys/net/ipv4/conf/all/arp_announce
补充资料：
arp_announce：
说明：对网络接口上，本地IP地址的发出的，ARP回应，作出相应级别的限制: 确定不同程度的限制,宣布对来自本地源IP地址发出Arp请求的接口 
0 - (默认) 在任意网络接口（eth0,eth1，lo）上的任何本地地址 
1 -尽量避免不在该网络接口子网段的本地地址做出arp回应. 当发起ARP请求的源IP地址是被设置应该经由路由达到此网络接口的时候很有用.此时会检查来访IP是否为所有接口上的子网段内ip之一.如果改来访IP不属于各个网络接口上的子网段内,那么将采用级别2的方式来进行处理. 
2 - 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通信
arp_ignore：
说明：定义对目标地址为本地IP的ARP询问不同的应答模式0 
0 - (默认值): 回应任何网络接口上对任何本地IP地址的arp查询请求 
1 - 只回答目标IP地址是来访网络接口本地地址的ARP查询请求 
2 -只回答目标IP地址是来访网络接口本地地址的ARP查询请求,且来访IP必须在该网络接口的子网段内 
3 - 不回应该网络界面的arp请求，而只对设置的唯一和连接地址做出回应 
4-7 - 保留未使用 
8 -不回应所有（本地地址）的arp查询

RS2的配置：

清空iptables策略：
[root@C67-X64-A3 ~]# iptables -X
[root@C67-X64-A3 ~]# iptables -F
[root@C67-X64-A3 ~]# iptables -Z
[root@C67-X64-A3 ~]# service iptables stop
iptables：将链设置为政策 ACCEPT：filter                    [确定]
iptables：清除防火墙规则：                                 [确定]
iptables：正在卸载模块：                                   [确定]
[root@C67-X64-A3 ~]# chkconfig iptables off
绑定lo地址（注意网关为255.255.255.255）：
[root@RS2 ~]# ifconfig lo:0 10.10.10.140 netmask 255.255.255.255 up
[root@RS2 ~]# route add -host 10.10.10.140 dev lo
[root@RS2 ~]# ifconfig -a
eth0      Link encap:Ethernet  HWaddr 00:0C:29:D7:1F:73  
          inet addr:10.10.10.132  Bcast:10.10.10.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fed7:1f73/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:2671 errors:0 dropped:0 overruns:0 frame:0
          TX packets:450 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:176939 (172.7 KiB)  TX bytes:48342 (47.2 KiB)
lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:4 errors:0 dropped:0 overruns:0 frame:0
          TX packets:4 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:240 (240.0 b)  TX bytes:240 (240.0 b)
lo:0      Link encap:Local Loopback  
          inet addr:10.10.10.140  Mask:255.255.255.255
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
  
[root@RS2 ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
10.10.10.140    0.0.0.0         255.255.255.255 UH    0      0        0 lo
10.10.10.0      0.0.0.0         255.255.255.0   U     0      0        0 eth0
169.254.0.0     0.0.0.0         255.255.0.0     U     1002   0        0 eth0
0.0.0.0         10.10.10.2      0.0.0.0         UG    0      0        0 eth0
配置httpd服务：
[root@RS2 ~]# yum -y install httpd
[root@RS2 ~]# service httpd start
[root@RS2 ~]# chkconfig httpd on
[root@RS2 ~]# echo "10.10.10.132">/var/www/html/index
配置ARP抑制：
[root@RS2 ~]# echo 1 >/proc/sys/net/ipv4/conf/lo/arp_ignore
[root@RS2 ~]# echo 1 >/proc/sys/net/ipv4/conf/all/arp_ignore
[root@RS2 ~]# echo 2 >/proc/sys/net/ipv4/conf/lo/arp_announce
[root@RS2 ~]# echo 2 >/proc/sys/net/ipv4/conf/all/arp_announce
补充资料：
arp_announce：
说明：对网络接口上，本地IP地址的发出的，ARP回应，作出相应级别的限制: 确定不同程度的限制,宣布对来自本地源IP地址发出Arp请求的接口 
0 - (默认) 在任意网络接口（eth0,eth1，lo）上的任何本地地址 
1 -尽量避免不在该网络接口子网段的本地地址做出arp回应. 当发起ARP请求的源IP地址是被设置应该经由路由达到此网络接口的时候很有用.此时会检查来访IP是否为所有接口上的子网段内ip之一.如果改来访IP不属于各个网络接口上的子网段内,那么将采用级别2的方式来进行处理. 
2 - 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通信
arp_ignore：
说明：定义对目标地址为本地IP的ARP询问不同的应答模式0 
0 - (默认值): 回应任何网络接口上对任何本地IP地址的arp查询请求 
1 - 只回答目标IP地址是来访网络接口本地地址的ARP查询请求 
2 -只回答目标IP地址是来访网络接口本地地址的ARP查询请求,且来访IP必须在该网络接口的子网段内 
3 - 不回应该网络界面的arp请求，而只对设置的唯一和连接地址做出回应 
4-7 - 保留未使用 
8 -不回应所有（本地地址）的arp查询

到此LVS-DR模式的配置基本完成，实际工作中，我们大多不会手动进行配置，而是写成配置脚本

编译LVS报错：（解决CentOS 6.7下编译安装ipvsadm-1.26报错）

[root@DR1 ipvsadm-1.26]# make
make -C libipvs
make[1]: Entering directory `/usr/local/src/ipvsadm-1.26/libipvs'
gcc -Wall -Wunused -Wstrict-prototypes -g -fPIC -DLIBIPVS_USE_NL  -DHAVE_NET_IP_VS_H -c -o libipvs.o libipvs.c
gcc -Wall -Wunused -Wstrict-prototypes -g -fPIC -DLIBIPVS_USE_NL  -DHAVE_NET_IP_VS_H -c -o ip_vs_nl_policy.o ip_vs_nl_policy.c
ar rv libipvs.a libipvs.o ip_vs_nl_policy.o
ar: creating libipvs.a
a - libipvs.o
a - ip_vs_nl_policy.o
gcc -shared -Wl,-soname,libipvs.so -o libipvs.so libipvs.o ip_vs_nl_policy.o
make[1]: Leaving directory `/usr/local/src/ipvsadm-1.26/libipvs'
gcc -Wall -Wunused -Wstrict-prototypes -g  -DVERSION=\"1.26\" -DSCHEDULERS=\""rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq"\" -DPE_LIST=\""sip"\"  -DHAVE_NET_IP_VS_H -c -o ipvsadm.o ipvsadm.c
ipvsadm.c: 在函数‘print_largenum’中:
ipvsadm.c:1383: 警告：域宽 的类型应该是‘int’，但实参 2 的类型为‘size_t’
gcc -Wall -Wunused -Wstrict-prototypes -g  -DVERSION=\"1.26\" -DSCHEDULERS=\""rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq"\" -DPE_LIST=\""sip"\"  -DHAVE_NET_IP_VS_H -c -o config_stream.o config_stream.c
gcc -Wall -Wunused -Wstrict-prototypes -g  -DVERSION=\"1.26\" -DSCHEDULERS=\""rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq"\" -DPE_LIST=\""sip"\"  -DHAVE_NET_IP_VS_H -c -o dynamic_array.o dynamic_array.c
gcc -Wall -Wunused -Wstrict-prototypes -g -o ipvsadm ipvsadm.o config_stream.o dynamic_array.o libipvs/libipvs.a  -lnl
ipvsadm.o: In function `parse_options':
/usr/local/src/ipvsadm-1.26/ipvsadm.c:432: undefined reference to `poptGetContext'
/usr/local/src/ipvsadm-1.26/ipvsadm.c:435: undefined reference to `poptGetNextOpt'
/usr/local/src/ipvsadm-1.26/ipvsadm.c:660: undefined reference to `poptBadOption'
/usr/local/src/ipvsadm-1.26/ipvsadm.c:502: undefined reference to `poptGetNextOpt'
/usr/local/src/ipvsadm-1.26/ipvsadm.c:667: undefined reference to `poptStrerror'
/usr/local/src/ipvsadm-1.26/ipvsadm.c:667: undefined reference to `poptBadOption'
/usr/local/src/ipvsadm-1.26/ipvsadm.c:670: undefined reference to `poptFreeContext'
/usr/local/src/ipvsadm-1.26/ipvsadm.c:677: undefined reference to `poptGetArg'
/usr/local/src/ipvsadm-1.26/ipvsadm.c:678: undefined reference to `poptGetArg'
/usr/local/src/ipvsadm-1.26/ipvsadm.c:679: undefined reference to `poptGetArg'
/usr/local/src/ipvsadm-1.26/ipvsadm.c:690: undefined reference to `poptGetArg'
/usr/local/src/ipvsadm-1.26/ipvsadm.c:693: undefined reference to `poptFreeContext'
collect2: ld 返回 1
make: *** [ipvsadm] 错误 1
[root@DR1 ipvsadm-1.26]# echo $?
2

解决方法：

[root@DR1 ipvsadm-1.26]# yum -y install popt-static
[root@DR1 ipvsadm-1.26]# make
make -C libipvs
make[1]: Entering directory `/usr/local/src/ipvsadm-1.26/libipvs'
make[1]: Nothing to be done for `all'.
make[1]: Leaving directory `/usr/local/src/ipvsadm-1.26/libipvs'
gcc -Wall -Wunused -Wstrict-prototypes -g -o ipvsadm ipvsadm.o config_stream.o dynamic_array.o libipvs/libipvs.a -lpopt -lnl
[root@DR1 ipvsadm-1.26]# echo $?
0

参考资料：

http://vqiao.blog.51cto.com/9368913/1571200

http://oldboy.blog.51cto.com/2561410/1240412

lvs-dr为前段调度器的脚本

lvs-rs为后端Real Server的脚本

LVS DR模式lvsdr.txt

LVS DR模式lvsrs.txt

原创文章，作者：Net21-冰冻vs西瓜，如若转载，请注明出处：http://www.178linux.com/42589

赞 (0)
Net21-冰冻vs西瓜Net21-冰冻vs西瓜
0
上一篇 2016-09-19
下一篇 2016-09-19

相关推荐

  • N25期第三周作业

    1.列出当前系统上所有已经登录的用户的用户名，注意：同一个用户登录多次，则只显示一次即可 who|awk ‘{print $1}’|sort -u 2.取出最后登录到当前系统的用户的相关信息 last -1 3.取出当前系统上被用户当作其默认shell的最多的那个shell cat /etc/passwd|awk -F: ‘{print $NF}’|sort…

    Linux干货 2016-12-12

  • 再不自动化就晚啦！优云教你4步打造基于CentOS的产品镜像

    随着Linux程序的增多，软件的安装过程中经常出现如下问题： 1、硬件配置类似或者相同时，批量安装系统和软件，希望实现自动化安装，减少安装时间和人为出错。 2、工程实施人员在不同客户现场进行系统和软件安装(硬件配置不同)，由于硬件有差别，不容易实现自动化。 笔者针对以上场景，从提高生产效率，减少误操作的立场，提出如下解决方案，希望能达到抛砖引玉的目的，并能与…

    系统运维 2016-07-16

  • MySQL常用命令

    本文大纲 MySQL命令             （0%） 交互式CLI工具     服务端命令 mysqld服务器程序 数据类型 DDL语句                 &n…

    Linux干货 2017-02-16
  • 没有自动ip解决办法 Linux干货

    没有自动ip解决办法

    用虚拟机下载好centos6.9后，本来想查看ip地址，结果发现没有自动获取ip地址，在网上找了很多方法都不行，问题如下： 用命令ifconfig查看ip地址，发现没有，如下 查看eth0如下 解决办法如下： 1、关闭NetworkManager服务 2、关闭NetworkManager开机启动 3、添加 /etc/sysconfig/network-scr…

    2017-07-16

  • Linux正则表达式及grep练习题

    Linux正则表达式及grep练习题          1、找出ifconfig命令结果中本机的所有IPv4地址         # ifconfig|grep -E -o "(([0-9]…

    Linux干货 2016-08-07

  • ​redis cluster 安装指南

    公司的很多项目在使用redis主从。由于coder的各种毁灭性操作，迫切需要一个能带故障恢复的架构。因此新版的cluster，开始了测试。 一、Cluster 理论基础 Cluster介绍 Redis集群是一个提供在多个Redis间节点间共享数据的程序集。 Redis集群并不支持处理多个keys的命令，因为这需要在不同的节点间移动数据，从而达不到像Redis…

    Linux干货 2016-02-14
电话咨询
在线咨询