LVS详解
LVS(Linux Virtual Server),意即Linux虚拟服务器,是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立,是中国国内最早出现的自由软件项目之一。
-
LVS 是一个工作在四层的负载均衡器,实现和 iptables/netfilter 类似,工作在内核空间的 TCP/IP 协议栈上,LVS 工作在 INPUT Hook Funtion 上,并在 INPUT 设置附加规则,一旦客户端请求的是集群服务,LVS 会强行修改请求报文,将报文发往 POSTROUTING,转发至后端的主机。
LVS的组成:
ipvsadm:管理集群服务的命令行工具,工作于用户空间
ipvs:为lvs提供服务的内核模块,工作于内核空间INPUT链上,所以lvs与iptables在INPUT链不能同时使用。
在linux内核2.4.23之前的内核中模块默认是不存在的,需要自己手动打补丁,然后把此模块编译进内核才可以正常使用。
目标
-
使用集群技术和Linux操作系统实现一个高性能、高可用的服务器。
-
很好的可伸缩性
-
很好的可靠性
-
很好的可管理性
集群分类:
-
负载均衡集群LB: Load balancing clusters
通过一个或者多个前端负载均衡器,将工作负载分发到后端的一组服务器上,从而达到整个系统的高性能和高可用性。
-
高可用性集群HA: High-availability (HA) clusters
一般指当集群中某个节点失效时,其上的任务会自动转移到其他正常的节点上。
-
高性能计算集群HP: High-performance (HPC) clusters
将计算任务分配到集群的不同计算节点而提高计算能力,因而主要应用在科学计算领域。
集群常用术语:
Director:复制调度集群的主机
VIP:Virtual IP,向外提供服务的IP
RIP:real IP,内部真实提供服务的主机IP
DIP:向内部的IP通信的IP,在Director主机上
CIP:客户端IP
LVS工作模型:
-
LVS-NAT:修改请求报文的目标IP
地址转换类型,主要是做目标地址转换,类似于iptables的DNAT
LVS 修改请求报文的目标地址为 RIP,转发至后端的 RealServer,并修改后端响应报文的源地址为 VIP,响应至客户端。
特性:
-
集群节点跟 Director 必须在同一个 IP 网络中,并且其网关需要指向DIP的地址
-
RIP地址通常为私有地址,仅用于各个集节点之间通信
-
Director位于client和Real Server之间,处理进出所有报文,大型应用易成为瓶颈。
-
Real Server必须将网关指向DIP
-
支持端口映射
.
-
LVS-DR:操纵封装新的MAC地址;默认类型
直接路由,为请求报文重新封装一个MAC首部进行转发,源MAC是DIP所在的接口的MAC,目标MAC是某挑选出的RS的RIP所在接口的MAC地址;
每个Real Server上都有两个IP:VIP和RIP,VIP是隐藏的,不会接收请求,用来做请求响应的源IP
Director上只需要一个网卡利用别名配置两个IP:VIP和DIP
特性:
-
保证前端路由器将目标地址为 VIP 的报文通过 ARP 解析后送往 Director。
-
静态绑定:在前端路由将 VIP 对应的目标 MAC 地址静态配置为Director VIP 接口的 MAC 地址。
-
arptables:在各 Realserver 上,通过 arptables 规则拒绝其响应对 VIP 的 ARP 广播请求
-
修改内核参数:在 Realserver 上修改内核参数,限制arp通告及应答级别
-
各RIP 必须与 DIP 在同一个物理网络中
-
RS 的 RIP 可以使用私有地址,也可以使用公网地址,Realserver 不能将网关指向 DIP
-
Director 仅负责处理入站请求,响应报文由 Realserver 直接发往客户端
-
不支持端口映射
.
-
LVS-TUN:在原请求IP报文之外新加一个IP首部;
转发方式:在原IP报文之外再封装一个IP首部(源IP是DIP,目标IP是RIP),将报文发往挑选出的目标RS;
Real Server接收到请求以后,先拆除第一层封装后拆除第二层封装,然后把响应数据直接传输给Client
特性:
-
集群节点可以跨越Internet
-
Director的VIP和RIP必须为公网IP
-
Director仅处理入站请求,响应报文则由Real Server直接发往客户端
-
Real Server的网关不能指向Director
-
Real Server 需支持隧道协议
-
不支持端口映射
.
-
LVS-FULLNAT:同时修改请求报文的源和目标IP;默认不支持
特点:
-
RIP,DIP 可以使用私有地址
-
RIP 和 DIP 可以不再同一网络中,且 RIP 的网关不需要指向 DIP
-
支持端口映射
-
请求和响应报文都经由 Director
LVS调度算法
静态调度算法:只根据算法进行调度 不考虑后端服务器的实际连接情况和负载情况
-
rr:round robin,轮询,简单在各主机间轮流调度
-
wrr:weighted round robin,加权轮询,根据各主机的权重进行轮询
-
sh:source hash,源地址哈希,对客户端地址进行哈希计算,保存在 Director 的哈希表中,一段时间内,同一个客户端 IP 地址的请求会被调度至相同的 Realserver。实现 session affinity(会话绑定),一定程度上损害了负载均衡的效果。
-
dh:destination hash,和 sh 类似,dh 将请求的目标地址进行哈希,将相同目标 IP 的请求发送至同一主机。当 Realserver 为透明代理缓存服务器时,提高缓存的命中率。
动态调度算法:根据各RS当前负载状态及调度算法进行调度
-
lc:least connted,最少连接,根据 overhead = active*256 + inactive 计算负载状态,每次选择 overhead 最小的服务器
-
wlc:weighted lc,默认,加权最少连接,根据 overhead = (active*256+inactive)/weight 来计算负载,每次选择 overhead 最小的服务器,
-
sed:shortest expected delay,最短期望延迟,不对 inactive 状态的连接进行计算,根据 overhead = (active+1)*256/weight 计算负载,选择 overhead 最小的服务器进行调度
-
nq:never queue,当有空闲服务器时,直接调度至空闲服务器,所有服务器都繁忙时,使用 SED 算法进行调度
-
LBLC:locality based least connection,基于本地的最少连接,相当于 dh + wlc,正常请求下使用 dh 算法进行调度,如果服务器超载,则使用 wlc 算法调度至其他服务器
-
LBLCR:locality based least connection with replication,基于本地的带复制功能的LBLC,判断后端连接数,当A的连接很多,而B的很空闲,会将A的部分连接分配到B上,避免大范围不公平。主要用于Cache 集群系统
ipvsadm/ipvs
-
集群服务管理:
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]
-A|E VIP
添加修改服务地址
-D -t|u|f VIP
删除集群
-t|u|f
类型: tcp | udp | 防火墙标记
-s scheduler
指定集群调度算法,默认wlc
-
RS管理:
ipvsadm -a|e -t|u|f VIP -r RIP [-g|i|m] [-w weight]
添加修改RS
-g|i|m
lvs模型: DR | TUN | NAT 默认DR
-w weight
指定权重
清空定义: ipvsadm -C
查看: ipvsadm -ln
保存和重载: ipvsadm -S = ipvsadm-save
ipvsadm -R = ipvsadm-restore
示例:
ipvsadm -A -t 10.1.235.55:80 -s wrr
ipvsadm -a -t 10.1.235.55:80 -r 10.1.235.6 -g -w 2
ipvsadm -a -t 10.1.235.55:80 -r 10.1.235.7 -g -w 3
原创文章,作者:Jasper,如若转载,请注明出处:http://www.178linux.com/56672