Linux Cluster讲解

什么是集群

    集群是一组的、通过高速的计算机，它们构成了一个组，并以单一系统的模式加以管理。一个客户与集群相互作用时，集群像是一个独立的服务器。集群配置是用于提高可用性和可缩放性。 
    和传统的高性能计算机技术相比，集群技术可以利用各档次的服务器作为节点，系统造价低，可以实现很高的运算速度，完成大运算量的计算，具有较高的响应能力，能够满足当今日益增长的信息服务的需求。 
    而集群技术是一种通用的技术，其目的是为了解决单机运算能力的不足、IO能力的不足、提高服务的可靠性、获得规模可扩展能力，降低整体方案的运维成本（运行、升级、维护成本）。只要在其他技术不能达到以上的目的，或者虽然能够达到以上的目的，但是成本过高的情况下，就可以考虑采用集群技术。

构建集群目的

1 提高性能 
    一些计算密集型应用，如：天气预报、核试验模拟等，需要计算机要有很强的运算处理能力，现有的技术，即使普通的大型机器计算也很难胜任。这时，一般都使用计算机集群技术，集中几十台甚至上百台计算机的运算能力来满足要求。提高处理性能一直是集群技术研究的一个重要目标之一。

 
2 降低成本 
    通常一套较好的集群配置，其软硬件开销要超过100000美元。但与价值上百万美元的专用超级计算机相比已属相当便宜。在达到同样性能的条件下，采用计算机集群比采用同等运算能力的大型计算机具有更高的性价比。 

 
3 提高可扩展性 
    用户若想扩展系统能力，不得不购买更高性能的服务器，才能获得额外所需的CPU 和存储器。如果采用集群技术，则只需要将新的服务器加入集群中即可，对于客户来看，服务无论从连续性还是性能上都几乎没有变化，好像系统在不知不觉中完成了升级。 

 
4 增强可靠性 
    集群技术使系统在故障发生时仍可以继续工作，将系统停运时间减到最小。集群系统在提高系统的可靠性的同时，也大大减小了故障损失。

集群的分类

LB：Load Balancer 负载均衡集群 
    负载均衡集群中有一个分发器或者叫调度器，我们将其称之为Director，它处在多台服务器的上面，分发器根据内部锁定义的规则或调度方式从下面的服务器群中选择一个以此来响应客户端发送的请求。

HA：High Availability 高可用集群 
    高可用集群是服务的可用性比较高，当我们某台服务器死机后不会造成我们的服务不可用。其工作模式则是将一个具有故障的服务转交给一个正常工作的服务器，从而达到服务不会中断。一般来说我们集群中工作在前端（分发器）的服务器都会对我们的后端服务器做一个健康检查，如果发现我们服务器当机就不会对其在做转发。

HP：Hight Performance 高性能集群 
    高性能的集群是当某一个任务量非常大的时候，我们做一个集群共同来完成这一个任务。这种处理方式我们称为并行处理集群，并行处理集群是将大任务划分为小任务，分别进行处理的机制。一般这样的集群用来科学研究与大数据运算等方面的工作。现在比较火的Hadoop就是使用的并行处理集群。

系统的扩展方式

Scale UP：向上扩展 
    将服务器的配置升级 
Scale Out：向外扩展 
    增加多台服务器

负载均衡的实现

硬件 
    F5 公司的 BIG-IP系列、Citrix 公司的 NetScaler系列、A10 公司的 AX系列 
软件 
    四层：LVS(Linux VirtualServer)注：国人开发的、七层：Nginx,HAProxy

负载均衡方案介绍

1.HTTP 重定向负载均衡

这种负载均衡方式仅适合WEB 服务器。用户发出请求时，负载均衡服务器会根据HTTP请求，重新计算出实际的WEB服务器地址，通过302重定向相应发送给用户浏览器。用户浏览器再根据302响应信息，对实际的WEB服务器发出请求。HTTP重定向方案有点是比较简单，缺点是性能比较差，需要2次请求才能返回实际结果,还有就是仅适合HTTP服务器使用。

2.DNS 域名解析负载均衡

在DNS中存储了一个域名的多个主机地址，每次域名解析请求，都可以根据负载均衡算法返回一个不同的IP地址。这样多个WEB服务器就构成了一个集群，并由DNS服务器提供了负载均衡服务。DNS域名解析负载均衡的优点是由DNS来完成负载均衡工作，服务本身不用维护负载均衡服务器的工作。缺点也是，由于负载均衡服务器不是自己维护，没法做精细控制，而且DNS在客户端往往带有缓存，服务器的变更很难及时反映到客户端上。

3.反向代理负载均衡

反向代理服务器位于实际的服务器之前，他能够缓存服务器响应，加速访问，同时也启到了负载均衡服务器的效果。反向代理服务器解析客户端请求，根据负载均衡算法转发到不同的后台服务器上。用户和后台服务器之间不再有直接的链接。请求，响应都由反向代理服务器进行转发。优点是和负载均衡服务集成在一起，部署简单。缺点是所有的请求回应都需要经过反向代理服务器。其本身可能会成为性能的瓶颈。著名的 Nginx服务器就可以部署为反向代理服务器，实现WEB 应用的负载均衡。上面的三种都是工作在OSI网络模型中的应用层，我们可以统称为应用层负载均衡(七层负载均衡)。下面介绍的几种工作在OSI网络模型中的4层以及4层以下(四层负载均衡)，解决方案也具有更大的通用性。

4.IP负载均衡

用户请求包到达负载均衡服务器114.100.20.200后，负载均衡服务器在操作系统内核层获取网络数据包，根据负载均衡算法获取真实后台服务器地址192.168.1.1, 然后将数据包的目标地址改为192.168.1.1, 转发给内部服务器。整个过程都在内核层进行处理。收到192.168.1.1的响应包之后，会更改响应包的SRC IP, 转发给客户端用户。采用IP层负载均衡算法，全部处理过程都在内核层(Ring 0)进行。和七层负载均衡相比，具有更好的性能。但是由于所有的响应包都要经过负载均衡服务器，负载均衡服务器的网卡带宽，很容易成为系统的瓶颈，如果能够让响应包不经过负载均衡服务器，就可以极大的提升整个负载均衡服务器的服务能力。我们下面介绍的数据链路层负载均衡，就具有这个能力。

5.数据链路层负载均衡

数据链路层负载均衡，顾名思义，就是工作在TCP/IP协议最底层的数据链路层，进行负载均衡。我们常用的以太网中，在这一层主要采用数据帧进行通信，每个网卡都具有唯一的MAC地址，数据帧用MAC地址来标识数据的来源与目的地。数据链路层负载均衡通过修改数据包的MAC地址，实现负载均衡。

这种数据传输方式又称为三角传输，负载均衡数据分发过程中不修改IP地址，只修改目的MAC地址，通过配置真实物理服务器集群所有机器虚拟IP和负载均衡服务器IP一致，从而达到不修改数据包的源地址和目的地址就可以进行数据分发的目的，由于实际处理请求的真实物理服务器IP和数据请求目的IP一致，不需要通过负载均衡服务器进行地址交换，可将响应数据包直接返回给用户，避免负载均衡服务器网卡带宽成为瓶颈。这种负载均衡方式又称之为直接路由方式（DR）.

如上图所示，用户请求到达负载均衡服务器114.100.20.200后，负载均衡服务器将数据包的目的MAC地址更改为00:1e:ec:bc:5e:03，并不修改数据包目的IP，由于服务器集群所有服务器的虚拟IP地址和负载均衡服务器IP地址一致，因此数据可以正常传输到达MAC地址为00:1e:ec:bc:5e:03的机器上，该服务器处理完之后，将响应数据包发送到网关服务器，网关服务器直接将数据包发送给用户，响应数据不需要通过负载均衡服务器，这样就避免了负载均衡服务器成为传输瓶颈的可能。

数据链路层负载均衡是目前使用最广泛的一种负载均衡方式。著名的负载均衡开源产品LVS(Linux Virtual Server)，同时支持上面的IP负载均衡和数据链路层负载均衡。是学习负载均衡技术必须了解的产品。基于数据链路层的负载均衡虽然有非常好的性能，但是对网络拓扑也有比较大的限制，负载均衡服务器和后台服务器必须处于同一网络环境中才可以。