LVS+KeepAlived高可用集群搭建

linux

LVS是一个虚拟的服务器集群系统,LVS集群采用IP负载均衡技术和基于内容请求分发技术。调度器具有很好的吞吐率，将请求均衡地转移到不同的服务器上执行，且调度器自动屏蔽掉服务器的故障，从而将一组服务器构成一个高性能的、高可用的虚拟服务器

LVS介绍

LVS集群三层结构

  • 负载调度器（load balancer），它是整个集群对外面的前端机，负责将客户的请求发送到一组服务器上执行，而客户认为服务是来自一个IP地址（我们可称之为虚拟IP地址）上的
  • 服务器池（server pool），是一组真正执行客户请求的服务器，执行的服务有WEB、MAIL、FTP和DNS等
  • 共享存储（shared storage），它为服务器池提供一个共享的存储区，这样很容易使得服务器池拥有相同的内容，提供相同的服务

Keepalived作用

Keepalived的作用是检测服务器的状态，如果有一台web服务器死机，或工作出现故障，Keepalived将检测到，并将有故障的服务器从系统中剔除，同时使用其他服务器代替该服务器的工作，当服务器工作正常后Keepalived自动将服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的服务器

系统环境说明

系统环境：VMware 12.1.0、CentOS-6.6-x86_64，关闭SELINUX，关闭防火墙(可配置防火墙后不关闭)

安装部署


第1层是LVS服务器（1个主，1个从；从可以多个）用来转发请求，需要安装ipvsadm和keepAlived；
第2层是提供具体服务的服务器（表中用了2个；当然也可以是多个，现实的应用会上百台。），安装的是具体的服务，这里我们安装的是TOMCAT
主机环境如下：

  • 192.168.211.100　 LVS_VIP（VIP：Virtual IP），公共对外IP地址又称虚拟IP地址。可以是真实有效的公网IP
  • 192.168.211.136　 LVS_Master
  • 192.168.211.137　 LVS_Backup
  • 192.168.211.138　 WEB1_RealServer
  • 192.168.211.139　 WEB2_RealServer

LVS层安装LVS和KeepAlived

先安装LVS_Master服务器上的服务，LVS_Backup使用克隆虚拟机的方式，然后在配置文件修改三个参数即可，下面会讲到。
只要按照如下步骤一步一步来，我敢肯定一次成功！

  • 安装ipvsadm

知识点：ipvsadm理解为IPVS管理工具；LVS（Linux Virtual Server）的核心为IPVS（IP Virtual Server），从Linux内核版本2.6起，IPVS模块已经编译进了Linux内核。
使用yum命令进行安装，系统会选择最适合内核版本的ipvsadm
yum -y install ipvsadm 或者 sudo yum -y install ipvsadm

  • 防火墙配置

为了测试方便，我们直接关闭防火墙，在实际使用中开启需要的端口即可（具体配置可参考:Linux防火墙及IP配置）
service iptables stop

  • KeepAlived 的安装

知识点：KeepAlived是一个路由软件，它主要的目的是让我们通过简单的配置，实现高可用负载均衡，当然负载均衡依赖于Linux虚拟服务器（IPVS）的内核模块，其高可用性使用VRRP协议来实现，KeepAlived不仅会检测负载均衡服务器池中每台机器的健康状况并通知IPVS将非健康的机器从池中移除掉；同时它还能对负载均衡调度器本身实现健康状态检查，当主负载均衡调度器出现问题时，备用负载均衡调度器顶替主进行工作。
逐条执行如下命令，执行的原因暂不解释，实际就是需要这些组件，安装即可。

1
2
3
4
5
6
7
8
9
10
11
cd /usr/src
yum –y install libnfnetlink-devel
yum -y install openssl-devel
wget http://www.keepalived.org/software/keepalived-1.2.7.tar.gz
wget http://mirror.centos.org/centos/6/os/x86_64/Packages/popt-static-1.13-7.el6.x86_64.rpm
yum -y install popt-static-1.13-7.el6.x86_64.rpm
yum -y install kernel-devel make gcc openssl-devel libnl* popt*
ln -s /usr/src/kernels/2.6.32-220.13.1.el6.x86_64/ /usr/src/linux
tar zxvf keepalived-1.2.7.tar.gz
cd keepalived-1.2.7
./configure --with-kernel-dir=/usr/src/kernels/2.6.32-358.2.1.el6.x86_64/

执行完最后一条时，终端应该显示为下图这样，如果不是请不要继续，自己返回来看下有没有哪里执行有误；

继续执行

1
2
3
4
5
6
make && make install
cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/  (复制自启动脚本[非必须]，1.3.0后的版本已经没有此脚本文件了)
cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/
mkdir /etc/keepalived
cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/
cp /usr/local/sbin/keepalived /usr/sbin/

OK，KeepAlived安装完毕，然后进行配置

  • KeepAlivde的配置

[1]打开IP Forward 功能（LVS现有三种负载均衡规则都需要打开此功能，如果不打开此功能，下面的配置配得再好都无济于事。）
vim /etc/sysctl.conf
打开后修改里面“net.ipv4.ip_forward = 1”
修改好后保存退出，执行如下命令使设置立即生效
sysctl -p
[2]KeepAlivde的配置
配置文件在这个位置： /etc/keepalived/keepalived.conf
启动KeepAlived时，它默认会去/etc/keepalived下面找它的配置文件，所以上面命令中我们已经将这个配置文件复制过来了
下面是我配置好的完整文件内容

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
! Configuration File for keepalived
global_defs {
	notification_email {
		test@sina.com
	}
	notification_email_from admin@test.com
	smtp_server 127.0.0.1
	smtp_connect_timeout 30
	router_id LVS_MASTER
}

vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 60
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.211.100
    }
}

virtual_server 192.168.211.100 8080 {   # 注意虚拟IP的端口要与下面真是服务的端口一致，否则无法访问，但能ping通虚拟IP
    delay_loop 6
    lb_algo rr
    lb_kind DR
    nat_mask 255.255.255.0
    persistence_timeout 50
    protocol TCP

    real_server 192.168.211.138 8080 {
        weight 1
        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }

    real_server 192.168.211.139 8080 {
        weight 1
        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
}

以上就完成了keepAlived的配置，下面进行启动

1
2
chkconfig keepalived on
service keepalived start

查看进程
ps aux | grep keepalived 或者 ps -ef|grep keepalived

Keepalived正常运行时，共启动3个进程，其中一个进程是父进程，负责监控其子进程；一个是vrrp子进程；另外一个是checkers子进程。
如果此时只看到2个进程，请从安装keepalived的步骤重新执行
查看下虚拟IP是否已经加上（重要）,如果第一次执行没有，可以等待1分钟左右再次执行，或者监控下/var/log/messages日志，等启动完成后在执行 ip a进行查看
ip a

说明虚拟IP已经自动配置上了
至此，LVS_MASTER服务器已经配置好并启动了，接下来我们配置web服务器

WEB服务器WEB1_RealServer的配置

  • 配置虚拟IP启动脚本

vim /etc/init.d/realserver.sh
在文件中输入如下脚本

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
#!/bin/bash
SNS_VIP=192.168.211.100  #keepalived中设置的虚拟IP
. /etc/rc.d/init.d/functions
case "$1" in
start)
 ifconfig lo:0 $SNS_VIP netmask 255.255.255.255 broadcast $SNS_VIP
 /sbin/route add -host $SNS_VIP dev lo:0
 echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
 echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
 echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
 echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
 sysctl -p >/dev/null 2>&1
 echo "RealServer Start OK"
 ;;
stop)
 ifconfig lo:0 down
 route del $SNS_VIP >/dev/null 2>&1
 echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
 echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
 echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
 echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
 echo "RealServer Stoped"
 ;;
 *)
 echo "Usage: $0 {start|stop}"
 exit 1
esac
exit 0

  • 安装配置tomcat并启动，tomcat分配端口为8080，即上面keepalived中配置的端口
  • 启动虚拟IP的脚本
1
2
sh /etc/init.d/realserver.sh start
ifconfig

运行后会看到网络有了一个虚拟IP，如图：

去LVS_MASTER服务器的终端查看下ipvsadm，查看已经连接上了WEB1服务器，运行命令
ipvsadm -ln
结果如图：

已经可以看到有服务器加入进来了。
此时我们访问网页http://192.168.211.100:8080
会出现192.168.211.138:8080对应的tomcat页面；或者使用命令行测试转发情况，如下：ipvsadm -lcn，如果未访问虚拟IP链接，此命令结果可能为空，不必担心，访问下虚拟IP链接即可

服务器克隆

  • 从WEB1_RealServer克隆一个WEB2_RealServer，启动tomcat服务，启动realserver.sh脚本。也可以不使用虚拟机克隆方式，可以使用自行安装方式，正式服务器一般使用直接安装方式

在WEB2_RealServer执行ifconfig，可以看到多了一个虚拟IP

在LVS_Master服务器/etc/keepalived/keepalived.conf中添加WEB2_RealServer服务器的相关信息，如下：

1
2
3
4
5
6
7
8
real_server 192.168.211.139 8080 {
    weight 1
    TCP_CHECK {
        connect_timeout 3
        nb_get_retry 3
        delay_before_retry 3
    }
}

在LVS_Master服务器上重启keepalived：service keepalived restart
在LVS_Master执行ipvsadm -ln，可以看到新服务器WEB2_RealServer已经添加进来了

使用浏览器访问http://192.168.211.100:8080/，再次执行ipvsadm -ln命令，可以看相应的连接数

  • 从LVS_MASTER克隆一个LVS_BACKUP服务器，然后修改其中的参数，MASTER与BACKUP配置仅三处不同：global_defs中的router_id、vrrp_instance中的state、priority
    （注意keepAlived的配置文件中有一个网卡设备，虚拟机的网卡设备可能是不一样的，有的是eth0，有的是eth1，所以也是要改动的，否则从服务器的服务器很有可能服务不正常），配置好的如下文：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
! Configuration File for keepalived
global_defs {
        notification_email {
                test@sina.com
        }
        notification_email_from admin@test.com
        smtp_server 127.0.0.1
        smtp_connect_timeout 30
        router_id LVS_BACKUP
}

vrrp_instance VI_1 {
    state BACKUP
    interface eth0
    virtual_router_id 60
    priority 90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.211.100
    }
}

virtual_server 192.168.211.100 8080 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    nat_mask 255.255.255.0
    persistence_timeout 50
    protocol TCP

    real_server 192.168.211.138 8080 {
        weight 1
        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
    real_server 192.168.211.139 8080 {
        weight 1
        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
}

开启从服务器的keepalived，service keepalived start
OK，至此我们已经虚拟出2个LVS服务器，一对主从；2个WEB服务器，web1和web2。接下来我们进行测试，看能否满足我们的初始需求

负载和可用性测试

开启每个服务器的相关服务，关闭防火墙，我们开始进行测试。

  • 测试LVS层(LVS_Master、LVS_Backup)

(1)首先执行ip a命令，主服务器会存在一个虚拟IP(192.168.211.100)，从服务器不会存在这个虚拟IP。现在浏览网页(http://192.168.211.100:8080)显示正常。
(2)现在停掉LVS_MASTER的keepAlived服务，看LVS_BACKUP是否可以自动加上虚拟IP地址，并且开始转发请求。service keepalived stop
（注意keepAlived的配置文件中有一个网卡设备，虚拟机的网卡设备可能是不一样的，有的是eth0，有的是eth1，所以也是要改动的，否则从服务器的服务器很有可能服务不正常）
如果从服务器的keepalived 没有正常启动或者没有自动漂过IP，可以将从服务器的配置替换成主服务器keepalived配置，然后再排查问题，启动成功后并且访问成功后，再将配置文件修改为从服务器配置
主LVS停止后，可以看到虚拟IP已经自动漂移到从LVS了，访问http://192.168.211.100:8080
显示正常

(3)恢复主服务器的keepAlived服务后，主服务器立刻接替了从服务器的工作，就不做截图了。

  • 测试WEB服务器，看能否正常提供服务

(1)先断掉WEB1，看下效果，ipvsadm中的服务器列表(ipvsadm -ln)，已经去掉了WEB1服务器(稍微有点时间延迟)，访问网页也只能访问到WEB2服务器了。

(2)开启WEB1，ipvsadm中的服务器列表中又重新加入了WEB1服务器

(3)开启WEB1，关掉WEB2。测试正常

总结

经过不断的测试，终于完成了这篇稿子，望大家能够指正。还有一点就是很多时候都是配置文件中的一些小毛病造成的，比如：

  1. keepAlived中的通知邮箱好像必须要写，否则不正确；
  2. keepAlived中的网卡设备要注意，按照服务器的实际情况填写；
  3. 使用时，必要的端口要打开，或者关掉防火墙。否则有事不提供服务；
  4. 一些命令行的执行，少一些参数执行就可能会有一些问题。
  5. LINUX系统的目录结构也头疼，要不断的熟悉，否则也让你故意弄混了。

注意

  1. 在服务器上执行ipvsadm -lcn命令时，可能列表为空，那是因为lvs管理器会自动清理超时连接，重新访问下虚拟IP地址即可看到链接列表
  2. 启动时错误提示：Interface queue is empty，应该是找不到配置文件，默认配置文件应放在/etc/keepalived/keepalived.conf

本文标题:LVS+KeepAlived高可用集群搭建

文章作者:北京大医同盟-技术部

发布时间:2016年10月22日 - 11时13分

最后更新:2017年12月06日 - 09时56分

原始链接:http://blog.cnlod.com/2016/10/22/linux-lvs/

许可协议: "署名-非商用-相同方式共享 3.0" 转载请保留原文链接及作者。

文章目录
  1. 1. LVS介绍
    1. 1.1. LVS集群三层结构
    2. 1.2. Keepalived作用
    3. 1.3. 系统环境说明
  2. 2. 安装部署
    1. 2.1. LVS层安装LVS和KeepAlived
    2. 2.2. WEB服务器WEB1_RealServer的配置
    3. 2.3. 服务器克隆
  3. 3. 负载和可用性测试
  4. 4. 总结
  5. 5. 注意