基于Corosync + Pacemaker+DRBD实现MySQL高可用集群

前言

在众多的高可用集群解决方案中,除了Heartbeat之外,Corosync也能提供类似于Heartbeat一样的功能,而且目前RedHat官方提供的高可用集群解决方案的程序包都以Corosync为主,所以今后Corosync会逐渐取代Heartbeat。本文带来的是基于Corosync + Pacemaker+DRBD的MySQL高可用集群解决方案。

相关介绍

Corosync

Corosync是从OpenAIS中分支出来的一个项目,它在传递信息的时候可以通过一个简单的配置文件来定义信息传递的方式和协议等。Corosync识别节点是通过authkey来实现的,不同于heartbeat v1 v2,Corosync的authkey是通过corosync-keygen命令生成的,具有更高的安全性。

Corosync目前有两个主流的版本:v1和v2,两个版本差别较大,v1没有有投票功能,需要借助cman实现,v2支持投票功能。

Pacemaker

Pacemaker是从heartbeat v3版本中分裂出来专门用于管理高可用集群的组件,功能十分强大。它利用集群基础构件(OpenAIS 或heartbeat)提供的消息和成员管理能力来探测并从节点或资源级别的故障中恢复,以实现群集服务(亦称资源)的最大可用性。

DRBD

DRBD是由内核模块和相关脚本而构成,用以构建高可用性的集群。其实现方式是通过网络来镜像整个设备。可以把它看作是一种网络RAID。

DRBD负责接收数据,把数据写到本地磁盘,然后发送给另一个主机,另一个主机再将数据存到自己的磁盘中。

下面是DRBD的系统结构图

drbd.jpg

高可用解决方案

实验拓扑

基于Corosync + Pacemaker+DRBD实现MySQL高可用集群.jpg

实验环境

node1:172.16.10.123 MariaDB DRBD CentOS6.6

node2:172.16.10.124 MariaDB DRBD CentOS6.6

VIP:192.168.1.121

配置过程

配置HA的前提:

时间同步、基于主机名互相通信、SSH互信

请确保两个节点时间同步,可用ntpdate向时间服务器同步

[root@node1 ~]# ntpdate cn.pool.ntp.org

基于主机名互相通信

[root@node1 ~]# vim /etc/hosts
 
172.16.10.123   node1.scholar.com node1
172.16.10.124   node2.scholar.com node2
 
[root@node1 ~]# vim /etc/sysconfig/network
HOSTNAME=node1.scholar.com
 
[root@node1 ~]# uname -n
node1.scholar.com
 
#两个节点都需如上操作

SSH互信

[root@node1 ~]# ssh-keygen -t rsa -P ''
[root@node1 ~]# ssh-copy-id -i .ssh/id_rsa.pub root@node2
[root@node2 ~]# ssh-keygen -t rsa -P ''
[root@node2 ~]# ssh-copy-id -i .ssh/id_rsa.pub root@node1
[root@node1 ~]# date; ssh node2 'date' #测试
Wed Jun 10 16:27:47 CST 2015
Wed Jun 10 16:27:47 CST 2015

安装所需程序包

#安装corosync + pacemaker,pacemaker依赖于corosync,会一并安装
[root@node1 ~]# yum install pacemaker -y 
#安装pacemaker配置接口,crmsh依赖于pssh,单独安装需解决依赖关系,需suse官方源
[root@node1 ~]# yum install crmsh  -y
#安装drbd
[root@node1 ~]# yum install gcc gcc-c++ glibc flex kernel-devel kernel-headers -y
[root@node1 ~]# tar xf drbd-8.4.3.tar.gz 
[root@node1 ~]# cd drbd-8.4.3
[root@node1 drbd-8.4.3]# ./configure --prefix=/usr --sysconfdir=/etc --localstatedir=/var --with-km
[root@node1 drbd-8.4.3]# make && make install
[root@node1 drbd-8.4.3]# modprobe drbd

#两个节点都执行以上操作

Corosync配置

修改配置文件

[root@node1 ~]# cd /etc/corosync/
[root@node1 corosync]# mv corosync.conf.example corosync.conf
[root@node1 corosync]# vim corosync.conf

# Please read the corosync.conf.5 manual page
compatibility: whitetank
totem {                           #心跳信息传递层
    version: 2                    #版本
    secauth: on                   #认证信息 
    threads: 0                    #线程
    interface {                   #定义心跳信息传递的接口
        ringnumber: 0
        bindnetaddr: 172.16.0.0   #绑定的网络地址,写网络地址
        mcastaddr: 226.94.1.1     #多播地址
        mcastport: 5405           #多播的端口
        ttl: 1                    #生存周期
    }
}
logging {                         #日志
    fileline: off
    to_stderr: no                 #是否输出在屏幕上
    to_logfile: yes               #定义自己的日志
    to_syslog: no                 #是否由syslog记录日志
    logfile: /var/log/cluster/corosync.log  #日志文件的存放路径
    debug: off
    timestamp: on                 #是否开启时间戳
    logger_subsys {
        subsys: AMF
        debug: off
    }
}
amf {
    mode: disabled
}
service {
     ver: 0
     name: pacemaker   #pacemaker作为corosync的插件进行工作
}
aisexec {
     user: root
     group: root
}

生成认证文件

[root@node1 corosync]# corosync-keygen
Corosync Cluster Engine Authentication key generator.
Gathering 1024 bits for key from /dev/random.
Press keys on your keyboard to generate entropy.
Press keys on your keyboard to generate entropy (bits = 736).
########此时拼命敲键盘产生随机数###########

将配置文件及认证文件同步给另一个节点

0.jpg

安装mysql

1.jpg

[root@node1 ~]# vim /etc/mysql/my.cnf 

datadir = /mydata/data
log-bin=/mydata/binlogs/

#两个节点都执行以上操作

DRBD配置

准备DRBD分区

[root@node1 ~]# fdisk sdb
Command (m for help): n
Command action
   e   extended
   p   primary partition (1-4)
p
Partition number (1-4): 1
First cylinder (1-2610, default 1): 
Using default value 1
Last cylinder, +cylinders or +size{K,M,G} (1-2610, default 2610): +10G

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.
[root@node1 ~]# partx -a /dev/sdb

#另一个节点也执行此操作

修改配置文件

[root@node1 ~]# vim /etc/drbd.d/global_common.conf

global {
        usage-count no;
        # minor-count dialog-refresh disable-ip-verification
}

common {
        protocol C;

        handlers {
                pri-on-incon-degr "/usr/lib/drbd/notify-pri-on-incon-degr.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";
                pri-lost-after-sb "/usr/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";
                local-io-error "/usr/lib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger ; halt -f";
                # fence-peer "/usr/lib/drbd/crm-fence-peer.sh";
                # split-brain "/usr/lib/drbd/notify-split-brain.sh root";
                # out-of-sync "/usr/lib/drbd/notify-out-of-sync.sh root";
                # before-resync-target "/usr/lib/drbd/snapshot-resync-target-lvm.sh -p 15 -- -c 16k";
                # after-resync-target /usr/lib/drbd/unsnapshot-resync-target-lvm.sh;
        }

        startup {
                #wfc-timeout 120;
                #degr-wfc-timeout 120;
        }

        disk {
                on-io-error detach;
                #fencing resource-only;
        }

        net {
                cram-hmac-alg "sha1";
                shared-secret "mydrbdlab";
        }

        syncer {
                rate 1000M;
        }
}

[root@node1 ~]# vim /etc/drbd.d/mydata.res
#定义一个资源/etc/drbd.d/mydata.res,内容如下
resource mydata {
  on node1 {
    device    /dev/drbd0;
    disk      /dev/sdb1;
    address   172.16.10.123:7789;
    meta-disk internal;
  }
  on node2 {
    device    /dev/drbd0;
    disk      /dev/sdb1;
    address   172.16.10.124:7789;
    meta-disk internal;
  }
}

将配置文件同步给另一个节点

2.jpg

初始化资源并启动服务

[root@node1 ~]# drbdadm create-md mydata
[root@node1 ~]# service drbd start

#两个节点都要执行以上操作

同步资源

3.jpg

#以上操作只在一个节点进行

格式化DRBD分区

4.jpg

#以上操作只在一个节点执行

挂载DRBD分区初始化数据库

5.jpg

[root@node1 ~]# /usr/local/mysql/scripts/mysql_install_db --user=mysql --datadir=/mydat
a/data/  --basedir=/usr/local/mysql

#初始化操作只执行一次即可

测试数据是否同步

6.jpg

在另一个节点上测试

7.jpg

8.jpg

数据同步成功,接下来关闭所有服务

9.jpg

#另一个节点也关闭服务,确保开机不会自启

配置corosync资源,实现高可用

定义DRBD资源

10.jpg

定义DRBD主从资源

11.jpg

定义mysql所需资源

12..jpg

定义组及各资源约束关系

13..jpg

查看所有资源信息

crm(live)configure# show

node node1.scholar.com
node node2.scholar.com
primitive mydrbd ocf:linbit:drbd \
        params drbd_resource=mydata \
        op monitor role=Master interval=10s timeout=20s \
        op monitor role=Slave interval=20s timeout=20s \
        op start timeout=240s interval=0 \
        op stop timeout=100s interval=0
primitive myfs Filesystem \
        params device="/dev/drbd0" directory="/mydata" fstype=ext4 \
        op monitor interval=20s timeout=60s \
        op start timeout=60s interval=0 \
        op stop timeout=60s interval=0
primitive myserver lsb:mysqld \
        op monitor interval=30s timeout=20s
primitive myvip IPaddr \
        params ip=192.168.1.121 \
        op monitor interval=30s timeout=20s
group myservice myvip myfs myserver
ms ms_mydrbd mydrbd \
        meta master-max=1 master-node-max=1 clone-max=2 clone-node-max=1 notify=true
colocation myfs_with_ms_mydrbd_master inf: myfs ms_mydrbd:Master
colocation myserver_with_myfs inf: myserver myfs
order myfs_after_ms_mydrbd_master Mandatory: ms_mydrbd:promote myfs:start
property cib-bootstrap-options: \
        dc-version=1.1.11-97629de \
        cluster-infrastructure="classic openais (with plugin)" \
        expected-quorum-votes=2 \
        stonith-enabled=false \
        no-quorum-policy=ignore \
        last-lrm-refresh=1434014581

查看集群运行状态

14.jpg

授权一个远程用户做测试

15.jpg

在其他主机登陆测试

16.jpg

此时模拟主节点故障

17.jpg

此时,资源被转移到了node2上,继续用远程主机登陆测试

18.jpg

数据没有受到任何影响,高可用目的实现,至此,基于Corosync + Pacemaker+DRBD的MySQL高可用集群实验完成

The end

本次实验就进行到这里了,实验过程出现了一个奇葩问题,至今不知何故,朋友们如果配置过程中遇到问题欢迎留言交流。以上仅为个人学习整理,如有错漏,大神勿喷~~~

原创文章,作者:书生,如若转载,请注明出处:http://www.178linux.com/5261

(0)
书生书生
上一篇 2015-06-11
下一篇 2015-06-12

相关推荐

  • bash功能特性四 文件名通配符

    文件名通配(globbing)     通配符在bash中是一个非常有用的功能,它可以使我们更加方便的查找符合特定条件的文件。     文件通配符的包括以下几种:          *:任意长度的任意…

    Linux干货 2015-04-21
  • 通络通信

    网络详解: 网络的osi层次结构: 物理层: 以太网规定,连入网络的所有设备,都必须具有”网卡”接口。数据包必须是从一块网卡,传送到另一块网卡。 网卡的地址,就是数据包的发送地址和接收地址,这叫做MAC地址。 每块网卡出厂的时候,都有一个全世界独一无二的MAC地址,长度是48个二进制位,通常用12个十六进制数表示。 前6个十六进制数是厂商编号,后6个是该厂商…

    Linux干货 2016-09-02
  • 一波三折的尝试,windows下通过VMware虚拟机安装windows操作系统

    已经尝试过多次VMware下linux系统的安装,均安装正常,同样环境下安装windows系统会发生什么情况,首先选择的是windows10系统,然而在安装过程中,iso镜像光盘一直无法挂载,在经历更换iso镜像,更换另一台电脑之后,初步判定问题为win10系统iso镜像顺坏,因为同样环境用win7的镜像却能正常挂载,且正常启动到安装系统界面…..
    但是,问题真的会是这样吗?

    2018-03-27
  • Linux命令date命令详解

    在linux环境中,熟练运用date命令来表示自己想要表示的时间,肯定可以给自己的工作带来诸多方便,下面是详细的使用说明和示例 在linux环境中,不管是编程还是其他维护,时间是必不可少的,也经常会用到时间的运算,熟练运用date命令来表示自己想要表示的时间,肯定可以给自己的工作带来诸多方便。 1.命令格式:date[参数]… [+格式] 2.命…

    2017-07-18
  • class-6 用户组管理(二) 权限管理

                      一、用户组管理  1、设置修改用户密码密码      设置密码     passwd [OPT…

    Linux干货 2016-08-05
  • Homework Week-8 网络及脚本编程

    1、请描述网桥、集线器、二层交换机、三层交换机、路由器的功能、使用场景与区别。 设备 功能 使用场景 网桥 用于连接不同网段,将相似的网络连接起来,隔离信息。 连接不同部门间的局域网;连接地理位置分散并且相距较远的局域网,可以增加工作的物理距离;采用由网桥连接的多个局域网调节负载;网桥可以设置在局域网的关键部位,防止单点失常而破坏整个系统等。 集线器 对接收…

    Linux干货 2016-10-09