分布式文件系统MogileFS

nene • • Linux干货

１、分布式系统的目标：加强A、P，在C上进行妥协     BASE模型

CAP理论：

C：Consistency（一致性）  任何一个读操作总是能够读取之前完成的写操作。

A：Availability（可用性） 每一次操作总是能够在确定的时间返回。

P： Partition Tolerance ( 分区容错性 )   在出现网络分区的情况下，仍然能够满足一致性和可用性。

ＢASE模型

ＢA：基本可用　　　Ｓ：接受一段时间内不一致　　　Ｅ：最终一致性

Ｎ节点个数　　　　Ｗ写的节点数　　　Ｒ读的节点数

W + R > N  —->  强一致性(通常N=3，W=R=2)

W=N，R=1   —->  最佳读

W=1，R=N   —->  最佳写

W + R <= N —->  弱一致性

强一致性(ACID)  ：   在单机环境中，强一致性可以由数据库的事务来保证；在分布式环境中，强一致性很难做到，即便是做到也会因为分布式事物所带来的性能低下，不适合在互联网的环境中应用。

弱一致性(包括最终一致性)  ：  系统不能保证后续访问返回最新的值，在访问到最新值之前这段时间称之为 不一致窗口   。

最终一致性  ：是弱一致性的一种特例，存储系统保证如果对象有多次更新，在渡过 不一致窗口   之后必将放回最后更新的值。

服务器的一致性  ：  N  代表节点的个数；  W  代表更新的时候需要确认已经被更新的节点个数； R  代表读取数据需要的节点数量。

２、分布式存储或分布式文件系统

１） 集中式：
共享存储：NAS、SAN
２） 分布式存储：
有专用的元数据节点：集中元数据存储，数据节点只负责存储数据
无专用元数据几点：所有数据节点均完整存储元数据，存储了部分数据
分布式：
文件系统：有文件系统接口：一般挂载使用
存储：无文件系统接口，通过API访问

常见的分布式文件系统：
GFS:Google File System GFS擅长处理单个大文件 。
HDFS:Hadoop Distributed File System  根据GFS思想开发的，擅长处理单个大文件 ，使用场景，数据不太多的大文件。
TFS:Taobao File System 淘宝开源的文件系统，擅长处理海量小文件，适用于大规模场景。将元数据存储于关系型数据库或其他高性能存储中，从而能维护海量文件元数据。
GlusterFS:去中心化设计，无专用数据节点，擅长处理单个大文件
ceph:整合到linux内核实现的文件系统，已经被收录在内核，是一个 Linux PB级别的分布式文件统。

MogilesFS:MogileFS是一个开源的分布式文件系统，用于组建分布式文件集群

3、ＭogileFS

MogileFS特性:

1) 应用层提供服务，不需要使用核心组件

2）无单点失败，主要有三个组件组成，分为tracker（跟踪节点）、mogstore（存储节点）、database（数据库节点）

3）自动复制文件，复制文件的最小单位不是文件，而是class

4）传输中立，无特殊协议，可以通过NFS或HTTP实现通信

5）简单的命名空间：没有目录，直接存在与存储空间上，通过域来实现

6）不用共享任何数据

MogileFS的组成：
1) server：主要包括mogilefsd和mogstored两个应用程序。mogilefsd实现的是tracker，它通过数据库来保存元数据信息，包括站点domain、class、 host等；mogstored是存储节点(store node)，它其实是个WebDAV服务，默认监听在7500端口，接受客户端的文件存储请求。在MogileFS安装完后，要运行mogadm工具将所有的store node注册到mogilefsd的数据库里，mogilefsd会对这些节点进行管理和监控。

2) utils（工具集）：主要是MogileFS的一些管理工具，例如mogadm等。

3) 客户端API：MogileFS的客户端API很多，例如Perl、PHP、Java、Python等，用这个模块可以编写客户端程序，实现文件的备份管理功能等。

配置MogileFS

环境：

node1：192.168.1.32      nginx反代，支持MogileFS模块

node2：192.168.1.33       traceker+mogstored+database节点

node3：192.168.1.35       traceker+mogstored节点

node4：192.168.1.47       traceker+mogstored节点

【node2&3&4】

安装mogileFS

# yum install perl-Sys-Syslog perl-Net-Netmask perl-IO-AIO
# yum install MogileFS-Server-2.46-2.el6.noarch.rpm
MogileFS-Server-mogilefsd-2.46-2.el6.noarch.rpm
MogileFS-Server-mogstored-2.46-2.el6.noarch.rpm
MogileFS-Utils-2.19-1.el6.noarch.rpm
perl-Danga-Socket-1.61-1.el6.rf.noarch.rpm
perl-MogileFS-Client-1.14-1.el6.noarch.rpm
perl-Perlbal-1.78-1.el6.noarch.rpm –y

【node2】

Database节点：安装mariadb

# vim /etc/my.cnf

innodb_file_per_table=ON
skip_name_resolve=ON

# systemctl start mariadb.service

# mysql

    > GRANT ALL ON *.* TO 'root'@'192.168.1.%' IDENTIFIED BY 'queen';

    > CREATE DATABASE mogilefs;

    > GRANT ALL ON mogilefs.* TO 'moguser'@'192.168.1.%' IDENTIFIED BY 'mogpass';

# mogdbsetup --dbhost=192.168.1.32  --dbrootpass='queen' --dbuser='moguser' --dbpass='mogpass'

# mysql

MariaDB [mogilefs]> use mogilefs;

Database changed

MariaDB [mogilefs]> SHOW TABLES;

+----------------------+
| Tables_in_mogilefs   |
+----------------------+
| checksum             |
| class                |
| device               |
| domain               |
| file                 |
| file_on              |
| file_on_corrupt      |
| file_to_delete       |
| file_to_delete2      |
| file_to_delete_later |
| file_to_queue        |
| file_to_replicate    |
| fsck_log             |
| host                 |
| server_settings      |
| tempfile             |
| unreachable_fids     |
+----------------------+
17 rows in set (0.00 sec)

设置Tracker节点

# vim /etc/mogilefs/mogilefsd.conf

     daemonize = 1
     pidfile = /var/run/mogilefsd/mogilefsd.pid
     db_dsn = DBI:mysql:mogilefs:host=192.168.1.32
     db_user = moguser
     db_pass = mogpass
     listen = 0.0.0.0:7001
     conf_port = 7001
     query_jobs = 10
     delete_jobs = 1
     replicate_jobs = 5
     reaper_jobs = 1

# systemctl start mogilefsd.service

# ss -tnl

State      Recv-Q Send-Q Local Address:Port               Peer Address:Port             

LISTEN     0      128           *:7001                      *:*                 

【node2&3&4】

storage节点：mogstored

# mkdir -pv /data/mogilefs/dev1

# chown -R mogilefs.mogilefs /data/mogilefs/

# vim /etc/mogilefs/mogstored.conf

docroot = /data/mogilefs

# vim /etc/rc.d/init.d/mogstored

pidfile=/var/run/mogilefsa/mogstored.pid

 [ $RETVAL = 0 ] && success && touch ${lockfile} && echo $(pidof mogstored) > ${pidfile}  || failure      

 [ $RETVAL = 0 ] && success && rm -f ${lockfile} ${pidfile} || failure

# systemctl daemon-reload

# service mogstored restart

# ss -tnl

State      Recv-Q Send-Q Local Address:Port               Peer Address:Port             

LISTEN     0      128           *:7500                      *:*                  

LISTEN     0      128           *:7501                      *:*     

【node2】
添加存储节点:

# mogadm –trackers=192.168.1.33:7001 host add 192.168.1.33 -ip=192.168.1.33 –status=alive
# mogadm –trackers=192.168.1.33:7001 host add 192.168.1.35 -ip=192.168.1.35 –status=alive
# mogadm –trackers=192.168.1.33:7001 host add 192.168.1.47 -ip=192.168.1.47 –status=alive

添加存储设备：
# mogadm –trackers=192.168.1.33:7001 device add 192.168.1.33 1   设备号唯一不可重名
# mogadm –trackers=192.168.1.33:7001 device add 192.168.1.35 2
# mogadm –trackers=192.168.1.33:7001 device add 192.168.1.47 3

添加域

# mogadm domain add files 
# mogadm domain add images

添加class类

# mogadm class add images png 
# mogadm class add images jpeg
# mogadm class add files text 
# mogadm class add files html

上传文件测试：
# mogupload –trackers=192.168.1.33:7001 –domain=files –key='fstab.txt' –file=/etc/fstab –class=text

mogilefs状态查询：

# mogstats –db_dsn="DBI:mysql:mogilefs:host=192.168.1.33" –db_user="moguser" –db_pass="mogpass" --verbose --stats="devices.file"

列出images域下所有key

# moglistkeys –trackers=192.168.1.33:7001 –domain=images

删除domain流程:

# mogdelete –trackers=192.168.1.33:7001 –domain=images –key=linux.jpg

# mogadm class delete images jpeg

# domain delete images

【node1】
Nginx做MogileFS的前端客户端

(1)编译安装nginx和nginx的mogilefs模块

# yum install "开发工具“ ”服务开发平台“ -y
# tar xf  tengine-2.1.1.tar.gz 
# tar xf nginx_mogilefs_module-1.0.2.tar.gz
# cd tengine-2.1.1
# groupadd -r nginx  
# useradd -r -g nginx nginx
# yum install pcre-devel openssl-devel
# ./configure –prefix=/usr –sbin-path=/usr/sbin/nginx –conf-path=/etc/nginx/nginx.conf 
–error-log-path=/var/log/nginx/error.log –http-log-path=/var/log/nginx/access.log 
–pid-path=/var/run/nginx/nginx.pid  –lock-path=/var/lock/nginx.lock –user=nginx –group=nginx 
–with-http_ssl_module –with-http_flv_module –with-http_stub_status_module –with-http_gzip_static_module
–with-pcre --with-debug –add-module=../nginx_mogilefs_module-1.0.2
# make
  注意：由于不确定因素，在centos7上编译时，可能会出现"warning:variable 'pclcf'set but not used 
[-Wunused-but-set-variable]一类的错误，可通过修改objs/Makefile文件，删除-Werror来忽略此错误
# make install

(2)提供配置脚本：

#!/bin/sh
#
# nginx – this script starts and stops the nginx daemon
#
# chkconfig:   – 85 15
# description:  Nginx is an HTTP(S) server, HTTP(S) reverse \
#               proxy and IMAP/POP3 proxy server
# processname: nginx
# config:      /etc/nginx/nginx.conf
# config:      /etc/sysconfig/nginx
pidfile=/var/run/nginx/nginx.pid

# Source function library.
. /etc/rc.d/init.d/functions

# Source networking configuration.
. /etc/sysconfig/network

# Check that networking is up.
[ “$NETWORKING” = “no” ] && exit 0

nginx=”/usr/local/nginx/sbin/nginx”
prog=$(basename $nginx)

NGINX_CONF_FILE=”/etc/nginx/nginx.conf”

[ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx

lockfile=/var/lock/subsys/nginx

make_dirs() {
# make required directories
user=`nginx -V 2>&1 | grep “configure arguments:” | sed ‘s/[^*]*–user=\([^ ]*\).*/\1/g’ -`
options=`$nginx -V 2>&1 | grep ‘configure arguments:’`
for opt in $options; do
if [ `echo $opt | grep ‘.*-temp-path’` ]; then
value=`echo $opt | cut -d “=” -f 2`
if [ ! -d “$value” ]; then
# echo “creating” $value
mkdir -p $value && chown -R $user $value
fi
fi
done
}

start() {
[ -x $nginx ] || exit 5
[ -f $NGINX_CONF_FILE ] || exit 6
make_dirs
echo -n $”Starting $prog: ”
daemon $nginx -c $NGINX_CONF_FILE
retval=$?
echo
[ $retval -eq 0 ] && touch $lockfile
return $retval
}

stop() {
“/etc/init.d/nginx” 126L, 2529C
stop
sleep 1
start
}

reload() {
configtest || return $?
echo -n $”Reloading $prog: ”
killproc $nginx -HUP
RETVAL=$?
echo
}

force_reload() {
restart
}

configtest() {
$nginx -t -c $NGINX_CONF_FILE
}

rh_status() {
status $prog
}

rh_status_q() {
rh_status >/dev/null 2>&1
}

case “$1″ in
start)
rh_status_q && exit 0
$1
;;
stop)
rh_status_q || exit 0
$1
;;
restart|configtest)
$1
;;
reload)
rh_status_q || exit 7
$1
;;
force-reload)
force_reload
;;
status)
rh_status
;;
condrestart|try-restart)
rh_status_q || exit 0
;;
*)
echo $”Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}”
exit 2
esac

# systemctl start nginx.service

# cd /etc/nginx

# cp nginx.cong{,.bak}

# vim nginx.conf
   location /images/ {
         mogilefs_tracker 192.168.1.33;
         mogilefs_domain images;
         mogilefs_methods GET;
         mogilefs_noverify  on;         不校验
         mogilefs_pass  {
                proxy_pass    $mogilefs_path;
                proxy_hide_header   Content-Type;
                proxy_buffering   off;         关闭缓冲
         }
    }
# nginx -t
# systemctl reload nginx.service

测试：
# mogupload –trackers=192.168.1.33:7001 –domain=images  –key='1.jpg'  –file='/images/1.jpg' --class=jpeg

访问192.168.1.33/images/1.jpg

 




                                                        
原创文章，作者：nene，如若转载，请注明出处：http://www.178linux.com/88860
                        


                        

                        

                            
 赞 (0)

                                                    


                        

                            

                                                                    

                                                                                
                                            nenenene                                        
                                    

                                                                

                                    

                                                                                 0                                                                            

                                    
                                    

                                        
                                    

                                

                            

                        

                    

                                            

                    

                
                

                     上一篇
                    2017-11-23
                

            

                            

                
                

                    下一篇 
                    2017-11-23
                

            

            

                    
                                            

                            
相关推荐
  • 
        
    
                
    
            
                                 如何在 Linux 下大量屏蔽恶意 IP 地址            
        
    
        
    
            
    很多情况下，你可能需要在Linux下屏蔽IP地址。比如，作为一个终端用户，你可能想要免受间谍软件或者IP追踪的困扰。或者当你在运行P2P软件时。你可能想要过滤反P2P活动的网络链接。如果你是一名系统管理员，你可能想要禁止垃圾IP地址访问你们的公司邮件服务器。或者你因一些原因想要禁止某些国家访问你的web服务。在许多情况下，然而，你的IP地址屏蔽列表可能会很快…
    
        
    
        
    
                                            Linux干货
                            2015-02-26
            
    
                            
    
        
    
    
    

    • 

  • 
        
    
                
    
            
                                 N25第三周博客作业            
        
    
        
    
            
    第三周博客作业： 1、列出当前系统上所有已经登录的用户的用户名，注意：同一个用户登录多次，则只显示一次即可。 2、取出最后登录到当前系统的用户的相关信息。                  …
    
        
    
        
    
                                            Linux干货
                            2016-12-12
            
    
                            
    
        
    
    
    

    • 

  • 
        
    
                
    
            
                                 corosync的高可用——高可用mariadb数据库            
        
    
        
    
            
    corosync, pacemaker，nfs高可用mariadb 实验环境： 4台CentOS 7 的主机，并关闭的iptalbes和selinux功能 主机1：10.1.43.101 node1 corosync+pacemaker+amp 主机2：10.1.43.102 node2 corosync+pacemaker+amp 主机3：10.1.43.…
    
        
    
        
    
                                            Linux干货
                            2016-11-24
            
    
                            
    
        
    
    
    

    • 

  • 
        
    
                
    
            
                                 处理文本的工具sed，vim 编辑器的使用   Linux版            
        
    
        
    
            
    处理文本的工具sed Stream EDitor 行编辑器 sed一次处理一行的内容，处理时，将当前处理的行存储在临时缓冲区，称为“模式空间”，接着用sed命令处理缓冲区中的内容，处理完成后，将缓冲区的内容送往屏幕，接着处理下一行不断重复，直到末尾。            一次处理一行 文件&#82…
    
        
    
        
    
                                            Linux干货
                            2016-08-11
            
    
                            
    
        
    
    
    

    • 

  • 
        
    
                
    
            
                                 文件管理            
        
    
        
    
            
    compress：压缩命令 -d:解压缩（=uncompress） -c:结果输出到标准输出，不删除原文件 -v：显示详情 zcat：不解压文件查看内容   gzip：压缩命令 -d:解压缩 -c:结果输出到标准输出，不删除原文件 -#：1-9代表压缩比，默认为6 zcat：不解压文件查看内容   bzip2：压缩命令 -k：保留原文件 …
    
        
    
        
    
                                            Linux干货
                            2016-08-18
            
    
                            
    
        
    
    
    

    • 

  • 
        
    
                
    
            
                                 Linux基础与命令解释            
        
    
        
    
            
    Linux基础与命令 Linux起源      1984 年：Richard Stallman 发起GNU 项目和自由软件基金会 创建开源的UNIX 实用工具版本 创建通用公共许可证（GPL） ） 开源软件许可实施原则  1991 年：Linus Torvalds 发布Linux 创建开放源码，类Unix 的内核，在GPL 下发布 下…
    
        
    
        
    
                                            Linux干货
                            2017-03-17
            
    
                            
    
        
    
    
    

    • 

                        

                                    

                    

            
    




            

                                                    

                                                                    

                                    

                                                                    

                            

                    

                                    

                                                    
                                                                电话咨询
                            
                                            

                                    

                                                    
                                                                在线咨询