推荐-BtrFS学习总结

一、原理介绍
1.可扩展性
2.数据一致性的相关特性
3.多设备管理及快照
二、命令介绍与实战
1.命令介绍
2.命令实战
1)环境准备,添加3块磁盘/dev/sd{b,c,d}如下:
2)创建btrfs文件系统
3)查看已创建的btrfs文件系统
4)挂载btrfs文件系统,启用压缩功能
5)在线调整文件系统大小
6)往当前btrfs文件系统添加设备,以达到在线扩容扩容目的
7)执行chunk重新均衡
8)修改chunk的profile属性
9)输出btrfs文件系统简要信息
10)拆除设备
11)创建子卷
12)单独挂载子卷
13)创建快照
14)删除子卷和快照
15)btrfs与ext4文件系统之间相互转换

一、原理介绍

BtrFS(B-tree文件系统,又称为Butter FS或Better FS),2007由oracle开源后,得到了IBM、intel等厂商的大力支持,其目标计划是替代linux目前的ext3/4,成为下一代linux标准的文件系统。 
支持写时复制(CoW)、快照、在线扩容缩容、数据checksum、subvolume、磁盘阵列(raid)等,运行在linux上,并遵循GPL协议的强大文件系统。在2014年8月发布了稳定版。 
其特性大致归纳为以下几点:

1.可扩展性

0.08496195287443697.png

主要表现在两个方面: 
  1)ext系列文件系统使用块位图来保存每个块空闲与否的信息(每个块用一个位来表示是否空闲),当容量扩展时,块位图所占的空间会线性的增加,试想一下如果快位图变得很大时,那么查找空闲块就需要大量的时间;BtrFS管理磁盘空间的最小单位是extent,一个extent由一组连续的block组成,extent由extent树进行管理,因此相比ext系列10个块需要10个bit来表示,btrfs只需要一个extent就可以,因此减少了元数据的量。对于大文件,extent表现出更加优异的管理性能。 
  2)ext系统inode是预分配的且大小固定,比如,100G的分区中,inode table只能存放131072个inode,意味着不可能创建131072个文件;同时, inode分配过小,容易导致磁盘空间无法充分利用,过大,容易造成磁盘空间浪费;btrfs为了解决这个问题,使用了动态分配inode,如下图,每个inode只是FS tree中的一个节点,用户可以无限制地任意插入新的inode,其物理存储位置是动态分配的,所以没有对文件个数的限制。 
btrfs btree0.06710084876976907.png

FS Tree:管理文件相关的元数据,如inode、dir等 
Chunk Tree:管理设备,每个磁盘设备都在Chunk Tree中有一个item 
Extent Tree:管理磁盘空间的分配 
checksum Tree:保存数据块的校验和

2.数据一致性的相关特性

btrfs的数据一致性是通过COW(Copy On Write)事务来保证的,所谓COW,即每次写磁盘数据时,先当前块数据复制到一个新块,然后在新块上进行更新写入,当新块写入完成时,只需将原来指向旧块的指针指向新块。 
所谓的事务就是要保证一个操作的原子性(假设一个操作由多个步骤组成,只有所有步骤都成功这个操作才算成功,否则只要其中一个步骤失败,则整个操作失败,那么整个数据都要回滚到操作前的相同状态) 
COW只能保证单一数据更新的原子性,但文件系统中很多操作需要更新多个不同的元数据,如何保证这些操作的原子性呢?下面以创建一个文件为例说明,创建一个文件需要设计到如下操作: 
1) 修改extent数,分配一段磁盘空间 
2) 创建一个新的inode,并插入到FS树 
3) 增加一个目录项,插入到FS数 
因此需要将上面的3个操作当成一个事务整体来处理,只要其中一个操作失败,文件便不能创建成功。过程如下: 
推荐-BtrFS学习总结 ed85aadd-9262-4152-9280-07edcddfd260.jpg

A是FS树的根节点,新的inode信息将被插入节点C。首先,btrfs使用COW将inode插入一个新分配的C‘中,并修改上层节点B,使其指向新的C’,从而B也产生COW节点B‘,以此类推一直连锁反应到根节点A’,此时因为事务还没有完成,superblock依然指向A 
推荐-BtrFS学习总结 f5f609c6-faff-4212-a188-bbb9777cb3bb.jpg

修改目录项E,引发相同的过程 
推荐-BtrFS学习总结85e27a81-a9a8-4366-bc4d-1231d20735e9.jpg

最后commit事务,superblock指向新块 

55bcdfb5-bb32-41be-af29-cbbaaf00489b.jpg推荐-BtrFS学习总结 
假设上面某个过程操作失败或中途断电也不会影响superblock的原来指向,数据依然是操作前的状态,从而保证了事务的完整性和文件系统的一致性。 
btrfs的另一特点是使用checksum来保证数据的可靠性,假设从磁盘读取一个块数据,可以通过比较其checksum来判断数据是否完整,其他文件系统在文件系统级别上是无法得知数据是否损坏的;同时由于checksum数据存储在checksum树的节点上,与块数据是分开管理的,这样的好处是能避免checksum和数据保存在同一个块的时候,文件系统上层获取了一个错误位置的块时无从得知(因为checksum只计算块数据是否完整而不是数据应该存在哪个块,只要块内数据并无损坏,checksum永远都是正确的)。

3.多设备管理及快照

  • btrfs可以跨越多个物理磁盘设备,动态的增加/减少设备来达到扩容/缩容的目的,技术上还支持(raid0、raid1、raid5、raid10等特性)

  • 可以利用COW技术创建卷级别和文件级别的快照

  • 支持在一个文件系统(或逻辑卷)上创建子卷,并没有层级限制,并且所有卷的空间大小都是可以动态调整的。其应用场景是可以为每个用户分配一个单独隔离的卷空间,来达到权限控制和配额管理的目的。 
    理论部分就介绍那么多,下面咱们开始实战(操作基于centos7.2):

二、命令介绍与实战

1.命令介绍

btrfs文件系统使用btrfs命令来管理,其使用格式如下:
btrfs <command> [<args>]
<command>:    
    balance: 用于均衡单个或多个设备间的chunk;以及转换其属性    
    check:用于离线检查    
    device:用于管理设备,包括设备的增加、删除、扫描等    
    filesystem:管理文件系统,包含标签设置/同步等    
    inspect-internal:给开发者用来调试的工具    
    property:获取和设置btrfs对象的属性    
    qgroup:管理配额组    
    quota:管理配额,如启动配额、重新扫描配置等    
    receive:还原时,用于从标准输入或file中接收子卷数据    
    replace:替换设备    
    rescue:尝试修复损坏的文件系统    
    restore:在文件系统非挂载状态下,尝试还原损坏的btrfs文件系统    
    scrub:用来修复文件系统错误的,会读取文件系统所有的数据以及其校验和    
    send:备份时,用于发送子卷数据到文件或标准输出    
    subvolume:创建、删除、列出、管理子卷或快照

2.命令实战

1)环境准备,添加3块磁盘/dev/sd{b,c,d}如下:
[root@centos7-template ~]# parted -l | grep -i '^disk /dev/sd.'
Disk /dev/sda: 129GB
Disk /dev/sdb: 21.5GB
Disk /dev/sdc: 21.5GB
Disk /dev/sdd: 21.5GB
2)创建btrfs文件系统
[root@centos7-template ~]# mkfs.btrfs -L "mydata" -d raid0 /dev/sd{b,c}
btrfs-progs v3.19.1
See http://btrfs.wiki.kernel.org for more information.
Turning ON incompat feature 'extref': increased hardlink limit per file to 65536
Turning ON incompat feature 'skinny-metadata': reduced-size metadata extent refs
adding device /dev/sdc id 2
fs created label mydata on /dev/sdb
        nodesize 16384 leafsize 16384 sectorsize 4096 size 40.00GiB

-L: 指定卷标 
-d:指定data profile,可选的profile为:raid0/1/5/6/10,dup,single

3)查看已创建的btrfs文件系统
[root@centos7-template ~]# btrfs filesystem show
Label: 'mydata'  uuid: 7f0ca4e4-1823-4cf1-87d4-44a5190ed32a
        Total devices 2 FS bytes used 112.00KiB
        devid    1 size 20.00GiB used 2.03GiB path /dev/sdb
        devid    2 size 20.00GiB used 2.01GiB path /dev/sdc
btrfs-progs v3.19.1
[root@centos7-template ~]# blkid /dev/sdb /dev/sdc
/dev/sdb: LABEL="mydata" UUID="7f0ca4e4-1823-4cf1-87d4-44a5190ed32a" UUID_SUB="f616f8a1-7fc1-433b-8377-9d598328cd5b" TYPE="btrfs" 
/dev/sdc: LABEL="mydata" UUID="7f0ca4e4-1823-4cf1-87d4-44a5190ed32a" UUID_SUB="ba63683b-3443-4627-bfe3-7908ee910b0c" TYPE="btrfs"
4)挂载btrfs文件系统,启用压缩功能
[root@centos7-template ~]# mount -t btrfs -o compress=lzo /dev/sdb /mnt
[root@centos7-template ~]# df -Th
文件系统                                  类型      容量  已用  可用 已用% 挂载点
/dev/mapper/centos_centos7--template-root xfs        50G  2.0G   48G    4% /
devtmpfs                                  devtmpfs  480M     0  480M    0% /dev
tmpfs                                     tmpfs     489M     0  489M    0% /dev/shm
tmpfs                                     tmpfs     489M  6.7M  483M    2% /run
tmpfs                                     tmpfs     489M     0  489M    0% /sys/fs/cgroup
/dev/mapper/centos_centos7--template-home xfs        68G   33M   68G    1% /home
/dev/sda1                                 xfs       497M  123M  375M   25% /boot
tmpfs                                     tmpfs      98M     0   98M    0% /run/user/0
/dev/sdb                                  btrfs      40G   17M   38G    1% /mnt
5)在线调整文件系统大小
[root@centos7-template ~]# btrfs filesystem resize -10G /mnt
Resize '/mnt' of '-10G'
[root@centos7-template ~]# df -Th
文件系统                                  类型      容量  已用  可用 已用% 挂载点
/dev/mapper/centos_centos7--template-root xfs        50G  2.0G   48G    4% /
devtmpfs                                  devtmpfs  480M     0  480M    0% /dev
tmpfs                                     tmpfs     489M     0  489M    0% /dev/shm
tmpfs                                     tmpfs     489M  6.7M  483M    2% /run
tmpfs                                     tmpfs     489M     0  489M    0% /sys/fs/cgroup
/dev/mapper/centos_centos7--template-home xfs        68G   33M   68G    1% /home
/dev/sda1                                 xfs       497M  123M  375M   25% /boot
tmpfs                                     tmpfs      98M     0   98M    0% /run/user/0
/dev/sdb                                  btrfs      30G   17M   18G    1% /mnt
[root@centos7-template ~]# btrfs filesystem resize +10G /mnt
Resize '/mnt' of '+10G'
[root@centos7-template ~]# df -Th
文件系统                                  类型      容量  已用  可用 已用% 挂载点
/dev/mapper/centos_centos7--template-root xfs        50G  2.0G   48G    4% /
devtmpfs                                  devtmpfs  480M     0  480M    0% /dev
tmpfs                                     tmpfs     489M     0  489M    0% /dev/shm
tmpfs                                     tmpfs     489M  6.7M  483M    2% /run
tmpfs                                     tmpfs     489M     0  489M    0% /sys/fs/cgroup
/dev/mapper/centos_centos7--template-home xfs        68G   33M   68G    1% /home
/dev/sda1                                 xfs       497M  123M  375M   25% /boot
tmpfs                                     tmpfs      98M     0   98M    0% /run/user/0
/dev/sdb                                  btrfs      40G   17M   38G    1% /mnt
6)往当前btrfs文件系统添加设备,以达到在线扩容扩容目的
[root@centos7-template ~]# btrfs device add /dev/sdd /mnt
#查看挂载点信息
[root@centos7-template ~]# btrfs device usage -h /mnt
/dev/sdb, ID: 1
   Device size:            20.00GiB
   Data,RAID0:              1.00GiB
   Metadata,single:         8.00MiB
   Metadata,RAID1:          1.00GiB
   System,single:           4.00MiB
   System,RAID1:            8.00MiB
   Unallocated:            17.98GiB
/dev/sdc, ID: 2
   Device size:            20.00GiB
   Data,RAID0:              1.00GiB
   Metadata,RAID1:          1.00GiB
   System,RAID1:            8.00MiB
   Unallocated:            17.99GiB
/dev/sdd, ID: 3
   Device size:            20.00GiB
   Unallocated:            20.00GiB
7)执行chunk重新均衡
[root@centos7-template ~]# btrfs balance start /mnt
Done, had to relocate 5 out of 5 chunks
8)修改chunk的profile属性
[root@centos7-template ~]# btrfs balance start -f -mconvert=raid1 /mnt
Done, had to relocate 2 out of 3 chunks
[root@centos7-template ~]# btrfs balance start -f -sconvert=raid1 /mnt 
Done, had to relocate 1 out of 3 chunks
[root@centos7-template ~]# btrfs balance start -f -dconvert=raid1 /mnt 
Done, had to relocate 1 out of 3 chunks
9)输出btrfs文件系统简要信息
[root@centos7-template ~]# btrfs filesystem df -h /mnt      
Data, RAID1: total=1.00GiB, used=512.00KiB
System, RAID1: total=32.00MiB, used=16.00KiB
Metadata, RAID1: total=1.00GiB, used=112.00KiB
GlobalReserve, single: total=16.00MiB, used=0.00B
10)拆除设备
[root@centos7-template ~]# btrfs device delete /dev/sdd /mnt
[root@centos7-template ~]# btrfs filesystem show /mnt
Label: 'mydata'  uuid: 7f0ca4e4-1823-4cf1-87d4-44a5190ed32a
        Total devices 2 FS bytes used 448.00KiB
        devid    1 size 20.00GiB used 1.28GiB path /dev/sdb
        devid    2 size 20.00GiB used 1.28GiB path /dev/sdc
btrfs-progs v3.19.1
11)创建子卷
[root@centos7-template ~]# btrfs subvolume create /mnt/tmp
Create subvolume '/mnt/tmp'
[root@centos7-template ~]# ls /mnt
tmp
[root@centos7-template ~]# btrfs filesystem show
Label: 'mydata'  uuid: 7f0ca4e4-1823-4cf1-87d4-44a5190ed32a
        Total devices 2 FS bytes used 464.00KiB
        devid    1 size 20.00GiB used 1.28GiB path /dev/sdb
        devid    2 size 20.00GiB used 1.28GiB path /dev/sdc
btrfs-progs v3.19.1
#查看子卷的摘要信息,此时可看到子卷的初始容量为1G
[root@centos7-template ~]# btrfs filesystem df -h /mnt/tmp
Data, RAID1: total=1.00GiB, used=320.00KiB
System, RAID1: total=32.00MiB, used=16.00KiB
Metadata, RAID1: total=256.00MiB, used=128.00KiB
GlobalReserve, single: total=16.00MiB, used=0.00B
#查看子卷id及path
[root@centos7-template ~]# btrfs subvolume list /mnt/tmp
ID 263 gen 67 top level 5 path tmp
#列出当前所有子卷的id及path
[root@centos7-template ~]# btrfs subvolume list /mnt
ID 263 gen 67 top level 5 path tmp
#通过路径查看卷信息
[root@centos7-template ~]# btrfs subvolume show /mnt
/mnt is btrfs root
[root@centos7-template ~]# btrfs subvolume show /mnt/tmp
/mnt/tmp
        Name:                   tmp
        uuid:                   0e6af78b-849f-a84e-9529-3280ec096201
        Parent uuid:            -
        Creation time:          2016-06-02 20:42:09
        Object ID:              263
        Generation (Gen):       67
        Gen at creation:        67
        Parent:                 5
        Top Level:              5
        Flags:                  -
        Snapshot(s):
#往子卷中创建一个2G大小的文件(超过初始分配的1G容量)
[root@centos7-template /]# cd /mnt/tmp
[root@centos7-template tmp]# dd if=/dev/zero of=./data bs=1M count=2048
记录了2048+0 的读入
记录了2048+0 的写出
2147483648字节(2.1 GB)已复制,1.16797 秒,1.8 GB/秒
#此时发现子卷的容量自动扩展为3G
[root@centos7-template tmp]# btrfs filesystem df -h /mnt/tmp
Data, RAID1: total=3.00GiB, used=2.00GiB
System, RAID1: total=32.00MiB, used=16.00KiB
Metadata, RAID1: total=256.00MiB, used=2.22MiB
GlobalReserve, single: total=16.00MiB, used=0.00B
12)单独挂载子卷
[root@centos7-template tmp]# mkdir /root/tmp
[root@centos7-template tmp]# mount -o subvol=tmp /dev/sdb /root/tmp
[root@centos7-template tmp]# ll /root/tmp
总用量 2097152
-rw-r--r--. 1 root root 2147483648 6月   2 21:10 data
13)创建快照

命令语法如下: 
snapshot [-r] |[/] 
加上-r参数快照卷为只读,否则为读写

[root@centos7-template tmp]# btrfs subvolume snapshot -r /mnt/tmp /mnt/tmp-snapshot 
Create a readonly snapshot of '/mnt/tmp' in '/mnt/tmp-snapshot'
[root@centos7-template tmp]# ls /mnt/tmp-snapshot/
data
#往原卷添加数据,快照卷的内容并未改变
[root@centos7-template tmp]# touch /mnt/tmp/test.txt
[root@centos7-template tmp]# ls /mnt/tmp-snapshot/  
data
14)删除子卷和快照
[root@centos7-template mnt]# btrfs subvolume delete /mnt/tmp
Delete subvolume (no-commit): '/mnt/tmp'
[root@centos7-template mnt]# ll tmp-snapshot/
总用量 2097152
-rw-r--r--. 1 root root 2147483648 6月   2 21:10 data
[root@centos7-template mnt]# btrfs subvolume delete /mnt/tmp-snapshot/
Delete subvolume (no-commit): '/mnt/tmp-snapshot'
[root@centos7-template mnt]# ls
[root@centos7-template mnt]#
15)btrfs与ext4文件系统之间相互转换
[root@centos7-template mnt]# mkfs.ext4 /dev/sdd
[root@centos7-template mnt]# mount /dev/sdd /root/tmp
[root@centos7-template mnt]# vim /root/tmp/test.txt
first line.
[root@centos7-template mnt]# umount /dev/sdd
[root@centos7-template mnt]# btrfs-convert /dev/sdd
creating btrfs metadata.
copy inodes [o] [ 0/ 12]
creating ext2fs image file.
cleaning up system chunk.
conversion complete.
[root@centos7-template mnt]# mount /dev/sdd /root/tmp
[root@centos7-template mnt]# cat /root/tmp/test.txt 
first line.
[root@centos7-template mnt]# umount /dev/sdd
[root@centos7-template mnt]# btrfs-convert -r /dev/sdd
rollback complete.
[root@centos7-template mnt]# mount /dev/sdd /root/tmp
[root@centos7-template mnt]# cat /root/tmp/test.txt 
first line.
[root@centos7-template mnt]# umount /root/tmp

原创文章,作者:gateray,如若转载,请注明出处:http://www.178linux.com/17468

(3)
gateraygateray
上一篇 2016-06-03
下一篇 2016-06-03

相关推荐

  • 浅谈用户和组相关配置文件

    用户、组和权限的管理 Linux如何像Windows系统那样,可以不输入密码直接进入图形界面?那么如何如何自动登录图形界面呢?这就要用到编辑配置文件: nano  /etc/gdm/custom.cof  ,在里面加上   automaticLoginEnable=true automaticLogin=root 退出…

    Linux干货 2016-10-23
  • 软硬链接区别及tr转换命令

    软硬链接的区别 (1)软连接可以 跨文件系统 ,硬连接不可以 (2)关于 I节点的问题 。硬连接不管有多少个,都指向的是同一个I节点,会把 结点连接数增加,只要结点的连接数不是 0,文件就一直存在 ,不管你删除的是源文件还是连接的文件。只         要有一个存在,文件就 存…

    Linux干货 2016-08-08
  • N25_第四周作业(补)

    1、复制/etc/skel目录到/home/tuser1,要求/home/tuser1及其内部文件的属组和其它用户均没有任何访问权限。 [root@EASTED tmp]# cp -r /etc/skel/ /home/tuser1/ [root@EASTED tmp]# cp …

    Linux干货 2017-01-02
  • 你会用Python写洗脑神曲吗?

    Python实战班-学员学习成果展示 同样是周末,有些人是闲聊着度过,有些人是学习充电度过。 人与人最大的区别,是下班后的时间。看你怎么去利用。 周末时,马哥Python实战班的学员正在认真上课,他们中的不少人,月薪在10k以上,甚至月薪20k以上。 但他们没有虚度周末时光。 #最浪费时间的就是:思而不学+犹豫不决。# 马哥Python实战班二期的小伙伴们才…

    Linux干货 2016-07-05
  • 第二周作业

    Linux上的文件管理类命令都有哪些,其常用的使用方法及其相关示例演示。 cp 文件复制     常用选项:            -i:交互式        …

    Linux干货 2016-11-06
  • 2016/10/14作业

    2016/10/14作业: ##操作类: 1. 设置自己的终端提示符,要求字符终端登录时: a> 需要带颜色  b> 需要显示当前执行到了第几条命令  c> 显示当前登录终端,主机名和当前时间 答:要在用户登录时终端提示符,需要更改当前系统的环境变量: /etc/bashrc文件 #[ "$PS1" …

    Linux干货 2016-10-19

评论列表(2条)