Linux基础知识之磁盘及文件系统管理(二)

1.磁盘和文件系统管理：

文件系统管理工具：

    创建文件系统工具(文件系统建议使用ext4)

    (1)mkfs.FS_TYPE

        a.mkfs.{ext2,ext3,ext4,xfs,vfat..} /dev/DEVICE ：对于分区创建文件系统

        b.mkfs -t FS_TYPE /dev/DEVICE   ：对于分区创建文件系统

        mkfs -L 'LABEL' /dev/DEVICE ：给分区设定卷标

    (2)mke2fs：ext系列文件系统专用管理工具

        -t {ext2|ext3|ext4}：指定ext的文件系统类型 ext2,ext3,ext4

        -b {1024|2048|4096}：指明文件系统的块大小，默认为4K(大文件块大好，小文件块小好)

        注意：一旦创建文件系统之后，文件的块大小已经被创建，除了重新创建文件系统，其余都无法修改文件的块大小。

        -L 'LABEL' ：指明文件系统的卷标

        -j: 创建有日志功能的文件系统ext3：mkfs.ext3 = mkfs -t ext3 = mke2fs -j = mke2fs -t ext3

        -i #: 指明inode与字节的比率，即每多少个字节创建一个inode；此大小不应该小于block的大小

        -N #：直接指明要给此文件系统创建的inode的数量；

        -I 一个inode 记录大小128—4096

        -m #: 默认5%, 为管理人员预留空间占总空间的百分比

        -O [^]FEATURE：以指定的特性创建目标文件系统；

        注意：CentOS6系统上面默认不支持xfs格式的文件，需自己使用yum源安装xfsprogs进行添加xfs格式的文件系统类型；

检测及修复文件系统工具

    (1)fsck.{ext2,ext3,ext4,xfs,vfat…}

    (2)fsck：用于实现文件系统检测的工具(因进程意外终止或系统崩溃等原因导致定操作非正常终止时，可能会造成文件损坏；此时，应检测并修复文件系统)

        -t fstype：指明文件系统类型

            fsck -t ext4 =fsck.ext4

        -a：无需交互而自动修复所有错误

        -f：交互式修复

        注意：fsck命令使用时，建议将磁盘卸载之后进行修复

    (3)e2fsck：ext系列文件系统的专用工具

    检查的过程：

        ①检查inode块和大小

        ②检查目录结构

        ③检查目录连接性，目录和文件的映射是否正常

        ④检查引用计数

        ⑤检查簇的概要信息

        e2fsck [OPTIONS] /dev/DEIVCE

            -y：对所有问题自动回答为yes

            -f：即使文件系统处于clean状态，也要强制检测

查看其属性的工具

    (1)dumpe2fs：显示ext系列文件系统的属性信息：

        dumpe2fs /dev/DEVICE：显示超级块的属性信息和每个块组的详细信息。

        dumpe2fs -h /dev/DEVICE：只显示超级块的属性信息

    (2)tune2fs

        tune2fs [OPTIONS] /dev/DEVICE

        -l：查看指定文件系统超级块信息；

调整文件系统特性

    (1)tune2fs

        tune2fs [OPTIONS] /dev/DEVICE

        -l：查看指定文件系统超级块信息；

    修改指定文件系统的属性：

        -L 'LABEL'：修改卷标

        -m #：修预留给管理员的空间百分比(默认空间百分比为5%)

        -j：将ext2升级为ext3

        -O [^]FEATHER：文件系统属性启用或禁用；

            –O ^has_journal:关闭日志功能，将ext3转换为ext2格式，但是ext4会关闭日志功能，但是文件类型不会由ext4转化为ext2

        -o [^]mount_options：调整文件系统的默认挂载选项,–o ^acl

            CentOS6.x系统除了安装时候使用的文件系统默认挂载acl权限，其余后添加挂载的磁盘默认没有acl权限

            CentOS7.x系统在安装和后添加硬盘挂载的时候，默认都会添加acl权限

        -U UUID；修改UUID号

    (2)e2label:ext系文件系统查看和设置卷标：

        a.查看：e2label /dev/DEVICE

        b.设定：e2label /dev/DEVICE LABEL

            e2label /dev/sdc1 MYDATA

块设备属性信息查看：blkid

    blkid [OPTION]… [DEVICE]

        blkid /dev/DEVICE

        blkid -L LABEL：根据指定的LABEL来查找对应的设备

        blkid -U UUID：根据指定的UUID来查找对应的设备

2.swap文件系统：

    linux上的交换分区必须使用独立的文件系统(独立的分区)

        且文件系统的System ID必须为82；82只能用于swap分区

    创建swap分区：mkswap 

        mkswap [OPTIONS] /dev/device

            -L LABEL：指明卷标

            -f：强制创建为swap分区

    交换分区的启用和禁用：

        启用：swapon

            swapon [OPTION] [DEVICE]

            -a：定义在/etc/fstab文件中的所有swap设备

        禁用：swaoff

            swapoff [DEVICE]

    swap的优先级：

        (1)用户可以给某个swap指定一个0–32767的优先级

        (2)如果用户没有指定，那么核心会自动给swap指定一个优先级，这个优先级从-1开始，没加入一个新的没有用户指定优先级的swap，会给这个优先级减一；

        (3)先添加的swap的缺省优先级比较高，除非用户自己指定一个优先级，而用户指定的优先级(是正数)永远高于核心缺省指定的优先级(是负数)；

        (4)优化性能：分布存放，高性能磁盘存放。

3.Windows无法识别Linux的文件系统，因此，存储设备需要两种系统之间交叉使用时，应该使用windows和Linux同时使用支持的文件系统：fat32(vfat)

    mkfs.vfat /dev/DEVICE

4.文件系统的使用：挂载mount和卸载umount

    根文件系统之外的其他文件系统要想都能被访问，必须通过"关联"至根目录系统上的某个目录来实现；

    此关联操作为"挂载"；此目录为挂载点；

    (1)挂载点：mount_point，用于作为另一个文件系统的访问入口；

        挂载点特性：目录

            ①挂载点应该实现存在；

            ②应该使用未被或不会被其他进程使用到的目录

            ③挂载点下挂载之前原有的文件将会被隐藏；

    (2)查看系统上的挂载；

        df：查看文件系统磁盘空间使用情况，可在中间看到文件系统和挂载点等选项

        mount (单纯的mount命令)显示在系统上已经挂载的设备以及挂载点

        cat /proc/mounts：查看内核追踪到的已挂载的所有设备；

        cat /etc/mtab：查看文件系统上面当前已挂载的所有情况；(等同于mount)

    (3)mount挂载命令详解：

        /etc/mtab：记录系统上面所有的挂载情况

        mount文件挂载之后，重启机器之后挂载失效

        mount [-nrw] [-t vfstype] [-o options] device dir

        命令选项：

        -a：将/etc/fstab文件中的所有文件的挂载对应关系，重新挂载一遍(已经挂载的不会挂载，没有挂载的会被挂载)

        -r：readonly，只读挂载，挂载光盘时常使用此选项

        -w：read and write，读写挂载(Linux默认挂载选项为读写挂载)

        -n：默认情况下，设备挂载或卸载的操作会同步更新至/etc/mtab文件中；使用-n表示挂载设备时，不把信息写入此文件

        -t FSTYPE：指明要挂载设备上文件系统的类型(可省略)；不使用此选项时，mount会调用blkid命令来获取对应文件系统的类型；

        -L LABEL：挂载时以卷标的方式指明设备；

            mount -L LABEL /dir

        -U UUID：挂载时以UUID的方式指明设备；

            mount -U UUID /dir UUID=5dfb0193-86ae-4eab-8096-82d2b6ee129e

        -o:指定额外的挂载选项，指文件系统启用的属性

            sync/async：同步/异步操作；(内存写到磁盘)

            atime/noatime：文件或目录在被访问时是否更新其访问时间戳

            diratime/nodiratime ：目录被访问时是否更新其访问时间戳

            remount ：重新挂载

            acl：启用此文件系统上的acl功能

                #mount -o acl /dev/DEVICE dir

                #tune2fs -o acl /dev/DEVICE

            ro 挂载为只读 等同于 -r 

            rw 挂载为读写

            dev/nodev：此设备上是否允许创建设备文件

            exec/noexec：是否允许运行此设备上的程序文件

            (当被挂载的分区上面的内容不清楚时，尤其是不知道里面是否含有.sh脚本时，建议使用-o noexec选项禁用脚本的执行功能)

            auto/noauto：是否支持自动挂载, 是否支持-a选项是否支持将文件系统上运行应用程序

            user/nouser：是否允许普通用户挂载此设备，默认管理员才能挂载

            suid/nosuid：是否允许程序文件上的suid和sgid特殊权限生效

        Defaults：相当于rw, suid, dev, exec, auto, nouser, async

    一个使用技巧：

    可以实现将目录绑定到另一个目录上面，作为其临时访问入口

        mount –bind 源目录 目标目录

    挂载光盘：

        mount -r /dev/cdrom mount_point

    光盘设备文件：/dev/cdrom /dev/dvd

    挂载本地的回环设备：

        mount -o loop /PATH/TO/SOME_LOOP_FILE MOUNY_POINT

    (4)umount卸载命令详解：卸载某文件系统

    umount 设备

    umount 挂载点

    卸载时的注意事项：

        挂载的设备没有进程使用，正在被进程访问的挂载点将无法被卸载

    卸载时会显示：

        umount: /misc/cd: device is busy.

        (in some cases useful info about processes that use

        the device is found by lsof(8) or fuser(1))

        查看被哪个或那些进程所占用:

        lsof mount_point

        fuser -v mount_point

        终止所有正在访问某挂载点的进程：

        fuser -km mount_point：将mount_point上面的所有进程和用户都会被踢出

5./etc/fstab配置文件：

设定除根文件系统以外的其他文件系统能够开机时自动挂载

每行定义一个要挂载的文件系统及其相关属性：

6个字段：

(1)要挂载的设备： 设备文件、LABEL、UUID、伪文件系统，如sysyfs,porc,tmpfs等

(2)挂载点,注意：swap类型的设备的挂载点为swap

(3)文件系统类型

(4)挂载选项：defults：使用默认挂载选项

若要同时指明多个挂载选项，彼此间逗号分隔；

defualts,acl,nostime,noexec

(5)转储频率：

0：从不备份；

1：每天备份一次；

2：每隔一天备份一次；

(6)自检次序：

0：不自检

1：首先自检(第一个自检)，通常只是跟文件系统可用1

2：次级自检

….

6.常见的工具：

(1)内存空间使用状态：

free [OPTION]

-m：以MB为单位显示

-g：以GB为单位显示

(2)文件系统空间占用等信息的查看工具

df [OPTION]… [FILE]..

-H 以1000位单位(-h的单位为1024)

-l：仅显示本地文件的相关信息

-h：human-readable以便捷阅读的方式显现出

-i：显示inode的使用状态而非blocks

-P：以Posix兼容的格式输出

(3)查看某目录总体空间的占用状态：

du [OPTION]… [FILE]..

-s：sumary

-h：human-readable

7.工具dd：convert and copy a file

用法：dd if =/PATH/FROM/SRC of=/PATH/TO/DEST

bs=#：block size,  复制单元大小

count=#：复制多少个bs

of=file     写到所命名的文件而不是到标准输出

if=file     从所命名文件读取而不是从标准输入

bs=size     指定块大小（既是是ibs 也是obs)

ibs=size    一次读size 个byte

obs=size    一次写size 个byte

cbs=size    一次转化size 个byte

skip=blocks 从开头忽略blocks 个ibs 大小的块

seek=blocks 从开头忽略blocks 个obs 大小的块

count=n     只拷贝n个记录

conv=conversion[,conversion…]  用指定的参数转换文件。

转换参数:

ascii 换 转换 EBCDIC 为 为 ASCII

ebcdic 换 转换 ASCII 为 为 EBCDIC

block  转换为长度为 cbs  的记录，不足部分用空格填充。

unblock 替代cbs 长度的每一行尾的空格为新行

lcase  把大写字符转换为小写字符

ucase  把小写字符转换为大写字符

swab  交换输入的每对字节

noerror  出错时不停止

notrunc  不截短输出文件

sync  把每个输入块填充到ibs 个字节，不足部分用空(NUL) 字符补齐

磁盘拷贝：

dd if=/dev/sda of=/dev/sdb

扩展：

拷贝内存资料到硬盘：将内存里的数据拷贝到root目录下的mem.bin 文件

dd if=/dev/mem of=/root/mem.bin bs=1024

从光盘拷贝iso镜像：拷贝光盘数据到root文件夹下，并保存为cd.iso文件

dd if=/dev/cdrom of=/root/cd.iso

备份MBR：

dd if=/dev/sda of=/tmp/mbr.bak bs=512 count=1

破坏MBR中的bootloader：

dd if=/dev/zero of=/dev/sda bs=64 count=1 seek=446

有一个大与2K 的二进制文件fileA，现在想从第64个字节位置开始读取，需要读取的大小是128Byts。

又有fileB, 想把上面读取到的128Bytes写到第32个字节开始的位置，替换128Bytes，请问如何实现？

#dd if=fileA of=fileB bs=1 count=128 skip=63 seek=31conv=notrunc

备份：

(1)将本地的/dev/sdx 整盘备份到/dev/sdy

dd if=/dev/sdx of=/dev/sdy

(2)将/dev/sdx 全盘数据备份到指定路径的image文件

dd if=/dev/sdx of=/path/to/image

(3)备份/dev/sdx全盘数据，并利用gzip工具进行压缩，保存到指定路径

dd if=/dev/sdx | gzip >/path/to/image.gz

  恢复：

(1)将备份文件恢复到指定盘

dd if=/path/to/image of=/dev/sdx

(2)将压缩的备份文件恢复到指定盘

gzip -dc /path/to/image.gz | dd of=/dev/sdx

销毁磁盘数据

dd if=/dev/urandom of=/dev/sda1

利用随机的数据填充硬盘，在某些必要的场合可以用来销毁数据。执行此操作以后，/dev/sda1将无法挂载，创建和拷贝操作无法执行。

得到最恰当的block size

dd if=/dev/zero of=/root/1Gb.file bs=1024 count=1000000

dd if=/dev/zero of=/root/1Gb.file bs=2048 count=500000

dd if=/dev/zero of=/root/1Gb.file bs=4096 count=250000

dd if=/dev/zero of=/root/1Gb.file bs=8192 count=125000

通过比较dd指令输出中所显示的命令执行时间，即可确定系统最佳的block size大小

测试硬盘读写速度

dd if=/root/1Gb.file bs=64k | dd of=/dev/null

dd if=/dev/zero of=/root/1Gb.file bs=1024 count=1000000

通过上两个命令输出的执行时间，可以计算出测试硬盘的读／写速度

修复硬盘

dd if=/dev/sda of=/dev/sda

当硬盘较长时间（比如1-2年）放置不使用后，磁盘上会产生消磁点。当磁头读到这些区域时会遇到困难，并可能导致I/O 错误。

当这种情况影响到硬盘的第一个扇区时，可能导致硬盘报废。上边的命令有可能使这些数据起死回生。且这个过程是安全，高效的。

8.实战：磁盘分区的备份与恢复(MBR)

(1)查看系统上的磁盘挂载情况

lsblk 

ls /dev/sd*

(2)查看磁盘上的分区情况

fdisk -l /dev/sda 以/dev/sda为例

(3)查看磁盘上的mbr

hexdump -C -n 512 /dev/sda

(4)备份/dev/sda的MBR到/testdir/mbrbak

dd if=/dev/sda of=/testdir/mbrbak bs=1 count=512

(5)查看备份后的mbr内容

hexdump -C -n 512 /testdir/mbrbak

(6)以/testdir/mbrbak为模板恢复/dev/sdb

dd if=/testdir/mbrbak of=/dev/sdb bs=1 count=512

hexdump -C -n 512 /dev/sdb

(7)破坏boot loader

dd if=/dev/zero of=/dev/sdb bs=1 count=446

hexdump -C -n 512 /dev/sdb

(8)破坏分区表

dd if=/dev/zero of=/dev/sdb bs=1 count=64 skip=446 seek=446

hexdump -C -n 512 /dev/sdb

(9)破坏分区标识(即破坏55aa)

dd if=/dev/zero of=/dev/sdb bs=1 count=2 skip=510 seek=510

hexdump -C -n 512 /dev/sdb

/testdir/mbrbak：该文件是我们备份出来的超级块的信息

(10)恢复分区标识

dd if=/testdir/mbrbak of=/dev/sdb bs=1 count=2 skip=510 seek=510

hexdump -C -n 512 /dev/sdb

(11)恢复分区表

dd if=/testdir/mbrbak of=/dev/sdb bs=1 count=64 skip=446 seek=446

hexdump -C -n 512 /dev/sdb

(12)恢复boot loader

dd if=/testdir/mbrbak of=/dev/sdb bs=1 count=446

hexdump -C -n 512 /dev/sdb