磁盘及文件系统管理

I/O Ports: I/O设备地址
文件的处理方式：open，read，write，close
设备类型：
    块设备：block，存取单位“块”，磁盘
    字符设备：char，存取单位“字符”，键盘
设备文件：关联至一个设备驱动程序，进而能够跟与之对应硬件设备进行通信
设备号码：
    主设备号：major number, 标识设备类型
    次设备号：minor number, 标识同一类型下的不同设备

硬盘接口类型
并行：
    IDE：133MB/s
    SCSI：640MB/s
串口：
    SATA：6Gbps
    SAS：6Gbps
    USB：480MB/s
机械硬盘的参数rpm: rotations per minute 转/分钟；常见：5400 7200 10000 15000

设备文件
磁盘设备的设备文件命名：/dev/DEV_FILE
IDE: /dev/hd （CentOS5）
IDE: /dev/sd （CentOS6,7）
 虚拟磁盘设备：/dev/vda
SCSI, SATA, SAS, USB: /dev/sd
不同设备：a-z
    /dev/sda, /dev/sdb, …
同一设备上的不同分区：1,2, …
    /dev/sda1, /dev/sda5

硬盘存储术语
head：磁头
track：磁道
cylinder: 柱面
secotr: 扇区，512bytes

使用分区空间
设备识别
设备分区
创建文件系统
标记文件系统
在/etc/fstab文件中创建条目
挂载新的文件系统

磁盘分区的作用：
优化I/O性能
实现磁盘空间配额限制
提高修复速度
隔离系统和程序
安装多个OS

两种分区方式：MBR，GPT
 MBR: Master Boot Record，1982年，使用32位表示扇区数，分区不超过2T
 按柱面分区
0磁道0扇区：512bytes
    446bytes: boot loader
    64bytes：分区表
    16bytes: 标识一个分区
    2bytes: 55AA
4个主分区；3主分区+1扩展(N个逻辑分区)

GPT分区
GPT:GUID patition table 支持128个分区，使用64位，支持8Z（512Byte/block ）64Z （4096Byte/block）
使用128位UUID 表示磁盘和分区GPT分区表自动备份在头和尾两份，并有CRC校验位
UEFI (统一扩展固件接口)硬件支持GPT

GPT分区结构
EFI部分又可以分为4个区域：EFI信息区(GPT头)、分区表、GPT分区、备份区域

列出可用的磁盘设备
图形化磁盘管理功能工具：点击“应用程序”->“系统工具”->“磁盘”或执行命令gnome-disks

blkid  列出块设备（创建分区使用）

fdisk创建MBR分区，也支持GPT，对于一块硬盘，最多只能管理15分区
gdisk创建GPT分区，可以支持管理128个主分区
parted高级分区操作（创建、复制、调整大小等等），非交互式操作
partprobe  重新设置内存中的内核分区表版本 centos5,7适用

fdisk /dev/sdb
gfisk /dev/sdb

fdisk [-l] [-u] [device…]

-l :查看分区信息

子命令：

m 获取帮助信息

p 分区列表
t 更改分区类型

n 创建新分区

d 删除分区
w 保存并退出

q 不保存并退出

同步分区表（通知内核重新读取硬盘分区表）
查看内核是否已经识别新的分区：cat /proc/partations

centos6
  新增分区用
    partx -a /dev/DEVICE
  删除分区用
        partx -d –nr M-N /dev/DEVICE
        partx -d M /dev/DEVICE        
CentOS 5，7: 使用partprobe

    partprobe [/dev/DEVICE]

parted的操作都是实时生效的，小心使用
parted [选项]… [设备[命令[参数]…]…]
parted /dev/sdb mklabel gpt|msdos 设置该磁盘卷标名
parted /dev/sdb print  查看该磁盘分区信息
parted /dev/sdb mkpart primary 1（起始大小） 200（结束大小）   磁盘分区（默认M）G
parted /dev/sdb rm # 删除该磁盘第#个分区
parted -l 查看所有磁盘分区信息

文件系统是操作系统用于明确存储设备或分区上的文件的方法和数据结构；即在存储设备上组织文件的方法。操作系统中负责管理和存储文件信息的软件结构称为文件管理系统，简称文件系统。
从系统角度来看，文件系统是对文件存储设备的空间进行组织和分配，负责文件存储并对存入的文件进行保护和检索的系统。具体地说，它负责为用户建立文件，存入、读出、修改、转储文件，控制文件的存取，安全控制，日志，压缩，加密等。

文件系统类型
Linux: ext2, ext3, ext4, xfs（SGI）, btrfs（Oracle）, reiserfs, jfs（AIX）, swap，vfat
swap: 交换分区
光盘：iso9660
Windows：fat32, ntfs
Unix: FFS（fast）, UFS（unix）, JFS2
网络文件系统：NFS, CIFS
集群文件系统：GFS2, OCFS2（oracle）
分布式文件系统：ceph, moosefs, mogilefs, glusterfs, Lustre
RAW：未经处理或者未经格式化产生的文件系统

文件系统根据其是否支持"journal"功能：
    日志型文件系统: ext3, ext4, xfs, …
    非日志型文件系统: ext2, vfat
文件系统的组成部分：
    内核中的模块：ext4, xfs, vfat
    用户空间的管理工具：mkfs.ext4, mkfs.xfs,mkfs.vfat
 Linux的虚拟文件系统：VFS
查看内核支持的文件系统：cat /proc/filesystems

创建文件系统
mkfs命令：
(1)  mkfs.FS_TYPE /dev/DEVICE
ext4
xfs
btrfs
vfat
(2)  mkfs -t FS_TYPE /dev/DEVICE
-L 'LABEL': 设定卷标
创建ext文件系统
mke2fs：ext系列文件系统专用管理工具
-t {ext2|ext3|ext4}
-b {1024|2048|4096} 默认为4K，即4096
-L 'LABEL' ：指明卷标名
-j: 添加日志功能，当于-t ext3
mkfs.ext3 = mkfs-t ext3 = mke2fs -j = mke2fs -t ext3
-i # : 为数据空间中每多少个字节创建一个inode；此大小不应该小于block的大小
-N # ：为数据空间创建个多少个inode
-I # ：一个inode记录大小128—4096
-m #: 默认5%,为管理人员预留空间占总空间的百分比（不用再加%）
-O FEATURE[,…]：启用指定特性
-O ^FEATURE：关闭指定特性
文件系统标签
指向设备的另一种方法
与设备无关
blkid：块设备属性信息查看
blkid[OPTION]… [DEVICE]
-U UUID: 根据指定的UUID来查找对应的设备
-L LABEL：根据指定的LABEL来查找对应的设备
e2label：管理ext系列文件系统的LABEL
e2label DEVICE [LABEL]
findfs：查找分区
findfs [options] LABEL=<label>
findfs [options] UUID=<uuid>
tune2fs：重新设定ext系列文件系统可调整参数的值
-l：查看指定文件系统超级块信息；superblock
-L 'LABEL'：修改卷标
-m #：修预留给管理员的空间百分比，默认为5，不用再加%
-j: 将ext2升级为ext3
-O: 文件系统属性启用或禁用,–O ^has_journal
-o: 调整文件系统的默认挂载选项,–o ^acl
-U UUID: 修改UUID号

dumpe2fs：查看超级块及块组描述
-h：仅查看超级块信息

文件系统检测和修复
常发生于死机或者非正常关机之后
挂载为文件系统标记为“dirty”
fsck: File System Check

fsck.FS_TYPE [DEVICE]或fsck -t FS_TYPE [DEVICE]
-a: 自动修复错误
-r: 交互式修复错误
注意: FS_TYPE一定要与分区上已经文件类型相同；修复前应卸载该设备，不能处于挂载状态
e2fsck：ext系列文件专用的检测修复工具
-y：自动回答为yes
-f：强制修复

挂载mount
挂载:将额外文件系统与根文件系统某现存的目录建立起关联关系，进而使得此目录做为其它文件访问入口的行为
卸载:为解除此关联关系的过程
把设备关联挂载点：mount
mount
挂载点下原有文件在挂载完成后会被临时隐藏
挂载点目录一般为空
Umount
卸载时：可使用设备，也可以使用挂载点
  进程正在使用中的设备无法被卸载

用mount命令挂载文件系统
挂载方法：mount DEVICE MOUNT_POINT
mount [-fnrsvw] [-t vfstype] [-o options] device dir
device：指明要挂载的设备；
    (1) 设备文件：例如/dev/sda5
    (2) 卷标：-L 'LABEL', 例如-L 'MYDATA'
    (3) UUID, -U 'UUID'：例如-U '0c50523c-43f1-45e7-85c0-a126711d406e'
    (4) 伪文件系统名称：proc, sysfs, devtmpfs, configfs
dir：挂载点

mount常用命令选项
-t vsftype：指定要挂载的设备上的文件系统类型（操作系统能自动识别，可省略）
-r: readonly，只读挂载，即使管理员用户只能进行只读访问
-w: read and write, 读写挂载
-n: 不将挂载信息更新到/etc/mtab
-a：自动挂载所有支持自动挂载的设备(定义在了/etc/fstab文件中，且挂载选项中有auto功能)
-L 'LABEL': 以卷标指定挂载设备
-U 'UUID': 以UUID指定要挂载的设备
-B, –bind: 绑定目录到另一个目录上
查看内核追踪到的已挂载的所有设备：cat /proc/mounts

mount常用命令选项
-o options：(挂载文件系统的选项)，多个选项使用逗号分隔
async：异步模式，性能较佳
sync：同步模式,内存更改时，同时写磁盘，性能较差
atime/noatime：是否更新文件的访问时间戳
diratime/nodiratime：是否更新目录的访问时间戳
auto/noauto：是否支持自动挂载,是否支持-a选项
exec/noexec：是否支持将文件系统上运行应用程序
dev/nodev：是否支持在此文件系统上使用设备文件
suid/nosuid：不否支持suid和sgid权限
remount：重新挂载
ro：只读
rw：读写
user/nouser：是否允许普通用户挂载此设备，默认管理员才能挂载
acl：启用此文件系统上的acl功能
Defaults：相当于rw, suid, dev, exec, auto, nouser, async
卸载命令

查看挂载情况:find mnt MOUNT_POINT

查看正在访问指定文件系统的进程：
lsof MOUNT_POINT

fuser -v MOUNT_POINT

终止所有在正访问指定的文件系统的进程：
fuser -km MOUNT_POINT
卸载：umount DEVICE或umount MOUNT_POINT

挂载点和/etc/fstab

配置文件系统体系
被mount、fsck和其它程序使用
系统重启时保留文件系统体系
可以在设备栏使用文件系统卷标
使用mount -a 命令挂载/etc/fstab中的所有文件系统

/etc/fstab文件挂载配置文件：每行定义一个要挂载的文件系统；
要挂载的设备或伪文件系统
挂载点
文件系统类型
挂载选项
转储频率
自检次序

要挂载的设备或伪文件系统：
    设备文件、LABEL(LABEL="")、UUID(UUID="")、伪文件系统名称(proc, sysfs)
挂载选项：defaults
转储频率：0：不做备份 1：每天转储 2：每隔一天转储
自检次序：0：不自检 1：首先自检；一般只有rootfs才用1

处理交换文件和分区
交换分区是系统RAM的补充
基本设置包括：
创建交换分区或者文件
使用mkswap写入特殊签名
在/etc/fstab文件中添加适当的条目
使用swapon -a 激活交换空间（/etc/fstab中定义的交换分区）

挂载交换分区
启用：swapon
swapon[OPTION]… [DEVICE]
-a：激活所有的交换分区；
-p PRIORITY：指定优先级
/etc/fstab:pri=value
禁用：swapoff[OPTION]… [DEVICE]

SWAP的优先级
用户可以给某个swap指定一个0到32767的优先级
如果用户没有指定，那么核心会自动给swap指定一个优先级，这个优先级从-1开始，每加入一个新的没有用户指定优先级的swap，会给这个优先级减一。
先添加的swap的缺省优先级比较高，除非用户自己指定一个优先级，而用户指定的优先级(是正数)永远高于核心缺省指定的优先级(是负数)。
优化性能：分布存放，高性能磁盘存放

移动介质
挂载意味着使外来的文件系统看起来如同是主目录树的一部分
访问前、介质必须被挂载
摘除时，介质必须被卸载
按照默认设置，非根用户只能挂载某些设备（光盘、DVD、软盘、USB等等）
挂载点通常在/media 或/mnt下

使用光盘
在图形环境下自动启动挂载/run/media/<user>/<label>
否则就必须被手工挂载
mount /dev/cdrom/mnt/
eject命令卸载或弹出磁盘
创建ISO文件
cp/dev/cdrom/root/centos7.iso
mkisofs -r -o /root/etc.iso /etc
刻录光盘
wodim–v –eject centos.iso

挂载USB介质
被内核探测为SCSI设备
•/dev/sdaX、/dev/sdbX、或类似的设备文件
在图形环境中自动挂载
•图标在[计算机]窗口中创建
•挂载在/run/media/<user>/<label>
•手动挂载
•mount /dev/sdb1 /mnt

常见工具
内存空间使用状态：
free [OPTION]
-m: 以MB为单位
-g: 以GB为单位
文件系统空间占用等信息的查看工具：
df[OPTION]… [FILE]…
-H 以1000为单位
-T 文件系统类型
-h: human-readable
-i：inodesinstead of blocks
-P: 以Posix兼容的格式输出
查看某目录总体空间占用状态：
du [OPTION]… DIR
-h: human-readable
-s: summary

工具dd
dd命令：convert and copy a file
用法：
ddif=/PATH/FROM/SRC of=/PATH/TO/DEST
bs=#：block size, 复制单元大小
count=#：复制多少个bs
of=file写到所命名的文件而不是到标准输出
if=file从所命名文件读取而不是从标准输入
bs=size指定块大小（既是是ibs也是obs)
ibs=size一次读size个byte
obs=size 一次写size个byte
cbs=size 一次转化size个byte
skip=blocks从开头忽略blocks个ibs大小的块
seek=blocks从开头忽略blocks个obs大小的块
count=n只拷贝n个记录

工具dd
conv=conversion[,conversion…] 用指定的参数转换文件。
转换参数:
ascii 转换EBCDIC 为ASCII
ebcdic 转换ASCII 为EBCDIC
block 转换为长度为cbs 的记录，不足部分用空格填充。
unblock 替代cbs长度的每一行尾的空格为新行
lcase 把大写字符转换为小写字符
ucase 把小写字符转换为大写字符
swab 交换输入的每对字节。
noerror 出错时不停止
notrunc 不截短输出文件。
sync 把每个输入块填充到ibs个字节，不足部分用空(NUL)字符补齐

工具dd
磁盘拷贝：
ddif=/dev/sdaof=/dev/sdb
备份MBR：
ddif=/dev/sdaof=/tmp/mbr.bakbs=512 count=1
破坏MBR中的bootloader：
ddif=/dev/zero of=/dev/sdabs=64 count=1 seek=446
有二进制文件fileA，size>2K。现在想从第64个字节位置开始读取，需要读取的大小是128Byts。又有fileB, 想把上面读取到的128Bytes写到第32个字节开始的位置，替换128Bytes，请问如何实现？
#ddif=fileAof=fileBbs=1 count=128 skip=63 seek=31 conv=notrunc

工具dd
备份：
dd if=/dev/sdx of=/dev/sdy
将本地的/dev/sdx整盘备份到/dev/sdy
dd if=/dev/sdx of=/path/to/image
将/dev/sdx全盘数据备份到指定路径的image文件
dd if=/dev/sdx | gzip >/path/to/image.gz
备份/dev/sdx全盘数据，并利用gzip工具进行压缩，保存到指定路径
恢复：
dd if=/path/to/image of=/dev/sdx
将备份文件恢复到指定盘
gzip -dc /path/to/image.gz | dd of=/dev/sdx
将压缩的备份文件恢复到指定盘

工具dd
拷贝内存资料到硬盘
dd if=/dev/mem of=/root/mem.bin bs=1024
将内存里的数据拷贝到root目录下的mem.bin文件
从光盘拷贝iso镜像
dd if=/dev/cdrom of=/root/cd.iso
拷贝光盘数据到root文件夹下，并保存为cd.iso文件
销毁磁盘数据
dd if=/dev/urandom of=/dev/sda1
利用随机的数据填充硬盘，在某些必要的场合可以用来销毁数据。执行此操作以后，/dev/sda1将无法挂载，创建和拷贝操作无法执行。

工具dd
得到最恰当的block size
dd if=/dev/zero bs=1024 count=1000000 of=/root/1Gb.file
dd if=/dev/zero bs=2048 count=500000 of=/root/1Gb.file
dd if=/dev/zero bs=4096 count=250000 of=/root/1Gb.file
dd if=/dev/zero bs=8192 count=125000 of=/root/1Gb.file
通过比较dd指令输出中所显示的命令执行时间，即可确定系统最佳的block size大小
王晓春QQ:29308620

工具dd
测试硬盘读写速度
dd if=/root/1Gb.file bs=64k | dd of=/dev/null
dd if=/dev/zero of=/root/1Gb.file bs=1024 count=1000000
通过上两个命令输出的执行时间，可以计算出测试硬盘的读／写速度

工具dd
修复硬盘
dd if=/dev/sda of=/dev/sda
当硬盘较长时间（比如1，2年）放置不使用后，磁盘上会产生消磁点。当磁头读到这些区域时会遇到困难，并可能导致I/O错误。当这种情况影响到硬盘的第一个扇区时，可能导致硬盘报废。上边的命令有可能使这些数据起死回生。且这个过程是安全，高效的。

整理parted的用法
目录挂载到目录，实际有文件的目录及卸载时的目录是文件的归属问题