linux day 7
间歇性回忆
自动属于这个组 是 SGID 的功能
chmod g+s /data/testdir
setfacl —m g:g2:rwx /data/testdir
setfacl -m b:g:g2:rwx /data/testdir
setfacl -m d:g:g3:r testdir
chmod o= testdir
文本处理工具：
（重点内容，需要多练习多动脑妥妥的）
开车
文件查看命令：cat, tac,rev
cat [OPTION]… [FILE]…
-E: 显示行结束符$
-n: 对显示出的每一行进行编号
-A：显示所有控制符
-b：非空行编号
-s：压缩连续的空行成一行
[root@CentOS7 ~]# cat yyy
[root@CentOS7 ~]# cat -A yyy
$
tac： 把文件反着写
rev： 把文件内行反着写
more: 分页查看文件
more [OPTIONS…] FILE…
-d: 显示翻页及退出提示
less：一页一页地查看文件或STDIN输出
查看时有用的命令包括：
/文本搜索文本
n/N跳到下一个or 上一个匹配
less命令是man命令使用的分页器
head [OPTION]… [FILE]…
-c #: 指定获取前#字节
-n #: 指定获取前#行
-#：指定行数
tail [OPTION]… [FILE]…
-c #: 指定获取后#字节
-n #: 指定获取后#行
-#：
-f: 跟踪显示文件新追加的内容,常用日志监控
tail -n0 -f f1 &
后台查看f1 的内容
jobs
fg 1
ctrl + c
cut [OPTION]… [FILE]…
-d DELIMITER: 指明分隔符，默认tab
-f FILEDS:
#: 第#个字段
#,#[,#]：离散的多个字段，例如1,3,6
#-#：连续的多个字段, 例如1-6
混合使用：1-3,7
-c按字符切割
–output-delimiter=STRING指定输出分隔符
显示文件或STDIN数据的指定列
cut -d:-f1/etc/passwd
cat /etc/passwd|cut-d:-f7
cut -c2-5/usr/share/dict/words
paste 合并两个文件同行号的列到一行
paste [OPTION]… [FILE]…
-d 分隔符:指定分隔符，默认用TAB
-s : 所有行合成一行显示
paste f1 f2
paste -s f1 f2
计数单词总数、行总数、字节总数和字符总数
可以对文件或STDIN中的数据运行
$ wc story.txt
39 237 1901 story.txt
行数字数字符数
使用 -l 来只计数行数
使用 -w 来只计数单词总数
使用 -c 来只计数字节总数
使用 -m 来只计数字符总数
把整理过的文本显示在STDOUT，不改变原始文件
$sort[options]file(s)
常用选项
-r执行反方向（由上至下）整理
-n执行按数字大小整理
-f选项忽略（fold）字符串中的字符大小写
-u选项（独特，unique）删除输出中的重复行
-t c选项使用c做为字段界定符
-k X选项按照使用c字符分隔的X列来整理能够使用多次
uniq命令：从输入中删除重复的前后相接的行
uniq[OPTION]… [FILE]…
-c: 显示每行重复出现的次数；
-d: 仅显示重复过的行；
-u: 仅显示不曾重复的行；
连续且完全相同方为重复
常和sort 命令一起配合使用：
sort userlist.txt | uniq-c
diff命令的输出被保存在一种叫做“补丁”的文件中
使用-u选项来输出“统一的（unified）”diff格式文件，最适用于补丁文件。
patch命令复制在其它文件中进行的改变（要谨慎使用！）
适用-b选项来自动备份改变了的文件
$ diff -u f1 f11 > foo.patch
$ rm -f f11
$ patch -b f1 foo.patch
就恢复了 f11 名字为 f1 f11 变成了 foo.patch
练习
1、找出ifconfig命令结果中本机的所有IPv4地址
[root@CentOS7 testdir]# ifconfig | head -2 | tail -1 | tr -s " " | cut -d" " -f3
2、查出分区空间使用率的最大百分比值
[root@CentOS7 testdir]# df | sort -t% -n | cut -c 44-46 | head -1
3、查出用户UID最大值的用户名、UID及shell类型
[root@CentOS7 testdir]#sort -t: -k3 -n /etc/passwd | tail -1 | cut -d: -f1,3,7
4、查出/tmp的权限，以数字方式显示
stat /tmp | head -4 | tail -1 | cut -d/ -f1 | cut -d\( -f2
5、统计当前连接本机的每个远程主机IP的连接数，并按从大到小排序
[root@CentOS7 testdir]# netstat -tn | cut -d: -f2 | tr -s " " | sort -nr | cut -d" " -f2 | uniq -c
linux 上文本处理三剑客
grep：文本过滤(模式：pattern)工具;
grep, egrep, fgrep（不支持正则表达式搜索）
sed：stream editor，文本编辑工具；
awk：Linux上的实现gawk，文本报告生成器；
grep: Global search REgularexpression and Print out the line.
作用：文本搜索工具，根据用户指定的“模式”对目标文本逐行进行匹配检查；打印匹配到的行；
模式：由正则表达式字符及文本字符所编写的过滤条件
grep [OPTIONS] PATTERN [FILE…]
grep root /etc/passwd
grep "$USER" /etc/passwd
grep '$USER' /etc/passwd
grep `whoami` /etc/passwd
–color=auto: 对匹配到的文本着色显示；
-v: 显示不能够被pattern匹配到的行；
-i: 忽略字符大小写
-n：显示匹配的行号
-c: 统计匹配的行数
-o: 仅显示匹配到的字符串；
-q: 静默模式，不输出任何信息
-A #：after, 后#行
-B #: before, 前#行
-C #：context, 前后各#行
-e：实现多个选项间的逻辑or关系
grep –e ‘cat ’ -e ‘dog’ file
-w：整行匹配整个单词
-E：使用ERE
正则表达式
REGEXP：由一类特殊字符及文本字符所编写的模式，其中有些字符（元字符）不表示字符字面意义，而表示控制或通配的功能
程序支持：grep, vim, less,nginx等
分两类：
基本正则表达式：BRE
扩展正则表达式：ERE
grep -E, egrep
正则表达式引擎：
采用不同算法，检查处理正则表达式的软件模块
PCRE（Perl Compatible Regular Expressions）
元字符分类：字符匹配、匹配次数、位置锚定、分组
man 7 regex
字符匹配:
. ：匹配任意单个字符；
[] ：匹配指定范围内的任意单个字符
[^] ：匹配指定范围外的任意单个字符
[:digit:]、[:lower:]、[:upper:]、[:alpha:]、[:alnum:]、[:punct:]、[:space:]
匹配次数：用在要指定次数的字符后面，用于指定前面的字符要出现的次数
*：匹配前面的字符任意次，包括0次
贪婪模式：尽可能长的匹配
.*：任意长度的任意字符
\?：匹配其前面的字符0或1次
\+：匹配其前面的字符至少1次
\{m\}：匹配前面的字符m次
\{m,n\}：匹配前面的字符至少m次，至多n次
\{,n\}：匹配前面的字符至多n次 <=n
\{m,\}：匹配前面的字符至少m次 >=m
位置锚定：定位出现的位置
^：行首锚定，用于模式的最左侧
$：行尾锚定，用于模式的最右侧
grep "^root.*bash$" /etc/passwd
^PATTERN$: 用于模式匹配整行
^$: 空行
^[[:space:]]*$ ：空白行
\< 或\b：词首锚定，用于单词模式的左侧
\> 或\b：词尾锚定；用于单词模式的右侧
\<PATTERN\>：匹配整个单词
grep "\<root\>" /etc/passwd
分组：\(\)：将一个或多个字符捆绑在一起，当作一个整体进行处理，如：\(root\)\+
分组括号中的模式匹配到的内容会被正则表达式引擎记录于内部的变量中，这些变量的命名方式为: \1, \2, \3, …
\1: 从左侧起，第一个左括号以及与之匹配右括号之间的模式所匹配到的字符；
实例：\(string1\+\(string2\)*\)
\1: string1\+\(string2\)*
\2: string2
后向引用：引用前面的分组括号中的模式所匹配字符(而非模式本身)
元字符 定义
^ 行首
$ 行尾
. 任意单一字符
[] []内任意单一字符
[^] 除[]内任意单一字符
* *前面字符重复不确定次数
\+ \+前面字符重复一次以上不确定次数
\? ？前面字符重复0或1次
\ 转义符
.* 任意长度字符
\{n\} 前面字符重复n次
\{n,\} 前面字符重复n次以上
\{m,n\} 前面字符重复m次和n次之间
[:alpha:] 所有字母，包括大、小写
[:alnum:] 所有字母和数字
[:upper:] 所有大写字母
[:lower:] 所有小写字母
[:digit:] 所有数字
[:punct:] 所有标点符号
[:space:] 空格和Tab
egrep= grep -E
egrep[OPTIONS] PATTERN [FILE…]
扩展正则表达式的元字符：
字符匹配：
. 任意单个字符
[] 指定范围的字符
[^] 不在指定范围的字符
次数匹配：
*：匹配前面字符任意次
?: 0或1次
+：1次或多次
{m}：匹配m次
{m,n}：至少m，至多n次
位置锚定：
^ :行首
$ :行尾
\<, \b :语首
\>, \b :语尾
分组：
()
后向引用：\1, \2, …
或者：
a|b
C|cat: C或cat
(C|c)at:Cat或cat
练习
1、显示/proc/meminfo文件中以大小s开头的行；(要求：使用两种方式)
grep "^[sS]" /proc/meminfo
grep -i "^s" /proc/meminfo
grep -e 's' -e 'S' /proc/meminfo
2、显示/etc/passwd文件中不以/bin/bash结尾的行
grep -v "/bin/bash$" /etc/passwd
3、显示用户rpc默认的shell程序
grep -w "^rpc\b" /etc/passwd | cut -d: -f7
4、找出/etc/passwd中的两位或三位数
grep "\<[[:digit:]]\{2,3\}\>" /etc/passwd
5、显示/etc/grub2.cfg文件中，至少以一个空白字符开头的且后面存非空白字符的行
grep "^[ ]\+[^[:space:]].*" /etc/grub2.cfg
6、找出"netstat -tan"命令的结果中以'LISTEN'后跟0、1或多个空白字符结尾的行
netstat -tan | grep "\bLISTEN[[:space:]]*$"
7、添加用户bash、testbash、basher以及nologin(其shell为/sbin/nologin),而后找出/etc/passwd文件中用户名同shell名的行
grep "^\(\<.*\>\).*/\1$" /etc/passwd
grep "\([[:almun:]]\{1,\}\):.*\1$" /etc/passwd
1、显示当前系统root、mage或wang用户的UID和默认shell
grep -E "^(root|user1|user2):" passwd | cut -d: -f1,3,7
2、找出/etc/rc.d/init.d/functions文件中行首为某单词(包括下划线)后面跟一个小括号的行
egrep "^([[:alpha:]_]+)\(\).*" /etc/rc.d/init.d/functions
3、使用egrep取出/etc/rc.d/init.d/functions中其基名
echo "/etc/rc.d/init.d/functions" | egrep -o "[^/]+$"
4、使用egrep取出上面路径的目录名
echo "/etc/rc.d/init.d/functions" | egrep -o "[^/]+$"
5、统计以root身份登录的每个远程主机IP地址的登录次数
last | grep root | tr -s " "| cut -d " " -f3| grep "^[[:digit:]]" | uniq -c
6、利用扩展正则表达式分别表示0-9、10-99、100-199、200-249、250-255
egrep "\b[0-9]\b" f11
egrep "\b1[0-9][0-9]\b" f11
egrep "\b2[0-4][0-9]\b" f11
egrep "\b25[0-5]\b" f11
7、显示ifconfig命令结果中所有IPv4地址
ifconfig | grep -E -o"[[:digit:]]+\.[[:digit:]]+\.[[:digit:]]+\.[[:digit:]]+"
原创文章，作者：Nicolas ZhaoIV，如若转载，请注明出处：http://www.178linux.com/30457
