文本三剑客grep爵士与手下的血泪奋战

M20-石俊 • • Linux干货

文件查看命令： cat, tac,rev
cat [OPTION]… [FILE]…

  •  -E: 显示行结束符$

  • -n: 对显示出的每一行进行编号

  • -A：显示所有控制符

  • -b： 非空行编号

  • -s：压缩连续的空行成一行

Image 201608051932

文件查看

分页查看文件内容
more: 分页查看文件
more [OPTIONS…] FILE…
-d: 显示翻页及退出提示
less：一页一页地查看文件或STDIN输出
查看时有用的命令包括：
/文本 搜索 文本
n/N 跳到下一个 or 上一个匹配

Image 201608051936
less 命令是man命令使用的分页器

显示文本前或后行内容
head
head [OPTION]… [FILE]…

  • -c #: 指定获取前#字节

  • -n #: 指定获取前#行

  • -#： 指定行数

Image 201608051938
tail
tail [OPTION]… [FILE]…

  • -c #: 指定获取后#字节

  • -n #: 指定获取后#行

  • -#：

  • -f: 跟踪显示文件新追加的内容,常用日志监控

在后台监控文件更新，使用命令：tail -0 file &
(&：是能让程序在后台运行的命令)

Image 201608051951 (2)

按列抽取文本cut和合并文件paste
cut [OPTION]… [FILE]…

  • -d DELIMITER: 指明分隔符，默认tab

  • -f FILEDS:

  • #: 第#个字段

  • #,#[,#]：离散的多个字段，例如1,3,6

  • #-#：连续的多个字段, 例如1-6

  • 混合使用： 1-3,7

  • -c 按字符切割   –output-delimiter=STRING指定输出分隔符

 

cut和paste
显示文件或STDIN数据的指定列

cut -d: -f1 /etc/passwd
cat /etc/passwd | cut -d: -f7
cut -c2-5 /usr/share/dict/words

Image 201608051959
paste 合并两个文件同行号的列到一行
paste [OPTION]… [FILE]…
-d 分隔符:指定分隔符，默认用TAB
-s : 所有行合成一行显示
paste f1 f2
paste -s f1 f2

Image 201608052001

分析文本的工具

文本数据统计： wc
整理文本： sort
比较文件： diff和patch

Image 201608052003

收集文本统计数据wc

计数单词总数、行总数、字节总数和字符总数
可以对文件或STDIN中的数据运行

行数 字数 字符数

  • 使用 -l 来只计数行数

  • 使用 -w 来只计数单词总数

  • 使用 -c 来只计数字节总数

  • 使用 -m 来只计数字符总数

Image 201608052006

文本排序sort

把整理过的文本显示在STDOUT，不改变原始文件
$ sort [options] file(s)
常用选项

  • -r 执行反方向（由上至下）整理

  • -n 执行按数字大小整理

  • -f 选项忽略（ fold）字符串中的字符大小写

  • -u 选项（独特， unique）删除输出中的重复行

  • -t c 选项使用c做为字段界定符

  • -k X 选项按照使用c字符分隔的X列来整理能够使用多次

Image 201608052008

 

uniq

uniq命令：从输入中删除重复的前后相接的行
uniq [OPTION]… [FILE]…

  • -c: 显示每行重复出现的次数；

  • -d: 仅显示重复过的行；

  • -u: 仅显示不曾重复的行；

连续且完全相同方为重复
常和sort 命令一起配合使用：
sort userlist.txt | uniq -c

比较文件
比较两个文件之间的区别
$ diff foo.conf-broken foo.conf-works
5c5
< use_widgets = no
—
> use_widgets = yes
注明第5行有区别（改变）

复制对文件改变patch
diff 命令的输出被保存在一种叫做“补丁”的文件中
使用 -u 选项来输出“统一的（ unified）” diff格式文
件，最适用于补丁文件。
patch 命令复制在其它文件中进行的改变（要谨慎使用
！）
适用 -b 选项来自动备份改变了的文件
$ diff -u foo.conf-broken foo.conf-works > foo.patch
$ patch -b foo.conf-broken foo.patch

Image 201608052025Image 201608052026

练习
1、找出ifconfig命令结果中本机的所有IPv4地址
2、查出分区空间使用率的最大百分比值
3、查出用户UID最大值的用户名、 UID及shell类型
4、查出/tmp的权限，以数字方式显示
5、统计当前连接本机的每个远程主机IP的连接数，并按从大
到小排序

Linux上文本处理三剑客
grep：文本过滤(模式： pattern)工具;
grep, egrep, fgrep（不支持正则表达式搜索）
sed： stream editor，文本编辑工具；
awk： Linux上的实现gawk，文本报告生成器；

grep
grep: Global search REgular expression and Print out
the line.
作用：文本搜索工具，根据用户指定的“模式”对目标文
本逐行进行匹配检查；打印匹配到的行；
模式：由正则表达式字符及文本字符所编写的过滤条件
grep [OPTIONS] PATTERN [FILE…]

grep命令选项

  • –color=auto: 对匹配到的文本着色显示；

  • -v: 显示不能够被pattern匹配到的行；

  • -i: 忽略字符大小写

  • -n： 显示匹配的行号

  • -c: 统计匹配的行数

  • -o: 仅显示匹配到的字符串

  • -q: 静默模式，不输出任何信息

  • -A #： after, 后#行

  • -B #: before, 前#行

  • -C #： context, 前后各#行

  • -e：实现多个选项间的逻辑or关系

  • grep –e ‘cat ’ -e ‘dog’ file

  • -w：整行匹配整个单词

  • -E：使用ERE

正则表达式
REGEXP：由一类特殊字符及文本字符所编写的模式，其中有些字符（元字符）不表示字符字面意义，而表示控制或通配的功能

基本正则表达式元字符
字符匹配:

  • . ： 匹配任意单个字符；

  • [] ： 匹配指定范围内的任意单个字符

  • [^] ：匹配指定范围外的任意单个字符

  • [:digit:]、 [:lower:]、 [:upper:]、 [:alpha:]、 [:alnum:]
    、 [:punct:]、 [:space:]

正则表达式
匹配次数：用在要指定次数的字符后面，用于指定前面的字
符要出现的次数

  • *：匹配前面的字符任意次，包括0次
    贪婪模式：尽可能长的匹配

  • .*：任意长度的任意字符

  • \?：匹配其前面的字符0或1次

  • \+：匹配其前面的字符至少1次

  • \{m\}：匹配前面的字符m次

  • \{m,n\}：匹配前面的字符至少m次，至多n次

  • \{,n\}：匹配前面的字符至多n次

  • \{m,\}：匹配前面的字符至少m次

正则表达式
位置锚定：定位出现的位置

  • ^：行首锚定，用于模式的最左侧

  • $：行尾锚定，用于模式的最右侧

  • ^PATTERN$: 用于模式匹配整行

  • ^$: 空行

  • ^[[:space:]]*$ ：空白行

  • \< 或 \b：词首锚定，用于单词模式的左侧

  • \> 或 \b：词尾锚定；用于单词模式的右侧

  • \<PATTERN\>：匹配整个单词

正则表达式
分组： \(\)：将一个或多个字符捆绑在一起，当作一个整体进
行处理，如： \(root\)\+
分组括号中的模式匹配到的内容会被正则表达式引擎记录
于内部的变量中，这些变量的命名方式为: \1, \2, \3, …

  • \1: 从左侧起，第一个左括号以及与之匹配右括号之间的模式所匹配到的字符；
    实例： \(string1\+\(string2\)*\)

  • \1: string1\+\(string2\)*

  • \2: string2

后向引用：引用前面的分组括号中的模式所匹配字符(而
非模式本身)

正则表达式
元字符 定义

  • ^ 行首

  • $ 行尾

  • . 任意单一字符

  • [] []内任意单一字符

  • [^] 除[]内任意单一字符

  • * *前面字符重复不确定次数

  • \+ \+前面字符重复一次以上不确定次数

  • \? ？前面字符重复0或1次

  • \ 转义符

  • .* 任意长度字符

  • \{n\} 前面字符重复n次

  • \{n,\} 前面字符重复n次以上

  • \{m,n\} 前面字符重复m次和n次之间

正则表达式

元字符 定义

  • [:alpha:] 所有字母，包括大、小写

  • [:alnum:] 所有字母和数字

  • [:upper:] 所有大写字母

  • [:lower:] 所有小写字母

  • [:digit:] 所有数字

  • [:punct:] 所有标点符号

  • [:space:] 空格和Tab

练习
1、显示/proc/meminfo文件中以大小s开头的行； (要求：使
用两种方式)

Image 201608052057 (2) Image 201608052057
2、显示/etc/passwd文件中不以/bin/bash结尾的行

Image 201608052055
3、显示用户rpc默认的shell程序

Image 201608052119
4、找出/etc/passwd中的两位或三位数

Image 201608052121
5、显示/etc/grub2.cfg文件中，至少以一个空白字符开头的
且后面存非空白字符的行

Image 201608052122
6、找出”netstat -tan”命令的结果中以’LISTEN’后跟0、 1
或多个空白字符结尾的行

Image 201608052124
7、添加用户bash、 testbash、 basher以及nologin(其shell为
/sbin/nologin),而后找出/etc/passwd文件中用户名同shell名
的行

Image 201608052127

egrep及扩展的正则表达式
egrep = grep -E
egrep [OPTIONS] PATTERN [FILE…]
扩展正则表达式的元字符：
字符匹配：

  • . 任意单个字符

  • [] 指定范围的字符

  • [^] 不在指定范围的字符

扩展正则表达式
次数匹配：

  • *：匹配前面字符任意次

  • ?: 0或1次

  • +： 1次或多次

  • {m}：匹配m次

  • {m,n}：至少m，至多n次

扩展正则表达式
位置锚定：

  • ^ :行首

  • $ :行尾

  • \<, \b :语首

  • \>, \b :语尾

  • 分组：()

  • 后向引用： \1, \2, …

  • 或者：

  • a|b

  • C|cat: C或cat

  • (C|c)at:Cat或cat

练习
1、显示当前系统root、 mage或wang用户的UID和默认shell

Image 201608052134
2、找出/etc/rc.d/init.d/functions文件中行首为某单词(包
括下划线)后面跟一个小括号的行

Image 201608052138
3、使用egrep取出/etc/rc.d/init.d/functions中其基名

Image 201608052138 (2)
4、使用egrep取出上面路径的目录名

Image 201608052141
5、统计以root身份登录的每个远程主机IP地址的登录次数

Image 201608052115
6、利用扩展正则表达式分别表示0-9、 10-99、 100-199、
200-249、 250-255

[0-9]

[1-9][1-9]

1[0-9][0-9]

2[0-4][0-9]

25[0-5]
7、显示ifconfig命令结果中所有IPv4地址

Image 201608052145

作业：

4、取本机ip地址

Image 201608052152
5、取各分区利用率的数值

Image 201608052154
6、统计/etc/init.d/functions 文件中每个单词出现的次数，并按频率从高到低显示

Image 201608052200
7、/etc/rc.d/init.d/functions或/etc/rc.d/init.d/functions/”  取目录名

做过了。略
8、正则表达式表示身份证号

Image 201608052216
9、正则表达式表示手机号

Image 201608052218
10、正则表达式表示邮箱

Image 201608052212
11、正则表达式表示QQ号

Image 201608052217

 

原创文章，作者：M20-石俊，如若转载，请注明出处：http://www.178linux.com/29856

赞 (0)
M20-石俊M20-石俊
0
上一篇 2016-08-07
下一篇 2016-08-07

相关推荐

  • Java中的CopyOnWrite容器

    Copy-On-Write简称COW，是一种用于程序设计中的优化策略。其基本思路是，从一开始大家都在共享同一个内容，当某个人想要修改这个内容的时候，才会真正把内容Copy出去形成一个新的内容然后再改，这是一种延时懒惰策略。从JDK1.5开始Java并发包里提供了两个使用CopyOnWrite机制实现的并发容器,它们是CopyOnWriteArrayList和…

    Linux干货 2016-08-15
  • 查找find命令简介 Linux干货

    查找find命令简介

       之前都是写一些关于课后练习题的博客，既练习了课后习题也把博客写了，舒服！不过这周学的知识需要练习的不多，更多的是需要了解和记忆，所以给大家介绍一个自我觉得挺强大的一个命令，那就是查找find命令。大家都知道计算机的数据茫茫多，要想找到自己想要的级必须加点限制性的条件来缩小一下范围，或者准确的告诉计算机你想要的是什么。那么怎么来实现呢…

    2017-08-12

  • 马哥教育网络班25期-第2周作业

    一、Linux文件管理类命令： （1）ls             list 用来显示目录列表             …

    Linux干货 2016-12-12

  • 8.9_Linux文本处理三剑客之sed和文本编辑利器vim的使用

    本文处理三剑客之sed的使用   什么是sed? Stream EDitor(简称sed), 行编辑器，一次只读一行，只处理一行，不对源文件做处理，至输出到屏幕上。 sed是一种流编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓…

    Linux干货 2016-08-11
  • 关于大型网站技术演进的思考（十二）–网站静态化处理—缓存（4） Linux干货

    关于大型网站技术演进的思考（十二）–网站静态化处理—缓存（4）

    原文出处： 夏天的森林   上篇我补充了下SSI的知识，SSI是一个十分常见的技术，记得多年前我看到很多门户网站页面的后缀是.shtml，那么这就说明很多门户网站都曾经使用过SSI技术，其实现在搜狐网站也还在用shtml，如下图所示： 由此可见SSI在互联网的应用还是非常广泛的。其实互联网很多网页如果我们按照动静分离策略拆分，绝…

    2015-03-11
  • bash的基础特性[更新中] Linux干货

    bash的基础特性[更新中]

    2、bash的工作特性之命令执行状态返回值和命令行展开所涉及的内容及其示例演示。
    3、请使用命令行展开功能来完成以下练习：
    (1)、创建/tmp目录下的：a_c, a_d, b_c, b_d
    (2)、创建/tmp/mylinux目录下的：
    mylinux/
    ├── bin
    ├── boot
    │   └── grub
    ├── dev
    ├── etc
    │   ├── rc.d
    │   │   └── init.d
    │   └── sysconfig
    │   └── network-scripts
    ├── lib
    │   └── modules
    ├── lib64
    ├── proc
    ├── sbin
    ├── sys
    ├── tmp
    ├── usr
    │   └── local
    │   ├── bin
    │   └── sbin
    └── var
    ├── lock
    ├── log
    └── run
    5、如何定义一个命令的别名，如何在命令中引用另一个命令的执行结果？
    6、显示/var目录下所有以l开头，以一个小写字母结尾，且中间至少出现一位数字（可以有其它字符）的文件或目录。
    7、显示/etc目录下，以任意一个数字开头，且以非数字结尾的文件或目录。
    8、显示/etc目录下，以非字母开头，后面跟了一个字母以及其它任意长度任意字符的文件或目录。
    9、在/tmp目录下创建以tfile开头，后跟当前日期和时间的文件，文件名形如：tfile-2016-05-27-09-32-22。
    10、复制/etc目录下所有以p开头，以非数字结尾的文件或目录到/tmp/mytest1目录中。
    11、复制/etc目录下所有以.d结尾的文件或目录至/tmp/mytest2目录中。
    12、复制/etc/目录下所有以l或m或n开头，以.conf结尾的文件至/tmp/mytest3目录中。

    2018-03-17
电话咨询
在线咨询