文本处理三剑客-grep及正则表达式初

什么是正则表达式

基本正则表达式的元字符

扩展正则表达式

grep的基本理解

grep的基本选项

grep的应用实例

什么是正则表达式

 

正则表达式,又称正规表示法、常规表示法(英语:Regular Expression,在代码中常简写为regexregexpRE),计算机科学的一个概念。正则表通常被用来检索、替换那些符合某个模式的文本。(摘自百度百科)

个人理解:正则表达式是由一些特殊字符及文本所标写的一种模式,通过搭配文本处理工具来搜索文本并将匹配数据打印出来。

  正则表达式分类

基本的正则表达式(Basic Regular Expression 又叫vfr Basic RegEx  简称 BRE

扩展的正则表达式(Extended Regular Expression 又叫 Extended RegEx 简称 ERE

引擎:采用不同算法,检查处理正则表达式的软件模块



基本正则表达式的元字符

字符匹配

.        单个字符
[]       匹配任意字符以内范围
[^]      匹配任意字符以外的的范围(取反)
[:digit:]匹配任意数字
[:lower:]匹配任意小写字母
[:upper:]匹配任意大写字母
[:alpha:]匹配任意大小写字母
[:space:]匹配任意空白或空格
[:punct:]匹配所有标点符号
[:alnum:]匹配所有字母和数字

 次数匹配

*匹配前一个字符的0到任意次
.*任意字符的任意长度
\?匹配前面的字符0-1次
\+匹配前面字符的1次以上包括1次
\{n\}匹配前面字符n次
\{m,n\}匹配前面字符最少m,最多n次
\{,m\}最少m次
\{m,\}最多m次

 

位置锚定  

^行首
$行尾
^$空行
\<词首锚定   \>词尾锚定
\b词首锚定   \b词尾锚定
\<匹配整个单词\>

 

分组  

  将一个或多个字符绑定在一起作为一个整体处理

\(\)

例如:\(root\) 匹配一行中所有为root字符的组

例如:ab*c

 表示的是b的任意次而不是说是ab的任意次,要实现这一功能,就可以使用分组\(ab\)*c

 

分组括号中的模式匹配到的内容会被正则表达式引擎自动记录在内部变量中,这些变量为:

\1:模式从左侧开始,第一个左侧括号以及与之匹配的右括号之间的模式所匹配到的字符

\2:模式从左侧开始,第二个左侧括号以及与之匹配的右括号之间的模式所匹配到的字符

括号可以内嵌但不能交叉

 



扩展正则表达式

扩展正则表达式的用法

erep -Eegrep

 

扩展正则表达式的元字符

字符匹配

.任意单个字符
[]指定范围内的字符
[]不在范围内的字符,取反

 

次数匹配

*匹配前面字符的任意次
?匹配前面自0次或1次
+匹配前面字符至少1次以上包括1次
{n}匹配n次
{n,m}匹配至少n次最多m次

 

位置锚定

^行首
$行尾
^$空行
\<,\b:句首
\>,\b:句尾
 或者使用|
A|b:A或b

 



grep的基本理解

文本搜索工具,通过正则表达式及文本字符编写的过滤条件进行搭配来对文本进行匹配检查,打印匹配并输出结果。



grep基本选项

grep -i 不区分大小写
grep -v 取反
grep -n 显示行号
grep -c 显示匹配的有多少行
grep -o 只显示匹配的字符或其他
grep -q 静默模式 就是不显示匹配的结果,什么都不显示
用echo %?得出上一条命令的结果
0为正确输出
非0位错误的命令输出
grep -A {number}匹配结果行后几行
grep -B {number}匹配结果前几行
grep -C {number}匹配结果的前后几行
grep -e 关键字 -e 关键字 多个关键字作为匹配条件(不限制说一定要匹配前后,匹配前后其中一个)
grep -w 匹配整个单词不包含包括

grep的应用实例

1、显示/proc/meminfo文件中以大小s开头的行;(要求:使用两种方式)

[root@localhost ~]# grep -i "^s" /proc/meminfo 
SwapCached:           64 kB
SwapTotal:       2097148 kB
SwapFree:        2091288 kB
Shmem:              6016 kB
Slab:             228152 kB
SReclaimable:     153116 kB
SUnreclaim:        75036 kB
[root@localhost ~]# grep -e "^S" -e "^s" /proc/meminfo 
SwapCached:           64 kB
SwapTotal:       2097148 kB
SwapFree:        2091288 kB
Shmem:              6016 kB
Slab:             228152 kB
SReclaimable:     153116 kB
SUnreclaim:        75036 kB

2、显示/etc/passwd文件中不以/bin/bash结尾的行

[root@localhost ~]# grep -v "/bin/bash$" /etc/passwd
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
avahi-autoipd:x:170:170:Avahi IPv4LL Stack:/var/lib/avahi-autoipd:/sbin/nologin
systemd-bus-proxy:x:999:997:systemd Bus Proxy:/:/sbin/nologin
systemd-network:x:998:996:systemd Network Management:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin

3、显示用户rpc默认的shell程序

[root@localhost ~]# grep "\brpc\b" /etc/passwd |cut -d: -f7
/sbin/nologin

4、找出/etc/passwd中的两位或三位数

[root@localhost ~]# grep "\b[[:digit:]]\{2,3\}\b" /etc/passwd
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
avahi-autoipd:x:170:170:Avahi IPv4LL Stack:/var/lib/avahi-autoipd:/sbin/nologin
systemd-bus-proxy:x:999:997:systemd Bus Proxy:/:/sbin/nologin
systemd-network:x:998:996:systemd Network Management:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
polkitd:x:997:995:User for polkitd:/:/sbin/nologin
colord:x:996:994:User for colord:/var/lib/colord:/sbin/nologin

5、显示/etc/grub2.cfg文件中,至少以一个空白字符开头的且后面存非空白字符的行

[root@localhost ~]# grep "^[[:space:]]\+[^[:space:]].*" /etc/grub2.cfg 
  load_env
   set default="${next_entry}"
   set next_entry=
   save_env next_entry
   set boot_once=true
   set default="${saved_entry}"
  menuentry_id_option="--id"
  menuentry_id_option=""
  set saved_entry="${prev_saved_entry}"
  save_env saved_entry
  set prev_saved_entry=
  save_env prev_saved_entry
  set boot_once=true
  if [ -z "${boot_once}" ];

6、找出"netstat -tan"命令的结果中以'LISTEN'后跟0、1或多个空白字符结尾的行

[root@localhost ~]# netstat -tan |grep "LISTEN[[:space:]]*$"
tcp        0      0 192.168.122.1:53        0.0.0.0:*               LISTEN     
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN     
tcp        0      0 127.0.0.1:631           0.0.0.0:*               LISTEN     
tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN     
tcp        0      0 127.0.0.1:6010          0.0.0.0:*               LISTEN     
tcp6       0      0 :::22                   :::*                    LISTEN     
tcp6       0      0 ::1:631                 :::*                    LISTEN     
tcp6       0      0 ::1:25                  :::*                    LISTEN     
tcp6       0      0 ::1:6010                :::*                    LISTEN

7、添加用户bash、testbash、basher以及nologin(其shell为/sbin/nologin),而后找出/etc/passwd文件中用户名同shell名的行

[root@localhost testdir]# grep "^\(\<.*\>\).*/\1$"  passwd 
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
bash:x:1001:1001::/home/bash:/bin/bash
nologin:x:1004:1004::/home/nologin:/sbin/nologin

原创文章,作者:snowbamboo,如若转载,请注明出处:http://www.178linux.com/29854

(0)
snowbamboosnowbamboo
上一篇 2016-08-07
下一篇 2016-08-07

相关推荐

  • 第九周作业

    1、写一个脚本,判断当前系统上所有用户的shell是否为可登录shell(即用户的shell不是/sbin/nologin);分别这两类用户的个数;通过字符串比较来实现; #!/bin/bash LOGIN_USER=0 NOLOGIN_USER=0 for SHELLUSER in $(cat /etc/passwd | cut -d : -f 7);do…

    Linux干货 2017-07-03
  • week3:cut,sort,grep等shell工具的应用及用户,组管理类命令

    1、列出当前系统上所有已经登录的用户的用户名,注意,同一个用户登录多次只显示一次即可    who | cut -d' ' -f1 | sort –u 2、取出最后登录到当前系统的用户相关信息    who | cut -d' ' -f1 | tail -1 | id 3、取出当…

    Linux干货 2016-11-20
  • 通用二进制安装MySQL(MariaDB)

    一、前言     MySQL是一个关系型数据库管理系统,是最流行的关系型数据库管理系统,由于其体积小、速度快、总体拥有成本低,并且之前是完全开源,所以大受欢迎。但由于后面MySQL卖给了SUN,随后SUN被Oracle收购,虽然也有开源免费版本,但是很多功能都需要另外购买商业版本,导致现在MySQL使用份额逐渐减少。所…

    Linux干货 2015-10-15
  • 1017练习题

    1017练习题 作业 10月17日 柴震 1.生产环境发现一台服务器系统时间产生偏差,造成服务异常,请帮忙校正。 hwclock 查看硬件是否准确,如准确无误,可以使用hwclock -s以硬件时间为准。 或者使用ntpdate命令指定一台NTP服务器,进行同步。 2.生产有一个数据同步脚本需要执行很长时间,怎样做到无人值守,在…

    Linux干货 2016-10-18
  • Dell R720 安装debian系统编译网卡驱动

    最近比较忙,视频也没怎么看,下面是之前工作中遇到的问题,事后做的记录,中间解决过程参考了网上的相关资料,现在一并贴出来。 需求:Dell R720 安装debian系统 环境 硬件:Dell R720  软件:系统有debian 7.0.0和debian 6.0.10 1. debian 7.0.0 : 集成了DELL PCRE H710 Mini…

    Linux干货 2015-08-04
  • 文件系统挂载

    挂载: 将额外文件系统与根文件系统某现存的目录建立起关联关系,进而使得此目录做为其它文件访问入口的行为 卸载: 为解除此关联关系的过程 把设备关联挂载点:mount Point mount 卸载时:可使用设备,也可以使用挂载点 umount mount   umount命令都是临时生效,机器重启后失效 挂载点下原有文件在挂载完成…

    Linux干货 2017-04-30