文件处理工具系列(二):行编辑器sed

1、sed介绍

    sed(Stream EDitor),是一种行编辑工具,它一次处理一行内容。处理时,把当前匹配到的行存储在临时缓冲区中,称为“模式空间”(pattern space),接着用sed命令对这些数据做出相应的增删改查操作,处理完成后,默认输出至屏幕,而未被匹配到的行也将默认输出至屏幕。而原来的文件内容并没有发生改变,除非使用重定向存储输出。  

wKiom1ep1dbTNvPcAAAMsKrIBe4763.png

2、sed用法

   <1>语法格式

      sed [option]… 'addressCOMMAND' inputfile…

   <2>[option]

-n     不输出模式空间和未匹配到的数据
-e     多点编辑
-r     支持使用扩展的正则表达式
-i     原处编辑

   注:虽然可通过sed -i.bak '4,$d' /tmp/fstab类似的方式处理/tmp/fstab文件,而且会在/tmp目录下生成fstab.bak备份的文件,但依然不建议在生产生活中使用

[root@centos7 ~]# sed -i.bak '4,$d' /tmp/fstab 
[root@centos7 ~]# ls /tmp/
fstab  fstab.bak  functions

   <3>address

不给地址     对全文进行搜索
单地址
        #     指定的行
        /pattern/     被模式匹配到的每一行
地址范围
        #,#     指定的行到指定的行
        #,+#     指定的行到下几行
        /pat1/,/pat2/     第一次被某模式匹配到的行到最后一次被某模式匹配到的行
        #,/pat1/     第几行到最后一次被某模式匹配到的行
步进
        1~2     奇数行
        2~2     偶数行

   <4>COMMAND

          d:删除模式空间匹配到的行

          p:显示模式空间中的行

             注:此命令一般与-n选项同用,否则匹配到的内容会显示俩次

          a \text\:在行后面追加文本,支持使用\n实现多行追加

          i \text\:在行前面插入文本,支持使用\n实现多行插入

          c \text\:替换为单行或多行文本

          w /path/to/somefile:保存模式匹配到的行至指定文件,一般也会与-n同用

[root@centos7 ~]# sed -n '/UUID/w /tmp/fstab.tmp' /etc/fstab
[root@centos7 ~]# cat /tmp/fstab.tmp 
UUID=cb86b5f6-3ea1-48b6-ad1d-5a77cf565d5b /boot                   xfs     defaults        0 0

          r /path/from/somefile

[root@centos7 ~]# cat a
haha
[root@centos7 ~]# sed '/Kernel/r a' /etc/issue
\S
Kernel \r on an \m
haha

          s///:查找替换,支持使用其它分隔符,s@@@,s###

                g:全局替换 

针对以上知识点,做以下加强练习

1、删除/etc/grub2.conf文件中所有以空白开头的行行首的空白字符

[root@centos7 ~]# sed -r 's@^[[:space:]]\+@@' /etc/grub2.cfg

2、删除/etc/fstab文件中所有以#开头,后面至少跟一个空白字符的行的行首的#和空白字符

[root@centos7 ~]# sed -r 's@^#[[:space:]]+@@' /etc/fstab

3、在/etc/fstab每一行行首增加#号

[root@centos7 ~]# sed 's@^@#&@' /etc/fstab

或者

[root@centos7 ~]# sed 's@^.*@#&@' /etc/fstab

注意:此处不可写成sed 's@^(.*)@#$@' /etc/fstab,这是错误的,此处锚定的是(),而不是行首

[root@centos7 ~]# cat > f1
()
a
b
^C
[root@centos7 ~]# sed 's@^(.*)@#&@' f1
#()   
a
b

4、在/etc/fstab文件中不以#开头的行的行首增加#号

[root@centos7 ~]# sed 's@^[^#]@#&@' /etc/fstab

5、处理/etc/fstab路径,使用sed命令取出其目录名和基名

[root@centos7 ~]# echo /etc/fstab | sed -r 's@(.*/)([^/]+/?$)@\1@'
/etc/
[root@centos7 ~]# echo /etc/fstab | sed -r 's@(.*/)([^/]+/?$)@\2@'
fstab

6、利用sed 取出ifconfig命令中本机的IPv4地址

[root@centos7 ~]# ifconfig | sed -n '2p' | sed -e 's@.*inet[[:space:]]@@' -e 's@[[:space:]].*@@'

或者

[root@centos7 ~]# ifconfig | sed -n '2p' | sed -r 's@.*inet[[:space:]](.*)[[:space:]]net.*@\1@'
10.1.0.17

当然,如果使用cut就简单多了

[root@centos7 ~]# ifconfig | sed -n '2p' | tr -s ' ' | cut -d' ' -f3
10.1.0.17

7、统计centos安装光盘中Package目录下的所有rpm文件的以.分隔倒数第二个字段的重复次数

[root@centos7 Packages]# ls | grep "rpm$" | sed -e 's@.rpm$@@' -e 's@.*\.@@' | sort | uniq -c
   2000 i686
   2938 noarch
   4069 x86_64

或者

[root@centos7 Packages]# ls | grep "rpm$" | sed -r 's@.*\.(.*)\.rpm@\1@' | sort | uniq -c
   2000 i686
   2938 noarch
   4069 x86_64

注意常见的错误

使用正则表达式注意.的转义

使用扩展正则表达式注意分组时要加-r

再或者

[root@centos7 Packages]# ls | grep "rpm$" | rev | cut -d. -f2 | sort | uniq -c
   4069 46_68x
   2000 686i
   2938 hcraon

总结:个人认为,sed命令是grep命令的延伸,虽然有些功能比如筛选同样的行时,俩者都可实现,但是如果数据量很大的话,相比而言,grep是更加方便的。所以grep筛选数据,sed再处理数据,这样无疑是最好的结果。至于cut、tr等命令,同样可以处理很多grep和sed要处理的问题,像筛选特定的字段,所以也是非常灵活的,要勤加练习,才能掌握的游刃有余。

原创文章,作者:mfwing,如若转载,请注明出处:http://www.178linux.com/32845

(0)
mfwingmfwing
上一篇 2016-08-11
下一篇 2016-08-11

相关推荐

  • CentOS7下重置root密码

    CentOS7下重置root密码          Linux系统、UNIX系统和其他类UNIX系统中,存在唯一的超级用户root。普通用户密码忘掉可以用root用户重置,但是一旦root密码忘掉,事情就复杂起来了。本文主要介绍root密码忘掉之后,重置密码的过程。   &nbs…

    Linux干货 2017-03-30
  • 网络管理3

    一、知识整理 1、跨网络通信:路由 路由的分类:主机路由;网络路由;默认路由。 将主机接入网络,需要配置网络相关设置。一般包括如下内容:主机名;IP/MASK;路由:默认网关;DNS服务器:主、次、第三DNS服务器。 2、网络配置文件:IP、MASK、GW、DNS相关配置文件 /etc/sysconfig/network-scripts/ifcfg-IFAC…

    Linux干货 2016-09-10
  • 我与Linux的第一次亲密接触

        作为一个新手,经过一周的学习,我对Linux目前有了些许的了解,从Linux的发展史中,开源共享精神深深的感染了我,也使得我对Linux的兴趣更加浓厚。对于一个一直翘计算机课的我来说,入门和基础是一项非常艰巨的任务,初期为了搭建学习的环境,也是费了不小的功夫,相信许多萌也对此有很大的感触,在这里,我来和大家分享一下如何去构建环境。…

    Linux干货 2017-03-26
  • N25第7周作业

    1、创建一个10G分区,并格式为ext4文件系统;   (1) 要求其block大小为2048, 预留空间百分比为2, 卷标为MYDATA, 默认挂载属性包含acl;    (2) 挂载至/data/mydata目录,要求挂载时禁止程序自动运行,且不更新文件的访问时间戳; ]# fdisk /dev/sdb #划出一个…

    Linux干货 2017-02-21
  • centos7源码编译安装Apache2.4.25服务

    •一、源码包下载 •二、安装开发环境以及编译环境 •三、编译安装以及报错排查 •四、调试Apache服务 前言: 本文主要介绍了在Centos7环境中如何通过源码编译的方式安装Apache服务(也就是我们的httpd服务)由于本文整理时间有限,所以难免有些纰漏之处,欢迎大家在阅读后在评论区指出,本人看到会在第一时间修改文中错误的地方。 为什么要进行源码编译安…

    2017-04-22
  • 文件查找工具

    文件查找     我们常常需要知道哪个文件放在哪里,才能够对该文件进行一些修改或维护等动作。 有些时候某些软件配置文件的文件名是不变的,但是各发行版 放置的目录则不同。 此时就得要利用一些搜寻指令将该配置文件的完整文件名捉出来,这样才能修改。     比较实用的两个文件查找工具l…

    Linux干货 2016-08-21