文本处理三剑客之sed

概述

    经过上篇对正则表达式和grep相关内容的学习,我们对文本处理有了一个初步的认识,本篇将简要介绍一下文本处理三剑客之sed。具体分为以下几个部分:

    1、sed原理概述

    2、sed命令详解

第一部分    sed原理概述

    1、sed是什么

        sed是一种流编辑器,它一次处理一行内容。处理时,把当前处理的行存储在临时缓冲区中,称为模式空间,接着用sed命令处理缓冲区中的内容,处理完成后,如果有需要进一步处理,就把模式空间的内容送到保持空间,如果不需要进一步处理,把模式空间的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有改变,除非你使用重定向存储输出或者使用-i选项指定修改原文件。 sed主要用来自动编辑一个或多个文件,简化对文件的反复操作,编写转换程序等。

    2、sed的模式空间和保持空间的理解

        模式空间和保持空间,实际上就是sed用来完成数据处理的两段内存空间,其中模式空间用来存储从文档中读取出来的数据,根据指定的处理动作完成对数据的处理,如果在模式空间的数据一次处理后,无法满足要求或需要后续的行进行配合处理,就需再将该行数据放到保持空间,根据需要从模式空间和保持空间之间调度数据,完成更高一级的文件处理动作

    3、sed工作原理

    sed工作原理.png

第二部分    sed命令详解

    1、sed命令语法格式:

        语法:sed [OPTION]…'SCRIPT' FILE…

        SCRIPT:地址定界和编辑命令的集合

        常用选项:

            -n  不输出模式空间的内容至屏幕,也就是没被模式匹配到的行,不输出到屏幕(不指定的话,默认是输出到屏幕)

                一般如果编辑命令不是d,都应该指明该选项

            -e SCRIPT  可以实现多个SCRIPT一起编辑(默认只能用一个SCRIPT)

            -f /PATH/TO/FILE  将各个SCRIPT写到文件中,然后利用-f 导入sed,进行处理。该文件中的格式为每行一个编辑命令

            -r  表示支持使用扩展正则表达式

            -i  表示直接编辑原文件

                sed –iSTRING ‘s/dog/cat/g’ pets可以实现在改变原文件时,将原文件备份一份到原文件目录下取名为源文件名后跟指定的STRING为文件名的文件

            blob.png

    2、sed中的地址定界

        <1>空地址:表示对全文处理

        <2>单地址:表示只对指定行进行处理

            数字:表示指定的行

            /PATTERN/:表示被此模式匹配到的每一行

            $  最后一行

        <3>地址范围

            数字1,数字2  表示从第几行到第几行之间所有的行,包括数字指定的行本身

            数字1,+数字2  表示从第几行开始,往后的多少行

            数字,/PATTERN/  表示从第几行开始,到第一次能被模式匹配到的行结束

            /PATTERN1/,/PATTERN2/  表示第一次能被模式1匹配到的行开始,到第一次能被模式2匹配到的行结束

        <4>步进长度表示法:~

            1~2:表示从第1行开始,每次步进2(此例子表示的是奇数行)

            2~2:表示从第2行开始,每次步进2(此例子表示的是偶数行)

       

        地址定界示例:

        blob.png

        blob.png

    3、sed中的编辑命令

        d  表示删除(此命令一般不能加-n选项,除此命令之外的其他命令都应该加上-n选项)

        p  显示能够被匹配到的模式空间的内容(一般要加上-n选项)

             例如:sed ‘1~2p’ /etc/fstab

                 表示显示全部的内容,且奇数行显示两次,因为默认会显示模式空间中的内容

                 sed -n ‘1~2p’ /etc/fstab表示只显示奇数行的内容

        a  \TEXT 加在后面,表示在模式匹配到行后面追加指定的文本TEXT,支持使用\n(换行符)实现多行插入

        i  \TEXT 加在前面,表示在模式匹配到行前面加上指定的文本TEXT,支持使用\n(换行符)实现多行插入

        c  \TEXT 把匹配到的整行,替换为此处指定的文本TEXT

        w  /PATH/TO/FILE   保存模式空间中被模式匹配到的行另存为指定文件

        r  /PATH/TO/FILE   读取指定文件的内容,至当前文件中被模式匹配到的行后面,文件合并

        =   为模式匹配到的行,打印行号,在匹配到的行的上方另起一行标注行号

        !  条件取反,!的位置在地址定界之后,编辑命令之前

        s///   查找替换,其分隔符可执行指定,常用的有s@@@,s###

            支持替换标记:

                g  表示全局替换(默认表示只替换第一次出现的地方)

                w  /PATH/TO/FILE  将替换成成功的结果保存至指定文件

                p  显示替换成功的行

        blob.png 

        blob.png

        blob.png

        blob.png

    4、sed中的高级编辑命令

        h  表示把模式空间中的内容覆盖至保持空间中

        H  表示把模式空间中的内容追加至保持空间中

        g  表示把保持空间中的内容覆盖至模式空间中

        G  表示把保持空间中的内容追加至模式空间中

        x  表示把模式空间中的内容与保持空间中的内容互换

        n  表示读取匹配到的行的下一行至模式空间中,覆盖原行

        N  表示读取匹配到的行的下一行至模式空间中,追加到原行后面

        d  表示删除模式空间中的行

        D  表示删除多行模式空间中的所有行

        示例:sed ‘1!G;h;$!d’ /etc/fstab  相当于逆序显示文件内容

        分析此命令的过程:

        几个编辑动作的意思:如果不是第一行,就做G操作,然后做h操作,然后如果不是最后一行,就做d操作

        第1行,因为是第一行,不做G操作,然后做h,将第一行的内容覆盖到保持空间,然后不是第一行,删除模式空间的内容,模式空间没内容

        第2行,因为不是第一行,做G操作,将刚才保持空间中的第一行的信息追加到模式空间,此时模式空间有第2行和第1行,然后做h操作,将模式空间的第2行和第1行覆盖到保持空间,此时保持空间有第2行和第1行,然后做d操作,删除了模式空间的所有内容

        第3行,做G操作,故模式空间有了第3行,第2行和第1行,然后再进行h操作,此时保持空间中的内容有第3行第2行第1行,然后删除模式空间

        ….

        最后一行:做G操作,把保持空间的内容追加到模式空间,然后再做h,把模式空间的内容覆盖到保持空间,然后由于是最后一行,不做d操作,故,此时模式空间的内容是最后一行…第一行 ,逆序排序了

        然后sed的默认动作是把模式空间的内容输出,故显示的结果是将文件逆序排序

        blob.png

      

        

        sed ‘$!d’ FILE  表示显示最后一行

        blob.png

        sed ‘$!N;$!D’ FILE  显示文件的最后两行的内容

        blob.png

        sed ‘/^$/d;G’ FILE  删除原有的所有空白行,然后为每个非空白行后添加一个空白行

        blob.png

        sed ‘n;d’ FILE  显示奇数行

        blob.png

        sed ‘G’ FILE   表示在原有的每行后面都加上一个空白行

        blob.png

    

    

原创文章,作者:M20-1倪文超,如若转载,请注明出处:http://www.178linux.com/32100

(0)
M20-1倪文超M20-1倪文超
上一篇 2016-08-10 10:15
下一篇 2016-08-10

相关推荐

  • Linux进程管理常用命令(二)

       htop命令:         选项:         -d # : 指定延迟时间间隔;         -u  UserName :仅显示指定用户的进程;       &n…

    Linux干货 2017-01-05
  • linux 生产常用命令

    hostname 显示当前的主机名pwd 显示当前工作的目录wwhowhoami显示当前用户及已建立的ssh链接useradd 新建一个普通用户passwd 修改用户的密码which 查看系统命令所对应的路径type 查询命令是否属于内部命令或者外部命令hash 哈希 把一个命令一个文本通过某种算法生产一串字符df 查看系统分区hash -l 加快命令查询执…

    Linux干货 2017-03-28
  • 第四周作业新

    1、复制/etc/skel目录为/home/tuser1,要求/home/tuser1及其内部文件的属组和其它用户均没有任何访问权限。 ]# cp -r /etc/skel /home/tuser1             &nb…

    2017-02-20
  • LVM(重要)

    LVM   LVM(Logical Volume Manger),是一种磁盘分区管理机制,可以灵活的调整分区的大小。它是将多个硬盘组成卷组的形式实现的。说白了就是通过软件来实现对分区灵活管理。   LVM是将多块硬盘组成PV,再由PV组成VG,VG再组成lv,然后在lv上创建文件系统。   物理存储介:指的就是硬盘等,最基本的存储单元。   PV(physi…

    Linux干货 2016-08-30
  • Raid的工作原理

    1,什么是Raid Raid的基本原理就是把多个磁盘组合到一起,组成一个磁盘组,使性能达到或超过一个容量巨大价格昂工艺的磁盘,当然基于硬件的RAID解决方案比基于软件RAID技术在使用性能和服务性能上稍胜一筹,具体表现在检测和修复多位错误的能力、错误磁盘自动检测和阵列重建等方面。 2.RAID级别介绍;一般常用的RAID阶层,分别是RAID 0、RAID1、…

    Linux干货 2017-06-19
  • 【26期】Linux第一周学习小总结

        知识不在长短,而在于其中的精炼程度,字典每个字没有一页的篇幅,却被大面积推广,之所以没有再把学到的全部搬运到博客上来,就是为了给大家一点可看的东西,也许我自己认为的精炼是有点简短了,那我就再更新一下,再复习一下,学到的whatis 和 man命令。     第一周匆匆而过,学过的知识,过遍脑…

    2017-07-14