文本处理三剑客之sed

概述

    经过上篇对正则表达式和grep相关内容的学习,我们对文本处理有了一个初步的认识,本篇将简要介绍一下文本处理三剑客之sed。具体分为以下几个部分:

    1、sed原理概述

    2、sed命令详解

第一部分    sed原理概述

    1、sed是什么

        sed是一种流编辑器,它一次处理一行内容。处理时,把当前处理的行存储在临时缓冲区中,称为模式空间,接着用sed命令处理缓冲区中的内容,处理完成后,如果有需要进一步处理,就把模式空间的内容送到保持空间,如果不需要进一步处理,把模式空间的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有改变,除非你使用重定向存储输出或者使用-i选项指定修改原文件。 sed主要用来自动编辑一个或多个文件,简化对文件的反复操作,编写转换程序等。

    2、sed的模式空间和保持空间的理解

        模式空间和保持空间,实际上就是sed用来完成数据处理的两段内存空间,其中模式空间用来存储从文档中读取出来的数据,根据指定的处理动作完成对数据的处理,如果在模式空间的数据一次处理后,无法满足要求或需要后续的行进行配合处理,就需再将该行数据放到保持空间,根据需要从模式空间和保持空间之间调度数据,完成更高一级的文件处理动作

    3、sed工作原理

    sed工作原理.png

第二部分    sed命令详解

    1、sed命令语法格式:

        语法:sed [OPTION]…'SCRIPT' FILE…

        SCRIPT:地址定界和编辑命令的集合

        常用选项:

            -n  不输出模式空间的内容至屏幕,也就是没被模式匹配到的行,不输出到屏幕(不指定的话,默认是输出到屏幕)

                一般如果编辑命令不是d,都应该指明该选项

            -e SCRIPT  可以实现多个SCRIPT一起编辑(默认只能用一个SCRIPT)

            -f /PATH/TO/FILE  将各个SCRIPT写到文件中,然后利用-f 导入sed,进行处理。该文件中的格式为每行一个编辑命令

            -r  表示支持使用扩展正则表达式

            -i  表示直接编辑原文件

                sed –iSTRING ‘s/dog/cat/g’ pets可以实现在改变原文件时,将原文件备份一份到原文件目录下取名为源文件名后跟指定的STRING为文件名的文件

            blob.png

    2、sed中的地址定界

        <1>空地址:表示对全文处理

        <2>单地址:表示只对指定行进行处理

            数字:表示指定的行

            /PATTERN/:表示被此模式匹配到的每一行

            $  最后一行

        <3>地址范围

            数字1,数字2  表示从第几行到第几行之间所有的行,包括数字指定的行本身

            数字1,+数字2  表示从第几行开始,往后的多少行

            数字,/PATTERN/  表示从第几行开始,到第一次能被模式匹配到的行结束

            /PATTERN1/,/PATTERN2/  表示第一次能被模式1匹配到的行开始,到第一次能被模式2匹配到的行结束

        <4>步进长度表示法:~

            1~2:表示从第1行开始,每次步进2(此例子表示的是奇数行)

            2~2:表示从第2行开始,每次步进2(此例子表示的是偶数行)

       

        地址定界示例:

        blob.png

        blob.png

    3、sed中的编辑命令

        d  表示删除(此命令一般不能加-n选项,除此命令之外的其他命令都应该加上-n选项)

        p  显示能够被匹配到的模式空间的内容(一般要加上-n选项)

             例如:sed ‘1~2p’ /etc/fstab

                 表示显示全部的内容,且奇数行显示两次,因为默认会显示模式空间中的内容

                 sed -n ‘1~2p’ /etc/fstab表示只显示奇数行的内容

        a  \TEXT 加在后面,表示在模式匹配到行后面追加指定的文本TEXT,支持使用\n(换行符)实现多行插入

        i  \TEXT 加在前面,表示在模式匹配到行前面加上指定的文本TEXT,支持使用\n(换行符)实现多行插入

        c  \TEXT 把匹配到的整行,替换为此处指定的文本TEXT

        w  /PATH/TO/FILE   保存模式空间中被模式匹配到的行另存为指定文件

        r  /PATH/TO/FILE   读取指定文件的内容,至当前文件中被模式匹配到的行后面,文件合并

        =   为模式匹配到的行,打印行号,在匹配到的行的上方另起一行标注行号

        !  条件取反,!的位置在地址定界之后,编辑命令之前

        s///   查找替换,其分隔符可执行指定,常用的有s@@@,s###

            支持替换标记:

                g  表示全局替换(默认表示只替换第一次出现的地方)

                w  /PATH/TO/FILE  将替换成成功的结果保存至指定文件

                p  显示替换成功的行

        blob.png 

        blob.png

        blob.png

        blob.png

    4、sed中的高级编辑命令

        h  表示把模式空间中的内容覆盖至保持空间中

        H  表示把模式空间中的内容追加至保持空间中

        g  表示把保持空间中的内容覆盖至模式空间中

        G  表示把保持空间中的内容追加至模式空间中

        x  表示把模式空间中的内容与保持空间中的内容互换

        n  表示读取匹配到的行的下一行至模式空间中,覆盖原行

        N  表示读取匹配到的行的下一行至模式空间中,追加到原行后面

        d  表示删除模式空间中的行

        D  表示删除多行模式空间中的所有行

        示例:sed ‘1!G;h;$!d’ /etc/fstab  相当于逆序显示文件内容

        分析此命令的过程:

        几个编辑动作的意思:如果不是第一行,就做G操作,然后做h操作,然后如果不是最后一行,就做d操作

        第1行,因为是第一行,不做G操作,然后做h,将第一行的内容覆盖到保持空间,然后不是第一行,删除模式空间的内容,模式空间没内容

        第2行,因为不是第一行,做G操作,将刚才保持空间中的第一行的信息追加到模式空间,此时模式空间有第2行和第1行,然后做h操作,将模式空间的第2行和第1行覆盖到保持空间,此时保持空间有第2行和第1行,然后做d操作,删除了模式空间的所有内容

        第3行,做G操作,故模式空间有了第3行,第2行和第1行,然后再进行h操作,此时保持空间中的内容有第3行第2行第1行,然后删除模式空间

        ….

        最后一行:做G操作,把保持空间的内容追加到模式空间,然后再做h,把模式空间的内容覆盖到保持空间,然后由于是最后一行,不做d操作,故,此时模式空间的内容是最后一行…第一行 ,逆序排序了

        然后sed的默认动作是把模式空间的内容输出,故显示的结果是将文件逆序排序

        blob.png

      

        

        sed ‘$!d’ FILE  表示显示最后一行

        blob.png

        sed ‘$!N;$!D’ FILE  显示文件的最后两行的内容

        blob.png

        sed ‘/^$/d;G’ FILE  删除原有的所有空白行,然后为每个非空白行后添加一个空白行

        blob.png

        sed ‘n;d’ FILE  显示奇数行

        blob.png

        sed ‘G’ FILE   表示在原有的每行后面都加上一个空白行

        blob.png

    

    

原创文章,作者:M20-1倪文超,如若转载,请注明出处:http://www.178linux.com/32100

(0)
M20-1倪文超M20-1倪文超
上一篇 2016-08-10 10:15
下一篇 2016-08-10

相关推荐

  • 内核升级和救援模式

    http://www.cnblogs.com/wzhuo/p/6728336.html 

    Linux干货 2017-04-24
  • N22-第五周博客作业

    1、显示当前系统上root、fedora或user1用户的默认shell; [root@bogon ~]# grep -E  "^(root|fedora|user1)" /etc/passwd  | cut -d: -f1,7r…

    Linux干货 2016-09-26
  • N25-第13周博客作业

    1、建立samba共享,共享目录为/data,要求:(描述完整的过程)   1)共享名为shared,工作组为magedu;   2)添加组develop,添加用户gentoo,centos和ubuntu,其中gentoo和centos以develop为附加组,ubuntu不属于develop组;密码均为用户名; &n…

    Linux干货 2017-05-21
  • 1019作业

    1019作业 柴震 软连接 硬连接 软连接和硬链接的区别 属性与定义: 硬链接:新建的文件是已经存在的文件的一个别名,所以创建时链接数递增;而且当原文件删除时,新建的链接文件仍然可以使用,因其直接对应于数据块。 软链接:也称为符号链接。新建的链接文件以“路径”的形式来表示另一个文件,其大小为指向的路径字符串的长度,不增加或减少目标文件in…

    Linux干货 2016-10-19
  • 关于大型网站技术演进的思考(三):存储的瓶颈(3)

    原文出处: 夏天的森林    存储的瓶颈写到现在就要进入到深水区了,如果我们所做的网站已经到了做数据库垂直拆分和水平拆分的阶段,那么此时我们所面临的技术难度的挑战也会大大增强。 这里我们先回顾下数据库的垂直拆分和水平拆分的定义: 垂直拆分:把一个数据库中不同业务单元的数据分到不同的数据库里。 水平拆分:是根据一定的规则把同一业务…

    Linux干货 2015-03-03
  • linux 文本处理工具 grep cut sort等

    linux day 7 间歇性回忆 自动属于这个组 是  SGID 的功能 chmod g+s /data/testdir setfacl —m g:g2:rwx /data/testdir setfacl -m b:g:g2:rwx /data/testdir setfacl -m d:g:g3:r testdir chmod o= testdi…

    Linux干货 2016-08-08