Linux—文本处理(查看,统计,排序,抽取,合并,grep,基本正则表达式)

Linux的文本管理有着众多的文本命令工具,这些工具基本可以满足不同的文本处理要求,很是灵活,掌握文本管理命令对系统的维护是必备基础技能。


1.文本查看命令:

    (1)cat

       语法:

       cat [OPTION]… [FILE]…

       常用选项:

       -n:显示查看文件内容的行号;

       -A:显示文件内容中的所有特殊控制符符号,比如Tab键的字符,和换行符等;

       -E:显示文件内容中的结束控制符$;

       -s:连续的空行压缩成一行显示;

       -b:空行不显示行号;


    (2)more:有些大文件内容很多,cat命令一下输出完到底部,前面的内容没办法在命令行界面里灵活查看,more支持分页查看文件;

       语法:

       more FILE…

       支持快捷键操作:Ctrl+b,Enter,空格键;

       支持文本搜素:使用“/”后跟string关键字

       搜索查找到支持地位跳转:n:向下 N:向上;

     注意:翻到文件尾部就退出


    (3)less:命令比more命令更灵活,使用分页器,同时支持PATTERN;

       语法:

       less FILE…

       前面more的功能都支持。

    

    (4)head:定位查看文本头部内容;

       语法:

       head [options]…FILE…

       常用选项:

       -n#:指定显示前面多少行;

       -c#:显示文件头部内容的字节数;

    (5)tail:定位查看文件尾部内容;

       语法:

       tail [options]…FILE…

       常用选项:

       -c#:指定显示文件尾部字节数;

       -n#:指定显示尾部多少行

       -f:跟着显示文件尾部追加内容,不退出继续显示,用作日志监控;


2.在Linux系统中,我们需要经常对文件进行操作,除了增删改查以外,有时需要在不改变原文件属性的前提下对文件进查看,统计,排序,比较等简单操作。下面分别介绍一下这些需求。

 

    (1)文本统计工具wc命令

       wc命令

       语法 :

      wc [options]…[FILE]…

      常用选项:

      不跟选项默认显示内容分别为:文件行数,单词数,字节数;

      -l:只显示文件行数;

      -c:只显示文件中的字节数bytes;

      -w:只显示文件中的单词数;

      -m:只显示文件中的字符数chars;


    (2)文本裁剪工具cut命令和文本合并工具paste命令

       cut 命令有些文件的格式有标准分割符,组成的行和列,可以使用cut命令取出相应的行。

       语法:

       cut [options]…[FILE]…

      常用选项:

      -d:指定以什么符分割每行列;

      -f:指定第几个列,可以连续表示1-5,逗号分割;

      -c#:使用字符个数做分割列;

     

      paste 合并两个文件同行号的列到一行

      语法

      paste [OPTION]… [FILE1] [FILE2]

      常用选项:

      -d 分隔符:指定分隔符,默认用TAB

      -s : 所有行合成一行显示

    

    (3)文本字符排序工具sort和uniq命令

        sort

        语法:

        sort [options]…[FILE]

        常用选项:

        默认排序是根据字符排序

        -n:以数值大小排序

        -r:反向逆序排序

        -t:指定以什么符作为分割列;

        -k:指定第几列进行排序;

        -f:忽略大小写;

   

        uniq

        语法:

       uniq [options]…[FILE]…

       常用选项:

       默认显示连续重复的行只显示一行;

       -c:显示重复行次数;

       -u:不显示重复的行;

       -d:仅仅显示重复的行;

 

  (4)文本比较和补丁恢复工具diff和patch命令

 

        diff:是逐行比较内容

        语法:

        diff [options] [FILE1]  [FILE2]

        diff [options] [FILE1]  [FILE2] >file_patch

        常用选项:

         -u:改变比较内容输出的风格;

         重定向输出的内容为补丁文件,可以利用补丁恢复文件,

 

        patch

        语法:

        patch [options] [file_patch] [FILE]

        常用选项:

         -i:利用补丁恢复原文件;

         R:返回操作;

3.前面介绍了Linux的文本查看以及统计排序抽取比较等工具,但是对文件内容的特定的行列中的字符查找操作,前面的命令很难实现。但是Linux系统中还有许多其他工具是基于模式PATTERN处理文本,其模式要用到正则表达式。

   正则表达:正则表达式是由正则表达式的元字符和文本字符组成的过滤条件;

    正则表达式的元字符:是由一类特殊的字符组成,这些特殊字符不表示本身的含义,而是做控制、次数 或通配的功能。正则表达式根据元字符意义的不同可以分为有两种类型:如下:

      (1)基本正则表达:基本正则表达式的元字符意义如下:

            .   :表示任意单个字符;

         [ ]  :表示指定范围内的单个字符;

         [^]  :表示指定范围外的单个字符;

匹配次数:

         *   :其前字符任意次数,可以是0次1次或一次以上。

         .*  :匹配任意长度的任意字符;

           \?  :匹配其前字符0次或1次;

           \+  :匹配其前字符最少1次多了不限制。

         \{n\}  :匹配其前字符指定n次

         \{m,n\} :匹配其前字符至少m次,至多n次,

         \{0,n\} :匹配其前字符至多n次,最少不限制,可以0次 ;

          \{m,\} :匹配其前字符至少m次,至多不限制;

位置锚定:

         ^    :行首锚定,用于模式的最左侧;

         $    :行尾锚定,用于模式的最右侧;

       ^PATTERN$ :用于模式匹配整行

        ^$     :表示空白行,不包括空白字符键和Tab键;

    ^[[:space:]]  :包括Tab键字符空白字符的空白行

 

单词锚定:这里的单词表示:非特殊字符组成的的连续字符(字符串);

       \<   :锚定词首;可以用\b用于左侧;

       \>   :锚定词尾;可以用\b 用于右侧;

  \< PATTERN\>   :锚定整个单词;

 

分组及引用:前面的匹配模式只能匹配其前单个字符,要想把整个字符串当成一个整体被匹配,需要分组才能实现,同时要想在后面再次匹配其前模式匹配到的内容,保证前后匹配内容相同,只能分组引用,根据正则表达式引擎会把其前匹配到的内容保存为变量,引用变量,这样引用的不在是模式,而是变量保存的内容。达到前后匹配内容一致。

        \(\)::分组格式

        引用:

         \1  :模式从左侧起,第一个左括号以及与之匹配的右括号之间的匹的模式所匹配到的字符;

         \2  :模式从左侧起,第2个左括号以及与之匹配的右括号之间的匹的模式所匹配到的字符;

         …

         注意括号不能不能交叉,跟数学表达式括号运算顺序一样。

 

    (2)扩展正则表达式ERE: 扩展正则表达式的元字符,前面提到的元字符在这里稍微有点改变。

字符匹配:

          .  :任意单个字符

         []  :匹配指定范围的单个字符

        [^]   :匹配不在指定范围内的单个字符

 

次数匹配:

       *    :匹配其前字符任意次

     ?      : 0或1次

     +      :1次或多次

     {m}     :匹配m次

      {m,n}   :至少m,至多n次

位置锚定和单词锚定跟其前面的基本正则表达式一样意义。

分组:

    ()::分组格式

        引用:

         \1  :模式从左侧起,第一个左括号以及与之匹配的右括号之间的匹的模式所匹配到的字符;

         \2  :模式从左侧起,第2个左括号以及与之匹配的右括号之间的匹的模式所匹配到的字符;

         …

或者:

    |

   这里的或者匹配的是两边独立完整的字符串

4.grep文本处理工具:

     grep是基于模式过滤文本行,也就支持正在表达式;

            grep(global search regular expression(RE) and print out the line,全面搜索正则表达式并把行打印出来)是一种强大的文本搜索工具,它能使用正则表达式搜索文本,      并把匹配的行打印出来。

     grep家族有三个后两个分别是egrep和fgrep;

     egrep是基于扩展的正则表达式

     fgrep是不使用正则表达式,所以匹配速度非常快,对简单的过滤模式可以使用fgrep;

     grep

     语法:

     grep [OPTIONS] PATTERN [FILE…]

     grep [OPTIONS] [-e PATTERN | -f FILE] [FILE…]

     常见选项:

     –color:对匹配到的字符和字符串高亮显示

     -o:只显示匹配到的字符和字符串;

     -v:对没有匹配到的行进行显示;

     -i:忽略大小写;

     -n:对匹配到的行显示行号;

     -q:静默模式,作用是有时候匹配不到内容grep命令也不会有任何提示,这时候只想知道匹配结果有还是没有,需要"echo $?"对命令的执行结果进行判断。

  -e :可以指定多个模式进行匹配;或者的意义;

  -w :完整单词匹配;

  -A# :对匹配到的行定位向后显示#行;

  -B# :对匹配到的行定位向前显示#行;

  -C# :对匹配到的行定位向前后分显示#行

  -f file:引用文件内的模式当做进行匹配的条件;

  -E:对于egrep,也就支持扩展的正则表达式;


  egrep:扩展的grep,默认支持的应用的是扩展正则表达式; 

  语法:

     egrep [OPTIONS] PATTERN [FILE…]

     egrep [OPTIONS] [-e PATTERN | -f FILE] [FILE…]

     常用选项:

     其前的grep选项基本支持,

     -G:支持基本正则表达式;


原创文章,作者:xiashixiang,如若转载,请注明出处:http://www.178linux.com/30211

(3)
xiashixiangxiashixiang
上一篇 2016-08-07
下一篇 2016-08-07

相关推荐

  • linux用户和用户组

    一、用户和组 1、用户账号类型 在Linux系统中,根据系统管理的需要将用户账号分为不同的类型,其拥有的权限、担任的角色也各不相同。主要包括超级用户、普通用户和程序用户。 【超级用户】:root用户是Linux系统中默认的超级用户账号,对本主机拥有最高的权限,类似于Windows系统中的Administrator用户。只有当进行系统管理、维护任务时,才建议使…

    Linux干货 2017-07-22
  • Linux 第六天: (08月03日) 练习和作业

    Linux 第六天: (08月03日) 练习和作业        当用户xiaoming对/testdir目录无执行权限时, 无法做哪些操作? 无法 ls -l 无法cd     当用户xiaoqiang对/testdir目录无读权限时, 无法做哪些操作? 无法查看目录文件列表   &nb…

    Linux干货 2016-08-08
  • 马哥linux运维26期开班感悟

         今天的收获,有以下几点      1.自己的公众演说能力很弱,要多多练习,给自己更多的机会。     2.自己想提升自己的心很强,但是自己却不知道该怎么做?     3.即便学完了也只是一个开始,希望自己有一颗归零的心态。

    Linux干货 2017-07-10
  • shell脚本总结

    shell脚本简要总结 脚本调试 bash -n /path/to/some_script检测脚本中的语法错误 bash -x /path/to/some_script调试执行 变量 环境变量 变量声明、赋值:export name=VALUEdeclare -x name=VALUE 变量引用:$name, ${name} 显示所有环境变量: export…

    Linux干货 2016-08-21
  • 阿里云修改hostname主机名的一点小技巧

    CentOS 7以后修改主机名一般使用: hostnamectl set-hostname newhostname 如果仍然无效,使用vim打开/etc/cloud/cloud.cfg,将 preserve_hostname=fale 改为 preserve_hostname=true 即可。 以上在阿里云ECS上亲测有效,使用了网上查阅…

    Linux干货 2017-01-09
  • Linux系统上获取命令的帮助信息方法

    当我们在操作linux时忘记相关命令的用法时,可以使用man 命令或者命令 -h来查询该命令的用法; man文档共有9个章节 1:所有用户可以操作的指令或可执行文件 2:系统核心调用的函数与工具 3:子调用,常用的函数与函数库 4:设备,硬件文件说明,通常是/dev/的文件 5:文件格式,配置文件或者是某些档案的格式 6:游戏相关 7:杂项,例如linux文…

    Linux干货 2018-03-04