Linux 文本处理,文本工具,查看,分析,统计文本文件,grep,正则表达式

文本处理

各种文本工具,查看,分析,统计文本文件

grep

正则表达式

扩展正则表达式

sed

cat -n f1

加行号(空格行都计算)

QQ图片20160805200612.png

cat -b f1

加行号(只计算有字符的行)

QQ图片20160805200722.png

cat -ns f1

加行号(压缩空行)

cat -v f1

能看windows文件的M`符号

QQ图片20160805201201.png

cat -T f1

能够显示里面的tab空位,显示为^I

QQ图片20160805201509.png

cat -A f1

能够显示所有的=-vET

QQ图片20160805201615.png

cat 命令是一个标准输入到标准输出

tac f1

将文本内容倒向显示

QQ图片20160805201718.png

rev f2

echo {1..10} >>f2

01 9 8 7 6 5 4 3 2 1 

将文本反向显示(内容为字符显示)

QQ图片20160805202006.png

QQ图片20160805202021.png

more 

    space空格一页一页翻

    q :退出

    回车翻一行

less 

    d:翻半屏

   / :文本搜索

  n/N:跳到上一个或者下一个匹配 

head 头

head -n 3

     -3 /var/log/messages   头三行显示

QQ图片20160805202530.png

tail 后                     

tail -n 10 /var/log/messages  后10行的显示

QQ图片20160805202647.png

tail -f /var/log/messages 自动显示更新的日志内容(保持显示内容)

QQ图片20160805203255.png

tail -n 0 -f /var/log/message & 

日志有新信息就显示,没新信息都不出现 (在后台运行)

fg 1 

Ctrl +C (要切换回前台在结束)

QQ图片20160805210154.png

tail -c 10 f1

显示后10个字符(包括空格,符号。)

QQ图片20160805203413.png

按列抽取文本cut和合拼文件paste

 cut

     -d :指明分隔符,默认tab

     -f : 

         #:第#个字段

         #,#[,#]:离散的多个字段,例如1,3,6

         #-#:连续的多个字段,例如1-6

        混合使用:1-3,7

     -c : 按字符切割

     –output-delimiter=STRING指定输出分隔符

     cut

cut -d: -f1,3,7 passwd

取出用:分隔的1.3.7列取出成行

QQ图片20160805203720.png

cut -c44-46 f1

取出字符第44到46列,取出显示成行

QQ图片20160805203904.png

ifonfig | head -2 |tail -1 |cut -d: -f2| cut -d" " -f1

QQ图片20160805204247.png

paste 横行合并ca

      -d 分隔符:指定分隔符

      -s:所有行合成一行显示

wc 文本数据统计

   wc + 文件

   wc +  +文件

        -l :行

        -c :多少个字节总数

        -m :计算字符总数

        -w :显示单词总数

QQ图片20160805204337.png

sort  

    整理过文本显示

    -r:执行反向(由上至下)整理

    -n:执行按数字大小整理

    -f:忽略字符串的字符大小写

    -u:删除多余的空行

    -t c :选项使用c做为字段界定符

    -k X :选项按照使用c字符分隔的X列来整理能够使用多次

uniq 

    uniq f1

    相邻的相同的删去,不相邻的不删除

    -c :显示所有行重复的次数

    -d :只显示重复的

    -u :只显示不重复的

sort f2 |uniq -c 

QQ图片20160805204836.png

netstat -nt 

cut -d: -f1,3,7 /etc/passwd |sort -t: -k2 -n

QQ图片20160805205107.png

netstat -nt |tr -s " " ":"|cut -d: -f6 |tail -n +3|sort -n |uniq -c

diff

     -u

diff f1 f2 -u > diff.log 对比f1 与f2 的不同赋予diff.log

rm -f f2

patch -b f1 diff.log   自动备份

patch 

     -b 自动备份改变了的文件

grep :文本过滤工具

    grep,egrep,fgrep(不支持正则表达式搜索)

sed: stream editor,文本编辑工具

awk:Linux 上实现gawk,文本报告生成器

grep 

    :作用文本搜索工具

ls -R 

grep root /etc /passwd /etc/shadow

    -v:不包括指定的 显示出来

    -i: 忽略大小写

    -n:显示对应的行号

    -c:统计匹配的行数目

    -o:仅显示匹配到的字符串

    -q:静默模式,不输出任何信息

       echo $?

               0就成功了,1是不成功。

    -A:after,将指定的关键字后面N行显示出来

    grep -nA3 root /etc/passwd

    -B:before,指定关键字前面N行显示

    -C:前两行,后两行都显示出来

    -e:实现多个选项间的逻辑or关系

    grep -e root -e bash /etc/passwd

    -w:整行匹配整个单词

       指的是整个单词搜索

    -E:使用ERE

    -F:等于使用fgrep 

正则表达式

REGEXP: 由一类特殊字符及文本字符所编写的模式,其中有些字符(元字符)不表达字符字面意义,而表示控制或通配的功能

分两类:

      基本正则表达式:BRE

      扩展正则表达式:ERE

             grep -E,egrep

正则表达式引擎:

    采用不同算法,检查处理正则表达式的软件模块

    PCRE

元字符分类:字符匹配,匹配次数,位置锚定,分组

man 7 regex

     . : 匹配任意单个字符

         

     []: 匹配指定范围内任意单个字符

     grep r[a-z]t /etc/passwd

QQ图片20160805212723.png

     [^]:匹配指定范围外的任意单个字符       

     

匹配次数:用在要指定次数的字符后面,用于指定前面的字符要出现的次数。

      *:匹配前面的字符任意次,包括0次

        贪婪模式,尽可能长的匹配

     .*:任意长度的任意字符

     \?:匹配其前面的字符0或1次

     \+:匹配其前面的字符至少1词

  \{m\}:匹配前面的字符m次

\{m,n\}:匹配前面的字符最少m次,最多n次

 \{,n\}:匹配前面的字符最多n次

 \{m,\}:匹配前面的字符最少m次

位置锚定:定位出现的位置

         ^:行首锚定,用于模式的最左侧

         $:行尾锚地,用于模式的最右侧

         grep -v ''

         ^PATTERN$:用于匹配整行

                   ^$:空行

                   ^[[:space:]]*$:空白行

         \< 或 \b:词首的锚定,用于单词的左侧

         grep '\bro'f1

         \> 或 \b:词尾锚定,用于单词模式的右侧

          \<PATTEN\>:匹配整个单词

分组:\(\):将一个或多个字符捆绑在一起,当作一个整体进行处理

  如: \(root\)\+

     分组括号中的模式匹配到的内容会比正则表达式引擎记录于内部的变量中,这些变量的命名方式为:\1,\2,\3,…

df |grep '/dve/sd'

nmap -sP -v 10.1.252.210/24 |grep -B1|grep -v

grep "\b[1-9][0-9][0-9]\b"

grep \(bash\+\(testbash\+\(basher\+\(nologin)*\)+ 

grep –color '^\<\(.*\)\>.*\b\1\b$' /etc/passwd

grep '^\(.*\).*/\1$' /etc/passwd

QQ图片20160805214201.png

egrep 扩展的正则表达式

egrep = grep -E

       .任意次数

       []指定范围的字符

       [^]不在指定范围的字符

次数的匹配

       *:匹配前面字符任意次数

       ?:0或1次

       +:1次或多次

      {m}:匹配m次

    {m,n}:至少m,至多n次

位置锚定:

      ^:行首

      $:行尾

      \<,\b:首

      \>,\b:尾

分组:

     ()

     后向引用:\1,\2

或者:

     a|b

     C|cat: C或cat

     (C|c)at:Cat或cat

egrep '^(zczx|root)\b' /etc/passwd |cut -d: -f3,7

QQ图片20160805214406.png

echo "/etc/isse" | egrep -o "[^/]+/?$"

                 | egrep -o "(/.*)"

QQ图片20160805214710.png

原创文章,作者:swzczx,如若转载,请注明出处:http://www.178linux.com/29772

(0)
swzczxswzczx
上一篇 2016-08-07
下一篇 2016-08-07

相关推荐

  • 20171121 grep 正则表达式

    diff与patch ,grep 正则表达式

    2017-11-21
  • sed命令的入门与进阶

    sed:Stream EDitor     什么是sed呢?sed被称为linux文本处理三剑客之一,另外两个就是大名鼎鼎的grep和awk。sed是非交互性的流编辑器,在处理文本时一次只读取一行文本,然后基于所给定的编辑脚本对模式空间中的内容做编辑处理并把处理后的结果输出至标准输出。接着处理下一行文本,这样不断重复,直到文件的末尾。se…

    2017-03-16
  • 马哥教育网络21期+第十一周练习博客(上)

    马哥教育网络21期+第十一周练习博客(上) 1、详细描述一次加密通讯的过程,结合图示最佳。 加密同性过程中使用到最重要的就是openssl     安全加密传输过程中要确保如下几个环节:     保密性:数据保密性,隐私性     完整性:…

    Linux干货 2016-09-26
  • 为你的网络传输加把锁(OpenSSL)

    互联网形成的初期,更多关注的是设备之间通过网络相互访问功能的实现,我们都知道,两个设备之间要想相互通信,就必需遵循某种协议,于是早期的互联网也出现来众多的协议,比如传输层最著名的协议就是tcp和udp,而应用层比较著名的协议有:http、ftp、pop、smtp、dns、telnet等等,而这些协议这开发初期,更多是关注功能的实现,数据这网络上传输是明文方式…

    Linux干货 2015-12-06
  • Linux基础知识(四)

    本文主要讲述:Linux上用户和组的基本管理,具体包括一下内容 1、复制/etc/skel目录到/home/tuser1,要求/home/tuser1及其内部文件的属组和其它用户均没有任何访问权限。 2、编辑/etc/group文件,添加组hadoop。 3、手动编辑/etc/passwd文件新增一行,添加用户hadoop,其基本组ID为hadoop组的id…

    Linux干货 2016-10-16
  • 基于Docker的工作流

    这次我们创建一个Hello world的web服务器。 一  mkdir -p identidock/app   #首先创建一个新的multiidentidock来存放我们的项目,在这个目录下面,创建一个app目录来存放Python代码。 touch app/identidock.py&n…

    Linux干货 2016-03-03