Linux 文本处理,文本工具,查看,分析,统计文本文件,grep,正则表达式

文本处理

各种文本工具,查看,分析,统计文本文件

grep

正则表达式

扩展正则表达式

sed

cat -n f1

加行号(空格行都计算)

QQ图片20160805200612.png

cat -b f1

加行号(只计算有字符的行)

QQ图片20160805200722.png

cat -ns f1

加行号(压缩空行)

cat -v f1

能看windows文件的M`符号

QQ图片20160805201201.png

cat -T f1

能够显示里面的tab空位,显示为^I

QQ图片20160805201509.png

cat -A f1

能够显示所有的=-vET

QQ图片20160805201615.png

cat 命令是一个标准输入到标准输出

tac f1

将文本内容倒向显示

QQ图片20160805201718.png

rev f2

echo {1..10} >>f2

01 9 8 7 6 5 4 3 2 1 

将文本反向显示(内容为字符显示)

QQ图片20160805202006.png

QQ图片20160805202021.png

more 

    space空格一页一页翻

    q :退出

    回车翻一行

less 

    d:翻半屏

   / :文本搜索

  n/N:跳到上一个或者下一个匹配 

head 头

head -n 3

     -3 /var/log/messages   头三行显示

QQ图片20160805202530.png

tail 后                     

tail -n 10 /var/log/messages  后10行的显示

QQ图片20160805202647.png

tail -f /var/log/messages 自动显示更新的日志内容(保持显示内容)

QQ图片20160805203255.png

tail -n 0 -f /var/log/message & 

日志有新信息就显示,没新信息都不出现 (在后台运行)

fg 1 

Ctrl +C (要切换回前台在结束)

QQ图片20160805210154.png

tail -c 10 f1

显示后10个字符(包括空格,符号。)

QQ图片20160805203413.png

按列抽取文本cut和合拼文件paste

 cut

     -d :指明分隔符,默认tab

     -f : 

         #:第#个字段

         #,#[,#]:离散的多个字段,例如1,3,6

         #-#:连续的多个字段,例如1-6

        混合使用:1-3,7

     -c : 按字符切割

     –output-delimiter=STRING指定输出分隔符

     cut

cut -d: -f1,3,7 passwd

取出用:分隔的1.3.7列取出成行

QQ图片20160805203720.png

cut -c44-46 f1

取出字符第44到46列,取出显示成行

QQ图片20160805203904.png

ifonfig | head -2 |tail -1 |cut -d: -f2| cut -d" " -f1

QQ图片20160805204247.png

paste 横行合并ca

      -d 分隔符:指定分隔符

      -s:所有行合成一行显示

wc 文本数据统计

   wc + 文件

   wc +  +文件

        -l :行

        -c :多少个字节总数

        -m :计算字符总数

        -w :显示单词总数

QQ图片20160805204337.png

sort  

    整理过文本显示

    -r:执行反向(由上至下)整理

    -n:执行按数字大小整理

    -f:忽略字符串的字符大小写

    -u:删除多余的空行

    -t c :选项使用c做为字段界定符

    -k X :选项按照使用c字符分隔的X列来整理能够使用多次

uniq 

    uniq f1

    相邻的相同的删去,不相邻的不删除

    -c :显示所有行重复的次数

    -d :只显示重复的

    -u :只显示不重复的

sort f2 |uniq -c 

QQ图片20160805204836.png

netstat -nt 

cut -d: -f1,3,7 /etc/passwd |sort -t: -k2 -n

QQ图片20160805205107.png

netstat -nt |tr -s " " ":"|cut -d: -f6 |tail -n +3|sort -n |uniq -c

diff

     -u

diff f1 f2 -u > diff.log 对比f1 与f2 的不同赋予diff.log

rm -f f2

patch -b f1 diff.log   自动备份

patch 

     -b 自动备份改变了的文件

grep :文本过滤工具

    grep,egrep,fgrep(不支持正则表达式搜索)

sed: stream editor,文本编辑工具

awk:Linux 上实现gawk,文本报告生成器

grep 

    :作用文本搜索工具

ls -R 

grep root /etc /passwd /etc/shadow

    -v:不包括指定的 显示出来

    -i: 忽略大小写

    -n:显示对应的行号

    -c:统计匹配的行数目

    -o:仅显示匹配到的字符串

    -q:静默模式,不输出任何信息

       echo $?

               0就成功了,1是不成功。

    -A:after,将指定的关键字后面N行显示出来

    grep -nA3 root /etc/passwd

    -B:before,指定关键字前面N行显示

    -C:前两行,后两行都显示出来

    -e:实现多个选项间的逻辑or关系

    grep -e root -e bash /etc/passwd

    -w:整行匹配整个单词

       指的是整个单词搜索

    -E:使用ERE

    -F:等于使用fgrep 

正则表达式

REGEXP: 由一类特殊字符及文本字符所编写的模式,其中有些字符(元字符)不表达字符字面意义,而表示控制或通配的功能

分两类:

      基本正则表达式:BRE

      扩展正则表达式:ERE

             grep -E,egrep

正则表达式引擎:

    采用不同算法,检查处理正则表达式的软件模块

    PCRE

元字符分类:字符匹配,匹配次数,位置锚定,分组

man 7 regex

     . : 匹配任意单个字符

         

     []: 匹配指定范围内任意单个字符

     grep r[a-z]t /etc/passwd

QQ图片20160805212723.png

     [^]:匹配指定范围外的任意单个字符       

     

匹配次数:用在要指定次数的字符后面,用于指定前面的字符要出现的次数。

      *:匹配前面的字符任意次,包括0次

        贪婪模式,尽可能长的匹配

     .*:任意长度的任意字符

     \?:匹配其前面的字符0或1次

     \+:匹配其前面的字符至少1词

  \{m\}:匹配前面的字符m次

\{m,n\}:匹配前面的字符最少m次,最多n次

 \{,n\}:匹配前面的字符最多n次

 \{m,\}:匹配前面的字符最少m次

位置锚定:定位出现的位置

         ^:行首锚定,用于模式的最左侧

         $:行尾锚地,用于模式的最右侧

         grep -v ''

         ^PATTERN$:用于匹配整行

                   ^$:空行

                   ^[[:space:]]*$:空白行

         \< 或 \b:词首的锚定,用于单词的左侧

         grep '\bro'f1

         \> 或 \b:词尾锚定,用于单词模式的右侧

          \<PATTEN\>:匹配整个单词

分组:\(\):将一个或多个字符捆绑在一起,当作一个整体进行处理

  如: \(root\)\+

     分组括号中的模式匹配到的内容会比正则表达式引擎记录于内部的变量中,这些变量的命名方式为:\1,\2,\3,…

df |grep '/dve/sd'

nmap -sP -v 10.1.252.210/24 |grep -B1|grep -v

grep "\b[1-9][0-9][0-9]\b"

grep \(bash\+\(testbash\+\(basher\+\(nologin)*\)+ 

grep –color '^\<\(.*\)\>.*\b\1\b$' /etc/passwd

grep '^\(.*\).*/\1$' /etc/passwd

QQ图片20160805214201.png

egrep 扩展的正则表达式

egrep = grep -E

       .任意次数

       []指定范围的字符

       [^]不在指定范围的字符

次数的匹配

       *:匹配前面字符任意次数

       ?:0或1次

       +:1次或多次

      {m}:匹配m次

    {m,n}:至少m,至多n次

位置锚定:

      ^:行首

      $:行尾

      \<,\b:首

      \>,\b:尾

分组:

     ()

     后向引用:\1,\2

或者:

     a|b

     C|cat: C或cat

     (C|c)at:Cat或cat

egrep '^(zczx|root)\b' /etc/passwd |cut -d: -f3,7

QQ图片20160805214406.png

echo "/etc/isse" | egrep -o "[^/]+/?$"

                 | egrep -o "(/.*)"

QQ图片20160805214710.png

原创文章,作者:swzczx,如若转载,请注明出处:http://www.178linux.com/29772

(0)
swzczxswzczx
上一篇 2016-08-07
下一篇 2016-08-07

相关推荐

  • 少走冤枉路!带你走过SNMP的那些坑

    SNMP(Simple Network Management Protocol)即简单网络管理协议,是在网络与系统监控领域中,最常使用的一种数据采集技术。尽管这个协议非常简单,但在大规模IT环境监测中,还是经常会碰到各种坑,因此优云开源了一套友好的SNMPAPI,并通过本文简单介绍这套API中的一些特点,希望帮助各位运维同仁提前规避一些问题。 特点[0].&…

    2016-06-22
  • iptables实验2

    IPTABLES   实验2       实验大体结构图       相关概念及公式 源地址转换:    SNAT   POSTROUTING 目标地址转换:DNAT  PREROUTING   每次重启网络后…

    Linux干货 2016-10-24
  • N25_第一周

    计算机组成 计算机通常由硬件和软件组成1.硬件 CPU CPU通常由控制器和运算器组成。控制器:是整个计算机的中枢神经,其功能是对程序规定的控制信息进行解释,根据其要求进行控制,调度程序、数据、地址,协调计算机各部分工作及内存与外设的访问等。运算器:是对数据进行各种算术运算和逻辑运算,即对数据进行加工处理。 存储 存储器的功能是存储程序、…

    Linux干货 2016-12-03
  • M25 Linux 学习,FHS标准

    FHS FHS(英文:Filesystem Hierarchy Standard 中文:文件系统层次结构标准),多数Linux版本采用这种文件组织形式,FHS定义了系统中每个区域的用途、所需要的最小构成的文件和目录同时还给出了例外处理与矛盾处理。 FHS定义了两层规范,第一层是, / 下面的各个目录应该要放什么文件数据,例如/etc应该要放置设置文件,/bi…

    2017-07-15
  • iptables的DNAT、SNAT配置

    DNAT:目的地址转换。当外网主机访问内网的某台服务器的时候,如果直接暴露服务器的IP于公网,可能会遭受各种各样的攻击,而DNAT的主要作用就是在服务器前面添加一台防火墙。将防火墙的地址公布出去,让外网客户端通过访问防火墙的地址就可以访问到本地服务器。这样就起到了保护服务器的目的; SNAT:源地址转换。内网主机在访问互联网的时候所有源地址都转换为防火墙的外…

    2017-06-12
  • 8.3上课练习及课下作业

    练习 上课练习 1、 当用户xiaoming对/testdir 目录无执行权限时,意味着无法做哪些操作? 能查看文件大小,不能进入此目录,不能在此目录创建文件 能看到目录中的内容,不能查看目录内的大小及属性,仅能查看目录的相关属性 [xiaoming@localhost ~]$ ll -d qin drwxrwxrw-…

    Linux干货 2016-08-05