文本三剑客之AWK

文本三剑客—-awk(3)

awk简介

awk是一个强大的文本分析工具,与grep(查找)、sed(编辑)一并称为“文本处理三剑客”。awk最强大的功能是对数据分析并生成报告。

awk有3个不同版本: awk、nawk和gawk,未作特别说明,一般指gawk,gawk是AWK的GNU版本。

awk其名称得自于它的创始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母。awk能读取输入文件、为数据排序、处理数据、对输入执行计算以及生成报表,还有无数其他的功能。

工作原理

一次读取一行文本,按输入分隔符进行切片,切成多个组成部分,将每片直接保存在内建的变量中,$1,$2,$3….,引用指定的变量,可以显示指定断,或者多个断。如果需要显示全部的,需要使用$0来引用。可以对单个片断进行判断,也可以对所有断进行循环判断。其默认分隔符为空格

  1. 按行读取文本(文件的每一行称为记录)
  2. 按输入分隔符进行切片
  3. 对切片自动生命变量 $1,$2…(域标识;$0为所有域)
  4. 对指定目标做处理(处理及打印等)

语法格式

awk [options] ‘program’ FILE……

[options]
–F:指明输入时的分隔符
–v:自定义变量
–f:调用awk脚本
program:pattern{action statements;..}
-pattern:触发条件
-action statements:对数据处理动作

步骤

  1. 执行BEGIN{action;…}
    BEGIN在输入之前执行,通常用来打印表头,变量初始化。
  2. 读取,执行pattern{action;…}
    默认执行{ print }
  3. 执行END{action;…}
    读取到打印结束后执行,通常用作分析结果,信息汇总。

变量

内置变量

  • FS:输入字段分隔符
  • OFS:输出字段分隔符
  • RS:输入记录分隔符
  • ORS:输出记录分隔符
  • ARGC:命令行参数的个数
  • ARGV:数组,保存命令行给定的各参数
  • NF:字段数量
  • NR:行号
  • FNR:个文件分别计数,行号
  • FILENAME:当前文件名

自定义变量

  1. 选项位置定义:-v var=hello
  2. 在program中定义:awk ‘BEGIN{test=”hello”;print test}’

字符串处理

  1. length([s]) :返回指定字符串的长度
  2. sub(r,s,[t]) :对t字符串进行搜索r 表示的模式匹配的内容,并将第一个匹配的内容替换为s
    echo “2008:08:08 08:08:08″ | awk ‘sub(/:/,”-“,$0)’
  3. gsub(r,s,[t]) :对t字符串进行搜索r表示的模式匹配的内容,并全部替换为s所表示的内容
    echo “2008:08:08 08:08:08″ | awk ‘gsub(/:/,”-“,$0)’
  4. split(s,array,[r]) :以r为分隔符,切割字符串s,并将切割后的结果保存至array 所表示的数组中,第一个索引值为1, 第二个索引值为2,…
    netstat -tan | awk ‘/^tcp>/{split($5,ip,”:”);count[ip[1]]++} END{for (i in count) {print i,count[i]}}’

Printf命令

  1. print不需要指定,printf需要指定format
  2. printf后面的字串需要使用双引号
  3. 字串定义后的内容需要使用”,”分隔,后面直接跟Item1,item2….
  4. format用于指定后面的每个item的输出格式
  5. printf语句不会自动打印换行符\n

格式符

  1. %s: 显示字符串
  2. %d,%i: 显示十进制整数
  3. %e,%E: 科学计数法数值显示
  4. %f: 显示为浮点数
  5. %g,%G: 以科学数法或浮点形式显示数值
  6. %c: 显示字符的ASCII码
  7. %u: 无符号整数
  8. %%: 显示%号自身,相当于转义

修饰符

  1. N: 显示宽度
  2. -: 左对齐(默认为右对齐)
  3. +: 显示数值符号

操作符

  • 算数
    x+y, x-y, x*y, x/y, x^y, x%y
  • 赋值
    =, +=, -=, *=, /=, %=, ^=,++, —
  • 比较
    ==, !=, >, >=, <, <=
  • 模式匹配符
    ~:左边是否和右边匹配包含!~:是否不匹配
  • 逻辑
    &&,||,!

awk -F: ‘{printf “Username: %-15s,UID:%d\n”,$1,$3}’ /etc/passwd

PROGRAM

pattern

  1. )默认匹配每一行
  2. )/pattern/:仅处理匹配到的行
  3. )/pattern1/,/pattern2/:处理 pattern1 到 pattern2 之间
  4. )关系表达式:真:非0假:空或0

action

  1. )Expressions: 算术,比较表达式等
  2. ) Control statements :if, while等
  3. ) Compound statements :组合语句
  4. ) input statements
  5. ) output statements :print等

控制语句

  1. if-else
    awk ‘BEGIN{ test=100;if(test>90){print “very good”} else if(test>60){ print “good”}else{print “no pass”}}’
    成绩为100;大于90打印“very good”;大于60打印“good”;其余打印“no pass”
  2. while 循环
    条件”真”,进入循环;条件”假”,退出循环
    awk ‘/^[[:space:]]*linux16/{i=1;while(i<=NF) {if(length($i)>=10){print $i,length($i)}; i++}}’ /etc/grub2.cfg
    以空白符开头后跟”linux16″的行中,把字符数大于10的字符串打印出来。
  3. do-while 循环
    无论真假,至少执行一次
    awk ‘BEGIN{ sum=0;i=0;do{sum+=i;i++;}while(i<=100);print sum}’
    累加
  4. for 循环
    遍历
    awk ‘/^[[:space:]]*linux16/{for(i=1;i<=NF;i++) {print$i,length($i)}}’ /etc/grub2.cfg
  5. switch 语句
  6. break 和 continue
    awk ‘BEGIN{sum=0;for(i=1;i<=100;i++){if(i%2==0)continue;sum+=i}print sum}’
    awk ‘BEGIN{sum=0;for(i=1;i<=100;i++){if(i==66)break;sum+=i}print sum}’
  7. next
    提前 结束对本行处理而直接进入下一行处理
    seq {1,20} | awk -F: ‘{if($1%2==0)next ; print $1}’
    打印奇数行

数组

  1. )可使用任意字符串;字符串要使用双引号括起来
  2. )如果某数组元素事先不存在,在引用时,awk 会自动创建此元素,并将其值初始化为“空字符串(即为”假”)”
  • 若要判断数组中是否存在某元素,要使用“index in array”格式进行遍历

示例练习:

[root@localhost ~]# awk -F: '$NF ~ /bash$/{print $1,$NF}' /etc/passwd
root /bin/bash
wang /bin/bash
lao /bin/bash
cai /bin/bash

 

[root@localhost ~]# awk -F: '$NF=="/bin/bash"{print $1,$NF}' /etc/passwd
root /bin/bash
wang /bin/bash
lao /bin/bash
cai /bin/bash

 

[root@localhost ~]# cat f
aa
bb
cc
dd
aa
bb
cc
dd
[root@localhost ~]# awk '!arr[$0]++' f
aa
bb
cc
dd
[root@localhost ~]# awk '{!arr[$0]++;print $0,arr[$0]}' f
aa 1
bb 1
cc 1
dd 1
aa 2
bb 2
cc 2
dd 2

[root@localhost ~]# awk '/^UUID/||/^\/dev/{fs[$3]++} END{for (i in fs){print i,fs[i]}}' /etc/fstab
swap 1
xfs 4

 

[root@localhost ~]# awk '{for(i=1;i<=NF;i++){count[$i]++}}END{for(i in count){print i,count[i]}}' /etc/fstab
man 1
and/or 1
maintained 1
xfs 4
Accessible 1
Thu 1
UUID=63af8e82-3a2a-40ed-8f76-64f56502ee1c 1are 1
defaults 4
blkid(8) 1
/ 1
/dev/mapper/cl-root 1
0 10

 

[root@localhost ~]# echo "Yd$C@M05MB%9&Bdh7dq+YVixp3vpw" | awk -F "[^[:digit:]]" '{for(k=1;k<=NF;k++){a[$k]}} END{for(i in a) {printf "%s",i}printf "\n"}'
79053

 

原创文章,作者:kstg5663294,如若转载,请注明出处:http://www.178linux.com/81635

(6)
kstg5663294kstg5663294
上一篇 2017-07-17
下一篇 2017-07-17

相关推荐

  • IO,用户与组管理,文件,目录权限管理

           文件统配匹配模式:元字符文件名通配符*匹配任意长度的任意字符[root@localhost ~]# ls /root/D*/root/Desktop  /root/Documents  /root/Downloads ?匹配单个任意字符[root@localhost ~]# …

    Linux干货 2016-08-05
  • 第一周博客作业

    前言:这几周的课程大部分开班前就掌握了的,这次学的细一点,顺便学一下markdown写博客、排版。内容有部分是前几期学员写的,觉得写得不错,就斗胆截取了,还有部分是自己写的,也有一些是百度到的内容。 目录 一、描述计算机的组成及其功能 二、linux发行版 三、linux哲学思想 四、常用命令 五、如何获取命令的帮助信息 六、linux发行版的基础目录名称命…

    Linux干货 2017-01-09
  • M22 Centos6上编译安装httpd2.4并实现HTTPS浏览

    随着网络技术的发展,人们对信息安全越来越重视,传统的http浏览互联网的方式由于未经加密,其安全性广为人们诟病,https协议作为加密的互联网解决方案解决了这一问题。下面我就简要说明下如何实现通过https发布web页面的。   实验目的: 模拟Centos6上安装httpd2.4,并实现https加密访问主页 实验器材: Centos6.8虚拟机…

    Linux干货 2017-04-20
  • do some test

    1、简述TCP三次握手四次挥手过程及各过程中客户端和服务器端的状态。     三次握手:         a(syn-send) -> send syn -> b(listen)         a(syn-send) <- receive …

    Linux干货 2016-06-12
  • Linux 第四天: (07月28日) Linux文件管理

    Linux 第四天: (07月28日) Linux文件管理         rootfs 根目录文件系统 root filesystemLSB  Linux Standard BaseFHS 文件系统分层结构 Filesystem Hierarchy Standard     蓝色表示 目…

    Linux干货 2016-08-08
  • 下载编译安装httpd 2.4最新版本

    关于这个问题分三步讲:1.下载最新版本;2.编译;3.安装 一:下载httpd 2.4的最新版本:(这里以Centos 7为例,Centos 6里用的是2.2版本的) 下载的话如何找下载路径—–>下载后是存在windows下,如何将其移进linux中  1.下载路径: 当然我们现在只要是碰到不会或者不知道的东西,通常会…

    2017-08-26