awk：报告生成器，格式化文本输出
处理方式：文件里有多行，awk处理时，先将第一行放到内存里面，然后将该行分割成列（字段），第一个字段叫$1，第二个字段$2，以此类推，$0代表整行。
基本用法：
awk [option] 'program' var=value file…..
awk [option] -f programfile var=value file……
awk [option] 'BEGIN{action;….} parttern{action;…..}END{action;……}' file
语句之间要用“”；”分号分割
awk 程序通常由：BEGIN语句块、能够使用模式匹配的通用语句块、END语句块，共3部分组成
option：
-F ：指明输入时用到的字符分隔符（不指明系统默认空白或tab为分隔符）
-v： var=value 自定义变量
1、print item1，item2….
不同item之间要用“”，“”逗号作为分隔符，且输出显示时用空格隔开
如果此处省略item，则相当于print $0，文件有多少行，则打印多少个行
输出的item可以是字符串，也可以是数值，当前记录的字段，变量或awk的表达式
2、变量
内置变量：
FS：input field seperator 输入字段分隔符，默认为空白符
awk -v FS=":" '{print $1,$3}' /etc/passwd 等同于 awk -F： '{print $1,$3}' /etc/passwd
OFS：output field seperator 输出字段分隔符，默认空白符
awk -F: -v OFS="----" '{print $1,$3}' /etc/passwd
xixi----3015
aa----3016
apache----48
RS：input record seperator 输入时的换行符
ORS：output record seperator 输出时的换行符
NF：number of field，字段数量
print NF：打印字段数量 print $NF：打印最后一个字段
awk -F: '{print NF}' /etc/passwd
7
...
7
awk -F: '{print $NF}' /etc/passwd
/bin/bash
....
/sbin/nologin
NR：number of record 行号
root@centos7.2 ~ # awk -F: '{print NR,$0}' /etc/fstab /etc/issue
1
.......
11 UUID=fca23b64-0367-45b2-ab0e-b391bbba6ec8 swap swap defaults 0 0
12 \S
..........
17 \n
18 \t
FNR：每个文件进行单独记录行号
root@centos7.2 ~ # awk -F: '{print FNR,$0}' /etc/fstab /etc/issue
1
......
10 UUID=068d63ab-d4b7-4e1f-b00b-c182785fa85d /boot xfs defaults 0 0
11 UUID=fca23b64-0367-45b2-ab0e-b391bbba6ec8 swap swap defaults 0 0
1 \S
......
6 \n
7 \t
FILENAME：显示文件名
root@centos7.2 ~ # awk '{print FILENAME,$0}' /etc/issue
/etc/issue \S
........
/etc/issue \n
/etc/issue \t
ARGC：命令行参数的个数
root@centos7.2 ~ # awk '{print ARGC}' /etc/issue
2
2
2
ARGV：数组，保存命令行中的各个参数，ARGV[0]
root@centos7.2 ~ # awk '{print ARGV[0]}' /etc/issue
awk
。。。。
awk
自定义变量：
a、-v var=value 注意变量名区分大小写
root@centos7.2 ~ # awk -v a="superman" 'BEGIN{print a}{print a,$0}' /etc/issue
superman
superman \S
superman Kernel \r on an \m
........
superman \t
b、在program直接定义
root@centos7.2 ~ # awk 'BEGIN{a="superman";print a}'
superman
3、printf命令：
格式化输出：printf format，item1，item2…….
注意：format必须要给出
不会自动换行，需要给出换行符"\n"
format 中需要分别为后面的每个item指定一个格式化符号；
格式符：
%c：显示字符的ASCII码
%d：显示十进制整数
%f：显示为浮点数
%e，%E：科学计数法数值显示
%g，%G：以科学计数法或浮点形式显示数值
%s：显示字符串
%u：无符号整数
%%：显示% 自身
修饰符：
#[.#]：第一个#数字用来控制显示的宽度，第二个#表示小数点后的精度
%3.1：右对齐 %-3.1：左对齐 %+3.1：显示数值的符号
root@centos7.2 ~ # awk -F: '{printf "UserName:%-16s,Uid:%10d\n",$1,$3}' /etc/passwd
UserName:root ,Uid: 0
UserName:bin ,Uid: 1
UserName:daemon ,Uid: 2
UserName:adm ,Uid: 3
4、操作符
算数操作符： x+y，x-y，x*y，x/y，x^y，-x，+x：转换为数值
root@centos7.2 ~ # awk 'BEGIN{print 4*5}'
20
字符串操作符：没有符号的操作符
赋值操作符： =，+=，-=，*=，/=，%=，^= ，++，–
awk 'BEGIN{i+=5;print i}'
比较操作符：>，>=，<，<=，!=，==
模式匹配符：
~：是否匹配
！~：左侧的字符串是否不能够被右侧的字符串匹配
root@centos7.2 ~ # awk -F: '$0~/root/' /etc/passwd root:x:0:0:root:/root:/bin/bash operator:x:11:0:operator:/root:/sbin/nologin root@centos7.2 ~ # awk -F: '$0~/^root/' /etc/passwd root:x:0:0:root:/root:/bin/bash root@centos7.2 ~ # awk -F: '$0~"root"' /etc/passwd root:x:0:0:root:/root:/bin/bash operator:x:11:0:operator:/root:/sbin/nologin root@centos7.2 ~ # root@centos7.2 ~ # awk -F: '$1=="root"' /etc/passwd root:x:0:0:root:/root:/bin/bash
逻辑操作符：&&，||，！
root@centos7.2 ~ # awk -F: '$3>=0 && $3<=1000 {print $1}' /etc/passwd
root
bin
.......
root@centos7.2 ~ # awk -F: '$3 ==0 || $3>=1000 {print $1}' /etc/passwd
root
nfsnobody
.....
root@centos7.2 ~ # awk -F: '!($3>=500) {print $3}' /etc/passwd
0
1
2
函数调用：function_name(argu1,argu2，。。。)
条件表达式：
selector？if-true-experssion：if-false-expression 注意第二个if前面是“”：“”冒号
如果UID大于1000就显示为普通用户，否则显示为系统用户，并打印出用户名和uid
awk -F: '{$3>=1000?user="common user":user="system user";print user":"$1":"$3}' /etc/passwd
5、Pattern
1）empty：处理文本的每一行
2）/regular expression/：仅能够处理被此模式匹配到的行
root@centos7.2 ~ # awk '/^UUID/{print $1}' /etc/fstab
UUID=5f2cc971-2611-46f5-a14c-9e730cd33aa0
UUID=068d63ab-d4b7-4e1f-b00b-c182785fa85d
UUID=fca23b64-0367-45b2-ab0e-b391bbba6ec8
3）relational expression：关系表达式：结果有真有假，如果为真才会处理，真表示结果为非0值，非空位真
awk -F: '$3>=1000{print $3}' /etc/passwd
awk -F: '$NF=="/bin/bash"{print $1,$NF}' /etc/passwd
awk -F: '{if($NF=="/bin/bash")print $1}' /etc/passwd ###if判断要放到{}里面
awk -F: '$NF~/bash$/{print $1,$NF}' /etc/passwd
4）relational expression: 关系表达式；结果有“真”有“假”；结果为“真”才会被处理；
真：结果为非0值，非空字符串
假：结果为空字符串
awk 'j=1{print $0};i=0{print i,j}' /etc/passwd ###j=1的print动作会执行
awk ‘!arr[$0]++’file 去除文件中的重复行
root@centos7.2 ~ # seq 10 | awk 'i=!i' ###打印基数行 awk ！（i=！i） 打印偶数行
1
3
5
7
9
4）地址定界：行范围
startline，endline：/part1/,/part2/
awk -F: '/^root/,/^naruto/{print $1,$NF}' /etc/passwd 注意不支持直接给出数字的格式
awk -F: '(NR>=2&&NR<=10){print $1}' /etc/passwd 打印2-10行 ### 不带if的在{}外面判断
上述表达式等同于awk -F: '{if(NR>=2&&NR<=10)print $1}' /etc/passwd
5）BEGIN/END模式
BEGIN{}：仅在开始处理文件之前执行一次的程序
END{}：仅在文件处理之后执行一次
awk -F: 'BEGIN{print " username uid \n--"}{printf "%-10s %s\n",$1,$3}END{print "---\nend"}' /etc/passwd
6、常用的action
1）experssions 表达式
2）Control statements，if，while等
3） compund statements：组合语句；
4）input statements
5）output statement 输出语句
7、控制语句
if（condition）{statements}
if （condition）{statements} else {statements}
while （condition）{statments}
do {statements} while（condition）
for （expr1；expr2；expr3）{statements}
break
continue
delete array [index]
delete array
exit
7.1 if-else
语法：if （condition）statement [else statement]
使用的场景：对awk取得的整行或某个字段做条件判断
awk -F: '{if(NR>=2&&NR<=10)print $1}' /etc/passwd ###if判断在{}里面
awk -F: '{if($3>=1000) {printf "ComUser:%s\n",$1} else {printf "rootUser: %s\n",$1}}' /etc/passw
awk -F: '{if($NF=="/bin/bash")print $1}' /etc/passwd
awk -F: '{if(NF>5)print $0}' /etc/passwd
df | awk -F"%" '/^\/dev/{print $1}' | tr -d %|awk '{if($NF>=20)print $1}'
注意：如有else 其两边都要加{}
7.2 while循环
语法：while(condition) statement，条件真进入循环，条件假退出
使用场景：对一行内的多个字段逐一类似处理时使用，对数组中的各个元素逐一处理时使用
awk '/^[[:space:]]*linux16/{i=1;while(i<=NF) {print $i,length($i);i++}}' /etc/grub2.cfg
awk '/^[[:space:]]*linux16/{i=1;while(i<=NF) {if(length($i)>=7)print $i,length($i);i++}}' /etc/grub2.cfg
7.3 do-while循环
语法：do statement while（condition）
意义：至少执行一次循环体
7.4 for循环
语法：for（expr1；expr2；expr3）statement
awk '/^[[:space:]]*linux16/{for(i=1;i<=NF;i++) {print $i,length($i)}}' /etc/grub2.cfg
7.5 switch语法
语法：switch(expression) {case Value1 or /regexp/:statement;case\ value2 or /regexp2/:statement;….default:statement}
7.6 break和continue 用法同bash
break [n]
root@centos7.2 ~ # awk 'BEGIN{sum=0;for(i=1;i<=100;i++){if(i==11){break}sum+=i}print sum}'
55
continue
root@centos7.2 ~ # awk 'BEGIN{sum=0;for(i=1;i<=100;i++){if(i%2==0){continue}sum+=i}print sum}'
2500
7.7 next 能提前结束本行的处理，进入下一行
awk -F: '{if($3%2!=0) next;print $1,$3}' /etc/passwd
7.8 性能比较 time（command）
root@centos7.2 ~ # time (awk 'BEGIN{sum=0;for(i=1;i<=100000;i++){sum+=i};print sum}')
5000050000
real 0m0.046s
user 0m0.032s
sys 0m0.014s
root@centos7.2 ~ # time (sum=0;for((i=1;i<=100000;i++));do let sum=$[sum+i];done;echo $sum)
5000050000
real 0m1.085s
user 0m1.042s
sys 0m0.044s
root@centos7.2 ~ # awk 'BEGIN{sum=0;for(i=1;i<=10000;i++){sum+=i}}{print }END{print sum}'
##没有任何输出结果，等待输入，因为没有文本传入，且END是等待处理问文本之后才输出，所以在此处处于等待状态
root@centos7.2 ~ # awk 'BEGIN{sum=0;for(i=1;i<=10000;i++){sum+=i}}{print }END{print sum}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
.......
apache:x:48:48:Apache:/usr/share/httpd:/sbin/nologin
50005000
8、array数组
关联数组：array[index-expression]
1)可以使用任意字符串；字符串要加双引号
2）如果某数组元素事先不存在，在引用时，awk自动创建此元素，并将其值初始化为“空串”
root@centos7.2 ~ # awk 'BEGIN{weekdays["mon"]="monday";weekdays["tue"]="tuesday";print weekdays["tue"]}'
tuesday
要遍历数组中的每个元素，要使用for循环，注意：var会遍历array的每个索引
for（var in array ）
root@centos7.2 ~ # awk 'BEGIN{weekdays["mon"]="monday";weekdays["tue"]="tuesday";for(i in weekdays)print weekdays[i]}'
tuesday
monday
root@centos7.2 ~ # netstat -tan | awk '/^tcp\>/{state[$NF]++}END{for(i in state){print i,state[i]}}'
LISTEN 4
ESTABLISHED
root@centos7.2 ~ # awk '{ip[$1]++}END{for(i in ip){print i,ip[i]}}' /var/log/httpd/access_log
192.168.1.101 56
192.168.1.103 14
::1 10
统计/etc/fstab文件中每个文件系统类型出现的次数
awk '/^UUID/{fs[$3]++}END{for(i in fs){print i,fs[i]}}' /etc/fstab
统计指定文件中每个单词出现的次数
awk '{for(i=1;i<=NF;i++){count[$i]++}}END{for(i in count){print i,count[i]}}' /etc/fstab
9、函数
内置函数
数值处理：
rand（）：返回0和1 之间一个随机数，小数
awk 'BEGIN{print rand()}' ### 第一次取随机的，之后再取，同上次一样
awk 'BEGIN{srand();print rand()}' ###如需每次取值都不一样需要调用srand（）函数
字符串处理：
length（[s]）:返回指定字符串的长度
sub（r，s，[t]）:以r表示的模式查找t所表示的字符串中的匹配的内容，并将其第一次出现替换为s所表示的内容
root@centos7.2 ~ # echo "2008:08:08 08:08:08" | awk 'sub(/:/,"",$1)'
200808:08 08:08:08
awk -F: '{print sub(o,O,$1)}' /etc/passwd
gsub：表示全局替换
split（s，a[,r]）:以r为分隔符切割字符，并将切割后的结果保存在a所表示的数组中；
netstat -tan | awk '/^tcp\>/{split($5,ip,":");count[ip[1]++]}END{for(i in count) {print i,count[i]}}'
自定义函数
格式：
function name(parameter,parameter,……){
statements
return expression
}
示例：
#cat fun.awk
function max(v1,v2) {
v1>v2?var=v1:var=v2
return var
}
END{a=3;b=2;print max(a,b)
root@centos7.2 ~ # awk -f fun.awk
3
#!/bin/awk -f
# 内容要写awk的语法，-f指定要读取文件内容
function max(v1,v2) {
v1>v2?var=v1:var=v2
return var
}
BEGIN{a=3;b=2;print max(a,b);}
root@centos7.2 ~ # ./fun.awk
3
#!/bin/awk -f
# 内容要写awk的语法，-f指定要读取文件内容
function max(v1,v2) {
v1>v2?var=v1:var=v2
return var
}
BEGIN{print max(a,b);}
root@centos7.2 ~ # ./fun.awk -v a=100 -v b=200
200
awk中调用shell命令：
system命令：
空格是awk中的字符串连接符，如果system中需要使用awk中的变量可以使用空格分隔，或者说除了awk的变量外其他一律用""引用起来。
awk 'BEGIN{system("hostname") }'
awk 'BEGIN{a=12; system("echo " a) }'
原创文章，作者：Naruto，如若转载，请注明出处：http://www.178linux.com/47628
评论列表（1条）
awk是一个很方便的文本格式化工具，这也是以后面试题必会遇到的面试题，希望下来多加练习，熟练掌握.