GNU awk

awk -> gawk – 模式扫描和输出语言文件, pattern scanning and processing language

基本用法:

gawk [options] 'program' FILE …

program: PATTERN{ACTION ATATEMENTS}

ACTION ATATEMENTS: 动作语句, 可以有多个, 语句之间用分号分隔

print, printf

选项:

-F: 指明输入时的用到的字段分隔符, 默认为空格

-v, var=value: 自定义变量

1、print

print item1,item2

要点:

(1)输出时使用逗号分隔符, 默认输出分隔符为空格

(2)输出的各item可以是字符串, 也可以是数值; 当前记录的字段, 变量或者awk的表达式

(3)print中的$#变量替换不能使用""括起来

(4)如省略item, 相当于print $0

2、变量

2.1 内建变量

(1) FS: input fiield seperator, 输入字段分隔符, 默认为空白字符

OFS: output field seperator, 输出字段分隔符, 默认为空白字符

示例:

awk -v FS=':' -v OFS=':' '{printf "%20s %s %-20s\n",$1,OFS,$3}' /etc/passwd

或者

awk -F ':' '{print $1}' /etc/passwd

每一个变量前需要一个-v 选项

(2) RS: input record seperator, 输入换行符, 默认的行分隔符为换行符

ORS: output record seperator, 输出换行符

示例:

awk -v RS=' ' -v ORS='#' '{print}' /etc/passwd

(3) NF: number of field, 字段数量, 打印每一行的字段的总数量

{print NF} 和{print $NF}的区别

print NF: 打印每行的字段数量

print $NF: 打印每一行的最后一个字段

示例:

awk '/^UUID/{print NF}' /etc/fstab

awk '/^UUID/{print $NF}' /etc/fstab

$NF: 打印每行的最后一个字段

并且NF支持数学运算

示例:

awk '/^UUID/{print $(NF-2)}' /etc/fstab

awk '/^UUID/{print ($NF+1)}' /etc/fstab

(4) NR: number record, 行数, 对行统一执行编号

FNR: file number record, 各文件分别计数, 行数

(5) FILENAME: 当前正在处理的文件名, 处理文件中的一行就会打印一次文件名称, 有多少行, 打印多少次

示例:

awk '{print FILENAME}' /etc/fstab /etc/issue

(6) ARGC: 内建变量, 命令行中给定的参数个数

ARGV: 内建数组, 保存命令行中所给定的各参数

示例:

awk '{print ARGC}' /etc/fstab /etc/issue

awk 'BEGIN{print ARGC}' /etc/fstab /etc/issue

awk '{print ARGV}' /etc/fstab /etc/issue

awk 'BEGIN{print ARGV[#]}' /etc/fstab

FILENAME: 显示为文件的内容对应的文件名称,没处理一行,就会显示一次

ARGC: 打印出处理此文件所产生和使用的参数个数, 每处理一行就会显示一次, 在前边加上BEGIN后就显示一次

ARGV: 打印出处理此文件产 生和使用的详细参数列表, 每处理一行就会打印一次, 前边增加BEGIN后就只显示一次, 后边可以给上对应的数值分别查看

ARGV[#]

2.2 自定义变量

(1)-v var=value

变量名区分字符大小写

(2) 在program中直接定义

示例:

awk 'BEGIN{test="hello gawk";print test}'

3、printf命令

格式化输出: printf FORMAT, item1, item2, …

(1)FORMAT必须给出

(2)不会自动换行, 需要显示给出换行控制符 \n

(3)FORMAT中需要分别为后面的每个item指定一个格式化符号

格式替换符:

%c: 显示字符的ACSII码

%d, %i: 显示十进制整数

%e, %E: 显示为科学计数法数值显示

%f: 显示为浮点数

%g, %G: 以科学计数法或浮点形式显示

%s: 显示字符串

%u: 显示无符号整数

%%: 显示 % 自身

修饰符:

#[.#]: 第一个#控制显示的宽度, 第二个控制#控制显示小数点的精度, 默认为右对齐

%3.1f

-: 左对齐

+: 显示数值的符号

示例:

awk -F ":" '{printf "Username: %-20s UID: %-5d\n",$1,$3}' /etc/passwd

4、操作符

算数运算操作符

+, -, *, /, ^, %

+x: 把一个字符转换为数值

字符串操作符: 没有符号的操作符, 字符串的连接

赋值操作符:

=, +=, -=, *=, /=, %=, ^=, ++, —

比较操作符:

>, >=, <, <=, !=, ==

模式匹配符:

~: 是否匹配

!~: 是否不匹配

逻辑操作符:

&&

||

!

函数调用:

function_name(argue1, argue2, …)

条件表达式:

selector?if-true-expression:if-false-expression

selector?

示例: 

# awk -F ":" '{$3>=1000?usertype="Common User":usertype="Sysadmin or Sysuser";printf "%-10s:%10s\n",$1,usertype}' /etc/passwd

5、pattern模式

(1) empty: 空模式, 匹配文本的每一行

(2) /regular expression/: 仅处理能够被此处的模式匹配到的行, 支持正则表达式

示例:

awk '/^UUID/{print $1}' /etc/fstab

或者对整个模式取反:

awk '!/^UUID/{print $1}' /etc/fstab

(3) 关系表达式, reletional expression: 结果有"真"有"假"; 结果为"真"的才会被处理, 结果为"假"的被过滤掉

真: 结果为非0值, 非空字符串;

示例:

awk -F ":" '$3>=1000{print $1,$3}' /etc/passwd

awk -F ":" '$NF=="/bin/bash"{print $1,$NF}' /etc/passwd

或者用模式匹配:

awk -F ":" '$NF~/bash$/{print $1,$NF}' /etc/passwd

(4) 地址定界, line ranges: 行范围

startline,endline: /pattern1/,/pattern2/

注意: 不支持直接给出数字的格式定界

可以使用NR进行条件判断的格式定界

awk -F ":" '(NR>=2&&NR<=10){print $1}' /etc/passwd

(5) BEGIN/END模式

BEGIN{}: 仅在开始处理文本之前, 命令开始之前执行一次的程序

END{}: 仅在文本处理完成之后, 命令结束之前执行一次

示例:

awk -F: 'BEGIN{printf "Username    UID\n"}{printf "%-10s %-10s\n",$1,$3}' /etc/passwd

6、常用的action

(1) expression: 表达式

(2) control statements: 条件控制语句,if, while等

(3) compound statement: 组合语句

(4) input statement: 输入语句

(5) output statement: 输出语句

7、控制语句

if(condition) {statement}

if(condition) {statement} else {statement}

while(condition) {statement}

do(statement) while(condition)

for(expr1;expr2;expr3) {statement}

break

continue

delete array[index]: 删除数组单个元素

delete array: 删除数组

exit: 退出

{ statement }: 多个语句组合, 中间用 ; 隔开

7.1 if – else

语法: if(condition) statement [else statement]

示例:

(1)~]# awk -F ":" '{if($3>=1000){print $1,$3}}' /etc/passwd

(2)~]# awk -F ":" '{if($3>=1000) {printf "common user: %s\n",$1} else {printf "root or sysuser: %s\n",$1}}' /etc/passwd

(3)~]# awk '{if(NF>5) {print $0}}' /etc/fstab

(4)~]# df -h | awk -F "%" '/^\/dev/{print $1}' | awk '{if($NF>=80) print $1}'

使用场景: 对awk取得的整行或某个字段做条件判断

7.2 while循环

语法: while(condition) statement

条件为"真", 进入循环; 条件为"假", 退出循环

使用场景: 对一行内的多个字段逐一类似处理时使用; 对数组中的各元素逐一处理时使用

length($var) 求参数的长度

示例:

(1)

~]# awk '/^[[:space:]]*linux16/{i=1;while(i<=NF) {print $i, length($i);i++}}' /etc/grub2.cfg

(2)

~]# awk '/^[[:space:]]*linux16/{i=1;while(i<=NF) {if(length($i)>=7) {print $i, length($i)};i++}}' /etc/grub2.cfg

7.3 do-while循环

语法: do statement while(condition)

意义: 至少执行一次循环体

7.4 for循环

语法: for(expr1;expr2;expr3) statement

for(variable assignment;condition;interation process) {for-body}

~]# awk '/^[[:space:]]*linux16/{for(i=1;i<=NF;i++){if(length($i)>=7){print $i,length($i)}}}' /etc/grub2.cfg

特殊用法:

能够遍历数组中的元素;

语法: for(var in array) {for-body}

7.5 switch语句: 多分枝的

语法: switch(expression) {case VALUE1 or /PATTERN/: statement; case VALUE2 or /PATTERN/: statement;… default: statement}

7.6 break和continue

break[n]

continue

7.7 next: 提前结束对本行的处理, 而直接进入下一行(结束内生循环)

示例:

awk -F: '{if($3%2!=0)next;{print $1,$3}}' /etc/passwd

8、array

关联数组: array[index-expression(索引表达式)]

index-expression:

(1) 可使用任意字符串, 字符串要使用双引号

(2) 如果某数组元素事先不存在, 在引用时, awk会自动创建此元素, 并将其值初始化为"空"

若要判断数组中是否存在某元素, 要使用"index in array"格式进行

示例:

awk 'BEGIN{weekdays["mon"]="Monday";weekdays["tue"]="Tuesday";print weekdays["mon"]}' 

awk '!array[$0]++' FILE  过滤掉文件中的重复的行

若要遍历数组中的每个元素, 要使用for循环

for(var in array) {for-body}

示例:

awk 'BEGIN{weekdays["mon"]="Monday";weekdays["tue"]="Tuesday";for(i in weekdays) {print i,weekdays[i]}}'

存放方式为栈区存放, 为先进后出的方式

注意: var会遍历array的每个索引

示例:

netstat -tan | awk '/^tcp\>/{state[$NF]++}END{for(i in state) print i,state[i]}'

报告生成器, 来生成报告

练习: 

(1)统计/etc/fstab文件中每个单词出现的次数

awk '{for(i=1;i<=NF;i++){count[$i]++}}END{for(j in count){print j,count[j]}}' /etc/fstab

(2)统计/etc/fstab文件中每个系统类型出现的次数

awk '/^UUID/{fs[$3]++}END{for(i in fs) {print i,fs[i]}}' /etc/fstab

9、函数

9.1 内置函数

数值处理

rand(): 返回0和1之间的一个随机数

示例:

awk 'BEGIN{srand();for(i=1;i<=10;i++)print int(rand()*100)}'

int: 对数值取整处理

字符串处理:

length([s]): 返回指定字符串的长度

sub(r,s,[t]): 以r所表示的模式, 来查找t所表示的字符串中的匹配的内容, 并将其第一次出现的内容替换为s表示的内容

示例:

awk 'sub(/:/,"-",$1)' /etc/passwd

gsub(r,s,[t]): 以r所表示的模式, 来查找t所表示的字符串中的匹配的内容, 并将所有出现的内容替换为s所表示的内容

split(s,a[,r]): 以r为分隔符, 去切割字符串s, 并将切割后的结果保存至a所表示的数组中

示例: 显示链接的TCP地址出现的次数

~]# netstat -tan | awk '/^tcp\>/{split($5,ip,":");count[ip[1]]++}END{for(i in count) {print i,count[i]}}'

9.2 自定义函数

格式:

function name(parameter,parameter,…){

statements

return expression

}

示例:

~]# cat fun.awk

function max(v1,v2){

v1>v2?var=v1:var=v2

return var

}

END{a3;b=2;print max(a,b);}

~]# awk -f fun.awk testfile