awk

|

使用方法

1
2
3
4
5
6
7
8
9
10
11
12
13
awk '{pattern + action}' {filenames}

变量名	含义 
ARGC	命令行变元个数 
ARGV	命令行变元数组 
FILENAME	当前输入文件名 
FNR	当前文件中的记录号 
FS	输入域分隔符，默认为一个空格 
RS	输入记录分隔符 
NF	当前记录里域个数 
NR	到目前为止记录数 
OFS	输出域分隔符 
ORS	输出记录分隔符

调用awk

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161

1、awk '/101/'               file 显示文件file中包含101的匹配行。 
   awk '/101/,/105/'         file 
   awk '$1 == 5'             file 
   awk '$1 == "CT"'          file 注意必须带双引号 
   awk '$1 * $2 >100 '       file  
   awk '$2 >5 && $2<=15'     file


2、awk '{print NR,NF,$1,$NF,}' file 显示文件file的当前记录号、域数和每一行的第一个和最后一个域。 
   awk '/101/ {print $1,$2 + 10}' file 显示文件file的匹配行的第一、二个域加10。 
   awk '/101/ {print $1$2}'  file 
   awk '/101/ {print $1 $2}' file 显示文件file的匹配行的第一、二个域，但显示时域中间没有分隔符。


3、df | awk '$4>1000000 '         通过管道符获得输入，如：显示第4个域满足条件的行。


4、awk -F "|" '{print $1}'   file 按照新的分隔符“|”进行操作。 
   awk  'BEGIN { FS="[: \t|]" } 
   {print $1,$2,$3}' 	     file 通过设置输入分隔符（FS="[: \t|]"）修改输入分隔符。 

   Sep="|" 
   awk -F $Sep '{print $1}'  file 按照环境变量Sep的值做为分隔符。    
   awk -F '[ :\t|]' '{print $1}' file 按照正则表达式的值做为分隔符，这里代表空格、:、TAB、|同时做为分隔符。 
   awk -F '[][]'    '{print $1}' file 按照正则表达式的值做为分隔符，这里代表[、]


5、awk -f awkfile 	     file 通过文件awkfile的内容依次进行控制。 
   cat awkfile 
/101/{print "\047 Hello! \047"} --遇到匹配行以后打印 ' Hello! '.\047代表单引号。 
{print $1,$2}                   --因为没有模式控制，打印每一行的前两个域。


6、awk '$1 ~ /101/ {print $1}' file 显示文件中第一个域匹配101的行（记录）。


7、awk   'BEGIN { OFS="%"} 
   {print $1,$2}'           file 通过设置输出分隔符（OFS="%"）修改输出格式。


8、awk   'BEGIN { max=100 ;print "max=" max}             BEGIN 表示在处理任意行之前进行的操作。 
   {max=($1 >max ?$1:max); print $1,"Now max is "max}' file 取得文件第一个域的最大值。 
   （表达式1?表达式2:表达式3 相当于： 
   if (表达式1) 
       表达式2 
   else 
       表达式3 
   awk '{print ($1>4 ? "high "$1: "low "$1)}' file 


9、awk '$1 * $2 >100 {print $1}' file 显示文件中第一个域匹配101的行（记录）。


10、awk '{$1 == 'Chi' {$3 = 'China'; print}' file 找到匹配行后先将第3个域替换后再显示该行（记录）。 
    awk '{$7 %= 3; print $7}'  file 将第7域被3除，并将余数赋给第7域再打印。


11、awk '/tom/ {wage=$2+$3; printf wage}' file 找到匹配行后为变量wage赋值并打印该变量。


12、awk '/tom/ {count++;}  
         END {print "tom was found "count" times"}' file END表示在所有输入行处理完后进行处理。


13、awk 'gsub(/\$/,"");gsub(/,/,""); cost+=$4; 
         END {print "The total is $" cost>"filename"}'    file gsub函数用空串替换$和,再将结果输出到filename中。 
    1 2 3 $1,200.00 
    1 2 3 $2,300.00 
    1 2 3 $4,000.00 

    awk '{gsub(/\$/,"");gsub(/,/,""); 
    if ($4>1000&&$4<2000) c1+=$4; 
    else if ($4>2000&&$4<3000) c2+=$4; 
    else if ($4>3000&&$4<4000) c3+=$4; 
    else c4+=$4; } 
    END {printf  "c1=[%d];c2=[%d];c3=[%d];c4=[%d]\n",c1,c2,c3,c4}"' file 
    通过if和else if完成条件语句 

    awk '{gsub(/\$/,"");gsub(/,/,""); 
    if ($4>3000&&$4<4000) exit; 
    else c4+=$4; } 
    END {printf  "c1=[%d];c2=[%d];c3=[%d];c4=[%d]\n",c1,c2,c3,c4}"' file 
    通过exit在某条件时退出，但是仍执行END操作。 
    awk '{gsub(/\$/,"");gsub(/,/,""); 
    if ($4>3000) next; 
    else c4+=$4; } 
    END {printf  "c4=[%d]\n",c4}"' file 
    通过next在某条件时跳过该行，对下一行执行操作。 


14、awk '{ print FILENAME,$0 }' file1 file2 file3>fileall 把file1、file2、file3的文件内容全部写到fileall中，格式为 
    打印文件并前置文件名。


15、awk ' $1!=previous { close(previous); previous=$1 }    
    {print substr($0,index($0," ") +1)>$1}' fileall 把合并后的文件重新分拆为3个文件。并与原文件一致。


16、awk 'BEGIN {"date"|getline d; print d}'         通过管道把date的执行结果送给getline，并赋给变量d，然后打印。 


17、awk 'BEGIN {system("echo \"Input your name:\\c\""); getline d;print "\nYour name is",d,"\b!\n"}' 
    通过getline命令交互输入name，并显示出来。 
    awk 'BEGIN {FS=":"; while(getline< "/etc/passwd" >0) { if($1~"050[0-9]_") print $1}}' 
    打印/etc/passwd文件中用户名包含050x_的用户名。 

18、awk '{ i=1;while(i<NF) {print NF,$i;i++}}' file 通过while语句实现循环。 
    awk '{ for(i=1;i<NF;i++) {print NF,$i}}'   file 通过for语句实现循环。     
    type file|awk -F "/" ' 
    { for(i=1;i<NF;i++) 
    { if(i==NF-1) { printf "%s",$i } 
    else { printf "%s/",$i } }}'               显示一个文件的全路径。 
    用for和if显示日期 
    awk  'BEGIN { 
for(j=1;j<=12;j++) 
{ flag=0; 
  printf "\n%d月份\n",j; 
        for(i=1;i<=31;i++) 
        { 
        if (j==2&&i>28) flag=1; 
        if ((j==4||j==6||j==9||j==11)&&i>30) flag=1; 
        if (flag==0) {printf "%02d%02d ",j,i} 
        } 
} 
}'


19、在awk中调用系统变量必须用单引号，如果是双引号，则表示字符串 
Flag=abcd 
awk '{print '$Flag'}'   结果为abcd 
awk '{print  "$Flag"}'   结果为$Flag


# 对a.txt文件的第四个域进行求和！
awk 'BEGIN{total=0}{total+=$4}END{print total}' a.txt

# 打印所有以模式no或so开头的行。
awk '/^(no|so)/' test  

# 如果记录以n或s开头，就打印这个记录。
awk '/^[ns]/{print $1}' test

# 如果第一个域以两个数字结束就打印这个记录。
awk '$1 ~/[0-9][0-9]$/(print $1}' test 

# 如果第一个或等于100或者第二个域小于50，则打印该行。
awk '$1 == 100 || $2 < 50' test

# 如果第一个域不等于10就打印该行。
awk '$1 != 10' test

#如果记录包含正则表达式test，则第一个域加10并打印出来。
awk '/test/{print $1 + 10}' test 

#如果第一个域大于5则打印问号后面的表达式值，否则打印冒号后面的表达式值。
awk '{print ($1 > 5 ? "ok "$1: "error"$1)}' test 


#打印以正则表达式root开头的记录到以正则表达式mysql开头的记录范围内的所有记录。如果找到一个新的正则表达式root开头的记 录，则继续打印直到下一个以正则表达式mysql开头的记录为止，或到文件末尾。
awk '/^root/,/^mysql/' test
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
# 一个示例
set -e
login="-h192.168.1.70 -P3306 -uroot -proot"
#读数据
databases=$(mysql ${login} -N -e "show databases like 'pre_%';")
if [ -e datasAll.txt ]; then
    cat /dev/null >datasAll.txt
fi
for i in ${databases}
do
    echo ${i} >>log.txt
    tables=$(mysql ${login} -N -e "use ${i}; show tables;")
    for j in ${tables}
    do
        mysql ${login} -N --default-character-set=utf8 -e "use ${i}; select uid, income, spend, create_at from ${j}" >>datasAll.txt
    done
done
#统计数据
echo '-->step 1' >>log.txt
grep "2014-" datasAll.txt >datas2014.txt
echo '-->step 2' >>log.txt
awk 'BEGIN{FS="\t";OFS="\t";}{income[$1]+=$2;outlays[$1]+=$3;}END{for(key in income){print key,income[key],outlays[key] >"sumAll.txt"}}' datasAll.txt
echo '-->step 3' >>log.txt
awk 'BEGIN{FS="\t";OFS="\t";}{income[$1]+=$2;outlays[$1]+=$3;}END{for(key in income){print key,income[key],outlays[key] >"sum2014.txt"}}' datas2014.txt
echo '-->step 4' >>log.txt
awk 'BEGIN{FS="\t";OFS="\t";}{if(NR==FNR){uid[$1]=$2}else if(NR>FNR){if($1 in uid){margin=uid[$1]+$3;if(margin>0){print $1,$2+$3-margin,margin >"baseDatas.txt"}}}}' sum2014.txt sumAll.txt

#清理数据
echo '-->step 6' >>log.txt
rm -f datasAll.txt sumAll.txt datas2014.txt sum2014.txt log.txt
#baseDatas.txt : 用户ID | 更新后摇豆总结余 | 2014年摇豆总结余 

echo '-->OVER' >>log.txt
分享即是成长