区块链技术博客
www.b2bchain.cn

Shell扩展正则表达式(egrep、awk、sort、uniq、tr工具)

这篇文章主要介绍了Shell扩展正则表达式(egrep、awk、sort、uniq、tr工具)的讲解,通过具体代码实例进行19817 讲解,并且分析了Shell扩展正则表达式(egrep、awk、sort、uniq、tr工具)的详细步骤与相关技巧,需要的朋友可以参考下https://www.b2bchain.cn/?p=19817

本文实例讲述了2、树莓派设置连接WiFi,开启VNC等等的讲解。分享给大家供大家参考文章查询地址https://www.b2bchain.cn/7039.html。具体如下:

Shell扩展正则表达式(egrep、awk、sort、uniq、tr工具)

  • 扩展正则表达式
    • 扩展正则表达式元字符
    • egrep用法示例:
    • awk工具
      • awk内建变量
      • 用法示例
    • sort工具
      • 语法格式
      • 依据不同的数据类型进行排序
      • 常用选项
      • 用法示例
    • uniq工具
      • 常用选项
      • 用法示例
    • tr工具
      • 语法格式
      • 常用选项
      • 用法示例

扩展正则表达式

扩展正则表达式元字符

扩展正则表达式是对基础正则表达式的扩充深化

+:匹配前面子表达式1次以上 例如:go+d,将匹配至少一个o(如god,good,goood...)  ?:匹配前面子表达式0次或者1次 例如:go?d,将匹配gd或god  ():括号中的字符串作为一个整体 例如:(xyz)+,将匹配xyz整体1次以上,如xyzxyz  |:以或的方式匹配字条串 例如1:good|food,将匹配good或者food 例如2:g(oo|la)d,将匹配good或者glad (g|f)ood  good或者food  

egrep用法示例:

匹配o至少出现一次或者以上次数的内容

[[email protected] ~]# vi test.txt  [[email protected] ~]# grep -n 'oo*' test.txt  [[email protected] ~]# egrep -n 'o+' test.txt  

Shell扩展正则表达式(egrep、awk、sort、uniq、tr工具)
Shell扩展正则表达式(egrep、awk、sort、uniq、tr工具)

awk工具

awk是一个功能强大的编辑工具,默认以空格为分隔符进行分隔,逐行读取输入文本,并根据指定的匹配模式进行查找,对符合条件的内容进行格式输出或者过滤处理,可以在无交互的情况下实现相当复杂的文本操作,被广泛应用于Shell脚本,完成各种自动配置任务。

命令格式:

  • awk 选项 ‘模式或条件 {编辑指令}’ 文件1 文件2
  • awk -f 脚本文件 文件1 文件2

awk内建变量

FS:指定每行文本的字段分隔符,默认为空格或制表位。 NF:当前处理的行的字段个数。 NR:当前处理的行的行号(序数)$0:当前处理的行的整行内容。 $n:当前处理行的第n个字段(第n列)。 FILENAME:被处理的文件名。 RS:数据记录分隔,默认为n,即每行为一条记录。 

用法示例

按行输出文本

awk -F: 'NR==6{print $1,$7}' /etc/passwd   #输出第六行以:分隔的第1和第7字段 awk -F: '(NR==6)&&(NR==10){print $1,$7}' /etc/passwd   #输出第六到第十行以:分隔的第1和第7字段 awk -F: '(NR>=6)&&(NR<=10){print $1,$7}' /etc/passwd   #输出第六到第十行以:分隔的第1和第7字段 awk -F: '(NR==6)||(NR==10){print $1,$7}' /etc/passwd   #输出第六和第十行以:分隔的第1和第7字段 awk -F: '(NR%2)==1{print}' /etc/passwd | wc -l   #行号%2余数=1为奇数,统计奇数行数 awk -F: '(NR%2)==0{print}' /etc/passwd | wc -l   #行号%2余数=0为偶数,统计偶数行数 awk -F: '(NR%2)==0{print $1,$7}' /etc/passwd  #输出所有偶数行以:分隔的第1和第7字段 awk -F: '/^root/{print}' /etc/passwd    #输出所有以root开头的行 awk -F: '/^root/{print $0}' /etc/passwd    #输出所有以root开头的行 awk ‘/nologin$/{print}’ /etc/passwd    #输出以nologin结尾的行 awk ‘BEGIN {x=0};//bin/bash$/{x++};END {print x}’ /etc/passwd   #统计以/bin/bash结尾的行数,等同于grep –c “/bin/bash$” /etc/passwd awk ‘BEGIN {RS=””};END {print NR}’ test.txt    #统计以空行分隔的文本段落数 

按字段输出文本

awk{print $3}’ test.txt      #输出每行中(以空格或制表符分隔)的第三个字段 awk{print $1,$3}’ test.txt     #输出每行中第1,3个字段 awk -F: ‘$2==”!!”{print}’ /etc/shadow   #输出所有以:分隔的第2字段等于!!的,没密码的 awk -F: ‘$2==”!!”{print $1}’ /etc/shadow  #输出所有密码为空的第1字段用户名 awk 'BEGIN {FS=":"};$2=="! ! "{print} ' /etc/shadow  #输出密码为空的用户的shadow 记录 awk -F: ‘$7~”sh”{print $1}’ /etc/shadow   #输出以冒号分隔且第7个字段中包含sh的行的第一个字段;注:~表示当前用户的意思 awk '($1~"http")&&(NF==4){print $1}' /etc/services  #输出包含4个字段且第一个字段中包含http的行的第1个字段 awk -F: ‘($7!=“/bin/bash”)&&($7!=“/sbin/nologin”){print}’ /etc/passwd  #输出第七个字段既不为/bin/bash也不为/sbin/nologin的所有行 

通过管道、双引号调用Shell命令

awk -F: '/ bash$/{print}' /etc/passwd l wc -l awk -F: '/ bash$/{print | "wc -l"}' /etc/passwd #调用wc –l命令统计使用bash的用户的个数,等同于grep –c “bash$” /etc/passwd awk 'BEGIN {while ("w" l getline) n++; {print n-2}}'  #调用w命令,并用来统计在线用户数 awk ‘BEGIN {“hostname” | getline ; print $0}#调用hostname,并输出当前主机名 

sort工具

语法格式

sort [选项] 参数

依据不同的数据类型进行排序

字符排序(默认)
数字排序

常用选项

-f: 忽略大小写 -b:忽略每行前面的空格 -M:按照月份进行排序 -n:按照数字进行排序 -r:反向排序 -u:等同于uniq,表示相同的数据仅显示一行 -t:指定分隔符,默认使用[Tab]键分隔 -o <输出文件>:将排序后的结果转存至指定文件 -k:指定排序区域 

用法示例

  • 将/etc/passwd文件中的账号进行排序(默认字符排序)
[[email protected] ~]# sort /etc/passwd abrt:x:173:173::/etc/abrt:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin amandabackup:x:33:6:Amanda user:/var/lib/amanda:/bin/bash avahi:x:70:70:Avahi mDNS/DNS-SD Stack:/var/run/avahi-daemon:/sbin/nologin bin:x:1:1:bin:/bin:/sbin/nologin chrony:x:994:990::/var/lib/chrony:/sbin/nologin colord:x:997:994:User for colord:/var/lib/colord:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin dbus:x:81:81:System message bus:/:/sbin/nologin ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin games:x:12:100:games:/usr/games:/sbin/nologin gdm:x:42:42::/var/lib/gdm:/sbin/nologin geoclue:x:993:988:User for geoclue:/var/lib/geoclue:/sbin/nologin gnome-initial-setup:x:991:986::/run/gnome-initial-setup/:/sbin/nologin halt:x:7:0:halt:/sbin:/sbin/halt laoliu:x:1004:1004::/home/laoliu:/bin/bash libstoragemgmt:x:998:995:daemon account for libstoragemgmt:/var/run/lsm:/sbin/nologin lisi:x:1002:1002::/home/lisi:/bin/bash lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin ls:x:1036:1036::/home/ls:/bin/bash mail:x:8:12:mail:/var/spool/mail:/sbin/nologin nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin nobody:x:99:99:Nobody:/:/sbin/nologin ntp:x:38:38::/etc/ntp:/sbin/nologin operator:x:11:0:operator:/root:/sbin/nologin polkitd:x:999:997:User for polkitd:/:/sbin/nologin postfix:x:89:89::/var/spool/postfix:/sbin/nologin ps:x:1037:1037::/home/ps:/bin/bash pulse:x:171:171:PulseAudio System Daemon:/var/run/pulse:/sbin/nologin qemu:x:107:107:qemu user:/:/sbin/nologin radvd:x:75:75:radvd user:/:/sbin/nologin root:x:0:0:root:/root:/bin/bash rpcuser:x:29:29:RPC Service User:/var/lib/nfs:/sbin/nologin rpc:x:32:32:Rpcbind Daemon:/var/lib/rpcbind:/sbin/nologin rtkit:x:172:172:RealtimeKit:/proc:/sbin/nologin saslauth:x:996:76:Saslauthd user:/run/saslauthd:/sbin/nologin setroubleshoot:x:995:993::/var/lib/setroubleshoot:/sbin/nologin shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown 
  • 将/etc/passwd文件中第三列进行反向排序
[[email protected] ~]# sort -t ':' -rk 3 /etc/passwd nobody:x:99:99:Nobody:/:/sbin/nologin polkitd:x:999:997:User for polkitd:/:/sbin/nologin libstoragemgmt:x:998:995:daemon account for libstoragemgmt:/var/run/lsm:/sbin/nologin colord:x:997:994:User for colord:/var/lib/colord:/sbin/nologin saslauth:x:996:76:Saslauthd user:/run/saslauthd:/sbin/nologin setroubleshoot:x:995:993::/var/lib/setroubleshoot:/sbin/nologin chrony:x:994:990::/var/lib/chrony:/sbin/nologin geoclue:x:993:988:User for geoclue:/var/lib/geoclue:/sbin/nologin sssd:x:992:987:User for sssd:/:/sbin/nologin gnome-initial-setup:x:991:986::/run/gnome-initial-setup/:/sbin/nologin postfix:x:89:89::/var/spool/postfix:/sbin/nologin dbus:x:81:81:System message bus:/:/sbin/nologin mail:x:8:12:mail:/var/spool/mail:/sbin/nologin radvd:x:75:75:radvd user:/:/sbin/nologin sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin tcpdump:x:72:72::/:/sbin/nologin halt:x:7:0:halt:/sbin:/sbin/halt avahi:x:70:70:Avahi mDNS/DNS-SD Stack:/var/run/avahi-daemon:/sbin/nologin nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin sync:x:5:0:sync:/sbin:/bin/sync lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin gdm:x:42:42::/var/lib/gdm:/sbin/nologin ntp:x:38:38::/etc/ntp:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin amandabackup:x:33:6:Amanda user:/var/lib/amanda:/bin/bash rpc:x:32:32:Rpcbind Daemon:/var/lib/rpcbind:/sbin/nologin rpcuser:x:29:29:RPC Service User:/var/lib/nfs:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin abrt:x:173:173::/etc/abrt:/sbin/nologin rtkit:x:172:172:RealtimeKit:/proc:/sbin/nologin pulse:x:171:171:PulseAudio System Daemon:/var/run/pulse:/sbin/nologin ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin games:x:12:100:games:/usr/games:/sbin/nologin bin:x:1:1:bin:/bin:/sbin/nologin usbmuxd:x:113:113:usbmuxd user:/:/sbin/nologin operator:x:11:0:operator:/root:/sbin/nologin qemu:x:107:107:qemu user:/:/sbin/nologin ps:x:1037:1037::/home/ps:/bin/bash ls:x:1036:1036::/home/ls:/bin/bash zs:x:1035:1035::/home/zs:/bin/bash stu30:x:1034:1034::/home/stu30:/bin/bash stu29:x:1033:1033::/home/stu29:/bin/bash stu28:x:1032:1032::/home/stu28:/bin/bash stu27:x:1031:1031::/home/stu27:/bin/bash stu26:x:1030:1030::/home/stu26:/bin/bash stu25:x:1029:1029::/home/stu25:/bin/bash stu24:x:1028:1028::/home/stu24:/bin/bash stu23:x:1027:1027::/home/stu23:/bin/bash stu22:x:1026:1026::/home/stu22:/bin/bash stu21:x:1025:1025::/home/stu21:/bin/bash stu20:x:1024:1024::/home/stu20:/bin/bash stu19:x:1023:1023::/home/stu19:/bin/bash stu18:x:1022:1022::/home/stu18:/bin/bash stu17:x:1021:1021::/home/stu17:/bin/bash stu16:x:1020:1020::/home/stu16:/bin/bash stu15:x:1019:1019::/home/stu15:/bin/bash stu14:x:1018:1018::/home/stu14:/bin/bash stu13:x:1017:1017::/home/stu13:/bin/bash stu12:x:1016:1016::/home/stu12:/bin/bash stu11:x:1015:1015::/home/stu11:/bin/bash stu10:x:1014:1014::/home/stu10:/bin/bash stu9:x:1013:1013::/home/stu9:/bin/bash stu8:x:1012:1012::/home/stu8:/bin/bash stu7:x:1011:1011::/home/stu7:/bin/bash stu6:x:1010:1010::/home/stu6:/bin/bash stu5:x:1009:1009::/home/stu5:/bin/bash stu4:x:1008:1008::/home/stu4:/bin/bash stu3:x:1007:1007::/home/stu3:/bin/bash stu2:x:1006:1006::/home/stu2:/bin/bash stu1:x:1005:1005::/home/stu1:/bin/bash laoliu:x:1004:1004::/home/laoliu:/bin/bash wangwu:x:1003:1003::/home/wangwu:/bin/bash lisi:x:1002:1002::/home/lisi:/bin/bash zhangsan:x:1001:1001::/home/zhangsan:/bin/bash zyt:x:1000:1000:zyt:/home/zyt:/bin/bash root:x:0:0:root:/root:/bin/bash 

uniq工具

uniq工具在Linux系统中通常与sort命令结合使用,用于报告或者忽略文件中的重复行

常用选项

  • -c:进行计数;
  • -d:仅显示重复行;
  • -u:仅显示出现一次的行

用法示例

  • 查看自动合并重复行
    Shell扩展正则表达式(egrep、awk、sort、uniq、tr工具)
    Shell扩展正则表达式(egrep、awk、sort、uniq、tr工具)
  • 对重复行进行重复计数
    Shell扩展正则表达式(egrep、awk、sort、uniq、tr工具)
  • 只显示重复行
    Shell扩展正则表达式(egrep、awk、sort、uniq、tr工具)

tr工具

tr命令常用来对来自标准输入的字符进行替换、压缩和删除

语法格式

tr [选项] [参数]

常用选项

  • -c:取代所有不属于第一字符集的字符;
  • -d:删除所有属于第一字符集的字符;
  • -s:把连续重复的字符以单独一个字符表示;
  • -t :先删除第一字符集较第二字符集多出的字符,做替换

用法示例

  • 将输入字符由大写转换为小写
    Shell扩展正则表达式(egrep、awk、sort、uniq、tr工具)
  • 压缩输入中重复的字符
    Shell扩展正则表达式(egrep、awk、sort、uniq、tr工具)
  • 删除字符串中某些字符
    Shell扩展正则表达式(egrep、awk、sort、uniq、tr工具)
  • 取代所有不属于第一字符集的字符
    Shell扩展正则表达式(egrep、awk、sort、uniq、tr工具)

本文转自互联网,侵权联系删除Shell扩展正则表达式(egrep、awk、sort、uniq、tr工具)

赞(0) 打赏
部分文章转自网络,侵权联系删除b2bchain区块链学习技术社区 » Shell扩展正则表达式(egrep、awk、sort、uniq、tr工具)
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

b2b链

联系我们联系我们