技术解析

shell 脚本问题:处理 Apache 日志文件
0
2021-07-01 18:42:58
idczone

求大神,刚刚写 shell , Apache 的日志文件格式大致是这样的 127.0.0.1 - - [27/May/2016:14:58:56 +0000] "GET /platform/iphone?Version=2.0.0.4&UserName=13123&domainId= HTTP/1.0" 200 709 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.153 Safari/537.36" "-" 我想要得出来的格式是,几号 | 什么设备 |版本号|使用名称这样的格式请问该怎么写,目前得出了 27/may/2016 iphone?version=2.0.0.4&username=13123 请问接下来怎么办 数据基本是这个格式,是不是该截取各个部分


这东西估计用 python 处理更好点。 shell 得字符串处理比较弱,而且可读性极差(即使用 sed 和 awk )。
去 github 上看看有没有别人写的 apache 日志解析逻辑

搜了下, apache 的日志模式不太好, 如果是 nginx ,支持 json 输出。 好解析多了。

awk ,利用 FS 分割就行了。

不需要一步到位,一点一点处理,写起来思路清楚,可读性也好

awk 支持多个不同的分隔符 awk -F "?|&| |=" 然后重新格式化一下就好了

为什么不考虑用 goaccess

是的,我都切割好了,但是数据文本有的地方格式不一样,可能需要的东西一个在$2 上,一个在$3 上,这怎么搞,请教大神

因为这是老大派的他一个任务,就是得用 shell 写脚本


不知道具体是怎么不同,有没有规律,关键词是不是固定 /有限?(这个日志文件我也没玩过)
我只能靠猜测给个思路:
如果你有了 27/may/2016 iphone?version=2.0.0.4&username=13123 这样的记录,把它变成分行的:
27/may/2016
iphone
version=2.0.0.4
username=13123
把这个结果重定向到 grep ,用关键词取出单独的一项,这样就不会受到位置不同的影响。
只是一个很粗糙的方法,如何改得更高效、优雅,你自己琢磨下吧

数据地带为您的网站提供全球顶级IDC资源
在线咨询
专属客服