求大神,刚刚写 shell , Apache 的日志文件格式大致是这样的
127.0.0.1 - - [27/May/2016:14:58:56 +0000] "GET /platform/iphone?Version=2.0.0.4&UserName=13123&domainId= HTTP/1.0" 200 709 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.153 Safari/537.36" "-"
我想要得出来的格式是,几号 | 什么设备 |版本号|使用名称这样的格式请问该怎么写,目前得出了
27/may/2016 iphone?version=2.0.0.4&username=13123
请问接下来怎么办
数据基本是这个格式,是不是该截取各个部分
这东西估计用 python 处理更好点。 shell 得字符串处理比较弱,而且可读性极差(即使用 sed 和 awk )。
去 github 上看看有没有别人写的 apache 日志解析逻辑
搜了下, apache 的日志模式不太好, 如果是 nginx ,支持 json 输出。 好解析多了。
awk ,利用 FS 分割就行了。
不需要一步到位,一点一点处理,写起来思路清楚,可读性也好
awk 支持多个不同的分隔符 awk -F "?|&| |=" 然后重新格式化一下就好了
为什么不考虑用 goaccess
是的,我都切割好了,但是数据文本有的地方格式不一样,可能需要的东西一个在$2 上,一个在$3 上,这怎么搞,请教大神
因为这是老大派的他一个任务,就是得用 shell 写脚本
不知道具体是怎么不同,有没有规律,关键词是不是固定 /有限?(这个日志文件我也没玩过)
我只能靠猜测给个思路:
如果你有了 27/may/2016 iphone?version=2.0.0.4&username=13123 这样的记录,把它变成分行的:
27/may/2016
iphone
version=2.0.0.4
username=13123
把这个结果重定向到 grep ,用关键词取出单独的一项,这样就不会受到位置不同的影响。
只是一个很粗糙的方法,如何改得更高效、优雅,你自己琢磨下吧