技术解析

关于 error_log 聚合
0
2021-05-31 10:36:27
idczone
如果想把很多 nginx web server 上的 error_log 聚合到一个地方进行分析,抗投诉服务器现在有什么比较好的方案么?
flume/flume_ng+hdfs,数据量大就hadoop跑MR

最近正在看 logstash + HDFS / Hadoop 可以往这个方向看一下。

error_log会很多么?应该是access_log吧。

看看这个文档,或许有启发:http://loggly.com/support/sending-data/logging-from/platform-logs/unix/
Loggly这个服务本身有点贵(对我而言)。关键词是rsyslog日志服务,可以搜下rsyslog + nginx。

简单点可以试试 xtail + scribe
git://github.com/facebook/scribe.git
或者给nginx打个支持pipe log的patch,再配合scribe

对这个问题我也挺困扰的。
logstash吧,感觉他的界面有些乱,不太容易分析
loggly这个online的服务,我试用了一下,感觉挺耗服务器资源的,而且分析的结果不是很准。
我还用过log.io,nodejs写的,不太适合分析很大的数据,而且不能保存已经看过的,只能看当前的。

数据地带为您的网站提供全球顶级IDC资源
在线咨询
专属客服