nginx 日志反导到数据库,有比较抗投诉服务器好的方案吗?
最近有这个需求,一直没有比较好的方案。
自己写个 parser 把你需要的 column 解出来写到数据库里去
或者找个开源的 parser
用 elk?
数据量大,估计处理不了
elk 估计要用到中间键,搞到数据库这个过程不是很明朗
先用流式处理或者集群方式,把原始日志加工一下;然后一次性 load 进库
elk 就 elk,别纠结了
https://www.v2ex.com/t/54591
写个脚本定时导入感觉很好了
用 ELK 就不用放到数据库去了……直接存 ELK 里面。你估计只需要一个 ElasticSearch 就够了。
rsyslog
ELK
数据量很大?不需要中间件,直接 filebeat
fluentd
elk 还有什么不明朗的
filebeat
nginx 日志自定义为 json ,然后 elk
elk
rsyslog 实时传到 es 即可