技术解析

nginx 日志反导到数据库
0
2021-05-20 22:01:46
idczone

nginx 日志反导到数据库,有比较抗投诉服务器好的方案吗? 最近有这个需求,一直没有比较好的方案。


自己写个 parser 把你需要的 column 解出来写到数据库里去
或者找个开源的 parser

用 elk?

数据量大,估计处理不了
elk 估计要用到中间键,搞到数据库这个过程不是很明朗

先用流式处理或者集群方式,把原始日志加工一下;然后一次性 load 进库

elk 就 elk,别纠结了

https://www.v2ex.com/t/54591

写个脚本定时导入感觉很好了

用 ELK 就不用放到数据库去了……直接存 ELK 里面。你估计只需要一个 ElasticSearch 就够了。

rsyslog

ELK
数据量很大?不需要中间件,直接 filebeat

fluentd

elk 还有什么不明朗的

filebeat

nginx 日志自定义为 json ,然后 elk

elk

rsyslog 实时传到 es 即可

数据地带为您的网站提供全球顶级IDC资源
在线咨询
专属客服