小公司,想做一个日志分析的程序,带 Web 前端的,求方案推荐
- 0次
- 2021-06-03 20:00:25
- idczone
请问下各位 V 友,我们小公司目前有个小需求,是对日志文件的按需处理。需求和模块如下。请问下有没有合适解决方案呢?求支招。谢谢!
日志文件处理:国外服务器
需求:
数据源:第三方程序生成明文的,固定格式的日志,定时以 ftp 方式吐到 ftp 服务器上的文件夹;
日志处理:
日志数据文件,按时间段自动打包压缩;
数据库:
根据日志数据文件收到的内容,全额写入数据库;
数据库定时备份;
Web 前端:
设定统计条件,读取数据库,生成统计图,表格;
日志延时处理;
后端:
通过 LDAP 连接 AD,定时遍历 AD 用户内容,维护日志映射表,web 前端统计调用;
审计模块:
操作日志的记录;
通知模块:
设定通知条件,达到条件后自动触发通知;
大量日志告警通知功能;
数据不多推到云上呗。。省事
云上有合适的处理的引擎吗?比如归类,按照大小排序,将结果写入数据库等?
腾讯云的 CLS 我用过的 OK,可以自己整大盘和图、告警,你要在自己执行查询应该也有接口
不是做成产品,是拿来公司内部用?
那直接上 ELK 啊,你的需求都能满足
Grafana + Elasticsearch 不香吗?
kibana
腾讯云的 CLS,你们怎么处理的分词?
elk
阿里 日志服务
谢谢推荐,看来这个不错
推荐 ELK,画图这块可以看 Grafana 看能不能满足,不行的话自己写也可以,ES 有 API
我们实现的一些思路,可以参考 https://blog.ops-coffee.cn/elk
推荐 ELK + Telegraf + Grafana
Grafana 做前端,汉化有压力。有部分业务面向客户的。
上云,然后买买买
学到了,cls 好像挺好的适合我,我之前是自己用 java 写,各种麻烦还不完美各种小问题,cls 正好适合我的需求,价格也能接受
请问下可以提供下技术支持吗?有¥
前端数据可视化可以看下 Mojito
找个人做 grafana 做汉化不行吗?既完成了业务也造福了大家