技术解析

NGINX 里使用 JSON 格式记录结构化的日志
0
2021-05-20 23:14:53
idczone
https美国服务器://blog.pkhamre.com/logging-to-logstash-json-format-in-nginx/
直接这样配有坑的,要做好转码,不然生成的 json 容易崩
另外,nginx 也有直接的 json log plugin,但是印象中也有坑,编译前看看源码,好像有些 case 没处理好

一直是这样搞的。
如同 所说,如果有 json 的话 nginx 是会直接打印 `\x22` 之类的东西。后面再处理的时候就比较费劲了。
不过 nginx 日志一般不会记录 postdata,所以其实也无所谓。

手拼 Json 串是正确玩法么。。。

二次处理。

手拼 Json,然后在 logstash 里面处理好,到达应用时就是一个可解析的 json 结构了
主要是在 logstash 的配置里面增加一个 filter
缺点是数据变大,并且消耗性能
```code
input {
file {
type => "nginx_access"
path => "/opt/nginx-1.8.1/logs/logstash.access.log_*"
sincedb_path => "/opt/logstash-2.3.2/sincedb-access"
}
}
filter {
if [type] != "nginx_access" or [message] == "" {
drop { }
} else {
mutate {
gsub => [
replace '\x' with '\u00', or json parser will fail
"message", "([^\\](\\\\)*)\\x", "\1\\u00"
]
}
}
}

```

测试的时候使用的手拼

Logstash 可以把输入类型设置为 json_event

“ nginx access_log request_body 中文字符解析方法”
http://hopehook.com/2017/12/18/nginx_request_body_parse/
我写了篇文章,特地分享出来,解决了解码问题,Logstash 直接用,不用特意修改 nginx。
1 直接解析 access_log 会报错,request_body 人为转义一次,然后把 access_log 外层的 json 解析出来,以便取出 request_body
message = message.gsub('\\x', '\\\\\\x')
2 r 把 equest_body 中文内容解码出来
word = (request_body[pt + 2] + request_body[pt + 3]).to_i(16).chr
new_request_body = new_request_body + word

数据地带为您的网站提供全球顶级IDC资源
在线咨询
专属客服