更新时间:2020-07-01 19:06:27
日志采集主要提供两大功能的配置,采集管理配置和机器组配置。本章节描述采集管理配置说明的样例,完成一个新建日志采集的过程。
目前支持流式日志的4种日志类型:自定义文本、SysLog、NGINX访问日志、APACHE访问日志。
自定义文本,支持四种模式进行日志处理:简易模式、正则模式、分隔符模式、JSON模式。
简易模式
默认为简易模式,简易模式每行为一条日志,且不提取日志中字段,每条日志时间使用接收时间。
正则模式
可选为正则模式,用户输入具体的日志样例,默认通过自动生成完成正则模式的解析,也可以通过手动输入正则表达式来完成正则模式的解析。
分隔符模式
可选为分隔符模式,用户输入具体的日志样例,默认通过自动生成完成分隔符模式的抽取解析。分隔符可以自定义选择“空格”、“制表符”、“竖线”、“自定义”。分隔符只能选择一种。
JSON模式
可选为JSON模式,用户输入具体的日志样例,默认通过自动生成完成JSON模式的抽取解析。
另外,还可以配置高级选项,完成日志文件编码的选择(utf8、gbk)。
日志类型,支持流式日志和文本日志。
流式日志,需要配置采集的端口号。日志服务从监听端口采集流式日志。侦听端口的设置,必须和推送日志到云平台的端口号,保持一致。
文本日志,需要配置日志路径。日志路径,支持完整文件名,也支持通配符模式匹配,并确保该路径下已经存有对应的日志文件,否则可能导致采集失败。文件路径只支持/开头,例如:/data/log/web.Log
,/usr/local/*/logs/*.log
。
将设置好的日志类型配置,应用到具体的机器组中去。
新增支持本地日志文件上传
在采集管理配置上,新增支持本地日志文件上传的功能,主要用于测试。通过该功能,您可以跳过云主机的部署、采集点代理的安装等动作,快速上传本地已有的日志文件,完成日志格式的解析,分析,统计等工作,体验日志服务的功能。上传的本地日志文件,大小不超过100M。
设置好日志源,需要对抽取的日志进行索引设置,索引设置分全文索引和键值索引。全文索引默认打开。键值索引,根据解析抽取的字段来设置。索引名称来自抽取字段的名称,可以给索引新增别名,后续查询时可以根据别名查询。索引字段不超过抽取字段的范围。
本期版本暂不支持。