CDN加速

新建日志采集

更新时间:2020-07-01 19:06:27

新建日志采集

日志采集主要提供两大功能的配置,采集管理配置和机器组配置。本章节描述采集管理配置说明的样例,完成一个新建日志采集的过程。

操作步骤

  1. 进入日志服务
  2. 进入日志仓库管理,选择确定具体的日志仓库名称。
  3. 进入日志组,选择具体的日志组,点击日志组列表中的采集管理按钮,可以快速跳转到日志采集采集管理界面上来。也可以直接点击左边树形菜单中的采集管理菜单进入对应的配置界面。
  4. 点击采集管理的右上角的新建日志采集,进入日志采集的配置流程,主要分4个步骤:1.日志类型确定;2.日志源设置;3.日志分析配置;4.日志投递处理。目前,暂不支持“4.日志投递”的处理。

详细说明

一、日志类型确定

目前支持流式日志的4种日志类型:自定义文本、SysLog、NGINX访问日志、APACHE访问日志。
网宿直播能力大升级:毫秒级低延时直播全新发布网宿直播能力大升级:毫秒级低延时直播全新发布

自定义文本,支持四种模式进行日志处理:简易模式、正则模式、分隔符模式、JSON模式。

  • 简易模式
    默认为简易模式,简易模式每行为一条日志,且不提取日志中字段,每条日志时间使用接收时间。
    网宿直播能力大升级:毫秒级低延时直播全新发布网宿直播能力大升级:毫秒级低延时直播全新发布

  • 正则模式
    可选为正则模式,用户输入具体的日志样例,默认通过自动生成完成正则模式的解析,也可以通过手动输入正则表达式来完成正则模式的解析。
    网宿直播能力大升级:毫秒级低延时直播全新发布网宿直播能力大升级:毫秒级低延时直播全新发布

  • 分隔符模式
    可选为分隔符模式,用户输入具体的日志样例,默认通过自动生成完成分隔符模式的抽取解析。分隔符可以自定义选择“空格”、“制表符”、“竖线”、“自定义”。分隔符只能选择一种。
    网宿直播能力大升级:毫秒级低延时直播全新发布网宿直播能力大升级:毫秒级低延时直播全新发布

  • JSON模式
    可选为JSON模式,用户输入具体的日志样例,默认通过自动生成完成JSON模式的抽取解析。
    另外,还可以配置高级选项,完成日志文件编码的选择(utf8、gbk)。
    网宿直播能力大升级:毫秒级低延时直播全新发布网宿直播能力大升级:毫秒级低延时直播全新发布

二、日志源设置

日志类型,支持流式日志和文本日志。
流式日志,需要配置采集的端口号。日志服务从监听端口采集流式日志。侦听端口的设置,必须和推送日志到云平台的端口号,保持一致。
文本日志,需要配置日志路径。日志路径,支持完整文件名,也支持通配符模式匹配,并确保该路径下已经存有对应的日志文件,否则可能导致采集失败。文件路径只支持/开头,例如:/data/log/web.Log/usr/local/*/logs/*.log
网宿直播能力大升级:毫秒级低延时直播全新发布网宿直播能力大升级:毫秒级低延时直播全新发布
将设置好的日志类型配置,应用到具体的机器组中去。
网宿直播能力大升级:毫秒级低延时直播全新发布网宿直播能力大升级:毫秒级低延时直播全新发布

新增支持本地日志文件上传
在采集管理配置上,新增支持本地日志文件上传的功能,主要用于测试。通过该功能,您可以跳过云主机的部署、采集点代理的安装等动作,快速上传本地已有的日志文件,完成日志格式的解析,分析,统计等工作,体验日志服务的功能。上传的本地日志文件,大小不超过100M。
网宿直播能力大升级:毫秒级低延时直播全新发布网宿直播能力大升级:毫秒级低延时直播全新发布

三、日志分析

设置好日志源,需要对抽取的日志进行索引设置,索引设置分全文索引和键值索引。全文索引默认打开。键值索引,根据解析抽取的字段来设置。索引名称来自抽取字段的名称,可以给索引新增别名,后续查询时可以根据别名查询。索引字段不超过抽取字段的范围。
网宿直播能力大升级:毫秒级低延时直播全新发布网宿直播能力大升级:毫秒级低延时直播全新发布

四、日志投递

本期版本暂不支持。