日志时间相关参数说明
参数说明
使用系统时间配置日志时间,具体说明如下:打开使用系统时间开关,则解析后的日志时间显示为文件导入时的系统时间。关闭使用系统时间开关,则需要手动配置时间字段和时间格式。
说明推荐使用系统时间。因为日志时间可作为普通字段建立索引,用于日志查询,所以在导入历史数据时,如果数据时间早于当前时间减去Logstore数据保存时间,例如保存7天,那么时间为7天前的日志,无法在控制台上查询。
提取时间正则如果您选择的数据格式为单行文本日志、跨行文本日志,则在关闭使用系统时间开关后,您需要使用正则表示式提取日志时间。
例如日志文件中的日志样例为127.0.0.1 - - [10/Sep/2018:12:36:49 0800] "GET /index.html HTTP/1.1",则您可以配置提取时间正则为[0-9]{0,2}\/[0-9a-zA-Z]+\/[0-9:,]+。
时间字段如果您选择的数据格式为CSV、单行JSON、Parquet,则在关闭使用系统时间开关后,您需要配置一个时间字段。
例如CSV格式文件如下所示,则您可以配置时间字段为time_local。
时间格式如果关闭使用系统时间开关,需要指定一个Java SimpleDateFormat语法的时间格式,用于解析时间字段。时间格式的语法详情请参见Class SimpleDateFormat。
说明Java SimpleDateFormat不支持Unix时间戳,如果您要使用Unix时间戳,时间格式指定为epoch。
时区如果关闭使用系统时间开关,需要指定一个时区,用于解析日志时间的时区。如果提取的日志时间中已有时区信息,则此参数无效。
其他参数说明CSV特有参数
参数说明
分隔符配置日志的分隔符,默认值为英文逗号(,)。
Quote当日志字段内包含分隔符时,需要使用引用符包裹,默认值为双引号(")。
转义符配置日志的转义符,默认值为反斜线(\)。
跨行日志最大行数当一条日志跨多行时,需要指定最大行数,默认值为1。
首行作为字段名称打开首行作为字段名称开关后,将使用CSV文件中的首行作为字段名称。例如提取下图中的首行为日志字段的名称。
自定义字段列表关闭首行作为字段名称开关后,请根据需求