态势感知日志分析 - 一行命令导出日志-博客-云栖社区-阿里云

背景

目前，阿里云态势感知与日志服务打通，对外开放平台依赖或者产生的日志，包括网络、主机、安全三大类共14种子类日志。提供近实时的日志自动采集存储、并提供基于日志服务的查询分析、报表报警、下游计算对接与投递的能力。
image

本文介绍如何导出日志以便在某些场景下使用。

导出日志到本地

这里介绍如何使用阿里云日志服务的命令行工具（CLI）导出态势感知的相关日志到本地。

命令行准备工作

  1. 安装命令行工具（CLI）
    准备一台可以连上阿里云的机器，通过命令行安装CLI：

pip install -U aliyun-log-cli
如果遇到网络或者其他按照问题，可以参考文档。

  1. 获取当前账户的秘钥
    点击阿里云控制台右上角的登录图标，选择accesskeys，

image

点击警告的确认后，在秘钥列表中，选择一个没有过期的秘钥，点击显示查看并复制秘钥的ID和Key
image

注意：记录的秘钥请特别注意安全，推荐使用子账号秘钥的方式进行管理。

  1. 配置命令行的账户秘钥
aliyunlog configure 秘钥ID  秘钥Key 区域路径

注意： 其中区域路径取决于您的态势感知的区域，并且根据您运行命令所在的环境，有一些变化：

态势感知区域

运行命令行所处环境

区域路径

国内

任意机器

cn-hangzhou.log.aliyuncs.com

国内

杭州区域的ECS上

推荐 cn-hangzhou-intranet.log.aliyuncs.com 性能更佳

马来西亚

任意机器

ap-southeast-3.log.aliyuncs.com

马来西亚

吉隆坡区域的ECS上

推荐 ap-southeast-3-intranet.log.aliyuncs.com 性能更佳

  1. 获取日志服务的项目名和日志库名
    进入态势感知的控制台，进入日志分析后，可以看到日志服务的项目名称和日志库名：

image

可以看到，这里项目名称（Project）是：sas-log-阿里云账户ID-cn-hangzhou，日志库名（Logstore）是：sas-log。

操作步骤

  1. 使用命令行，进入想要下载日志的存储的目录，例如dump_data：
cd dump_data
  1. 执行CLI命令：
aliyun log pull_log_dump --project_name="项目名" --logstore_name="sas-log" --from_time="2018-01-24 16:00:00 CST" --to_time="2018-01-24 17:00:00  CST" --file_path="./dump_{}.data"

这里拉取从时间2018-01-24 16:00:00 CST到2018-01-24 17:00:00 CST并把数据下载本地。

  1. 下载完成
    下载完后会显示下载的文件列表以及日志数，例如：
{"files": {"./dump_1.data": 75, "./dump_2.data": 14}, "total_count": 89}

因为是并发下载，所以会存储在多个文件中，文件名根据/data/dump_{}.data中的{}替换成多个并发的数字（一般是分区号）。文件的内容格式为一行一个日志，例如：

{"k1":"a1", "k2":"a2"}
{"k1":"b1", "k2":"b2"}
...

进一步参考

进一步参考相关最佳实践：

Original url: Access
Created at: 2018-10-31 19:55:38
Category: default
Tags: none

未标明原创文章均为采集，版权归作者所有，转载无需和我联系，请注明原出处，南摩阿彌陀佛，知识，不只知道，要得到

请先后发表评论
  • 最新评论
  • 总共0条评论