日志实时分析：从入门到精通-博客-云栖社区-阿里云

日志实时分析：从入门到精通

为什么要实时分析日志

做业务的人，常常需要面临以下问题：

  • 产品的受欢迎程度怎么样？该重点投入到哪个功能中？
  • 各个营销渠道的流量怎么样？ 该向哪个渠道投入更多资源？
  • 各个阶段的转化率、留存率有多少？有哪些瓶颈点需要优化？

如果没有数据，就只能够靠瞎猜，靠经验来判断。一旦业务方向走偏，一方面自己的业务量受影响，另一方面，耽误时间，给竞争对手以可乘之机。

日志是程序记录事件和状态的数据。通过日志数据的采集、存储和分析，我们可以很好地掌控产品的质量，辅助我们对开发、运营、运维等活动作出更加及时、更加精确的决策。在业务上，时间就是金钱，能够快速的实时分析出结果，能够及时的帮我们发现业务上的问题，节省我们的时间，帮助我们把业务能力提升不止一个量级。

那么，我们如何选择日志分析的架构呢？

日志分析：架构选型

在日志分析领域，用户可以选择开源的ELK方案，也可以选择阿里云日志服务。这篇文档在功能、价格方面对ELK、日志服务做了全方位对比，仅供参考。

image.png

一般选择技术架构的思路，我们从需求出发，再到落地成本呢，包括运维成本、财务成本，最终选择一个能够满足需求的最低成本的解决方案。具体到日志分析上，我们从这几点出发考虑：

image.png

  • 功能的丰富程度，是否支持

    • 关键字查询
    • 聚合计算，表达式的丰富程度
    • grouping 计算
    • 多维数据join

  • 性能和规模

    • 数据写入吞吐量能达到多少?TB?PB?
    • 数据计算一次计算能覆盖多大数据量？

  • 实时性

    • 从数据产生，到计算出结果，需要多久？秒级别？是实时的？还是离线的？
    • 实时性和规模是不可调和的。

  • 数据的重要程度

    • 是每天运营的报表？一天算一次？还是要立刻拿到结果？

image.png

日志服务的分析提供哪些能力

日志服务分析语法，提供标准的SQL语法，可以同时使用sls的查询和SQL计算功能。

在API上，支持：

  • 日志服务API
  • JDBC，可对接任意开源JDBC协议客户端。

在功能上：

  • 支持20+类别的函数，共150+函数，覆盖了常用的计算、统计、转换、安全审计功能。
  • 支持可视化展示，可以实时的交互式查询，动态展示结果。

在性能上：

  • 支持TB级别的计算能力。
  • 秒级别内获取结果。

在生态上：

  • 日志服务控制台，提供dashboard，提供线图、饼图、流图等多种类型的视图，对接文档
  • 通过grafana插件连接日志服务，通过grafana可视化展示日志计算结果，对接文档。
  • 无缝打通datav，通过datav大屏，展示日志的计算结果，对接文档。

开始试用Demo

若你没有账号，可以点击此处试用demo，查看分析功能，或者查看配置的各种仪表盘。

入门之路

日志服务是完全serverless的服务。只需要完成初次的对接，安装好客户端，配置好要采集哪些日志，日志接入参考文档。

之后即可在控制台完成分析功能。

image.png

开始使用日志分析之路：

  1. 打开日志服务控制台
  2. 选择对应的project
    image.png
  3. 点击查询，进入查询页面
    i mage.png
  4. 如果没有开启索引，请打开索引，如果没有没有创建列索引，则无法执行SQL，请在右上角查询分析属性，创建对应的列索引
    image.pngimage.png
  5. 在红框中输入查询条件
    image.png
  6. 查询出结果后，添加到仪表盘
    image.png
  7. 打开仪表盘，查看保存的查询结果
    image.png

进阶之路

Original url: Access
Created at: 2018-10-31 20:00:10
Category: default
Tags: none

未标明原创文章均为采集，版权归作者所有，转载无需和我联系，请注明原出处，南摩阿彌陀佛，知识，不只知道，要得到

请先后发表评论
  • 最新评论
  • 总共0条评论