日志实时分析:从入门到精通-博客-云栖社区-阿里云

日志实时分析:从入门到精通=============为什么要实时分析日志做业务的人,常常需要面临以下问题: 产品的受欢迎程度怎么样?该重点投入到哪个功能中? 各个营销渠道的流量怎么样? 该向哪个渠道投入更多资源? 各个阶段的转化率、留存率有多少?有哪些瓶颈点需要优化?如果没有数据,就只能够靠瞎猜,靠经验来判断。一旦业务方向走偏,一方面自己的业务量受影响,另一方面...
阅读全文

Logtail从入门到精通(六):工作原理简介-博客-云栖社区-阿里云

文件采集原理======Logtail文件采集的流程包括:文件监听、文件读取、日志处理、日志过滤、日志聚合和数据发送6个环节。下面将分别进行介绍: 注意:本节只介绍正常运行模式中Logtail的文件采集原理,该模式下不支持采集历史文件,如有采集历史文件需求,请参考。文件监听1. 当Logtail获取到采集配置后,根据配置的日志路径、文件名、最大监控目录深...
阅读全文

实时分析态势感知大数据日志-博客-云栖社区-阿里云

背景目前,阿里云态势感知与日志服务打通,对外开放平台依赖或者产生的日志,包括网络、主机、安全三大类共14种子类日志。提供近实时的日志自动采集存储、并提供基于日志服务的查询分析、报表报警、下游计算对接与投递的能力。本文介绍如何在态势感知控制台日志中的日志分析功能。选择特定类型的日志,即可对采集到的日志数据进行实时查询与分析、查看或编辑仪表盘、设置监控告警等。操作步骤1...
阅读全文

态势感知日志分析 - 一行命令导出日志-博客-云栖社区-阿里云

背景目前,阿里云态势感知与日志服务打通,对外开放平台依赖或者产生的日志,包括网络、主机、安全三大类共14种子类日志。提供近实时的日志自动采集存储、并提供基于日志服务的查询分析、报表报警、下游计算对接与投递的能力。 本文介绍如何导出日志以便在某些场景下使用。导出日志到本地这里介绍如何使用阿里云日志服务的命令行工具(CLI)导出态势感知的相关日志到本地。 命令行准备工作...
阅读全文

智能媒体管理(IMM)人脸分组PHP DEMO-博客-云栖社区-阿里云

提供了高效、准确的人脸识别、人脸分组等相关功能。通过简单的API调用即可实现。以下给出一个PHP的DEMO供参考。 引入SDK首先,从上获取阿里云OpenAPI的PHP版本SDK,引入相关类库,并初始化客户端。```include_once './aliyunphpsdkcore/Config.php';use imm\Request\V20170906 as Imm;//初始...
阅读全文

阿里云深度学习存储解决方案-博客-云栖社区-阿里云

介绍==现如今在谈论数据的价值的时候,经常提到的概念之一就是深度学习,或者更广泛的说是人工智能。深度学习系统通常通过大规模的数据集和神经网络算法来训练和完善应用模型,这就需要强大的计算集群,高性能可扩展的存储系统来实现。深度学习的基本概念人工智能(AI,Artificial Intelligence)指由人制造出来的机器所表现出来的智能,通常AI尝试创造类人的用于通用目的的智能设备...
阅读全文

基于TableStore的亿级订单管理解决方案-博客-云栖社区-阿里云

一、方案背景======订单系统存在于各行各业,如电商订单、银行流水、运营商话费账单等,是一个非常广泛、通用的系统。对于这类系统,在过去十几年发展中已经形成了经典的做法。但是随着互联网的发展,以及各企业对数据的重视,需要存储和持久化的订单量越来越大。数据的重视程度与数据规模的膨胀带来了新的挑战。需求场景某电商平台A,需要进行持久化所有平台产生的订单数据。同时,基于所有的订单数据,系...
阅读全文

SLS机器学习介绍(01):时序统计建模-博客-云栖社区-阿里云

文章系列链接 背景时序数据是业务监控中最多方法,双十一大盘、业务监控系统、系统性能平台等都可以看到他的身影。根据统计,60%+业务系统监控都是通过时序表达出来。在数量上,以在阿里云神农系统为例,一台机器有3500多个时序数据,以5秒作为采样周期1000台集群计算,每秒钟会产生70W个点。时序数据从产生到看到一般分为几个阶段:1. 采集程...
阅读全文

Lucene 查询原理-博客-云栖社区-阿里云

前言==Lucene 是一个基于 Java 的全文信息检索工具包,目前主流的搜索系统Elasticsearch和solr都是基于lucene的索引和搜索能力进行。想要理解搜索系统的实现原理,就需要深入lucene这一层,看看lucene是如何存储需要检索的数据,以及如何完成高效的数据检索。在数据库中因为有索引的存在,也可以支持很多高效的查询操作。不过对比lucene,数据库的查询能力还是...
阅读全文

Mysql REPLACE LOCATE 应用

Mysql REPLACE LOCATE 应用
阅读全文