拥有0000-未整理-等待研究标签的文章

Logstash性能优化 - xiongzhichao的博客 - CSDN博客

Logstash性能优化：场景：      部署节点配置极其牛逼（三台 48核 256G内存 万兆网卡的机器），ES性能未达到瓶颈，而filebeat又有源源不断的日志在推送（日志堆积），此时却发现ES吞吐量怎么也上不去，基本卡在单logstash 7000/s 的吞吐。      这时候我们基本确定瓶颈在logstash上。logstash部署在服务端，主要处理接收filebeat（...
阅读全文

OSS JS SDK浏览器端如何收集用户日志-博客-云栖社区-阿里云

背景==客户使用我们的oss js sdk开发应用产品时，一旦产品面向广大用户，由于产品运行在不同的终端，用户的操作千差万异，用户一旦在前端遇到问题时，反馈给客户，客户由于没有相关日志信息只能靠猜测，而且很难模拟用户当时的操作环境，问题也很难定位，站在客户角度很希望有一套东西能够协助解决这种场景。对于SDK提供方来说，我们坚决不收集用户信息，这是我们的责任。但是客户希望用户操作发生异常的时候...
阅读全文

NAS日志分析用户指南-博客-云栖社区-阿里云

NAS文件存储是阿里云提供给用户的云上高性能文件系统存储服务。数据安全和性能是用户对文件存储服务最关注的两大因素，经常有用户反映以下这些情况：      我想查看自己的文件存储服务性能指标（吞吐，iops等等）      我想了解自己的文件系统内数据操作分布（读、写、新建、删除）      我的文件系统内某某文件怎么没了？（文件误删除）为了更好地服务用户，让用户清晰地了解到自己的文...
阅读全文

一行命令：从 ELK 迁移日志服务-博客-云栖社区-阿里云

概述==。对于已经存储在 Elasticsearch 中的数据，用户只需要一行命令就能方便地将数据迁移至日志服务。数据迁移简介======数据迁移顾名思义是指将数据从某个数据源迁移到另外一个数据源。根据不同数据源存储引擎是否相同，可分为同源迁移和异构迁移。根据迁移类型的不同，可分为全量迁移和增量迁移。 目前，各大云计算厂商都提供了各自的数据迁移方案，如 。这些方案主要专注于解决...
阅读全文

混合云存储跨云灾备方案之跨云备份-博客-云栖社区-阿里云

公有云市场现状，问题及趋势从全球公有云市场来看，亚马逊AWS一枝独秀，占据了接近40%的市场份额。2017年全年，AWS营收为43.3亿美元，销售额为174.6亿美元。而在中国公有云市场，阿里云的市场份额达到了47.6%。在连续11个季度三位数增长之后，领先优势继续扩大：同期，国内第2至5位云服务商市场份额分别为9.6%、6.5%、6%和5.5%。然而，近期公有云厂商出现了不少次故障和宕机...
阅读全文

混合云存储跨云灾备方案之跨云复制-博客-云栖社区-阿里云

介绍了混合云备份是如何跨云备份（多云备份）和恢复云主机中的目录与文件。假如用户对于数据保护的实时性有要求，比如一个公司内，大家通过一个共享目录来集中存储一些文档，希望这些文档能够在非常短的时间内（RTO）触发备份，或者分发广播到别的用户那里。在这样的场景下，混合云存储的云存储网关的复制模式就派上用场了。 基于云存储网关的跨云复制架构 云存储网关是可以部署在线上云主机和线下虚拟机的纯软件...
阅读全文

混合云存储跨云灾备方案之跨云容灾-博客-云栖社区-阿里云

前面两篇文章介绍了基于阿里云备份的，两者主要是解决文件粒度的备份与恢复问题。如果用户需要保护一个云上的数据库应用，而不仅仅是数据库的数据文件；如果用户需要保护整个云主机，而不止一些文件和目录；且用户对于保护同样是有实时性要求的。那么，混合云容灾就是为这些用户需求量身打造的拳头产品。 基于混合云容灾的跨云容灾架构 下图描述了从云厂商T的一台Oracle服务器，通过混合云容灾恢复网关，备份...
阅读全文

IDEA 下如何修改 Elasticsearch 源码-博客-云栖社区-阿里云

以下所有过程以mac操作系统下（macOS 10.13.6）为例进行。环境准备==== 安装jdk10因为es需要高版本jdk进行开发，所以我们直接安装jdk10。前往 ，直接下载安装mac的dmg版本即可。 jdk8和jdk10并存如果平时开发用的jdk8，为了不影响之后使用，jdk8和jdk10将会同时存在。如果之前没用过java低版本请忽略。在 `.bash_pr...
阅读全文

日志实时分析：从入门到精通-博客-云栖社区-阿里云

日志实时分析：从入门到精通=============为什么要实时分析日志做业务的人，常常需要面临以下问题： 产品的受欢迎程度怎么样？该重点投入到哪个功能中？ 各个营销渠道的流量怎么样？ 该向哪个渠道投入更多资源？ 各个阶段的转化率、留存率有多少？有哪些瓶颈点需要优化？如果没有数据，就只能够靠瞎猜，靠经验来判断。一旦业务方向走偏，一方面自己的业务量受影响，另一方面...
阅读全文

Logtail从入门到精通（六）：工作原理简介-博客-云栖社区-阿里云

文件采集原理======Logtail文件采集的流程包括：文件监听、文件读取、日志处理、日志过滤、日志聚合和数据发送6个环节。下面将分别进行介绍： 注意：本节只介绍正常运行模式中Logtail的文件采集原理，该模式下不支持采集历史文件，如有采集历史文件需求，请参考。文件监听1. 当Logtail获取到采集配置后，根据配置的日志路径、文件名、最大监控目录深...
阅读全文