Kudu:一个融合低延迟写入和高性能分析的存储系统 - TiDB的个人空间 - 开源中国

Kudu 是一个基于 Raft 的分布式存储系统,它致力于融合低延迟写入和高性能分析这两种场景,并且能很好的嵌入到 Hadoop 生态系统里面,跟其他系统譬如 Cloudera Impala,Apache Spark 等对接。Kudu 很类似 TiDB。最开始,TiDB 是为了 OLTP 系统设计的,但后来发现我们 OLAP 的功能也越来越强大,所以就有了融合 OLTP 和 OLAP 的想...
阅读全文

Elasticsearch 与 Thinkphp 增删改查操作 - Traveler - 开源中国

Elasticsearch 建模 mappings有点类似我们定义MySQL的数据库表结构的时候,需要指定每个字段的名字,其数据类型一样。当然,这个定义过程,也指明了这个表结构一共含有多少个字段了。对于ES而言,就相当于指定了一个document有多少field,每个field的数据类型,注意,这个比MySQL定义表过程,还多了一个有用的操作,就是指定每个字段可用的分析器(analyzer...
阅读全文

Elasticsearch学习总结六 使用Observer实现HBase到Elasticsearch的数据同步 - winstone的个人空间 - 开源中国

    最近在公司做统一日志收集处理平台,技术选型肯定要选择elasticsearch,因为可以快速检索系统日志,日志问题排查及功业务链调用可以被快速检索,公司各个应用的日志有些字段比如说content是不需要在es中作为存储的,当时考虑使用一种keyValue形式的数据库作存储,然后使用hbase的Rowkey作为es的docId,实现数据检索在es中,存储在hbase中,这样可以大大...
阅读全文

【干货】Apache Hadoop 2.8 完全分布式集群搭建超详细过程,实现NameNode HA、ResourceManager HA高可靠性 - 雪饼的个人空间 - 开源中国

最近在自己的笔记本电脑上搭建了Apache Hadoop分布式集群,采用了最新的稳定版本2.8,并配置了NameNode、ResourceManager的HA高可用,方便日常对Hadoop的研究与测试工作。详细的搭建过程如下:1、安装docker,创建docker容器,用于搭建hadoop节点docker真是个好东西啊,当要在自己的笔记本上搭建分布式集群时,由于CPU、内存、磁盘有限,...
阅读全文

【干货】Apache Hive 2.1.1 安装配置超详细过程,配置hive、beeline、hwi、HCatalog、WebHCat等组件 - 雪饼的个人空间 - 开源中国

    在Docker环境成功搭建了Apache Hadoop 2.8 分布式集群,并实现了NameNode HA、ResourceManager HA之后(详见我的另一篇博文:),接下来将搭建最新稳定版的Apache Hive 2.1.1,方便日常在自己电脑上测试hive配置和作业,同样的配置也可以应用于服务器上。以下是Apache Hive 2.1.1的安装配置详细过程1、阅读Apac...
阅读全文

HBase 1.2.6 完全分布式集群安装部署详细过程 - 雪饼的个人空间 - 开源中国

Apache HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,是NoSQL数据库,基于Google Bigtable思想的开源实现,可在廉价的PC Server上搭建大规模结构化存储集群,利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase海量数据,使用Zookeeper协调服务器集群。Apache HBase官网有。Apa...
阅读全文

HBase 1.2.6 完全分布式集群安装部署详细过程 - 雪饼的个人空间 - 开源中国

Apache HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,是NoSQL数据库,基于Google Bigtable思想的开源实现,可在廉价的PC Server上搭建大规模结构化存储集群,利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase海量数据,使用Zookeeper协调服务器集群。Apache HBase官网有。Apa...
阅读全文

Druid通过Kafka加载数据 - 今天戴不戴眼镜呢的个人空间 - 开源中国

    Druid如果需要通过Kafka加载实时数据并进行OLAP,需要下载Druid的另一个组建,也就是tranquilitydistribution,下载地址:    tranquilitydistribution提供了Server和Kafka两种通过流来加载数据方式,由于业务环境的因素,对于Server的方式没有做什么研究,感兴趣的伙伴可以前往Druid的官网进行围观。接下来,详细说...
阅读全文

CentOS7上ElasticSearch安装填坑记 - 简书

Apple 注: 本文原载于 ! 下载elastic search 5.3.0```wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch5.3.0.tar.gzmv elasticsearch5.3.0.tar.gz /optcd /opttar xzvf elasticse...
阅读全文

利用ELK搭建Docker容器化应用日志中心 - hansonwang的个人空间 - 开源中国

注: 本文首发于 My 公众号 CodeSheep ,可 长按 或 扫描 下面的 小心心 来订阅 ↓ ↓ ↓ 概述应用一旦容器化以后,需要考虑的就是如何采集位于Docker容器中的应用程序的打印日志供运维分析。典型的比如 收集。本文即将阐述如何利用ELK日志中心来收集容器化应用程序所产生的日志,并且可以用可视化的方式对日志进行查询与分析,其架构如下图所示:...
阅读全文