kafka官网:http://kafka.apache.org/
官方文档:http://kafka.apache.org/documentation.html#quickstart
下载: kafka_2.10-0.8.2.0.tar.gz
解压: tar -zxvf kafka_2.10-0.8.2.0.tgz
软链接配置: ln -s kafka_2.10-0.8.2.0 kafka
cd kafka/config
vi server.properties
server.properties 配置说明(仅对需要留意的说明):
broker.id=0 // 这个ID是唯一标示,须唯一
port=9092 // 访问端口,默认为 9092
host.name=kafka-server1 // 多块网卡时,需注意。
num.io.threads=10 // disk I/O 线程数,挂多块盘的时候,应大于硬盘数
log.dirs=/home/kafka/data/kafka-logs // 存放kafka topic数据的地址,很重要,别配错
log.retention.hours=168 // 数据缓存周期,默认为7天,硬盘不够时可以调小
zookeeper.connect=zk-server1:2181,zk-server2:2181,zk-server3:2181 // zookeeper集群连接
PS:
scp -r kafka 至其余机器
其余机器修改 broker.id 和 host.name
1. 启动 zookeeper: ./zkServer.sh start
2. 启动 kafka: bin/kafka-server-start.sh /config/server.properties 通用启动脚本
kafka监控选用Yahoo开源的 kafka-manager,功能比较齐全。
1. 同时管理多个不同的集群;
2. 很容易地检查集群的状态(topics, brokers, 副本的分布, 分区的分布);
3. 选择副本;
4. 产生分区分配(Generate partition assignments)基于集群的当前状态;
5. 重新分配分区;
6. 监控进出流量,条数等信息(topics,brokers)。
7. 支持集群化部署
项目信息:https://github.com/yahoo/kafka-manager
kafka-manager没有权限管理功能,所以请操作请慎重。
sbt是scala的打包构建工具。
安装参考:http://www.scala-sbt.org/download.html
编译,生成发布包:
git clone https://github.com/yahoo/kafka-manager
cd kafka-manager
sbt clean dist
sbt clean dist会非常慢,期间遇到个错误,下载失败collections.jar,可以手工下载放在kafka-manager目录下。
生成的zip文件会在kafka-manager/target/universal 下面。生成的包只需要java环境就可以运行了,在部署的机器上不需要安装sbt。
在服务器上解压 生成的zip文件。
unzip kafka-manager-1.2.4.zip
修改conf/application.conf,把kafka-manager.zkhosts改为自己的zookeeper服务器地址,如:
kafka-manager.zkhosts="localhost:2181"
kafka-manager.zkhosts原配置里重复了一个,注掉即可启动
bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=9701
http.port为web控制访问接口,默认为9000,需要修改成其他的端口。http.port 配置在application.conf里不起作用,见https://github.com/yahoo/kafka-manager/issues/16
开启JMX
功能:统计Kafka topic进出流量
开启方法:
1. 修改bin/kafka-server-start.sh,添加JMX_PORT参数,添加后样子如下(使用了9703端口,可改)
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
export JMX_PORT="9703"
fi
2. 登陆Kafka-manager UI
点击Add Cluster,配置Kafka集群信息,勾选 __Enable JMX Polling__,点Save即可
Original url: Access
Created at: 2020-01-21 15:06:46
Category: default
Tags: none
未标明原创文章均为采集,版权归作者所有,转载无需和我联系,请注明原出处,南摩阿彌陀佛,知识,不只知道,要得到
java windows火焰图_mob64ca12ec8020的技术博客_51CTO博客 - 在windows下不可行,不知道作者是怎样搞的 监听SpringBoot 服务启动成功事件并打印信息_监听springboot启动完毕-CSDN博客 SpringBoot中就绪探针和存活探针_management.endpoint.health.probes.enabled-CSDN博客 u2u转换板 - 嘉立创EDA开源硬件平台 Spring Boot 项目的轻量级 HTTP 客户端 retrofit 框架,快来试试它!_Java精选-CSDN博客 手把手教你打造一套最牛的知识笔记管理系统! - 知乎 - 想法有重合-理论可参考 安宇雨 闲鱼 机械键盘 客制化 开贴记录 文本 linux 使用find命令查找包含某字符串的文件_beijihukk的博客-CSDN博客_find 查找字符串 ---- mac 也适用 安宇雨 打字音 记录集合 B站 bilibili 自行搭建 开坑 真正的客制化 安宇雨 黑苹果开坑 查找工具包maven pom 引用地 工具网站 Dantelis 介绍的玩轴入坑攻略 --- 关于轴的一些说法 --- 非官方 ---- 心得而已 --- 长期开坑更新 [本人问题][新开坑位]关于自动化测试的工具与平台应用 机械键盘 开团 网站记录 -- 能做一个收集的程序就好了 不过现在没时间 -- 信息大多是在群里发的 - 你要让垃圾佬 都去一个地方看难度也是很大的 精神支柱 [超级前台]sprinbboot maven superdesk-app 记录 [信息有用] [环境准备] [基本完成] [sebp/elk] 给已创建的Docker容器增加新的端口映射 - qq_30599553的博客 - CSDN博客 [正在研究] Elasticsearch, Logstash, Kibana (ELK) Docker image documentation elasticsearch centos 安装记录 及 启动手记 正式服务器 39 elasticsearch 问题合集 不断更新 6.1.1 | 6.5.1 两个版本 博客程序 - 测试 - bug记录 等等问题 laravel的启动过程解析 - lpfuture - 博客园 OAuth2 Server PHP 用 Laravel 搭建带 OAuth2 验证的 RESTful 服务 | Laravel China 社区 - 高品质的 Laravel 和 PHP 开发者社区 利用Laravel 搭建oauth2 API接口 附 Unauthenticated 解决办法 - 煮茶的博客 - SegmentFault 思否 使用 OAuth2-Server-php 搭建 OAuth2 Server - 午时的海 - 博客园 基于PHP构建OAuth 2.0 服务端 认证平台 - Endv - 博客园 Laravel 的 Artisan 命令行工具 Laravel 的文件系统和云存储功能集成 浅谈Chromium中的设计模式--终--Observer模式 浅谈Chromium中的设计模式--二--pre/post和Delegate模式 浅谈Chromium中的设计模式--一--Chromium中模块分层和进程模型 DeepMind 4 Hacking Yourself README.md update 20211011
Laravel China 简书 知乎 博客园 CSDN博客 开源中国 Go Further Ryan是菜鸟 | LNMP技术栈笔记 云栖社区-阿里云 Netflix技术博客 Techie Delight Linkedin技术博客 Dropbox技术博客 Facebook技术博客 淘宝中间件团队 美团技术博客 360技术博客 古巷博客 - 一个专注于分享的不正常博客 软件测试知识传播 - 测试窝 有赞技术团队 阮一峰 语雀 静觅丨崔庆才的个人博客 软件测试从业者综合能力提升 - isTester IBM Java 开发 使用开放 Java 生态系统开发现代应用程序 pengdai 一个强大的博主 HTML5资源教程 | 分享HTML5开发资源和开发教程 蘑菇博客 - 专注于技术分享的博客平台 个人博客-leapMie 流星007 CSDN博客 - 舍其小伙伴 稀土掘金 Go 技术论坛 | Golang / Go 语言中国知识社区
最新评论