分享好友 最新动态首页 最新动态分类 切换频道
Kafka可视化管理工具kafka-manager部署安装和使用-已更名为CMAK
2024-12-26 21:26

为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager。

Kafka可视化管理工具kafka-manager部署安装和使用-已更名为CMAK

这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。

它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时,这个管理工具也是一个非常好的可以快速浏览这个集群的工具,有如下功能

1.管理多个kafka集群
2.便捷的检查kafka集群状态(topics,brokers,备份分布情况,分区分布情况)
3.选择你要运行的副本
4.基于当前分区状况进行
5.可以选择topic配置并创建topic(0.8.1.1和0.8.2的配置不同)
6.删除topic(只支持0.8.2以上的版本并且要在broker配置中设置delete.topic.enable=true)
7.Topic list会指明哪些topic被删除(在0.8.2以上版本适用
8.为已存在的topic增加分区
9.为已存在的topic更新配置
10.在多个topic上批量重分区
11.在多个topic上批量重分区(可选partition broker位置)

kafka-manager 项目地址:https://github.com/yahoo/kafka-manager

 
 
 

想要查看和管理Kafka,完全使用命令并不方便,我们可以使用雅虎开源的Kafka-manager,GitHub地址如下

https://github.com/yahoo/kafka-manager

进入到源码目录,执行https://blog.csdn.net/qq_43631716/article/details/sbt clean dist 进行编译

编译完成后会生成一个kafka-manager-1.3.3.23.zip文件,这个文件就是编译后的文件

这个编译过程太漫长了… 没等到… 建议大家用下面编译好的。

:上面下载的是源码,下载后需要按照后面步骤进行编译。如果觉得麻烦,可以直接从下面地址下载编译好的 kafka-manager-1.3.3.7.zip。

链接:https://pan.baidu.com/s/1qYifoa4
密码:el4o

我们创建一个kafka-manager的文件夹,然后进行解压

 
 
 
 

将kafka-manager.zkhosts="kafka-manager-zookeeper:2181"中的zookeeper地址换成自己安装的。

 
 

确保自己本地的ZK已经启动了之后,我们来启动Kafka-manager。

kafka-manager 默认的端口是9000。

可通过 -Dhttp.port,指定端口; -Dconfig.file=conf/application.conf指定配置文件:

我们使用默认端口号启动吧

 

我们使用bin/kafka-manager这个命令来启动,会使用默认配置文件和端口号9000.

启动完毕后可以查看端口是否启动,由于启动过程需要一段时间,端口起来的时间可能会延后。

点击【Cluster】>【Add Cluster】打开如下添加集群的配置界面

输入集群的名字(如Kafka-Cluster-1)和 Zookeeper 服务器地址(如localhost:2181,选择最接近的Kafka版本(如0.8.1.1

注意:如果没有在 Kafka 中配置过 JMX_PORT,千万不要选择第一个复选框。
Enable JMX Polling
如果选择了该复选框,Kafka-manager 可能会无法启动。

如果设置的Partitons和Replication Factor都是2,这种情况下该主题的分布就和上图中Kafka集群显示的相同,此时P0,P3是同一个主题的两个分区。P1,P2也是同一个主题的两个分区,Server1和Server2其中一个会作为Leader进行读写操作,另一个通过复制进行同步。

如果设置的Partitons和Replication Factor都是1,这时只会根据算法在某个Server上创建一个分区,可以是P0~4中的某一个(分区都是新建的,不是先存在4个然后从中取1个)。

这里我们都设置为2,点击【Create】然后进入创建的这个主题,显示如下。

最新文章
银华基金科创板人工智能ETF获批
  中证网讯(记者 张舒琳)12月16日,银华基金科创板人工智能ETF首批获批,为投资者布局科技主题提供全新工具。  中证指数官网显示,(指数简称:科创AI,指数代码:950180)从科创板市场中选取30只市值较大且业务涉及为人工智能提供基
每日十题八股-2024年12月10日
1.syncronized锁升级的过程讲一下? 2.JVM对Synchornized的优化? 3.介绍一下AQS 4.Threadlocal作用,原理,具体里面存的key value是啥,会有什么问题,如何解决? 5.悲观锁和乐观锁的区别? 6.J
竞价关键词如何快速分组?(竞价关键词如何快速分组流程实操)
竞价关键词如何快速分组?竞价员每天要接触的关键词多如牛毛,即便是小账户,里面也至少有几百个次,预算大的账户,关键词多则上万个。如果要一个一个分组,那工作量简直太大了。且而每一个关键词的背后都代表着一个用户需求,在实际分词的
阿里云电脑无影云桌面价格及购买流程(3分钟攻略)
​​阿里云电脑名为无影云桌面,无影云桌面4核8G配置1元/月年付199元、8核16G配置899元一年,阿里云百科来详细说下阿里云电脑无影云桌面购买优惠价格及购买全流程: 无影云桌面4核8G配置/40G系统盘/50G数据盘/2M带宽优惠价199元/年无影云
揭秘 | 四大会计师事务所薪酬、晋升、岗位全对比!
今日主创晚上好,我是鹿先森。最近四大的暑期实习和春招都陆续开放了,来咨询小鹿的同学也增加了很多......四大各家的项目有什么差异呢?毕业以后去四大,发展好不好?我学审计的,去普华还是去安永?哪家薪酬福利待遇好?今天,小鹿职研社
百度相关搜索和下拉框如何刷排名的技术原理?
在当今信息爆炸的时代,搜索引擎已成为我们获取信息的主要渠道。百度,作为国内最大的搜索引擎,其相关搜索和下拉框功能不仅反映了用户的搜索习惯,更是企业提升品牌曝光和搜索排名的关键战场。作为一名长期活跃在SEO领域的实践者,我深感
重大.来袭“同乡游万能开挂器免费”必胜开挂神器
有 亲,根据资深记者爆料有没有微乐开挂成功的,确实有挂您好,微乐家乡麻将,确实是有挂的,很多玩家在这款游戏中打牌都会发现很多用户的牌特别好,总是好牌,而且好像能看到其他人的牌一样。所以很多小伙伴就怀疑这款游戏是不是有挂,实
跨境数据流动:打造数字经济发展新优势的关键抓手
□ 中国宏观经济研究院 徐策 中国经济信息网 曹 樱 左登基□ 党的二十大报告提出,加快发展数字经济,促进数字经济和实体经济深度融合,打造具有国际竞争力的数字产业集群。党的二十届三中全会决定提出,建立高效便利安全的数据跨境流动机
置顶服务商快速创建的小程序如何开通云开发?精选热门
背景第三方服务商进行开发时,利用微信开放平台接口可以快速创建小程序,实现快速商业化。现在,服务商快速创建的小程序也可以开通云开发了,具体操作步骤如下:一、更新信息服务商需要告知小程序所有者,前往微信公众平台mp.weixin.qq.com
钛动科技闪耀量子位MEET2025与零一万物、商汤科技等共探AI新浪潮
12月11日,【智变千行,慧及百业】MEET 2025智能未来大会圆满落幕。MEET智能未来大会由量子位主办,凭借其高规格的参会阵容、前瞻性的议题设置以及丰富的成果展示,成为国内最具影响力的智能产业年度活动之一。大会现场人声鼎沸,云集超过5
相关文章
推荐文章
发表评论
0评