宁夏分部

您当前位置:固原人事考试网 > 考试快讯 > 2020军队文职计算机知识:大数据之Kafka集群安装与

2020军队文职计算机知识:大数据之Kafka集群安装与测试

2020-05-21 11:29:04 公务员考试网 华图教育客服 华图在线app下载 文章来源:未知

  【导读】华图宁夏公务员考试网同步未知发布:2020军队文职计算机知识:大数据之Kafka集群安装与测试,详细信息请阅读下文!如有疑问请加【2022宁夏公务员考试微信客服】 ,更多资讯请关注宁夏华图微信公众号(ningxiaht),宁夏公务员咨询电话:0951-6028571/6027571 18295188220,微信号:HT15202602573 本文地址:http://guyuan.huatu.com/2020/0521/1530412.html

  2020年军队文职考试公告还未发布,但是有一些部队已经发布了预公告,大家可以作参考,已是五月下旬,各位考生备考已经有一段时间了,但是考试还未结束,大家仍需坚持,相信坚持就是胜利。在军队文职考试的众多考点中,大数据之Kafka集群安装与测试也是一个重要的考点,小编已将它整理到下文中了,希望能帮助大家更好的复习。

  一、 安装JDK &配置JAVA_HOME

  JDK安装和JAVA_HOME配置,大家都应该很熟悉了,我们在此不再赘述。

  二、 安装Zookeeper

  参照Zookeeper官网搭建一个ZK集群, 并启动ZK集群。

  三、 解压Kafka安装包

  1. 修改配置文件config/server.properties

  vi server.properties

  broker.id=0 //集群中id,依次增长:0、1、2、3、4

  log.dirs=/root/kafkaData/ // 设置Kafka的消息数据存储路径

  zookeeper.connect=node1:2181,node2:2181,node3:2181 //zookeeperServers列表,节点间以逗号分开

  delete.ic.enable=true

  listeners=PLAINTEXT:/node1:9092

  log.dirs=/root/kafkaData/

  num.partitions=3

  # 往其他节点分发安装包

  for i in 2 3 ; do scp -r kafka_2.11-0.10.2.1/node$i:$PWD ;done

  在其它几台节点上,分别修改此配置文件:broker.id依次增长。

  2. 启动Kafka

  启动kafka之前,要在每个节点上zookeeper都是启动的。

  在每个节点上启动Kafka:

  bin/kafka-server-start.sh [-daemon] config/server.properties

  3. 集群测试

  (1)进入kafka根目录,创建test主题(ic)

  bin/kafka-ics.sh --create --zookeeper node1:2181,node2:2181,node3:2181 --replication-factor 3 --partitions 1 --ic test

  (2)显示已创建的ic列表

  bin/kafka-ics.sh --list --zookeeper node1:2181

  (3)显示ic的详细信息

  bin/kafka-ics.sh --describe --zookeeper localhost:2181 --ic test

  Topic:test PartitionCount:1 ReplicationFactor:3 Configs:

  Topic: test Partition: 0 Leader: 1 Replicas: 1,2,0 Isr: 1,2,0

  行是所有分区的一个整体描述,然后下面列出每个分期的信息,每个分区对应一行。因为本例中只有一个分区,所以下面只有一行。

  leader:负责读写消息,zookeeper从所有节点中随机选择leader。

  replicas:,列出所有的副本节点,即便节点现在不在服务中。

  isr:列出正在服务中的节点。

  在本例中,节点1是作为leader运行。

  (4)使用客户端命令去发送消息

  bin/kafka-console-producer.sh --broker-list node1:9092,node2:9092,node3:9092 --ic test

  (5)使用客户端命令去消费消息

  bin/kafka-console-consumer.sh --bootstrap-server node1:9092,node2:9092,node3:9092 --from-beginning --ic test

  可以参数 consumer-property来指定消费者的group id:

  kafka-console-consumer.sh --ic test --bootstrap-server node1:9092,node2:9092,node3:9092 --consumer-property group.id=xx

  (6)测试集群容错能力

  Kill -9 pid[leader节点]

  此时,另外一个节点被选做了leader, in-sync 副本列表中不再有节点1:

  bin/kafka-ics.sh --describe --zookeeper localhost:2181 --ic test

  Topic:test PartitionCount:1 ReplicationFactor:3 Configs:

  Topic: test Partition: 0 Leader: 2 Replicas: 1,2,0 Isr: 2,0

  虽然初负责读写消息的leader 不在线了,但之前的消息仍然可以消费:

  bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --ic test

  (7)删除主题

  bin/kafka-ics.sh --delete --zookeeper node1:2181,node2:2181,node3:2181 --ic test

  以上大家记住了吗?不熟的地方记得做笔记奥。更多考试信息请关注宁夏华图公众号(ningxiaht)。

 
宁夏华图推荐
 

2020军队文职公告预约2020军队文职招考信息

2020军队文职备考资料

2020军队文职面授课程2020军队文职网课2020军队文职题库

(编辑:liuguirong)
活动推荐
联系方式

贴心微信客服

微信客服:识别左图:客服二维码
精品内容抢先看,客服答疑

备考资料

宁夏华图公众号:ningxiaht
资料,督学,答疑

图书推荐 / 课程推荐

  • 公务员
  • 教师
  • 事业单位
  • 金融
  • 军队文职
  • 医疗
  • 招警
  • 公选遴选
  • 考研
  • 学历教育
  • 公务员
  • 教师
  • 事业单位
  • 金融
  • 军队文职
  • 医疗
  • 招警
  • 公选遴选
  • 考研
  • 学历教育
有报考疑惑?在线客服随时解惑

公告啥时候出?

报考问题解惑?报考条件?

报考岗位解惑   怎么备考?

冲刺资料领取?

宁夏华图:ningxiaht
想考上公务员的人都关注了我们!
立即关注

10万+
阅读量
150w+
粉丝
1000+
点赞数

联系我们
微信二维码

华图官方微信

宁夏华图

银川市金凤区上海路与广场东街交汇处黄河文化创展中心7楼华图教育

北京华图宏阳教育文化发展有限公司宁夏分公司

客服热线:0951-6028571/6027571 18295188220

网站:https://nx.huatu.com/

  • 银川
  • 石嘴山
  • 吴忠
  • 固原
  • 中卫
  • 大学城
  • 平罗
  • 西吉

地址:银川市金凤区上海路与广场东街交汇处黄河文化创展中心7楼华图教育

电话:0951-6028571,6027571,18295188220

网站:https://nx.huatu.com/

地址:石嘴山市大武口区朝阳东街丽景家园170号(泰康人寿楼下)

电话:0952-4090536,17711807330

网站:https://shizuishan.huatu.com/

地址:吴忠市利通区明珠路277号(红宝宾馆北侧)

电话:0953-2698188,17398442219

网站:https://wuzhong.huatu.com/

地址:固原市泰合嘉园A区西南门向西200米(华图教育)

电话:0954-2026354,18152531990

网站:https://guyuan.huatu.com/

地址:中卫市沙坡头区应理北街西侧协和医院向南50米

电话:0955-7690814,17711807331

网站:https://zhongwei.huatu.com/

地址:银川市西夏区西夏万达金街2-103营业房(2号门向北100米金波街停车场售楼部旁)

电话:0951-7657747,18995032504

网站:https://yinchuan.huatu.com/

地址:平罗县阳光盛宴北门,阳光乐购超市旁(华图教育)

电话:0952-6660879,15379601333

网站:https://shizuishan.huatu.com/

地址:西吉县公园西街与团结路交叉口吉祥金街13-302

电话:0954―3617779,18152531990

网站:https://guyuan.huatu.com/