2020军队文职计算机知识：大数据之Kafka集群安装与测试

　　【导读】华图宁夏公务员考试网同步未知发布：2020军队文职计算机知识：大数据之Kafka集群安装与测试,详细信息请阅读下文!如有疑问请加【2022宁夏公务员考试微信客服】 ，更多资讯请关注宁夏华图微信公众号(ningxiaht),宁夏公务员咨询电话：0951-6028571/6027571 18295188220,微信号：HT15202602573 本文地址：http://guyuan.huatu.com/2020/0521/1530412.html

　　2020年军队文职考试公告还未发布，但是有一些部队已经发布了预公告，大家可以作参考，已是五月下旬，各位考生备考已经有一段时间了，但是考试还未结束，大家仍需坚持，相信坚持就是胜利。在军队文职考试的众多考点中，大数据之Kafka集群安装与测试也是一个重要的考点，小编已将它整理到下文中了，希望能帮助大家更好的复习。

　　一、 安装JDK &配置JAVA_HOME

　　JDK安装和JAVA_HOME配置，大家都应该很熟悉了，我们在此不再赘述。

　　二、 安装Zookeeper

　　参照Zookeeper官网搭建一个ZK集群， 并启动ZK集群。

　　三、 解压Kafka安装包

　　1. 修改配置文件config/server.properties

　　vi server.properties

　　broker.id=0 //集群中id,依次增长：0、1、2、3、4

　　log.dirs=/root/kafkaData/ // 设置Kafka的消息数据存储路径

　　zookeeper.connect=node1:2181,node2:2181,node3:2181 //zookeeperServers列表，节点间以逗号分开

　　delete.ic.enable=true

　　listeners=PLAINTEXT:/node1:9092

　　log.dirs=/root/kafkaData/

　　num.partitions=3

　　# 往其他节点分发安装包

　　for i in 2 3 ; do scp -r kafka_2.11-0.10.2.1/node$i:$PWD ;done

　　在其它几台节点上，分别修改此配置文件：broker.id依次增长。

　　2. 启动Kafka

　　启动kafka之前，要在每个节点上zookeeper都是启动的。

　　在每个节点上启动Kafka：

　　bin/kafka-server-start.sh [-daemon] config/server.properties

　　3. 集群测试

　　(1)进入kafka根目录，创建test主题(ic)

　　bin/kafka-ics.sh --create --zookeeper node1:2181,node2:2181,node3:2181 --replication-factor 3 --partitions 1 --ic test

　　(2)显示已创建的ic列表

　　bin/kafka-ics.sh --list --zookeeper node1:2181

　　(3)显示ic的详细信息

　　bin/kafka-ics.sh --describe --zookeeper localhost:2181 --ic test

　　Topic:test PartitionCount:1 ReplicationFactor:3 Configs:

　　Topic: test Partition: 0 Leader: 1 Replicas: 1,2,0 Isr: 1,2,0

　　行是所有分区的一个整体描述，然后下面列出每个分期的信息，每个分区对应一行。因为本例中只有一个分区，所以下面只有一行。

　　leader：负责读写消息，zookeeper从所有节点中随机选择leader。

　　replicas：，列出所有的副本节点，即便节点现在不在服务中。

　　isr：列出正在服务中的节点。

　　在本例中，节点1是作为leader运行。

　　(4)使用客户端命令去发送消息

　　bin/kafka-console-producer.sh --broker-list node1:9092,node2:9092,node3:9092 --ic test

　　(5)使用客户端命令去消费消息

　　bin/kafka-console-consumer.sh --bootstrap-server node1:9092,node2:9092,node3:9092 --from-beginning --ic test

　　可以参数 consumer-property来指定消费者的group id：

　　kafka-console-consumer.sh --ic test --bootstrap-server node1:9092,node2:9092,node3:9092 --consumer-property group.id=xx

　　(6)测试集群容错能力

　　Kill -9 pid[leader节点]

　　此时，另外一个节点被选做了leader, in-sync 副本列表中不再有节点1：

　　bin/kafka-ics.sh --describe --zookeeper localhost:2181 --ic test

　　Topic:test PartitionCount:1 ReplicationFactor:3 Configs:

　　Topic: test Partition: 0 Leader: 2 Replicas: 1,2,0 Isr: 2,0

　　虽然初负责读写消息的leader 不在线了，但之前的消息仍然可以消费：

　　bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --ic test

　　(7)删除主题

　　bin/kafka-ics.sh --delete --zookeeper node1:2181,node2:2181,node3:2181 --ic test

　　以上大家记住了吗?不熟的地方记得做笔记奥。更多考试信息请关注宁夏华图公众号(ningxiaht)。