kafka集群搭建

时间:2020-07-30作者:klpeng分类:系统架构浏览:970评论:0
1.jdk1.8安装
   略
2.安装zookeeper集群
   三台机器都运行如下
   a.下载zookeeper。https://zookeeper.apache.org/
   b. 解压tar -xf zookeeper-3.4.13.tar.gz -C /usr/local/
   c. 创建data目录存放数据,创建myid
       cd /usr/local/zookeeper-3.4.13  && mkdir data
       echo "1">data/myid                #注意,myid每台都不一样
   d.创建配置文件,修改配置
       cd conf  && cp zoo_sample.cfg zoo.cfg
       修改zoo.cfg,添加
server.1=192.168.50.207:2888:3888
server.2=192.168.50.208:2888:3888
server.3=192.168.50.209:2888:3888
e.启动,检测
   ./bin/zkServer.sh start
   ./bin/zkServer.sh status
   ./bin/zkCli.sh
       执行 ls /   get /
3.安装kafka集群(三台同时安装)
   a.下载kafka  http://kafka.apache.org/downloads 目前最新2.12
   b. 解压,创建数据目录
       tar -xf kafka_2.12-2.1.1.tgz -C /usr/local
       cd /usr/local/kafka_2.12-2.1.1  && mkdir logs
   c.修改配置文件
       conf/server.conf
           broker.id=1   #数字类型,集群每台一定不能一样
           listeners=PLAINTEXT://192.168.50.207:9092    #通常这个是0.0.0.0,
           log.dirs=/usr/local/kafka_2.12-2.1.1/logs       #这个是kafka的数据目录
   zookeeper.connect=192.168.50.207:2181,192.168.50.208:2181,192.168.50.209:2181
d.启动kafka
       ./bin/kafka-server-start.sh -daemon ./config/server.properties
4.测试
创建一个名为"mytopic"的Topic:
bin/kafka-topics.sh --create --topic mytopic --replication-factor 2 --partitions 3 --zookeeper 192.168.50.207:2181,192.168.50.208:2181,192.168.50.209:2181
查看"mytopic"这个Topic的详细信息:
bin/kafka-topics.sh --describe --topic mytopic --zookeeper 192.168.50.207:2181,192.168.50.208:2181,192.168.50.209:2181
查看所有的Topic列表:
bin/kafka-topics.sh --list --zookeeper 192.168.50.207:2181,192.168.50.208:2181,192.168.50.209:2181
在一台创建topis的kafka会读取消息,然后自己创建topic
./kafka-topics.sh --create --replication-factor 2 --partitions 1 --topic shuaige --zookeeper 192.168.1.200:2181
查询topic
./kafka-topics.sh ---describe -zookeeper 192.168.50.207:2181,192.168.50.208:2181,192.168.50.209:2181
查看topics:
./bin/kafka-topics.sh --describe --zookeeper 192.168.50.207:2181,192.168.50.208:2181,192.168.50.209:2181
控制台接收消息
       ./kafka-console-consumer.sh --from-beginning --topic test --bootstrap-server PLAINTEXT://192.168.1.100:9092
发送消息
       ./kafka-console-producer.sh --topic test --broker-list PLAINTEXT://192.168.1.100:9092


打赏
文章版权声明:除非注明,否则均为彭超的博客原创文章,转载或复制请以超链接形式并注明出处。
相关推荐

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

猜你喜欢