官方文檔:http://kafka.apache.org/documentation.html#quickstart

參考:https://kafka.apache.org/08/quickstart.html

基礎配置:已安裝jdk和zookeeper(zookeeper安裝參照http://blog.csdn.net/unix21/article/details/18990123)

Step 1:下載kafka

到官網上下載穩定版本的kafka,解壓

tar -zxvf kafka_2.11-0.8.2.2.tgz

Step 2:修改配置文件

修改config下的server.properties就可以了。需要配置的屬性有:broker.id(標示當前server在集群中的id,從0開始),port,host.name(當前的server host name),zookeeper.connect(連接的zookeeper集群),log.dirs(log的存儲目錄,記得對應的去建立這個目錄)等,其他的一些配置可以看相應的注釋:(截圖不全,僅供參考)

Step 3:把配置好的kafka復制到其它server上

scp -r kafka_2.11-0.8.2.2 slave1:~

Step 4:修改每臺server的配置文件,主要是broker.id 和host.name

Step 5:先啟動zookeeper集群,再啟動kafka集群

啟動zookeeper集群:./zkServer.sh start

在每臺server上啟動kafka:./kafka-server-start.sh ../config/server.properties

Step 6:創建topic

./kafka-topics.sh –zookeeper master:2181 –topic test –replication-factor 2 –partitions 3 –create

Step 7:查看topic

查看所有topic:./kafka-topics.sh –list –zookeeper master:2181

查看一個topic詳情:./kafka-topics.sh –describe –zookeeper master:2181 –topic test

 

partiton:partion id從0開始
leader:當前負責讀寫的lead broker id
relicas:當前partition的所有replication broker list
isr:relicas的子集,只包含出于活動狀態的broker

Step 8:創建producer

./kafka-console-producer.sh –broker-list master:9092,slave1:9092 –topic test

This is a message

注意,如果上述命令不能發送接收消息,報一下錯誤:

ERROR Failed to collate messages by topic, partition due to: fetching topic metadata for topics [Set(test)] from broker [ArrayBuffer(id:1,host:slave1,port:9092, id:0,host:master,port:9092)] failed (kafka.producer.async.DefaultEventHandler)

則說明broker的host.name屬性配置有問題,可以用ip或者是hosts里配好的域名

Step 9:創建consumer

./kafka-console-consumer.sh –zookeeper master:2181 –from-beginning –topic test

就可以看到消息了。

如果要最新的數據,可以不帶–from-beginning參數即可。
最后測試容錯能力:
‍如果broker 0作為leader運行,現在我們殺掉broker 0,在查看topic的詳細信息,發現leader都是broker 1了,并且consumer依然可以消費消息

Maven,Springmvc mybatis shiro, Druid, Restful, Dubbo, ZooKeeper,Redis,FastDFS,ActiveMQ,Nginx
1.項目核心代碼結構截圖

 

項目模塊依賴

 

特別提醒:開發人員在開發的時候可以將自己的業務REST服務化或者Dubbo服務化

 

 

 

更多關于云服務器域名注冊,虛擬主機的問題,請訪問三五互聯官網:m.shinetop.cn

贊(0)
聲明:本網站發布的內容(圖片、視頻和文字)以原創、轉載和分享網絡內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。郵箱:3140448839@qq.com。本站原創內容未經允許不得轉載,或轉載時需注明出處:三五互聯知識庫 » kafka集群搭建

登錄

找回密碼

注冊

主站蜘蛛池模板: 日韩av爽爽爽久久久久久| 国产精品国产精品偷麻豆| 国产精品一区中文字幕| 久久大香伊蕉在人线免费AV| 亚洲区综合区小说区激情区| 亚洲中文字幕av无码区| 国产精品中文字幕二区| 色综合AV综合无码综合网站| 精品国产乱码久久久人妻| 在线免费观看毛片av| 亚洲av不卡电影在线网址最新| 狠狠色噜噜狠狠狠狠av不卡| 国产盗摄xxxx视频xxxx| 国产成人亚洲欧美二区综合| 久久亚洲精品人成综合网| 日本一区三区高清视频| 国产v亚洲v天堂无码久久久| 久久人人97超碰精品| 伊人成人在线视频免费| 又长又粗又爽又高潮的视频| 亚洲av永久无码精品漫画| 26uuu另类亚洲欧美日本| 精品人妻一区二区三区蜜臀| 人妻被猛烈进入中文字幕| 国产AV影片麻豆精品传媒| 日韩在线视频网| 99热门精品一区二区三区无码| 国产精品福利片在线观看| 久久久成人毛片无码| 玖玖在线精品免费视频| 亚洲男人第一无码av网| 亚洲精品成人综合色在线| 亚洲第一视频区| 亚洲av激情一区二区三区| 国产综合色产在线视频欧美| 丰满大爆乳波霸奶| 国产亚洲精品aaaa片app| 推特国产午夜福利在线观看| 90后极品粉嫩小泬20p| 久久88香港三级台湾三级播放| 国产午夜精品在人线播放|