ADD fluent.conf /etc/fluent/
RUN echo \”source \’https://mirrors.tuna.tsinghua.edu.cn/rubygems/\’\” > Gemfile && gem install bundler
RUN gem install fluent-plugin-kafka -v 0.12.3 –no-document
RUN gem install fluent-plugin-elasticsearch -v 4.0.3 –no-document
CMD [\”fluentd\”]
fluent.conf
<source>
@type kafka
brokers kafka:9092
format json
<topic>
topic kafeidou
</topic>
</source>
<match *>
@type elasticsearch
host elasticsearch
port 9200
index_name fluentd
type_name fluentd
</match>
以版本為v1.3.2的fluentd鏡像為基礎鏡像,由于fluentd的處理層擴展是以插件的方式進行擴展,所以在制作這個鏡像時需要安裝對應的kafka插件和elasticsearch插件.
這里kafka的fluentd插件版本為0.12.3,elasticsearch的fluentd插件版本為4.0.3.
Dockerfile和fluent.conf都準備好了,執行制作鏡像命令
docker build -t fluentd-es-kafka:v1.3.2 .
這樣一來包含es插件和kafka插件的fluentd鏡像就制作完成了.
運行這樣一個fluentd只需要一條docker命令就可以運行起來.
docker run -it -d fluentd-es-kafka:v1.3.2
這個容器會在啟動后開始監聽host為kafka的kafka消息且傳輸數據到host為elasticsearch的elasticsearch節點.
如果是es的節點和kafka的節點地址不一樣,則需要掛在volume覆蓋容器內的默認配置文件.
docker run -it -v {存放fluent.conf的目錄}:/etc/fluent -d fluentd-es-kafka:v1.3.2
關于制作帶有kafka插件和es插件的fluentd鏡像是怎樣的就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。
更多關于云服務器，域名注冊，虛擬主機的問題，請訪問三五互聯官網：m.shinetop.cn
聲明：本網站發布的內容（圖片、視頻和文字）以原創、轉載和分享網絡內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。郵箱：3140448839@qq.com。本站原創內容未經允許不得轉載，或轉載時需注明出處：
三五互聯知識庫 »
制作帶有kafka插件和es插件的fluentd鏡像是怎樣的
