file {
path => \”/Users/tanjian/Desktop/logstash-7.6.1/movielens/ml-latest-small/movies.csv\” # 這里指定數據集路徑
start_position => \”beginning\”
sincedb_path => \”/dev/null\”
}
}
filter {
csv {
separator => \”,\”
columns => [\”id\”,\”content\”,\”genre\”]
}
mutate {
split => { \”genre\” => \”|\” }
remove_field => [\”path\”, \”host\”,\”@timestamp\”,\”message\”]
}
mutate {
split => [\”content\”, \”(\”]
add_field => { \”title\” => \”%{[content][0]}\”}
add_field => { \”year\” => \”%{[content][1]}\”}
}
mutate {
convert => {
\”year\” => \”integer\”
}
strip => [\”title\”]
remove_field => [\”path\”, \”host\”,\”@timestamp\”,\”message\”,\”content\”]
}
}
output {
elasticsearch {
hosts => \”http://localhost:9200\”
index => \”movies\”
document_id => \”%{id}\”
}
stdout {}
}
Logstash 運行
配置好上面的logstash.conf文件后,我們就可以啟動 Logstash 并開始導入數據了:
sudo ./bin/logstash -f config/logstash.conf
如下圖 Logstash 日志所示,正在導入數據集:
logstash log 打開 Kibana 查看數據
在查看數據之前,我們需要打開http://localhost:5601通過 Kibana 創(chuàng)建一個 Index Pattern:
Index Pattern
之后,我們就可以通過Discover去查看我們的數據了:
Discover
剩下的就交給你自己折騰吧,你可以去Dev Tools通過 QSL 語法搜索數據熟悉一下語法。
感謝你能夠認真閱讀完這篇文章,希望小編分享的“ELK之Logstash如何安裝與導入數據”這篇文章對大家有幫助,同時也希望大家多多支持箭頭云,關注資訊頻道,更多相關知識等著你來學習!
更多關于云服務器,域名注冊,虛擬主機的問題,請訪問三五互聯官網:m.shinetop.cn