二. robots.txt文件放在哪里?
SEO優(yōu)化蜘蛛在爬去網(wǎng)站頁面之前，會(huì)先去訪問網(wǎng)站根目錄下面的一個(gè)文件，就是robots.txt。這個(gè)文件其實(shí)就是給“蜘蛛”的規(guī)則，如果沒有這個(gè)文件，蜘蛛會(huì)認(rèn)為你的網(wǎng)站同意全部抓取網(wǎng)頁。如果存在，搜索機(jī)器人就會(huì)按照該文件中的內(nèi)容來確定訪問的范圍。
舉例來說，當(dāng)robots訪問一個(gè)網(wǎng)站（比如http://www.seojigou.com）時(shí)，首先會(huì)檢查該網(wǎng)站中是否存在http://www.seojigou.com/robots.txt這個(gè)文件，如果機(jī)器人找到這個(gè)文件，它就會(huì)根據(jù)這個(gè)文件的內(nèi)容，來確定它訪問權(quán)限的范圍。
三. robots.txt文件的格式
在該文件中可以使用#進(jìn)行注解，具體使用方法和UNIX中的慣例一樣。該文件中的記錄通常以一行或多行User-agent開始，后面加上若干Disallow行,詳細(xì)情況如下：
深圳市云天下信息技術(shù)（集團(tuán)）有限公司主營、網(wǎng)站優(yōu)化、SEO優(yōu)化、優(yōu)化公司、網(wǎng)站SEO、SEO公司、SEO推廣、網(wǎng)絡(luò)推廣、網(wǎng)絡(luò)推廣公司、網(wǎng)站推廣、網(wǎng)站推廣公司、網(wǎng)絡(luò)營銷、網(wǎng)站SEO優(yōu)化、網(wǎng)站優(yōu)化公司、SEO優(yōu)化公司、搜索引擎優(yōu)化、網(wǎng)站排名、快速排名、關(guān)鍵詞排名、關(guān)鍵詞優(yōu)化、網(wǎng)站建設(shè)、網(wǎng)站設(shè)計(jì)、網(wǎng)站制作、網(wǎng)站建設(shè)公司、網(wǎng)站設(shè)計(jì)公司、網(wǎng)站制作公司、整站優(yōu)化!
更多關(guān)于云服務(wù)器，域名注冊(cè)，虛擬主機(jī)的問題，請(qǐng)?jiān)L問三五互聯(lián)官網(wǎng)：m.shinetop.cn
聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享網(wǎng)絡(luò)內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。郵箱：3140448839@qq.com。本站原創(chuàng)內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明出處：
三五互聯(lián)知識(shí)庫 »
做SEO優(yōu)化的過程中為什么那么注重robots.txt
