Robots定義
什么是Robots，簡(jiǎn)單來講，其實(shí)Robots就是放在網(wǎng)站根目錄下的一個(gè)TXT文件，但是這個(gè)TXT文件對(duì)搜索引擎規(guī)定，哪些頁(yè)面可以訪問，哪些頁(yè)面不行。
Robots一般放在網(wǎng)站根目錄下，文件名固定為robots.txt的（全部小寫）、當(dāng)搜索引擎要爬取我們網(wǎng)站的時(shí)候，會(huì)先讀一下robots.txt里面的內(nèi)容，判斷哪些URL可以訪問，哪些不行，然后進(jìn)行爬取、收錄。
Robots規(guī)則
常用的幾類語(yǔ)法：
User-agent: 定義搜索引擎的類型
google蜘蛛：googlebot
百度蜘蛛：baiduspider
yahoo蜘蛛：slurp
alexa蜘蛛：ia_archiver
msn蜘蛛：msnbot
Disallow: 定義禁止搜索引擎收錄的地址
舉個(gè)例子來講：User-agent: * Disallow: /
禁止所有搜索引擎訪問網(wǎng)站，(*)為通配符
Allow: 定義允許搜索引擎收錄的地址
User-agent: * Disallow: /a/ Allow: /a/b
如上面例子，限制搜索引擎抓取a目錄，但允許搜索引擎抓取a目錄下的b目錄
$通配符
User-agent: * Allow: .htm$
匹配URL結(jié)尾的字符。如下面代碼將允許蜘蛛訪問以.htm為后綴的URL：
*通配符
User-agent: * Disallow: /*.htm
告訴蜘蛛匹配任意一段字符。如下面一段代碼將禁止所有蜘蛛抓取所有htm文件：
Sitemaps位置
Sitemap: http://www.xxx.com/sitemap.xml
Robots心得
1、許多朋友都喜歡讓搜索引擎不抓取自己的后臺(tái)，于是將自己的后臺(tái)地址寫到robots.txt里面，其實(shí)個(gè)人不建議這樣做，因?yàn)榭紤]到網(wǎng)絡(luò)安全，許多Hack都喜歡通過robots.txt看大家的后臺(tái)，方便攻擊！
2、網(wǎng)站必須要有robots.txt，如果網(wǎng)站沒有robots.txt，搜索引擎隨意抓取的話，可能會(huì)抓取到一些低質(zhì)量頁(yè)面，從而導(dǎo)致網(wǎng)站收錄、流量受到影響,如上圖是沒有robots.txt。
3、當(dāng)我們做完robots.txt后，一定要去【百度站長(zhǎng)工具平臺(tái)】抓取、測(cè)試robots.txt，以及測(cè)試URL是否可以抓取。
文章來源：逆冬黑帽SEO(ID：gh_c3dd79adc24e)，原文鏈接：https://mp.weixin.qq.com/s/jjUveBOtsRGaFzgMiq2UrQ
關(guān)于三五互聯(lián)
成都西維數(shù)碼科技有限公司成立于2002年，注冊(cè)資本1000萬元，總部坐落于“天府之國(guó)”——成都，旗下品牌三五互聯(lián) （m.shinetop.cn） ，深耕IDC行業(yè)十多年，已擁有北京、廣東、鄭州、成都、綿陽(yáng)、香港等中國(guó)多個(gè)云計(jì)算IDC安全數(shù)據(jù)中心和美國(guó)等海外數(shù)據(jù)中心。我們先后自主研發(fā)的虛擬主機(jī)、彈性云服務(wù)器、西數(shù)企業(yè)云郵箱等產(chǎn)品都廣受用戶歡迎。我們始終堅(jiān)持用戶體驗(yàn)至上的價(jià)值導(dǎo)向，深入挖掘用戶需求，目前，有超過一百萬用戶通過我們注冊(cè)并管理了超過一千萬個(gè)域名，累計(jì)有超過50萬網(wǎng)站在我們的自主研發(fā)的云主機(jī)平臺(tái)上運(yùn)行，服務(wù)的用戶有：寶貝回家尋子網(wǎng)、四川大學(xué)、鏈家網(wǎng)（北京）科技有限公司、四川省互聯(lián)網(wǎng)協(xié)會(huì)、沱牌集團(tuán)、譚木匠、中鐵二局、四川省中國(guó)青年旅行社、富森美家居網(wǎng)上商城等
我們始終堅(jiān)持“以人為本，客戶為尊，永續(xù)創(chuàng)新”的核心價(jià)值觀，搶抓各種發(fā)展機(jī)遇，不斷創(chuàng)新發(fā)展理念，不斷轉(zhuǎn)變發(fā)展方式，不斷破解發(fā)展難題，隨著企業(yè)的發(fā)展，我們經(jīng)營(yíng)的業(yè)務(wù)也不斷發(fā)展為以云計(jì)算為基礎(chǔ)的云主機(jī)業(yè)務(wù)、域名注冊(cè)、域名交易等其他相關(guān)業(yè)務(wù)，公司從最初只有幾個(gè)員工發(fā)展到如今擁有近二百人的精英團(tuán)隊(duì)，并在中國(guó)IDC、云計(jì)算行業(yè)中占有一席之地，位列國(guó)內(nèi)三強(qiáng)。成為擁有多項(xiàng)自主知識(shí)產(chǎn)權(quán)的國(guó)家高新技術(shù)企業(yè)，ICANN和CNNIC雙認(rèn)證的國(guó)際頂級(jí)域名注冊(cè)服務(wù)機(jī)構(gòu)，首批獲得國(guó)家工信部頒發(fā)的全國(guó)云服務(wù)牌照企業(yè)之一。
