Disallow: /
虛擬主機阻止某個蜘蛛訪問時,可以如下編寫:
User-agent: xxxspider
Disallow:/
虛擬主機阻止某個目錄被蜘蛛訪問時,可以如下編寫:
User-agent: *
Disallow: /admin/
即表示/admin/目錄,所有搜索引擎都不得來訪問。
以上是關于虛擬主機如何阻止蜘蛛訪問的介紹,如需購買虛擬主機,推薦三五互聯,共享虛擬主機、獨享虛擬主機齊備,各類配置均有,滿足不同網站建設需求,價格實惠,售后尤其出色。
購買入口:http://m.shinetop.cn/services/webhosting/
獨享入口:http://m.shinetop.cn/services/webhosting/dxhosting.asp