標簽：阻止蜘蛛訪問

虛擬主機如何阻止蜘蛛訪問？虛擬主機組織蜘蛛訪問，可以使用robots協(xié)議來實現(xiàn)。robots是網(wǎng)站跟爬蟲間的協(xié)議，用簡單直接的txt格式文本方式告訴對應的爬蟲被允許的權(quán)限，也就是說robots.txt是搜索引擎中訪問網(wǎng)站的時候要查看的第一個文件

編輯君2019-08-01虛擬主機知識 閱讀(1546)贊(0)