robots協(xié)議也稱爬蟲協(xié)議、爬蟲規(guī)則等,是指網(wǎng)站可建立一個robots.txt文件來告訴搜索引擎哪些頁面可以抓取,哪些頁面不能抓取,而搜索引擎則通過讀取robots.txt文件來識別這個頁面是否允許被抓取。通常被放置在根目錄下

目前位置robots協(xié)議文件寫法有如下：
user-agent:* 這里的*代表對所有的搜索引擎種類類型，*其實就是通配符的意思。
allow:/ 是代表所有的robots允許訪問。
Disallow: /是代表所有的robots不允許訪問。

文件寫法

User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符

Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄

Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄

Disallow: /ABC/ 這里定義是禁止爬尋ABC目錄下面的目錄

Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。

Disallow: /*?* 禁止訪問網(wǎng)站中所有包含問號 (?) 的網(wǎng)址

Disallow: /.jpg$ 禁止抓取網(wǎng)頁所有的.jpg格式的圖片

Disallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。

Allow: /cgi-bin/　這里定義是允許爬尋cgi-bin目錄下面的目錄

Allow: /tmp 這里定義是允許爬尋tmp的整個目錄

Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。

Allow: .gif$ 允許抓取網(wǎng)頁和gif格式圖片

Sitemap: 網(wǎng)站地圖 告訴爬蟲這個頁面是網(wǎng)站地圖

robots文件的作用：

1、可以屏蔽網(wǎng)站內(nèi)一些打不開的鏈接，也就是死鏈接

2、可以屏蔽搜索引擎蜘蛛訪問網(wǎng)站內(nèi)重復(fù)的內(nèi)容和重復(fù)的頁面

3、阻止搜索引擎訪問網(wǎng)站的隱私性的內(nèi)容。

4、阻止搜索引擎訪問網(wǎng)站的后臺內(nèi)容。

5、告訴搜索引擎那些內(nèi)容是需要被訪問的。指定爬網(wǎng)延遲，以便在爬網(wǎng)程序一次加載多個內(nèi)容時防止服務(wù)器過載

6、防止搜索引擎索引您網(wǎng)站上的某些文件(圖像，PDF等)