怎么使用robots協(xié)議？需要注意哪些？

怎么使用robots協(xié)議？對(duì)于不知道怎么優(yōu)化網(wǎng)站的人來(lái)說(shuō)，是非常蒙的，知道了所謂的robots協(xié)議，但是不會(huì)用，下面聚名網(wǎng)小編就帶大家看看如何使用robots協(xié)議和注意一些robots協(xié)議。


robots.txt語(yǔ)法：

1.基本語(yǔ)法：

User-agent 定義協(xié)議的搜索引擎。

Disallow 不允許抓取

Allow 允許抓取

* 通配符，代表所有

$ 結(jié)束符

2.詳情講解：

User-agent: * 所有的搜索引擎都要遵守

PS：1.英文的首字母一定要大寫。下同。2.問(wèn)號(hào)一定是英文狀態(tài)下的。下同。3.問(wèn)號(hào)之后一定要有一個(gè)空格。下同。

User-agent: Baiduspider 針對(duì)百度的協(xié)議

Disallow: / 屏蔽全站

Disallow: /can/ 屏蔽can文件下的所有文件

Allow: /can/123 屏蔽can文件下的所有文件，但是允許收錄123

Disallow: /*.jpg$ 屏蔽所有的圖片文件。

PS：使用通配符，一定要有結(jié)束符。不然可能導(dǎo)致正常的路徑被屏蔽。

注意事項(xiàng)：

1.基礎(chǔ)語(yǔ)法中PS的點(diǎn)。

2.生效時(shí)間

robots是我們和搜索引擎之間的一個(gè)單方面的協(xié)議，不是我們今天寫上，明天百度就會(huì)遵守。想讓百度遵守是需要一個(gè)過(guò)程的，一般情況下是兩個(gè)月。但是也不排除當(dāng)天寫，當(dāng)天生效。所以在更改robots的時(shí)候，一定要小心小心再小心。一旦你的robots錯(cuò)了，對(duì)整個(gè)網(wǎng)站的影響是巨大的。

3.不要隨便的屏蔽整站

一些新手在做網(wǎng)站的時(shí)候，沒(méi)有規(guī)劃，隨搭隨建，網(wǎng)站不能一下子做好，經(jīng)常做個(gè)半截，所以很多新手就會(huì)將我們的網(wǎng)站全部屏蔽掉。如果你真的這么做了，那么我要恭喜你，蜘蛛可能在未來(lái)的兩個(gè)月中不來(lái)訪問(wèn)你的網(wǎng)站。即便是你去請(qǐng)蜘蛛也不會(huì)來(lái)。所以這里給新手的建議就是一定要對(duì)網(wǎng)站規(guī)劃好，一次性搭建完成。等待收錄。