更新時間：2025-09-15 16:21:45
網站建設
496網站制作公司推來客（www.tlkjt.com）：誤區一、Allow覆蓋的比Disallow多，位置在Disallow的前面。
比如很多人寫：
用戶代理：*
允許： /
Disallow: /mulu/
我想讓所有的蜘蛛爬取本站除了/mulu/下的url之外的所有頁面，禁止爬取/mulu/下的所有url。
SEO網站優化搜索引擎蜘蛛從上到下執行規則，這會導致第二句失敗。也就是說，禁止爬取/mulu/目錄的規則是無效的。正確的是Disallow應該在Allow之上，這樣才會生效。
誤區二、Disallow命令和Allow命令后沒有斜杠“/”。
這也很容易被忽視。比如有人這樣寫Disallow: 123.html，沒有效果。斜杠“/”表示文件所在的位置到根目錄。如果不包含，自然無法確定是哪個url，所以是錯誤的。
正確的應該是Disallow: /123.html，這樣就可以屏蔽/123.html這個文件，這條規則才能生效。
誤區三、屏蔽目錄后沒有斜杠“/”。
也就是比如你要屏蔽/mulu/目錄的爬取，有人這樣寫Disallow: /mulu。那么這是正確的嗎？
首先，這樣寫（Disallow: /mulu）確實可以屏蔽所有/mulu/下的url，但是也屏蔽了所有像/mulu123.html這樣以/mulu開頭的頁面，效果等同于Disallow: /mulu*。
正確的做法是，如果只想屏蔽目錄，必須在末尾加上斜杠“/”。
本文發表于北京網站制作公司推來客http://www.tlkjt.com/
我們專注高端建站，小程序開發、軟件系統定制開發、BUG修復、物聯網開發、各類API接口對接開發等。十余年開發經驗，每一個項目承諾做到滿意為止，多一次對比，一定讓您多一份收獲！
