更新時間：2025-09-15 08:27:00
網(wǎng)站建設
574大家都知道，大概在“百度是”上線之前，淘寶網(wǎng)為了避免百度惡意爬取，直接屏蔽了百度蜘蛛，也就是當時鬧得沸沸揚揚的robots.txt協(xié)議。
即使你現(xiàn)在打開淘寶的robots.txt協(xié)議，你也能看到淘寶還在屏蔽百度的蜘蛛。
但真的如此嗎？
事實證明，淘寶的robots.txt文件對百度蜘蛛根本沒有作用。
小弟推測，百度之所以這樣做，是因為百度考慮了戰(zhàn)略方向，因為搜索了一下，發(fā)現(xiàn)一些知名的店鋪在百度上的排名非常好。足以證明百度對于淘寶這樣的店鋪的重要性。更戲劇化的是，天貓（淘寶商城）也使用了robots.txt協(xié)議。百度蜘蛛也被屏蔽了。
另一種可能是淘寶網(wǎng)和天貓網(wǎng)的權重過高，導致百度蜘蛛不按照搜索引擎協(xié)議進行爬取。不過，對于這種事情，大家可以想一想前幾天一淘網(wǎng)惡意抓取京東和新蛋網(wǎng)的商品數(shù)據(jù)，而且不遵守搜索引擎的規(guī)則。
直到現(xiàn)在，京東商城等也在對一淘網(wǎng)的蜘蛛進行封鎖。
小編想說的是，現(xiàn)在的搜索引擎為了自己的利益，不遵守互聯(lián)網(wǎng)協(xié)議的規(guī)則，這是值得反思的。我呼吁這樣的大型互聯(lián)網(wǎng)公司在整個IT行業(yè)樹立一個好榜樣。
我們專注高端建站，小程序開發(fā)、軟件系統(tǒng)定制開發(fā)、BUG修復、物聯(lián)網(wǎng)開發(fā)、各類API接口對接開發(fā)等。十余年開發(fā)經(jīng)驗，每一個項目承諾做到滿意為止，多一次對比，一定讓您多一份收獲！
