更新時(shí)間：2024-10-29 06:22:41
網(wǎng)站建設(shè)
329大家都知道，大概在“百度是”上線之前，淘寶網(wǎng)為了避免百度惡意爬取，直接屏蔽了百度蜘蛛，也就是當(dāng)時(shí)鬧得沸沸揚(yáng)揚(yáng)的robots.txt協(xié)議。
即使你現(xiàn)在打開淘寶的robots.txt協(xié)議，你也能看到淘寶還在屏蔽百度的蜘蛛。
但真的如此嗎？
事實(shí)證明，淘寶的robots.txt文件對百度蜘蛛根本沒有作用。
小弟推測，百度之所以這樣做，是因?yàn)榘俣瓤紤]了戰(zhàn)略方向，因?yàn)樗阉髁艘幌?，發(fā)現(xiàn)一些知名的店鋪在百度上的排名非常好。足以證明百度對于淘寶這樣的店鋪的重要性。更戲劇化的是，天貓（淘寶商城）也使用了robots.txt協(xié)議。百度蜘蛛也被屏蔽了。
另一種可能是淘寶網(wǎng)和天貓網(wǎng)的權(quán)重過高，導(dǎo)致百度蜘蛛不按照搜索引擎協(xié)議進(jìn)行爬取。不過，對于這種事情，大家可以想一想前幾天一淘網(wǎng)惡意抓取京東和新蛋網(wǎng)的商品數(shù)據(jù)，而且不遵守搜索引擎的規(guī)則。
直到現(xiàn)在，京東商城等也在對一淘網(wǎng)的蜘蛛進(jìn)行封鎖。
小編想說的是，現(xiàn)在的搜索引擎為了自己的利益，不遵守互聯(lián)網(wǎng)協(xié)議的規(guī)則，這是值得反思的。我呼吁這樣的大型互聯(lián)網(wǎng)公司在整個(gè)IT行業(yè)樹立一個(gè)好榜樣。
我們專注高端建站，小程序開發(fā)、軟件系統(tǒng)定制開發(fā)、BUG修復(fù)、物聯(lián)網(wǎng)開發(fā)、各類API接口對接開發(fā)等。十余年開發(fā)經(jīng)驗(yàn)，每一個(gè)項(xiàng)目承諾做到滿意為止，多一次對比，一定讓您多一份收獲！
