很多人看了這個標題會不明白，什么是蜘蛛協議，他到底是干嘛用的？首先泉州百度推廣先來介紹下，各個搜索引擎的蜘蛛。每個搜索引擎都有自己的蜘蛛，這些蜘蛛就爬行與抓取信息的機器人，我們俗稱蜘蛛，我收集了一些相對大型的搜索引擎蜘蛛名稱：
google蜘蛛：googlebot；
百度蜘蛛：baiduspider；
搜狗蜘蛛：sogou spider；
搜搜蜘蛛：Sosospider；
yahoo蜘蛛：slurp；
alexa蜘蛛：ia_archiver；
msn蜘蛛：msnbot；
altavista蜘蛛：scooter；
lycos蜘蛛： lycos_spider_(t-rex)；
alltheweb蜘蛛： fast-webcrawler；
inktomi蜘蛛： slurp；
有道蜘蛛：YodaoBot和OutfoxBot；
熱土蜘蛛：Adminrtspider
蜘蛛協議：每個蜘蛛都會爬行在互聯網的各個角落。那每個網站都有自己的隱私不想讓引擎蜘蛛抓取，不想讓人看到一些信息。所以搜索引擎自然也就有了一個協議。robots.txt，那么如果你有些信息不想讓蜘蛛抓取你就可以把信息，寫在robots.txt里面。那么很多蜘蛛就會遵守這個協議。不過并不是每個搜索引擎蜘蛛會遵守這個協議，就跟不是每個人都會遵守交通規則，總有那么一兩個會犯規。記得360與百度大戰時。360就是違反了這個協議。強行抓取百度的信息。導致了一些的矛盾產生。
各大搜索引擎蜘蛛的習慣
百度蜘蛛：爬謹慎，收錄更謹慎。
google蜘蛛：不太愛爬，但愛收錄。
搜搜蜘蛛：愛爬圖片，經常繞在動態地址里出不來。
雅虎蜘蛛：恪守規則，每次都是先爬robots.txt。
三、對于robots.txt的支持程度
google表現：寫了禁止就不再爬，會在谷歌站長工具中列出來它想爬被你阻止了。
百度的表現：寫了禁止之后很少爬，但是偶爾也會爬，相信是起作用了，因為越來越少，以前一天幾次現在幾天一次。
搜狗蜘蛛：可以說是基本不聽話，也不知道是不是不吃這個規則，說它完全不吃它也吃了一點，只是把動態地址的問號拿掉了，然后照爬，一爬就是一大片，這不知道它能爬出什么東西。
這些是我從網上了解到的，其實如果你想做網絡營銷，你就應該自己去了解認知，我這里也是簡單了解而已。泉州百度推廣學習的東西不多。還在學習當中。
如果任何問題你可以直接聯系泉州百度推廣www.q5dh.com，我會幫你解決疑慮問題。泉州百度推廣專業做網絡營銷，知曉蜘蛛協議。