突然間發(fā)現(xiàn)我在新浪上的幾個博客在百度上都不能找到了，當(dāng)時還很疑惑，這是什么原因呢？然后在網(wǎng)上一查，才知道，原來新浪博客屏蔽了百度蜘蛛的抓取，這是為什么呢？

隨著SEO行業(yè)的興起，很多的SEOer都在新浪博客上養(yǎng)了好多的博客已便增加外鏈，可是這樣也給新浪博客帶來了很多的垃圾信息，繼淘寶、sohu博客、校內(nèi)網(wǎng)、海內(nèi)網(wǎng)、51.com、中搜紛紛宣布屏蔽百度搜索引擎舉措后，新浪博客也屏蔽了百度蜘蛛對其內(nèi)容的抓取。

我們可以從新浪博客的robots.txt中看出新浪博客的確是屏蔽了百度。

#####################################################
    # SINA BLOG 禁止搜索引擎收錄配置文件
    # 文件：  ~/robots.txt
    # 編寫：  阿狼
    # 日期：  2005-03-24
    #####################################################

#開放百度的搜索引擎的User-Agent代碼，*表示所有###########（編輯注明：這里應(yīng)該是禁止百度的搜索引擎的User-Agent代碼，而不是開放。估計(jì)是后期調(diào)整設(shè)置時注釋錯誤了。）
    User-agent: Baiduspider

#限制不能搜索的目錄，Disallow: 為空時開放所有目錄####
    Disallow: /admin/
    Disallow: /include/
    Disallow: /html/
    Disallow: /queue/
    Disallow: /config/

#限制的搜索引擎的User-Agent代碼，*表示所有###########
    User-agent: *

#臨時限制對所有目錄的禁止抓取
    Disallow: /

#限制不能搜索的目錄，Disallow: 為空時開放所有目錄####
    ##Disallow: /admin/
    ##Disallow: /include/
    ##Disallow: /html/
    ##Disallow: /queue/
    ##Disallow: /config/

#開放搜索的目錄有####################################
    # /
    # /advice/
    # /help/
    # /lm/
    # /main/
    # /myblog/

#搜索引擎User-Agent代碼對照表########################
    # 搜索引擎    User-Agent代碼
    # AltaVista    Scooter
    # Infoseek    Infoseek
    # Hotbot     Slurp
    # AOL Search    Slurp
    # Excite     ArchitextSpider
    # Google     Googlebot
    # Goto     Slurp
    # Lycos     Lycos
    # MSN      MSNBOT
    # Netscape    Googlebot
    # NorthernLight   Gulliver
    # WebCrawler    ArchitextSpider
    # Iwon     Slurp
    # Fast     Fast
    # DirectHit    Grabber
    # Yahoo Web Pages   Googlebot
    # Looksmart Web Pages  Slurp
    # Baiduspider    Baidu

自從谷歌退出了中國大陸后，百度可謂是一家獨(dú)大，但是百度樹敵太多，引起了眾網(wǎng)站的不滿，百度又該如何應(yīng)對呢？