首先我先講解一下什么是robots.txt

robots.txt是搜索引擎中訪問網站的時候要查看的第一個文件。Robots.txt文件告訴蜘蛛程序在服務器上什么文件是可以被查看的。

當一個搜索蜘蛛訪問一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果存在，搜索機器人就會按照該文件中的內容來確定訪問的范圍；如果該文件不存在，所有的搜索蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。

然而很多人都知道有robots這回事，卻不知道應該如何下手，今天我說下如何來寫robots.txt

首先你要想一下那些網站目錄是不想被搜索蜘蛛給抓取的，哪些是需要被抓取的，這個很重要，如果亂寫robots有可能會把屏蔽網站給搜索引擎收錄的。

robots.txt文件一定要寫在網站的根目錄上面，例如：

www.ainatec.com/robots.txt

而不能這樣

www.ainatec.com/seo/robots.txt

記得一定要在根目錄就對了，然后里面的寫法有兩條

　User-Agent: 適用下列規(guī)則的漫游器

　Disallow: 要攔截的網頁

　User-Agent: Googlebot（baiduspider）這個就是谷歌（百度）的蜘蛛

　Disallow: /seo

 這樣寫的意思就是說我不想google或者百度的蜘蛛來抓取我seo這個文件夾里面的東西，*的話就代表全部。

如果你建立一個空的或者不建立robots的話，該網站的全部內容都會搜索引擎所收錄，然后很多人就會問了，網站不是被收錄的越多越好嗎？

我就打個比方吧，你的網站生成靜態(tài)，然而之前的動態(tài)又還在，蜘蛛就是抓取兩個同時收錄，然后搜索引擎就會認為兩個標題相同的文章出現(xiàn)在同一網站的話就會認為你是在作弊了，有可能會被降權。

sitemap（網站地圖）

主要是因為很多網站的內容都沒有其他鏈接，為了把這些鏈接更好的連接起來，讓蜘蛛能抓取更多的資源。

如果是谷歌的話，大家可以注冊個管理員工具，生成的XML文件自己提交給谷歌，百度沒有管理員工具的話就可以通過在robots.txt里面寫Sitemap

寫法如下：

Sitemap：http://www.ainatec.com/sitemap.xml

Sitemap：http://www.ainatec.com/sitemap.txt

Sitemap：http://www.ainatec.com/sitemap.html

這三種形式都可以，一般自動都會生成xml，如果不會生成sitemap可以去網上找下工具或者使用一些開源的cms都會有自帶的!