robots是什么robots是網(wǎng)站跟蜘蛛間的協(xié)議，當訪問站點時，它首先檢查機器人是否存在于站點的根目錄中。
如果找到，蜘蛛就會按照該文件中的內(nèi)容來確定訪問的范圍,如果該文件不存在,那么搜索機器人就沿著鏈接抓取。
一定要注意txt文件必須放在站點的根目錄中，文件名必須為小寫。
robots.txt是一個純文本文件，在這個文件中網(wǎng)站管理者可以聲明該網(wǎng)站中不想被搜索引擎訪問的部分，或者指定搜索引擎只收錄指定的內(nèi)容。
因此，機器人的優(yōu)化將直接影響到搜索引擎對站點的收錄。
只有在需要禁止抓取某些內(nèi)容時，才寫robots。
一些服務(wù)器設(shè)置是問題：
當機器人文件不存在時，它返回200個狀態(tài)代碼和一些錯誤消息，而不是404頁面，這是因為搜索機器人誤讀了robots文件信息。
robots mate是什么robots meta標簽主要是針對一個個具體的頁面。
和其他的META標簽(如使用的語言、頁面的描述、關(guān)鍵詞等)一樣， robots meta標簽也是放在頁面的head>中，專門用來告訴搜索引擎機器人如何抓取該頁的內(nèi)容。
follow指令表示搜索機器人可以沿著該頁面上的鏈接繼續(xù)抓取下去；robots meta標簽的缺省值是index和follow；index指令告訴搜索機器人抓取該頁面；robots meta標簽中沒有大小寫之分，name=“robots”表示所有的搜索引擎，可以針對某個具體搜索引擎寫為name=“ baiduspider'
content部分有四個指令選項index、noindex、follow、nofollow，指令間以“，”分隔。
Robots和robots mate的區(qū)別目前來說，所有的搜索引擎都支持和遵守robots.txt的規(guī)定，但是支持robots mate的卻比較少，大家可以酌情使用。
閱讀本文的人還可以閱讀：
與網(wǎng)址導(dǎo)航站交換鏈接，行嗎？描述標簽到底應(yīng)該怎么寫？如何使用標簽阻止網(wǎng)頁被收錄？?robots.txt文件有什么必要？ [溫州網(wǎng)站建設(shè)公司-SEO技巧]