今天做了一次全面的SEO分析，分析了好多站，居然发现了很多robots.txt文件写法上的错误，注意了很简单，可是如果不说，估计很多人不知道。
1、正确基本写法
User-agent:*
Disallow:
注意两个单词首字母大写，其余小写
常见错误：User-Agent:
Allow:*
Disallow:/
其中以第三种错误最为严重（禁止抓取所有文件），且犯错误者不少。
2、robots.txt文件的作用
1）控制搜索引擎蜘蛛抓取，节约服务器带宽
2）控制相似页面的抓取，增加蜘蛛友好度
3）让蜘蛛爬行的更有效率
3、robots.txt文件写法中的通配符
*代表匹配所有字符，$代表结束字符，
具体写法见 http://www.google.com/robots.txt
4、robots文件在线检查工具
http://tool.motoricerca.info/robots-checker.phtml
刚百度了下robots文件的写法，居然就有教程中出现了User-Agent:这样的写法，很是无语.
1、正确基本写法
User-agent:*
Disallow:
注意两个单词首字母大写，其余小写
常见错误：User-Agent:
Allow:*
Disallow:/
其中以第三种错误最为严重（禁止抓取所有文件），且犯错误者不少。
2、robots.txt文件的作用
1）控制搜索引擎蜘蛛抓取，节约服务器带宽
2）控制相似页面的抓取，增加蜘蛛友好度
3）让蜘蛛爬行的更有效率
3、robots.txt文件写法中的通配符
*代表匹配所有字符，$代表结束字符，
具体写法见 http://www.google.com/robots.txt
4、robots文件在线检查工具
http://tool.motoricerca.info/robots-checker.phtml
刚百度了下robots文件的写法，居然就有教程中出现了User-Agent:这样的写法，很是无语.
