robosts文件有什么作用，到底网站优化中有什么作用？今天小威在这里一一说明一下。希望大家以后在创建robots文件时能有更好的理解。
首先我们先来了解一下robots.txt文件，它主要用于指令搜索引擎抓取内容，至于怎么抓取就看你怎么设置robots.txt文件。当你不会设置robots.txt文件时，留空都要建立这个文件，因为意味着搜索引擎默认是全部允许抓取。
robots文件的记录格式为：<域>:〈可选空格〉〈域值〉〈可选空格〉。
最简单的robots文件：
user-agent:*
disallow:/
而上面这个文件代表搜索引擎禁止收录所有内容。
user-agent:*
disallow:
而这个文件则代表搜索引擎允许收所有内容。
其次，robots.txt文件应该放在网站根目录下，比如:http://www.fx0731.com,这个网站，我们应该 把robots.txt文件放于http://www.fx0731.com/robots.txt
也就是放于根目录下。当然有的服务器有问题，会返回一些错误信息，就意味道robots文件不存在。所以服务器设置方面应该注意的。
我们再来看看一些robots.txt设置的举例：
user-agent: *
disallow: /admin/ 后台管理文件
disallow: /require/ 程序文件
disallow: /attachment/ 附件
disallow: /images/ 图片
disallow: /data/ 数据库文件
disallow: /template/ 模板文件
disallow: /css/ 样式表文件
disallow: /lang/ 编码文件
disallow: /script/ 脚本文件
当然也有meta robots标签，只不过谷歌，必应，雅虎才支持。比如： 〈metaname="robots"content="noindex,nofollow">,表示禁止所有搜索引擎索引本页面。还有一些相 关标签如下：
noindex: 告诉蜘蛛不要索引本页面。
nofollow:告诉蜘蛛不要跟踪本页面上的链接。
nosnippet:告诉搜索引擎不要在搜索结果中显示说明文字。
noarchive:告诉搜索引擎不要显示快照。
noodp:告诉搜索引擎不要使用开放目录中的标题和说明。
百度目前是只支持nofollow,noarchive的。
再者，robots.txt文件里还可以直接包括在sitemap文件的链接。就像这样： sitemap:http://www.mahaibin.org/sitemap.xml，总之这些设置方面还要你自己多花些心思去研究下，看看什么该抓取什么不该，这样才能对你网站做优化有好处。
robosts文件有什么用，怎么去更解？
robosts文件有什么作用，到底网站优化中有什么作用？今天在这里一一说明一下。希望大家以后在创建robots文件时能有更好的理解。
首先我们先来了解一下robots.txt文件，它主要用于指令搜索引擎抓取内容，至于怎么抓取就看你怎么设置robots.txt文件。当你不会设置robots.txt文件时，留空都要建立这个文件，因为意味着搜索引擎默认是全部允许抓取。
robots文件的记录格式为：<域>:〈可选空格〉〈域值〉〈可选空格〉。
最简单的robots文件：
user-agent:*
disallow:/
而上面这个文件代表搜索引擎禁止收录所有内容。
user-agent:*
disallow:
而这个文件则代表搜索引擎允许收所有内容。
其次，robots.txt文件应该放在网站根目录下，比如:http://www.fx0731.com,这个网站，我们应该把robots.txt文件放于http://www.fx0731.com/robots.txt
也就是放于根目录下。当然有的服务器有问题，会返回一些错误信息，就意味道robots文件不存在。 所以服务器设置方面应该注意的。
我们再来看看一些robots.txt设置的举例：
user-agent: *
disallow: /admin/ 后台管理文件
disallow: /require/ 程序文件
disallow: /attachment/ 附件
disallow: /images/ 图片
disallow: /data/ 数据库文件
disallow: /template/ 模板文件
disallow: /css/ 样式表文件
disallow: /lang/ 编码文件
disallow: /script/ 脚本文件
当然也有meta robots标签，只不过谷歌，必应，雅虎才支持。比如： 〈metaname="robots"content="noindex,nofollow">,表示禁止所有搜索引擎索引本页面。还有一些相 关标签如下：
noindex: 告诉蜘蛛不要索引本页面。
nofollow:告诉蜘蛛不要跟踪本页面上的链接。
nosnippet:告诉搜索引擎不要在搜索结果中显示说明文字。
noarchive:告诉搜索引擎不要显示快照。
noodp:告诉搜索引擎不要使用开放目录中的标题和说明。
百度目前是只支持nofollow,noarchive的。
再者，robots.txt文件里还可以直接包括在sitemap文件的链接。就像这样： sitemap:http://www.mahaibin.org/sitemap.xml，总之这些设置方面还要你自己多花些心思去研究下，看看什么该抓取什么不该，这样才能对你网站优化有好处。