robots只能放在根目录吗？

robots只能放在根目录吗？

能够明确地告知robots文件只能放在网站根目录，关于这一点也是很好了解的，前文提过robots文件便是针对查找引擎蜘蛛的一种协议（有些蜘蛛纷歧定会恪守），查找引擎蜘蛛进入网站都是先从网站根目录，所以robots协议也只要在根目录的时分才有用，并且需求留意的是robots文件的命名有必要是robots.txt,只能用小写字母。

什么是robots

在解说robots之前先给咱们介绍一下什么是robots。借用百度百科的解说robots是网站跟爬虫间的协议，用简略直接的txt格局文本方法告知对应的爬虫被答应的权限，也便是说robots.txt是查找引擎中拜访网站的时分要查看的第一个文件。当一个查找蜘蛛拜访一个站点时，它会首要查看该站点根目录下是否存在robots.txt，假如存在，查找机器人就会依照该文件中的内容来确认拜访的规模；假如该文件不存在，一切的查找蜘蛛将能够拜访网站上一切没有被口令维护的页面。

用一句话来解说：robots便是蜘蛛与网站的一种协议。

至于robots有什么用，信任仔细看上文的小伙伴仍是有必定的收成。冬镜以为合理的robots仍是有以下几方面的优点：

1、能够防止蜘蛛爬取录入咱们不想展示给他人看的页面。例如网站后台地址，个人隐私日志等。

2、能够减轻服务器压力。咱们经过robots协议能够让蜘蛛只抓取一部分页面，防止蜘蛛胡乱抓取一些没用的页面，占用服务器资源。

3、正确的robots协议会进步整站质量，促进快速录入排名，然后进步网站权重。

robots格局

先给咱们看一个最简略的robots文件的写法：

User-agent:*
Disallow:/inc/
Allow:/uqseo
Sitemap:http://www.11px.cn/sitemap/home.xml