robots.txt 文件是什么？到底如何设计呢？

今天查看各种搜索引擎对刘广法博客站点的抓取情况，发现很多的搜索引擎抓取的时候第一个抓取的就是网站 robots.txt 文件，而我的网站却没有这个文件，所以导致访问的时候显示404

今天详细说说，robots.txt文件：

1、robots.txt文件是什么？

robots.txt文件其实就是一种文本文件，robots.txt文件存放在网站的根目录，他的作用就是告诉百度在内的搜索引擎的漫游器，说白了就是，告诉搜索引擎，我这个网站的什么目录能抓取，什么页面不能抓取，什么图片不要抓取等，简单说就是我网站的版权或者隐私不要给你抓取暴露出去。

2、robots.txt文件里面的参数都有什么：

User-Agent: *

Disallow: /

上面的意思就是说禁止访问本站所有的目录，页面。

关于更多robots.txt 文件的参数详细解答》》》》robots.txt 文件的格式详细

所以说，robots.txt文件是非常有必要的，我们每一个网站做完robots.txt文件一定放到网站的根目录下，用来告诉所有搜索引擎你网站的隐私。这也是网站SEO优化的必修课。

拓展阅读：

robots.txt 文件的格式详细解析，自我检测robots.txt

文章原文地址：刘广法，转载保留出处，感谢