robots.txt 文件是什么?到底如何设计呢?

今天查看各种搜索引擎对刘广法博客站点的抓取情况,发现很多的搜索引擎抓取的时候第一个抓取的就是网站 robots.txt 文件,而我的网站却没有这个文件,所以导致访问的时候显示404
今天详细说说,robots.txt文件:
1、robots.txt文件是什么?
robots.txt文件其实就是一种文本文件,robots.txt文件存放在网站的根目录,他的作用就是告诉百度在内的搜索引擎的漫游器,说白了就是,告诉搜索引擎,我这个网站的什么目录能抓取,什么页面不能抓取,什么图片不要抓取等,简单说就是我网站的版权或者隐私不要给你抓取暴露出去。
2、robots.txt文件里面的参数都有什么:
User-Agent: *Disallow: /
上面的意思就是说禁止访问本站所有的目录,页面。
关于更多robots.txt 文件的参数详细解答》》》》robots.txt 文件的格式详细
所以说,robots.txt文件是非常有必要的,我们每一个网站做完robots.txt文件一定放到网站的根目录下,用来告诉所有搜索引擎你网站的隐私。这也是网站SEO优化的必修课。
拓展阅读:
robots.txt 文件的格式详细解析,自我检测robots.txt
文章原文地址:刘广法,转载保留出处,感谢