当前位置:首页 > 学习笔记 > SEO优化 > robots.txt 文件是什么?到底如何设计呢?

robots.txt 文件是什么?到底如何设计呢?

刘广法2022年01月09日 20:54:56SEO优化6451
robots.txt 文件是什么?到底如何设计呢?-第1张图片-刘广法IT博客

今天查看各种搜索引擎对刘广法博客站点的抓取情况,发现很多的搜索引擎抓取的时候第一个抓取的就是网站 robots.txt 文件,而我的网站却没有这个文件,所以导致访问的时候显示404

robots.txt 文件是什么?到底如何设计呢?-第2张图片-刘广法IT博客

今天详细说说,robots.txt文件:

1、robots.txt文件是什么?

robots.txt文件其实就是一种文本文件,robots.txt文件存放在网站的根目录,他的作用就是告诉百度在内的搜索引擎的漫游器,说白了就是,告诉搜索引擎,我这个网站的什么目录能抓取,什么页面不能抓取,什么图片不要抓取等,简单说就是我网站的版权或者隐私不要给你抓取暴露出去。

2、robots.txt文件里面的参数都有什么:

User-Agent: *

Disallow: /

上面的意思就是说禁止访问本站所有的目录,页面。

关于更多robots.txt 文件的参数详细解答》》》》robots.txt 文件的格式详细


所以说,robots.txt文件是非常有必要的,我们每一个网站做完robots.txt文件一定放到网站的根目录下,用来告诉所有搜索引擎你网站的隐私。这也是网站SEO优化的必修课

拓展阅读:

robots.txt 文件的格式详细解析,自我检测robots.txt


作者为:刘广法,网站地址:https://liuguangfa.com/

扫描二维码推送至手机访问。

版权声明:本文由刘广法博客发布,如需转载请注明出处。

本文链接:https://liuguangfa.com/seo/12.html

标签: 网站SEO优化
分享给朋友:

评论列表

柚子快报兼职
柚子快报兼职
2022年01月09日 21:19:17

好文章

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。