当前位置:首页 > 学习笔记 > SEO优化 > robots.txt 文件是什么?到底如何设计呢?

robots.txt 文件是什么?到底如何设计呢?

刘广法2022年01月09日 20:54:56SEO优化14891
robots.txt 文件是什么?到底如何设计呢?-第1张图片-刘广法IT博客

今天查看各种搜索引擎对刘广法博客站点的抓取情况,发现很多的搜索引擎抓取的时候第一个抓取的就是网站 robots.txt 文件,而我的网站却没有这个文件,所以导致访问的时候显示404

robots.txt 文件是什么?到底如何设计呢?-第2张图片-刘广法IT博客

今天详细说说,robots.txt文件:

1、robots.txt文件是什么?

robots.txt文件其实就是一种文本文件,robots.txt文件存放在网站的根目录,他的作用就是告诉百度在内的搜索引擎的漫游器,说白了就是,告诉搜索引擎,我这个网站的什么目录能抓取,什么页面不能抓取,什么图片不要抓取等,简单说就是我网站的版权或者隐私不要给你抓取暴露出去。

2、robots.txt文件里面的参数都有什么:

User-Agent: *

Disallow: /

上面的意思就是说禁止访问本站所有的目录,页面。

关于更多robots.txt 文件的参数详细解答》》》》robots.txt 文件的格式详细


所以说,robots.txt文件是非常有必要的,我们每一个网站做完robots.txt文件一定放到网站的根目录下,用来告诉所有搜索引擎你网站的隐私。这也是网站SEO优化的必修课

拓展阅读:

robots.txt 文件的格式详细解析,自我检测robots.txt


文章原文地址:刘广法,转载保留出处,感谢

扫描二维码推送至手机访问。

版权声明:本文由刘广法博客发布,如需转载请注明出处。

本文链接:https://liuguangfa.com/seo/12.html

标签: 网站SEO优化
分享给朋友:

“robots.txt 文件是什么?到底如何设计呢?” 的相关文章

robots.txt 文件的格式详细解析,自我检测robots.txt

robots.txt 文件的格式详细解析,自我检测robots.txt

一、User-agent:这项是说明让蜘蛛(机器人)访问的名字,在整个robots.txt 文件中,有且只有一条,而且还是在第一行的位置,一般的写法有下面几种:User-agent:*说明对任何的robot有用。如果只让部分搜索引擎的机器人(蜘蛛)来抓取的话,就是可以通过User-agent: 来设...

浅谈图片延迟加载 (懒加载)对网站SEO的影响

浅谈图片延迟加载 (懒加载)对网站SEO的影响

图片延迟加载相信大家都不陌生了,从搜索引擎的角度来看(如上图),网站的延时加载对于seo来说并不是很好的,因为搜索引擎不会去执行js动作,所以真实的图片并不会加载出来,所以刘广法博客的历史快照就是如下图所示了。那么问题来了,网站的延时加载图片对于网站SEO优化到底是好是坏?1、简单来说图片延时加载:...

评论列表

柚子快报兼职
柚子快报兼职
2022年01月09日 21:19:17

好文章

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。