当前位置:首页 > 学习笔记 > SEO优化 > robots.txt 文件是什么?到底如何设计呢?

robots.txt 文件是什么?到底如何设计呢?

刘广法2022年01月09日 20:54:56SEO优化12001
robots.txt 文件是什么?到底如何设计呢?-第1张图片-刘广法IT博客

今天查看各种搜索引擎对刘广法博客站点的抓取情况,发现很多的搜索引擎抓取的时候第一个抓取的就是网站 robots.txt 文件,而我的网站却没有这个文件,所以导致访问的时候显示404

robots.txt 文件是什么?到底如何设计呢?-第2张图片-刘广法IT博客

今天详细说说,robots.txt文件:

1、robots.txt文件是什么?

robots.txt文件其实就是一种文本文件,robots.txt文件存放在网站的根目录,他的作用就是告诉百度在内的搜索引擎的漫游器,说白了就是,告诉搜索引擎,我这个网站的什么目录能抓取,什么页面不能抓取,什么图片不要抓取等,简单说就是我网站的版权或者隐私不要给你抓取暴露出去。

2、robots.txt文件里面的参数都有什么:

User-Agent: *

Disallow: /

上面的意思就是说禁止访问本站所有的目录,页面。

关于更多robots.txt 文件的参数详细解答》》》》robots.txt 文件的格式详细


所以说,robots.txt文件是非常有必要的,我们每一个网站做完robots.txt文件一定放到网站的根目录下,用来告诉所有搜索引擎你网站的隐私。这也是网站SEO优化的必修课

拓展阅读:

robots.txt 文件的格式详细解析,自我检测robots.txt


作者为:刘广法,网站地址:https://liuguangfa.com/

扫描二维码推送至手机访问。

版权声明:本文由刘广法博客发布,如需转载请注明出处。

本文链接:https://liuguangfa.com/seo/12.html

标签: 网站SEO优化
分享给朋友:

“robots.txt 文件是什么?到底如何设计呢?” 的相关文章

网站关键词,网站关键长尾词你设置了吗?

网站关键词,网站关键长尾词你设置了吗?

好不容易过一个周末,准备好好大睡一场,可以网站刚刚建立,感觉还是应该找一些网站的关键词或者网站的关键长尾词,要不总感觉对这个网站不是很尊重,所以我准备弄一个类目——游戏,那我就开始弄一个关于“游戏”的长尾词和长尾关键词吧!今天我就简单一弄,毕竟网站不是一天就能够丰富起来的,所以今天我的关于“游戏”的...

浅谈图片延迟加载 (懒加载)对网站SEO的影响

浅谈图片延迟加载 (懒加载)对网站SEO的影响

图片延迟加载相信大家都不陌生了,从搜索引擎的角度来看(如上图),网站的延时加载对于seo来说并不是很好的,因为搜索引擎不会去执行js动作,所以真实的图片并不会加载出来,所以刘广法博客的历史快照就是如下图所示了。那么问题来了,网站的延时加载图片对于网站SEO优化到底是好是坏?1、简单来说图片延时加载:...

详解301重定向及实现方法

一、什么是301重定向:301重定向(或者是301跳转、301转向) 是用户或者是搜索引擎的蜘蛛访问网站服务器的时候,网站服务器返回的HTTP数据流头部信息的状态码的一种,其中301表示本网址永久性跳转另一网址。其他状态还有:200(表示一切正常);404(网页不存在);302(临时性转向);500...

评论列表

柚子快报兼职
柚子快报兼职
2022年01月09日 21:19:17

好文章

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。