当前位置:首页 > 学习笔记 > SEO优化 > robots.txt 文件的格式详细解析,自我检测robots.txt

robots.txt 文件的格式详细解析,自我检测robots.txt

刘广法2022年01月14日 11:55:22SEO优化3050
robots.txt 文件的格式详细解析,自我检测robots.txt-第1张图片-刘广法IT博客

一、User-agent:

这项是说明让蜘蛛(机器人)访问的名字,在整个robots.txt 文件中,有且只有一条,而且还是在第一行的位置,一般的写法有下面几种:

User-agent:*

说明对任何的robot有用。如果只让部分搜索引擎的机器人(蜘蛛)来抓取的话,就是可以通过User-agent: 来设置。

二、Disallow:

这项是说明不希望被抓取的地址,如有一些网站对会员的一些活动,不希望被搜索引擎抓取,那就通过此项来设置,如:

Disallow:/ceshi/

这是说明不希望搜索引擎的蜘蛛抓取王章下面的ceshi 分类的所有内容。

三、Allow:

这项是说明希望被抓取的地址,如你希望搜索引擎抓取并排名的网页,如你的招聘网页,招商网页等。像我的网站就是下面的这种写法:

Allow:/

这是说明希望搜索引擎全部都抓取,这样你的网站上的网页等信息都会抓取的。

四、特殊字符:

1、* :全部的意思,就像刚刚所说的“ User-agent:* ”就是希望全部的搜索引擎去抓取。

2、$ :匹配行结束的符号


就像有的网站不希望被搜索引擎抓取,如:淘宝。

而有的网站不希望被搜索引擎抓取部分网页。如:刘广法博客robots.txt 文件(也就是本站)。

robots.txt 文件的格式详细解析,自我检测robots.txt-第2张图片-刘广法IT博客

拓展阅读:

robots.txt 文件是什么?到底如何设计呢?

文章原创作者:刘广法,感谢转载,网站地址:https://liuguangfa.com/

扫描二维码推送至手机访问。

版权声明:本文由刘广法博客发布,如需转载请注明出处。

本文链接:https://liuguangfa.com/seo/19.html

标签: 网站SEO优化
分享给朋友:

“robots.txt 文件的格式详细解析,自我检测robots.txt” 的相关文章

详解301重定向及实现方法

一、什么是301重定向:301重定向(或者是301跳转、301转向) 是用户或者是搜索引擎的蜘蛛访问网站服务器的时候,网站服务器返回的HTTP数据流头部信息的状态码的一种,其中301表示本网址永久性跳转另一网址。其他状态还有:200(表示一切正常);404(网页不存在);302(临时性转向);500...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。