当前位置:首页 > 学习笔记 > SEO优化 > robots.txt 文件的格式详细解析,自我检测robots.txt

robots.txt 文件的格式详细解析,自我检测robots.txt

刘广法2022年01月14日 11:55:22SEO优化4210
robots.txt 文件的格式详细解析,自我检测robots.txt-第1张图片-刘广法IT博客

一、User-agent:

这项是说明让蜘蛛(机器人)访问的名字,在整个robots.txt 文件中,有且只有一条,而且还是在第一行的位置,一般的写法有下面几种:

User-agent:*

说明对任何的robot有用。如果只让部分搜索引擎的机器人(蜘蛛)来抓取的话,就是可以通过User-agent: 来设置。

二、Disallow:

这项是说明不希望被抓取的地址,如有一些网站对会员的一些活动,不希望被搜索引擎抓取,那就通过此项来设置,如:

Disallow:/ceshi/

这是说明不希望搜索引擎的蜘蛛抓取王章下面的ceshi 分类的所有内容。

三、Allow:

这项是说明希望被抓取的地址,如你希望搜索引擎抓取并排名的网页,如你的招聘网页,招商网页等。像我的网站就是下面的这种写法:

Allow:/

这是说明希望搜索引擎全部都抓取,这样你的网站上的网页等信息都会抓取的。

四、特殊字符:

1、* :全部的意思,就像刚刚所说的“ User-agent:* ”就是希望全部的搜索引擎去抓取。

2、$ :匹配行结束的符号


就像有的网站不希望被搜索引擎抓取,如:淘宝。

而有的网站不希望被搜索引擎抓取部分网页。如:刘广法博客robots.txt 文件(也就是本站)。

robots.txt 文件的格式详细解析,自我检测robots.txt-第2张图片-刘广法IT博客

拓展阅读:

robots.txt 文件是什么?到底如何设计呢?

文章原创,转载请注意出处,来源:刘广法博客,不保留必追究

扫描二维码推送至手机访问。

版权声明:本文由刘广法博客发布,如需转载请注明出处。

本文链接:https://liuguangfa.com/seo/19.html

标签: 网站SEO优化
分享给朋友:

“robots.txt 文件的格式详细解析,自我检测robots.txt” 的相关文章

刘广法博客SEO频繁出现在各种搜索引擎中

刘广法博客SEO频繁出现在各种搜索引擎中

今天发现了一件非常有意思的事情,其实刘广法还是还是有一点点的名气的,你知道吗,今天在谷歌,百度等搜索引擎发现了很多的网站设置的关键词都是“刘广法博客SEO”说明之前做的刘广法旅游博客还是有点用处的,虽然很开心,但是发现不管什么搜索引擎搜索刘广法博客都不是我这个网站,毕竟网站刚刚建成,又恰逢年关,没有...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。