站长干货

站长相关

经验分享

当前位置:首页 > 站长干货 > 经验分享 > 正文

zblog robots.txt的一些写法

jellybean 2024-05-26 20:02:18 站长干货 26 0

分享

User-agent: *
Disallow: /zb_users/
Disallow: /zb_system/

User-agent: Amazonbot  
Disallow: /
User-agent: SemrushBot  
Disallow: /


这段代码是网站的robots.txt文件内容,用于告诉搜索引擎爬虫哪些页面是可以抓取的,哪些是不可以抓取的。下面是对这段代码的解释:


User-agent: *:这一行指定了规则适用于所有的搜索引擎爬虫。

Disallow: /zb_users/:这一行告诉所有爬虫不要抓取网站中/zb_users/路径下的任何页面。

Disallow: /zb_system/:这一行告诉所有爬虫不要抓取网站中/zb_system/路径下的任何页面。

接下来的两行是针对特定搜索引擎爬虫的规则:


User-agent: Amazonbot:这一行指定了规则仅适用于Amazon的搜索引擎爬虫。


Disallow: /:这一行告诉Amazonbot不要抓取该网站任何页面。


User-agent: SemrushBot:这一行指定了规则仅适用于Semrush的搜索引擎爬虫。


Disallow: /:这一行告诉SemrushBot不要抓取该网站任何页面。


这个robots.txt文件指示所有搜索引擎爬虫不要抓取/zb_users/和/zb_system/目录下的页面,同时完全禁止Amazonbot和SemrushBot抓取该网站。



发表评论 已有 0 评论

×