Email Dataset

robots.txt放在哪里？
为什么 robots.txt 很重要？
阻止非公开页面
最大化抓取预算
防止资源索引
搜索引擎优化最佳实践
Robots.txt 对比元机器人 vs 元机器人X机器人
Robots.txt 如何工作？
robots 文件是机器人排除协议(REP) 的一部分，该协议是一组 澳大利亚WS球迷 标准，用于管理机器人如何抓取网络、访问和索引内容以及如何向用户呈现该内容。

REP 还包括元机器人等指南，以及关于搜索引擎应如何处理链接（例如“nofollow”或“follow”）的页面、子目录或网站级说明。

示例 Robots.txt：

以下是针对些示例。

 

该指令告诉所有网络爬虫不要上的任何页面，包括主页。

用户代理：*
禁止：/

允许所有网络爬虫访问所有内容
以下规则告诉网络爬虫上的所有页面，包括主页。

用户代理：* 允许：

阻止特定文件夹中的特定网络爬虫
用户代理：Googlebot
禁止：/example-subfolder/

此语法只是告诉 Google 的抓取工具抓取包含 URL 字符串 www.example.com/example-subfolder/ 的任何页面。