网络抓取:定义、工作原理以及为何不同于索引

网络抓取使自动化程序能够发现并访问网页。理解其各个阶段和局限,有助于避免将其与索引、搜索排名或监控行为相混淆。

作者 Daniel Sardá · 发表于:

阅读约需 7 分钟1,342 字词

本页内容 · 5 节

网络抓取是指程序发现互联网地址并请求其资源以供检查的自动化过程。这种程序通常被称为抓取程序、crawler、bot或网络蜘蛛。对于搜索引擎而言,抓取使其能够发现网页,随后对这些网页进行处理并考虑是否将其纳入索引。

这里的“抓取”并不意味着追踪某个人的活动。它本身也不等同于从网站复制数据、将网页收录进搜索引擎,或是决定网页出现在哪个排名位置。该词汇常被用于指代若干种不同的活动,对这些活动进行区分,有助于理解自动化系统在网络中巡回访问时所发生的实际过程。

核心观点: 抓取是发现并获取资源;索引则是决定是否将其内容纳入索引。它们是相关联的阶段,而非同义词。

网络抓取程序如何发现网页

抓取程序需要一个起点。它可以从一个或多个已知的 URL 开始,原因可能是此前访问过这些地址、它们在其他网页中有链接指向,或者它们被列入站点地图等清单之中。这些初始地址通常被称为种子 URL。

在请求网页时,程序会接收其内容,并可以识别指向其他地址的链接。这些新的 URL 可能会进入待访问的候选列表中。该循环不断重复:请求资源、检查内容、发现链接并选择下一步要访问的对象。

假设某个网站发布了一个新页面,并在其首页添加了指向该页面的链接。当抓取程序再次访问该首页时,就可能发现该链接并将该页面加入其遍历路径中。然而,发现链接并不保证会立即被访问。程序可以根据自身的规则、处理能力和目标,优先处理某些 URL、推迟其他 URL,或者根本不进行抓取。

所谓的抓取边界是一个有用的概念模型,用于表示这一已知但仍等待评估或访问的地址列表。并非所有系统的架构都完全相同,但这一模型有助于理解爬虫既不是随意前进,也不一定会遍历其发现的每一个链接。

Google 解释道,其搜索引擎发现网页的途径包括链接和站点地图等,且并非所有被发现的 URL 都会最终被抓取。这描述的是 Google 的运行机制;其他抓取程序可能会采用不同的优先级和处理流程。

抓取、索引与排名是不同的决策

当搜索引擎获取一个网页后,仍须对其进行解析,并决定是否将其纳入其索引之中。索引是指分析并存储该资源的相关信息以便日后检索的过程。被抓取的网页可能由于技术原因、质量问题、内容重复或搜索引擎的其他政策规定而未能被编入索引。

即使网页已被索引,也并不确保会在任何查询中都显示出来,更无法保证特定的排名位置。排名发生在搜索引擎为了响应具体搜索而筛选并排列结果之时。它取决于后续的评估,并非允许抓取后就会自动获得的奖励。

该流程可以概括如下:

  1. 系统知晓或发现某个 URL。
  2. 决定是否抓取该 URL 并请求该资源。
  3. 处理内容并决定是否将其编入索引。
  4. 面向具体查询时,评估是否展示该内容以及按何种顺序展示。

每个步骤都有其自身的条件。因此,仅仅声称某个网页“已被抓取”,对于其是否会在搜索结果中实际出现所能提供的信息十分有限。

核心观点: 抓取使搜索引擎能够获知内容,但并不构成对其被编入索引、获得曝光或特定排名的承诺。

抓取不同于数据提取与用户追踪

抓取与数据提取(scraping)都可以利用发起自动请求的程序,但两者侧重的目的不同。抓取的目的是遍历资源并发现地址;数据提取则专注于提取特定数据:价格、文本、产品目录或其他要素。同一个系统可以同时执行这两项任务,但这两个概念并不能互换。

用户追踪同样与此不同,它记录的是个人的行为或特征:访问记录、点击、标识符或跨服务的访问轨迹。爬虫遍历的是网络资源;追踪系统观察的则是与用户或设备相关的活动。这两个过程都会在服务器上留下技术日志,但这并不能将它们归为同一种实践。

这种区别很重要,因为两者所涉及的规范性问题也有所不同。在抓取方面,探讨的问题包括网站发布的访问规则以及响应自动化请求的成本等;而在追踪个人方面,涉及的则是隐私权、同意以及个人数据的使用问题。

robots.txt 与 noindex 的作用

网站管理者可以通过特定信号,传达他们希望某些代理程序如何访问或处理其网页。其中两种最广为人知的机制承担着不同的功能。

robots.txt 文件发布针对特定抓取程序的规则,并可以请求它们不要访问某些路径。《机器人排除协议标准》明确指出,这些规则既不构成授权机制,也不属于安全措施。机器人可能不会遵守这些规则,而且文件中所写的路径也是公开的。

因此,在 robots.txt 中屏蔽某条路径并不会使其内容变为私密。如果某个区域包含保密信息,则必须通过身份验证和实际的访问控制来进行保护。位于登录界面后的管理页面受到访问限制屏障的保护;而仅在 robots.txt 中提及的路径则没有受到这种保护。

相反,noindex 规则用于告知兼容的搜索引擎不要将某个资源纳入其索引。该规则可以在网页的元标签中声明,也可以在 HTTP 标头中声明。这里存在一个重要前提:搜索引擎需要访问该资源才能读取该指令。Google 关于 `noindex` 的文档提醒道,如果其抓取程序由于 robots.txt 规则的限制而无法进入页面,就将无法看到该指令。

核心观点: robots.txt 用于管理协作型机器人的抓取请求;noindex 用于传达关于索引的决定;而访问控制则用于保护私密内容。

网络抓取的局限

万维网并非一个相互之间完美连接的目录。有些网页没有可见的链接指向,有些资源需要访问凭证,有些地址是动态生成的,还有些服务器会对请求进行限制。此外,抓取程序在运行时受限于有限的时间、计算能力和带宽。发现某个 URL 并不意味着必须对其进行访问,而访问某个网页一次也不意味着会按固定频率再次回访。

这些限制也说明了为什么网站所有者的决策与爬虫运营者的决策应当分别予以考量。公开可供开放访问的内容允许不同的代理程序尝试请求该内容,但这并未消除网站所有者制定规则、保护资源和管理基础设施成本的合法利益。同时,当确实需要对访问进行限制时,向机器人表达偏好并不能替代真正的技术屏障。

理解网络抓取需要恪守这些概念边界。它是让诸多工具能够探索资源并发现网页的机制,但既非被搜索引擎收录的保证,也不是可以用于后续任何用途的普遍许可。清楚知晓涉及哪一阶段——发现、访问、提取、索引还是结果筛选——有助于选择恰当的控制手段,并更准确地评估每个问题。

关于作者

Daniel Sardá 是 SEO 专家兼 Libertatis Venezuela 编辑。他从独立、非党派的视角撰写有关自由主义、政治经济学、制度、宣传和个人自由的文章。

查看完整资料