ウェブクローリング:概要、仕組み、そしてインデックス登録とは異なる理由

ウェブクローリングにより、自動プログラムがページを発見・訪問できる。その段階と限界を理解することで、インデックス登録や順位付け、監視との混同を防ぐ。

執筆 Daniel Sardá · 公開日:

読了目安:9 分1,861 語

このページの内容 · 5 セクション

ウェブクローリングとは、プログラムがインターネット上のアドレスを発見し、それらを精査するためにリソースを要求する自動化されたプロセスのことである。そのプログラムは通常、クローラー、crawler、ボット、あるいはウェブスパイダーと呼ばれる。検索エンジンの場合、クローリングを行うことでページを発見し、その後それらのページを処理して自らのインデックスへの登録を検討することが可能になる。

ここでの「クロール(巡回)」は、個人の行動を追跡することを意味するものではない。また、それ単体でウェブサイトからデータを複製することや、検索エンジンにページを登録すること、あるいはどの順位に表示されるかを決定することと同義でもない。この言葉はいくつかの異なる活動に対して用いられており、それらを明確に区別することは、自動化されたシステムがウェブを巡回する際に何が起きているかを理解する助けとなる。

重要ポイント: クロールとはリソースを発見して取得することであり、インデックス登録とはそのコンテンツをインデックスに組み込むかどうかを決定することである。これらは相互に関連する段階であり、同義語ではない。

クローラーはどのようにページを発見するのか

クローラーには起点が必要である。過去に巡回したことがある、他のページからリンクされている、あるいはサイトマップなどのリストに記載されているといった理由で、すでに把握している1つまたは複数のURLから処理を開始することができる。これらの最初のアドレスは、通常シードURLと呼ばれる。

ページをリクエストすると、プログラムはそのコンテンツを受信し、他のアドレスへのリンクを特定することができる。それらの新しいURLは、訪問候補のリストに追加される場合がある。そして、リソースを要求し、それを精査し、リンクを発見し、次に何を訪問するかを選択するというサイクルが繰り返される。

あるウェブサイトが新しいページを公開し、トップページからそこにリンクを張ったと想定してみよう。クローラーが再びトップページを訪れた際、そのリンクを発見して巡回ルートにそのページを加えることができる。しかし、発見されたからといって即座の巡回が保証されるわけではない。プログラムは自らのルール、処理能力、目的に応じて、特定のURLを優先したり、別のURLを後回しにしたり、あるいは全く巡回しなかったりすることがある。

いわゆるクロールフロンティアは、把握されているものの、評価や訪問がまだ保留されているアドレスのリストを表現するための有用なモデルである。すべてのシステムが同じように構築されているわけではないが、このモデルによって、クローラーが無作為に進むわけでも、見つけたすべてのリンクを必ず巡回するわけでもないことが理解できる。

Googleの説明によると、同社の検索エンジンはリンクやサイトマップなどの手段を通じてページを発見しており、発見されたすべてのURLが実際にクロールされるわけではないとされている。これはGoogleの動作を説明したものであり、他のクローラーは異なる優先順位や手順を採用している可能性がある。

クロール、インデックス登録、順位付けはそれぞれ異なる判断である

検索エンジンはあるページを取得した際、さらにそれを解釈し、自らのインデックスに組み込むかどうかを判断しなければならない。インデックス登録とは、後から検索・取得できるようにリソースに関する情報を分析し保存するプロセスのことである。クロールされたページであっても、技術的な理由、品質上の問題、重複、あるいは検索エンジンのその他の方針により、インデックスから除外されることがある。

インデックスに登録されていることでさえ、あらゆる検索クエリに対して表示されることを保証するものではない。特定の掲載順位を保証するものではなおさらない。順位付けは、検索エンジンが特定の検索に対応するために検索結果を選択し、順序付ける際に発生する。これはその後の評価に依存するものであり、クロールを許可したことに対する自動的な報酬ではない。

この一連の流れは次のように要約できる。

  1. システムがURLを認識または発見する。
  2. それをクロールするかどうかを判断し、リソースを要求する。
  3. コンテンツを処理し、インデックスに登録するかどうかを判断する。
  4. 検索クエリに応じて、それを表示するかどうか、またどのような順序で表示するかを評価する。

それぞれの段階に独自の条件が存在する。そのため、あるページが「すでにクロールされた」と主張することは、検索結果における実際の表示状況についてごく限られた情報しか提供しない。

重要ポイント: クロールによって検索エンジンがコンテンツを把握することは可能になるが、それはインデックス登録、表示、あるいは掲載順位を保証するものではない。

スクレイピングやユーザー追跡と同義ではない

クロールとスクレイピングは、いずれも自動化されたリクエストを発行するプログラムを利用し得るが、重視する目的が異なる。クロールはリソースを巡回し、アドレスを発見することを目指す。これに対しスクレイピングは、価格、テキスト、カタログ、あるいはその他の要素など、特定のデータを抽出することに焦点を当てる。同一のシステムが両方のタスクを実行することは可能であるが、これら2つの概念は互換的なものではない。

また、訪問、クリック、識別子、サービス間の行動経路など、個人の行動や特徴を記録するユーザー追跡もこれらとは異なる。クローラーが巡回するのはウェブリソースである。追跡システムが監視するのは、ユーザーや端末に紐づく活動である。双方がサーバー上に技術的な記録を残すからといって、それらが同一の行為になるわけではない。

この違いが重要である理由は、それらが提起する規範的な問いも変化するためである。クロールにおいては、とりわけサイトが公開しているアクセス規則や、自動リクエストを処理するためのコストなどが議論される。一方で個人の追跡においては、プライバシー、同意、そして個人データの利用が問題となる。

robots.txtとnoindexの役割

サイトの管理者は、特定のエージェントが自らのページにどのようにアクセスし、それらをどのように扱うことを望んでいるかを伝えるためのシグナルを備えている。最もよく知られている2つのシグナルは、それぞれ異なる役割を果たしている。

robots.txtファイルは、特定されたクローラーに向けた規則を公開し、指定されたパスにアクセスしないよう要求することができる。Robots Exclusion Protocolの標準仕様では、これらの規則が認可メカニズムやセキュリティ対策を構成するものではないことが明記されている。ボットがこれらを遵守しない可能性もあり、またファイル内に記述されたパスは一般に公開されている。

したがって、robots.txtでパスをブロックしても、そのコンテンツが非公開になるわけではない。機密情報を含む領域がある場合、それは認証や実効的なアクセス制御によって保護されなければならない。ログイン機能の背後にある管理ページはアクセス障壁によって保護されているが、単にrobots.txtに記載されただけのパスは保護されていない。

これに対してnoindexルールは、対応する検索エンジンに対して、そのリソースをインデックスに含めないよう指示するものである。これはページのメタタグ、あるいはHTTPヘッダーで宣言することができる。ここで重要な条件がある。検索エンジンがその指示を読み取るためには、リソースにアクセスする必要があるという点である。`noindex`に関するGoogleのドキュメントは、robots.txtの規則によってクローラーがアクセスできない場合、その指示を認識できないと警告している。

重要ポイント: robots.txtは協調的なボットからのクロールリクエストを管理し、noindexはインデックス登録に関する判断を伝達し、アクセス制御は非公開コンテンツを保護する。

ウェブクローリングの限界

ウェブは完全に相互接続されたカタログではない。可視リンクが存在しないページ、認証情報を必要とするリソース、動的に生成されるアドレス、そしてリクエストを制限するサーバーが存在する。さらに、クローラーは有限の時間、計算資源、帯域幅の中で動作している。あるURLを発見したからといってそれを訪問する義務が生じるわけではなく、一度あるページを訪問したからといって特定の頻度で再訪することが意味されるわけでもない。

こうした制約は、サイト所有者の判断とクローラー運営者の判断を区別して捉えなければならない理由をも説明している。一般公開のためにコンテンツを掲載することは、多様なエージェントがそのリクエストを試みることを可能にするが、ルールを定め、リソースを保護し、インフラコストを管理するという所有者の正当な利益を否定するものではない。同時に、ボットに対して示された要望は、アクセスが真に制限されるべき場合における技術的な障壁の代わりにはならない。

ウェブクローリングを理解するには、これらの概念的な境界線を維持することが不可欠である。それは多くのツールがリソースを探索しページを発見することを可能にする仕組みであり、検索エンジンへの登録の保証でも、その後のあらゆる利用に対する包括的な許可証でもない。現在どの段階が問題となっているのか——発見、アクセス、抽出、インデックス登録、あるいは検索結果の選定——を把握することで、適切な管理手段を選択し、個々の課題をより正確に評価することが可能になる。

著者について

Daniel Sardá は SEO スペシャリストであり、Libertatis Venezuela の編集者です。自由主義、政治経済、制度、プロパガンダ、個人の自由について、独立した非党派の立場から執筆しています。

プロフィール全文を読む