クローラーとは、インターネット上のWebサイトや画像など、さまざまなデータを自動的に収集するロボットプログラムです。SEO対策においては、クローラーが自社ページを訪問することではじめて検索結果に表示されるかどうかが決まります。
そのため、SEO対策を成功させるには、自社サイトをクローラーが巡回するよう対策する必要があります。そこでこの記事では、
・クローラーとは？
・クローラーとSEOの関係性
・クローラーに自社サイトを巡回させる対策
を紹介します
もくじ [hide]
クローラーとは？
クローラーはインターネット上に存在するWebサイトや画像、PDFなどのさまざまなデータを検知して自動的に収集するロボットプログラムです。
SEOにおいては、検索エンジン上でどのコンテンツを上位化させるべきか決めるための最初の工程に当たります。
そのため、クローラーが巡回できないサイトでは、いくらSEO対策をしたコンテンツを用意しても検索結果に表示されることはないということになります。
クローラーの仕組み
前述したように、クローラーはWeb上を巡回し、さまざまなデータを検知し情報を収集します。クローラーがWebサイトを巡回する際、以下の3つの工程を踏んでいます。
1. クローリング/パーシング
2. インデックス
3. クエリプロセス
クローリングとは、インターネット上にあるWebサイトをクローラーが巡回していくことです。各種ページに張り巡らされたリンクを辿ってページを巡回することから、別名スパイダーとも呼ばれます。
クロール完了後はWebサイトのページを解析するパーシングが行われます。
パーシングが完了した段階でクローラーはWebサイトに関して集めたデータをGoogleのアルゴリズムが理解できる形式へと変換し、検索エンジンのデータベースにインデックスしていきます。
データベースにインデックスした後は、クエリプロセスが実施されます。クエリプロセスとは、インデックスされた情報をもとに、検索結果に表示させるページのランキングを決めることです。
少し難しくなってきたので、簡単にまとめると
・クローリング（パーシング）：各ページをロボットが巡り、情報を解析する
・インデックス：各ページの情報をデータベースに登録する
・クエリプロセス：検索結果に表示されるページを決める
以上になります。ちなみに、検索結果にどのページを表示させるかについては、200を超えるアルゴリズムを基に決定されています。
検索エンジン市場の8割を占めるGoogleのアルゴリズムについては以下の記事にまとめていますので、こちらも参考にしてみてください。
【関連記事】【2025年3月版】Googleのアルゴリズムとアップデートの傾向!SEO対策に必要なコツも紹介
クローラーはSEO対策において重要な存在
Googleの検索結果は、クローラーの収集したデータを基準にランキング付けされています。そのため、クローラーはSEO対策において重要な存在であることがわかって頂けたかと思います。
（重要なことなのでくり返しになりますが）仮に「マーケティング」をテーマに素晴らしい記事を執筆したとしても、クローラーがその記事を巡回しなければ、そもそもインデックスされることもなく、記事が検索結果に表示されることはありません。
ページがクロールされないという事態を避けるためにも、Webサイトの運営者やコンテンツディレクターにとって重要となるのはまずクローラーに自社サイトを巡回してもらい、そのうえで、コンテンツを高く評価してもらうことです。
クローラーが巡回しやすいWebサイトを作るための対策
クローラーが自社サイトを巡回するための対策には、以下の点が挙げられます。
・クロールをリクエストする
・URLを見直す
・XMLサイトマップを作成する
・robots.txtを設置する
・内部リンクを最適化する
・リンクが切れているWebページを減らす
・パンくずリストを設定する
・Javascriptの最適化
上記について解説します。
クロールをリクエストする
Googleの検索エンジンにおいては、クローラーが自社のサイトを巡回するようにリクエストをすることが可能です。Webサイトのページ増設、更新があった際は、リクエストを行うとより確実にクロールされやすくなります。
なお、クロールのリクエストにはGoogleサーチコンソールへの登録が必要です。登録後、Googleサーチコンソール上の「インデックス登録リクエスト」を活用し、クロールをしてもらうよう依頼をします。以下の画像を参考に手続きを行ってみてください。
画面左側にある「URL検査」を押下後、上部のURL入力欄にサイトURLを入力、上記キャプチャ画面が表示されたら赤枠部分の「インデックス登録をリクエスト」をクリックしてクロール申請を完了してください。
インデックス登録リクエストを通じて自社サイトのページ所在をクローラーに伝えることができるため、優先してクローリングしてもらうことが可能です。
URLを見直す
クローリングの無駄をなくすために、自社サイトのURLの見直しも対策に挙げられます。サイト運営をするなかで、自社サイトのURL状況を確認する機会はそう多くないかもしれません。
たとえば「WWW.」のURLと「WWW.」が含まれないURLの両方が存在している場合、クローラーとしては同じ情報を持つURLを複数巡回することになり、無駄が発生してしまいます。
上記の事態を避ける意味でも、WebサイトのURLを見直し、クローリングが必要なページとそうでないページを整理することで、クローリングしやすい環境にすることができます。
なお、URLを変更した際は、旧URLから新URLへの恒久的な移行を示す「301リダイレクト」という転送処理を行うことで、クロール時の重複を防ぐことが可能です。より確実にクロールしてもらうためにもぜひ実施しておきましょう。
XMLサイトマップを作成する
XMLサイトマップとは、サイト全体の一覧を確認できる設計図のようなマップです。XMLサイトマップを作成することで、クローラーがサイト内にあるコンテンツやページ構成を理解しやすくなります。
XMLサイトマップがあることにより、クローリング時にクローラーが優先的にクローリングすべきページを理解できるようになります。
なお、XMLサイトマップは作成後にGoogleサーチコンソールを通じて検索エンジンにその存在を伝えることでクローラビリティ（クロールのされやすさ）を向上できます。送信します。手続きは以下を参考にしてください。
Googleサーチコンソール上の「サイトマップ」をクリック後、画面中央部赤枠部分にXMLサイトマップを入力、「送信」をクリックしてください。
robots.txtを設置する
robots.txt（ロボッツ・テキスト）とは、Webサイト上の特定のページをクローラーが巡回しないよう設定できるファイルです。
クローラーに巡回してほしくないページを指定することで、クローリングの効率を上げることが可能なため、
robots.txtの設置も実施するのが理想です。
内部リンクを最適化する
内部リンクとは、Webサイト内で自社のページ同士を繋ぐリンクのことです。
クローラーはリンクからリンクを巡りコンテンツの内容を理解していきます。ページ同士をつなげていくことで、サイト構造や中身を理解しやすくなるため、内部リンクを設置することはクローラビリティ向上にとって重要な対策の1つです。
内部リンクを設置する際のコツとして
・リンクはaタグで設置
・リンクの階層は浅くする
・グローバルナビゲーションやサイドバーを活用する
などがあります。
自社のサイト設計に合う内部リンク対策を取りましょう。
リンクが切れているWebページを減らす
リンク切れページとは、URLの変更をはじめとした何らかの理由により、リンク先へのアクセスが行えないページを指します。リンク切れが起きている場合、クローラビリティの低下を招く恐れがあります。
なお、リンク切れページの有無を確認する場合、Googleサーチコンソールからチェックすることができます。Webサイトのページ数が増えてきた段階で、定期的に確認することをおすすめします。
パンくずリストを設定する
パンくずリストとは、Webサイトを訪れたユーザーが閲覧ページがサイト全体のどの位置、またはどの階層にあるのかを理解するための案内図のようなものです。
パンくずリストを設置することでユーザーが「自分がいるページはサイト内のどこにいるのか」や「サイトの構造」を認識しやすくなります。結果としてユーザービリティが向上し、クローラーにサイト理解をしてもらいやすくなります。
また、Google公式の「検索エンジン最適化（SEO）スターターガイド」では、パンくずリストの使用を推奨しています。
“URL の各部分はパンくずリストとして検索結果に表示できるので、ユーザーも URL から結果が役に立つかどうかを把握できます。”
引用：検索エンジン最適化（SEO）スターター ガイド
Javascriptの最適化
クローラーは最新のChromeと同じレンダリング機能を搭載しているため、Javascriptの実行に問題はありません。レンダリングとは、HTMLなどを使って書かれた一連のプログラムを、「サイト」の形で見られるよう整える仕組みです。
しかしながらレンダリングの際にJavascriptの実行に時間を要する場合、レンダリングが行えないケースも想定されるでしょう。このような場合、最悪ページがインデックスされない可能性もあります。
Javascriptを多く使用しているWebサイトでは常に最適化するよう配慮することで、ページインデックスへの悪影響を避けることが可能です。
クローリングされているか確認する方法
クローリングされているかどうか確認する方法は以下の2つです。
・「site:」でしらべる
・Google Search Consoleで調べる
それぞれ詳しく解説します。
site:で調べる
「site：クローラーが来ているか調べたいURL」にてGoogle検索をすると、そのサイトにクローラーが来ているかどうかが分かります。
ページが表示されない場合はクロールされていない可能性が高いため、Google Search Consoleにてインデックスリクエストを送信しましょう。
詳しくは当記事の「クロールをリクエストする」にてご確認ください。
URL検査ツール（旧Fetch as Google）でクロール申請をかける
URL検査ツールからクロールの確認をする場合は、以下の手順を参考にしてください。
1.Googleサーチコンソール上から画面左側に「URL検査」をクリックし、検索バーにサイトURLを入力し、Enterをクリック
2.上記画像のように、「URLはGoogleに登録されています」と表示されればクロールされていることが確認できます。
※そうでない場合はクロールされていないため、「インデックス登録をリクエスト」からクロール申請が必要です。
クロールの種類
クローラーの種類としては、以下のものが挙げられます。
1. Googlebot（Google）
2. Bingbot（Microsoft）
3. Yahoo Slurp（Yahoo Slurp）
4. Baiduspider（Baiduspider）
5. Yetibot（Naver）
なお、Statcounter Global StatsのSearch Engine Market Shareによれば、日本国内のSEOに関してはGoogleが約9割程度ののシェアを占めているため、主にGooglebotに関して対策を行うことが重要となります。
クロールの対象ファイル
クロールの対象となるファイルは以下の通りです。
HTMLファイル
CSSファイル
テキストファイル
JavaScriptファイル
画像ファイル
PDFファイル
FLASHファイル
クローラーは巡回の際、ユーザーがブラウザ上で閲覧できる情報と同じ情報を収集しています。ユーザーのブラウザ通信プロトコルは「HTTP/HTTPS」です。そのため、クローラーも「HTTP/HTTPS」の情報をクローリングすることになります。
なお、「HTTPS」は「HTTP」に暗号化・検証を加えたものです。一般的に「HTTPS」を使用した通信の方が安全なため、自社サイトのURLを確認し、「HTTP」となっている場合、「HTTPS」へのリダイレクトを行うのが望ましいでしょう。
また、「HTTP」から「HTTPS」にリダイレクトする際は、「301リダイレクト」を使用し、続きを行う必要があります。
クローラー対策は、SEOの成果に直結する重要なポイント
検索エンジンのクローラーについて正しく理解することにより、自社サイトのコンテンツを上位表示させるSEO対策が成功に一歩近づきます。もし今適切なクローラー対策ができていない場合には、この記事を参考に早急に対策を行うようにしましょう。
その他SEO対策に関してはこちらにまとめていますので、是非ご覧ください。
