SEOでよく聞かれる「クローラー」という言葉ですが、実はクローラーが具体的にどんなことをしているのか、把握できていない人も多いでしょう。
クローラーについて詳しく把握しておくと、SEOに対する理解がより深まり、特に内部対策において役立つ知識が得られます。
そこで本記事では、クローラーはどのような役割があるかや、クローラー対策を中心としたSEO施策について解説していきます。
クローラー対策は一般的にエンジニアに関係あるお話ですが、マーケティング担当者でも知っておいて損はありません。ぜひ最後まで読んでみてください。
マーケティングをはじめるなら、必ず押さえておきたいのが「デジタルマーケティング」についてです。
デジタルマーケティングは近年、マーケティング業界で大きく注目を浴びており、マーケティングに少しでも携わる方なら「どんなマーケティング手法なのか」を知っていて損はありません。
このブログでは大好評の「デジタルマーケティング大全」を無料プレゼント中です！ 初心者向けに分かりやすく解説していますので、ぜひご一読ください。
目次
クローラーとは？
クローラー（ボット、スパイダー）とは、インターネット上に存在するありとあらゆる情報を取得し、データベース化している巡回プログラムのことです。
インターネット上の特定の情報を抽出する「スクレイピング」という技術もよく聞く言葉ですが、こちらもクローラーと呼ばれる場合があります。
しかし、単にクローラーといった場合、Googlebot などの検索結果を決めるのに関係するプログラムを指すことがほとんどです。そのためSEOにおいてクローラーは重要なキーワードとなっています。
クローラーについてSEO的に押さえておきたいポイントは、クローラーはサイトの情報を100%機械的に評価するということです。そのため、SEOの内部対策はクローラーを意識することが重要です。
逆にいえば、人間の目では一見問題ないサイトでも、サイトの技術的な部分がおろそかになっていると低い評価をつけられてしまう可能性があります。
Google のクローラーの役割
Webサイトの情報をデータベース化するという役割を持つクローラーですが、具体的には以下のような情報を集めています。
クローラーが集めている情報の中でも、テキストとコードは特に重要です。なぜなら検索エンジンのアルゴリズムは、主にクローラーが取得してきたテキスト・コードの内容を元にサイトを評価し、掲載順位を決めているためです。 もちろん画像もコンテンツの質を決める大事な要素ですが、クローラーの画像認識の精度は、現状さほど高くありません。 そのためクローラー対策という観点では、画像自体の質というよりも、画像の中にalt属性でテキスト説明を設定しているかどうかの方が重要となってきます。 クローラー対策のひとつに「クローラビリティの向上」というものがあります。クローラビリティとは、クローラーが情報を集めやすいサイト作りのことです。 クローラビリティが高ければ高いほどクローラーは自サイトに訪れやすくなり、またクローラーがサイトの構造を理解するスピードが早まります。そして、結果的にインデックスされるまでのスピードも早まるのです。 そこで今回はサイトのクローラビリティを上げるサイト施策として、以下の７つを紹介していきます。 各施策について、詳しく見ていきましょう。 サイトのURL冒頭にある「www」や、末尾の「.html」の有無が統一されていないと、Google から重複コンテンツとみなされます。たとえば以下のようなケースは、コンテンツの中身が全く同じであったとしても「異なる２つのページが存在する」と判断されます。 ページが２つあると判断されるということは、それだけクローラーの負担も増えるということです。全く同じページを複数回も読み込ませるようなサイトは、間違いなくクローラビリティが低いといえます。 また、重複コンテンツという観点で見ても、SEO的な悪影響は大きいでしょう。むしろURLの正規化は重複コンテンツを解消する目的の方がメインといえます。 もし、あなたのサイトが現在URLが統一されていない状態であれば、すぐにでもURLの正規化を行いましょう。 URLの正規化とは、異常なURLでアクセスしてきたクローラーやユーザーを正常なURLに自動で飛ばす（リダイレクトする）サイト施策のことです。 先ほどの例でいうと、「『www』や『.html』がない状態が正常なURL」という風に予めルールを定めることで、 といった具合になります。リダイレクトの概要や設定方法については下記記事で解説しているので、合わせて参考にしてみてください。 参考：リダイレクトとは？設定方法と警告への対処法を丁寧に解説 サイトの階層構造がシンプルであればあるほど、クローラーがサイト内のすべての情報にアクセスしやすくなります。 具体的には、弊サイトのような形式のメディアであれば、トップページから３クリック以内ですべてのページにアクセスできる構造がよいとされています。つまり、階層が４つまでの状態です。 ただ、クローラビリティの観点からすれば、階層の少ないフラットなサイト構造の方がよいのですが、あまりにもフラットすぎるとユーザビリティが損なわれる可能性があります。 サイトの構造はあくまでユーザビリティを念頭におきつつ、可能な範囲でクローラビリティを高めるようにする、というスタンスがよいでしょう。 アンカーテキストとは、他ページへのリンクが埋められたテキストのことです。例として、下記HTMLの「blastmail 記事一覧」という部分がアンカーテキストになります。 実際には下記のように表示されます。 アンカーテキストの例 単に「/blog/」とだけ書いておくよりも、上記のようにアンカーテキストを使えば、クローラーがサイトを回遊しやすくなります。 アンカーテキストはユーザビリティの観点からもメリットがあるため、ページ内にURLを設置するなら必ず実施しておきましょう。 パンくずリストとは、いま閲覧しているページがサイト内のどこに位置しているかを示す、ナビゲーション的な役割を果たすアンカーテキストのことです。 多くの場合はページの上部に、「ブログトップ > カテゴリA > 記事タイトル」のような形で設置されています。 パンくずリストの例 ブログトップ > メール配信 > 20社比較！メール配信システムのおすすめを一挙にご紹介！ パンくずリストがあるとクローラーはサイト情報を効率よく取得できるようになるため、ぜひ設置するようにしましょう。 コードや画像ファイルを圧縮すればページのサイズが減り、クローラーが情報を集めるスピードも早まります。ページのサイズが減ればユーザビリティも向上するので、一石二鳥ですね。 画像一枚あたりのサイズは、だいたい200KB以下が目安となります。画像の圧縮方法は色々ありますが、よくデザイン作業をするのなら、デザインツール上で保存品質を設定してあげればよいでしょう。 いつもロイヤリティーフリーの素材をほぼそのまま使っているということであれば、Google が提供している画像圧縮サイト「Squoosh」がおすすめです。 参考：Squoosh CSS / JavaScript の圧縮には「Minifier」がおすすめです。 参考：CSS Minifier (スタイルシートの圧縮) 2015.03.04 WordPress サイトを運営していて、コードのことはよく分からないという場合は、「Autoptimize」というプラグインをインストールしましょう。プラグインなら難しいことをせずともコード圧縮が実現できます。 参考：Autoptimize – WordPress plugin なお、ページのサイズが10MB以上だと「クローラーがページをダウンロードできない」と Google が2015年に公式で発言しています。 数年経過した今は少々変わっている可能性もありますが、10MBに達しないようにしつつ、ページのサイズには余裕を持ってサイトを運営する必要があるでしょう。 XMLサイトマップとは、クローラーがサイト構造を手っ取り早く理解するために作られる、サイト情報をまとめたファイルのことです。XMLサイトマップをクローラーに送信することで、クローラビリティは向上します。 XMLサイトマップをクローラーに伝えるときの手順は以下のとおりです。 XMLサイトマップの作成は基本的にエンジニアが行いますが、依頼できるエンジニアがいない場合は以下のような無料ツールでも作れます。 参考：サイトマップを作成-自動生成ツール「sitemap.xml Editor」 また、WordPress で構築されたサイトであれば、「Google XML Sitemaps」というプラグインを使えばサーバーアップの手間が省けます。 参考：Google XML Sitemaps – WordPress プラグイン Google サーチコンソールでXMLサイトマップを登録するときは、画面の右上にある「サイトマップの追加 / テスト」と書かれたボタンを押して手順を進めましょう。 XMLサイトマップの設置は必須施策ではありません。「やらなくても大丈夫」というサイトも存在します。 XMLサイトマップの送信が必要なサイトについては、Google が公式で具体的に示してくれているため、参考にしてみてください。 参考：サイトマップについて | Google Search Central 例えばサイトの規模が小さかったり、はてなブログや Blogger のようなブログサービスを使っていたりする場合、XMLサイトマップの送信は必要ないようです。 かといって、XMLサイトマップを送信することでSEO的なデメリットが生じるわけでもありません。気になるのであればやっておくに越したことはないでしょう。 サイトを更新しても、すぐにクローラーがやってくるわけではありません。クローラーの処理速度には物理的限界があり、基本的にはクローラビリティが高いサイトから優先してクロールしていきます。 ただ、クローラーが来るまで待つしかないというわけでもありません。Google サーチコンソールから、クローラーに対して「ウチのサイトを確認しにきてください」と働きかけることも可能です。そうすれば、クローラーが優先的に自サイトを巡回してくれます。 巡回申請は、クローラーに来てもらいたいページの数によって２つの方法があります。 XMLサイトマップについては直前の見出しで解説したので省略します。 クロールしてほしいページが数枚ほどと少ない場合に使う「Fetch as Google」も、XMLマップと同様、Google サーチコンソール上で行えます。 やり方は、画面の最上部にある検索窓にURLを入力し、検索結果が出たら「インデックス登録をリクエスト」というテキストをクリックするだけです。 コンテンツがクローラーが自サイトに訪れたかどうかを知るには、Google サーチコンソールの検索窓にコンテンツのURLを入力して検索しましょう。 「URL は Google に登録されています」と表示されれば、そのURLのページはクローラーが訪れたということです。「URL は Google に登録されていません」となっていた場合は、すぐ右下にある「インデックス登録をリクエスト」をクリックして巡回申請を行いましょう。 なお、Google サーチコンソールのメニューからは「クロールの統計情報」というページが開けます。 クロールの統計情報画面では、クローラーが訪れたページの数やページをダウンロードするのにかかった時間など、自サイトのクローラビリティに関する情報がチェック可能です。 クローラーとは、インターネットの情報を集めてデータベース化しているプログラムのことです。 検索エンジンはクローラーが集めた情報を元に掲載順位を決定しているため、クローラーが巡回しやすく、中身が認識しやすいサイトづくりは、非常に効果的なSEOの内部対策となります。 キーワード選定やコンテンツの企画などの戦略的なSEO施策と違って、クローラーを意識したSEO施策は、一定の正解があるため比較的すくない労力で行えます。 しかしながら、それは競合サイトもクローラー対策を徹底している可能性が高いということにもなります。簡単にできるからといって後回しにしたり適当に済ませたりせず、クローラー対策は徹底的に行なっていきましょう。
クローラーが巡回しやすいサイト施策７選
① URLを正規化する
② サイトの階層構造を改善する
③ リンクはアンカーテキストを使う
<a href="/blog/">blastmail 記事一覧</a>
④ パンくずリストを設置する
⑤ ページサイズを最適化する
⑥ XMLサイトマップを伝える
XMLサイトマップの送信が必要ないサイトもある
⑦ 巡回申請する
クローラーがサイトを訪れたか確認する方法
クローラーについてまとめ
キーワード検索
