KOBITブログ

Search Consoleにおける分析において重要? Googleがクロールバジェットについて見解を発表!

この記事は約 5分 で読めます。

SEO through Magnifying Glass. Internet Concept.

クロールバジェットという言葉を聞いたことはありますか?この単語については数多くの定義がされていますが、クロールバジェットが表す全てのものをカバーするような単語は存在しません。今回Googleがクロールバジェットについて見解を発表していますので、どのような内容か見ていきましょう。

クロールバジェットを定義する前に、クロール率とクロール需要について考えなければならないので、まずそれらの概念を説明したいと思います。

クロール率制限

Googlebotはクロールを優先事項としていますが、クロールがサイトを訪れたときのユーザーエクスペリエンスを下げないように考慮されています。サイトごとに最大取得率を設定し、それに合わせてクロールする率に制限をかけています。

クロール率の制限によって、情報取得の間にGooglebotが待たなければならない時間と、サイトをクロールする際にGooglebotが同時に使うconnectionの数が変わってきます。

クロール率は幾つかの要因により決定します。

  • サイトの状態
  • サイトがしばらくの間素早く応答する場合には、クロール率は上昇します。サイトの反応がエラーなどにより遅い場合には、クロール率制限は低下し、Googlebotのクロール頻度は低下します。

  • サーチコンソールでの設定
  • サイトの管理者はサーチコンソールの設定でGooglebotのクロールを制限することができます。ただし、クロール率の制限値を高くしても自動的にクロール数が増加するわけではないので注意が必要です。

クロール需要

たとえクロール率の制限値に達していなくても、インデックスの需要がない場合にはGooglebotの活動は低下します。クロールの需要を決める要因は以下の二つです。

  • 人気
  • インターネット上でより人気なURLはインデックスをよりフレッシュな状態に保つために頻繁にクロールされる傾向があります。

  • 古さ
  • GoogleのシステムはURLがインデックス上で古くなるのを防ごうとします。つまり、インデックスが古いURLはクロール需要がより高まります。

さらにサイトの移動のような出来事も新URLの下でのコンテンツを再インデックスクロール需要の増加に繋がることがあります。

クロールバジェット

ここまで説明したクロール率とクロール需要を一緒に踏まえ、Googleはクロールバジェットを以下のように定義しています。

Googlebotがクロールできる、かつクロールしたいと考えているURLの数

クロールバジェットに影響を与える要因

付加価値の低いURLを多く持っているとサイトにおけるクロールやインデックスに悪影響を及ぼすということが判明しました。その付加価値の低いURLというのは以下のように分類されます。

  • ファセットナビゲーション

ファセットナビゲーションは下図のようにユーザーにとって使いやすいと考えられる検索条件をあらかじめ用意しておく機能です。しかし検索エンジンから見ると、ファセットナビゲーションは複製されたコンテンツを持つURLの組み合わせを作り出すことに繋がることがあります。そのような場合、サーチフレンドリーなものではありません。

ファセットナビゲーション

  • ソフトエラーページ

ウェブサーバーが存在しないページに対して200 OKというようにページがあたかも存在しているかのように反応している場合、これはソフト404エラーと呼ばれます。このようなページがクロールされると、ユニークなコンテンツを持つページのクロールが正しく行われないことがあります。

  • Infinite spaces and proxies

Googlebotがクロールする際に、ほとんどまたは何も新コンテンツを提供しない非常に多くのリンクがある状況を指します。この場合、サーチコンソールでサイトの管理者に通知がきますから、確認しましょう。

これ以外にも異なるたくさんのURLから同じページにアクセスできる、またはハッキングされたページやスパムの内容を含むページは付加価値の低いURLになります。

サーバーの資源をこのようなページで無駄遣いしていると本当に価値のあるページをクロールする活動余力が無くなります。その結果、サイト内での素晴らしいコンテンツを発見するのに重大な遅れが生じるかもしれません。

まとめ

今回はクロールバジェットについて解説してきましたが、もし、新ページが公開された同じ日にクロールされる傾向があるならサーチコンソールでクロールバジェットについて気にする必要はありません。同様に、もしあるサイトが何千ものURLもっていないのであれば、ほとんどの場合サイトは効率的にクロールされます。

Googleがクロールバジェットの正確な定義を与え、価値の低いページのコンテンツについても紹介しました。この機会に、もう一度自分のサイトを見直し、価値の高いコンテンツが提供できているか確認してみましょう。


CATEGORY:

さあ、KOBITをスタートしよう。