KOBIT

KOBITブログ

サーチコンソールを用いたサイト運営 クロールエラーって何?

この記事は約 6分 で読めます。

Search Console上でのクロールエラー

Search Consoleはサイト管理を行うのに便利なツールです。しかし様々なチェック項目の中があるため、初心者の方には、どの項目を重視してみればよいか, さらには各項目で何を分析できるのか難しいと感じる面もあるでしょう。

実際サイト運営者の方とお話をしていると、Google Analytics は確認するけどSearch Console はあまり見ないという方は多いです。

Search Consoleとは?

Googleが提供しているサービスで、サイト管理や運営のために使うツールです。自分のサイトをSearch Consoleに登録すると、Googleがどのように自分のサイトを認識しているかを確認できます。

サイトを運営している方は、アクセスを集めたいと思っていることでしょう。そのためには、検索結果で上位に表示される必要があり、またそのためにはGoogle の検索エンジンからあなたのサイトの評価を知ることが大切です。

Search Consoleを活用して、Webサイトにより多くの検索ユーザーを集めるための最適化を行っていきましょう。まだ、Search Consoleに登録していない方は、【保存版】Search ConsoleでSEO対策 コンテンツ洗練化の9ステップ を参考にしながら是非登録してみてください。 サーチコンソール メイン画面 Search consoleを開くと、上図のような画面が現れます。大きく分けるとダッシュボード、現在のステータス、新しい重要メッセージという部分から構成されています。

今回はダッシュボードや現在のステータスに出てくるクロールの定義やSearch Consoleでのクロールエラーの見方について解説していきたいと思います。

クロールとは何?

クロールという言葉を聞くと、泳ぎをイメージされる方も多いかもしれませんが、IT用語では、Webページの情報を集めることを表します。 Google検索、Yahoo検索などの検索エンジンの命令によって、Webクローラーという巡回ロボットがWebページの情報を集めていきます。

有名なWebクローラーにはGooglebotがあります。 Google のクローラーにクロールされたWebページはGoogleのインデックスに登録されます。インデックスされるとは、集められたWebサイトの情報を記録するということです。

つまり、クロールされインデックスに登録されないことには、検索対象としても扱われないということになります。

Search Consoleのクロールについて

ダッシュボードにあるクロールをクリックすると、以下のような項目が出てきます。 サーチコンソール 今回の着目ポイント クロールエラーをクリックすると以下の画面が表示されます。クロールエラーがあるということは、Webクローラーがサイトの巡回を行う際に問題が生じたことを表しています。

クロールエラー画面クロールエラーには大きく分けてサイトエラーとURLエラーがあります。それぞれ見ていきましょう。

サイトエラーについて

サイトエラー

サイトエラーは更に、DNSエラー・サーバー接続エラー・robots.txtの取得エラーの3種類に分けられます。

DNSエラー

picture5

DNS(Domain Name System)とは、IPアドレスとドメイン名を対応させて運用管理するためのシステムです。DNSエラーが起きたということは、このIPアドレスとドメイン名の紐付けができなかったことを意味します。

DNSエラーを解決するためには、インターネットに接続できなくなった原因を解消する必要があるので、ネットワーク機器やネットワーク構成上の不具合がないか確認しましょう。それでも不具合が解消しなければ、一時的なアクセス不具合の可能性があるので、しばらく時間をおいてページの再読込をしてみましょう。

サーバー接続エラー

サーバー接続エラーサーバー接続エラーはサーバーの応答が遅すぎる、またはGoogleのWebクローラーがブロックされている時に起こります。 主な対処法には、

  • Webクローラーがブロックされていないかの確認
  • 過剰なページ読込の減少
  • サイトのトラフィック処理能力増強

などがあります。 詳しくは、Search Consoleのヘルプページhttps://support.google.com/webmasters/answer/2409437 をご覧ください。

robots.txtの取得エラー

robots.txtとはロボット型検索エンジンに対する命令を記述するためのファイルです。Webクローラーがrobots.txtにアクセスできるようにしておきましょう。robots.txx エラー画面

URLエラーについて

PC、スマートフォン、フィーチャーフォン(俗にいうガラケー)でのURLエラー状況が分かります。

URLエラーURLエラーについても更に、サーバーエラー・アクセス拒否エラー・404エラーの3種類に分けられます。

サーバーエラー

サーバーエラーは、サイトエラーの一つであるサーバー接続エラーと同様に、サーバーの応答が遅すぎる、またはGoogleのWebクローラーがブロックされている時に起こります。 主な原因としては、 サーバーがWebクローラーのアクセスを拒否している サーバーの過負荷や設定ミス リクエストのタイムアウトが挙げられます。

サーバーエラー

アクセス拒否エラー

アクセスが拒否される主な原因には、

  • サイトの閲覧にユーザーのログインが必要で、Webクローラーがアクセスできなかった
  • サイトのrobots.txtファイルがWebクローラーのアクセスをブロックしている
  • ホスティングプロバイダがWebクローラーのアクセスをブロックしている

が挙げられます。 robots.txtのテストツールやFetch as Googleで解決できる可能性があるので、調べてみましょう。アクセス拒否エラー

404エラー

404エラーはGooglebotが存在しないURLにアクセスしたために起こります。ほとんどの404エラーはGoogle検索でのランキングに影響しないので、エラーを無視しても構わないことが多いです。

404エラーそれでもエラーの修正を行いたい場合には、 無効なリンクが公開されている場所を特定し、自分のサイトからのリンクか他のサイトからのリンクを修正する必要があります。 詳しくは、Search Consoleのヘルプページhttps://support.google.com/webmasters/answer/35120?hl=ja をご覧ください。


さあ、KOBITをスタートしよう。