KOBIT

KOBITブログ

robots.txtテスター、サイトマップから見えるサーチコンソールを用いたサイト運営 

この記事は約 8分 で読めます。

search console クロールについて2

前回の記事でSearch Consoleのクロール統計情報とFetch as Googleから何がわかるのか紹介していきました。今回はSearch Consoleのクロールに関する残りの機能(robots.txtテスター・サイトマップ・URLパラメータ)について見ていきましょう。

robots.txtテスター

robots.txtテスターではサイト内の特定URLがGoogleのクローラーをブロックしているか調べることができます。

ここでrobots.txtがどのようなものだったか思い出してみましょう。robots.txtとはクローラーがwebサイトのディレクトリやファイルにアクセスすることを制限するためのファイルです。robots.txtは主に以下のファイルのアクセス制限のために用いられます。

画像以外のファイル

Webページでは、Googlebotのクロールでサーバーに負荷がかかってしまいます。その負荷を軽減するためにサイトの重要でないページや類似ページへのクロールを回避することに用いられます。

画像ファイル

画像ファイルを検索結果に表示しないようにします。

リソースファイル

ページの中で重要度が低いと考えられる画像、スクリプト、スタイルファイルなどのリソースをブロックできます。しかし、ページの中で重要なリソースをブロックするとGoogleのクローラーがページを適切に分析できなくなる恐れがあるので注意しましょう。

robots.txtテスターにアクセスするには、クロールメニューの「robots.txtテスター」をクリックします。

robots.txtテスター

すると以下のようにrobots.txtの中身が表示されます。主な機能は3つあります。

①robots.txtの編集

robots.txtテスター1

Disallowの部分でクロールを禁止するページを、Allowの部分でクロールを許可するページを指定することができます。

自分のサイトのrobots.txtが完成したら、下図の「送信」をクリックすることでrobots.txtの更新を知らせることができます。

robots.txtテスター2

すると次の画面に移るので、一番下の送信ボタンをクリックし、更新をリクエストします。

更新リクエスト

次に「送信しました。すぐにテスターページを再読み込みしてタイムスタンプを送信してください。」というメッセージが表示されるので、数分経ってから、ページを再読み込みし、変更が正しく反映されているかどうか確認しましょう。

更新リクエストメッセージ

②エラーの確認

robots.txtの中に不備がないかを調べるために、エラー数を確認するようにしましょう。

エラー数や警告数が0であれば、robots.txtは正しく書けているということになります。

robots.txtテスター エラー

③クロールできるかの確認

robots.txtの記述が正しく書けていればいいというわけではありません。正しくアクセスを制限しているか調べておく必要があります。

フォームにURLを入力し、「テスト」をクリックすれば、そのページがクロールできるかできないかを確認できます。正しくクロールできるのであれば「許可」、クロールできない場合は、「ブロック」と表示されます。

robots.txtテスターテスト

また「Googlebot」の部分をクリックすると、他のクローラーを選択することが可能です。

robots.txtテスタークローラー

選択できるクローラーには以下のようなものがありますので、目的に合わせて使い分けしましょう。

  • Googlebot: Google Web検索用のクローラー
  • Googlebot-News: ニュース用Googlebot
  • Googlebot-Image: 画像用Googlebot
  • Googlebot-Video: 動画用Googlebot
  • Googlebot-Mobile: フィーチャーフォン用のGooglebot
  • Mediapartners-Google: 広告ターゲットを絞るためのGoogle Adsenseのクローラー
  • Adsbot-Google: 広告とそのリンク先ホームページがマッチしているかを判断するための情報を集めるクローラー

以上でrobots.txtテスターの機能紹介は終了となります。

サイトマップ

サイトマップとは、Googleや他の検索エンジンにサイトにどのようなページがあるかを伝えるものです。サイトマップには以下のように様々なメリットがあるので、積極的に活用していきましょう。

  • ページを認識し、インデックスしてもらう
  • コンテンツの更新を通知する
  • インデックス数を把握する
  • コンテンツを正規化する

Search Consoleのサイトマップにアクセスするには、クロールメニューのサイトマップをクリックします。

サイトマップ

すると以下の画面に移ります。

サイトマップ2

さらに上図のウェブページをクリックすると、

サイトマップ ウェブページ

グラフで「送信」と「インデックスに登録済み」の推移を確認することができます。

Search Consoleのサイトマップで注目すべき点は主に4つあります。

①サイトマップの送信

サイトマップ送信のための手順を説明していきます。

まず、サイトマップの追加/テストをクリックします。

サイトマップの追加テスト

すると「サイトマップの追加/テスト」で、追加したいとサイトマップのファイル名が入力できるようになるので入力後、送信ボタンをクリック。

サイトマップ追加テストの送信

以上で手順は終了ですが、「送信」と「インデックスに登録済み」が正しく表示されるまで時間がかかることがあります。また、下図の「再送信」をクリックしてSearch ConsoleでサイトマップXML送信が完了したことを確認する必要があることもあります。

サイトマップ再送信

②インデックスに登録済み

今回の場合、「インデックスに登録済み」の数が「送信」の数よりも少なくなっていることがわかります。これには以下のような原因が考えられます。

  • robots.txtが送信したサイトマップURLリストの一部をブロックしている。
  • コンテンツの一部が重複している
  • GoogleがサイトマップのURLを辿れていない

原因を特定し、「送信」と「インデックスに登録済み」の数に大きな差がつかないようにしましょう。

③警告数

Googleに正しくWebサイトの状態を伝えるためにどのような警告が出されているか確認することが重要です。下図の「警告数」クリックすると、詳細がわかります。

サイトマップ警告数

「警告数」をクリックすると、以下の画面に移ります。

サイトマップエラー

どのような問題が起きているか(サイトマップエラー)やその問題の説明が表示されています。この図では「URLにアクセスできません」しかありませんが、31種類ものエラーが存在します。それぞれのサイトマップエラーの詳細な説明や解決策がSearch Consoleヘルプhttps://support.google.com/webmasters/answer/183669?hl=ja

にありますので、エラーを早急に解決していきましょう。

④サイトマップの削除

Webサイトが大きくなりすぎたため、もう少しコンパクトにしたいと考えた場合に、サイトマップを削除するという方法があります。

サイトマップ削除

上図のようにサイトマップの行にあるチェックボックスをクリックすると削除ができるようになります。

URLパラメータ

URLパラメータにアクセスするには、クロールメニューのURLパラメータをクリックします。

URLパラメータ

すると以下のような画面が表示されます。

URLパラメータ 表示

注意書きにもあるように、Googlebotでサイト検出に関する問題がなければ、使用することはない機能といえるでしょう。

これでSearch Consoleのクロールで利用出来る機能の紹介は終わりとなります。利用出来る機能を有効に使い、検索結果でのサイトパフォーマンスを最適化していきましょう。


さあ、KOBITをスタートしよう。