Googleは米国現地時間11月24日に、Search Consoleにおけるクロール統計情報のUIと仕様を刷新したことを発表しました。Google Search Central Blogでも記事化されていますので和訳してご紹介します。

To help website owners better understand how Googlebot crawls their sites, we’re launching a brand new version of the Search Console Crawl stats report
Learn more about the new report and how to use it at https://developers.google.com/search/blog/2020/11/search-console-crawl-stats-report.html

— Google Search Central(@googlesearchc) 2020年11月25日

Googlebotがサイトクロールしている状況をウェブサイトオーナーがより理解できるよう、Search Consoleのクロール統計情報を刷新しました。
新しいレポートとその使用方法：https://developers.google.com/search/blog/2020/11/search-console-crawl-stats-report.html

引用）@googlesearchcより和訳

新しいクロール統計情報の説明

GoogleによるSearch Central Blog(日本語訳まだ無)を読めばほぼ全て理解できますのでまずは和訳をご紹介します。

サイトのために新しく改良されたクロール統計情報

Googlebotがどのようにクロールしているのかをサイトオーナーが理解しやすくするため、Search Consoleのクロール統計情報の新しいバージョンを立ち上げました。
新しいクロール統計情報には、以下の新機能が導入されています。

レスポンスコード別、クロールされたファイル形式別、目的別、Googlebotタイプ別にグループ化されたリクエストの総数
ホストのステータスの詳細情報
サイト内でリクエストがあったURLの例
複数のホストを持つプロパティをまとめた確認ができるのと登録ドメインプロパティ単位での確認ができる

オーバータイムチャート

クロール統計情報は、サイトオーナーが次のGoogleクロールデータ項目をグラフで確認できるものです：総クロールリクエスト数、総ダウンロードサイズ、平均応答時間

オーバータイムチャート

グループ化されたクロールデータ

新バージョンのレポートでは、レスポンス別、取得したURLのファイル形式別、クロールリクエストの目的別、Googlebotタイプ別に分かれたクロールリクエストの詳細なデータが提供されます。グループ化された中での行をそれぞれクリックすると、各タイプ別のURL例を見ることができます。

グループ別クロールデータ

ホストステータスの問題に関する高水準で詳細な情報

ホストのステータスでは、過去90日間でサイトがGoogleに示す一般的な可用性を確認出来ます。

ホストのステータス詳細

複数のホストを持つドメインプロパティの場合、レポートのサマリーに表示されるトップホスト以下の各ホストステータス別で確認することができます。これによって、ドメインの下にあるすべてのホストのパフォーマンスを1箇所で評価することができます。

複数ホストドメイン

つまり、新しいクロール統計レポートでは、Googlebotがどのようにサイトをクロールしているかを理解しやすくなります。

オーバータイムチャートでGoogleの過去のクロール状況を確認
サイトから返されるファイル形式とその量を確認
クロールリクエスト詳細をリスト単位で確認
ホストのステータスでサイトの可用性における問題発生を確認

　
この新しいデータが皆様にお役立ちできることを願っています。レポートに関するご質問やコメントは、Search CentralのヘルプコミュニティかTwitterのメンションでお気軽にお声がけください。また、クロール統計情報のドキュメントも必ずご確認ください。

引用）Search Central Blogより和訳

クロール統計情報の見かたに関しては、Search Consoleヘルプに詳細が記載されていますので、それをご覧いただくのが良いでしょう。

また訳内における複数のホストについて、もう少し分かりやすくご説明しますと、例えばサブドメインを含むドメイン全体をプロパティとしてSearch Consoleに登録している場合(ドメインプロパティとして登録)、[ホストのステータス]項目で、サブドメイン単位で可用性を教えてくれる、ということです。

2つ以上の子ドメインを含むドメインプロパティを閲覧している場合(例: example.com、m.example.com、www.example.com)、1つの子ドメインを対象としたデータ、またはすべてのドメインについてまとめられたデータのどちらも確認できます。過去90日間にトラフィックを獲得した上位20個の子ドメインのみが表示されます。

引用）クロールの統計情報レポート – Search Consoleヘルプ

使える機能満載！

今回のクロール統計情報、かなり使えます！
まず、レスポンスコード別にURL例を知ることができます。「例」とGoogleが記載するだけに全てではないことは理解していますが、自分のWebサイトにおいて、ステータスコードをどう記載しているのか、またGoogleがどう判断しているのか、全体の中から発見することができます。今まではSearch Consoleのインデックスカバレッジを使うかURL検索ツールを使ってインデックスステータスを確認する程度でしたが、コード番号別にもう少しメカニカルな感じで教えてくれます。
しかもファイル形式別にも教えてくれるので、個人が把握していないWebサイトの状況も理解できますよね。例えば「うわぁ、私が担当する前にこんなファイルがサーバー内に格納されていたんだぁ」という感じで発見できるでしょう。これ、企業オウンドメディアの新担当あるあるです(笑)。Googlebotの種類別でも何がクロールしてきたかが分かりますし、今までのクロール統計情報をはるかに凌駕した使い勝手に変身したのではないでしょうか。

特に大規模サイト(数十万ページ)の場合は、こういったコーダー目線でのデータ提供をしてくれるのは非常に助かるはずです。
是非、サイトオーナーや担当者は一度目を通しておくと良いでしょう。多少、上級者向けかもしれませんが、かなり良い機能です。

クロールの統計情報が刷新

Search for articles

Archives