Googleは米国現地時間11月24日、Google Search Consoleにおける以前からの機能であるクロール頻度の設定ツールの提供を2024年1月8日をもって提供を終了する旨、検索セントラルブログにて発表しました。既に日本語版も出ておりますのでご紹介だけしておきます。

どういう内容？

Webサイト管理者にとって、サーバの設定や容量の問題等によってはGooglebotに頻繁に来てほしくないケース(逆のケースはほとんどない)がありました。そんな時、Googlebotに来てもらう頻度を調整できることができたのです。今ですと、Google Search Consoleにある[以前のツールとレポート]項目内の[詳細]から[クロール頻度の設定]というツールで確認できます。これによって、サイトに対するGooglebotのクロール頻度を調整(多くの場合は抑制するケースで利用)できました。実際に推奨される使用方法は「Googleによるクロールリクエストでサイトが過負荷になっている場合にのみ使用」とされていました。
　

クロール頻度の設定
　

しかし、もうGooglebotはサーバへ負荷になっていると判断した場合はクロール頻度が自動的に下がるようになっていますし、このクロール頻度の設定ツールの利用者も少なく、そこまで有用ではないと判断し、この度廃止(2024年1月8日まで)することを決めたとのことです。

クロール頻度制限ツールは効果が現れるまでかなり時間がかかっていました。実際、新しい制限がクロールに適用されるまで1日以上かかったケースもあります。しかし、幸いなことに、サイト所有者がこのツールを使用する必要に迫られたケースはほとんどなく、使用したことがあるサイト所有者は、多くの場合、クロール頻度を必要最低限なレベルに設定していました。また、Googleでは、クロール頻度制限ツールのサポート終了に伴い、最低クロール頻度を以前のクロール頻度制限と同等の低い頻度に設定します。つまり、検索インタレストが低く、クローラーがサイトの帯域幅を浪費しない場合、実質的には一部のサイト所有者が過去に行った設定を引き継ぐことになります。

引用）検索セントラルブログより一部

実際には既にサーバ状況に合わせてクロール頻度を自動調整していますので、今回のこのツールが廃止されても、従来設定されていた内容は引き継ぐとのことですし、結果的にサーバーを逼迫していたり、検索者に有用でないと判断すれば結果的にクロール頻度は引き継ぐことになるでしょう、とGoogleは言っています。

検索利用されたければクロールされてナンボ

そもそも、Google検索にひっかけたくなければ、robots.txtで制御すれば良いでしょうし、今のこの時代、Googlebotの頻繁なアクセスに困るようなサーバを利用しているWebサイトもほぼ存在しないのではないでしょうか。

むしろクロールが頻繁に来るWebサイトは、新鮮で、常時最新情報があり、wwwにおいて見つかりやすく、リンクも多く受けており、アクセシビリティ性も高い、等の裏返しなので、良質なWebサイトである証ですよね。私も、取引先が大型のサイトやDB系サイト(データベース系サイト：人材案件、不動産物件、EC等の商材を数多くデータベースとして保有するサイトのことを指します。私は今まで案件系サイトと言っていました)の場合は、サーバからGooglebotのクロール情報を取得し、またSearch Consoleのページ単位でも確認し、俯瞰的なレポートとしてご提出するようにしています。サイトページのクロール率を上げたり、クロール頻度を気にすることはSEO上重要な視点なのです。

ですので、敢えてクロール頻度を下げるようなことをする必要もなく、また今回のクロール頻度の設定ツールを使う必要も無い、という話ですね。まぁ、そもそも使用している人も少ないと思いますので、本件は参考情報程度で捉えてください。

クロール頻度設定ツールの廃止

Search for articles

Archives