Googleウェブマスター向け公式ブログでGoogleのクロールバジェットとは？という記事が上がっておりましたのでご紹介させていただきます。私はクロールバジェットのことを「クロール資産」とか呼んだりしていましたが、ここでは分かりやすく「クロールの割り当て」という訳され方をしています。

どんな感じでクロールをしているのか？

ウェブマスター向け公式ブログでは、ひとつのサイトに対するクローラーの割り当てがどれくらいなのか、どんな仕組みなのかを説明してくれています。実際には巷で「クロール頻度が多いほど検索順位が上がる」とか「クロールバジェットが下がることで、ファインダビリティが低下し検索順位が下がる」等の声もあがっていたため、誤解が無いようにGoogle側から改めて説明してくれているのだと思います。

実際には相当(何百万、何千万)なページ数のサイトでない限り、サイト運用者はクロールバジェットを気にする必要は無いとのことです。逆に大規模サイトやパラメータでURLを自動生成するようなサイトの場合は、インデックスの優先順位等も考慮してクロールバジェットを気を付ける必要はありそうです。

また、Googlebotは頻繁にクロールしすぎて当該サイトに負荷がかからない範疇で設計しているとのことです。その仕組みを“クロールレート”と呼び、クロールレートは当該サイトの同時アクセス可能数やサイトページの応答時間に合わせて、速度(≒頻度)を上げたり下げたりするようです(厳密には上限値をサイト毎に変えているということだと思います)。

単純化を恐れず言えば、クロールレートは、Googlebotでサイトのクロール時に使用する同時並行接続の数、および次回のフェッチまでに必要な待ち時間を表します。
引用）Googleウェブマスター向け公式ブログ

クロールレートを調整したい場合はSearch Consoleヘルプに沿って、Search Console上で、下図のように制限をかけることが可能です。

クロールレート調整

ちなみに、Search Consoleで設定したクロールレートは90日間有効でその後は元に戻りますので、一時的な手段として捉えておいた方が良いと思います。また、ディレクトリ単位等でクロールレートを制限することは出来ません。あくまでもドメイン単位になります。

クロールの頻度と意思

クロールレートが上限値に達していなくても、新たにインデックスさせる必要がないサイト(更新されていないサイト)にはクロール頻度が下がるようです。

クロール速度が上限に達していない場合でも、インデックス登録における必要性がなければ、Googlebotによるクロールは少なくなります。クロールが必要かどうか決める上で大きな役割を担うのが、次の2つの要素です。

人気度：インターネット上で人気の高いURLほど、Googleのインデックスで情報の新しさが保たれるよう頻繁にクロールされる傾向があります。
鮮度：Googleのシステムでは、インデックス内のURLの鮮度が落ちないようにしています。

引用）Googleウェブマスター向け公式ブログ

つまり、人気(アクセス数やサイテーション、リンク等様々な要素が絡んで“人気”としているはずです)や更新頻度、対象URL数の安定性、またサイト移転等による急激なURL変化等によってもクロール頻度は変動するようです。さらにクロールレートが当該サイト毎に異なるわけですので…クロールバジェットの多さがサイトとしての評価に比例するとは限らないということですね。

クロールの妨げ

EC等にありがちですが、元記事によりますと以下の場合はクロールレートやインデックス登録に悪影響が出る可能性が高そうです。

価値の低い URL は、重要度順に次のようなカテゴリに分けられます。

ファセットナビゲーションとセッションID
サイト内の重複コンテンツ
ソフトエラーページ
ハッキングされたページ
無限のスペースとプロキシ
質の低いコンテンツやスパムコンテンツ

引用）Googleウェブマスター向け公式ブログ

飽くまでも規模の大きなサイトが対象とのことですが、中小規模サイトでも上記のようなページURLが存在してしまうのは決して気持ち良いものではないですよね…。ファセットナビゲーション(簡単に言ってしまえば、条件絞り込みページ等)に関しては(canonicalやnoindex、disallow等を活かして)インデックス方針等を明確化しておく必要があります。

検索順位との因果関係

Googleはクロールが検索順位に影響するか否かの質問に対して、以下のように答えています。

クロール速度が上がっても、必ずしも検索結果での掲載順位が高くなるとは限りません。Googleでは何百もの要素を使って検索結果のランキングを決定しています。クロールはサイトが検索結果に表示されるために必要なものではありますが、ランキング要素ではありません。
引用）Googleウェブマスター向け公式ブログ

これは私の個人意見ですが、SEO上のクローラビリティイメージとしましては「しっかりとクロールしやすいサイトであれば、Googleからのアルゴリズム評価も正当に受けやすい」と考えています。せっかく良い情報やコンテンツが書かれていても、クローラーの妨げ要因が多くあることで上手くGoogle側が認識できず、検索順位が上がるまで時間がかかってしまったりしたら勿体ないですからね。直接的に検索順位に影響しなくても、クローラーに分かりやすくサイト構造を設計しておくことは、その管理上も含めてそもそも必要だとは思います。

とにかくクロールバジェットそのものを意識しながらチューニングを行うよりも、サイト構造の設計やインデックス方針をしっかり決めて計画的に運用していければ、クロールバジェットは特に気にしなくて良いのではないかと私は考えています。

クロールバジェットの話

Search for articles

Archives