Googleからの発表内容

米国現地時間4月29日にGoogleが発表した内容です。若干長文ですが、ご覧ください。

2020年にGoogle検索がスパムとどう戦ったか

Google検索は、誰でもアクセスできるWebで有益な情報を見つけるための強力なサービスです。しかし残念ながら、全てのWebページが善意で作られているわけではありません。中には人々を欺くために作られたものも多く、それらはGoogleが日々戦っている天敵でもあります。秩序を乱すようなコンテンツや悪意のある行為から検索体験を守り、皆様の安全を確保するために、Google検索は2020年も多くの改革に投資しました。

よりスマートにスパムと戦う

Googleは検索サービス開始初期からスパムと戦ってきましたが、昨今の人工知能(AI)の進歩によって、今までのアプローチに革命を起こすような、前例のない可能性を秘めています。
Googleのスパムに関する深い知識とAIを組み合わせることで、昨年Google独自のスパム対策AIを構築することができました。このAIは、既知のスパムと新しいスパムの両方の傾向を捉えるのに非常に効果的です。例えば、自動生成されたコンテンツやスクレイピングされたコンテンツを持つサイトに対して、数年前に比べ80％以上対処することができました。
依然として脆弱なWebサイトがかなり多く、2020年もスパムによるハッキングは横行していましたが、Googleは検知能力を50％以上向上させることで、スパムによるハッキングサイトページのほとんどを検索結果から除外することができました。
しかしこれはGoogleだけでは解決できない問題です。たとえ全てのスパムを検知して除外できたとしても、ハッカーたちはあらゆるスパムが排除されない限り、抜け道を探し続けるでしょう。だからサイトオーナー側も、セキュリティ上の衛生管理を維持することで、ご自身のサイトを守るようお願いします。サイトをハッキングから未然に防ぐのは、ハッキングされてから復旧させるよりもはるかに簡単です。Googleは、Webサイトがハッキングされる最も一般的な方法や、Search Consoleを使う方法、サイトがハッキングされたかどうかを確認する方法のための役立つリソースを提供しています。是非ご参考いただき、ご一緒にWebの安全性を高めていきましょう。
昨年は世界的なパンデミックを始め、大きな出来事が起きましたが、そんな重要トピックについて何十億もの検索が行われたため、Googleは検索を保護・拡大するために多大な努力を重ねました。近所でCOVIDの検査テストを紹介するサイトを探す際、フィッシングサイトに誘導する意味不明なスパムサイトに辿り着く心配はなかったはずです。Googleはスパムコンテンツを排除するだけでなく、他の検索チームと協力して、最も重要な時に、最も重要な場所で、最新かつ高品質な情報をユーザーに届けるよう尽くしてきました。

スパムがユーザーに届くのを防ぐ

Googleが検索結果を表示するまで、裏では様々なことが行われています。Googleは毎日、何十億ものWebページを発見し、クローリングし、インデックスを作成しています。その中には大量のスパムも含まれており、毎日400億ものスパムページを発見しています。ここでは、皆様が有益な情報を探す際にスパムが邪魔しないようにするための仕組みをご紹介します。

この図は、Googleがどのようにスパムを防いでいるかを概念的に示しています。

まず、Googleは、ページやその他のコンテンツをクロールする際、スパムを自動検知するシステムを持っています。クローリングとは、Googleの自動システムがコンテンツにアクセスし検索結果を提供するためのインデックスに含めるかどうか検討することです。スパムとして検出されたコンテンツの中には、インデックスしないものもあります。
これらのシステムは、サイトマップやSearch Consoleを通じて発見したコンテンツに対しても機能します。例えば、Search Consoleにはリクエストインデックス機能があり、サイト運用者が迅速に追加してほしい新規ページをGoogleに通知できます。スパマーが脆弱なサイトに侵入することでそのサイトオーナーになりすまし、Search Consoleを通して自作の大量のスパムページをGoogleにクロール＆インデックス申請する様子を追うこともできます。これらはAIを使うことで、怪しい検証を局所的に抽出し、スパムURLがインデックスされることを未然に防止しています。
次に、インデックス登録されたコンテンツを分析するシステムもあります。検索された際に、合致したコンテンツがスパムかどうかをダブルチェックする仕組みです。スパムであれば、そのコンテンツが検索結果の上位に表示されることはありません。また、これによる情報は、同様のスパムが今後インデックスに含まれないようにシステム改善する機能にも使用されます。
このように、AIを活用した自動システムのおかげで検索結果の上位に表示されるスパムサイトは非常に少なくなりました。Googleは、これらの自動システムによって「検索」からのアクセスの99％以上がスパムではないと断言できます。残りのごくわずかな割合については、Googleの専門チームが手動対処し、その調査結果をもとに自動化システムへの組み込みをさらに改善しているわけです。

スパム以外からも皆様を守る

2020年はスパムだけでなく、他の種類の不正使用からも皆様を守るために取り組んできました。これらの多くは、経済的にも個人的にも大きな被害をもたらす可能性があります。
2020年は、オンライン詐欺や不正行為から、より多くのユーザーを守るために、保護できる対象範囲拡大に向けて大変力を入れてきました。オンライン詐欺には様々な形があり、従来のWebスパムよりも多くの方法でユーザーに悪影響を及ぼす可能性がありました。例えば、多くの詐欺師は、人気のあるサービスや商品のカスタマーサポートの電話番号を提供するように装い、電話をかけてきたユーザーを騙して、銀行振り込みやギフトカードで支払いをさせることを目的としています。一般的に「カスタマーサポート詐欺」や「テクニカルサポート詐欺」と呼ばれるこの種の詐欺は、何十万人ものユーザーから報告されており、ユーザーは各ケースで数百ドルを詐欺師に奪われる可能性があります。

2018年以降、Googleのシステムは詐欺の可能性があるサイトを検出することで、年間数億回の検索を保護することができました。Web上では詐欺師たちがキーワードの詰め込み、ブランドを模倣したロゴ、虚偽の電話番号などを使って、低品質なWebサイトを多数作成しています。Googleのアルゴリズムによるいくつかの解決法で、そういった詐欺や不正行為が検索結果に表示されないようにしてきました。これは、検索結果の品質とユーザーの安全性を確保するために、Googleが昨年開始した数種類の保護機能のうちのひとつでもあります。Googleの使命は、課題を先読みして、最も信頼に値する検索結果を提供することです。同時に、皆様も情報を得て、詐欺を学ぶことで、自分自身を今以上に守るようお願いします。
また、サイトのコンテンツを理解する際にも、AIの進歩は大いに役立ちました。例えば、商品のレビューや商品情報、ECサイトのランキングを改善することにおいても役立っています。Google検索は、購入前に商品を調べたり探したりするのに最適な方法でありますが、Googleはさらに詳細な調査による情報や、便利な情報を持つコンテンツを優遇することで、ユーザーが次の購入時にはもっと有益な情報を得られるようにしていきたいと考えています。
スパム対策が大幅に進歩したに一方で、そのスパマーはGoogleの検知を逃れるための新しい技術を開発することに余念がありません。Googleは常に改善に努め、新しいタイプの不正からユーザーを守る努力をしていますが、皆様からの報告も非常に助けになります。Google検索を利用する中で、誤解を招くような内容を見つけたり、詐欺に遭ってしまったり、スパムを受けたりした経験があり、今後そういったことが二度と起こらないようGoogleにご助力いただけるのであれば、詳細やその他情報とともに、スパムレポートを使ってフィードバックをお寄せくださいませ。

引用）Search Central Blogより和訳

徹底したスパムフィルタリング

今回のGoogleからの発表内容から、Googleはスパム対策として、該当ページをクローリング時点で防ぎ、インデックス時点で防ぎ、最終的に人間の手でも防いでいることが分かりました。そしてそれらは、フィルタリングの浅い段階で駆除できるよう、AIによって常時フィードバックする仕組みとなっているようです。
もちろん、マルウェアによるスパム対策もそうですが、それ以外にも人工的にフィッシング詐欺を行うWebサイトも同様に対処しているとのことです。これに関しては、スパムとは別に巧妙に人の手によって作られたWebサイトですので、検出するのが非常に難しいかと思います。それでも様々な傾向からAIで自動識別しているようです。しかもそのAIは先日発表された商品レビューアップデートにも一役買っているとのことでした。

終わりがないGoogleのスパム対策ではありますが、Googleが併せてお願いしているように、サイトオーナー側もマルウェアやスパムによるアタックに対して充分な防衛を行いつつ、ユーザーとしても怪しいWebサイトを発見したら、Googleに連絡するように心がけましょう。先日も私の個人サイトで自分自身が撮った画像を加工してアップしているブログを発見しました。良い写真やイラスト、図ほどパクられやすいですよね。こういったケースはDMCAで申し立てするものなので、今回のスパム報告とは異なりますが、なにせGoogleに連絡するのが面倒臭くて…。

いずれにしても面倒臭がらずにこまめにGoogleへ通報できるよう心掛けなければ、と私も自戒します。

2020年のスパム対Google

Search for articles

Archives