クローキングとは？具体的な手法やSEOでやってはいけない理由

SEO対策には、効果の期待できる施策もあれば、ペナルティなど逆効果になってしまう施策もあります。

後者の中でも代表的な手法の一つが、今回紹介するクローキングです。

ここではクローキングとはどのような手法か、なぜSEOでマイナスの影響を及ぼすのかについて解説していきます。

また自分ではそのつもりがなくても、検索エンジンがクローキングと評価してしまう場合も。
そのような不本意なクローキング判定を避けるためのポイントについても紹介するので、参考にしてください。

クローキングとは：検索エンジンとユーザーに別のコンテンツを見せること

クローキングとは、サイトを閲覧する私たち人間と検索エンジンのクローラーとで、異なるページを表示させる行為です。

Googleをはじめ検索エンジンでは、サイトを巡回しているクローラー（＝ロボット）がページ内容を読み取り、アルゴリズムに基づいた評価を行ったうえで検索順位を決定しています。

この仕組みを逆手にとって、検索エンジンに対しては上位表示をさせたいキーワードがたくさん含まれたページを読ませ、実際のユーザーにはよりユーザビリティの高いページを表示する手法がクローキングです。

なお、クローキングは、Googleのスパムポリシーで禁止事項として以下のように明記されています。

クローキング

クローキングとは、検索ランキングを操作したりユーザーに誤解を与えたりすることを目的に、ユーザーと検索エンジンに異なるコンテンツを表示することです。

引用：Google検索セントラル「Google ウェブ検索のスパムに関するポリシー」

もしクローキングを行っていることがGoogleに発見された場合、ペナルティの対象になります。
検索順位を上げるどころか、むしろ大幅な順位低下や検索結果に表示されなくなってしまうので絶対に取り組まないようにしましょう。

クローキングの手法例

クローキングの手法は様々ですが、ここでは代表的な具体例について紹介するので、サイト作りの際の参考にしてください。

クローキングをしようと思っていなくても、知らず知らずそうなってしまいペナルティの対象になった事例も存在します。以下のような手法になってしまわないように気を付けましょう。

それぞれ解説していきます。

隠しテキストを使ったクローキング

隠しテキストを使った手法は広義のクローキングにあたります。

文字サイズを0にする、背景とテキストを同じ色にする、画像の後ろにテキストをレイアウトするなどの方法でテキストを隠すと、私たち人間にはテキストが見えませんが、クローラーは認識可能です。

過去このような隠しテキストはSEO施策として有効でした。
ターゲットになるキーワードを隠しテキストに盛り込んで、クローラーに認識してもらうようなイメージになります。

ただし、現在はクローキングにあたる点に加えて、そもそも隠しテキスト自体が以下のようにガイドライン違反です。

隠しテキストと隠しリンク

隠しテキストや隠しリンクは、検索エンジンを操作することのみを目的としてページにコンテンツを配置しながら、人間のユーザーには見えにくいようにする行為です。

引用：Google検索セントラル「Google ウェブ検索のスパムに関するポリシー」

また、そもそも現在は検索エンジンが進化しており、ただキーワードを多く入れるなど単純な方法で上位表示はできなくなっています。ユーザーの検索意図に答えた優れた内容のコンテンツでなければ評価は得られないため、そもそも隠しテキストはリスクだけあってリターンの無い手法だと言えるでしょう。

画像やflashコンテンツを使ったクローキング

画像やflashコンテンツをユーザーに表示し、検索エンジンにはテキストを表示するクローキング手法もあります。

デザインされた画像やflashコンテンツは、ユーザーに対してテキストの文章よりも広告効果が高い場合がありますが、クローラーでは十分に内容を読み取ることができません。

そこでユーザーには画像やflashコンテンツを、クローラーにはテキストを表示して検索エンジンからの評価を高める手法を取り入れるサイトがありましたが、クローキングにあたりGoogleガイドライン違反です。

ペナルティ対象なので、注意してください。

詐欺サイトによるクローキング

実際は詐欺サイトなのに、検索エンジンには通常のサイトであると偽装するクローキングの例もあります。

フィッシング詐欺サイトなどは代表的な例です。
テーマパークのチケット販売サイトであることを偽装し、実際にユーザーが会員登録などを行うと個人情報を盗まれる事例など、よくニュースにもなっているため、知っているという方も多いのではないでしょうか。

詐欺サイトにはクローキングが悪用されるケースが多く、現在でも行われているため、ご注意ください。

クローキングはSEOに大きな悪影響！絶対にやらない

別項でも何度か紹介しているように、クローキングはGoogleガイドライン違反なので絶対にやらないようにしましょう。

もしクローキング行為を行っていると判断されれば、ペナルティは免れないと思ってください。
ペナルティを受ければ、検索結果の順位が大幅に下がったり、検索結果に全く表示されなくなってしまうことになります。

また、クローキングをやめ、ペナルティが解除されても、以前の順位に戻る保証はありません。

意図的にクローキングをやることはまずないかと思いますが、知らず知らずのうちにクローキングになってしまわないように注意が必要です。

意図的ではないクローキング判定を避けるためのポイントについて次章で見ていきましょう。

意図的ではないクローキング判定を避けるためのポイント

意図しなくても、検索エンジンが「クローキングを行っている」と評価されてしまって、ペナルティをもらう可能性があります。

以下のポイントに注意して、意図しないクローキング判定を避けるようにしましょう。

それぞれ解説していきます。

会員ページなど特定ユーザーのみがアクセスできるページがクロールされていないか

会員限定のページなど定ユーザーのみがアクセスできるページを、検索結果で表示される設定（index設定）にしていると、クローキング判定される恐れがあります。

ECサイトをはじめ、ログインしないと閲覧できない会員制のページを運営している場合でも、通常であればクローキングには認定されません。

会員ページをクローラーが巡回する設定にすると、クローラーにはログインしていない状態のページ状態が読み取られるのに、会員にはログイン済みのページが表示されます。

したがって、クローラーとユーザーで別々のページが表示されるクローキングにあたると判定される場合があるのです。

したがって、会員限定ページに関しては、noindex設定などをしてクローラーの巡回を制御するようにしましょう。

スマホとPCでクローラーが振り分けられているか

スマホとPCで表示するページを分けている場合、クローラーの振り分けを適切に行っていないとクローキングとみなされる場合があります。

前提知識として、Googleではパソコンサイト向けにGooglebot Desktop、スマホ向けのサイトはGooglebot Smartphoneと、それぞれ別のクローラーを巡回させています。

パソコン向けのクローラーGooglebot Desktopがスマホ向けのコンテンツをクロールしてしまう設定となっていると、クローキングと判定されてしまうことがあるのです。

逆もまた同様なので、適切なクローラーを適切なページへと巡回させるようにしましょう。

なお、ユーザーに表示されるページは分けられていても、クローラー向けに振り分け設定ができていなければクローキング認定される恐れがあるので注意してください。

ただし、レスポンスウェブデザインを使っている場合には、このような振り分け対応をする必要はありません。

ハッキングされていないかセキュリティチェックをする

ハッキングをされた結果、意図せずクローキングになってしまうケースもあるので、セキュリティ面のチェックと強化を怠らないようにしましょう。

Webサイトをハッキングして、サイトに流入したユーザーを別のページにリダイレクトさせる悪質な手口は少なくなありません。

被害を受けると、ユーザーが閲覧するページとクローラーがチェックするページと一致しなくなって、知らず知らずのうちにクローキング認定されてしまうわけです。

そもそも別のサイトにリダイレクトされることになっているので被害は甚大だと言えるでしょう。

ハッキングの被害を受けているかどうかは、Googleサーチコンソールを使って調査することができます。

Googleサーチコンソールを開き、左側メニューから「セキュリティの問題」をクリックすると、以下のようにセキュリティチェックが可能です。

また、ハッキングを防止するために、サイトのセキュリティを強化しましょう。

二要素認証や自動ログアウト機能を搭載するなど、様々な対策を検討してください。

まとめ

ここまで、クローキングについて解説してきました。

人間が閲覧するサイトとクローラーが認識するサイトと別物だった場合、クローキング行為と認定されます。
Googleガイドラインで禁止行為と明記されているので、クローキング認定されればペナルティの対象です。

検索順位が大幅に低下したり、検索結果に表示されなくなったりするのでクローキングは行わないようにしましょう。

しかしこちらが意図したわけではないのに、クローキング認定される恐れはあります。
以下のようなポイントに注意し、意図的ではないクローキングを防ぎましょう。