突然Googleから「～の CSS および JS ファイルに Googlebot がアクセスできません」という件名のメールが届いて、焦っているという方も多いのではないでしょうか？
確かに robots.txt で特定のファイルはブロックしているけど、どのファイルの事を言っているのか分かりませんよね。今回は、そのファイルの特定方法について探っていきます。
Googleから送られてきたメールの内容
Googleから送られてきたメールの内容は下記の通り。
Google のアルゴリズムによるコンテンツのレンダリングとインデックス登録に影響を及ぼす問題が貴サイトで発生していることが Google のシステムにより判明しました。具体的には、robots.txt ファイルでの制限のために Googlebot が JavaScript や CSS ファイルにアクセスできません。Google では、これらのファイルによりウェブサイトが正常に機能していることを認識するため、これらのアセットへのアクセスをブロックすると検索結果における掲載順位が本来よりも低くなる可能性があります。
つまり、Googlebot が JavaScript や CSS ファイルにアクセスできないから検索結果に影響を与えるかもしれないよっという内容です。
提示された解決方法
同メールに「修正方法」として次のような解決方法が記載されています。
1. ブロックされているリソースを特定する
「Fetch as Google」機能を使用して、 robots.txt のディレクティブがブロックしているリソースを特定します。
Search Console（ウェブマスターツール）の「Fetch as Google」を使って特定しろとのこと。なので、まず「Fetch as Google」の「取得してレンダリング」を実行。
するとしばらく時間がかかりますが「レンダリング リクエスト」にチェックが入るので、その部分をクリックして詳細を確認。
「レンダリング」というタブで、 Googlebot が認識したページと、訪問者に表示されるページが比較されます。その下に Googlebot が取得できなかったファイルが一覧で表示されます。つまりこれがブロックされたファイルになります。
型に「画像」「スクリプト」、理由に「ブロック」「一時的にアクセスできません」「見つかりませんでした」などがあります。
WordPressで構築しているサイトの場合は「wp-includes」に関する項目、ブログやアフィリエイト目的で運営しているサイトの場合は「a8」といった項目が表示されるかと思います。
2. robots.txt ファイルを更新する
サイトの CSS や JavaScript ファイルの制限を robots.txt のディレクティブから削除し、robots.txt テスターで変更をテストします。次に、変更した robots.txt ファイルをサイトで更新し、そのファイルを Search Console に送信します。
個人的な意見ですが、ここではレンダリングで「robots.txt テスター」のリンクが出た箇所だけ対応すればいいのかなと思います。というか、他の項目に関してはどうにもできないと思います。
3. 「Fetch as Google」を使用して修正を検証する
[モバイル: スマートフォン] オプションを選択して、ページを取得してレンダリングし、スマートフォン用の Googlebot が正常にコンテンツをレンダリングすることを再度チェックします。
robots.txt を修正したら、再度「Fetch as Google」の「取得してレンダリング」を実行して確認。この繰り返しで、ブロックエラーを減らしていきます。
アフィリエイトサイトの検索順位がこれで変わる？
おそらく今回の robots.txt によるブロックエラーは、Google検索エンジンのアップデートに関係しているのかなと個人的に感じます。
そして、ASPリンク（アフィリリンク）のエラーが非常に多くなっています。つまり、Googleはこういった形でアフィサイトの検索順位を下げようとしているのかもしれません。
A8をはじめとするASPのリンクは、ドアウェイやリンクジュースなどでアフィサイト自体の検索順位に影響しないよう、 Google bot のクローラーをブロックしていると聞いたことがあります。そこを上手く突いてきた今回の Google の仕様変更。
おそらく大きな影響は今のところ少ないと思いますが、アフィリエイター生命の雲行きがだいぶ怪しくなってきました。
ASP側の対応を待つ
今回の警告はあくまで自分側の robots.txt の設定によるブロックの見直しを促す警告のような気がします。ですので、ASP側による Googlebot のブロックはASP側に影響が出るだけのような気もします。
しかしながら、A8や楽天といったASPリンクがブロックされていると表示されているのは、サイト品質的にも良くない事のようにも思えます。
おそらく、近日中にASP側でタグに nofollow を付けるなど何らかの対策が行われると思いますが、アフィリエイト業に影響が出ることは間違いないでしょう。
コメント