Googleモバイルフレンドリー対応方法とrobots.txt設定

　突然、google先生からの自動通知メールで「CSSファイルおよびJSファイルにGooglebotがアクセスできません」とメールが届きました。
　1つだけなら良いですが、当方が運営しているサイトのすべてにおいてです。(^^;)
　しかも、さて、そろそろ寝ようかな？と思っていた、日付が変わる頃の時間帯に、どどど～と届くもので、嫌がらせか？とも感じましたが、対策・対応を行ってみました。

　実際問題、WordPressはスマホ対応のレスポンシブデザインになっているのですが、一部のサイトがなぜか、モバイルフレンドリーとしてgoogle先生に認めて頂けていませんでした。
　認めてもらえているサイトの方がもちろん多くて、一部だけがダメな理由も良くわからなかったので、放置していたのですが、今回、突然「CSSおよびJSファイルにGooglebot がアクセスできません」とのメールがたくさん届いた為、対策を講じて見る事にした次第です。

　まずは、googleSearchConsole(昔のウエブマスターツール)にて、モバイルユーザビリティのエラー状況を見てみます。
　「検索のトラフィック」→「モバイルユーザビリティ」から見れます。

　※各画像はクリックすると拡大します。
　うーん、イマイチですね。
　上記の画面からエラーとされているURLを確認して、下記の方法で、実際に問題があるのか？確認してみます。

　モバイルフレンドリーテスト

　しかし、モバイルフレンドリーなどと、googleさんは分かりにくい言葉を多用するのがいつも気になります。
　素直に「スマホなどにも優しい表示」などと表現なされば良いのにと感じますが、上記のツールで、google先生がどのように認識しているのか確認が取れます。
　ダメと表示された場合でも、改善することで、モバイルフレンドリーに問題が無いと認定されれば、スマホでの検索順位が上がりますので、さっそく対応してみます。

レスポンシブデザイン

　私の場合は、ほとんどのサイトをWordPressに移行させて、レスポンシブデザインのテーマを使用していますので、スマホでもタブレットでも最適な表示がされますので、基本的に問題が無いはずなのですが、どうも、検索エンジンのアクセスを制御するrobots.txtの設定内容が悪さをしているようです。
　そもそも、robots.txtは、google先生がモバイルフレンドリーを重視する以前に設定したままでしたので、それを改善する時が既に来ていたと言う事なのだろうと思います。
　もし、モバイルフレンドリーではない理由が「テキストが小さすぎて読めません」「モバイル用viewportが設定されていません」などでしたら、モバイル用のサイトを作らないといけませんね。

robots.txtの設定

　と言う事で、モバイルフレンドリーに対応するrobots.txtの設定と言うか記述を変更対応してみました。

　まずは、googleのSearchConsole(昔のウエブマスターツール)にて、robots.txtの内容を確認してみます。

　「クロール」→「robots.txtテスター」にて表示されます。
　私の場合は下記のような内容になっていました。

　上記のうち、問題と言うか、googleのbotのアクセスを拒否している該当行である下記の3つを削除してみました。

　Disallow: /wp-content/plugins
　Disallow: /wp-content/themes
　Disallow: /*.js$

　上記のrobots.txtテスター画面にて、消して見て、画面右端にある「送信」を押すと、削除後の内容をダウンロードできるようになります。
　ダウンロードしたrobots.txtをFTPソフトにてサーバーにアップロードします。
　そしたら、先程のrobots.txtテスター画面でポップアップされた2番と3番に進んで、google先生に、robots.txtを変更したよと送信します。

　モバイルフレンドリーテストにて、変更後の状況を確認してみましょう。

　なお、実際にgoogleの検索エンジンに反映されるまでは、少なくとも1～2週間は掛かるのではと推測致しますので、その辺りはgoogle先生次第でございますので、誤解の無いようにお願い申し上げます。

それでもダメだった時は

　なお、私の場合は、robots.txtを改善しても1つのサイトにて、モバイルフレンドリーテストの再度の確認時に、下記のような表示が出てしまい、うまく行かなかったので、忘備録として下記の通り更なる改善方法を取ったことを残しておきます。

　更に、下記の3行を削除しました。

　Disallow: /wp-includes/
　Disallow: /*?*
　Disallow: /*?

　その結果、有効なrobots.txtの表記内容となったのは、下記の状態ですので、念のため記述しておきます。

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/cache
Disallow: /*.php$

Sitemap : http://***ここはサイトマップのURL***

　ちなみに、Disallow: /*.php$の部分は、phpで終わるファイルは読ませないと言う記述です。
　WordPressでしたら、これで良いですが、他の手段でサイトを公開されている場合には、この行も失くした方がよい場合もあります。

　まぁ、そもそも、robots.txtの設定を行っていなくて、レスポンシブデザインでしたら、心配はいらない訳ですがね。
　以上、お付き合い賜りましてありがとうございました。