Googleにインデックスされない問題を永遠の課題としていた僕ですが、みなさんのブログはどうでしょうか？
全くインデックスされない時期を経て、今では早ければ翌日にはインデックスされるようになりましたが、僕の中ではサイトマップが大きな原因の一つになっていたのでは？という結論に達しています。
こんな人に読んでもらいたい
・ブログの記事がGoogleにインデックスされない
・はてなブログのサイトマップって何が正解なの？
- サイトマップとは
- はてなブログはインデックスされない？
- はてなブログのサイトマップを変更してみる
- サイトマップが『取得できませんでした』と表示されることも
- これが現在のサイトマップ
- サイトマップが働いてないなら削除するのも方法
- この1年のサイトの動き
- さいごに
サイトマップとは
僕の知識では厳密なことは言い切れないので、あくまでも僕なりの理解でザックリ言うと
Googleサーチコンソールにおいてサイトマップの役割は、公開したばかりの記事や過去に書いた記事などをファイル化することで、効率よくクローラーに見つけてもらい少しでも早く検索エンジン（Google）にインデックスしてもらうための手段。
細かい説明が違っていたらすいません、識者の方々が作成しているサイトマップとは？と言うブログをお読みください。
Googleにインデックスされるまでの流れ
記事を書く
⇩
記事を公開する
⇩
Googleサーチコンソール内の『URL検査』を行う
⇩
クロールされる（公開された記事をクローラーが読みに行く）
⇩
・Googleに認められるとインデックスされる（検索すると表示される）
・Googleに認めてもらえないとインデックスされない（検索してもでてこない）
上記のような流れで公開した記事がGoogleにインデックスされるかどうか判定される訳ですが、いくら一生懸命書いた記事であってもインデックスされなければ検索結果には表示されません。
しかし、上記にある「クロールされる」が厄介な問題でして、僕の場合はクロールすらしてくれない状況でした。
【参考記事】
【サーチコンソール】カバレッジ除外からクロールされるまでにした５つのこと - ちゃちゃの備忘録的なブログ
はてなブログはインデックスされない？
確か2021年の10月ぐらいだったと思うんですが、この頃から急に記事がインデックスされなくなったんです。
どうやらインデックスされないのは僕たちはてなブロガーだけではなく、多くのブロガー（はてなブログ以外の人も）もこの謎の問題に苦しめられていました。
しかし、はてなブロガーが特にインデックスされにくいのでは？と言う話もツイッター上では賑わっていた*1のも事実です。
一方で、長くブログ運営をしている人やPvを普段からたくさん稼いでいる人には何の影響もないという報告もあり、一部では世界的にクロールが足りてなく初心者ブロガー（当時の僕はブログ開設半年目）まで手が回らないから切り捨てられた！と言う噂まであったほどです。
結局、この噂の真相は分からずですが、インデックスされなくなって多数のブロガーが路頭に迷ったのはこの頃です。
Googleにインデックスされないと言うことは…
僕も色んなサイトを見たり、本を読んだりツイッターで情報を漁るようにしていましたが、これだ！と言う結論には達せずまさにブログを継続するか悩んでいる時でもありました。
ご存じのように、ブログは検索してもらって記事を読んでもらい気になる広告があればクリックしてもらうことでブロガーに収入が入る仕組みになっています。
つまりGoogleにインデックスされなければ誰の目にも触れないので収入が無くなってしまう訳なんです。
はてなブログのサイトマップを変更してみる
Googleサーチコンソールの存在は知っていましたし、登録もしていましたがブログ開設当初から具体的に見たりしたことはほとんどなく、サイトマップもはてなブログを始めた時にどこかのサイトで見たままを登録していたぐらいでした。
当時のサイトマップは
- sitemap.xml
- sitemap_index.xml
- sitemap_periodical.xml?=[yyyy]&month[mm]
しかし、この構成は良くないというネットでの”噂”があったので変更することに。
変更した理由としては同じ意味合いを持つサイトマップで構成するとサイトに負荷がかかってしまう！と言う記事を読んだからです。
確かに、当時は『検出ーインデックス未登録』だらけの記事でした。
検出ーインデックス未登録
ページはGoogleにより検出されましたが、まだクロールされていません。これは通常、GoogleがURLをクロールしようとしたものの、サイトへの過負荷が予想されたため、再スケジュールが必要となった場合です。そのため、レポート上で最終クロール日が空欄になっています。
Search Consoleヘルプより
Index Coverage report - Search Console Help
サイトマップが『取得できませんでした』と表示されることも
そもそも、Googleサーチコンソール内でサイトマップを送信しようとした時に
思いがけず
”取得できませんでした”
と言うステータスが表示されることがあります。
何度かこのステータスが表示されたことはあるんですが、僕は勝手にこの2つが原因だと思っています。
- サイトマップのスペルを間違っている。
- タイミング的にクロールされてなかった。
サイトマップのスペルを間違っている
そもそも論なんですが、僕は一度これをしてしまったことがあります。
キーボードを打つ指が勝手に何度も勘違い（自分ではスペルミスをしたと思っていない）をしていたのに、僕が気付いていなかっただけという。
正しいスペルで入力すると大丈夫だと思います。
タイミング的にクロールされてなかった
数限りがあると言われるクロールですが、サイトマップを送信したタイミングでクロールされなかったのではないかと*2。
実際、時間を置いて再度サイトマップを送信するとステータスに「成功しました」と表示されたので要はタイミングかなと、これに関しては深く悩まなくて良いと思っています。
これが現在のサイトマップ
そんな訳で色んなブログやツイッターの情報を頼りに導き出したサイトマップは
- sitemap_index.xml
- feed
- rss
上記の編成にしてから心なしかGoogleにインデックスされ始めたような気がするんです。
最終読み込み日時に変化がないことも
サイトマップを送信して、後はインデックスされるのを待つだけ！と思っていたところ、Googleサーチコンソールのサイトマップにある「最終読み込み日時」を見ると…
”変化が無い（泣）”
数日経過していたんですが日時に変化がないこともありました*3。
最終読み込み日時に変化がなくてドキドキしていましたが、これもネット情報ですが「最終読み込み日時に変化はなくても関係ない」と言う安心感たっぷりの記事を読んだことで、あえて気にしないようにすることに。
サイトマップが働いてないなら削除するのも方法
そんな調子良くなったと思われた僕の記事も、また以前のようにインデックスされないことが増え始めました。
理由を探すも分からず、そんな時に思い出したのは「最終読み込み日時」が全く動いていないこと。
最終読み込み日時は関係ないと言う記事を信じていましたが、今となってはコレが原因なのでは？としか思えなくなってしまい、最終的には…
”もしかして、サイトマップが働いていないのでは？”
と疑念を持つように。
そこで、一度サイトマップを削除して再登録することにしてみました。
電化製品は挙動がおかしくなると、一度電源を切って数秒してから再起動すると元に戻ることがあるじゃないですか？あれと全く同じ理屈です。
【参考記事】
Googleにインデックスされない時はサイトマップを削除して再登録すると驚きの結果になるかもしれない - ちゃちゃの備忘録的なブログ
すると、偶然か功を奏したのか分かりませんが、数日後には今までインデックスされずに残っていた過去の記事がインデックスされ始めたんです！
この1年のサイトの動き
それでも、過去に公開した記事の大部分はインデックスされず、数日に1~2つの記事がインデックスされ始めたのですが（以前に比べれば大進歩）、大きく変化が起きたのは今年2022年の5月にあったコアアップデート前後。
サイトマップの再編成とコアアップデートの因果関係は正直言って分かりませんが、明らかに5月に入ってから僕のサイトに変化が見え始めたのです。
小さくて見えにくいかもしれませんが、僕のブログ内で明らかに読まれていない記事を非公開にし始めたのが1月中旬です。
【参考記事】
【はてなブログ】公開した記事を非公開にする方法（設定方法） - ちゃちゃの備忘録的なブログ
なぜ、読まれない記事を非公開にしたかと言うと、Googleとしては読まれない記事に広告を出すよりも、よく読まれる記事の方に広告を出したいんです。
つまり、Googleにとって読まれない（検索されない・インデックスされていない）記事は残念ながら価値が無いと言う…。
価値の無い記事を非公開にすことで僕のブログ全体の評価に変化が起きたのではないかと。
コアアップデート前後から目に見える動きが
記事を非公開にしたり、サイトマップを新たな構成にしたりと色んな対策を講じた結果（そう思いたい）少しずつ表示回数に変化が見えてきて、5月のコアアップデート前後になると表示回数が右肩上がりになり始めました。
もちろん、それに伴いクリック数も。
さいごに
去年、突然始まったインデックスされない問題。
僕としては、はてなブログ有料版（Pro）にした直後だっただけにショックと共に来年は更新しないでおこうとすら思っていましたが、今では順調にインデックスされPvも増えてきているのでProにして満足です。
そして、つい先日はてなブログ有料版（Pro）を更に1年コースで更新しました。
【参考記事】
【はてなブログ】無料版と有料版（Pro）の違いとは｜ブログ初心者ははてなブログで - ちゃちゃの備忘録的なブログ
サイトマップを変えれば全てが上手くいく訳ではないですが、GoogleにインデックスしてもらうためにはGoogleが好む（読者の悩みを解決する記事）記事やサイト構成を意識したブログ作りも必要です。
そう言った意味では、適切なサイトマップを送信することも重要なことだと思います。
それでは最後におさらいです。
- sitemap_index.xml
- feed
- rss
今回は、僕が採用しているサイトマップの構成を紹介しましたが、インデックスされず行き詰まっている方は参考にしてもらえればと思います。
