去年から続いていたGoogleサーチコンソール（以下、サーチコンソール）の除外オンパレード。
はっきりとした理由も分からないまま年が明けて、なおも続くカバレッジの除外。
そして『検出－インデックス未登録』の増え続ける恐怖…。
※当ブログははてなブログで運営しています。どのブログプラットフォームでも効果があるのかは分かりませんが、実行される方は自己責任でお願いします。
こんな人に読んでもらいたい！
・Googleサーチコンソールで除外が続いている人
・Googleサーチコンソールでクロールされない問題に直面している人
今回は、遂に動き出したクロールに興奮を隠し切れないながらも備忘録として記録し、少しでも同じ環境にいる人の参考になればと思っています。
カバレッジ除外の大量発生
去年の１１月頃からサーチコンソールのカバレッジにおいて大量の除外が目立ち始めていました。
サーチコンソール ⇨ カバレッジ ⇨ 除外 ⇨ 『検出－インデックス未登録』で表示される記事の前回のクロールを見ても『該当なし』が１０ページ以上あり、もはやすべての記事がクロールされていないのでは？と思ってしまうほど。
その後も増え続け、気付けば１月に入って除外が１３０を記録！
２００記事ほど書いていることを考えると１３０記事が除外とは…。
除外のほとんどを占める『検出－インデックス未登録』つまりクロールしてもらっていないことに気づき、ブログを継続するモチベーションを失いかけていました。
最終的な除外は合計で１４６記事を記録し、もはや絶望しかありません。
カバレッジ除外からクロールされるまでにした５つのこと
このままでは公開した記事は永遠にクロールされずにネットの世界に埋もれてしまうのではないかと思い、対策を講じることにしました。
先人ブロガーさんが苦労して残してくれた記事を読んだり、書物を読んでみたり。
何が正解か分からないですが、何かしないといけないと思い行動に移りました！
サイトマップの見直し
除外のほとんどが『検出－インデックス未登録』
つまりGoogleがクロールすらしてくれていない訳で、どうしたらクロールしてもらえるのかを考え、サイトマップの見直しをしました。
それまで採用していたサイトマップは
- sitemap.xml
- sitemap_index.xml
- sitemap_periodical.xml?year=[yyyy]&month[mm]
ただ、この構成は良くないという噂があったので変更を検討。
サイトマップにおいては、同じ意味合いの構成をしてしまうとサーバーに負荷がかかってしまいクロールに影響があるという記事も多く見られます。
そこで新たに採用したサイトマップは
・sitemap_index.xml
・feed
この構成で様子を見ていくことに。
▼サイトマップを変更した際の具体的な記事はこちらから⤵
【Googleサーチコンソール】カバレッジ除外との戦いは終わらない… - ちゃちゃの備忘録的なブログ
記事のリライトと非公開
サイトマップの変更に続きクロールされていない記事が大量（記事によっては１年近く前の記事もあった）にあったことから修正を行うことに。
クロールされていないのでリライトは意味がないという意見もありますが、読み直して分かりにくい（読みにくい）記事はリライトを行うことにしました。
日記的な記事や内部リンクが貼っていない（貼れない）記事は非公開に。
削除も考えましたが個人的な思いもあることから、まずは非公開に。記事を非公開にしたと同時にサーチコンソールの「削除」から非公開にした記事をGoogleがクロールしないようにしました。
結構な数でしたが、クロールしなくて良い記事をGoogleに伝えるのは重要なことです。
可能な限りのリライトを行い、リライトできない記事は上記のように非公開に。
この作業を永遠に続けました。
親子カテゴリーの廃止
せっかくGoogleがクローラーを派遣してくれても対象の記事までたどり着けないと意味がありません。
複雑な親子カテゴリーは止めた方がいいとアドバイスを受けたのでカテゴリーの見直しをすることに。
そして、似たようなカテゴリーが複数あるとクローラーが迷子になるとも聞いたのでカテゴリーの統一を行いました。
グローバルメニューの追加
クローラーがブログのトップ画面に来た時に、過去記事などの到達しにくい記事にもちゃんと道を作ってあげる作業の一つとして、今更ながらグローバルメニューを作成。
※上記モヤモヤはアドセンス広告なので気にしないでください。
HTMLサイトマップの追加
グローバルメニューの設置と同じ意味合いで、ブログを読みやすくするためにブログ内サイトマップを設置することに。
これは結果的に自身が読んで欲しい記事を羅列するだけになってしまい、見た目も悪く実際の運用としては全く完成度の低いものに。
今後は実際に使いやすいものにする為にも、再構築が必要と考えています。
対策後のカバレッジ推移
過去最大の除外を食らった記事数は１４６でカバレッジの最終更新日は１月２９日
除外されていた記事は幅広く１年を通してあることを考えると、信じられないことに１年ほどクロールされていなかった記事もあることが分り衝撃的です。
ちなみに、除外のうち『クロール済み－インデックス未登録』は２６なので、ほとんどがクロールされていない『検出－インデックス未登録』と言うことになります。
そして最新のカバレッジを確認すると、除外された記事は５７で最終更新日は２月８日
２月７日に確認した時の除外数は全く変わってなかったので、わずか１日経過した２月８日には８９もの記事をクロールしてもらえたことに！
カバレッジ除外からクロールされるまでにしたこと（まとめ）
ネットの情報やブロガーさんからのアドバイスなど、今自分にできる可能なこと全てを実施した結果、偶然（たまたまクロールするタイミングだったのかも）かもしれませんがクロールしてもらえることに。
- サイトマップの見直し
- 記事のリライトと思い切った非公開（削除）
- 複雑な親子カテゴリーの廃止
- グローバルメニューの追加
- HTMLサイトマップの追加
さいごに
この数カ月の間はブログへのモチベーションを保つことが非常に困難でした。
『クロール済み－インデックス未登録』ならば具体的な対策をとれば良いのですが、その元になっているクロールがされない状況はスタート地点にすら立っていないことになります。
この方法が正解であるかは分かりませんが、Googleがクロールしてくれるまでに実際に行ったことをまとめてみました。
また、この『クロールされるまでにした５つのこと』には入れてませんが、日ごろから自身のブログのスピードを確認ししておくことは重要だと思います。
▼ブログの読み込み速度の計り方⤵
ブログの読み込み速度は重要！その簡単な方法とは - ちゃちゃの備忘録的なブログ
今後も継続的にクロールしてもらえるのか？
ここが一番重要なところですが、今後も大きな動きが見られましたら報告していきたいと思います。
