削除済URLのクロールエラーが消えない時の対処法

私が当サイト「フリーランスWEB屋の備忘録」を初めて早くも2週間ほど経ちました。記事数も徐々に増やし、アクセスも少しずつ増えてきた最近では、頻繁にGoogle Search Consoleを確認するようになったのですが、不可解で気になるクロールエラーが出てしまうのです。

それは、削除済URL に対して、クロールエラー　レスポンスコード404　が返されているのです。そして、その該当URLは「 https://column.noith.com/sample-page/ 」だったのです。

当サイトはWordPressで構築しており、WordPressではサイト構築時に「サンプルページ」が自動で作成されるのですが、このサンプルページはそのまま編集して使っても、削除してしまっても良いということなので、当サイトでは削除しました。

削除したので、当然、URLにアクセスするとエラーの404ページが表示されるのですが、Google search consoleではクロールエラーが表示されてしまうのです。

該当ページを削除していても、他のページから該当ページへリンクが張られている場合、そのリンクによってクロールが再度巡回してしまう可能性があるということなので、エラーの詳細からリンク元を確認してみると、「サイトマップ」と「トップページ」から該当URLへリンクがあるとなっています。

しかし、サイトマップとトップページのソースコードを確認しても、該当URLへのリンクはありません。

エラーが出ているのは何とも気持ち悪いので、このエラーを解決できないか調べてみると、ありました！
「削除済みのURLがウェブマスターツールのクロールエラーから消えない時のベストプラクティス」

ここでは、削除したURLの取り扱いに関する注意事項とベストプラクティスについて、Google社員のJohn Mueller（ジョン・ミューラー）氏が英語版の公式ヘルプフォーラムで説明している内容をまとめてくれていました。

結論から言うと、

アクセスできるはずなのにクロールエラーを吐いているURLがあったとしたら、それは早急に対応する必要があります。
しかし、404エラーを出しているURLが確かに存在しないのであれば無視してかまいません。

だそうです…。

今までの苦労はなんだったんだ！と言いたくなるところですが、ジョン・ミューラー氏によると、

本当に重大なクロールエラーだけがウェブマスターツールにレポートとして上がってくればいいのですが、どの404が重大でどのURLが無視できるかを自動で判断することはGoogleには簡単なことではないでしょう（それでもレポートでは、エラーの重要度が高い順に一応並んでいる）。

サイトのクロールやインデックス、ランキングに404エラーが悪影響を与えることはあり得ません。

ということなので、今回の場合は、あまり気にしなくても良いのかな？と思っています。

削除されたURLについての豆知識

URL削除ツールは、普段のサイトメンテナンスに使うツールではない。
URL削除ツールは、インデックスからURLを削除するのでなく、検索結果から非表示にするだけ。
robots.txtを使ってもコンテンツをインデックスから削除することはできない。
インデックスからURLを削除するには、GooglebotがそのURLをクロールする必要がある。noindex robots meta タグを見るか、404または410のHTTPステータスコードを返してもらわなければならない
Googleは、404と410を通常は同じように扱う。わずかな違いがあるとすれば、再クロールによる確認を410は必要としないこと。

大規模サイトでURLを削除した時に推奨される対処法

robots.txtを使わない。
移動したコンテンツは301リダイレクトする。
削除したコンテンツは410を返す（または必要なら404）。
クロール頻度は必ず「サイトに合わせて自動的に最適化する」に設定しクロールを制御しない。
URL削除ツールは、緊急性が高い場合や、（見られたくないのに）検索結果で目に触れる機会が多い場合にのみ使用する。