フリーランスWEB屋の備忘録

削除済URLのクロールエラーが消えない時の対処法

私が当サイト「フリーランスWEB屋の備忘録」を初めて早くも2週間ほど経ちました。記事数も徐々に増やし、アクセスも少しずつ増えてきた最近では、頻繁にGoogle Search Consoleを確認するようになったのですが、不可解で気になる クロールエラー が出てしまうのです。

それは、 削除済URL に対して、クロールエラー レスポンスコード404 が返されているのです。そして、その該当URLは「 http://column.noith.com/sample-page/ 」だったのです。

当サイトはWordPressで構築しており、WordPressではサイト構築時に「サンプルページ」が自動で作成されるのですが、このサンプルページはそのまま編集して使っても、削除してしまっても良いということなので、当サイトでは削除しました。

削除したので、当然、URLにアクセスするとエラーの404ページが表示されるのですが、Google search consoleではクロールエラーが表示されてしまうのです。

該当ページを削除していても、他のページから該当ページへリンクが張られている場合、そのリンクによってクロールが再度巡回してしまう可能性があるということなので、エラーの詳細からリンク元を確認してみると、「サイトマップ」と「トップページ」から該当URLへリンクがあるとなっています。

しかし、サイトマップとトップページのソースコードを確認しても、該当URLへのリンクはありません。

エラーが出ているのは何とも気持ち悪いので、このエラーを解決できないか調べてみると、ありました!
削除済みのURLがウェブマスターツールのクロールエラーから消えない時のベストプラクティス

ここでは、削除したURLの取り扱いに関する注意事項とベストプラクティスについて、Google社員のJohn Mueller(ジョン・ミューラー)氏が英語版の公式ヘルプフォーラムで説明している内容をまとめてくれていました。

結論から言うと、

アクセスできるはずなのにクロールエラーを吐いているURLがあったとしたら、それは早急に対応する必要があります。
しかし、404エラーを出しているURLが確かに存在しないのであれば無視してかまいません。

だそうです…。

今までの苦労はなんだったんだ!と言いたくなるところですが、ジョン・ミューラー氏によると、

本当に重大なクロールエラーだけがウェブマスターツールにレポートとして上がってくればいいのですが、どの404が重大でどのURLが無視できるかを自動で判断することはGoogleには簡単なことではないでしょう(それでもレポートでは、エラーの重要度が高い順に一応並んでいる)。

サイトのクロールやインデックス、ランキングに404エラーが悪影響を与えることはあり得ません。

ということなので、今回の場合は、あまり気にしなくても良いのかな?と思っています。

削除されたURLについての豆知識

大規模サイトでURLを削除した時に推奨される対処法