SEOにかかわっていなければ、ソフト404エラーという言葉は、聞きなじみのない言葉ではないでしょうか？通常の404エラーと違い、気づきにくいことから、見逃してしまうケースがあります。
ソフト404エラーはSEOに大きく影響することはありませんが、エラー項目は修正することを推奨します。SEO上サイト全体の相対的な評価が、各キーワードの順位に影響するため、特に5位以上などの上位を狙うSEOでは少しの差が順位の差に現れることも多いです。
この記事では、ソフト404エラーとは何か？から、どういったことが起因しているのか、対策方法まで、SEO初心者の方にもわかりやすく解説します。
「SEO、何から始めればいいかわからない」という方は下記も合わせてご覧ください。⇒【これだけやればOK！】内部対策の施策を網羅的にまとめた３点セット（無料）
ソフト404エラーとは、ユーザーは閲覧できないが検索エンジンは閲覧できる状態
ソフト404エラーは、ステータスコードが「404」であるべき、コンテンツが存在しないページが、ステータスコード「200」で送信されている状態のことです。
つまり、ブラウザ上でユーザーには「ページが見つかりません」などのコンテンツのないページが表示されるのに、クローラーはコンテンツのあるページだと認識してしまう状態を指しています。
▼Google引用
soft 404 とは、URL にアクセスしたときに、ページが存在しないことと 200 (success) のステータス コードをユーザーに伝えるページを返す URL のことを指します。場合によっては、メイン コンテンツのないページや空白のページなどもこれに該当します。
Googleセントラル参照
404エラーとソフト404エラーの違い
コンテンツが存在していないページで、正常なページであるステータスコードの200になる場合と、ページが存在しないことを示す404になる場合とで違いがあります。
コンテンツがないことは共通していますが、ステータスコード200の場合、クローラーはコンテンツがあると認識し、ステータスコードが404の場合はコンテンツがないと認識します。
コンテンツがないページに対して、クローラーがコンテンツのあるページとして認識してしまうと、クローラーに低品質なページとして扱われ、SEO上の評価に間接的に影響します。
また、多くの場合サイト管理者が把握していないページでソフト404が発生するケースが多く、意図せずユーザーが流入してしまうと離脱を招く可能性があります。これはユーザビリティの観点でもマイナスになります。
| コンテンツの有無 | ステータスコード | |
|---|---|---|
| ソフト404エラー | × | 200 |
| 404エラー | × | 404 |
よく見るステータスコード一覧
200や404以外にもさまざまなステータスコードがありますが、SEOに携わるなら代表的なものの意味は覚えておくと良いでしょう。
下記はよくあるステータスコード一覧です。
| ステータスコード | 意味 |
|---|---|
| 200 | リクエストが正常に処理できた |
| 301 | ほかのURLに恒久的に移動する |
| 302 | ほかのURLに一時的に移動する |
| 403 | アクセスしたページが閲覧禁止になってる |
| 404 | Webページが見つからない |
| 500 | アクセス過多やプログラムの記述ミスによってサーバー内で起きたエラー |
| 503 | サーバーのメンテナンスやサーバーが負荷状態で一時的にアクセスが出来ない |
| 504 | リクエストを送ったサーバからの適切なレスポンスがなくタイムアウトした |
SEOに影響するので極力対処を
SEOに大きな影響はありませんが、間接的に影響が出てしまう可能性があります。
前述の通り、ソフト404になっている場合、クローラーが巡回して検索結果に表示されてしまう、ユーザーがコンテンツのないページにアクセスしてしまい、離脱につながってしまう、などの問題があるからです。
また、ソフト404について、GoogleのJohn Mueller（ジョン・ミューラー）氏は公式のヘルプフォーラムで下記のように回答しています。
(原文)
To be clear: Google will not penalize your site for having soft-404 pages. Having soft-404 pages makes it harder for us to recognize new and updated content on your site, but it does not mean that we would see you site as being any less valuable in the search results :-). There’s no need to rush and do something drastic here. Yes, it would be great if it could be cleaned up (that’s why we have started reporting these things), but in general, it’s not critical.(和訳)はっきりいうと、Googleはソフト404ページがあることでサイトをペナルティを与えることはありません。ソフト404ページがあると、サイト上の新しいコンテンツや更新されたコンテンツを認識するのが難しくなりますが、それは検索結果で価値のないサイトとみなすことはありません。徹底的に何か急いで対処しなくていい。もちろん、クリーンアップできれば素晴らしいことですが（そのためにレポート提供を始めた）、概してソフト404は致命的なものではない。
したがって、ソフト404の修正の緊急性は低いですが、発見した場合しっかりと対処する必要があります。
また、GoogleのGary Illyes (ゲイリー・イーリス)氏も、LinkedInの投稿で、ソフト404エラーについて言及していました。
(原文)
Soft 404s and other soft/crypto errors. The banes of my existence and all other robots’.
You go to your favorite coffee shop after consulting their online menu and you order your favorite corn spice latte with yak milk. They’re all out even though the menu claimed they had it. You order a half espresso. They’re all out. Fine, you order a matcha latte with water chestnut milk. They’re all out. Frustrating. Is this a coffee shop or Wendy’s?!
While for users it might not matter much that your error page came back with a HTTP 200 (OK) status code, crawlers use the status codes to interpret whether a fetch was successful, even if the contents of the page is basically just an error message. They might happily go back to the same page again and again wasting your resources, and if there are many such pages, exponentially more resources. All while they could spend the time and resources on fetching real pages, with actual helpful content.
Crawlers have lots of resources, they can afford to waste some, your site likely doesn’t. Soft errors are bad because: 1. the limited “crawl budget” spent on them could’ve been spent on real pages. 2. the pages will unlikely to show up in search because during indexing they’re filtered out, basically no ROI on the resources you’ve spent on serving them.
If the server or client encountered an error, serve the appropriate HTTP status code. Make us understand you.
PS: this post was inspired by inbox. Please don’t try to rate limit crawlers with a message like “TOO MANY REQUESTS SLOW DOWN”. We can’t actually read.
PPS: Crypto here means “hidden”, not what the bros are trying to convince you to invest in.
(和訳)
ソフト404とその他のソフト/暗号エラーは、私や他のすべてのロボットの悩みの種だ。
オンライン・メニューを見てお気に入りのコーヒーショップに行き、コーン・スパイス・ラテとヤク・ミルクを注文した。メニューにはあると書いてあったのに、売り切れだった。ハーフエスプレッソを注文する。それも売り切れ。菱餅ミルク入りの抹茶ラテを注文。それも売り切れ。イライラする。ここはコーヒーショップか、ウェンディーズか？
ユーザーにとっては、エラーページがHTTP200（OK）のステータスコードで戻ってきたことはあまり問題ではないかもしれないが、クローラーはステータスコードを使って、たとえページの内容が基本的にエラーメッセージだけだったとしても、ページの取得が成功したかどうかを解釈する。そのようなページがたくさんあれば、さらに多くのリソースを浪費することになる。もしそのようなページが多ければ、さらに多くのリソースを浪費することになる。
クローラーにはたくさんのリソースがあり、多少の浪費は許される。
ソフトエラーが悪いのは
1.限られた “クロールバジェット “がソフトエラーのページに使われてしまう。
2.インデックス作成中にフィルタリングされるため、検索に表示される可能性は低いが、基本的に、そのページを提供するために費やしたリソースに対する見返りがない。
サーバーまたはクライアントがエラーに遭遇した場合、適切なHTTPステータスコードを提供してほしい。サイトの状況を私たちに理解させてほしい
PS：この投稿はinboxに触発されたものです。”TOO MANY REQUESTS SLOW DOWN “のようなメッセージでクローラーのレートを制限しようとしないでください。私たちは実際に読むことができないのだから。
PPS: ここでのCryptoは「隠された」という意味であり、投資するようにあなたを説得しようとしている類のものではありません。
https://www.linkedin.com/posts/garyillyes_soft-404s-and-other-softcrypto-errors-the-activity-7212228210166509573-c6eN/
したがって、修正しないことで、クローラーがリソースを無駄にしてしまい、本当に重要なページへのクロールに悪影響が出てしまう可能性があるため、ソフト404エラーを発見した際は、迅速に対処するようにしてください。
「SEO、何から始めればいいかわからない」という方は下記も合わせてご覧ください。⇒【これだけやればOK！】内部対策の施策を網羅的にまとめた３点セット（無料）
ソフト404エラーの確認方法
ソフト404エラーを確認する方法は、主に下記の3つになります。
- Serch Consoleで確認する
- デベロッパーモードで確認する
- 外部ツールで確認する
それぞれ解説します。
Search Consoleで確認する
サーチコンソール上で確認できます。
それぞれ手順を紹介します。
①サイドバーにある「インデックス作成」内の「ページ」をクリック
②ページがインデックスに登録されなかった理由にある「ソフト404」をクリック
③該当のページを確認
上記で確認し、対象のページがコンテンツのないページであるならページ削除、コンテンツがあるにもかかわらず、ソフト404として検出されているならコンテンツの拡充やページ表示速度の改善などの施策を行って、ソフト404を解消します。
詳しい対処法は後述します。
デベロッパーモードで確認する
Google Chromeでは「F12」または「Ctrl+Shift+C」を押すと、デベロッパーモードが開きます。
ステータスコードが200に設定されている場合は下記のように表示され、もし対象のページが不要なページである場合などはソフト404エラーになっている可能性があります。
正しく、ステータスコードが404になっている場合は、下記の画像のように表示され、検索エンジンのクローラーは、「このURLにページが存在しない」ということを理解します。
ツールで確認する
ステータスコードを確認するツールなどでも確認できます。
例えば、ステータスコードチェッカーのようなページのステータスコードを確認できるツールを使うことで、現在の設定されているステータスコードを把握できます。
下記のような状態になっていれば、正常に404ページとして認識されており、検索エンジンのクローラーからも、ページが存在しないと認識されていることになります。
一方で下記のように200になっていれば、検索エンジンのクローラーが閲覧できる状態になっており、ソフト404エラーになっている可能性があります。
ソフト404エラーが発生する原因
ソフト404エラーが発生してしまう主な要因は下記の4つになります。
- 正しく404ステータスを返せていない
- コンテンツが無い、または低品質なコンテンツである。
- クローラーがコンテンツを読み取れなかった場合
- その他運用上の理由
それぞれ解説します。
正しく404ステータスを返せていない
カスタム404ページを作成する場合、HTTPステータスコードにも404で返す必要があります。プログラムの漏れ・ミスなどで404設定ができていない場合、ソフト404のエラーになります。
また、.htaccessの設定・記述ミスによって、ソフト404エラーになってしまうこともあります。
コンテンツが無い、または低品質なコンテンツ
コンテンツがないページやコンテンツ量が著しく少ないページは、検索エンジンからインデックスする価値がないと認識され、ソフト404エラーとして判断されることがあります。
また、重複したコンテンツや自動生成されているコンテンツは低品質なコンテンツとしてみなされ、ソフト404エラーとして、検索エンジンが認識してしまうケースもあります。
クローラーがコンテンツを読み取れなかった場合
robots.txtでクロールを拒否してしまっている場合や、コンテンツの表示をJavaScriptファイルで制御している場合クローラーがコンテンツを読み取ることができず、低品質なコンテンツとしてソフト404エラーになる可能性があります。
状況によりますが、そもそもページがうまく表示できていない場合にはそちらを優先的に解消する必要があります。
その他の運用上の理由
- 単純なURLの記述ミス
- ページ削除後、内部リンクを削除しなかった
- WordPressの設定ミスで不要なページが大量生成されてしまった
個別のケースごとに発生の原因はさまざまですが、多くは上記の要因がほとんどです。カスタム404を設定をしていれば、エラーが解消されますが、プログラム上の原因の場合はエンジニアと相談し、原因の元をしっかり探ったうえでの解消をおすすめします。
ソフト404エラーの対処方法
ソフト404ページを解消する方法として具体的な施策は下記５つになります。
- HTTPステータスコードを正しく設定する
- noindexを設定する
- canonicalを設定する
- 表示速度の改善
- コンテンツの拡充を行う
それぞれ解説していきます。
HTTPステータスコードを正しく設定する
意図しない404エラーが表示されている場合、.htaccessの記述が正しくされていないことが想定されます。公開されているディレクトリに404.htmlを配置し、.htaccessで404ページとして認識させます。
次に.htaccessに下記を記述します。
ErrorDocument 404 /404.html
この記述を追加すると、404を返す場合には、カスタム404ページにあたる404.htmlを表示できます。
また、.htaccessには、相対パスで記述してください。絶対パスで設定してしまうと、ステータスコード200で表示され、ページが存在する状態で扱われることになります。
noindexを設定する
コンテンツが存在していないのに、検索エンジンにインデックスされてしまっている場合、noindex設定を行うことで、ソフト404エラーが解消されます。
該当のページのhtmlのhead内に下記の記述を行うと、検索結果に表示されなくなります。
<meta name=”robots” content=”noindex”>
細かく検証できていないのですが、一度noindex設定したURLは再インデックスされにくい事象も報告されているので、今後使う予定のないページに対してnoindexを使用しましょう。
canonicalを設定する
ソフト404エラーになっているページと別ページを正規ページとして、インデックスさせソフト404を解消する方法もあります。重複ページが発生していてソフト404認定されている場合に有効な対策です。
該当ページの<head>タグ内に下記を記述をします。
<link rel=”canonical” href=”正規ページURL”>
正しくcanonical設定を行うと、検索エンジンのクローラーは指定したURLが正規ページであることを認識します。この場合正規ページがインデックスされ、ソフト404エラーが解消されます。
表示速度の改善
ページの表示速度が遅いことが要因で、ページ内のコンテンツをクローラーが正常に読むことができていない場合、ページの表示速度の改善をします。Page Speed Insightでページの読み込み速度を確認できるので、問題が見つかった場合、修正しましょう。
具体的な改善方法などは別記事で解説しているので、下記の記事を参考にしてください。
コンテンツの拡充を行う
コンテンツの量が少ない場合や低品質なコンテンツであることが原因でソフト404になっている場合、コンテンツの拡充を行うと改善できます。
せっかくコンテンツがあっても質の低いコンテンツであると認識されてしまうと、そもそもSEOに影響を与えてしまうため、ユーザーにとって有益なコンテンツの作成を心がけるようにしてください。
まとめ
ソフト404はSEOにそこまで大きな影響を与えないことやそもそも見つかりにくいことから放置されてしまうケースがあります。一方でクローラビリティの低下を招くため、修正できるのであれば、修正した方が好ましいです。
重要なのは、原因がどこにあるかを把握したうえで、適切な対処をすることです。定期的にサイトやGoogle Search Consoleを確認し、見つかった場合には適切な対処法で、できるだけ修正するようにしましょう。
「SEO対策を行っているが成果が出ない」「SEO対策を行いたいが何からすればいいかわからない」という方はデジタリフトにお気軽にご相談ください。
【無料】資料ダウンロード
3分でわかるSEOコンサル資料セット
資料でわかること
- SEOサービスの利用料金
- デジタリフトが成果を出せる理由
- SEO支援サービスの進め方とサービス詳細
- なぜ今SEO対策に取り組むべきなのか
