Screaming Frogは、Webサイトの構造とページ上の要素をすばやく簡単に分析できるWebサイトクローラーです。このツールが追跡する重要な指標の1つは、各ページの「インデックス作成可能性」です。これは、検索エンジンのクローラーによってページが発見され、インデックスに登録されるか否かを意味します。インデックスがないページは、検索エンジンにインデックスされない可能性があり、検索結果にも表示されない可能性が高いことを意味します。ページがインデックスされない理由はいくつかありますが、最も一般的な理由は、そのページがno-indexタグによってブロックされていることです。つまり、ウェブサイトの所有者が、検索エンジンにそのページをクロールしないように特別に指示したのです。また、不適切なリダイレクトや404エラーなど、技術的な問題が原因でインデックスが作成されないこともあります。どのような原因であれ、インデックス化されていないページはウェブサイトのSEOに貢献しないので、できるだけ早く修正する必要があります。