サイトマップ
Sitemapsファイルにこれらの動的ページのURLも記載しておけば、クローラが見つけることができる。 Bing、Google、Yahoo!、Askなどの主要ポータルサイトが共同でSitemaps標準をサポートするようになった。
主要な検索エンジンで同じプロトコルを使用しているため、 Sitemapsから、ページの更新情報も取得することができる。ただし、Sitemapsは、すべてのリンクがクロールされることを保証するものではなく、またクロールされたとしても検索エンジンがインデックスを必ず作成する保証はない 。 Googleウェブマスターツールを使用すると、ウェブサイトの所有者はGoogleがクロールするサイトマップをアップロードできる。または、robots.txtファイルへの記載でも同じことを実行できる。
XML Sitemapsを検索エンジンに送信する方法は、従来の方法から変更になった。新しい方法では、Web開発者はSitemapsを直接送信するか、検索エンジンがSitemapsを見つけるのを待つ必要がある。新しいページが公開されたときに、更新されたSitemapsを定期的に検索エンジンに送信しておくと、検索エンジンが自然に見つけるよりも早くページを見つけてインデックスを作成する可能性がある。