Sitemaps
ウェブサイトが、AjaxやSilverlight、Flashといったリッチなコンテンツを使っているような場合、サーチエンジンでは通常処理できないため、この部分のコンテンツ内容へ誘導できる。
ウェブマスターは、サイト内の全URLを含むようなサイトマップを作成し、それをサーチエンジンに登録する。現在、Google, Bing, Yahoo, Askといったサーチエンジンがサイトマップ標準に対応しているため、サイトマップに対応すれば、事実上、主要なサーチエンジン群に更新ページ情報を伝えることができる。
サイトマップは通常のクロールによるページURL発見のメカニズムを補完するだけで、完全に置き換えるものではない。また、この標準に対応したからといって、サーチエンジンにそのページが登録されることを保証しておらず、また、検索結果におけるランキングでの扱いにも影響を与えるものでもない。
フィード配信は追加URLをクローラーに伝えるひとつの方法であり、フィード配信にすでに対応しているサイトには扱いやすい方法でもある。この場合の欠点は、フィード配信ではクローラーには最近作成したURLしか伝えられず、残りのURLは通常のクローリング方法に頼る必要がある 。
サイトマップをサーチエンジンに直接、Ping経由で更新情報を通知する方法もあるが、この場合、サーチエンジン側からはステータス情報とエラー情報が返ってくる。この直接登録方式のやり方はサーチエンジンごとにことなる。サイトマップの所在は以下のようにrobots.txtファイル中で指定される:
<sitemap_location>はサイトマップを取得できるURLを指す(例えば、http://www.example.org/sitemap.xmlなど)。この指定は、ユーザーエージェントごとの設定とは独立に扱われ、ファイル内のどこに置かれても構わない。もしもウェブサイトが複数のサイトマップを持つ場合には、URL指定ではそれらをまとめたサイトマップインデックスファイルひとつが指定されることとなる。
以下の表に、いくつかの主要サーチエンジンにおけるサイトマップ登録URLを示す:

サイトマップ登録ページを通じてサイトマップを送る場合、サイトマップのURLはパーセントエンコーディング済みでなければならず、: は %3A に、/ は %2F などにそれぞれ変換する必要がある。
サイトマッププロトコルにおいてつかわれるXML要素の定義を以下に示す:
必須要素以外のものにたいする対応状況はまちまちで、サーチエンジンごとに異なる。