質問: ロボット型検索エンジンの種類によっても違うかもしれないのですが、基本.aspや.cgiの出力結果をデータベースに入れたりするのでしょうか。
回答: 検索エンジンのロジックに「ASPを省く」という処理が加わっていればともかく、通常は検索プログラムにASPであるとか、そういうことは見分けがつかないので、ASP側の出力結果をそのまま取り込んでいると思われます。