質問: robots.txtとは?
回答: robots.txtとはロボット型検索エンジンのクローラーの巡回を指示するファイルで、1994年にmartijn koster氏によって考案されました。robots.txtを使用してクローラーが不要なコンテンツへアクセスできないように制限する事で、サーバーの負荷を軽減し、巡回の効率化を図る事ができます。または特定のクローラーの巡回をブロックする事もできます。