以下では一般物体検出のためのデータセットに加え、分野別のデータセットについても述べる。
一般物体検出.
動画像に多く出現する一般的な物体を広範なカテゴリに分類して取り揃えたデータセットを紹介する。
顔検出.
顔認識は本人認証のための生体認証技術であり、同時に軍事、セキュリティなど多くの分野に応用されている技術である。一般物体検出タスクと比較して、より広い範囲のスケールの対象物を認識する必要があること、一口に顔といってもパーツの配置や肌の色の違い等によって同じものが一つとして存在しないことといった違いがある。
道路シーン.
物体検出の実世界への応用分野の一つとして自動運転が挙げられる。これは自動運転において、道路上の信号機や標識を認識することが必要だからである。以下では標識や信号機を含むデータセットを挙げている。
評価指標.
一般に以下の式で計算される。ここで、TPは推論結果の中で実際に正解しているもの、FPは推論結果の中で実際には正解でないものの個数である。
適合率は推論結果のうち正解がどれだけ含まれているか、すなわち「どれだけ正解でないものを誤って正解と検出しないか」を表す指標である。
再現率は全ての正解として扱われるべきものの中で実際にどれだけ推論できたか、すなわち「どれだけ正解を見逃さなかったか」を表す指標である。式からも明らかであるが、見逃しを減らすためにより多くのものを検出しようとすればするほど再現率は高まるが、その分本来正解でないものを正解としてしまうパターンが増えるため適合率は下がりがちである。他方で、過検出を減らすために検出結果を絞り込むと適合率は高まるが、その分本来正解であるべきものを見逃すパターンが増えるため再現率は下がりがちである。すなわち、適合率と再現率はトレードオフの関係にある。
課題.
回転.
障害物（オクルージョン）.
画像の劣化.
画像に生じるノイズも課題の一つである。原因として、照明条件、画像圧縮によるもの、安価な端末を用いることによるもの等が挙げられる。しかしこれまで作られた大規模データセットは高画質であることが前提であり、従来手法もこれらの画像の劣化を考慮していないことが多い。