(57)【要約】  良質な教師データを効率良く作成するオブジェクト検出装置等を提供する。  オブジェクト検出装置３００は、辞書を用いて入力画像からオブジェクトを検出する検出部３０１と、検出されたオブジェクトの部分領域を強調する表示を付して入力画像を表示デバイスに表示し、入力デバイスの１操作により、部分領域の選択と該選択した部分領域に対するクラスの入力とを受け付ける受付部３０２と、選択された部分領域の画像と入力されたクラスとから教師データを生成する生成部３０３と、教師データにより辞書を学習する学習部３０４とを備える。
2016147652.tif 000002
【特許請求の範囲】
【請求項１】
辞書を用いて入力画像からオブジェクトを検出する検出手段と、
前記検出されたオブジェクトの部分領域を強調する表示を付して前記入力画像を表示デバイスに表示し、入力デバイスの１操作により、前記部分領域の選択と該選択した前記部分領域に対するクラスの入力とを受け付ける受付手段と、
前記選択された部分領域の画像と前記入力されたクラスとから教師データを生成する生成手段と、
前記教師データにより前記辞書を学習する学習手段と、
を有するオブジェクト検出装置。
【請求項２】
前記受付手段は、前記１操作が行われた前記入力画像の位置により前記部分領域の選択を受け付ける、
請求項１に記載のオブジェクト検出装置。
【請求項３】
前記受付手段は、前記１操作が行われた前記入力画像の位置を領域内に有する前記部分領域の選択を受け付け、前記１操作が行われた前記入力画像の位置を領域内に有する前記部分領域が存在しなければ、前記１操作が行われた前記入力画像の位置に基づいて前記オブジェクトの部分領域を算出する、
請求項１または２に記載のオブジェクト検出装置。
【請求項４】
前記受付手段は、前記１操作の種別により前記クラスの入力を受け付ける、
請求項１乃至３の何れかに記載のオブジェクト検出装置。
【請求項５】
前記受付手段は、前記１操作の種別が第１の種別であれば予め第１のクラスの入力を受け付け、第２の種別であれば前記部分領域の現在のクラスをインクリメントまたはデクリメントしたクラスの入力を受け付ける、
請求項４に記載のオブジェクト検出装置。
【請求項６】
前記受付手段は、前記１操作が行われた前記入力画像の位置を領域内に有する前記部分領域が存在するか否かによって異なる前記クラスの入力を受け付ける、
請求項１乃至３の何れかに記載のオブジェクト検出装置。
【請求項７】
前記受付手段は、前記１操作が行われた前記入力画像の位置を領域内に有する前記部分領域が存在する場合、第１のクラスの入力を受け付け、存在しない場合、第２のクラスの入力を受け付ける、
請求項６に記載のオブジェクト検出装置。
【請求項８】
前記受付手段は、前記１操作が行われた前記入力画像の位置を領域内に有する前記部分領域が存在する場合、前記存在する部分領域に対して前記第１のクラスの入力を受け付けると共に、前記１操作が行われた前記入力画像の位置に基づいて前記オブジェクトの部分領域を算出し、該算出した部分領域に対して第２のクラスの入力を受け付ける、
請求項６に記載のオブジェクト検出装置。
【請求項９】
前記受付手段は、前記第２のクラスを前記１操作の種別により決定する、
請求項７または８に記載のオブジェクト検出装置。
【請求項１０】
前記入力デバイスの１操作が１マウスジェスチャである、
請求項１乃至９の何れかに記載のオブジェクト検出装置。
【請求項１１】
前記入力デバイスの１操作が１タッチジェスチャである、
請求項１乃至９の何れかに記載のオブジェクト検出装置。
【請求項１２】
前記受付手段は、前記検出されたオブジェクトの部分領域が、過去にクラスの入力を行った部分領域と同じ位置および同じ入力前クラスを有する場合、前記検出されたオブジェクトの部分領域を強調する表示を非表示にする、
請求項１乃至１１の何れかに記載のオブジェクト検出装置。
【請求項１３】
辞書を用いて入力画像からオブジェクトを検出し、
前記検出されたオブジェクトの部分領域を強調する表示を付して前記入力画像を表示デバイスに表示し、
入力デバイスの１操作により、前記部分領域の選択と該選択した前記部分領域に対するクラスの入力とを受け付け、
前記選択された部分領域の画像と前記入力されたクラスとから教師データを生成し、
前記教師データにより前記辞書を学習する、
オブジェクト検出方法。
【請求項１４】
辞書を用いて入力画像からオブジェクトを検出し、
前記検出されたオブジェクトの部分領域を強調する表示を付して前記入力画像を表示デバイスに表示し、入力デバイスの１操作により、前記部分領域の選択と該選択した前記部分領域に対するクラスの入力とを受け付け、
前記選択された部分領域の画像と前記入力されたクラスとから教師データを生成し、
前記教師データにより前記辞書を学習する、
機能をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から辞書を用いてオブジェクトを検出するオブジェクト検出装置等に関する。
【背景技術】
【０００２】
撮像装置で撮像して得た撮像画像を解析し、オブジェクトを検出する装置が、提案等されている。特許文献１は、プリント配線基板などの基板の製造工程において、基板を撮像して得た画像を解析し、基板上の傷などのオブジェクトを検出する技術を開示する。特許文献２は、監視カメラで撮像して得た道路上のモニタ映像を解析して車両などのオブジェクトを検出する技術を開示する。【０００３】
特許文献１および２に開示された技術では、上記のような検出を行うために、オブジェクト検出装置を学習させる。そして、その学習のためには、教師データ（訓練データとも呼ばれる）が必要になる。教師データは、入力と出力のペアの事例である。教師データには、正事例と負事例の２種類がある。オブジェクト検出装置を正しく学習させるには、正事例と負事例の双方が必要である。しかし、適切な教師データを作成するには多くの時間と労力を必要とする。【０００４】
特許文献１は、基板上の傷などのオブジェクトの検出に必要な教師データを作成する技術について開示する。この技術では、プリント配線基板の画像から良品とは異なる輝度値を有する領域を抽出してディスプレイに表示し、領域の選択とそのクラス（カテゴリとも呼ばれる）の入力をキーボードおよびマウスを使用して利用者から受け付ける。具体的には、利用者は、複数存在する領域の中から特定の１つの領域をマウスのクリックで選択し、次に、この選択時に表示されるプルダウンメニューから所望のクラスをマウスのクリックで選択する。【０００５】
特許文献２は、道路を走行する車両などのオブジェクトの検出に必要な教師データを作成する技術について開示する。この技術では、辞書を用いて任意の撮像画像からオブジェクトの領域を切り出し、その領域から所定の特徴量を抽出し、この抽出した特徴量に基づいて上記辞書を学習する。これらの一連の動作は自動的に行われる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−３１７０８２号公報
【特許文献２】特開２０１４−５９７２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１が開示する技術において、利用者は、教師データの作成に使用する領域の選択と、この選択した領域に対するクラスの入力とを入力デバイスの別々の操作で行う必要があるため、作業性が悪い。【０００８】
他方、特許文献２が開示する技術では、オブジェクト領域の切り出し、その領域からの特徴量の抽出、その抽出した特徴量による辞書の学習が自動的に行われるため、教師データを効率良く作成することができる。しかし、辞書を用いて切り出されたオブジェクトの領域およびクラスが常に正しいとは限らないため、教師データの質が悪化する。【０００９】
本発明の目的は、上述した問題を解決することである。すなわち、良質な教師データを効率良く作成するオブジェクト検出装置等を提供することである。
【課題を解決するための手段】
【００１０】
上述した問題を解決するため、本発明の第１の特徴は、
辞書を用いて入力画像からオブジェクトを検出する検出部と、
検出されたオブジェクトの部分領域を強調する表示を付して入力画像を表示デバイスに表示し、入力デバイスの１操作により、部分領域の選択と該選択した部分領域に対するクラスの入力とを受け付ける受付部と、
選択された部分領域の画像と入力されたクラスとから教師データを生成する生成部と、
教師データにより辞書を学習する学習部と、
を有するオブジェクト検出装置である。【００１１】
本発明の第２の特徴は、
辞書を用いて入力画像からオブジェクトを検出し、
検出されたオブジェクトの部分領域を強調する表示を付して入力画像を表示デバイスに表示し、
入力デバイスの１操作により、部分領域の選択と該選択した部分領域に対するクラスの入力とを受け付け、
選択された部分領域の画像と入力されたクラスとから教師データを生成し、
教師データにより辞書を学習するオブジェクト検出方法である。【００１２】
本発明の第３の特徴は、
コンピュータを、
辞書を用いて入力画像からオブジェクトを検出する検出部と、
検出されたオブジェクトの部分領域を強調する表示を付して入力画像を表示デバイスに表示し、入力デバイスの１操作により、部分領域の選択と該選択した部分領域に対するクラスの入力とを受け付ける受付部と、
選択された部分領域の画像と入力されたクラスとから教師データを生成する生成部と、
教師データにより辞書を学習する学習部と、
して機能させるプログラムを格納する記録媒体である。
【発明の効果】
【００１３】
本発明は、上述した構成を有するため、良質な教師データを効率良く作成することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態に係るオブジェクト検出装置のブロック図である。
【図２】本発明の第１の実施形態において画像からオブジェクトを検出する概念の説明図である。
【図３】本発明の第１の実施形態におけるオブジェクトの検出結果の一例を示す図である。
【図４】本発明の第１の実施形態における受付画面の一例を示す図である。
【図５】本発明の第１の実施形態に係るオブジェクト検出装置の動作の一例を示すフローチャートである。
【図６】本発明の第１の実施形態に係るオブジェクト検出装置の受付部の動作の詳細を示すフローチャートである。
【図７】本発明の第１の実施形態の変形例におけるジェスチャ種別の組み合わせの例を示す図である。
【図８】本発明の第１の実施形態の変形例におけるジェスチャ種別の組み合わせの例を示す図である。
【図９】本発明の第２の実施形態における受付画面の一例を示す図である。
【図１０Ａ】本発明の第２の実施形態で使用する右下方向のドラッグアンドドロップの意味と部分領域の算出例とを示す図である。
【図１０Ｂ】本発明の第２の実施形態で使用する左下方向のドラッグアンドドロップの意味と部分領域の算出例とを示す図である。
【図１１】本発明の第２の実施形態に係るオブジェクト検出装置の受付部の動作の詳細を示すフローチャートである。
【図１２Ａ】本発明の第２の実施形態に係るオブジェクト検出装置の受付部による検出結果の更新前の例を示す図である。
【図１２Ｂ】本発明の第２の実施形態に係るオブジェクト検出装置の受付部による検出結果の更新後の例を示す図である。
【図１３Ａ】本発明の第２の実施形態に係るオブジェクト検出装置の受付部による画像ウインドウの更新前の例を示す図である。
【図１３Ｂ】本発明の第２の実施形態に係るオブジェクト検出装置の受付部による画像ウインドウの更新後の例を示す図である。
【図１４】本発明の第２の実施形態の変形例におけるジェスチャ種別の組み合わせの例を示す図である。
【図１５】本発明の第２の実施形態の変形例において画像上で行われた右ダブルクリックの位置からクラス２の部分領域を算出する方法の説明図である。
【図１６Ａ】本発明の第２の実施形態の変形例において使用する右下方向のスワイプの意味と部分領域の算出例とを示す図である。
【図１６Ｂ】本発明の第２の実施形態の変形例において使用する左下方向のスワイプの意味と部分領域の算出例とを示す図である。
【図１７Ａ】本発明の第２の実施形態の変形例において使用する下方向のスワイプの意味と部分領域の算出例とを示す図である。
【図１７Ｂ】本発明の第２の実施形態の変形例において使用する上方向のスワイプの意味と部分領域の算出例とを示す図である。
【図１８】本発明の第２の実施形態の変形例におけるジェスチャ種別の組み合わせの例を示す図である。
【図１９】本発明の第３の実施形態に係るオブジェクト検出装置の受付部の動作の詳細を示すフローチャートである。
【図２０】本発明の第４の実施形態で使用する受付画面の一例を示す図である。
【図２１】本発明の第４の実施形態に係るオブジェクト検出装置の受付部が、新たに算出した部分領域に一部重複する既存の部分領域に対してクラス０の入力を受け付ける例を示す図である。
【図２２】本発明の第４の実施形態に係るオブジェクト検出装置の受付部の動作の詳細を示すフローチャートである。
【図２３Ａ】本発明の第４の実施形態に係るオブジェクト検出装置の受付部による検出結果の更新前の例を示す図である。
【図２３Ｂ】本発明の第４の実施形態に係るオブジェクト検出装置の受付部による検出結果の更新後の例を示す図である。
【図２４Ａ】本発明の第４の実施形態に係るオブジェクト検出装置の受付部による画像ウインドウの更新前の例を示す図である。
【図２４Ｂ】本発明の第４の実施形態に係るオブジェクト検出装置の受付部による画像ウインドウの更新後の例を示す図である。
【図２５】本発明の第５の実施形態に係るオブジェクト検出装置のブロック図である。
【図２６】本発明の第１の実施形態に係るオブジェクト検出装置のハードウェア構成の一例を示す図である。
【図２７】本発明の第６の実施形態に係るオブジェクト検出装置のブロック図である。
【発明を実施するための形態】
【００１５】
次に本発明の実施の形態について図面を参照して詳細に説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。ただし、図面は本発明の実施形態における構成を模式的に表している。更に以下に記載される本発明の実施形態は一例であり、その本質を同一とする範囲において適宜変更可能である。
[第１の実施形態]
図１を参照すると、本発明の第１の実施形態に係るオブジェクト検出装置１００は、監視カメラ１１０で撮像されて得られた道路上のモニタ映像を解析し、オブジェクトを検出する機能を有する。本実施形態では、検出すべきオブジェクトは２輪自動車と４輪自動車の２種類である。即ち、オブジェクト検出装置１００は、多クラス分類器の一種であり、画像から特定の２種類のオブジェクトを検出する。
【００１６】
オブジェクト検出装置１００は、主な機能部として、検出部１０１、辞書１０２、検出結果ＤＢ（検出結果データベース）１０３、受付部１０４、生成部１０５、教師データメモリ１０６、および学習部１０７を有する。また、オブジェクト検出装置１００には、表示デバイス１２０と入力デバイス１３０とが接続されている。オブジェクト検出装置１００は、例えば図２６に示すように、情報処理装置２３０とプログラム２４０を記録する記憶媒体とによって構成されても良い。情報処理装置２３０は、１以上のマイクロプロセッサ等の演算処理部２１０と、半導体メモリやハードディスク等の記憶部２２０とを有する。記憶部２２０は、辞書１０２、検出結果ＤＢ１０３および教師データメモリ１０６等を格納する。プログラム２４０は、オブジェクト検出装置１００の立ち上げ時等に外部のコンピュータ読み取り可能な記録媒体からメモリに読み込まれ、演算処理部２１０の動作を制御することにより、演算処理部２１０上に、検出部１０１、受付部１０４、生成部１０５、および学習部１０７といった機能的手段を実現する。
【００１７】
表示デバイス１２０は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）やＰＤＰ（Ｐｌａｓｍａ  Ｄｉｓｐｌａｙ  Ｐａｎｅｌ）などの画面表示装置からなり、オブジェクト検出装置１００からの指示に応じて、検出結果などの各種情報を画面表示する機能を有している。
【００１８】
入力デバイス１３０は、キーボードやマウスなどの操作入力装置である。入力デバイス１３０は、オペレータの操作を入力として検出し、オブジェクト検出装置１００に出力する。本実施形態では、入力デバイス１３０としてマウスを使用する。また、使用するマウスは、左クリックおよび右クリックの２種類のマウスジェスチャが行えるものとする。
【００１９】
検出部１０１は、監視カメラ１１０で撮像されて得られた画像を時系列順に１枚ずつ入力し、入力した各画像から辞書１０２を用いてオブジェクトを検出する。検出部１０１は、検出結果を検出結果ＤＢ１０３に保存する機能を有する。１枚の画像とは、監視カメラ１１０で撮像された１フレームの画像のことである。監視カメラ１１０から出力される一連のフレームには、識別のために、連続するフレーム番号が付与されている。
【００２０】
図２は、画像からオブジェクトを検出する概念の説明図である。検出部１０１は、画像１１１に対してオブジェクト検出用の探索窓１１２を設定し、探索窓１１２内の画像の特徴量を抽出する。更に検出部１０１は、抽出した特徴量と辞書１０２との類似性を示す尤度を算出し、算出した尤度に基づいて探索窓１１２内の画像がオブジェクトか否かを判定することでオブジェクトを検出する。検出部１０１は、オブジェクトを検出すると、オブジェクトを検出した部分領域の情報と後述するクラスとを有する検出結果を画像１１１の識別情報に関連付けて検出結果ＤＢ１０３に保存する。オブジェクトの部分領域の情報としては、オブジェクトであると判定した探索窓１１２の、画像１１１上での位置情報を使用する。ここで、位置情報としては、探索窓１１２が矩形の場合、例えば、その左上および右下の頂点の座標値を使用する。また、オブジェクトに関するクラスは、２輪自動車のクラスを表すクラス１、４輪自動車のクラスを表すクラス２、その何れでもないクラスを表すクラス０の合計３クラスである。さらに、画像１１１の識別情報は、例えば画像のフレーム番号である。
【００２１】
検出部１０１は、探索窓１１２の位置およびサイズを変更し、上述と同様の動作を繰り返すことにより、画像１１１に存在する、位置およびサイズの異なるオブジェクトを隈なく探索する。図２に示す例では、画像１１１から３つのオブジェクトが検出されている。検出部１０１は、符号１１３に示す位置およびサイズの探索窓によって１つ目のオブジェクトを検出し、符号１１４に示す位置およびサイズの探索窓によって２つ目のオブジェクトを検出し、符号１１５に示す位置およびサイズの探索窓によって３つ目のオブジェクトを検出する。図２では、画像の横方向をＸ軸、縦方向をＹ軸とした。１枚の画像１１１に対する検出処理を終えると、検出部１０１は、次の１枚の画像について同様の処理を繰り返す。
【００２２】
図３は、検出結果ＤＢ１０３の例である。この例の検出結果ＤＢ１０３は、フレーム番号に対応して、検出結果を記録する。検出結果は、オブジェクトの部分領域の情報とクラスとから構成される。例えば、検出結果ＤＢ１０３は、フレーム番号００１に対応して、３つのオブジェクトの部分領域の情報とクラスとのペアを記録する。その１つは、左上頂点の座標が（ｘ１、ｙ１）、右下頂点の座標が（ｘ２、ｙ２）となる部分領域とクラス２とのペア、他の１つは、左上頂点の座標が（ｘ３、ｙ３）、右下頂点の座標が（ｘ４、ｙ４）となる部分領域とクラス１とのペア、残りの１つは、左上頂点の座標が（ｘ５、ｙ５）、右下頂点の座標が（ｘ６、ｙ６）となる部分領域とクラス１とのペアである。
【００２３】
また図３に示す検出結果ＤＢ１０３は、検出結果毎に修正クラスを記録する欄を有する。修正クラスは、受付部１０４によって入力されたクラスに相当する。検出部１０１が検出結果を検出結果ＤＢ１０３に出力する時点では、修正クラスの欄は全てＮＵＬＬである（図３では‐で示される）。
【００２４】
受付部１０４は、検出結果ＤＢ１０３に保存された画像の検出結果を視覚化して表示デバイス１２０に表示し、オペレータから修正の入力を受け付ける。
【００２５】
図４は、受付部１０４が表示デバイス１２０に表示する受付画面１２１の一例を示す。この例において、受付画面１２１は、画面の下部にグラフ１２２を表示し、その上部にスライダ１２３を表示し、さらに上部に画像ウインドウ１２４を表示する。
【００２６】
グラフ１２２は、画像１１１を含む複数の画像と、各画面においてオブジェクトが検出された部分領域の数との関係を示すグラフである。受付画面１２１の横方向をＸ軸、縦方向をＹ軸とするとき、グラフ１２２のＸ軸は画像のフレーム番号、Ｙ軸はオブジェクトが検出された部分領域の数、即ち、オブジェクト検出数をそれぞれ示す。即ち、受付部１０４は、検出結果ＤＢ１０３に保存された検出結果に対応する入力画像をフレーム番号の昇順または降順に並べた列をグラフ１２２のＸ軸とする。但し、Ｘ軸は入力画像をフレーム番号の昇順または降順に並べた列以外であってもよい。例えば、Ｘ軸は、入力画像をオブジェクトの部分領域の数（即ちオブジェクト検出数）で並べた列としてもよい。この場合、受付部１０４は、検出結果ＤＢ１０３に保存された検出結果１０３の入力画像をオブジェクト検出数で昇順または降順にソートし、ソート後の入力画像の列をグラフ１２２のＸ軸とする。また、図４ではグラフ１２２は棒グラフであるが、グラフ１２２の種類は棒グラフに限定されず、折れ線グラフ等、他の種類であってもよい。
【００２７】
スライダ１２３は、グラフ１２２のＸ軸上の位置、即ち画像を選択するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）である。スライダ１２３はスライドバー１２３ａを備え、入力デバイス１３０でスライドバー１２３ａを左右に操作することで、グラフ１２２のＸ軸上の位置を選択する。
【００２８】
画像ウインドウ１２４は、複数の画像のうちスライダ１２３の操作によって選択された１枚の画像１１１をフレーム単位で表示する。画像ウインドウ１２４に表示される画像１１１には、検出されたオブジェクトの部分領域を強調する表示が付加されている。図４の例では、オブジェクトの部分領域の外周を示す矩形の枠１２５が表示されている。但し、オブジェクトの部分領域を強調する表示は矩形の枠１２５に限らず、部分領域全体の輝度を他の領域よりも高く或いは低くする表示形態や、部分領域全体に網掛けを表示する表示形態など、任意の表示形態を使用してよい。
【００２９】
また、検出されたオブジェクトの部分領域を強調する表示は、検出されたオブジェクトのクラスにより、異なる表示形態で表示される。図４では、クラス１のオブジェクトの部分領域は破線の枠１２５で表示され、クラス２のオブジェクトの部分領域は実線の枠１２５で表示されている。枠１２５の線種を異ならせる以外に、枠１２５の表示色を異ならせてもよい。また、クラスを示す数値を部分画像の近傍に表示してもよい。
【００３０】
一般にＧＵＩのスライダには、オペレータの操作の目安となる目盛とラベルとが表示される。図４に示す受付画面１２１は、目盛とラベルの代わりに、画像毎のオブジェクト検出数を示すグラフ１２２を表示する。このようなグラフ１２２を表示することにより、オペレータは、オブジェクト検出数を基準にして複数の画像から一の画像を選択することが容易に行える。
【００３１】
また受付部１０４は、表示デバイス１２０に表示された画像１１１に対する入力デバイス１３０の操作により、部分領域の選択とその選択した部分領域に対するクラスの入力とを受け付ける機能を有する。受付部１０４は、入力デバイス１３０の操作が行われた画像１１１の位置により部分領域の選択を受け付け、その操作の種別によりクラスの入力を受け付ける。本実施形態では、入力デバイス１３０はマウスであり、操作の種別は左クリックと右クリックである。左クリックは、マウスの左ボタンをシングルクリックする操作を意味する。また右クリックは、マウスの右ボタンをシングルクリックする操作を意味する。受付部１０４は、左クリックまたは右クリックされた画像１１１の位置を領域内に有する部分領域の選択を受け付ける。また受付部１０４は、その選択した部分領域に対して、左クリックのときはクラス０の入力を受け付け、右クリックのときは現在のクラスをインクリメントしたクラスの入力を受け付ける。ここで、現在のクラスをインクリメントしたクラスとは、現在のクラスがクラス１のときはクラス２、現在のクラスがクラス２のときはクラス０、現在のクラスがクラス０のときはクラス１をそれぞれ意味する。受付部１０４は、上記選択した部分領域に対して上記受け付けたクラスを検出結果ＤＢ１０３の修正クラスの欄に記録する。
【００３２】
生成部１０５は、受付部１０４により選択された部分領域の画像と入力されたクラスとから教師データを生成し、教師データメモリ１０６に格納する。生成部１０５は、図３に示す検出結果ＤＢ１０３において、修正クラスの欄にクラス０、クラス１およびクラス２の何れかのクラスが記録されている部分領域毎に、教師データを生成する。教師データは、その部分領域の画像またはその部分領域の画像から抽出した特徴量と修正クラスの欄に記録されたクラスとを入出力ペアとする。
【００３３】
学習部１０７は、教師データメモリ１０６に格納された教師データを使用して辞書１０２を学習する。教師データを使用して辞書１０２を学習する手法は、広く知られているので、その説明は省略する。辞書１０２は、教師データによる学習によってグレードアップされる。検出部１０１は、このグレードアップした辞書１０２を使用して、再び監視カメラ１１０から入力した各画像からオブジェクトを検出する。
【００３４】
図５は本実施形態の動作を示すフローチャートである。以下、図５を参照して本実施形態の動作を説明する。
【００３５】
オブジェクト検出装置１００の検出部１０１は、監視カメラ１１０で撮像されて得られた画像を時系列順に１枚ずつ入力する（ステップＳ１０１）。次に検出部１０１は、図２を参照して説明したような手法により、入力した画像から辞書１０２を用いてオブジェクトを検出し、検出結果ＤＢ１０３に検出結果を保存する（ステップＳ１０２）。監視カメラ１１０で撮像されて得られた次の画像があれば（ステップＳ１０３）、検出部１０１はステップＳ１００へ戻って上述した処理と同様の処理を繰り返す。これにより、図３に示したような複数の画像の検出結果が検出結果ＤＢ１０３に蓄積される。監視カメラ１１０で撮像された一連の画像に対する検出部１０１の処理が終了すると、受付部１０４による処理が開始される。
【００３６】
受付部１０４は、図４に示したような受付画面１２１を表示デバイス１２０に表示し、入力デバイスの入力操作を受け付ける（ステップＳ１０４）。このステップＳ１０４の詳細は後述する。
【００３７】
受付部１０４による受付が終了すると、生成部１０５は、受付部１０４により選択された部分領域の画像と入力されたクラスとから教師データを生成する（ステップＳ１０５）。次に学習部１０７は、教師データメモリ１０６に格納された教師データを使用して辞書１０２を学習する（ステップＳ１０６）。
【００３８】
図６はステップＳ１０４で行われる受付部１０４の動作の詳細を示すフローチャートである。以下、図６を参照して受付部１０４の動作を詳細に説明する。
【００３９】
受付部１０４は、検出結果ＤＢ１０３から画像毎のオブジェクト検出数を算出する（ステップＳ１１１）。図３を参照すると、フレーム番号００１の画像から３つの部分領域が検出されているため、受付部１０４は、フレーム番号００１のオブジェクト検出数を３とする。同様にして他のフレーム番号の画像のオブジェクト検出数を算出する。
【００４０】
次に受付部１０４は、初期の受付画面１２１を表示デバイス１２０に表示する（ステップＳ１１２）。初期の受付画面１２１は、図４に示すように、グラフ１２２、スライダ１２３および画像ウインドウ１２４を表示する。グラフ１２２は、ステップＳ１１１で算出したフレーム番号毎のオブジェクト検出数を表示する。スライダ１２３は、スライドバー１２３ａを所定の位置に置いたものである。画像ウインドウ１２４は、スライドバー１２３ａが指し示すグラフ１２２のＸ軸上のオブジェクト番号の画像を表示する。また、画像ウインドウ１２４に表示される画像上で検出されたオブジェクトの部分領域は、その部分領域のクラスに応じた線種の枠１２５によって強調されている。
【００４１】
次に受付部１０４は、スライダ１２３のスライドバー１２３ａが操作されたか否か（ステップＳ１１３）、画像ウインドウ上の画像に対してクリックが行われたか否か（ステップＳ１１４）、受付終了条件が成立したか否か（ステップＳ１１５）、を判定する。受付終了条件としては、例えば、受付終了コマンドがオペレータから入力されたことや、一定時間以上にわたって入力操作が行われないことなど、であってよい。
【００４２】
受付部１０４は、画像ウインドウ１２４の画像に対する左クリックまたは右クリックを検出すると（ステップＳ１１４でＹＥＳ）、クリック位置を包含する部分領域が画像に存在するか否かを判定する（ステップＳ１１６）。この判定は、クリックされた位置の座標値が、画像ウインドウ１２４に表示されている画像の何れかの部分領域の内部であるか否かを調べることにより行われる。受付部１０４は、クリック位置を包含する部分領域が存在しない場合（ステップＳ１１６でＮＯ）、当該クリックを無視する。他方、受付部１０４は、クリック位置を包含する部分領域が存在する場合（ステップＳ１１６でＹＥＳ）、クリック位置を包含する部分領域が選択されたものと判断し、クラスの入力を判断するためにクリックの種別が左クリック、右クリックの何れであるかを判定する（ステップＳ１１７）。
【００４３】
受付部１０４は、左クリックならば、選択された部分領域に対するクラス０の入力を受け付ける（ステップＳ１１８）。次に受付部１０４は、検出結果ＤＢ１０３中の検出結果の上記選択された部分領域に対応する修正クラスを上記受け付けたクラス０に更新する（ステップＳ１１９）。次に受付部１０４は、画像ウインドウ１２４に表示している画像の上記選択された部分領域に表示していた枠１２５を非表示にする（ステップＳ１２０）。
【００４４】
また受付部１０４は、右クリックならば、選択された部分領域の現在のクラスをインクリメントしたクラスの入力を受け付ける（ステップＳ１２１）。選択された部分領域の現在のクラスは、検出結果ＤＢ１０３中の検出結果の上記選択された部分領域に対応する修正クラスがＮＵＬＬのときは検出結果のクラスであり、修正クラスがＮＵＬＬでないときは修正クラスに記載されたクラスである。次に受付部１０４は、検出結果ＤＢ１０３中の検出結果の上記選択された部分領域に対応する修正クラスを上記インクリメント後のクラスに更新する（ステップＳ１２２）。次に受付部１０４は、画像ウインドウ１２４に表示している画像の上記選択された部分領域に表示していた枠１２５の表示を更新する（ステップＳ１２３）。具体的には、受付部１０４は、インクリメント後のクラスがクラス２ならば、枠１２５を実線で表示する。また受付部１０４は、インクリメント後のクラスがクラス０ならば、枠１２５を非表示にする。また受付部１０４は、インクリメント後のクラスがクラス１ならば、枠１２５を破線で表示する。
【００４５】
他方、受付部１０４は、スライドバー１２３ａが操作されたことを検出すると（ステップＳ１１３）、受付画面１２１のスライドバー１２３ａおよび画像ウインドウ１２４の画像を更新する（ステップ１２４）。具体的には、受付部１０４は、スライドバー１２３ａの表示位置を入力操作に応じて移動させる。また受付部１０４は、移動後のスライドバー１２３ａが指し示すグラフ１２２のＸ軸上のオブジェクト番号の画像を画像ウインドウ１２４に表示する。
【００４６】
さらに受付部１０４は、画像ウインドウ１２４に表示した画像上の部分領域が、過去にクラスの入力を行った画像の部分領域と同じ位置および同じ入力前クラスを有するか判断する。同じ位置および同じ入力前クラスを有すると判断した場合、受付部１０４は、当該部分領域を強調する枠１２５を非表示にする。例えば、図３のフレーム番号００１、００２、００３におけるそれぞれ３つ目の部分画像の位置は何れも（ｘ５、ｙ５）、（ｘ６、ｙ６）を左上頂点、右下頂点とする同じ位置の矩形であり、その入力前クラスも同じクラス１である。従って、例えばフレーム番号００１の画像に対して上記３つ目の部分画像のクラスがクラス１からクラス０に修正された後、フレーム番号００２、００３の画像が画像ウインドウ１２４に表示される場合、フレーム番号００２、００３の画像の上記３つ目の部分画像には、枠１２５は表示されない。但し、それらの検出結果のクラスには、依然としてクラス１が記録されている。
【００４７】
このように本実施形態によれば、良質な教師データを効率良く作成することができる。その理由は、受付部１０４が、検出されたオブジェクトの部分領域を強調する表示を付して入力画像を表示デバイス１２０に表示し、入力デバイス１３０の１操作であるクリックにより、部分領域の選択とこの選択した部分領域に対するクラスの入力とを受け付けるためである。
【００４８】
また本実施形態によれば、オブジェクト検出数を基準にして複数の画像から１枚の画像を容易に選択することできる。その理由は、受付部１０４が、入力画像とオブジェクトが検出された部分領域の数との関係を示すグラフ１２２を表示デバイス１２０に表示し、スライダ１２３の操作により受け付けたグラフ１２２上の位置に従って、表示デバイス１２０に検出結果を表示する入力画像を選択するためである。本実施形態では、オブジェクト検出数を基準に処理する画像を選択できる。このため、オペレータの技量の程度や好みに応じて、多くのオブジェクトが検出されている画像から優先的に処理したり、その反対に、オブジェクトの検出数の少ない画像から優先的に処理したりできる。あるいは、オペレータは、その中間程度のオブジェクト検出数の画像から優先的に処理したりすることが手軽に行える。一般に多くのオブジェクトが検出されている画像から優先的に処理した方がトータルの作業時間は短縮されるが、部分領域どうしの重複が多い画像の場合、慣れないオペレータではその確認が容易でない。
【００４９】
また一般的に視野を固定した監視カメラ１１０が、道路を走行する２輪自動車や４輪自動車を一定周期で撮像すると、動かない物体は連続する複数のフレーム画像の同じ位置に共通に出現する。このため、例えば道路にできた水溜りなどを誤って２輪自動車として検出する場合、連続する複数のフレーム画像の同じ位置に同じ誤認識結果が出現する。同じ誤認識結果はその何れか１つを修正して教師データを生成すれば十分であり、既に修正した誤認識結果と同じものが多数のフレーム画像にわたって強調表示されると却って煩わしい。本実施形態では、受付部１０４は、過去にクラスの入力を行った画像の部分領域と同じ位置および同じ入力前クラスを有する部分領域を強調する枠１２５を非表示にする。これにより当該煩わしさを解消できる。
【００５０】
[第１の実施形態の変形例]
次に、上記第１の実施形態の構成を変更した各種の変形例について説明する。
【００５１】
上記第１の実施形態では、受付部１０４は、マウスジェスチャの左クリックによりクラス０の入力を受け付け、右クリックによりクラスのインクリメントの入力を受け付けた。しかし、クラス０の入力を受け付けるジェスチャ種別、クラスのインクリメントの入力を受け付けるジェスチャ種別は、図７の一覧に例示するように、様々な組み合わせが可能である。
【００５２】
例えば、図７に示す番号１−１では、受付部１０４は、マウスジェスチャの左クリックによりクラス０の入力を受け付け、ダブルクリックによりクラスのインクリメントの入力を受け付ける。ダブルクリックとは、マウスの左ボタンを連続して２回シングルクリックする操作を意味する。
【００５３】
また図７に示す番号１−２では、受付部１０４は、マウスジェスチャの左クリックによりクラス０の入力を受け付け、ドラッグアンドドロップによりクラスのインクリメントの入力を受け付ける。ドラッグアンドドロップとは、マウスの左ボタンを押した状態でマウスを移動（ドラッグ）させ、別の場所で左ボタンを離す（ドロップ）操作を意味する。ドラッグアンドドロップを使用する場合、図６のステップＳ１１４において画像ウインドウ上でドラッグアンドドロップが行われたか否かを判定し、ステップＳ１１６では、例えばドラッグの開始点とドロップ点とを包含する部分領域があるか否かを判定する。
【００５４】
上記番号１−１、１−２は上記第１の実施形態と同じく、マウスジェスチャを使用する。これに対して図７に示す番号１−３〜１−６は、タッチジェスチャを使用する。タッチジェスチャとは、タッチパネルに対して行われる指先等の人体の一部を用いたタッチ操作を意味する。タッチジェスチャには、タップ（指等で軽く叩く操作）、ダブルタップ（指等で２回叩く操作）、フリック（指等ではじく或いは払う操作）、スワイプ（指等でなぞる操作）、ピンチイン（複数本の指等でつまむ或いは狭める操作）、ピンチアウト（複数本の指等で広げる操作）など多くの種類がある。タッチジェスチャを使用する場合、入力デバイス１３０としてタッチパネルを使用する。タッチパネルの使用は、例えば本発明がスマートフォンやタブレット端末等のモバイル機器に実装される場合にも有用である。
【００５５】
図７の番号１−３では、受付部１０４は、フリックによりクラス０の入力を受け付け、スワイプによりクラスのインクリメントの入力を受け付ける。また図７の番号１−４では、受付部１０４は、左方向のフリックによりクラス０の入力を受け付け、右方向のフリックによりクラスのインクリメントの入力を受け付ける。図７の番号１−５では、受付部１０４は、ピンチインによりクラス０の入力を受け付け、ピンチアウトによりクラスのインクリメントの入力を受け付ける。図７の番号１−６では、受付部１０４は、タップによりクラス０の入力を受け付け、ダブルタップによりクラスのインクリメントの入力を受け付ける。これらは例示であり、他の任意のジェスチャの組み合わせを使用してよい。
【００５６】
上記第１の実施形態および図７の番号１−１〜１−６では、受付部１０４は、第１の種別のジェスチャによりクラス０の入力を受け付け、第２の種別のジェスチャによりクラスのインクリメントの入力を受け付けた。しかし、受付部１０４は、インクリメントでなくデクリメントの入力を受け付けるようにしてよい。即ち、上記第１の実施形態および図７の番号１−１〜１−６において、受付部１０４は、第１の種別のジェスチャによりクラス０の入力を受け付け、第２の種別のジェスチャによりクラスのデクリメントの入力を受け付けるようにしてよい。
【００５７】
上記第１の実施形態では、マウスジェスチャの左クリックによりクラス０の入力を受け付け、右クリックによりクラスのインクリメントの入力を受け付けた。しかし、クラスと操作とを１対１に対応付け、クラス０、クラス１、クラス２の入力をそれぞれ特定の１操作により受け付けるようにしてもよい。各クラスの入力を受け付けるジェスチャ種別は、図８の一覧に例示するように、様々な組み合わせが可能である。
【００５８】
例えば、図８に示す番号１−１１では、受付部１０４は、マウスジェスチャの左クリックによりクラス０の入力を受け付け、右クリックによりクラス１の入力を受け付け、ダブルクリックによりクラス２の入力を受け付ける。また図８に示す番号１−１２では、受付部１０４は、クラス０とクラス１の入力を番号１−１１と同様のマウスジェスチャにより受け付け、クラス２の入力はドラッグアンドドロップにより受け付ける。以上はマウスジェスチャを使用する例である。これに対して図８に示す番号１−１３〜１−１５は、タッチジェスチャを使用する。例えば、図８に示す番号１−１３では、受付部１０４は、フリックによりクラス０の入力を受け付け、タップによりクラス１の入力を受け付け、ダブルタップによりクラス２の入力を受け付ける。また図８に示す番号１−１４では、受付部１０４は、左方向のフリックによりクラス０の入力を受け付け、上方向のフリックによりクラス１の入力を受け付け、下方向のフリックによりクラス２の入力を受け付ける。また図８に示す番号１−１５では、受付部１０４は、タップによりクラス０の入力を受け付け、ピンチインによりクラス１の入力を受け付け、ピンチアウトによりクラス２の入力を受け付ける。
【００５９】
上記第１の実施形態では、クラスの数は３つ（クラス０、クラス１、クラス２）であったが、クラス数が２つ（クラス０、クラス１）の２クラスのオブジェクト検出装置、およびクラス数が４つ以上の多クラスのオブジェクト検出装置への適用も可能である。
【００６０】
[第２の実施形態]
本発明の第２の実施形態は、入力画像から機械的に検出できなかったオブジェクトの部分領域の選択とその部分領域に対するクラスの入力とを、入力画像に対する入力デバイスの操作によって行えるようにしたオブジェクト検出装置について説明する。本実施形態は、第１の実施形態と比較して、受付部１０４の機能が相違し、その他は第１の実施形態と基本的に同じである。以下では、第１の実施形態のブロック図である図１を借用して、第２の実施形態に好適な受付部１０４の機能について詳細に説明する。
【００６１】
受付部１０４は、画像の検出結果ＤＢ１０３を視覚化して表示デバイス１２０に表示し、オペレータから修正の入力を受け付ける機能を有する。
【００６２】
図９は、受付部１０４が表示デバイス１２０に表示する受付画面１２６の一例を示す。
この例の受付画面１２６は、図４に示した受付画面１２１と比較して、画像ウインドウ１２４に表示されている画像１１１中の２輪自動車の箇所に部分領域の外周を示す矩形の枠が表示されていない点のみ相違する。矩形の枠が表示されない原因は、検出部１０１が画像１１１から辞書１０２を用いてオブジェクトを検出した際、その箇所の２輪自動車の検出に失敗したことによる。このような検出漏れを改善するためには、オブジェクト検出装置は、画像１１１中の２輪自動車の部分領域とそのクラスとの入出力ペアである教師データを作成し、辞書１０２を学習する必要がある。
【００６３】
受付部１０４は、表示デバイス１２０に表示された画像１１１に対する入力デバイス１３０の操作により、部分領域の選択とその選択した部分領域に対するクラスの入力とを受け付ける機能を有する。ここで、本実施形態では、部分領域の選択とは、既存の部分領域の選択と新規な部分領域の作成との双方を意味する。受付部１０４は、入力デバイス１３０の操作が行われた画像１１１の位置により部分領域の選択を受け付け、その操作の種別によりクラスの入力を受け付ける。本実施形態では、入力デバイス１３０はマウスであり、操作の種別は左クリック、右クリック、右下方向のドラッグアンドドロップ、左下方向のドラッグアンドドロップである。
【００６４】
右下方向のドラッグアンドドロップとは、図１０Ａ内の矢印に示すように、マウスの左ボタンを押した状態でマウスを画像１１１上の或る場所（始点）ａから移動（ドラッグ）させ、始点ａの右下方向に存在する別の場所（終点）ｂで左ボタンを離す（ドロップ）操作を意味する。また、左下方向のドラッグアンドドロップとは、図１０Ｂ内の矢印に示すように、マウスの左ボタンを押した状態でマウスを画像１１１上の或る場所（始点）ａから移動（ドラッグ）させ、始点ａの左下方向に存在する別の場所（終点）ｂで左ボタンを離す（ドロップ）操作を意味する。
【００６５】
受付部１０４は、左クリックまたは右クリックされた画像１１１の位置を領域内に有する部分領域の選択を受け付ける。また受付部１０４は、その選択した部分領域に対して、左クリックのときはクラス０の入力を受け付け、右クリックのときは現在のクラスをインクリメントしたクラスの入力を受け付ける。ここで、現在のクラスをインクリメントしたクラスとは、現在のクラスがクラス１のときはクラス２、現在のクラスがクラス２のときはクラス０、現在のクラスがクラス０のときはクラス１をそれぞれ意味する。受付部１０４は、上記選択した部分領域に対して上記受け付けたクラスを検出結果１０３の修正クラスの欄に記録する。以上は、第１の実施形態において左クリックまたは右クリックされたときと同じである。
【００６６】
また受付部１０４は、右下方向のドラッグアンドドロップを検出すると、図１０Ａ内の破線に示すように、始点ａを左上頂点、終点ｂを右下頂点とする矩形の領域を部分領域として算出し、且つ、その部分領域に対してクラス１の入力を受け付ける。また受付部１０４は、左下方向のドラッグアンドドロップを検出すると、図１０Ｂ内の破線に示すように、始点ａを右上頂点、終点ｂを左下頂点とする矩形の領域を部分領域として算出し、且つ、その部分領域に対してクラス２の入力を受け付ける。また受付部１０４は、新規に算出した部分領域とそのクラスの情報を検出結果ＤＢ１０３に記録する。
【００６７】
図１１は受付部１０４の動作の詳細を示すフローチャートである。図１１において、ステップＳ２１１〜Ｓ２２４は、図６のステップＳ１１１〜Ｓ１２４と同じである。以下、図１１を参照して、図６との相違点を中心に受付部１０４の動作を詳細に説明する。
【００６８】
受付部１０４は、画像ウインドウ１２４の画像上でドラッグアンドドロップを検出すると（ステップＳ２２５でＹＥＳ）、ドラッグアンドドロップの方向を判定する（ステップＳ２２６）。受付部１０４は、右下方向のドラッグアンドドロップであれば、図１０Ａを参照して説明したように始点を左上頂点、終点を右下頂点とする矩形の部分領域を算出し、クラス１の入力を受け付ける（ステップＳ２２７）。次に受付部１０４は、算出した部分領域とクラス１のペアを１つの検出結果として検出結果ＤＢ１０３に記録する（ステップＳ２２８）。次に受付部１０４は、受付画面１２６の画像ウインドウ１２４を更新する（ステップＳ２２９）。そして受付部１０４は、ステップＳ２１３の処理へ戻る。
【００６９】
また受付部１０４は、左下方向のドラッグアンドドロップであれば（ステップＳ２２６）、図１０Ｂを参照して説明したように始点を右上頂点、終点を左下頂点とする矩形の部分領域を算出し、クラス２の入力を受け付ける（ステップＳ２３０）。次に受付部１０４は、算出した部分領域とクラス２のペアを１つの検出結果として検出結果ＤＢ１０３に記録する（ステップＳ２３１）。次に受付部１０４は、受付画面１２６の画像ウインドウ１２４を更新する（ステップＳ２３２）。そして受付部１０４は、ステップＳ２１３の処理へ戻る。
【００７０】
図１２Ａおよび図１２Ｂは、受付部１０４によるステップＳ２２８の説明図である。図１２Ａは検出部１０１が生成した検出結果ＤＢ１０３を示し、図１２Ｂは受付部１０４が新たに算出した部分領域とクラス１のペアの記録を追加した後の検出結果ＤＢ１０３を示す。新たに追加した部分領域は、左上頂点が（ｘ３、ｙ３）、右下頂点が（ｘ４、ｙ４）となる矩形であり、そのクラスはクラス１である。このように、追加する部分領域のクラスは、修正クラスの欄に記録する。こうすることによって、生成部１０５は、追加した部分領域とクラスとから教師データを生成する。受付部１０４によるステップＳ２３１の場合、修正クラスにクラス２が記録される点が異なる。
【００７１】
図１３Ａおよび図１３Ｂは、受付部１０４によるステップＳ２２９の説明図である。図１３Ａは更新前の画像ウインドウ１２４、図１３Ｂは更新後の画像ウインドウ１２４を示す。更新後の画像ウインドウ１２４には、新たに追加した部分領域を強調する破線による矩形の枠１２５が描画されている。受付部１０４によるステップＳ２３２の場合、更新後の画像ウインドウ１２４には、新たに追加した部分領域を強調する矩形の枠が実線により描画される点が異なる。
【００７２】
このように本実施形態によれば、良質な教師データを効率良く作成することができる。その理由は、受付部１０４が、検出されたオブジェクトの部分領域を強調する表示を付して入力画像を表示デバイス１２０に表示し、入力デバイス１３０の１操作であるクリックにより、部分領域の選択とこの選択した部分領域に対するクラスの入力とを受け付けるためである。また、受付部１０４が、画像上の右下方向あるいは左下方向のドラックアンドドロップという１操作を検出して、新たな部分領域の算出とクラス１あるいはクラス２の入力とを受け付けるためである。
【００７３】
[第２の実施形態の変形例]
次に、上記第２の実施形態の構成を変更した各種の変形例について説明する。
【００７４】
上記第２の実施形態では、受付部１０４は、マウスジェスチャの左クリックによりクラス０の入力を受け付け、右クリックによりクラスのインクリメントの入力を受け付け、右下方向のドラッグアンドドロップによりクラス１の部分領域を算出し、左下方向のドラッグアンドドロップによりクラス２の部分領域を算出した。しかし、クラス０の入力を受け付けるジェスチャ種別、クラスのインクリメントの入力を受け付けるジェスチャ種別、クラス１の部分領域の算出を受け付けるジェスチャ種別、クラス２の部分領域の算出を受け付けるジェスチャ種別は、図１４の一覧に例示するように、様々な組み合わせが可能である。
【００７５】
例えば、図１４に示す番号２−１では、受付部１０４は、マウスジェスチャの左クリックによりクラス０の入力を受け付け、ダブルクリックによりクラスのインクリメントの入力を受け付ける。更に、受付部１０４は、右下方向のドラッグアンドドロップによりクラス１の部分領域の算出を受け付け、左下方向のドラッグアンドドロップによりクラス２の部分領域の算出を受け付ける。
【００７６】
また図１４に示す番号２−２では、受付部１０４は、マウスジェスチャの左クリックによりクラス０の入力を受け付け、右クリックによりクラスのインクリメントの入力を受け付け、左上方向のドラッグアンドドロップによりクラス１の部分領域の算出を受け付け、右上方向のドラッグアンドドロップによりクラス２の部分領域の算出を受け付ける。ここで、左上方向のドラッグアンドドロップとは、図１０Ａ内の矢印と反対方向のドラッグアンドドロップであり、マウスの左ボタンを押した状態でマウスを画像１１１上の或る場所（始点）ｂから移動（ドラッグ）させ、始点ｂの左上方向に存在する別の場所（終点）ａで左ボタンを離す（ドロップ）操作を意味する。また、右上方向のドラッグアンドドロップとは、図１０Ｂ内の矢印と反対方向のドラッグアンドドロップであり、マウスの左ボタンを押した状態でマウスを画像１１１上の或る場所（始点）ｂから移動（ドラッグ）させ、始点ｂの右上方向に存在する別の場所（終点）ｃで左ボタンを離す（ドロップ）操作を意味する。
【００７７】
また図１４に示す番号２−３は、番号２−２と比較して、クラス１とクラス２の部分領域の算出を受け付ける操作が相違している。番号２−３では、受付部１０４は、左ダブルクリックによりクラス１の部分領域の算出を受け付け、右ダブルクリックによりクラス２の部分領域の算出を受け付ける。ここで、左ダブルクリックとは、マウスの左ボタンを２回連続してクリックすることを意味する。また右ダブルクリックとは、マウスの右ボタンを２回連続してクリックすることを意味する。
【００７８】
図１５は、受付部１０４が画像１１１上で行われた右ダブルクリックの位置からクラス２の部分領域を算出する方法の説明図である。受付部１０４は、画像１１１上の点ｃの箇所で右ダブルクリックが行われたことを検出すると、典型的なクラス２のオブジェクト（本実施形態では４輪自動車）１３１の重心が点ｃに一致する位置に存在すると仮定して、そのオブジェクトの外接矩形１３２を部分領域として算出する。撮像視野が固定されている監視カメラ１１０で被写体を撮像した時、被写体の各点と画像上の各点との間には相関関係があるため、画像上の或る点を重心とする典型的な大きさのオブジェクトの外接矩形はほぼ一意に定まる。更に、画像上の或る点を重心とする典型的なクラス１のオブジェクト（本実施形態では２輪自動車）の外接矩形もほぼ一意に定まる。これにより受付部１０４は、同様の方法により画像１１１上で行われた左ダブルクリックの位置からクラス１の部分領域を算出する。
【００７９】
図１５の例では、オペレータが入力デバイス１３０を介し、オブジェクトの重心位置を右ダブルクリックあるいは左ダブルクリックするように構成したが、重心位置に限らず、予め定められた位置ならば任意でよい。例えば、２輪自動車であれば前輪の中心、４輪自動車であれば前輪と後輪の中間などを右ダブルクリックあるいは左ダブルクリックするようにしてもよい。また、人を検出対象とするオブジェクト検出装置の場合、オペレータは入力デバイス１３０を介し、人の頭部を左ダブルクリックするように構成することができる。この場合、受付部１０４は、頭部位置から人物領域を推定し、推定した人物領域の外接矩形を部分領域として算出する。
【００８０】
上記番号２−１〜２−３は上記第２の実施形態と同じく、マウスジェスチャを使用する。これに対して図１４に示す番号２−４〜２−７は、以下のようにタッチジェスチャを使用する。
【００８１】
図１４の番号２−４では、受付部１０４は、フリックによりクラス０の入力を受け付け、タップによりクラスのインクリメントの入力を受け付け、右下方向のスワイプによりクラス１の部分領域の算出を受け付け、左下方向のスワイプによりクラス２の部分領域の算出を受け付ける。
【００８２】
右下方向のスワイプとは、図１６Ａ内の矢印に示すように、画像１１１上の或る場所（始点）ａから始点ａの右下方向に存在する別の場所（終点）ｂまで指先でなぞる操作を意味する。また、左下方向のスワイプとは、図１６Ｂ内の矢印に示すように、画像１１１上の或る場所（始点）ａから始点ａの左下方向に存在する別の場所（終点）ｂまで指先でなぞる操作を意味する。受付部１０４は、右下方向のスワイプを検出すると、図１６Ａ内の破線に示すように、始点ａを左上頂点、終点ｂを右下頂点とする矩形の領域を部分領域として算出し、且つ、その部分領域に対してクラス１の入力を受け付ける。また受付部１０４は、左下方向のスワイプを検出すると、図１６Ｂ内の破線に示すように、始点ａを右上頂点、終点ｂを左下頂点とする矩形の領域を部分領域として算出し、且つ、その部分領域に対してクラス２の入力を受け付ける。
【００８３】
図１４の番号２−５では、受付部１０４は、左方向のフリックによりクラス０の入力を受け付け、右方向のフリックによりクラスのインクリメントの入力を受け付け、下方向のスワイプによりクラス１の部分領域の算出を受け付け、上方向のスワイプによりクラス２の部分領域の算出を受け付ける。
【００８４】
下方向のスワイプとは、図１７Ａ内の矢印に示すように、画像１１１上の或る場所（始点）ａから始点ａの下方向に存在する別の場所（終点）ｂまで指先でなぞる操作を意味する。また、上方向のスワイプとは、図１７Ｂ内の矢印に示すように、画像１１１上の或る場所（始点）ｂから始点ｂの上方向に存在する別の場所（終点）ａまで指先でなぞる操作を意味する。受付部１０４は、下方向のスワイプを検出すると、図１７Ａ内の破線に示すような矩形をクラス１の部分領域として算出する。矩形は、スワイプの線で線対称になっており、上下方向の長さはスワイプの長さに等しい。また左右方向の長さは、スワイプの長さに所定の比率を乗じて求められる。所定の比率としては、例えば、典型的な形状のクラス１のオブジェクト（本実施形態では２輪自動車）の外接矩形の上下方向の長さに対する左右方向の長さの比を使用することができる。また受付部１０４は、上方向のスワイプを検出すると、図１７Ｂ内の破線に示すような矩形をクラス２の部分領域として算出する。矩形は、スワイプの線で線対称になっており、上下方向の長さはスワイプの長さに等しい。また左右方向の長さは、スワイプの長さに所定の比率を乗じて求められる。所定の比率としては、典型的な形状のクラス２のオブジェクト（本実施形態では４輪自動車）の外接矩形の上下方向の長さに対する左右方向の長さの比を使用することができる。
【００８５】
図１４の番号２−６では、受付部１０４は、ピンチインによりクラス０の入力を受け付け、ピンチアウトによりクラスのインクリメントの入力を受け付け、右下方向のスワイプによりクラス１の部分領域の算出を受け付け、左下方向のスワイプによりクラス２の部分領域の算出を受け付ける。
【００８６】
図１４の番号２−７では、受付部１０４は、タップによりクラス０の入力を受け付け、ダブルタップによりクラスのインクリメントの入力を受け付け、右下方向のスワイプによりクラス１の部分領域の算出を受け付け、左下方向のスワイプによりクラス２の部分領域の算出を受け付ける。これらは例示であり、他の任意のジェスチャの組み合わせを使用してよい。
【００８７】
上記第２の実施形態および図１４の番号２−１〜２−７では、受付部１０４は、第１の種別のジェスチャによりクラス０の入力を受け付け、第２の種別のジェスチャによりクラスのインクリメントの入力を受け付けた。しかし、受付部１０４は、インクリメントでなくデクリメントの入力を受け付けるようにしてよい。即ち、上記第２の実施形態および図１４の番号２−１〜２−７において、受付部１０４は、第２の種別のジェスチャによりクラスのデクリメントの入力を受け付けるようにしてよい。
【００８８】
上記第２の実施形態では、受付部１０４は、マウスジェスチャの左クリックによりクラス０の入力を受け付け、右クリックによりクラスのインクリメントの入力を受け付けた。しかし、クラスと操作とを１対１に対応付け、クラス０、クラス１、クラス２の入力をそれぞれ特定の１操作により受け付けるようにしてもよい。各クラスの入力を受け付けるジェスチャ種別、および各クラスの部分領域の算出を受け付けるジェスチャ種別は、図１８の一覧に例示するように、様々な組み合わせが可能である。
【００８９】
例えば、図１８に示す番号２−１１では、受付部１０４は、マウスジェスチャの左クリックによりクラス０の入力を受け付け、右クリックによりクラス１の入力を受け付け、ダブルクリックによりクラス２の入力を受け付け、右下方向のドラッグアンドドロップによりクラス１の部分領域の算出を受け付け、左下方向のドラッグアンドドロップによりクラス２の部分領域の算出を受け付ける。
【００９０】
また図１８に示す番号２−１２は、番号２−１１と比較して、クラス１およびクラス２の部分領域の算出を受け付けるジェスチャ種別が相違する。番号２−１２では、受付部１０４は、左上方向のドラッグアンドドロップによりクラス１の部分領域の算出を受け付け、右上方向のドラッグアンドドロップによりクラス２の部分領域の算出を受け付ける。
【００９１】
また図１８に示す番号２−１３では、受付部１０４は、タッチジェスチャのフリックによりクラス０の入力を受け付け、タップによりクラス１の入力を受け付け、ダブルタップによりクラス２の入力を受け付け、右下方向のスワイプによりクラス１の部分領域の算出を受け付け、左下方向のスワイプによりクラス２の部分領域の算出を受け付ける。
【００９２】
また図１８に示す番号２−１４は、番号２−１３と比較して、クラス０、１、２の入力を受け付けるジェスチャ種別が相違する。番号２−１４では、受付部１０４は、左方向のフリックによりクラス０の入力を受け付け、上方向のフリックによりクラス１の入力を受け付け、下方向のフリックによりクラス２の入力を受け付ける。
【００９３】
また図１８に示す番号２−１５では、受付部１０４は、タップによりクラス０の入力を受け付け、ピンチインによりクラス１の入力を受け付け、ピンチアウトによりクラス２の入力を受け付け、下方向のスワイプによりクラス１の部分領域の算出を受け付け、上方向のスワイプによりクラス２の部分領域の算出を受け付ける。
【００９４】
上記第２の実施形態では、クラスの数は３つ（クラス０、クラス１、クラス２）であったが、クラス数が２つ（クラス０、クラス１）の２クラスのオブジェクト検出装置、およびクラス数が４つ以上の多クラスのオブジェクト検出装置への適用も可能である。
【００９５】
[第３の実施形態]
本発明の第３の実施形態は、操作が行われた画像の位置を領域内に有する既存の部分領域が存在するか否かによって同じ操作であっても異なるクラスの入力を受け付けるようにしたオブジェクト検出装置について説明する。本実施形態は、第２の実施形態と比較して、受付部１０４の機能が相違し、その他は第２の実施形態と基本的に同じである。以下では、第１の実施形態のブロック図である図１を借用して、第３の実施形態に好適な受付部１０４の機能について詳細に説明する。
【００９６】
受付部１０４は、画像の検出結果ＤＢ１０３を視覚化して表示デバイス１２０に表示し、オペレータから修正の入力を受け付ける機能を有する。
【００９７】
受付部１０４は、表示デバイス１２０に表示された画像１１１に対する入力デバイス１３０の操作により、部分領域の選択とその選択した部分領域に対するクラスの入力とを受け付ける機能を有する。ここで、本実施形態では、部分領域の選択とは、既存の部分領域の選択と新規な部分領域の選択との双方を意味する。受付部１０４は、入力デバイス１３０の操作が行われた画像１１１の位置により部分領域の選択を受け付け、その操作の種別によりクラスの入力を受け付ける。また本実施形態では、操作が行われた画像の位置を領域内に有する既存の部分領域が存在するか否かによって同じ操作であっても異なるクラスの入力を受け付ける。本実施形態では、入力デバイス１３０はマウスであり、１操作の種別は左クリック、右クリックである。
【００９８】
受付部１０４は、左クリックまたは右クリックされた画像１１１の位置を領域内に有する既存の部分領域の選択を受け付ける。また受付部１０４は、その選択した部分領域に対して、左クリックのときはクラス０の入力を受け付け、右クリックのときは現在のクラスをインクリメントしたクラスの入力を受け付ける。ここで、現在のクラスをインクリメントしたクラスとは、現在のクラスがクラス１のときはクラス２、現在のクラスがクラス２のときはクラス０、現在のクラスがクラス０のときはクラス１をそれぞれ意味する。受付部１０４は、上記選択した部分領域に対して上記受け付けたクラスを検出結果ＤＢ１０３の修正クラスの欄に記録する。以上は、第１の実施形態において左クリックまたは右クリックされたときと同じである。
【００９９】
また受付部１０４は、左クリックまたは右クリックされた画像１１１の位置を領域内に有する既存の部分領域が存在しない場合、クリックされた位置を基準に新たな矩形の部分領域を算出し、且つ、その部分領域に対して左クリックならばクラス１、右クリックならばクラス２の入力をそれぞれ受け付ける。クリックされた位置を基準に新たな部分領域を算出する方法は、図１５を参照して説明したダブルクリックされた位置を基準にオブジェクトの部分領域を算出する方法と同様の方法を使用することができる。
【０１００】
図１９は受付部１０４の動作の詳細を示すフローチャートである。図１９において、ステップＳ２１１〜Ｓ２２４、Ｓ２２６〜Ｓ２３２は、図１１のステップＳ２１１〜Ｓ２２４、Ｓ２２６〜Ｓ２３２とほぼ同じである。図１９が図１１と相違するところは、ステップＳ２１６においてクリックされた位置を包含する既存の部分領域が存在しないと判定された場合に、ステップＳ２２６へ進む点である。尚、図１１のステップＳ２２６は、ドラッグアンドドロップの方向（種別）を判定するが、図１９のステップＳ２２６は、クリックの種別を判定する。以下、図１９を参照して、図１１との相違点を中心に受付部１０４の動作を詳細に説明する。
【０１０１】
受付部１０４は、画像ウインドウ１２４の画像に対する左クリックまたは右クリックを検出する（ステップＳ２１４でＹＥＳ）。この際、受付部１０４は、クリック位置を包含する部分領域が画像に存在しないと判定すると（ステップＳ２１６でＮＯ）、クラスの入力を判断するためにクリックの種別が左クリック、右クリックの何れであるかを判定する（ステップＳ２２６）。
【０１０２】
受付部１０４は、左クリックであれば、新たな矩形の部分領域を算出し、クラス１の入力を受け付ける（ステップＳ２２７）。次に受付部１０４は、算出した部分領域とクラス１のペアを１つの検出結果として検出結果ＤＢ１０３に記録する（ステップＳ２２８）。次に受付部１０４は、受付画面１２６の画像ウインドウ１２４を更新する（ステップＳ２２９）。そして受付部１０４は、ステップＳ２１３の処理へ戻る。
【０１０３】
また受付部１０４は、右クリックであれば（ステップＳ２２６）、新たな矩形の部分領域を算出し、クラス２の入力を受け付ける（ステップＳ２３０）。次に受付部１０４は、算出した部分領域とクラス２のペアを１つの検出結果として検出結果ＤＢ１０３に記録する（ステップＳ２３１）。次に受付部１０４は、受付画面１２６の画像ウインドウ１２４を更新する（ステップＳ２３２）。そして受付部１０４は、ステップＳ２１３の処理へ戻る。
【０１０４】
このように本実施形態によれば、良質な教師データを効率良く作成することができる。その理由は、受付部１０４が、検出されたオブジェクトの部分領域を強調する表示を付して入力画像を表示デバイス１２０に表示し、入力デバイス１３０の１操作であるクリックにより、部分領域の選択とこの選択した部分領域に対するクラスの入力とを受け付けるためである。また、受付部１０４が、既存の部分領域と重複しない位置での左クリックまたは右クリックという１操作を検出して、新たな部分領域の算出とクラス１あるいはクラス２の入力とを受け付けるためである。
【０１０５】
[第３の実施形態の変形例]
上記第３の実施形態では、左クリックと右クリックという２種類のジェスチャを使用したが、他の種類のマウスジェスチャの組み合わせ、タッチジェスチャの組み合わせを使用することができる。
【０１０６】
[第４の実施形態]
本発明の第４の実施形態では、誤認識された部分領域に対する正しいクラスの入力およびオブジェクトの正しい部分領域の選択を、入力画像に対する入力デバイスの操作によって行えるようにしたオブジェクト検出装置について説明する。本実施形態は、第２の実施形態と比較して、受付部１０４の機能が相違し、その他は第２の実施形態と基本的に同じである。以下では、第１の実施形態のブロック図である図１を借用して、第４の実施形態に好適な受付部１０４の機能について詳細に説明する。
【０１０７】
受付部１０４は、画像の検出結果ＤＢ１０３を視覚化して表示デバイス１２０に表示し、オペレータから修正の入力を受け付ける機能を有する。
【０１０８】
図２０は、受付部１０４が表示デバイス１２０に表示する受付画面１２７の一例を示す。この例の受付画面１２７は、図４に示した受付画面１２１と比較して、画像ウインドウ１２４に表示されている画像１１１中の４輪自動車の部分領域の外周を示す矩形の枠の位置のみ相違する。矩形の枠の位置が相違する原因は、検出部１０１が画像１１１から辞書１０２を用いてオブジェクトを検出した際、道路上の水溜り等をオブジェクトの部分領域の一部であると誤検出したことによる。この例では、部分領域は誤検出しているが、クラスは正しく判定している。しかし、部分領域およびクラスの双方を誤検出するケースもある。このような誤検出を改善するためには、画像１１１中の誤検出した部分領域とそのクラス０との入出力ペアである教師データ、画像１１１中の４輪自動車の正しい部分領域とそのクラス２との入出力ペアである教師データをそれぞれ作成し、辞書１０２を学習する必要がある。
【０１０９】
受付部１０４は、表示デバイス１２０に表示された画像１１１に対する入力デバイス１３０の操作により、部分領域の選択とその選択した部分領域に対するクラスの入力とを受け付ける機能を有する。ここで、本実施形態では、部分領域の選択とは、既存の部分領域の選択と新規な部分領域の選択との双方を意味する。受付部１０４は、入力デバイス１３０の操作が行われた画像１１１の位置により部分領域の選択を受け付け、その操作の種別によりクラスの入力を受け付ける。また本実施形態では、既存の部分領域と一部重複する新規な部分領域の選択操作が行われた場合、既存の部分領域に対してクラス０の入力を受け付けると共に、新規な部分領域に対して操作の種別に応じたクラスの入力を受け付ける。本実施形態では、入力デバイス１３０はマウスであり、１操作の種別は左クリック、右クリック、右下方向のドラッグアンドドロップ、左下方向のドラッグアンドドロップである。
【０１１０】
受付部１０４は、左クリックまたは右クリックされた画像１１１の位置を領域内に有する部分領域の選択を受け付ける。また受付部１０４は、その選択した部分領域に対して、左クリックのときはクラス０の入力を受け付け、右クリックのときは現在のクラスをインクリメントしたクラスの入力を受け付ける。ここで、現在のクラスをインクリメントしたクラスとは、現在のクラスがクラス１のときはクラス２、現在のクラスがクラス２のときはクラス０、現在のクラスがクラス０のときはクラス１をそれぞれ意味する。受付部１０４は、上記選択した部分領域に対して上記受け付けたクラスを検出結果ＤＢ１０３の修正クラスの欄に記録する。以上は、第１の実施形態において左クリックまたは右クリックされたときと同じである。
【０１１１】
また受付部１０４は、右下方向のドラッグアンドドロップを検出すると、図１０Ａの破線に示すように、始点ａを左上頂点、終点ｂを右下頂点とする矩形の領域を部分領域として算出し、且つ、その部分領域に対してクラス１の入力を受け付ける。また受付部１０４は、左下方向のドラッグアンドドロップを検出すると、図１０Ｂの破線に示すように、始点ａを右上頂点、終点ｂを左下頂点とする矩形の領域を部分領域として算出し、且つ、その部分領域に対してクラス２の入力を受け付ける。また受付部１０４は、新規に算出した部分領域とそのクラスの情報を１つの検出結果として検出結果ＤＢ１０３に記録する。以上は、第２の実施形態において右下方向および左下方向のドラッグアンドドロップが行われたときと同じである。
【０１１２】
さらに受付部１０４は、新たに算出した部分領域に一部重複する既存の部分領域に対してクラス０の入力を受け付ける機能を有する。例えば、図２１に示すように、受付部１０４は、クラス２の部分領域を強調する枠１２５が表示されている画像１１１に対して、左下方向（または右下方向）のドラッグアンドドロップが行われたことにより、枠１２５に一部重複する部分領域１２５ａを算出すると、枠１２５に係る既存の部分領域に対してクラス０の入力を受け付ける。
【０１１３】
図２２は受付部１０４の動作の詳細を示すフローチャートである。図２２において、ステップＳ３１１〜Ｓ３２７、Ｓ３３０は、図１１のステップＳ２１１〜Ｓ３２７、Ｓ２３０と同じである。以下、図２２を参照して、図１１との相違点を中心に受付部１０４の動作を詳細に説明する。
【０１１４】
受付部１０４は、新たに算出した部分領域に対してクラス１の入力を受け付けると（ステップＳ３２７）、この新たな部分領域に一部重複する既存の部分領域が画像１１１上に存在するか否かを判定する（ステップＳ３４１）。この判定は、画像１１１に係る検出結果ＤＢ１０３中に上記新たな部分領域に一部重複する既存の部分領域の検出結果が存在するか否かを調査することにより行われる。受付部１０４は、そのような既存の部分領域が存在すれば、当該部分領域に対してクラス０の入力を受け付け（ステップＳ３４２）、ステップＳ３４３へと進む。そのような既存の部分領域が存在しなければ、受付部１０４はステップＳ３４２の処理をスキップし、ステップＳ３４３へと進む。受付部１０４は、ステップＳ３４３では、ステップＳ３２７およびステップＳ３４２の受付結果に従って、検出結果ＤＢ１０３を更新する。すなわち受付部１０４は、ステップＳ３２７の受付結果に基づいて、新たに算出した部分領域とクラス１のペアを１つの検出結果として検出結果ＤＢ１０３に記録する。また受付部１０４は、ステップＳ３４２の受付結果に基づいて、既存の部分領域の修正クラスにクラス０を記録する。次に受付部１０４は、ステップＳ３４３の検出結果ＤＢ１０３の更新に従って、画像ウインドウ１２４上の画像１１１を更新する（ステップＳ３４４）。そして受付部１０４は、ステップＳ３１３の処理へ戻る。
【０１１５】
また受付部１０４は、新たに算出した部分領域に対してクラス２の入力を受け付けると（ステップＳ３３０）、この新たな部分領域に一部重複する既存の部分領域が画像１１１上に存在するか否かを判定する（ステップＳ３４５）。受付部１０４は、そのような既存の部分領域が存在すれば、当該部分領域に対してクラス０の入力を受け付け（ステップＳ３４６）、ステップＳ３４７へと進む。そのような既存の部分領域が存在しなければ、受付部１０４はステップＳ３４６の処理をスキップし、ステップＳ３４７へと進む。受付部１０４は、ステップＳ３４７では、ステップＳ３３０およびステップＳ３４６の受付結果に従って、検出結果ＤＢ１０３を更新する。すなわち受付部１０４は、ステップＳ３３０の受付結果に基づいて、新たに算出した部分領域とクラス２のペアを１つの検出結果として検出結果ＤＢ１０３に記録する。また受付部１０４は、ステップＳ３４６の受付結果に基づいて、既存の部分領域の修正クラスにクラス０を記録する。次に受付部１０４は、ステップＳ３４７の検出結果ＤＢ１０３の更新に従って、画像ウインドウ１２４上の画像１１１を更新する（ステップＳ３４８）。そして受付部１０４は、ステップＳ３１３の処理へ戻る。
【０１１６】
図２３Ａおよび図２３Ｂは、受付部１０４によるステップＳ３４７の説明図である。図２３Ａは、検出部１０１が生成した検出結果ＤＢ１０３を示し、図２３Ｂは、受付部１０４による更新後の検出結果ＤＢ１０３を示す。図２３Ａおよび図２３Ｂでは、左上頂点が（ｘ７、ｙ７）、右下頂点が（ｘ８、ｙ８）となる矩形の部分領域がクラス２として新たに追加されている。また左上頂点が（ｘ１、ｙ１）、右下頂点が（ｘ２、ｙ２）となる矩形の既存の部分領域のクラスがクラス２からクラス０に修正されている。受付部１０４によるステップＳ３４３の場合、新たに追加された部分領域の修正クラスがクラス１になる点が異なる。
【０１１７】
図２４Ａおよび図２４Ｂは、受付部１０４によるステップＳ３４８の説明図である。図２４Ａは、更新前の画像ウインドウ１２４、図２４Ｂは、更新後の画像ウインドウ１２４を示す。更新後の画像ウインドウ１２４には、新たに追加した部分領域を強調する実線による矩形の枠１２５が描画され、それと一部重複する更新前の画像ウインドウ１２４に表示されていた枠は非表示とされている。受付部１０４によるステップＳ３４４の場合、更新後の画像ウインドウ１２４には、新たに追加した部分領域を強調する矩形の枠が破線により描画される点が異なる。
【０１１８】
このように本実施形態によれば、良質な教師データを効率良く作成することができる。その理由は、受付部１０４が、検出されたオブジェクトの部分領域を強調する表示を付して入力画像を表示デバイス１２０に表示し、入力デバイス１３０の１操作であるクリックにより、部分領域の選択とこの選択した部分領域に対するクラスの入力とを受け付けるためである。また、受付部１０４が、画像上の右下方向あるいは左下方向のドラックアンドドロップという１操作を検出して、新たな部分領域の算出とクラス１あるいはクラス２の入力とを受け付けるためである。さらに、受付部１０４が、新たに算出した部分領域と一部重複する既存の部分領域に対してクラス０の入力を受け付けるためである。
【０１１９】
[第４の実施形態の変形例]
上記第４の実施形態の構成に対しては、上記第２の実施形態の変形例で説明した例と同様の変形を行うことができる。
【０１２０】
[第５の実施形態]
本発明の第５の実施形態について説明する。図２５を参照すると、本実施形態に係るオブジェクト検出装置１は、入力画像２からオブジェクトを検出する機能を有する。オブジェクト検出装置１は、辞書１０を有し、また主な機能部として、検出部１１、受付部１２、生成部１３、および学習部１４を有する。さらにオブジェクト検出装置１は、表示デバイス３および入力デバイス４に接続されている。
【０１２１】
検出部１１は、辞書１０を用いて入力画像２からオブジェクトを検出する機能を有する。受付部１２は、検出部１１によって検出されたオブジェクトの部分領域を強調する表示を付して入力画像２を表示デバイス３に表示し、入力デバイス４の１操作により、部分領域の選択とその選択した部分領域に対するクラスの入力とを受け付ける機能を有する。生成部１３は、上記選択された部分領域の画像と上記入力されたクラスとから教師データを生成する機能を有する。学習部１４は、生成部１３によって生成された教師データにより辞書１０を学習し、辞書１０をグレードアップする機能を有する。
【０１２２】
次に本実施形態に係るオブジェクト検出装置１の動作を説明する。オブジェクト検出装置１の検出部１１は、辞書１０を用いて入力画像２からオブジェクトを検出し、検出結果を受付部１２に通知する。受付部１２は、検出部１１によって検出されたオブジェクトの部分領域を強調する表示を付して入力画像２を表示デバイス３に表示する。そして受付部１２は、入力デバイス４の１操作により、部分領域の選択とその選択した部分領域に対するクラスの入力とを受け付け、その結果を生成部１３に通知する。生成部１３は、選択された部分領域の画像と入力されたクラスとから教師データを生成し、学習部１４に通知する。学習部１４は、生成部１３によって生成された教師データにより辞書１０を学習し、辞書１０をグレードアップする。
【０１２３】
このように本実施形態によれば、良質な教師データを効率良く作成することができる。その理由は、受付部１２が、検出されたオブジェクトの部分領域を強調する表示を付して入力画像２を表示デバイス３に表示するからである。更に受付部１２は、入力デバイス４の１操作であるクリックにより、部分領域の選択とこの選択した部分領域に対するクラスの入力とを受け付けるためである。
【０１２４】
本実施形態は、上記のような構成を基本としつつ、以下のような各種の付加変更が可能である。
【０１２５】
受付部１２は、１操作が行われた入力画像２の位置により部分領域の選択を受け付けるように構成されていてよい。
【０１２６】
また受付部１２は、１操作が行われた入力画像２の位置を領域内に有する部分領域の選択を受け付け、１操作が行われた入力画像２の位置を領域内に有する部分領域が存在しなければ、１操作が行われた入力画像２の位置に基づいてオブジェクトの部分領域を算出するように構成されていてよい。
【０１２７】
また受付部１２は、１操作の種別によりクラスの入力を受け付けるように構成されていてよい。
【０１２８】
また受付部１２は、１操作の種別が第１の種別であれば予め第１のクラスの入力を受け付け、第２の種別であれば部分領域の現在のクラスをインクリメントまたはデクリメントしたクラスの入力を受け付けるように構成されていてよい。
【０１２９】
また受付部１２は、１操作が行われた入力画像２の位置を領域内に有する部分領域が存在するか否かによって異なるクラスの入力を受け付けるように構成されていてよい。
【０１３０】
また受付部１２は、１操作が行われた入力画像２の位置を領域内に有する部分領域が存在する場合、第１のクラスの入力を受け付け、存在しない場合、第２のクラスの入力を受け付けるように構成されていてよい。
【０１３１】
また受付部１２は、１操作が行われた入力画像２の位置を領域内に有する部分領域が存在する場合、存在する部分領域に対して第１のクラスの入力を受け付けると共に、１操作が行われた入力画像の位置に基づいてオブジェクトの部分領域を算出し、この算出した部分領域に対して第２のクラスの入力を受け付けるように構成されていてよい。
【０１３２】
また受付部１２は、上記第２のクラスを１操作の種別により決定するように構成されていてよい。
【０１３３】
また入力デバイス４の１操作が１マウスジェスチャであるように構成されていてよい。あるいは、入力デバイス４の１操作が１タッチジェスチャであるように構成されていてよい。
【０１３４】
また受付部１２は、検出されたオブジェクトの部分領域が、過去にクラスの入力を行った部分領域と同じ位置および同じ入力前クラスを有する場合、検出されたオブジェクトの部分領域を強調する表示を非表示にするように構成されていてよい。
[第６の実施形態]
本発明の第６の実施形態に係るオブジェクト検出装置３００について図２７を参照して説明する。オブジェクト検出装置３００は、検出部３０１、受付部３０２、生成部３０３および学習部３０４を備える。
【０１３５】
検出部３０１は、辞書を用いて入力画像からオブジェクトを検出する。
【０１３６】
受付部３０２、検出されたオブジェクトの部分領域を強調する表示を付して入力画像を表示デバイスに表示し、入力デバイスの１操作により、部分領域の選択と該選択した部分領域に対するクラスの入力とを受け付ける。
【０１３７】
生成部３０３は、選択された部分領域の画像と入力されたクラスとから教師データを生成する。
【０１３８】
学習部３０４は、教師データにより辞書を学習する。
【０１３９】
本実施形態によれば、良質な教師データを効率良く作成することができる。その理由は、受付部３０２が、検出されたオブジェクトの部分領域を強調する表示を付して入力画像を表示デバイスに表示し、入力デバイスの１操作により、部分領域の選択とこの選択した部分領域に対するクラスの入力とを受け付けるためである。
【０１４０】
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
【０１４１】
この出願は２０１５年３月１９日に出願された日本出願特願２０１５−０５５９２６を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【０１４２】
本発明は、監視カメラで撮像されて得られた道路上の映像から辞書により人や車両などのオブジェクトを検出するオブジェクト検出装置などに利用できる。
【符号の説明】
【０１４３】
１…オブジェクト検出装置
２…入力画像
３…表示デバイス
４…入力デバイス
１０…辞書
１１…検出部
１２…受付部
１３…生成部
１４…学習部
１００…オブジェクト検出装置
１０１…検出部
１０２…辞書
１０３…検出結果ＤＢ
１０４…受付部
１０５…生成部
１０６…教師データメモリ
１０７…学習部
１１１…画像
１１２、１１３、１１４、１１５…探索窓
１２０…表示デバイス
１２１…受付画面
１２２…グラフ
１２３…スライダ
１２３ａ…スライドバー
１２４…画像ウインドウ
１２５…矩形の枠
１２５ａ…部分領域
１２６、１２７…受付画面
１３０…入力デバイス
１３１…オブジェクト
１３２…外接矩形
【図１】
2016147652.tif 000003
【図２】
2016147652.tif 000004
【図３】
2016147652.tif 000005
【図４】
2016147652.tif 000006
【図５】
2016147652.tif 000007
【図６】
2016147652.tif 000008
【図７】
2016147652.tif 000009
【図８】
2016147652.tif 000010
【図９】
2016147652.tif 000011
【図１０Ａ】
2016147652.tif 000012
【図１０Ｂ】
2016147652.tif 000013
【図１１】
2016147652.tif 000014
【図１２Ａ】
2016147652.tif 000015
【図１２Ｂ】
2016147652.tif 000016
【図１３Ａ】
2016147652.tif 000017
【図１３Ｂ】
2016147652.tif 000018
【図１４】
2016147652.tif 000019
【図１５】
2016147652.tif 000020
【図１６Ａ】
2016147652.tif 000021
【図１６Ｂ】
2016147652.tif 000022
【図１７Ａ】
2016147652.tif 000023
【図１７Ｂ】
2016147652.tif 000024
【図１８】
2016147652.tif 000025
【図１９】
2016147652.tif 000026
【図２０】
2016147652.tif 000027
【図２１】
2016147652.tif 000028
【図２２】
2016147652.tif 000029
【図２３Ａ】
2016147652.tif 000030
【図２３Ｂ】
2016147652.tif 000031
【図２４Ａ】
2016147652.tif 000032
【図２４Ｂ】
2016147652.tif 000033
【図２５】
2016147652.tif 000034
【図２６】
2016147652.tif 000035
【図２７】
2016147652.tif 000036
【手続補正書】
【提出日】平成29年8月24日(2017.8.24)
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１４
【補正方法】変更
【補正の内容】
【請求項１４】
辞書を用いて入力画像からオブジェクトを検出し、
前記検出されたオブジェクトの部分領域を強調する表示を付して前記入力画像を表示デバイスに表示し、入力デバイスの１操作により、前記部分領域の選択と該選択した前記部分領域に対するクラスの入力とを受け付け、
前記選択された部分領域の画像と前記入力されたクラスとから教師データを生成し、
前記教師データにより前記辞書を学習する、
機能をコンピュータに実現させるためのプログラム。
【国際調査報告】
2016147652.tif 000037
2016147652.tif 000038
2016147652.tif 000039
2016147652.tif 000040