(57)【特許請求の範囲】
【請求項１】
空間を撮影したテスト画像からなるテスト画像群と、予め被写体を撮影した訓練画像からなる訓練画像群とに基づいて、前記訓練画像の各々と、前記テスト画像の各々との組み合わせに対し、該訓練画像と該テスト画像とに共通の被写体が含まれる確からしさを表すスコアを算出する被写体認識部と、
前記被写体認識部により算出された前記組み合わせの各々の前記スコアに基づいて、前記訓練画像の各々について、前記テスト画像群の認識に寄与する度合いを表す寄与率を算出する寄与率算出部と、
前記寄与率算出部により算出された前記訓練画像の各々の前記寄与率に基づいて、前記訓練画像群から未選択の訓練画像を順次選択すると共に、前記テスト画像の各々について、前記選択された訓練画像のうち、前記テスト画像を認識できる訓練画像の数を表す認識回数をカウントし、前記テスト画像の各々の前記認識回数のうち、最小となる前記認識回数が、予め定めた最小認識回数の閾値に達した場合に、前記訓練画像の選択を終了する訓練画像選択部と、
を含む訓練画像選択装置。
【請求項２】
空間を撮影したテスト画像からなるテスト画像群と、予め被写体を撮影した訓練画像からなる訓練画像群とに基づいて、前記訓練画像の各々と、前記テスト画像の各々との組み合わせに対し、該訓練画像と該テスト画像とに共通の被写体が含まれる確からしさを表すスコアを算出する被写体認識部と、
前記被写体認識部により算出された前記組み合わせの各々の前記スコアに基づいて、前記訓練画像の各々について、前記テスト画像群の認識に寄与する度合いを表す寄与率を算出する寄与率算出部と、
前記寄与率算出部により算出された前記訓練画像の各々の前記寄与率に基づいて、前記訓練画像群から未選択の訓練画像を順次選択すると共に、前記テスト画像の各々について、前記選択された訓練画像のうち、前記テスト画像を認識できる訓練画像の数を表す認識回数をカウントし、前記認識回数が最小のテスト画像において、該訓練画像と該テスト画像とに共通の被写体が含まれる確からしさを表す前記スコアが所定の閾値以上である未選択の訓練画像が存在しない場合に、前記訓練画像の選択を終了する訓練画像選択部と、
を含む訓練画像選択装置。
【請求項３】
空間を撮影したテスト画像からなるテスト画像群と、予め被写体を撮影した訓練画像からなる訓練画像群とに基づいて、前記訓練画像の各々と、前記テスト画像の各々との組み合わせに対し、該訓練画像と該テスト画像とに共通の被写体が含まれる確からしさを表すスコアを算出する被写体認識部と、
前記被写体認識部により算出された前記組み合わせの各々の前記スコアに基づいて、前記訓練画像の各々について、前記テスト画像群の認識に寄与する度合いを表す寄与率を算出する寄与率算出部と、
前記寄与率算出部により算出された前記訓練画像の各々の前記寄与率に基づいて、前記訓練画像群から未選択の訓練画像を順次選択すると共に、前記テスト画像の各々について、前記選択された訓練画像のうち、前記テスト画像を認識できる訓練画像の数を表す認識回数をカウントする訓練画像選択部と、を含み、
前記寄与率算出部は、前記訓練画像が順次選択される毎に、前記テスト画像の各々についての、前記選択された訓練画像群のうち、前記テスト画像を認識できる訓練画像の数を表す認識回数に基づいて、前記訓練画像の前記寄与率として、前記訓練画像と、前記認識回数が最小となる前記テスト画像とを組み合わせた前記組み合わせのうち、算出された前記スコアが予め定めた閾値以上である前記組み合わせの数を算出する、
訓練画像選択装置。
【請求項４】
前記選択した訓練画像群と、前記テスト画像の各々についての、前記選択された訓練画像群のうち、前記テスト画像を認識できる訓練画像の数を表す認識回数と、前記認識回数が閾値未満となる前記テスト画像と、前記選択した訓練画像群のうち、前記認識回数が閾値未満となる前記テスト画像を認識できる訓練画像の数とのうちの少なくとも一つを提示する結果提示部を更に含む請求項１〜請求項３のいずれか１項に記載の訓練画像選択装置。
【請求項５】
前記訓練画像選択部は、未選択の訓練画像のうち前記寄与率が最大のものを選択する操作、または未除外の訓練画像のうち前記寄与率が最小のものを除外する操作を反復することにより、前記訓練画像群から前記寄与率が高い訓練画像群を選択する請求項１〜請求項４のいずれか１項に記載の訓練画像選択装置。
【請求項６】
被写体認識部が、空間を撮影したテスト画像からなるテスト画像群と、予め被写体を撮影した訓練画像からなる訓練画像群とに基づいて、前記訓練画像の各々と、前記テスト画像の各々との組み合わせに対し、該訓練画像と該テスト画像とに共通の被写体が含まれる確からしさを表すスコアを算出するステップと、
寄与率算出部が、前記被写体認識部により算出された前記組み合わせの各々の前記スコアに基づいて、前記訓練画像の各々について、前記テスト画像群の認識に寄与する度合いを表す寄与率を算出するステップと、
訓練画像選択部が、前記寄与率算出部により算出された前記訓練画像の各々の前記寄与率に基づいて、前記訓練画像群から未選択の訓練画像を順次選択すると共に、前記テスト画像の各々について、前記選択された訓練画像のうち、前記テスト画像を認識できる訓練画像の数を表す認識回数をカウントし、前記テスト画像の各々の前記認識回数のうち、最小となる前記認識回数が、予め定めた最小認識回数の閾値に達した場合に、前記訓練画像の選択を終了するステップと、
を含む訓練画像選択方法。
【請求項７】
被写体認識部が、空間を撮影したテスト画像からなるテスト画像群と、予め被写体を撮影した訓練画像からなる訓練画像群とに基づいて、前記訓練画像の各々と、前記テスト画像の各々との組み合わせに対し、該訓練画像と該テスト画像とに共通の被写体が含まれる確からしさを表すスコアを算出するステップと、
寄与率算出部が、前記被写体認識部により算出された前記組み合わせの各々の前記スコアに基づいて、前記訓練画像の各々について、前記テスト画像群の認識に寄与する度合いを表す寄与率を算出するステップと、
訓練画像選択部が、前記寄与率算出部により算出された前記訓練画像の各々の前記寄与率に基づいて、前記訓練画像群から未選択の訓練画像を順次選択すると共に、前記テスト画像の各々について、前記選択された訓練画像のうち、前記テスト画像を認識できる訓練画像の数を表す認識回数をカウントし、前記認識回数が最小のテスト画像において、該訓練画像と該テスト画像とに共通の被写体が含まれる確からしさを表す前記スコアが所定の閾値以上である未選択の訓練画像が存在しない場合に、前記訓練画像の選択を終了するステップと、
を含む訓練画像選択方法。
【請求項８】
被写体認識部が、空間を撮影したテスト画像からなるテスト画像群と、予め被写体を撮影した訓練画像からなる訓練画像群とに基づいて、前記訓練画像の各々と、前記テスト画像の各々との組み合わせに対し、該訓練画像と該テスト画像とに共通の被写体が含まれる確からしさを表すスコアを算出するステップと、
寄与率算出部が、前記被写体認識部により算出された前記組み合わせの各々の前記スコアに基づいて、前記訓練画像の各々について、前記テスト画像群の認識に寄与する度合いを表す寄与率を算出するステップと、
訓練画像選択部が、前記寄与率算出部により算出された前記訓練画像の各々の前記寄与率に基づいて、前記訓練画像群から未選択の訓練画像を順次選択すると共に、前記テスト画像の各々について、前記選択された訓練画像のうち、前記テスト画像を認識できる訓練画像の数を表す認識回数をカウントするステップと、
前記寄与率算出部が、前記訓練画像が順次選択される毎に、前記テスト画像の各々についての、前記選択された訓練画像群のうち、前記テスト画像を認識できる訓練画像の数を表す認識回数に基づいて、前記訓練画像の前記寄与率として、前記訓練画像と、前記認識回数が最小となる前記テスト画像とを組み合わせた前記組み合わせのうち、算出された前記スコアが予め定めた閾値以上である前記組み合わせの数を算出するステップと、
を含む訓練画像選択方法。
【請求項９】
コンピュータを、請求項１〜請求項５のいずれか１項に記載の訓練画像選択装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、訓練画像選択装置、方法、及びプログラムに係り、特に、被写体を認識することを可能にするための訓練画像選択装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
カメラ等により空間を撮像したテスト画像に写った被写体の認識や検出を行うための技術として、特許文献１に記載の方法等、テスト画像が予め被写体を撮影した訓練画像群の何れに類似するかを推定する技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−２０１１２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一方で、特許文献１のような技術では、被写体を様々な方向から撮像した場合でも認識や検出を可能とするために、訓練画像も複数の方向から撮像した物を用意する必要がある。この時、認識させたい撮像角度の範囲、照明条件、時間帯、天候等の撮像条件のバリエーションによっては、用意しなければならない訓練画像の数が膨大になりテスト画像の認識・検出に長い処理時間を要するようになってしまったり、想定したテスト画像の一部を用意した訓練画像では認識できなかったりするという問題がある。
【０００５】
本発明は、上記問題点を解決するために成されたものであり、テスト画像に写った被写体の認識に適した訓練画像を選出することができる訓練画像選択装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、第１の発明に係る訓練画像選択装置は、空間を撮影したテスト画像からなるテスト画像群と、予め被写体を撮影した訓練画像からなる訓練画像群とに基づいて、前記訓練画像の各々と、前記テスト画像の各々との組み合わせに対し、該訓練画像と該テスト画像とに共通の被写体が含まれる確からしさを表すスコアを算出する被写体認識部と、前記被写体認識部により算出された前記組み合わせの各々の前記スコアに基づいて、前記訓練画像の各々について、前記テスト画像群の認識に寄与する度合いを表す寄与率を算出する寄与率算出部と、前記寄与率算出部により算出された前記訓練画像の各々の前記寄与率に基づいて、前記訓練画像群から前記寄与率が高い訓練画像群を選択する訓練画像選択部と、を含んで構成されている。
【０００７】
また、第１の発明に係る訓練画像選択装置において、前記訓練画像の前記寄与率は、前記訓練画像を含む前記組み合わせのうち、算出された前記スコアが予め定めた閾値以上である前記組み合わせの数とするようにしてもよい。
【０００８】
また、第１の発明に係る訓練画像選択装置において、前記訓練画像選択部は、前記寄与率算出部により算出された前記訓練画像の各々の前記寄与率に基づいて、前記訓練画像群から未選択の訓練画像を順次選択すると共に、前記テスト画像の各々について、前記選択された訓練画像のうち、前記テスト画像を認識できる訓練画像の数を表す認識回数をカウントし、前記テスト画像の各々の前記認識回数のうち、最小となる前記認識回数が、予め定めた最小認識回数の閾値に達した場合に、前記訓練画像の選択を終了するようにしてもよい。
【０００９】
また、第１の発明に係る訓練画像選択装置において、前記訓練画像選択部は、前記寄与率算出部により算出された前記訓練画像の各々の前記寄与率に基づいて、前記訓練画像群から未選択の訓練画像を順次選択すると共に、前記テスト画像の各々について、前記選択された訓練画像のうち、前記テスト画像を認識できる訓練画像の数を表す認識回数をカウントし、前記認識回数が最小のテスト画像において、該訓練画像と該テスト画像とに共通の被写体が含まれる確からしさを表す前記スコアが所定の閾値以上である未選択の訓練画像が存在しない場合に、前記訓練画像の選択を終了するようにしてもよい。
【００１０】
また、第１の発明に係る訓練画像選択装置において、前記選択した訓練画像群と、前記テスト画像の各々についての、前記選択された訓練画像群のうち、前記テスト画像を認識できる訓練画像の数を表す認識回数と、前記認識回数が閾値未満となる前記テスト画像と、前記選択した訓練画像群のうち、前記認識回数が閾値未満となる前記テスト画像を認識できる訓練画像の数とのうちの少なくとも一つを提示する結果提示部を更に含むようにしてもよい。
【００１１】
また、第１の発明に係る訓練画像選択装置において、前記訓練画像選択部は、前記寄与率算出部により算出された前記訓練画像の各々の前記寄与率に基づいて、前記訓練画像群から未選択の訓練画像を順次選択すると共に、前記テスト画像の各々について、前記選択された訓練画像のうち、前記テスト画像を認識できる訓練画像の数を表す認識回数をカウントし、前記寄与率算出部は、前記訓練画像が順次選択される毎に、前記テスト画像の各々についての、前記選択された訓練画像群のうち、前記テスト画像を認識できる訓練画像の数を表す認識回数に基づいて、前記訓練画像の前記寄与率として、前記訓練画像と、前記認識回数が最小となる前記テスト画像とを組み合わせた前記組み合わせのうち、算出された前記スコアが予め定めた閾値以上である前記組み合わせの数を算出するようにしてもよい。
【００１２】
第２の発明に係る訓練画像選択方法は、被写体認識部が、空間を撮影したテスト画像からなるテスト画像群と、予め被写体を撮影した訓練画像からなる訓練画像群とに基づいて、前記訓練画像の各々と、前記テスト画像の各々との組み合わせに対し、該訓練画像と該テスト画像とに共通の被写体が含まれる確からしさを表すスコアを算出するステップと、寄与率算出部が、前記被写体認識部により算出された前記組み合わせの各々の前記スコアに基づいて、前記訓練画像の各々について、前記テスト画像群の認識に寄与する度合いを表す寄与率を算出するステップと、訓練画像選択部が、前記寄与率算出部により算出された前記訓練画像の各々の前記寄与率に基づいて、前記訓練画像群から前記寄与率が高い訓練画像群を選択するステップと、を含んで実行することを特徴とする。
【００１３】
第３の発明に係るプログラムは、コンピュータを、上記第１の発明に係る訓練画像選択装置の各部として機能させるためのプログラムである。
【発明の効果】
【００１４】
本発明の訓練画像選択装置、方法、及びプログラムによれば、訓練画像の各々と、テスト画像の各々との組み合わせに対し、共通の被写体が含まれる確からしさを表すスコアを算出し、組み合わせの各々のスコアに基づいて、訓練画像の各々について、テスト画像群の認識に寄与する度合いを表す寄与率を算出し、算出された訓練画像の各々の寄与率に基づいて、訓練画像群から寄与率が高い訓練画像群を選択することにより、テスト画像に写った被写体の認識に適した訓練画像を選出することができる、という効果が得られる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１の実施の形態に係る訓練画像選択装置の構成を示すブロック図である。
【図２】本発明の第１の実施の形態に係る訓練画像選択装置における訓練画像選択処理ルーチンを示すフローチャートである。
【図３】本発明の第２の実施の形態に係る訓練画像選択装置の構成を示すブロック図である。
【図４】本発明の第２の実施の形態に係る訓練画像選択装置における訓練画像選択処理ルーチンを示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１７】
＜本発明の第１の実施の形態に係る訓練画像選択装置の構成＞
【００１８】
まず、本発明の第１の実施の形態に係る訓練画像選択装置の構成について説明する。本発明の実施の形態に係る手法によって、複数の被写体毎に予め学習した、当該被写体を撮影した訓練画像群から、訓練画像を選択する。訓練画像群は、別時刻、別の位置・角度で撮影されたテスト画像が、複数の訓練画像群のいずれの被写体を撮影したかを推定するために用いる。なお、下記手順を実施するにあたって、被写体認識部は、訓練画像の選択候補となる画像群を訓練画像としてテスト画像を認識し、各訓練画像に含まれる被写体が各テスト画像にも含まれる確からしさをスコアとして数値化できる状態になっていることを前提とする。これは、例えば特許文献１に記載された方法で実現することができる。また、テスト画像群は、それぞれ同一の被写体を撮影した画像、または同一の被写体として認識したい画像で構成されるものとする。複数の被写体を認識する訓練画像群を構成したい場合は、被写体ごとにテスト画像群を作成し、そのそれぞれについて下記の手法を適用すればよい。
【００１９】
図１に示すように、本発明の実施の形態に係る訓練画像選択装置１００は、ＣＰＵと、ＲＡＭと、後述する訓練画像選択処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この訓練画像選択装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部５０とを備えている。
【００２０】
入力部１０は、空間を撮影したテスト画像からなるテスト画像群と、予め被写体を撮影した訓練画像からなる訓練画像群とを受け付ける。
【００２１】
演算部２０は、記憶部２８と、被写体認識部３０と、寄与率算出部３２と、終了条件判定部３６と、訓練画像選択部３４と、結果提示部３８と、を含んで構成されている。なお、各処理部の具体的な処理フローについては後述する訓練画像選択装置の作用の説明において述べる。
【００２２】
被写体認識部３０は、入力部１０で受け付けたテスト画像群と、訓練画像群とに基づいて、訓練画像群における訓練画像の各々と、テスト画像群におけるテスト画像の各々との組み合わせに対し、該訓練画像と該テスト画像とに共通の被写体が含まれる確からしさを表すスコアを算出し、認識結果として記憶部２８に記憶する。
【００２３】
記憶部２８には、被写体認識部３０で算出された訓練画像の各々と、テスト画像の各々との組み合わせに対するスコアが格納されている。
【００２４】
寄与率算出部３２は、被写体認識部３０により算出された組み合わせの各々のスコアに基づいて、訓練画像の各々について、テスト画像群の認識に寄与する度合いを表す寄与率を算出する。ここで、寄与率は、訓練画像を含む組み合わせのうち、算出されたスコアが予め定めた閾値以上である組み合わせの数とする。また、寄与率算出部３２は、後述する訓練画像選択部３４によって訓練画像が順次選択される毎に、テスト画像の各々についての、選択された訓練画像群のうち、テスト画像を認識できる訓練画像の数を表す認識回数に基づいて、訓練画像の寄与率として、訓練画像と、認識回数が最小となるテスト画像との組み合わせた組み合わせのうち、算出されたスコアが予め定めた閾値以上である組み合わせの数を算出する。
【００２５】
訓練画像選択部３４は、寄与率算出部３２により算出された訓練画像の各々の寄与率に基づいて、訓練画像群から寄与率が高い訓練画像群を選択する。本実施の形態では、未選択の訓練画像のうち寄与率が最大のものを選択する操作を反復することにより、訓練画像群から寄与率が高い訓練画像群を選択する。また、訓練画像選択部３４は、寄与率算出部３２により算出された訓練画像の各々の寄与率に基づいて、訓練画像群から未選択の訓練画像を順次選択すると共に、テスト画像の各々について、選択された訓練画像のうち、テスト画像を認識できる訓練画像の数を表す認識回数をカウントする。
【００２６】
終了条件判定部３６は、所定の条件を満たす場合に、訓練画像選択部３４の訓練画像の選択を終了させる。例えば、テスト画像の各々の認識回数のうち、最小となる認識回数が、予め定めた最小認識回数の閾値に達した場合に、訓練画像の選択を終了させる。また、認識回数が最小のテスト画像において、該テスト画像に共通の被写体が含まれる確からしさを表すスコアが所定の閾値以上である未選択の訓練画像が存在しない場合に、訓練画像の選択を終了させる。
【００２７】
結果提示部３８は、訓練画像選択部３４で選択した訓練画像群と、テスト画像の各々についての、選択された訓練画像群のうち、テスト画像を認識できる訓練画像の数を表す認識回数と、認識回数が閾値未満となるテスト画像と、選択した訓練画像群のうち、認識回数が閾値未満となるテスト画像を認識できる訓練画像の数とのうちの少なくとも一つを提示する。
【００２８】
＜本発明の実施の第１の形態に係る訓練画像選択装置の作用＞
【００２９】
次に、本発明の第１の実施の形態に係る訓練画像選択装置１００の作用について説明する。入力部１０において空間を撮影したテスト画像からなるテスト画像群と、予め被写体を撮影した訓練画像からなる訓練画像群とを受け付けると、訓練画像選択装置１００は、図２に示す訓練画像選択処理ルーチンを実行する。
【００３０】
まず、ステップＳ１００では、被写体認識部３０は、入力部１０で受け付けたテスト画像群と、訓練画像群とに基づいて、訓練画像群における訓練画像の各々と、テスト画像群におけるテスト画像の各々との組み合わせに対し、該訓練画像と該テスト画像とに共通の被写体が含まれる確からしさを表すスコアを算出し、認識結果として記憶部２８に保存する。この時、テスト画像群は、被写体認識装置の運用時に入力されることが想定される画像のバリエーションを網羅するように構成されたものであることが望ましい。また、テスト画像群には訓練画像群にも含まれる画像が含まれていてもよい。その場合、認識結果の中に同一の画像同士を比較したスコアが含まれることになるが、そのスコアは削除してもよい。また、本ステップを実行してスコアを算出するのではなく、認識結果は予め生成し保存しておいたものを後続のステップにおいて利用してもよい。
【００３１】
次に、ステップＳ１０２では、記憶部２８に保存した認識結果を参照し、被写体認識部３０により算出された組み合わせの各々のスコアに基づいて、訓練画像の各々について、テスト画像群の認識に寄与する度合いを表す寄与率を算出する。各訓練画像が何枚のテスト画像において閾値以上のスコアを出しているか確認する。ここで求める寄与率は、各訓練画像が何枚のテスト画像の認識に寄与しているかを意味する。訓練画像ｊの寄与率をＣｊとすると、寄与率Ｃｊは以下の（１）式で算出することができる、当該訓練画像ｊを含む組み合わせのうち、算出されたスコアが予め定めた閾値以上である組み合わせの数とする。
【００３２】
【数１】
0006623110.tif 000002
【００３３】
ここで、ｓｉｊはテスト画像ｉと訓練画像ｊとの組み合わせに対するスコア、ｔは訓練画像がテスト画像を認識できたと見做すスコアの閾値である。
【００３４】
ステップＳ１０４では、終了条件判定部３６は、現時点で選択されていない訓練画像群を対象に、ステップＳ１０２で計算された訓練画像群の寄与率のうちの最大値を確認し、寄与率の最大値が０であった場合には、ステップＳ１１４へ移行し、寄与率の最大値が０以外であった場合にはステップＳ１０６へ移行する。寄与率の最大値が０の場合とは、すなわち、認識回数が最小のテスト画像において、該テスト画像に共通の被写体が含まれる確からしさを表すスコアが所定の閾値以上である未選択の訓練画像が存在しない場合である。
【００３５】
ステップＳ１０６では、訓練画像選択部３４は、選択されていない訓練画像群のうち寄与率が最大となった訓練画像を選択するとともに、選択した訓練画像で認識できたテスト画像の認識回数を＋１とカウントアップする。ここで、各テスト画像の認識回数の初期値は０である。また、寄与率が最大となった訓練画像が複数存在する場合は、その中から１枚の訓練画像を選択する。選択方法についてはここでは限定しないが、具体的には、訓練画像の各々について、当該訓練画像で認識できたテスト画像群における当該訓練画像に対応するスコアの合計を算出し、合計値が最大の訓練画像を選択する方法や、ｊが最小ないし最大の訓練画像を選択する方法、無作為に選択する方法等が考えられる。
【００３６】
ステップＳ１０８では、終了条件判定部３６は、各テスト画像の認識回数の最小値を確認し、最小認識回数が予め定めた最小認識回数の閾値ｒｍａｘ以上であれば、訓練画像の選択を終了してステップＳ１１４へ移行し、閾値ｒｍａｘ未満であればステップＳ１１０へ移行するする。ｒｍａｘは基本的には１であるが、テスト画像のバリエーションの想定が不十分であった場合を考慮し、訓練画像のバリエーションに余裕を持たせたい場合等には２以上としてもよい。
【００３７】
ステップＳ１１０では、終了条件判定部３６は、ここまでで選択された訓練画像の総数を確認し、選択された訓練画像の総数が、予め決定した総数の上限値ｎｍａｘ以上であれば、訓練画像の選択を終了し、ステップＳ１１４へ移行し、上限値ｎｍａｘ未満であればステップＳ１１２へ移行する。上限値ｎｍａｘの値は、被写体認識の運用時に許容される処理時間を充足できる訓練画像数とすればよい。
【００３８】
ステップＳ１１２では、寄与率算出部３２は、認識回数が最小値であるテスト画像群のみに対する訓練画像の各々の寄与率を更新する。この時点での認識回数が最小値であるテスト画像群のみに対する各訓練画像の寄与率を、ステップＳ１０２と同様の方法で算出する。すなわち、以下の（２）式を用いて、訓練画像の寄与率として、訓練画像と、認識回数が最小となるテスト画像とを組み合わせた組み合わせのうち、算出されたスコアが予め定めた閾値ｒｍｉｎ以上である組み合わせの数を算出する。
【００３９】
【数２】
0006623110.tif 000003
【００４０】
ここで、ｒｉはテスト画像ｉの認識回数、ｒｍｉｎは各テスト画像の認識回数の最小値である。本ステップの後は、ステップＳ１０４に戻る。なお、本ステップの実行を省略してもよい。
【００４１】
最後に、ステップＳ１１４では、結果提示部３８は、最終的に選択された訓練画像群と、テスト画像の各々についての、選択された訓練画像群のうち、テスト画像を認識できる訓練画像の数を表す認識回数と、認識回数が所定の予め定めた閾値ｒｑ未満であるテスト画像及びその認識回数の組とを出力部５０に提示し、訓練画像選択処理ルーチンを終了する。また、出力のバリエーションとして、選択した訓練画像群のうち、認識回数が閾値ｒｑ未満となるテスト画像を認識できる訓練画像の数を出力するようにしてもよい。ここで、閾値ｒｑの決定方法はここでは限定しないが、例えばｒｍａｘとすれば、選択された訓練画像群で所望の認識回数を満足できないテスト画像のリストを得る事ができる。また、出力の際に、選択された各訓練画像の寄与率を併せて提示してもよい。どのようなテスト画像の組み合わせに対する寄与率を提示するかは限定しないが、具体的には、全テスト画像に対する寄与率、選択された訓練画像が選択された時点で認識回数が最小であったテスト画像に対する寄与率、テスト画像１枚１枚に対する寄与率、それらの組み合わせ等が考えられる。また、提示方法はディスプレイへの表示、ファイルへの書き出し等様々な方法が考えられるが、ここでは限定しない。提示に用いる項目についても、訓練画像の通し番号、訓練画像に付与した名称、それらの組み合わせ等、様々なものが考えるが、ここでは限定しない。
【００４２】
以上説明したように、本発明の第１の実施の形態に係る訓練画像選択装置によれば、訓練画像の各々と、テスト画像の各々との組み合わせに対し、該訓練画像に含まれる被写体が該テスト画像にも含まれる確からしさを表すスコアを算出し、組み合わせの各々のスコアに基づいて、訓練画像の各々について、テスト画像群の認識に寄与する度合いを表す寄与率を算出し、算出された訓練画像の各々の寄与率に基づいて、未選択の訓練画像のうち寄与率が最大のものを選択する操作を反復することにより、訓練画像群から寄与率が高い訓練画像群を選択することにより、テスト画像に写った被写体の認識に適した訓練画像を選出することができる。
【００４３】
＜本発明の第２の実施の形態に係る訓練画像選択装置の構成＞
【００４４】
まず、本発明の第２の実施の形態に係る訓練画像選択装置の構成について説明する。なお、第１の実施の形態と同様となる箇所については同一符号を付して説明を省略する。
【００４５】
第２の実施の形態では、テスト画像を認識できない訓練画像を除外する操作を反復することにより、訓練画像群から寄与率が高い訓練画像群を選択する。
【００４６】
図３に示すように、本発明の第２の実施の形態に係る訓練画像選択装置２００は、ＣＰＵと、ＲＡＭと、後述する訓練画像選択処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この訓練画像選択装置２００は、機能的には図３に示すように入力部１０と、演算部２２０と、出力部５０とを備えている。
【００４７】
演算部２２０は、記憶部２２８と、被写体認識部２３０と、寄与率算出部３２と、訓練画像選択部２３４と、終了条件判定部２３６と、結果提示部３８と、を含んで構成されている。
【００４８】
被写体認識部２３０は、第１の実施の形態と同様に、入力部１０で受け付けたテスト画像群と、訓練画像群とに基づいて、訓練画像群における訓練画像の各々と、テスト画像群におけるテスト画像の各々との組み合わせに対し、該訓練画像と該テスト画像とに共通の被写体が含まれる確からしさを表すスコアを算出し、認識結果として記憶部２２８に記憶する。また、認識結果を用いて、各テスト画像について、当該テスト画像が訓練画像のうち何枚で認識できるかを表す認識回数を初期化する。
【００４９】
記憶部２２８には、被写体認識部２３０で算出された訓練画像の各々と、テスト画像の各々との組み合わせに対するスコア、及び認識回数が格納されている。
【００５０】
訓練画像選択部２３４は、寄与率算出部３２により算出された訓練画像の各々の寄与率に基づいて、未除外の訓練画像のうち寄与率が最小のものを除外する操作を反復することにより、訓練画像群から寄与率が高い訓練画像群を選択する。
【００５１】
終了条件判定部２３６は、所定の条件を満たす場合に、訓練画像選択部２３４の訓練画像の除外を終了させる。例えば、テスト画像の各々の認識回数のうち、最小となる認識回数が、予め定めた最小認識回数の閾値未満になった場合に、訓練画像の除外を終了させる。
【００５２】
＜本発明の実施の第２の形態に係る訓練画像選択装置の作用＞
【００５３】
次に、本発明の第２の実施の形態に係る訓練画像選択装置２００の作用について説明する。入力部１０において空間を撮影したテスト画像からなるテスト画像群と、予め被写体を撮影した訓練画像からなる訓練画像群とを受け付けると、訓練画像選択装置２００は、図４に示す訓練画像選択処理ルーチンを実行する。
【００５４】
まず、ステップＳ２００では、被写体認識部２３０は、入力部１０で受け付けたテスト画像群と、訓練画像群とに基づいて、訓練画像群における訓練画像の各々と、テスト画像群におけるテスト画像の各々との組み合わせに対し、該訓練画像と該テスト画像とに共通の被写体が含まれる確からしさを表すスコアを算出し、認識結果として記憶部２２８に保存する。この時、テスト画像群は、被写体認識装置の運用時に入力されることが想定される画像のバリエーションを網羅するように構成されたものであることが望ましい。また、テスト画像群には訓練画像群にも含まれる画像が含まれていてもよい。その場合、認識結果の中に同一の画像同士を比較したスコアが含まれることになるが、そのスコアは削除してもよい。また、認識結果は予め生成し保存しておいた物を利用してもよい。以上で準備された認識結果を用いて、被写体認識部２３０は、各テスト画像について、当該テスト画像が訓練画像のうち何枚で認識できるかを表す認識回数を初期化する。すなわち、以下（３）式を用いて各テスト画像ｉの認識回数ｒｉを初期化して認識回数を求める。
【００５５】
【数３】
0006623110.tif 000004
【００５６】
次に、ステップＳ２０２では、寄与率算出部３２は、記憶部２２８に保存した認識結果及び認識回数を参照し、各訓練画像が何枚のテスト画像において閾値以上のスコアを出しているか確認し、各訓練画像が何枚のテスト画像の認識に寄与しているかを意味する寄与率を求める。訓練画像ｊの寄与率をＣｊとすると、Ｃｊは上記（１）式で算出することができる。この時、寄与率の算出に上記（１）式の代わりに上記（２）式を用い、この時点での認識回数が最小であるテスト画像群のみに対する各訓練画像の寄与率を求めてもよい。ここで、ｒｍｉｎは各テスト画像の認識回数の最小値である。その後、寄与率を上記（１）式で算出した場合は、寄与率が０である訓練画像を訓練画像群から除外する処理を行ってもよい。寄与率が０である訓練画像は想定されるテスト画像の認識に寄与しないため、通常は除外する方が良いが、テスト画像のバリエーションの想定が不十分で寄与率が０である訓練画像によってのみ認識できるテスト画像が運用時に入力される可能性を考慮し、除外せずに残してもよい。
【００５７】
ステップＳ２０４では、終了条件判定部２３６は、ステップＳ２０２で求められた各テスト画像の認識回数の最小値を確認し、認識回数の最小値が予め決定した値ｒｍａｘ未満であれば、訓練画像の除外を終了してステップＳ２１２に移行し、認識回数の最小値がｒｍａｘ以上であればステップＳ２０６へ移行する。ｒｍａｘは基本的には１であるが、テスト画像のバリエーションの想定が不十分であった場合を考慮し、訓練画像のバリエーションに余裕を持たせたい場合等には２以上としてもよい。
【００５８】
ステップＳ２０６では、終了条件判定部２３６は、現時点で除外されていない訓練画像の総数を確認し、除外されていない訓練画像の総数が予め決定した値ｎｍａｘ以下であれば、訓練画像の除外を終了してステップＳ２１２に移行し、除外されていない訓練画像の総数がｎｍａｘを超えていればステップＳ２０８に移行する。ｎｍａｘの値は、被写体認識装置の運用時に許容される処理時間を充足できる訓練画像数とすればよい。
【００５９】
ステップＳ２０８では、訓練画像選択部２３４は、除外されていない訓練画像のうち寄与率が最小である訓練画像を除外するとともに、除外した訓練画像で認識できたテスト画像の認識回数を−１とカウントダウンする。また、寄与率が最小となった訓練画像が複数存在する場合は、その中から１枚の訓練画像を除外する。除外する訓練画像の選択方法についてはここでは限定しないが、具体的には、各訓練画像について各テスト画像群におけるその訓練画像に対応するスコアの合計を算出し、合計値が最小の訓練画像を選択する方法や、訓練画像ｊのスコアが最小ないし最大の訓練画像を選択する方法、無作為に選択する方法等が考えられる。
【００６０】
ステップＳ２１０では、寄与率算出部３２は、この時点での認識回数が最小であるテスト画像群のみに対する各訓練画像の寄与率を、ステップＳ２０２と同様の方法で算出する。すなわち、上記（２）式を用いて各訓練画像の寄与率を更新する。本ステップの後は、ステップＳ２０４に戻る。なお、本ステップの実行を省略するようにしてもよい。
【００６１】
最後に、ステップＳ２１２では、結果提示部３８は、最終的に除外されなかった訓練画像群と、テスト画像の各々についての、除外されなかった訓練画像群のうち、テスト画像を認識できる訓練画像の数を表す認識回数と、認識回数が所定の予定めた閾値ｒｑ未満であるテスト画像とその認識回数の組を提示し、訓練画像選択処理ルーチンを終了する。この時、ステップＳ２０４において訓練画像の選択を終了した場合であって、ステップＳ２０８を一度でも既に実行している場合には、最後に除外した訓練画像の除外を取り消す。ｒｑの決定方法はここでは限定しないが、例えばｒｍａｘとすれば、選択された訓練画像群で所望の認識回数を満足できないテスト画像のリストを得る事ができる。また、この時、選択された各訓練画像の寄与率を併せて提示してもよい。どのようなテスト画像の組み合わせに対する寄与率を提示するかは限定しないが、具体的には、全テスト画像に対する訓練画像の寄与率、その訓練画像が選択された時点で認識回数が最小であったテスト画像に対する訓練画像の寄与率、テスト画像１枚１枚に対する訓練画像の寄与率、それらの組み合わせ等が考えられる。また、提示方法はディスプレイへの表示、ファイルへの書き出し等様々な方法が考えられるが、ここでは限定しない。提示に用いる項目についても、訓練画像の通し番号、訓練画像に付与した名称、それらの組み合わせ等、様々なものが考えるが、ここでは限定しない。
【００６２】
以上説明したように、本発明の第２の実施の形態に係る訓練画像選択装置によれば、訓練画像の各々と、テスト画像の各々との組み合わせに対し、該訓練画像に含まれる被写体が該テスト画像にも含まれる確からしさを表すスコアを算出し、組み合わせの各々のスコアに基づいて、訓練画像の各々について、テスト画像群の認識に寄与する度合いを表す寄与率を算出し、算出された訓練画像の各々の寄与率に基づいて、未除外の訓練画像のうち寄与率が最小のものを除外する操作を反復することにより、訓練画像群から寄与率が高い訓練画像群を選択することにより、テスト画像に写った被写体の認識に適した訓練画像を選出することができる。
【００６３】
また上述した第１及び第２の実施の形態によれば、被写体認識装置の運用時に入力が想定されるテスト画像群を認識・検出するために最適な訓練画像を選出するとともに、選出した訓練画像で認識できないテスト画像を提示し認識率向上のために必要な訓練画像追加の指針を示すことができる。
【００６４】
また、撮像条件のバリエーションが多い場合でも、被写体認識に貢献が小さい訓練画像を排除し、貢献が大きい訓練画像に絞ることで、被写体認識率を下げることなく効率的な訓練画像の集合を選出し、認識・検出に要する処理時間を短く抑える事が可能となる。また、既存の訓練画像では認識できない、あるいは認識が困難なテスト画像を特定するとともに、それらを認識できる訓練画像を追加する事で、認識率を高める事が可能となる。
【００６５】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能であり、構成要素の追加、省略、置換、その他の変更を行ってもよい。
【００６６】
例えば、上記において第１及び第２の実施の形態を説明したが、これらの実施の形態における訓練画像選択装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【００６７】
また、形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
【符号の説明】
【００６８】
１０   入力部
２０、２２０  演算部
２８、２２８  記憶部
３０、２３０  被写体認識部
３２   寄与率算出部
３４、２３４  訓練画像選択部
３６、２３６  終了条件判定部
３８   結果提示部
５０   出力部
１００、２００       訓練画像選択装置
【図１】
0006623110.tif 000005
【図２】
0006623110.tif 000006
【図３】
0006623110.tif 000007
【図４】
0006623110.tif 000008