(57)【特許請求の範囲】
【請求項１】
画像から所定の対象を検出する識別器であって、次段の弱識別器が前段の出力領域に対して検出処理を実行する弱識別器を１または複数有する識別器を備える画像処理装置であって、
カメラが撮影した撮影画像を取得する画像取得手段と、
上記撮影画像上におけるユーザが指定した位置を特定する指定位置特定手段と、
上記指定位置特定手段が指定した位置近傍の領域を上記撮影画像から抽出して、探索画像を生成する探索画像生成手段と、
上記探索画像生成手段が生成した探索画像に対して、上記識別器による検出処理を実行させる識別器実行手段と、
検出結果である弱識別器の実行できた階層数の最も大きい処理領域を特定する処理領域特定手段と、
上記処理領域特定手段が特定した処理領域を上記撮影画像から抽出して、登録画像を生成する登録画像生成手段とを備え、
上記登録画像生成手段は、上記処理領域特定手段が特定した処理領域の上記階層数が所定値以下の場合、上記処理領域特定手段が特定した処理領域に基づく登録画像の生成処理を実行しないことを特徴とする画像処理装置。
【請求項２】
上記探索画像生成手段は、上記指定位置特定手段が指定した位置に基づいて上記ユーザが指定した上記撮影画像上の領域を特定し、特定した領域より大きい領域を上記撮影画像から抽出して上記探索画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記探索画像生成手段は、上記指定位置特定手段が指定した位置を中心とする領域であって、大きさの異なる複数の領域を特定し、特定した領域をそれぞれ上記撮影画像から抽出して複数の上記探索画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
上記処理領域特定手段は、弱識別器の実行できた階層数の最も大きい処理領域が複数ある場合、当該複数の処理領域のうち、検出結果の優劣を示す指標が最も高い処理領域を特定することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
上記処理領域特定手段は、弱識別器の実行できた階層数の最も大きい処理領域が複数ある場合、当該複数の処理領域を統合した領域を特定することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項６】
画像から所定の対象を検出する識別器であって、次段の弱識別器が前段の出力領域に対して検出処理を実行する弱識別器を１または複数有する識別器を備える画像処理装置の画像処理方法であって、
カメラが撮影した撮影画像を取得する画像取得ステップと、
上記撮影画像上におけるユーザが指定した位置を特定する指定位置特定ステップと、
上記指定位置特定ステップにおいて指定された位置近傍の領域を上記撮影画像から抽出して、探索画像を生成する探索画像生成ステップと、
上記探索画像生成ステップにおいて生成された探索画像に対して、上記識別器による検出処理を実行させる識別器実行ステップと、
上記識別器実行ステップの検出結果である弱識別器の実行できた階層数の最も大きい処理領域を特定する処理領域特定ステップと、
上記処理領域特定ステップにおいて特定された処理領域を上記撮影画像から抽出して、登録画像を生成する登録画像生成ステップとを含み、
上記登録画像生成ステップでは、上記処理領域特定ステップで特定した処理領域の上記階層数が所定値以下の場合、上記処理領域特定ステップで特定した処理領域に基づく登録画像の生成処理を実行しないことを特徴とする画像処理方法。
【請求項７】
請求項１〜５の何れか１項に記載の画像処理装置を動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
【請求項８】
請求項７に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から人間やペット等の対象を検出する画像処理装置、画像処理方法、制御プログラムおよび記録媒体に関するものである。
【背景技術】
【０００２】
近年、デジタルカメラ等の画像処理装置には、撮影時に、人間の顔等を検出し、検出した対象に焦点を合わせたり、検出した対象のホワイトバランス等を調整したりする技術が搭載されている。この技術においては、画像から人間の顔等の対象を正確に検出できることが望ましい。そのため、所定の対象を検出する技術について様々なものが開発されている。
【０００３】
例えば、特許文献１には、辞書データを参照して、登録ペット画像との照合度が高い顔パターンを抽出し、抽出した顔パターンに基づいて、登録ペット画像の認識処理を行う技術が記載されている。
【０００４】
また、特許文献２には、正面顔を高速かつ精度良く検出するために、顔画像を検出する１段目識別器を実行し、顔画像が検出された位置およびその近傍に対して正面顔を検出する２段目識別器を実行して、正面顔を検出する技術が記載されている。
【０００５】
また、特許文献３には、登録者の様々な顔向きの顔画像を登録し、登録されたデータに基づいて登録者を認証する技術が記載されている。
【０００６】
また、特許文献４には、ユーザがＡＦ枠を設定し、その枠内に含まれる顔画像の位置および大きさに適合するようにＡＦ枠の範囲を変更する技術が記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１１−１２４８１９号公報（２０１１年６月２３日公開）
【特許文献２】特開２０１０−２７７２４２号公報（２０１０年１２月９日公開）
【特許文献３】特開２０１０−２３８１８１号公報（２０１０年１０月２１日公開）
【特許文献４】特開２０１０−９６９６２号公報（２０１０年４月３０日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ここで、一般的な人間の顔やペットの顔等を検出する顔検出器によって、画像から「顔」を検出する顔検出処理を画像処理装置が実行するものとする。多くの場合、この顔検出器は撮影画像に含まれる人間やペットの顔を検出することができるが、一部検出できない場合もある。このとき、従来の画像処理装置は、顔検出器によって検出できない対象に関しては、個々のユーザにその対象を含む画像を登録させ、その登録画像に基づいて所望の対象を検出することにより、この問題を解決していた。
【０００９】
このように、登録画像に基づいて検出処理を実行することにより、上記の顔検出器によって検出できない対象も検出することができる。ここで、登録画像に基づいて所望の対象を検出するためには、登録画像に所望の対象全体が含まれていることが条件となる。しかしながら、ユーザに画像を登録させる際に、ユーザが所望の対象全体を含む領域を指定できない場合がある。
【００１０】
例えば、所望の対象が犬や猫の場合、人間の顔と比べて、「顔」の領域（境界）が判別しづらいため、正確に犬や猫の顔全体を含む領域を指定できない場合がある。また、ユーザが対象を含む領域を正確に判別している場合でも、ユーザが誤って領域を指定し、指定した領域に所望の対象全体が含まれていない場合がある。
【００１１】
一方、ユーザに所望の対象全体を含む領域を指定させるために、当該領域を特定するための入力点を増やすことが考えられる（例えば、目、鼻、口等の器官の位置を指定させるなど）。しかしながら、この方法では、ユーザの操作が複雑になり、操作性が劣化する。そのため、従来と同様に、１点または２点の入力点に基づいて領域を指定して登録画像を生成することが望ましい。
【００１２】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、所望の対象を含む登録画像を簡単に登録できる画像処理装置、画像処理方法、制御プログラムおよび記録媒体を実現することにある。
【課題を解決するための手段】
【００１３】
本発明に係る画像処理装置は、上記課題を解決するために、画像から所定の対象を検出する識別器であって、次段の弱識別器が前段の出力領域に対して検出処理を実行する弱識別器を１または複数有する識別器を備える画像処理装置であって、カメラが撮影した撮影画像を取得する画像取得手段と、上記撮影画像上におけるユーザが指定した位置を特定する指定位置特定手段と、上記指定位置特定手段が指定した位置近傍の領域を上記撮影画像から抽出して、探索画像を生成する探索画像生成手段と、上記探索画像生成手段が生成した探索画像に対して、上記識別器による検出処理を実行させる識別器実行手段と、検出結果である弱識別器の実行できた階層数の最も大きい処理領域を特定する処理領域特定手段と、上記処理領域特定手段が特定した処理領域を上記撮影画像から抽出して、登録画像を生成する登録画像生成手段とを備えることを特徴としている。
【００１４】
本発明に係る画像処理方法は、上記課題を解決するために、画像から所定の対象を検出する識別器であって、次段の弱識別器が前段の出力領域に対して検出処理を実行する弱識別器を１または複数有する識別器を備える画像処理装置の画像処理方法であって、カメラが撮影した撮影画像を取得する画像取得ステップと、上記撮影画像上におけるユーザが指定した位置を特定する指定位置特定ステップと、上記指定位置特定ステップにおいて指定された位置近傍の領域を上記撮影画像から抽出して、探索画像を生成する探索画像生成ステップと、上記探索画像生成ステップにおいて生成された探索画像に対して、上記識別器による検出処理を実行させる識別器実行ステップと、上記識別器実行ステップの検出結果である弱識別器の実行できた階層数の最も大きい処理領域を特定する処理領域特定ステップと、上記処理領域特定ステップにおいて特定された処理領域を上記撮影画像から抽出して、登録画像を生成する登録画像生成ステップとを含むことを特徴としている。
【００１５】
ここでは、登録画像を生成することを目的としているため、前提として、撮影画像に対して識別器を実行すると検出対象を検出できない状態である。すなわち、撮影画像に対して識別器を実行した場合、識別器の最後段の弱識別器の出力する出力領域がない状態である。
【００１６】
上記の構成によれば、上記探索画像生成手段は、ユーザが指定した位置近傍の領域を上記撮影画像から抽出して、探索画像を生成する。そして、上記処理領域特定手段は、上記探索画像内の弱識別器の実行できた階層数の最も大きい処理領域、すなわち、上記探索画像内の最も識別器の検出対象が含まれる可能性の高い領域を特定し、上記登録画像生成手段は、上記処理領域特定手段が特定した領域を上記撮影画像から抽出して登録画像を生成する。
【００１７】
よって、ユーザが指定した位置が多少ずれていたとしても、ユーザの所望する対象を含んだ登録画像を生成することができるという効果を奏する。
【００１８】
本発明に係る画像処理装置は、上記探索画像生成手段は、上記指定位置特定手段が指定した位置に基づいて上記ユーザが指定した上記撮影画像上の領域を特定し、特定した領域より大きい領域を上記撮影画像から抽出して上記探索画像を生成することが好ましい。
【００１９】
本発明に係る画像処理装置は、上記探索画像生成手段は、上記指定位置特定手段が指定した位置を中心とする領域であって、大きさの異なる複数の領域を特定し、特定した領域をそれぞれ上記撮影画像から抽出して複数の上記探索画像を生成することが好ましい。
【００２０】
本発明に係る画像処理装置は、上記処理領域特定手段は、弱識別器の実行できた階層数の最も大きい処理領域が複数ある場合、当該複数の処理領域のうち、検出結果の優劣を示す指標が最も高い処理領域を特定することが好ましい。
【００２１】
本発明に係る画像処理装置は、上記処理領域特定手段は、弱識別器の実行できた階層数の最も大きい処理領域が複数ある場合、当該複数の処理領域を統合した領域を特定することが好ましい。
【００２２】
本発明に係る画像処理装置は、上記登録画像生成手段は、上記処理領域特定手段が特定した処理領域の上記階層数が所定値以下の場合、上記処理領域特定手段が特定した処理領域に基づく登録画像の生成処理を実行しないことが好ましい。
【００２３】
本発明に係る画像処理装置は、上記課題を解決するために、カメラが撮影した撮影画像を取得する画像取得手段と、上記撮影画像上におけるユーザが指定した位置を特定する指定位置特定手段と、上記指定位置特定手段が指定した位置近傍の領域を上記撮影画像から抽出して、探索画像を生成する探索画像生成手段と、上記探索画像生成手段が生成した探索画像から所定の対象の輪郭を検出する輪郭検出手段と、上記輪郭検出手段が検出した輪郭で閉じられた領域を上記撮影画像から抽出して、登録画像を生成する登録画像生成手段とを備えることを特徴としている。
【００２４】
本発明に係る画像処理方法は、上記課題を解決するために、カメラが撮影した撮影画像を取得する画像取得ステップと、上記撮影画像上におけるユーザが指定した位置を特定する指定位置特定ステップと、上記指定位置特定ステップにおいて指定された位置近傍の領域を上記撮影画像から抽出して、探索画像を生成する探索画像生成ステップと、上記探索画像生成ステップにおいて生成された探索画像から所定の対象の輪郭を検出する輪郭検出ステップと、上記輪郭検出ステップにおいて検出された輪郭で閉じられた領域を上記撮影画像から抽出して、登録画像を生成する登録画像生成ステップとを含むことを特徴としている。
【００２５】
上記の構成によれば、上記探索画像生成手段は、ユーザが指定した位置近傍の領域を上記撮影画像から抽出して、探索画像を生成する。そして、上記輪郭検出手段は、上記探索画像から所定の対象の輪郭を検出し、上記登録画像生成手段は、上記輪郭検出手段が検出した輪郭で閉じられた領域を上記撮影画像から抽出して登録画像を生成する。
【００２６】
よって、ユーザが指定した位置が多少ずれていたとしても、ユーザの所望する対象を含んだ登録画像を生成することができるという効果を奏する。
【００２７】
なお、上記画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置の各手段として動作させることにより、上記画像処理装置をコンピュータにて実現させる制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。
【発明の効果】
【００２８】
以上のように、本発明に係る画像処理装置は、カメラが撮影した撮影画像を取得する画像取得手段と、上記撮影画像上におけるユーザが指定した位置を特定する指定位置特定手段と、上記指定位置特定手段が指定した位置近傍の領域を上記撮影画像から抽出して、探索画像を生成する探索画像生成手段と、上記探索画像生成手段が生成した探索画像に対して、上記識別器による検出処理を実行させる識別器実行手段と、検出結果である弱識別器の実行できた階層数の最も大きい処理領域を特定する処理領域特定手段と、上記処理領域特定手段が特定した処理領域を上記撮影画像から抽出して、登録画像を生成する登録画像生成手段とを備えている構成である。
【００２９】
また、本発明に係る画像処理方法は、カメラが撮影した撮影画像を取得する画像取得ステップと、上記撮影画像上におけるユーザが指定した位置を特定する指定位置特定ステップと、上記指定位置特定ステップにおいて指定された位置近傍の領域を上記撮影画像から抽出して、探索画像を生成する探索画像生成ステップと、上記探索画像生成ステップにおいて生成された探索画像に対して、上記識別器による検出処理を実行させる識別器実行ステップと、上記識別器実行ステップの検出結果である弱識別器の実行できた階層数の最も大きい処理領域を特定する処理領域特定ステップと、上記処理領域特定ステップにおいて特定された処理領域を上記撮影画像から抽出して、登録画像を生成する登録画像生成ステップとを含む。
【００３０】
よって、ユーザが指定した位置が多少ずれていたとしても、ユーザの所望する対象を含んだ登録画像を生成することができるという効果を奏する。
【００３１】
また、本発明に係る画像処理装置は、カメラが撮影した撮影画像を取得する画像取得手段と、上記撮影画像上におけるユーザが指定した位置を特定する指定位置特定手段と、上記指定位置特定手段が指定した位置近傍の領域を上記撮影画像から抽出して、探索画像を生成する探索画像生成手段と、上記探索画像生成手段が生成した探索画像から所定の対象の輪郭を検出する輪郭検出手段と、上記輪郭検出手段が検出した輪郭で閉じられた領域を上記撮影画像から抽出して、登録画像を生成する登録画像生成手段とを備えている構成である。
【００３２】
また、本発明に係る画像処理方法は、カメラが撮影した撮影画像を取得する画像取得ステップと、上記撮影画像上におけるユーザが指定した位置を特定する指定位置特定ステップと、上記指定位置特定ステップにおいて指定された位置近傍の領域を上記撮影画像から抽出して、探索画像を生成する探索画像生成ステップと、上記探索画像生成ステップにおいて生成された探索画像から所定の対象の輪郭を検出する輪郭検出ステップと、上記輪郭検出ステップにおいて検出された輪郭で閉じられた領域を上記撮影画像から抽出して、登録画像を生成する登録画像生成ステップとを含む。
【００３３】
よって、ユーザが指定した位置が多少ずれていたとしても、ユーザの所望する対象を含んだ登録画像を生成することができるという効果を奏する。
【図面の簡単な説明】
【００３４】
【図１】本発明の実施形態を示すものであり、画像処理装置の要部構成の一例を示すブロック図である。
【図２】識別器を構成する弱識別器の検出処理および検出結果の一例を示す図である。
【図３】識別器を構成する弱識別器の検出処理および検出結果の一例を示す図である。
【図４】識別器を構成する弱識別器の検出処理および検出結果の一例を示す図である。
【図５】識別器を構成する弱識別器の検出処理および検出結果の一例を示す図である。
【図６】上記画像処理装置が実行する登録画像を生成する登録画像生成処理の一例を示すフローチャートである。
【図７】上記登録画像生成処理において、撮影画像上のユーザが指定した指定位置を示す図である。
【図８】上記登録画像生成処理において、撮影画像上の指定領域および探索領域を示す図である。
【図９】上記登録画像生成処理において、撮影画像上の探索領域および最も階層数の多い処理領域を示す図である。
【図１０】上記登録画像生成処理によって生成された登録画像を示す図である。
【図１１】上記登録画像生成処理において、撮影画像上のユーザが指定した指定位置を示す図である。
【図１２】上記登録画像生成処理において、撮影画像上の探索領域を示す図である。
【図１３】上記画像処理装置が実行する登録画像を生成する登録画像生成処理の一例を示すフローチャートである。
【図１４】上記登録画像生成処理において、撮影画像上のユーザが指定した指定位置を示す図である。
【図１５】上記登録画像生成処理において、撮影画像上の指定領域および探索領域を示す図である。
【図１６】上記登録画像生成処理において、撮影画像上の探索領域および検出した輪郭で閉じられた領域を示す図である。
【発明を実施するための形態】
【００３５】
本発明の一実施形態について図１から図１６に基づいて説明すると以下の通りである。
【００３６】
〔画像処理装置の構成〕
本発明に係る画像処理装置は、画像上における所定の対象を検出するものである。画像処理装置が検出する対象を検出対象と称する。ここで、検出対象とは、画像上の任意の有形物であり、例えば、人間の全身、顔、目、鼻、口、手、腕もしくは脚など、または、犬、猫、鳥等の動物の全身もしくは顔など、または、自動車、バイク等の車体全体もしくはタイヤなど、または、ビル、家屋等の建造物など、または、木、雲、太陽等の自然物などである。
【００３７】
画像処理装置は、画像上における検出対象を検出するものであれば何でも良く、例えば、デジタルカメラ、デジタルビデオカメラ、ＰＣ、携帯電話機、ＰＤＡ（Personal Digital Assistant）、ゲーム機、写真を撮影して印刷する装置、画像を編集する装置などであってよい。
【００３８】
本発明に係る画像処理装置は、入力された画像から検出対象を検出する識別器を１または複数備える。識別器に入力される画像を入力画像と称する。
【００３９】
識別器は、１または複数の弱識別器からなる。識別器を構成する弱識別器は、入力画像内の所定の領域における１または複数の特徴量が所定の基準範囲内であるか否かを判定し、当該特徴量が所定の基準範囲内である領域を出力する。換言すると、弱識別器は、入力画像内の所定の領域に検出対象が含まれているか否かを判定し、検出対象が含まれていると判定した領域を出力する。なお、弱識別器が領域から抽出する特徴量は任意でよい。例えば、輝度値、エッジ情報、周波数特性（Gabor、Haar等）、輝度勾配特徴量（SIFT、HOG等）またはそれらの組み合わせを特徴量としてもよい。
【００４０】
また、各弱識別器は、処理を実行する順序が設定されており、次段の弱識別器は、前段の弱識別器が出力する出力領域内の所定の領域に対して検出処理を実行する。なお、初段の弱識別器は、識別器に入力された入力画像（の全領域）に対して検出処理を実行する。また、最後段の弱識別器が出力する出力領域が識別器の出力である。なお、前段の弱識別器の出力する出力領域がない場合、以降の弱識別器は検出処理を実行しない。
【００４１】
ここで、弱識別器の検出処理順序を階層と称する。例えば、識別器において、７番目に検出処理を実行する弱識別器は、階層７の弱識別器とする。
【００４２】
識別器の検出処理について、図２〜図５に基づいてより具体的に説明する。図２〜図５は、識別器を構成する弱識別器の検出処理および検出結果の一例を示す図である。図２〜図５に示す識別器は、１０個の弱識別器Ｌ１〜Ｌ１０からなるものとする。また、図２〜図５に示す識別器は、犬を検出する犬識別器であるとする。
【００４３】
図２に示すように、まず、弱識別器Ｌ１は、識別器に入力された入力画像５０上において、所定のサイズ、形状の領域５１を設定する。弱識別器が設定する領域を処理領域５１と称する。弱識別器Ｌ１は、入力画像５０全体を処理領域５１でラスタスキャンし、スキャンした各処理領域５１における１または複数の特徴量が所定の基準範囲内であるか否かをそれぞれ判定し、当該特徴量が所定の基準範囲内である処理領域５１を出力領域として出力する。
【００４４】
ここで、図３に示すように、弱識別器Ｌ１の検出処理の結果、弱識別器Ｌ１が出力領域として、出力領域５２ａ、５２ｂおよび５２ｃを出力したとする。この状態で、弱識別器Ｌ２は、出力領域５２ａ、５２ｂおよび５２ｃに対して、それぞれ処理領域５１をラスタスキャンして、検出処理を実行する。
【００４５】
続いて、弱識別器Ｌ３〜Ｌ１０の検出処理を実行し、図４に示すように、弱識別器Ｌ１０が出力領域として、出力領域５２ｄおよび５２ｅを出力したとする。つまり、入力画像５０に対して、弱識別器Ｌ１〜Ｌ１０で構成される犬識別器の検出処理を実行すると、出力領域５２ｄおよび５２ｅが出力として得られる。すなわち、入力画像５０の出力領域５２ｄおよび５２ｅに検出対象の「犬」が含まれる。なお、このとき、識別器は、出力領域ごとに、当該出力領域の検出結果の優劣を示す指標を出力してもよい。
【００４６】
なお、図５に示すように、弱識別器は、大きさの異なる複数の処理領域５１ａ、５１ｂ、５１ｃを設定してもよい。また、図２〜図５に示す例では、処理領域５１の形状が矩形であるが、これに限るものではない。例えば、処理領域５１の形状を円形にしてもよい。弱識別器が設定する処理領域の種類数、並びに、処理領域のサイズおよび形状は任意でよい。また、弱識別器ごとに、設定する処理領域が異なっていてもよい。
【００４７】
また、識別器は、入力画像に対する検出結果が「出力領域無し」の場合、処理領域ごとに、検出処理を実行した弱識別器の階層数を当該処理領域に対応付けて出力してもよい。さらに、このとき、識別器は、階層数に加えて、当該処理領域の検出結果の優劣を示す指標を出力してもよい。当該指標は、例えば、当該処理領域に検出対象が含まれる確度を示すものであってもよい。
【００４８】
すなわち、識別器は、入力画像から検出対象が検出できなかった場合、入力画像内の処理領域ごとに、弱識別器が検出処理を実行できた階層数と、当該処理領域の検出結果の優劣を示す指標とを出力しても良い。
【００４９】
なお、検出器は識別器と同義の単語であり、識別器をカスケードとも称する。また、弱識別器をレイヤーとも称する。
【００５０】
次に、画像処理装置の構成について図１に基づいて説明する。図１は、画像処理装置１の要部構成の一例を示すブロック図である。図１に示すように、画像処理装置１は、制御部１１、記憶部１２、カメラ１３、表示部１４および操作部１５を備えている。なお、画像処理装置１は、他の装置と通信するための通信部、音声入力部、音声出力部等の部材を備えていてもよいが、発明の特徴点とは関係がないため当該部材を図示していない。
【００５１】
カメラ１３は、画像を撮影するものである。カメラ１３が撮影した画像を撮影画像と称する。なお、本実施形態がカメラ１３を搭載しているが、これに限るものではない。例えば、カメラ１３と画像処理装置１が別体であってもよい。また、カメラ１３の代わりに、画像提供装置であってもよい。画像提供装置は、保持している画像または取得した画像を他の装置に提供する装置であれば何でもよい。例えば、画像提供装置は、デジタルカメラ、デジタルテレビ、ＰＣ、携帯電話機、ＰＤＡ（Personal Digital Assistant）、ゲーム機、ＵＳＢ（Universal Serial Bus）メモリ等の記憶装置などである。
【００５２】
表示部１４は、制御部１１の指示に従って画像を表示するものである。表示部１４は、制御部１１の指示に従って画像を表示するものであればよく、例えば、ＬＣＤ（液晶ディスプレイ）、有機ＥＬディスプレイ、プラズマディスプレイなどを適用することが可能である。
【００５３】
操作部１５は、ユーザが画像処理装置１に指示信号を入力し、画像処理装置１を操作するためのものである。操作部１５は、キーボード、マウス、キーパッド、操作ボタンなどの入力機器等で構成されているものであってもよい。また、操作部１５と表示部１４とが一体となっているタッチパネルであってもよい。また、操作部１５は、画像処理装置１と別体のリモートコントローラ等の遠隔制御装置であってもよい。
【００５４】
制御部１１は、記憶部１２から一時記憶部（不図示）に読み出されたプログラムを実行することにより、各種の演算を行うと共に、画像処理装置１が備える各部を統括的に制御するものである。
【００５５】
本実施形態では、制御部１１は、機能ブロックとして、画像取得部（画像取得手段）２１、識別器実行部（識別器実行手段）２２、指定位置特定部（指定位置特定手段）２３、探索画像生成部（探索画像生成手段）２４、処理領域特定部（処理領域特定手段）２５、登録画像生成部（登録画像生成手段）２６、輪郭検出部（輪郭検出手段）２７および表示制御部２８を備える構成である。これらの制御部１１の各機能ブロック（２１〜２８）は、ＣＰＵ（central processing unit）が、ＲＯＭ（read only memory）等で実現された記憶装置に記憶されているプログラムをＲＡＭ（random access memory）等で実現された一時記憶部に読み出して実行することで実現できる。
【００５６】
画像取得部２１は、カメラ１３から撮影画像を取得するものである。画像取得部２１は、取得した撮影画像を識別器実行部２２、探索画像生成部２４および表示制御部２８に出力する。
【００５７】
識別器実行部２２は、１または複数の識別器を備えており、画像取得部２１から取得した撮影画像を入力画像として識別器に入力する。そして、識別器実行部２２は、識別器に検出処理を実行させる。識別器実行部２２は、識別器の検出結果を表示制御部２８に出力する。
【００５８】
また、識別器実行部２２は、探索画像生成部２４から探索画像を取得すると、取得した探索画像を入力画像として識別器に入力して、識別器に検出処理を実行させる。識別器実行部２２は、探索画像に対する識別器の検出結果を処理領域特定部２５に出力する。
【００５９】
また、識別器実行部２２は、記憶部１２から識別器情報を読み出し、識別器の検出対象を変更したり、識別器を構成する弱識別器が検出時に使用する特徴量および基準範囲を変更したりしてもよい。
【００６０】
また、識別器実行部２２は、登録画像に含まれる対象の検出を実行する場合、記憶部１２から登録画像情報を読み出し、登録画像情報の示す登録画像に含まれる対象を検出するために最適な識別器を選択し、入力画像に対して選択した識別器を実行させる。識別器実行部２２は、例えば、登録画像に対して識別器を実行し、検出結果として出力する出力領域の指標が最も高い識別器を選択しても良い。
【００６１】
指定位置特定部２３は、操作部１５に入力されたユーザの指示に基づいて、画像取得部２１から取得した撮影画像上のユーザの指定した位置（以下、指定位置と称する）を特定するものである。指定位置特定部２３は、ユーザが指定した撮影画像上の位置を探索画像生成部２４に出力する。
【００６２】
探索画像生成部２４は、指定位置特定部２３から取得した撮影画像上の位置に基づいて、指定位置近傍の領域を撮影画像から抽出して、探索画像を生成するものである。探索画像生成部２４は、生成した探索画像を識別器実行部２２および輪郭検出部２７に出力する。
【００６３】
具体的には、探索画像生成部２４は、指定位置特定部２３から取得した撮影画像上の指定位置に基づいて、ユーザの指定した撮影画像上の領域（以下、指定領域と称する）を特定する。探索画像生成部２４は、指定領域の中心が同じ位置である領域であって、指定領域よりサイズが大きい（範囲の広い）所定の領域（以下、探索領域と称する）を１つ特定し、特定した探索領域を探索画像として抽出する。
【００６４】
なお、探索画像生成部２４は、例えばユーザが撮影画像上の２点を指定した場合、指定した２点を対角とする矩形の領域を指定領域としてもよい。また、探索画像生成部２４は、例えばユーザが撮影画像上の１点を指定した場合、指定した１点を基準点（例えば中心点）とする矩形または円形の領域であって、所定の大きさの領域を指定領域としてもよい。また、探索画像生成部２４が特定する探索領域の形状（すなわち探索画像の形状）は、任意でよく、例えば、矩形または円形であってよい。
【００６５】
また、探索画像生成部２４は、指定位置特定部２３から取得した撮影画像上の指定位置を中心とする矩形の領域であって、サイズの異なる複数の探索領域を特定し、特定した探索領域を探索画像として抽出する。なお、探索画像生成部２４が特定する探索領域の形状（すなわち探索画像の形状）は、矩形に限るものではなく、任意でよい。例えば、探索画像生成部２４は、指定位置を中心とする円形の領域であって、半径の異なる複数の探索領域を特定しても良い。
【００６６】
なお、探索領域（探索画像）は、上記のように、指定領域より大きいサイズであればよい。ここで、探索領域は、サイズが大きければ大きいほど、ユーザの所望する対象全体を含む可能性が高くなる。換言すると、探索領域のサイズが大きいほど、ユーザに求められる指定位置の精度が緩和され、操作性が向上する。しかしながら、探索画像のサイズが大きいほど、探索画像に対するユーザの所望する対象の検出処理の負荷が大きくなる。そのため、探索領域（探索画像）のサイズは、操作性および処理負荷等を考慮して適宜設定することが望ましい。
【００６７】
処理領域特定部２５は、識別器実行部２２から探索画像に対する識別器の検出結果を取得し、弱識別器が実行できた階層数が最も大きい処理領域を特定するものである。処理領域特定部２５は、特定した処理領域を登録画像生成部２６に出力する。
【００６８】
ここで、階層数が最も大きい処理領域とは、探索画像内で識別器の検出対象が含まれる可能性が最も高い領域である。すなわち、処理領域特定部２５は、探索画像内において、識別器の検出対象が含まれる可能性が最も高い領域を特定するものである。
【００６９】
また、階層数が最も大きい処理領域が複数ある場合、処理領域特定部２５は、その複数の処理領域のうち、最も高い指標の処理領域を特定するものである。また、階層数が最も大きい処理領域が複数ある場合、処理領域特定部２５は、その複数の処理領域を統合した（重畳した）領域を登録画像生成部２６に出力してもよい。
【００７０】
登録画像生成部２６は、処理領域特定部２５および輪郭検出部２７が特定した領域を取得し、取得した処理領域を探索画像（または撮影画像）から抽出して、登録画像を生成するものである。登録画像生成部２６は、生成した登録画像を表示制御部２８に出力する。また、登録画像生成部２６は、生成した登録画像を示す登録画像情報を記憶部１２に格納する。
【００７１】
また、登録画像生成部２６は、処理領域特定部２５が特定した処理領域の階層数が所定値以下の場合、処理領域特定部２５が特定した処理領域に基づく登録画像の生成処理を実行しない。このとき、登録画像生成部２６は、表示制御部２８にエラーを通知して、表示制御部２８は表示部１４に登録画像の生成処理が正常に行われなかったことを表示してもよい。
【００７２】
ここで、或る処理領域に対して弱識別器が実行できた階層数が少ない場合、その処理領域には、識別器の検出対象が含まれる可能性が低い領域と考えられる。そのため、探索画像に対して識別器を実行した結果、弱識別器が実行できた階層数の最大値が所定値以下の場合、その階層数が最大値の処理領域が探索画像内で識別器の検出対象が含まれる可能性が最も高い領域と考えられるが、信頼性が低い。よって、登録画像生成部２６が処理領域特定部２５が特定した処理領域の階層数が所定値以下の場合、登録画像の生成処理を実行しないことにより、信頼性の低い登録画像を除外することができる。
【００７３】
輪郭検出部２７は、探索画像生成部２４から探索画像を取得し、取得した探索画像から輪郭を検出し、検出した輪郭によって閉じられた領域を特定するものである。輪郭検出部２７は、特定した領域を登録画像生成部２６に出力する。
【００７４】
表示制御部２８は、画像取得部２１から撮影画像を取得し、取得した撮影画像を表示部１４に表示させるものである。また、識別器実行部２２から検出結果を取得して、出力領域の画像上の位置を示すマーカーを撮影画像に重ねて表示する。また、登録画像生成部２６から登録画像を取得し、取得した登録画像を表示部１４に表示する。
【００７５】
記憶部１２は、制御部１１が参照するプログラムやデータ等を格納するものであり、例えば、上記の識別器情報３１、登録画像情報３２等を格納している。
【００７６】
識別器情報３１は、所定の対象を検出するための識別器を生成するための情報である。汎用識別器情報３１は、例えば、識別器を構成する弱識別器の個数および順序、並びに、弱識別器が使用する特徴量および基準範囲等を示す情報である。
【００７７】
〔登録画像生成処理〕
（実施例１）
次に、画像処理装置１が実行する登録画像を生成する登録画像生成処理の一例（実施例１）について図６〜図１０に基づいて説明する。図６は、画像処理装置１が実行する登録画像を生成する登録画像生成処理の一例を示すフローチャートである。図７は、撮影画像上のユーザが指定した指定位置を示す図である。図８は、撮影画像上の指定領域および探索領域を示す図である。図９は、撮影画像上の探索領域および最も階層数の多い処理領域を示す図である。図１０は、登録画像を示す図である。
【００７８】
ここでは、画像処理装置１が撮影画像に対して所有する識別器による検出処理を行ったが、「猫の顔」が検出されなかったため、ユーザが「猫の顔」を登録するものとして説明する。また、画像処理装置１は、ユーザが登録する対象（の種別）を予め知っているものとする。また、ユーザは、撮影画像上の２点を指定して、撮影画像上にその２点を対角とする矩形の領域を指定するものとする。
【００７９】
まず、画像取得部２１がカメラ１３から撮影画像を取得する（Ｓ１）。上述のように、識別器による検出処理を行った結果、「猫の顔」が検出されない。そこで、図７に示すように、ユーザが操作部１５を操作して、撮影画像６１上の２点（６２ａおよび６２ｂ）を指定したとする。指定位置特定部２３は、操作部１５に入力されたユーザの指示に基づいて、画像取得部２１から取得した撮影画像６１上の指定位置６２ａおよび６２ｂを特定する（Ｓ２）。指定位置特定部２３は、ユーザが指定した撮影画像６１上の指定位置６２ａおよび６２ｂを探索画像生成部２４に出力する。
【００８０】
探索画像生成部２４は、図８に示すように、指定位置特定部２３から指定位置６２ａおよび６２ｂを取得し、指定位置６２ａおよび６２ｂを対角とする矩形の領域６３を指定領域として特定する。探索画像生成部２４は、指定領域６３の中心が同じ位置である領域であって、指定領域６３よりサイズが大きい（範囲の広い）所定の探索領域６４を特定する。探索画像生成部２４は、特定した探索領域６４を撮影画像から抽出し、探索画像を生成する（Ｓ３）。探索画像生成部２４は、生成した探索画像を識別器実行部２２に出力する。
【００８１】
識別器実行部２２は、探索画像生成部２４から探索画像を取得すると、取得した探索画像を入力画像として識別器に入力して、識別器に検出処理を実行させる（Ｓ４）。ここでは、ユーザが登録する対象が「猫の顔」であるため、人間やペットの「顔」を検出する顔識別器を実行させるものとする。この顔識別器は、「猫の顔」を検出できないため、処理領域ごとの階層数を処理領域特定部２５に出力する。
【００８２】
処理領域特定部２５は、識別器実行部２２から探索画像に対する顔識別器の検出結果を取得し、図９に示すように、弱識別器が実行できた階層数が最も大きい処理領域６５を特定する（Ｓ５）。処理領域特定部２５は、特定した処理領域６５を登録画像生成部２６に出力する。
【００８３】
登録画像生成部２６は、処理領域特定部２５が特定した領域６５を取得し、図１０に示すように、取得した処理領域６５を撮影画像６１から抽出して、登録画像６６を生成する（Ｓ６）。登録画像生成部２６は、生成した登録画像６６を示す登録画像情報を記憶部１２に格納して、登録画像を登録する（Ｓ７）。
【００８４】
このように、画像処理装置１は、ユーザの指定した指定領域より大きい探索領域内の最も「顔」の確度が高い領域を登録画像とする。よって、図８に示すように、ユーザの指定した指定領域に、ユーザの所望する対象である「猫の顔」全体が含まれていない場合であっても、操作を煩雑にすることなく、ユーザの所望する対象である「猫の顔」全体を含む画像を登録することができる。
【００８５】
なお、Ｓ６において登録画像を生成した後、登録画像生成部２６が生成した登録画像を表示制御部２８に出力してもよい。このとき、表示制御部２８が登録画像を表示して、登録画像生成部２６が生成した登録画像をユーザに提示する。そして、ユーザが表示されている登録画像を登録する操作を行った後に、登録画像生成部２６は、生成した登録画像６６を示す登録画像情報を記憶部１２に格納して、登録画像を登録してもよい。一方、ユーザが表示されている登録画像を見て、登録をキャンセルした場合、再度、Ｓ２からやり直しても良い。
【００８６】
（実施例２）
次に、画像処理装置１が実行する登録画像を生成する登録画像生成処理の他の一例（実施例２）について図６、図１１、図１２に基づいて説明する。図１１は、撮影画像上のユーザが指定した指定位置を示す図である。図１２は、撮影画像上の探索領域を示す図である。
【００８７】
実施例２では、実施例１の変形例であり、図１１に示すように、ユーザが１点のみを入力する場合の処理例である。ここでは、実施例１と異なる処理について主に説明する。
【００８８】
具体的には、Ｓ２において、指定位置特定部２３は、操作部１５に入力されたユーザの指示に基づいて、画像取得部２１から取得した撮影画像６１上の指定位置６２ｃを特定する。
【００８９】
Ｓ３において、探索画像生成部２４は、図１２に示すように、指定位置特定部２３から指定位置６２ｃを取得し、指定位置６２ｃを中心とする矩形の領域であって、互いに異なる大きさの７個の探索領域６４ａ〜６４ｇを特定する。そして、探索画像生成部２４は、特定した７個の領域６４ａ〜６４ｇをそれぞれ撮影画像から抽出し、７個の探索画像を生成する。探索画像生成部２４は、生成した７個の探索画像を識別器実行部２２に出力する。
【００９０】
Ｓ４において、識別器実行部２２は、探索画像生成部２４から７個の探索画像を取得すると、取得した７個の探索画像を入力画像としてそれぞれ顔識別器に入力して、顔識別器に検出処理を実行させる。この顔識別器は、「猫の顔」を検出できないため、処理領域ごとの階層数を処理領域特定部２５に出力する。
【００９１】
Ｓ５〜Ｓ７の処理は上記と同様に行われ、登録画像が登録される。なお、Ｓ４において、各探索画像に対して、識別器の弱識別器が探索画像の一部の領域を処理領域に設定しても良いが、探索画像の全体を処理領域に設定しても良い。この場合、探索画像の何れかが登録画像となるため、探索画像の個数が多いほど、より適切な登録画像を生成することができる。
【００９２】
（実施例３）
次に、画像処理装置１が実行する登録画像を生成する登録画像生成処理の他の一例（実施例３）について図１３〜図１６に基づいて説明する。図１３は、画像処理装置１が実行する登録画像を生成する登録画像生成処理の一例を示すフローチャートである。図１４は、撮影画像上のユーザが指定した指定位置を示す図である。図１５は、撮影画像上の指定領域および探索領域を示す図である。図１６は、撮影画像上の探索領域および検出した輪郭で閉じられた領域を示す図である。
【００９３】
実施例３では、実施例１と異なり、探索画像に対して輪郭検出処理を行って登録画像を生成する。ここでも、画像処理装置１が撮影画像に対して所有する識別器による検出処理を行ったが、「猫の顔」が検出されなかったため、ユーザが「猫の顔」を登録するものとして説明する。また、画像処理装置１は、ユーザが登録する対象（の種別）を予め知っているものとする。また、ユーザは、所定の大きさの矩形の領域の中心点を指定して、当該領域の撮影画像上の位置を指定するものとする。
【００９４】
図１３に示すように、まず、画像取得部２１がカメラ１３から撮影画像を取得する（Ｓ１１）。上述のように、識別器による検出処理を行った結果、「猫の顔」が検出されない。そこで、図１４に示すように、ユーザが操作部１５を操作して、撮影画像６１上の１点（６２ｄ）を指定したとする。指定位置特定部２３は、操作部１５に入力されたユーザの指示に基づいて、画像取得部２１から取得した撮影画像６１上の指定位置６２ｄを特定する（Ｓ１２）。指定位置特定部２３は、ユーザが指定した撮影画像６１上の指定位置６２ｄを探索画像生成部２４に出力する。
【００９５】
探索画像生成部２４は、図１５に示すように、指定位置特定部２３から指定位置６２ｄを取得し、指定位置６２ｄを中心とする所定の大きさの矩形の領域６３ａを指定領域として特定する。探索画像生成部２４は、指定領域６３ａの中心が同じ位置である領域であって、指定領域６３ａよりサイズが大きい（範囲の広い）所定の探索領域６４ｈを特定する。探索画像生成部２４は、特定した探索領域６４ｈを撮影画像から抽出し、探索画像を生成する（Ｓ１３）。探索画像生成部２４は、生成した探索画像を輪郭検出部２７に出力する。
【００９６】
輪郭検出部２７は、図１６に示すように、探索画像生成部２４から探索画像を取得し、取得した探索画像から輪郭を検出し、検出した輪郭によって閉じられた領域６５ａを特定するものである（Ｓ１４）。輪郭検出部２７は、特定した領域６５ａを登録画像生成部２６に出力する。
【００９７】
登録画像生成部２６は、輪郭検出部２７が特定した領域６５ａを取得し、取得した処理領域６５ａを撮影画像６１から抽出して、登録画像を生成する（Ｓ１５）。登録画像生成部２６は、生成した登録画像を示す登録画像情報を記憶部１２に格納して、登録画像を登録する（Ｓ１６）。
【００９８】
〔補足〕
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【００９９】
最後に、画像処理装置１の各ブロック、特に制御部１１は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１００】
すなわち、画像処理装置１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像処理装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１０１】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１０２】
また、画像処理装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０１０３】
本発明は、画像上の所定の有形物を検出する画像処理装置に利用することができる。
【符号の説明】
【０１０４】
１    画像処理装置
１３    カメラ
２１    画像取得部（画像取得手段）
２２    識別器実行部（識別器実行手段）
２３    指定位置特定部（指定位置特定手段）
２４    探索画像生成部（探索画像生成手段）
２５    処理領域特定部（処理領域特定手段）
２６    登録画像生成部（登録画像生成手段）
２７    輪郭検出部（輪郭検出手段）
【図１】
0005895624.tif 000002
【図２】
0005895624.tif 000003
【図３】
0005895624.tif 000004
【図４】
0005895624.tif 000005
【図５】
0005895624.tif 000006
【図６】
0005895624.tif 000007
【図７】
0005895624.tif 000008
【図８】
0005895624.tif 000009
【図９】
0005895624.tif 000010
【図１０】
0005895624.tif 000011
【図１１】
0005895624.tif 000012
【図１２】
0005895624.tif 000013
【図１３】
0005895624.tif 000014
【図１４】
0005895624.tif 000015
【図１５】
0005895624.tif 000016
【図１６】
0005895624.tif 000017