(57)【要約】【課題】画像にあった精度で、画像の中から特定の物体位置を検出し利用できる画像処理装置を提供する。【解決手段】画像入力部１０１と、入力された画像の物体位置を粗検出する第１の物体検出部１０２と、第１の物体検出部１０２による検出よりも精密に画像の物体位置を検出する第２の物体検出部１０３と、第１の物体検出部１０２による検出結果を表示する表示部と表示された検出結果を基にそれが妥当であるかどうかを入力できる操作部とを備えたユーザインターフェース部１０５と、ユーザインターフェース部１０５によって検出結果が妥当でないと入力されたとき、第２の物体検出部１０３に精密な検出を指示する制御処理部１０６とを備える。【選択図】図１
2005056231.tif 000002
【特許請求の範囲】
【請求項１】
画像を入力する画像入力手段と、前記画像に含まれる物体の物体位置を粗検出する第１の物体検出手段と、前記第１の物体検出手段による粗検出よりも精密に前記物体位置を検出する第２の物体検出手段と、前記第１の物体検出手段による検出結果を表示する表示手段と前記表示手段によって表示された検出結果を基に前記検出結果が妥当であるかどうかを入力可能な操作手段とを備えたユーザインターフェース手段と、前記ユーザインターフェース手段によって表示された前記検出結果が妥当でないと入力された場合に、前記第２の物体検出手段に精密な物体位置の検出を指示する制御処理手段と、を備えたことを特徴とする画像処理装置。
【請求項２】
前記第２の物体検出手段によって検出された物体位置を修正する位置修正処理手段を更に備え、前記ユーザインターフェース手段に表示された検出結果が妥当でない場合に、前記位置修正処理手段によって前記物体位置の修正が可能になることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像は、人物の顔を含む画像であり、前記物体は、前記人物の顔の一部または全部であることを特徴とする請求項１または請求項２記載の画像処理装置。
【請求項４】
前記第１の物体検出手段と前記第２の物体検出手段との少なくとも一方によって検出された前記物体位置の検出結果の履歴を格納する検出履歴格納手段と、前記検出履歴格納手段に格納された物体位置の平均である物体平均位置を算出する平均算出手段とを更に備え、前記位置修正処理手段は、前記物体位置の検出結果と前記物体平均位置との誤差を算出し、前記誤差の大きい物体順に前記物体位置の検出結果を前記表示手段に表示指示することを特徴とする請求項２または請求項３記載の画像処理装置。
【請求項５】
前記位置修正処理手段による前記物体毎の物体位置修正回数の履歴を格納する修正履歴格納手段を更に備え、前記ユーザインターフェース手段は、前記物体位置修正回数の多い順に前記物体位置の修正指示を行うことを特徴とする請求項２または請求項３記載の画像処理装置。
【請求項６】
前記修正指示は、物体位置を修正すべき修正対象物体の指定であり、前記第２の物体検出手段は、前記第１の物体検出手段より精密に前記修正対象物体の物体位置を検出するものであることを特徴とする請求項２乃至請求項５のいずれかに記載の画像処理装置。
【請求項７】
前記修正指示は、物体位置を修正すべき修正対象物体および前記修正対象物体の現在の物体位置から見た前記修正対象物体の正しい物体位置の検出方向の指定であり、前記第２の物体検出手段は、前記修正対象物体の現在の物体位置から前記検出方向の周辺領域で前記第１の物体検出手段より精密に前記修正対象物体の物体位置を検出するものであることを特徴とする請求項２乃至請求項５のいずれかに記載の画像処理装置。
【請求項８】
前記物体間の相対的な物体位置の関係を格納した相対位置データベースと、前記物体位置が２つ以上修正された場合に、前記修正された物体位置の物体と前記相対位置データベースに格納された前記物体間の相対的な位置関係とから物体位置が未修正である未修正物体の新しい物体位置を算出する追加修正処理手段と、を備えたことを特徴とする請求項２乃至請求項７のいずれかに記載の画像処理装置。
【請求項９】
前記物体間の相対的な物体位置の関係を格納した相対位置データベースと、前記物体位置が２つ以上修正された場合に、前記修正された物体位置の物体と前記相対位置データベースに格納された前記物体間の相対的な位置関係とから物体位置が未修正である未修正物体
の補正位置を計算し、前記補正位置の周辺領域で前記第１の物体検出手段よりも精密に前記未修正物体の物体位置を算出する追加修正処理手段と、を備えたことを特徴とする請求項２乃至請求項７のいずれかに記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の中から特定の物体位置を検出し、それを利用して画像処理する画像処理装置に関するものである。
【背景技術】
【０００２】
従来、画像の中から特定の物体を検出し、それを利用して画像処理する画像処理装置がいくつか提案されている。
【０００３】
例えば、似顔絵を作成する場合、カメラで人物画像を撮影し、その人物画像から顔画像を抽出して、その中から、目、鼻、口といった特定の物体を検出する。そして、これらの物体を強調して似顔絵を作成し、更に、これらの物体を自動的に変形して笑い顔、泣き顔、怒り顔、痩せた顔、太った顔などを作成するものが提案されている（例えば、特許文献１参照）。
【特許文献１】特開２００２−１７５５３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来、提案されているこの種の画像処理装置では、画像の中から特定の物体を検出するという状況の中で、その結果がそれを利用するその後の処理において実際に利用するのにふさわしい状態のものであるかどうか、その妥当性について必ずしも保証がないという問題がある。
【０００５】
すなわち、従来の画像処理装置では、どのような入力画像に対しても同様の方法を用いて特定の物体を検出するようにしており、したがって、例えば、検出難しい画像が入力されても充分な精度で検出できるようにしようとした場合、その検出に複雑で処理量の多い検出処理の方法を採用する必要があり、このため、簡単で処理量の少ない粗探索でも充分に良好な結果が得られる画像の場合でも、処理量の大きい探索を行い、その間、早く結果が現われず、ユーザに大きな待ち時間を生じさせるという問題があった。
【０００６】
本発明は、このような従来の問題に鑑みてなされたものであり、入力された画像に応じた精度により、画像の中から容易に特定の物体位置を検索できる画像処理装置を提供するものである。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、画像を入力する画像入力手段と、画像に含まれる物体の物体位置を粗検出する第１の物体検出手段と、第１の物体検出手段による粗検出よりも精密に物体位置を検出する第２の物体検出手段と、第１の物体検出手段による検出結果を表示する表示手段と表示手段によって表示された検出結果を基に検出結果が妥当であるかどうかを入力可能な操作手段とを備えたユーザインターフェース手段と、ユーザインターフェース手段によって表示された検出結果が妥当でないと入力された場合に、第２の物体検出手段に精密な物体位置の検出を指示する制御処理手段とを備えた構成を有する。
【０００８】
第１の物体検出手段と第２の物体検出手段との大きな違いは、検出精度と処理量のどちらを優先するかである。
【０００９】
第１の物体検出手段は、検出精度より処理量の少なさを優先した検出を行うものであり、比較的単純な検出アルゴリズムの利用、又は、探索の位置的間隔を大きくとり、大まか
な探索を行うことで処理量が少ない検出が実行できる。
【００１０】
また、第２の物体検出手段は、処理量の少なさよりも検出精度を優先した検出を行うものであり、第１の物体検出手段では検出が難しい場合の物体検出を行うためのものである。このため、比較的複雑な検出アルゴリズムを使用することで、探索の位置的間隔を細かくして厳密な位置決めを行ったりするため、処理量も多いが、第１の物体検出手段よりも検出精度が高い検出を行うことができる。
【００１１】
この構成により、第１の物体検出手段による検出結果をユーザインターフェース手段で表示し、その妥当性を確認した上で、そのまま使用するか、第２の物体検出手段で再び精度の高い検出を行わせるか選択することができるようになり、したがって、物体の検出難易度に応じて段階的に精度を上げた検出処理を行うことができ、最終的に検出ミスが少なく、かつ画像に応じた処理時間で所望の結果を得ることができるという作用を有する。
【００１２】
また、本発明の画像処理装置は、第２の物体検出手段で検出された物体位置の修正を行う位置修正処理手段を更に備え、ユーザインターフェース手段で表示された検出結果が妥当でない場合に、位置修正処理手段によって物体位置の修正が可能になる構成を有する。この構成により、第２の物体検出手段で検出された物体位置が妥当でない場合、それを位置修正処理手段で修正することができ、より正確な検出処理を行うことが可能になる。
【００１３】
また、本発明の画像処理装置は、画像が人物の顔を含む画像であり、物体が人物の顔の一部または全部である構成を有する。この構成により、人物の顔から効率的に顔の一部または全部の位置を検出することができるという作用を有する。
【００１４】
また、本発明の画像処理装置は、第１の物体検出手段と第２の物体検出手段との少なくとも一方によって検出された物体位置の検出結果の履歴を格納する検出履歴格納手段と、検出履歴格納手段に格納された物体位置の平均である物体平均位置を算出する平均算出手段とを更に備え、位置修正処理手段が物体位置の検出結果と物体平均位置との誤差を算出し、誤差の大きい物体順に物体位置の検出結果を表示手段に表示指示する構成を有する。
【００１５】
この構成により、第１物体検出手段と第２の物体検出手段との少なくとも一方によって検出された物体の位置が間違っている可能性の高い物体位置から順に修正対象としてそれをユーザインターフェース手段に表示指示することができ、修正作業を効率よく行うことができるという作用を有する。
【００１６】
また、本発明の画像処理装置は、位置修正処理手段による物体毎の物体位置修正回数の履歴を格納する修正履歴格納手段を更に備え、ユーザインターフェース手段が物体位置修正回数の多い順に物体位置の修正指示を行う構成を有する。この構成により、ユーザインターフェース手段が、物体位置修正回数の多い順に物体位置の修正を指示することになり、修正作業をより効率よく行うことができるという作用を有する。
【００１７】
また、本発明の画像処理装置は、修正指示が、物体位置を修正すべき修正対象物体の指定であり、第２の物体検出手段が、第１の物体検出手段より精密に修正対象物体の物体位置を検出する構成を有する。この構成により、位置検出を間違えた物体のみを指定すれば自動修正が行われるため、処理時間を短縮し、かつユーザの負担を軽減するという作用を有する。
【００１８】
また、本発明の画像処理装置は、修正指示が、物体位置を修正すべき修正対象物体および修正対象物体の現在の物体位置から見た修正対象物体の正しい物体位置の検出方向の指定であり、第２の物体検出手段が、修正対象物体の現在の物体位置から検出方向の周辺領
域で第１の物体検出手段より精密に修正対象物体の物体位置を検出するものである構成を有する。
【００１９】
この構成により、位置検出を間違えた物体と正解位置の方向のみを指定すれば自動的に修正が行われることになり、処理時間を短縮し、かつ、ユーザの負担を軽減することができるという作用を有する。
【００２０】
また、本発明の画像処理装置は、物体間の相対的な物体位置の関係を格納した相対位置データベースと、物体位置が２つ以上修正された場合に、修正された物体位置の物体と相対位置データベースに格納された物体間の相対的な位置関係とから物体位置が未修正である未修正物体の新しい物体位置を算出する追加修正処理手段とを備えた構成を有している。
【００２１】
この構成により、少数の修正指示で効率的に全体の修正が行え、ユーザの負担が軽減できるという作用を有する。
【００２２】
また、本発明の画像処理装置は、物体間の相対的な物体位置の関係を格納した相対位置データベースと、物体位置が２つ以上修正された場合に、修正された物体位置の物体と相対位置データベースに格納された物体間の相対的な位置関係とから物体位置が未修正である未修正物体の補正位置を計算し、補正位置の周辺領域で第１の物体検出手段よりも精密に未修正物体の物体位置を算出する追加修正処理手段とを備えた構成を有する。
【００２３】
この構成により、２つ以上の物体位置が修正された場合に、修正された物体位置の物体と物体間の相対的な位置関係から未修正物体の補正位置を計算し、補正位置の周辺領域で第１の物体検出手段よりも精密に未修正物体の位置検出を行うことができるようになり、より少数の修正指示で効率的に全体の修正が行え、ユーザの負担を軽減できるという作用を有する。
【発明の効果】
【００２４】
本発明は、画像に含まれる物体の物体位置を粗検出する第１の物体検出手段と、第１の物体検出手段による粗検出よりも精密に物体位置を検出する第２の物体検出手段と、第１の物体検出手段による検出結果が妥当であるかどうかを入力可能な操作手段と、検出結果が妥当でない旨をユーザから入力された場合に、第２の物体検出手段に精密な検出を指示する制御処理手段とを備えたものであり、第１の物体検出手段によって検出された物体位置をユーザインターフェース手段で表示し、その妥当性を確認した上で、そのまま使用するか、第２の物体検出手段で精度の高い検出を行わせるか、ユーザインターフェース手段によって選択することができるようになり、物体の位置検出の難易度に応じて段階的に精度を上げた検出処理を行うことができ、最終的に検出ミスが少なく、かつ画像に応じた処理時間で所望の結果を得ることができる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の実施の形態について、図面を用いて説明する。
【００２６】
（第１の実施の形態）
図１は、本発明の第１の実施の形態における画像処理装置の概略ブロック図である。
【００２７】
本実施の形態における画像処理装置は、図１に示すように、カメラやその他の通信手段などよりなる画像入力部１０１と、入力された画像の中から特定の物体を粗検出する第１の物体検出部１０２と、第１の物体検出部１０２より更に精密に特定の物体を検出する第２の物体検出部１０３と、これらの物体検出部１０２、１０３で検出された特定の物体を
利用して画像処理する画像処理部１０４と、入力された画像や検出された特定の物体、更には、画像処理された画像などを表示する表示部（図示せず）とそれらの表示に基づいて任意の各種の指令や情報を入力可能な入力部（図示せず）とを備えたユーザインターフェース部１０５と、これらを制御する制御処理部１０６とを備えている。
【００２８】
なお、本実施の形態では、画像入力部１０１で、人物の２次元画像を入力し、第１、第２の物体検出部１０２、１０３で、画像入力部１０１より入力された人物の２次元画像の中から特定の物体として顔部品の位置、例えば、図３に示すように、眉頭、眉尻、目頭、目尻、鼻、口のそれぞれ上下左右の端の位置を検出するように構成されている。
【００２９】
そして、第１の物体検出部１０２は、例えば、顔の濃淡パターンと顔部品位置の相関情報をあらかじめ学習させておき、検出時に入力画像内の顔の濃淡パターンと学習した相関情報から直接的に顔部品の位置座標を求めるような、計算量が少なく比較的高速な手法を用いて顔部品の位置を粗検出するように構成されている。この相関情報を利用した手法は、顔全体の濃淡パターンのような大域的な情報を用いて顔部品のおおまかな位置を確率的に求めるもので、精度は比較的粗いが、繰り返し探索を行わない直接計算で解が得られるため処理量が少ない検出ができる。
【００３０】
また、第２の物体検出部１０３は、例えば、代表的な顔部品のパターンを予め用意しておき、画像入力部１０１より入力した画像の中からこの顔部品のパターンに最も一致する場所を繰り返し計算によって探索する所謂テンプレートマッチ法のような、計算量は大きいが、第１の物体検出部１０２より遥かに高精度に検出が可能なように構成されている。
【００３１】
テンプレートマッチ法は、第１の物体検出部で用いた相関情報を利用した手法とは異なり、目、鼻、口の形状などの局所的情報を用いて部品位置の繰り返し探索を行うもので、処理量は大きいが高精度な探索が可能である。
【００３２】
画像処理部１０４は、検出された顔部品の位置から、人物の顔の３次元モデルを生成し、これを変形させることによって一枚の人物画像から様々な表情の画像を作り出す処理を行う。また、ユーザインターフェース部１０５は、第１、第２の物体検出部１０２、１０３によって検出された顔部品の位置を表示部に表示し、ユーザの指示を受け付けて入力部より制御処理部１０６にその指示を送信する処理を行う。
【００３３】
制御処理部１０６は、画像入力部１０１、第１、第２の物体検出部１０２、１０３、画像処理部１０４、ユーザインターフェース部１０５をそれぞれ制御するように構成されている。
【００３４】
次に、本実施の形態について、その動作を図２に示すフローチャートを用いて詳細に説明する。
【００３５】
画像入力部１０１で人物画像を撮影し、制御処理部１０６に入力すると（Ｓ２０１）、入力された人物画像は、制御処理部１０６の制御の基で、まず第１の物体検出部１０２に送られる。第１の物体検出部１０２は、入力された人物画像から顔部品の位置を粗検出し（Ｓ２０２）、制御処理部１０６に送信する。
【００３６】
制御処理部１０６は、入力された人物画像と検出された顔部品の位置データをそれぞれユーザインターフェース部１０５に送信し、ユーザインターフェース部１０５は、入力された人物画像と検出された顔部品の位置をそれぞれ表示部で表示する。そして、この状態で、この顔部品の位置でよいかどうか、ユーザに確認させる（Ｓ２０３）。
【００３７】
なお、この場合、検出された顔部品の位置がユーザに分かりやすいように、図４に示すように、人物画像の上に点またはマークを用いて顔部品の位置を表示する。そして、「この検出結果でいいですか？」というようなガイダンスを同時に表示し、ユーザに「はい」「いいえ」のいずれかを入力するように促す。
【００３８】
ユーザがこの顔部品の位置検出結果でよいと判断し、ユーザインターフェース部１０５を構成する入力部を用いてこの顔部品の位置検出結果でよい旨の入力（例えば、「はい」の入力）を行った場合（Ｓ２０３のＯＫ）には、この顔部品の位置検出結果に基づいて顔の変形パターンの指示を行うステップ（Ｓ２０７）に移行する。したがって、この段階で顔の変形パターンの指示を行えば、その指示に従って画像入力部１０１より入力された画像が画像処理部１０４で画像処理され、指示された顔の変形パターンの画像に変形される（Ｓ２０８）。
【００３９】
ユーザがこの顔部品検出結果では不十分であると判断し、ユーザインターフェース部１０５を用いてこの顔部品の位置検出結果では不十分である旨の入力（例えば、「いいえ」の入力）を行った場合（Ｓ２０３のＮＧ）には、制御処理部１０６が、その指示を受けて、第２の物体検出部１０３に画像入力部１０１より入力された人物画像を送信する。第２の物体検出部１０３は、入力した人物画像から顔部品の位置を第１の物体検出部１０２より更に精密に検出し（Ｓ２０４）、制御部１０６に送信する。
【００４０】
尚、このとき、制御処理部１０６が、第１の物体検出部１０２で検出した顔部品の検出結果をも第２の物体検出部１０３に送信し、第２の物体検出部１０３が、第１の物体検出部１０２で検出した顔部品の検出結果を基に、この検出結果の周辺領域で検出処理を行うようにしてもよい。
【００４１】
このようにして、第２の物体検出部１０３が顔部品の位置を精密に検出すると（Ｓ２０４）、制御処理部１０６は、入力された人物画像と第２の物体検出部１０３で検出された顔部品の位置データをユーザインターフェース部１０５に送信する。ユーザインターフェース部１０５は、入力された人物画像と検出された顔部品の位置を表示部で表示し、この検出結果でよいかどうかをユーザに確認させる（Ｓ２０５）。
【００４２】
この場合、検出された顔部品の位置がユーザに分かりやすいように、前回同様、図４に示すように、人物画像の上に点またはマークを用いて顔部品の位置を表示する。そして、「この検出結果でいいですか？」というようなガイダンスを同時に表示し、ユーザに「はい」「いいえ」のいずれかを入力するように促す。
【００４３】
ユーザがこの顔部品の位置検出結果でよいと判断し、ユーザインターフェース部１０５を用いてこの顔部品の位置検出結果でよい旨の入力（例えば、「はい」の入力）を行った場合（Ｓ２０５のＯＫ）には、この顔部品の位置検出結果に基づいて顔の変形パターンの指示を行うステップ（Ｓ２０７）に移行する。したがって、この段階で顔の変形パターンの指示を行えば、その指示に従って画像入力部１０１より入力された画像が画像処理部１０４で画像処理され、指示された顔の変形パターンの画像に変形される（Ｓ２０８）。
【００４４】
ユーザがこの顔部品検出結果では不十分であると判断し、ユーザインターフェース部１０５を用いてこの顔部品の位置検出結果では不十分である旨の入力（例えば、「いいえ」の入力）を行った場合（Ｓ２０５のＮＧ）には、制御処理部１０６が、その指示を受けて、ユーザインターフェース部１０５に対し、ユーザが手入力によって顔部品の位置を直接指定できるようにする（Ｓ２０６）。
【００４５】
顔部品の位置を直接指定できるようにする場合、例えば、図５に示すように、修正対象
となる顔部品の位置を示す点を他の顔部品と区別してユーザが判別しやすいように表示し、その位置を直接、ユーザインターフェース部１０５を用いて任意の位置（ユーザが正解と思う任意の位置、正解位置）に移動したり、直接、正解位置を指定したりできるようにすればよい。
【００４６】
例えば、画像処理装置がパソコンであれば、マウス、或いは、カーソルキーなどを用いて修正対象となる顔部品の位置を直接正解位置に移動するようにすればよく、また、ＰＤＡなどのタッチパッドを備えた端末であれば、修正対象となる顔部品の位置の正解位置を直接指定するようにすればよい。また、携帯電話などであれば、カーソルキーを用いて修正対象となる顔部品の位置を直接正解位置に移動したり、数字キーにそれぞれカーソルの移動方向を割当て、それを用いて修正対象となる顔部品の位置を正解位置に移動したりするようにすればよい。
【００４７】
このようにして、修正対象となる顔部品の位置を任意に修正し、修正完了したことを、ユーザインターフェース部１０５を用いて入力すれば、その入力に従って顔の変形パターンの指示を行うステップ（Ｓ２０７）に移行する。したがって、この段階で顔の変形パターンの指示を行えば、その指示に従って画像入力部１０１より入力された画像が画像処理部１０４で画像処理され、指示された顔の変形パターンの画像に変形される（Ｓ２０８）。
【００４８】
なお、変形パターンの指示を行い（Ｓ２０７）、その指示に従って、指示された顔の変形パターンの画像に変形される（Ｓ２０８）場合の動作は、次のように実行される。変形パターンの指示を行うと（Ｓ２０７）、制御処理部１０６が、画像入力部１０１より入力した人物の顔画像、第１又は第２の物体検出部１０２で検出したそれぞれの顔部品の位置情報、ユーザインターフェース部１０５を通して入力した変形パターンの指示をそれぞれ画像処理部１０４に送る。
【００４９】
すると、画像処理部１０４が、これらの情報及び指示を基に、顔の３次元モデルを生成し、その３次元モデルを指示された変形パターンに従って変形する。その結果、指示された変形パターンの画像が生成され、その画像が制御処理部１０６の制御の基でユーザインターフェース部１０５に供給される。ユーザインターフェース部１０５は、その画像を表示部に表示し、ユーザの用に供する。
【００５０】
ところで、本実施の形態において、顔の変形パターンとは、顔の表情を表すいくつかのパターンであり、例えば、笑い顔、泣き顔、驚いた顔、怒った顔といったそれぞれのパターンを意味する。すなわち、このような複数の変形パターンから１つの変形パターンを指示すれば、それに従って、画像入力部１０１から入力された画像が画像処理部１０４で画像処理され、指示された顔の変形パターン、例えば、笑い顔の画像に変形されると言うことである。
【００５１】
以上のように、本実施の形態によれば、画像入力部１０１より入力した画像を先ず第１の物体検出部１０２に入力し、ここで特定の物体を粗検出し、その結果をユーザインターフェースに表示し、ＯＫであれば、そのまま画像処理し、ＮＧであれば、更に第２の物体検出部１０３に入力し、ここで特定の物体を精密に検出し、ＯＫであれば、それを基に画像処理し、ＮＧであれば、更に特定の物体の位置を手入力で修正し、その後、画像処理するようにしており、それぞれの段階でＯＫか、ＮＧかを判断し、その指示に従うようにしているため、入力された画像の中から特定の物体を自動的に検出するのに、粗検出だけで充分である場合には、その粗検索された物体の位置情報を用いて直ちに画像処理することができ、特定の物体を検出する場合の難易度に応じてそれぞれ最適の処理を行うことができると言う作用を有する。
【００５２】
（第２の実施の形態）
図６は、本発明の第２の実施における画像処理装置の概略ブロック図である。
【００５３】
本発明の第２の実施における画像処理装置は、画像入力部６０１、第１の物体検出部６０２、修正回数履歴データベース６０３、修正処理部６０４、第２の物体検出部６０５、物体間位置関係データベース６０６、追加修正処理部６０７、画像処理部６０８、ユーザインターフェース部６０９、制御処理部６１０を備えている。
【００５４】
ここで、画像入力部６０１、第１、第２の物体検出部６０２、６０５、画像処理部６０８、ユーザインターフェース部６０９、制御処理部６１０は、それぞれ図１に示した画像入力部１０１、第１、第２の物体検出部１０２、１０３、画像処理部１０４、ユーザインターフェース部１０５、制御処理部１０６と実質的に同様の機能を有するものであるので、その詳細な説明は省略する。
【００５５】
本実施の形態において、修正回数履歴データベース６０３は、顔部品毎に、ユーザが位置修正を指示した回数の履歴を保持する。修正処理部６０４は、修正回数データベース６０３に蓄積されたユーザの修正回数履歴を更新し、また、第２の物体検出部６０５にユーザからの修正指示を送る機能を有する。物体間位置関係データベース６０６は、図３に示すような、物体としての顔部品の間の位置関係を保持する。
【００５６】
追加修正処理部６０７は、ユーザが指定した複数の顔部品の位置から、部品間の位置関係を利用して残りの顔部品の位置を検出する。残りの顔部品の位置を検出する検出手法は、第２の物体検出部６０５と同様、計算量は大きいが高精度な検出が行える手法を用いている。
【００５７】
次に、本実施の形態について、その動作を図７を用いて詳細に説明する。
【００５８】
画像入力部６０１で人物画像を撮影し、制御処理部６１０に入力すると（Ｓ７０１）、入力された人物画像は、制御処理部６１０を通して第１の物体検出部６０２に送られる。第１の物体検出部６０２は、入力された人物画像から顔部品位置を粗検出し（Ｓ７０２）、顔部品位置の検出結果を制御処理部６１０に送信する。制御処理部６１０は、人物画像と顔部品位置の検出結果をユーザインターフェース部６０９に送信する。
【００５９】
ユーザインターフェース部６０９は、入力された人物画像と検出された顔部品位置を共に表示部で表示し、その結果を基に、顔画像生成などの画像処理を行うかどうかの判断を、入力部を用いてユーザに入力するように促す（Ｓ７０３）。
【００６０】
ユーザが、表示部に表示された顔部品検出結果を基にユーザインターフェース部６０９の入力部を用いて顔画像生成処理を行うと入力した場合（Ｓ７０３のＯＫ）は、処理Ｓ７１４に進む。ユーザが、この顔部品検出結果では不十分であると入力をした場合（Ｓ７０３のＮＧ）は、制御処理部６１０が、修正処理部６０４に対して顔部品毎のユーザの修正回数履歴を要求する。
【００６１】
修正処理部６０４は、修正回数履歴データベース６０３から顔部品毎の修正回数履歴を読み出し、制御処理部６１０に送信する。制御処理部６１０は、修正回数の多い顔部品から順に修正候補顔部品としてユーザインターフェース部６０９に入力画像と現在の検出結果とを表示し（Ｓ７０４）、修正候補顔部品の位置を修正するかどうかの判断を入力させる（Ｓ７０５）。
【００６２】
ユーザが修正を必要としないと判断し、その旨を、ユーザインターフェース部６０９を用いて入力した場合（Ｓ７０５のＮＯ）は、処理Ｓ７１３に進む。修正が必要と判断した場合（Ｓ７０５のＹＥＳ）は、ユーザインターフェース部６０９から、正しい顔部品が、現在の検出位置からどの方向にあるか、すなわち探索方向を入力させる（Ｓ７０６）。
【００６３】
検索方向の入力は、パソコンであれば、図８に示すように、マウスやカーソルキーで検出位置から出ている矢印の向きを変更させるか、キーボードのテンキーで簡単に８方向を入力するようにすればよく、携帯電話などであれば、カーソルキーで探索方向の矢印の向きを変化させるか、数字キーにテンキーと同様に方向を割り当ててもよい。
【００６４】
探索方向が入力されると、制御処理部６１０は、入力された人物画像、第１の物体検出部６０２による顔部品の検出結果、修正対象となる顔部品がどれであるかという情報、修正対象の顔部品における探索方向をそれぞれ修正処理部６０４に送信する。修正処理部６０４は、修正対象となる顔部品について、第１の物体検出部６０２による検出位置から探索方向に向かって探索を行い、検出結果を修正処理部６０４に送る（Ｓ７０７）。
【００６５】
修正処理部６０４は、検出結果を制御処理部６１０に送り、修正回数履歴データベース６０３にある顔部品の修正回数履歴を更新する。制御処理部６１０は、人物画像と修正対象の顔部品位置データをユーザインターフェース部６０９に送信し、ユーザインターフェース部６０９は、人物画像と修正対象の顔部品位置を表示部に表示し、この顔部品検出結果で良いかどうかユーザの判断を入力させる（Ｓ７０８）。
【００６６】
ユーザが、この顔部品検出結果で良いと入力した場合（Ｓ７０８のＯＫ）は、処理Ｓ６１０に進む。ユーザが、この顔部品検出結果では不十分であると入力した場合（Ｓ７０８のＮＧ）は、制御処理部６１０が、ユーザインターフェース部６０９からユーザに正しい顔部品位置を直接指定するよう要求する（Ｓ７０９）。
【００６７】
顔部品の位置を直接指定する場合の例を図９に示す。修正対象となる顔部品位置を示す点を他の顔部品と区別してユーザが判別しやすいように表示し、部品位置の移動は、パソコンなどであれば、正解位置をマウスで指定、或いは、キーボードのカーソルキーなどで部品位置を示す点を移動させればおく、また、情報端末装置など、タッチパッドを備えている端末であれば、位置を直接指定してもよい。
【００６８】
更に、携帯電話機などであれば、カーソルキーで部品位置を示す点を移動させたり、或いは、テンキーに方向を割り当てて、それによって部品位置を示す点をそれぞれ移動させたりするようにしてもよい。
【００６９】
もし、２つ以上の顔部品の位置が決定または修正済みである場合、決定または修正した顔部品の位置を基準にして、まだ修正していない部品位置を自動的に修正するかどうかを、ユーザインターフェース６０９を通してユーザに入力を求める（Ｓ７１０）。この場合の画面の例を図１０に示す。決定または修正された顔部品は、未修正である顔部品とマークまたは色を変更して表示し、ユーザが判断しやすいようにする。
【００７０】
ユーザが自動修正しないと入力した場合（Ｓ７１０のＮＯ）は、処理Ｓ７１３に進む。自動修正すると入力した場合（Ｓ７１０のＹＥＳ）は、制御処理部６１０が、追加修正処理部６０７に、入力画像とすでに修正または決定済みの顔部品の情報を送る。追加修正処理部６０７は、部品間位置関係データベース６０６に格納されている顔部品間の位置関係情報を基に、未修正である顔部品位置の概ねの位置を算出する。
【００７１】
２つ以上の顔部品位置と、全顔部品の相対的な位置関係が確定していれば、顔部品間の
距離から全体の縮尺比率が決定できるため、残りの顔部品位置も計算することができる。算出された概ねの位置の周辺で、各顔部品をそれぞれ探索し（Ｓ７１１）、検出結果を制御処理部６１０に送信する。
【００７２】
制御処理部６１０は、人物画像と全顔部品の位置データをユーザインターフェース部６０９に送信し、ユーザインターフェース部６０９は、人物画像と、全顔部品の位置を表示部に表示し、この顔部品検出結果で良いかユーザの判断を求める（Ｓ７１２）。ユーザが、この顔部品検出結果では不十分という入力をした場合（Ｓ７１２のＮＧ）は、処理Ｓ７０４に戻って再び部品位置修正を繰り返す。ユーザが、この顔部品検出結果で良いと入力した場合（Ｓ７１２のＯＫ）は、処理Ｓ７１３に進む。
【００７３】
全顔部品の位置修正が終了すれば（Ｓ７１３のＹＥＳ）、ユーザインターフェース部６０９が、人物画像の表情をどのように変化させるかの表情変化の指示をユーザに入力させ（Ｓ７１４）、制御処理部６１０に送信する。人物の表情は、例えば、笑う、泣く、驚く、怒る、などの表情である。
【００７４】
制御処理部６１０は、人物顔画像と顔部品位置、表情変化の指示を顔画像生成部６０８に送り、顔画像生成部６０８は、顔部品の位置を基に、顔の３次元モデルを生成し、これを変形させる（Ｓ７１５）ことによって人物画像からユーザが指定した表情の画像を生成し、制御処理部６１０に送信する。制御処理部６１０は、ユーザインターフェース部６０９を通して生成画像をユーザに表示する（Ｓ７１６）。
【００７５】
以上のように、本実施の形態によれば、入力画像からの特定の物体を検出する場合、それぞれ検出精度（速度）の異なる２つの検出部を用い、それらをユーザに選択可能としており、また、修正を希望する場合、その希望する顔部品のみを修正することができ、効率が良いと言う効果を有する。また、正しく検出された顔部品や修正済みの顔部品位置から、修正したい顔部品の位置を自動修正することも可能であり、このため、入力画像ごとの検出の難易度に応じて最適な処理時間で所望の結果が得られるという効果を有する。
【００７６】
なお、実施の形態では、画像処理部で入力された画像を変形し、笑い顔、泣き顔、怒り顔などを生成するようにしているが、その他の処理を行なっても良いことは言うまでもないことである。
【産業上の利用可能性】
【００７７】
以上のように本発明によれば、第１の物体検出手段によって検出された物体位置をユーザインターフェース手段で表示し、その妥当性を確認した上で、そのまま使用するか、第２の物体検出手段で精度の高い検出を行わせるか、ユーザインターフェース手段によって選択することができるようになり、物体の位置検出の難易度に応じて段階的に精度を上げた検出処理を行うことができ、最終的に検出ミスが少なく、かつ画像に応じた処理時間で所望の結果を得ることができるため、画像の中から特定の物体位置を検出し、それを利用して画像処理する画像処理装置等として有用である。
【図面の簡単な説明】
【００７８】
【図１】本発明の第１の実施の形態における画像処理装置の概略ブロック図
【図２】本発明の第１の実施の形態における画像処理装置の動作を示すフローチャート
【図３】本発明の第１の実施の形態における画像処理装置において使用する顔画像の一例を示す図
【図４】本発明の第１の実施の形態における画像処理装置において、顔部品の検出結果を表示する画面を示す図
【図５】本発明の第１の実施の形態における画像処理装置において、顔部品の位置を直接指定する場合の画面を示す図
【図６】本発明の第２の実施の形態における画像処理装置の概略ブロック図
【図７】本発明の第２の実施の形態における画像処理装置の動作を示すフローチャート
【図８】本発明の第２の実施の形態における画像処理装置において、顔部品の位置を修正する場合の修正方向を指示する画面を示す図
【図９】本発明の第２の実施の形態における画像処理装置において、顔部品の位置を直接指定する場合の画面を示す図
【図１０】本発明の第２の実施の形態における画像処理装置において、未修正顔部品の位置を自動修正する場合の画面を示す図
【符号の説明】
【００７９】
１０１、６０１  画像入力部
１０２、６０２  第１の物体検出部
１０３、６０５  第２の物体検出部
１０４、６０８  画像処理部
１０５、６０９  ユーザインターフェース部
１０６、６１０  制御処理部
６０３  修正回数履歴データベース
６０４  修正処理部
６０６  物体間位置関係データベース
６０７  追加修正処理部
【図１】
2005056231.tif 000003
【図２】
2005056231.tif 000004
【図３】
2005056231.tif 000005
【図４】
2005056231.tif 000006
【図５】
2005056231.tif 000007
【図６】
2005056231.tif 000008
【図７】
2005056231.tif 000009
【図８】
2005056231.tif 000010
【図９】
2005056231.tif 000011
【図１０】
2005056231.tif 000012