(57)【要約】【課題】  画像から特定の個体の画像データを抽出することが難しい場合においても、当該個体の画像データを抽出することができる画像処理装置、画像処理方法を提供する。【解決手段】  撮像装置によって撮像された個体の画像を取得する画像取得ステップと、取得された画像から顔領域を特定する顔領域特定ステップと、特定された顔領域から個体認識の可否を判断する個体認識可否判断ステップと、個体認識可否の判断結果に応じて、更に前記撮像装置によって撮像された複数枚の画像から新しい画像を構成する複数枚利用画像構成ステップと、構成された前記新しい画像に含まれる顔画像が、予め記憶媒体に保存した注目被写体画像の特徴と一致するか判断する個体認識ステップとを備えた画像処理方法である。【選択図】    図２
2010055300.tif 000002
【特許請求の範囲】
【請求項１】
取得した画像から個体の所定の部分画像を特定する部分画像特定部と、
特定した前記個体の部分画像によって個体認識の可否を判断する個体認識可否判断部と、
前記個体認識可否判断部の結果に応じて、更に取得した複数枚の前記個体の部分画像から新たな前記個体の部分画像を生成する複数枚利用画像構成部と、
前記個体の部分画像が予め記憶媒体に保存した注目被写体画像の特徴と一致するかを判断する個体認識部と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記個体認識可否判断部は、少なくとも前記個体の部分画像の大きさにより個体認識の可否を判断することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記個体認識可否判断部は、少なくとも前記個体の部分画像の合焦状態により個体認識の可否を判断することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記個体認識可否判断部は、少なくとも前記個体の部分画像の解像度により個体認識の可否を判断することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記個体認識可否判断部は、少なくとも前記個体の部分画像内における前記個体の姿勢により個体認識の可否を判断することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記個体認識可否判断部で個体認識が不可能であると判断された場合、前記画像処理装置は、認識不可の原因となった事項を改善した画像を複数枚取得することを特徴とする請求項２乃至５の内いずれか１項に記載の画像処理装置。
【請求項７】
個体認識可否判断部で個体認識が不可能であると判断された場合、前記個体認識可否判断部は、さらに取得した認識不可の原因となった事項を改善した１枚の画像に基づいて個体認識の可否を再び判断し、再度前記個体認識可否判断部で個体認識が不可能であると判断された場合、前記画像処理装置は、認識不可の原因となった事項を改善した画像を複数枚取得することを特徴とする請求項２乃至５の内いずれか１項に記載の画像処理装置。
【請求項８】
前記複数枚利用画像構成部は、前記複数枚の前記個体の部分画像を用いて解像度の高い新たな画像を生成する高解像度化処理部を有することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
請求項１に記載の画像処理装置を有する撮像装置において、
前記個体認識部によって前記注目被写体画像の特徴と一致すると判断された前記個体の部分画像に対して画像処理を施す被写体最適化画像処理部を備えたことを特徴とする撮像装置。
【請求項１０】
前記被写体最適化画像処理部は、ＡＥ、ＡＦの内の少なくとも１つの処理を実行することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
請求項１に記載の画像処理装置を有する撮像装置において、
前記個体認識部によって前記注目被写体画像の特徴と一致すると判断された前記個体の部分画像を前記注目被写体画像と関連付けて保存する保存処理部を備えたことを特徴とする撮像装置。
【請求項１２】
撮像装置によって撮像された個体の画像を取得する画像取得ステップと、
取得された画像から顔領域を特定する顔領域特定ステップと、
特定された顔領域から個体認識の可否を判断する個体認識可否判断ステップと、
個体認識可否の判断結果に応じて、更に前記撮像装置によって撮像された複数枚の画像から新しい画像を構成する複数枚利用画像構成ステップと、
構成された前記新しい画像に含まれる顔画像が、予め記憶媒体に保存した注目被写体画像の特徴と一致するか判断する個体認識ステップと
を備えたことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から特定の個体の画像データを抽出することが難しい場合においても、当該個体の画像データを抽出をすることができる画像処理装置、画像処理方法に関する。
【背景技術】
【０００２】
多数の被写体の中から、所望の被写体を検索しあるいは抽出する技術が開示されている。例えば、特許文献１では、注目被写体の特徴部位を記憶媒体に保存し、その特徴部位の情報と一致する被写体に優先して、ＡＥ（自動露出）、ＡＦ（自動焦点）を施す機能や、特徴部位を持つ情報と一致する画像に関して、関連付けを行うことのできるカメラが開示されている。
【特許文献１】特開２００４−３２０２８７
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１に開示された技術では、被写体の解像度が低い場合などでは、十分にその機能を発揮することは困難である。例えば、実際に運動会など、広い画角で撮影した画像データから小さな被写体を抽出する場合などでは、対比しようとする特徴量が少ないため被写体が識別できない可能性がある。
【０００４】
本発明は、このような点に鑑みてなされたもので、画像から特定の個体の画像データを抽出することが難しい場合においても、当該個体の画像データを抽出することができる画像処理装置、画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するための本発明は、取得した画像から個体の所定の部分画像を特定する部分画像特定部と、特定した前記個体の部分画像によって個体認識の可否を判断する個体認識可否判断部と、前記個体認識可否判断部の結果に応じて、更に取得した複数枚の前記個体の部分画像から新たな前記個体の部分画像を生成する複数枚利用画像構成部と、前記個体の部分画像が予め記憶媒体に保存した注目被写体画像の特徴と一致するかを判断する個体認識部とを備えた画像処理装置である。
【０００６】
また本発明は、上記記載の発明である画像処理装置において、前記個体認識可否判断部は、少なくとも前記個体の部分画像の大きさにより個体認識の可否を判断する。
【０００７】
また本発明は、上記記載の発明である画像処理装置において、前記個体認識可否判断部は、少なくとも前記個体の部分画像の合焦状態により個体認識の可否を判断する。
【０００８】
また本発明は、上記記載の発明である画像処理装置において、前記個体認識可否判断部は、少なくとも前記個体の部分画像の解像度により個体認識の可否を判断する。
【０００９】
また本発明は、上記記載の発明である画像処理装置において、前記個体認識可否判断部は、少なくとも前記個体の部分画像内における前記個体の姿勢により個体認識の可否を判断する。
【００１０】
また本発明は、上記記載の発明である画像処理装置において、前記個体認識可否判断部で個体認識が不可能であると判断された場合、前記画像処理装置は、認識不可の原因となった事項を改善した画像を複数枚取得する。
【００１１】
また本発明は、上記記載の発明である画像処理装置において、前記個体認識可否判断部で個体認識が不可能であると判断された場合、前記個体認識可否判断部は、さらに取得した認識不可の原因となった事項を改善した１枚の画像に基づいて個体認識の可否を再び判断し、再度前記個体認識可否判断部で個体認識が不可能であると判断された場合、前記画像処理装置は、認識不可の原因となった事項を改善した画像を複数枚取得する。
【００１２】
また本発明は、上記記載の発明である画像処理装置において、前記複数枚利用画像構成部は、前記複数枚の前記個体の部分画像を用いて解像度の高い新たな画像を生成する高解像度化処理部を有する。
【００１３】
また本発明は、上記記載の発明である画像処理装置を有する撮像装置において、前記個体認識部によって前記注目被写体画像の特徴と一致すると判断された前記個体の部分画像に対して画像処理を施す被写体最適化画像処理部を備えた。
【００１４】
また本発明は、上記記載の発明である撮像装置において、前記被写体最適化画像処理部は、ＡＥ、ＡＦの内の少なくとも１つの処理を実行する。
【００１５】
また本発明は、上記記載の発明である画像処理装置を有する撮像装置において、前記個体認識部によって前記注目被写体画像の特徴と一致すると判断された前記個体の部分画像を前記注目被写体画像と関連付けて保存する保存処理部を備えた。
【００１６】
また本発明は、撮像装置によって撮像された個体の画像を取得する画像取得ステップと、取得された画像から顔領域を特定する顔領域特定ステップと、特定された顔領域から個体認識の可否を判断する個体認識可否判断ステップと、個体認識可否の判断結果に応じて、更に前記撮像装置によって撮像された複数枚の画像から新しい画像を構成する複数枚利用画像構成ステップと、構成された前記新しい画像に含まれる顔画像が、予め記憶媒体に保存した注目被写体画像の特徴と一致するか判断する個体認識ステップとを備えた画像処理方法である。
【発明の効果】
【００１７】
本発明によれば、画像から特定の個体の画像データを抽出することが難しい場合においても、当該個体の画像データを抽出することができる。
【発明を実施するための最良の形態】
【００１８】
［第１の実施の形態］  
図１は、本発明の第１実施形態に係る画像処理装置の構成を示す図である。画像処理装置１０は、顔領域特定部１、個体認識可否判断部２、複数枚利用画像構成部３、個体認識部４より構成される。
【００１９】
顔領域特定部１は、図示しない撮像装置（カメラ）により取得した画像から顔領域を検出する。この際、顔領域特定部１は、予め不図示の記憶媒体に保存した注目被写体の特徴と一致するものを検出する。この注目被写体の特徴としては、例えば、髪型、目、鼻などが挙げられる。  
個体認識可否判断部２は、顔領域特定部１で検出した特定の被写体が個体識別が可能か評価するものである。複数枚利用画像構成部３は、個体認識可否判断部２が、そのままの状態では個体認識が出来ないと判断した場合、更に新たな複数画像を用いて一枚の個体識別可能な画像を構成する。個体認識部４は、個体認識可否判断部２において個体認識が可能であると判断した部分画像、および個体認識可否判断部２において個体認識が不可能であると判断し且つ複数枚利用画像構成部３によって構成した画像に対し、個体認識を行う。
【００２０】
次に、このような構成の画像処理方法の説明をする。    
図２は、画像処理装置１０の動作手順を示すフローチャートである。  
ステップＳ２１において、画像処理装置１０は、不図示の撮像装置が撮像した画像を取得する。ステップＳ２２において、顔領域特定部１は取得した画像から、顔領域を特定する。  
ステップＳ２３において、個体認識可否判断部２は、特定した顔領域に対して個体認識が可能か判断する。
【００２１】
ステップＳ２３でＮｏの場合、即ち個体認識可否判断部２が、特定した顔領域では個体認識が不可能であると判断した場合、ステップＳ２４において、複数枚利用画像構成部３は、顔領域を特定した画像を含む複数枚の画像を合成して一枚の画像を生成する。ステップＳ２５において、個体認識部４は、新しく合成した画像に対して、個体認識処理を行う。  
ステップＳ２３でＹｅｓの場合、即ち個体認識可否判断部２が、特定した顔領域で個体認識が可能であると判断した場合、ステップＳ２５において、個体認識部４は、個体認識が可能と判断された画像に対して個体認識処理を行う。
【００２２】
個体認識部４の個体認証方法を説明する。図３に示す様な識別したい正面顔の画像と、図４に示すようなその正面顔画像を分解した部位ごとの画像が予めメモリに格納されている。そして、顔領域特定部１は、新たな画像が取り込まれたときに、そこに存在する顔画像のうち各顔器官と、メモリ内に存在する顔画像の各顔器官とが一致しているかどうかを、テンプレートマッチングなどにより識別する、更に、上述の識別方法に加えて、図５のように輪郭情報と各顔器官の中心座標から、輪郭に対する各部位の相対位置情報を作成してそれを識別に用いても良い。
【００２３】
このように、第１の実施の形態に係る画像処理装置１０では、個体認識処理の前に、個体認識処理可否判断部２による評価を加え、さらに不可能であると判断されたものに関して複数枚の画像を用いることで、個体認識を可能にしている。
【００２４】
図６は、個体認識可否判断部２の判断基準項目を示す図である。個体認識可否を判断する基準となる項目には、顔領域の大きさ、顔領域のピント（合焦）の程度、顔領域の解像度、顔領域のノイズの程度、顔領域のダイナミックレンジが含まれる。  
顔領域の大きさは、例えば顔領域の画素数が所定数以上かどうかで判断する。顔領域のピント（合焦）の程度は、例えば、顔領域の周波数分布で判断する。顔領域の解像度は、解像度が所定値以上かどうかで判断する。顔領域のノイズの程度は、例えば、顔領域の周波数分布で判断する。顔領域のダイナミックレンジは、例えば、顔領域の輝度分布で判断する。
【００２５】
なお、図６に示す判断基準項目の全てを充足しなくとも、その一部の項目を充足すれば個体認識可能と判断しても良い。また、図６に示す判断基準項目は一例であり、これ以外の項目を含めて個体認識可否を判断しても良い。
【００２６】
続いて、個体認識可否判断部２によって個体認識が不可能であると判断された場合の処理について説明する。図７は、画像処理装置１０の動作手順を示すフロー図である。  
例えば、個体認識可否判断部２でピントが合っていないと判断された場合、画像処理装置１０は、ステップＳ４１において、撮像装置（不図示）に対してピントを合わせるように指示を出す。即ち、認識不可の原因となった事項を改善した画像を取得するように指示を出す。そして、その後、画像処理装置１０は、ステップＳ４２において、撮像装置（不図示）に対して、例えば連写モードで複数枚の画像を撮影するように指示を出す。  
このようにして得られた複数枚の画像に基づいて、複数枚利用画像構成部３は、高解像度化処理（後述）を実行する。
【００２７】
図８は、個体認識が不可能であると判断された場合の画像処理装置１０の他の動作手順を示すフロー図である。  
例えば、個体認識可否判断部２でピントが合っていないと判断された場合、画像処理装置１０は、ステップＳ５１において、撮像装置（不図示）に対してピントを合わせるように指示を出す。そして、その後、画像処理装置１０は、ステップＳ５２において、撮像装置から画像を取得し、ステップＳ５３において、再度、個体認識可否判断部２に個体認識可否を判断させる。これは、顔領域のピントが合うことによって、他の判断基準項目も改善されて個体認識が可能となることが期待されるからである。
【００２８】
ステップＳ５３でＮｏの場合、即ち個体認識可否判断部２が、顔領域はなお個体認識が不可能であると判断した場合、画像処理装置１０は、ステップＳ５４において、撮像装置（不図示）に対して、例えば連写モードで複数枚の画像を撮影するように指示を出す。この後、このようにして得られた複数枚の画像に基づいて、複数枚利用画像構成部３は、高解像度化処理（後述）を実行する。
【００２９】
ステップＳ５３でＹｅｓの場合、即ち個体認識可否判断部２が、特定した顔領域で個体認識が可能であると判断した場合、ステップＳ２５において、個体認識部４は、個体認識が可能と判断された画像に基づいて個体認識処理を行う。
【００３０】
次に、複数枚の画像に基づいて複数枚利用画像構成部３が実行する、高解像度化処理について説明する。  
上述のようにして撮影された複数の画像には、注目被写体が含まれている。しかしながら、一般に注目被写体は動いているため、その画像は変化していることが考えられる。そこで、複数枚利用画像構成部３はこの動きを補正して高解像度化処理を実行する。
【００３１】
図９は、複数枚利用画像構成部３の構成を示す図である。複数枚利用画像構成部３は、モーション推定部３Ａ及び超解像処理部３Ｂを備えている。モーション推定部３Ａは、被写体の動きを推定する。超解像処理部３Ｂは、推定された被写体の動きを補正した画像を合成して高解像度の画像を生成する。
【００３２】
図１０は、モーション推定部３Ａでの動き推定の処理手順の一例を示す図である。  
ステップＳ３１において、モーション推定部３Ａは動き推定の基準となる注目被写体画像（以下、基準画像と称する）を１枚読み込む。ここで、基準画像は、複数の注目被写体画像から所定の基準で選択することができる。例えば、最初の撮影画像としても良く、中間の撮影画像としても良い。あるいは、ノイズの少ない画像としても良い。あるいは、図６に示す判断基準を適用して総合的に判断しても良い。
【００３３】
ステップＳ３２において、基準画像を複数の動きで変形させる。ここで、基準画像の複数変形は、例えば、水平、垂直、回転方向に対して、±１ピクセルの動きパラメータで基準画像を１９通り（なお、２７通り中８通りは同じ変形パターン）に変形させる。
【００３４】
ステップＳ３３において、基準画像以外の他の複数の注目被写体画像（以下、参照画像と称する）を１枚読み込む。ステップＳ３４において、基準画像を複数変形させた上記それぞれの画像と参照画像との間の類似度値を算出する。そして、ステップＳ３５において、基準画像を変形させた動きのパラメータ（変形モーションパラメータ）と算出した類似度値との関係を用いて、離散的な類似度マップを作成する。ステップＳ３６において、作成した離散的な類似度マップを補完することで、類似度マップの極値を探索し、類似度マップの極値を求める。
【００３５】
図１１は、動き推定をパラボラフッティングで行う具体的方法の一例を示す図である。図１１において、縦軸は類似度値の二乗偏差を表している。縦軸の二乗偏差の値が小さいほど類似度が高いといえる。横軸は変形モーションパラメータを示している。この図において、ステップＳ３５において求めた離散的な点にフィットするパラボラ曲線を推定する。そして、このフィットしたパラボラ曲線を用いて二乗偏差が最小（極値）となる変形モーションパラメータを求める。  
この極値で定められる変形の動きが動き推定値となる。即ち、極値で定められる変形モーションパラメータで基準画像を変形すると、参照画像に最も近似した画像を得ることができる。
【００３６】
なお、図１１に示した横軸の変形モーションパラメータは次のように割り付けることができる。  
例えば、変形モーションパラメータを水平方向，垂直方向，回転方向の組み合わせであると考えると、横軸の負の方から（−１，＋１，−１）、（−１，＋１，０）、（−１，＋１，＋１）の各離散類似度値をプロットする。また、水平方向，垂直方向，回転方向の各変形方向を個別独立と考えると、負の方向から（−１），（０），（＋１）となり、水平方向，垂直方向，回転方向について別々にプロットする。
【００３７】
なお、類似度マップの極値の探索法としては、上述のパラボラフィッティングに限られず、スプライン補間法等の公知の技術を用いても良い。
【００３８】
図１０のステップＳ３７において、対象となる全ての参照画像に対して動き推定を実行したかどうかを判定する。  
ステップＳ３７でＮｏの場合、即ちまだ動き推定を実行していない参照画像が存在する場合は、ステップＳ３８において、参照画像のフレーム番号を１つ増加させて、ステップＳ３３へ戻る。これにより、全ての参照画像において動き推定が行われるまで、ステップＳ３３乃至ステップＳ３８の処理が繰り返し行われることとなる。  
ステップＳ３７でＹｅｓの場合、即ち全ての参照画像において動き推定が行われたと判定されると、当該動き推定の処理を終了する。
【００３９】
その後、超解像処理部３Ｂが、画像処理を行って高解像度画像を生成する。  
図１２は、参照画像から基準画像への変形方法を示す図である。上述のように、極値で定められる変形モーションパラメータで基準画像を変形すると、参照画像に最も近似した画像を得ることができる。従って、それぞれの参照画像を、変形モーションパラメータの符号を反転した値で変形することによって、基準画像に最も近似した画像を得ることができる。  
超解像処理部３Ｂは、このようにして得られた複数枚の画像を用いて、例えば、加算平均処理あるいは加重平均処理を実行することによって、高精細な画像を構成する。
【００４０】
図１３は、加算平均処理を示す図である。この加算平均法では、全画像（基準画像及び基準画像に近似した複数の画像）について各画素位置の画素値を加算平均し、その値を新画素値とする加算平均画像を生成する。この加算平均手法は、ノイズが残りにくいという特徴がある。
【００４１】
図１４は、加重平均処理の一例を示す図である。加重平均処理は、画像毎に重みをつけた画素値を加算して平均化する処理である。図１４に示す加重平均法では、先ず２枚の画像について加算平均画像を生成し、生成した加算平均画像と別の画像との間で更に加算平均画像を生成する。そして、この処理を全画像について適用する。
【００４２】
そして、このようにして得られた高精細な画像に基づいて、個体認識部４が個体認識処理を実行する。
【００４３】
[バリエーション]  
上述の実施の形態のバリエーションとして、個体認識可否判断部２の判断基準に、「向き」を加えることができる。これは例えば、顔が正面を向いている画像を個体認識可の条件とするものである。
【００４４】
以下に、顔の向きを評価する方法について説明する。個人認識可否判断部２は、画像から顔方向を計測し、そこから顔の向きについて情報を算出する。  
図１５は、向き評価処理手順を示すフローチャートである。
【００４５】
ステップＳ１４１において、画像処理装置１０は、不図示の撮像装置が撮像した画像を取得する。ステップＳ１４２において、顔領域特定部１は取得した画像から顔領域を特定し、更に顔画像に対して差分背景や肌色領域抽出によって、顔領域２２をより正確に検出する。
【００４６】
次に、顔領域特定部１は、ステップＳ１４３において、顔領域２２の中心の位置である顔領域中心位置２３を検出し、ステップＳ１４４において、更に、眉、目尻、鼻などの顔器官の位置を検出することにより顔器官中心位置２４を決定する。なお、図１６に示すように、顔器官中心位置２４は両眉の中心、鼻筋、唇のくぼみ部分を通る直線の位置のことである。
【００４７】
そして、ステップＳ１４５において、これら検出した顔領域中心位置２３と顔器官中心位置２４とから、顔方向を計算する。  
図１７は、撮像装置２５に対する被写体の姿勢を表す図である。撮像装置２５に対する水平方向の角度を角度Φ、撮像装置２５に対する垂直方向の角度を角度Ψ、撮像装置２５に対する向きを向きθと定義する。
【００４８】
まず、水平方向の顔方向を計算する。ここで、顔方向は、図１８に示す、顔楕円モデルを基に計算される。図１８は水平方向右向きΦｆａｃｅを向いたときの頭を真上から見下ろした図である。
【００４９】
撮像装置に対する水平方向の顔角度Φｆａｃｅは、以下の式によって算出される。なお、ｋは楕円比であり、楕円比ｋ＝１．２５としてある。
【数１】
2010055300.tif 000003
【００５０】
また、撮像装置２５に対する垂直方向の顔角度Ψｆａｃｅの推定に関しては、既存の方法を用いる。
【００５１】
そして、水平方向の顔角度Φｆａｃｅと垂直方向の顔角度Ψｆａｃｅから、顔が撮像装置２５の方向を向いているかを計算する。顔の向きと撮像装置２５の向きの角度をθｆａｃｅとすると、θｆａｃｅは次の数２で表される。
【数２】
2010055300.tif 000004
【００５２】
図１５のステップＳ１１６において、こうして計算された顔方向に基づいて、被写体である顔が撮像装置２５に正対しているかを、その計算結果に基づいて判定する「合否判定処理」を実施する。例えば、θｆａｃｅ≦３０°のときに、被写体である顔は撮像装置１５に正対していると判断し、向き評価を合格とする。
【００５３】
以上説明した画像処理技術を適用した例について説明する。
【００５４】
（I）図１９（１）に示すように、Ａ−Ｅまでの５人が撮像装置で捕らえられたとする。このときＥの画像は撮像装置内に保存されていて、Ａ−Ｅの５人の中からＥを識別することを考える。図１９（２）ではＡ−Ｅのうち５人の顔領域が検出された状態を示している。図１９（３）では、ＣとＥを囲む領域が破線になっているが、これは、個体認識を行おうとした際にＣとＥに関しては抽出された領域が狭く、そのままでは抽出できないことを示している。従来、Ａ，Ｂ，Ｄのみについて個体識別が可能であり、Ｅについては識別ができなかったが、本手法では、図１９（４）に示すようにＣ，Ｅの領域に対しても、数フレームの画像情報を用いることにより、該当する領域内を高精細化することを可能にしている。従って、この高精細化された画像に基づいて個体認識が可能となった。
【００５５】
（II）上述のように個体認識を行うことが可能となったため、個体認識をした結果に応じて、個体認識された領域に最適となるような画像処理を行うことができる。ここでいう、最適な画像処理とは、撮像装置を例にとると、オートズーム処理、階調変換処理、ＡＥ、ＡＦ、トリミング処理のような画像処理を行うことを意味する。図１９の例では、従来はＥに対して適切な画像処理が出来なかったが、本手法ではＥに対して適切な階調変換やＡＥ処理が出来るようになる。
【００５６】
（III）図２０は、記憶媒体の中の多量の画像を、各個人毎に分類するためのフォルダを示す図である。Ｆに関するフォルダ１１には、第１の実施形態の手法を用いることにより、識別が容易な画像１２だけでなく、識別の難しい画像１３に関しても関連付けて分類することができる。従って、従来に比べ正確な分類が可能となる。
【００５７】
なお、上記実施の形態では、人物の顔を認識する方法を例として説明したが、本発明はこの実施例に限定されるものではない。人物に限られず動物を対象としても良く、顔に限られず任意の部位を対象としても良い。例えば、生物である花・動物・虫などのみでなく、広く有体物に適用することができる。また、指紋など有体物上の図形についても適用することができる。
【００５８】
なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【図面の簡単な説明】
【００５９】
【図１】本発明の第１実施形態に係る画像処理装置の構成を示す図。
【図２】画像処理装置の動作手順を示すフローチャート。
【図３】正面顔の画像を示す図。
【図４】正面顔画像を分解した部位ごとの画像を示す図。
【図５】輪郭に対する各部位の相対位置情報を示す図。
【図６】判断基準項目を示す図。
【図７】画像処理装置の動作手順を示すフロー図。
【図８】個体認識が不可能であると判断された場合の画像処理装置の他の動作手順を示すフロー図。
【図９】複数枚利用画像構成部の構成を示す図。
【図１０】モーション推定部での動き推定の処理手順の一例を示す図。
【図１１】動き推定をパラボラフッティングで行う具体的方法の一例を示す図。
【図１２】参照画像から基準画像への変形方法を示す図。
【図１３】加算平均処理を示す図。
【図１４】加重平均処理の一例を示す図。
【図１５】向き評価処理手順を示すフローチャート。
【図１６】顔領域中心位置、及び顔器官中心位置を示す図。
【図１７】撮像装置に対する被写体の姿勢を表す図。
【図１８】水平方向右向きの頭を真上から見下ろした顔楕円モデルを示す図。
【図１９】画像処理技術を適用した例を示す図。
【図２０】画像処理技術を適用した例を示す図。
【符号の説明】
【００６０】
１…顔領域特定部、２…個体認識可否判断部、３…複数枚利用画像構成部、３Ａ…モーション推定部、３Ｂ…超解像処理部、４…個体認識部、１０…画像処理装置、１１…フォルダ、１５…撮像装置、２３…顔領域中心位置、２４…顔器官中心位置、２５…撮像装置。
【図１】
2010055300.tif 000005
【図２】
2010055300.tif 000006
【図３】
2010055300.tif 000007
【図４】
2010055300.tif 000008
【図５】
2010055300.tif 000009
【図６】
2010055300.tif 000010
【図７】
2010055300.tif 000011
【図８】
2010055300.tif 000012
【図９】
2010055300.tif 000013
【図１０】
2010055300.tif 000014
【図１１】
2010055300.tif 000015
【図１２】
2010055300.tif 000016
【図１３】
2010055300.tif 000017
【図１４】
2010055300.tif 000018
【図１５】
2010055300.tif 000019
【図１６】
2010055300.tif 000020
【図１７】
2010055300.tif 000021
【図１８】
2010055300.tif 000022
【図１９】
2010055300.tif 000023
【図２０】
2010055300.tif 000024