(57)【要約】【課題】  物体画像に対して合成画像の合成パラメータを変化させながらマッチングを行う際に、合成画像が収束しても無駄なマッチングが繰り返されてしまう。【解決手段】  入力された物体の画像に対し、初期設定された合成パラメータに基づく合成画像を生成し（Ｓ１００４）、該合成画像と物体の画像との差分が所定値以下となるまで、前記合成パラメータを更新する（Ｓ１００７〜Ｓ１０１０）。このとき、更新前後の合成画像の差分に基づいてその収束状態を検出し（Ｓ１００６）、合成画像が収束していれば合成パラメータの更新を中止する。これにより、成功の見込みのないマッチングの実行が抑制され、入力画像に対する近似コストが削減できる。【選択図】  図９
2007141106.tif 000002
【特許請求の範囲】
【請求項１】
画像内に存在する物体の二次元画像を合成するために、該物体の合成パラメータを決定する画像処理方法であって、
前記物体の画像を入力する画像入力ステップと、
前記物体の画像に対する合成パラメータを設定する設定ステップと、
前記合成パラメータに基づいて合成画像を生成する第１の合成ステップと、
前記合成画像と前記物体の画像との差分が所定値を超える場合に前記合成パラメータを更新する更新ステップと、
前記更新ステップで更新された前記合成パラメータに基づいて更新後の合成画像を生成する第２の合成ステップと、
前記第２の合成ステップにおける更新前後の合成画像の差分に基づいて、その収束状態を検出する検出ステップと、を有し、
前記更新ステップは、前記検出ステップにおいて前記合成画像の非収束が検出された場合に再度実行されることを特徴とする画像処理方法。
【請求項２】
前記更新ステップにおいては、前記合成画像と前記物体の画像との差分が前記所定値以下である場合に、前記合成パラメータを前記物体用として決定することを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記決定された合成パラメータおよび所定のモデル画像に基づいて、前記物体の二次元画像が合成されることを特徴とする請求項１または２記載の画像処理方法。
【請求項４】
前記更新ステップにおいては、前記合成画像と前記物体の画像との差分を示す差分ベクトルから合成パラメータ更新量への射影を行うことを特徴とする請求項１乃至３のいずれかに記載の画像処理方法。
【請求項５】
前記差分ベクトルは、前記合成画像と前記物体の画像間に共通する所定領域内の各画素の輝度差を要素とすることを特徴とする請求項４記載の画像処理方法。
【請求項６】
前記差分ベクトルは、前記合成画像と前記物体の画像間に共通する所定領域内を周波数変換して得られる、各周波数の強度および位相情報を要素とすることを特徴とする請求項４記載の画像処理方法。
【請求項７】
前記差分ベクトルは、前記合成画像と前記物体の画像間に共通する所定領域内を複数のフィルタによってコンボリュージョンすることで得られる、強度情報を要素とすることを特徴とする請求項４記載の画像処理方法。
【請求項８】
前記フィルタはガボールフィルタであることを特徴とする請求項７記載の画像処理方法。
【請求項９】
前記更新ステップは、前記第２の合成ステップの実行が所定回数以下である場合に実行されることを特徴とする請求項１乃至８のいずれかに記載の画像処理方法。
【請求項１０】
前記更新ステップは、前記合成画像と前記物体の画像との差分が所定の制限時間内に前記所定値を超える場合に、前記合成パラメータを更新することを特徴とする請求項１乃至９のいずれかに記載の画像処理方法。
【請求項１１】
前記設定ステップから前記検出ステップまでの各ステップは、複数解像度について実行されることを特徴とする請求項１乃至１０のいずれかに記載の画像処理方法。
【請求項１２】
前記合成パラメータは、前記物体の複数サンプルから得られる特徴情報を主成分分析して次元圧縮されていることを特徴とする請求項１乃至１１のいずれかに記載の画像処理方法。
【請求項１３】
前記第１および第２の合成ステップは、
生成される合成画像の実在可能性を評価する評価ステップと、
前記評価ステップにおいて実在可能性が低いと判定された場合に、前記合成物体の実在可能性が高くなるように前記合成パラメータを変更する変更ステップと、
を有することを特徴とする請求項１乃至１２のいずれかに記載の画像処理方法。
【請求項１４】
前記物体は、人物の顔であることを特徴とする請求項１乃至１３のいずれかに記載の画像処理方法。
【請求項１５】
画像内に存在する物体の二次元画像を合成するために、該物体の合成パラメータを決定する画像処理装置であって、
前記物体の画像を入力する画像入力手段と、
前記物体の画像に対する合成パラメータを設定する設定手段と、
前記合成パラメータに基づいて合成画像を生成する合成手段と、
前記合成画像と前記物体の画像との差分が所定値を超える場合に前記合成パラメータを更新する更新手段と、
前記合成パラメータの更新前後の合成画像の差分に基づいて、その収束状態を検出する検出手段と、を有し、
前記更新手段は、前記検出手段で前記合成画像の非収束が検出された場合に前記合成パラメータを再度更新することを特徴とする画像処理装置。
【請求項１６】
請求項１乃至１４のいずれかに記載の画像処理方法によって決定された合成パラメータおよび前記モデル画像に基づき、前記物体の二次元画像を合成する画像処理システム。
【請求項１７】
コンピュータ上で動作することによって、該コンピュータ上で請求項１乃至１４のいずれかに記載の画像処理方法を実現することを特徴とするプログラム。
【請求項１８】
請求項１７記載のプログラムを記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置およびその方法に関し、特に、画像内の物体に対する近似画像を合成する画像処理装置およびその方法に関する。
【背景技術】
【０００２】
近年、デジタルカメラや、携帯電話、デジタルビデオカムコーダ等が低価格で市場に投入されている。また、テレビチューナーカード、ＭＰＥＧ２、ＭＰＥＧ４に代表される動画圧縮技術がハードウェア化されたエンコーダ、デコーダカードの登場により、パーソナルコンピュータ（ＰＣ）がビデオデッキとしての機能を実現している。このようなＰＣではさらに、インターネットを通じた動画配信など、手軽に大量のデジタル動画・画像が入手可能である。
【０００３】
ハードディスクや光ディスクの大容量化により、普及価格帯のＰＣでも大量の動画・画像を蓄積することが可能であるが、蓄積されたコンテンツから、内容が類似している動画の箇所や画像を検索したいというニーズが増している。中でも被写体が同じ画像を探したいという検索ニーズが高い。
【０００４】
被写体が同じ画像を探すには、まず、画像から被写体、特に顔領域を検出することが必要である。顔検出技術としては、カーネギーメロン大学のＲｏｗｌｅｙ氏らが提案したニューラルネットワークを用いた手法などが知られており、この手法によれば、画像中の顔の位置、大きさ、回転角度などが得られる。
【０００５】
また、検出された顔が誰であるかを判別する顔認識技術としては、国際規格としてＭＰＥＧ７（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅｓ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ−７）の一部である顔認識記述子が存在する。これは、画像から顔領域を切り出して正規化した顔画像の輝度画像に対して、輝度情報や周波数空間に変換した情報を用いている。すなわち、主成分分析や線形判別分析を組み合わせて、顔画像の特徴量を抽出するための基底ベクトルを求め、線形射影することで顔特徴量を抽出している。この方法では、両目を基準として顔を切り出しており、周波数空間へ変換することで多少の位置のずれにも対応できるが、顔の各器官同士の対応が取れていないことによる性能劣化という問題がある。
【０００６】
顔の各器官の対応を合わせるように変形する手法として、特許文献１やマンチェスター大学のＣｏｏｔｅｓ氏らが提案したＡＡＭ（アクティブアピアランスモデル）がある。
【０００７】
前者は顔画像に対して格子状の基準点を設定し、基準点の変異量行列を遺伝的手法によって更新しながら変形して、基準画像と入力画像をマッチングするものである。各基準点の変異量が顔画像の特徴量となる。
【０００８】
また、後者は大量の２次元の顔画像データベースを用意し、画像中の各顔について複数の特徴点の座標と輝度値等から形状情報とテクスチャ情報とを抽出し、抽出した複数の形状情報とテクスチャ情報の平均を求めたものを平均顔とする。そして、各顔画像の平均顔からの差分を主成分分析を行ない、形状や表情の変化に対応した部分空間を求める。そして、求めた部分空間のそれぞれの座標軸に沿って合成パラメータを変化させることにより、顔画像を合成する。このモデルを画像認識方法として用いる場合には、先に求めた部分空間内で合成パラメータを動かして画像を合成し、入力された認識の対象となる顔画像との差が最も小さくなるときの合成画像についての合成パラメータを求める。
【０００９】
入力された顔画像に相関の高い合成顔画像の合成パラメータは、以下の手法によって求められる。すなわち、入力された顔画像と合成された顔画像の差分情報からパラメータの修正量へ射影するための行列を予め求めておき、差分評価とパラメータの更新、顔の再合成を繰り返す。またこの時、マルチ解像度の手法を用い、１段で解像度の比が半分になるような解像度を多段用意し、各解像度で射影行列を求めておく。そして粗い解像度で、入力画像に合成顔画像を近似させ、一段ずつ解像度を上げながら近似を繰り返し、最終的な解像度で、入力画像に相関の高い合成パラメータを得ている。
【特許文献１】特開２０００−１１３１９７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
上記従来の顔表現モデルを用いたマッチング方法においては、合成パラメータを変化させることによって合成画像を変化させながら入力画像とのマッチングを行うが、合成パラメータを更新しても、合成された顔画像に変化が生じないことがあった。このような場合、マッチング中に合成画像が収束し、無駄なマッチング処理が繰り返されてしまうという問題があった。
【００１１】
本発明は上述した問題を解決するためになされたものであり、成功の見込みのないマッチングの実行を抑制することによって、入力画像に対する近似コストを削減する画像処理装置およびその方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するための一手法として、本発明の画像処理方法は以下の工程を備える。
【００１３】
すなわち、画像内に存在する物体の二次元画像を合成するために、該物体の合成パラメータを決定する画像処理方法であって、前記物体の画像を入力する画像入力ステップと、前記物体の画像に対する合成パラメータを設定する設定ステップと、前記合成パラメータに基づいて合成画像を生成する第１の合成ステップと、前記合成画像と前記物体の画像との差分が所定値を超える場合に前記合成パラメータを更新する更新ステップと、前記更新ステップで更新された前記合成パラメータに基づいて更新後の合成画像を生成する第２の合成ステップと、前記第２の合成ステップにおける更新前後の合成画像の差分に基づいて、その収束状態を検出する検出ステップと、を有し、前記更新ステップは、前記検出ステップにおいて前記合成画像の非収束が検出された場合に再度実行されることを特徴とする。
【００１４】
例えば、前記更新ステップにおいては、前記合成画像と前記物体の画像との差分が前記所定値以下である場合に、前記合成パラメータを前記物体用として決定することを特徴とする。
【発明の効果】
【００１５】
以上の構成からなる本発明によれば、成功の見込みのないマッチングの実行を抑制することによって、入力画像に対する近似コストを削減することができる。
【発明を実施するための最良の形態】
【００１６】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の各実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１７】
＜第１実施形態＞
●装置構成
図１は、本実施形態に係る画像処理装置の構成を示すブロック図である。本実施形態の画像処理装置において、２０１はＲＯＭ２０２やＲＡＭ２０３に格納されたプログラムに従って命令を実行するＣＰＵである。２０２は本実施形態の動作を実現するプログラムやその他の制御に必要なプログラムやデータを格納するＲＯＭ、２０３は一時的にデータを格納するための作業エリアとして利用されるＲＡＭである。２０４はＩＤＥやＳＣＳＩなどの外部記憶装置とのインターフェースを実現するドライブＩ／Ｆ、２０５は画像や画像検索のための特徴量やプログラムなどを記憶する記憶装置としてのＨＤＤである。２０６はデジタルカメラやスキャナなどの装置から画像を入力する画像入力部、２０８はキーボードやマウスなど、オペレータからの入力を受ける操作入力部である。２０９はブラウン管や液晶ディスプレイなどの表示部、２１０はインターネットやイントラネットなどのネットワークと接続を行なうモデムやＬＡＮなどのネットワークＩ／Ｆである。２１１はバスであり、上記各構成を接続して相互のデータ入出力を可能とする。
【００１８】
本実施形態の画像処理装置は、ＰＣにオペレーティングシステムとしてマイクロソフト社のＷＩＮＤＯＷＳ（登録商標）  ＸＰ（登録商標）がインストールされ、その上で動作するアプリケーションとして実装される。
【００１９】
●顔モデル
図２に、本実施形態における顔モデルの概要を示し、説明する。同図に示すように顔モデルは、形状情報３０１、テクスチャ情報３０２、拘束条件３０３、パラメータ更新テーブル３０４から構成される。形状情報３０１は、多数の顔画像から得られる形状ベクトルの平均と、該平均からの変位について主成分分析した部分空間の形状基底ベクトルから構成される。テクスチャ情報３０２は、多数の顔画像から得られる画像の輝度平均と、該平均からの変位について主成分分析した部分空間のテクスチャ基底ベクトルから構成される。拘束条件情報３０３は、形状ベクトルの各次元において取りうる範囲である最大値と最小値を示す。パラメータ更新テーブル３０４は、２５６×２５６，１２８×１２８，６４×６４，３２×３２，１６×１６，８×８の解像度ごとに、テーブルを有する。
【００２０】
以下、顔モデルの各部について、その構築手順を説明する。なお、顔画像を統計的に処理するため、本実施形態の顔モデルの構築にあたっては、予め大量の顔画像を含む画像を用意しておく。
【００２１】
・顔の特徴点
まず、形状情報３０１を構築するために必要となる、本実施形態における顔の特徴点の設定方法について、図３Ａ〜図３Ｆを用いて説明する。
【００２２】
図３Ａ〜図３Ｆは、正面を向いた顔における形状情報の一例を示す図である。本実施形態では、顔の部分によってローカルな座標系を定義し、該ローカルな座標系で特徴点の取りうる範囲を限定し、この限定された条件の下で座標が特定可能な情報を形状ベクトルとして、顔の特徴点を表現する。
【００２３】
図３Ａは、顔座標の例を示す図である。顔座標は、両目の中心を結ぶ線をＸ軸、両目の中央で直交する直線をＹ軸とする平面であり、原点から目の中心までの長さを１単位とする。
【００２４】
図３Ｂは、目部分の詳細を示す図である。目の中心は、目頭と目尻を結ぶ線分の中心としている。左目におけるこの線分の長さをＬ１、両目の中心を結ぶ線とのなす角度をＡ１、この線分を４等分した点から垂直方向に伸ばした線分と瞼との交点までの長さをＬ２からＬ７としている。右目についても左目と同数のパラメータが設定される。すなわち、図３ＢのＬ１に対応するＬ８から、Ｌ７に対応するＬ１４、およびＡ１に対応するＡ２が設定される。
【００２５】
図３Ｃは、鼻付近の詳細を示す図である。顔座標系における鼻の最下部の位置Ｐ１を原点とし、そこから両目を結ぶ線分の中央を結ぶ線をＹ軸とし、Ｘ軸は原点でＹ軸と直行させる。両目を結ぶ線分の中央との交点をＹ＝１とする鼻座標系を定義し、鼻座標系における鼻の特徴点をＰ２，またＰ２からの相対でＰ３をあらわす。また鼻の端を向かって右端をＰ４とし、Ｐ３からの相対座標であらわす。Ｐ２，Ｐ３は鼻の穴がある場合はその端にあたるようにし、ない場合にはＰ１−Ｐ２，Ｐ２−Ｐ３，Ｐ３−Ｐ４が等しい長さになる間隔で、鼻のエッジに沿って設定する。鼻の右側部分についても同様に、Ｐ５〜Ｐ７を設定する。また、鼻の穴が存在するときには穴のエッジ上にＰ８、Ｐ９を設定し、なければ鼻のエッジ上でＰ２とＰ３間を２分する箇所に設定する。
【００２６】
図３Ｄは、眉毛付近の詳細を示す図である。眉毛の目頭側端とその下の目の中心を結ぶ線と、両目の中心間を結ぶ線のなす角度をＡ３，また、眉毛の目頭側端とその下の目の中心を結ぶ線と、眉毛の目尻側端とその下の目の中心を結ぶ線とのなす角度をＡ４とする。そして、角度Ａ４を４等分する３本の線を引き、眉のエッジとの交点を特徴点とする。各特徴点から目中心までの長さＬ８〜１２、まゆの幅Ｌ１３〜Ｌ１５を設定する。右の眉毛も同様に、Ａ５，Ａ６およびＬ１６〜Ｌ２３を設定する。眉毛の表現は局座標系での座標と等価である。
【００２７】
図３Ｅは、口領域の詳細を示す図である。口領域には鼻座標系を用いる。鼻座標系のＹ軸上で上唇の上部をＰ１１とし、上唇の下部Ｐ１２をＰ１１からの相対で、下唇の上部Ｐ１３をＰ１２からの相対で、下唇の下部Ｐ１４をＰ１３からの相対であらわす。また、唇の向かって右端をＰ１５とし、Ｐ１１〜Ｐ１５までの唇のエッジ上を４等分するようにＰ１６〜Ｐ１８を定める。同様に、Ｐ１２〜Ｐ１５間にＰ１９〜Ｐ２１を設定し、下唇も同様にＰ２２〜Ｐ２７を設定する。ここで、Ｐ１６〜Ｐ２７の各座標は、左隣の特徴点からの相対座標で表すとする。唇の向かって左側についても同様に、Ｐ２８〜Ｐ４０を設定する。
【００２８】
図３Ｆは顔の輪郭を示す図である。顔の輪郭は、鼻座標系と原点を同じくした局座標系と等価である。鼻座標系（図３Ｃ）におけるＰ１を中心とする局座標において、Ｐ１１方向を０とし、−５／８πから５／８πラジアンの範囲を１／８単位で等分し、顔の輪郭の中心（Ｐ１）からの距離をＬ２８〜Ｌ３３で示す。
【００２９】
本実施形態における顔の特徴点は、以上のように設定される。
【００３０】
以下、図２に示す顔モデルの各構成について、その構築方法について詳細に説明する。  ・形状情報の構築手順
形状情報３０１を構築するために、形状ベクトルｘを以下のように設定する。
【００３１】
X = {A1,...,A6,L1,・・・,L33,P1x,P1y,P2x,P2y,...,P40x,P40y}
また、顔座標軸上における各特徴点からなる特徴点座標ベクトルｓを以下のように設定する。
【００３２】
s = {x1,x2,・・・・,y1,y2,・・・}
以下、形状情報３０１の構築手順について、図４のフローチャートを用いて説明する。  まずステップＳ５０１では、顔画像が存在する対象画像を表示部２０９に表示する。次にステップＳ５０２で、画像中の顔画像における両目の座標を、入力部２０８から指定する。ここで指定される座標系は、画像の左上を原点とするＸＹ座標系である。次にステップＳ５０３でアフィン変換を行って、ステップＳ５０２で指定した目の座標が所定の位置になるように顔画像の切り出しを行なう。
【００３３】
次にステップ５０４で、顔画像上における各特徴点座標を入力部２０８から指定する。そして、指定された特徴点の座標を上述したローカル座標系に変換し、形状情報に変換する。ここで、拡大表示を行ったり均等の角度や間隔で設定されるべき特徴点については、その都度ガイドラインを表示したり、計算によって位置の微調整を行なうことで、入力誤差を低減することができる。
【００３４】
１つの顔画像について全ての特徴点の指定が終了したらステップＳ５０５に進み、画像上での両目座標、また、形状ベクトル、画像ファイル名と対応付けてＨＤＤ２０５に記録する。
【００３５】
次にステップＳ５０６に進み、すべての顔画像に対して特徴点の指定が終了したか否かを判定し、未設定の顔画像があればステップＳ５０１に戻るが、すべて終了していればステップＳ５０７に進む。
【００３６】
ステップＳ５０７では、前段で指定したすべての顔画像について、各特徴点の平均的な座標（平均形状）を求める。次にステップＳ５０８に進み、所定の各サンプル点における平均形状からの差分により、差分形状ベクトルを生成する。次にステップＳ５０９に進み、全サンプルの形状ベクトルについて主成分分析を行なう。この結果、寄与率の大きいものから順に寄与率の合計が所定の割合になるまでの主成分からなる、部分空間のための基底行列を得る。この基底行列がすなわち、形状基底ベクトルとなる。
【００３７】
そしてステップＳ５１０において、得られた平均形状および形状基底ベクトルを形状情報３０１として、ＨＤＤ２０５に記録する。
【００３８】
・テクスチャ情報の構築手順
以下、テクスチャ情報３０２の構築手順について、図５のフローチャートを用いて説明する。
【００３９】
まずステップＳ６０１では、上記ステップＳ５０５でＨＤＤ２０５に記録した１つの顔画像に対応する両目の座標、また、切り出した形状ベクトルを読み出し、アフィン変換によって顔画像を切り出す。
【００４０】
次にステップＳ６０２に進み、特徴点が平均の位置に移動するようなモーフィングを行なう。なおモーフィングは次のように表すこととする。
【００４１】
Ｉm = Ｍ(Ｉ,Ｓs,Ｓd)      ・・・(1)
なお、(1)式においてＩmはモーフィングされた合成顔画像、Ｉは切り出した顔画像、Ｓsは変換元の特徴点座標列、Ｓdは変換先の特徴点座標列である。特徴点座標列は切り出した顔画像上での座標となるが、形状ベクトルから一意に求めることができる。
【００４２】
このようなモーフィングにより、異なる顔の各器官の位置が顔座標系で同じ位置となり、対応付けが確保される。
【００４３】
次にステップＳ６０３に進み、マスキングを行なう。すなわち、特徴点平均座標列で示される平均顔形状の顔の輪郭の外側をマスキングし、顔以外の領域をこれ以降で行なわれる処理の対象から除外する。
【００４４】
次にステップＳ６０４に進み、輝度分布の正規化を行なう。これは、画像の平均輝度、輝度の分散を所定の値に揃うようにする。また、ヒストグラム平滑化を行って輝度分布を平滑化する処理を行なう。
【００４５】
次にステップＳ６０５に進み、すべての顔画像に対して上記モーフィング、マスキング、正規化処理が終了したか否かを判定し、未終了の顔画像があればステップＳ６０１に戻るが、全て終了していればステップＳ６０６に進む。
【００４６】
ステップＳ６０６では、画素ごとに全顔サンプルの平均輝度を求めることによって、平均テクスチャを得る。
【００４７】
次にステップＳ６０７に進み、各顔サンプルについて前段で求めた平均輝度との差分を得て、非マスキング画素数からなる輝度差ベクトルを生成する。次にステップＳ６０８に進み、全顔サンプル数の輝度差ベクトルを主成分分析する。これを寄与率の大きいものから順に、寄与率の合計が所定の割合になるまでの主成分からなる部分空間のための基底行列を得る。この基底行列がすなわち、テクスチャ基底ベクトルとなる。
【００４８】
そしてステップＳ６０９において、得られた平均テクスチャおよびテクスチャ基底ベクトルをテクスチャ情報３０２として、ＨＤＤ２０５に記録する。
【００４９】
・拘束条件情報の構築手順
以下、拘束条件情報３０３の構築手順について説明する。
【００５０】
本実施形態の特徴である拘束条件は、実在する可能性が低い顔が合成される確率を低減するために設定される。本実施形態では、形状ベクトルｘの各次元の取りうる値の範囲を設定し、これを超えたか否かによって、実在する可能性が低いか否かを判定し、範囲外の場合は範囲内に収まるようクリッピングをかけることで形状ベクトルの修正を行う。具体的には、次に示す(2)式によって判定と修正を行う。
【００５１】
ｘi ≦ ｘavi-ｋσi のとき、
ｆ(ｘi) = ｘavi-ｋσi
ｘi ≧ ｘavi+ｋσi のとき、
ｆ(ｘi) = ｘavi+ｋσi
その他のとき、
ｆ(ｘi) = ｘi
・・・(2)
ただし(2)式において、ｘaviはi番目の次元におけるサンプルの平均であり、σiはi番目の次元におけるサンプルの標準偏差である。また、ｋは所定の定数であり、実在確率の閾値となる。サンプル顔画像の特徴ベクトルの各次元について値の分布を正規分布で近似しており、たとえば、99.7%を網羅したい場合はｋ=３である。
【００５２】
本実施形態ではすなわち、(2)式におけるｘavi-ｋσiを形状最小値を示す拘束条件情報３０３として、ＨＤＤ２０５に記憶する。同様に、
ｘavi+ｋσiを形状最大値を示す拘束条件情報３０３としてＨＤＤ２０５に記憶する。
【００５３】
・パラメータ更新テーブルの構築
以下、パラメータ更新テーブル３０４の構築手順について説明する。
【００５４】
パラメータ更新テーブル３０４の実体は、入力された顔画像と合成された顔画像の差分情報から差分を低減するために、次に合成すべき顔画像の合成パラメータの修正量へ射影するための行列である。この行列を、顔画像に対する２５６×２５６，１２８×１２８，６４×６４，３２×３２，１６×１６，８×８ピクセルの各解像度において求める。
【００５５】
以下、ある１つの解像度におけるパラメータ更新テーブル３０４の構築手順を、図６のフローチャートを用いて説明する。
【００５６】
まずステップＳ７０１において第１合成パラメータを設定する。ここでは第１合成パラメータとして、顔画像の合成パラメータをランダムに設定する。ただし各パラメータの平均モデルからの変位の上限は、近似成功確率から実験的に求めておく必要がある。
【００５７】
次にステップＳ７０２に進んで第２合成パラメータを設定する。第２合成パラメータは、第１合成パラメータの要素の１つを正または負に変更したものとする。変更量は、そのパラメータ要素のデータの分散に基づいて決定するが、実験的に求める必要がある。
【００５８】
次にステップＳ７０３に進み、第１および第２合成パラメータに基づいて２つの顔画像を合成する。このとき、本実施形態の特徴である拘束条件が適用されるが、その詳細については後述する。
【００５９】
次にステップＳ７０４に進み、２つの合成画像の差分ベクトルを求める。この差分ベクトルは、画素数分の次元で、各画素の輝度差を値とするベクトルである。合成された顔の輪郭と平均の顔とでは顔の輪郭が異なり、画素数も異なる。ここでは、差分ベクトルを集めて行列として扱うために、解像度毎に画素数を一定にする必要がある。そこで、上記ステップＳ６０３と同じ形状のマスキングをかけることによって、平均顔の占める領域の画素により差分ベクトルを構成する。
【００６０】
次にステップＳ７０５に進み、所定回数のループを行ったか否かを判定する。ループ回数は最低でも顔の差分ベクトルの次元数分必要である。さらにループする必要がある場合はステップＳ７０１に戻るが、ループが所定回数に達した場合にはステップＳ７０６に進む。
【００６１】
ステップＳ７０６では、多変数線形回帰を求める。具体的には、以下に示す行列式(3)となるような射影行列Ａを求める。
【００６２】
ΔＣ = ＡΔＩ      ・・・(3)
なお、式(3)において、ΔＣは第１合成パラメータと第２合成パラメータの差の組、ΔＩは対応する合成画像の差分ベクトルの組である。
【００６３】
射影行列Ａは、以下に示す行列式(4)によって導き出すことができる。
【００６４】
Ａ = ΔＣΔＩ+      ・・・(4)
なお、式(4)において、ΔＩ+はΔＩの擬似逆行列である。
【００６５】
次にステップＳ７０７に進み、求められた射影行列Ａをパラメータ更新テーブル３０４として、ＨＤＤ２０５に記録する。
【００６６】
・顔画像の合成方法
以下、上記ステップＳ７０３における、合成パラメータを使用した顔画像の合成方法について図７のフローチャートを用いて説明する。
【００６７】
まずステップＳ８０１において、以下の(5)式に示すように、平均テクスチャと主成分毎の強さである合成パラメータの線形和によって、テクスチャＧを作成する。
【００６８】
Ｇ = ｇav + Ｐ+gｂg      ・・・(5)
式(5)において、ｇavは平均テクスチャ、Ｐ+gはテクスチャの基底ベクトルの擬似逆行列であり、事前に求めておいてよい。ｂgは輝度の合成パラメータである。
【００６９】
次にステップＳ８０２に進み、平均形状ベクトルと主成分ごとの強さである合成パラメータの線形和によって、形状ベクトルＸを作成する。
【００７０】
Ｘ = ｘav + Ｐ+xｂx      ・・・(6)
式(6)において、ｘavは平均形状、Ｐ+xは形状の基底ベクトルの擬似逆行列であり、事前に求めておいてよい。ｂxは形状の合成パラメータである。
【００７１】
次にステップＳ８０３に進み、合成された顔画像が実在する可能性のある顔を示しているか否かを判定する。ここではすなわち式(7)に示すように、合成された形状ベクトルＸの各次元の値が所定の範囲内にあるか否かを判定する。このとき、上述した拘束条件情報３０３（この場合、kσi）が参照される。
【００７２】
|Ｘi-ｘavi| ≦ kσi      ・・・(7)
ここで、当該顔画像は実在する可能性が無いものであると判定された場合はステップＳ８０４に進み、実在し得る場合はステップＳ８０５に進む。
【００７３】
ステップＳ８０４では、上記式(2)を適用して、合成された顔に近く、実在する可能性のある顔形状ベクトルＸ'に変換する。
【００７４】
Ｘ' ← ｆ(Ｘ)      ・・・(8)
ステップＳ８０５では、式(9)に基づいて形状ベクトルＸを顔座標上での特徴点座標に変換する。
【００７５】
Ｓ = Ｓ(Ｘ')      ・・・(9)
また、平均形状ベクトルから平均座標値への変換も同様に行うが、これは式(10)に示すように、平均形状ベクトルｘavに基づいて事前に求めておけばよい。
【００７６】
ｓav = Ｓ(ｘav)      ・・・(10)
次にステップＳ８０６において、式(11)に示すように平均的な顔形状から合成された形状へのモーフィングを行なうことによって、合成顔画像Ｉmが得られる。
【００７７】
Ｉm = Ｍ(Ｇ,ｓav,Ｓ)      ・・・(11)
なお、ここでは説明を分かりやすくするために、形状とテクスチャの成分を分けて主成分分析を行う例を示したが、これらをまとめて主成分分析を行なって合成パラメータとした方が、次元数が削減できるという効果がある。ただし、ダイナミックレンジが大きく異なる次元が混在している場合には、計算誤差の影響が大きくなるため、ダイナミックレンジをそろえるためのスケーリング調整を行うことが好ましい。
【００７８】
●画像検索システム
以上、本実施形態における顔モデルの構築方法について説明した。以下、該顔モデルを用いた、本実施形態における画像処理の概要について説明する。
【００７９】
本実施形態では、画像中の顔領域に着目し、与えられたクエリ画像に対して類似した顔が映っている画像を類似画像として出力する画像検索システムを例として説明する。この場合の画像処理としては、検索に必要な画像から特徴量を抽出して記録する画像登録処理と、検索条件が与えられたときに特徴量の照合を行って最も類似した画像を獲得する画像検索処理から構成される。以下、この画像登録処理および画像検索処理のそれぞれについて説明する。
【００８０】
・画像登録処理
本実施形態における画像登録処理を、図８のフローチャートを用いて説明する。
【００８１】
まずステップＳ９０１にて画像入力部２０６から画像を入力する。次にステップＳ９０２に進み、入力された画像から顔領域を検出する。この検出処理としては、上述したＲｏｗｌｅｙ氏らによる手法を適用する。次にステップＳ９０３に進み、得られる両目の座標から顔の大きさや傾きを補正し、ステップＳ５０３と同様に顔画像の切り出しを行なう。次にステップＳ９０４に進み、輝度の正規化を行なう。すなわち、輝度分布が一定になるようにヒストグラムの均一化などの処理を行なう。
【００８２】
次にステップＳ９０５に進み、特徴抽出を行なう。ここでは入力された顔画像に最も相関の高い合成顔モデルの合成パラメータを決定し、これを特徴量とする。この特徴抽出処理の詳細については後述する。
【００８３】
次にステップＳ９０６に進み、特徴抽出処理で得られた合成パラメータをＨＤＤ２０５に記録する。次にステップＳ９０７に進み、画像入力部２０６において未処理の画像が残っていないか判定し、残っていなければステップＳ９０８に進むが、処理対象の画像が存在する場合はステップＳ９０１に戻る。
【００８４】
ステップＳ９０８では、検索時の特徴量間の距離計算を行うために、線形判別分析を行って、判別用の空間の基底ベクトルを求める。線形判別分析は、特徴量のクラス分けを行ない、同一クラス内の特徴量間の距離とクラス間の距離の比が最大になるような判別空間の基底ベクトルを求めるものである。システムの目的に応じて、類似している顔とは同一人物の顔であるとか、類似している顔とは表情が似た顔であるなど、類似している顔を定義し、その定義に従ってクラス分けを行った上で線形判別分析を行なうことで、目的にあった機能が実現される。
【００８５】
判別空間への射影方法としては例えば、下記文献に記載されているような、非線形空間へ射影する技術も知られている。この詳細は下記文献に記載されているため、ここでは詳細な説明を省略する。
【００８６】
J.Lu,K.Plateniotis,and A.Venetsanopoulos;"Face recognition using kernel direct discriminant analysis algorithms"。 IEEE Transactions on Neural Networks,14(1),Jan.2003
本実施形態では、画像入力部２０６から入力された画像を対象に登録処理を行う例を示したが、本発明はこれに限るものではない。例えば、登録対象となる画像を所定のフォルダに格納し、そのフォルダを指定することによって、該フォルダ下にある画像ファイルを対象として登録処理を行っても良い。この場合、登録処理のプロセスとしては、対象フォルダが新しく追加された場合は全てのファイルを対象に処理するが、その後は、更新されたファイルのみを対象にすればよい。また、バックグラウンドプロセスとして起動しておき、対象フォルダの更新を監視しておくことも可能である。
【００８７】
・特徴抽出処理
以下、ステップＳ９０５に示した特徴抽出処理、すなわち、入力された顔画像に最も相関の高い合成顔モデルの合成パラメータを決定する処理について、図９のフローチャートを用いて詳細に説明する。
【００８８】
まずステップＳ１００１において、初期解像度を設定する。ここでは、解像度を８×８ピクセルに設定している。次にステップＳ１００２でループカウンタｎを１に初期化し、ステップＳ１００３で合成パラメータを初期設定する。初回では、平均的な形状とテクスチャとなるように、合成パラメータが設定される。そしてステップＳ１００４で、合成パラメータから上述した方法により顔画像を合成する。
【００８９】
次にステップＳ１００５に進み、ループカウンタｎが２以上であるか否かを判定する。２回目以上でない場合はステップＳ１００７に進み、２回目以上であればステップＳ１００６に進む。
【００９０】
ステップＳ１００６では、合成した顔が収束しているか否かを判定する。これは前回の合成顔からの差分が閾値以下であるか否かによって判定される。差分は各画素の輝度差の２乗和とし、これと解像度別に予め設定した所定の閾値とを比較して判定する。差分が閾値以下であれば収束していると判断され、この場合は近似失敗として処理を終了する。一方、差分が閾値よりも大きければ収束していないと判断され、ステップＳ１００７へ進む。
【００９１】
ステップＳ１００７では、入力画像の顔画像と合成された顔画像の差分ベクトルを求める。ここで、差分ベクトルは、入力画像と合成画像の対応する画素の輝度差であるが、ステップＳ７０７で記録したパラメータ更新テーブルを構築する際に求めた差分ベクトルの対応する解像度と同じ次元数すなわち画素数のものが必要である。そこで、差分画像は以下の式(12)に示すように、平均の顔形状にモーフィングしてステップＳ６０３と同じマスキングを行った画像として得る。
【００９２】
ΔＩrn = Ｍ(Ｉrs-Ｉrn,Ｓrn,ｓav)      ・・・(12)
式(12)において、Ｉrsは解像度ｒでの入力画像の顔画像、Ｉrnは解像度ｒ，ループカウンタｎでの合成された顔画像である。また、Ｓrnはループカウンタｎにおける顔特徴座標ベクトル、ｓavは平均座標値ベクトルである。
【００９３】
次にステップＳ１００８に進み、以下の式(13)によって差分Ｅが所定値以下であるかを判定する。なお、差分Ｅは差分ベクトルのＬ２ノルム（ユークリッド距離）である。
【００９４】
Ｅ = |ΔＩrn|      ・・・(13)
差分Ｅが所定の値以下であれば、入力画像に対して合成画像の近似が成功しているとしてステップＳ１０１２に進むが、そうでない場合はステップＳ１００９に進む。
【００９５】
ステップＳ１００９では、ループカウンタｎを評価し、所定回数（Ｌ回）の繰り返しがなされていたら近似失敗として終了する。所定回数以下の繰り返しであればステップＳ１０１０に進む。
【００９６】
ステップＳ１０１０では、以下の式(14)によって差分から合成パラメータ変更量への射影を行うことによって、合成パラメータを更新する。
【００９７】
ｂr(n+1) = ｂrn + ＡrΔＩrn      ・・・(14)
式(14)において、ｂrnは、解像度ｒ，ループカウンタｎの時の合成パラメータである。
【００９８】
その後、ステップＳ１０１１でループカウンタｎをインクリメントして、ステップＳ１００４に戻る。
【００９９】
一方、ステップＳ１００８で合成画像の近似が成功したと判定された場合にはステップＳ１０１２において、最終解像度に達しているか否かを判定する。ここで最終解像度は２５６×２５６ピクセルである。最終解像度であれば近似が成功したとして最終的な合成パラメータを特徴量として出力するが、最終解像度でなければステップＳ１０１３に進み、解像度を２倍に上げてステップＳ１００２に戻る。
【０１００】
本実施形態の特徴抽出処理においては、拘束条件情報３０３を課したために合成パラメータを変更しても合成した顔画像に変化がない場合が発生する。そこで、合成画像を評価して極所解での収束状態を検出し、収束状態から抜け出せるようにしている。
【０１０１】
なお、近似処理が失敗した場合にはステップＳ１００３での合成パラメータの設定値を新たな値に設定してリトライを行っても良い。新たな値の設定方法としては、簡単にはランダムに行なうことである。また、探索途中に得られる入力画像と相関の高い他のパラメータ候補や、遺伝的手法によって、変更パラメータでビット列を作って遺伝子とみなし、入力画像と相関の高かったパラメータのビット列を部分的に切り貼りしても良い。また、近似に残された時間や、リトライの数に応じて、ランダムに生成された合成パラメータと平均顔画像または前回の変更パラメータからの標準化ユークリッド距離での制限範囲を設定し、制限範囲内でランダムな合成パラメータに設定しても良い。
【０１０２】
また、複数の顔モデルを用意しておき、ある顔モデルでの近似が失敗した場合には、他のモデルでのリトライを行っても良い。
【０１０３】
・画像検索処理
以上のように抽出された特徴量すなわち合成パラメータに基づき、近似される合成画像を顔モデルから検索する。以下、本実施形態における画像検索処理を、図１０のフローチャートを用いて説明する。
【０１０４】
まずステップＳ１１０１で、画像入力部２０６からクエリ画像を入力する。もしくはＨＤＤ２０５内にある画像ファイルを指定してもよい。次にステップＳ１１０２に進み、当該クエリ画像には特徴量が存在するか否かを判定する。すなわち、すでに登録処理を済ませた画像であるか否かを判定する。特徴量が存在すればステップＳ１１０８に進む。
【０１０５】
一方、ステップＳ１１０２でクリエ画像に特徴量が存在しない、すなわち未登録画像であればステップＳ１１０３に進み、ステップＳ１１０７までの処理を行う。ここで、ステップＳ１１０３からステップＳ１１０６の処理については、上述した図８に示す画像登録処理におけるステップＳ９０２からステップＳ９０５と同様の処理をクエリ画像に対してかけるものである。したがって、ここでの詳細な説明は省略する。そして、ステップＳ１１０７において、ステップＳ１１０６で抽出した特徴量を判別空間へ線形射影する。
【０１０６】
そしてステップＳ１１０８およびステップＳ１１０９において、実質的な検索処理を行う。すなわち、まずステップＳ１１０８で判別空間上において、クエリ画像と検索対象の顔画像の特徴ベクトルについて、その差分ベクトルのＬ２ノルムを求め、これを距離とする。次にステップＳ１１０９において画像出力を行なう。例えば、検索対象画像をクエリ画像と距離の近い順に並べ替え、その縮小画像を一覧表示する。
【０１０７】
以上説明したように本実施形態によれば、近似対象となる画像の特徴量抽出を行う際に、合成画像の収束状態を検出して成功の見込みのないマッチングの実行を抑制することができる。これにより、無駄なマッチング処理を回避し、入力画像に対する近似コストを削減することができる。
【０１０８】
＜第２実施形態＞
以下、本発明に係る第２実施形態について説明する。
【０１０９】
上述した第１実施形態では、形状情報の多くをローカル座標系での相対的な座標などで表現する例を示したが、第２実施形態においては、これを従来のように各特徴点の顔座標系での座標値とする例を示す。
【０１１０】
第２実施形態における顔の特徴点の設定例を図１１に示す。ここで拘束条件を各特徴値のとりうる範囲とした場合、これはすなわち、Ｘ座標、Ｙ座標の最大最小値を定義することであり、特徴点を含む座標軸と平行な辺を含む短形の領域を示すことになる。そのため、評価条件としては緩いものとなってしまう。そこで第２実施形態においては、より効果的な評価条件を与える。
【０１１１】
第２実施形態における、形状情報を座標値とした場合の拘束条件情報の構築手順を、図１２のフローチャートを用いて説明する。
【０１１２】
まずステップＳ１３０１において、顔の各特徴点について、すべての顔サンプルの対応する特徴点集合の凸包領域を求める。次にステップＳ１２０２進み、顔の各特徴点について平均座標を中心として、対応する凸包領域を所定倍率拡大する。次にステップＳ１２０３に進み、凸包領域を顔の各特徴点と対応付けてＨＤＤ２０５に記録する。
【０１１３】
すると第２実施形態では、顔画像の合成を上述した第１実施形態と同様に図７に示す手順により行うが、ステップＳ８０３では合成される顔の各特徴点の座標が凸包領域内であるかを判定することによって、顔でない可能性を判定する。またステップＳ８０４では各特徴点の座標が凸包領域外に存在する場合、この点と平均的な特徴位置を結ぶ線と凸領域境界の交点の座標に変換する処理をすべての次元で行なうことによって、実在可能性のある顔に変換すればよい。
【０１１４】
なお、第２実施形態で示した凸領域は頂点数が不定の多角形であるが、これを四角形や楕円で近似すれば、処理コストを低減することも可能である。
【０１１５】
以上説明したように第２実施形態によれば、形状情報を顔座標系での座標値として扱っても、第１実施形態と同様の効果が得られる。
【０１１６】
＜第３実施形態＞
以下、本発明に係る第３実施形態について説明する。
【０１１７】
図１３は、第３実施形態における画像処理装置の構成を示すブロック図である。同図において、上述した第１実施形態に示す図１と共通する構成には同一番号を付し、説明を省略する。
【０１１８】
図１３によれば、第３実施形態においては本発明の特徴的なプログラムを記録したＤＶＤまたはＣＤのような光ディスク２１２およびそのインタフェースを構成として加えたことを特徴とする。すなわち、ドライブインタフェース２０４にＣＤ／ＤＶＤドライブなどの外部記憶読書装置２１３が接続されている。
【０１１９】
本発明の特徴的なプログラムを記録した光ディスク２１２を外部記憶読書装置２１３に挿入すると、ＣＰＵ２０１が光ディスク２１２から当該プログラムを読み取ってＲＡＭ２０３に展開する。これにより、上述した第１および第２実施形態と同様の処理を実現することができる。
【０１２０】
＜その他の実施形態＞
本発明は上述した第１乃至第３実施形態に限定されず、その主旨を逸脱しない範囲で種々の変形が可能である。以下、各種変形例を挙げる。
【０１２１】
・奥行き情報
各特徴点に奥行き情報を持たせても良い。この場合、形状情報の次元が特徴点数分増えることになるが、これは顔特徴を表す有意な情報であり、顔の向きの影響とは独立なモデルとなる。奥行き情報を持った特徴点により、物体を３次元上で仮想的に合成し、さらに視点や照明方法のパラメータにより画像化した場合は本発明の主旨の範囲内である。奥行き情報は、たとえば間隔を空けた２台の入力装置による三角法や、レーザー測距計によって取得可能である。
【０１２２】
・パラメータ更新テーブル
パラメータ更新テーブルの構築方法は第１実施形態に示した方法に限定されず、様々な変形が考えられる。例えば第１実施形態においては、ステップＳ７０１でランダムな合成パラメータを設定したが、これをサンプル顔画像から射影した合成パラメータとしてもよい。
【０１２３】
また、顔全体の多少の移動や拡大率、アスペクト比、回転などに対応可能とするために、合成パラメータの要素としてＸＹ移動量や拡大率、アスペクト比、回転などの新たな次元を追加しても良い。このとき特徴点として、対象となる物体における少なくとも２つの特徴点を基準にして拡大縮小、回転による正規化を行った画像上の座標情報を用いればよい。
【０１２４】
また、パラメータ更新テーブルは、第１合成パラメータの設定方法によって近似成功確率が変わってくる。そこで、近似成功確率を評価関数として、評価値の高いパラメータ更新テーブルを求めた時の第１合成パラメータの組を遺伝的手法などを用いて交配し、近似成功確率を高めていく手法をとることも有効である。
【０１２５】
・制限時間
上述した第１実施形態においては、図９のステップＳ１００９でループカウンタｎのみを評価していたが、それに加え、制限時間内か否かの評価を加えてもよい。すなわち、制限時間を越えていたら近似失敗として終了することが考えられる。
【０１２６】
・差分ベクトル
上述した第１実施形態では、合成した顔画像と入力画像中の顔画像の差分ベクトルを、平均顔形状の占める領域の各画素の輝度差として説明したが、本発明はそれに限定されるものではない。例えば、ＦＦＴやＤＣＴなどの周波数変換を行ない、各周波数成分における強度、位相情報を用いても良いし、オプティカルフローの手法を用いてもよい。また、平均顔形状の占める領域のすべての画素を利用することも限定しないが、一部の画素を利用することで入力画像の物体の一部が隠れていた場合のロバスト性が向上する。
【０１２７】
また、複数のガボールフィルタでコンボリュージョンを行ない、強度画像を用いてもよい。以下の式(15)に、ガボールフィルタＧ(x,ｙ)を示す。
【０１２８】
Ｇ(x,y) = exp[-π{(x-x0)2/A + (y-y0)2/B}]・exp[2πi{u(x-x0)+v(y-y0)}]
・・・(15)
ただし、iは虚数単位、x=0〜s-1，y=0〜s-1，x0=s/2，y0=s/2，Aは水平方向の影響範囲、Bは垂直方向の影響範囲である。また、tan-1(u/v)は波の方向、(u2+v2)1/2は周波数である。sはフィルタの縦横サイズであり、ここでは正方形としている。
【０１２９】
また、波の方向8方向、周波数5種類、水平垂直方向の影響範囲は周波数ごとに１種類の４０種類のフィルタを生成している。
【０１３０】
画像中の任意の位置でのフィルタ出力値は、フィルタと画像間のコンボリューションにより計算する。ガボールフィルタの場合は実数フィルタと虚数フィルタ（虚数フィルタは実数フィルタと半波長分位相がずれたフィルタ）が存在するため、それらの２乗平均値をフィルタ出力値とする。実数フィルタと画像間のコンボリューションがＲc，虚数フィルタとのコンボリューションがＩcであったとすると、出力値Ｐは以下の式(16)により算出される。
【０１３１】
Ｐ = (Ｒc2+Ｉc2)1/2          ・・・（16)
また、パラメータ更新テーブル構築中に得られる差分ベクトルのばらつきを主成分分析によって次元数を減らし、入力画像と合成画像の差分ベクトルも同じ射影を行って次元数を減らしもよい。各解像度において一定の次元の差ベクトルが得られるのならば、本発明の主旨の範囲内である。
【０１３２】
・拘束方法
主成分分析された部分空間上で表された合成パラメータのベクトルについて、多数の顔画像から各次元の分散を求め、各次元の分散が等しくなるように標準化を行った上で平均形状とのユークリッド距離を求め、これにより近似の正否を判定してもよい。ここで求めるユークリッド距離とは、パラメータの各要素の２乗誤差を要素の分散で除して和をとった標準化ユークリッド平方距離である。得られたユークリッド距離が所定の値以下であれば、入力画像に対して合成画像の近似が成功していると判定される。
【０１３３】
合成パラメータを実在可能性のある顔が得られるように変換するためには、図１４に示すように、標準化された形状ベクトルの各次元の値の絶対値が所定の範囲内に収まるようにする。すなわち、この範囲を狭めながらユークリッド距離が所定の値に収まったときの形状ベクトルを出力する。
【０１３４】
・ハイブリッド化
本発明を従来技術の前処理として組み合わせて利用することが可能である。例えば、本発明の画像処理装置によって変形した顔をＭＰＥＧ−７の特徴抽出手法に対する入力画像とすることが考えられる。この場合、出力される顔特徴記述子に合成パラメータを追加したものを顔の特徴量として併せたもの、またこれらの出力行列を部分空間法で射影した行列を、顔特徴としても良い。
【０１３５】
・顔画像以外への適用
また、上述した第１実施形態では類似画像検索を行うシステムを示したが、誰の顔かを判別する顔弁別システムや、判別空間を構築する際のクラス分けの基準によって性別や年齢を判別するシステムに本発明を実装することも容易である。
【０１３６】
また、本発明は顔以外の任意の物体に対しても適用可能である。たとえば、人体全身、生物、自動車などを対象とすることが考えられる。また、医療分野においてはＸ線写真やＣＴスキャン画像における骨や臓器などの位置同定、工業、流通分野などにおける工業生産物、部品、流通物品などの同定や検査などに適用できる。
【０１３７】
・その他
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記憶媒体(記録媒体)等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。複数の機器から構成されるシステムとしては、画像入力装置と画像蓄積装置が複合または接続されたものが考えられる。画像入力装置としては例えば、ビデオカメラ、デジタルカメラ、監視カメラなど各種ＣＣＤを利用したカメラやスキャナ、アナログ画像入力装置からＡＤ変換によりデジタル画像に変換された画像入力装置が挙げられる。画像蓄積装置としては例えば、外部ハードディスク、ビデオレコーダが挙げられる。このようなシステムにおいて、該システムを構成する全てまたはいずれかの機器に備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれる。
【０１３８】
尚本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される。なお、この場合のプログラムとは、実施形態において図に示したフローチャートに対応したプログラムである。
【０１３９】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１４０】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。
【０１４１】
プログラムを供給するための記録媒体としては、以下に示す媒体がある。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD-ROM、CD-R、CD-RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD-ROM，DVD-R)などである。
【０１４２】
プログラムの供給方法としては、以下に示す方法も可能である。すなわち、クライアントコンピュータのブラウザからインターネットのホームページに接続し、そこから本発明のコンピュータプログラムそのもの(又は圧縮され自動インストール機能を含むファイル)をハードディスク等の記録媒体にダウンロードする。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
【０１４３】
また、本発明のプログラムを暗号化してCD-ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせることも可能である。すなわち該ユーザは、その鍵情報を使用することによって暗号化されたプログラムを実行し、コンピュータにインストールさせることができる。
【０１４４】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０１４５】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、実行されることによっても、前述した実施形態の機能が実現される。すなわち、該プログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行うことが可能である。
【図面の簡単な説明】
【０１４６】
【図１】本発明に係る一実施形態である画像処理装置のハードウェア構成を示すブロック図である。
【図２】本実施形態における顔モデルの概要を示す図である。
【図３Ａ】本実施形態における顔の特徴点の設定方法を示す図である。
【図３Ｂ】本実施形態における顔の特徴点の設定方法を示す図である。
【図３Ｃ】本実施形態における顔の特徴点の設定方法を示す図である。
【図３Ｄ】本実施形態における顔の特徴点の設定方法を示す図である。
【図３Ｅ】本実施形態における顔の特徴点の設定方法を示す図である。
【図３Ｆ】本実施形態における顔の特徴点の設定方法を示す図である。
【図４】本実施形態における形状情報の構築手順を示すフローチャートである。
【図５】本実施形態におけるテクスチャ情報の構築手順を示すフローチャートである。
【図６】本実施形態におけるパラメータ更新テーブルの構築手順を示すフローチャートである。
【図７】本実施形態における顔画像の合成方法を示すフローチャートである。
【図８】本実施形態における画像登録処理を示すフローチャートである。
【図９】本実施形態における特徴抽出処理を示すフローチャートである。
【図１０】本実施形態における画像検索処理を示すフローチャートである。
【図１１】第２実施形態における顔の特徴点の設定方法を示す図である。
【図１２】第２実施形態における拘束条件情報の構築手順を示すフローチャートである。
【図１３】第３実施形態における画像処理装置のハードウェア構成を示す図である。
【図１４】合成パラメータを存在可能性のある顔に変換する際の概念図である。
【図１】
2007141106.tif 000003
【図２】
2007141106.tif 000004
【図３Ａ】
2007141106.tif 000005
【図３Ｂ】
2007141106.tif 000006
【図３Ｃ】
2007141106.tif 000007
【図３Ｄ】
2007141106.tif 000008
【図３Ｅ】
2007141106.tif 000009
【図３Ｆ】
2007141106.tif 000010
【図４】
2007141106.tif 000011
【図５】
2007141106.tif 000012
【図６】
2007141106.tif 000013
【図７】
2007141106.tif 000014
【図８】
2007141106.tif 000015
【図９】
2007141106.tif 000016
【図１０】
2007141106.tif 000017
【図１１】
2007141106.tif 000018
【図１２】
2007141106.tif 000019
【図１３】
2007141106.tif 000020
【図１４】
2007141106.tif 000021