(57)【要約】【課題】  撮影された顔画像を修正する際に、自然な顔の形に容易に修正することのできる画像処理プログラム、画像処理方法、画像処理装置及び記録媒体を提供する。【解決手段】  被写体の３Ｄモデルを生成する３Ｄモデル生成ステップと、被写体の撮影画像を被写体の３Ｄモデルの表面にマッピングするマッピングステップと、３Ｄモデルの形状を変形する変形ステップと、３Ｄモデルを表示する表示ステップと、変形ステップで変形した３Ｄモデルをマッピングステップで撮影画像をマッピングした方向に射影する射影ステップと、射影ステップで得られた２次元平面画像を処理結果画像とする修正画像獲得ステップとを備えた画像処理方法である【選択図】    図２
2006004158.tif 000002
【特許請求の範囲】
【請求項１】
被写体の撮影画像を修正する画像処理プログラムであって、
被写体の３Ｄモデルを生成する３Ｄモデル生成ステップと、
前記被写体の撮影画像を、前記被写体の３Ｄモデルの表面にマッピングするマッピングステップと、
前記３Ｄモデルを表示する表示ステップと、
前記３Ｄモデルの形状を変形する変形ステップと、
前記変形ステップで変形した３Ｄモデルを、前記マッピングステップで前記撮影画像をマッピングした方向に射影する射影ステップと、
前記射影ステップで得られた２次元平面画像を処理結果画像とする修正画像獲得ステップと、
をコンピュータに実行させるためのプログラム。
【請求項２】
前記被写体の３Ｄモデルのコピーを生成するコピーステップと、
前記コピーステップで生成した前記被写体の３Ｄモデルのコピーの表面に前記被写体の撮影画像をテクスチャーマッピングする第２のマッピングステップと、
前記変形ステップにおける前記被写体の３Ｄモデルの変形と同一の変形を前記コピーに施す第２の変形ステップとを有し、
前記表示ステップは、前記変形した３Ｄモデルと、前記変形したコピーとを表示することを特徴とする請求項１に記載の画像処理プログラム。
【請求項３】
前記表示ステップは、前記被写体の３Ｄモデルの観察位置を変更した表示が可能であることを特徴とする請求項１又は２に記載の画像処理プログラム。
【請求項４】
前記表示ステップは、前記被写体の３Ｄモデル又は当該３Ｄモデルのコピーを照明する照明位置を設定することが可能であることを特徴とする請求項１又は２に記載の画像処理プログラム。
【請求項５】
被写体の撮影画像を修正する画像処理プログラムを記録した記録媒体であって、
被写体の３Ｄモデルを生成する３Ｄモデル生成ステップと、
前記被写体の撮影画像を、前記被写体の３Ｄモデルの表面にマッピングするマッピングステップと、
前記３Ｄモデルを表示する表示ステップと、
前記３Ｄモデルの形状を変形する変形ステップと、
前記変形ステップで変形した３Ｄモデルを、前記マッピングステップで前記撮影画像をマッピングした方向に射影する射影ステップと、
前記射影ステップで得られた２次元平面画像を処理結果画像とする修正画像獲得ステップと、
をコンピュータに実行させるためのプログラムを記録した記録媒体。
【請求項６】
被写体の撮影画像を修正する画像処理方法であって、
被写体の３Ｄモデルを生成する３Ｄモデル生成ステップと、
前記被写体の撮影画像を、前記被写体の３Ｄモデルの表面にマッピングするマッピングステップと、
前記３Ｄモデルを表示する表示ステップと、
前記３Ｄモデルの形状を変形する変形ステップと、
前記変形ステップで変形した３Ｄモデルを、前記マッピングステップで前記撮影画像をマッピングした方向に射影する射影ステップと、
前記射影ステップで得られた２次元平面画像を処理結果画像とする修正画像獲得ステップと、
を備えたことを特徴とする画像処理方法。
【請求項７】
被写体の撮影画像を修正する画像処理装置であって、
被写体の３Ｄモデルを生成する３Ｄモデル生成手段と、
前記被写体の撮影画像を、前記被写体の３Ｄモデルの表面にマッピングするマッピング手段と、
前記３Ｄモデルを表示する表示手段と、
前記３Ｄモデルの形状を変形する変形手段と、
前記変形手段が変形した３Ｄモデルを、前記マッピング手段が前記撮影画像をマッピングした方向に射影する射影手段と、
前記射影手段で得られた２次元平面画像を処理結果画像とする修正画像獲得手段と
を備えたことを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関し、特に被写体の顔画像を自然に変形するための技術に関する。
【背景技術】
【０００２】
画像処理によって人間の顔を修正する種々の技術が知られている。特許文献１には、例えばある男性の顔画像とある女性の顔画像を用いて、自然で違和感のない子供の顔画像を合成する方法が開示されている。また、特許文献２には、例えば女性の顔画像を美人顔に修正する方法が開示されている。
【特許文献１】特開平９−６２８６５号公報
【特許文献２】特開平１０−２５５０６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、特許文献１あるいは特許文献２に記載の技術では、色を補完し、また、顔の表情などを変化させることができるが、その人物の顔をやせた顔あるいは太った顔に修正することはできない。もちろん、画像処理により顔の輪郭を変形することはできるが、変形された顔が当人の自然な顔とはならない場合が多い。
【０００４】
本発明は、かかる事情に鑑みてなされたものであり、撮影された顔画像を修正する際に、自然な顔の形に容易に修正することのできる画像処理プログラム、画像処理方法、画像処理装置及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するための、本発明に係る請求項１に記載の画像処理プログラムは、被写体の撮影画像を修正する画像処理プログラムであって、被写体の３Ｄモデルを生成する３Ｄモデル生成ステップと、前記被写体の撮影画像を、前記被写体の３Ｄモデルの表面にマッピングするマッピングステップと、前記３Ｄモデルを表示する表示ステップと、前記３Ｄモデルの形状を変形する変形ステップと、前記変形ステップで変形した３Ｄモデルを、前記マッピングステップで前記撮影画像をマッピングした方向に射影する射影ステップと、前記射影ステップで得られた２次元平面画像を処理結果画像とする修正画像獲得ステップと、をコンピュータに実行させる。
【０００６】
また、本発明に係る請求項２に記載の画像処理プログラムは、上記記載の発明である画像処理プログラムにおいて、前記被写体の３Ｄモデルのコピーを生成するコピーステップと、前記コピーステップで生成した前記被写体の３Ｄモデルのコピーの表面に前記被写体の撮影画像をテクスチャーマッピングする第２のマッピングステップと、前記変形ステップにおける前記被写体の３Ｄモデルの変形と同一の変形を前記コピーに施す第２の変形ステップとを有し、前記表示ステップは、前記変形した３Ｄモデルと、前記変形したコピーとを表示する。
【０００７】
また、本発明に係る請求項３に記載の画像処理プログラムは、上記記載の発明である画像処理プログラムにおいて、前記表示ステップは、前記被写体の３Ｄモデルの観察位置を変更した表示が可能である。
【０００８】
また、本発明に係る請求項４に記載の画像処理プログラムは、上記記載の発明である画像処理プログラムにおいて、前記表示ステップは、前記被写体の３Ｄモデル又は当該３Ｄモデルのコピーを照明する照明位置を設定することが可能である。
【０００９】
また、本発明に係る請求項５に記載の記録媒体は、被写体の撮影画像を修正する画像処理プログラムを記録した記録媒体であって、被写体の３Ｄモデルを生成する３Ｄモデル生成ステップと、前記被写体の撮影画像を、前記被写体の３Ｄモデルの表面にマッピングするマッピングステップと、前記３Ｄモデルを表示する表示ステップと、前記３Ｄモデルの形状を変形する変形ステップと、前記変形ステップで変形した３Ｄモデルを、前記マッピングステップで前記撮影画像をマッピングした方向に射影する射影ステップと、前記射影ステップで得られた２次元平面画像を処理結果画像とする修正画像獲得ステップと、をコンピュータに実行させるためのプログラムを記録した。
【００１０】
また、本発明に係る請求項６に記載の画像処理方法は、被写体の撮影画像を修正する画像処理方法であって、被写体の３Ｄモデルを生成する３Ｄモデル生成ステップと、前記被写体の撮影画像を、前記被写体の３Ｄモデルの表面にマッピングするマッピングステップと、前記３Ｄモデルを表示する表示ステップと、前記３Ｄモデルの形状を変形する変形ステップと、前記変形ステップで変形した３Ｄモデルを、前記マッピングステップで前記撮影画像をマッピングした方向に射影する射影ステップと、前記射影ステップで得られた２次元平面画像を処理結果画像とする修正画像獲得ステップと、を備えた。
【００１１】
また、本発明に係る請求項７に記載の画像処理装置は、被写体の撮影画像を修正する画像処理装置であって、被写体の３Ｄモデルを生成する３Ｄモデル生成手段と、前記被写体の撮影画像を、前記被写体の３Ｄモデルの表面にマッピングするマッピング手段と、前記３Ｄモデルを表示する表示手段と、前記３Ｄモデルの形状を変形する変形手段と、前記変形手段が変形した３Ｄモデルを、前記マッピング手段が前記撮影画像をマッピングした方向に射影する射影手段と、前記射影手段で得られた２次元平面画像を処理結果画像とする修正画像獲得手段とを備えた。
【発明の効果】
【００１２】
本発明によれば、撮影された顔画像を修正する際に、自然な顔の形に容易に修正することができる。
【発明を実施するための最良の形態】
【００１３】
［第１の実施の形態］
本発明の第１の実施の形態に係る画像処理方法では、２次元の顔画像を修正する際に、３次元の顔画像モデルを作成する。そして、その３次元モデルを修正して、その結果として２次元の修正顔画像を得る。以下、本方式に係る画像処理方法について説明する。
【００１４】
図１は、本発明の第１の実施の形態の画像処理方法が適用される画像処理装置１０の構成を示す図である。
【００１５】
画像処理装置１０は、表示部１１、操作入力部１２、通信インターフェース１３、一時メモリ１４、画像メモリ１５、プログラムメモリ１６、処理部１７及び３Ｄモデルメモリ１８を備えている。
【００１６】
表示部１１は、画像処理画面を表示するＣＲＴまたはＴＦＴ液晶ディスプレイである。操作入力部１２は、ユーザからの操作指示入力を受取るためのキーボード、マウス等の入力デバイスである。通信インターフェース１３は、外部装置との間で画像データなどの情報の授受を行う。
【００１７】
１時メモリ１４は、画像処理における中間データなどを保存するバッファメモリである。画像メモリ１５は、原画像を保存する。プログラムメモリ１６は、画像処理装置１０の各機能を制御するプログラムを保存する。処理部１７は、画像処理装置１０の動作を統括的に制御する。３Ｄモデルメモリ１８は、画像処理に用いる立体の顔モデル（以下、「３Ｄモデル」という）を記憶する。
【００１８】
図２は、本発明の第１の実施の形態に係る画像処理の概略の手順を示すフロー図である。
【００１９】
ユーザは、先ず画像処理を実行するための準備として、処理対象の人物について図２のステップＳ０１に示す３Ｄモデル生成処理（図３）を実行する。
【００２０】
図３のステップＴ０１において、３Ｄモデルの対象となる人物を周囲、例えば前後左右から撮影する。この撮影画像は、一時メモリ１４に保存される。
【００２１】
次に、ステップＴ０２において、３次元デジタイザ（不図示）を用いて、修正対象人物の３次元データを取り込む。３次元デジタイザは、実在する立体物（部品・模型・人体など）をスキャンして得られる３次元データを取り込む装置のことで、立体物の表面を接触してスキャンする方式、光を用いて立体物の表面を非接触でスキャンする方式等が知られている。３次元デジタイザからの３次元データは、通信インターフェース１３を介して画像処理装置１０内に取り込まれ、３Ｄモデルメモリ１８に保存される。
【００２２】
続いて、ステップＴ０３において、取り込んだ３次元データから３Ｄモデルを作成する。ところで、上述のようにして作成された３Ｄモデルは、立体物の形状のみを複製しているため、模様、色彩などは付されていない。そこで、ステップＴ０４において、一時メモリ１４に保存されている既に撮影済みの人物の顔画像をこの３Ｄモデルにテクスチャーマッピングする。そして、ステップＴ０５において、完成した３Ｄモデルを３Ｄモデルメモリ１８に保存してリターンする。
【００２３】
図２に戻り、ステップＳ０２〜Ｓ０３において、画像メモリ１５から修正しようとする対象画像を読み込み、その修正対象画像内の顔部分を切出す。顔部分の切出しは正確に顔の輪郭を切出す必要はなく、例えば図４に示すように、マウスを用いて顔部分を含む領域を大まかに指定するもので良い。
【００２４】
次に、ステップＳ０４〜Ｓ０５において、切出した顔部分が、作成した３Ｄモデルをどの方向から、どれだけ離れた距離から撮影したかを調べる。このため、切出した顔部分の画像と、３Ｄモデルとのパターンマッチングを行う。
【００２５】
図５、図６は、パターンマッチングの方法を説明する図である。まず、３Ｄモデルに対して複数の視点からの３Ｄモデル射影画像を得る。図５では、視点Ａ、Ｂ、Ｃから３Ｄモデル射影画像Ａ’、Ｂ’、Ｃ’が得られている。次に、図６に示すように、３Ｄモデル射影画像Ａ’、Ｂ’、Ｃ’の内、切出した顔部分の画像と良く一致する画像をパターンマッチングにより抽出する。図６では、３Ｄモデル射影画像Ａ’が切出した顔部分の画像と良く一致している。このパターンマッチングを繰り返して実行してその結果から、顔に対する撮影方向、撮影距離、フレームの回転角度を決定する。
【００２６】
そして、ステップＳ０６において、決定した顔に対する撮影方向、撮影距離、フレームの回転角度に基づいて、切出した顔部分の画像を３Ｄモデルにテクスチャーマッピングする。図７の（１）は、テクスチャーマッピングを示す上面図であり、図７の（２）は、テクスチャーマッピングを示す斜視図である。
【００２７】
続いて、ステップＳ０７に示す修正作業処理（図８）を実行する。この修正作業処理では、図９に示すように３ＤモデルＸと、その３ＤモデルＸのコピーに修正対象画像Ｚをテクスチャーマッピングした処理用３ＤモデルＹを用いる。なお、処理用３ＤモデルＹは、３ＤモデルＸが変形されると常に連動して変形する。
【００２８】
図８のステップＴ１１〜Ｔ１２において、表示部１１に３ＤモデルＸと処理用３ＤモデルＹを表示し、照明方向の調整を行う。
【００２９】
図１０は、照明位置調整画面を示す図である。画面の右には、３ＤモデルＸが表示され、画面の左には、処理用３ＤモデルＹを修正対象画像Ｚと同一方向から撮影した画像２０が表示される。画面の下に表示される照明位置ボタン２１を操作すると、照明を表わす太陽のマークとともに、この照明の照射方向を調整するための回転枠２５が表示される。照明は、この枠に設けられた直交する３軸を中心軸として３次元の空間中を回転させることができる。そして、照明の位置が変化すると、それに連動して画像２０に表示されたモデルの陰影も変形するが、モデルを撮影する方向、撮影距離、フレームの回転角度は変化しない。
【００３０】
図１１は、３Ｄモデルを修正するための画面を示す図である。画面の下に表示される修正ボタン２２を操作すると、３ＤモデルＸを囲む直方体枠２６と輪郭枠２７が表示される。
【００３１】
図８のステップＴ１３〜Ｔ１４において、直方体枠２６の頂点をドラッグすることで３ＤモデルＸを回転させて向きを変えることができる。なお、このとき照明位置もこの動きに連動して変化する。また、輪郭枠２７をドラッグすることにより３ＤモデルＸの輪郭を変形することができる。なお、このとき顔の陰影も変化する。
【００３２】
図８のステップＴ１５〜Ｔ１８において、３ＤモデルＸの変形に合せて処理用３ＤモデルＹを変形する。そして変形結果の処理用３ＤモデルＹを修正対象画像Ｚと同一方向から撮影した２次元の顔画像を生成する。そして、生成された２次元の顔画像と修正対象画像Ｚとを合成して、合成結果を画像２０に表示する。
【００３３】
修正を続ける場合（Ｔ１９  Ｙｅｓ）は、ステップＴ１３〜Ｔ１８を繰り返して実行し、修正を終える場合（Ｔ１９  Ｎｏ）は、終了ボタン２３を操作すると、ステップＴ２１において、修正結果画像を画像メモリ１５に保存してリターンする。
【００３４】
図２に戻り、ステップＳ０８において、修正結果の画像は、元の修正対象画像Ｚの修正画像として生成され、また表示部１１に大きく表示される。
【００３５】
［第２の実施の形態］
本発明に係る第２の実施の形態の画像処理方法では、３Ｄモデルの生成に複数撮像装置を用いた画像処理方式を適用している点が第１の実施の形態と異なっている。従って、第１の実施の形態と同一の部位には同一の符号を付してその詳細の説明を省略する。
【００３６】
図１２は、３Ｄモデル生成処理の手順を示すフロー図である。本フロー図は、図８に示す３Ｄモデル生成処理に替えて用いることができる。
【００３７】
図１２のステップＳ１１では、相互の位置関係が判明している基準点を含む背景と、撮影対象の人物の顔部を含む画像とを複数方向から撮影する。図１３には、基準点ａ，ｂ，ｃ，ｄ、被写体、撮像装置Ａ，Ｂ，Ｃの位置関係が表わされている。
【００３８】
ステップＳ１２〜Ｓ１４において、撮影された２次元画像を読み込み、その２次元画像中の基準点の位置を求める。図１４は、撮像装置で撮影された画像を示す図である。この画像中の基準点ａ，ｂ，ｃ，ｄの位置、その基準点同士の相対間隔は他の撮像装置で撮影されたものとは異なっている。これは、被写体を撮影する撮像装置の位置が異なっているためである。従って、撮影画像間での基準点の位置の相違に基づいて、三角測量の原理からそれぞれの撮像装置の位置を求めることができる。
【００３９】
ステップＳ１５〜Ｓ１７において、撮影画像の顔面の特徴点（例えば、目、鼻、口など）の位置をそれぞれの撮影画像について求める。そして、撮影画像間でのそれらの位置の相違に基づいて逆に顔面の特徴点の空間座標中の位置を決定する。次に、顔面の複数の特徴点座標を通る顔面を構成する曲面を貼り付けた３Ｄモデルを生成する。このようにして作成した３Ｄモデルは、立体物の形状のみを複製しているため、模様、色彩などは付されていない。そこで、ステップＳ１８において、既に撮影済みの被写体の画像をこの３Ｄモデルにテクスチャーマッピングする。そして、ステップＳ１９において、完成した３Ｄモデルを保存する。
【００４０】
［実施の形態の効果］
上述の第１及び第２の実施の形態によれば、３Ｄモデルを用いることにより、複数の２次元画像に対しても同様に修正することができるため別個の画像処理を行う必要がない。また、３Ｄモデルを使用することにより、輪郭の変形を自然且つ容易に行うことができる。また、３Ｄモデル修正作業時において、修正者は修正後の画像を直ちに見ることが可能となる。その結果、希望に沿った修正を行うことができる。
【００４１】
更に、第２の実施形態によれば、被写体を撮影した画像に基づいて３Ｄモデルを生成するため、別に３次元デジタイザを装備する必要がない。
【００４２】
なお、上述の実施の形態で説明した各機能は、ハードウエアを用いて構成しても良く、また、ソフトウエアを用いて各機能を記載したプログラムをコンピュータに読み込ませて実現しても良い。また、各機能は、適宜ソフトウエア、ハードウエアのいずれかを選択して構成するものであっても良い。
【００４３】
更に、各機能は図示しない記録媒体に格納したプログラムをコンピュータに読み込ませることで実現させることもできる。ここで本実施の形態における記録媒体は、プログラムを記録でき、かつコンピュータが読み取り可能な記録媒体であれば、その記録形式は何れの形態であってもよい。
【００４４】
なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【図面の簡単な説明】
【００４５】
【図１】本発明の第１の実施の形態の画像処理方法が適用される画像処理装置１０の構成を示す図。
【図２】画像処理の概略の手順を示すフロー図。
【図３】３Ｄモデル生成処理の手順を示すフロー図。
【図４】修正対象画像内の顔部分の切出しを示す図。
【図５】パターンマッチングの方法を説明する図。
【図６】パターンマッチングの方法を説明する図。
【図７】テクスチャーマッピングを示す図。
【図８】修正作業処理の手順を示すフロー図。
【図９】３Ｄモデルとそのコピーを示す図。
【図１０】照明位置調整画面を示す図。
【図１１】３Ｄモデルを修正する画面を示す図。
【図１２】３Ｄモデル生成処理の手順を示すフロー図。
【図１３】基準点、被写体、撮像装置の位置関係を示す図。
【図１４】撮像装置で撮影された画像を示す図。
【符号の説明】
【００４６】
１０…画像処理装置、１１…表示部、１２…操作入力部、１３…通信インターフェース、１４…一時メモリ、１７…処理部、１８…３Ｄモデルメモリ、２０…画像、２１…照明位置ボタン、２２…修正ボタン、２３…終了ボタン、２５…回転枠、２６…直方体枠、２７…輪郭枠。
【図１】
2006004158.tif 000003
【図２】
2006004158.tif 000004
【図３】
2006004158.tif 000005
【図４】
2006004158.tif 000006
【図５】
2006004158.tif 000007
【図６】
2006004158.tif 000008
【図７】
2006004158.tif 000009
【図８】
2006004158.tif 000010
【図９】
2006004158.tif 000011
【図１０】
2006004158.tif 000012
【図１１】
2006004158.tif 000013
【図１２】
2006004158.tif 000014
【図１３】
2006004158.tif 000015
【図１４】
2006004158.tif 000016