(57)【特許請求の範囲】
【請求項１】
顔が映っている顔画像から、その顔と異なる表情の顔の顔画像を生成するためのアニメーションデータを生成する画像処理装置において、
口を開いて目を細めている笑い顔の笑い顔画像から、眼球が露出している部分の境界である目境界、および、唇と口の内部との境界である口境界を検出する第１の目口検出手段と、
口を閉じて正面を見ている無表情の顔の無表情画像から、前記目境界および口境界を検出する第２の目口検出手段と、
前記笑い顔画像から、前記目境界の内部と、前記口境界の内部とを除去した顔のモデルである第１の皮膚モデルを生成する第１の皮膚モデル生成手段と、
前記無表情画像から、前記目境界の内部と、前記口境界の内部とを除去した顔のモデルである第２の皮膚モデルを生成する第２の皮膚モデル生成手段と、
前記笑い顔画像の口境界の内部を、前記口境界の内部のモデルである口内部モデルとして抽出することにより、前記口内部モデルを生成する口内部モデル生成手段と、
眼球の基準のモデルを、前記無表情画像に適応させることにより、眼球のモデルである眼球モデルを生成する眼球モデル生成手段と、
前記第１の皮膚モデルを、前記第１の皮膚モデルから前記第２の皮膚モデルに変形するための第１の変形パラメータを求める第１の変形パラメータ生成手段と、
前記第２の皮膚モデルを、前記第２の皮膚モデルから前記第１の皮膚モデルに変形するための第２の変形パラメータを求める第２の変形パラメータ生成手段と、
前記第１および第２の皮膚モデル、前記第１および第２の変形パラメータ、前記口内部モデル、並びに前記眼球モデルを、前記アニメーションデータとして出力する出力手段と
を備える画像処理装置。
【請求項２】
顔が笑い顔または無表情の顔のうちの一方から他方に変形していくときの変形の度合いを表す変形度を設定する変形度設定手段と、
前記第１の変形パラメータを用い、前記第１の皮膚モデルを、前記変形度に応じて変形した第１の変形皮膚モデルに変形する第１の皮膚モデル変形手段と、
前記第２の変形パラメータを用い、前記第２の皮膚モデルを、前記変形度に応じて変形した第２の変形皮膚モデルに変形する第２の皮膚モデル変形手段と、
前記変形度に応じて、前記第１の変形皮膚モデルと前記第２の変形皮膚モデルとを合成するときの合成の度合いを表す合成パラメータを設定する合成パラメータ設定手段と、
前記第１の変形皮膚モデルと前記第２の変形皮膚モデルとを、前記合成パラメータにしたがって合成皮膚モデルに合成する皮膚モデル合成手段と、
前記合成皮膚モデル、前記口内部モデル、および、前記眼球モデルを合成し、前記変形度に応じた表情の顔画像を生成する顔画像生成手段と
をさらに備える請求項１に記載の画像処理装置。
【請求項３】
前記変形度設定手段は、ユーザの操作に応じて、前記変形度を設定する
請求項２に記載の画像処理装置。
【請求項４】
顔が映っている顔画像から、その顔と異なる表情の顔の顔画像を生成するためのアニメーションデータを生成する画像処理装置の画像処理方法において、
前記画像処理装置が、
口を開いて目を細めている笑い顔の笑い顔画像から、眼球が露出している部分の境界である目境界、および、唇と口の内部との境界である口境界を検出し、
口を閉じて正面を見ている無表情の顔の無表情画像から、前記目境界および口境界を検出し、
前記笑い顔画像から、前記目境界の内部と、前記口境界の内部とを除去した顔のモデルである第１の皮膚モデルを生成し、
前記無表情画像から、前記目境界の内部と、前記口境界の内部とを除去した顔のモデルである第２の皮膚モデルを生成し、
前記笑い顔画像の口境界の内部を、前記口境界の内部のモデルである口内部モデルとして抽出することにより、前記口内部モデルを生成し、
眼球の基準のモデルを、前記無表情画像に適応させることにより、眼球のモデルである眼球モデルを生成し、
前記第１の皮膚モデルを、前記第１の皮膚モデルから前記第２の皮膚モデルに変形するための第１の変形パラメータを求め、
前記第２の皮膚モデルを、前記第２の皮膚モデルから前記第１の皮膚モデルに変形するための第２の変形パラメータを求め、
前記第１および第２の皮膚モデル、前記第１および第２の変形パラメータ、前記口内部モデル、並びに前記眼球モデルを、前記アニメーションデータとして出力する
ステップを含む画像処理方法。
【請求項５】
顔が映っている顔画像から、その顔と異なる表情の顔の顔画像を生成するためのアニメーションデータを生成する画像処理を、コンピュータに実行させるプログラムにおいて、
口を開いて目を細めている笑い顔の笑い顔画像から、眼球が露出している部分の境界である目境界、および、唇と口の内部との境界である口境界を検出する第１の目口検出手段と、
口を閉じて正面を見ている無表情の顔の無表情画像から、前記目境界および口境界を検出する第２の目口検出手段と、
前記笑い顔画像から、前記目境界の内部と、前記口境界の内部とを除去した顔のモデルである第１の皮膚モデルを生成する第１の皮膚モデル生成手段と、
前記無表情画像から、前記目境界の内部と、前記口境界の内部とを除去した顔のモデルである第２の皮膚モデルを生成する第２の皮膚モデル生成手段と、
前記笑い顔画像の口境界の内部を、前記口境界の内部のモデルである口内部モデルとして抽出することにより、前記口内部モデルを生成する口内部モデル生成手段と、
眼球の基準のモデルを、前記無表情画像に適応させることにより、眼球のモデルである眼球モデルを生成する眼球モデル生成手段と、
前記第１の皮膚モデルを、前記第１の皮膚モデルから前記第２の皮膚モデルに変形するための第１の変形パラメータを求める第１の変形パラメータ生成手段と、
前記第２の皮膚モデルを、前記第２の皮膚モデルから前記第１の皮膚モデルに変形するための第２の変形パラメータを求める第２の変形パラメータ生成手段と、
前記第１および第２の皮膚モデル、前記第１および第２の変形パラメータ、前記口内部モデル、並びに前記眼球モデルを、前記アニメーションデータとして出力する出力手段と
して、コンピュータを機能させるためのプログラム。
【請求項６】
顔画像を生成する画像処理装置において、
口を開いて目を細めている笑い顔の笑い顔画像から、眼球が露出している部分の境界である目境界の内部、および、唇と口の内部との境界である口境界の内部を除去した顔のモデルである第１の皮膚モデルと、
口を閉じて正面を見ている無表情の顔の無表情画像から、前記目境界の内部、および、前記口境界の内部を除去した顔のモデルである第２の皮膚モデルと、
前記笑い顔画像の口境界の内部を、前記口境界の内部のモデルである口内部モデルとして抽出することにより生成された前記口内部モデルと、
眼球の基準のモデルを、前記無表情画像に適応させることにより生成された眼球モデルと、
前記第１の皮膚モデルを、前記第１の皮膚モデルから前記第２の皮膚モデルに変形するための第１の変形パラメータと、
前記第２の皮膚モデルを、前記第２の皮膚モデルから前記第１の皮膚モデルに変形するための第２の変形パラメータと
を含むアニメーションデータを取得するデータ取得手段と、
顔が笑い顔または無表情の顔のうちの一方から他方に変形していくときの変形の度合いを表す変形度を設定する変形度設定手段と、
前記第１の変形パラメータを用い、前記第１の皮膚モデルを、前記変形度に応じて変形した第１の変形皮膚モデルに変形する第１の皮膚モデル変形手段と、
前記第２の変形パラメータを用い、前記第２の皮膚モデルを、前記変形度に応じて変形した第２の変形皮膚モデルに変形する第２の皮膚モデル変形手段と、
前記変形度に応じて、前記第１の変形皮膚モデルと前記第２の変形皮膚モデルとを合成するときの合成の度合いを表す合成パラメータを設定する合成パラメータ設定手段と、
前記第１の変形皮膚モデルと前記第２の変形皮膚モデルとを、前記合成パラメータにしたがって合成皮膚モデルに合成する皮膚モデル合成手段と、
前記合成皮膚モデル、前記口内部モデル、および、前記眼球モデルを合成し、前記変形度に応じた表情の顔画像を生成する顔画像生成手段と
を備える画像処理装置。
【請求項７】
前記変形度設定手段は、ユーザの操作に応じて、前記変形度を設定する
請求項６に記載の画像処理装置。
【請求項８】
前記変形度設定手段が、前記変形度を設定し、
前記合成パラメータ設定手段が、前記変形度に応じて、前記合成パラメータを設定し、
前記第１の皮膚モデル変形手段が、前記第１の皮膚モデルを、前記変形度に応じて変形した第１の変形皮膚モデルに変形し、
第２の皮膚モデル変形手段が、前記第２の皮膚モデルを、前記変形度に応じて変形した第２の変形皮膚モデルに変形し、
前記皮膚モデル合成手段が、前記第１の変形皮膚モデルと前記第２の変形皮膚モデルとを、前記合成パラメータにしたがって合成皮膚モデルに合成し、
前記顔画像生成手段が、前記合成皮膚モデル、前記口内部モデル、および、前記眼球モデルを合成し、前記変形度に応じた表情の顔画像を生成する
ことを繰り返す
請求項６に記載の画像処理装置。
【請求項９】
顔画像を生成する画像処理装置の画像処理方法において、
前記画像処理装置が、
口を開いて目を細めている笑い顔の笑い顔画像から、眼球が露出している部分の境界である目境界の内部、および、唇と口の内部との境界である口境界の内部を除去した顔のモデルである第１の皮膚モデルと、
口を閉じて正面を見ている無表情の顔の無表情画像から、前記目境界の内部、および、前記口境界の内部を除去した顔のモデルである第２の皮膚モデルと、
前記笑い顔画像の口境界の内部を、前記口境界の内部のモデルである口内部モデルとして抽出することにより生成された前記口内部モデルと、
眼球の基準のモデルを、前記無表情画像に適応させることにより生成された眼球モデルと、
前記第１の皮膚モデルを、前記第１の皮膚モデルから前記第２の皮膚モデルに変形するための第１の変形パラメータと、
前記第２の皮膚モデルを、前記第２の皮膚モデルから前記第１の皮膚モデルに変形するための第２の変形パラメータと
を含むアニメーションデータを取得し、
顔が笑い顔または無表情の顔のうちの一方から他方に変形していくときの変形の度合いを表す変形度を設定し、
前記第１の変形パラメータを用い、前記第１の皮膚モデルを、前記変形度に応じて変形した第１の変形皮膚モデルに変形し、
前記第２の変形パラメータを用い、前記第２の皮膚モデルを、前記変形度に応じて変形した第２の変形皮膚モデルに変形し、
前記変形度に応じて、前記第１の変形皮膚モデルと前記第２の変形皮膚モデルとを合成するときの合成の度合いを表す合成パラメータを設定し、
前記第１の変形皮膚モデルと前記第２の変形皮膚モデルとを、前記合成パラメータにしたがって合成皮膚モデルに合成し、
前記合成皮膚モデル、前記口内部モデル、および、前記眼球モデルを合成し、前記変形度に応じた表情の顔画像を生成する
ステップを含む画像処理方法。
【請求項１０】
顔画像を生成する画像処理を、コンピュータに実行させるプログラムにおいて、
口を開いて目を細めている笑い顔の笑い顔画像から、眼球が露出している部分の境界である目境界の内部、および、唇と口の内部との境界である口境界の内部を除去した顔のモデルである第１の皮膚モデルと、
口を閉じて正面を見ている無表情の顔の無表情画像から、前記目境界の内部、および、前記口境界の内部を除去した顔のモデルである第２の皮膚モデルと、
前記笑い顔画像の口境界の内部を、前記口境界の内部のモデルである口内部モデルとして抽出することにより生成された前記口内部モデルと、
眼球の基準のモデルを、前記無表情画像に適応させることにより生成された眼球モデルと、
前記第１の皮膚モデルを、前記第１の皮膚モデルから前記第２の皮膚モデルに変形するための第１の変形パラメータと、
前記第２の皮膚モデルを、前記第２の皮膚モデルから前記第１の皮膚モデルに変形するための第２の変形パラメータと
を含むアニメーションデータを取得するデータ取得手段と、
顔が笑い顔または無表情の顔のうちの一方から他方に変形していくときの変形の度合いを表す変形度を設定する変形度設定手段と、
前記第１の変形パラメータを用い、前記第１の皮膚モデルを、前記変形度に応じて変形した第１の変形皮膚モデルに変形する第１の皮膚モデル変形手段と、
前記第２の変形パラメータを用い、前記第２の皮膚モデルを、前記変形度に応じて変形した第２の変形皮膚モデルに変形する第２の皮膚モデル変形手段と、
前記変形度に応じて、前記第１の変形皮膚モデルと前記第２の変形皮膚モデルとを合成するときの合成の度合いを表す合成パラメータを設定する合成パラメータ設定手段と、
前記第１の変形皮膚モデルと前記第２の変形皮膚モデルとを、前記合成パラメータにしたがって合成皮膚モデルに合成する皮膚モデル合成手段と、
前記合成皮膚モデル、前記口内部モデル、および、前記眼球モデルを合成し、前記変形度に応じた表情の顔画像を生成する顔画像生成手段と
して、コンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法、並びに、プログラムに関し、特に、例えば、自然な顔画像を生成することができるようにする画像処理装置および画像処理方法、並びに、プログラムに関する。
【背景技術】
【０００２】
顔が映っている顔画像から、その顔と異なる表情の顔の顔画像を生成する技術として、例えば、モーフィング（例えば、特許文献１参照）がある。
【０００３】
モーフィングは、ある画像P1から別の画像P2に徐々に変化していく様子をアニメーション（動画）で表現するために、その変化の過程の、いわば中間を補うための画像（以下、適宜、中間画像という）を生成する技術であり、画像P1とP2それぞれに映っているものの形状の変形と、画像P1およびP2の合成(画素値の合成)とによって、中間画像が生成される。
【０００４】
モーフィングによれば、例えば、同一人物の無表情の顔が映っている顔画像である無表情画像と、笑い顔が映っている顔画像である笑い顔画像とを用いることによって、無表情の顔から笑い顔に滑らかに変化するアニメーションを実現することができる。
【０００５】
その他、モーフィングによれば、例えば、人間から人間以外の動物に滑らかに変化するアニメーションや、子供が大人に滑らかに変化するアニメーション、ある人が別の人に滑らかに変化するアニメーションなどを実現することができる。
【０００６】
【特許文献１】特開２００１−１７５８８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところで、モーフィングでは、画像P1上に制御点と呼ばれる点が設定されるとともに、画像P2上に、画像P1上に設定した制御点に対応する制御点が設定され、画像P1上に設定された制御点が、その制御点の位置から、画像P2上の対応する制御点の位置に滑らかに移動していく中間画像が生成される。
【０００８】
このため、画像P1には映っていないが、画像P2には映っている部分がある場合、その部分が徐々に現れてくる中間画像が生成され、その結果、例えば、同一人物の顔の表情が変化するアニメーションをモーフィングによって実現すると、本来変化しないはずの部分が変化する不自然な中間画像が生成されることがあった。
【０００９】
具体的には、例えば、画像P1が、口を閉じて正面を見ているような無表情の顔が映っている無表情画像であり、画像P2が、口を開いて目を細めている笑い顔が映っている笑い顔画像である場合、無表情画像には、歯が映っていないが、笑い顔画像には、歯が映っていることに起因して、歯が徐々に大きく、かつ白くなっていく不自然な中間画像が生成されることがあった。さらに、無表情画像と笑い顔画像とで、外部に露出している眼球の黒目の部分が異なっていることに起因して、黒目の形状が変化する不自然な中間画像が生成されることがあった。
【００１０】
本発明は、このような状況に鑑みてなされたものであり、自然な顔画像を生成することができるようにするものである。
【課題を解決するための手段】
【００１１】
本発明の第１の側面の画像処理装置、又は、プログラムは、顔が映っている顔画像から、その顔と異なる表情の顔の顔画像を生成するためのアニメーションデータを生成する画像処理装置において、口を開いて目を細めている笑い顔の笑い顔画像から、眼球が露出している部分の境界である目境界、および、唇と口の内部との境界である口境界を検出する第１の目口検出手段と、口を閉じて正面を見ている無表情の顔の無表情画像から、前記目境界および口境界を検出する第２の目口検出手段と、前記笑い顔画像から、前記目境界の内部と、前記口境界の内部とを除去した顔のモデルである第１の皮膚モデルを生成する第１の皮膚モデル生成手段と、前記無表情画像から、前記目境界の内部と、前記口境界の内部とを除去した顔のモデルである第２の皮膚モデルを生成する第２の皮膚モデル生成手段と、前記笑い顔画像の口境界の内部を、前記口境界の内部のモデルである口内部モデルとして抽出することにより、前記口内部モデルを生成する口内部モデル生成手段と、眼球の基準のモデルを、前記無表情画像に適応させることにより、眼球のモデルである眼球モデルを生成する眼球モデル生成手段と、前記第１の皮膚モデルを、前記第１の皮膚モデルから前記第２の皮膚モデルに変形するための第１の変形パラメータを求める第１の変形パラメータ生成手段と、前記第２の皮膚モデルを、前記第２の皮膚モデルから前記第１の皮膚モデルに変形するための第２の変形パラメータを求める第２の変形パラメータ生成手段と、前記第１および第２の皮膚モデル、前記第１および第２の変形パラメータ、前記口内部モデル、並びに前記眼球モデルを、前記アニメーションデータとして出力する出力手段とを備える画像処理装置、又は、画像処理装置として、コンピュータを機能させるためのプログラムである。
【００１２】
本発明の第１の側面の画像処理方法は、顔が映っている顔画像から、その顔と異なる表情の顔の顔画像を生成するためのアニメーションデータを生成する画像処理装置の画像処理方法において、前記画像処理装置が、口を開いて目を細めている笑い顔の笑い顔画像から、眼球が露出している部分の境界である目境界、および、唇と口の内部との境界である口境界を検出し、口を閉じて正面を見ている無表情の顔の無表情画像から、前記目境界および口境界を検出し、前記笑い顔画像から、前記目境界の内部と、前記口境界の内部とを除去した顔のモデルである第１の皮膚モデルを生成し、前記無表情画像から、前記目境界の内部と、前記口境界の内部とを除去した顔のモデルである第２の皮膚モデルを生成し、前記笑い顔画像の口境界の内部を、前記口境界の内部のモデルである口内部モデルとして抽出することにより、前記口内部モデルを生成し、眼球の基準のモデルを、前記無表情画像に適応させることにより、眼球のモデルである眼球モデルを生成し、前記第１の皮膚モデルを、前記第１の皮膚モデルから前記第２の皮膚モデルに変形するための第１の変形パラメータを求め、前記第２の皮膚モデルを、前記第２の皮膚モデルから前記第１の皮膚モデルに変形するための第２の変形パラメータを求め、前記第１および第２の皮膚モデル、前記第１および第２の変形パラメータ、前記口内部モデル、並びに前記眼球モデルを、前記アニメーションデータとして出力するステップを含む画像処理方法である。
【００１３】
以上のような第１の側面においては、口を開いて目を細めている笑い顔の笑い顔画像から、眼球が露出している部分の境界である目境界、および、唇と口の内部との境界である口境界が検出されるとともに、口を閉じて正面を見ている無表情の顔の無表情画像から、前記目境界および口境界が検出される。また、前記笑い顔画像から、前記目境界の内部と、前記口境界の内部とを除去した顔のモデルである第１の皮膚モデルが生成されるとともに、前記無表情画像から、前記目境界の内部と、前記口境界の内部とを除去した顔のモデルである第２の皮膚モデルが生成される。さらに、前記笑い顔画像の口境界の内部を、前記口境界の内部のモデルである口内部モデルとして抽出することにより、前記口内部モデルが生成されるとともに、眼球の基準のモデルを、前記無表情画像に適応させることにより、眼球のモデルである眼球モデルが生成される。また、前記第１の皮膚モデルを、前記第１の皮膚モデルから前記第２の皮膚モデルに変形するための第１の変形パラメータが求められるとともに、前記第２の皮膚モデルを、前記第２の皮膚モデルから前記第１の皮膚モデルに変形するための第２の変形パラメータが求められる。そして、前記第１および第２の皮膚モデル、前記第１および第２の変形パラメータ、前記口内部モデル、並びに前記眼球モデルが、前記アニメーションデータとして出力される。
【００１４】
本発明の第２の側面の画像処理装置、又は、プログラムは、顔画像を生成する画像処理装置において、口を開いて目を細めている笑い顔の笑い顔画像から、眼球が露出している部分の境界である目境界の内部、および、唇と口の内部との境界である口境界の内部を除去した顔のモデルである第１の皮膚モデルと、口を閉じて正面を見ている無表情の顔の無表情画像から、前記目境界の内部、および、前記口境界の内部を除去した顔のモデルである第２の皮膚モデルと、前記笑い顔画像の口境界の内部を、前記口境界の内部のモデルである口内部モデルとして抽出することにより生成された前記口内部モデルと、眼球の基準のモデルを、前記無表情画像に適応させることにより生成された眼球モデルと、前記第１の皮膚モデルを、前記第１の皮膚モデルから前記第２の皮膚モデルに変形するための第１の変形パラメータと、前記第２の皮膚モデルを、前記第２の皮膚モデルから前記第１の皮膚モデルに変形するための第２の変形パラメータとを含むアニメーションデータを取得するデータ取得手段と、顔が笑い顔または無表情の顔のうちの一方から他方に変形していくときの変形の度合いを表す変形度を設定する変形度設定手段と、前記第１の変形パラメータを用い、前記第１の皮膚モデルを、前記変形度に応じて変形した第１の変形皮膚モデルに変形する第１の皮膚モデル変形手段と、前記第２の変形パラメータを用い、前記第２の皮膚モデルを、前記変形度に応じて変形した第２の変形皮膚モデルに変形する第２の皮膚モデル変形手段と、前記変形度に応じて、前記第１の変形皮膚モデルと前記第２の変形皮膚モデルとを合成するときの合成の度合いを表す合成パラメータを設定する合成パラメータ設定手段と、前記第１の変形皮膚モデルと前記第２の変形皮膚モデルとを、前記合成パラメータにしたがって合成皮膚モデルに合成する皮膚モデル合成手段と、前記合成皮膚モデル、前記口内部モデル、および、前記眼球モデルを合成し、前記変形度に応じた表情の顔画像を生成する顔画像生成手段とを備える画像処理装置、又は、画像処理装置として、コンピュータを機能させるためのプログラムである。
【００１５】
本発明の第２の側面の画像処理方法は、顔画像を生成する画像処理装置の画像処理方法において、前記画像処理装置が、口を開いて目を細めている笑い顔の笑い顔画像から、眼球が露出している部分の境界である目境界の内部、および、唇と口の内部との境界である口境界の内部を除去した顔のモデルである第１の皮膚モデルと、口を閉じて正面を見ている無表情の顔の無表情画像から、前記目境界の内部、および、前記口境界の内部を除去した顔のモデルである第２の皮膚モデルと、前記笑い顔画像の口境界の内部を、前記口境界の内部のモデルである口内部モデルとして抽出することにより生成された前記口内部モデルと、眼球の基準のモデルを、前記無表情画像に適応させることにより生成された眼球モデルと、前記第１の皮膚モデルを、前記第１の皮膚モデルから前記第２の皮膚モデルに変形するための第１の変形パラメータと、前記第２の皮膚モデルを、前記第２の皮膚モデルから前記第１の皮膚モデルに変形するための第２の変形パラメータとを含むアニメーションデータを取得し、顔が笑い顔または無表情の顔のうちの一方から他方に変形していくときの変形の度合いを表す変形度を設定し、前記第１の変形パラメータを用い、前記第１の皮膚モデルを、前記変形度に応じて変形した第１の変形皮膚モデルに変形し、前記第２の変形パラメータを用い、前記第２の皮膚モデルを、前記変形度に応じて変形した第２の変形皮膚モデルに変形し、前記変形度に応じて、前記第１の変形皮膚モデルと前記第２の変形皮膚モデルとを合成するときの合成の度合いを表す合成パラメータを設定し、前記第１の変形皮膚モデルと前記第２の変形皮膚モデルとを、前記合成パラメータにしたがって合成皮膚モデルに合成し、前記合成皮膚モデル、前記口内部モデル、および、前記眼球モデルを合成し、前記変形度に応じた表情の顔画像を生成するステップを含む画像処理方法である。
【００１６】
以上のような第２の側面においては、口を開いて目を細めている笑い顔の笑い顔画像から、眼球が露出している部分の境界である目境界の内部、および、唇と口の内部との境界である口境界の内部を除去した顔のモデルである第１の皮膚モデルと、口を閉じて正面を見ている無表情の顔の無表情画像から、前記目境界の内部、および、前記口境界の内部を除去した顔のモデルである第２の皮膚モデルと、前記笑い顔画像の口境界の内部を、前記口境界の内部のモデルである口内部モデルとして抽出することにより生成された前記口内部モデルと、眼球の基準のモデルを、前記無表情画像に適応させることにより生成された眼球モデルと、前記第１の皮膚モデルを、前記第１の皮膚モデルから前記第２の皮膚モデルに変形するための第１の変形パラメータと、前記第２の皮膚モデルを、前記第２の皮膚モデルから前記第１の皮膚モデルに変形するための第２の変形パラメータとを含むアニメーションデータが取得され、顔が笑い顔または無表情の顔のうちの一方から他方に変形していくときの変形の度合いを表す変形度が設定される。さらに、前記第１の変形パラメータを用い、前記第１の皮膚モデルが、前記変形度に応じて変形した第１の変形皮膚モデルに変形されるとともに、前記第２の変形パラメータを用い、前記第２の皮膚モデルが、前記変形度に応じて変形した第２の変形皮膚モデルに変形され、前記変形度に応じて、前記第１の変形皮膚モデルと前記第２の変形皮膚モデルとを合成するときの合成の度合いを表す合成パラメータが設定される。そして、前記第１の変形皮膚モデルと前記第２の変形皮膚モデルとが、前記合成パラメータにしたがって合成皮膚モデルに合成され、前記合成皮膚モデル、前記口内部モデル、および、前記眼球モデルが合成されて、前記変形度に応じた表情の顔画像が生成される。
【発明の効果】
【００１９】
本発明によれば、自然な顔画像を生成することができる。
【発明を実施するための最良の形態】
【００２６】
以下、図面を参照して、本発明の実施の形態について説明する。
【００２７】
図１は、本発明を適用した画像処理装置を実現するコンピュータのハードウェアの構成例を示している。
【００２８】
コンピュータは、CPU１０２を内蔵している。CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、また、CPU１０２は、ハードディスク１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたプログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。これにより、CPU１０２は、後述するフローチャートにしたがった処理、あるいは後述するブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【００２９】
CPU１０２に実行させるプログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やＲＯＭ１０３に予め記録しておくことができる。
【００３０】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【００３１】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、例えば、NIC（Network Interface Card）や、IEEE（Institute of Electrical and Electronics Engineers）1394またはUSB（Universal Serial Bus）に準拠したインタフェースである通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。
【００３２】
図１の実施の形態においては、コンピュータ（CPU１０２）が、ハードディスク１０５にインストールされている（アプリケーション）プログラムを実行することにより、例えば、人などの顔が表示された（映っている）画像である顔画像から、その顔と異なる表情の顔の顔画像を生成するためのアニメーションデータを生成する処理（アニメーションデータ生成処理）と、そのアニメーションデータを用いて、顔画像を生成する処理（顔画像生成処理）とを行う画像処理装置として機能する。
【００３３】
即ち、図２は、図１のコンピュータがプログラムを実行することによって等価的に実現される画像処理装置の一実施の形態の構成例を示している。
【００３４】
画像データ記憶部１２１には、人の顔が写っている顔画像（の画像データ）が供給される。画像データ記憶部１２１は、例えば、図１のRAM１０４や、ハードディスク１０５、リムーバブル記憶媒体１１１に相当し、そこに供給される、複数枚としての、例えば、２枚の顔画像（の画像データ）を一時記憶する。
【００３５】
なお、画像データ記憶部１２１に記憶させる顔画像は、例えば、ディジタル（スチル）カメラで撮影した画像や、写真をスキャナでスキャンして得られる画像などを、通信部１０８を介して取り込むことができる。
【００３６】
また、ここでは、画像データ記憶部１２１に記憶される、複数枚としての２枚の顔画像は、例えば、同一人物の表情が異なる顔の画像であるとする。即ち、画像データ記憶部１２１に記憶される２枚の顔画像のうちの１枚目の顔画像（第１の顔画像）は、例えば、笑っている表情（第１の表情）の顔画像（以下、適宜、笑い顔画像という）であり、２枚目の顔画像（第２の顔画像）は、笑っている表情とは異なる、例えば、無表情（第２の表情）の顔画像（以下、適宜、無表情画像という）であるとする。
【００３７】
但し、画像データ記憶部１２１に記憶される２枚の顔画像は、笑い顔画像と無表情画像との組み合わせに限定されるものではない。即ち、画像データ記憶部１２１に記憶される２枚の顔画像の組み合わせとしては、例えば、笑い顔画像と、怒っている表情の顔画像との組み合わせや、無表情画像と、泣いている表情の顔画像との組み合わせ、その他、任意の表情（第１の表情）の顔画像と、その表情とは異なる表情（第２の表情）の顔画像との組み合わせを採用することができる。
【００３８】
ここで、画像データ記憶部１２１に記憶される２枚の顔画像としての笑い顔画像と無表情画像とは、説明を簡単にするために、明るさや色、大きさ等が既に正規化された画像であるとする。明るさや色、大きさ等を正規化する方法としては、任意の方法を採用することができる。
【００３９】
アニメーションデータ生成部１２２は、画像データ記憶部１２１に記憶された笑い顔画像と無表情画像の画像データを読み出し、その画像データを用いて、無表情の顔から笑い顔（笑い顔から無表情の顔）に変化していく過程の中間を補う、無表情画像および笑い顔画像の顔のいずれの表情とも異なる表情の顔画像である中間画像を生成するための(生成するのに用いられる)アニメーションデータを生成し、アニメーションデータ記憶部１２３に供給する。
【００４０】
アニメーションデータ記憶部１２３は、アニメーションデータ生成部１２２から供給されるアニメーションデータを記憶する。
【００４１】
なお、アニメーションデータ記憶部１２３は、例えば、図１のRAM１０４や、ハードディスク１０５、リムーバブル記憶媒体１１１に相当する。
【００４２】
また、アニメーションデータは、アニメーションデータ記憶部１２３としての図１のRAM１０４や、ハードディスク１０５、リムーバブル記憶媒体１１１に記憶した後、図１のコンピュータでさらに処理することもできるし、通信部１０８から、インターネット等のネットワークを介して、別のコンピュータに転送し、その別のコンピュータで処理することもできる。
【００４３】
操作部１２４は、ユーザによって操作され、その操作に対応した操作信号を、アニメーション処理部１２５に供給する。なお、操作部１２４は、図１の入力部１０７に相当する。
【００４４】
アニメーション処理部１２５は、アニメーションデータ記憶部１２３に記憶されたアニメーションデータを読み出すことにより取得し、そのアニメーションデータを用い、例えば、操作部１２４からの操作信号に応じた顔画像（の画像データ）を生成して、表示部１２６に供給する。なお、アニメーション処理部１２５では、別のコンピュータから転送されてくるアニメーションデータを、通信部１０８を介して受信することにより取得することもできる。
【００４５】
表示部１２６は、例えば、CRT(Cathode Ray Tube)やLCD、などで構成され、アニメーション処理部１２５から供給される顔画像を表示する。なお、表示部１２６は、図１の出力部１０６に相当する。
【００４６】
以上のように構成される画像処理装置では、アニメーションデータ生成部１２２が、画像データ記憶部１２１に記憶された笑い顔画像と無表情画像の画像データを読み出し、その画像データを用いて、アニメーションデータを生成し、アニメーションデータ記憶部１２３に供給して記憶させる。そして、アニメーション処理部１２５が、アニメーションデータ記憶部１２３に記憶されたアニメーションデータを用い、例えば、操作部１２４からの操作信号に応じた顔画像を生成して、表示部１２６に供給して表示させる。
【００４７】
なお、図２において、画像データ記憶部１２１、アニメーションデータ生成部１２２、およびアニメーションデータ記憶部１２３は、笑い顔画像と無表情画像の画像データを用いてアニメーションデータを生成するアニメーションデータ生成装置を構成する。また、図２において、アニメーションデータ記憶部１２３およびアニメーション処理部１２５は、アニメーションデータから顔画像の画像データを生成する画像生成装置を構成する。図２においては、アニメーションデータ生成装置と画像生成装置とを１つの画像処理装置として構成してあるが、アニメーションデータ生成装置と画像生成装置とは、それぞれ、別の独立した装置として構成することが可能である。
【００４８】
次に、図３は、図２のアニメーションデータ生成部１２２の構成例を示している。
【００４９】
目口検出部１３１Ａは、画像データ記憶部１２１に記憶されている笑い顔画像から、眼球が露出している部分の境界である目境界、および、唇と口の内部との境界である口境界を検出し、笑い顔画像とともに、皮膚モデル生成部１３２Ａと口内部モデル生成部１３４に供給する。
【００５０】
目口検出部１３１Ｂは、画像データ記憶部１２１に記憶されている無表情画像から、目境界および口境界を検出し、無表情画像とともに、皮膚モデル生成部１３２Ｂと眼球モデル生成部１３６に供給する。
【００５１】
皮膚モデル生成部１３２Ａは、目口検出部１３１Ａから供給される笑い顔画像から、同じく目口検出部１３１Ａから供給される目境界と口境界それぞれの内部を除去し、これにより、笑い顔画像から目境界の内部と口境界の内部とを除去した顔の２次元のモデル（画像）である笑い顔皮膚モデル（第１の皮膚モデル）を生成して、変形パラメータ生成部１３３Ａと１３３Ｂに供給する。
【００５２】
即ち、皮膚モデル生成部１３２Ａは、笑い顔画像において変形する対象を、顔の表面部分（皮膚）に制限するために、顔の皮膚より奥側にある顔の構造物である眼球と口の内部（歯や、歯茎、舌など）とを、笑い顔画像から分離し、笑い顔画像から目境界の内部と口境界の内部とを除去した顔のモデルである笑い顔皮膚モデルを生成して、変形パラメータ生成部１３３Ａと１３３Ｂに供給する。
【００５３】
皮膚モデル１３２Ｂも、皮膚モデル生成部１３２Ａと同様に、目口検出部１３１Ｂから供給される無表情画像から、同じく目口検出部１３１Ｂから供給される目境界と口境界それぞれの内部を除去し、これにより、無表情画像から目境界の内部と口境界の内部とを除去した顔の２次元のモデルである無表情皮膚モデル（第２の皮膚モデル）を生成して、変形パラメータ生成部１３３Ａと１３３Ｂに供給する。
【００５４】
変形パラメータ生成部１３３Ａは、皮膚モデル生成部１３２Ａから供給される笑い顔皮膚モデルと、皮膚モデル生成部１３２Ｂから供給される無表情皮膚モデルとを用い、笑い顔皮膚モデルを、笑い顔皮膚モデルから無表情皮膚モデルに変形するための笑い顔変形パラメータ（第１の変形パラメータ）を求め、笑い顔皮膚モデルとともに、出力制御部１３７に供給する。
【００５５】
変形パラメータ生成部１３３Ｂは、皮膚モデル生成部１３２Ａから供給される笑い顔皮膚モデルと、皮膚モデル生成部１３２Ｂから供給される無表情皮膚モデルとを用い、無表情皮膚モデルを、無表情皮膚モデルから笑い顔皮膚モデルに変形するための無表情変形パラメータ（第２の変形パラメータ）を求め、無表情皮膚モデルとともに、出力制御部１３７に供給する。
【００５６】
口内部モデル生成部１３４は、目口検出部１３１Ａからの笑い顔画像と口境界とを用い、笑い顔画像（および無表情画像に映っている人物）の口境界の内部の２次元のモデルである口内部モデルを生成し、出力制御部１３７に供給する。即ち、口内部モデル生成部１３４は、例えば、笑い顔画像の口境界の内部を、口内部モデルとして抽出することにより、口内部モデルを生成し、出力制御部１３７に供給する。
【００５７】
基準眼球モデル記憶部１３５は、眼球の基準のモデル（画像）である基準眼球モデルを記憶している。
【００５８】
眼球モデル生成部１３６は、目口検出部１３１Ｂからの無表情画像と目境界とを用い、無表情画像（および笑い顔画像に映っている人物）の眼球の２次元のモデルである眼球モデルを生成して、出力制御部１３７に供給する。
【００５９】
即ち、眼球モデル生成部１３６は、例えば、基準眼球モデル記憶部１３５に記憶されている基準眼球モデルを、無表情画像に適応させることにより、眼球モデルを生成する。具体的には、眼球モデル生成部１３６は、目口検出部１３１Ｂからの無表情画像と目境界とから、無表情画像（に映っている人物）の左右の眼球それぞれの黒目を認識し、その左右の眼球それぞれの黒目どうしの間の距離や、黒目の大きさに一致するように、基準眼球モデルを調整（変形）する。さらに、眼球モデル生成部１３６は、変形後の基準眼球モデルの黒目を、無表情画像から認識した黒目に置換し、その黒目の置換後の基準眼球モデルを、無表情画像の眼球モデルとして、出力制御部１３７に供給する。
【００６０】
ここで、画像データ記憶部１２１に記憶された笑い顔画像と無表情画像とにおいて、例えば、顔の大きさが一致していない（正規化されていない）場合には、眼球モデル生成部１３６で認識される黒目に基づき、笑い顔画像を拡大縮小等する処理をして、笑い顔画像に映っている顔と、無表情画像に映っている顔との大きさを一致させることが可能である。
【００６１】
出力制御部１３７は、変形パラメータ生成部１３３Ａからの笑い顔皮膚モデルと笑い顔変形パラメータ、変形パラメータ生成部１３３Ｂからの無表情皮膚モデルと無表情変形パラメータ、口内部モデル生成部１３４からの口内部モデル、および、眼球モデル生成部１３６からの眼球モデルを、アニメーションデータとして出力して、アニメーションデータ記憶部１２３に記憶させる。
【００６２】
次に、図４は、画像データ記憶部１２１に記憶される無表情画像と笑い顔画像それぞれの画像データの例を示している。
【００６３】
無表情画像（図４左側）と笑い顔画像（図４右側）それぞれの画像データは、例えば、いわゆるRGBα形式のデータで、画素値として、R(Red),G(Green),B(Blue)の各値（RGB値）と、α値とを有している。α値は、画像を、他の画像と合成（ブレンディング）するときに用いられるパラメータで、例えば、０から１までの範囲の実数値をとる。例えば、無表情画像または笑い顔画像のRGB値をVAL1RGBと表すとともに、無表情画像または笑い顔画像と合成する他の画像のRGB値をVAL2RGBと表すこととすると、合成結果のRGB値VALRGBは、式VALRGB＝α×VAL1RGB＋（１−α）×VAL2RGBで表される。
【００６４】
なお、無表情画像と笑い顔画像それぞれのα値は、例えば、いずれも、画像データ記憶部１２１に記憶された段階では、１になっている。
【００６５】
次に、図５を参照して、図３の目口検出部１３１Ａと１３１Ｂの処理について、さらに説明する。
【００６６】
図５上から１番目と２番目は、画像データ記憶部１２１（図３）に記憶された笑い顔画像を、模式的に示しており、図５上から３番目と４番目は、画像データ記憶部１２１に記憶された無表情画像を、模式的に示している。
【００６７】
図５上から１番目と２番目の笑い顔画像は、口を開いて目を細め、正面を見ている笑い顔の画像となっており、図５上から３番目と４番目の無表情画像は、口を閉じて正面を見すえている無表情の顔の画像となっている。
【００６８】
目口検出部１３１Ａは、図５上から１番目に示すように、笑い顔画像から、眼球が露出している部分の目境界（眼球とまぶたとの境界）を検出するとともに、図５上から２番目に示すように、唇と口の内部との口境界（上唇の下側の境界と、下唇の上側の境界とで囲まれる範囲の境界）を検出する。
【００６９】
同様に、目口検出部１３１Ｂも、図５上から３番目に示すように、無表情画像から、眼球が露出している部分の目境界（眼球とまぶたとの境界）を検出するとともに、図５上から４番目に示すように、唇と口の内部との口境界（上唇の下側の境界と、下唇の上側の境界とで囲まれる範囲の境界）を検出する。
【００７０】
なお、笑い顔画像は、目を細めた顔の画像であるため、笑い顔画像から検出される目境界（図５上から１番目）は、無表情画像から検出される目境界（図５上から３番目）よりも、やや細くなっている（つぶれている）。
【００７１】
また、笑い顔画像は、口を開いた画像であるから、図５上から２番目に示すように、その開いている部分を囲む口境界が検出される。一方、無表情画像は、口を閉じた画像であるから、上唇の下側の境界と、下唇の上側の境界とが一致するため、図５上から４番目に示すように、直線的な口境界が検出される。
【００７２】
ここで、図６乃至図９に、実際の画像から検出された目境界と口境界を示す。
【００７３】
即ち、図６は、実際の笑い顔画像から検出された目境界を示している。図７は、実際の笑い顔画像から検出された口境界を示している。また、図８は、実際の無表情画像から検出された目境界を示しており、図９は、実際の無表情画像から検出された口境界を示している。
【００７４】
次に、図１０を参照して、図３の皮膚モデル生成部１３２Ａと１３２Ｂの処理について、さらに説明する。
【００７５】
図１０は、皮膚モデル生成部１３２Ａで生成される笑い顔皮膚モデル（図１０右側）と、皮膚モデル生成部１３２Ｂで生成される無表情皮膚モデル（図１０左側）とを示している。
【００７６】
図４で説明したように、笑い顔画像と無表情画像の画像データは、RGB値とα値とを有している。皮膚モデル生成部１３２Ａは、目口検出部１３１Ａ（図３）から供給される笑い顔画像のα値（画像データ記憶部１２１（図３）に記憶された段階では、図４で説明したように、すべての画素で１になっている）のうちの、目口検出部１３１Ａから供給される口境界と目境界の内部の画素のα値を１から０に変更し、その変更後のα値を、RGB値とともに、笑い顔皮膚モデルのデータとする。
【００７７】
同様に、皮膚モデル生成部１３２Ｂも、目口検出部１３１Ｂ（図３）から供給される無表情画像のα値のうちの、目口検出部１３１Ｂから供給される口境界と目境界の内部の画素のα値を１から０に変更し、その変更後のα値を、RGB値とともに、無表情皮膚モデルのデータとする。
【００７８】
ここで、以下、適宜、笑い顔皮膚モデルと無表情皮膚モデルとを、まとめて、単に、皮膚モデルという。また、皮膚モデルのデータである各画素の画素値としてのRGB値とα値とを、まとめて、RGBα値ともいう。
【００７９】
図１０右側の上から２番目は、笑い顔皮膚モデルのデータとしてのRGB値とα値のうちのRGB値を示しており、図１０右側の上から３番目は、笑い顔皮膚モデルのデータとしてのRGB値とα値のうちのα値を示している。例えば、いま、α値が０の画素を描画しないこととすると（例えば、RGB値を０とすると）、図１０右側の上から１番目に示すような、目境界の内部と口境界の内部とがない（RGB値が０である）笑い顔画像を得ることができる。従って、笑い顔皮膚モデルは、実質的に、笑い顔画像から、その目境界と口境界それぞれの内部を除去したものである。
【００８０】
また、図１０左側の上から２番目は、無表情皮膚モデルのデータとしてのRGB値とα値のうちのRGB値を示しており、図１０左側の上から３番目は、無表情皮膚モデルのデータとしてのRGB値とα値のうちのα値を示している。例えば、いま、α値が０の画素を描画しないこととすると、図１０左側の上から１番目に示すような、目境界の内部と口境界の内部とがない無表情画像を得ることができる。従って、無表情皮膚モデルは、実質的に、無表情画像から、その目境界と口境界それぞれの内部を除去したものである。但し、ここでは、無表情画像の口境界は、図１０で説明したように直線上であるため、内部は存在しない。
【００８１】
なお、図１０上から３番目では、α値が０の部分を黒塗りにして示してある。但し、図１０上から３番目においては、図を分かりやすくするために、顔の眉毛や、花、唇の輪郭等を、黒色の線で示してあるが、この黒色の線は、０のα値を表すものではない。
【００８２】
また、図１０上から３番目では、顔の輪郭の外側の背景部分のα値も０としてある。
【００８３】
次に、図１１乃至図１４を参照して、図３の変形パラメータ生成部１３３Ａと１３３Ｂの処理について、さらに説明する。
【００８４】
変形パラメータ生成部１３３Ａは、皮膚モデル生成部１３２Ａから供給される笑い顔皮膚モデルと、皮膚モデル生成部１３２Ｂから供給される無表情皮膚モデルとを用い、笑い顔皮膚モデルを、図１１に示すように、笑い顔皮膚モデルから無表情皮膚モデルに連続的に変形するための笑い顔変形パラメータを求める。
【００８５】
同様に、変形パラメータ生成部１３３Ｂも、皮膚モデル生成部１３２Ａから供給される笑い顔皮膚モデルと、皮膚モデル生成部１３２Ｂから供給される無表情皮膚モデルとを用い、無表情皮膚モデルを、図１２に示すように、無表情皮膚モデルから笑い顔皮膚モデルに連続的に変形するための無表情変形パラメータを求める。
【００８６】
ここで、以下、適宜、笑い顔変形パラメータと無表情変形パラメータとを、まとめて、単に、変形パラメータという。
【００８７】
笑い顔皮膚モデルから無表情皮膚モデルに連続的に変形する手法、および無表情皮膚モデルから笑い顔皮膚モデルに連続的に変形する手法としては、顔の表情生成の原理に基づいた変形手法を採用することにより、簡潔な制御で実際の顔の動きに近い変形を行うことができる。顔の表情生成の原理に基づく変形手法としては、例えば、図１３に示すように、表情筋が伸縮する方向（図１３において矢印で示す方向）や、その伸縮が影響する顔の範囲である影響範囲（図１３において楕円形状に囲んである範囲）を考慮した変形手法があり、かかる変形手法によれば、わずかな制御パラメータで複雑で自然な変形を実現することができる。表情筋が伸縮する方向や、影響範囲は、例えば、ユーザ（オペレータ）が、入力部１０７（図１）を操作して指定することができる。
【００８８】
なお、例えば、無表情皮膚モデルを連続的に変形して、最終的に、正確な笑い顔皮膚モデルを得ることができる場合、笑い顔皮膚モデルから無表情皮膚モデルへの変形は、無表情皮膚モデルから笑い顔皮膚モデルへの変形の逆の変形（逆変形）で代用することができる。
【００８９】
また、無表情皮膚モデルから笑い顔皮膚モデルへの変形(笑い顔皮膚モデルから無表情皮膚モデルへの変形も同様)は、その他、例えば、モーフィングによって行うこともできる。
【００９０】
無表情皮膚モデルから笑い顔皮膚モデルへの変形の手法として、モーフィングを採用する場合、変形パラメータ生成部１３３Ａは、図１４左側に示すように、無表情皮膚モデルとしての画像上に、制御点と呼ばれる点を複数設定するとともに、笑い顔皮膚モデルとしての画像上に、図１４右側に示すように、無表情皮膚モデルに設定した制御点に対応する制御点（以下、適宜、対応点ともいう）を設定する(求める)。
【００９１】
ここで、図１４左側は、無表情皮膚モデルに設定された複数の制御点のうちの、１つの制御点A1に注目し、その制御点A1と、制御点A1から距離が近い順の２つの制御点A2とA3を示している。また、図１４右側は、制御点A1,A2,A3それぞれに対して、笑い顔皮膚モデルに設定された対応点B1,B2,B3を示している。
【００９２】
なお、図１４では、i=1,2,3として、制御点Aiの(x,y)座標を、(xai,yai)と表すとともに、対応点Biの(x,y)座標を、(xbi,ybi)と表してある。
【００９３】
無表情皮膚モデルから笑い顔皮膚モデルへの変形を、モーフィングによって行う場合において、無表情皮膚モデルから笑い顔皮膚モデルに変形していくときの無表情皮膚モデルの変形の度合い（または、笑い顔皮膚モデルから無表情モデルに変形していくときの笑い顔皮膚モデルの変形の度合い）を表す変形度をvで表すこととする。また、変形度vは、例えば、０から１までの範囲の実数値をとり、変形度vが０である場合は、無表情皮膚モデルを変形していない状態を表し、変形度vが１である場合は、無表情皮膚モデルが、完全に、笑い顔皮膚モデルにまで変形された状態を表すこととする。
【００９４】
この場合、無表情皮膚モデルを、変形度vが表す程度だけ変形した状態の制御点Aiの座標(xvi,yvi)は、例えば、式(xvi,yvi)=(1-v)×(xai,yai)＋v×(xbi,ybi)で表すことができる。
【００９５】
また、制御点A1,A2,A3をそれぞれ頂点とする三角形A1A2A3内の任意の点Anの(x,y)座標を、(xan,yan)と表し、制御点A1と点Anとを通る直線A1Anが、制御点A2とA3とを結ぶ線分A2A3と交わる点を、点Aと表すこととする。
【００９６】
さらに、点Anが、制御点A1と点Aとを結ぶ線分A1Aを、r1:r2の比に内分し、点Aが、線分A2A3を、r3:r4の比に内分することとする。
【００９７】
また、制御点A2とA3とのそれぞれの対応点B2とB3とを結ぶ線分B2B3を、r3:r4の比に内分する点を、点Bとするとともに、制御点A1の対応点B1と点Bとを結ぶ線分B1Bを、r1:r2の比に内分する点を、点Bnとし、点Bnの(x,y)座標を、(xbn,ybn)と表すこととする。
【００９８】
この場合、無表情皮膚モデルを、変形度vが表す程度だけ変形した状態の点Anの座標(xvn,yvn)は、例えば、式(xvn,yvn)=(1-v)×(xan,yan)＋v×(xbn,ybn)で表すことができる。
【００９９】
点Bnの座標(xbn,ybn)は、制御点A1,A2,A3と、それぞれの対応点B1,B2,B3との座標から求めることができるから、三角形A1A2A3上の任意の点（線分A1A2,A2A3,A3A1上の点を含む）については、制御点A1,A2,A3と、それぞれの対応点B1,B2,B3との座標があれば、無表情皮膚モデルを変形度vが表す程度だけ変形した状態の座標を求めることができる。
【０１００】
従って、この場合、変形パラメータ生成部１３３Ｂでは、制御点A1,A2,A3と、それぞれの対応点B1,B2,B3との座標が、無表情皮膚モデルから笑い顔皮膚モデルに連続的に変形するための無表情変形パラメータとして求められる。
【０１０１】
なお、無表情皮膚モデルを変形度vが表す程度だけ変形した状態は、笑い顔皮膚モデルを変形度1-vが表す程度だけ変形した状態に対応する。そして、笑い顔皮膚モデル上の点である、三角形B1B2B3上の任意の点についても、制御点A1,A2,A3と、それぞれの対応点B1,B2,B3との座標があれば、笑い顔皮膚モデルを変形度1-vが表す程度だけ変形した状態の座標を求めることができる。
【０１０２】
従って、この場合、変形パラメータ生成部１３３Ａでは、制御点A1,A2,A3と、それぞれの対応点B1,B2,B3との座標が、笑い顔皮膚モデルから笑い無表情皮膚モデルに連続的に変形するための笑い顔変形パラメータとして求められることになり、この笑い顔変形パラメータと、変形パラメータ生成部１３３Ｂで求められる無表情変形パラメータとは、一致することになる。
【０１０３】
次に、図１５は、図３の口内部モデル生成部１３４で得られる口内部モデルを示している。
【０１０４】
口内部モデル生成部１３４では、目口検出部１３１Ａ（図３）から供給される笑い顔画像から、同じく目口検出部１３１Ａから供給される口境界の内部に表示されている、図１５に示すような歯や歯茎などが、口内部モデルとして抽出される。
【０１０５】
次に、図１６は、図３の眼球モデル生成部１３６で生成される眼球モデルを示している。
【０１０６】
眼球モデル生成部１３６では、目口検出部１３１Ｂからの無表情画像と目境界とから、無表情画像の左右の眼球それぞれの黒目が認識され、その左右の眼球それぞれの黒目どうしの間の距離や、黒目の大きさに一致するように、基準眼球モデルが変形される。そして、眼球モデル生成部１３６では、変形後の基準眼球モデルの黒目が、無表情画像等から認識された黒目に置換され、これにより、図１６に示すような眼球モデルが生成される。
【０１０７】
次に、図１７は、図３の出力制御部１３７が出力するアニメーションパラメータを模式的に示している。
【０１０８】
出力制御部１３７は、図１７に示すように、変形パラメータ生成部１３３Ａから供給されるの笑い顔皮膚モデルと笑い顔変形パラメータ、変形パラメータ生成部１３３Ｂから供給される無表情皮膚モデルと無表情変形パラメータ、口内部モデル生成部１３４から供給される口内部モデル、および、眼球モデル生成部１３６からの眼球モデルとを含むアニメーションデータを出力する。
【０１０９】
次に、図１８のフローチャートを参照して、図３のアニメーションデータ生成部１２２が行うアニメーションデータ生成処理について説明する。
【０１１０】
まず最初に、ステップＳ１１において、画像データ記憶部１２１に記憶されている顔画像から、目境界と口境界とが検出され、ステップＳ１２に進む。
【０１１１】
即ち、ステップＳ１１では、目口検出部１３１Ａが、ステップＳ１１1として、画像データ記憶部１２１に記憶されている笑い顔画像から目境界および口境界を検出し、笑い顔画像とともに、皮膚モデル生成部１３２Ａと口内部モデル生成部１３４に供給する。
【０１１２】
さらに、ステップＳ１１では、目口検出部１３１Ｂが、ステップＳ１１2として、画像データ記憶部１２１に記憶されている無表情画像から、目境界および口境界を検出し、無表情画像とともに、皮膚モデル生成部１３２Ｂと眼球モデル生成部１３６に供給する。
【０１１３】
ステップＳ１２では、顔画像から、目境界の内部と口境界の内部とを除去した皮膚モデルが生成され、ステップＳ１３に進む。
【０１１４】
即ち、ステップＳ１２では、皮膚モデル生成部１３２Ａが、ステップＳ１２1として、目口検出部１３１Ａから供給された笑い顔画像から、同じく目口検出部１３１Ａから供給された目境界と口境界それぞれの内部を除去し、これにより、笑い顔画像から目境界の内部と口境界の内部とを除去した笑い顔皮膚モデルを生成して、変形パラメータ生成部１３３Ａと１３３Ｂに供給する。
【０１１５】
さらに、ステップＳ１２では、皮膚モデル生成部１３２Ｂが、ステップＳ１２2として、目口検出部１３１Ｂから供給された無表情画像から、同じく目口検出部１３１Ｂから供給された目境界と口境界それぞれの内部を除去し、これにより、無表情画像から目境界の内部と口境界の内部とを除去した無表情皮膚モデルを生成して、変形パラメータ生成部１３３Ａと１３３Ｂに供給する。
【０１１６】
ステップＳ１３では、口内部モデルと眼球モデルが生成され、ステップＳ１４に進む。
【０１１７】
即ち、ステップＳ１３では、口内部モデル生成部１３４が、ステップＳ１３1として、目口検出部１３１Ａから供給された笑い顔画像と口境界とを用い、笑い顔画像の口境界の内部の口内部モデルを生成し、出力制御部１３７に供給する。
【０１１８】
また、ステップＳ１３では、眼球モデル生成部１３６が、ステップＳ１３2として、目口検出部１３１Ｂからの無表情画像と目境界とから、無表情画像の左右の眼球それぞれの黒目（位置と大きさ）を認識（検出）し、ステップＳ１３3に進む。ステップＳ１３3では、眼球モデル生成部１３６が、無表情画像の左右の眼球それぞれの黒目に適応するように、基準眼球モデル記憶部１３５に記憶された基準眼球モデルを変形し、さらに、その変形後の基準眼球モデルの黒目を、無表情画像から認識した黒目に置換することにより、眼球モデルを生成して、出力制御部１３７に供給する。
【０１１９】
ステップＳ１４では、変形パラメータが生成され、ステップＳ１５に進む。
【０１２０】
即ち、ステップＳ１４では、変形パラメータ生成部１３３Ａが、ステップＳ１４1として、皮膚モデル生成部１３２Ａから供給された笑い顔皮膚モデルと、皮膚モデル生成部１３２Ｂから供給された無表情皮膚モデルとを用い、笑い顔皮膚モデルを、笑い顔皮膚モデルから無表情皮膚モデルに変形するための笑い顔変形パラメータを求め、笑い顔皮膚モデルとともに、出力制御部１３７に供給する。
【０１２１】
さらに、ステップＳ１４では、変形パラメータ生成部１３３Ｂが、ステップＳ１４2として、皮膚モデル生成部１３２Ａから供給された笑い顔皮膚モデルと、皮膚モデル生成部１３２Ｂから供給された無表情皮膚モデルとを用い、無表情皮膚モデルを、無表情皮膚モデルから笑い顔皮膚モデルに変形するための無表情変形パラメータを求め、無表情皮膚モデルとともに、出力制御部１３７に供給する。
【０１２２】
ステップＳ１５では、出力制御部１３７が、変形パラメータ生成部１３３Ａからの笑い顔皮膚モデルと笑い顔変形パラメータ、変形パラメータ生成部１３３Ｂからの無表情皮膚モデルと無表情変形パラメータ、口内部モデル生成部１３４からの口内部モデル、および、眼球モデル生成部１３６からの眼球モデルを、アニメーションデータとして出力して、アニメーションデータ記憶部１２３に記憶させ、アニメーションデータ生成処理が終了する。
【０１２３】
以上のように、アニメーションデータ生成部１２２では、顔の皮膚より奥側にあり、顔の表情が変化しただけでは形状が変化しない眼球と口の内部（歯や、歯茎、舌など）とを、顔画像（笑い顔画像と無表情画像）から分離し、顔画像から目境界の内部と口境界の内部とを除去した皮膚モデル、その皮膚モデルを変形するための変形パラメータ、眼球モデル、および口内部モデルが、アニメーションデータとして得られるので、そのアニメーションデータを用いて顔画像を生成することにより、顔の表情が変化しただけでは形状が変化しない眼球や口の内部の形状が変化するような不自然な顔画像のアニメーションとなることを防止することができる。
【０１２４】
次に、図１９は、図２のアニメーション処理部１２５の構成例を示している。
【０１２５】
データ取得部１５０は、アニメーションデータ記憶部１２３に記憶されたアニメーションデータとしての笑い顔皮膚モデルと笑い顔変形パラメータ、無表情皮膚モデルと無表情変形パラメータ、口内部モデル、および、眼球モデルを読み出すことにより取得し、笑い顔皮膚モデルと笑い顔変形パラメータを皮膚モデル変形部１５２Ａに、無表情皮膚モデルと無表情変形パラメータを皮膚モデル変形部１５２Ｂに、口内部モデルと眼球モデルを顔画像生成部１５５に、それぞれ供給する。なお、データ取得部１５０は、その他、インターネット等のネットワークを介してアニメーションデータを受信することにより取得することができる。
【０１２６】
変形度設定部１５１は、笑い顔画像（無表情顔画像）に映っている顔が、笑い顔または無表情のうちの一方から他方に変形していくときの変形の度合いを表す変形度vを設定し、皮膚モデル変形部１５２Ａと１５２Ｂ、および合成パラメータ設定部１５３に供給する。
【０１２７】
即ち、変形度設定部１５１は、例えば、操作部１２４から供給される操作信号に応じて、変形度vを、０から１までの範囲内の実数値に設定する。
【０１２８】
ここで、変形度設定部１５１が設定する変形度vは、例えば、図１４で説明したように、無表情の顔に対応する無表情皮膚モデルから、笑い顔に対応する笑い顔皮膚モデルに変形していくときの無表情皮膚モデルの変形の度合いを表すこととする。
【０１２９】
この場合、例えば、変形度v=０は、無表情皮膚モデルから笑い顔皮膚モデルへの連続的な変形の過程における無表情皮膚モデル（に対応する表情である無表情）の状態を表し、また、例えば、変形度v=１は、笑い顔皮膚モデル（に対応する表情である笑い顔）の状態を表す。さらに、例えば、変形度v=0.5は、無表情皮膚モデルから笑い顔皮膚モデルへの連続的な変形の過程における、いわば、ちょうど真ん中の状態を表す。
【０１３０】
なお、変形度設定部１５１では、操作部１２４から供給される操作信号に応じて、変形度vを設定する他、例えば、周期的に、所定のステップ幅で増加または減少するように、変形度vを設定すること、即ち、例えば、所定のステップ幅を0.1などとして、0,0.1,0.2,・・・,1,0.9,0.8・・・や、0,0.1,0.2,・・・,1,0,0.1,0.2,・・・のように、変形度vを設定することが可能である。
【０１３１】
皮膚モデル変形部１５２Ａは、データ取得部１５０から供給される笑い顔変形パラメータ（第１の変形パラメータ）を用い、同じくデータ取得部１５０から供給される笑い顔皮膚モデル（第１の皮膚モデル）を、変形度設定部１５１から供給される変形度vに応じて変形した笑い顔変形皮膚モデル（第１の変形皮膚モデル）に変形し、その笑い顔変形皮膚モデルを、皮膚モデル合成部１５４に供給する。
【０１３２】
即ち、例えば、変形の手法として、図１４で説明したモーフィングが採用されていることとし、図１４の制御点Aiに対する対応点Biに注目すると、皮膚モデル変形部１５２Ａは、笑い顔皮膚モデル上の対応点Biを、例えば、式(xBvi,yBvi)=v×(xbi,ybi)+(1-v)×(xai,yai)で表される座標(xBvi,yBvi)の点に移動することにより、笑い顔皮膚モデルを変形度vに応じて変形した笑い顔変形皮膚モデルを求める。
【０１３３】
なお、上述の式(xBvi,yBvi)=v×(xbi,ybi)+(1-v)×(xai,yai)において、対応点Biの座標(xbi,ybi)と、制御点Aiの座標(xai,yai)とが、笑い顔変形パラメータである。
【０１３４】
また、対応点Biを、座標(xBvi,yBvi)の点に移動するとは、対応点Biの画素値としてのRGBα値を、座標(xBvi,yBvi)の点の画素値とすることを意味する。
【０１３５】
皮膚モデル変形部１５２Ｂも、皮膚モデル変形部１５２Ａと同様に、データ取得部１５０から供給される無表情変形パラメータ（第２の変形パラメータ）を用い、同じくデータ取得部１５０から供給される無表情皮膚モデル（第２の皮膚モデル）を、変形度設定部１５１から供給される変形度vに応じて変形した無表情変形皮膚モデル（第２の変形皮膚モデル）に変形し、その無表情変形皮膚モデルを、皮膚モデル合成部１５４に供給する。
【０１３６】
即ち、例えば、変形の手法として、図１４で説明したモーフィングが採用されていることとし、図１４の制御点Aiに注目すると、皮膚モデル変形部１５２Ｂは、無表情皮膚モデル上の制御点Aiを、例えば、式(xAvi,yAvi)=(1-v)×(xai,yai)+v×(xbi,ybi)で表される座標(xAvi,yAvi)の点に移動することにより、無表情皮膚モデルを変形度vに応じて変形した無表情変形皮膚モデルを求める。
【０１３７】
合成パラメータ設定部１５３は、変形度設定部１５１から供給される変形度vに応じて、皮膚モデル変形部１５２Ａで得られる笑い顔変形皮膚モデルと、皮膚モデル変形部１５２Ｂで得られる無表情変形皮膚モデルとを合成するときの合成の度合いを表す合成パラメータβを設定し、皮膚モデル合成部１５４に供給する。即ち、合成パラメータ設定部１５３は、例えば、変形度vを、そのまま、合成パラメータβに設定し、皮膚モデル合成部１５４に供給する。
【０１３８】
ここで、合成パラメータ設定部１５３では、その他、例えば、0から1までの範囲の引数vに対して、０から１までの範囲を滑らかに単調増加する非線形関数f(v)を、変形度vを引数として演算し、その演算結果を、合成パラメータβに設定することができる。
【０１３９】
なお、合成パラメータβは、変形度vが０と１の場合には、それぞれ変形度vと一致するように設定するのが望ましい。
【０１４０】
皮膚モデル合成部１５４は、皮膚モデル変形部１５２Ａから供給される笑い顔変形皮膚モデルと、皮膚モデル変形部１５２Ｂから供給される無表情変形皮膚モデルとを、合成パラメータ設定部１５３から供給される合成パラメータにしたがって合成し、その結果得られる合成皮膚モデルを、顔画像生成部１５５に供給する。
【０１４１】
即ち、笑い顔変形皮膚モデルとしての画像の座標(x,y)の画素の画素値をpa(x,y)と表すとともに、無表情変形皮膚モデルとしての画像の座標(x,y)の画素の画素値をpb(x,y)と表すこととすると、皮膚モデル合成部１５４は、合成皮膚モデルとしての画像の座標(x,y)の画素の画素値p(x,y)を、例えば、式p(x,y)＝β×pa(x,y)＋(1-β)×pb(x,y)にしたがって求める。なお、画素値p(x,y)としては、R,G,B値のそれぞれと、α値とが求められる。
【０１４２】
顔画像生成部１５５は、皮膚モデル合成部１５４から供給される合成皮膚モデル、並びに、データ取得部１５０から供給される眼球モデルおよび口内部モデルを合成し、変形度vに応じた表情の顔画像（中間画像）を生成して、表示部１２６に供給する。
【０１４３】
即ち、顔画像生成部１５５は、合成皮膚モデルとしての画像と、眼球モデルまたは口内部モデルそれぞれとしての画像とを、例えば、いわゆるαブレンディングによって合成する。具体的には、合成皮膚モデルとしての画像の座標(x,y)の画素のRGB値とα値を、それぞれp1(x,y)とα(x,y)と表すとともに、眼球モデルまたは口内部モデルとしての画像の座標(x,y)の画素のRGB値を、p2(x,y)と表すこととすると、顔画像生成部１５５は、合成皮膚モデル、眼球モデル、および口内部モデルを合成した合成顔画像の座標(x,y)の画素のRGB値p3(x,y)を、式p3(x,y)＝α(x,y)×p1(x,y)＋(1-α(x,y))×p2(x,y)にしたがって求める。
【０１４４】
なお、顔画像生成部１５５では、合成皮膚モデルのα値に対して、LPF(Low Pass Filter)によるフィルタリング処理を施し、そのフィルタリング処理後のα値を用い、式p3(x,y)＝α(x,y)×p1(x,y)＋(1-α(x,y))×p2(x,y)にしたがって、合成顔画像のRGB値p3(x,y)を求めることができる。この場合、合成顔画像における、合成皮膚モデルと、眼球モデルまたは口内部モデルそれぞれとの境界部分を滑らかにすることができる。
【０１４５】
次に、図２０のフローチャートを参照して、図１９のアニメーション処理部１２５で行われる顔画像生成処理について説明する。
【０１４６】
まず最初に、ステップＳ３０において、データ取得部１５０が、アニメーションデータ記憶部１２３に記憶されたアニメーションデータを読み出すことにより取得し、そのアニメーションデータのうちの、笑い顔皮膚モデルと笑い顔変形パラメータを皮膚モデル変形部１５２Ａに、無表情皮膚モデルと無表情変形パラメータを皮膚モデル変形部１５２Ｂに、口内部モデルと眼球モデルを顔画像生成部１５５に、それぞれ供給して、ステップＳ３１に進む。
【０１４７】
ステップＳ３１では、変形度設定部１５１が、変形度vを設定し、皮膚モデル変形部１５２Ａと１５２Ｂ、および合成パラメータ設定部１５３に供給して、ステップＳ３２に進む。ステップＳ３２では、合成パラメータ設定部１５３が、変形度設定部１５１から供給された変形度vに応じて、合成パラメータβを設定し、皮膚モデル合成部１５４に供給して、ステップＳ３３に進む。
【０１４８】
ステップＳ３３では、変形度vに応じて、皮膚モデルの変形が行われ、ステップＳ３４に進む。
【０１４９】
即ち、ステップＳ３３では、皮膚モデル変形部１５２Ａが、ステップＳ３３1として、データ取得部１５０から供給された笑い顔変形パラメータを用い、同じくデータ取得部１５０から供給された笑い顔皮膚モデルを、変形度設定部１５１から供給された変形度vに応じて変形し、その結果得られる笑い顔変形皮膚モデルを、皮膚モデル合成部１５４に供給する。
【０１５０】
さらに、ステップＳ３３では、皮膚モデル変形部１５２Ｂが、ステップＳ３３2として、データ取得部１５０から供給された無表情変形パラメータを用い、同じくデータ取得部１５０から供給された無表情皮膚モデルを、変形度設定部１５１から供給された変形度vに応じて変形し、その結果得られる無表情変形皮膚モデルを、皮膚モデル合成部１５４に供給する。
【０１５１】
ステップＳ３４では、皮膚モデル合成部１５４が、皮膚モデル変形部１５２Ａから供給された笑い顔変形皮膚モデルと、皮膚モデル変形部１５２Ｂから供給された無表情変形皮膚モデルとを、合成パラメータ設定部１５３から供給される合成パラメータβにしたがって合成し、その結果得られる合成皮膚モデルを、顔画像生成部１５５に供給して、ステップＳ３５に進む。
【０１５２】
ステップＳ３５では、顔画像生成部１５５が、皮膚モデル合成部１５４から供給された合成皮膚モデル、並びに、データ取得部１５０から供給された眼球モデルまたは口内部モデルそれぞれを合成し、変形度vに応じた表情の合成顔画像を生成して、顔画像生成処理が終了する。
【０１５３】
以上のようにして生成された合成顔画像は、顔画像生成部１５５から表示部１２６に供給されて表示される。
【０１５４】
なお、ステップＳ３１乃至Ｓ３５の処理は、図２０において点線で示すように、ステップＳ３１で設定する変形度vを所定のステップ幅で変えながら繰り返すことができる。この場合、例えば、図２１に示すように、笑い顔または無表情の顔のうちの一方の顔から他方の顔に連続的に変形していく自然な顔画像のアニメーションを表示することができる。
【０１５５】
ここで、図２２乃至図２７に、顔画像生成処理を行うことにより得られた実際の顔画像を示す。
【０１５６】
図２２は、無表情画像を示しており、図２３は、笑い顔画像を示している。また、図２４乃至図２７は、図２２の無表情画像と図２３の笑い顔画像とを用いて得られた中間画像としての合成顔画像を示している。なお、図２４乃至図２７の合成顔画像は、その順で、変形度vを大にしていって得られた合成顔画像である。
【０１５７】
アニメーション処理部１２５が行う顔画像生成処理では、顔画像から目境界の内部と口境界の内部とを除去した皮膚モデルを変形し、その変形後の皮膚モデルに、眼球モデルおよび口内部モデルを、その眼球モデルおよび口内部モデルが皮膚モデルより奥側にあることを考慮してのαブレンディングにより合成することによって、合成顔画像が生成されるので、顔の表情が変化しただけでは形状が変化しない眼球と口の内部の形状が変化するような不自然な合成顔画像となることを防止すること、即ち、自然な合成顔画像を得ることができる。
【０１５８】
また、アニメーション処理部１２５が行う顔画像生成処理では、笑い顔変形皮膚モデルと無表情変形皮膚モデルとを合成する度合いを表す合成パラメータβを、変形度vが０と１の場合には、それぞれ変形度vと一致するように設定するので、変形度vが０であれば、合成パラメータβも０に設定され、その結果、合成顔画像は、無表情画像に（ほぼ）一致し、変形度vが１であれば、合成パラメータβも１に設定され、その結果、合成顔画像は、笑い顔画像に（ほぼ）一致する。従って、無表情画像や笑い顔画像に映っている人物そっくり（そのもの）の画像を得ることができる。
【０１５９】
さらに、皮膚モデルの変形を、表情生成の原理に基づく変形手法で行う場合には、より自然な合成顔画像（中間画像）を得ることができる。
【０１６０】
なお、本実施の形態では、皮膚モデル、眼球モデル、および口内部モデルとして、２次元のモデルを採用したが、皮膚モデル、眼球モデル、および口内部モデルとしては、その他、３次元のモデルを採用することができる。この場合、表情が変化するアニメーションの他に、顔の向きや視線を変えるアニメーションを実現することができる。
【０１６１】
また、本実施の形態では、笑い顔画像と無表情画像との２枚の顔画像を用いて、アニメーションデータ生成処理および顔画像生成処理を行うようにしたが、アニメーションデータ生成処理および顔画像生成処理は、その他、例えば、３枚以上の顔画像、即ち、例えば、笑い顔画像、無表情画像、および泣いている表情の顔画像を用いて行うことが可能である。この場合、例えば、笑っている顔から無表情の顔に変化し、さらに、無表情の顔から泣いている顔に変化し、泣いている顔から笑っている顔に変化するアニメーション等を実現することができる。
【０１６２】
さらに、顔画像生成処理において、皮膚モデルと眼球モデルおよび口内部モデルとの合成を、眼球モデルおよび口内部モデルが皮膚モデルよりも奥側にあることを考慮して行う合成手法としては、αブレンディングの他、陰面(線)消去の技術を採用することができる。
【０１６３】
また、顔画像は、人の顔の他、人以外の動物の顔の画像であってもよい。
【０１６４】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１６５】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１６６】
また、上述した一連の処理は、図１のコンピュータにプログラムを実行させることによって行うことができる他、専用のハードウェアにより行うこともできる。
【０１６７】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１６８】
【図１】本発明を適用した画像処理装置として機能するコンピュータのハードウェア構成例を示すブロック図である。
【図２】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図３】アニメーションデータ生成部１２２の構成例を示すブロック図である。
【図４】画像データ記憶部１２１に記憶される無表情画像と笑い顔画像それぞれの画像データの例を示す図である。
【図５】目口検出部１３１Ａと１３１Ｂの処理を説明するための図である。
【図６】実際の画像から検出された目境界を示す図である。
【図７】実際の画像から検出された口境界を示す図である。
【図８】実際の画像から検出された目境界を示す図である。
【図９】実際の画像から検出された口境界を示す図である。
【図１０】皮膚モデル生成部１３２Ａと１３２Ｂの処理を説明するための図である。
【図１１】変形パラメータ生成部１３３Ａと１３３Ｂの処理を説明するための図である。
【図１２】変形パラメータ生成部１３３Ａと１３３Ｂの処理を説明するための図である。
【図１３】変形パラメータ生成部１３３Ａと１３３Ｂの処理を説明するための図である。
【図１４】変形パラメータ生成部１３３Ａと１３３Ｂの処理を説明するための図である。
【図１５】口内部モデルを示す図である。
【図１６】眼球モデルを示す図である。
【図１７】アニメーションパラメータを示す図である。
【図１８】アニメーションデータ生成処理を説明するフローチャートである。
【図１９】アニメーション処理部１２５の構成例を示すブロック図である。
【図２０】顔画像生成処理を説明するフローチャートである。
【図２１】顔のアニメーションを示す図である。
【図２２】顔画像生成処理を行うことにより得られた実際の顔画像を示す図である。
【図２３】顔画像生成処理を行うことにより得られた実際の顔画像を示す図である。
【図２４】顔画像生成処理を行うことにより得られた実際の顔画像を示す図である。
【図２５】顔画像生成処理を行うことにより得られた実際の顔画像を示す図である。
【図２６】顔画像生成処理を行うことにより得られた実際の顔画像を示す図である。
【図２７】顔画像生成処理を行うことにより得られた実際の顔画像を示す図である。
【符号の説明】
【０１６９】
１０１  バス，  １０２  CPU，  １０３  ROM，  １０４  RAM，  １０５  ハードディスク，  １０６  出力部，  １０７  入力部，  １０８  通信部，  １０９  ドライブ，  １１０  入出力インタフェース，  １１１  リムーバブル記録媒体，  １２１  画像データ記憶部，  １２２  アニメーションデータ生成部，  １２３  アニメーションデータ記憶部，  １２４  操作部，  １２５  アニメーション処理部，  １２６  表示部，  １３１Ａ，１３１Ｂ  目口検出部，  １３２Ａ，１３２Ｂ  皮膚モデル生成部，  １３３Ａ，１３３Ｂ  変形パラメータ生成部，  １３４  口内部モデル生成部，  １３５  基準眼球モデル記憶部，  １３６  眼球モデル生成部，  １３７  出力制御部，  １５０  データ取得部，  １５１  変形度設定部，  １５２Ａ，１５２Ｂ  皮膚モデル変形部，  １５３  合成パラメータ設定部，  １５４  皮膚モデル合成部，  １５５  顔画像生成部
【図１】
0004760349.tif 000002
【図２】
0004760349.tif 000003
【図３】
0004760349.tif 000004
【図４】
0004760349.tif 000005
【図５】
0004760349.tif 000006
【図６】
0004760349.tif 000007
【図７】
0004760349.tif 000008
【図８】
0004760349.tif 000009
【図９】
0004760349.tif 000010
【図１０】
0004760349.tif 000011
【図１１】
0004760349.tif 000012
【図１２】
0004760349.tif 000013
【図１３】
0004760349.tif 000014
【図１４】
0004760349.tif 000015
【図１５】
0004760349.tif 000016
【図１６】
0004760349.tif 000017
【図１７】
0004760349.tif 000018
【図１８】
0004760349.tif 000019
【図１９】
0004760349.tif 000020
【図２０】
0004760349.tif 000021
【図２１】
0004760349.tif 000022
【図２２】
0004760349.tif 000023
【図２３】
0004760349.tif 000024
【図２４】
0004760349.tif 000025
【図２５】
0004760349.tif 000026
【図２６】
0004760349.tif 000027
【図２７】
0004760349.tif 000028