(57)【要約】【課題】形状補間比率を連続的に変えて複数の顔画像を合成する場合、顔の特徴的な部分の位置が動くのを防止するとともに、合成後の顔画像を、部品単位でいずれかの顔画像に似せることを可能とし、また、簡単な計算量で顔の表情を変化させることを可能とする。【解決手段】顔画像Ｇ１を背景となる顔画像Ｇ３に大まかに整合する第１の形状整合処理部１１および顔画像Ｇ２を背景となる前記顔画像Ｇ３に大まかに整合させる第２の形状整合処理部１２と、前記顔画像Ｇ１，Ｇ２のそれぞれの整合後の形状モデルおよび前記顔画像Ｇ３の形状モデルのそれぞれ対応する点の座標値を所定の比率で形状補間する形状補間処理部１と、この形状補間処理部１にて形状補間された形状モデルに対し、それぞれ対応する画素について所定の比率で色補間する色補間処理部２を設けた構成とする。【選択図】図１
2006323877.tif 000002
【特許請求の範囲】
【請求項１】
２枚の顔画像（Ｇ１，Ｇ２）および背景となる顔画像（Ｇ３）と、これら顔画像（Ｇ１，Ｇ２，Ｇ３）に整合させたそれぞれの形状モデルとから、前記顔画像（Ｇ３）をベースとして顔画像（Ｇ１，Ｇ２）の特徴を加えた顔画像を合成する顔画像処理方法において、  前記顔画像（Ｇ１）の特徴的部分に注目し、この顔画像（Ｇ１）の形状モデルの前記特徴的部分に対応する所定点の座標を、背景画像（Ｇ３）の形状モデルの対応する点の座標に座標変換することで、顔画像（Ｇ１）を背景顔画像（Ｇ３）に大まかに整合するとともに、前記顔画像（Ｇ２）の特徴的部分に注目し、この画像（Ｇ２）の形状モデルの前記特徴的部分に対応する所定点の座標を、背景画像（Ｇ３）の形状モデルの対応する点の座標に座標変換することで、顔画像（Ｇ２）を背景顔画像（Ｇ３）に大まかに整合させたのち、
前記顔画像（Ｇ１，Ｇ２）のそれぞれの整合後の形状モデルおよび顔画像（Ｇ３）の形状モデルのそれぞれ対応する点の座標値を所定の比率で形状補間し、この形状補間された形状モデルに対し、それぞれ対応する画素について所定の比率で色補間することを特徴とする顔画像処理方法。
【請求項２】
前記顔画像（Ｇ１，Ｇ２）のそれぞれの整合後の形状モデルおよび背景顔画像（Ｇ３）の形状モデルのそれぞれ対応する点の座標値を所定の比率で形状補間する形状補間処理は、顔を形作る特徴部分単位に形状補間の比率を変化させて形状補間を行うことを特徴とする請求項１記載の顔画像処理方法。
【請求項３】
前記形状補間された形状モデルに対し、それぞれ対応する画素について所定の比率で色補間する色補間処理は、背景顔画像（Ｇ３）の各部分の輝度値の大きさに応じて色補間比率を設定することを特徴とする請求項１記載の顔画像処理方法。
【請求項４】
前記輝度値に応じた色補間比率の設定は、背景顔画像（Ｇ３）の肌色の中心輝度を有する部分に対しては画像（Ｇ３）の色補間比率を画像（Ｇ１，Ｇ２）の色補間比率に比べて最も小さくし、その肌色の中心輝度を中心としてその前後の所定範囲の輝度値以上または以下の輝度値を有する部分に対しては、背景画像（Ｇ３）の色補間比率を画像（Ｇ１，Ｇ２）の色補間比率に比べて最も大きくし、前記中心輝度の前後所定範囲内は輝度値の変化に応じて背景顔画像（Ｇ３）の色補間比率を適宜変化させることを特徴とする請求項３記載の顔画像処理方法。
【請求項５】
前記形状補間された形状モデルに対し、それぞれ対応する画素について所定の比率で色補間する色補間処理は、前記顔画像（Ｇ１，Ｇ２）の各部分の輝度値の大きさに応じて色補間比率を設定することを特徴とする請求項１記載の顔画像処理方法。
【請求項６】
前記輝度値に応じた色補間比率の設定は、顔画像（Ｇ１，Ｇ２）の肌色の中心輝度を有する部分に対しては顔画像（Ｇ１，Ｇ２）の色補間比率を背景顔画像（Ｇ３）の色補間比率に比べて最も大きくし、その肌色の中心輝度を中心としてその前後の所定範囲の輝度値以上または以下の輝度値を有する部分に対しては、顔画像（Ｇ１，Ｇ２）の色補間比率を背景顔画像（Ｇ３）の色補間比率に比べて最も小さくし、前記中心輝度の前後所定範囲内は輝度値の変化に応じて顔画像（Ｇ１，Ｇ２）の色補間比率を適宜変化させることを特徴とする請求項５記載の顔画像処理方法。
【請求項７】
前記形状補間された形状モデルに対し、それぞれ対応する画素について所定の比率で色補間する色補間処理は、顔を形作る特徴部分単位に色補間の比率を変化させて色補間を行うことを特徴とする請求項１記載の顔画像処理方法。
【請求項８】
２枚の顔画像（Ｇ１，Ｇ２）および背景となる顔画像（Ｇ３）と、これら顔画像（Ｇ１，Ｇ２，Ｇ３）に整合させたそれぞれの形状モデルとから、前記背景顔画像（Ｇ３）をベースとして顔画像（Ｇ１，Ｇ２）の特徴を加えた顔画像を合成する顔画像処理方法において、
前記顔画像（Ｇ１，Ｇ２）の特徴的な領域に注目し、その特徴的な領域の色データを基にして、前記背景顔画像（Ｇ３）を選択することを特徴とする顔画像処理方法。
【請求項９】
前記顔画像（Ｇ１，Ｇ２）の特徴的な領域の色データに基づく背景顔画像（Ｇ３）の選択は、前記顔画像（Ｇ１，Ｇ２）の前記特徴的な領域の画像データを基に遺伝的な情報に基づいて選択することを特徴とする請求項８記載の顔画像処理方法。
【請求項１０】
前記顔画像（Ｇ１，Ｇ２）の特徴的な領域は、少なくとも髪領域、肌領域、目領域のうちの１つを含むことを特徴とする請求項８記載の顔画像処理方法。
【請求項１１】
顔画像（Ｇ１，Ｇ２）、または背景顔画像（Ｇ３）をベースとして前記顔画像（Ｇ１，Ｇ２）の特徴を加えて得られた合成後の顔画像など、或るいずれか１つの顔画像を処理対象顔画像とし、この処理対象顔画像とその処理対象画像に整合させた形状モデルを用い、当該処理対象顔画像の所定の点を所定量だけ移動させることによって表情を変化させる顔画像処理方法において、
当該処理対象の顔画像内の或る一点からその顔画像の輪郭に向かって横方向および縦方向に向かう２つのベクトル、これらの２つのベクトルに直交しこれら各ベクトルの相乗平均の大きさを有するベクトルを求め、これら各ベクトルと、表情を変化させるための予め設定された定数とを基に、当該処理対象顔画像の所定の点の移動方向及び移動量を表す移動ベクトルを算出することを特徴とする顔画像処理方法。
【請求項１２】
顔画像（Ｇ１，Ｇ２）、または背景となる顔画像（Ｇ３）をベースとして前記顔画像（Ｇ１，Ｇ２）の特徴を加えて得られた合成後の顔画像など、或るいずれか１つの顔画像を処理対象顔画像とし、この処理対象顔画像とその処理対象画像に整合させた形状モデルを用い、前記処理対象顔画像に年齢変化を加える処理を行う顔画像処理方法において、
予め用意された或る年齢相応の顔画像（Ｇ５）とこの顔画像（Ｇ５）に整合させた形状モデルから、この顔画像（Ｇ５）の肌領域の画像を抽出し、この抽出された肌領域の画像を前記処理対象顔画像の肌領域にマッピングして年齢変化処理を行うことを特徴とする顔画像処理方法。
【請求項１３】
２枚の顔画像（Ｇ１，Ｇ２）および背景となる顔画像（Ｇ３）と、これら顔画像（Ｇ１，Ｇ２，Ｇ３）に整合させたそれぞれの形状モデルとから、前記背景顔画像（Ｇ３）をベースとして顔画像（Ｇ１，Ｇ２）の特徴を加えた顔画像を合成する顔画像処理装置において、
前記顔画像（Ｇ１）の特徴的部分に注目し、この顔画像（Ｇ１）の形状モデルの前記特徴的部分に対応する所定点の座標を、前記背景顔画像（Ｇ３）の形状モデルの対応する点の座標に座標変換することで、顔画像（Ｇ１）を背景顔画像（Ｇ３）に大まかに整合する第１の形状整合処理手段と、
前記顔画像（Ｇ２）の特徴的部分に注目し、この顔画像（Ｇ２）の形状モデルの前記特徴的部分に対応する所定点の座標を、前記背景顔画像（Ｇ３）の形状モデルの対応する点の座標に座標変換することで、顔画像（Ｇ２）を背景顔画像（Ｇ３）に大まかに整合させる第２の形状整合処理手段と、
前記顔画像（Ｇ１，Ｇ２）のそれぞれの整合後の形状モデルおよび背景顔画像（Ｇ３）の形状モデルのそれぞれ対応する点の座標値を所定の比率で形状補間する形状補間処理手段と、
この形状補間処理手段にて形状補間された形状モデルに対し、それぞれ対応する画素について所定の比率で色補間する色補間処理手段と、
を有したことを特徴とする顔画像処理装置。
【請求項１４】
前記顔画像（Ｇ１，Ｇ２）のそれぞれの整合後の形状モデルおよび背景顔画像（Ｇ３）の形状モデルのそれぞれ対応する点の座標値を所定の比率で形状補間する形状補間処理手段は、顔を形作る特徴部分単位に形状補間の比率を変化させて形状補間を行うことを特徴とする請求項１３記載の顔画像処理装置。
【請求項１５】
前記形状補間された形状モデルに対し、それぞれ対応する画素について所定の比率で色補間する色補間処理手段は、背景顔画像（Ｇ３）の各部分の輝度値の大小を判断し、輝度値の大きさに応じて色補間比率を設定することを特徴とする請求項１３記載の顔画像処理装置。
【請求項１６】
前記輝度値に応じた色補間比率の設定は、背景顔画像（Ｇ３）の肌色の中心輝度を有する部分に対しては背景顔画像（Ｇ３）の色補間比率を顔画像（Ｇ１，Ｇ２）の色補間比率に比べて最も小さくし、その肌色の中心輝度を中心としてその前後の所定範囲の輝度値以上または以下の輝度値を有する部分に対しては、画像Ｇ３の色補間比率を顔画像（Ｇ１，Ｇ２）の色補間比率に比べて最も大きくし、前記中心輝度の前後所定範囲内は輝度値の変化に応じて背景顔画像（Ｇ３）の色補間比率を適宜変化させることを特徴とする請求項１５記載の顔画像処理装置。
【請求項１７】
前記形状補間された形状モデルに対し、それぞれ対応する画素について所定の比率で色補間する色補間処理手段は、前記顔画像（Ｇ１，Ｇ２）の各部分の輝度値の大小を判断し、輝度値の大きさに応じて色補間比率を設定することを特徴とする請求項１３記載の顔画像処理装置。
【請求項１８】
前記輝度値に応じた色補間比率の設定は、顔画像（Ｇ１，Ｇ２）の肌色の中心輝度を有する部分に対しては顔画像（Ｇ１，Ｇ２）の色補間比率を背景顔画像（Ｇ３）の色補間比率に比べて最も大きくし、その肌色の中心輝度を中心としてその前後の所定範囲の輝度値以上または以下の輝度値を有する部分に対しては、顔画像（Ｇ１，Ｇ２）の色補間比率を背景顔画像（Ｇ３）の色補間比率に比べて最も小さくし、前記中心輝度の前後所定範囲内は輝度値の変化に応じて顔画像（Ｇ１，Ｇ２）の色補間比率を適宜変化させることを特徴とする請求項１７記載の顔画像処理装置。
【請求項１９】
前記形状補間された形状モデルに対し、それぞれ対応する画素について所定の比率で色補間する色補間処理手段は、顔を形作る特徴部分単位に色補間の比率を変化させて色補間を行うことを特徴とする請求項１３記載の顔画像処理装置。
【請求項２０】
２枚の顔画像（Ｇ１，Ｇ２）および背景となる顔画像（Ｇ３）と、これら顔画像（Ｇ１，Ｇ２，Ｇ３）に整合させたそれぞれの形状モデルとから、前記背景顔画像（Ｇ３）をベースとして顔画像（Ｇ１，Ｇ２）の特徴を加えた顔画像を合成する顔画像処理装置において、
前記顔画像（Ｇ１，Ｇ２）の特徴的な領域の色を検出するそれぞれの色検出手段を有し、それぞれの色検出手段により検出されたそれぞれの前記特徴的な領域の色データを基にして、前記背景顔画像（Ｇ３）を選択することを特徴とする顔画像処理装置。
【請求項２１】
前記顔画像（Ｇ１，Ｇ２）の特徴的な領域の色データに基づく背景顔画像（Ｇ３）の選択は、遺伝的な情報を予め格納した遺伝情報テーブルを設け、前記顔画像（Ｇ１，Ｇ２）の前記特徴的な領域の画像データを基に、前記遺伝情報テーブルを参照して、前記顔画像（Ｇ１，Ｇ２）の画像データに対応する背景顔画像（Ｇ３）を選択することを特徴とする請求項２０記載の顔画像処理装置。
【請求項２２】
前記顔画像（Ｇ１，Ｇ２）の特徴的な領域は、少なくとも髪領域、肌領域、目領域のうちの１つを含むことを特徴とする請求項２０記載の顔画像処理装置。
【請求項２３】
顔画像（Ｇ１，Ｇ２）、または背景顔画像（Ｇ３）をベースとして前記顔画像（Ｇ１，Ｇ２）の特徴を加えて得られた合成後の顔画像など、或るいずれか１つの顔画像を処理対象顔画像とし、この処理対象顔画像とその処理対象画像に整合させた形状モデルを用い、当該処理対象顔画像の所定の点を所定量だけ移動させることによって表情を変化させる顔画像処理装置において、
表情を変化させるための予め設定された定数が格納される表情データ記憶手段と、
当該処理対象の顔画像内の或る一点からその顔画像の輪郭に向かって横方向および縦方向に向かう２つのベクトル、これらの各ベクトルに直交しこれら各ベクトルの相乗平均の大きさを有するベクトルを求め、これら２つのベクトルと、前記表情を変化させるための予め設定された定数とを基に、当該顔画像の所定の点の移動方向及び移動量を表す移動ベクトルを算出する表情変化処理手段と、
を有することを特徴とする顔画像処理装置。
【請求項２４】
顔画像（Ｇ１，Ｇ２）、または背景顔画像（Ｇ３）をベースとして前記顔画像（Ｇ１，Ｇ２）の特徴を加えて得られた合成後の顔画像など、或るいずれか１つの顔画像を処理対象顔画像とし、この処理対象顔画像とその処理対象画像に整合させた形状モデルを用い、前記処理対象顔画像に年齢変化を加える処理を行う顔画像処理装置において、
予め用意された或る年齢相応の顔画像（Ｇ５）とこの顔画像（Ｇ５）に整合させた形状モデルから、この顔画像（Ｇ５）の肌領域の画像を抽出し、この抽出された肌領域の画像を前記処理対象顔画像の肌領域にマッピングして年齢変化処理を行う年齢変化処理部を有したことを特徴とする顔画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、たとえば２枚の顔画像と背景となる１枚の顔画像を用いて、この背景となる１枚の顔画像をベースとして前記２枚の顔画像を合成する顔画像処理方法及び顔画像処理装置に関する。
【背景技術】
【０００２】
この種の画像合成の例として、たとえば、或る男性の顔画像と或る女性の顔画像を用いて、適当な子どもの顔画像をベースにして、男性の顔画像の特徴と女性の顔画像の特徴を加味して合成し、子どもの顔画像を作成するというようなことが従来より行われている。
【０００３】
このような画像合成を行う場合は、２枚の顔画像Ｇ１，Ｇ２と背景となる１枚の顔画像Ｇ３があって、これらの顔画像Ｇ１，Ｇ２，Ｇ３に整合させたそれぞれの形状モデルを用意し、顔画像Ｇ１，Ｇ２，Ｇ３とそれぞれに対応する形状モデルをもとに、背景となる顔画像Ｇ３をベースにして顔画像Ｇ１，Ｇ２の特徴を加味した画像を合成するのが一般的である。
【０００４】
図１２は従来の画像合成装置の処理を説明するブロック図であり、以下、図１２を参照して説明する。
【０００５】
図１２において、１は形状補間処理部、２は色補間処理部である。形状補間処理部１には、顔画像Ｇ１、顔画像Ｇ２、背景となる顔画像Ｇ３のそれぞれの形状データ（後に説明する）が入力され、色補間処理部２には、顔画像Ｇ１、顔画像Ｇ２、顔画像Ｇ３のそれぞれの画像データ（色データ）が入力されるとともに、顔画像Ｇ１、顔画像Ｇ２、顔画像Ｇ３のそれぞれの形状データ、さらに前記形状補間処理部１からの形状補間データが入力されるよになっている。そして、この色補間処理部２から合成画像データが出力される。
【０００６】
ところで、前記形状データというのは、図１３に示すような形状モデルにおける顔画像内のそれぞれの点ｑの番号（ｑ０，ｑ１，・・・）、２つの点間を結ぶラインＬの番号（Ｌ０，Ｌ１，・・・）、近傍の３つの点を結んで形成されるパッチｐの番号（ｐ０，ｐ１，・・・）を基に得られた前記それぞれの点ｑの座標データ、前記それぞれのラインＬに関するデータ（たとえば、ラインＬ０は点ｑ０とｑ１で形成されるというようなデータ）、前記それぞれのパッチｐに関するデータ（たとえば、パッチｐ０は点ｑ０，ｑ１，ｑ２で形成されるというようなデータ）である。
【０００７】
そして、前記形状補間処理部１では、顔画像Ｇ１、顔画像Ｇ２のそれぞれの形状データを用いて形状補間する処理を行う。つまり、顔画像Ｇ１と顔画像Ｇ２の対応する点の座標を所定の比率で補間する（たとえば、両者の座標値をたして２で割る）というような処理を行って形状補間を行う。そして、このように形状補間されたのち、色補間処理部２では、形状補間された後のそれぞれのパッチにおいて、それぞれのパッチ内の所定の位置に対応する顔画像Ｇ１と顔画像Ｇ２のそれぞれの画素の色データを所定の比率で補間して、それを前記形状補間された所定のパッチの所定位置に書き込むというような処理を行って、合成画像データを作成する。
【０００８】
さらに、たとえば、顔画像Ｇ１を父親の顔画像、顔画像Ｇ２を母親の顔画像として、背景となる顔画像Ｇ３（或るこどもの顔画像）に顔画像Ｇ１と顔画像Ｇ２を合成した顔画像を作成する場合は、顔画像Ｇ１、顔画像Ｇ２、顔画像Ｇ３の補間比率が合計で１となるように形状補間補間処理および色補間処理して画像合成を行う。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、従来のこの種の顔画像合成装置は、合成しようとする顔画像Ｇ１と顔画像Ｇ２の２つの形状モデルの座標値をそのまま補間して、合成画像の形状モデルを求めている。このため、たとえば、図１４に示すように、補間比率を連続的に変化させて顔画像の合成を行う場合、目や口などの顔の特徴的な構成部品の位置が細かく移動してしまうという問題があった。なお、図１４において、同図（ａ）は顔画像Ｇ１と顔画像Ｇ２の形状補間比率を、Ｇ１：Ｇ２＝0.7：0.3とした場合、同図（ｂ）は顔画像Ｇ１と顔画像Ｇ２の形状補間比率を、Ｇ１：Ｇ２＝0.5：0.5とした場合、同図（ｃ）は顔画像Ｇ１と顔画像Ｇ２の形状補間比率を、Ｇ１：Ｇ２＝0.3：0.7とした場合を示している。
【００１０】
また、従来の顔画像合成装置においては、目、口、鼻などの部品単位に形状補間比率および色補間比率を変化させる手段はなく、一定の形状補間比率および色補間比率で補間処理を行っていた。そのため、たとえば、目は顔画像Ｇ１（男性の顔画像）、鼻は顔画像Ｇ２（女性の顔画像）に似せるというように、部品単位にどちらかの顔画像に似せるというような処理は行えないのが普通であった。また、色補間を一定の比率で補間処理することから、顔画像Ｇ１，Ｇ２や背景となる顔画像Ｇ３において、輝度の極端に低い陰や髪の部分、あるいは、ハイライト部分の色が中途半端に合成画像に影響し、合成された色が不自然なものとなる問題もあった。
【００１１】
さらに、従来の顔合成処理は、顔画像の髪の色、目の色、肌の色など人種を示す特徴的な色については何等考慮されない合成処理であった。したがって、日本人同志の合成の場合は、特に問題はないが、髪の色、目の色、肌の色の異なる人同志の顔画像を合成する場合、従来の合成処理方法では不自然な合成顔画像が作成される場合もある。たとえば、金髪で肌の色が白色、眼球が青色の大人の男女の顔画像Ｇ１，Ｇ２を、或る子どもの顔画像をベースにして合成する場合、ベースとなる子どもの顔画像が日本人では、合成後の子どもの顔画像が不自然なものとなってしまうのは明らかである。
【００１２】
しかしながら、従来では、顔画像Ｇ１，Ｇ２の髪の色、目の色、肌の色など人種を示す特徴的な色に対応して、背景となる顔画像Ｇ３を選択するという処理を行っていないのが一般的である。
【００１３】
また、或る１枚の顔画像を用いて、目、鼻、眉、口などの部品の或る点の座標値を少し動かすことで顔の表情を変化させることも従来より行われている。たとえば、目の下瞼の部分の点を上に少し動かすことによって、微笑んだ表情を作るというように顔の表情を変化させる場合は、顔のどの点をどの程度どの方向に移動させるかというデータ（これを表情データという）を予め設定しておくことで、表情を変化させることができる。たとえば、微笑んだ表情を作る場合には、目の下瞼の或る点を１０画素だけ上方に移動させるというような表情データを予め作成しておき、この表情データに基づいて表情を変化させるのが一般的であった。
【００１４】
しかし、このような定数による表情データでは、顔画像の大きさに関係なく、同じ量だけ点の移動が行われるので、小さい顔画像の場合には、移動量が大きすぎて不自然な表情となってしまう問題があった。
【００１５】
これに対処する従来技術として、移動ベクトルの正規化をする方法があるが、従来の移動ベクトルの正規化方法は、四角の曲面パッチ（ベッツイ・パッチ）を対象としたものであり、演算も微分演算を必要とするなどその計算量はきわめて多いという問題があった。
【００１６】
また、或る１枚の顔画像を用いて、その顔画像に年齢変化を加える処理、たとえば、或る顔画像が年をとったときどのような顔画像となるかの処理（これをここでは加齢処理という）を施すことが従来より行われている。この技術の１つとして、たとえば、肌のたるみ処理を施す技術がある。これは、皮膚を弾性を持った布地物体として、下方向の重力の作用を加えることで皮膚の垂みを表そうとするものである。
【００１７】
しかし、この方法は、多少の加齢効果は期待できるものの、リアリティのある加齢処理を行うことはできなかった。
【００１８】
そこで、本発明は、形状補間比率を連続的に変えて複数の顔画像を合成する場合、顔の特徴的な部分の位置が動くのを防止するとともに、合成後の顔画像を顔の部品単位で補間比率を変化させることにより、部品単位でいずれかの顔画像に似せたりすることを可能とし、また、顔画像の輝度に応じて補間比率を変化させることにより、自然な合成画像を得ることを可能とし、また、顔画像の髪の色、目の色、肌の色など人種を示す特徴的な色を考慮した合成処理をも可能とし、さらに、簡単な計算量で顔の表情を変化させることができ、さらに、適切な年齢変化処理を施すことができる顔画像処理方法および顔画像処理装置を実現することを目的とする。
【課題を解決するための手段】
【００１９】
本発明の画像処理方法は、２枚の顔画像Ｇ１，Ｇ２および背景となる顔画像Ｇ３と、これら顔画像Ｇ１，Ｇ２，Ｇ３に整合させたそれぞれの形状モデルとから、前記顔画像Ｇ３をベースとして顔画像Ｇ１，Ｇ２の特徴を加えた顔画像を合成する画像処理方法において、前記顔画像Ｇ１の特徴的部分に注目し、この画像Ｇ１の形状モデルの前記特徴的部分に対応する所定点の座標を、背景画像Ｇ３の形状モデルの対応する点の座標に座標変換することで、顔画像Ｇ１を背景顔画像Ｇ３に大まかに整合するとともに、前記顔画像Ｇ２の特徴的部分に注目し、この顔画像Ｇ２の形状モデルの前記特徴的部分に対応する所定点の座標を、背景画像Ｇ３の形状モデルの対応する点の座標に座標変換することで、顔画像Ｇ２を背景顔画像Ｇ３に大まかに整合させたのち、前記顔画像Ｇ１，Ｇ２のそれぞれの整合後の形状モデルおよび顔画像Ｇ３の形状モデルのそれぞれ対応する点の座標値を所定の比率で形状補間し、この形状補間された形状モデルに対し、それぞれ対応する画素について所定の比率で色補間することを特徴としている。これにより、形状補間比率を連続的に変化させて２つの顔画像を合成する場合でも、目や口といった顔の特徴的部分の位置が形状補間比率を変化させる毎に微妙に動いてしまうということがなくなり、高品質な合成画像を得ることが可能となる。
【００２０】
また、前記顔画像Ｇ１，Ｇ２のそれぞれの整合後の形状モデルおよび顔画像Ｇ３の形状モデルのそれぞれ対応する点の座標値を所定の比率で形状補間する形状補間処理は、顔を形作る特徴部分単位に形状補間の比率を変化させて形状補間を行うようにする。これにより、合成画像を、目や口といった部品ごとに顔画像Ｇ１に似せたり、顔画像Ｇ２に似せたりすることができる。
【００２１】
また、前記形状補間された形状モデルに対し、それぞれ対応する画素について所定の比率で色補間する色補間処理は、背景となる顔画像Ｇ３の各部分の輝度値の大きさに応じて色補間比率を設定するようにしている。これにより、背景画像において特徴的な輝度値を有する部分が存在する場合、その特徴的部分の色相を合成画像に残すような色補間比率を設定することができ、自然な状態の合成画像を得ることができる。
【００２２】
そして、前記輝度値に応じた色補間比率の設定は、顔画像Ｇ３の肌色の中心輝度を有する部分に対しては画像Ｇ３の色補間比率を画像Ｇ１，Ｇ２の色補間比率に比べて最も小さくし、その肌色の中心輝度を中心としてその前後の所定範囲の輝度値以上または以下の輝度値を有する部分に対しては、画像Ｇ３の色補間比率を画像Ｇ１，Ｇ２の色補間比率に比べて最も大きくし、前記中心輝度の前後所定範囲内は輝度値の変化に応じて顔画像Ｇ３の色補間比率を適宜変化させるようにしている。これにより、背景画像の髪の毛やハイライト部分など輝度値が極端に大きい部分や小さい部分はそのまま残した状態で合成が行えるので、自然な合成が可能となる。
【００２３】
また、前記形状補間された形状モデルに対し、それぞれ対応する画素について所定の比率で色補間する色補間処理は、前記顔画像Ｇ１，Ｇ２の各部分の輝度値の大きさに応じて色補間比率を設定するようにしている。これにより、顔画像Ｇ１，Ｇ２において特徴的な輝度値を有する部分が存在する場合は、それに対応した色補間比率を設定することで、たとえば、顔画像Ｇ１，Ｇ２の額部分に髪の毛がかかっているような場合、それを合成画像に現さないようにすることが可能となる。
【００２４】
そして、前記輝度値に応じた色補間比率の設定は、顔画像Ｇ１，Ｇ２の肌色の中心輝度を有する部分に対しては画像Ｇ１，Ｇ２の色補間比率を画像Ｇ３の色補間比率に比べて最も大きくし、その肌色の中心輝度を中心としてその前後の所定範囲の輝度値以上または以下の輝度値を有する部分に対しては、画像Ｇ１，Ｇ２の色補間比率を画像Ｇ３の色補間比率に比べて最も小さくし、前記中心輝度の前後所定範囲内は輝度値の変化に応じて顔画像Ｇ１，Ｇ２の色補間比率を適宜変化させるようにする。これにより、顔画像Ｇ１，Ｇ２の髪の毛など輝度値が極端に大きい部分に対しては、色補間比率を小さく設定することで、たとえば、顔画像Ｇ１，Ｇ２の額部分に髪の毛がかかっているような場合、それを合成画像に現さないようにすることが可能となる。
【００２５】
また、前記形状補間された形状モデルに対し、それぞれ対応する画素について所定の比率で色補間する色補間処理は、顔を形作る特徴部分単位に色補間の比率を変化させて色補間を行うようにする。これにより、色相についても、目や口といった特徴部分ごとに顔画像Ｇ１またはＧ２のいずれかに似せた合成画像を作ることができる。これを前記請求項２で示した形状補間比率を目や口などの部品ごとに変化させる技術と組み合わせることにより、より一層、きめ細やかに、顔画像Ｇ１に似せたり、顔画像Ｇ２に似せたりした合成画像を得ることができる。
【００２６】
また、本発明の顔画像処理方法は、２枚の顔画像Ｇ１，Ｇ２および背景となる顔画像Ｇ３と、これら顔画像Ｇ１，Ｇ２，Ｇ３に整合させたそれぞれの形状モデルとから、前記顔画像Ｇ３をベースとして顔画像Ｇ１，Ｇ２の特徴を加えた顔画像を合成する顔画像処理方法において、前記顔画像Ｇ１，Ｇ２の特徴的な領域に注目し、その特徴的な領域の色データを基にして、前記ベースとなる顔画像Ｇ３を選択することを特徴としている。これによれば、合成しようとする顔画像Ｇ１，Ｇ２にふさわしい顔画像Ｇ３を選択できるので、自然な合成画像を作成することができる。
【００２７】
前記顔画像Ｇ１，Ｇ２の特徴的な領域の色データに基づく顔画像Ｇ３の選択は、前記顔画像Ｇ１，Ｇ２の前記特徴的な領域の画像データを基に遺伝的な情報に基づいて、顔画像Ｇ３を選択する。これによれば、顔画像Ｇ１，Ｇ２の人種的な特徴に対応した顔画像Ｇ３を選択できるので、自然な合成画像を作成することができる。
【００２８】
また、前記顔画像Ｇ１，Ｇ１の特徴的な領域は、少なくとも髪領域、肌領域、目領域のうちの１つを含むことを特徴としている。これによれば、顔画像の中で特に特徴的な領域を考慮して画像Ｇ３が選択されるので、自然な合成画像を作成することができる。
【００２９】
また、本発明の顔画像処理方法は、顔画像Ｇ１，Ｇ２、または背景となる顔画像Ｇ３をベースとして前記顔画像Ｇ１，Ｇ２の特徴を加えて得られた合成後の顔画像など、或るいずれか１つの顔画像を処理対象顔画像とし、この処理対象顔画像とその処理対象画像に整合させた形状モデルを用い、当該処理対象顔画像の所定の点を所定量だけ移動させることによって表情を変化させる顔画像処理方法において、当該処理対象の顔画像内の或る一点からその顔画像の輪郭に向かって横方向および縦方向に向かう２つのベクトル、これらの２つのベクトルに直交しこれら各ベクトルの相乗平均の大きさを有するベクトルを求め、これら各ベクトルと、表情を変化させるための予め設定された定数とを基に、当該顔画像の所定の点の移動方向及び移動量を表す移動ベクトルを算出することを特徴としている。
これにより、顔の表情を変化させる処理を簡単な演算にて行うことができる。
【００３０】
また、本発明の顔画像処理方法は、顔画像Ｇ１，Ｇ２、または背景となる顔画像Ｇ３をベースとして前記顔画像Ｇ１，Ｇ２の特徴を加えて得られた合成後の顔画像など、或るいずれか１つの顔画像を処理対象顔画像とし、この処理対象顔画像とその処理対象画像に整合させた形状モデルを用い、前記処理対象顔画像に年齢変化を加える処理を行う顔画像処理方法において、予め用意された或る年齢相応の顔画像Ｇ５とこの顔画像Ｇ５に整合させた形状モデルから、この顔画像Ｇ５の肌領域の画像を抽出し、この抽出された肌領域の画像を前記処理対象顔画像の肌領域にマッピングして年齢変化処理を行うことを特徴としている。これにより、リアリティのある年齢変化処理が可能となる。
【００３１】
また、本発明の画像処理装置は、２枚の顔画像Ｇ１，Ｇ２および背景となる顔画像Ｇ３と、これら顔画像Ｇ１，Ｇ２，Ｇ３に整合させたそれぞれの形状モデルとから、前記顔画像Ｇ３をベースとして顔画像Ｇ１，Ｇ２の特徴を加えた顔画像を合成する画像処理装置において、前記顔画像Ｇ１の特徴的部分に注目し、この画像Ｇ１の形状モデルの前記特徴的部分に対応する所定点の座標を、背景画像Ｇ３の形状モデルの対応する点の座標に座標変換することで、顔画像Ｇ１を背景顔画像Ｇ３に大まかに整合する第１の形状整合処理手段と、前記顔画像Ｇ２の特徴的部分に注目し、この画像Ｇ２の形状モデルの前記特徴的部分に対応する所定点の座標を、背景画像Ｇ３の形状モデルの対応する点の座標に座標変換することで、顔画像Ｇ２を背景顔画像Ｇ３に大まかに整合させる第２の形状整合処理手段と、前記顔画像Ｇ１，Ｇ２のそれぞれの整合後の形状モデルおよび顔画像Ｇ３の形状モデルのそれぞれ対応する点の座標値を所定の比率で形状補間する形状補間処理手段と、この形状補間処理手段にて形状補間された形状モデルに対し、それぞれ対応する画素について所定の比率で色補間する色補間処理手段とを有したことを特徴としている。これにより、形状補間比率を連続的に変化させて２つの顔画像を合成する場合でも、目や口といった顔の特徴的部分の位置が形状補間比率を変化させる毎に微妙に動いてしまうということがなくなり、高品質な合成画像を得ることが可能となる。
【００３２】
また、前記顔画像Ｇ１，Ｇ２のそれぞれの整合後の形状モデルおよび顔画像Ｇ３の形状モデルのそれぞれ対応する点の座標値を所定の比率で形状補間する形状補間処理手段は、顔を形作る特徴部分単位に形状補間の比率を変化させて形状補間を行うようにする。これにより、合成画像を、目や口といった部品ごとに顔画像Ｇ１に似せたり、顔画像Ｇ２に似せたりすることができる。
【００３３】
また、前記形状補間された形状モデルに対し、それぞれ対応する画素について所定の比率で色補間する色補間処理手段は、背景となる顔画像Ｇ３の各部分の輝度値の大小を判断し、輝度値の大きさに応じて色補間比率を設定する。これにより、背景画像において特徴的な輝度値を有する部分が存在する場合、その特徴的部分の色相を合成画像に残すような色補間比率を設定することができ、自然な状態の合成画像を得ることができる。
【００３４】
そして、前記輝度値に応じた色補間比率の設定は、顔画像Ｇ３の肌色の中心輝度を有する部分に対しては画像Ｇ３の色補間比率を画像Ｇ１，Ｇ２の色補間比率に比べて最も小さくし、その肌色の中心輝度を中心としてその前後の所定範囲の輝度値以上または以下の輝度値を有する部分に対しては、画像Ｇ３の色補間比率を画像Ｇ１，Ｇ２の色補間比率に比べて最も大きくし、前記中心輝度の前後所定範囲内は輝度値の変化に応じて顔画像Ｇ３の色補間比率を適宜変化させるようにする。これにより、背景画像の髪の毛やハイライト部分など輝度値が極端に大きい部分や小さい部分はそのまま残した状態で合成が行えるので、自然な合成が可能となる。
【００３５】
また、前記形状補間された形状モデルに対し、それぞれ対応する画素について所定の比率で色補間する色補間処理手段は、前記顔画像Ｇ１，Ｇ２の各部分の輝度値の大小を判断し、輝度値の大きさに応じて色補間比率を設定する。これにより、顔画像Ｇ１，Ｇ２において特徴的な輝度値を有する部分が存在する場合は、それに対応した色補間比率を設定することで、たとえば、顔画像Ｇ１，Ｇ２の額部分に髪の毛がかかっているような場合、それを合成画像に現さないようにすることが可能となる。
【００３６】
そして、前記輝度値に応じた色補間比率の設定は、顔画像Ｇ１，Ｇ２の肌色の中心輝度を有する部分に対しては画像Ｇ１，Ｇ２の色補間比率を画像Ｇ３の色補間比率に比べて最も大きくし、その肌色の中心輝度を中心としてその前後の所定範囲の輝度値以上または以下の輝度値を有する部分に対しては、画像Ｇ１，Ｇ２の色補間比率を画像Ｇ３の色補間比率に比べて最も小さくし、前記中心輝度の前後所定範囲内は輝度値の変化に応じて顔画像Ｇ１，Ｇ２の色補間比率を適宜変化させるようにする。これにより、顔画像Ｇ１，Ｇ２の髪の毛など輝度値が極端に小さい部分に対しては、色補間比率を小さく設定することで、たとえば、顔画像Ｇ１，Ｇ２の額部分に髪の毛がかかっているような場合、それを合成画像に現さないようにすることが可能となる。
【００３７】
また、前記形状補間された形状モデルに対し、それぞれ対応する画素について所定の比率で色補間する色補間処理手段は、顔を形作る特徴部分単位に色補間の比率を変化させて色補間を行うようにする。これにより、色相についても、目や口といった特徴部分ごとに顔画像Ｇ１またはＧ２のいずれかに似せた合成画像を作ることができる。これを前記請求項１４で示した形状補間比率を目や口などの部品ごとに変化させる技術と組み合わせることにより、より一層、きめ細やかに、顔画像Ｇ１に似せたり、顔画像Ｇ２に似せたりした合成画像を得ることができる。
【００３８】
本発明の顔画像処理装置は、２枚の顔画像Ｇ１，Ｇ２および背景となる顔画像Ｇ３と、これら顔画像Ｇ１，Ｇ２，Ｇ３に整合させたそれぞれの形状モデルとから、前記顔画像Ｇ３をベースとして顔画像Ｇ１，Ｇ２の特徴を加えた顔画像を合成する顔画像処理装置において、前記顔画像Ｇ１，Ｇ２の特徴的な領域の色を検出するそれぞれの色検出手段を有し、それぞれの色検出手段により検出されたそれぞれの前記特徴的な領域の色データを基にして、前記ベースとなる顔画像Ｇ３を選択することを特徴としている。これによれば、合成しようとする顔画像Ｇ１，Ｇ２にふさわしい顔画像Ｇ３を選択できるので、自然な合成画像を作成することができる。
【００３９】
前記顔画像Ｇ１，Ｇ２の特徴的な領域の色データに基づく顔画像Ｇ３の選択は、遺伝的な情報を予め格納した遺伝情報テーブルを設け、前記顔画像Ｇ１，Ｇ２の前記特徴的な領域の画像データを基に、前記遺伝情報テーブルを参照して、前記顔画像Ｇ１，Ｇ２の画像データに対応する顔画像Ｇ３を選択する。これによれば、顔画像Ｇ１，Ｇ２の人種的な特徴に対応した顔画像Ｇ３を選択できるので、自然な合成画像を作成することができる。
【００４０】
前記顔画像Ｇ１，Ｇ２の特徴的な領域は、少なくとも髪領域、肌領域、目領域のうちの１つを含むことを特徴としている。これによれば、顔画像の中で特に特徴的な領域を考慮して画像Ｇ３が選択されるので、自然な合成画像を作成することができる。
【００４１】
また、本発明の顔画像処理装置は、顔画像Ｇ１，Ｇ２、または背景となる顔画像Ｇ３をベースとして前記顔画像Ｇ１，Ｇ２の特徴を加えて得られた合成後の顔画像など、或るいずれか１つの顔画像を処理対象顔画像とし、この処理対象顔画像とその処理対象画像に整合させた形状モデルを用い、当該処理対象顔画像の所定の点を所定量だけ移動させることによって表情を変化させる顔画像処理装置において、表情を変化させるための予め設定された定数が格納される表情データ記憶手段と、当該処理対象の顔画像内の或る一点からその顔画像の輪郭に向かって横方向および縦方向に向かう２つのベクトル、これらの各ベクトルに直交しこれら各ベクトルの相乗平均の大きさを有するベクトルを求め、これら２つのベクトルと、前記表情を変化させるための予め設定された定数とを基に、当該顔画像の所定の点の移動方向及び移動量を表す移動ベクトルを算出する表情変化処理手段とを有することを特徴としている。これにより、顔の表情を変化させる処理を簡単な演算にて行うことができる。
【００４２】
また、本発明の顔画像処理装置は、顔画像Ｇ１，Ｇ２、または背景となる顔画像Ｇ３をベースとして前記顔画像Ｇ１，Ｇ２の特徴を加えて得られた合成後の顔画像など、或るいずれか１つの顔画像を処理対象顔画像とし、この処理対象顔画像とその処理対象画像に整合させた形状モデルを用い、前記処理対象顔画像に年齢変化を加える処理を行う顔画像処理装置において、予め用意された或る年齢相応の顔画像Ｇ５とこの顔画像Ｇ５に整合させた形状モデルから、この顔画像Ｇ５の肌領域の画像を抽出し、この抽出された肌領域の画像を前記処理対象顔画像の肌領域にマッピングして年齢変化処理を行う年齢変化処理部を有したことを特徴としている。これにより、リアリティのある年齢変化処理が可能となる。
【発明の効果】
【００４３】
本発明は、まず、顔画像の特徴的な部分、たとえば、両目、口などのそれぞれの中心点に注目し、これらの中心点を座標変換して背景画像の対応する部分に整合させることで、画像全体を背景画像に大まかに整合した後、形状補間と色補間を行うようにしている。したがって、形状補間比率を連続的に変化させるような処理を行う場合でも、目や口など顔の特徴的な部分が動いてしまうようなことが無くなる。
【００４４】
また、顔を形作る特徴部分単位に形状補間の比率を変化させて形状補間を行うようにすることで、目や口といった特徴部分ごとに顔画像Ｇ１またはＧ２のいずれかに似せた合成画像を作ることができる。
【００４５】
また、ベースとなる顔画像Ｇ３の各部分の輝度値の大きさに応じて色補間比率を設定するような色補間処理を行うので、ベースとなる顔画像の髪の毛やハイライトな部分など輝度値が極端に大きい部分または小さい部分はそのまま残した状態で合成が行えるので、自然な合成が可能となる。
【００４６】
また、顔画像Ｇ１，Ｇ２の各部分の輝度値の大きさに応じて色補間比率を設定するような色補間処理を行うので、たとえば、輝度値の極端に低い顔画像Ｇ１，Ｇ２の髪の毛などが、合成後の顔画像に現れることが無くなり、高品質な合成画像が得られる。
【００４７】
また、顔を形作る特徴部分単位に色補間の比率を変化させて色補間を行うようにすることで、色相についても、目や口といった特徴部分ごとに顔画像Ｇ１またはＧ２のいずれかに似せた合成画像を作ることができる。
【００４８】
また、本発明は、髪の色、肌の色、眼球の色などの異なる人種同志の顔画像Ｇ１，Ｇ２を、ベースとなる顔画像Ｇ３を用いて合成する場合、ベースとなる顔画像Ｇ３を、遺伝的に見て適切な髪の色、肌の色、眼球の色を持つグループの中から選択することができる。
これにより、たとえば、金色の髪を持つ顔画像Ｇ１とＧ２とから、黒い髪の顔画像が合成されるというような明らかに不自然な合成画像が作成されるのを防止できる。
【００４９】
さらに、本発明は、処理対象の顔画像内の或る一点からその顔画像の輪郭に向かって横方向および縦方向に向かう２つのベクトル、これらの２つのベクトルにほぼ直交しこれら各ベクトルの相乗平均の大きさを有するベクトルを求め、これら各ベクトルと、表情を変化させるための予め設定された定数とを基に、当該顔画像の所定の点の移動方向及び移動量を算出することにより、顔の表情を変化させる処理を簡単な演算にて行うことができる。
【００５０】
また、本発明は、年齢変化処理を行う際、年齢相応の顔画像の肌領域を用いて、その顔画像の肌領域と、年齢変化処理対象の顔画像の肌領域とを交換するようにして年齢変化処理を行うので、リアリティのある年齢相応の表情を持った顔画像を得ることができる。
【発明を実施するための最良の形態】
【００５１】
以下、本発明の実施の形態について説明する。
【００５２】
（第１の実施の形態）
図１は本発明の処理を説明するブロック図であり、図１２と同一部分には同一符号が付されている。本発明では、図１２で示す構成に対して、顔画像Ｇ１および顔画像Ｇ２のそれぞれの形状データを用いて、顔画像Ｇ３に大まかに整合させる処理を行うそれぞれの形状整合処理部１１，１２（その処理については後に説明する）が新たに設けられ、それぞれの形状整合処理部１１，１２（第１の形状整合処理部１１、第２の形状整合処理部１２）からのそれぞれの整合後の形状データが出力され、形状補間処理部１に与えられるようになっている。
【００５３】
すなわち、図１においては、形状補間処理部１には、前記したように、第１の形状整合処理部１１および第２の形状整合処理部１２からのそれぞれの整合後形状データと、顔画像Ｇ３の形状データが入力され、色補間処理部２には、顔画像Ｇ１の画像データと形状データ、顔画像Ｇ２の画像データと形状データ、顔画像Ｇ３の画像データと形状データ、さらに、前記形状補間処理部１からの形状補間データが入力される構成となっている。
【００５４】
このような構成において、以下にその処理について説明する。
【００５５】
前記第１、第２の形状整合処理部１１，１２は、顔画像Ｇ１、顔画像Ｇ２のそれぞれの形状データを用いて、顔画像Ｇ１、顔画像Ｇ２の形状モデルを、背景となる顔画像Ｇ３に大まかに整合させるための処理を行う。たとえば、顔画像Ｇ１を顔画像Ｇ３に大まかに整合させる例についてを図２を参照して説明する。
【００５６】
まず、顔画像Ｇ１の特徴的な部品として、両目と口を選び、両目部分のそれぞれの中心点をα，β、口の部分の中心点をγとすると、点α，β，γのそれぞれの座標を、顔画像Ｇ３の両目と口の中心点α'，β'，γ'の座標へ座標変換を、下記に示す式を用いてアフィン変換により行う。
【００５７】
【数１】
2006323877.tif 000003
【００５８】
この（１）式に示す式を連立させてアフィン係数ｃ０〜ｃ５を求める。なお、アフィン係数ｃ０からｃ３は回転、拡大、縮小を表し、ｃ４，ｃ５は平行移動を表している。また、（１）式において、Ｘα，Ｙαは点αの座標、Ｘβ，Ｙβは点βの座標、Ｘγ，Ｙγは点γの座標、Ｘα'，Ｙα'は点α'の座標、Ｘβ'，Ｙβ'は点β'の座標、Ｘγ'，Ｙγ'は点γ'の座標である。なお、実際には各点の座標は、Ｘ，Ｙ，Ｚの３次元空間の座標であ
る。
【００５９】
この（１）式により求められたアフィン係数ｃ０〜ｃ５を用いることにより、両目のそれぞれの中心点α，βと口の中心点γ以外の全ての点も画像Ｇ３に座標変換することができる。つまり、顔画像Ｇ１内のそれぞれの点の座標値を前記（１）式に代入することにより、変換後の各点の座標値を求めることができる。
【００６０】
このように、まず、顔画像Ｇ１の両目と口のそれぞれの座標位置を、顔画像Ｇ３の両目と口の座標位置にアフィン変換することにより、顔画像Ｇ１の両目と口の部分を大まかに整合させ、なおかつ、顔画像Ｇ１の他の点（顔画像全体）も顔画像Ｇ３に大まかに整合させることができる。このような大まかな整合処理は、第１の形状整合処理部１１により行われ、この第１の形状整合処理部１１にて得られた大まかな整合後の形状データは、形状補間処理部１と色補間処理部２に送られる。
【００６１】
これと同様に、顔画像Ｇ２も顔画像Ｇ３に大まかに整合させる処理を行い、第２の形状整合処理部１２で得られた大まかな整合後の形状データは形状補間処理部１と色補間処理部２に送られる。
【００６２】
形状補間処理部２では、顔画像Ｇ１の整合後の形状データと顔画像Ｇ２の整合後の形状データおよび顔画像Ｇ３の形状データを用い、それぞれの補間比率が合計で１になるような比率で形状補間処理を行う。
【００６３】
ここまでの動作を図３（ａ），（ｂ），（ｃ）に示す。図３（ａ）は顔画像Ｇ１および顔画像Ｇ２を示すもので、これらの顔画像Ｇ１，Ｇ２を、同図（ｂ）の点線で示す背景となる顔画像Ｇ３に大まかに整合させる。この大まかな整合処理は、前記したように、顔画像Ｇ１（顔画像Ｇ２）の両目の中心点α，βの座標（Ｘα，Ｙα）、（Ｘβ，Ｙβ）と口の中心点γの座標（Ｘγ，Ｙγ）を、顔画像Ｇ３の両目と口のそれぞれの中心点α'，β'，γ'の座標に前記（１）式によりアフィン変換することで行う。そして、前記（１）式によりそれぞれの係数ｃ０〜ｃ５を求め、この係数ｃ０〜ｃ５を用いて（１）式により顔画像Ｇ１（顔画像Ｇ２）の各点の座標をアフィン変換して、顔画像Ｇ３の対応する位置に合わせ込む。図３（ｂ）は顔画像Ｇ１および顔画像Ｇ２を顔画像Ｇ３に大まかに整合させた状態を示すものであり、点線が背景となる顔画像Ｇ３、実線が顔画像Ｇ１および顔画像Ｇ２を示している。
【００６４】
これにより、形状補間処理部１では形状補間を行う際、大まかに整合された形状データ（座標データ）および顔画像Ｇ３の形状データ（座標データ）を用いて形状補間を行うため、同図（ｃ）に示すように顔画像Ｇ１、顔画像Ｇ２の両目と口が一致した状態で、形状補間処理を行うことができる。したがって、それぞれの補間比率を連続的に変化させた場合でも、目や口の位置が細かく移動してしまうことが無くなる。
【００６５】
このようにして、形状補間が行われ、続いて、色補間処理部２により色補間処理が行われる。この色補間処理は、顔画像Ｇ１、顔画像Ｇ２および顔画像Ｇ３のそれぞれの形状データと、形状補間処理部１の形状補間データ、さらには、顔画像Ｇ１、顔画像Ｇ２、顔画像Ｇ３のそれぞれの画像データ（色データ）を入力して、所定の比率で色補間しながらマッピングを行ったのち、合成された顔画像の合成画像データとして出力する。
【００６６】
ところで、前記形状補間処理部１は、目、口、鼻、眉といった顔を形作る部品の部品位置に存在する点の座標値の形状補間比率を部品位置に応じて変えることを可能とする。これにより、顔画像Ｇ１に似た合成画像または顔画像Ｇ２に似た合成画像を得ることができる。たとえば、鼻の位置に存在する点の座標値の形状補間比率を顔画像Ｇ１の補間比率を顔画像Ｇ２よりも高くすれば、顔画像Ｇ１（父親）似となる合成画像とすることができる。
【００６７】
また、前記色補間処理部２は、顔画像Ｇ３の輝度値に応じて色補間比率を変化させることを可能とする。
【００６８】
これは背景となる顔画像Ｇ３において、輝度の低い陰や髪の部分、あるいは、ハイライト部分の色が中途半端に合成画像に影響し、合成された色が不自然なものとなる問題、あるいは、顔画像Ｇ３の髪の部分が薄れたものとなってしまう問題に対処するためである。
すなわち、背景となる顔画像Ｇ３の持つ特徴的な色相（たとえば、髪の毛の色具合、ハイライト部分など）はそのまま残した上で、顔画像Ｇ１と顔画像Ｇ２を、顔画像Ｇ３をベースにして合成するのが望ましいからである。
【００６９】
これを実現するには、背景となる顔画像Ｇ３の輝度値のなかで、基準となる部分の輝度値を選んで、その基準となる部分の輝度値（基準輝度値という）からプラス方向及びマイナス方向に所定値以上外れた輝度値の部分は、顔画像Ｇ３の表現したい特徴的な色相とみなして、その顔画像Ｇ３の持つ輝度値を最大限生かせるように、顔画像Ｇ３の色補間率を顔画像Ｇ１と顔画像Ｇ２の色補間比率に比べて大きくするような処理（たとえば、顔画像Ｇ３の色補間比率を取り得る最大の色補間比率とする）を行う。これを図４に示す具体例を用いて説明する。図４において、太線で示す横軸には顔画像Ｇ３の輝度値Ｙｃをとり、太線で示す縦軸には顔画像Ｇ３の色補間比率をとっている。いま、ここでは、顔画像Ｇ３の基準輝度値に顔の肌色の中心輝度値Ｙctを選ぶとともに、この基準輝度値Ｙctを中心としてプラス方向及びマイナス方向にそれぞれ所定の範囲の輝度値ａを選び、顔画像Ｇ３の輝度値Ｙｃが、（Ｙct−ａ）≦Ｙｃ≦（Ｙct＋ａ）の場合は、
【００７０】
【数２】
2006323877.tif 000004
【００７１】
で表される曲線（図４の細線で示される曲線部分）によって顔画像Ｇ３の色補間比率Ｒcを求める。なお、この場合、顔画像Ｇ３の色補間比率Ｒcの値は、顔画像Ｇ３の取り得る色補間比率の最小の色補間比率Ｒminから最大の色補間比率Ｒmaxの間の値である。
【００７２】
また、顔画像Ｇ３の輝度値Ｙｃが、（Ｙct−ａ）＞Ｙcの場合、または、Ｙc＞（Ｙct＋ａ）の場合は、
【００７３】
【数３】
2006323877.tif 000005
【００７４】
で表される直線（図４の細線で示される直線部分）によって顔画像Ｇ３の色補間比率を求める。なお、この場合、顔画像Ｇ３の色補間比率Ｒcの値は、顔画像Ｇ３の取り得る色補間比率の最大の色補間比率Ｒmaxとする。
【００７５】
つまり、顔画像Ｇ３の輝度値がきわめて低い場合、たとえば、髪の毛の部分や陰の部分、または、顔画像Ｇ３の輝度値がきわめて高い部分、たとえばハイライトの部分などは顔画像Ｇ３の持つ特徴部分をそのまま残した方が自然な画像となるため、顔画像Ｇ３の色補間比率を最大とする。これに対して、肌色の部分は顔画像Ｇ１及び顔画像Ｇ２の色を加味した色相としたいことから、肌色の輝度値に応じて、顔画像Ｇ３の色補間率を適応的に変化させる。ここでは、肌色の中で中心的な基準輝度値のときには、顔画像Ｇ３の色補間比率を最も小さくし、その±ａの輝度値の範囲では図４に示す曲線に従って色補間比率を決めるようにする。
【００７６】
ところで、このような色補間比率の決定処理は、髪の毛や陰の部分などのように、顔画像Ｇ３の残しておきたい特徴部分に対してのみ適応されれば良い結果が得られるが、たとえば、顔画像Ｇ３の目やまゆに対しても図４に示す処理がなされると、背景となる顔画像Ｇ３の目やまゆが高い比率で色補間された顔画像となり、顔画像Ｇ１と顔画像Ｇ２の特徴が殆ど現れない顔画像となってしまうことになる。したがって、顔画像Ｇ３の目やまゆは図４で示した処理によらず、最適な補間比率で処理を行うようにする。
【００７７】
なお、ここでは、基準輝度値から±ａの輝度値の範囲では図４に示す曲線に従って色補間率を決めるようにしたが、これに限られるものではなく、その範囲の間は曲線による変化ではなく、段階的に輝度値を変化させるようにしてもよく、また、直線的な変化としてもよい。
【００７８】
また、色補間処理部２は、顔画像Ｇ１、顔画像Ｇ２の輝度値に応じて色補間比率を変化させることを可能とする。これは、顔画像Ｇ１、顔画像Ｇ２、顔画像Ｇ３を一定の比率で色補間すると、たとえば、顔画像Ｇ１または顔画像Ｇ２の額部分に髪がかかっているような場合、合成後の顔画像にその髪がうっすらと残ってしまうという問題に対処するためである。これを解決するために、顔画像Ｇ１と顔画像Ｇ２の輝度に応じて、顔画像Ｇ１の輝度値が極端に小さい（暗い）部分、あるいは、顔画像Ｇ２の輝度値が極端に小さい（暗い）部分は、合成後の顔画像Ｇ４にその極端に暗い部分（髪の毛の部分）を残すと不自然な合成画像となるので、その部分は顔画像Ｇ１または顔画像Ｇ２の色補間率を小さくし、背景となる顔画像Ｇ３の色補間比率を大きくする処理を行う。
【００７９】
これを実現するには、顔画像Ｇ１および顔画像Ｇ２の輝度値のなかで、基準となる部分の輝度値を選んで、その基準となる部分の輝度値（基準輝度値という）からプラス方向及びマイナス方向に所定値以上外れた輝度値の部分は、顔画像Ｇ１または顔画像Ｇ２の表現したくない特徴的な部分（この場合は髪の毛など）とみなして、顔画像Ｇ１または顔画像Ｇ２の色補間比率を最大限小さくし、顔画像Ｇ３の色補間比率を最大限大きくするようにする。これを図５に示す具体例を用いて説明する。図５において、太線で示す横軸には顔画像Ｇ１および顔画像Ｇ２の輝度値Ｙｃをとり、太線で示す縦軸には顔画像Ｇ１または顔画像Ｇ２の色補間比率をとっている。ここでは、画像Ｇ１および画像Ｇ２の基準輝度値Ｙctに顔の肌色の中心輝度値を選ぶとともに、この基準輝度値Ｙctを中心としてプラス方向及びマイナス方向にそれぞれ所定の範囲の輝度値ａを選び、顔画像Ｇ１または顔画像Ｇ２の輝度値Ｙｃが、（Ｙct−ａ）≦Ｙｃ≦（Ｙct＋ａ）の場合は、
【００８０】
【数４】
2006323877.tif 000006
【００８１】
で表される曲線（図５の細線で示される曲線部分）によって顔画像Ｇ１または顔画像Ｇ２の色補間比率Ｒcを求める。なお、この場合、顔画像Ｇ１または顔画像Ｇ２の色補間比率Ｒcの値は、顔画像Ｇ１または顔画像Ｇ２の取り得る色補間比率の最小の色補間比率Ｒminから最大の色補間比率Ｒmaxの間の値である。
【００８２】
また、顔画像Ｇ１または顔画像Ｇ２の輝度値Ｙｃが、（Ｙct−ａ）＞Ｙcの場合、または、Ｙc＞（Ｙct＋ａ）の場合は、
【００８３】
【数５】
2006323877.tif 000007
【００８４】
で表される直線（図５の細線で示される直線部分）によって顔画像Ｇ１または顔画像Ｇ２の色補間比率を求める。なお、この場合、顔画像Ｇ１または顔画像Ｇ２の色補間比率Ｒcの値は、顔画像Ｇ１または顔画像Ｇ２の取り得る色補間比率の最小の色補間比率Ｒminとする。
【００８５】
つまり、顔画像Ｇ１または顔画像Ｇ２の輝度値が極端に低い場合、たとえば、髪の毛の部分などは合成画像に現したくないため、顔画像Ｇ１または顔画像Ｇ２の色補間比率を最小とする。これに対して、肌色の部分は顔画像Ｇ１及び顔画像Ｇ２の色を加味した色相としたいことから、肌色の輝度値に応じて、顔画像Ｇ１または顔画像Ｇ２の色補間比率を適応的に変化させる。ここでは、肌色の中で中心的な輝度値のときには、顔画像Ｇ１または顔画像Ｇ２の色補間比率を最も大きくし、その±ａの輝度値の範囲では図５に示す曲線に従って色補間比率を決めるようにする。
【００８６】
ところで、このような色補間比率の決定処理は、合成画像に現したくない画像Ｇ１，Ｇ２の髪の毛などの部分に対してのみ適応されれば良い結果が得られるが、顔画像Ｇ１，Ｇ２の目やまゆに対しても図５に示す処理がなされると、顔画像Ｇ１，Ｇ２の目やまゆが低い比率で色補間されたた画像となり、顔画像Ｇ１，Ｇ２の目やまゆの特徴が殆ど現れない顔画像となってしまうことになる。したがって、顔画像Ｇ１，Ｇ２の目やまゆは図５で示した処理によらず、最適な補間比率で処理を行うようにする。
【００８７】
なお、ここでは、基準輝度値から±ａの輝度値の範囲では図５に示す曲線に従って色補間率を決めるようにしたが、これに限られるものではなく、その範囲の間は曲線による変化ではなく、段階的に輝度値を変化させるようにしてもよく、また、直線的な変化としてもよい。
【００８８】
また、この色補間処理部２は、目、口、鼻、眉といった顔を形作る部品の部品位置に存在する領域（パッチ）ごとに、そのパッチ内の画素の色補間比率を変えることで、それぞれの部品の色相を顔画像Ｇ１（父親）似または顔画像Ｇ２（母親）似とすることを可能とする。たとえば、鼻の色相を父親似としようとする場合、鼻を構成するそれぞれのパッチについては、各パッチ毎にたとえば、父親の画像Ｇ１の色補間比率を大きくするような処理を行う。これにより、顔の各部品毎にその色相を顔画像Ｇ１似または顔画像Ｇ２似とすることが可能となる。なお、実際には、前記した形状補間手段１による部品単位毎に形状補間比率を変える処理と連動させて行う。このように、顔を形作る部品ごとに、形状補間比率および色補間比率を適当に設定することにより、それらの部品毎の形状および色相を顔画像Ｇ１または顔画像Ｇ２に似せた、いわゆる父親似あるいは母親似といった合成顔画像を得ることができる。
【００８９】
また、この第１の実施の形態において、顔画像Ｇ１、Ｇ２のうちのいずれかと、背景となる顔画像Ｇ３の２枚の顔画像を用いて、両者を合成することにより、顔画像Ｇ１あるいはＧ２を年齢変化処理することが可能となる。たとえば、顔画像Ｇ１を比較的若い或る大人の男性の顔画像、顔画像Ｇ３を或る男性の老人の顔画像として、前記顔画像Ｇ１と、背景となる顔画像Ｇ３をベースにして合成すれば、顔画像Ｇ１を大まかに老齢化処理することも可能となる。これとは逆に、顔画像Ｇ３を男の子どもの顔画像とすれば、大まかな若返り処理も可能となる。
【００９０】
（第２の実施の形態）
この第２の実施の形態は、或る子どもの顔画像をベースにして、顔画像Ｇ１と顔画像Ｇ２を合成する場合、顔画像Ｇ１とＧ２の人種によって異なる特徴的な色を考慮した合成処理を行うものである。ここでは、人種によって異なる特徴的な色として、髪の色、眼球の色、肌の色を用いる。以下、この第２の実施の形態について説明する。
【００９１】
図６は第２の実施の形態を説明するための構成図であり、男性側の顔画像Ｇ１の画像データ（色データ）と形状データを基に、髪色の検出を行う髪色検出部１３、肌の色を検出する肌色検出部１４、眼球の色を検出する眼球色検出部１５が設けられ、女性側の顔画像Ｇ２の画像データと形状データを基に、髪色の検出を行う髪色検出部１６、肌の色を検出する肌色検出部１７、眼球の色を検出する眼球色検出部１８が設けられる。
【００９２】
前記髪色検出部１３、肌色検出部１４、眼球色検出部１５は顔画像Ｇ１の形状データおよび画像データより得られた髪の領域、肌の領域、眼球の領域に対応する各画素の色データの平均値を求め、その求められた平均値をもとに髪色、肌色、眼球色の代表色を求め、それぞれの代表色を表す髪色検出データ、肌色検出データ、眼球色検出データを出力する。たとえば、眼球色検出部１５を例に取れば、形状データにより眼球領域を抽出し、その眼球領域に含まれる総ての画素毎の画像データ（色データ）を取り出し、その総ての画素の色データの平均値を求めて、求められた平均値をもとに眼球の代表色を決定し、それに対応した眼球色検出データを出力する。髪色検出部１３、肌色検出部１４も同様にしてそれぞれの代表色を求め、それに対応した肌色検出データ、髪色検出データを出力する。
【００９３】
ただし髪の領域は、前記形状モデル（図１３参照）に示されていないので、顔の額の辺より上の予め定めた位置における画像データを取り出すようにする。前記額の辺より上の予め定めた位置は、たとえば、形状モデルに示される顔の大きさを基にして設定する。
【００９４】
一方、前記髪色検出部１６、肌色検出部１７、眼球色検出部１８も前記同等に、顔画像Ｇ２の形状データおよび画像データより得られた髪の領域、肌の領域、眼球の領域に対応する各画素の色データの平均値を求め、その求められた平均値をもとに髪色、肌色、眼球色の代表色を求め、それぞれの代表色を表す髪色検出データ、肌色検出データ、眼球色検出データを出力する。
【００９５】
なお、前記髪色検出部１３，１６、肌色検出部１４，１７、眼球色検出部１５，１８によるそれぞれの領域の色検出は、髪の領域、肌の領域、眼球の領域に対応する各画素の色データの平均値を求める以外に、たとえば、それぞれの部分における各画素の色データを基に、色の分散を求め、その分散値をもとにして代表色を求めるようにしてもよく、また、それぞれの部分における各画素の色データの頻度を計数して最多色を代表色とするようにしてもよい。
【００９６】
このようにして髪色検出部１３，１６、肌色検出部１４，１７、眼球色検出部１５，１８からはそれぞれの色検出データが出力される。これらの各色検出データは遺伝情報テーブル１９に送られる。この遺伝情報テーブル１９の内容は、図７に示すように、顔画像Ｇ１の髪色、肌色、眼球色のそれぞれの色と顔画像Ｇ２の髪色、肌色、眼球色のそれぞれの色の組み合わせに対して、髪、肌、眼球がどのような色を持つ子どもが生まれる可能性があるかを示すもので、それぞれの色の組み合わせに対する子どもの顔画像のグループ名（グループｚ１，ｚ２，・・・，ｚｎ）およびそのグループの髪色、肌色、眼球色が格納されている。
【００９７】
たとえば、顔画像Ｇ１の髪色が黒色、肌色が黄色、眼球色が茶色であって、顔画像Ｇ２の髪色が黒色、肌色が白色、眼球色が青色である場合は、選択される子どもの顔画像（背景となる顔画像Ｇ３）はグループｚ１（髪色は黒色、肌色は白色、眼球色は青色のグループ）であり、顔画像Ｇ１の髪色が金色、肌色が白色、眼球色が青色であって、顔画像Ｇ２の髪色が金色、肌色が白色、眼球色が茶色である場合は、選択される子どもの顔画像（背景となる顔画像Ｇ３）はグループｚ２（髪色は金色、肌色は白色、眼球色は青色のグループ）であるというように、父親と母親の髪色、肌色、眼球色の種々の組み合わせに対して、生まれてくる可能性のある子どもの顔画像のグループｚ１，ｚ２，・・・，ｚｎが予め設定されている。
【００９８】
そして、髪色検出部１３，１６、肌色検出部１４，１７、眼球色検出部１５，１８から出力される顔画像Ｇ１，Ｇ２のそれぞれの色検出データをもとに、子どもの顔画像のグループｚ１，ｚ２，・・・，ｚｎのうち、どれか１つが選択されると、その選択されたグループを示す情報が出力される。
【００９９】
たとえば、髪色検出部１３、肌色検出部１４、眼球色検出部１５から出力される顔画像Ｇ１の髪色の色検出データが金色を示す色検出データ、肌の色の色検出データが白色を示す色検出データ、眼球の色の色検出データが青色を示す色検出データであって、髪色検出部１６、肌色検出部１７、眼球色検出部１８から出力される顔画像Ｇ２の髪色の色検出データが金色を示す色検出データ、肌の色の色検出データが白色を示す色検出データ、眼球の色の色検出データが茶色を示す色検出データである場合、それらの色検出データによって、遺伝情報テーブル１９が参照されると、この場合、グループｚ２が選択され、これによって、グループｚ２が選択されたことを示す信号が出力される。
【０１００】
このグループｚ２は、髪色は金色、肌色は白色、眼球色は青色である子ども顔画像のグループである。したがって、父親である顔画像Ｇ１と母親である顔画像Ｇ２のそれぞれの髪の色、肌の色、眼球の色に対して遺伝的に適切な髪の色、肌の色、眼球の色を持った子供の顔画像のグループが選択されることになる。
【０１０１】
そして、選択された子どもの顔画像のグループ（前記した例では、グループｚ２）の中から、１枚の顔画像Ｇ３が選択されるが、この選択手段はここでは特に限定されるものではなく種々の方法が考えられる。
【０１０２】
たとえば、顔画像Ｇ３の男女、年齢などの選択は、顔画像Ｇ１，Ｇ２の入力前にユーザが予め設定するようにしてもよく、あるいは、グループが選択された以降にユーザが選択するようにしてもよい。また、選択されたグループに属する子どもの個別の顔画像の選択については、たとえば、ユーザによって、既に、男の子という指定がなされていたとすると、選択されたグループ内の男の子の中から、ユーザが或１つの顔画像を任意に選択できるようにしてもよく、あるいは、システム側が乱数などを用いて指定された範囲の中から或る１つの顔画像を選択するようにしてもよい。
【０１０３】
以上説明したように、この第２の実施の形態によれば、髪の色、肌の色、眼球の色などが異なる人種同志の顔画像Ｇ１，Ｇ２を、背景となる顔画像Ｇ３を用いて合成する場合、背景となる顔画像Ｇ３を、遺伝的に見て適切な髪の色、肌の色、眼球の色を持つグループの中から選択することができる。これにより、たとえば、金色の髪を持つ顔画像Ｇ１とＧ２とから、黒い髪の顔画像が合成されるというような明らかに不自然な合成画像が作成されるのを防止できる。
【０１０４】
（第３の実施の形態）
前記した第１、第２の実施の形態では、２枚の顔画像Ｇ１，Ｇ２と背景となる顔画像Ｇ３を用いて、背景となる顔画像Ｇ３をベースにして顔画像Ｇ１，Ｇ２の特徴を加味した合成画像を作成する例について説明したが、この第３の実施の形態は、或る１枚の顔画像、たとえば、顔画像Ｇ１または顔画像Ｇ２、さらには、これらを顔画像Ｇ３をベースに合成された顔画像について、目、鼻、眉、口などの部品の或る点の座標値を少し動かすことで顔の表情を変化させるものである。たとえば、目の下瞼の部分の点を上に少し動かすことによって、微笑んだ表情を作るというように顔の表情を変化させるものである。
【０１０５】
このように、顔の点を動かすことによって表情を変化させることができる。つまり、顔のどの点をどの程度どの方向に移動させるかというデータ（これを表情データという）を予め設定しておくことで、表情を変化させることができる。
【０１０６】
この第３の実施の形態は、顔画像の中の或る一点から横方向および縦方向に向かう２つのベクトルを基準として正規化された表情データを用いて表情を変化させるようにする。
この場合、処理対象となる顔画像は、前記第１、第２の実施の形態により得られた合成後の顔画像、あるいは、顔画像Ｇ１、顔画像Ｇ２など、どのような顔画像にも適用可能であるが、ここでは、図１の構成（第１の実施の形態）により得られた合成後の顔画像（これを顔画像Ｇ４という）の合成画像データ、つまり、顔画像Ｇ４の画像データおよび形状データを用いて、合成された顔画像Ｇ４の表情を変化させる例について示す。
【０１０７】
図８は第３の実施の形態を説明するための構成図であり、図１の構成により得られた合成後の顔画像Ｇ４の形状データをもとに、表情を変化させる処理を行う表情変化処理部２０と前記表情データを記憶する表情データ記憶部２１などを新たに設けた構成となっている。なお、図８におけるその他の部分は図１と同じであるので、同一部分には同一番号が付されている。
【０１０８】
次に表情変化処理部２０の具体的な処理について説明する。図９に示すように、顔画像の両目α，βの中心部（眉間部）から横方向に向かって顔の輪郭までの長さによって決められるベクトルＡ、両目α，βの中心部（眉間部）から下方向に向かって顔の輪郭までの長さによって決められるベクトルＢ、これらベクトルＡ，Ｂに直交して、かつ、ベクトルＡ，Ｂの相乗平均の大きさを持つベクトルをそれぞれ求める。そして、表情を変化させるための予め設定された定数をｖ１，ｖ２，ｖ３（ｖ１はＡ方向の移動量を決める定数、ｖ２はＢ方向の移動量を決める定数、ｖ３はＡ，Ｂに直交する方向の移動量を決定する定数）とすれば、ある点の移動方向と移動量を示す移動ベクトルＶは次式のように表すことができる。
【０１０９】
【数６】
2006323877.tif 000008
【０１１０】
なお、（６）式において、Ａ×ＢはベクトルＡとベクトルＢの外積を表し、Ａ×Ｂ／｜Ａ×Ｂ｜は単位ベクトルである。このように、３つのベクトルを考えて、移動ベクトルＶを前記（６）式により求める。ここで、定数ｖ１，ｖ２，ｖ３は前記したように、表情を変化させるために予め定められた移動量を表している。たとえば、微笑んだ表情を得るには、或る点をどの程度どの方向に移動させるかで決められるが、その移動量を示す定数がｖ１，ｖ２，ｖ３であり、ｖ１はＡ方向の移動量を決める定数、ｖ２はＢ方向の移動量を決める定数、ｖ３はＡ，Ｂに直交する方向の移動量を決める定数である。これらの定数は表情データとして顔画像に関係なくどの顔画像にも共通の予め決められた定数であり、それぞれの表情に対応して前記表情データ記憶部２１内記憶されている。一方、ベクトルＡ、ベクトルＢとこれらのベクトルに直交するベクトルは、それぞれの顔画像の大きさによって異なる。したがって、以上のような３個のベクトルを用いることにより、移動量は主に顔の横幅と縦の長さで正規化され、顔画像の大小などの個人差を吸収することができる。
【０１１１】
これにより、表情を変化させるに必要な或る点の移動量は、前記（６）式から移動ベクトルＶを求めることにより、その顔画像の大きさに応じた移動量が得られる。そして、この移動量に応じて点を移動させることにより所望とする表情を得ることができる。
【０１１２】
なお、以上の説明は、形状モデルを３次元と考えた場合についてであったが、たとえば正面を向いた顔画像などのように形状モデルが２次元的な場合においても同様に適用できる。この場合には、前記（６）式における移動ベクトルＶは、Ａ方向の移動量を決める定数をｖ１、Ｂ方向の移動量を決める定数をｖ２とすれば、Ｖ＝ｖ１・Ａ＋ｖ２・Ｂで表すことができる。
【０１１３】
（第４の実施の形態）
この第４の実施の形態は、或る１枚の顔画像、たとえば、顔画像Ｇ１または顔画像Ｇ２、さらには、これらを顔画像Ｇ３をベースに合成した顔画像Ｇ４を用いて、これらの或る顔画像に年齢変化処理を施すものである。以下、この第４の実施の形態について図１０を参照しながら説明する。
【０１１４】
この第４の実施の形態において、処理対象となる顔画像は、前記第１、第２のの実施の形態により得られた合成後の顔画像Ｇ４、あるいは、画像Ｇ１、画像Ｇ２など、どのような顔画像にも適用可能であるが、ここでは、前記図１の構成（第１の実施の形態）により得られた合成後の顔画像Ｇ４の合成画像データ（画像データおよび形状データ）を用いて、その合成された顔画像Ｇ４に年齢変化処理（ここでは加齢処理）を施す例について示す。図１０は第４の実施の形態を説明するための構成図であり、前記図１により得られた合成後の顔画像Ｇ４の合成画像データ（画像データおよび形状データ）と、予め用意された或る老人の顔画像の画像データおよび形状データをもとに、加齢合成処理を行う年齢変化処理部３１を新たに設けた構成となっている。なお、図１０におけるその他の部分は図１と同じであるので、同一部分には同一番号が付されている。
【０１１５】
前記年齢変化処理部３１は、図１の構成により得られた合成後の顔画像Ｇ４の肌に、或る老人の顔画像Ｇ５の肌を合成することで加齢処理する。これを行うには、老人の顔画像Ｇ５の形状データにより顔の肌領域を取り出し、その肌領域の部分の画像データを、合成後の顔画像Ｇ４の肌領域にテクスチャマッピングすることにより加齢処理を行う。図１１はこの加齢処理を説明するフローチャートである。以下、図１１を参照しながら簡単に説明する。
【０１１６】
まず、顔画像Ｇ４の肌領域に或る老人の顔画像Ｇ５の肌画像データをマッピングする（ステップｓ１）。そして、顔画像Ｇ４のまゆ領域に顔画像Ｇ４のまゆ画像データをマッピングし（ステップｓ２）、そのあと、顔画像Ｇ４の目領域に顔画像Ｇ４の目画像データをマッピングし（ステップｓ３）、続いて、顔画像Ｇ４の鼻領域に顔画像Ｇ４の鼻画像データをマッピングし（ステップｓ４）、その後、顔画像Ｇ４の口領域に顔画像Ｇ４の口画像データをマッピングする（ステップｓ５）。
【０１１７】
このように、実際の老人の顔画像の肌領域を用いて、その老人の肌領域と加齢処理を施そうとする顔画像の肌領域とを交換するようにして加齢処理を行うので、リアリティのある表情を持った加齢処理が可能となる。また、老齢化の度合いに応じて老人の顔画像を選ぶことにより、老齢化の度合いを自由に変化させることが可能となる。なお、老齢化処理だけでなく、処理対象の顔画像Ｇ１，Ｇ２より若い顔画像を使用すれば、若返りの処理も可能となる。
【０１１８】
なお、以上説明した各実施の形態において、それぞれの処理を行う処理プログラムはフロッピィディスクなどの記憶媒体に記憶させておくことも可能である。
【図面の簡単な説明】
【０１１９】
【図１】本発明の第１の実施の形態を説明する構成図。
【図２】同実施の形態における大まかな形状整合を説明する図。
【図３】同実施の形態における形状補間処理を説明する図。
【図４】同実施の形態における背景顔画像の輝度値に応じた色補間比率を設定する例を説明する図。
【図５】同実施の形態における合成しようとする２つの顔画像の輝度値に応じた色補間比率を設定する例を説明する図。
【図６】本発明の第２の実施の形態を説明する構成図。
【図７】第２の実施の形態における遺伝情報テーブルの内容の一例を示す図。
【図８】本発明の第３の実施の形態を説明する構成図。
【図９】第３の実施の形態において正規化ベクトルの定義を説明する図。
【図１０】本発明の第４の実施の形態を説明する構成図。
【図１１】第４の実施の形態の処理を説明するフローチャート。
【図１２】従来の画像合成処理を説明する構成図。
【図１３】或る顔画像に対する形状モデルの一例を示す図。
【図１４】従来における形状補間比率を連続的に変化させる場合の形状補間処理を説明する図。
【符号の説明】
【０１２０】
１・・・形状補間処理部
２・・・色補間処理部
１１・・・第１の形状整合処理部
１２・・・第２の形状整合処理部
１３，１６・・髪色検出部
１４，１７・・・肌色検出部
１５，１８・・・眼球色検出部
１９・・・遺伝情報テーブル
２０・・・表情変化処理部
２１・・・表情データ記憶部
３１・・・年齢変化処理部
Ｇ１，Ｇ２・・・合成される顔画像
Ｇ３・・・背景となる顔画像
Ｇ４・・・合成後の顔画像
α，β・・・目の中心点
γ・・・口の中心点
Ｙｃ・・・顔画像Ｇ１，Ｇ２，Ｇ３の輝度値
Ｒｃ・・・顔画像Ｇ１，Ｇ２，Ｇ３の色補間比率
ｑ・・・形状モデルにおける点
ｑ０，ｑ１，・・・点の番号
Ｌ・・・形状モデルにおける点と点との間を結ぶライン
Ｌ０，Ｌ１・・・点と点との間を結ぶラインの番号
ｐ・・・形状モデルにおけるパッチ
ｐ０，ｐ１・・・パッチの番号
【図１】
2006323877.tif 000009
【図２】
2006323877.tif 000010
【図３】
2006323877.tif 000011
【図４】
2006323877.tif 000012
【図５】
2006323877.tif 000013
【図６】
2006323877.tif 000014
【図７】
2006323877.tif 000015
【図８】
2006323877.tif 000016
【図９】
2006323877.tif 000017
【図１０】
2006323877.tif 000018
【図１１】
2006323877.tif 000019
【図１２】
2006323877.tif 000020
【図１３】
2006323877.tif 000021
【図１４】
2006323877.tif 000022
【手続補正書】
【提出日】平成18年9月11日(2006.9.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
１つの顔画像を処理対象顔画像とし、この処理対象顔画像とその処理対象顔画像に整合させた形状モデルを用い、前記処理対象顔画像に年齢変化を加える処理を行う顔画像処理方法であって、
年齢変化処理手段が、予め用意された或る年齢相応の顔画像（Ｇ５）とこの顔画像（Ｇ５）に整合させた形状モデルから、この顔画像（Ｇ５）の肌領域の画像を抽出し、この抽出された肌領域の画像を前記処理対象顔画像の肌領域にマッピングして年齢変化処理を行うステップを有することを特徴とする顔画像処理方法。
【請求項２】
１つの顔画像を処理対象顔画像とし、この処理対象顔画像とその処理対象顔画像に整合させた形状モデルを用い、前記処理対象顔画像に年齢変化を加える処理を行う顔画像処理方法であって、
年齢変化処理手段が、予め用意された或る年齢相応の顔画像（Ｇ５）とこの顔画像（Ｇ５）に整合させた形状モデルから、この顔画像（Ｇ５）の肌領域の画像を抽出し、この抽出された肌領域の画像を前記処理対象顔画像の肌領域にマッピングして年齢変化処理を行うステップ
を有する第１の顔画像処理手段と、
２枚の顔画像（Ｇ１，Ｇ２）および背景となる顔画像（Ｇ３）と、これら顔画像（Ｇ１，Ｇ２，Ｇ３）に整合させたそれぞれの形状モデルとから、前記顔画像（Ｇ３）をベースとして前記顔画像（Ｇ１，Ｇ２）の特徴を加えた顔画像（Ｇ４）を合成する顔画像処理手段であって、
第１の形状整合処理手段が、前記顔画像（Ｇ１）の特徴的部分に注目し、前記顔画像（Ｇ１）の形状モデルの前記特徴的部分に対応する所定点の座標を、前記顔画像（Ｇ３）の形状モデルの対応する点の座標に座標変換することで、前記顔画像（Ｇ１）を前記顔画像（Ｇ３）に大まかに整合するステップと、
第２の形状整合処理手段が、前記顔画像（Ｇ２）の特徴的部分に注目し、前記顔画像（Ｇ２）の形状モデルの前記特徴的部分に対応する所定点の座標を、前記顔画像（Ｇ３）の形状モデルの対応する点の座標に座標変換することで、前記顔画像（Ｇ２）を前記顔画像（Ｇ３）に大まかに整合するステップと、
形状補間処理手段が、前記第１の形状整合処理手段により整合された前記顔画像（Ｇ１）の整合後の形状モデルと、前記第２の形状整合処理手段により整合された前記顔画像（Ｇ２）の整合後の形状モデルのそれぞれと、前記顔画像（Ｇ３）の形状モデルのそれぞれ対応する点の座標値を所定の比率で形状補間するステップと、
色補間処理手段が、前記形状補間処理手段により形状補間された形状モデルに対し、それぞれ対応する画素について所定の比率で色補間するステップと
を有する第２の顔画像処理手段とを有し、
前記第１の顔画像処理手段は、少なくとも前記顔画像（Ｇ１，Ｇ２，Ｇ３，Ｇ４）のいずれか１つを前記処理対象顔画像とする
ことを特徴とする顔画像処理方法。
【請求項３】
１つの顔画像を処理対象顔画像とし、この処理対象顔画像とその処理対象顔画像に整合させた形状モデルを用い、前記処理対象顔画像に年齢変化を加える処理を行う顔画像処理方法であって、
年齢変化処理手段が、予め用意された或る年齢相応の顔画像（Ｇ５）とこの顔画像（Ｇ５）に整合させた形状モデルから、この顔画像（Ｇ５）の肌領域の画像を抽出し、この抽出された肌領域の画像を前記処理対象顔画像の肌領域にマッピングして年齢変化処理を行うステップ
を有する第１の顔画像処理手段と、
２枚の顔画像（Ｇ１，Ｇ２）および背景となる顔画像（Ｇ３）と、これら顔画像（Ｇ１，Ｇ２，Ｇ３）に整合させたそれぞれの形状モデルとから、前記顔画像（Ｇ３）をベースとして前記顔画像（Ｇ１，Ｇ２）の特徴を加えた顔画像（Ｇ４）を合成する顔画像処理手段であって、
色検出手段が、前記顔画像（Ｇ１，Ｇ２）の特徴的な領域に注目し、前記顔画像（Ｇ１，Ｇ２）のそれぞれの特徴的な領域のそれぞれの代表色を前記それぞれの特徴的な領域中の画素データから統計的に検出するステップと、
背景顔画像選択処理手段が、前記顔画像（Ｇ１，Ｇ２）の前記特徴的な領域の前記それぞれの代表色を基に、前記それぞれの特徴的な領域の画像データの組み合わせに基づき定義された遺伝的な情報に基づいて、１つ以上の前記顔画像（Ｇ３）の候補画像中から、前記それぞれの代表色の組み合わせに対応する前記顔画像（Ｇ３）を選択するステップと
を有する第２の顔画像処理手段とを有し、
前記第１の顔画像処理手段は、少なくとも前記顔画像（Ｇ１，Ｇ２，Ｇ３，Ｇ４）のいずれか１つを前記処理対象顔画像とする
ことを特徴とする顔画像処理方法。
【請求項４】
１つの顔画像を処理対象顔画像とし、この処理対象顔画像とその処理対象顔画像に整合させた形状モデルを用い、前記処理対象顔画像に年齢変化を加える処理を行う顔画像処理装置であって、
予め用意された或る年齢相応の顔画像（Ｇ５）とこの顔画像（Ｇ５）に整合させた形状モデルから、この顔画像（Ｇ５）の肌領域の画像を抽出し、この抽出された肌領域の画像を前記処理対象顔画像の肌領域にマッピングして年齢変化処理を行う年齢変化処理部を有したことを特徴とする顔画像処理装置。
【請求項５】
１つの顔画像を処理対象顔画像とし、この処理対象顔画像とその処理対象顔画像に整合させた形状モデルを用い、前記処理対象顔画像に年齢変化を加える処理を行う顔画像処理装置であって、
予め用意された或る年齢相応の顔画像（Ｇ５）とこの顔画像（Ｇ５）に整合させた形状モデルから、この顔画像（Ｇ５）の肌領域の画像を抽出し、この抽出された肌領域の画像を前記処理対象顔画像の肌領域にマッピングして年齢変化処理を行う年齢変化処理手段
を有する第１の顔画像処理部と、
２枚の顔画像（Ｇ１，Ｇ２）および背景となる顔画像（Ｇ３）と、これら顔画像（Ｇ１，Ｇ２，Ｇ３）に整合させたそれぞれの形状モデルとから、前記顔画像（Ｇ３）をベースとして前記顔画像（Ｇ１，Ｇ２）の特徴を加えた顔画像（Ｇ４）を合成する顔画像処理部であって、
前記顔画像（Ｇ１）の特徴的部分に注目し、前記顔画像（Ｇ１）の形状モデルの前記特徴的部分に対応する所定点の座標を、前記顔画像（Ｇ３）の形状モデルの対応する点の座標に座標変換することで、前記顔画像（Ｇ１）を前記顔画像（Ｇ３）に大まかに整合する第１の形状整合処理手段と、
前記顔画像（Ｇ２）の特徴的部分に注目し、前記顔画像（Ｇ２）の形状モデルの前記特徴的部分に対応する所定点の座標を、前記顔画像（Ｇ３）の形状モデルの対応する点の座標に座標変換することで、前記顔画像（Ｇ２）を前記顔画像（Ｇ３）に大まかに整合させる第２の形状整合処理手段と、
前記第１の形状整合処理手段により整合された前記顔画像（Ｇ１）の整合後の形状モデルと、前記第２の形状整合処理手段により整合された前記顔画像（Ｇ２）の整合後の形状モデルのそれぞれと、前記顔画像（Ｇ３）の形状モデルのそれぞれ対応する点の座標値を所定の比率で形状補間する形状補間処理手段と、
前記形状補間処理手段にて形状補間された形状モデルに対し、それぞれ対応する画素について所定の比率で色補間する色補間処理手段と
を有する第２の顔画像処理部とを有し、
前記第１の顔画像処理部は、少なくとも前記顔画像（Ｇ１，Ｇ２，Ｇ３，Ｇ４）のいずれか１つを前記処理対象顔画像とする
ことを特徴とする顔画像処理装置。
【請求項６】
１つの顔画像を処理対象顔画像とし、この処理対象顔画像とその処理対象顔画像に整合させた形状モデルを用い、前記処理対象顔画像に年齢変化を加える処理を行う顔画像処理装置であって、
予め用意された或る年齢相応の顔画像（Ｇ５）とこの顔画像（Ｇ５）に整合させた形状モデルから、この顔画像（Ｇ５）の肌領域の画像を抽出し、この抽出された肌領域の画像を前記処理対象顔画像の肌領域にマッピングして年齢変化処理を行う年齢変化処理手段
を有する第１の顔画像処理部と、
２枚の顔画像（Ｇ１，Ｇ２）および背景となる顔画像（Ｇ３）と、これら顔画像（Ｇ１，Ｇ２，Ｇ３）に整合させたそれぞれの形状モデルとから、前記顔画像（Ｇ３）をベースとして前記顔画像（Ｇ１，Ｇ２）の特徴を加えた顔画像（Ｇ４）を合成する顔画像処理部であって、
前記顔画像（Ｇ１，Ｇ２）の特徴的な領域の代表色を前記それぞれの特徴的な領域中の画素データから統計的に検出するそれぞれの色検出手段と、
前記それぞれの特徴的な領域の画像データの組み合わせに基づき定義された遺伝的な情報を予め格納した遺伝情報テーブルを設け、前記顔画像（Ｇ１，Ｇ２）の前記それぞれの代表色を基に、前記遺伝情報テーブルを参照して、１つ以上の前記顔画像（Ｇ３）の候補画像中から、前記顔画像（Ｇ１，Ｇ２）の前記それぞれの代表色の組み合わせに対応する前記顔画像（Ｇ３）を選択する背景顔画像選択処理手段と
を有する第２の顔画像処理部とを有し、
前記第１の顔画像処理部は、少なくとも前記顔画像（Ｇ１，Ｇ２，Ｇ３，Ｇ４）のいずれか１つを前記処理対象顔画像とする
ことを特徴とする顔画像処理装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
本発明の画像処理方法は、２枚の顔画像Ｇ１，Ｇ２および背景となる顔画像Ｇ３と、これら顔画像Ｇ１，Ｇ２，Ｇ３に整合させたそれぞれの形状モデルとから、前記顔画像Ｇ３をベースとして前記顔画像Ｇ１，Ｇ２の特徴を加えた顔画像を合成する画像処理方法であって、第１の形状整合処理手段が、前記顔画像Ｇ１の特徴的部分に注目し、前記顔画像Ｇ１の形状モデルの前記特徴的部分に対応する所定点の座標を、前記顔画像Ｇ３の形状モデルの対応する点の座標に座標変換することで、前記顔画像Ｇ１を前記顔画像Ｇ３に大まかに整合するステップと、第２の形状整合処理手段が、前記顔画像Ｇ２の特徴的部分に注目し、前記顔画像Ｇ２の形状モデルの前記特徴的部分に対応する所定点の座標を、前記顔画像Ｇ３の形状モデルの対応する点の座標に座標変換することで、前記顔画像Ｇ２を前記顔画像Ｇ３に大まかに整合するステップと、形状補間処理手段が、前記第１の形状整合処理手段により整合された前記顔画像Ｇ１の整合後の形状モデルと、前記第２の形状整合処理手段により整合された前記顔画像Ｇ２の整合後の形状モデルのそれぞれと、前記顔画像Ｇ３の形状モデルのそれぞれ対応する点の座標値を所定の比率で形状補間するステップと、色補間処理手段が、前記形状補間処理手段により形状補間された形状モデルに対し、それぞれ対応する画素について所定の比率で色補間するステップとを有することを特徴としている。これにより、形状補間比率を連続的に変化させて２つの顔画像を合成する場合でも、目や口といった顔の特徴的部分の位置が形状補間比率を変化させる毎に微妙に動いてしまうということがなくなり、高品質な合成画像を得ることが可能となる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
また、前記形状補間処理手段は、顔を形作る特徴部分単位に形状補間の比率を変化させて形状補間を行うようにする。これにより、合成画像を、目や口といった部品ごとに顔画像Ｇ１に似せたり、顔画像Ｇ２に似せたりすることができる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
また、前記色補間処理手段は、背景となる前記顔画像Ｇ３の各部分の輝度値の大きさに応じて色補間比率を設定するようにしている。これにより、背景となる顔画像において特徴的な輝度値を有する部分が存在する場合、その特徴的部分の色相を合成画像に残すような色補間比率を設定することができ、自然な状態の合成画像を得ることができる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
そして、前記輝度値に応じた色補間比率の設定は、前記顔画像Ｇ３の肌色の中心輝度を有する部分に対しては前記顔画像Ｇ３の色補間比率を前記顔画像Ｇ１，Ｇ２の色補間比率に比べて最も小さくし、その肌色の中心輝度を中心としてその前後の所定範囲の輝度値以上または以下の輝度値を有する部分に対しては、前記顔画像Ｇ３の色補間比率を前記顔画像Ｇ１，Ｇ２の色補間比率に比べて最も大きくし、前記中心輝度の前後所定範囲内は輝度値が前記中心輝度から離れるに従って前記顔画像Ｇ３の色補間比率を大きくするようにしている。これにより、背景となる顔画像の髪の毛やハイライト部分など輝度値が極端に大きい部分や小さい部分はそのまま残した状態で合成が行えるので、自然な合成が可能となる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
また、前記色補間処理手段は、前記顔画像Ｇ１，Ｇ２の各部分の輝度値の大きさに応じて色補間比率を設定するようにしている。これにより、顔画像Ｇ１，Ｇ２において特徴的な輝度値を有する部分が存在する場合は、それに対応した色補間比率を設定することで、たとえば、顔画像Ｇ１，Ｇ２の額部分に髪の毛がかかっているような場合、それを合成画像に現さないようにすることが可能となる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
そして、前記輝度値に応じた色補間比率の設定は、前記顔画像Ｇ１，Ｇ２の肌色の中心輝度を有する部分に対しては前記顔画像Ｇ１，Ｇ２の色補間比率を前記顔画像Ｇ３の色補間比率に比べて最も大きくし、その肌色の中心輝度を中心としてその前後の所定範囲の輝度値以上または以下の輝度値を有する部分に対しては、前記顔画像Ｇ１，Ｇ２の色補間比率を前記顔画像Ｇ３の色補間比率に比べて最も小さくし、前記中心輝度の前後所定範囲内は輝度値が前記中心輝度から離れるに従って前記顔画像Ｇ１，Ｇ２の色補間比率を小さくするようにする。これにより、顔画像Ｇ１，Ｇ２の髪の毛など輝度値が極端に大きい部分に対しては、色補間比率を小さく設定することで、たとえば、顔画像Ｇ１，Ｇ２の額部分に髪の毛がかかっているような場合、それを合成画像に現さないようにすることが可能となる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
また、前記色補間処理手段は、顔を形作る特徴部分単位に色補間の比率を変化させて色補間を行うようにする。これにより、色相についても、目や口といった特徴部分ごとに顔画像Ｇ１またはＧ２のいずれかに似せた合成画像を作ることができる。これを前述の形状補間比率を目や口などの部品ごとに変化させる技術と組み合わせることにより、より一層、きめ細やかに、顔画像Ｇ１に似せたり、顔画像Ｇ２に似せたりした合成画像を得ることができる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
また、本発明の顔画像処理方法は、２枚の顔画像Ｇ１，Ｇ２および背景となる顔画像Ｇ３と、これら顔画像Ｇ１，Ｇ２，Ｇ３に整合させたそれぞれの形状モデルとから、前記顔画像Ｇ３をベースとして前記顔画像Ｇ１，Ｇ２の特徴を加えた顔画像を合成する顔画像処理方法であって、色検出手段が、前記顔画像Ｇ１，Ｇ２の特徴的な領域に注目し、前記顔画像Ｇ１，Ｇ２のそれぞれの特徴的な領域の色を検出するステップと、背景顔画像選択処理手段が、前記色検出手段が検出した前記特徴的な領域の色データを基にして、前記ベースとなる前記顔画像Ｇ３を選択するステップとを有することを特徴としている。これによれば、合成しようとする顔画像Ｇ１，Ｇ２にふさわしい顔画像Ｇ３を選択できるので、自然な合成画像を作成することができる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
前記背景顔画像選択処理手段は、前記色検出手段が検出した前記顔画像Ｇ１，Ｇ２の前記特徴的な領域の画像データを基に遺伝的な情報に基づいて、前記顔画像Ｇ３を選択する。これによれば、顔画像Ｇ１，Ｇ２の人種的な特徴に対応した顔画像Ｇ３を選択できるので、自然な合成画像を作成することができる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
また、前記顔画像Ｇ１，Ｇ１の特徴的な領域は、少なくとも髪領域、肌領域、目領域のうちの１つを含むことを特徴としている。これによれば、顔画像の中で特に特徴的な領域を考慮して顔画像Ｇ３が選択されるので、自然な合成画像を作成することができる。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
また、本発明の顔画像処理方法は、１つの顔画像を処理対象顔画像とし、この処理対象顔画像とその処理対象顔画像に整合させた形状モデルを用い、当該処理対象顔画像の所定の点を所定量だけ移動させることによって表情を変化させる顔画像処理方法であって、表情を変化させるための予め設定された定数が格納される表情データ記憶手段と、表情変化処理手段が、当該処理対象の顔画像内の或る一点からその顔画像の輪郭に向かって横方向および縦方向に向かう２つのベクトル、これらの２つのベクトルに直交しこれら各ベクトルの相乗平均の大きさを有するベクトルを求め、これら各ベクトルと、前記表情を変化させるための予め設定された定数とを基に、当該顔画像の所定の点の移動方向及び移動量を表す移動ベクトルを算出するステップとを有することを特徴としている。これにより、顔の表情を変化させる処理を簡単な演算にて行うことができる。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
また、本発明の顔画像処理方法は、１つの顔画像を処理対象顔画像とし、この処理対象顔画像とその処理対象顔画像に整合させた形状モデルを用い、前記処理対象顔画像に年齢変化を加える処理を行う顔画像処理方法であって、年齢変化処理部が、予め用意された或る年齢相応の顔画像Ｇ５とこの顔画像Ｇ５に整合させた形状モデルから、この顔画像Ｇ５の肌領域の画像を抽出し、この抽出された肌領域の画像を前記処理対象顔画像の肌領域にマッピングして年齢変化処理を行うことを特徴としている。これにより、リアリティのある年齢変化処理が可能となる。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
また、本発明の画像処理装置は、２枚の顔画像Ｇ１，Ｇ２および背景となる顔画像Ｇ３と、これら顔画像Ｇ１，Ｇ２，Ｇ３に整合させたそれぞれの形状モデルとから、前記顔画像Ｇ３をベースとして前記顔画像Ｇ１，Ｇ２の特徴を加えた顔画像を合成する画像処理装置であって、前記顔画像Ｇ１の特徴的部分に注目し、前記顔画像Ｇ１の形状モデルの前記特徴的部分に対応する所定点の座標を、前記顔画像Ｇ３の形状モデルの対応する点の座標に座標変換することで、前記顔画像Ｇ１を前記顔画像Ｇ３に大まかに整合する第１の形状整合処理手段と、前記顔画像Ｇ２の特徴的部分に注目し、前記顔画像Ｇ２の形状モデルの前記特徴的部分に対応する所定点の座標を、前記顔画像Ｇ３の形状モデルの対応する点の座標に座標変換することで、前記顔画像Ｇ２を前記顔画像Ｇ３に大まかに整合させる第２の形状整合処理手段と、前記第１の形状整合処理手段により整合された前記顔画像Ｇ１の整合後の形状モデルと、前記第２の形状整合処理手段により整合された前記顔画像（Ｇ２）の整合後の形状モデルのそれぞれと、前記顔画像Ｇ３の形状モデルのそれぞれ対応する点の座標値を所定の比率で形状補間する形状補間処理手段と、前記形状補間処理手段にて形状補間された形状モデルに対し、それぞれ対応する画素について所定の比率で色補間する色補間処理手段とを有したことを特徴としている。これにより、形状補間比率を連続的に変化させて２つの顔画像を合成する場合でも、目や口といった顔の特徴的部分の位置が形状補間比率を変化させる毎に微妙に動いてしまうということがなくなり、高品質な合成画像を得ることが可能となる。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
また、前記形状補間処理手段は、顔を形作る特徴部分単位に形状補間の比率を変化させて形状補間を行うようにする。これにより、合成画像を、目や口といった部品ごとに顔画像Ｇ１に似せたり、顔画像Ｇ２に似せたりすることができる。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
また、前記色補間処理手段は、前記顔画像Ｇ３の各部分の輝度値の大小を判断し、前記輝度値の大きさに応じて色補間比率を設定する。これにより、背景となる顔画像において特徴的な輝度値を有する部分が存在する場合、その特徴的部分の色相を合成画像に残すような色補間比率を設定することができ、自然な状態の合成画像を得ることができる。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
そして、前記輝度値に応じた色補間比率の設定は、前記顔画像Ｇ３の肌色の中心輝度を有する部分に対しては前記顔画像Ｇ３の色補間比率を前記顔画像Ｇ１，Ｇ２の色補間比率に比べて最も小さくし、その肌色の中心輝度を中心としてその前後の所定範囲の輝度値以上または以下の輝度値を有する部分に対しては、前記顔画像Ｇ３の色補間比率を前記顔画像Ｇ１，Ｇ２の色補間比率に比べて最も大きくし、前記中心輝度の前後所定範囲内は輝度値が前記中心輝度から離れるに従って前記顔画像Ｇ３の色補間比率大きくするようにする。これにより、背景となる顔画像の髪の毛やハイライト部分など輝度値が極端に大きい部分や小さい部分はそのまま残した状態で合成が行えるので、自然な合成が可能となる。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
また、前記色補間処理手段は、前記顔画像Ｇ１，Ｇ２の各部分の輝度値の大小を判断し、前記輝度値の大きさに応じて色補間比率を設定する。これにより、顔画像Ｇ１，Ｇ２において特徴的な輝度値を有する部分が存在する場合は、それに対応した色補間比率を設定することで、たとえば、顔画像Ｇ１，Ｇ２の額部分に髪の毛がかかっているような場合、それを合成画像に現さないようにすることが可能となる。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
そして、前記輝度値に応じた色補間比率の設定は、前記顔画像Ｇ１，Ｇ２の肌色の中心輝度を有する部分に対しては前記顔画像Ｇ１，Ｇ２の色補間比率を前記顔画像Ｇ３の色補間比率に比べて最も大きくし、その肌色の中心輝度を中心としてその前後の所定範囲の輝度値以上または以下の輝度値を有する部分に対しては、前記顔画像Ｇ１，Ｇ２の色補間比率を前記顔画像Ｇ３の色補間比率に比べて最も小さくし、前記中心輝度の前後所定範囲内は輝度値が前記中心輝度から離れるに従って前記顔画像Ｇ１，Ｇ２の色補間比率を小さくするようにする。これにより、顔画像Ｇ１，Ｇ２の髪の毛など輝度値が極端に小さい部分に対しては、色補間比率を小さく設定することで、たとえば、顔画像Ｇ１，Ｇ２の額部分に髪の毛がかかっているような場合、それを合成画像に現さないようにすることが可能となる。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
また、前記色補間処理手段は、顔を形作る特徴部分単位に色補間の比率を変化させて色補間を行うようにする。これにより、色相についても、目や口といった特徴部分ごとに顔画像Ｇ１またはＧ２のいずれかに似せた合成画像を作ることができる。これを前述の形状補間比率を目や口などの部品ごとに変化させる技術と組み合わせることにより、より一層、きめ細やかに、顔画像Ｇ１に似せたり、顔画像Ｇ２に似せたりした合成画像を得ることができる。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
本発明の顔画像処理装置は、２枚の顔画像Ｇ１，Ｇ２および背景となる顔画像Ｇ３と、これら顔画像Ｇ１，Ｇ２，Ｇ３に整合させたそれぞれの形状モデルとから、前記顔画像Ｇ３をベースとして前記顔画像Ｇ１，Ｇ２の特徴を加えた顔画像を合成する顔画像処理装置であって、前記顔画像Ｇ１，Ｇ２の特徴的な領域の色を検出するそれぞれの色検出手段と、それぞれの前記色検出手段により検出されたそれぞれの前記特徴的な領域の色データを基にして、前記ベースとなる前記顔画像Ｇ３を選択する背景顔画像選択処理手段とを有することを特徴としている。これによれば、合成しようとする顔画像Ｇ１，Ｇ２にふさわしい背景となる顔画像Ｇ３を選択できるので、自然な合成画像を作成することができる。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】変更
【補正の内容】
【００３９】
前記背景顔画像選択処理手段は、遺伝的な情報を予め格納した遺伝情報テーブルを設け、前記顔画像Ｇ１，Ｇ２の前記特徴的な領域の画像データを基に、前記遺伝情報テーブルを参照して、前記顔画像Ｇ１，Ｇ２の画像データに対応する前記背景顔画像Ｇ３を選択する。これによれば、顔画像Ｇ１，Ｇ２の人種的な特徴に対応した背景となる顔画像Ｇ３を選択できるので、自然な合成画像を作成することができる。
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【００４０】
前記顔画像Ｇ１，Ｇ２の特徴的な領域は、少なくとも髪領域、肌領域、目領域のうちの１つを含むことを特徴としている。これによれば、顔画像の中で特に特徴的な領域を考慮して背景となる顔画像Ｇ３が選択されるので、自然な合成画像を作成することができる。
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
また、本発明の顔画像処理装置は、１つの顔画像を処理対象顔画像とし、この処理対象顔画像とその処理対象顔画像に整合させた形状モデルを用い、当該処理対象顔画像の所定の点を所定量だけ移動させることによって表情を変化させる顔画像処理装置であって、表情を変化させるための予め設定された定数が格納される表情データ記憶手段と、当該処理対象の顔画像内の或る一点からその顔画像の輪郭に向かって横方向および縦方向に向かう２つのベクトル、これらの各ベクトルに直交しこれら各ベクトルの相乗平均の大きさを有するベクトルを求め、これら２つのベクトルと、前記表情を変化させるための予め設定された定数とを基に、当該顔画像の所定の点の移動方向及び移動量を表す移動ベクトルを算出する表情変化処理手段とを有することを特徴としている。これにより、顔の表情を変化させる処理を簡単な演算にて行うことができる。
【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
また、本発明の顔画像処理装置は、１つの顔画像を処理対象顔画像とし、この処理対象顔画像とその処理対象顔画像に整合させた形状モデルを用い、前記処理対象顔画像に年齢変化を加える処理を行う顔画像処理装置であって、予め用意された或る年齢相応の顔画像Ｇ５とこの顔画像Ｇ５に整合させた形状モデルから、この顔画像Ｇ５の肌領域の画像を抽出し、この抽出された肌領域の画像を前記処理対象顔画像の肌領域にマッピングして年齢変化処理を行う年齢変化処理部を有したことを特徴としている。これにより、リアリティのある年齢変化処理が可能となる。
【手続補正２６】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】削除
【補正の内容】
【手続補正２７】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】削除
【補正の内容】
【手続補正２８】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】削除
【補正の内容】
【手続補正２９】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】削除
【補正の内容】
【手続補正３０】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
本発明は、髪の色、肌の色、眼球の色などの異なる人種同士の顔画像Ｇ１，Ｇ２を、ベースとなる顔画像Ｇ３を用いて合成する場合、ベースとなる顔画像Ｇ３を、遺伝的に見て適切な髪の色、肌の色、眼球の色を持つグループの中から選択することができる。これにより、たとえば、金色の髪を持つ顔画像Ｇ１とＧ２とから、黒い髪の顔画像が合成されるというような明らかに不自然な合成画像が作成されるのを防止できる。
【手続補正３１】
【補正対象書類名】明細書
【補正対象項目名】００４９
【補正方法】削除
【補正の内容】
【手続補正３２】
【補正対象書類名】明細書
【補正対象項目名】００５９
【補正方法】変更
【補正の内容】
【００５９】
この（１）式により求められたアフィン係数ｃ０〜ｃ５を用いることにより、両目のそれぞれの中心点α，βと口の中心点γ以外の全ての点も顔画像Ｇ３に座標変換することができる。つまり、顔画像Ｇ１内のそれぞれの点の座標値を前記（１）式に代入することにより、変換後の各点の座標値を求めることができる。
【手続補正３３】
【補正対象書類名】明細書
【補正対象項目名】００７９
【補正方法】変更
【補正の内容】
【００７９】
これを実現するには、顔画像Ｇ１および顔画像Ｇ２の輝度値のなかで、基準となる部分の輝度値を選んで、その基準となる部分の輝度値（基準輝度値という）からプラス方向及びマイナス方向に所定値以上外れた輝度値の部分は、顔画像Ｇ１または顔画像Ｇ２の表現したくない特徴的な部分（この場合は髪の毛など）とみなして、顔画像Ｇ１または顔画像Ｇ２の色補間比率を最大限小さくし、顔画像Ｇ３の色補間比率を最大限大きくするようにする。これを図５に示す具体例を用いて説明する。図５において、太線で示す横軸には顔画像Ｇ１および顔画像Ｇ２の輝度値Ｙｃをとり、太線で示す縦軸には顔画像Ｇ１または顔画像Ｇ２の色補間比率をとっている。ここでは、顔画像Ｇ１および顔画像Ｇ２の基準輝度値Ｙctに顔の肌色の中心輝度値を選ぶとともに、この基準輝度値Ｙctを中心としてプラス方向及びマイナス方向にそれぞれ所定の範囲の輝度値ａを選び、顔画像Ｇ１または顔画像Ｇ２の輝度値Ｙｃが、（Ｙct−ａ）≦Ｙc≦（Ｙct＋ａ）の場合は、
【手続補正３４】
【補正対象書類名】明細書
【補正対象項目名】００８６
【補正方法】変更
【補正の内容】
【００８６】
ところで、このような色補間比率の決定処理は、合成画像に現したくない顔画像Ｇ１，Ｇ２の髪の毛などの部分に対してのみ適応されれば良い結果が得られるが、顔画像Ｇ１，Ｇ２の目やまゆに対しても図５に示す処理がなされると、顔画像Ｇ１，Ｇ２の目やまゆが低い比率で色補間された画像となり、顔画像Ｇ１，Ｇ２の目やまゆの特徴が殆ど現れない顔画像となってしまうことになる。したがって、顔画像Ｇ１，Ｇ２の目やまゆは図５で示した処理によらず、最適な補間比率で処理を行うようにする。
【手続補正３５】
【補正対象書類名】明細書
【補正対象項目名】００８８
【補正方法】変更
【補正の内容】
【００８８】
また、この色補間処理部２は、目、口、鼻、眉といった顔を形作る部品の部品位置に存在する領域（パッチ）ごとに、そのパッチ内の画素の色補間比率を変えることで、それぞれの部品の色相を顔画像Ｇ１（父親）似または顔画像Ｇ２（母親）似とすることを可能とする。たとえば、鼻の色相を父親似としようとする場合、鼻を構成するそれぞれのパッチについては、各パッチ毎にたとえば、父親の顔画像Ｇ１の色補間比率を大きくするような処理を行う。これにより、顔の各部品毎にその色相を顔画像Ｇ１似または顔画像Ｇ２似とすることが可能となる。なお、実際には、前記した形状補間手段１による部品単位毎に形状補間比率を変える処理と連動させて行う。このように、顔を形作る部品ごとに、形状補間比率および色補間比率を適当に設定することにより、それらの部品毎の形状および色相を顔画像Ｇ１または顔画像Ｇ２に似せた、いわゆる父親似あるいは母親似といった合成顔画像を得ることができる。