(57)【特許請求の範囲】
【請求項１】
入力画像からその画像に含まれる対象物体の３次元モデル画像を生成する画像処理装置であって、
顔画像を入力する顔画像入力手段と、
複数の部位について、各部位ごとに１つまたは複数の３次元モデルを入力する３次元モデル入力手段と、
前記複数の部位のうちの任意の１つの部位について、
操作者の入力する指示に基づき使用する３次元モデルを選択する３次元モデル選択手段と、
前記顔画像入力手段により入力された顔画像を、前記３次元モデル選択手段により選択された３次元モデルに貼り付けて表示する顔画像貼り付け手段と、
前記３次元モデル選択手段により選択された３次元モデルと前記顔画像入力手段により入力された顔画像とを用いて３次元の静止画像を生成する画像生成手段と、を備え、
前記３次元モデル選択手段は、１つの部位の特定種類の１つの３次元モデルが選択された場合には、その選択される前の１つの部位の３次元モデルに対応する他の１つの部位の１つの３次元モデルを記録し、前記特定種類の１つの３次元モデルから特定種類ではない別の１つの部位の３次元モデルに変更されたとき、これに対応する他の１つの部位の１つの３次元モデルを、記録した前記他の１つの３次元モデルに再度変更することを特徴とする画像処理装置。
【請求項２】
前記３次元モデルは、前記複数の部位のうちの１つまたは全部の部位に関し、時間経過に基づく動き情報を持っており、前記画像生成手段は、前記３次元モデル選択手段により選択された３次元モデルと前記顔画像入力手段により入力された顔画像とを用いて３次元の動画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記顔画像入力手段により入力された顔画像を分類する顔画像分類手段と、
顔に対応する部位の３次元モデルを、前記顔画像分類手段による分類結果に基づいて自動選択する顔モデル選択手段とを備え、
前記顔画像貼り付け手段は、前記顔画像入力手段により入力された顔画像を前記顔モデル選択手段により選択された顔３次元モデルに貼り付けることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記顔画像入力手段により入力された顔画像を分類する顔画像分類手段と、
頭に対応する部位の３次元モデルを、前記顔画像分類手段による分類結果に基づいて自動選択する頭モデル選択手段とを備え、
前記顔画像貼り付け手段は、前記顔画像入力手段により入力された顔画像を前記頭モデル選択手段により選択された頭３次元モデルに貼り付けることを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
入力画像からその画像に含まれる対象物体の３次元モデル画像を生成する画像処理装置であって、
顔画像を入力する顔画像入力手段と、
前記顔画像入力手段により入力された顔画像を分類する顔画像分類手段と、
複数の部位について、各部位ごとに１つまたは複数の３次元モデルを入力する３次元モデル入力手段と、
顔に対応する部位の３次元モデルを、前記顔画像分類手段による分類結果に基づいて自動選択する３次元モデル選択手段と、
前記顔画像入力手段により入力された顔画像を、前記３次元モデル選択手段により選択された３次元モデルに貼り付けて表示する顔画像貼り付け手段と、
前記３次元モデル選択手段により選択された３次元モデルと前記顔画像入力手段により入力された顔画像とを用いて、３次元の静止画像または動画像を生成する画像生成手段と、を備えたことを特徴とする画像処理装置。
【請求項６】
前記複数の部位が、胴体に対応する部位、顔に対応する部位、頭に対応する部位を含むことを特徴とする請求項１、２、５に記載の画像処理装置。
【請求項７】
入力画像からその画像に含まれる対象物体の３次元モデル画像を生成する画像処理方法であって、
顔画像入力手段により顔画像を入力するステップと、
３次元モデル入力手段により、複数の部位について、各部位ごとに１つまたは複数の３次元モデルを入力するステップと、
前記複数の部位のうちの任意の１つの部位について、操作者の入力する指示に基づき使用する３次元モデルを選択するステップと、
入力された顔画像を、選択された３次元モデルに貼り付けて表示手段に表示するステップと、
選択された３次元モデルと入力された顔画像とを用いて３次元の静止画像または動画像を生成するステップと、
前記選択ステップで１つの部位の特定種類の１つの３次元モデルが選択された場合には、その選択される前の１つの部位の３次元モデルに対応する他の１つの部位の１つの３次元モデルを記録するステップと、
前記特定種類の１つの３次元モデルから特定種類ではない別の１つの部位の３次元モデルに変更されたとき、これに対応する他の１つの部位の１つの３次元モデルを、記録した前記他の１つの３次元モデルに再度変更するステップと、を含むことを特徴とする画像処理方法。
【請求項８】
入力画像からその画像に含まれる対象物体の３次元モデル画像を生成する画像処理方法であって、
顔画像入力手段により顔画像を入力するステップと、
入力された顔画像を分類するステップと、
３次元モデル入力手段により、複数の部位について、各部位ごとに１つまたは複数の３次元モデルを入力するステップと、
入力された任意の部位の３次元モデルを、前記顔画像分類手段による分類結果に基づいて自動選択するステップと、
入力された顔画像を、自動選択された３次元モデルに貼り付けて表示手段に表示するステップと、
自動選択された３次元モデルと入力された顔画像とを用いて３次元の静止画像または動画像を生成するステップと、を含むことを特徴とする画像処理方法。
【請求項９】
入力画像からその画像に含まれる対象物体の３次元モデル画像を生成する画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
顔画像入力手段により顔画像を入力するステップと、
３次元モデル入力手段により、複数の部位について、各部位ごとに１つまたは複数の３次元モデルを入力するステップと、
前記複数の部位のうちの任意の１つの部位について、操作者の入力する指示に基づき使用する３次元モデルを選択するステップと、
入力された顔画像を、選択された３次元モデルに貼り付けて表示手段に表示するステップと、
選択された３次元モデルと入力された顔画像とを用いて３次元の静止画像または動画像を生成するステップと、
前記選択ステップで１つの部位の特定種類の１つの３次元モデルが選択された場合には、その選択される前の１つの部位の３次元モデルに対応する他の１つの部位の１つの３次元モデルを記録するステップと、
前記特定種類の１つの３次元モデルから特定種類ではない別の１つの部位の３次元モデルに変更されたとき、これに対応する他の１つの部位の１つの３次元モデルを、記録した前記他の１つの３次元モデルに再度変更するステップと、を含む画像処理プログラムを記録した記録媒体。
【請求項１０】
入力画像からその画像に含まれる対象物体の３次元モデル画像を生成する画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
顔画像入力手段により顔画像を入力するステップと、
入力された顔画像を分類するステップと、
３次元モデル入力手段により、複数の部位について、各部位ごとに１つまたは複数の３次元モデルを入力するステップと、
入力された任意の部位の３次元モデルを、前記顔画像分類手段による分類結果に基づいて自動選択するステップと、
入力された顔画像を、自動選択された３次元モデルに貼り付けて表示手段に表示するステップと、
自動選択された３次元モデルと入力された顔画像とを用いて３次元の静止画像または動画像を生成するステップと、を含む画像処理プログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、入力した画像を利用してリアルな静止画像または動画像を生成する画像処理装置および画像処理方法ならびに画像処理プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
従来は、３次元モデルを用いて画像生成を行う場合、熟練者がＣＡＤツールなどを用いて一からデータを作成することが一般的であった。例えば、特許第２９４３７０３号公報に記載のように、いくつかのカテゴリに分けられた３次元モデルを部品として用意し、これらを組み合わせる手法が知られているが、この手法は実写画像やアニメ画などの２次元の画像を取り込んで３次元モデルを生成することまでは考慮されていない。
【０００３】
他方、参考文献１（「顔情報処理のための共通プラットフォームの構築」情報処理学会研究報告  Ｖｏｌ．９８、Ｎｏ．２６、ｐｐ．６５−７２（１９９８）、八木  他著）に見られるように、顔画像を入力し、３次元モデルとの対応付けを行って、顔の３次元モデルを生成する方法は、一般に知られている。
【０００４】
【発明が解決しようとする課題】
しかしながら、熟練者がＣＡＤツールなどを用いて一からデータを作成する方法や、いくつかのカテゴリに分けられた３次元モデルを部品として用意し、これらを組み合わせる手法では、実写画像やアニメ画などの２次元の画像を取り込むことは考慮されていないため、リアリティーの高い画像を生成することが困難であるといった問題があった。
【０００５】
他方、顔画像を入力し、３次元モデルとの対応付けを行って、顔の３次元モデルを生成する方法では、頭部以外の例えば胴体については、考慮されていないか、若しくは顔または頭部のみ３次元モデルを作成し、これから生成した顔または頭部の２次元の静止画像または動画像を、胴体の２次元の静止画像または動画像にはめ込むものであり、胴体の３次元モデルについては全く考慮されていなかった。
【０００６】
本発明はかかる問題点を解決すべく創案されたもので、その目的は、入力した２次元画像を利用して、よりリアリティーの高い３次元の静止画像または動画像を生成することのできる画像処理装置および画像処理方法ならびに画像処理プログラムを記録した記録媒体を提供することにある。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、本発明の画像処理装置は、入力画像からその画像に含まれる対象物体の３次元モデル画像を生成する画像処理装置であって、顔画像を入力する顔画像入力手段と、複数の部位について、各部位ごとに１つまたは複数の３次元モデルを入力する３次元モデル入力手段と、複数の部位のうちの任意の１つの部位について、操作者の入力する指示に基づき使用する３次元モデルを選択する３次元モデル選択手段と、顔画像入力手段により入力された顔画像を、３次元モデル選択手段により選択された３次元モデルに貼り付けて表示する顔画像貼り付け手段と、３次元モデル選択手段により選択された３次元モデルと顔画像入力手段により入力された顔画像とを用いて３次元の静止画像を生成する画像生成手段と、を備えたことを特徴とする。また、本発明の画像処理装置は、上記構成の画像処理装置において、３次元モデルは、複数の部位のうちの１つまたは全部の部位に関し、時間経過に基づく動き情報を持っており、画像生成手段は、３次元モデル選択手段により選択された３次元モデルと顔画像入力手段により入力された顔画像とを用いて３次元の動画像を生成することを特徴とする。
【０００８】
また、本発明の画像処理方法は、入力画像からその画像に含まれる対象物体の３次元モデル画像を生成する画像処理方法であって、顔画像入力手段により顔画像を入力するステップと、３次元モデル入力手段により、複数の部位について、各部位ごとに１つまたは複数の３次元モデルを入力するステップと、複数の部位のうちの任意の１つの部位について、操作者の入力する指示に基づき使用する３次元モデルを選択するステップと、入力された顔画像を、選択された３次元モデルに貼り付けて表示手段に表示するステップと、選択された３次元モデルと入力された顔画像とを用いて３次元の静止画像または動画像を生成するステップと、を含むことを特徴とする。
【０００９】
また、本発明の記録媒体は、入力画像からその画像に含まれる対象物体の３次元モデル画像を生成する画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体であって、顔画像入力手段により顔画像を入力するステップと、３次元モデル入力手段により、複数の部位について、各部位ごとに１つまたは複数の３次元モデルを入力するステップと、複数の部位のうちの任意の１つの部位について、操作者の入力する指示に基づき使用する３次元モデルを選択するステップと、入力された顔画像を、選択された３次元モデルに貼り付けて表示手段に表示するステップと、選択された３次元モデルと入力された顔画像とを用いて３次元の静止画像または動画像を生成するステップと、を含むことを特徴とする。
【００１０】
このような特徴を有する本発明の画像処理装置、画像処理方法および記録媒体によれば、顔画像入力手段により顔画像を入力するとともに、３次元モデル入力手段により、複数の部位について各部位ごとに１つまたは複数の３次元モデルを入力し、その入力された複数の部位のうちの任意の１つの部位について、操作者の入力する指示に基づき使用する３次元モデルを選択する。そして、入力された顔画像を、選択された３次元モデルに貼り付けて表示することにより、３次元の静止画像を生成する。このように、顔画像を入力し、３次元モデルに貼り付けて表示することにより、入力した２次元画像から、よりリアリティーの高い３次元の静止画像を生成することができるようになっている。また、３次元モデルが時間経過に基づく動き情報を持っている場合には、その動き情報を用いてよりリアリティーの高い３次元の動画像を生成することができる。例えば、顔に対応する部位の３次元モデルが時間経過に基づく動き情報を持っている場合には、その動き情報を用いて顔の表情を変化させることができる。
【００１１】
また、本発明の画像処理装置は、上記各構成の画像処理装置において、複数の部位が、胴体に対応する部位、顔に対応する部位、頭に対応する部位を含むことを特徴とする。
【００１２】
このような特徴を有する本発明の画像処理装置によれば、胴体に対応する３次元モデルを持ち、これを操作者の入力により選択することができるので、顔や頭だけでなく、胴体を含む全身の３次元モデルを、操作者の好みにカスタマイズすることができる。
【００１３】
また、本発明の画像処理装置は、上記各構成の画像処理装置において、３次元モデル選択手段は、選択対象となっている部位の３次元モデルを変更したときには、これに対応して他の部位の３次元モデルも変更することを特徴とする。
【００１４】
このような特徴を有する本発明の画像処理装置によれば、選択対象となっている部位だけでなく、他の部位の３次元モデルも変更されるので、操作者の選択する手間を省くことができる。
【００１５】
また、本発明の画像処理装置は、上記各構成の画像処理装置において、３次元モデル選択手段は、１つの部位の１つの３次元モデルとこれに対応する他の１つの部位の１つの３次元モデルとが選択された場合に、その部位および３次元モデルの組み合わせを記録し、１つの部位が任意の３次元モデルから前記１つの３次元モデルに変更されたとき、他の１つの部位についても、記録した前記組み合わせに対応した１つの３次元モデルに変更することを特徴とする。
【００１６】
このような特徴を有する本発明の画像処理装置によれば、１つの部位の１つの３次元モデルとこれに対応する他の１つの部位の１つの３次元モデルとが選択された場合に、その部位および３次元モデルの組み合わせを記録する。そして、次回またはそれ以降に、組み合わせが記録された１つの部位の１つの３次元モデルが選択されると、記録された組み合わせに基づき、これに対応する他の部位の１つの３次元モデルも自動的に選択されるようになっている。これにより、操作者の選択する手間を省くことができる。
【００１７】
本発明の画像処理装置は、上記構成の画像処理装置において、３次元モデル選択手段は、１つの部位の特定種類の１つの３次元モデルが選択された場合には、その選択される前の１つの部位の３次元モデルに対応する他の１つの部位の１つの３次元モデルを記録し、前記特定種類の１つの３次元モデルから特定種類ではない別の１つの部位の３次元モデルに変更されたとき、これに対応する他の１つの部位の１つの３次元モデルを、記録した前記他の１つの３次元モデルに再度変更することを特徴とする。
【００１８】
このような特徴を有する本発明の画像処理装置によれば、胴体に対応する部位を選択対象として、例えばスーツ姿の胴体を選択し、これに対応する頭の部位として例えば七三分けを選択していた状態から、次に、胴体に対応する部位として、特定種類である例えば野球のユニフォーム姿の胴体を選択した際には、頭に対応する部位も野球帽に変更する。そして、このときには、特定種類を選択する前の組み合わせ、すなわち、スーツ姿の胴体と七三分けの頭との組み合わせを記録しておく。そして、次に操作者の入力指示により、胴体に対応する部位を選択対象として、例えばスーツ姿（特定種類には含まれない例えば別のカジュアル姿でもよい）の胴体を選択した際には、頭に対応する部位を先程記録しておいた七三分けに再度変更する。これにより、例えば胴体部分を特定種類の３次元モデルから特定種類でない通常の３次元モデルに変更したとき、頭も野球帽から自動的に七三分けに変更されるので、操作者の選択する手間を省くことができる。
【００１９】
本発明の画像処理装置は、上記各構成の画像処理装置において、顔画像入力手段により入力された顔画像を分類する顔画像分類手段と、顔に対応する部位の３次元モデルを、顔画像分類手段による分類結果に基づいて自動選択する顔モデル選択手段とを備え、顔画像貼り付け手段は、顔画像入力手段により入力された顔画像を顔モデル選択手段により選択された顔３次元モデルに貼り付けることを特徴とする。また、本発明の画像処理装置は、上記各構成の画像処理装置において、顔画像入力手段により入力された顔画像を分類する顔画像分類手段と、頭に対応する部位の３次元モデルを、顔画像分類手段による分類結果に基づいて自動選択する頭モデル選択手段とを備え、顔画像貼り付け手段は、顔画像入力手段により入力された顔画像を頭モデル選択手段により選択された頭３次元モデルに貼り付けることを特徴とする。
【００２０】
また、本発明の画像処理方法は、入力画像からその画像に含まれる対象物体の３次元モデル画像を生成する画像処理方法であって、顔画像入力手段により顔画像を入力するステップと、入力された顔画像を分類するステップと、３次元モデル入力手段により、複数の部位について、各部位ごとに１つまたは複数の３次元モデルを入力するステップと、入力された任意の部位の３次元モデルを、顔画像分類手段による分類結果に基づいて自動選択するステップと、入力された顔画像を、自動選択された３次元モデルに貼り付けて表示手段に表示するステップと、自動選択された３次元モデルと入力された顔画像とを用いて３次元の静止画像または動画像を生成するステップと、を含むことを特徴とする。
【００２１】
本発明の記録媒体は、入力画像からその画像に含まれる対象物体の３次元モデル画像を生成する画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体であって、顔画像入力手段により顔画像を入力するステップと、入力された顔画像を分類するステップと、３次元モデル入力手段により、複数の部位について、各部位ごとに１つまたは複数の３次元モデルを入力するステップと、入力された任意の部位の３次元モデルを、顔画像分類手段による分類結果に基づいて自動選択するステップと、入力された顔画像を、自動選択された３次元モデルに貼り付けて表示手段に表示するステップと、自動選択された３次元モデルと入力された顔画像とを用いて３次元の静止画像または動画像を生成するステップと、を含むことを特徴とする。
【００２２】
このような特徴を有する本発明の画像処理装置、画像処理方法および記録媒体によれば、顔や頭に対応する部位の３次元モデルが自動的に選択されるので、操作者の選択する手間を省くことができる。
【００２３】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。
【００２４】
図１は、本発明の画像処理装置の一実施の形態を示すシステム構成図である。本実施の形態の画像処理装置は、顔画像入力手段１、３次元モデル入力手段２、３次元モデル選択手段３、顔画像貼り付け手段４および画像生成手段５によって構成されている。
【００２５】
顔画像入力手段１は、顔画像を入力する。この入力方法としては、例えばディスク装置上のファイルから読み込むか、またはディジタルカメラなどを用いて入力するか、あるいはビデオ信号からキャプチャするなどすればよい。
【００２６】
３次元モデル入力手段２は、複数の部位について、各部位ごとに１つまたは複数の３次元モデルを入力する。この入力方法としては、例えばディスク装置上のデータファイルの３次元モデルを格納しておき、これを読み込むことが考えられる。または、プログラムファイル内に３次元モデルの情報を持っておき、プログラムの起動時にプログラム本体と同時に読み込んでもよい。
【００２７】
３次元モデル選択手段３は、複数の部位のうちの任意の１つの部位について、操作者の入力する指示に基づき使用する３次元モデルを選択する。これは、例えば部位ごとに、それぞれ３次元モデルのサムネイル画像を表示し、このサムネイル画像を操作者がマウス等でクリックして選択することで行うことができる。これらのサムネイル画像は、操作者がこれらを見て各部位内の３次元モデルを相互に区別することができるものであればよく、３次元モデルや、３次元モデルを二次元に投影または変換した２次元モデルから生成されたものである必要はない。また、一部または全部の部位で、デフォルトの３次元モデルをあらかじめ用意しておき、操作者による選択が行われない場合、または未選択の状態である場合には、これらのデフォルトの３次元モデルと、入力された顔画像とを用いて、後述のような方法で、画像合成を行ってもよい。
【００２８】
この場合は、サムネイル画像を表示する際、およびサムネイル画像が選択された際に、全体の３次元モデルを用いて画像生成を行って画像表示すれば、それ以上３次元モデルの選択を行う必要があるか否かを、操作者が容易に判断することができる。従って、操作者が実際に選択を行う部位は一部のみであるか、または全く操作者が選択を行わないまま最終的な画像生成が行われることもあり得る。
【００２９】
顔画面貼り付け手段４は、顔画像入力手段１により入力された顔画像を、３次元モデル選択手段３により選択された３次元モデルに貼り付けて表示する。
【００３０】
画像生成手段５は、３次元モデル選択手段３により選択された３次元モデルと、顔画像入力手段２により入力された顔画像とを用いて３次元の静止画像または動画像を生成する。
【００３１】
ここで、顔画面貼り付け手段４による顔画像の３次元モデルへ貼り付け、および画像生成手段５による静止画像および動画像の生成は、一般に知られているテクスチャマッピング、および３次元レンダリングの手法を用いればよい。例えば、Ｍｉｃｒｏｓｏｆｔ社製のオペレーティングシステムであるＷｉｎｄｏｗｓ９８上では、同社製のＤｉｒｅｃｔ３Ｄを用いて、顔画像をテクスチャマッピングし、任意のアングルの画像を合成することが可能である。ただし、このように、顔画像貼り付け手段４と画像生成手段５とは、必ずしも独立したモジュールである必要はない。
【００３２】
次に、上記構成の画像処理装置における画像処理動作について、図２に示すフローチャートを参照して説明する。
【００３３】
まず、３次元モデル入力手段２により、３次元モデルを入力する（ステップＳ１）。これは、上記したように、例えばディスク装置上のデータファイルに３次元モデルを格納しておき、これを読み込むことが考えられる。
【００３４】
次に、画像入力手段１により、顔画像を入力する（ステップＳ２）。これは、上記したように、例えばディスク装置上のファイルから読み込むことが考えられる。
【００３５】
次に、３次元モデル選択手段３により、複数の部位ごとに使用する３次元モデルを選択する（ステップＳ３）。これは、上記したように、例えば部位ごとに、それぞれ３次元モデルのサムネイル画像を表示し、このサムネイル画像を操作者がマウス等でクリックして選択することで行うことができる。
【００３６】
本実施の形態では、複数の部位としては、胴体に対応する部位、顔に対応する部位、頭に対応する部位を含んでいる。
【００３７】
また、本実施の形態では、複数の部位のうちの１つまたは全部の部位に関し、時間経過に基づく動き情報を持たせておけば、後述するステップＳ５において、その部位に関し動画像を生成することができる。例えば、顔に対応する部位に関して、時間経過に基づく動き情報を持たせれば、後述するステップＳ５において表情の変化する動画像を生成することができる。この場合、３次元モデルの選択に際し、動画像のサムネイルを表示するようにしてもよい。ただし、動画像のサムネイル表示に関しては、必ずしも３次元モデルに動き情報を持たせる必要はなく、単に２次元の動画像を表示するようにしてもよい。
【００３８】
また、本実施の形態では、３次元モデル選択手段３に、選択対象となっている部位の３次元モデルを変更したときには、これに対応して他の部位の３次元モデルも変更する機能を付加してもよい。例えば、胴体に対応する部位を選択対象として、野球のユニフォームを着た胴体を選択した際に、頭に対応する部位も野球帽に変更する、などが考えられる。これにより、操作者の選択する手間を省くことができる。
【００３９】
また、本実施の形態では、３次元モデル選択手段３に、１つの部位の１つの３次元モデルとこれに対応する他の１つの部位の１つの３次元モデルとが選択された場合に、その部位および３次元モデルの組み合わせを記録する機能と、前記１つの部位が任意の３次元モデルから前記１つの３次元モデルに変更されたとき、他の１つの部位についても、記録した前記組み合わせに対応した前記１つの３次元モデルに変更する機能とを付加してもよい。
【００４０】
例えば、まず胴体に対応する部位を選択対象として、野球のユニフォーム姿の胴体を選択した際には、頭に対応する部位も野球帽に変更する。そして、このときの組み合わせ、すなわち野球のユニフォーム姿の胴体と野球帽を被った頭との組み合わせを記録しておく。次に、操作者の入力指示により、例えば胴体に対応する部位を選択対象として、スーツ姿の胴体を選択した際には、頭に対応する部位を例えば七三分けに変更する。そして、このときの組み合わせ、すなわちスーツ姿の胴体と七三分けの頭との組み合わせも記録しておく。この後、操作者の入力指示により、胴体に対応する部位を選択対象として、野球のユニフォーム姿の胴体を再び選択すると、前回記録された組み合わせに基づき、頭に対応する部位も、七三分けから野球帽に自動的に変更する。これにより、操作者の選択する手間を省くことができる。
【００４１】
さらに、本実施の形態では、３次元モデル選択手段に、１つの部位の特定種類の１つの３次元モデルが選択された場合には、その選択される前の１つの部位の３次元モデルに対応する他の１つの部位の１つの３次元モデルを記録する機能と、前記特定種類の１つの３次元モデルから特定種類ではない別の１つの部位の３次元モデルに変更されたとき、これに対応する他の１つの部位の１つの３次元モデルを、記録した前記他の１つの３次元モデルに再度変更する機能とを付加してもよい。
【００４２】
例えば、胴体に対応する部位を選択対象として、スーツ姿の胴体を選択し、これに対応する頭の部位として例えば七三分けを選択していた状態から、次に、胴体に対応する部位として、特定種類である例えば野球のユニフォーム姿の胴体を選択した際には、頭に対応する部位も野球帽に変更する。そして、このときには、特定種類を選択する前の組み合わせ、すなわち、スーツ姿の胴体と七三分けの頭との組み合わせを記録しておく。そして、次に操作者の入力指示により、胴体に対応する部位を選択対象として、例えばスーツ姿（特定種類には含まれない例えば別のカジュアル姿でもよい）の胴体を選択した際には、頭に対応する部位を先程記録しておいた七三分けに再度変更する。これにより、例えば胴体部分を特定種類の３次元モデルから特定種類でない通常の３次元モデルに変更したとき、頭も野球帽から自動的に七三分けに変更されるので、操作者の選択する手間を省くことができる。
【００４３】
次のステップＳ４では、上記のようにして選択された３次元モデルと、入力された顔画像とを用いて、顔画像貼り付け手段４により顔画像を貼り付ける。そして、次のステップＳ５では、画像生成手段５により静止画像または動画像を生成する。
【００４４】
顔画像の貼り付けについては、例えば図３に示すように、顔画像３０１を平行投影により、顔型の３次元モデル３０２にマッピングする。なお、顔画像の貼り付けおよび静止画像または動画像の生成については、上記した如く、例えばＷｉｎｄｏｗｓ９８上で動作するＤｉｒｅｃｔ３Ｄを用いて画面合成を行うことができる。
【００４５】
図４は、３次元モデル選択手段３の他の実施の形態を示している。
すなわち、３次元モデル選択手段３は、顔画像入力手段１により入力された顔画像を分類する顔画像分類手段３ａと、顔に対応する部位の３次元モデルを、顔画像分類手段３ａによる分類結果に基づいて自動選択する顔モデル選択手段３ｂと、頭に対応する部位の３次元モデルを、顔画像分類手段３ａによる分類結果に基づいて自動選択する頭モデル選択手段３ｃとを備えている。また、頭モデル選択手段３ｃはさらに、髪色抽出手段３ｃ１と、肌色抽出手段３ｃ２と、前髪特徴抽出手段３ｃ３と、後髪特徴抽出手段３ｃ４と、前髪輪郭抽出手段３ｃ５と、後髪輪郭抽出手段３ｃ６と、前髪分類手段３ｃ７と、後髪分類手段３ｃ８とを備えている。
【００４６】
ここで、顔画像分類手段３ａおよび顔モデル選択手段３ｂを用いて顔画像を分類し、その分類した顔に対応する部位の３次元モデルを決定する。以下、顔画像の分類と、その分類結果に基づく顔の３次元モデルの自動選択とについて、図５に示すフローチャートを参照して説明する。
【００４７】
操作者は、まず最初に顔の特徴点（目、口など）の位置情報を指定し、原画像上の顔の中心位置を確定する（ステップＳ２１）。この顔の中心位置は、操作者が、別に直接指定してもよいし、図６に示すように、右目、左目、口の中心座標を指定（図中の符号１２１、１２２、１２３により示す）し、その中心を顔の中心位置として算出してもよい。
【００４８】
このようにして顔の中心位置を確定すると、次に顔輪郭の近傍に初期輪郭の配置を行う（ステップＳ２２）。初期の配置は、例えば、目と口の領域を囲むような閉領域を初期輪郭とする。すなわち、目や口の相対距離を統計的にあらかじめ調べておいて、目と口を囲むよな楕円輪郭線を配置すればよい。このようにして中心位置１３１および初期輪郭１３２を確定した画像を図７に示す。
【００４９】
次に、このようにして確定した原画像と中心位置１３１および初期輪郭１３２とに基づいて、顔中心座標と初期輪郭上の各座標とを結ぶ直線上の隣り合う画素間の色差を算出し、対象画素間の座標中点を座標値として、算出した色差を画素値にもつ画像（色差マップ画像）を作成する（ステップＳ２３）。
【００５０】
ここで、色差を算出する方法としては、例えば、画像データの各単色光ごとの輝度値を画素間でそれぞれ減算処理することにより差分値を算出し、各単色光ごとに算出した差分値の合計値を色差として算出する。また、別の方法としては、例えば画素データを各単色光の輝度値から、色相（Ｈ）、彩度（Ｓ）、輝度（Ｖ）で表現されるＨＳＶ値に変換し、色差を求める２画素のＨＳＶ空間上での位置を求め、その間の距離値を色差としてもよい。また、隣り合う画素間ではなく、例えば連続する複数の画素単位ごとに平均色を求め、その平均色同士の色差を求めてもよい。
【００５１】
また、色差の算出時には、対象が人物顔であることを利用して色差の検出精度を変更してもよい。例えば、色差を算出する際に比較する２画素の画素値が肌色を表す画素値に近い値をもつ場合、その２点の画素は顔輪郭内の画素である可能性が高いとみなし、色差の検出精度を低くして、ノイズ等の影響を軽減することができる。一方、顎と首とはどちらも肌色を表す画素値をもつ可能性が高く、その境目である顎境界を検出する際には、検出精度を上げた方がよい。従って、中心から首方向への直線上の色差検出では、色差の検出精度を高めるようにして、顎境界を検出し易くする。なお、首の位置は、例えば口の座標が既知であるならば、その座標から方向を推定することが可能である。
【００５２】
例えば、図８に示すような顔中心１３１と初期輪郭１３２の上の座標点１４１を結ぶ直線１４２上の色差を求める場合の模式図を図９に示す。図９において、符号１５１で示す各値が直線上の画素値の並びを示し、符号１５２で示す値が隣り合う２点間の画素値の差分を示している。すなわち、この例では、符号１５２で示す配列が色差の並びを示している。
【００５３】
また、このようにして色差を検出した後に、さらに人物顔輪郭独自の特徴性を利用して、より顔輪郭形状に特化した色差マップ画像を作成してもよい。例えば、顔を楕円の相似形であると仮定し、図１０（ａ）、（ｂ）に示すように、顔中心を中心とする任意の大きさの楕円曲線１６１〜１６３上の１点と、これに隣り合う２点の計３点の色差（符号１６４により示す）を平均化して、その座標の色差として再格納することによりノイズの影響を抑制するようにしてもよい。図１０（ｂ）では、３点の色差がそれぞれ３２、２８、３４であるので、これを平均化して３２［（３２＋２８＋３４）÷３＝３１．３３、、、（端数切り上げ）］としている。
【００５４】
このように、人物顔であることを制約条件に用いることにより、鮮明な輪郭線が現れていない入力画像やノイズの多い画像に対しても、顔（特に顎）形状の特徴を特化した、より安定な色差マップ画像を作成することができる。
【００５５】
次に、このようにして作成した色差マップ画像を利用して、初期輪郭を動的輪郭モデルに従って移動させることにより、輪郭線を抽出（検出）する（ステップＳ２４）。
【００５６】
ここで、エネルギー関数Ｅとして、例えば、輪郭線のなめらかさを表す内部エネルギーＥ１、輪郭を収縮しようとするエネルギーＥ２、物体輪郭を特徴付ける画像エネルギーＥ３の和Ｅ＝Ｅ１＋Ｅ２＋Ｅ３を求め、このＥを最小化するように輪郭を移動させる。なお、動的輪郭モデルを用いて輪郭抽出を行う手法として、ここではＳｎａｋｅ法を利用している。Ｓｎａｋｅ法は、参考文献２（「形状変化の検出と３次元形状モデルに基づく顔動画像の符号化」ＩＥ８７−１０１・金子正秀他著）に開示されている。
【００５７】
ここで、画像エネルギーＥ３には、ステップＳ２３で作成した色差マップ画像を利用する。すなわち、画像上の任意のＰ（ｘ，ｙ）における画像エネルギーＥ３（Ｐ）は、Ｐに対応する色差マップ画像上の色差値をＤ（Ｐ）としたとき、下式（１）から求められる。
【００５８】
Ｅ３（Ｐ）＝α×（ＭＡＸ（Ｄ）−Ｄ（Ｐ））  ・・・（１）
ただし、ＭＡＸ（Ｄ）：色差マップ画像中の色差の最大値、係数α：エネルギー関数Ｅにおける画像エネルギーの度合、である。
【００５９】
この式（１）に従えば、色差の小さいところほど画像エネルギーは大きくなるので、エネルギーを最小化する方向へと輪郭が移動しやすくなる。逆に色差が大きいところほど画像エネルギーは小さくなり、輪郭はそこから移動しにくくなる。すなわち、顔領域と背景領域との境目のような物体の色領域の境目で画像エネルギーが低くなるので、輪郭はそのような領域の境目で収束しやすくなる。
【００６０】
このように、画像エネルギーとしてステップＳ２３で求めた色差マップ画像を利用することにより、顎形状の特徴を加味したエネルギー画像を作成することができ、鮮明な輪郭線が現れていない入力画像やノイズの多い画像に対しても、より安定な顎検出を行うことができる。
【００６１】
次に、このようにして求めた輪郭線を元に距離関数を算出する（ステップＳ２５）。すなわち、輪郭線を顔内部の既知の座標、例えば顔中心からの距離ｒと方向（角度）θとからなる関数ｒ＝Ｌ（θ）として表現する。この様子を模式的に示したのが図１１である。
【００６２】
Ｌ（θ）は、θの値を単位角度ずつ変えたときのｒを求めてもよいし、例えば顎形状をより顕著に表す範囲（顔中心からみて首のある方向）は、単位角度を狭くし、他の方向に比べてより情報量を多くしてもよい。また、距離関数を例えば下式（２）によって表されるフーリエ記述子として表現してもよい。
【００６３】
【数１】
0003639476.tif 000002
【００６４】
ここで、Ａ（ｎ）：曲線形状を表す係数、ｅｘｐ（）：自然対数の底のベキ乗、ｓ：曲線上の距離、Ｌ：閉曲線の全長、である。フーリエ記述子に関する詳細は、例えば参考文献３（高木幹雄，下田陽久  監修，「画像解析ハンドブック」，東京大学出版会，１９９１．）に開示されている。
【００６５】
次に、このようにして求めた距離関数の特徴を、基準距離関数と比較することにより、顎の形状を判定する（ステップＳ２６）。ここで、基準距離関数とは、基準となる顎形状の輪郭線からあらかじめ作成しておいた距離関数のことである。基準となる顎形状の輪郭線は、輪郭線があらかじめ手動で検出されている画像を、類似の顎形状、例えば、ベース型、丸型等に分類し、その分類ごとに手動検出の輪郭線を平均化したものを利用すればよい。
【００６６】
距離関数の比較は、例えば、距離関数上の変曲点の位置、変曲点数、変曲点間の傾きなどを、その距離関数のもつ特徴と位置づけ、基準となる輪郭形状の距離関数の特徴とそれぞれ比較することにより行う。比較を行う際には、あらかじめ基準距離関数と位置とが整合するように正規化を行っておく必要がある。
【００６７】
なお、変曲点の位置や数、変曲点間の傾きは、基準形状の場合はあらかじめ求めておき、その情報をメモリに格納しておき、ステップＳ２５で求めた距離関数の変曲点の情報と適宜比較すればよい。そして、比較結果が最も近い基準距離関数をもつ形状を、判定結果として決定する。
【００６８】
なお、距離関数の比較は、より単純に基準距離関数との差分和を比較することことにより行うこともできる。図１２は、この様子を模式的に表現している。図１２中の符号ｚは、基準距離関数との差を示している。ここで、基準距離関数をＢ（θ）としたとき、差分和Ｚ１は下式（３）により与えられる。
【００６９】
【数２】
0003639476.tif 000003
【００７０】
すなわち、Ｚ１が最小となるＢ（θ）をもつ形状を判定形状として決定すればよい。この方法の場合は、θの範囲分のＢ（θ）を基準形状分だけメモリに用意しておく必要があるが、より詳細な形状の分類、判定を簡便に行うことができる利点がある。
【００７１】
また、平面上の曲線を周波数領域で記述する手法、例えばフーリエ記述子を用いて距離関数を表現すれば、これにより算出されるフーリエ係数をその距離関数のもつ特徴として位置づけることができるので、このフーリエ係数と、基準となる輪郭形状の距離関数のフーリエ係数との比較を行うことにより、上記と同様に形状判定を行うことができる。
【００７２】
基準距離関数をフーリエ記述子で表現し、そのフーリエ係数をＡｂ（ｎ）としたとき、対象距離関数のフーリエ係数との差分Ｚ２を下式（４）により求め、その求めたＺ２が最小となるＡｂ（ｎ）をもつ形状を判定形状として決定する。
【００７３】
【数３】
0003639476.tif 000004
【００７４】
一般に、フーリエ係数の低次の項にはおおまかな曲線形状、高次の項にはより詳細な曲線形状が反映されている。従って、低次の項の比較、すなわち上記の式（４）におけるｎの範囲を小さくしてＺ２を求めることにより、ノイズや個人差などの影響をなるべく排除した判定結果を得ることができる。そして、この判定された顎形状に基づいて顔の３次元モデルを選択する（ステップＳ２７）。
【００７５】
すなわち、顎形状の種類に応じて、プロのデザイナーなどが作成した顔の３次元モデルの構造情報（分類情報）をあらかじめメモリに格納しておき、判定された顎形状に対応する顔の３次元モデル構造情報をメモリから読み出せばよい。図１３は、メモリに格納されている顔の３次元モデルの分類例を示しており、例えば標準型、細型、幅広型、丸型などがある。
【００７６】
以上の処理動作により、実写画像などの２次元情報から、より安定な顎形状の検出と、その形状判定とに従った顔の３次元モデルを自動的に選択することができる。
【００７７】
次に、顔画像分類手段３ａおよび頭モデル選択手段３ｃを用いて顔画像を分類し、その分類した頭に対応する部位の３次元モデルを決定する。以下、顔画像の分類と、その分類結果に基づく頭の３次元モデルの自動選択とについて、図１４に示すフローチャートを参照して説明する。
【００７８】
まず、顔画像入力手段１により、顔画像を入力する（ステップＳ４１）。次に、右目、左目、口のおおまかな位置および顔輪郭を入力する（ステップＳ４２）。
【００７９】
次に、髪色抽出手段３２６は、以下のようにして髪色を抽出する（ステップＳ４３）。この抽出方法を、図１５を用いて説明する。なお、図１５に示すように、以下の説明では、ｙ座標は、上方から下方に行くに従って値が大きくなる向きに取っている。
【００８０】
まず、肌色抽出手段３ｃ２により、右目、左目、口の座標に基づいて、鼻付近の領域内の画素値を用いて肌色を抽出する。これは、単純に平均値を求めてもよいが、例えば、一旦平均値および分散を求め、平均から大きく外れている画素を除いて、再び平均および分散を求め直してもよい。なお、ここで、肌色抽出を行うことは、後述のように、髪色抽出および髪特徴抽出に役立つが、必ずしも必要ではなく、肌色抽出手段は省略することもできる。
【００８１】
次に、上記右目、左目、口の座標を用いて、頭頂高さｆｔ及び髪生え際高さｆｈの初期推定値ｆｔ０、ｆｈ０を決定する。これは、例えば、右目と左目とのｙ座標の平均値をｙ＿ｅｙｅ、口のｙ座標をｙ＿ｍｏｕｔｈとすると、適当に定める係数ｋ＿ｆｔ，ｋ＿ｆｈに対し、
ｆｔ０＝ｙ＿ｅｙｅ−ｋ＿ｆｔ×（ｙ＿ｍｏｕｔｈ−ｙ＿ｅｙｅ）
ｆｈ０＝ｙ＿ｅｙｅ−ｋ＿ｆｈ×（ｙ＿ｍｏｕｔｈ−ｙ＿ｅｙｅ）
とすればよい。
【００８２】
次に、上記ｆｔ０、ｆｔ０に基づき、サンプリング矩形ＡＢＦＥ及びＥＦＤＣを設定する。ここに、Ｅ，Ｆのｙ座標はｆｔ０、Ｃ、Ｄのｙ座標はｆｈ０に等しく取り、Ａ，Ｂのｙ座標はｆｔ０−（ｆｈ０−ｆｔ０）に等しく取る（  ＡＥ＝ＥＣとなる）。また、Ａ，Ｅ，Ｃのｘ座標は、右目（画像上では左側に来る）付近か、または、少し右目より（画像上で）左に、Ｅ，Ｆ，Ｄのｘ座標は、左目付近か、または、左目より少し（画像上で）右に取るとよい。
【００８３】
次に、ＥＦの高さｆｔを適当な閾値ｆｔ＿ｕｐ、ｆｔ＿ｄｏｗｎに対して、
ｆｔ０−ｆｔ＿ｕｐ＜＝ｆｔ＜＝ｆｔ０十ｆｔ＿ｄｏｗｎ
の範囲内で上下に動かして探索を行い、矩形ＡＢＦＥ内の画素値と矩形ＥＦＤＣ内の画素値との分離度が最大になる所を頭頂高さｆｔの推定値とする。この分離度は、矩形ＡＢＦＥ内の画素値の平均値をＡ１、分散をＶ１、矩形ＥＦＤＣ内の画素値の平均値をＡ２、分散をＶ２、ＡＢＤＣ内の画素値の平均値をＡ３、分散をＶ３、矩形ＡＢＦＥと矩形ＥＦＤＣとの面積比をＳ１：Ｓ２としたとき、下式（５）、
0003639476.tif 000005
で計算される。なお、画像がカラー画像の場合は、画素値を３次元のベクトルとみなして同様に計算すればよい。
【００８４】
次に、矩形ＡＢＦＥ内で、背景色の抽出をを行う。このとき、下辺ＥＦは、上記の探索により動かした後の高さｆｔにある。これは、一旦平均値および分散を求め、平均から大きく外れている画素を除いて再び平均および分散を求め直すとよい。なお、このように背景色の抽出を行うことは、後述のように、髪色抽出に役立つが、必ずしも必要ではない。
【００８５】
さらに、矩形ＥＦＤＣ内で、髪色の抽出を行う。このとき、上辺ＥＦは、上記の探索により動かした後の高さｆｔにある。これは、単純に平均値をとること  も考えられるが、そうすると、髪画素以外の画素値が平均計算に含まれてしまい、精度が低下すると考えられるので、例えば、以下の様に行うとよい。
【００８６】
上記肌色の平均値および分散、および、上記背景色の平均値および分散を用いて、肌色に近い画素、および、背景色に近い画素を除いて平均および分散を計算する。さらに、この髪色の平均および分散を用いて、上記計算で既に除いた画素、および、平均から大きく外れている画素を除いて再び平均および分散を求め直す。このとき、除かれた画素の数が多く、髪色として計算に使われる画素（以下、「髪色画素」と呼ぶ）の数が、ある閾値ｎ＿ｓｈより少ない場合は、髪が薄いため、髪色が安定に抽出できていないものと考えられるので、ステップＳ４５の髪特徴抽出はスキップして、ステップＳ４６の髪分類へジャンプする（ステップＳ４４）。この場合は、前髪分類手段３ｃ７および後髪分類手段３ｃ８は、髪分類を「髪が薄い」とする。なお、肌色または背景色の一方または両方を抽出しない場合は、抽出を行わない方に関しては、これに近い画素を除く処理を省略することにより、髪色の抽出は可能ではあるが、精度が低下すると考えられる。
【００８７】
次に、前髪特徴抽出手段３ｃ３および後髪特徴抽出手段３ｃ４のいずれか一方または両方を用いて、髪特徴を抽出する（ステップＳ４５）。
【００８８】
このステップＳ４５において、まず、前髪特徴抽出手段３ｃ１の動作例を以下に説明する。
【００８９】
上記髪色の平均値および分散、および、上記肌色の平均値および分散を用いて、画像内の各画素に関し、髪色よりも肌色に近く、かつ、肌色の平均値から大きく外れてはいない場合は、非髪画素、そうでない場合は、髪画素というラベルを付ける。これによって、髪領域を抽出することができる。なお、ステップＳ４３において肌色を抽出しない場合は、画像内の各画素に関し、髪色の平均値から大きく外れてはいない場合は、髪画素、そうでない場合は、非髪画素とラベル付けすればよい。上記髪領域は、それ自体、１つの前髪特徴であるとも考えられるが、さらに、これを用いて、前髪を含むと思われる適当な位置に横１１メッシュ×縦７メッシュ程度のメッシュを設定し、各メッシュ内の髪画素数を前髪特徴とする（以下、この特徴を「前髪メッシュ特徴」と呼ぶ）など、前髪特徴を抽出する。
【００９０】
次に、後髪特徴抽出手段３２８の動作例を以下に説明する。
上記髪色の平均値および分散、および、上記肌色の平均値および分散を用いて、画像内の各画素に関し、肌色よりも髪色に近く、かつ、髪色の平均値から大きく外れてはいない場合は、髪画素、そうでない場合は、非髪画素というラベルを付ける。これによって、髪領域を抽出することができる。なお、ステップＳ４３において肌色特徴を抽出しない場合は、画像内の各画素に関し、髪色の平均値から大きく外れてはいない場合は、髪画素、そうでない場合は、非髪画素とラベル付けすればよい。上記髪領域は、それ自体、１つの後髪特徴であるとも考えられるが、さらに、これを用いて、例えば、いわゆる「セミロング」を含む長髪系の髪の場合には髪が相当量あり、そうでなく短髪系の髪の場合には髪があまりない、と思われるような矩形領域を、顔の左右両側に設定し、それらの矩形内の髪画素数を取る（以下、この特徴を「後髪矩形特徴」と呼ぶ）など、後髪特徴を抽出する。
【００９１】
なお、上記では、前髪特徴と後髪特徴とを別々のものとして各々の抽出方法を述べたが、両者を一体のものと考えて、髪特徴を抽出してもよい。例えば、髪画素領域は、前髪、後髪共通として、例えば、画像内の各画素に関し、髪色の平均値から大きく外れてはいない場合は、髪画素、そうでない場合は、非髪画素とラベル付けすることにより作成することも考えられる。
【００９２】
前髪輪郭抽出手段３ｃ５は、前髪特徴抽出手段３ｃ３により抽出された髪領域を用いて、以下の様に動作する。
【００９３】
右目、左目の中点から、画像上を真上方向に画像端まで走査し、最も長い髪画素のランを検出する。このランの最下点を始点とし、（画像上の）左方向に輪郭を追跡し、右目および左目の座標に基づいて定める、あるｙ座標の閾値より下方（ｙ座標値は大）、かつ、同様に定める、あるｘ座標の閾値より左方に来た時に、追跡を終える。次に、上記ランの最下点を始点とし、（画像上の）右方向に輪郭を追跡し、右目および左目の座標に基づいて定める、あるｙ座標の閾値より下方（ｙ座標値は大）、かつ、同様に定める、あるｘ座標の閾値より右方に来た時に、追跡を終える。さらに、上記左側の輪郭線と右側の輪郭線とをつなぎ合わせ、前髪輪郭とする。
【００９４】
後髪輪郭抽出手段３ｃ６は、後髪特徴抽出手段３ｃ４により抽出された髪領域を用いて、以下の様に動作する。
【００９５】
右目、左目の中点から、画像上を真上方向に画像端まで走査し、最も長い髪画素のランを検出する。このランの最上点を始点とし、（画像上の）左方向に輪郭を追跡し、右目および左目の座標に基づいて定める、あるｙ座標の閾値より下方（ｙ座標値は大）、かつ、同様に定める、あるｘ座標の閾値より左方に来た時に、追跡を終える。次に、上記ランの最上点を始点とし、（画像上の）右方向に輪郭を追跡し、右目および左目座標に基づいて定める、あるｙ座標の閾値より下方（ｙ座標値は大）、かつ、同様に定める、あるｘ座標の閾値より右方に来た時に、追跡を終える。さらに、上記左側の輪郭線と右側の輪郭線とをつなぎ合わせ、後髪輪郭とする。
【００９６】
なお、上記では前髪輪郭と後髪輪郭を別々のものとして各々の抽出方法を述べたが、両者を一体のものとみなし、髪領域を用いてその輪郭を追跡することにより、髪輪郭を抽出してもよい。
【００９７】
また、前髪特徴抽出手段３ｃ３および後髪特徴抽出手段３ｃ４は、上記で抽出された髪輪郭を用いて、さらに別の髪特徴を抽出してもよい。例えば、前髪輪郭の最上点を検出し、前髪特徴とすることや、後髪輪郭を走査し、髪の内側へのへこみが最大になる点を検出し、後髪特徴とすることなどが考えられる。
【００９８】
前髪分類手段３ｃ７および後髪分類手段３ｃ８は、前髪特徴抽出手段３ｃ３および後髪特徴抽出手段３ｃ４で求められた髪特徴、および、前髪輪郭抽出手段３ｃ５および後髪輪郭抽出手段３ｃ６で求められた髪輪郭を用いて、髪形を分類する（ステップ４６）。なお、前髪と後髪とを区別あるいは分離せず、一体とみなして髪分類を行うことも考えられる。
【００９９】
次に、前髪分類手段３ｃ７の動作例を以下に説明する。
上記で抽出された前髪メッシュ特徴を用いて、髪画素数がある閾値ｃ２以上のメッシュの数が、ある閾値ｍ＿ｆｃ以上ある場合は、「おかっぱ」 へ分類する。ここでいう「おかっぱ」とは、額部分が大部分髪の毛に覆われたような髪型のことである。また、髪画素数がｃ２未満で、かつ、ｃ１＜ｃ２なる別の閾値ｃ１以上であるメッシュの数が、ある閾値ｍ＿ｆｍ以上ある場合は、「すだれ」へ分類する。ここでいう「すだれ」とは、額部分に相当量の髪の毛がかぶさっているが、髪の毛のすきまから相当量の肌が見えているような髪型のことである。
【０１００】
このような髪輪郭の特徴を用いて、例えば、以下の様に、髪型を分類する（図１６参照）。
【０１０１】
上記で「おかっぱ」へも「すだれ」へも分類されなかった場合に、まず、前髪輪郭の上部で、輪郭が髪領域の側（上方）へどの程度へこんでいるかを調べて、へこみがあまりない場合は「分け目なし」へ、そうでない場合は「分け目あり」へ大分類する。
【０１０２】
次に、「分け目なし」に関しては、前髪輪郭の上部の直線度を調べて、直線度が大きい（直線に近い）場合は「四角型」（図１６（ａ）参照）、そうでない場合は「丸型」（図１６（ｂ）参照）へ分類する。
【０１０３】
さらに、「分け目あり」に関しては、上記で検出された前髪輪郭の最上点のｘ座標（以下ｘ＿ｄｆとする）を用いて、適当に定めたｄｆ１＜ｄｆ２＜ｄｆ３＜d ｆ４なる閾値ｄｆ１，ｄｆ２，ｄｆ３，ｄｆ４に対し、ｘ＿ｄｆ＜ｄｆ１の場合は「一九分け」（図１６（ｃ）参照）、ｄｆ１＜＝ｘ＿ｄｆ＜ｄｆ２の場合は「三七分け」、ｄｆ２＜＝ｘ＿ｄｆ＜＝ｄｆ３の場合は「真中分け」（図１６（ｄ）参照）、ｄｆ３＜ｘ＿ｄｆ＜＝ｄｆ４の場合は「七三分け」、ｄｆ４＜ｘ＿ｄｆの場合は「九一分け」へ分類する。
【０１０４】
次に、後髪分類手段３ｃ８の動作例を以下に説明する。
上記で抽出された後髪矩形特徴を用いて、髪画素数がある閾値ｎ＿ｂ以上ある場合は「長髪系」、そうでない場合は「短髪系」へ分類する。
【０１０５】
このような髪輪郭の特徴を用いて、例えば、以下の様に髪型を分類する（図１７参照）。
【０１０６】
上記の「長髪系」、「短髪系」を大分類とし、さらに、上記で検出された後髪輪郭の髪領域の内側へのへこみが最大になる点のｘ座標（以下ｘ＿ｄｂとする）を用いて、適当に定めたｄｂ１＜ｄｂ２＜ｄｂ３＜ｄｂ４なる閾値ｄｂ１，ｄｂ２，ｄｂ３，ｄｂ４に対し、ｘ＿ｄｂ＜ｄｂ１の場合は「一九分け」、ｄｂ１＜＝ｘ＿ｄｂ＜ｄｂ２の場合は「三七分け」、ｄｂ２＜＝ｘ＿ｄｂ＜＝ｄｂ３の場合は「真中分け」（図１７（ａ）参照）、ｄｂ３＜ｘ＿ｄｂ＜＝ｄｂ４の場合は「七三分け」、ｄｂ４＜ｘ＿ｄｂの場合は「九一分け」へ小分類する。ただし、上記で検出された後髪輪郭の髪の内側へのへこみが、最大になる点においてもそれほど大きくない場合は、「分け目検出されず」（図１７（ｂ）参照）へ小分類する。
【０１０７】
以上の処理動作により、実写画像などの２次元情報から、よりリアルな頭形状の検出と、その形状判定とに従った頭の３次元モデルを自動的に選択することができる。
【０１０８】
以上、上記各実施の形態の画像処理装置は、その装置の３次元モデルの生成処理を、図示していない記憶部に格納されている３次元モデル生成のための画像処理プログラムによって実現される。このプログラムは、コンピュータ読み取り可能な記録媒体に格納されている。本発明では、この記録媒体は、図示していないが、画像処理装置の内部にプログラム読み取り装置を備え、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであってもよいし、あるいは装置内部のプログラムメモリ等の記憶手段に格納されているものであってもよい。いずれの場合においても、格納されているプログラムは直接アクセスして実行させる構成であってもよいし、あるいはいずれの場合もプログラムを読み出し、読み出されたプログラムは、図示していない主記憶メモリにダウンロードされて、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは、あらかじめ装置本体に格納されているものとする。
【０１０９】
ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フロッピディスクやハードディスク等の磁気ディスクや、ＣＤ−ＲＯＭ、ＭＯ、ＭＤ、ＤＶＤ等の光ディスクのディスク系、ＩＣカードや光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【０１１０】
また、本発明においては外部との通信が可能な手段（無線通信機能、あるいはインターネット等の公衆回線を介する有線通信機能）を備えている場合には、これを用いて外部と接続し、そこからプログラムをダウンロードするように流動的にプログラムを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用プログラムはあらかじめ装置本体に格納しておくか、あるいは別の記録媒体からインストールされるものであってもよい。
【０１１１】
【発明の効果】
本発明の画像処理装置および画像処理方法ならびに画像処理プログラムを記録した記録媒体によれば、以下に示す種々の効果を奏する。
【０１１２】
すなわち、顔画像を入力し、３次元モデルに貼り付けて表示することにより、入力した２次元画像から、よりリアリティーの高い３次元の静止画像を生成することができる。また、３次元モデルが時間経過に基づく動き情報を持っている場合には、その動き情報を用いてよりリアリティーの高い３次元の動画像を生成することができる。例えば、顔に対応する部位の３次元モデルが時間経過に基づく動き情報を持っている場合には、その動き情報を用いて顔の表情を変化させることができる。
【０１１３】
また、胴体に対応する３次元モデルを持ち、これを操作者の入力により選択することができるので、顔や頭だけでなく、胴体を含む全身の３次元モデルを、操作者の好みにカスタマイズすることができる。
【０１１４】
また、選択対象となっている部位だけでなく、他の部位の３次元モデルも変更可能とすることによって、操作者の選択する手間を省くことができる。
【０１１５】
また、１つの部位の１つの３次元モデルとこれに対応する他の1 つの部位の1 つの３次元モデルとが選択された場合に、その部位および３次元モデルの組み合わせを記録し、次回またはそれ以降に、組み合わせが記録された１つの部位の１つの３次元モデルが選択されると、記録された組み合わせに基づき、これに対応する他の部位の１つの３次元モデルも自動的に選択されるようになっているので、操作者の選択する手間を省くことができる。
【０１１６】
また、顔や頭に対応する部位の３次元モデルを自動的に選択するようにしたので、操作者の選択する手間を省くことができる。
【図面の簡単な説明】
【図１】本発明の画像処理装置の一実施の形態を示すシステム構成図である。
【図２】本発明の画像処理装置による処理動作を示すフローチャートである。
【図３】顔画像の貼り付け手法に関する説明図である。
【図４】３次元モデル選択手段の他の実施の形態を示すブロック図である。
【図５】顔の３次元モデルの選択動作を示すフローチャートである。
【図６】位置指定の例を示す説明図である。
【図７】入力画像中の中心座標および初期輪郭の配置を示す説明図である。
【図８】初期輪郭上の一点と中心座標とを結ぶ直線上の色差算出を行う方法を説明するための図である。
【図９】色差の算出例を模式的に示した説明図である。
【図１０】（ａ）、（ｂ）は顔輪郭形状に特化した色差算出を行う手法として顔が楕円形状であることを利用する場合について説明するための図である。
【図１１】抽出した顔輪郭線から距離関数を算出する手法を説明するための図である。
【図１２】入力画像から得られた距離関数と基準距離関数とを比較する手法を説明するための図である。
【図１３】メモリに格納されている顔の３次元モデルの分類例を示す説明図である。
【図１４】頭の３次元モデルの選択動作を示すフローチャートである。
【図１５】髪色抽出に関する説明図である。
【図１６】前髪分類に関する説明図である。
【図１７】後髪分類に関する説明図である。
【符号の説明】
１  顔画像入力手段
２  ３次元モデル入力手段
３  ３次元モデル選択手段
３ａ  顔画像分類手段
３ｂ  顔モデル選択手段
３ｃ  頭モデル選択手段
３ｃ１  髪色抽出手段
３ｃ２  肌色抽出手段
３ｃ３  前髪特徴抽出手段
３ｃ４  後髪特徴抽出手段
３ｃ５  前髪輪郭抽出手段
３ｃ６  後髪輪郭抽出手段
３ｃ７  前髪分類手段
３ｃ８  後髪分類手段
４  顔画像貼り付け手段
５  画像生成手段
【図１】
0003639476.tif 000006
【図２】
0003639476.tif 000007
【図３】
0003639476.tif 000008
【図４】
0003639476.tif 000009
【図５】
0003639476.tif 000010
【図６】
0003639476.tif 000011
【図７】
0003639476.tif 000012
【図８】
0003639476.tif 000013
【図９】
0003639476.tif 000014
【図１０】
0003639476.tif 000015
【図１１】
0003639476.tif 000016
【図１２】
0003639476.tif 000017
【図１３】
0003639476.tif 000018
【図１４】
0003639476.tif 000019
【図１５】
0003639476.tif 000020
【図１６】
0003639476.tif 000021
【図１７】
0003639476.tif 000022