(57)【要約】【課題】用意する顔部品パーツが少なくても、モデルの特徴を捉えた好適な似顔絵を簡易に作成できる似顔絵作成方法、装置およびプログラムを提供する。【解決手段】同じ人物の複数の顔画像データを用いて、各顔画像データ毎に各顔部品の特徴量を抽出し、前記顔部品の特徴量を用いて、予め設定されている似顔絵用の顔部品のパーツ群から使用するパーツを選択することを、各顔画像毎に行い、同じ顔部品のパーツを合成して、合成で得られたパーツを用いて、前記人物の似顔絵を作成することにより、前記課題を解決する。【選択図】図１
2004288082.tif 000002
【特許請求の範囲】
【請求項１】
同じ人物の複数の顔画像データを用いて、各顔画像データ毎に各顔部品の特徴量を抽出し、
前記顔部品の特徴量を用いて、予め設定されている似顔絵用の顔部品のパーツ群から使用するパーツを選択することを、各顔画像毎に行い、
同じ顔部品のパーツを合成して、合成で得られたパーツを用いて、前記人物の似顔絵を作成することを特徴とする似顔絵作成方法。
【請求項２】
前記顔部品の特徴量と、選択したパーツの特徴量との類似度に応じた重み付けを行って、前記合成を行う請求項１に記載の似顔絵作成方法。
【請求項３】
複数の顔部品について似顔絵用の複数のパーツを記憶する記憶手段と、
顔画像データの取得手段と、
前記取得手段が取得した同じ人物の複数の顔画像データについて、各顔画像データ毎に各顔部品の特徴量を抽出する抽出手段と、
前記抽出手段が抽出した前記顔部品の特徴量を用いて、各顔画像毎に、前記記憶手段から使用するパーツを選択する選択手段と、
前記選択手段が選択した同じ顔部品のパーツを合成する合成手段と、
前記合成手段が合成したパーツを用いて、前記人物の似顔絵を作成する似顔絵作成手段とを有することを特徴とする似顔絵作成装置。
【請求項４】
同じ人物の複数の顔画像データを用いて、各顔画像データ毎に各顔部品の特徴量を抽出するステップ、
複数の顔部品について似顔絵用の複数のパーツを記憶する記憶手段から、前記顔部品の特徴量を用いて使用するパーツを選択することを、各顔画像毎に行うステップ、
同じ顔部品毎に選択したパーツを合成するステップ、
および、前記合成で得られたパーツを用いて、前記人物の似顔絵を作成するステップを実行させるプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、似顔絵作成の技術分野に属し、詳しくは、モデルとなる人物の特徴を適正に捉えた、好適な似顔絵を作成できる似顔絵作成方法および似顔絵作成装置、ならびに、これを実現するためのプログラムに関する。
【０００２】
【従来の技術】
コンピュータ等を用いた似顔絵の作成は、通常、（顔の）輪郭、眉毛、目、鼻、口、耳、髪形などの各顔部品に応じて、多数の似顔絵用のパーツ（顔部品をデフォルメした絵）を用意しておき、この中から、似顔絵を作成される人物（以下、モデルとする）の顔部品に類似するパーツを選択して、適宜、組み合わせることで行われている。
しかしながら、この方法では、モデルの特徴を好適に捉えた似顔絵を作るのには、ある程度の技術が必要であり、また、手間もかかる。
【０００３】
これに対し、似顔絵を自動作成する技術も知られている。例えば、特許文献１には、モデルの顔画像を入力して、画像解析を行うことで各顔部品の形状や位置の特徴量を抽出し、この特徴量を用いて、予め用意された顔部品のパーツ群（顔部品データ群）からのパーツの選択や、各パーツの配置位置を決定し、必要に応じて配置位置を変更して、似顔絵を作成する方法が開示されている。
この似顔絵作成方法によれば、画像を入力し、必要に応じて顔部品の配置位置の変更をするだけで自動的に似顔絵を作成することができる。
【０００４】
【特許文献１】
特開平１０−２２５０１７号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、１枚の画像が人物の特徴を適正に表現していることは、稀であり、すなわち、１枚の画像からモデルの全ての顔部品の特徴を適正に抽出することは、困難である。
しかも、予め用意された顔部品のパーツ、すなわち定められたパーツしか使用できないので、モデルの特徴と適正に一致した顔部品を用いることができない場合も多い。逆に、多くの人物に好適に対応するためには、非常に多くのパーツが必要であり、また、特徴量を用いたパーツの選択にも時間がかかってしまう。
【０００６】
本発明の目的は、前記従来技術の問題点を解決することにあり、簡易な操作で自動的に似顔絵を作成することができ、かつ、用意する顔部品のパーツの数が少なくても、モデルの特徴を適正に捉えた、好適な似顔絵を作成することができる似顔絵作成方法、および、この似顔絵作成方法を実施する似顔絵作成装置、ならびに、これらを実現するためのプログラムを提供することにある。
【０００７】
【課題を解決するための手段】
前記目的を達成するために、本発明の似顔絵作成方法は、同じ人物の複数の顔画像データを用いて、各顔画像データ毎に、各顔部品の特徴量を抽出し、前記顔部品の特徴量を用いて、予め設定されている似顔絵用の顔部品のパーツ群から使用するパーツを選択することを、各顔画像毎に行い、同じ顔部品のパーツを合成して、合成で得られたパーツを用いて、前記人物の似顔絵を作成することを特徴とする似顔絵作成方法を提供する。
【０００８】
また、本発明の似顔絵作成装置は、複数の顔部品について似顔絵用の複数のパーツを記憶する記憶手段と、顔画像データの取得手段と、前記取得手段が取得した同じ人物の複数の顔画像データについて、各顔画像データ毎に各顔部品の特徴量を抽出する抽出手段と、前記抽出手段が抽出した前記顔部品の特徴量を用いて、各顔画像毎に、前記記憶手段から使用するパーツを選択する選択手段と、前記選択手段が選択した同じ顔部品のパーツを合成する合成手段と、前記合成手段が合成したパーツを用いて、前記人物の似顔絵を作成する似顔絵作成手段とを有することを特徴とする似顔絵作成装置を提供する。
【０００９】
さらに、本発明のプログラムは、同じ人物の複数の顔画像データを用いて、各顔画像データ毎に各顔部品の特徴量を抽出するステップ、複数の顔部品について似顔絵用の複数のパーツを記憶する記憶手段から、前記顔部品の特徴量を用いて使用するパーツを選択することを、各顔画像毎に行うステップ、同じ顔部品毎に選択したパーツを合成するステップ、および前記合成で得られたパーツを用いて、前記人物の似顔絵を作成するステップを実行させるプログラムを提供する。
【００１０】
このような本発明の似顔絵作成方法、似顔絵作成装置、およびプログラムにおいて、前記顔部品の特徴量と、選択したパーツの特徴量との類似度に応じた重み付けを行って、前記合成を行うのが好ましい。
【００１１】
【発明の実施の形態】
以下、本発明の似顔絵作成方法、似顔絵作成装置、およびプログラムについて、添付の図面に示される好適実施例を基に、詳細に説明する。
【００１２】
図１に、本発明の似顔絵作成方法を実施する、本発明の似顔絵作成装置にかかる似顔絵作成システムの一例の概念図を示す。
図示例の似顔絵作成システム１０は、入力した顔画像（顔画像データ）を用いて、似顔絵を作成するものであり、基本的に、入力手段１２と、システム本体１４と、ディスプレイ１６と、プリンタ１８とを有して構成される。
【００１３】
図示例の似顔絵作成システム１０において、入力手段１２は、似顔絵を作成される人物（以下、モデルとする）の顔画像の画像データを取得（顔画像を入力）して、システム本体１４に供給する部位である。
入力手段１２には、特に限定はなく、画像データを取得して、システム本体１４に供給できるものであれば、各種のものが利用可能である。一例として、スマートメディアＴＭやＣＤ−Ｒなどの記録媒体の読取装置、デジタルカメラなどの撮像媒体からの画像読取装置、スキャナなどの反射原稿を光電的に読み取る画像読取装置、画像（画像データ）を通信するネットワークとの接続手段等が例示される。また、複数種がシステム本体１４に接続されてもよい。
【００１４】
本発明において、顔画像は、人物（モデル）の顔が存在する画像であればよいが、顔写真や上半身のポートレートなど、モデルの顔が占める割合の画像が好ましいのは、もちろんである。また、後に詳述するが、本発明の似顔絵作成方法は、同じモデルの複数の異なる顔画像を用いて１つの似顔絵を作成する。そのため、用いる顔画像は、顔の撮影（観察）角度、モデルの表情、顔のサイズ等が類似するものであるのが好ましい。
なお、本発明において、顔画像の原画像や原稿には特に限定はなく、写真、各種のプリンタで出力されたプリント、印刷物、デジタルカメラ等の撮像媒体で撮影された画像等、各種のものが利用可能である。また、例えば、写真とＣＤ−Ｒ等、異なる画像原から、顔画像を入力してもよい。
【００１５】
システム本体１４（以下、本体１４とする）は、入力手段１２から供給された顔画像の画像データを用いて、モデルの似顔絵を作成して、プリンタ１８等に出力するものであり、図示例においては、抽出手段３０、パーツ記憶部３２、パーツ選択手段３４、パーツ合成手段３６、および、似顔絵作成手段３８を有して構成される。また、図示は省略するが、本体１４には、各種の操作を行うためのマウスやキーボード等が接続される。
このような本体は、例えば、パーソナルコンピュータ（ＰＣ）やワークステーション（ＷＳ）を用いて構成すればよい。
【００１６】
抽出手段３０は、入力手段１２から供給された顔画像の画像データを解析して、顔抽出を行い、さらに、各顔部品の抽出、各顔部品の特徴量の抽出、および各顔部品の位置の検出を行うものである。
顔部品とは、人物の顔を構成する各部位で、例えば、眉毛、目、鼻、口、耳、（顔の）輪郭、髪の毛、などである。また、顔部品の特徴量とは、例えば、眉毛の太さや角度や間隔、目の間隔など、各顔部品の大きさ、形状、配置等に関する情報が例示される。
【００１７】
このような顔抽出、顔部品の抽出、顔部品の位置検出、顔部品の特徴量の抽出は、主要部抽出、肌色などの色抽出、輪郭検出、エッジ検出、画素の連続性を用いた抽出、パターンマッチング、テンプレートマッチング、形状認識等の公知の方法で行えばよい。
【００１８】
本発明は、同じモデルの複数の異なる顔画像を用いて１つの似顔絵を作成するものであり、抽出手段３０は、入力された全ての顔画像（顔画像データ）について、各顔部品や特徴量の抽出を行う。
また、これに対応して、抽出手段３０は、必要に応じて、画像の電子変倍を行って顔のサイズを合わせた後に、各種の抽出等を行ってもよい。
【００１９】
パーツ記憶部３２（以下、記憶部３２とする）は、似顔絵を作成するための顔部品のパーツを記憶する部位である。パーツとは、似顔絵を作成するための、前記顔部品をデフォルメした二次元的な絵であり、輪郭、目、鼻などの各顔部品に応じて、予め、輪郭パーツ、目パーツ、鼻パーツなどが、各顔部品毎に複数作成され、記憶部３２が例えばベクトル情報として記憶している。
また、似顔絵作成システム１０は、予め作成した各パーツの特徴量を検出し、および／または、適宜設定した特徴量に応じて各パーツを作成しており、記憶部３２は、各パーツと、その特徴量とを、対応付けして記憶している。
【００２０】
パーツ選択手段３４（以下、選択手段３４とする）は、抽出手段３０から供給された各顔画像の各顔部品の特徴量を用いて、各顔部品毎に、記憶部３２から最も特徴量が類似するパーツを選択する部位である。
前述のように、本発明では複数の顔画像を用いて似顔絵を作成する。従って、選択手段３４が一種の顔部品に対して選択するパーツは、入力した顔画像の数となる。例えば、モデルの顔画像が３つ入力された場合には、輪郭パーツ、目パーツ、口パーツなどのパーツも、それぞれ３つずつ選択される。
【００２１】
パーツ合成手段３６（以下、合成手段３６とする）は、選択手段３４が選択したパーツを、各顔部品の種類毎に合成して、似顔絵の作成に用いる１つのパーツとするものである。前述のように、入力された顔画像が３つであれば、合成手段３６は、１種の各顔部品で３つのパーツを合成して、似顔絵の作成に用いる１つのパーツとする。
【００２２】
パーツの合成は、例えばモーフィングを用いた方法等の公知の方法によればよい。ここで、よりモデルの特徴を良好に捉えた似顔絵を作成するため、特徴量の類似度が近いパーツが強調されるように、パーツ毎に、対応する顔部品との特徴量の類似度に応じた重み付けを行って、顔部品毎のパーツの合成を行うのが好ましい。
また、合成手段３６は、同じ顔部品の他のパーツとの特徴量の差が大きいパーツ（例えば、顔部品との特徴量の差が適宜決定した閾値を超えるパーツ）が含まれている場合には、このパーツを除いて顔部品毎のパーツの合成を行うようにしてもよい。
【００２３】
似顔絵作成手段３８は、合成手段３６が合成したパーツ、および、抽出手段３０が抽出した各顔部品の位置情報を用いて、似顔絵を作成して、ディスプレイ１６やプリンタ１８に出力するものである。
似顔絵の作成は、顔部品の位置情報に応じて、似顔絵用のパーツを用いた各種の似顔絵作成装置や似顔絵作成ソフトウエア等で行われている公知の方法を用いて行えばよい。また、各パーツの位置は、適宜選択した１つの顔画像に応じて決定してもよく、複数の顔画像における顔部品の位置を平均化して、それに応じて決定してもよい。
【００２４】
ディスプレイ１６は、ＰＣ等に利用される公知のディスプレイであり、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）やＬＣＤ（液晶ディスプレイ）を利用すればよい。似顔絵作成システム１０においては、例えば、このディスプレイ１６の表示と前述のマウス等を用いたＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）によって、各種の操作が行われる。
また、プリンタ１８も、インクジェットプリンタ、電子写真プリンタ、感光材料を像様露光して潜像を形成して湿式の現像処理を行うプリンタなど、公知のプリンタである。
【００２５】
以下、図示例の似顔絵作成システム１０の作用を説明することにより、本発明について、より詳細に説明する。また、本発明のプログラムは、以下の作用や機能を実施させるプログラムである。
【００２６】
似顔絵作成システム１０において、似顔絵を作成する際には、まず、写真の光電的な読み取りや、画像データが記録されたＣＤ−Ｒの読み取り等によって、入力手段１２がモデルの顔画像データを取得して、これを抽出手段３０に送る。
前述のように、本発明の似顔絵作成方法を実施する似顔絵作成システム１０においては、似顔絵の作成を、同一モデルの複数枚の異なる顔画像を用いて行うので、入力手段は、似顔絵の作成に用いる数の顔画像データを取得し、抽出手段３０に送る。本例においては、一例として、３枚の顔画像が入力されたとする。
なお、入力する顔画像の数の指示は、例えば、顔画像の入力に先立ち、キーボード等を用いて枚数を指定してもよく、あるいは、全顔画像の入力が終了したら、入力終了の指示を出してもよい。
【００２７】
抽出手段３０は、供給された３枚の顔画像データについて、それぞれ前述のようにして画像解析を行い、各顔画像毎に、顔部品、顔部品の位置、顔部品の特徴量の抽出を行い、各顔画像の各顔部品の特徴量を選択手段３４に、顔部品の位置の情報を似顔絵作成手段３８に、それぞれ送る。
顔部品の特徴量を供給された選択手段３４は、記憶手段３２を検索して、各顔部品毎に、抽出手段３０から供給された特徴量に最も類似する特徴量を有するパーツを選択し、読み出して、合成手段３６に送る。本例においては、３つの顔画像から似顔絵を作成するので、選択手段３４は、１種類の顔部品について、３つのパーツが選択される。
【００２８】
合成手段３６は、選択手段３４から供給されたパーツを、顔部品の種類毎に合成して、似顔絵作成に用いる１つのパーツとして、似顔絵作成手段３８に送る。本例においては、３つの顔画像から似顔絵を作成するので、合成手段３６は、１種類の顔部品について３つのパーツを合成して、似顔絵作成用の１つのパーツを作成する。
【００２９】
似顔絵作成手段３８は、合成手段３６から供給された似顔絵作成用の各パーツ、および、抽出手段３０から供給された各顔部品の位置情報を用いて、顔画像が入力されたモデルの似顔絵を作成して、この似顔絵（似顔絵の画像データ）をプリンタ１８に出力する。似顔絵を受け取ったプリンタ１８は、これを記録したハードコピーを出力する。
なお、プリンタ１８に似顔絵を出力する前に、ディスプレイ１６に作成した似顔絵を表示して、必要に応じて、オペレータによる似顔絵の修正等を行えるようにしてもよい。
【００３０】
以上の説明から明らかなように、本発明は、同一モデルの異なる複数の顔画像（顔画像データ）を用いて、各顔画像毎に特徴量を抽出して各顔部品のパーツを選択し、顔部品種毎に複数のパーツを合成して似顔絵を作成する。そのため、抽出した特徴量の信頼性を高めて、よりモデルの本来の特徴を適正に捉えた似顔絵を作成できる。
しかも、複数の顔画像に対応するパーツを合成、好ましくは特徴量の類似度に応じた重み付けを行って合成をするので、各顔部品毎に用意されたパーツの数が少なくても、モデルの本来の特徴に近づけたパーツを用いて、モデルの特徴を好適に捉えた似顔絵を作成できる。
【００３１】
以上の例においては、パーツは二次元的な画像の画像データであったが、本発明は、これに限定はされず、パーツを三次元的な画像データとし、立体的な似顔絵を作成してもよい。
三次元データのパーツを用いて、本来の顔に近い似顔絵を作成するためには、パーツ等の情報量が、より多くなることが考えられる。しかしながら、複数の顔画像に対応する複数のパーツを合成する本発明によれば、用意されたパーツが少なくても、モデルの特徴を捉えた似顔絵を作成することができるので、三次元的な似顔絵の作成であっても、全体的な情報量の増加を大幅に低減できる。
【００３２】
また、本発明においては、前述のように顔画像から特徴量を抽出した後に、特徴量が最も近いパーツを選択した後に、特徴量が顔画像に一致する（あるいは近づく）ように、パーツを変形してもよい。また、この際には、パーツの合成を行わずに、似顔絵を作成してもよい。
【００３３】
本発明を利用する似顔絵作成システム１０は、作成した似顔絵（その画像データ）を、プリンタ１８やディスプレイ１６以外の場所、例えば、ＣＤ−Ｒなどの記録媒体に出力してもよく、また、インターネットや携帯電話による移動通信網などの通信ネットワークに似顔絵を出力してもよい。
【００３４】
以上、本発明の似顔絵作成方法、似顔絵作成装置、および、プログラムについて、詳細に説明したが、本発明は、上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良および変更を行ってもよいのは、もちろんである。
【００３５】
【発明の効果】
以上、詳細に説明したように、本発明によれば、用意する顔部品パーツの数が少なくても、簡易な操作で自動的に、モデルの特徴を適正に捉えた好適な似顔絵を作成することができる。
【図面の簡単な説明】
【図１】本発明の似顔絵作成方法を実施する本発明にかかる似顔絵作成システムの一例の概念図である。
【符号の説明】
１０  似顔絵作成システム
１２  入力手段
１４  （システム）本体
１６  ディスプレイ
１８  プリンタ
３０  抽出手段
３２  （パーツ）選択手段
３４  （パーツ）記憶手段
３６  （パーツ）合成手段
３８  似顔絵作成手段
【図１】
2004288082.tif 000003