(57)【要約】【課題】携帯電話等において似顔絵を用いて感情の伝達を行うのに適した似顔絵の作成装置を提供する。【解決手段】眉、目、鼻、口、耳及び顔輪郭の各顔部品の特徴点と髪型の画像とから似顔絵を作成する作成装置であって、特定の感情をあらわす表情を描画する際に上記特定の感情に対応する皺を記述する皺記述手段と、作成すべき似顔絵に上記記述された皺を描画する皺描画手段と、を備える。また、特定の感情をあらわす表情を描画する際に無表情の似顔絵をもとに上記特定の感情に対応する皺を記述する皺記述手段と、無表情の似顔絵に上記記述された皺を描画する皺描画手段と、を備えるようにしてもよい。【選択図】　　　　図５
2004145625.tif 000002
【特許請求の範囲】
【請求項１】
眉、目、鼻、口、耳及び顔輪郭の各顔部品の特徴点と髪型の画像とから似顔絵を作成する似顔絵の作成装置であって、
特定の感情をあらわす表情を描画する際に上記特定の感情に対応する皺を記述する皺記述手段と、
作成すべき似顔絵に上記記述された皺を描画する皺描画手段と、
を備えたことを特徴とする似顔絵の作成装置。
【請求項２】
眉、目、鼻、口、耳及び顔輪郭の各顔部品の特徴点と髪型の画像とから似顔絵を作成する似顔絵の作成装置であって、
特定の感情をあらわす表情を描画する際に無表情の顔画像をもとに作成する似顔絵に上記特定の感情に対応する皺を記述する皺記述手段と、
無表情の顔画像をもとに作成する似顔絵に上記記述された皺を描画する皺描画手段と、
を備えたことを特徴とする似顔絵の作成装置。
【請求項３】
上記皺描画手段は、顔部品の特徴点の位置をもとに皺の描画位置を設定するようになした請求項１又は２記載の似顔絵の作成装置。
【請求項４】
表情生成時に顔部品の特徴点を移動させる特徴点移動手段を更に備え、上記皺描画手段は上記顔部品の移動情報をもとに皺を描画するか否か、及び皺の大きさを決定するようになした請求項１ないし３のいずれかに記載の似顔絵の作成装置。
【請求項５】
コンピュータに、眉、目、鼻、口、耳及び顔輪郭の各顔部品の特徴点と髪型の画像とから似顔絵を作成させるためのプログラムであって、
上記コンピュータを、
特定の感情をあらわす表情を描画する際に上記特定の感情に対応する皺を記述する皺記述手段、及び、
作成すべき似顔絵に上記記述された皺を描画する皺描画手段、
として機能させるようになしたことを特徴とする似顔絵の作成プログラム。
【請求項６】
コンピュータに、眉、目、鼻、口、耳及び顔輪郭の各顔部品の特徴点と髪型の画像とから似顔絵を作成させるためのプログラムであって、
上記コンピュータを、
特定の感情をあらわす表情を描画する際に無表情の顔画像をもとに作成する似顔絵に上記特定の感情に対応する皺を記述する皺記述手段、及び、
無表情の顔画像をもとに作成する似顔絵に上記記述された皺を描画する皺描画手段、
として機能させることを特徴とする似顔絵の作成プログラム。
【請求項７】
上記皺描画手段が顔部品の特徴点の位置をもとに皺の描画位置を設定するように、上記コンピュータを制御するプログラムを更に備えた請求項５又は６記載の似顔絵の作成プログラム。
【請求項８】
上記コンピュータに、表情生成時に顔部品の特徴点を移動させる特徴点移動手段として機能させるとともに、上記皺描画手段が上記顔部品の移動情報をもとに皺を描画するか否か、及び皺の大きさを決定するように上記コンピュータを制御するプログラムを更に備えた請求項５ないし７のいずれかに記載の似顔絵の作成プログラム。
【請求項９】
眉、目、鼻、口、耳及び顔輪郭の各顔部品の特徴点と髪型の画像とから似顔絵を作成するにあたり、
特定の感情をあらわす表情を描画する際に上記特定の感情に対応する皺を記述し、作成すべき似顔絵に上記記述された皺を描画するようにしたことを特徴とする似顔絵の作成方法。
【請求項１０】
眉、目、鼻、口、耳及び顔輪郭の各顔部品の特徴点と髪型の画像とから似顔絵を作成するにあたり、
特定の感情をあらわす表情を描画する際に無表情の顔画像をもとに作成する似顔絵に上記特定の感情に対応する皺を記述し、無表情の顔画像をもとに作成する似顔絵に上記記述された皺を描画するようにしたことを特徴とする似顔絵の作成方法。
【請求項１１】
皺の描画位置を顔部品の特徴点の位置をもとに設定するようにした請求項９又は１０記載の似顔絵の作成方法。
【請求項１２】
表情生成時に顔部品の特徴点を移動させる一方、上記顔部品の移動情報をもとに皺を描画するか否か、及び皺の大きさを決定するようにした請求項９ないし１１のいずれかに記載の似顔絵の作成方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は似顔絵の作成装置に関し、例えば携帯電話等において似顔絵を用いて感情の伝達を行うのに適した装置に関する。
【０００２】
【従来の技術】
似顔絵を作成する場合にあらかじめ登録された顔部品のパタ−ン、すなわち画像イメ−ジを組み合わせることにより似顔絵を作成する方法が開示されている（特許文献１、参照）。しかし、こうした方法では、例えば個人の顔の特徴を一般的に記述しようとすると膨大な数のパ−ツをメモリ−に保持する必要がある。
【０００３】
これに対し、眉や目を４〜１０個の特徴点、鼻や口を２〜３個の特徴点として抽出し、顔の基本モデルに対して顔部品の領域や位置あわせを行って基本モデルを変形したあと、特徴点を用いて顔部品を描画ル−ルで描画し、髪や顔の輪郭線はそのままの外形線で似顔絵を生成するようにした方法が提案されている（特許文献２、参照）。
【０００４】
【特許文献１】特開平０７−２３９９４５号公報
【特許文献２】特開２０００−６７２１８号公報
【０００５】
【発明が解決しようとする課題】
しかし、上記特許文献２記載の方法では、顔表情の動きと顔部品の動きが１対１に対応しないので、カメラで捕らえた顔画像に基づいて表情の合成を行うことが難しい。
【０００６】
また、表情を有する顔画像から似顔絵を作成したり、無表情の似顔絵に対して顔部品の特徴点を移動することによる表情づけを行ったりする場合に、特徴点の情報にもとづく顔部品のみで表情を表示するので、無表情との差がわかりにくいという問題があった。
【０００７】
さらに、表情が表れていると認識される場合においても、表情の識別が難しく、意図した表情と違う表情に認識されることがある。特に、見知らぬ人物の顔画像をもとに合成された似顔絵の表情では、もととなった本人の意思とは異なる表情に見誤りやすいという問題があった。
【０００８】
一方、特許文献１記載の方法では、皺のパ−ツも準備されているが、組み込みの処理としては、性別や年齢に応じて付加するようにされており、それ以外は皺の付加がユ−ザ−の選択にまかされているので、ユ−ザ−は試行錯誤により皺の効果を確かめながら似顔絵の生成を行う必要があった。
【０００９】
この発明は、上記のような問題点を解決するためになされたものであり、少ない特徴点を用いた似顔絵生成方法において、簡便な操作で、より豊かでわかりやすい表情表現を可能にすることをを課題とするものである。
【００１０】
【課題を解決するための手段】
そこで、本発明に係る似顔絵の作成装置は、眉、目、鼻、口、耳及び顔輪郭の各顔部品の特徴点と髪型の画像とから似顔絵を作成する似顔絵の作成装置であって、特定の感情をあらわす表情を描画する際に上記特定の感情に対応する皺を記述する皺記述手段と、作成すべき似顔絵に上記記述された皺を描画する皺描画手段と、を備えたことを特徴とする。
【００１１】
本発明の特徴の１つは作成する似顔絵が特定の感情をあらわす表情を提示しているときに、その感情に対応した皺情報を付加するようにした点にある。これにより、似顔絵を見たときの感情の識別が容易になる。
【００１２】
上記では取り込んだ顔の画像が特定の感情をあらわす表情をしているときにその表情から皺を描画するようにしているが、無表情をもとに皺を描画し、感情を表す似顔絵を作成するようにしても、上記同様、感情の識別が容易になる。
【００１３】
すなわち、本発明に係る似顔絵の作成装置は、眉、目、鼻、口、耳及び顔輪郭の各顔部品の特徴点と髪型の画像とから似顔絵を作成する似顔絵の作成装置であって、特定の感情をあらわす表情を描画する際に無表情の顔画像をもとに作成する似顔絵に上記特定の感情に対応する皺を記述する皺記述手段と、無表情の顔画像をもとに作成する似顔絵に上記記述された皺を描画する皺描画手段と、を備えたことを特徴とする。
【００１４】
本発明の特徴の１つは特定の感情に対応する皺によって顔の表情をあらわすようにした点にあるので、眉、目、鼻、口、耳及び顔輪郭の各顔部品による描画については特徴点と髪型の画像とから似顔絵を作成できさればよく、特に限定されないが、少ない特徴点を用いて似顔絵を作成でき、又表情の動きと顔部品の動きとが１対１に対応するように以下の構成をとるのが好ましい。
【００１５】
すなわち、眉、目、鼻、口、耳及び顔輪郭の各顔部品の特徴点と髪形の画像とから似顔絵を作成する似顔絵の作成装置であって、両目じり、瞳上端および瞳下端の各点を少なくとも含む４個ないし６個の特徴点を関数曲線によって補完して目を記述し、唇の両端、唇の上側および下側の稜線の中点、上唇の上側および下側の稜線の中点、上唇の上側稜線の中点と唇端点を結ぶ線上側に設定される片側１点の各点を少なくとも含む８個ないし１０個の特徴点を関数曲線により補完して口を記述する顔部品記述手段と、上記記述された曲線に従って上まぶたを描画するとともに、両目じりと瞳下端の３点を結ぶ曲線のうち、瞳下端に接する一部分のみを描画する一方、上記記述された曲線に従って、口を描画する顔部品描画手段と、髪形の画像を描画する髪形描画手段と、を備えるのがよい。これにより、リアルな表情の描画が可能となる。
【００１６】
また、皺を設ける位置については、顔部品の位置をもとに設定するように構成するのがよい。これにより、場違いな位置に皺が来ることを防ぎ、自然な表情の似顔絵ができる。
【００１７】
また、顔部品の位置に代え、表情生成時の特徴点の移動情報をもとに皺を描画するか否か、及び皺の大きさを決定するように構成することもできる。これにより、より自然な表情付けと、静止画のみならず、動画においても、よりリアルな表情づけが可能になる。このように、本発明では、表情に関連付けて、自動的に皺を描画する手段を設けているので、ユ−ザ−は簡便に表現力のある似顔絵を作成することができる。
【００１８】
似顔絵の作成プログラムを携帯電話等のデ−タ処理装置にインスト−ルすることにより本発明に係わる似顔絵の作成装置を簡単に構築することができる。この似顔絵の作成プログラムはメモリチップ等の記録媒体に記録しておき、デ−タ処理装置にインスト−ルするよにしてもよく、又サ−バに記憶させておきサ−バからデ−タ処理装置にダウンロ−ドするようにしてもよい。
【００１９】
本発明に係る似顔絵の作成プログラムは、コンピュータに、眉、目、鼻、口、耳及び顔輪郭の各顔部品の特徴点と髪型の画像とから似顔絵を作成させるためのプログラムであって、上記コンピュータを、特定の感情をあらわす表情を描画する際に上記特定の感情に対応する皺を記述する皺記述手段、及び、作成すべき似顔絵に上記記述された皺を描画する皺描画手段、として機能させるようになしたことを特徴とする。
【００２０】
また、本発明に係る似顔絵の作成プログラムは、コンピュータに、眉、目、鼻、口、耳及び顔輪郭の各顔部品の特徴点と髪型の画像とから似顔絵を作成させるためのプログラムであって、上記コンピュータを、特定の感情をあらわす表情を描画する際に無表情の顔画像をもとに作成する似顔絵に上記特定の感情に対応する皺を記述する皺記述手段、及び、無表情の顔画像をもとに作成する似顔絵に上記記述された皺を描画する皺描画手段、と指摘脳させるようにしたことを特徴とする。
【００２１】
これらの似顔絵の作成プログラムにおいても、皺描画手段が顔部品の特徴点の位置をもとに皺の描画位置を設定するように、コンピュータを制御するプログラムを更に備えるのがよい。
【００２２】
また、コンピュータに、表情生成時に顔部品の特徴点を移動させる特徴点移動手段として機能させるとともに、皺描画手段が上記顔部品の移動情報をもとに皺を描画するか否か、及び皺の大きさを決定するようにコンピュータを制御するプログラムを更に備えるのがよい。
【００２３】
また、本発明に係る似顔絵の作成方法は、眉、目、鼻、口、耳及び顔輪郭の各顔部品の特徴点と髪型の画像とから似顔絵を作成するにあたり、特定の感情をあらわす表情を描画する際に上記特定の感情に対応する皺を記述し、作成すべき似顔絵に上記記述された皺を描画するようにしたことを特徴とする。
【００２４】
さらに、本発明に係る似顔絵の作成方法は、眉、目、鼻、口、耳及び顔輪郭の各顔部品の特徴点と髪型の画像とから似顔絵を作成するにあたり、特定の感情をあらわす表情を描画する際に無表情の顔画像をもとに作成する似顔絵に上記特定の感情に対応する皺を記述し、無表情の顔画像をもとに作成する似顔絵に上記記述された皺を描画するようにしたことを特徴とする。
【００２５】
これらの似顔絵の作成方法においても、皺の描画位置を顔部品の特徴点の位置をもとに設定するのがよい。また、表情生成時に顔部品の特徴点を移動させる一方、顔部品の移動情報をもとに皺を描画するか否か、及び皺の大きさを決定するのがよい。
【００２６】
【発明の実施の形態】
実施の形態１．
はじめに、本発明で用いた少ない特徴点で似顔絵を作成るする方法について説明する。図１ないし図３は本発明に係る似顔絵の作成装置の好ましい実施形態を示し、本実施例は携帯電話に適用した例である。図１は本例の似顔絵の作成装置の装置構成の１例を示す。図において、似顔絵の作成装置は基本的にはＣＰＵ１０、ＲＡＭ１１、ＲＯＭ１２、ディスプレイ１３、テンキ−、ジョグダイアル、タッチパネル、マイクロフォン等の入力装置１４、及びモデム等の通信装置１５から構成されている。
【００２７】
ＲＯＭ１２には似顔絵の作成プログラムが記憶されている。
【００２８】
ＣＰＵ１０は、ユ−ザの指示があると、顔画像を取り込み、髪形の画像及び顔部品の特徴点を抽出し、ディスプレイ１３上で顔部品の特徴点を関数曲線で補完して顔部品を記述し、記述された曲線に従って顔部品を描画し、髪形の画像を描画して似顔絵を作成するようになっている。
【００２９】
図２は本例の似顔絵の作成装置における機能ブロック図を示す。似顔絵の作成装置は、機能的には特徴点抽出手段１００、顔部品記述手段１１０、顔部品描画手段１２０、髪形抽出手段１３０、髪形描画手段１４０、表情認識手段１５０、皺記述手段１６０、及び皺描画手段１７０から構成されている。
【００３０】
特徴点抽出手段１００は公知の抽出方法によって顔部品、具体的には眉、目、鼻、口、耳及び顔輪郭の形状を特定してその特徴点を抽出する。
【００３１】
顔部品記述手段１１０は抽出された特徴点を関数曲線で補完して顔部品を記述する。関数曲線には任意のものを用いることができるが、本例ではＢ−スプライン曲線を用いている。各顔部品の特徴点による記述は前述の通りの方法が用いられる。
【００３２】
顔部品描画手段１２０は記述された曲線に従って顔部品をディスプレイ１３上に描画する。
【００３３】
髪形抽出手段１３０は公知の方法で顔画像から髪形の画像を抽出する。抽出方法は、種々の方法があるが、本例ではカラ−画像をＲＧＢ表色系を用いて変換し、Ｒ画像を二値化した後にラベリングを行い、最も領域の広い部分を抽出して髪形の画像としている。
【００３４】
髪形描画手段１４０は抽出された髪形の画像をディスプレイ１３上にを描画する。
【００３５】
表情認識手段１５０は入力された顔画像から表情を認識する。表情の認識は公知の方法、例えば赤松茂：「コンピュ−タによる顔の認識−サ−ベイ−」電子情報通信学会論文誌、ｖｏｌ，Ｊ８０−ＡＮｏ，８，１２１５（′９７）などに記載されている方法を用いることができる。この場合、似顔絵生成のためには、少ない特徴点での似顔絵の生成が可能であるが、表情の認識精度を向上させるために、より多くの特徴点情報が必要である場合は、この処理部分のみ、より多くの特徴点を用いるようにしてもよい。本例では、「怒り」「喜び」「驚き」「悲しみ」の４種の表情を認識している。
【００３６】
皺記述手段１６０は認識された表情に応じて皺を記述する。皺の記述は、１つの皺につき、２または３個の点を用いて記述する。２個の場合は直線、３個の場合は顔部品と同様に、関数曲線を用いて補完して記述する。本例ではＢ−スプライン曲線を用いて記述した。なお、ひたいの皺など長さやうねりが大きい場合は、必要に応じ、点数を増やしても良い。
【００３７】
皺描画手段１７０は記述された曲線に従って皺を描画する。
【００３８】
こうして準備された顔部品、髪形、皺の画像がディスプレイ１３に表示されると、似顔絵が作成される。
【００３９】
似顔絵の作成プログラムはあらかじめＲＯＭ等に格納しており、実行の指示を与えると、ＲＡＭ上に展開され、プログラムに記述された処理が実行される。またＲＯＭの代わりに、メモリチップ等の可搬の記録媒体に例えば圧縮して格納しておき、携帯電話のスロット等に挿入して指示を与えるとＲＡＭに展開して処理を実行させることも出来る。パーソナルコンピュータ（ＰＣ）の場合はプログラムをハ−ドディスクに格納することも可能である。
【００４０】
さらには、似顔絵の作成プログラムをサ−バに格納しておき、携帯電話をサ−バに接続してプログラムをダウンロ−ドし、ＲＡＭ上に展開して処理を実行させることも出来る。
【００４１】
次に、動作を図３を参照しつつ説明する。図３は、本例における似顔絵の作成処理のフロ−チャ−トを示す。携帯電話において似顔絵の作成を選択し、テンキ−等で指示を与えると、まずカメラ等から顔画像ａが取り込まれ（ステップＳ１００）、この画像に対して髪形抽出処理が行われ（ステップＳ１１０）、得られた髪形の画像デ−タをＲＡＭ等に一時格納する。得られた髪形の例を図４（ａ）に示す。
【００４２】
髪形が抽出されると、顔画像から顔部品の特徴点を抽出し（ステップＳ１２０）、得られた特徴点の情報をＲＡＭ等に一時格納する。特徴点抽出には、エッジ抽出、パタ−ンマッチング、動的輪郭抽出などの既存の方法を用いることができる。
【００４３】
次に、ニュ−ラルネットワ−クなど、既存の手法を用いて、表情認識処理を行い（ステップＳ１３０）、「怒り」「喜び」「驚き」「悲しみ」「無表情」に分類した結果をＲＡＭ等に一時格納する。
【００４４】
こうして得られた各顔部品について予め定められた個数の特徴点を用い、これを関数曲線で補完して各顔部品の形状を記述する（ステップＳ１４０）。記述された「無表情」における顔部品の例を図４（ｂ）に示す。顔部品の記述は、輪郭、眉、耳、鼻、瞳を含む目、口の各部品ごとに行う。記述が終了すると、記述された曲線に従って各顔部品をディスプレイ１３に表示して描画する（ステップＳ１６０、Ｓ１７０）。
【００４５】
先の表情認識結果を参照し、認識結果が「無表情」の場合は、髪形の画像を描画して終了する（ステップＳ１８０）。この場合の作成された似顔絵の例を図４（ｃ）に示す。
【００４６】
結果が「無表情」以外の場合は、表情に応じた皺の記述を作成する（ステップＳ１９０）。表１に本例で用いた各表情に対する皺の付加位置とその記述例を示す。皺は２ないし３個の点を用いて記述される。この点を顔の特徴点と区別するために節点と呼ぶ。節点は必ずしも、顔の特徴点と一致しなくてもかまわない。両端の節点は端点である。特徴点を用いた記述と同様に、節点間は関数曲線で補完する。本例では関数としてＢ−スプライン曲線を用いた。
【００４７】
【表１】
2004145625.tif 000003
【００４８】
記述が終了すると、表情認識結果を参照し、記述された曲線に従って、表１の配置位置に皺を描画する（ステップＳ２１０）。皺の線の太さは任意であるが、一般的には顔部品を描画する線の太さと同等かそれ以下とする。但し、特に皺を強調したい場合には、皺の線を顔部品を描画する線の太さよりも太く設定することにより、より誇張された表情が得られる。また、ここでは、線の濃さすなわち濃度は一定としているが、特定の位置の皺を描画する線分全体、または、皺を描画する個々の線分の一部分の濃さを変える、すなわち、皺を描画する線分に濃淡をつけることによって、よりリアルな表情を得ることができる。上記一部分の濃度を変える場合は、例えば上から下に緩やかな濃度勾配を設けるなど、連続的な濃度変化をもたせることにより、より自然な表現が可能である。
【００４９】
皺の配置は表１の配置位置をもとに顔の左右の対称性にしたがい、顔の中心対称にならって配置するが、表情によって左右の対象性が崩れている場合や、顔が傾いている場合には、形を含め非対称に配置すれば、よりリアルな似顔絵を作成することができる。
【００５０】
表１に記載した皺の記述例１を用いて作成した各表情に対する似顔絵の作成例を図５に示す。図５（ａ）は「怒り」に対応した皺を描画したものである。「怒り」に対応した似顔絵を作成する場合、瞳の記述で得られた瞳径を故意に小さくし、瞳中心を、下側のまぶたに瞳が接するように移動して、上まぶたの曲線と瞳の間に空白を生じさせ、又は瞳径はそのままで、瞳の上端に接する上まぶた端点を上方に移動させることにより空白を生じさせ、眉の外側を持ち上げるなどの加工を行うことにより図５（ｂ）に示すように、より誇張された表情を得ることも可能である。
【００５１】
「喜び」に対応する似顔絵の作成例を図５（ｃ）に、「驚き」に対応する似顔絵の作成例を図５（ｄ）に示す。図５（ｄ）では、図５（ｂ）と同様、瞳と上まぶたの間に隙間を作り、誇張を行った。また、唇の端点で、上唇と下唇を切り離し、間に隙間を設けることも効果的である。
【００５２】
図５（ｅ）は、「悲しみ」に対する似顔絵の作成例である。悲しみの場合は、表１の「怒り」と同じ皺の記述を用いても、同様の効果が得られる。
【００５３】
また、図５（ｆ）では、目が閉じている場合の似顔絵の作成例である。目が閉じている場合、図５（ｆ）では閉じられたまぶたの上側に、４個の節点からなる波形の皺を付加している。図中の目の上の左側の皺には、節点がわかるように記載したが、実際には描画しない。また、眉間の皺は図５（ｅ）と同様である。
【００５４】
これにより、まぶたが閉じた状態でも、悲しい顔が表現できる。また、皺の付加位置、およびその大きさについては、表示後にユ−ザ−のキ−操作などにより変更可能とすることもできる。この場合は、個人の好みにより皺や顔部品を表す線の太さや濃さも含め、その程度を変更することにより、よりリアルな似顔絵とすることができる。
【００５５】
以上で説明した似顔絵の作成方法を用いてカメラで撮影した顔画像から似顔絵を作成し、表情識別の効果をみる実験を行った。実験は、「喜び」、「怒り」、「驚き」、「悲しみ」及び「無表情」の５種類の表情について、男女計５人の顔画像と、顔画像から生成された似顔絵について評価した。すなわち、顔画像と似顔絵について、「喜び」、「怒り」、「驚き」、「悲しみ」及び「無表情」から表情を選んでもらうアンケ−ト方式の評価を５０人に対して行った。
【００５６】
【表２】
2004145625.tif 000004
【００５７】
表２の（ａ）は元となるカメラで撮影した顔画像を用いた評価結果である。表は、左端に表示されている無表情を含む５種類の画像を提示したときに、それぞれの表情が、評価者によって、どの表情に認識されたかを、横方向に示している。例えば、「怒り」を表している顔画像を提示したとき、８８％の人が「怒り」と認識し、１２％の人は「無表情」と認識したことを示している。この実験の結果、似顔絵のもととなる顔画像の提示では全ての表情に対して、７割以上の高い正答率が得られている。
【００５８】
表２の（ｂ）は皺の無い似顔絵を用いた場合の評価結果であり、特に「怒り」や「悲しみ」、「驚き」などで正答率が落ちている。
【００５９】
表２の（ｃ）は、皺を付加した場合の結果である。表２の（ｂ）と比較すると、いずれの表情も認識率、つまり正答率が向上しており、「怒り」や「悲しみ」で顕著な効果が得られた。
【００６０】
なお、本例で、皺の記述として、３つの節点からなる記述を用いたが、端点のみの２点を用いた直線を使用しても最低限の効果が得られる。また、本例で「怒り」「喜び」「驚き」「悲しみ」の４表情を認識するものとしたが、図２の表情認手段にこれ以外の表情たとえば、上記のうちの２者の中間的な表情を認識させることも学習などにより可能である。
【００６１】
実施の形態２．
実施の形態１では、カメラ等により入力された顔画像の表情を認識して、似顔絵を作成する方法について説明したが、実施の形態２では、予め得られている、無表情の顔画像に対して、感情表現を有する似顔絵を作成する手法について説明する。
【００６２】
無表情の顔画像は、図１のＲＡＭ１１またはＲＯＭ１２に格納されている。また、この顔画像に対し、似顔絵を作成したことがある場合は、その特徴点や顔部品、皺等の曲線に関する記述情報をＲＡＭ１１やＲＯＭ１２等に記録しておき、その情報を次回の似顔絵の作成に再利用することも可能である。
【００６３】
また、こうした画像や特徴点、曲線の記述情報はメモリチップやサ−バなど、外部デ−タとして保存しておくことも可能である。
【００６４】
図６は実施の形態２における似顔絵の作成処理のフロ−チャ−トを示す。実施の形態１では、カメラ等から入力された顔画像から表情の認識を行ったが、本例では、入力される顔画像ａは無表情のものとし（ステップＳ１００）、図３の表情認識処理（ステップＳ１３０）に代えて、表情入力処理（ステップＳ２２０）及び特徴点移動処理（ステップＳ２３０）を行う。
【００６５】
表情入力処理（ステップＳ２２０）ではユ−ザ−が、図１の入力装置１４を用いて「怒り」「喜び」「驚き」「悲しみ」等の表情を入力する。特徴点移動処理（ステップＳ２３０）では、この入力結果に基づき、既存の手法たとえば、楊大昭ら：「ヒューマンインタフェースにおける顔表情の認識・合成手法に関する基礎研究」ヒューマンインターフェースシンポジウム’９９論文集，ｐ．１４１（１９９９）などに記載された手法によって、表情付けのための特徴点の移動を行う。
【００６６】
このあと、顔部品の記述処理と描画を行い（ステップＳ１４０〜Ｓ１６０）、髪の描画（ステップＳ１７０）、皺の記述処理と描画処理（ステップＳ１８０〜Ｓ２１０）を実施の形態１と同様の方法で実行し、入力された表情に対応する似顔絵を作成することができる。
【００６７】
本例における機能ブロック図を図７に示す。本例が実施の形態１の機能ブロック図と異なる点は表情認識手段１５０に代え、特徴点移動手段１８０が設けられている点である。この特徴点移動手段１８０は表情入力があると、特徴点抽出手段１００によって抽出された特徴点を移動し、顔部品記述手段１１０及び皺描画手段１７０に与え、「無表情」の顔画像と移動した特徴点に基づいて顔部品の記述及び皺の描画がなされるようになっている。
【００６８】
本例では、個々の顔画像に対して特徴点描出を行った後で特徴点の移動を行ったが、予め多数の顔画像からの似顔絵作成例に基づいて顔部品または皺の記述データに関して曲線の移動量を表情ごとにルール化しておき、無表情の顔画像から作成された顔部品の記述手段の結果や、皺の記述手段の結果をこのルールに基づいて移動させることにより、表情を有する似顔絵を作成することもできる。
【００６９】
この場合の機能ブロック図を図８に示す。本例が図７の機能ブロック図と異なる点は、顔部品記述手段１１０と顔部品描画手段１２０の間に特徴点移動手段１９０が、皺記述手段１６０と皺描画手段１７０との間に節点移動手段２００が設けられている点である。
【００７０】
顔部品または皺の記述データに関して曲線の移動量を表情ごとにルール化する場合、そのルールは予め作成してＲＯＭ等に格納しておく。予め作成したルールを用いる場合の処理フローは図７、図８から明らかなように、顔部品または皺記述手段の前に特徴点や接点の移動を行うか、同記述手段の後に特徴点や節点の移動を行うかの違いのみである。
【００７１】
その相違は容易に理解できるので、ここでは詳細な記述を省略するが、図７では、入力装置１４からの表情入力は皺記述手段１６０と特徴点移動手段１８０の双方に伝達され、皺描画のための位置情報は特徴点移動手段１８０の結果が入力される。
【００７２】
これに対して、図８では、表情入力は、皺記述手段１６０に入力され、必要な曲線記述が作成されるとともに、節点移動手段２００と特徴点移動手段１９０は、表情入力に応じて、移動ルールを参照して移動処理を実行する。その後、皺描画手段１７０は、移動後の特徴点情報を参照して、皺の描画を実行する。
【００７３】
実施の形態３．
以上の例では、表１に示すおおまかな皺の配置位置を設定していたが、個人の顔部品の配置や表情の程度などによっては、大まかな設定では不自然な印象を受ける似顔絵になることがある。こうした場合、顔部品位置をもとに皺の位置や大きさを決めることで、自然な似顔絵を作成することができる。
【００７４】
以下では、「怒り」「喜び」「驚き」を例にとり、その設定方法の一例を説明する。
【００７５】
図９の（ａ）は「怒り」の表情における皺の配置例を説明するための図である。ここでは表１の記述例２の皺を用いた。図において、眉の最も高い点と低い点の間の高さをＨ１とし、左右の眉で高さが異なる場合にはこれを平均するが、場合によっては、小さい方または大きい方の値を採用してもよい。両眉の間の距離をＬ１とする。
【００７６】
左側の皺はａ１、ａ２、ａ３の節点、右側の皺はｂ１、ｂ２、ｂ３の各節点から記述される。皺の最下端は、両眉の最下端に揃える。このとき、左右個別に眉と皺の最下点をあわせてもよいし、左右眉の下端の平均、つまり中点にａ１，ｂ１の高さをそろえてもよい。皺の高さはＨ１の０．８倍とした。左右の位置は、ａ１、ａ３が左眉の右端を基準に、右へ（０．３ｘＬ１）の位置、ａ２が同じ位置を基準に（０．３５ｘＬ１）の位置とする。右の皺についても同様にｂ１、ｂ３を右眉の左端を基準に左へ（０．３ｘＬ１）の位置、ｂ２を同位置を基準に（０．３５ｘＬ１）左の位置とする。
【００７７】
このように配置することにより、眉の位置との整合性のとれた皺の配置が可能となり、自然な似顔絵が作成できる。
【００７８】
図９の（ｂ）は、「喜び」の表情における皺の配置例を説明するための図である。図において、向かって左目の内側の目じりと唇の左端、向かって右目の内側の目じりと唇の右端を各々結んだ直線の高さをＨ２とする。左右の直線の高さが違う場合は高さの平均とした。また、鼻下の点から唇左端までの水平距離をＬ２ａ、鼻下の点から唇右端までの水平距離をＬ２ｂとする。
【００７９】
頬のしわは、内側から左側がａ４、ａ５、ａ６の各節点で、右側がｂ４、ｂ５、ｂ６の各節点で記述される。内側の節点の高さは、ここでは鼻下の高さとした。例えば唇の端から０．３ｘＨ２の高さとしてもよい。節点ａ４の左右位置は、向かって左目の内側の目じりと唇の左端を結ぶ直線との交点、節点ｂ４も右側で同様に右目の内側の目じりと唇の右端を結ぶ直線との交点とする。節点ａ６の左右位置は、鼻下の点を基準にＬ２ａの１．６倍の長さ左へ進んだ位置、同様に節点ｂ６の位置は水平距離Ｌ２ｂの１．６倍の長さを右へ進んだ位置とし、節点ａ５、ｂ５の左右位置は、それぞれ、節点ａ４，ａ６及びｂ４，ｂ６の中点とした。節点ａ６，ｂ６の高さ位置は、唇の端点の高さを基準に上に０．２５ｘＨ２の位置、節点ａ５，ｂ５の位置は同様に唇短点の高さから上に０．２３ｘＨ２の位置とした。
【００８０】
図９の（ｃ）は、「喜び」の表情における皺の配置例を説明するための図である。図において、両目の目頭の高さ方向位置から眉の内側の端点までの高さをＨ３とする。左右で目頭から眉の端点までの高さが異なるときは、その平均をとる。高さが大きく異なる場合は左右別々に設定してもよい。目頭間の距離をＬ３とする。
【００８１】
左側の皺は下から上にａ７、ａ８、ａ９の各節点で、右側の皺は下から上へｂ７、ｂ８、ｂ９の各節点で記述される。皺の最下端ａ７，ｂ７の高さ位置は、目頭の高さ位置とする。節点ａ７からａ９までの高さ、節点ｂ７からｂ９までの高さは、０．７５ｘＨ３とし、左右別々に高さを設定する場合は、目頭から眉までの高さの０．７５倍とする。節点ａ８、ｂ８の高さ位置は、それぞれ節点ａ７、ａ９の中間及び節点ｂ７、ｂ９の中間である。皺の左右位置は、まず節点ａ７、ａ８の横位置を、左の目頭を基準として右へ０．２２ｘＬ３の位置、節点ａ９の横位置を同じく左目頭を基準として、右へ０．０７ｘＬ３の位置とする。節点ｂ７、ｂ８についても、同様に右目頭から左へ０．２２ｘＬ３、ｂ９の位置を右目頭から左へ０．０７ｘＬ３の位置とする。
【００８２】
「悲しみ」の場合は、「怒り」と同様の手法を用いることにより、皺位置を決定することができる。
【００８３】
このように構成することにより、自動で、違和感の無い皺位置の設定が可能となる。
【００８４】
なお、本例における節点位置は、ユーザーの好みに応じて微調整できるように、ユーザーのキー入力等により、高さＨや距離Ｌの係数を調節できるように構成されている。
【００８５】
実施の形態４．
これまで、表情の認識または、ユーザーによる表情種別の入力結果によって皺の有無と描画位置を定める方法について説明してきたが、特徴点の位置情報から、皺の有無とその位置を決めることも可能である。以下、「怒り」の場合を例にとり、その方法について説明する。
【００８６】
図１０は実施の形態４を説明するための図である。眉の内側の端点はａ１０とｂ１０であり、予め、皺が発生する位置を定めておく。本例では、左のしわの節点ａ１１、ａ１２の水平位置をａ１０から右に０．３５ｘＬ１、ａ１１の高さ位置を節点ａ１０と同じ高さとした。右のしわの節点ｂ１１、ｂ１２についても、節点ａ１１、ａ１２と節点ｂ１１、ｂ１２が顔の中心線に対し対称になるように、同じ手法で皺が発生する位置を定めた。
【００８７】
ここで、入力された顔画像に対し、特徴点の動きを調べたところ、ある「怒り」の表情では、「無表情」に比べて節点ａ１０、ｂ１０間の距離が１５％程度減少した。個人差が大きいが、この例では上記距離の減少率が５％程度から眉間のしわの発生がみられており、閾値を１０％に設定することで、皺の発生の有無を決定することが出来た。また、節点ａ１０、ｂ１０距離が１０％のときに皺の高さ、すなわち節点ａ１１とａ１２及び節点ｂ１１とｂ１２間の距離Ｈ１１を０とし、距離１５％の時にＨ１１が０．８ｘＨ１となるように、連続的に変化させることにより、特徴点の動きに応じて皺の大きさを変化させることができた。
【００８８】
本例では、上記のように皺の発生位置を定めたが、発生位置は、実際に顔画像上でしわの出る位置を多人数の顔画像で求めておき、設定してもよい。また、ここでは皺を直線としたが、これに限定されるものではなく、例えば図９の（ｂ）に示した３個の節点ａ１、ａ２、ａ３やｂ１、ｂ２、ｂ３の場合であれば、節点ａ２、ｂ２を皺の発生場所として、節点ａ２とａ１、節点ａ２とａ３及び、節点ｂ２とｂ１、節点ｂ２とｂ３の距離を特徴点の動きに合わせて変化させるようにしてもよい。
【００８９】
また、時間軸上で、例えば赤松茂：「表情コミュニケーションにおけるダイナミクスを探る」画像ラボ，ｖｏｌ２，ｐ．１４（２０００．１２）．中に記載されているような、動的特性を参照し、予め、表情に応じた特徴点移動を定義しておき、それに応じた移動を行うことにより、連続した皺の描画が可能になり、動画においても、より自然な似顔絵の作成が可能になる。
【００９０】
また、上記の例では、高さＨ１１を距離Ｌ１に応じて変化させたが、距離Ｌ１の変化を皺の有無の判定にのみ用いて、皺の大きさすなわち高さＨ１１を、ユーザーの入力する表情のつよさによって変化させてもよい。たとえば、「すこし怒っている」に対応する高さが０．３ｘＨ１、「すごく怒っている」のときに０．８ｘＨ１などである。
【００９１】
さらに、上記の例では、特徴点間の距離の変化が１０％以下の場合は「皺なし」としたが、年齢に応じて、最初の状態すなわち無表情の状態でも皺を小さく描画しておき、表情が現れるにしたがい、大きくしていくことも可能である。
【００９２】
たとえば図９の（ｂ）に示されるような皺であれば、ユーザーに年齢を入力させ、４０歳以下ならば、初期のしわの大きさを０、４０歳以上であれば、初期の皺の大きさを皺の大きさの最大値の例えば２０％と設定し、これ以降は上記の例と同様に例えば高さＨ２に応じて皺の大きさを変えるようにしてもよい。
【００９３】
また、上記の例では、直線的に特徴点間の距離と皺の大きさを対応させたが、変化が大きくなるにつれて、皺の大きさの変化率を増やすようにしてもよい。
【００９４】
またさらに、皺の大きさを上記の例では長さで表現したが、長さの代わりに太さや濃さで表現することも可能である。
【００９５】
【発明の効果】
以上のように、この発明によれば、特定の感情に対応した皺を記述し、作成する似顔絵に皺を描画するようにしたので、似顔絵に特定の感情を示す表情が現れ、似顔絵を見たときの感情の識別が容易になる。
【図面の簡単な説明】
【図１】本発明に係る似顔絵の作成装置の好ましい実施の形態１を示す図である。
【図２】上記実施の形態１の機能ブロックを示す図である。
【図３】上記実施の形態１における似顔絵の作成処理のフローチャートを示す図である。
【図４】上記実施の形態１における髪形の画像（ａ）、各顔部品の記述（ｂ）、無表情における似顔絵作成画像（ｃ）を示す図である。
【図５】上記実施の形態１における「怒り」に対応した似顔絵の第一の作成例（ａ）、「怒り」に対応した似顔絵の第二の作成例（ｂ）、「喜び」に対応した似顔絵作成画像（ｃ）、「驚き」に対応した似顔絵作成画像（ｄ）、「悲しみ」に対応した似顔絵作成画像（ｅ）、「悲しみ」に対応した第二の似顔絵作成画像（ｆ）を示す図である。
【図６】実施の形態２における似顔絵の作成処理のフローチャートを示す図である。
【図７】上記実施の形態２の機能ブロックを示す図である。
【図８】上記実施の形態２で予め作成されたルールに基づき顔部品や皺の記述手段結果に対し処理を行う場合の機能ブロックを示す図である。
【図９】実施の形態３の「怒り」の表情における皺の配置（ａ），「怒り」の表情における皺の配置（ｂ），「驚き」の表情における皺の配置（ｃ）を説明するための図である。
【図１０】実施の形態４における皺の記述を説明するための図である。
【符号の説明】
１０　ＣＰＵ（皺記述手段、皺描画手段）、　１１　ＲＡＭ、　１２　ＲＯＭ、　１３　ディスプレイ、　１４　入力装置、　１５　通信装置、　１００　特徴点抽出手段、　１１０　顔部品記述手段、　１２０　顔部品描画手段、　１３０　髪型抽出手段、　１４０　髪型描画手段、　１５０　特徴点抽出手段、　１６０　皺記述手段、　１７０　皺描画手段、　１８０　特徴点移動手段、　１９０　特徴点移動手段　２００　節点移動手段。
【図１】
2004145625.tif 000005
【図２】
2004145625.tif 000006
【図３】
2004145625.tif 000007
【図４】
2004145625.tif 000008
【図５】
2004145625.tif 000009
【図６】
2004145625.tif 000010
【図７】
2004145625.tif 000011
【図８】
2004145625.tif 000012
【図９】
2004145625.tif 000013
【図１０】
2004145625.tif 000014