(57)【要約】【課題】顔の各部位それぞれを移動、変形することが必要で処理が大きかった。【解決手段】表情変化テンプレートデータ記憶手段と、静止画像から顔領域データを抽出する顔領域検出手段と、前記顔領域データと表情変化テンプレートデータから目中心などの特徴点座標データを得てポリゴン分割線分を決定し、矩形平面を前記ポリゴン分割線分に従って分割した複数のポリゴンデータを生成するポリゴンデータ生成手段と、前記ポリゴンデータの頂点を平面に対して垂直方向に移動するポリゴン頂点垂直移動手段と、静止画像データの部分部分を前記ポリゴンデータの各平面に対応付けるポリゴンデータ対応付け手段と、ポリゴンを回転処理して画像データを生成する画像データ生成手段とを具備することで、少ない計算量で顔画像に対する表情変化を行う。【選択図】図１
2005346604.tif 000002
【特許請求の範囲】
【請求項１】
静止画像において顔の表情を動的に変化させて表示する顔画像表情変化処理装置であって、
３次元グラフィック演算処理を行う３Ｄグラフィック演算処理手段と、
静止画像データを記憶する静止画像データ記憶手段と、
表情変化テンプレートデータを記憶する表情変化テンプレートデータ記憶手段と、
前記静止画像から顔領域データを抽出する顔領域検出手段と、
前記顔領域データおよび前記表情変化テンプレートデータから顔両端、目中心、口中心などの特徴点座標データを得、これによりポリゴン分割線分を決定し、矩形平面を前記ポリゴン分割線分に従って分割した複数のポリゴンデータを生成するポリゴンデータ生成手段と、
前記表情変化テンプレートデータに従って前記ポリゴン分割線分上の前記ポリゴンデータの頂点を平面に対して垂直方向に移動するポリゴン頂点垂直移動手段と、
静止画像データをテクスチャデータとして、その部分部分を前記ポリゴンデータの各平面に対応付けるポリゴンデータ対応付け手段と、
前記３Ｄグラフィック演算処理手段により、光源処理や前記表情変化テンプレートデータに従って得られるポリゴンに傾きを与えるための回転処理を実行して画像データを生成する画像データ生成手段と、
前記画像データ生成手段により生成した画像データを表示する表示手段
を具備することを特徴とする顔画像表情付け処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、簡易な手段でもって静止画像における顔の表情を動的に変化させ表示装置に表示させる装置に関する。
【背景技術】
【０００２】
静止画像における顔の表情を変化させるには、例えば、特許公開平１１−１６７６２６号公報「画像処理方法、記録媒体及び画像処理装置」に示されるように、顔の目、眉、鼻、口などの部位を領域情報として特定し、変化させる表情に応じて静止画像データ上の各部位領域毎に移動、変形および補間させることにより顔の表情変化を得る。
【特許文献１】特開平１１−１６７６２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
静止画像データ上の顔の各部位領域それぞれを移動、変形および補間させるには、ＣＰＵにおける計算量が多いため、ＣＰＵの処理能力の小さい機器などでは、要求される処理時間を満たせないと言う問題を生じる可能性を有している。
【０００４】
また、顔の各部位領域毎の移動、変形および補間をグラフィックス演算装置を利用して処理することで、ＣＰＵにおける計算量を削減する手段も存在するが、表情を動的に変化させるには、顔の各部位領域毎の移動量、変形量など演算を繰り返し行う必要があるので手間がかかった。
【課題を解決するための手段】
【０００５】
上記の課題を解決するために、本発明にかかる顔画像表情付け処理装置は、３次元グラフィック演算処理を行う３Ｄグラフィック演算処理手段と、静止画像データを記憶する静止画像データ記憶手段と、表情変化テンプレートデータを記憶する表情変化テンプレートデータ記憶手段と、前記静止画像から顔領域データを抽出する顔領域検出手段と、前記顔領域データおよび前記表情変化テンプレートデータから顔両端、目中心、口中心などの特徴点座標データを得、これによりポリゴン分割線分を決定し、矩形平面を前記ポリゴン分割線分に従って分割した複数のポリゴンデータを生成するポリゴンデータ生成手段と、前記表情変化テンプレートデータに従って前記ポリゴン分割線分上の前記ポリゴンデータの頂点を平面に対して垂直方向に移動するポリゴン頂点垂直移動手段と、静止画像データをテクスチャデータとして、その部分部分を前記ポリゴンデータの各平面に対応付けるポリゴンデータ対応付け手段と、前記３Ｄグラフィック演算処理手段により、光源処理や前記表情変化テンプレートデータに従って得られるポリゴンに傾きを与えるための回転処理を実行して画像データを生成する画像データ生成手段と、前記画像データ生成手段により生成した画像データを表示する表示手段を具備することを特徴としている。
【０００６】
以上の構成により、より少ないＣＰＵにおける計算量で顔静止画像に対する表情変化を行うことが可能となり、ＣＰＵの処理能力不足によって要求される処理時間が満たせないと言う事態を回避することができる。
【０００７】
また、顔の各部位領域毎の移動量、変形量などの演算を繰り返し行う必要性を回避することができる。
【発明の効果】
【０００８】
本発明によれば、静止画像データ上の顔の各部位それぞれを移動、変形および補間することが不要となり、より少ないＣＰＵにおける計算量で、人間の目の錯覚効果を利用した、静止画像における顔の表情を変化させた画像を得ることが可能となる。
【発明を実施するための最良の形態】
【０００９】
（実施の形態の構成）
以下、本発明の実施の形態について図面を用いて説明する。
【００１０】
図１は、本発明の実施の形態における顔画像表情変化処理装置の構成図である。
【００１１】
顔画像表情変化処理装置１００において、３Ｄグラフィック演算処理手段１０１は３次元グラフィック演算処理を行う。
【００１２】
静止画像データ記憶手段１０２には人物（顔）を含む静止画像データが格納される。表情変化テンプレートデータ記憶手段１０３には、笑った顔や怒った顔、悲しい顔等を含む複数の表情変化テンプレートデータが格納されており、そのうちの１つがユーザにより選択される。顔領域検出手段１０４は静止画像データ記憶手段から静止画像データを読み出して顔領域データを抽出する。ポリゴンデータ生成手段１０５は顔領域データおよびユーザにより選択された表情変化テンプレートデータから顔両端、目中心、口中心などの特徴点座標データを得て、これによりポリゴン分割線分を決定し、矩形平面を前記ポリゴン分割線分に従って分割した複数のポリゴンデータを生成する。
【００１３】
ポリゴンデータ対応付け手段１０６は静止画像データをテクスチャデータとして、その部分部分を前記ポリゴンデータの各平面に対応付ける。ポリゴン頂点垂直移動手段１０７は表情変化テンプレートデータに従ってポリゴン分割線分上のポリゴンデータの頂点を平面に対して垂直方向に移動する。画像データ生成手段１０８は３Ｄグラフィック演算処理手段１０１を利用して、光源処理や前記表情変化テンプレートデータに従って得られるポリゴンに傾きを与えるための回転処理を実行して画像データを生成する。表示手段１０９は画像データ生成手段により生成した画像データを表示する。
【００１４】
（実施の形態の動作）
以上のように構成されたシステムについて、図２のフローチャート（ステップＳ２０１〜Ｓ２１３）を用いてその動作を説明する。
【００１５】
最初に、複数存在する表情変化テンプレートデータより、使用する表情変化テンプレートデータを決定する（ステップＳ２０１）。表情変化テンプレートデータは、次の情報を含んでいる。１）顔領域データから特徴点座標を生成する演算式、またはプログラムを指定する識別子。２）特徴点座標からポリゴン分割線分を生成する演算式、またはプログラムを指定する識別子。３）ポリゴン分割線分上のポリゴン頂点の移動先座標を生成する演算式、またはプログラムを指定する識別子。４）光源情報データを生成する演算式、またはプログラムを指定する識別子。５）ポリゴンに傾きを与えるための軸を生成する演算式、またはプログラムを指定する識別子。
【００１６】
次に、顔領域検出手段１０４により、静止画像データから図３に示すような顔全体領域、目領域、口領域などを含む顔領域データを得る（ステップＳ２０２）。
【００１７】
次に、ポリゴンデータ生成手段１０５により、ステップＳ２０１より得られた表情変化テンプレートデータに従って、ステップＳ２０２より得られた顔領域データより顔両端、目中心、口中心などの特徴点を含む特徴点座標データを得る（ステップＳ２０３）。なお、特徴点座標データとして、目両端、眉中心、眉両端も利用するに値するものである。
【００１８】
次に、ステップＳ２０１より得られた表情変化テンプレートデータに従って、ステップＳ２０３より得られた特徴点座標より複数のポリゴン分割線分を決定する（ステップＳ２０４）。当ステップにより得られるポリゴン分割線分は、顔を縦に２分する中心線にほぼ平行である。
【００１９】
次に、静止画像データと相似形となる矩形平面をステップＳ２０４より得られたポリゴン分割線分に従って分割した、複数のポリゴンデータを生成する（ステップＳ２０５）。
【００２０】
次に、ポリゴンデータ対応付け手段１０６により、静止画像データをテクスチャデータとして、その部分部分をステップＳ２０５より得られたポリゴンデータの各平面に対応付ける（ステップＳ２０６）。
【００２１】
次に、ポリゴン頂点垂直移動手段１０７により、ステップＳ２０１より得られた表情変化テンプレートデータに従って、ステップＳ２０４より得られたポリゴン分割線分上の座標に存在するステップＳ２０５より得られたポリゴンデータの頂点を平面に対して垂直方向に移動する（ステップＳ２０７）。図４は、顔両端、目中心、口中心を通るポリゴン分割線分で分割されたポリゴンデータにおいて、目中心を通るポリゴン分割線分上のポリゴンデータの頂点を画像に向かって手前方向に移動させた場合の例を示している。
【００２２】
次に、画像データ生成手段１０８により、ステップＳ２０７より得られた各ポリゴンデータの各頂点に光の反射角を計算させるための法線ベクトルを設定する（ステップＳ２０８）。
【００２３】
次に、視点座標および視線方向データを設定する（ステップＳ２０９）。
【００２４】
次に、ステップＳ２０１より得られた表情変化テンプレートデータに従って、光源情報データを設定する（ステップＳ２１０）。
【００２５】
次に、ステップＳ２０１より得られた表情変化テンプレートデータに従って、ポリゴンに傾きを与えるための回転軸を得、前記回転軸に沿って、視線方向に対してステップＳ２０７より得られたポリゴンデータに傾きを持たせるように座標の変換を３Ｄグラフィックス演算処理手段１０１にて行う（ステップＳ２１１）。図５、図６は、左右両端のポリゴンに含まれ、かつポリゴンを上下２分する直線を軸に、視線方向に対してポリゴンデータが鈍角、および鋭角をなす角度に傾けた場合の例を示している。図５は笑っているような表情となり、かつ光源の位置関係から明るい画像となる。図６は悲しんでいるような表情となり、かつ光源の位置関係から暗い画像となる。なお、ポリゴンデータを回転させず、視点座標および視線方向データと光源情報を回転軸に沿って回転させることによっても同様の効果が得られる。
【００２６】
次に、ステップＳ２０６より得られるテクスチャデータ、ステップＳ２０９より得られる視点座標と視線方向データ、ステップＳ２１０より得られる光源情報データ、およびステップＳ２１１より得られる座標変換されたポリゴンデータを入力として３Ｄグラフィックス演算処理装置にて画像データを生成する（ステップＳ２１２）。
【００２７】
最後に、表示手段１０９により、画像データを表示装置で表示する（ステップＳ２１３）。
【００２８】
なお、ステップＳ２０１からステップＳ２１０を実行した後、ステップＳ２１１におけるポリゴンデータの傾きを連続的に少しずつ変化させながら、ステップＳ２１１からステップＳ２１３のみを繰り返すことによって、顔の表情および画像の明るさを動的に変化させることが可能となる。
【００２９】
（実施の形態の効果）
以上のように、本実施の形態の顔画像表情変化処理装置によれば、顔を含む静止画像を３Ｄ空間上平面ポリゴンにマッピングさせ、顔領域検出手段１０４より得られた顔における目及び口の中心座標となる点を通るおよそ平行なポリゴン分割線分に沿って平面ポリゴンを折り曲げた上で、ポリゴンを上下に２分する直線を軸に平面ポリゴンを傾けることにより、その角度によって顔画像が笑ったり、怒ったりする表情に見せるので、静止画像データ上の顔の各部位それぞれを移動、変形および補間することが不要となり、より少ないＣＰＵにおける計算量で、人間の目の錯覚効果を利用した、静止画像における顔の表情を変化させた画像を得ることが可能となる。
【００３０】
さらに、得られる表情変化後の顔画像は不自然な印象を与え、スライドショーなどに利用することによって、強い印象を与える画像エフェクト効果を与える。と言う効果が得られる。
【産業上の利用可能性】
【００３１】
本発明にかかる顔画像表情変化処理装置は少ない処理量で顔の表情を変化させた画像を得ることができるので、モバイル機器等における静止画像のビューワ（スライドショー）機能等に有用である。
【図面の簡単な説明】
【００３２】
【図１】実施の形態における顔画像表情変化処理装置の構成図
【図２】フローチャート
【図３】顔領域検出手段１０４により検出された顔領域データを示す図
【図４】ポリゴンの分割線分図（頂点データの垂直移動）
【図５】ポリゴンの回転図（鈍角）
【図６】ポリゴンの回転図（鋭角）
【符号の説明】
【００３３】
１００    顔画像表情変化処理装置
１０１    ３Ｄグラフィック演算処理手段
１０２    静止画像データ記憶手段
１０３    表情変化テンプレートデータ記憶手段
１０４    顔領域検出手段
１０５    ポリゴンデータ生成手段
１０６    ポリゴンデータ対応付け手段
１０７    ポリゴン頂点垂直移動手段
１０８    画像データ生成手段
１０９    表示手段
【図１】
2005346604.tif 000003
【図２】
2005346604.tif 000004
【図３】
2005346604.tif 000005
【図４】
2005346604.tif 000006
【図５】
2005346604.tif 000007
【図６】
2005346604.tif 000008