(57)【要約】【課題】微細な表情の変動または個体差を適用した変動成分を高精度にかつ簡単に生成できるようにする。【解決手段】イベント検出部１２０は、入力された動画像からイベントの時刻を検出し、イベント解析部１４０は、時系列的な特徴量を用いてイベント周辺の軌跡を取得する。フレーム区間抽出部１３０は、キーフレーム領域を抽出し、さらに、イベント有区間とイベント無区間とを抽出する。そして、基底分解部１５０は、これらの区間においてＩＣＡを適用して複数の基底成分に分解し、イベント関連基底成分抽出部１６０は、イベント有区間に存在してイベント無区間に存在しない基底成分を抽出し、変形ベクトル生成部１７０により変形ベクトルを算出する。【選択図】図１
2015133065.tif 000002
【特許請求の範囲】
【請求項１】
被写体の時系列情報を入力する入力手段と、
前記入力手段によって入力された時系列情報からイベントに関する変化点を検出するとともに、前記変化点の周囲の時系列情報からイベント情報を検出する検出手段と、
前記検出手段によって検出されたイベント情報に基づいて、前記イベントに関連する１つまたは複数のフレームの区間を前記時系列情報から取得するとともに、前記取得したフレームの区間に係る特徴量を取得する取得手段と、
前記取得手段によって取得された特徴量を１つまたは複数の基底成分に分解する分解手段と、
前記変化点の周囲における基底成分の変化に基づいて、前記分解手段によって分解された基底成分から前記イベントに関連する基底成分を抽出する抽出手段と、
前記抽出手段によって抽出された基底成分から仮想モデルの変動成分を生成する生成手段と、
を備えることを特徴とする画像認識装置。
【請求項２】
前記検出手段は、前記イベント情報として、前記イベントに関する変化点の周囲のフレームの区間における時系列な変動の情報を取得し、
前記抽出手段は、前記検出手段によって検出された時系列な変動の情報に基づいて前記イベントに関連する基底成分を抽出することを特徴とする請求項１に記載の画像認識装置。
【請求項３】
前記取得手段は、イベント有区間とイベント無区間とに係る特徴量を取得し、前記分解手段は、それぞれの特徴量を基底成分に分解し、前記抽出手段は、それぞれの基底成分に基づいて前記イベントに関連する基底成分を抽出することを特徴とする請求項２に記載の画像認識装置。
【請求項４】
前記取得手段は、イベント有区間に係る特徴量を取得し、前記分解手段は、基底成分の重み付き線形和に分解し、前記抽出手段は、前記イベント有区間における当該重みの変化に基づいて前記イベントに関連する基底成分を抽出することを特徴とする請求項２に記載の画像認識装置。
【請求項５】
前記検出手段は、前記イベント情報として、前記イベントが発生する位置に関する局所情報を検出し、
前記抽出手段は、前記検出手段によって検出された局所情報に基づいて前記イベントに関連する基底成分を抽出することを特徴とする請求項１又は２に記載の画像認識装置。
【請求項６】
前記被写体は顔であることを特徴とする請求項１〜５の何れか１項に記載の画像認識装置。
【請求項７】
前記被写体の時系列情報が動画像であることを特徴とする請求項１〜６の何れか１項に記載の画像認識装置。
【請求項８】
被写体の時系列情報を入力する入力工程と、
前記入力工程において入力された時系列情報からイベントに関する変化点を検出するとともに、前記変化点の周囲の時系列情報からイベント情報を検出する検出工程と、
前記検出工程において検出されたイベント情報に基づいて、前記イベントに関連する１つまたは複数のフレームの区間を前記時系列情報から取得するとともに、前記取得したフレームの区間に係る特徴量を取得する取得工程と、
前記取得工程において取得された特徴量を１つまたは複数の基底成分に分解する分解工程と、
前記変化点の周囲における基底成分の変化に基づいて、前記分解工程において分解された基底成分から前記イベントに関連する基底成分を抽出する抽出工程と、
前記抽出工程において抽出された基底成分から仮想モデルの変動成分を生成する生成工程と、
を備えることを特徴とする画像認識方法。
【請求項９】
被写体の時系列情報を入力する入力工程と、
前記入力工程において入力された時系列情報からイベントに関する変化点を検出するとともに、前記変化点の周囲の時系列情報からイベント情報を検出する検出工程と、
前記検出工程において検出されたイベント情報に基づいて、前記イベントに関連する１つまたは複数のフレームの区間を前記時系列情報から取得するとともに、前記取得したフレームの区間に係る特徴量を取得する取得工程と、
前記取得工程において取得された特徴量を１つまたは複数の基底成分に分解する分解工程と、
前記変化点の周囲における基底成分の変化に基づいて、前記分解工程において分解された基底成分から前記イベントに関連する基底成分を抽出する抽出工程と、
前記抽出工程において抽出された基底成分から仮想モデルの変動成分を生成する生成工程と、
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に微細な表情変化や個体差を反映したＣＧ画像を生成するために用いて好適な画像認識装置、画像認識方法およびプログラムに関する。
【背景技術】
【０００２】
従来、例えば特許文献１に記載の技術のように、ＣＧによる顔の表情を生成する技術について、これまで多くの研究がなされている。特に非特許文献１に記載のBlend Shape法は、MAYAや3D Studio Maxなど多くの市販のＣＧモデリングソフトウェアにおいても重要な表情生成手段として使用されている。この方法は、無表情の標準基底表情に、あらかじめ設定した基底表情（喜び、怒り、悲しみなど）の重み付き線形和として記述することにより、生成したい表情を適用する方法である。
【０００３】
しかしながらこのBlend Shape法は、すべての表情空間を表現できているわけではなく、あらかじめ設定された基底表情の重み付き線形和では表現できない表情が存在する。特に微細な表情変化や個体差による影響については、Blend Shape法で表現することは難しい。
【０００４】
そこで、表現したい微細な表情の違いとしてMicro Expressionという概念を提唱する方法や、疎な表情変形と微細な顔形状とを分けて法線マップで表現する手法が提案されている。このように微細表情やリアルな表情再現についての要求は高まっている。また、例えば非特許文献２には、上述するような仮想モデルを用いて生成された画像を、データベースを用いて学習を施す画像認識技術も提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−１８８２８号公報
【特許文献２】特開２００９−７５８８０号公報
【非特許文献】
【０００６】
【非特許文献１】V. Blanz and T. Vetter, "A Morphable Model for the Synthesis of 3D Faces",  Computer Graphics Proc. SIGGRAPH '99, pp. 187-194, 1999.
【非特許文献２】P. Paysan, R. Knothe, B. Amberg, S. Romdhani, T. Vetter, "A 3D Face Model for Pose and Illumination Invariant Face Recognition". AVSS 2009
【非特許文献３】D. G. Lowe, "Distinctive image features from scaleinvariant keypoints", International Journal of Computer Vision, 60(2), pp. 91-110, 2004.
【非特許文献４】J. Shi and C. Tomasi, "Good features to track", In Proc. IEEE Conf. on Computer Vision and Pattern Recognition (CVPR94), Seattle, June 1994.
【非特許文献５】Iain Matthews, Simon Baker, "Active Appearance Models Revisited", International Journal of Computer Vision, Vol. 60, No. 2, November, 2004, pp. 135 - 164.
【非特許文献６】J. Ahlberg, CANDIDE-3 -- an updated parameterized face, Report No. LiTH-ISY-R-2326, Dept. of Electrical Engineering, Linkoping University, Sweden, 2001.
【非特許文献７】片野坂 匡裕，田中一史，本井美甫，坂本麻似子，山崎敏正，牧秀之，高柳浩，山ノ井高洋，上条憲一，"Single-trial EEGsを利用したBCIの開発−ICA結果の再現性について−"，電子情報通信学会技術研究報告. MBE, MEとバイオサイバネティックス 108(405), 83-86, 2009-01-16
【非特許文献８】T. Beeler, F. Hahn, D. Bradley, B. Bickel, P. Beardsley, C. Gotsman, R. Sumner, M. Gross, "High-Quality Passive Facial Performance Capture using Anchor Frames", ACM Transactions on Graphics (Proc. SIGGRAPH 2011), vol. 30, no. 3, August 2011
【非特許文献９】D. D. Lee and H. S. Seung, "Learning the parts of objects with nonnegative matrix factorization," Nature, vol. 401, pp. 788-791, 1999.
【非特許文献１０】Lane Daughtry, 小田島 義行, 城間 英樹, 畑中 敏宏, "目指せゲームクリエータ  Maya Games", pp. 115-172, 2002
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述したBlend shape法に関係する多くの手法では、多数の特徴点の位置と動きとから変動ベクトルを再現する場合に、特に微細表情と呼ばれる微妙な変動成分パラメータを最終的に作業者が手作業によって調整する必要がある。映画などのオフライン作業であればこのような手法もあり得るが、特に微細な顔の表情に関するデータベースの作成を目的とした場合には、以下のような課題がある。
【０００８】
まず、日常生活のログ画像を撮りためておき、その中から微細な表情変化を手作業により抽出することは困難である。これは、微細表情がいつどのような状況で発生するか不明なため、長時間監視するログ画面の中から所望の微細表情を抽出することは労力を必要とし、さらには効率が悪いからである。したがって、同じ感情に由来する表情成分を大量に集めることが非常に困難である。
【０００９】
また、画像認識を目的としたデータベースの場合、大量のタグ付き画像が必要となるが、手作業によりタグ付けを行うことが困難なため、学習に使用できない。さらには、微細な表情を仮想モデルに反映したい場合に、複数の要因が関係するため、どのような変動成分を適用したらよいかが不明である。
【００１０】
本発明は前述の問題点に鑑み、微細な表情の変動または個体差を適用した変動成分を高精度にかつ簡単に生成できるようにすることを目的としている。
【課題を解決するための手段】
【００１１】
本発明に係る画像認識装置は、被写体の時系列情報を入力する入力手段と、前記入力手段によって入力された時系列情報からイベントに関する変化点を検出するとともに、前記変化点の周囲の時系列情報からイベント情報を検出する検出手段と、前記検出手段によって検出されたイベント情報に基づいて、前記イベントに関連する１つまたは複数のフレームの区間を前記時系列情報から取得するとともに、前記取得したフレームの区間に係る特徴量を取得する取得手段と、前記取得手段によって取得された特徴量を１つまたは複数の基底成分に分解する分解手段と、前記変化点の周囲における基底成分の変化に基づいて、前記分解手段によって分解された基底成分から前記イベントに関連する基底成分を抽出する抽出手段と、前記抽出手段によって抽出された基底成分から仮想モデルの変動成分を生成する生成手段と、を備えることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、微細な表情の変動または個体差を適用した変動成分を高精度にかつ簡単に生成できる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施形態に係る画仮想モデル生成装置の機能構成例を示すブロック図である。
【図２】本発明の第１の実施形態におけるイベント検出に関連する時系列軌跡データの一例を示す模式図である。
【図３】本発明の第２の実施形態に係る画仮想モデル生成装置の機能構成例を示すブロック図である。
【図４】本発明の第２の実施形態におけるイベント検出に関連する時系列軌跡データの一例を示す模式図である。
【図５】本発明の第３の実施形態に係る画仮想モデル生成装置の機能構成例を示すブロック図である。
【図６】本発明の第３の実施形態におけるイベント検出に関連する時系列軌跡データの一例を示す模式図である。
【図７】本発明の第４の実施形態に係る変動テクスチャ生成装置の機能構成例を示すブロック図である。
【発明を実施するための形態】
【００１４】
（第１の実施形態）
以下、本実施形態では、被写体として対象人物の顔を常時撮影し、その顔画像の中から微細な表情変化を抽出して仮想モデルに反映させる方法について説明する。
図１は、本実施形態に係る画像認識装置として仮想モデル生成装置１００の機能構成例を示すブロック図である。
図１において仮想モデル生成装置１００は、入力部１１０、イベント検出部１２０、イベント解析部１４０、フレーム区間抽出部１３０、基底分解部１５０、イベント関連基底成分抽出部１６０、変形ベクトル生成部１７０、及びＣＧ変形部１８０を備えている。
【００１５】
イベント検出部１２０は、入力部１１０より入力された動画像から時系列的な変化点を検出する。変化点を検出する際には、例えば、非特許文献３に記載されているSIFT特徴や非特許文献４に記載されているKLT trackerなどの特徴点の追跡手法を利用する。そして、これらの方法によって取得した時系列的な軌跡情報から変化点を求める。また、他の方法として、ある特定の軌跡パターンとのパターンマッチングによって特定のパターンを検出して変化点を求めるようにしてもよい。また、フレーム間差分法により抽出した差分成分がある程度以上の面積を有する場合をイベントとして検出するなどの単純な方法であってもよい。本実施形態では、検出する変化点の詳細な意味を把握する必要はなく、時系列上でイベントとして検出された時刻を抽出する。
【００１６】
図２は、イベント検出に関連する時系列軌跡データの一例を示す模式図であり、図２において、横軸は動画像の時間（フレーム番号）を示し、縦軸は標準時からの変動分を示す。また、図２に示す軌跡は顔画像中の特徴量（例えばKLT tracker）の軌跡を表し、その軌跡の波形を評価することによりイベントの時刻を検出する。図２に示す例では、時刻２００にイベントが検出されたものとしている。
【００１７】
本実施形態では、入力部１１０として、動画像を生成するビデオカメラを想定した例について説明するが、これに限定するものではない。例えば、イベントの時刻を検出するために必要であれば、音声を入力するマイクや、kinectに代表されるような奥行きを測定できる装置を併せて適用することができる。
【００１８】
また、入力部１１０に入力された情報から、そのままイベント検出部１２０にてイベントの時刻を直接検出してもよいいが、それ以外の方法によりイベントの時刻を検出してもよい。例えば、微細な表情変化を取得するために、非特許文献１に記載されているBlend Shape法によって大まかな表情を取得してその結果をもとに微細表情を含んだデータとの差分を取得する。イベント検出部１２０は、その差分情報を入力する。
【００１９】
イベント解析部１４０は、イベント検出部１２０で検出されたイベントの時刻を周辺の時系列情報から解析する。本実施形態では、イベントを解析するために時系列的な特徴量を用い、イベント情報としてイベント周辺の軌跡を取得する。詳細は後述するが、フレーム区間抽出部１３０は、このイベント周辺の軌跡から、図２に示すようなイベントに関連するイベント有区間２１０と、関連しないイベント無区間２２０とを抽出することとなる。
【００２０】
フレーム区間抽出部１３０は、キーフレーム領域抽出処理１３１において、イベント解析部１４０によって解析された情報を用いてキーフレーム領域を抽出する。また、フレーム区間抽出部１３０は、イベント有区間抽出処理１３２において、以下のようにしてイベントの時刻２００に関連するイベント有区間２１０を求める。例えば、波形の平均値からピークに向かって離れる位置、及びピークに達した部分の時刻２００の後で平均値に再び戻る位置をその境界としてイベント有区間２１０を設定する。また、フレーム間の相関を取り、イベントの時刻２００と相関の高い領域をイベント有区間２１０とするなど、検出したイベントに関連する領域を抽出できる方法であればどのような方法を用いてもよい。
【００２１】
一方、イベント無区間抽出処理１３３では、イベント無区間２２０は、イベント周囲の画像列からイベント有区間２１０との差分を取った領域とする。本実施形態においては、イベント無区間２２０にイベント有区間２１０の前区間２２１と後区間２２２との両方を合わせてイベント無区間２２０としている。ところが、これに限定するものではなく、ユースケースに応じて前区間２２１のみ、もしくは後区間２２２のみをイベント無区間２２０としてもよい。
【００２２】
さらにフレーム区間抽出部１３０は、イベント有区間２１０およびイベント無区間２２０に対し、顔画像処理を行う。本実施形態では、顔画像処理として非特許文献５に記載されているＡＡＭ（Active Appearance Model）および非特許文献６に記載されているCANDIDEを用いて顔形状の記述を行う。また、本実施形態では上記ＡＡＭを用いるがこれに限定するものではなく、前記KLT trackerの情報も用いるなど他の情報を組み合わせて使用してもよい。ＡＡＭなどコーナー点や特徴点を用いたマーカーレスの方法だけでなく、マーカーを顔上に設置してマーカー点を追跡する方法なども適用することができる。本実施形態では、後述する基底分解を行う前の段階で、フレーム区間抽出部１３０により、イベント有区間２１０およびイベント無区間２２０の複数のフレームに関して、それぞれ特徴量として特徴ベクトルＦe、Ｆnが得られるものとする。
【００２３】
基底分解部１５０は、イベント有区間２１０（Ｆe）およびイベント無区間２２０（Ｆn）においてそれぞれを基底分解する。基底分解の方法にはＰＣＡ（Principal Component Analysis）や、ＩＣＡ（Independent Component Analysis）を適用できる。さらにＮＭＦ（Non-Negative Matrix Factorization）などを適用することも可能である。本実施形態では、ＰＣＡではデータの欠損などによって固有値ベクトルが変化してしまうのに対して、非特許文献７に記載の統計的な独立性を扱うことができるＩＣＡを例に説明する。
【００２４】
まず、分解処理１５２では、フレーム区間抽出部１３０より出力されたイベント有区間２１０のフレームに対してＩＣＡを適用し、以下の式（１）に示すようなｎ個の基底信号Ｆkの重みｗkによる重み付き線形和に分解する。
【００２５】
【数１】
2015133065.tif 000003
【００２６】
同様に、分解処理１５３では、イベント無区間２２０のフレームに対して、以下の式（２）に示すｍ個の基底信号Ｆlの重みｗlによる重み付き線形和に分解する。
【００２７】
【数２】
2015133065.tif 000004
【００２８】
イベント有区間２１０およびイベント無区間２２０は、連続した時系列のデータであるため、多くの基底は共通していることが予想される。しかし、イベント有区間２１０にはイベントに由来する信号成分があるため、イベント無区間２２０には含まれない基底成分があると仮定できる。
【００２９】
イベント関連基底成分抽出部１６０は、領域間基底比較処理１６１によりイベント有区間２１０の基底信号Ｆkのセットとイベント無区間２２０の基底信号Ｆlのセットとを比較する。そして、集合｛Ｆk｝に存在して集合｛Ｆl｝に存在しない基底成分を抽出する。具体的には例えば、すべての基底信号ＦkおよびＦlの基底成分間で相互相関を取り、相関値が閾値を超えるものを両方の領域に存在する基底成分として除去する。残った基底成分のうち、集合｛Ｆk｝にのみ存在し、重みｗkの値が大きいものをイベント関連基底成分として抽出する。なお、重みｗkの閾値は、あらかじめ決められたものでもよいし、事前の学習などによって求められる値を適用してもよい。
【００３０】
このように抽出されるイベント関連基底成分は、ＡＡＭのようなランドマーク点の変形後の構造として表されているので、変形ベクトル生成部１７０は、このランドマーク点のフレーム間変形ベクトルから、変動成分であるＣＧの変形ベクトルに適用する。具体的には、例えば非特許文献８に記載されているような方法でランドマーク点の変形ベクトルからＣＧの変形ベクトルを算出することが可能である。
【００３１】
上記のような実施形態によって、イベント検出では検出可能だがBlend Shape法では表現しきれない微細な表情の変化の変形ベクトルを算出することが可能となる。ＣＧ変形部１８０は、このＣＧの変形ベクトルを適用することにより微細な表情のＣＧ画像を生成することが可能となる。
【００３２】
なお、上述した実施形態は顔のＣＧ画像について述べたが、これに限定されず、他のＣＧ物体の変形に対しても適用可能である。また、あらかじめBlend Shape法を適用して入力映像との差分を入力情報としたが、本実施形態はこれに限定するものではなく、直接入力映像を入力情報とすることも可能である。
【００３３】
（第２の実施形態）
第１の実施形態では、イベントの時系列的な特徴を用いてイベントに関連する基底成分を求める方法としてイベント有区間とイベント無区間とを設定し、それぞれの基底成分の論理演算からイベントに含まれるイベント関連基底成分を抽出した。これに対して本実施形態では、異なる時系列特徴を用いてイベント関連基底成分を抽出する方法について詳述する。
【００３４】
図３は、本実施形態における仮想モデル生成装置３００の機能構成例を示すブロック図である。また、図４は、本実施形態におけるイベントの検出に関連する時系列軌跡データの一例を示す模式図である。なお、基本的な構成は第１の実施形態と同様であるため、差異のある部分のみを詳述する。
【００３５】
イベント解析部３４０は、イベント検出部１２０にて検出されたイベントの時刻４００から、イベント有区間となるフレームの範囲である区間情報３４１と、そのイベント領域内の軌跡の変極点やゼロクロス点、カーブ曲率などの波形情報３４２とを取得する。フレーム区間抽出部３３０では、イベント有区間抽出処理１３２により区間情報３４１を用いて図４に示すようなイベント有区間４１０を抽出する。なお、本実施形態では、イベント無区間の抽出を不要としている。
【００３６】
基底分解部３５０は、イベント有区間（Ｆe）に対してＩＣＡを適用し、式（１）に示したような基底信号Ｆkの重み付き線形和に分解する。さらにフレーム有区間内における重みｗkの変化軌跡を求める。この手順は第１の実施形態の分解処理１５２と同様である。イベント関連基底成分抽出部３６０は、フレーム有区間内の重みｗkの変化軌跡と、イベント解析部３４０で取得した波形情報３４２とを取得する。そして、比較処理３６１において、これらの変化軌跡と波形情報３４２との相互相関を取り、波形の類似性を比較する。
【００３７】
比較方法としては、イベント有区間内の波形のピーク位置と、波形情報３４２のピーク位置やゼロクロス点とを比較する。さらに、互いの波形をピーク時間で正規化して波形間の相互相関を求めることにより、イベント有区間の波形情報３４２の信号と類似したｗkのプロファイルをもつ基底成分Ｆkをイベント関連基底成分とする方法を採用してもよい。
【００３８】
以上のように本実施形態によれば、微細な表情を適用した変形ベクトルを高精度にかつ簡単に生成することができる。
【００３９】
（第３の実施形態）
第１および第２の実施形態では、イベントの時系列的な特徴を用いてイベント関連基底成分を抽出した。これに対して本実施形態では、イベントが顔のどのあたりで発生しているかを示す空間局在性を用いてイベント関連基底成分を抽出する方法について詳述する。
【００４０】
図５は、本実施形態における仮想モデル生成装置５００の機能構成例を示すブロック図である。また、図６は、本実施形態におけるイベント検出に関連する時系列軌跡データの一例を示す模式図である。なお、基本的な構成は第１又は第２の実施形態と同様であるため、差異のある部分のみを詳述する。
【００４１】
イベント解析部５４０は、イベント検出部１２０にて検出されたイベントの時刻６００から、イベント有区間となる領域情報５４１と、そのイベントが顔のどの付近で起きたものかを表す局所情報５４２とを取得する。本実施形態では、顔の中で最も変化しやすい口および眼に着目して説明する。図６に示す例では、イベント有区間６１０においては、眼領域軌跡６２０では変動が少なく、口領域軌跡６３０にて変化が起きていることを表している。
【００４２】
基底分解部５５０は、分解処理５５２において、式（１）に従ってイベント有区間６１０の基底分解を行う。ただし本実施形態においては、空間局在性を評価するために、非特許文献９に記載されているＮＭＦ（Non-Negative Matrix Factorization）を使用する。このようにＮＭＦを用いることにより、基底成分を局所的な成分に分解することが可能となる。なお、本実施形態では、空間局在を示す基底分解法としてＮＭＦを用いたが、これに限定するものではなく、ＩＣＡなど他の局所性を特徴とする手法であれば適用可能である。
【００４３】
イベント関連基底成分抽出部５６０は、局所性評価処理５６１において、基底分解部５５０で抽出された基底成分の局所的な分布と、イベント解析部５４０により得られた局所情報５４２とを比較する。そして、局所情報５４２と同一の領域にある基底成分Ｆkをイベント関連基底成分として抽出する。こうすることにより、イベントが発生している局所領域に関連性の深い基底成分を抽出することが可能となる。本実施形態では、空間的局在性のみを用いてイベント関連基底成分を抽出したが、これに限定するものではなく、第１又は第２の実施形態で説明した時系列情報を用いたイベント関連基底成分の抽出方法を併用してもよい。
【００４４】
以上のように本実施形態によれば、微細な表情を適用した変形ベクトルを高精度にかつ簡単に生成することができる。
【００４５】
（第４の実施形態）
第１〜第３の実施形態では、イベントの特徴を用いてイベント関連基底成分を抽出し、ＣＧの形状が変形した場合について説明した。これに対して本実施形態では、イベントに応じてＣＧの色（テクスチャ）が変動する場合について説明する。
【００４６】
図７は、本実施形態における変動テクスチャ生成装置７００の機能構成例を示すブロック図である。なお、基本的な構成は第３の実施形態で説明した図５の仮想モデル生成装置５００と類似しているため、差異のある部分のみを詳述する。
【００４７】
フレーム区間抽出部７３０は、イベント有区間抽出処理７３２において、イベント有区間を抽出する。このとき、第１〜第３の実施形態では、ＡＡＭなど形状のランドマークをベースにした特徴量を用いたのに対し、本実施形態では非特許文献１０に記載された方法によりＣＧ画像からＵＶ展開したイベント有区間でのテクスチャマップを抽出する。同様に、イベント無区間抽出処理７３３において、ＣＧ画像からＵＶ展開したイベント無区間でのテクスチャマップを抽出する。
【００４８】
基底分解部７５０は、分解処理７５２において、イベント無区間でのテクスチャマップと、イベント有区間でのテクスチャマップの差分とを用いて、式（１）に従ってＮＭＦによる基底分解を行う。イベント関連基底成分抽出部７６０は、ＮＭＦの空間局在領域と、局所情報５４２とを比較して、イベント有区間で変化している情報を抽出することによって変動テクスチャマップを生成する。テクスチャマップ合成部７７０では、生成した変動テクスチャマップを元のテクスチャマップと合成し、イベントに応じて発生した変動を適用したテクスチャマップを生成する。ＣＧ生成部７８０はＣＧを合成して出力する。
【００４９】
以上のように本実施形態によれば、微細な変動を適用したテクスチャマップを高精度にかつ簡単に生成することができる。
【００５０】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００５１】
１１０  入力部
１２０  イベント検出部
１３０  フレーム区間抽出部
１４０  イベント解析部
１５０  基底分解部
１６０  イベント関連基底成分抽出部
１７０  変形ベクトル生成部
１８０  ＣＧ変形部
【図１】
2015133065.tif 000005
【図２】
2015133065.tif 000006
【図３】
2015133065.tif 000007
【図４】
2015133065.tif 000008
【図５】
2015133065.tif 000009
【図６】
2015133065.tif 000010
【図７】
2015133065.tif 000011