(57)【要約】      （修正有）【課題】画像合成演算の回数を大幅に削減することができるデータモーフィング方法を提供する。【解決手段】Ｍ次元（２≦Ｍ）のモデルデータ配置空間ＭＳＰ上に少なくとも４個のモーフィング元座標点を定義し、各モーフィング元座標点に対応付けた形でモデルデータ列ＩＭ１〜ＩＭ４を用意する。モデルデータ配置空間ＭＳＰは、モーフィング元座標点を頂点とする超直方体からなる単位セルＨＣＢに区画される。モデルデータ配置空間ＭＳＰにおいて単位セルＨＣＢの各頂点をモーフィング元座標点として特定するとともに、単位セルＨＣＢ内の任意の座標点をモーフィング先座標点ｐｘとして選定する。そして、モーフィング元座標点に対応する４組のモデルデータ列を、各モーフィング元座標点のモーフィング先座標点ｐｘまでの距離に応じた重みにてポリモーフィングする。【選択図】図７
2009237747.tif 000002
【特許請求の範囲】
【請求項１】
Ｍ次元（２≦Ｍ）のモデルデータ配置空間上に少なくとも２Ｍ個のモーフィング元座標点を定義し、各モーフィング元座標点に対応付けた形でモーフィング処理対象となるモデルデータ列を用意するとともに、
前記モデルデータ配置空間を、前記モーフィング元座標点を頂点とする頂点数２Ｍ個の超直方体からなる単位セルに区画し、前記モデルデータ配置空間において前記単位セルの各頂点をモーフィング元座標点として特定するとともに、前記単位セル内の任意の座標点をモーフィング先座標点として選定し、
各前記モーフィング元座標点に対応する２Ｍ組の前記モデルデータ列を、前記モデルデータ配置空間における各前記モーフィング元座標点の前記モーフィング先座標点までの距離に応じた重みにてポリモーフィングすることにより、前記モーフィング先座標点に対応する合成データ列を作成し、出力することを特徴とするデータポリモーフィング方法。
【請求項２】
前記超直方体を、前記モーフィング先座標点を通って各面と平行なＭ個の平面で切断することにより、それぞれ前記モーフィング先座標点を共有し、かつ前記超直方体の頂点をなす前記モーフィング元座標点を排他的に１個ずつ取り合う２Ｍ個の部分直方体に区切り、各部分直方体の前記超直方体に対する相対体積を、当該部分直方体に含まれるモーフィング元座標点の前記超直方体の対角線方向反対側に位置するモーフィング元座標点への重みとする形でポリモーフィングを行なう請求項１記載のデータポリモーフィング方法。
【請求項３】
前記モデルデータ配置空間が２次元であり、前記単位セルが長方形である請求項１又は請求項２に記載のデータポリモーフィング方法。
【請求項４】
前記モデルデータ配置空間が二次元であり、長方形をなす前記単位セルの互いに平行対向する１対の各辺への前記モーフィング先座標点の正射影点を分点とする形で、各辺の両端の前記モーフィング元座標点に対応する前記モデルデータ列同士を梃子の関係に従う重みにて一次モーフィングすることにより１対の中間データ列を得、各前記正射影点が張る線分上の前記モーフィング先座標点を新たな分点とみなし、その分点に関して前記１対の中間データ列同士を梃子の関係に従う重みにて二次モーフィングすることにより前記合成データ列を得る請求項３記載のデータポリモーフィング方法。
【請求項５】
前記モデルデータ列が画像データを構成するものである請求項１ないし請求項４のいずれか１項に記載のデータポリモーフィング方法。
【請求項６】
前記モデルデータ列が音声波形データを構成するものである請求項１ないし請求項５のいずれか１項に記載のデータポリモーフィング方法。
【請求項７】
Ｍ次元（２≦Ｍ）のモデルデータ配置空間上に定義された少なくとも２Ｍ個のモーフィング元座標点に個別に対応付けられた、モーフィング処理対象となるモデルデータ列を取得するモデルデータ列取得手段と、
前記モデルデータ配置空間を、前記モーフィング元座標点を頂点とする頂点数２Ｍ個の超直方体からなる単位セルに区画し、前記モデルデータ配置空間において前記単位セルの各頂点をモーフィング元座標点として特定するとともに、前記単位セル内の任意の座標点をモーフィング先座標点として選定するモーフィング先座標点選定手段と、
各前記モーフィング元座標点に対応する２Ｍ組の前記モデルデータ列を、前記モデルデータ配置空間における各前記モーフィング元座標点の前記モーフィング先座標点までの距離に応じた重みにてポリモーフィング処理することにより、前記モーフィング先座標点に対応する合成データ列を作成するポリモーフィング処理手段と、
前記ポリモーフィング処理により得られた合成データ列を出力する合成データ列出力手段と、
を備えたことを特徴とするデータポリモーフィング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データポリモーフィング方法及びデータポリモーフィング装置に関する。
【背景技術】
【０００２】
【特許文献１】特開２０００−３５４５１７号公報
【特許文献２】特開２００２−２２９５７９号公報
【特許文献３】特開２００２−２２９５７９号公報
【非特許文献１】IEEE Computer Graphics andApplications, January/February 1998, 60-73
【非特許文献２】Kawahara, H., Katayose, H.,Cheveign´e, de A.,and Patterson, R. D.: Fixed PointAnalysis of Frequency to Instantaneous Frequency Mapping for AccurateEstimation of F0 and Periodicity, Eurospeech’99, Vol. 6, pp.2781-2784
【非特許文献３】「STRAIGHTを用いた音声モーフィングの事例に基づくデザイン支援への応用」The 20th Annual Conference of the Japanese Society for Artificial Intelligence, 2006, 1D1-5
【非特許文献４】http://www.wakayama-u.ac.jp/~kawahara/Miraikandemo/straightMorph.swf
【０００３】
画像加工技術の一つにモーフィングが知られている（例えば、特許文献１）。具体的にはモーフィング元となる２画像間で複数個の対応点（基準点）を指定し、モーフィング元画像の各対応点を合成比の上下限値に対応させる。そして、任意の中間の合成比を指定し、モーフィング元画像の対応点を上記合成比に応じた重みにて補間することにより合成後対応点を求め、対応点近傍の各ピクセル濃度を同様の補間演算によりブレンドすることにより合成画像（以下、「モーフィング先画像」ともいう）が得られる。図６は、人物の顔画像を第一モーフィング元画像とし、犬の顔画像を第二モーフィング元画像として、上記モーフィングの原理に従い画像合成した実例を示すものである。また、第一モーフィング元画像から第二モーフィング元画像に向けて、合成比を段階的に変化させ、補間の重み付けが異なる複数のモーフィング先画像を作成し、これをコマとして動画再生すれば、第一モーフィング元画像（人物）が徐々に変形して第二モーフィング元画像（犬）へ移り変わってゆく独特の遷移アニメーションが得られる。この遷移アニメーションを作成する技術を狭義に「モーフィング」と呼ぶこともある。
【０００４】
そして、近年、２つのモーフィング元画像の合成処理を対象とする従来のモーフィングに加え、３枚以上の複数のモーフィング元画像を合成するポリモーフィング技術に関しても研究が進められている（非特許文献１）。
【０００５】
一方、モーフィング技術は音声合成にも応用されている（例えば、特許文献２、非特許文献２，３）。すなわち、音声入力波形はフーリエ変換処理によりパワースペクトラムの形で二次元マッピングでき、画像の場合と同様にモーフィングによる合成処理が可能となるのである。例えば、同一人物が「あいしてる」と発音する場合でも、当該の人物の感情により異なる波形が得られる。そこで、「喜び」「怒り」「悲しみ」といった各感情を典型的に反映した音声波形のパワースペクトラムをモーフィング元データとして用意し、画像の場合の対応点に相当する特徴点をスペクトル上に定め、その特徴点を用いて同様の補間処理を行なうことにより合成パワースペクトラムを得ることができる。これを音声波形に逆変換すれば中間の感情状態を示す音声波形を合成出力できる（非特許文献４）。非特許文献４の音声モーフィングでは、３つの音声波形によるポリモーフィング技術が採用されている。
【０００６】
ところで、非特許文献１に開示されている画像のポリモーフィングは、２個の画像に適用される通常のモーフィングのパラダイムを、任意数（Ｍ）個の画像のモーフィングに拡張したものである。Ｍ個の画像をモーフィングする場合、各画像の規格化された合成比率は加算すれば１になる制約があるので、独立変数はＭ−１個であり、Ｍ−１次元空間上の座標により表現することができる。非特許文献１では、各画像を１個の（Ｍ−１）次元シンプレックスの１個の頂点で定式化するとともに、ポリモーフィングの各画像の合成比を、そのシンプレックス内の１点により表現している。例えば、モーフィング元画像が３個であれば合成比率は２次元座標点として表現可能であり、この場合のシンプレックスは三角形である（参考のために付言すれば、これと類似のシンプレックスの概念が、多成分系の状態図（相図）における組成表現にも採用されており、例えば３成分系状態図において個々の組成比は、組成三角形と称されるシンプレックス内の１点により表わすことができる）。
【０００７】
そして、非特許文献１に開示されているポリモーフィングの概念では、このシンプレックスを用いた合成比表現に厳密に従いつつ、２画像の補間合成に分解した形で実施される。図１０は、三角形シンプレックスの頂点に対応する３つの画像Ｐ０，Ｐ１，Ｐ２を合成する場合を示している。ＷｉｊはＰｉからＰｊへのワープ関数で、Ｐｉ上の各点に対応するＰｊ上の点を特定する。最終的は合成画像Ｐを生成するには、まずＷｉｊをＰｊの重心座標ｇｊに適用してＰｉ毎にＷｉｊを線形内挿し、中間ワープ関数Ｗｉバーを導く。各Ｐｉは、隣接する２つのものが、Ｗｉバーによりモーフィング先座標点ｐｘの重心座標Ｇ＊に応じた重みで中間合成され、中間画像Ｐｉバーを生成する。合成画像Ｐｘは、Ｐｉバーの各点を重心座標ｇｊが示す重みにて線形結合して得られる。
【０００８】
図１１は、これをさらに具体的に展開して示すものであり、モーフィング元座標点ｐａ，ｐｂ，ｐｃをそれぞれ点Ａ，Ｂ，Ｃとし、また、モーフィング先座標点ｐｘを点Ｘとする。三角形ＡＢＣの各頂点Ａ，Ｂ，Ｃから、点Ｘを通って各辺と交差する直線を考え、各辺との交点をＤ，Ｅ，Ｆとすると、ｐｘの重心座標Ｇ＊の各成分は、図中のｇａ，ｇｂ，ｇｃとして式（１）により表わされる。図中の各点の座標値及び各線分の長さは周知の解析幾何学の手法により計算できるが、いずれも初等的であるため詳細な説明は略する。すると、３つの中間画像Ｐｉバーは、図中のＰｄ，Ｐｅ，Ｐｆとして式（２）により計算される。その結果、Ｐｘはｇａ，ｇｂ，ｇｃを重みとするＰｄ，Ｐｅ，Ｐｆの線形結合として計算される。また、非特許文献４も３つの音声波形を任意比率で合成するポリモーフィングの事例を示すものであるが、非特許文献１と同様のアルゴリズムを採用しているものと推測される。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上記従来のポリモーフィングの概念では、３画像を合成する場合は、図１０からも明らかなごとく、第一段階としてシンプレックスの辺数に対応した３回の２画像の補間合成処理を順次実行してそれぞれの中間合成画像を得、さらにそれらの中間合成画像を重心座標Ｇ＊について線形結合処理する処理（以下、重心結合処理という）が必要となり、都合４回もの画像合成処理が必要となる。また、４画像を合成する場合は、シンプレックスは三角錐（辺数６）となり、処理は一層複雑となる。この場合、各頂点からモーフィング先座標点ｐｘを通ってシンプレックスの対向面（三角形）と交わる直線を考え、各三角形にできる交点を中間合成比点とみなすことで、４枚の三角形についての上記の３画像合成処理に分割して考えることができる。そして、その４つの合成結果を上記各直線のモーフィング先座標点ｐｘによる分割比に応じて重心結合処理することにより最終的な合成画像が得られるが、６回の補間合成処理と、４＋１＝５回の重心結合処理との都合１１回の画像合成処理が必要となる。また、５画像合成では、シンプレックスは５個の三角錐に取り囲まれる辺数１０、面数５の四次元超立体となり、１０回の補間合成処理と、５＋５＋１＝１１回の重心結合処理との都合２１回の画像合成処理が必要となる。このように、画像数増加に伴い、画像合成回数ひいては演算負荷が急激に増大する欠点があることは明らかである。
【００１０】
本発明の課題は、４以上の画像データや音声データ等をモーフィングするに際しても、画像合成演算の回数を大幅に削減することができ、ひいてはその技術的な汎用性を高めることができるデータモーフィング方法及び装置を提供することにある。
【課題を解決するための手段及び発明の効果】
【００１１】
上記の課題を解決するために、本発明のデータポリモーフィング方法は、
Ｍ次元（２≦Ｍ）のモデルデータ配置空間上に少なくとも２Ｍ個のモーフィング元座標点を定義し、各モーフィング元座標点に対応付けた形でモーフィング処理対象となるモデルデータ列を用意するとともに、
モデルデータ配置空間を、モーフィング元座標点を頂点とする頂点数２Ｍ個の超直方体からなる単位セルに区画し、モデルデータ配置空間において単位セルの各頂点をモーフィング元座標点として特定するとともに、単位セル内の任意の座標点をモーフィング先座標点として選定し、
各モーフィング元座標点に対応する２Ｍ組のモデルデータ列を、モデルデータ配置空間における各モーフィング元座標点のモーフィング先座標点までの距離に応じた重みにてポリモーフィングすることにより、モーフィング先座標点に対応する合成データ列を作成し、出力することを特徴とする。
【００１２】
また、本発明のデータポリモーフィング装置は、
Ｍ次元（２≦Ｍ）のモデルデータ配置空間上に定義された少なくとも２Ｍ個のモーフィング元座標点に個別に対応付けられた、モーフィング処理対象となるモデルデータ列を取得するモデルデータ列取得手段と、
モデルデータ配置空間を、モーフィング元座標点を頂点とする頂点数２Ｍ個の超直方体からなる単位セルに区画し、
モデルデータ配置空間において単位セルの各頂点をモーフィング元座標点として特定するとともに、単位セル内の任意の座標点をモーフィング先座標点として選定するモーフィング先座標点選定手段と、
各モーフィング元座標点に対応する２Ｍ組のモデルデータ列を、モデルデータ配置空間における各モーフィング元座標点のモーフィング先座標点までの距離に応じた重みにてポリモーフィング処理することにより、モーフィング先座標点に対応する合成データ列を作成するポリモーフィング処理手段と、
ポリモーフィング処理により得られた合成データ列を出力する合成データ列出力手段と、を備えたことを特徴とする。
【００１３】
この発明では、ポリモーフィング対象となるモデルデータ列をモデルデータ配置空間上にモーフィング元座標点と対応付けてマッピングするとともに、モーフィング元座標点を配置する単位セルの頂点数は２Ｍ（Ｍ≧２）であり、従来採用していたＭ次元シンプレックス（頂点数Ｍ＋１）よりも頂点数の多い単位セルが採用されている。そして、該単位セルが、具体的には頂点数２Ｍ個の超直方体として選ばれている。ここでいう超直方体は、モデルデータ配置空間を直交座標系としたとき、次元数Ｍが３のときは直方体（立方体を概念として含む）、次元数Ｍが２のときは長方形（正方形を概念として含む）となる。
【００１４】
単位セルの頂点、すなわちモーフィング元座標点の全てをランダムに設定した場合は、モーフィング元座標点１つに付きＭ個の座標成分が存在することから、ポリモーフィング演算にはＭ×（頂点数）の座標値を独立変数として考慮しなければならない。しかし、上記のような超直方体を採用すれば、超直方体の各辺の長さ（Ｍ通り）が与えられれば、超直方体の頂点をなす１つのモーフィング元座標点の座標値から、他のモーフィング元座標点の座標値も決定される。その結果、シンプレックスを用いる場合と比較してポリモーフィング処理のための補間演算を大幅に簡略化できる。
【００１５】
上記超直方体の各頂点をなすモーフィング元座標点とモーフィング先座標点との幾何学的な関係に基づき、各モーフィング元座標点に対応するモデルデータ列を線形補間合成して合成画像を得る場合は、次の手法を採用することにより、ポリモーフィングアルゴリズムの大幅な簡略化を図ることができる。すなわち、超直方体のモーフィング先座標点を通って各面と平行なＭ個の平面で切断する。これにより、超直方体は、それぞれモーフィング先座標点を共有し、かつ超直方体の頂点をなすモーフィング元座標点を排他的に１個ずつ取り合う２Ｍ個の部分直方体に区切られる。モデルデータ配置空間を直交座標系としたとき、部分直方体は、次元数Ｍが３のときは直方体（立方体を概念として含む）であり、超直方体に対する分割数は８、次元数Ｍが２のときは長方形（正方形を概念として含む）であり、超直方体に対する分割数は４となる。Ｍ次元に一般化した場合、超直方体の部分直方体による分割数は２Ｍである。
【００１６】
そして、各部分直方体の超直方体に対する相対体積を、当該部分直方体に含まれるモーフィング元座標点の超直方体の対角線方向反対側に位置するモーフィング元座標点への重みとする形でポリモーフィングを行なう。この方法によれば、ポリモーフィングの重み演算を各部分直方体の体積演算に転換することができ、例えば２点間線形補間によるモデルデータ列合成を比較的少数回繰り返すだけで最終的な合成画像を簡単に得ることができる。
【００１７】
部分直方体の相対体積を用いた上記のポリモーフィング演算方法は、これと数学的に等価な結果が得られるアルゴリズムであれば、その演算手順は特に限定されない。例えば、２組のモデルデータ列をモーフィングする処理を、空間の次元数だけ段階的に繰り返す方式を例示できる。例えば、モデルデータ配置空間が二次元であれば、長方形をなす単位セルの互いに平行対向する１対の各辺へのモーフィング先座標点の正射影点を分点とする形で、各辺の両端のモーフィング元座標点に対応するモデルデータ列同士を梃子の関係に従う重みにて一次モーフィングすることにより１対の中間データ列を得る。そして、上記一次モーフィングで使用した各正射影点が張る線分上のモーフィング先座標点を新たな分点とみなし、その分点に関して１対の中間データ列同士を梃子の関係に従う重みにて二次モーフィングすることにより合成データ列を得る。長方形をなす単位セルの平行対辺は２組存在するが、どちらの平行対辺を採用しても、得られる結果は数学的に等価である。
【００１８】
本発明のポリモーフィング方法及び装置の適用対象は特に限定されないが、周知のモーフィング手法と同様に、画像データないし音声データをその典型的な適用対象として例示することができる。画像モーフィングの場合は、モデルデータ列は画像データを構成する。具体的には、各モーフィング元画像上に設定された、互いに一対一の対応関係を充足する対応点や、その対応点周辺のピクセルがデータ列を構成する。また、音声モーフィングの場合は、モデルデータ列が音声波形データを構成する。具体的には、各モーフィング元音声波形のパワースペクトラムから周知のケプストラム解析により分離した、スペクトラム包絡（主に声道の共振特性を反映した情報となる）とスペクトラム微細構造（主に、声帯での音源的な特徴を反映した情報となる）の各特徴が反映されるように、パワースペクトラムないしケプストラムプロファイル上に定義された対応点等がデータ列を構成する。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態を、図面を用いて説明する。
図１は、本発明のデータポリモーフィング装置の電気的構成の一例を示すブロック図である。データポリモーフィング装置１の制御主体は、ＣＰＵ５１、ＲＡＭ５２、ＲＯＭ５３及び入出力部５４をバス接続した構造の周知のマイコン５０により構成され、ＲＯＭ５３にはポリモーフィング処理の全体動作を管理するための制御ソフトウェアと、ポリモーフィング結果等を出力するための出力ソフトウェアがＲＯＭ５３内に格納さされている。ＣＰＵ５１はＲＡＭ５１をワークエリアとしてこれらソフトウェアを実行することにより、本発明の方法に従う後述のポリモーフィング処理と、ポリモーフィング結果（画像ないし音声）の出力処理を行なう。
【００２０】
入出力部５４にはマウス、キーボード、音声認識入力部等からなる入力部５７、ＣＤやＤＶＤなどの外部メディアの記録内容を読み取るメディアドライブ５８、モニタ５９、プリンタ６０、音声データに基づいて音声波形信号を合成する音声合成部６１及び音声出力のためのスピーカ６２が接続されている。
【００２１】
マイコン５０のバスにはモーフィング処理ＬＳＩ５５及びグラフィックメモリ５６が接続されている。モーフィング処理ＬＳＩ５５はＣＰＵ５１からの指示に従い、ポリモーフィング対象となるモデルデータ列（画像データないし音声データ（パワースペクトラムやケプストラムのプロファイルであってもよい））を用いたポリモーフィング演算及びデータ列合成処理を実行する。グラフィックメモリ５６内にはデータ列合成処理を行なうためのモーフィング処理エリアと、ポリモーフィング対象となるモデルデータ列の格納メモリエリアが形成されている。
【００２２】
この実施形態では、二次元のモデルデータ配置空間を採用して４つのモデルデータ列を合成する場合を例にとる。従って、モデルデータ列の数は２２＝４であり、モデルデータ列の格納メモリエリアも４つ形成されているが、モデルデータ配置空間の次元数は３ないしそれ以上の値であってもよいことはもちろんである。例えばモデルデータ配置空間が三次元の場合はモデルデータ列の数は２３＝８でであり、格納メモリエリアは８つ形成される。
【００２３】
画像モーフィングの場合、モデルデータ列は、それぞれモーフィング元となる画像データであり、この実施形態では、二次元のモデルデータ配置空間ＭＳＰ上に長方形の単位セルＨＣＢが定義され、該単位セルＨＣＢのつの頂点をモーフィング元座標として、それら各モーフィング元座標と一義的に対応付けた形で４つのモーフィング元画像データ（Ｉ（０，０）、Ｉ（１，０）、Ｉ（１，１）、Ｉ（０，１））が用意されている。これらのモーフィング元画像データは、例えば外部メディアに書き込まれた状態でメディアドライブ５８にて読み取られ、モーフィング処理ＬＳＩ５５を経由してグラフィックメモリの各格納メモリエリアに転送される。なお、これらのモーフィング元画像データは、データポリモーフィング装置１に接続された通信網を介して外部の配信元からダウンロードして取得するようにしてもよい。
【００２４】
モーフィング元画像データの内容、つまりポリモーフィングの対象とする画像の内容は特に限定されない。例えば、図６に示すように、モーフィング元画像データの１つを人物の顔画像５００Ａとし、１つを動物の顔画像５００Ｂとすれば、人物と動物が混合された架空の合成顔画像５００Ｍがポリモーフィング結果として得られ、奇抜な効果を上げることができる。
【００２５】
各モーフィング元画像データ５００Ａ，５００Ｂ上には、顔上の特徴部を表す複数個の対応点ｈｐが設定されており、モーフィング合成比率を指定することにより、両モーフィング元画像５００Ａ，５００Ｂの対応点ｈｐの座標を該合成比率により補間して、合成顔画像５００Ｍ上の対応点位置として演算する。また、各対応点ｈｐ近傍の所定位置関係をなす複数個のピクセルの出力設定値も、ポリモーフィング処理に際して上記の合成比率により補間演算され、合成顔画像５００Ｍ上の対応点近傍のピクセルが当該補間演算された出力値に設定される。対応点ｈｐの一部は、顔の輪郭や、目、眉、口、鼻といった部位の輪郭を示す経路に沿って複数配置することができ、その経路内のピクセル同士を、出力設定値の補間演算を行なうための対応ピクセル群として指定することができる。
【００２６】
以下、本実施形態では、人物の顔画像同士をポリモーフィングする場合を例にとる。例えば、父母の幼少時の顔画像を合成すれば、その両親に生まれてくると推定される子供の顔画像をモーフィング結果として得ることができる。しかし、ここでは、同一人物の異なる表情の顔画像をポリモーフィングする場合を考える。図７に示すように、モデルデータ配置空間ＭＳＰは、精神活性度（覚醒度）を縦軸に、横軸に愉快度を定めた２次元感情平面として規定されており、単位セルＨＣＢは長方形である。そして、該長方形の頂点をなすモーフィング元座標点Ｃ，Ｄ，Ａ，Ｂに対応する４つの顔画像データＩＭ１，ＩＭ２，ＩＭ３及びＩＭ４は、該２次元感情平面ＭＳＰ上にて対応する各モーフィング元座標点Ｃ，Ｄ，Ａ，Ｂの示す精神活性度及び愉快度に対応した、同一人物の４つの表情の顔画像データとしている。
【００２７】
該２次元感情平面は、いわゆるラッセル・メーラビアンの感情平面の概念に基づくものであり、個々の象限は喜怒哀楽に対応した４つの精神状態、すなわち、盛り上がり状態（喜：精神活性度大／愉快）、怒り・興奮状態（怒：精神活性度大／不愉快）、落胆・倦怠状態（精神活性度小／不愉快）を表す。そして、原点Ｏ（感情的特徴の少ない中立的な精神状態を示す）からの距離が大きくなるほど、個々の象限に特徴付けられた喜怒哀楽の精神状態が強く反映される形になる。
【００２８】
例えば、図７に示すように、単位セルＨＣＢをこの４つの象限にまたがるように設定すると、各頂点をなすモーフィング元座標点Ｃ，Ｄ，Ａ，Ｂには、同一人物の典型的な喜怒哀楽の４つの表情を顔画像データＩＭ１，ＩＭ２，ＩＭ３及びＩＭ４として配置できる。そして、記単位セルＨＣＢ（２次元感情平面ＭＳＰ）上にて所望の感情状態に対応するモーフィング先座標点ｐｘを入力部５７からの入力情報に基づき設定し、そのモーフィング先座標点ｐｘが規定する重み付けにて後述の方法により顔画像データＩＭ１，ＩＭ２，ＩＭ３及びＩＭ４をポリモーフィングすれば、所望の感情状態に対応する顔画像を自由に合成することができる。
【００２９】
顔画像データＩＭ１，ＩＭ２，ＩＭ３及びＩＭ４は、同一人物の顔画像であり、顔の輪郭や、目、眉、口、鼻、頭髪などの部位の輪郭も、感情に応じた変形を除けばほぼ近接した形状となるから、対応点ｈｐの設定も容易である。その結果、４枚の顔画像データを元に、その人物のあらゆる感情状態に対応した顔画像を自然に表現することが可能となる。また、従来のポリモーフィング技術では単位セルとして三角形を用いていたので、１つの三角形では喜怒哀楽の４つの感情をカバーすることができなかったが、本発明では長方形単位セルを用いることで４つの感情にまたがってより自由で自然な感情表現が可能となる。なお、図７では顔画像データは二次元顔画像データであったが、三次元顔画像データを用いることももちろん可能であり、また、人物の顔の実写画像データに代えて絵画やイラストによる顔画像データを採用することも可能である。
【００３０】
以下、長方形単位セルを、各辺の長さを１とした正方形とし、入力されるモーフィング先座標点ｐｘ（二次元ベクトル）を（ｘ１，ｘ２）（０≦ｘ１≦１，０≦ｘ２≦１）と表記して、本発明に従うポリモーフィング方法のアルゴリズムについて説明する。図３Ａに示すように、長方形単位セルＨＣＢは２本の軸を有する。それらをＸ１，Ｘ２と表記する。モーフィング先座標点ｐｘはＸ１＝ｘ１，Ｘ２＝ｘ２となる長方形単位セルＨＣＢの内点をなす。ここでは、ｘ１＝０．３，ｘ２＝０．８の例を示している。最終的に得たいのは、４個の画像Ｉ（ｂ１，ｂ２）から、モーフィング先座標点ｐｘに対応する合成画像Ｉ（ｘ１，ｘ２）を求めることである。ここでは、モデルデータ配置空間ＭＳＰの次元数Ｍが２なので、具体的な計算は２ステップで完了する（前述の通り、モデルデータ配置空間ＭＳＰの次元数がＭであれば、計算はＭステップ必要となる）。以下、各ステップについて説明する。
【００３１】
第一ステップでは、図３Ｂに示すように、長方形単位セルＨＣＢの互いに平行対向する１対の各辺（図３Ａではｐａ−ｐｂとｐｄ−ｐｃ）へのモーフィング先座標点ｐｘの正射影点ｐｅ，ｐｆを分点として求める。そして、各辺の両端のモーフィング元座標点に対応する顔画像データ（モデルデータ列）同士（つまり、ｐａ：Ｉ（０，０）とｐｂ：Ｉ（１，０）、及びｐｄ：Ｉ（０，１）とｐｃ：Ｉ（１，１））とを梃子の関係に従う重みにて補間演算する形で、図６を用いて既に説明した周知の方法にて一次モーフィングすることにより、１対の中間画像データ（Ｉ（０．３，０），Ｉ（０．３，１））を得る。
【００３２】
続いて、第二ステップでは、図３Ｃに示すように、上記の正射影点ｐｅ，ｐｆが張る線分上のモーフィング先座標点ｐｘを新たな分点とみなし、その分点に関して１対の中間データ列（ｐｅ：Ｉ（０．３，０），ｐｆ：Ｉ（０．３，１））を梃子の関係に従う重みにて二次モーフィングすることにより、最終的な合成画像データ（合成データ列）を得る。合成画像データは図１のモニタ５９やプリンタ６０から出力でき、通信やネットワークにて接続された外部のシステムに向けて転送出力することも可能である。また、モーフィング先座標点ｐｘの入力値も、入力部５７からの入力情報として取得する方法以外に、通信やネットワークにて外部システムから取得することが可能である。
【００３３】
図５に、次元数Ｍが２の場合に係るポリモーフィングのアルゴリズムを概念的に示している。モーフィング元座標点ｐａ，ｐｂ，ｐｃ，ｐｄをそれぞれＡ，Ｂ，Ｃ，Ｄとして、長方形ＨＣＢ（超直方体）のモーフィング先座標点ｐｘを通って各辺（ＣＡ，ＤＢ及びＣＤ，ＡＢ）と平行な２本の直線（２個の平面）で切断する。これにより、長方形ＨＣＢは、それぞれモーフィング先座標点Ｘ（ｐｘ）を共有し、かつ長方形ＨＣＢの頂点をなすモーフィング元座標点を排他的に１個ずつ取り合う４個（２Ｍ個）の部分長方形ＳＣＢ、具体的には長方形ＣＫＸＮ（面積：Ｓｂ），ＮＸＬＤ（面積：Ｓａ），ＫＡＭＸ（面積：Ｓｄ），ＫＭＢＬ（面積：Ｓｄ）に区切られる。
【００３４】
そして、各部分長方形（部分直方体）ＳＣＢの長方形（超直方体）ＨＣＢに対する相対面積（相対体積）を、当該部分長方形ＳＣＢに含まれるモーフィング元座標点の長方形ＨＣＢの対角線方向反対側に位置するモーフィング元座標点（すなわち、ｐａに対してはｐｄ、ｐｂに対してはｐｃ、ｐｄに対してはｐａ、ｐｃに対してはｐｂ）への重みとする形でポリモーフィングを行なう。すなわち、長方形ＨＣＢの面積をＳ０とすれば、合成画像Ｐｘは、
Ｐｘ＝（１／Ｓ０）×（Ｓａ・Ｐａ＋Ｓｂ・Ｐｂ＋Ｓｃ・Ｐｃ＋Ｓｄ・Ｐｄ）  
‥（１３）
にて合成することができる。
【００３５】
図３Ａ〜図３Ｃでは、辺ｐａ−ｐｂ及び辺ｐｄ−ｐｃから演算を開始する形で段階的にポリモーフィング演算を行なったが、辺ｐａ−ｐｄ及び辺ｐｂ−ｐｃから演算を開始しても、最終的に得られる結果はいずれも（１３）式の結果と等価である。図５にその確認のための計算例を示している。すなわち、線分ＤＢへのモーフィング先座標点ｐｘの正射影点をＬとし、線分ＣＡへのモーフィング先座標点ｐｘの正射影点をＫＬとすれば、線分ＤＢ側の中間画像データＰＬが図中の式（１１）により、線分ＣＡ側の中間画像データＰＫが図中の式（１２）により補間計算される。そして、線分ＫＬ上にはモーフィング先座標点Ｘが存在するので、これを分点として一次中間画像ＰＬ及びＰＫを用いて同様の補間計算を行なうと、（１３）式通りの合成画像Ｐｘが得られることは、幾何学的に容易に理解できる。なお、Ｐｘをξａ及びηａを用いて表した結果を（１７）式に示している。
【００３６】
なお、図７に示すように、４つの象限にまたがる長方形セルに対し、原点Ｏと各座標軸との交点ＧＨＥＦとを新たなモーフィング元座標点として追加し、対応する５つの顔画像データ（モデルデータ列）を用意することができる。この場合、原点Ｏを中心として象限毎に長方形単位セル（ＯＦＣＧ，ＯＧＤＨ，ＯＨＡＥ，ＯＥＢＦ）が都合４つ隣接形成される。この場合、モーフィング先座標点ｐｘが決定された後、そのモーフィング先座標点ｐｘがどの長方形単位セルに属するかを判定した後、関係する長方形単位セルの顔画像データ（モデルデータ列）を用いて同様のポリモーフィング処理を実施することができる。
【００３７】
また、本発明において、モデルデータ配置空間ＭＳＰの次元数Ｍは２以上の値であれば制限はない。例えば、モデルデータ配置空間が三次元であれば単位セルは直方体となるが、この場合は、次のような３段階のモーフィングを実施すればよい。すなわち、３組ある平行対向面（長方形）のいずれを選んで、各平行対向面へのモーフィング先座標点の正射影点を求め、それら正射影点について各面をなす長方形毎に、二次元の場合と全く同様の２段階のモーフィングを行ない、一次中間データ列を得る。そして、各面上の正射影点同士が張る線分上にモーフィング先座標点の正射影点を新たに分点として設け、その分点に関して１対の一次中間データ列同士を梃子の関係に従う重みにて三次モーフィングすることにより最終的な合成データ列を得る。図４は、次元数Ｍをｎに一般化した場合のアルゴリズムを示すフローチャートである。
【００３８】
すなわち、上記ポリモーフィング演算のアルゴリズムは、実は、次のような補間合成演算を逐次的に実行して合成画像Ｐｘを得るのと数学的に全く等価である。すなわち、超直方体ＨＣＢの各座標軸方向に隣接する２つのモーフィング元座標点間にて、それらモーフィング元座標点が張る線分へのモーフィング先座標点ｐｘの正射影点を分点とする形で、梃子の原理により一次中間画像を合成する。次いで、超直方体ＨＣＢの各面の対向する２辺について得られた一次中間画像に対し、対応する正射影点が張る線分についてモーフィング先座標点ｐｘの正射影点を新たに分点として設け、その分点に関してそれら一次中間画像同士を梃子の原理により合成し、二次中間画像とする（以上、Ｓ４）。この一連の処理（Ｓ４）を、分点がモーフィング先座標点Ｘにたどり着くまで繰り返す（Ｓ５→Ｓ３）。
【００３９】
なお、上記本発明のポリモーフィング方法は、モデルデータ列を画像データから音声データに置き換えても矛盾なく実施することができる。音声モーフィングの場合は、モデルデータ列は音声波形データ（ないし、そのパワースペクトラムプロファイルあるいはケプストラムプロファイル）を構成する。波形データやスペクトラムないしケプストラムのプロファイルは、二次元平面上に描画が可能であるから、原理的にはこれを画像とみなすことで画像モーフィングと同様の取り扱いは可能である。
【００４０】
しかし、例えば特許文献３や非特許文献２，３に開示されているような、すでに周知となっている音声工学特有のテクニックを導入すれば、より簡便で妥当性の高い音声モーフィングが可能となる。例えば、モーフィング元音声波形のパワースペクトラム（図９上）からは、周知のケプストラム解析により、スペクトラム包絡（図９中：主に声道の共振特性を反映した情報となる）とスペクトラム微細構造（図９下：主に、声帯での音源的な特徴を反映した情報となる）を分離できる。この場合、モーフィング元音声波形のスペクトラム包絡とスペクトラム微細構造と個別にポリモーフィングすればよいことになる。
【００４１】
スペクトラム包絡については、ピーク点（図９中に丸印で示している）などの特徴点のみを補間演算してもよいし、さらに妥当性の高い方法としては積分スペクトル逆関数を用いる方法もあるが、公知であるため詳細な説明は略する。一方、スペクトラム微細構造は声帯音源からの基本波のピッチを支配する要素であり、基本波を構成する倍音列に対応した多数のピークを有している。このピーク点をそれぞれ周波数方向に補間してピッチを伸縮させる手法が、音声モーフィングでは一般的である。
【００４２】
また、２つの音声データをモーフィングする周知のエンジンとしては、非特許文献２，３に開示されているＳＴＲＡＩＧＨＴを本発明においても活用することが可能である。ＳＴＲＡＩＧＨＴはいわゆるチャンネル・ボコーダのアーキテクチャに基づき、音声からフィルタ情報（スペクトル包絡）と音源情報とを分離し抽出するようになっている。ＳＴＲＡＩＧＨＴでは，音源の基本周波数に適応する相補的な時間窓と周波数領域でのスプライン関数理論に基づく適応平滑化により、調波位置での値を保存することと音源の周期性により生ずるスペクトル包絡への干渉の完全な除去を両立させている（例えば、 Speech Communication, Vol. 27, No. 3-4, pp. 187-207 (1999)を参照）。
【００４３】
ＳＴＲＡＩＧＨＴにおいて、音源情報は、基本周波数と、帯域毎の周期成分と非周期成分の割合を表す非周期性指標とから構成される。基本周波数の抽出には、フィルタ群の中心周波数から出力の瞬時周波数への写像における不動点を利用したアルゴリズムが用いられる。非周期性指標は、見かけ上の基本周波数が定数となるような時間軸の伸縮と櫛形フィルタに基づき、シミュレーションによる補正を加えて計算される（例えば、Eurospeech’99, Vol. 6, pp. 2781-2784 (1999)参照）。ＳＴＲＡＩＧＨＴにおける合成音声は、こうして求められた音源情報とスペクトル包絡から計算される。スペクトル包絡は、最小位相のインパルス応答に変換され、群遅延を操作された混合音源（パルス＋有色雑音）と畳み込まれてｏｖｅｒｌａｐ  ａｎｄ  ａｄｄにより合成音声波形が求められる。
【００４４】
そして、ＳＴＲＡＩＧＨＴを用いたモーフィングでは、スペクトル包絡の系列を時間周波数表現として表示し、特徴的な位置に参照とするための点（基準点）を設定する。基準点は、時間方向では子音と母音からなる一つの音節について４〜５個、周波数方向では、５０００Ｈｚまでに３〜５個程度で十分であることが分かっている。モーフィングの第一段階では、それらの基準点が重なるように、一方の試料の時間周波数平面を変形する。こうして対応づけられた時間周波数平面の上で、それぞれの点においてモーフィング率に応じてパラメタを補間し、モーフィングされたパラメタ値を求める。最後に、モーフィング率に応じて、時間周波数平面を変形する。こうして求められたパラメタをＳＴＲＡＩＧＨＴの合成部に渡すことにより、モーフィングされた音声が合成される。
【００４５】
図８には、同一人物による同一語彙（例えば「あいしてる」）の音声データをポリモーフィングする例を示している。モデルデータ配置空間ＭＳＰは、図７と同様の２次元感情平面として規定されており、単位セルＨＣＢは長方形である。そして、該長方形の頂点をなすモーフィング元座標点Ｃ，Ｄ，Ａ，Ｂに対応する４つの音声データＷＶ１，ＷＶ２，ＷＶ３及びＷＶ４は、該２次元感情平面ＭＳＰ上にて対応する各モーフィング元座標点Ｃ，Ｄ，Ａ，Ｂの示す精神活性度及び愉快度に対応した、同一人物の４つの感情を反映した音声データとしている。
【００４６】
前述のごとく、２次元感情平面ＭＳＰの個々の象限は喜怒哀楽に対応する４つの精神状態を表す。そして、原点Ｏ（感情的特徴の少ない中立的な精神状態を示す）からの距離が大きくなるほど、個々の象限に特徴付けられた喜怒哀楽の精神状態が、同じ語彙であってもアクセントや音高等に強く反映される形になる。
【００４７】
そして、図７の場合と全く同様に、単位セルＨＣＢをこの４つの象限にまたがるように設定すると、各頂点をなすモーフィング元座標点Ｃ，Ｄ，Ａ，Ｂには、同一人物の典型的な喜怒哀楽の４つの発声内容を音声データタＷＶ１，ＷＶ２，ＷＶ３及びＷＶ４として配置できる。そして、記単位セルＨＣＢ（２次元感情平面ＭＳＰ）上にて所望の感情状態に対応するモーフィング先座標点ｐｘを入力部５７からの入力情報に基づき設定し、既に説明した画像モーフィングの場合と同じ本発明のアルゴリズム（図３Ａ〜図５）に従い音声データタＷＶ１，ＷＶ２，ＷＶ３及びＷＶ４をポリモーフィングすれば、所望の感情状態に対応する音声データを自由に合成することができる。この音声データは図１において、音声合成部６１を介してスピーカ６２から出力することができる。
【００４８】
例えば、共通のモーフィング先座標点ｐｘの入力値を用いて、前述の顔画像のモーフィング処理と上記の音声モーフィング処理とを並列に実施し、各結果を同期させて出力させることにより、モーフィング先座標点ｐｘの入力値に従い顔の表情と発話内容とを感情連動させた擬人化エージェントを実現可能である。
【図面の簡単な説明】
【００４９】
【図１】本発明のデータポリモーフィング装置の電気的構成の一例を示すブロック図。
【図２】モデルデータ配置空間と、モデルデータ列をなす画像データの配置関係を示す図。
【図３Ａ】本発明のポリモーフィング方法の手順説明図。
【図３Ｂ】図３Ａに続く説明図。
【図３Ｃ】図３Ｂに続く説明図。
【図４】画像のデータ例を示す図。
【図５】本発明のポリモーフィング方法のアルゴリズムの一例を示すフローチャート。
【図６】２画像のモーフィング例を示す説明図。
【図７】画像ポリモーフィングに係る実施例を示す模式図。
【図８】音声ポリモーフィングに係る実施例を示す模式図。
【図９】音声パワースペクトラムの包絡／微細構造分離の概念を説明する図。
【図１０】従来のポリモーフィング方法の概念説明図。
【図１１】同じく計算方法の説明図。
【符号の説明】
【００５０】
１  データモーフィング装置
ＭＳＰ  モデルデータ配置空間
ＣＰＳ  画像空間
ｐ  モーフィング元座標点
ｐｘ  モーフィング先座標点
ｐａ，ｐｂ，ｐｃ  モーフィング元座標点
ｈｐ  対応点
ＨＣＢ  超直方体（単位セル）
５０  マイコン（ポリモーフィング処理手段）
５５  モーフィング処理ＬＳＩ（ポリモーフィング処理手段）
５７  入力部（モーフィング先座標点選定手段）
５８  メディアドライブ（モデルデータ列取得手段）
５９  モニタ（合成データ列出力手段）
６０  プリンタ（合成データ列出力手段）
６２  スピーカ（合成データ列出力手段）
【図１】
2009237747.tif 000003
【図３Ａ】
2009237747.tif 000004
【図３Ｂ】
2009237747.tif 000005
【図３Ｃ】
2009237747.tif 000006
【図４】
2009237747.tif 000007
【図５】
2009237747.tif 000008
【図７】
2009237747.tif 000009
【図８】
2009237747.tif 000010
【図９】
2009237747.tif 000011
【図１０】
2009237747.tif 000012
【図１１】
2009237747.tif 000013
【図２】
2009237747.tif 000014
【図６】
2009237747.tif 000015