(57)【要約】【課題】セリフ間の自然な仕草の動画像を生成することを図る。【解決手段】第１のセリフの音声に合わせた仕草を表す第１の仕草データと第２のセリフの音声に合わせた仕草を表す第２の仕草データに対して、前記第１の仕草データと前記第２の仕草データの間を時間軸上で連結するための連結仕草データを、複数の候補仕草データの中から選択する仕草生成装置１０であり、前記候補仕草データ毎に、前記連結に関するコストを計算するコスト計算部１２１と、前記計算されたコストに基づいて前記連結仕草データの選択を行う選択部１２２と、を備えたことを特徴とする。【選択図】図１
2015064659.tif 000002
【特許請求の範囲】
【請求項１】
第１のセリフの音声に合わせた仕草を表す第１の仕草データと第２のセリフの音声に合わせた仕草を表す第２の仕草データに対して、前記第１の仕草データと前記第２の仕草データの間を時間軸上で連結するための連結仕草データを、複数の候補仕草データの中から選択する仕草生成装置であり、
前記候補仕草データ毎に、前記連結に関するコストを計算するコスト計算部と、
前記計算されたコストに基づいて前記連結仕草データの選択を行う選択部と、
を備えたことを特徴とする仕草生成装置。
【請求項２】
前記コストは、前記第１の仕草データと前記第２の仕草データの間の区間の時間長と、前記候補仕草データの仕草の時間長との差に基づいて計算される、
ことを特徴とする請求項１に記載の仕草生成装置。
【請求項３】
前記コストは、前記第１の仕草データの最後の部分と前記候補仕草データの最初の部分との類似度に基づいて計算される、
ことを特徴とする請求項１又は２のいずれか１項に記載の仕草生成装置。
【請求項４】
前記コストは、前記候補仕草データの最後の部分と前記第２の仕草データの最初の部分との類似度に基づいて計算される、
ことを特徴とする請求項１から３のいずれか１項に記載の仕草生成装置。
【請求項５】
前記コストは、前記第１の仕草データと前記第２の仕草データを使用して動作させるキャラクタの個性に対する前記候補仕草データの出現確率に基づいて計算される、
ことを特徴とする請求項１から４のいずれか１項に記載の仕草生成装置。
【請求項６】
前記コストは、前記候補仕草データの選択頻度が少ないほど前記コストが良くなるように計算される、
ことを特徴とする請求項１から５のいずれか１項に記載の仕草生成装置。
【請求項７】
前記選択部によって選択された前記連結仕草データを用いて前記第１の仕草データと前記第２の仕草データの間を時間軸上で連結するための調整処理を行う仕草データ調整部をさらに備えたことを特徴とする請求項１から６のいずれか１項に記載の仕草生成装置。
【請求項８】
前記仕草データ調整部は、前記選択部によって選択された前記連結仕草データを、前記第１の仕草データと前記第２の仕草データの間の区間の時間長に合わせて伸縮させる処理を行うことを特徴とする請求項７に記載の仕草生成装置。
【請求項９】
前記伸縮させる処理の伸縮率が所定の上限値を超える場合に、前記連結仕草データを追加することを特徴とする請求項８に記載の仕草生成装置。
【請求項１０】
第１のセリフの音声に合わせた仕草を表す第１の仕草データと第２のセリフの音声に合わせた仕草を表す第２の仕草データに対して、前記第１の仕草データと前記第２の仕草データの間を時間軸上で連結するための連結仕草データを、複数の候補仕草データの中から選択する仕草生成装置の仕草生成方法であり、
前記仕草生成装置が、前記候補仕草データ毎に、前記連結に関するコストを計算するコスト計算ステップと、
前記仕草生成装置が、前記計算されたコストに基づいて前記連結仕草データの選択を行う選択ステップと、
を含むことを特徴とする仕草生成方法。
【請求項１１】
第１のセリフの音声に合わせた仕草を表す第１の仕草データと第２のセリフの音声に合わせた仕草を表す第２の仕草データに対して、前記第１の仕草データと前記第２の仕草データの間を時間軸上で連結するための連結仕草データを、複数の候補仕草データの中から選択する仕草生成装置のコンピュータに、
前記候補仕草データ毎に、前記連結に関するコストを計算するコスト計算ステップと、
前記計算されたコストに基づいて前記連結仕草データの選択を行う選択ステップと、
を実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仕草生成装置、仕草生成方法およびコンピュータプログラムに関する。
【背景技術】
【０００２】
近年、携帯端末上で動作する音声対話型インタフェースが実現されているが、さらに、擬人化されたエージェントとしてのキャラクタを携帯端末の表示画面上に表示し、このキャラクタに情報に合わせて話したり動いたりさせることが検討されている。例えば、非特許文献１に記載の従来技術では、ＡＰＥ（Automatic Production Engine）を用いたＴＶＭＬ（TV program Making language）による映像コンテンツの自動生成技術として、ニュースや天気予報などの特定のシナリオに使用されるテンプレートを用意することにより、コンピュータ・グラフィックス（ＣＧ）アニメーションを自動生成している。また、電子メールやブログのテキストデータからＣＧアニメーションを自動生成したり（例えば、特許文献１、２参照）、ユーザから入力されたテキストデータに対応する手話をＣＧアニメーションで生成したり（例えば、特許文献３参照）する技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−８８３３５号公報
【特許文献２】特開２００８−１０７９０４号公報
【特許文献３】特開２０１１−１７５５９８号公報
【非特許文献】
【０００４】
【非特許文献１】Hayashi, M.; Douke, M.; Hamaguchi, N., ‘Automatic TV program production with APEs,' Creating, Connecting and Collaborating through Computing, 2004. Proceedings. Second International Conference on , vol., no., pp.20,25, 29-30 Jan. 2004
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上述した従来技術では、セリフのテキストデータと該セリフの音声データとが与えられた場合に、セリフの音声に合わせた自然なＣＧアニメーションを自動生成することが困難である。特許文献１〜３の従来技術では、テキストデータに合わせたＣＧアニメーションを生成することはできるが、該テキストデータの音声のタイミングに合ったＣＧアニメーションを生成することはできない。また、非特許文献１の従来技術では、同期技術を導入していないため、与えられた音声にＣＧアニメーションのタイミングを合わせることができない。このため、セリフの音声に合わせた自然な仕草の動画像を生成する技術が検討されている。そして、第１のセリフの音声に合わせた仕草と第２のセリフの音声に合わせた仕草との間を繋ぐセリフ間の自然な仕草の動画像を生成することが課題である。
【０００６】
本発明は、このような事情を考慮してなされたもので、セリフ間の自然な仕草の動画像を生成することができる仕草生成装置、仕草生成方法およびコンピュータプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
（１）本発明に係る仕草生成装置は、第１のセリフの音声に合わせた仕草を表す第１の仕草データと第２のセリフの音声に合わせた仕草を表す第２の仕草データに対して、前記第１の仕草データと前記第２の仕草データの間を時間軸上で連結するための連結仕草データを、複数の候補仕草データの中から選択する仕草生成装置であり、前記候補仕草データ毎に、前記連結に関するコストを計算するコスト計算部と、前記計算されたコストに基づいて前記連結仕草データの選択を行う選択部と、を備えたことを特徴とする。
【０００８】
（２）本発明に係る仕草生成装置においては、上記（１）の仕草生成装置において、前記コストは、前記第１の仕草データと前記第２の仕草データの間の区間の時間長と、前記候補仕草データの仕草の時間長との差に基づいて計算される、ことを特徴とする。
【０００９】
（３）本発明に係る仕草生成装置においては、上記（１）又は（２）の仕草生成装置において、前記コストは、前記第１の仕草データの最後の部分と前記候補仕草データの最初の部分との類似度に基づいて計算される、ことを特徴とする。
【００１０】
（４）本発明に係る仕草生成装置においては、上記（１）から（３）のいずれかの仕草生成装置において、前記コストは、前記候補仕草データの最後の部分と前記第２の仕草データの最初の部分との類似度に基づいて計算される、ことを特徴とする。
【００１１】
（５）本発明に係る仕草生成装置においては、上記（１）から（４）のいずれかの仕草生成装置において、前記コストは、前記第１の仕草データと前記第２の仕草データを使用して動作させるキャラクタの個性に対する前記候補仕草データの出現確率に基づいて計算される、ことを特徴とする。
【００１２】
（６）本発明に係る仕草生成装置においては、上記（１）から（５）のいずれかの仕草生成装置において、前記コストは、前記候補仕草データの選択頻度が少ないほど前記コストが良くなるように計算される、ことを特徴とする。
【００１３】
（７）本発明に係る仕草生成装置においては、上記（１）から（６）のいずれかの仕草生成装置において、前記選択部によって選択された前記連結仕草データを用いて前記第１の仕草データと前記第２の仕草データの間を時間軸上で連結するための調整処理を行う仕草データ調整部をさらに備えたことを特徴とする。
【００１４】
（８）本発明に係る仕草生成装置においては、上記（７）の仕草生成装置において、前記仕草データ調整部は、前記選択部によって選択された前記連結仕草データを、前記第１の仕草データと前記第２の仕草データの間の区間の時間長に合わせて伸縮させる処理を行うことを特徴とする。
【００１５】
（９）本発明に係る仕草生成装置においては、上記（８）の仕草生成装置において、前記伸縮させる処理の伸縮率が所定の上限値を超える場合に、前記連結仕草データを追加することを特徴とする。
【００１６】
（１０）本発明に係る仕草生成方法は、第１のセリフの音声に合わせた仕草を表す第１の仕草データと第２のセリフの音声に合わせた仕草を表す第２の仕草データに対して、前記第１の仕草データと前記第２の仕草データの間を時間軸上で連結するための連結仕草データを、複数の候補仕草データの中から選択する仕草生成装置の仕草生成方法であり、前記仕草生成装置が、前記候補仕草データ毎に、前記連結に関するコストを計算するコスト計算ステップと、前記仕草生成装置が、前記計算されたコストに基づいて前記連結仕草データの選択を行う選択ステップと、を含むことを特徴とする。
【００１７】
（１１）本発明に係るコンピュータプログラムは、第１のセリフの音声に合わせた仕草を表す第１の仕草データと第２のセリフの音声に合わせた仕草を表す第２の仕草データに対して、前記第１の仕草データと前記第２の仕草データの間を時間軸上で連結するための連結仕草データを、複数の候補仕草データの中から選択する仕草生成装置のコンピュータに、前記候補仕草データ毎に、前記連結に関するコストを計算するコスト計算ステップと、前記計算されたコストに基づいて前記連結仕草データの選択を行う選択ステップと、を実行させるためのコンピュータプログラムであることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、セリフ間の自然な仕草の動画像を生成することができるという効果が得られる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態に係る仕草生成装置１０の構成を示すブロック図である。
【図２】本発明の一実施形態に係る仕草データの定義例の概略図である。
【図３】本発明の一実施形態に係るブレンディング処理の概念図である。
【図４】本発明の一実施形態に係る仕草データ生成方法の流れを示すフローチャートである。
【図５】本発明の一実施形態に係る仕草生成システム２０の構成を示すブロック図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照し、本発明の実施形態について説明する。
図１は、本発明の一実施形態に係る仕草生成装置１０の構成を示すブロック図である。図１において、仕草生成装置１０は、入力部１１と仕草データ選択部１２と仕草データ調整部１３と候補仕草データ記憶部１４とキャラクタ個性対応情報記憶部１５と候補仕草データ選択頻度記憶部１６を有する。仕草データ選択部１２は、コスト計算部１２１と選択部１２２を有する。
【００２１】
本実施形態に係る仕草データを説明する。仕草データは、人や動物などの動きを表す動きデータである。特には、仕草データは、仕草と呼ばれる動きを表す動きデータである。
【００２２】
図２は、本実施形態に係る仕草データの定義例の概略図である。図２の例では、仕草データとして、人体のスケルトン型動きデータを使用している。人体のスケルトン型動きデータは、人の骨格を基に、骨及び骨の連結点（ジョイント）を用い、一ジョイントを根（ルート）とし、ルートからジョイント経由で順次連結される骨の構造を木（ツリー）構造として定義される。図２には、スケルトン型動きデータの定義の一部分のみを示している。図２において、ジョイント１００は腰の部分であり、ルートとして定義される。ジョイント１０１は左腕の肘の部分、ジョイント１０２は左腕の手首の部分、ジョイント１０３は右腕の肘の部分、ジョイント１０４は右腕の手首の部分、ジョイント１０５は左足の膝の部分、ジョイント１０６は左足の足首の部分、ジョイント１０７は右足の膝の部分、ジョイント１０８は右足の足首の部分、ジョイント１０９は鎖骨の部分、ジョイント１１０、１１１は肩の部分、ジョイント１１２は頭の部分、ジョイント１１３、１１４は股関節の部分、である。
【００２３】
スケルトン型動きデータは、スケルトン型対象物の各ジョイントの動きを記録したデータであり、スケルトン型対象物としては人体や動物などが適用可能である。スケルトン型動きデータは、例えばモーションキャプチャデータに基づいて生成される。
【００２４】
本実施形態では、仕草データとして図２に例示される人体のスケルトン型動きデータを使用する。仕草データは、人の一連の動きを複数の姿勢（ポーズ）の連続により表すものである。一つのポーズは、一つのフレームに対応し、全ての関節（ジョイント）の位置情報を記録する。一つのフレームｘ（ｔ）は、式（１）で表される。
【００２５】
【数１】
2015064659.tif 000003
【００２６】
但し、pｋ（ｔ）は、時刻ｔにおけるｋ番目のジョイントの位置であり、３次元座標で表される。時刻ｔはフレームの時刻である。Ｋはジョイントの数である。したがって、ｘ（ｔ）は３Ｋ次元のベクトルである。
【００２７】
Ｔ個のフレームからなる仕草データＸは、式（２）で表される。
【００２８】
【数２】
2015064659.tif 000004
【００２９】
Ｘは３Ｋ×Ｔの行列である。本実施形態では、時刻ｔを単に「フレームインデックス」として扱う。これにより、時刻ｔは、「０，１，２，・・・，Ｔ−１」の値をとる。Ｔは、仕草データに含まれるフレームの個数である。
【００３０】
また、他のフレームの定義例として、基本ポーズからの移動量をジョイント毎に表すことも可能である。一フレームは、基本ポーズに対して各ジョイントの移動量が加味された一ポーズを特定する。これにより、各フレームによって特定される各ポーズの連続により、人の一連の動きが特定される。この場合、移動量として角度情報を利用する。そして、角度情報データ内の基本ポーズデータとフレームデータを用いて、ジョイント位置を算出する。基本ポーズデータは、基本ポーズのときのルートの位置及び各ジョイントの位置、並びに各骨の長さなど、基本ポーズを特定する情報を有する。フレームデータは、ジョイント毎に、基本ポーズからの移動量を表す角度情報を有する。時刻ｔにおけるｋ番目のジョイントの位置pｋ（ｔ）は、式（３）および式（４）により算出される。
【００３１】
【数３】
2015064659.tif 000005
【００３２】
【数４】
2015064659.tif 000006
【００３３】
但し、０番目（ｉ＝０）のジョイントはルートである。Ｒａｘｉｓｉ−１，ｉ（ｔ）は、ｉ番目のジョイントとその親ジョイント（「ｉ−１」番目のジョイント）間の座標回転マトリックスであり、基本ポーズデータに含まれる。各ジョイントにはローカル座標系が定義されており、座標回転マトリックスは親子関係にあるジョイント間のローカル座標系の対応関係を表す。Ｒｉ（ｔ）は、ｉ番目のジョイントのローカル座標系におけるｉ番目のジョイントの回転マトリックスであり、フレームデータに含まれる角度情報である。Ｔｉ（ｔ）は、ｉ番目のジョイントとその親ジョイント間の遷移マトリックスであり、基本ポーズデータに含まれる。遷移マトリックスは、ｉ番目のジョイントとその親ジョイント間の骨の長さを表す。
【００３４】
以上が仕草データの説明である。説明を図１に戻す。
【００３５】
［入力部］
仕草生成装置１０には、入力データが入力される。該入力データは、キャラクタに動作させる第１の仕草データと第２の仕草データ、第１の仕草データと第２の仕草データの間の区間の時間長（以下、区間長と称する）を示す区間長情報、及びキャラクタの個性を示すキャラクタ個性情報を有する。入力部１１は、入力データを仕草データ選択部１２へ出力する。
【００３６】
第１の仕草データは、第１のセリフの音声に合わせた仕草を表す動きデータである。第２の仕草データは、第２のセリフの音声に合わせた仕草を表す動きデータである。これら第１の仕草データ及び第２の仕草データは、第１の仕草データを使用してキャラクタを動作させてから、区間長情報で示される区間長の経過後に、第２の仕草データを使用してキャラクタを動作させるためのものである。
【００３７】
［仕草データ選択部］
仕草データ選択部１２は、入力データに含まれる第１の仕草データと第２の仕草データに対して、第１の仕草データと第２の仕草データの間を時間軸上で連結するための仕草データ（以下、連結仕草データと称する）を、候補仕草データ記憶部１４に格納される複数の候補仕草データの中から選択する。
【００３８】
候補仕草データ記憶部１４は、予め複数の候補仕草データと各候補仕草データの属性情報を記憶している。候補仕草データは、２つの仕草データ（それぞれセリフの音声に合わせた仕草を表す仕草データ）の間を時間軸上で連結するための仕草データとして、準備される。候補仕草データの属性情報としては、候補仕草データの仕草の時間長（以下、候補仕草長と称する）を示す候補仕草長情報がある。候補仕草データの仕草として、例えば、うなずく仕草、体を揺らす仕草、髪を触る仕草などが挙げられる。
【００３９】
仕草データ選択部１２において、コスト計算部１２１は、候補仕草データ記憶部１４に格納される候補仕草データ毎に、入力データに含まれる第１の仕草データと第２の仕草データの間の連結に関するコストを式（５）により計算する。
【００４０】
【数５】
2015064659.tif 000007
【００４１】
但し、ｃｏｓｔ（Ｘ）は候補仕草データＸのコストである。ｄ（ＦｉＢ，ＦｊＢ）は、第１の仕草データの最後のフレームＦｉＢと候補仕草データＸの最初のフレームＦｊＢとの距離である。ｄ（ＦｉＣ，ＦｊＣ）は、候補仕草データＸの最後のフレームＦｉＣと第２の仕草データの最初のフレームＦｊＣとの距離である。
【００４２】
Ｌ（Ｘ）は、候補仕草データＸの候補仕草長である。候補仕草長Ｌ（Ｘ）は、候補仕草データ記憶部１４に、候補仕草データＸの属性情報（候補仕草長情報）として記憶されている。Ｌｓは、第１の仕草データと第２の仕草データの間の区間長である。区間長Ｌｓは、区間長情報として入力データに含まれている。
【００４３】
ｐ（Ｘ／Ｃ）は、キャラクタの個性Ｃに対する候補仕草データＸの出現確率である。キャラクタの個性Ｃは、入力データに含まれるキャラクタ個性情報で示される。出現確率ｐ（Ｘ／Ｃ）は、キャラクタ個性対応情報記憶部１５に記憶されている。
【００４４】
キャラクタ個性対応情報記憶部１５は、予め、所定の個性毎に、候補仕草データ記憶部１４に記憶される候補仕草データの出現確率を記憶している。個性として、例えば、優しい、怖い、真面目、頑固など人の様々な性格が挙げられる。出現確率ｐ（Ｘ／Ｃ）の取得方法として、例えば、個性Ｃの人（例えば、優しい人）ではどのような仕草が出やすいかを統計的に調査することによって、個性Ｃの人において特定の仕草（候補仕草データＸの仕草）が出る確率（出現確率ｐ（Ｘ／Ｃ））を取得する。
【００４５】
ｈ（Ｘ）は、候補仕草データＸの選択頻度である。選択頻度ｈ（Ｘ）は、候補仕草データ選択頻度記憶部１６に記憶されている。選択頻度ｈ（Ｘ）は、候補仕草データＸが過去に仕草データ選択部１２によって選択された頻度である。候補仕草データ選択頻度記憶部１６は、候補仕草データ記憶部１４に記憶される候補仕草データ毎に、選択頻度を記憶している。
【００４６】
α、β、γ、ρ、φは、所定の重み係数であり、任意に設定可能とする。式（５）のコスト計算式において、右辺の各項のうち使用されない項の重み係数は０に設定される。
【００４７】
ここで、フレーム間の距離について説明する。あるフレームＦｉＢとあるフレームＦｊＢとの距離ｄ（ＦｉＢ，ＦｊＢ）は、式（６）又は式（７）により算出する。距離ｄ（ＦｉＢ，ＦｊＢ）は、フレームＦｉＢとフレームＦｊＢとの類似度を表す。距離ｄ（ＦｉＢ，ＦｊＢ）が小さいほど、フレームＦｉＢとフレームＦｊＢとの類似度が大きい。
【００４８】
【数６】
2015064659.tif 000008
【００４９】
但し、ｑｉ，ｋはノードＦｉＢのｋ番目のジョイントの四元数（quaternion）である。ｗｋはｋ番目のジョイントに係る重みである。重みｗｋは予め設定される。
【００５０】
【数７】
2015064659.tif 000009
【００５１】
但し、ｐｉ，ｋはノードＦｉＢのｋ番目のジョイントのルートに対する相対位置のベクトルである。つまり、ｐｉ，ｋは、ルートの位置と方向は考えずに算出したノードＦｉＢのｋ番目のジョイントの位置のベクトルである。
【００５２】
なお、フレーム間の距離は、対象フレームにおけるポーズを構成する各ジョイントの位置、速度、加速度、角度、角速度、角加速度などの物理量の差分の重み付き平均として算出することができる。
【００５３】
コスト計算部１２１によって、候補仕草データ記憶部１４に格納される全ての候補仕草データのそれぞれに対して、第１の仕草データと第２の仕草データの間の連結に関するコストが算出される。仕草データ選択部１２において、選択部１２２は、コスト計算部１２１によって算出されたコストのうち最小のコストである候補仕草データを、連結仕草データとして選択する。そして、選択部１２２は、当該連結仕草データの選択の結果に基づいて、候補仕草データ選択頻度記憶部１６に記憶される各候補仕草データの選択頻度を更新する。
【００５４】
［仕草データ調整部］
仕草データ調整部１３は、仕草データ選択部１２によって選択された連結仕草データを用いて第１の仕草データと第２の仕草データの間を時間軸上で連結するための調整処理を行う。この調整処理では、第１の仕草データと第２の仕草データの間の区間長Ｌｓに、連結仕草データＸ＊の仕草を合わせるように、連結仕草データＸ＊を伸縮させる。この伸縮率θは式（８）で定義される。
【００５５】
【数８】
2015064659.tif 000010
【００５６】
但し、ＴＨ１、ＴＨ２は、「ＴＨ１＜１＜ＴＨ２」を満たす所定の閾値であり、「ＴＨ１＜１＜ＴＨ２」の条件で任意に設定可能とする。Ｌ（Ｘ＊）は、連結仕草データＸ＊の候補仕草長である。
【００５７】
なお、区間長Ｌｓと候補仕草長Ｌ（Ｘ＊）が「（Ｌｓ／Ｌ（Ｘ＊））＞ＴＨ２」を満たす場合には、仕草データ調整部１３は、仕草データ選択部１２によって連結仕草データを追加させる。この追加の連結仕草データＸ＊＿ｎｅｘｔの選択では、仕草データ選択部１２は、先に選択された連結仕草データＸ＊を第１の仕草データとしてコストの計算を行う。連結仕草データの追加は、全ての連結仕草データの候補仕草長の合計値Ｌ（Ｘ＊＿ａｌｌ）が「（Ｌｓ／Ｌ（Ｘ＊＿ａｌｌ））≦ＴＨ２」を満たすまで繰り返す。
【００５８】
仕草データ調整部１３は、第１の仕草データの最後の部分と連結仕草データの最初の部分を連結する際に、ブレンディング（blending）処理を行う。また、仕草データ調整部１３は、連結仕草データの最後の部分と第２の仕草データの最初の部分を連結する際に、ブレンディング処理を行う。また、連結仕草データが複数ある場合には、仕草データ調整部１３は、先の連結仕草データの最後の部分と後の連結仕草データの最初の部分を連結する際に、ブレンディング処理を行う。
【００５９】
以下、図３を参照してブレンディング処理を説明する。図３は、先の仕草データ１の最後の部分と後の仕草データ２の最初の部分を連結する際のブレンディング処理の概念図である。ブレンディング処理では、フレームｉを有する仕草データ１とフレームｊを有する仕草データ２に対して、動きのつながりが不自然にならないように、両者の仕草データの接続部分を混合した補間データ（ブレンディングデータ）１＿２を生成する。
【００６０】
本実施形態では、一定時間分のフレームを使用しクォータニオンによる球面線形補間を利用して連結部分を補間する。具体的には、仕草データ１と仕草データ２を接続する接続区間（区間長ｍ、但し、ｍは所定値）のブレンディングデータ１＿２を、仕草データ１のフレームｉを中心に周りの区間長ｍのデータ１＿ｍと仕草データ２のフレームｊを中心に区間長ｍのデータ２＿ｍを用いて生成する。
【００６１】
このとき、接続区間の区間長ｍに対する接続区間の先頭からの距離ｕの比（ｕ／ｍ）に応じて、データ１＿ｍのうち距離ｕに対応するフレームｉとデータ２＿ｍのうち距離ｕに対応するフレームｊを混合する。具体的には、式（９）および式（１０）により、ブレンディングデータ１＿２を構成する各フレームを生成する。なお、式（９）は、ある一つの骨についての式となっている。
【００６２】
【数９】
2015064659.tif 000011
【００６３】
【数１０】
2015064659.tif 000012
【００６４】
但し、ｍはブレンディング動きデータ１＿２を構成するフレーム（ブレンディングフレーム）の総数（所定値）、ｕはブレンディングフレームの先頭からの順番（１≦ｕ≦ｍ）、ｑ（ｋ，ｕ）はｕ番目のブレンディングフレームにおける第ｋ骨の四元数、ｑ（ｋ，ｉ）はフレームｉにおける第ｋ骨の四元数、ｑ（ｊ）はフレームｊにおける第k骨の四元数、である。但し、ルートにはブレンディングを行わない。なお、式（１０）はslerp（spherical linear interpolation）の算出式である。
【００６５】
ブレンディングデータ１＿２は、仕草データ１と仕草データ２の接続部分のデータとする。
以上がブレンディング処理の説明である。
【００６６】
仕草データ調整部１３は、第１の仕草データと第２の仕草データの間を連結仕草データで連結した結果の仕草データを出力する。
【００６７】
図４は、本実施形態に係る仕草データ生成方法の流れを示すフローチャートである。以下、図４を参照して、図１に示す仕草生成装置１０の動作を説明する。
【００６８】
（ステップＳ１）入力部１１は入力データの入力を行う。入力された入力データは仕草データ選択部１２へ出力される。
【００６９】
（ステップＳ２）仕草データ選択部１２のコスト計算部１２１は、候補仕草データ記憶部１４に格納される候補仕草データ毎に、入力データに含まれる第１の仕草データと第２の仕草データの間の連結に関するコストを計算する。
【００７０】
（ステップＳ３）仕草データ選択部１２の選択部１２２は、コスト計算部１２１によって算出されたコストのうち最小のコストである候補仕草データを、連結仕草データとして選択する。そして、選択部１２２は、当該連結仕草データの選択の結果に基づいて、候補仕草データ選択頻度記憶部１６に記憶される各候補仕草データの選択頻度を更新する。
【００７１】
（ステップＳ４）仕草データ調整部１３は、連結仕草データの追加が必要か否かを判断する。この判断の結果、連結仕草データの追加が必要である場合にはステップＳ２に戻る。一方、連結仕草データの追加が不要である場合にはステップＳ５に進む。
【００７２】
（ステップＳ５）仕草データ調整部１３は、仕草データ選択部１２によって選択された連結仕草データを用いて第１の仕草データと第２の仕草データの間を時間軸上で連結するための調整処理を行う。そして、仕草データ調整部１３は、第１の仕草データと第２の仕草データの間を連結仕草データで連結した結果の仕草データを出力する。
【００７３】
上述した実施形態によれば、第１のセリフの音声に合わせた仕草と第２のセリフの音声に合わせた仕草との間を繋ぐセリフ間の自然な仕草の動画像を生成することができる。
【００７４】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【００７５】
例えば、上述した実施形態では、図１に示される仕草生成装置１０を単独の装置として構成したが、仕草生成装置１０を複数の装置で構成してもよい。例えば、通信ネットワークを介して接続される複数の装置により仕草生成装置１０（仕草生成システム）を構成してもよい。図５は、本発明の一実施形態に係る仕草生成システム２０の構成を示すブロック図である。図５において図１の各部に対応する部分には同一の符号を付している。
【００７６】
図５において、サーバ装置３０、データベースサーバ装置４０、５０及び端末７０は、インターネット等の通信ネットワーク６０に接続されている。サーバ装置３０は、入力部１１と仕草データ選択部１２と仕草データ調整部１３と候補仕草データ選択頻度記憶部１６と通信部３１を有する。データベースサーバ装置４０は、候補仕草データ記憶部１４と通信部４１を有する。データベースサーバ装置５０は、キャラクタ個性対応情報記憶部１５と通信部５１を有する。サーバ装置３０は、通信ネットワーク６０を介してデータベースサーバ装置４０、５０及び端末７０とデータを送受する。
【００７７】
サーバ装置３０は、通信部３１により端末７０から入力データを受信すると、入力部１１が該入力データを仕草データ選択部１２へ出力する。仕草データ選択部１２は、該入力データに含まれる第１の仕草データと第２の仕草データに対して、第１の仕草データと第２の仕草データの間を時間軸上で連結するための連結仕草データを、データベースサーバ装置４０の候補仕草データ記憶部１４に格納される複数の候補仕草データの中から選択する。
【００７８】
この連結仕草データ選択処理において、仕草データ選択部１２は、通信部３１によりデータベースサーバ装置４０から、候補仕草データ記憶部１４に格納される候補仕草データ及び候補仕草長情報を取得する。また、仕草データ選択部１２は、通信部３１によりデータベースサーバ装置５０から、キャラクタ個性対応情報記憶部１５に格納される候補仕草データの出現確率を取得する。
【００７９】
サーバ装置３０は、仕草データ調整部１３から出力された、第１の仕草データと第２の仕草データの間を連結仕草データで連結した結果の仕草データを、通信部３１により端末７０へ送信する。
【００８０】
図５の実施形態によれば、候補仕草データ記憶部１４やキャラクタ個性対応情報記憶部１５として、通信ネットワーク６０（例えばインターネット）上に存在する多数のデータベースを利用可能である。また、端末７０に対し、通信ネットワーク６０を介して、仕草の動画像を提供可能である。
【００８１】
また、上述した仕草生成装置１０、仕草生成システム２０を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
【００８２】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Digital Versatile Disk）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００８３】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００８４】
１０…仕草生成装置、１１…入力部、１２…仕草データ選択部、１３…仕草データ調整部、１４…候補仕草データ記憶部、１５…キャラクタ個性対応情報記憶部、１６…候補仕草データ選択頻度記憶部、２０…仕草生成システム、３１，４１，５１…通信部、６０…通信ネットワーク、７０…端末、１２１…コスト計算部、１２２…選択部
【図１】
2015064659.tif 000013
【図２】
2015064659.tif 000014
【図３】
2015064659.tif 000015
【図４】
2015064659.tif 000016
【図５】
2015064659.tif 000017