(57)【要約】【課題】プレゼンテーションのジェスチャーを自動的に生成することができる姿勢データ生成装置、学習器、コンピュータプログラム、学習データ、姿勢データ生成方法及び学習モデルの生成方法を提供する。【解決手段】姿勢データ生成装置は、発話音声データと人体の姿勢データとを学習データとして用いて生成してある学習器と、発話音声データを取得する取得部と、取得部で取得した発話音声データ及び学習器に基づいて姿勢データを生成する生成部とを備える。【選択図】図１
2020082246.tif 000002
【特許請求の範囲】
【請求項１】
発話音声データと人体の姿勢データとを学習データとして用いて生成してある学習器と、
発話音声データを取得する取得部と、
前記取得部で取得した発話音声データ及び前記学習器に基づいて姿勢データを生成する生成部と
を備える姿勢データ生成装置。
【請求項２】
前記生成部は、
人体の複数の関節位置の３次元データの時系列データを生成する請求項１に記載の姿勢データ生成装置。
【請求項３】
前記生成部は、
発話文章単位で人体の複数の関節位置の３次元データの時系列データを生成する請求項１又は請求項２に記載の姿勢データ生成装置。
【請求項４】
一の発話文章単位内の３次元データであって、前記一の発話文章と繋がる他の発話文章単位内の３次元データと繋がる３次元データを補正する第１補正部を備える請求項３に記載の姿勢データ生成装置。
【請求項５】
複数のキーワードと該複数のキーワードそれぞれの意味を伝達する伝達３次元データの時系列データとを関連付けて記憶する記憶部と、
前記生成部で生成した３次元データの時系列データに対応する発話文章内で前記キーワードに対応する３次元データの時系列データを前記キーワードに関連付けられた伝達３次元データの時系列データを用いて補正する第２補正部を備える請求項３又は請求項４に記載の姿勢データ生成装置。
【請求項６】
発話音声データと人体の姿勢データとを学習データとして用いて生成してある学習器。
【請求項７】
発話音声データから抽出された発話音声のピッチ及びエネルギーそれぞれの時系列データを学習データとして用いて生成してある請求項６に記載の学習器。
【請求項８】
人体の複数の関節位置の３次元データの時系列データを学習データとして用いて生成してある請求項６又は請求項７に記載の学習器。
【請求項９】
プレゼンテーション動画から発話音声データ及び人体の姿勢データそれぞれを発話文章毎に抽出し、発話文章毎の発話音声データ及び人体の姿勢データを一組の学習データとして用いて生成してある請求項６から請求項８のいずれか一項に記載の学習器。
【請求項１０】
字幕が挿入されたプレゼンテーション動画から字幕テキスト挿入単位で発話音声データ及び人体の姿勢データそれぞれを抽出し、抽出した発話音声データ及び人体の姿勢データを一組の学習データとして用いて生成してある請求項６から請求項９のいずれか一項に記載の学習器。
【請求項１１】
プレゼンテーション動画の１フレーム毎に人体の複数の関節位置の３次元データを抽出し、抽出した３次元データの複数フレームに亘る時系列データを学習データとして用いて生成してある請求項６から請求項１０のいずれか一項に記載の学習器。
【請求項１２】
再帰型ニューラルネットワークの出力ノードに与える、人体の複数の関節位置の３次元データのプレゼンテーション動画の複数フレームに亘る時系列データと、
前記再帰型ニューラルネットワークの入力ノードに与える、前記プレゼンテーション動画の１フレームの間に所要回数サンプリングされた発話音声データの時系列データの前記複数フレームに亘る時系列データと
を学習データとして用いて生成してある請求項６から請求項１１のいずれか一項に記載の学習器。
【請求項１３】
コンピュータに、
発話音声データを取得する処理と、
発話音声データと人体の姿勢データとを学習データとして用いて生成してある学習器に、取得した発話音声データを入力して姿勢データを生成する処理と
を実行させるコンピュータプログラム。
【請求項１４】
プレゼンテーション動画から抽出された発話音声データの時系列データ及び人体の姿勢データの時系列データを有する学習データであって、
前記姿勢データは、人体の複数の関節位置の３次元データを有し、
前記複数の関節位置の３次元データのプレゼンテーション動画の複数フレームに亘る時系列データを再帰型ニューラルネットワークの出力ノードに与える処理と、
前記プレゼンテーション動画の１フレームの間に所要回数サンプリングされた発話音声データの時系列データの前記複数フレームに亘る時系列データを前記再帰型ニューラルネットワークの入力ノードに与える処理と、
前記出力ノード及び入力にノードそれぞれ与えられた前記時系列データに基づいて前記再帰型ニューラルネットワークを学習する処理と
を実行するのに用いられる学習データ。
【請求項１５】
発話音声データを取得し、
発話音声データと人体の姿勢データとを学習データとして用いて生成してある学習器に、取得した発話音声データを入力して姿勢データを生成する姿勢データ生成方法。
【請求項１６】
発話音声データ及び人体の姿勢データを取得し、
取得された発話音声データ及び人体の姿勢データを学習データとして用いる学習モデルの生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、姿勢データ生成装置、学習器、コンピュータプログラム、学習データ、姿勢データ生成方法及び学習モデルの生成方法に関する。
【背景技術】
【０００２】
近年、ロボットやアバターなどのエージェントの社会進出が進んでおり、日常生活においても、エージェントと人が接する機会が増加している。このようなエージェントの例として、プレゼンテーションを行うものがある。
【０００３】
特許文献１には、プレゼンテーションのように人と対面するためのアプリケーションを備え、腕の関節や頭の向きを回転させて姿勢を変更して信頼性の高いコミュニケーションを提供することができるサービスロボットが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２９７５３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、エージェントが、人との自然なコミュニケーションを実現するためには、自然なコミュニケーションに見えるジェスチャーを制作する必要がある。しかし、自然なジェスチャーの制作には、相当のスキルを備える制作者が必要である。また、様々な動作パターンを実現するには、予め手動でプログラムやモーションデータを制作する必要がある。このため、自然なジェスチャーの制作には、長時間の作業を要し、コストも高くなるという問題がある。
【０００６】
本発明は、斯かる事情に鑑みてなされたものであり、プレゼンテーションのジェスチャーを自動的に生成することができる姿勢データ生成装置、学習器、コンピュータプログラム、学習データ、姿勢データ生成方法及び学習モデルの生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の実施の形態に係る姿勢データ生成装置は、発話音声データと人体の姿勢データとを学習データとして用いて生成してある学習器と、発話音声データを取得する取得部と、前記取得部で取得した発話音声データ及び前記学習器に基づいて姿勢データを生成する生成部とを備える。
【０００８】
本発明の実施の形態に係る学習器は、発話音声データと人体の姿勢データとを学習データとして用いて生成してある。
【０００９】
本発明の実施の形態に係る姿コンピュータプログラムは、コンピュータに、発話音声データを取得する処理と、発話音声データと人体の姿勢データとを学習データとして用いて生成してある学習器に、取得した発話音声データを入力して姿勢データを生成する処理とを実行させる。
【００１０】
本発明の実施の形態に係る学習データは、プレゼンテーション動画から抽出された発話音声データの時系列データ及び人体の姿勢データの時系列データを有する学習データであって、前記姿勢データは、人体の複数の関節位置の３次元データを有し、前記複数の関節位置の３次元データのプレゼンテーション動画の複数フレームに亘る時系列データを再帰型ニューラルネットワークの出力ノードに与える処理と、前記プレゼンテーション動画の１フレームの間に所要回数サンプリングされた発話音声データの時系列データの前記複数フレームに亘る時系列データを前記再帰型ニューラルネットワークの入力ノードに与える処理と、前記出力ノード及び入力にノードそれぞれ与えられた前記時系列データに基づいて前記再帰型ニューラルネットワークを学習する処理とを実行するのに用いられる。
【００１１】
本発明の実施の形態に係る姿勢データ生成方法は、発話音声データを取得し、発話音声データと人体の姿勢データとを学習データとして用いて生成してある学習器に、取得した発話音声データを入力して姿勢データを生成する。
【００１２】
本発明の実施の形態に係る学習モデルの生成方法は、発話音声データ及び人体の姿勢データを取得し、取得された発話音声データ及び人体の姿勢データを学習データとして用いる。
【発明の効果】
【００１３】
本発明によれば、プレゼンテーションのジェスチャーを自動的に生成することができる。
【図面の簡単な説明】
【００１４】
【図１】本実施の形態のジェスチャー生成装置の構成の一例を示すブロック図である。
【図２】発話音声データの一例を示す模式図である。
【図３】発話音声のピッチ及びエネルギーの時系列データの一例を示す模式図である。
【図４】３次元姿勢データの一例を示す模式図である。
【図５】学習モデルの構成の一例を示す模式図である。
【図６】学習モデルによる姿勢データの出力の様子の一例を示す模式図である。
【図７】発話文章毎に生成したジェスチャーの接続方法の第１例を示す模式図である。
【図８】発話文章毎に生成したジェスチャーの接続方法の第２例を示す模式図である。
【図９】本実施の形態のジェスチャー生成装置が生成したジェスチャーの一例を示す模式図である。
【図１０】生成したジェスチャーのうち置き換えるジェスチャーの時間Ｔの算出例を示す模式図である。
【図１１】キーワードとジェスチャーデータとの関係の一例を示す説明図である。
【図１２】置き換えるジェスチャーのリサンプリング方法の一例を示す模式図である。
【図１３】リサンプリングの結果の一例を示す模式図である。
【図１４】キーワードに対応するジェスチャーで置き換えた後のジェスチャーの一例を示す模式図である。
【図１５】置き換えた後のジェスチャーの補間の一例を示す模式図である。
【図１６】本実施の形態の学習モデル生成部の構成の一例を示すブロック図である。
【図１７】発話文章を学習単位で区切る基準の一例を示す模式図である。
【図１８】学習モデルの生成方法の一例を示す模式図である。
【図１９】本実施の形態のジェスチャー生成装置によるジェスチャー生成の処理手順の一例を示すフローチャートである。
【図２０】学習モデル生成部による学習モデル生成の処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態を図面に基づいて説明する。図１は本実施の形態のジェスチャー生成装置５０の構成の一例を示すブロック図である。ジェスチャー生成装置５０は、装置全体を制御する制御部５１、取得部５２、記憶部５３、処理部５４及び生成部５７を備える。また、処理部５４は、学習器としての学習モデル５５、及び補正部５６を備える。制御部５１は、ＣＰＵ、ＲＯＭ及びＲＡＭなどで構成することができる。
【００１６】
取得部５２は、発話音声データを取得することができる。
【００１７】
図２は発話音声データの一例を示す模式図である。図２において、縦軸は波形の振幅を示し、例えば、電圧レベルで表すことができる。横軸は時間を示す。
【００１８】
制御部５１は、音声分析機能を備え、取得部５２で取得した発話音声データから発話音声のピッチ及びエネルギーを抽出することができる。
【００１９】
図３は発話音声のピッチ及びエネルギーの時系列データの一例を示す模式図である。発話音声のピッチは、音声波形の周波数であり、音声の高低を表すことができる。発話音声のエネルギーは、音声のエネルギーであり、音声の強弱を表すことができる。なお、発話音声のピッチ及びエネルギーの時系列データを纏めて音声韻律時系列データとも称する。
【００２０】
なお、取得部５２は、発話音声のピッチ及びエネルギーの時系列データを取得することもできる。この場合、制御部５１は、発話音声のピッチ及びエネルギーを抽出する必要はない。取得部５２は、例えば、外部の記憶デバイスに記憶された発話音声データ、あるいは発話音声のピッチ及びエネルギーの時系列データを読み込む機能、あるいはインターネットなどの通信ネットワークを経由して受信する機能などを備えることができる。
【００２１】
記憶部５３は、取得部５２で取得した発話音声データ、あるいは発話音声のピッチ及びエネルギーの時系列データを記憶することができる。また、記憶部５３は、複数のキーワードと当該複数のキーワードそれぞれの意味を伝達する伝達３次元データの時系列データとを関連付けて記憶する。キーワード及び伝達３次元データの詳細は後述する。
【００２２】
処理部５４は、例えば、ＣＰＵ（例えば、複数のプロセッサコアを実装したマルチ・プロセッサなど）、ＧＰＵ（Graphics Processing Units）、ＤＳＰ（Digital Signal Processors）、ＦＰＧＡ（Field-Programmable Gate Arrays）などのハードウェアを組み合わせることによって構成することができる。また、量子プロセッサを組み合わせることもできる。
【００２３】
学習モデル５５は、発話音声データと人体の姿勢データとを学習データとして用いて生成してある。例えば、プレゼンテーションを行う人の発話音声データと当該人の動きを示す姿勢データとを学習データとして用いて学習モデル５５を生成することができる。
【００２４】
より具体的には、学習モデル５５は、図３に例示した、発話音声のピッチ及びエネルギーそれぞれの時系列データを学習データとして用いて生成してある。また、学習モデル５５は、人体の複数の関節位置の３次元データの時系列データを学習データとして用いて生成してある。
【００２５】
図４は３次元姿勢データの一例を示す模式図である。図中、符号Ｐ１からＰ９は、人体の上半身の関節の位置を示す。図４では、９個の関節が図示されているが、関節の数は９個に限定されない。複数の関節位置は、プレゼンテーション時に人の動きが顕著に表れる部分を含めることができればよく、図４のように、腰、腕、肩、首、頭などを含む上半身の複数の関節の位置とすることができる。３次元データは、基準とする座標系でのｘｙｚ座標とすることができる。
【００２６】
これにより、学習モデル５５は、人の発話と当該発話に伴う体の動きとの関係性を学習することができる。また、発話の際の話し手の意思や熱意は、音声韻律、すなわち発話音声のピッチ及びエネルギーの変化となって表れる。そこで、音声韻律時系列データを学習データとして用いることにより、学習モデル５５は、意思や熱意を表現する姿勢データを出力することができる。
【００２７】
学習モデル５５は、時系列データを学習データとするものであればよく、例えば、再帰型ニューラルネットワーク（Recurrent Neural Network）とすることができるが、これに限定されない。学習モデル５５は、他の機械学習を用いたものでもよい。学習モデル５５の詳細は後述する。
【００２８】
生成部５７は、取得した発話音声データ（より具体的には、発話音声のピッチ及びエネルギーそれぞれの時系列データ）及び学習モデル５５に基づいて姿勢データを生成することができる。
【００２９】
学習モデル５５は、発話音声データと人体の姿勢データとを学習データとして用いて予め生成されているので、取得した発話音声データを学習モデル５５に入力すると、学習モデル５５は、入力された発話音声データと関連性がある姿勢データを出力する。これにより、人の発話と当該発話に伴うジェスチャー（体の動き）を生成することができ、プレゼンテーションのジェスチャーを自動的に生成することができる。また、ジェスチャー制作のコストを低減することができる。
【００３０】
図５は学習モデル５５の構成の一例を示す模式図である。学習モデル５５は、エンコーダ５５１、及びデコーダ５５２を備える。エンコーダ５５１は、入力ノードに入力された発話音声データ（具体的には、発話音声のピッチ及びエネルギーの時系列データ）をエンコードする。デコーダ５５２は、エンコードされたデータをデコードして、人体の姿勢データ（具体的には、複数の関節位置の３次元データの時系列データ）を出力ノードから出力する。
【００３１】
エンコーダ５５１、及びデコーダ５５２は、複数のＬＳＴＭ（long Short Term Memory）と称される中間層を有する。ＬＳＴＭは、記憶セル（不図示）を有し、過去の必要な時系列データを保持するとともに、次時刻のＬＳＴＭへ隠れ状態ｈｔを出力することができる。エンコーダ５５１及びデコーダ５５２は、時系列データを別の時系列データに変換することができる。図中、＜ＥＯＳ＞は、「区切り文字」であり、デコーダ５５２に時系列データの生成の開始を知らせる合図として利用されるとともに終了の合図として利用される。なお、図５では、便宜上、複数のＬＳＴＭ層を纏めて一つのＬＳＴＭで図示している。また、エンベディング（Embedding）層、全結合層などは省略している。
【００３２】
図６は学習モデル５５による姿勢データの出力の様子の一例を示す模式図である。図６の例では、便宜上、出力ノードから３フレーム分（時点ｔ、ｔ＋１、ｔ＋２とする）の３次元姿勢時系列データが出力されている。関節位置の数を９個とする、一つの関節当たりｘｙｚ座標の値が存在するので、１フレーム当たり２７個（＝９×３）のデータを有する。この場合、１フレームの間での音声韻律時系列データのサンプリング数をｎとすると、時点ｔでの音声韻律時系列データは、（Ｘ1 、…、Ｘn ）であり、時点ｔ＋１での音声韻律時系列データは、（Ｘn+1 、…、Ｘ2n ）であり、時点ｔ＋２での音声韻律時系列データは、（Ｘ2n+1 、…、Ｘ3n ）であある。ここで、Ｘは発話音声のピッチ及びエネルギーを含む物理量である。
【００３３】
生成部５７は、人体の複数の関節位置の３次元データの時系列データを生成することができる。これにより、生成部５７は、時間の経過とともに変化する、上半身の複数の関節位置を示す姿勢データを生成することができ、プレゼンテーションのジェスチャーを自動的に生成することができる。
【００３４】
また、生成部５７は、発話文章単位で人体の複数の関節位置の３次元データの時系列データを生成することができる。発話文章とは、発話の初めと終わりとで、音声と、ジェスチャーが少ない状態（基本の姿勢）となる単位である。発話文章単位で学習し、ジェスチャーを生成することにより、生成後のジェスチャーを接続した場合に、接続箇所の前後のジェスチャーの動きが急に変わることを避けることができる。
【００３５】
発話文章単位内では体の動きが滑らかであっても、発話文章間では、体の動きが滑らかにならない場合があり、生成されたジェスチャーが発話文章間で不自然になる可能性がある。以下では、発話文章間のジェスチャーを滑らかにする方法について説明する。
【００３６】
図７は発話文章毎に生成したジェスチャーの接続方法の第１例を示す模式図である。図７に示すように、発話文章が、「月の表面にある1個のオレンジを」という発話文章単位Ｓ１と、発話文章単位Ｓ１に繋がる「観測するのと同じ位小さいのです」という発話文章単位Ｓ２とする。発話文章単位Ｓ１の音声韻律時系列データが学習モデル５５に入力され、生成部５７が複数のジェスチャー（複数の関節位置の３次元データの時系列データ）を生成する。図７に示すように、発話文章単位Ｓ１の最後から２番目のジェスチャーと、最後のジェスチャーをＧ１２、Ｇ１１と表す。
【００３７】
同様に、発話文章単位Ｓ２の音声韻律時系列データが学習モデル５５に入力され、生成部５７が複数のジェスチャー（複数の関節位置の３次元データの時系列データ）を生成する。図７に示すように、発話文章単位Ｓ２の最初のジェスチャーと、その次のジェスチャーをＧ２１、Ｇ２２と表す。
【００３８】
補正部５６は、第１補正部としての機能を有し、一の発話文章単位内の３次元データであって、一の発話文章と繋がる他の発話文章単位内の３次元データと繋がる３次元データを補正する。
【００３９】
図７の例では、補正部５６による補正後のジェスチャーを、接続後のジェスチャーとして図示している。図７に示すように、ジェスチャーＧ１１の補正後のジェスチャーは、ジェスチャーＧ１１とＧ２１との線形補間を行って生成することができる。具体的には、ジェスチャーＧ１１のデータに対して３４％の重み付けを行い、ジェスチャーＧ２１のデータに対して６６％の重み付けを行い、重み付けしたジェスチャーＧ１１及びＧ２１のデータの和を、ジェスチャーＧ１１の補正後のジェスチャーとする。
【００４０】
ジェスチャーＧ１２の補正後のジェスチャーは、ジェスチャーＧ１２とＧ２１との線形補間を行って生成することができる。具体的には、ジェスチャーＧ１２のデータに対して６７％の重み付けを行い、ジェスチャーＧ２１のデータに対して３３％の重み付けを行い、重み付けしたジェスチャーＧ１２及びＧ２１のデータの和を、ジェスチャーＧ１２の補正後のジェスチャーとする。
【００４１】
ジェスチャーＧ２１の補正、及びジェスチャーＧ２２の補正も同様にして行うことができる。なお、図７の例では、ジェスチャーＧ１２及びＧ１１の補正と、ジェスチャーＧ２１及びＧ２２の補正を行っているが、これに限定されるものではなく、ジェスチャーＧ１２及びＧ１１、またはジェスチャーＧ２１及びＧ２２のいずれか一方だけを補正してもよい。また、重み付けの割合（％）は一例であって、図７の例に限定されない。
【００４２】
発話文章単位内では、自然な動き、滑らかな動きを示す姿勢データを生成することができる。しかし、発話文章と次の発話文章との間では、姿勢データの時間的変化が大きくなり、不自然なジェスチャーが生成される可能性がある。そこで、図７に示すように、発話文章が繋がる箇所の姿勢データを補正することにより、発話文章間の姿勢データの変化を滑らかにして、自然なジェスチャーを生成することができる。
【００４３】
図８は発話文章毎に生成したジェスチャーの接続方法の第２例を示す模式図である。図７の例では、発話文章単位Ｓ１内の最後の２つのジェスチャー、及び発話文章単位Ｓ２内の最初の２つのジェスチャーを補正する構成であったが、図８では、発話文章単位Ｓ１内の最後のジェスチャー、及び発話文章単位Ｓ２内の最初のジェスチャーを補正する。
【００４４】
図８に示すように、ジェスチャーＧ１１のデータに対して５０％の重み付けを行い、ジェスチャーＧ２１のデータに対して５０％の重み付けを行い、重み付けしたジェスチャーＧ１１及びＧ２１のデータの和を、ジェスチャーＧ１１の補正後のジェスチャーとする。ジェスチャーＧ２１の補正も同様である。また、ジェスチャーＧ１１又はＧ２１のいずれか一方だけを補正してもよい。また、重み付けの割合（％）は一例であって、図８の例に限定されない。
【００４５】
次に、単語の意味を表現するジェスチャーを用いた補正例について説明する。
【００４６】
図９は本実施の形態のジェスチャー生成装置５０が生成したジェスチャーの一例を示す模式図である。図９に示すジェスチャーは、発話文「銀河の中心には大きな象がいる」から抽出した音声韻律時系列データによって生成されたジェスチャーであり、便宜上、１０フレーム分のジェスチャーを図示している。
【００４７】
補正部５６は、発話文の中に特定の単語（「キーワード」とも称する）があるか否かを判定し、キーワードがある場合、当該キーワードの発話タイミングを特定する。発話タイミングは、キーワードの発話の開始時点と終了時点とによって決定することができる。なお、発話の開始時点と発話の長さでもよい。
【００４８】
図１０は生成したジェスチャーのうち置き換えるジェスチャーの時間Ｔの算出例を示す模式図である。図１０に示すように、補正部５６は、生成されたジェスチャーの中で置き換えるジェスチャーの最初の時点と最後の時点とを決定する。最初の時点は、発話時間の開始時点からｔ１秒前の時点とすることができる。ｔ１は、例えば、６４５ミリ秒とすることができるが、これに限定されない。ｔ１は、単語の発話に先んじて体の動きが開始する時間とすることができる。また、最後の時点は、発話時間の終了時点からｔ２秒後の時点とすることができる。ｔ２は、例えば、５５５ミリ秒とすることができるが、これに限定されない。ｔ２は、単語の発話終了後に体の動きが終了する時間とすることができる。
【００４９】
補正部５６は、置き換えるジェスチャーの時間Ｔを、フレームレート（各フレームが表示される時間、すなわち、ｆｐｓの逆数）で除算して、置き換えるジェスチャーのフレーム数Ｆを算出する。
【００５０】
図１１はキーワードとジェスチャーデータとの関係の一例を示す説明図である。キーワードは、例えば、「大きい」、「小さい」、「食べる」、「笑う」、「長い」などのように、そのキーワードの意味を表現する動きに特徴があり、情報伝達を目的とする動きに関連する単語である。ジェスチャーデータは、対応するキーワードを発話する際の体の動きを表現するジェスチャーの時系列データである。例えば、人が「大きい」と発話する場合、体の動きを、ｇ１、ｇ２、ｇ３、ｇ４、ｇ５の５つのジェスチャーで表すことができる。キーワードとジェスチャーデータとの関係は、記憶部５３に記憶することができる。
【００５１】
図１２は置き換えるジェスチャーのリサンプリング方法の一例を示す模式図である。図１２に示すように、「大きい」というキーワードを表現するジェスチャーをｇ１、ｇ２、ｇ３、ｇ４、ｇ５の５つのジェスチャーとする。補正部５６は、リサンプリングのサンプリング間隔Δｔを算出する。サンプリング間隔Δｔは、ジェスチャーをｇ１の開始時点からジェスチャーｇ５の終了時点までの時間を（Ｆ−１）で除算して求めることができる。ここで、Ｆは置き換えるジェスチャーのフレーム数である。図１２の例では、ジェスチャーをｇ１の開始時点からジェスチャーｇ５の終了時点までの時間を３つの間隔で分けられている。
【００５２】
サンプリングされたジェスチャーは、Ｇ１、Ｇ２、Ｇ３、Ｇ４となる。ジェスチャーＧ１は、ジェスチャーｇ１をそのまま使用する。ジェスチャーＧ４は、ジェスチャーｇ５をそのまま使用する。ジェスチャーＧ２は、サンプリングのタイミングに応じて、ジェスチャーｇ２とｇ３とを線形補間したものを使用する。ジェスチャーＧ３は、サンプリングのタイミングに応じて、ジェスチャーｇ３とｇ４とを線形補間したものを使用する。これにより、サンプリングしたジェスチャーＧ１〜Ｇ４の変化が滑らかになり自然な動きとすることができる。
【００５３】
図１３はリサンプリングの結果の一例を示す模式図である。「大きい」を表現するジェスチャーｇ１、ｇ２、ｇ３、ｇ４、ｇ５が、４つのジェスチャーＧ１、Ｇ２、Ｇ３、Ｇ４にリサンプリングされている。
【００５４】
図１４はキーワードに対応するジェスチャーで置き換えた後のジェスチャーの一例を示す模式図である。キーワード（図１４の例では、「大きな」）の発話の開始時点よりｔ１秒前の時点を始点として、元のジェスチャーが４つのジェスチャーＧ１、Ｇ２、Ｇ３、Ｇ４で置き換えられている。なお、置き換えたジェスチャーのうちの最初のジェスチャーＧ１とジェスチャーＧ１の前のジェスチャーの変化が滑らかでない可能性もある。同様に、置き換えたジェスチャーのうち最後のジェスチャーＧ４とジェスチャーＧ４の後のジェスチャーの変化が滑らかでない可能性もある。そこで、以下のように、ジェスチャーの補間を行うことができる。
【００５５】
図１５は置き換えた後のジェスチャーの補間の一例を示す模式図である。図１５の例では、置き換えたジェスチャーＧ１によりも前にある２つのジェスチャーを線形補間している。具体的には、ジェスチャーＧ１の１つ前のジェスチャーは、２つ前のジェスチャーよりもジェスチャーＧ１の重みを大きくすることができる。また、置き換えたジェスチャーＧ４によりも後ろある２つのジェスチャーを線形補間している。具体的には、ジェスチャーＧ４の１つ後ろのジェスチャーは、２つ後ろのジェスチャーよりもジェスチャーＧ４の重みを大きくすることができる。
【００５６】
上述のように、補正部５６は、第２補正部としての機能を有し、生成部５７で生成した３次元データの時系列データに対応する発話文章内でキーワード（例えば、「大きい」に対応する３次元データの時系列データを、当該キーワードに関連付けられた伝達３次元データの時系列データ（ｇ１〜ｇ５、あるいはＧ１〜Ｇ４など）を用いて補正することができる。伝達３次元データの時系列データは、例えば、キーワードを表現する体の動きを表す３次元データの時間的変化を示すデータである。これにより、発話文章内の単語の意味を表現する動きでジェスチャーを補正することができるので、情報伝達を伴う動きを含む自然なジェスチャーを生成することができる。
【００５７】
次に、学習モデル５５の生成方法について説明する。
【００５８】
図１６は本実施の形態の学習モデル生成部６０の構成の一例を示すブロック図である。学習モデル生成部６０は、ジェスチャー生成装置５０に組み込んでもよく、あるいは別の学習用サーバに組み込んでもよい。学習モデル生成部６０は、プレゼンテーション動画取得部６１、発話音声データ抽出部６２、フレーム画像抽出部６３、ピッチ及びエネルギー抽出部６４、２次元姿勢抽出部６５、及び３次元姿勢推定部６６を備える。
【００５９】
プレゼンテーション動画取得部６１は、プレゼンテーション動画を取得する。学習用のデータを大量に集めるため、例えば、ウェブ上で誰もが使用可能に開示されているプレゼンテーション動画を用いることができる。
【００６０】
発話音声データ抽出部６２は、プレゼンテーション動画から発話音声データを抽出する。ピッチ及びエネルギー抽出部６４は、音声分析機能を備え、発話音声データから、所要のサンプリング周期で発話音声のエネルギー及びピッチを抽出することができる。ピッチ及びエネルギー抽出部６４で抽出された音声韻律時系列データは、学習データとして学習モデル５５の入力ノードに与えられる。
【００６１】
フレーム画像抽出部６３は、プレゼンテーション動画からフレーム単位で画像を抽出する。２次元姿勢抽出部６５は、各フレームの画像から人間の顔、腕、足などの部位を特定し、特定した各部位を繋げて、複数の関節の２次元座標（２次元姿勢情報ともいう）を抽出する。
【００６２】
３次元姿勢推定部６６は、予め２次元姿勢情報と３次元姿勢情報とを対応付けたデータベースを備えており、２次元姿勢抽出部６５で抽出した２次元姿勢情報に基づいて、最も近い３次元姿勢情報を推定する。３次元姿勢情報は、複数の関節の３次元座標を含む。３次元姿勢推定部６６は、図４に例示した３次元姿勢データをフレーム単位で抽出することができる。３次元姿勢推定部６６で抽出した３次元姿勢時系列データは、学習データとして学習モデル５５の出力ノードに与えられる。
【００６３】
上述のように、学習モデル５５は、発話音声データから抽出された発話音声のピッチ及びエネルギーそれぞれの時系列データを学習データとして用いて生成することができる。発話音声のピッチは、音声波形の周波数であり、音声の高低を表すことができる。発話音声のエネルギーは、音声のエネルギーであり、音声の強弱を表すことができる。なお、発話音声のピッチ及びエネルギーの時系列データを纏めて音声韻律時系列データとも称する。
【００６４】
発話の際の話し手の意思や熱意は、音声韻律、すなわち発話音声のピッチ及びエネルギーの変化となって表れる。そこで、音声韻律時系列データを学習データとして用いることにより、学習モデル５５は、意思や熱意を表現する姿勢データを出力することができる。
【００６５】
学習モデル５５は、人体の複数の関節位置の３次元データの時系列データを学習データとして用いて生成することができる。複数の関節位置は、プレゼンテーション時に人の動きが顕著に表れる部分を含めることができればよく、例えば、上半身の複数の関節の位置とすることができる。３次元データは、基準とする座標系でのｘｙｚ座標とすることができる。
【００６６】
プレゼンテーション動画から発話音声データ及び人体の姿勢データそれぞれを発話文章毎に抽出し、学習モデル５５は、発話文章毎の発話音声データ及び人体の姿勢データを一組の学習データとして用いて生成することができる。発話文章とは、発話の初めと終わりとで、音声と、ジェスチャーが少ない状態（基本の姿勢）となる単位である。発話文章単位で学習し、ジェスチャーを生成することにより、生成後のジェスチャーを接続した場合に、接続箇所の前後のジェスチャーの動きが急に変わることを避けることができる。
【００６７】
プレゼンテーション動画の１フレーム毎に人体の複数の関節位置の３次元データを抽出し、学習モデル５５は、抽出した３次元データの複数フレームに亘る時系列データを学習データとして用いて生成することができる。プレゼンテーション動画が、１秒当たり１０フレームの画像で構成されている場合（１０ｆｐｓ）、１０フレームに亘る時系列データを学習データとして用いることにより、１秒間のジェスチャーを生成することができる。これにより、所要の時間のジェスチャーを生成することができる。
【００６８】
字幕が挿入されたプレゼンテーション動画から字幕テキスト挿入単位で発話音声データ及び人体の姿勢データそれぞれを抽出し、学習モデル５５は、抽出した発話音声データ及び人体の姿勢データを一組の学習データとして用いて生成することができる。
【００６９】
図１７は発話文章を学習単位で区切る基準の一例を示す模式図である。図１７は字幕情報の要部を図示したものであり、字幕は複数の字幕テキストに区分され、それぞれの字幕テキストの挿入開始時点を示す開始時刻、挿入時間を示す時間長が対応付けて記録されている。例えば、プレゼンテーション動画の中で、字幕テキストＴｅｘｔ１は、時刻０．００に表示開始され、２．００秒間表示される。また、字幕テキストＴｅｘｔ２は、時刻２．００に表示開始され、１．４５秒間表示される。他の字幕テキストも同様である。
【００７０】
字幕テキスト挿入単位のデータを一組の学習データとすることにより、体の動きが滑らかな時間内の音声発話データと姿勢データとを用いて学習できるので、学習モデル５５は、体の動きが滑らかな時間内での姿勢データを生成することができ、発話音声に連動した自然なジェスチャーを生成することができる。
【００７１】
図１８は学習モデル５５の生成方法の一例を示す模式図である。図１８に示すように、再帰型ニューラルネットワークの出力ノードに、人体の複数の関節位置の３次元データのプレゼンテーション動画の複数フレーム（図１８の例では、発話文章単位となる３フレーム分）に亘る時系列データを与え、再帰型ニューラルネットワークの入力ノードに、当該プレゼンテーション動画の１フレームの間に所要回数（図１８の例では、４０回）サンプリングされた発話音声データの時系列データの当該複数フレーム（３フレーム分）に亘る時系列データを与えて、学習モデルを生成することができる。
【００７２】
例えば、プレゼンテーション動画のフレーム数を３とし、フレームの時点をｔ、ｔ＋１、ｔ＋２とする。再帰型ニューラルネットワークの出力ノードには、時点ｔ、ｔ＋１、ｔ＋２それぞれの３次元データが与えられる。発話音声データの１フレーム当たりのサンプリング数をｎ（図１８の例では、ｎ＝４０）とすると、再帰型ニューラルネットワークの入力ノードには、時点ｔに対応して、（Ｘ1 、…、Ｘn ）の発話音声データの時系列データが与えられ、時点ｔ＋１に対応して、（Ｘn+1、…、Ｘ2n）の発話音声データの時系列データが与えられ、時点ｔ＋２に対応して、（Ｘ2n+1、…、Ｘ3n）の発話音声データの時系列データが与えられる。
【００７３】
これにより、発話（発話の韻律）と体の動きの情報との関連性を学習することができ、発話（発話の韻律）に合わせたジェスチャーを生成することができる。
【００７４】
図１９は本実施の形態のジェスチャー生成装置５０によるジェスチャー生成の処理手順の一例を示すフローチャートである。以下では、便宜上、処理の主体を制御部５１として説明する。制御部５１は、発話音声データを取得し（Ｓ１１）、発話文章毎に所要のサンプリング周期で発話音声のピッチ及びエネルギーを抽出する（Ｓ１２）。
【００７５】
制御部５１は、音声韻律時系列データを学習モデル５５に入力し（Ｓ１３）、３次元姿勢時系列データを出力する（Ｓ１４）。制御部５１は、一の発話文章と繋がる他の発話文章、及び当該一の発話文章の少なくとも一方の３次元姿勢データを補正する（Ｓ１５）。
【００７６】
制御部５１は、発話文章の中にキーワードがあるか否かを判定し（Ｓ１６）、キーワードがある場合（Ｓ１６でＹＥＳ）、キーワードに関連付けられたジェスチャーデータを用いて、キーワードに対応する３次元姿勢データを補正し（Ｓ１７）、後述のステップＳ１８の処理を行う。
【００７７】
発話文章の中にキーワードがない場合（Ｓ１６でＮＯ）、制御部５１は、処理を終了するか否かを判定し（Ｓ１８）、処理を終了しない場合（Ｓ１８でＮＯ）、ステップＳ１２以降の処理を続け、処理を終了する場合（Ｓ１８でＹＥＳ）、処理を終了する。
【００７８】
図２０は学習モデル生成部６０による学習モデル生成の処理手順の一例を示すフローチャートである。学習モデル生成部６０は、プレゼンテーション動画を取得し（Ｓ３１）、字幕テキスト挿入単位で発話音声データ及びフレーム画像を抽出する（Ｓ３２）。学習モデル生成部６０は、発話音声データから発話音声のピッチ及びエネルギーの時系列データ（音声韻律時系列データ）を抽出し（Ｓ３３）、フレーム画像から２次元姿勢情報を抽出し、３次元姿勢情報を推定する（Ｓ３４）。
【００７９】
学習モデル生成部６０は、推定した３次元姿勢情報に基づいて３次元姿勢時系列データを抽出し（Ｓ３５）、音声韻律時系列データ及び３次元姿勢時系列データを学習データとして用いて学習モデル５５を生成し（Ｓ３６）、処理を終了する。
【００８０】
本実施の形態のジェスチャー生成装置５０又は学習モデル生成部６０は、ＣＰＵ（プロセッサ）、ＧＰＵ、ＲＡＭ（メモリ）などを備えた汎用コンピュータを用いて実現することもできる。すなわち、図１９又は図２０に示すような、各処理の手順を定めたコンピュータプログラムをコンピュータに備えられたＲＡＭ（メモリ）にロードし、コンピュータプログラムをＣＰＵ（プロセッサ）で実行することにより、コンピュータ上でジェスチャー生成装置５０又は学習モデル生成部６０を実現することができる。コンピュータプログラムは記録媒体に記録され流通されてもよく、あるいは、ネットワークを介して、ジェスチャー生成装置５０にインストールされてもよい。
【００８１】
本実施の形態によれば、発話音声に連動した自然なジェスチャーを自動的に生成することができ、ジェスチャー制作に要するコストを低減することができる。
【００８２】
また、本実施の形態によれば、学習モデル５５の生成に用いるプレゼンテーション動画に応じて、生成するジェスチャーから受ける印象を変えることができる。例えば、使用するプレゼンテーション動画に多数の話者が含まれる場合、話者の個性が平均化され、生成されるジェスチャーも平均的なものとすることができる。逆に特定の話者のプレゼンテーション動画を用いて学習モデルを生成した場合、個性が反映させたジェスチャーを生成することができる。
【００８３】
本実施の形態の姿勢データ生成装置は、発話音声データと人体の姿勢データとを学習データとして用いて生成してある学習器と、発話音声データを取得する取得部と、前記取得部で取得した発話音声データ及び前記学習器に基づいて姿勢データを生成する生成部とを備える。
【００８４】
本実施の形態の学習器は、発話音声データと人体の姿勢データとを学習データとして用いて生成してある。
【００８５】
本実施の形態のコンピュータプログラムは、コンピュータに、発話音声データを取得する処理と、発話音声データと人体の姿勢データとを学習データとして用いて生成してある学習器に、取得した発話音声データを入力して姿勢データを生成する処理とを実行させる。
【００８６】
本実施の形態の姿勢データ生成方法は、発話音声データを取得し、発話音声データと人体の姿勢データとを学習データとして用いて生成してある学習器に、取得した発話音声データを入力して姿勢データを生成する。
【００８７】
本実施の形態の学習モデルの生成方法は、発話音声データ及び人体の姿勢データを取得し、取得された発話音声データ及び人体の姿勢データを学習データとして用いる。
【００８８】
学習器（学習モデル）は、発話音声データと人体の姿勢データとを学習データとして用いて生成してある。例えば、プレゼンテーションを行う人の発話音声データと当該人の動きを示す姿勢データとを学習データとして用いて学習器を生成することができる。これにより、学習器は、人の発話と当該発話に伴う体の動きとの関係性を学習することができる。学習器は、時系列データを学習データとするものであればよく、例えば、再帰型ニューラルネットワーク（Recurrent Neural Network）とすることができるが、これに限定されない。
【００８９】
取得部は、発話音声データを取得し、生成部は、取得した発話音声データ及び学習器に基づいて姿勢データを生成する。学習器は、発話音声データと人体の姿勢データとを学習データとして用いて予め生成されているので、取得した発話音声データを学習器に入力すると、学習器は、入力された発話音声データと関連性がある姿勢データを出力する。これにより、人の発話と当該発話に伴うジェスチャー（体の動き）を生成することができ、プレゼンテーションのジェスチャーを自動的に生成することができる。また、ジェスチャー制作のコストを低減することができる。
【００９０】
本実施の形態の姿勢データ生成装置において、前記生成部は、人体の複数の関節位置の３次元データの時系列データを生成する。
【００９１】
本実施の形態の学習器は、人体の複数の関節位置の３次元データの時系列データを学習データとして用いて生成してある。
【００９２】
学習器は、人体の複数の関節位置の３次元データの時系列データを学習データとして用いて生成してある。複数の関節位置は、プレゼンテーション時に人の動きが顕著に表れる部分を含めることができればよく、例えば、上半身の複数の関節の位置とすることができる。３次元データは、基準とする座標系でのｘｙｚ座標とすることができる。
【００９３】
生成部は、人体の複数の関節位置の３次元データの時系列データを生成する。これにより、生成部は、時間の経過とともに変化する、上半身の複数の関節位置を示す姿勢データを生成することができ、プレゼンテーションのジェスチャーを自動的に生成することができる。
【００９４】
本実施の形態の姿勢データ生成装置において、前記生成部は、発話文章単位で人体の複数の関節位置の３次元データの時系列データを生成する。
【００９５】
本実施の形態の学習器は、プレゼンテーション動画から発話音声データ及び人体の姿勢データそれぞれを発話文章毎に抽出し、発話文章毎の発話音声データ及び人体の姿勢データを一組の学習データとして用いて生成してある。
【００９６】
学習器は、プレゼンテーション動画から発話音声データ及び人体の姿勢データそれぞれを発話文章毎に抽出し、発話文章毎の発話音声データ及び人体の姿勢データを一組の学習データとして用いて生成してある。発話文章とは、発話の初めと終わりとで、音声と、ジェスチャーが少ない状態（基本の姿勢）となる単位である。発話文章単位で学習し、ジェスチャーを生成することにより、生成後のジェスチャーを接続した場合に、接続箇所の前後のジェスチャーの動きが急に変わることを避けることができる。
【００９７】
生成部は、発話文章単位で人体の複数の関節位置の３次元データの時系列データを生成する。これにより、体の動きが滑らかな時間内での姿勢データを生成することができ、発話音声に連動した自然なジェスチャーを生成することができる。
【００９８】
本実施の形態の姿勢データ生成装置は、一の発話文章単位内の３次元データであって、前記一の発話文章と繋がる他の発話文章単位内の３次元データと繋がる３次元データを補正する第１補正部を備える。
【００９９】
第１補正部は、一の発話文章単位内の３次元データであって、一の発話文章と繋がる他の発話文章単位内の３次元データと繋がる３次元データを補正する。発話文章単位内では、自然な動き、滑らかな動きを示す姿勢データを生成することができる。しかし、発話文章と次の発話文章との間では、姿勢データの時間的変化を大きくなり、不自然なジェスチャーが生成される可能性がある。そこて、発話文章が繋がる箇所の姿勢データを補正することにより、発話文章間の姿勢データの変化を滑らかにして、自然なジェスチャーを生成することができる。
【０１００】
本実施の形態の姿勢データ生成装置は、複数のキーワードと該複数のキーワードそれぞれの意味を伝達する伝達３次元データの時系列データとを関連付けて記憶する記憶部と、前記生成部で生成した３次元データの時系列データに対応する発話文章内で前記キーワードに対応する３次元データの時系列データを前記キーワードに関連付けられた伝達３次元データの時系列データを用いて補正する第２補正部を備える。
【０１０１】
記憶部は、複数のキーワードと当該複数のキーワードそれぞれの意味を伝達する伝達３次元データの時系列データとを関連付けて記憶する。キーワードは、そのキーワードの意味を表現する動きに特徴がある情報伝達を目的とする動きに関連する単語であり、例えば、「大きい」、「小さい」、「食べる」、「笑う」などの単語を含む。伝達３次元データの時系列データは、例えば、キーワードを表現する体の動きを表す３次元データの時間的変化を示すデータである。
【０１０２】
第２補正部は、生成部で生成した３次元データの時系列データに対応する発話文章内でキーワードに対応する３次元データの時系列データを、当該キーワードに関連付けられた伝達３次元データの時系列データを用いて補正する。これにより、発話文章内の単語の意味を表現する動きでジェスチャーを補正することができるので、情報伝達を伴う動きを含む自然なジェスチャーを生成することができる。
【０１０３】
本実施の形態の学習器は、発話音声データから抽出された発話音声のピッチ及びエネルギーそれぞれの時系列データを学習データとして用いて生成してある。
【０１０４】
学習器は、発話音声データから抽出された発話音声のピッチ及びエネルギーそれぞれの時系列データを学習データとして用いて生成してある。発話音声のピッチは、音声波形の周波数であり、音声の高低を表すことができる。発話音声のエネルギーは、音声のエネルギーであり、音声の強弱を表すことができる。なお、発話音声のピッチ及びエネルギーの時系列データを纏めて音声韻律時系列データとも称する。
【０１０５】
発話の際の話し手の意思や熱意は、音声韻律、すなわち発話音声のピッチ及びエネルギーの変化となって表れる。そこで、音声韻律時系列データを学習データとして用いることにより、学習器は、意思や熱意を表現する姿勢データを出力することができる。
【０１０６】
本実施の形態の学習器は、字幕が挿入されたプレゼンテーション動画から字幕テキスト挿入単位で発話音声データ及び人体の姿勢データそれぞれを抽出し、抽出した発話音声データ及び人体の姿勢データを一組の学習データとして用いて生成してある。
【０１０７】
学習器は、字幕が挿入されたプレゼンテーション動画から字幕テキスト挿入単位で発話音声データ及び人体の姿勢データそれぞれを抽出し、抽出した発話音声データ及び人体の姿勢データを一組の学習データとして用いて生成してある。字幕テキスト挿入単位のデータを一組の学習データとすることにより、体の動きが滑らかな時間内の音声発話データと姿勢データとにより学習できるので、学習器は、体の動きが滑らかな時間内での姿勢データを生成することができ、発話音声に連動した自然なジェスチャーを生成することができる。
【０１０８】
本実施の形態の学習器は、プレゼンテーション動画の１フレーム毎に人体の複数の関節位置の３次元データを抽出し、抽出した３次元データの複数フレームに亘る時系列データを学習データとして用いて生成してある。
【０１０９】
学習器は、プレゼンテーション動画の１フレーム毎に人体の複数の関節位置の３次元データを抽出し、抽出した３次元データの複数フレームに亘る時系列データを学習データとして用いて生成してある。プレゼンテーション動画が、１秒当たり１０フレームの画像で構成されている場合（１０ｆｐｓ）、１０フレームに亘る時系列データを学習データとして用いることにより、１秒間のジェスチャーを生成することができる。これにより、所要の時間のジェスチャーを生成することができる。
【０１１０】
本実施の形態の学習器は、再帰型ニューラルネットワークの出力ノードに与える、人体の複数の関節位置の３次元データのプレゼンテーション動画の複数フレームに亘る時系列データと、前記再帰型ニューラルネットワークの入力ノードに与える、前記プレゼンテーション動画の１フレームの間に所要回数サンプリングされた発話音声データの時系列データの前記複数フレームに亘る時系列データとを学習データとして用いて生成してある。
【０１１１】
本実施の形態の学習データは、プレゼンテーション動画から抽出された発話音声データの時系列データ及び人体の姿勢データの時系列データを有する学習データであって、前記姿勢データは、人体の複数の関節位置の３次元データを有し、前記複数の関節位置の３次元データのプレゼンテーション動画の複数フレームに亘る時系列データを再帰型ニューラルネットワークの出力ノードに与える処理と、前記プレゼンテーション動画の１フレームの間に所要回数サンプリングされた発話音声データの時系列データの前記複数フレームに亘る時系列データを前記再帰型ニューラルネットワークの入力ノードに与える処理と、前記出力ノード及び入力にノードそれぞれ与えられた前記時系列データに基づいて前記再帰型ニューラルネットワークを学習する処理とを実行するのに用いられる。
【０１１２】
学習器は、再帰型ニューラルネットワークの出力ノードに与える、人体の複数の関節位置の３次元データのプレゼンテーション動画の複数フレームに亘る時系列データと、再帰型ニューラルネットワークの入力ノードに与える、当該プレゼンテーション動画の１フレームの間に所要回数サンプリングされた発話音声データの時系列データの当該複数フレームに亘る時系列データとを学習データとして用いて生成してある。
【０１１３】
例えば、プレゼンテーション動画のフレーム数を３とし、フレームの時点をｔ、ｔ＋１、ｔ＋２とする。再帰型ニューラルネットワークの出力ノードには、時点ｔ、ｔ＋１、ｔ＋２それぞれの３次元データが与えられる。発話音声データの１フレーム当たりのサンプリング数をｎとすると、再帰型ニューラルネットワークの入力ノードには、時点ｔに対応して、（Ｘ1 、…、Ｘn ）の発話音声データの時系列データが与えられ、時点ｔ＋１に対応して、（Ｘn+1、…、Ｘ2n）の発話音声データの時系列データが与えられ、時点ｔ＋２に対応して、（Ｘ2n+1、…、Ｘ3n）の発話音声データの時系列データが与えられる。
【０１１４】
これにより、発話（発話の韻律）と体の動きの情報との関連性を学習することができ、発話（発話の韻律）に合わせたジェスチャーを生成することができる。
【符号の説明】
【０１１５】
５０  ジェスチャー生成装置
５１  制御部
５２  取得部
５３  記憶部
５４  処理部
５５  学習モデル
５５１  エンコーダ
５５２  デコーダ
５６  補正部
５７  生成部
６０  学習モデル生成部
６１  プレゼンテーション動画取得部
６２  発話音声データ抽出部
６３  フレーム画像抽出部
６４  ピッチ及びエネルギー抽出部
６５  ２次元姿勢抽出部
６６  ３次元姿勢推定部
【図１】
2020082246.tif 000003
【図２】
2020082246.tif 000004
【図３】
2020082246.tif 000005
【図４】
2020082246.tif 000006
【図５】
2020082246.tif 000007
【図６】
2020082246.tif 000008
【図７】
2020082246.tif 000009
【図８】
2020082246.tif 000010
【図９】
2020082246.tif 000011
【図１０】
2020082246.tif 000012
【図１１】
2020082246.tif 000013
【図１２】
2020082246.tif 000014
【図１３】
2020082246.tif 000015
【図１４】
2020082246.tif 000016
【図１５】
2020082246.tif 000017
【図１６】
2020082246.tif 000018
【図１７】
2020082246.tif 000019
【図１８】
2020082246.tif 000020
【図１９】
2020082246.tif 000021
【図２０】
2020082246.tif 000022