(57)【要約】【課題】エージェントの頭部動作をより自然にすることができる頭部動作生成装置を提供する。【解決手段】頭部動作生成装置１５０は、音声認識装置１７４と、音声認識装置１７４が出力するテキストの談話機能を、テキストの言語特徴と頷きの生起確率とを基に定められた相槌、句境界、及びその他からなる３種類の談話機能クラスのいずれかに分類し、談話機能クラス情報を出力する発話分類部１７６と、発話分類部１７６が出力する談話機能クラス情報に応答して、各談話機能クラスに対応する発話時の実際の人間の頭部動作に基づいて得られた頭部動作の分布からサンプリングすることにより、各談話機能クラスに対応する頭部動作情報を生成するための頷きパラメータ算出部１８４を含む。【選択図】図８
2018136807.tif 000002
【特許請求の範囲】
【請求項１】
音声認識装置と、
前記音声認識装置が出力するテキストの談話機能を、当該テキストの言語特徴と頷きの生起確率とを基に定められた少なくとも３種類の談話機能クラスのいずれかに分類し、談話機能クラス情報を出力するための分類手段と、
前記分類手段が出力する前記談話機能クラス情報に応答して、各談話機能クラスに対応する発話時の実際の人間の頭部動作に基づいて得られた頭部動作の分布からサンプリングすることにより、各談話機能クラスに対応する頭部動作情報を生成するための頭部動作情報生成手段とを含む、頭部動作生成装置。
【請求項２】
前記少なくとも３種類の前記談話機能クラスは、相槌、句境界、及びその他、の談話機能クラスを含み、
前記頭部動作情報生成手段は、前記分類手段が出力する前記談話機能クラス情報が相槌または句境界を示すものであることに応答して、人間の実際の相槌及び句境界の発話時の頭部動作に基づいて得られた頭部動作の分布からサンプリングすることにより、それぞれ相槌及び句境界に対応するエージェントの頷き動作情報を生成するための頷き動作情報生成手段を含む、請求項１に記載の頭部動作生成装置。
【請求項３】
前記頷き動作情報は、頷き動作周波数及び頷き角度を含む、請求項２に記載の頭部動作生成装置。
【請求項４】
前記頷き動作情報生成手段は、
実際の人間が相槌発話を行ったときの音声信号のパワー変化率と頷き動作周波数の２次元分布を表す第１の２次元分布情報を記憶する第１の分布情報記憶手段と、
実際の人間が句境界発話を行ったときの頷き動作周波数を表す分布情報を記憶する第２の分布情報記憶手段と、
実際の人間が相槌発話又は句境界発話を行ったときの頷き動作周波数と頷き角度との２次元分布を表す第２の２次元情報を記憶する第３の分布情報記憶手段と、
前記談話機能クラスが相槌であることに応答して、前記パワー変化率を算出し、前記第１の分布情報記憶手段に記憶された前記第１の２次元分布情報に基き、当該算出されたパワー変化率に対応する頷き動作周波数の分布から頷き動作周波数をサンプリングするための第１のサンプリング手段と、
前記談話機能クラスが句境界であることに応答して、前記第２の分布情報記憶手段に記憶された前記分布情報から頷き動作周波数をサンプリングする第２のサンプリング手段と、
前記第１のサンプリング手段又は前記第２のサンプリング手段によりサンプリングされた頷き動作周波数に基を用い、前記第３の分布情報記憶手段に記憶された前記第２の２次元分布に基き、当該頷き動作周波数に対応する分布から前記頷き角度をサンプリングするための第３のサンプリング手段と、
前記第１のサンプリング手段又は前記第２のサンプリング手段によりサンプリングされた頷き動作周波数と、前記第３のサンプリング手段によりサンプリングされた頷き角度とを前記頷き動作情報として出力するための出力手段とを含む、請求項３に記載の頭部動作生成装置。
【請求項５】
前記第２の分布情報記憶手段に記憶された前記分布情報は、実際の人間の句境界発話の際の頷き動作周波数の分布を近似したガンマ分布の情報であり、
前記第２のサンプリング手段は、前記ガンマ分布から頷き動作周波数をサンプリングする、請求項４に記載の頭部動作生成装置。
【請求項６】
前記頭部動作生成手段は、
実際の人間が相槌発話を行ったときの発話信号のパワー変化率と頷き動作周波数の２次元分布を表す第１の２次元分布情報を記憶する第１の分布情報記憶手段と、
実際の人間が相槌発話又は句境界発話を行ったときの頷き動作周波数と頷き角度との２次元分布を表す第２の２次元情報を記憶する第２の分布情報記憶手段と、
前記談話機能クラスが相槌であることに応答して、前記音声信号のパワー変化率を算出し、前記第１の分布情報記憶手段に記憶された前記第１の２次元分布情報に基づき、当該算出されたパワー変化率に対応する頷き動作周波数の分布から頷き動作周波数をサンプリングするための第１のサンプリング手段と、
前記第１のサンプリング手段によりサンプリングされた頷き動作周波数に基づき、前記第２の分布情報記憶手段に記憶された前記第２の２次元分布のうちの当該頷き動作周波数に対応する分布から頷き角度をサンプリングするための第２のサンプリング手段と、
前記談話機能クラスが句境界であることに応答して、前記第２の分布情報記憶手段に記憶された前記第２の２次元分布情報に基づいて定められる２次元分布から頷き動作周波数及び頷き角度を同時にサンプリングするための第３のサンプリング手段と、
前記第１のサンプリング手段及び前記第２のサンプリング手段によりサンプリングされた頷き動作周波数及び頷き角度、又は前記第３のサンプリング手段によりサンプリングされた頷き動作周波数及び頷き角度を前記頷き動作情報として出力するための出力手段とを含む、請求項３に記載の頭部動作生成装置。
【請求項７】
前記出力手段はさらに、前記頷き動作周波数に基づいて頷き長さを算出する頷き長さ算出手段を含み、
前記頷き長さ算出手段は、
前記頷き動作周波数が１より大きいか否かを判定するための判定手段と、
前記判定手段による判定が否定であることに応答して、前記頷き動作周波数の逆数を頷き長さとして出力するための手段と、
前記判定手段による判定が肯定であることに応答して、以下の式（１）
【数１】
2018136807.tif 000007
ただしｆは頷き動作周波数、ｐはフレーズの長さ、Ｚは整数の集合
により頷き長さを算出し出力するための手段とを含む、請求項４又は請求項６に記載の頭部動作生成装置。
【請求項８】
前記第１のサンプリング手段は、前記音声信号のパワー変化率に対応する頷き動作周波数の分布が最大となる周波数を前記第１の２次元分布情報から求めるための周波数特定手段と、
前記周波数特定手段により特定された周波数を期待値とし、予め前記第１の２次元分布情報から求められた分布を持つ正規分布で前記音声信号のパワー変化率に対応する頷き動作周波数の分布を推定する分布推定手段と、
前記分布推定手段により推定された頷き動作周波数の分布から頷き動作周波数をサンプリングするための手段とを含む、請求項４〜請求項７のいずれかに記載の頭部動作生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ヒューマノイド型ロボット及びアニメーション等により実現されるヒューマノイド型エージェントの、人との談話時の動作の自然さを改良する技術に関する。
【背景技術】
【０００２】
コミュニケーション中の人の頭部動作は会話を円滑化する上で重要な役割を果たす。談話中の頭部動作はコミュニケーションチャンネルとして相手の意図及び感情を把握する上で有用である。ある人が遠隔操作ロボットを介して遠隔地にいる他の人と遠隔談話を行う遠隔コミュニケーションの場合でも、相手の動作の理解及び自然な動作の生成は、対話者間の円滑なコミュニケーションに重要である。
【０００３】
例えば図１に示す遠隔談話システム３０を考える。この遠隔談話システム３０では、ある場所４２にいるアンドロイド５２を介して、遠隔地４０にいる操作者５０が他の人と談話する。すなわち、図１には現れていないが、場所４２のアンドロイド５２の前には、操作者５０の談話相手がいて、アンドロイド５２との間で会話している。
【０００４】
このような遠隔操作コミュニケーションにおいてアンドロイド５２の頭部動作を生成する最もシンプルな方法は、操作者の動作による位置の変化を計測してアンドロイド５２の頭部位置にマッピングすることである。しかし、メディアを介した遠隔会話において相槌を打つ際、及び肯定の意図を表す際、操作者が、動作を伴うことなく音声のみで相手に伝える傾向があることが報告されている。このような場合、操作者の頭部動作を単純にアンドロイドにマッピングすると、対面対話時とは異なる動作をアンドロイドが再現してしまうおそれがある。一方で、操作者が操作者側の環境の変化に反応して不意な動作をした場合（例えばコンピュータ操作時にマウスを見たり、時計等の周辺の機器に目をやったりするとき）の動きは、遠隔地に伝えるべきではない。またその操作者側の頭部動作をデータとして取得することが難しい場合もあり得る。
【０００５】
そこで、発話音声と話者の頭部動作の関連性を利用し、操作者の音声からアンドロイドの動作を人工的に生成することが考えられる。
【０００６】
発話音声と話者の頭部動作との関連性に着目した先行技術としては、後掲の非特許文献１がある。非特許文献１は、対話における話者の発話の談話機能と頭部動作との関連性について報告している。非特許文献１が報告した談話機能は以下に示すとおりである。
・k  (keep)：話者が発話権を保持。ポーズ又は明確なピッチのリセットが伴う発話（明瞭な句境界）
・k2  (keep)：文中で、次の発話との繋がりが強い発話（弱い句境界）
・k3  (keep)：話者が発話末を伸ばし、考えていること又は発話の途中であることを表現した発話
・f  (filler)：「えっとー」「あのー」など、考え中であることを表現する感動詞
・f2  (conjunctions)：「じゃ」「で」などの接続詞（句末を伸ばしていない短いフィラーとして捉えられる）
・g  (give)：発話を終了し、発話権を対話者に譲渡
・q  (question)：質問又は確認等、対話者に応答を求める発話（発話譲渡の一種）
・bc  (backchannels)：「うん」「はい」などの相槌
・su  (surprise/admiration)：「え！」「へーー」などの驚き又は感心などの反応
・dn  (denial)：「いいえ」「ううん」などの否定
非特許文献１は、これらの談話機能が既知の場合に、頭部動作をルールベースで生成するモデルを提案し、生成される動作の自然さを評価している。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】[11]  Liu、  C.  Ishi、  C.  T.  Ishiguro、  H.  Hagita、  N.  Generation  of  nodding、  head  tilting  and  eye  gazing  for  human-robot  dialogue  interaction.  In  Proc.  of  HRI  2012、  pp.  285-292、  Boston、  March、  2012.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
非特許文献１に記載された手法は、操作者の発話音声から頭部動作を生成できるという点で、操作者の動作をキャプチャする必要がなく、かつ操作者の通常でない頭部動作を頭部動作に反映することがないため有用である。しかし、非特許文献１に記載された手法には、頭部動作が既知でなければ利用できないという問題がある上、頭部動作がルールベースで定められているため、頭部動作に不自然さが残るという問題があった。例えばアンドロイド等、人間によく似た人工物の場合、実際の人間と異なる動作をすることによって、かえって相手にとって不気味な印象を与えることがよく知られている。そのため、アンドロイドを用いて遠隔対話を行う場合、アンドロイドの頭部動作はより自然なものでなければならない。このような問題は、遠隔談話のときだけではなく、アンドロイドが自律的に発話する場合にも生じ得る。また、アンドロイドだけではなく、例えばモニタに人のアニメーションを表示することによって遠隔地との対話又は何らかのシステムと人間との対話を行う場合にも生じうる。本明細書では、このように人との対話に用いられるロボット又はモニタ上の人のアニメーションを「エージェント」と呼ぶ。
【０００９】
本発明は、人との対話時のエージェントの頭部動作をより自然にすることができるような頭部動作生成装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の第１の局面に係る頭部動作生成装置は、音声認識装置と、音声認識装置が出力するテキストの談話機能を、当該テキストの言語特徴と頷きの生起確率とを基に定められた少なくとも３種類の談話機能クラスのいずれかに分類し、談話機能クラス情報を出力するための分類手段と、分類手段が出力する談話機能クラス情報に応答して、各談話機能クラスに対応する発話時の実際の人間の頭部動作に基づいて得られた頭部動作の分布からサンプリングすることにより、各談話機能クラスに対応する頭部動作情報を生成するための頭部動作情報生成手段とを含む。
【００１１】
好ましくは、少なくとも３種類の談話機能クラスは、相槌、句境界、及びその他、の談話機能クラスを含む。頭部動作情報生成手段は、分類手段が出力する談話機能クラス情報が相槌または句境界を示すものであることに応答して、人間の実際の相槌及び句境界の発話時の頭部動作に基づいて得られた頭部動作の分布からサンプリングすることにより、それぞれ相槌及び句境界に対応するエージェントの頷き動作情報を生成するための頷き動作情報生成手段を含む。
【００１２】
より好ましくは、頷き動作情報は、頷き動作周波数及び頷き角度を含む。
【００１３】
さらに好ましくは、頷き動作情報生成手段は、実際の人間が相槌発話を行ったときの音声信号のパワー変化率と頷き動作周波数の２次元分布を表す第１の２次元分布情報を記憶する第１の分布情報記憶手段と、実際の人間が句境界発話を行ったときの頷き動作周波数を表す分布情報を記憶する第２の分布情報記憶手段と、実際の人間が相槌発話又は句境界発話を行ったときの頷き動作周波数と頷き角度との２次元分布を表す第２の２次元情報を記憶する第３の分布情報記憶手段と、談話機能クラスが相槌であることに応答して、パワー変化率を算出し、第１の分布情報記憶手段に記憶された第１の２次元分布情報に基き、当該算出されたパワー変化率に対応する頷き動作周波数の分布から頷き動作周波数をサンプリングするための第１のサンプリング手段と、談話機能クラスが句境界であることに応答して、第２の分布情報記憶手段に記憶された分布情報から頷き動作周波数をサンプリングする第２のサンプリング手段と、第１のサンプリング手段又は第２のサンプリング手段によりサンプリングされた頷き動作周波数を用い、第３の分布情報記憶手段に記憶された第２の２次元分布に基き、当該頷き動作周波数に対応する分布から頷き角度をサンプリングするための第３のサンプリング手段と、第１のサンプリング手段又は第２のサンプリング手段によりサンプリングされた頷き動作周波数と、第３のサンプリング手段によりサンプリングされた頷き角度とを頷き動作情報として出力するための出力手段とを含む。
【００１４】
好ましくは、第２の分布情報記憶手段に記憶された分布情報は、実際の人間の句境界発話の際の頷き動作周波数の分布を近似したガンマ分布の情報であり、第２のサンプリング手段は、ガンマ分布から頷き動作周波数をサンプリングする。
【００１５】
より好ましくは、頭部動作生成手段は、実際の人間が相槌発話を行ったときの発話信号のパワー変化率と頷き動作周波数の２次元分布を表す第１の２次元分布情報を記憶する第１の分布情報記憶手段と、実際の人間が相槌発話又は句境界発話を行ったときの頷き動作周波数と頷き角度との２次元分布を表す第２の２次元情報を記憶する第２の分布情報記憶手段と、談話機能クラスが相槌であることに応答して、音声信号のパワー変化率を算出し、第１の分布情報記憶手段に記憶された第１の２次元分布情報に基づき、当該算出されたパワー変化率に対応する頷き動作周波数の分布から頷き動作周波数をサンプリングするための第１のサンプリング手段と、第１のサンプリング手段によりサンプリングされた頷き動作周波数に基づき、第２の分布情報記憶手段に記憶された第２の２次元分布のうちの当該頷き動作周波数に対応する分布から頷き角度をサンプリングするための第２のサンプリング手段と、談話機能クラスが句境界であることに応答して、第２の分布情報記憶手段に記憶された第２の２次元分布情報に基づいて定められる２次元分布から頷き動作周波数及び頷き角度を同時にサンプリングするための第３のサンプリング手段と、第１のサンプリング手段及び第２のサンプリング手段によりサンプリングされた頷き動作周波数及び頷き角度、又は第３のサンプリング手段によりサンプリングされた頷き動作周波数及び頷き角度を頷き動作情報として出力するための出力手段とを含む。
【００１６】
さらに好ましくは、出力手段はさらに、頷き動作周波数に基づいて頷き長さを算出する頷き長さ算出手段を含む。頷き長さ算出手段は、頷き動作周波数が１より大きいか否かを判定するための判定手段と、判定手段による判定が否定であることに応答して、頷き動作周波数の逆数を頷き長さとして出力するための手段と、判定手段による判定が肯定であることに応答して、以下の式（Ａ１）
【数１】
2018136807.tif 000003
ただしｆは頷き動作周波数、ｐはフレーズの長さ、Ｚは整数の集合、
により頷き長さを算出し出力するための手段とを含む。
【００１７】
好ましくは、第１のサンプリング手段は、音声信号のパワー変化率に対応する頷き動作周波数の分布が最大となる周波数を第１の２次元分布情報から求めるための周波数特定手段と、周波数特定手段により特定された周波数を期待値とし、予め第１の２次元分布情報から求められた分布を持つ正規分布で音声信号のパワー変化率に対応する頷き動作周波数の分布を推定する分布推定手段と、分布推定手段により推定された頷き動作周波数の分布から頷き動作周波数をサンプリングするための手段とを含む。
【図面の簡単な説明】
【００１８】
【図１】遠隔談話システムの概略を示す図である。
【図２】頭部動作をキャプチャした際のマーカの位置を示す図である。
【図３】人間による実際の頭部動作による頷きの周波数と角度について、クラス「ｋｇ」及び「ｂｃ」について測定した分布を示すグラフである。
【図４】人間による実際の頭部動作の頷き動作周波数のヒストグラムを示す図である。
【図５】人間による実際の頭部動作の頷き動作周波数と頷きの最大角度との分布を示す図である。
【図６】発話の談話機能がクラス「ｂｃ」の場合の頷き動作周波数と音声パワー変化率との関係を示す図である。
【図７】発話の談話機能がクラス「ｋｇ」の場合の頷き動作周波数と音声パワー変化率との関係を示す図である。
【図８】本発明の第１の実施の形態に係る頷き動作生成装置の概略ブロック図である。
【図９】図８に示す発話分類部及び頷きパラメータ算出部を実現するためのコンピュータプログラムの制御の流れを示すフローチャートである。
【図１０】図８に示す発話分類部の概略構成及びこの発話分類部をトレーニングするトレーニング部の概略構成を示すブロック図である。
【図１１】本発明の各実施の形態に係る頷き動作生成装置を実現するコンピュータシステムの外観を示す図である。
【図１２】図１１に示すコンピュータシステムの概略ハードウェア構成を示すブロック図である。
【発明を実施するための形態】
【００１９】
以下の説明及び図面では、同一の部品には同一の参照番号を付してある。したがって、それらについての詳細な説明は繰返さない。
【００２０】
［基礎データの収集］
アンドロイド等のエージェントの頷き動作を自然なものにするためには、実際の人間の対話時の頷き動作についてデータを収集する必要がある。本発明を実現するために、既存の対話データベースであって発話音声と話者の頭部動作を含むものがあったのでそれをデータ収集に用いることとした。動作の計測にはモーションキャプチャシステムが利用されている。モーションキャプチャの際のマーカの位置を図２に示す。
【００２１】
計測されたマーカの３次元位置時系列データに対し、頭部位置、ピッチ、ロール、及びヨーの３軸回転角度への変換を施し、これらを基に人手により頷きの区間を示すタグが付されている。
【００２２】
発話と動作の関連性を分析するため、人手により書き起こされたテキスト及びフレーズの分類（談話機能の分類器を訓練する際の正解データ）を用いた。
【００２３】
アンドロイドの発話に伴う動作生成への応用に焦点を当てるため、談話機能と頭部動作の関連を踏まえ、談話機能項目を３つのクラスにまとめる。１つ目は明瞭な（ポーズ又は明確なピッチリセットが伴う）句境界を有するフレーズ（上述のタグリスト中の‘k’、‘g’、‘q’に該当）である。以降、このクラス（句境界発話）を‘kg’と表記する。２つ目は相槌発話で、‘bc’と表記する。相槌を独立したクラスに分ける理由は、相槌に使われる語彙、韻律特徴及び相槌に伴う頷きにユニークなパターンが見られるためである。上述の２つのフレーズには頷きが伴う確率が高い。これらと比較して頷きが少ないその他の談話機能を３つ目の‘o’クラス（others）にまとめる。
【００２４】
実際の頭部動作の算出を行う前にデータの前処理が必要である。前処理は以下のようなものである。頭部の３軸回転データの大部分は話者の頭部回転を反映しているが、上半身が移動する際、頭部の向きは付随的に変わってしまう。データの前処理でこれらの動きを取り除く。上半身の動きによる頭部の回転は、頭部動作に比べると遅くて比較的に長時間に渡るという性質を持っている。そのため短い時間で見ると、この部分の動きを線形的なトレンドと見なせる。各頷き区間に対し、線形回帰を施し、得られた線形成分を上半身の移動と見なす。回転角度の時系列からこれらの線形成分を除き、余剰成分を頭部の回転とした。
【００２５】
頷き動作の分析の際、頷きの種類を大きく二つに分けた。一つは正弦波で近似すると一周期以内のものである。これらを‘nd’と表記する。もう一つは複数周期を含むものである。これらを‘mnd’と表記する。データセットには、4199個の‘nd’と1482個の‘mnd’が含まれている。
【００２６】
頷きの周期は、回転角度に対して離散フーリエ変換を施すことにより算出した。クラス‘kg’とクラス‘bc’の発話に見られた頷きの周波数と角度の分布を図３に示す。
【００２７】
クラス‘kg’に見られた‘nd’と‘mnd’の周波数の平均値はそれぞれ1.48Hzと2.03Hzであった。クラス‘bc’の平均値は1.86Hzと2.18Hzである。全体的にクラス‘bc’に見られた頷きはクラス‘kg’より速く、‘mnd’は‘nd’より速い傾向がある。頷きの角度に関しては、周波数と相反した傾向が見られた。
【００２８】
全データに出現した頷き動作周波数のヒストグラムを図４に、周波数と最大角度の分布を図５に、それぞれ示す。図４を参照して、頷き動作を正弦波で近似した場合の周波数は主に1Hz〜3Hzの区間に分布している。各周波数における頷き角度の期待値と頷き動作周波数との間に反比例関係があることが図５から分かる。
【００２９】
発話音声の持続時間、発話速度、相対振幅、パワー変化率などの音響特徴と動作の相関を調べたが、ほとんどの特徴量に強い相関関係が見られなかった。唯一、動作の周波数と正の相関関係が確認できたのは、クラス‘bc’における音声パワー変化率であった。クラス‘bc’に関する音声パワー変化率と頷き動作周波数の２次元分布を図６に、クラス‘kg’に関する音声パワー変化率と頷き動作周波数の２次元分布を図７に、それぞれ示す。なお、音声パワー変化率は単位時間あたりの音声パワーの概略変化波形の周波数のことである。
【００３０】
図７に示されるように、クラス‘kg’において、音声パワーの変化率と動作周波数の分布は一様分布に類似する。それに対し、図６に示されるように、クラス‘bc’においては、特に低周波区間で音声パワーの変化率と動作周波数の間に強い相関が見られた。この相関は相槌として繰り返される単語（「はいはいはい」及び「うんうん」など）と共起した頷きだと考えられる。
【００３１】
以上のような対話・頷きデータの分析結果に基づいて得られたのが、以下に説明する第１の実施の形態に係る頷き動作生成装置である。
【００３２】
［第１の実施の形態］
［構成］
図８を参照して、この実施の形態に係る頷き生成装置１５０は、遠隔地からアンドロイド操作者の音声信号を受信する通信装置１７０と、通信装置１７０が受信した音声信号を所定のフレーム長及びシフト長でフレーム化し、各フレームについて音声認識用の素性からなる素性ベクトルを生成するための音声認識用素性ベクトル生成部１７２とを含む。音声認識用素性ベクトル生成部１７２が生成する素性は少なくとも各フレームの音声パワーを含む。
【００３３】
頷き生成装置１５０はさらに、音声認識用素性ベクトル生成部１７２から音声認識用素性ベクトルを受信して操作者の音声の音声認識を行い、フレーズごとに音声認識結果を出力する音声認識装置１７４と、音声認識装置１７４がフレーズを出力したことに応答して、そのフレーズの発話をクラス「ｋｇ」、「ｂｃ」及び「ｏ」のいずれかに分類してその結果を示す信号を出力する発話分類部１７６と、音声認識用素性ベクトル生成部１７２が出力する素性ベクトルを受けて、音声信号の音声パワー変化率を算出するための音声パワー変化率算出部１７８とを含む。
【００３４】
なお、発話分類部１７６による分類の入力として分類の対象となるフレーズのテキストを用いるため、テキスト情報を発話分類用素性ベクトル生成部１７５においてベクトルに変換する必要がある。この変換に関して自然言語処理でよく用いられる手法は、Bag-of-Words(BOW)モデルである。BOWモデルは単語の順番を考慮せずに、単語がフレーズ内に含まれているかを表すシンプルな表現手法である。しかし、ベクトルの次元数は辞書の長さ（辞書に含まれる単語の数）と同等になる。フレーズに出現した単語の位置に１が入り、その他の位置は０で埋める。単語の重要性を表すために、term  frequency  inverse  document  frequency  (tf-idf)を用いて各単語の重み付けを行った。tf-idfもよく知られた手法であるが、データ全体に多く出現した単語を一般的な単語とみなして重みを下げ、特定のフレーズにしか出現しない単語の重みを上げる考え方に基づいている。
【００３５】
この手法の欠点は、得られるベクトルがスパースで且つ非常に高次元になることである。この欠点を解決するため、本実施の形態では品詞情報とLDAトピックを特徴ベクトルとする。
【００３６】
具体的には、特徴ベクトルの次元を減らすため、単語そのものの代わりに品詞情報を代用した。セグメンテーション過程で、各単語に対応する品詞が得られる。１１種類の品詞（感動詞、名詞、動詞、助詞、助動詞、接頭詞、接続詞、フィラー、形容詞、連体詞、副詞）と‘その他’の計１２種類があるため、１２次元のワンホットベクトル（該当する位置だけに１が入る）で一つの単語を表すことができる。ただし、日本語の特性上、助詞と助動詞は文構造および発話意図の表現に大きく影響しているため、助詞と助動詞では形態素情報も残すこととした。本実施の形態で使用した会話データ中、９８種類の助詞と７３種類の助動詞が含まれていたため、特徴ベクトルの次元数は１２＋９８＋７３となった。談話機能の断定は発話の最後の数単語の種類に依存していると考え、n-gramモデルを用いて、フレーズの言語情報を表現した。この表現手法によって、特徴ベクトルの次元数と計算コストが大幅に削減できる。
【００３７】
さらに、データの次元削減として、トピックモデル  probability  latent  semantic  indexing（pLSI）が挙げられる。ただし本実施の形態では、扱うデータセットは比較的に小規模であるため、学習したモデルのロバスト性を優先に考え、Latent  Dirichlet  Allocation  (LDA)トピック表現を用いることとした。
【００３８】
LDAモデルは生成確率モデルの一種で、階層的構造を持つベイズモデルである。データセット中の各文章は有限個数のトピックの確率分布として表現される。トピックの個数はハイパーパラメータによって決められる。pLSIモデルと同様に教師なし学習の手法である。文章中の各単語が、ランダムに選択されたトピックによって、なんらかの分布に従って生成されるという基本的な仮説はpLSIモデルと共通している。両モデルの違いとして、pLSIモデルにおけるトピックの分布は学習データの各文章に大きく依存するのに対し、LDAモデルにおけるトピックはDirichlet事前分布に従う。よって、pLSIモデルに比べて、LDAモデルの方が訓練データにオーバーフィットする傾向が少ないと言われている。このLDAという手法は、多次元データの分析における主成分分析と同様の考え方によるものである。
【００３９】
LDAモデルを用いることによって、フレーズをトピックの確率分布として表現することが可能になり、特徴ベクトルの次元数は辞書の長さからトピックの数まで減らすことができる。本実施の形態では、前述のＢＯＷベクトルをtf-idfによって重み付けし、LDAトピックに変換した。LDAモデルのトピックの数は事前研究の結果に基づいて２００に設定した。
【００４０】
頷き生成装置１５０はさらに、音声パワー変化率算出部１７８が出力する音声パワー変化率と、発話分類部１７６が出力する発話分類とに応じて、上記した人間の実際の頭部動作に応じた確率分布を用いて頷きパラメータを算出し出力する頷きパラメータ算出部１８４と、実際の人間の発話したフレーズの談話機能が相槌（クラス「ｂｃ」）であるときの頷きパラメータを算出する際に頷きパラメータ算出部１８４が使用する、図６に示す２次元分布を表す分布情報を記憶するための第１の分布情報記憶部１８０と、実際の人間の発話したフレーズの談話機能が句境界（クラス「ｋｇ」）であるときの頷き動作周波数を表す、図４に示すヒストグラムを表す分布情報を記憶する第２の分布情報記憶部１８１と、実際の人間の発話したフレーズの談話機能が句境界であるときの頷きパラメータを算出する際に頷きパラメータ算出部１８４が使用する、図５に示す２次元分布を表す分布情報を記憶するための第３の分布情報記憶部１８２と、頷きパラメータ算出部１８４が出力する頷きパラメータにしたがって、図示しないアンドロイドの頭部を駆動するための駆動パラメータを生成し、図示しないアクチュエータ駆動部に出力するためのアクチュエータ駆動パラメータ生成部１８６とを含む。
【００４１】
音声認識用素性ベクトル生成部１７２が生成する素性ベクトルは音声認識装置１７４の仕様により異なるが、通常は各フレームの音声パワーを含む。音声パワー変化率算出部１７８は時系列の音声パワーに基づいて音声パワー変化率を算出する機能を持つ。もちろん、音声認識用素性ベクトル生成部１７２とは独立に音声パワーを測定し、音声パワー変化率を算出するようにしてもよい。
【００４２】
発話分類部１７６は、音声認識装置１７４の出力するフレーズに基づいて発話を上記３つのクラスのいずれかに分類する。発話分類部１７６の構成については図１０を参照して後述する。
【００４３】
本実施の形態では、音声認識装置１７４は独立した装置を採用するものとし、発話分類部１７６、音声パワー変化率算出部１７８、及び頷きパラメータ算出部１８４をコンピュータプログラムにより実現する。図９を参照して、このプログラムは、図８に示す音声認識装置１７４から音声認識結果のフレーズが出力されるまで待機するステップ２２０と、ステップ２２０でフレーズの出力が検出されたことに応答して、そのフレーズの発話の談話機能を上記した３つのクラスのいずれかに分類して分類結果を出力するステップ２２２と、ステップ２２２において分類された談話機能が相槌（クラス「ｂｃ」）か否かを判定し、その結果により制御の流れを分岐させるステップ２２４と、ステップ２２４において談話機能が相槌でないと判定されたときに、談話機能が句境界（クラス「ｋｇ」）か否かを判定し、その結果により制御の流れを分岐させるステップ２４０とを含む。
【００４４】
このプログラムはさらに、ステップ２２４の判定が肯定であることに応答して実行され、音声認識用素性ベクトル生成部１７２が出力する時系列の音声パワーを用いて音声パワー変化率を計算するステップ２２６と、ステップ２２６で算出された音声パワー変化率を基準として図６に示す分布から相槌の周波数（頷き動作周波数）をサンプリングにより定めるステップ２２８と、ステップ２２８により得られた頷き動作周波数を基準として、図５に示す分布から頷き角度をサンプリングにより定めるステップ２３０と、フレーズの長さ（時間）が、ステップ２２８で求められた頷き動作周波数から求められる頷きの周期より長いか否かを判定し、結果に応じて制御の流れを分岐させるステップ２３２と、ステップ２３２の判定が肯定であることに応答して実行され、頷き長さＬを以下の式により算出するステップ２３６とを含む。
【００４５】
【数２】
2018136807.tif 000004
ただしｆは頷き動作周波数、ｐはフレーズの長さ、Ｚは整数の集合を表す。
【００４６】
このプログラムはさらに、ステップ２３２の判定が否定であることに応答して実行され、頷き長さＬを頷き動作周波数ｆの逆数（１／ｆ）により算出するステップ２３４と、ステップ２３４又はステップ２３６までの処理で算出された頷き動作周波数、頷き角度及び頷き長さＬを図８に示すアクチュエータ駆動パラメータ生成部１８６に出力して制御をステップ２２０に戻すステップ２３８とを含む。
【００４７】
ステップ２２８における頷き動作周波数ｆｎｄのサンプリングは以下のようにして行われる。図６に示す分布を正規雑音が乗った線形回帰モデルで近似し、頷き動作周波数ｆｎｄをこの近似された正規分布Ｎ（μｆｓ、σ２）からサンプリングする。具体的には、μｆｓは以下のようにして決める。
【００４８】
【数３】
2018136807.tif 000005
この式において、ＦｓとＦｎｄはそれぞれ対話・頷きデータ中の音声パワー変化率と傾き周波数を表す。図６でいうと、縦軸において、音声信号の音声パワー変化率に対応する箇所を通り縦軸に垂直で横軸に平行な平面を考え、その平面におけるこの分布の最大値をμｆｓとする。このようにして得られたμｆｓを期待値とする正規分布Ｎ（μｆｓ，σ２）を上記した平面上の分布曲線に対する線形回帰から求め、この正規分布から頷き動作周波数ｆｎｄをサンプリングする。
【００４９】
さらに、ステップ２３０でのサンプリングは以下のようにして行われる。頷き動作周波数ｆｎｄを用い、図５に示す分布をガンマ分布Γｂ（αｂ，βｂ）で近似したものから頷き角度をサンプリングする。すなわち、図５を参照して、横軸において頷き動作周波数ｆｎｄに相当する位置を通り、横軸に垂直な平面を考える。図５の分布はこの平面内ではΓｂ（αｂ、βｂ）で近似できる。αｂ、βｂは以下のように決める。
【００５０】
【数４】
2018136807.tif 000006
定数κ１、ζ１、及びβｂとｆｎｄとの比例定数はトレーニングデータから決定する。
【００５１】
このプログラムはさらに、ステップ２４０の判定が否定であることに応答して実行され、クラス「ｋｇ」における頷き動作周波数ｆｎｄを図４に示すシストグラムを近似したガンマ分布からサンプリングして制御をステップ２３０に進めるステップ２４２を含む。
【００５２】
本実施の形態では、発話分類部１７６（図９のステップ２２２に相当）はＳＶＭ（サポートベクターマシン）により実現する。図１０に、本実施の形態における発話分類部１７６と、発話分類部１７６のトレーニングを行うトレーニング部２８２の概略構成を示す。
【００５３】
図１０を参照して、発話分類部１７６は、各々、発話分類用素性ベクトル生成部１７５（図８参照）が出力する、フレーズを表現する素性ベクトルを受けて、そのフレーズが３つのクラス「ｂｃ」、「ｋｇ」及び「ｏ」の何れであるかを判定して判定結果を出力する３つのＳＶＭ２６０，２６２及び２６４と、これらＳＶＭ２６０，２６２及び２６４の出力の合意投票によりフレーズの分類（ｂｃ，ｋｇ又はｏ）を出力する判定部２６６とを含む。
【００５４】
判定部２６６の判定に合意投票を採用したのは、ＳＶＭ２６０，２６２及び２６４の精度が完全ではないためである。実験では、合意投票を採用することにより少数クラス（具体的には「ｂｃ」及び「ｋｇ」）の適合率が多数決の場合より上昇するという結果が得られた。また合意投票を採用した結果としてＦ１尺度が低下することもなかった。もちろん、ＳＶＭの精度が十分高いなら、このように複数のＳＶＭを用いずに単独のＳＶＭを用いても良い。
【００５５】
ＳＶＭは広く研究されてきた教師あり学習アルゴリズムで、分類性能の優れたモデルとして知られている。近年、分類器として、深層ニューラルネットワーク（ＤＮＮ）が広く使われているが、本実施の形態で扱うデータセットは大規模でないため、ＳＶＭを選択した。もちろん、後述するようにＤＮＮ等の他の分類器を用いても良い。
【００５６】
なお、発話データ中、分類ターゲットとなる三つのクラスに属するそれぞれのサンプルの数は一様ではない。クラス‘o’（その他）に属するサンプル（相槌でも句境界でもないもの）は全データの半分以上を占めている。一方、相槌のクラス‘bc’に属するサンプルは全体の２割に過ぎない。このようなデータのアンバランスを考慮せずにＳＶＭのトレーニングを行うと、サンプルの少ないクラスに対する分類パフォーマンスは期待できない。極端な場合、少数クラスのサンプルを全て多数クラスとして分類しても、全体の分類精度は大きく下がらないことになってしまう。
【００５７】
こうした問題を回避するために、各クラスのデータがバランスよく配合されたトレーニングデータを構築するため、二つの方法がよく使われる。少数クラスをアップサンプリングする方法と多数クラスをダウンサンプリングする方法である。一般的には、ダウンサンプリング手法を用いる場合の方がアップサンプリングを用いる場合よりも高いＦ１尺度が得られると、複数の研究で報告されている。
【００５８】
そこで、本実施の形態では以下に述べるような構成によりＳＶＭ２６０，２６２及び２６４のトレーニングを行う。すなわち、発話分類部１７６のトレーニング部２８２は、データセット２８０に対して、クラス「ｏ」のサンプルが各クラス「ｋｇ」及び「ｂｃ」のサンプル数と同等になるよう、クラス「ｏ」のダウンサンプリングを行い、３つの異なるサブセット３２２、３２４及び３２６を生成するサブセット抽出部３２０と、サブセット３２２、３２４及び３２６を用いてＳＶＭ２６０，２６２及び２６４をそれぞれトレーニングするＳＶＭトレーニング部３２８とを含む。
【００５９】
こうした手法を用いることで、少数クラスに対する分類結果のＦ１尺度が上がることが保証されている。しかし、このＦ１尺度の上昇は再現率の上昇によるものであり、適合率の下降に伴う場合も少なくない。偽陽性（多数クラスに属したサンプルが誤って少数クラスに分類されること）を避けたいアプリケーションにおいて、適合率の下降に伴うＦ１尺度の上昇は望ましくない。本実施の形態で扱う頷きクラス分類問題では、頭部動作を自然に見せる必要があるため、適合性は重要な指標である。頷きがよく見られる談話機能クラス‘k’、‘g’と‘bc’における頷きの出現確率はそれぞれ４９％、４７％、及び８４％である。言い換えると、比較的低い再現率でも、人の頷き傾向を再現するのに問題にならないと考えられる。それに対し、頷くべきでないフレーズで、頷きを生成すると、不自然と評価される可能性が高い。従って、少数クラスに対する高い適合率と多数クラスに対する高い再現率が得られるような分類方法が望ましい分類方法となる。
【００６０】
判定部２６６による合意投票では、少数クラス‘kg’と‘bc’に対し、ＳＶＭ２６０，２６２及び２６４のうちの一つが偽という結果を出せば判定部２６６の出力は偽となる。一般的に使用される多数投票の代わりに、合意投票を選んだ理由は、本課題における少数クラス分類結果のＦ１尺度よりも適合率を重視したからである。
【００６１】
［動作］
以上に構造を説明した頷き生成装置１５０は以下のように動作する。最初に発話分類部１７６のトレーニングについて説明する。図１０を参照して、サブセット抽出部３２０により、データセット２８０から３つのサブセット３２２，３２４及び３２６を作成する。この際、クラス「ｏ」については他のクラス「ｋｇ」及び「ｂｃ」と同程度の割合になるようにダウンサンプリングする。次に、サブセット３２２を用いてＳＶＭトレーニング部３２８がＳＶＭ２６０をトレーニングする。同様に、サブセット３２４を用いてＳＶＭ２６２を、サブセット３２６を用いてＳＶＭ２６４を、それぞれトレーニングする。
【００６２】
発話分類部１７６の準備ができれば頷き生成装置１５０（図８）による頷き動作生成が可能になる。遠隔地にいる操作者が発話すると、その音声が音声信号として通信装置１７０に受信される。通信装置１７０はこの音声信号を音声認識用素性ベクトル生成部１７２に与える。音声認識用素性ベクトル生成部１７２は、音声信号をフレーム化し、各フレームについて所定の素性を算出し、素性ベクトルとして音声認識装置１７４及びに与える。
【００６３】
音声認識装置１７４はこの素性ベクトル列に対して図示しない音響モデル及び言語モデル等を用いて音声認識を行い、音声認識結果をフレーズ単位でテキスト情報として発話分類用素性ベクトル生成部１７５に出力する。発話分類用素性ベクトル生成部１７５はこのテキスト情報から前述した方法で発話分類用の素性ベクトルを生成し、発話分類部１７６に与える。
【００６４】
図１０を参照して、この素性ベクトルはＳＶＭ２６０、２６２及び２６４の各々に与えられる。ＳＶＭ２６０、２６２及び２６４は各々、素性ベクトルに基づいたフレーズのクラスの分類結果を判定部２６６に出力する。判定部２６６は、この３つのＳＶＭの出力する分類結果がいずれも「ｋｇ」のときにはクラス「ｋｇ」を、いずれもクラス「ｂｃ」のときにはクラス「ｂｃ」を出力し、それ以外のときにはクラス「ｏ」を出力する。
【００６５】
図１０に戻り、音声パワー変化率算出部１７８は、音声認識用素性ベクトル生成部１７２が出力する素性ベクトル列のうち、音声パワーについて直前の一定期間の履歴を記憶し、音声パワーの変化率（周波数）を算出し頷きパラメータ算出部１８４に与える。
【００６６】
図９を参照して、頷きパラメータ算出部１８４は、分類結果がクラス「ｂｃ」（相槌）のときには、ステップ２２６においてフレーズの音声信号の音声パワー変化率を計算する。この計算は図８に示す音声パワー変化率算出部１７８により行われる処理に対応する。すなわち、音声パワー変化率算出部１７８は、音声認識用素性ベクトル生成部１７２が出力する素性ベクトル列のうち、音声パワーについて直前の一定期間の履歴を記憶し、音声パワーの変化率を算出し頷きパラメータ算出部１８４に与える。
【００６７】
頷きパラメータ算出部１８４は、ステップ２２８において音声パワー変化率ｆｓを利用して頷き動作の周波数ｆｎｄを求める。このために、図６に示す分布を正規雑音が乗った線形回帰モデルで近似し、ｆｎｄをこの近似された正規分布Ｎ（μｆｓ、σ２）からサンプリングする。この正規分布に関する情報は第１の分布パラメータ記憶部１８０から読出す。
【００６８】
続いて、ステップ２３０において、このようにして得られた頷き動作周波数ｆｎｄを用い、図５に示す分布をガンマ分布Γｂ（αｂ，βｂ）で近似したものから頷き角度をサンプリングする。このガンマ分布に関する情報は第３のパラメータ記憶部１８２から訓出す。
【００６９】
さらに、ステップ２３２では、フレーズの長さが頷き周期（頷き動作周波数ｆｎｄの逆数）より大きいか否かを判定する。判定が肯定ならステップ２３６で頷き長さを前述の式にしたがって計算する。判定が否定ならステップ２３４で頷き長さを頷き動作周波数ｆｎｄの逆数とする。
【００７０】
頷き長さが計算されると、ステップ２３８で頷き動作周波数ｆｎｄ、頷き角度、及び頷き長さを図８に示すアクチュエータ駆動パラメータ生成部１８６に出力し、制御をステップ２２０に戻す。
【００７１】
一方、ステップ２２４において発話分類がクラス「ｂｃ」（相槌）でないと判定されると、ステップ２４０で発話分類がクラス「ｋｇ」（句境界発話）か否かを判定する。この判定が否定なら頷きに関するパラメータを出力することなく制御をステップ２２０に戻す。ステップ２４０の判定が肯定なら、制御はステップ２４２に進む。
【００７２】
クラス「ｋｇ」については、図７に示すように、頷き動作の特徴と音声特徴に強い相関関係が見られない。そこで、ステップ２４２では、図４に示す、トレーニングデータから得られたヒストグラムをガンマ分布で近似し、このガンマ分布から頷き動作周波数ｆｎｄをサンプリングする。このガンマ分布に関する情報は第２の分布情報記憶部１８１から読出す。以下の処理はクラス「ｂｃ」の場合と同様である。
【００７３】
図８を参照して、頷きパラメータ算出部１８４から頷き動作周波数、頷き角度、及び頷き長さのパラメータを受けたアクチュエータ駆動パラメータ生成部１８６は、上記の周波数、頷き角度に対応して定まる振幅を持ち、頷き長さだけ持続する正弦波で近似し、その正弦波の値を図示しないアクチュエータ駆動部に送る。このとき、人の頷きは下方への回転量が上方への回転量より大きいため、正弦波の開始位相をπ／４とする。
【００７４】
以上のように本実施の形態によれば、実際の人の頷き動作から得られた情報に基づいて発話の談話機能を推定し、その談話機能に基づいて、実際の人の頷き動作から得られた分布モデルにしたがって頷き動作を生成する。そのため、この頷き動作をアンドロイドが行ったとき、その動作は従来のものより自然なものになる。この効果は、複数の被験者による評価実験でも確認できた。
【００７５】
［第２の実施の形態］
上記第１の実施の形態では、図８のステップ２４２（句境界における頷き動作生成）において、図４に示すような分布から頷き動作周波数ｆｎｄをサンプリングした後、その頷き動作周波数を用いて、図５に示すような全体分布を近似したガンマ分布から頷き角度をサンプリングしている。しかし本発明はそのような実施の形態には限定されない。例えば、２次元の実データの分布から、頷き動作周波数と頷き角度とを同時にサンプリングしてもよい。
【００７６】
［実施の形態の効果］
以上のように本発明によれば、アンドロイド等の人間によく似たエージェントが談話中に相手に話にあわせて頭部動作をする際に、実際の人間の動作によく似た自然な動作が実現できる。その結果、談話相手に違和感が生じるおそれが少ないという効果がある。また、実際の操作者の頭部動作をエージェントの頭部動作にマッピングしているわけではないので、意図しない操作者の頭部動作がそのままエージェントの動きに反映されたりするおそれがない。
【００７７】
［コンピュータによる実現］
本発明の実施の形態に係る頷き生成装置１５０は、いずれもコンピュータハードウェアと、そのコンピュータハードウェア上で実行されるコンピュータプログラムとにより実現できる。図１１はこのコンピュータシステム６３０の外観を示し、図１２はコンピュータシステム６３０の内部構成を示す。
【００７８】
図１１を参照して、コンピュータシステム６３０は、メモリポート６５２及びDVD（Digital  Versatile  Disk）ドライブ６５０を有するコンピュータ６４０と、いずれもコンピュータ６４０に接続されたキーボード６４６と、マウス６４８と、モニタ６４２とを含む。
【００７９】
図１２を参照して、コンピュータ６４０は、メモリポート６５２及びDVDドライブ６５０に加えて、CPU（中央処理装置）６５６と、CPU６５６、メモリポート６５２及びDVDドライブ６５０に接続されたバス６６６と、起動プログラム等を記憶する読出専用メモリ（ROM）６５８と、バス６６６に接続され、上記頷き生成装置１５０の各部の機能を実現するプログラム命令、システムプログラム及び作業データ等を記憶するランダムアクセスメモリ（RAM）６６０と、ハードディスク６５４を含む。コンピュータシステム６３０はさらに、他端末との通信を可能とするネットワーク６６８への接続を提供するネットワークインターフェイス（I/F）６４４を含む。
【００８０】
コンピュータシステム６３０を上記した実施の形態に係る頷き生成装置１５０として機能させるためのコンピュータプログラムは、DVDドライブ６５０又はメモリポート６５２に装着されるDVD６６２又はリムーバブルメモリ６６４に記憶され、さらにハードディスク６５４に転送される。又は、プログラムはネットワーク６６８を通じてコンピュータ６４０に送信されハードディスク６５４に記憶されてもよい。プログラムは実行の際にRAM６６０にロードされる。DVD６６２から、リムーバブルメモリ６６４から又はネットワーク６６８を介して、直接にRAM６６０にプログラムをロードしてもよい。
【００８１】
このプログラムは、コンピュータ６４０を、上記実施の形態に係る頷き生成装置１５０の各機能部として機能させるための複数の命令からなる命令列を含む。コンピュータ６４０にこの動作を行わせるのに必要な基本的機能のいくつかはコンピュータ６４０上で動作するオペレーティングシステム若しくはサードパーティのプログラム又はコンピュータ６４０にインストールされる、ダイナミックリンク可能な各種プログラミングツールキット又はプログラムライブラリにより提供される。したがって、このプログラム自体はこの実施の形態のシステム、装置及び方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令のうち、所望の結果が得られるように制御されたやり方で適切な機能又はプログラミングツールキット又はプログラムライブラリ内の適切なプログラムを実行時に動的に呼出すことにより、上記したシステム、装置又は方法としての機能を実現する命令のみを含んでいればよい。もちろん、独立したプログラムのみで必要な機能を全て提供してもよい。
【００８２】
上記実施の形態では、分類部にＳＶＭを用いている。しかし本発明はそのような実施の形態には限定されない。ＳＶＭに代えて、ナイーブベイズ、ロジスティック回帰、ＤＮＮ、ＲＮＮ、ＣＮＮ等からなる分類器を用いても良い。
【００８３】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。
【符号の説明】
【００８４】
３０  遠隔操作システム
５０  操作者
５２  アンドロイド
１５０  頷き生成装置
１７０  通信装置
１７２  音声認識用素性ベクトル生成部
１７４  音声認識装置
１７５  発話分類用素性ベクトル生成部
１７６  発話分類部
１７８  音声パワー変化率算出部
１８０  第１の分布情報記憶部
１８１  第２の分布情報記憶部
１８２  第３の情報記憶部
１８４  頷きパラメータ算出部
１８６  アクチュエータ駆動パラメータ生成部
２６０、２６２、２６４  ＳＶＭ
２６６  判定部
２８０  データセット
２８２  トレーニング部
３２８  ＳＶＭトレーニング部
【図１】
2018136807.tif 000008
【図２】
2018136807.tif 000009
【図３】
2018136807.tif 000010
【図４】
2018136807.tif 000011
【図５】
2018136807.tif 000012
【図６】
2018136807.tif 000013
【図７】
2018136807.tif 000014
【図８】
2018136807.tif 000015
【図９】
2018136807.tif 000016
【図１０】
2018136807.tif 000017
【図１１】
2018136807.tif 000018
【図１２】
2018136807.tif 000019