(57)【要約】【課題】ユーザの発話音声に対してユーザの態度や気分に適した動作を適切に提示する。【解決手段】ユーザの発話音声に応じたインタラクションを表出するインタラクション装置１は、ユーザの発話音声を入力する音声入力部２と、発話音声の音高を解析する音声解析部３と、発話音声に対するインタラクション装置の動作を決定する動作決定部４と、動作決定部４により決定された動作を、音声解析部の解析結果を用いて調整する動作調整部５と、動作調整部５により調整された動作に対応するインタラクションを表出するインタラクション表出部６と、を備える。【選択図】図１
2018063324.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの発話音声に応じたインタラクションを表出するインタラクション装置（１）において、
ユーザの発話音声を入力する音声入力部（２）と、
前記発話音声の音高を解析する音声解析部（３）と、
前記発話音声に対する前記インタラクション装置の動作を決定する動作決定部（４）と、
前記動作決定部により決定された動作を、前記音声解析部の解析結果を用いて調整する動作調整部（５）と、
前記動作調整部により調整された動作に対応するインタラクションを表出するインタラクション表出部（６）と、を備えるインタラクション装置。
【請求項２】
請求項１に記載したインタラクション装置において、
前記音声解析部は、前記発話音声の発話区間における語尾の音高を抽出し、その抽出した語尾の音高を解析するインタラクション装置。
【請求項３】
請求項１又は２に記載したインタラクション装置において、
前記音声解析部は、前記発話音声の発話区間における語尾区間での音高の変化量を抽出し、その抽出した語尾区間での音高の変化量を解析するインタラクション装置。
【請求項４】
請求項１から３の何れか一項に記載したインタラクション装置において、
前記音声解析部は、前記発話音声の発話区間における語尾区間での音高の平均値を抽出し、その抽出した語尾区間での音高の平均値を解析するインタラクション装置。
【請求項５】
請求項１から４の何れか一項に記載したインタラクション装置において、
前記動作調整部は、前記音声解析部の解析結果を用い、動作の起点となる基準姿勢を調整するインタラクション装置。
【請求項６】
請求項１から５の何れか一項に記載したインタラクション装置において、
前記動作調整部は、前記音声解析部の解析結果を用い、動作の大きさを調整するインタラクション装置。
【請求項７】
請求項１から６の何れか一項に記載したインタラクション装置において、
前記音声解析部は、前記発話音声の音高を解析することに加え、前記発話音声の音高以外の要素を解析するインタラクション装置。
【請求項８】
ユーザの発話音声に応じたインタラクションを表出するインタラクションの表出方法において、
ユーザの発話音声を入力する手順と、
前記発話音声の音高を解析する手順と、
前記発話音声に対する動作を決定する手順と、
その決定した動作を、前記発話音声の音高の解析結果を用いて調整する手順と、
その調整した動作に対応するインタラクションを表出する手順と、を行うインタラクションの表出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インタラクション装置及びインタラクションの表出方法に関する。
【背景技術】
【０００２】
例えば特許文献１には、ユーザの発話音声の音高を解析し、その発話音声に対する返答音声の音高を、その解析結果を用いて調整することで、あたかも人と対話しているかのような自然な音声を発話させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−６９０３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の技術は、ユーザの発話音声に対して返答音声を発話させる構成であり、ユーザの発話音声に対してユーザの態度や気分に適した何等かの動作を提示する構成ではない。そのため、ユーザの発話音声に対してユーザの態度や気分に適した動作を提示することが望まれる。
【０００５】
本発明は、上記した事情に鑑みてなされたものであり、その目的は、ユーザの発話音声に対してユーザの態度や気分に適した動作を適切に提示することができるインタラクション装置及びインタラクションの表出方法を提供することにある。
【課題を解決するための手段】
【０００６】
請求項１に記載した発明によれば、ユーザの発話音声に応じたインタラクションを表出するインタラクション装置（１）において、音声入力部（２）は、ユーザの発話音声を入力する。音声解析部（３）は、発話音声の音高を解析する。動作決定部（４）は、発話音声に対するインタラクション装置の動作を決定する。動作調整部（５）は、動作決定部（４）により決定された動作を、音声解析部の解析結果を用いて調整する。インタラクション表出部（６）は、動作調整部により調整された動作に対応するインタラクションを表出する。
【０００７】
ユーザの態度や気分が発話音声の音高に依存することに着眼した。ユーザの発話音声を入力すると、その発話音声の音高を解析し、その発話音声に対するインタラクション装置の動作を決定し、その決定した動作を、発話音声の音高の解析結果を用いて調整し、その調整した動作に対応するインタラクションを表出するようにした。ユーザの発話音声に対して決定したインタラクション装置の動作を、発話音声の音高の解析結果を用いて調整してインタラクションを表出することで、ユーザの発話音声に対してユーザの態度や気分に適した動作を適切に提示することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態を示す機能ブロック図
【図２】発話音声の音量及び音高の変化量を示す図
【図３】人型ロボットを示す斜視図
【図４】猫型ロボットを示す斜視図
【図５】フローチャート
【図６】人型ロボットの基準姿勢を調整する態様を示す図
【図７】猫型ロボットの基準姿勢を調整する態様を示す図
【図８】人型ロボットの動作の大きさを調整する態様を示す図
【図９】猫型ロボットの動作の大きさを調整する態様を示す図
【発明を実施するための形態】
【０００９】
以下、本発明の一実施形態について図面を参照して説明する。インタラクション装置１は、音声入力部２と、音声解析部３と、動作決定部４と、動作調整部５と、インタラクション表出部６とを有する。音声解析部３、動作決定部４及び動作調整部５は、インタラクション装置１に搭載されているマイクロコンピュータが実行するコンピュータプログラムにより構成されており、ソフトウェアにより実現されている。即ち、マイクロコンピュータは、非遷移的実体的記録媒体に格納されているコンピュータプログラムを実行することで、コンピュータプログラムに対応する処理を実行し、インタラクション装置１の動作全般を制御する。
【００１０】
音声入力部２は、例えばインタラクション装置１に内蔵されているマイクロフォンであり、ユーザの発話音声を入力すると、その入力した発話音声を含む音声信号を音声解析部３及び動作決定部４に出力する。尚、音声入力部２は、インタラクション装置１の外部に設けられていても良く、発話音声を含む音声信号を無線通信によりインタラクション装置１に送信する構成でも良い。
【００１１】
センサ類７は、例えばユーザの顔を撮影する画像センサ、ユーザのインタラクション装置１への接触を検知する触覚センサ等である。センサ類７は、ユーザの顔を撮影した映像を含む映像信号、ユーザのインタラクション装置１への接触を含む接触信号等をセンシング信号として音声解析部３及び動作決定部４に出力する。尚、センサ類７は、インタラクション装置１の内部に設けられていても良いし、インタラクション装置１の外部に設けられていても良い。センサ類７がインタラクション装置１の外部に設けられている構成であれば、センサ類７がセンシング信号を無線通信により音声解析部３及び動作決定部４に送信する構成であれば良い。
【００１２】
音声解析部３は、音声入力部２から音声信号を入力すると、その入力した音声信号に含まれる発話音声の発話区間を検出し、その検出した発話区間から語尾を検出し、発話区間における語尾の音高及び語尾区間での音高の変化量を抽出して解析する。即ち、音声解析部３は、図２に示すように、一般的な会話では発話音声の語尾に相当する部分で音量が他の部分と比較して極大になると考えられる性質を利用し、極大点Ｍから語尾を抽出し、語尾の音高Ｐ及び語尾区間Ｑでの音高Ｐの変化量ΔＤを抽出する。本実施形態では、音声解析部３は、極大点Ｍを検知した時点を起点とした所定期間を語尾区間Ｑとして抽出し、その語尾区間Ｑでの極高音高から極低音高を減算した値を音高Ｐの変化量ΔＤとして抽出する。尚、音声解析部３は、極大点Ｍを検知した時点を含む前後の所定期間を語尾区間Ｑとして抽出し、その語尾区間Ｑでの極高音高から極低音高を減算した値を音高Ｐの変化量ΔＤとして抽出しても良い。図２は、「なにかごよう？」の発話音声に対応する音量及び音高の波形を例示しているが、他の発話音声に対応する音量及び音高の波形でも同様に、語尾の音高Ｐ及び語尾区間Ｑでの音高Ｐの変化量ΔＤを抽出することが可能である。
【００１３】
音声解析部３は、センサ類７からセンシング信号を入力すると、その入力したセンシング信号を用い、ユーザの顔の表情やユーザのインタラクション装置１への接触の内容を、語尾の音高Ｐ及び語尾区間Ｑでの音高Ｐの変化量ΔＤに反映させても良い。又、音声解析部３は、センサ類７から入力するセンシング信号を用いることに限らず、ユーザの情報を記憶している媒体を用いても良く、例えばユーザが作成したＳＮＳ（Social Networking Service）等の情報を用い、ＳＮＳ等の情報を、語尾の音高Ｐ及び語尾区間Ｑでの音高Ｐの変化量ΔＤに反映させても良い。音声解析部３は、語尾の音高Ｐ及び語尾区間Ｑでの音高Ｐの変化量ΔＤを含む解析結果を動作調整部５に出力する。
【００１４】
動作決定部４は、音声入力部２から音声信号を入力すると、その入力した音声信号に含まれる発話音声に対するインタラクション装置１の動作を決定する。動作決定部４は、センサ類７からセンシング信号を入力すると、その入力したセンシング信号を用い、ユーザの顔の表情やユーザのインタラクション装置１への接触の内容を、インタラクション装置１の動作に反映させても良い。又、動作決定部４は、センサ類７から入力するセンシング信号を用いることに限らず、ユーザの情報を記憶している媒体を用いても良く、例えばユーザが作成したＳＮＳ等の情報を用い、ＳＮＳ等の情報を、インタラクション装置１の動作に反映させても良い。動作決定部４は、決定したインタラクション装置１の動作を示す動作情報を動作調整部５に出力する。
【００１５】
動作調整部５は、動作決定部４から動作情報を入力すると、その入力した動作情報により示されるインタラクション装置１の動作を、音声解析部３から入力した解析結果を用いて調整する。動作調整部５は、インタラクション装置１の動作を調整すると、調整情報をインタラクション表出部６に出力する。
【００１６】
インタラクション表出部６は、インタラクション装置１に搭載されている例えばサーボモータ等のアクチュエータを含んで構成されている。図３に示すように、例えばインタラクション装置１が人型ロボット８であり、人型ロボット８が頭部９と胴体部１０とを有する構成であれば、インタラクション表出部６は、動作調整部５から調整情報を入力すると、その入力した調整情報により頭部９や胴体部１０の動作の起点となる基準姿勢や動作の大きさを制御し、インタラクションを表出する。又、図４に示すように、例えばインタラクション装置１が猫型ロボット１１であり、猫型ロボット１１が身体部（即ち頭部と胴体部とを含む）１２と尻尾部１３とを有する構成であれば、インタラクション表出部６は、動作調整部５から調整情報を入力すると、その入力した調整情報により尻尾部１３の動作の起点となる基準姿勢や動作の大きさを制御し、インタラクションを表出する。
【００１７】
次に、上記した構成の作用について図５から９を参照して説明する。インタラクション装置１は、音声入力部２において、ユーザの発話音声の入力を監視している（Ｓ１）。インタラクション装置１は、ユーザの発話音声を入力したと判定すると（Ｓ１：ＹＥＳ）、動作決定部４において、その発話音声に対するインタラクション装置１の動作を決定する（Ｓ２）。
【００１８】
インタラクション装置１は、その発話音声に対するインタラクション装置１の動作を決定することと並行し、音声解析部３において、発話音声の発話区間を検出し（Ｓ３）、その検出した発話区間から語尾を検出し（Ｓ４）、発話区間における語尾の音高及び語尾区間での音高の変化量を抽出し（Ｓ５）、その抽出した語尾の音高及び語尾区間での音高の変化量を解析する（Ｓ６）。インタラクション装置１は、動作調整部５において、動作決定部４により決定したインタラクション装置１の動作を、音声解析部３の解析結果を用いて調整する（Ｓ７）。そして、インタラクション装置１は、インタラクション表出部６において、動作の起点となる基準姿勢や動作の大きさを制御し、インタラクションを表出する（Ｓ８）。
【００１９】
インタラクション装置１は、基準姿勢を以下のように制御する。インタラクション装置１は、図６及び図７に示すように、語尾の音高Ｐに対して予め基準音高Ｐ０を設定しており、語尾の音高Ｐと基準音高Ｐ０との差分が所定値未満であれば、予め設定している基準姿勢を維持する。一方、インタラクション装置１は、語尾の音高Ｐと基準音高Ｐ０との差分がプラス方向に所定値以上であれば、基準姿勢をプラス方向に傾けて調整し、一方、語尾の音高Ｐと基準音高Ｐ０との差分がマイナス方向に所定値以上であれば、基準姿勢をマイナス方向に傾けて調整する。インタラクション装置１は、語尾の音高Ｐと基準音高Ｐ０との差分に応じて調整量を決定し、差分が比較的大きければ調整量を比較的大きく決定し、一方、差分が比較的小さければ調整量を比較的小さく決定する。
【００２０】
具体的には、インタラクション装置１は、図６に示すように人型ロボット８である場合に、語尾の音高Ｐが基準音高Ｐ０よりも高く、その差分が所定値以上であれば、基準姿勢からプラス方向に傾けて調整し、胴体部１０から頭部９にかけて背筋を張るように調整する。一方、インタラクション装置１は、語尾の音高Ｐが基準音高Ｐ０よりも低く、その差分が所定値以上であれば、基準姿勢からマイナス方向に傾けて調整し、胴体部１０から頭部９にかけて背筋を曲げるように調整する。この場合、インタラクション装置１は、差分が比較的大きければ背筋の張り具合や曲がり具合を比較的大きく調整し、差分が比較的小さければ張り具合や曲がり具合を比較的小さく調整する。
【００２１】
又、インタラクション装置１は、図７に示すように猫型ロボット１１である場合に、語尾の音高Ｐが基準音高Ｐ０よりも高く、その差分が所定値以上であれば、基準姿勢からプラス方向に傾けて調整し、尻尾部１３を後方に張るように調整する。一方、インタラクション装置１は、語尾の音高Ｐが基準音高Ｐ０よりも低く、その差分が所定値以上であれば、基準姿勢からマイナス方向に傾けて調整し、尻尾部１３を前方に垂れ下げるように調整する。この場合も、インタラクション装置１は、差分が比較的大きければ尻尾部１３の張り具合や垂れ下がり具合を比較的大きく調整し、差分が比較的小さければ尻尾部１３の張り具合や垂れ下がり具合を比較的小さく調整する。
【００２２】
本実施形態では、語尾の音高Ｐが比較的高いとユーザがポジティブな印象を抱き易く、一方、語尾の音高Ｐが比較的低いとユーザがネガティブな印象を抱き易い性質を用い、基準姿勢から傾ける方向を設定しているが、語尾の音高Ｐが高過ぎるとネガティブな印象を抱き易いユーザが存在することも想定されるので、インタラクションの中で学習し、その学習結果を用いて基準姿勢から傾ける方向を決定しても良い。インタラクション装置１は、例えば所定値よりも大きな値の閾値を予め設定し、語尾の音高Ｐが基準音高Ｐ０よりも高く、その差分が閾値以上であれば、基準姿勢からプラス方向に傾けるのではなくマイナス方向に傾けて調整しても良い。
【００２３】
又、インタラクション装置１は、動作の大きさを以下のように制御する。インタラクション装置１は、図８及び図９に示すように、語尾区間Ｑでの音高Ｐの変化量ΔＤに対して予め基準変化量ΔＤ０を設定しており、語尾区間Ｑでの音高Ｐの変化量ΔＤと基準変化量ΔＤ０との差分が所定値未満であれば、予め設定している基準動作を行う。一方、インタラクション装置１は、語尾区間Ｑでの音高Ｐの変化量ΔＤと基準変化量ΔＤ０との差分がプラス方向に所定値以上であれば、基準動作に対して動作を大きく調整し、一方、語尾区間Ｑでの音高Ｐの変化量ΔＤと基準変化量ΔＤ０との差分がマイナス方向に所定値以上であれば、基準動作に対して動作を小さく調整する。インタラクション装置１は、語尾区間Ｑでの音高Ｐの変化量ΔＤと基準変化量ΔＤ０との差分に応じて調整量を決定し、差分が比較的大きければ調整量を比較的大きく決定し、一方、差分が比較的小さければ調整量を比較的小さく決定する。
【００２４】
具体的には、インタラクション装置１は、図８に示すように人型ロボット８である場合に、語尾区間Ｑでの音高Ｐの変化量ΔＤが基準変化量ΔＤ０よりも大きく、その差分が所定値以上であれば、基準動作に対して動作を大きく調整し、頭部９の前後方向への振り幅を基準動作よりも大きく調整する。一方、インタラクション装置１は、語尾区間Ｑでの音高Ｐの変化量ΔＤが基準変化量ΔＤ０よりも小さく、その差分が所定値以上であれば、基準動作に対して動作を小さく調整し、頭部９の前後方向への振り幅を基準動作よりも小さく調整する。
【００２５】
又、インタラクション装置１は、図９に示すように猫型ロボット１１である場合に、語尾区間Ｑでの音高Ｐの変化量ΔＤが基準変化量ΔＤ０よりも大きく、その差分が所定値以上であれば、基準動作に対して動作を大きく調整し、尻尾部１３の前後方向への振り幅を基準動作よりも大きく調整する。一方、インタラクション装置１は、語尾区間Ｑでの音高Ｐの変化量ΔＤが基準変化量ΔＤ０よりも小さく、その差分が所定値以上であれば、基準動作に対して動作を小さく調整し、尻尾部１３の前後方向への振り幅を基準動作よりも小さく調整する。
【００２６】
本実施形態では、語尾区間Ｑでの音高Ｐの変化量ΔＤが比較的大きいとユーザがポジティブな印象を抱き易く、一方、語尾区間Ｑでの音高Ｐの変化量ΔＤが比較的小さいとユーザがネガティブな印象を抱き易い性質を用い、基準動作に対して動作を調整しているが、語尾区間Ｑでの音高Ｐの変化量ΔＤが大き過ぎるとネガティブな印象を抱き易いユーザが存在することも想定されるので、インタラクションの中で学習し、その学習結果を用いて基準動作に対して動作を決定しても良い。インタラクション装置１は、例えば所定値よりも大きな値の閾値を予め設定し、語尾区間Ｑでの音高Ｐの変化量ΔＤが基準変化量ΔＤ０よりも大きく、その差分が閾値以上であれば、基準動作に対して動作を大きくするのではなく小さく調整しても良い。
【００２７】
以上に説明したように本実施形態によれば、次に示す効果を得ることができる。
インタラクション装置１において、ユーザの態度や気分が発話音声の音高に依存することに着眼した。ユーザの発話音声を入力すると、その発話音声の音高を解析し、その発話音声に対するインタラクション装置１の動作を決定し、その決定した動作を、発話音声の音高の解析結果を用いて調整し、その調整した動作に対応するインタラクションを表出するようにした。ユーザの発話音声に対して決定したインタラクション装置１の動作を、発話音声の音高の解析結果を用いて調整してインタラクションを表出することで、ユーザの発話音声に対してユーザの態度や気分に適した動作を適切に提示することができる。
【００２８】
又、インタラクション装置１において、発話音声の発話区間における語尾の音高を抽出し、その抽出した語尾の音高を解析するようにした。語尾の音高を解析することで、ユーザの発話音声に対してユーザの態度や気分に適した動作を適切に提示することができる。
又、インタラクション装置１において、発話音声の発話区間における語尾区間での音高の変化量を抽出し、その抽出した語尾区間での音高の変化量を解析するようにした。語尾区間での音高の変化量を解析することで、ユーザの発話音声に対してユーザの態度や気分に適した動作を適切に提示することができる。
又、インタラクション装置１において、動作の起点となる基準姿勢や動作の大きさを調整するようにした。基準姿勢や動作の大きさを調整することで、ユーザの発話音声に対してユーザの態度や気分に適した動作を適切に提示することができる。
【００２９】
本発明は、上記した実施形態で例示したものに限定されることなく、その範囲を逸脱しない範囲で任意に変形又は拡張することができる。
インタラクションを表出する態様として動作のみを提示する態様を例示したが、例えば動作と音声とを併用して提示する態様でも良い。
語尾の音高を用いて基準姿勢を調整し、語尾区間での音高の変化量を用いて動作の大きさを調整する態様を例示したが、語尾の音高を用いて動作の大きさを調整し、語尾区間での音高の変化量を用いて基準姿勢を調整する態様でも良い。又、語尾の音高のみを用いて基準姿勢及び動作の大きさの両方を調整する態様でも良いし、語尾区間での音高の変化量のみを用いて基準姿勢及び動作の大きさの両方を調整する態様でも良い。
【００３０】
発話音声の発話区間における語尾区間での音高の平均値を抽出し、その抽出した語尾区間での音高の平均値を解析することで、基準姿勢や動作の大きさを調整するように構成しても良い。例えば予め基準平均値を設定しておき、語尾区間での音高の平均値が基準平均値以上であれば、基準動作に対して動作を大きく調整し、一方、語尾区間での音高の平均値が基準平均値未満であれば、基準動作に対して動作を小さく調整しても良い。又、発話音声の音高を解析することに加え、発話音声の音高以外の要素として音量を解析することで、基準姿勢や動作の大きさを調整するように構成しても良い。
【００３１】
センサ類７が省略されている構成でも良い。即ち、音声解析部３において、ユーザの顔の表情やユーザのインタラクション装置１への接触の内容を、語尾の音高Ｐ及び語尾区間Ｑでの音高Ｐの変化量ΔＤに反映させない構成でも良い。又、動作決定部４において、ユーザの顔の表情やユーザのインタラクション装置１への接触の内容を、インタラクション装置１の動作に反映させない構成でも良い。
【００３２】
本開示は、実施例に準拠して記述されたが、当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、更には、それらに一要素のみ、それ以上、或いはそれ以下を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。
【符号の説明】
【００３３】
図面中、１はインタラクション装置、２は音声入力部、３は音声解析部、４は動作決定部、５は動作調整部、６はインタラクション表出部である。
【図１】
2018063324.tif 000003
【図２】
2018063324.tif 000004
【図３】
2018063324.tif 000005
【図４】
2018063324.tif 000006
【図５】
2018063324.tif 000007
【図６】
2018063324.tif 000008
【図７】
2018063324.tif 000009
【図８】
2018063324.tif 000010
【図９】
2018063324.tif 000011