(57)【要約】  本開示は、ユーザ間の関係がよりよくなることができるようにする信号処理装置および方法、並びにプログラムに関する。音声入力部は、発信者のユーザの音声を入力する。伝言変換部は、入力された音声を用いて推定された感情推定の結果に基づき、発信者のユーザから受け付けられた伝言の内容に応じて、伝言を、ユーザ間で円滑になるような伝言に変換する。本開示は、例えば、信号処理装置を含む伝言変換システムに適用することができる。
2018198791.tif 000002
【特許請求の範囲】
【請求項１】
発信者のユーザの音声を入力する音声入力部と、
前記音声入力部により入力された音声を用いて推定された感情推定の結果に基づき、前記発信者のユーザから受け付けられた伝言の内容に応じて、前記伝言を、ユーザ間で円滑になるような伝言に変換する伝言変換部と
を備える信号処理装置。
【請求項２】
前記発信者のユーザの画像を入力する画像入力部を
さらに備え、
前記伝言変換部は、前記音声入力部により入力された音声と、前記画像入力部により入力された画像とを用いて推定された感情推定の結果に基づき、前記発信者のユーザから受け付けられた伝言の内容に応じて、前記伝言を、ユーザ間で円滑になるような伝言に変換する
請求項１に記載の信号処理装置。
【請求項３】
前記伝言変換部は、前記伝言がネガティブな表現である場合、ポジティブな表現の伝言に変換する
請求項１に記載の信号処理装置。
【請求項４】
前記伝言変換部により変換されたポジディブな表現の伝言を伝えるか否かを、前記発信者のユーザに確認する通知を制御する通知制御部を
さらに備える請求項３に記載の信号処理装置。
【請求項５】
前記伝言変換部は、前記伝言がネガティブな表現である場合、前記伝言に、伝える側の憶測または意見を加える
請求項１に記載の信号処理装置。
【請求項６】
前記伝言変換部は、前記伝言がネガティブな表現であっても、相手との関係や状況に応じて、よりネガティブな表現の伝言に変換する
請求項１に記載の信号処理装置。
【請求項７】
前記伝言変換部は、前記伝言がポジティブな表現である場合、よりポジティブな表現の伝言に変換する
請求項１に記載の信号処理装置。
【請求項８】
前記伝言変換部により変換された伝言を受けた受信者のユーザからの返答があった場合、
前記受信者のユーザからの返答と前記伝言変換部により変換された伝言の内容とを、前記発信者のユーザに出力するフィードバック部を
さらに備える請求項１に記載の信号処理装置。
【請求項９】
前記フィードバック部は、前記伝言変換部により変換された伝言を受けた受信者のユーザからの返答がない場合、前記伝言変換部により変換された伝言の内容を、ユーザ間で円滑になるような表現を加えて、前記発信者のユーザに出力する
請求項８に記載の信号処理装置。
【請求項１０】
前記伝言変換部により変換された伝言の内容を、伝言を受ける受信者のユーザに出力する出力制御部を
さらに備える請求項１に記載の信号処理装置。
【請求項１１】
前記出力制御部は、前記受信者のユーザの状況に応じたタイミングで、前記伝言変換部により変換された伝言の内容を、前記受信者のユーザに出力する
請求項１０に記載の信号処理装置。
【請求項１２】
前記出力制御部は、前記受信者のユーザと対話またはコンテンツの提示をして、前記受信者のユーザとの関係を良好にしてから、前記伝言変換部により変換された伝言の内容を、前記受信者のユーザに出力する
請求項１０に記載の信号処理装置。
【請求項１３】
前記出力制御部は、画像または音楽とともに、前記伝言変換部により変換された伝言の内容を、前記受信者のユーザに出力する
請求項１０に記載の信号処理装置。
【請求項１４】
前記伝言変換部は、前記伝言を出力するときのコンテキストを用いて判断されるポジティブかネガティブかの方向の表現の伝言に変換する
請求項１に記載の信号処理装置。
【請求項１５】
前記伝言変換部は、前記伝言を受けるときのコンテキストおよび前記伝言を出力するときのコンテキストを用いて判断されるポジティブかネガティブかの方向の表現の伝言に変換する
請求項１４に記載の信号処理装置。
【請求項１６】
ＮＧワードを登録する登録部を
さらに備え、
前記伝言変換部は、前記登録部により登録されたＮＧワードの使用を禁止する
請求項１に記載の信号処理装置。
【請求項１７】
前記伝言変換部は、前記伝言の語気がきつい場合、前記伝言をテキスト化または音声出力の加工をして、前記発信者のユーザに提示させる
請求項１に記載の信号処理装置。
【請求項１８】
前記伝言変換部は、前記伝言と前記発信者のユーザの表情または動作に一貫性がない場合、前記伝言に補足情報を加える
請求項１に記載の信号処理装置。
【請求項１９】
前記伝言変換部は、前記伝言に加えて、前記発信者のユーザの画像を出力する場合、前記発信者のユーザに、不適切な表情または動作があるとき、前記発信者のユーザの画像も変換する
請求項１に記載の信号処理装置。
【請求項２０】
信号処理装置が、
発信者のユーザの音声を入力し、
入力された音声を用いて、前記発信者のユーザから受け付けられた伝言の内容に応じて推定された感情推定の結果に基づき、前記伝言を、ユーザ間で円滑になるような伝言に変換する
信号処理方法。
【請求項２１】
発信者のユーザの音声を入力する音声入力部と、
前記音声入力部により入力された音声を用いて推定された感情推定の結果に基づき、前記発信者のユーザから受け付けられた伝言の内容に応じて、前記伝言を、ユーザ間で円滑になるような伝言に変換する伝言変換部と
して、コンピュータを機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、信号処理装置および方法、並びにプログラムに関し、特に、ユーザ間の関係がよりよくなるようにした信号処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
ユーザ同士が対話するとき、感情的になるあまりコミュニケーションが悪くなることがあった。【０００３】
例えば、特許文献１においては、メッセージ発信者の画像を使用することなく、伝言メッセージに多様性を持たせ、間接的なコミュニケーションを円滑に進める提案が記載されている。この提案においては、音声入力に対して、パラメータ化される感情に対応した複数の様態を有するエージェント画像データを用いての伝言が行われていた。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−４１２７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、実際には、伝言を意図通りに伝えると、ユーザ同士が険悪な状態になる場合があった。【０００６】
本開示は、このような状況に鑑みてなされたものであり、ユーザ間の関係がよりよくなるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の一側面の信号処理装置は、発信者のユーザの音声を入力する音声入力部と、前記音声入力部により入力された音声を用いて推定された感情推定の結果に基づき、前記発信者のユーザから受け付けられた伝言の内容に応じて、前記伝言を、ユーザ間で円滑になるような伝言に変換する伝言変換部とを備える。【０００８】
前記発信者のユーザの画像を入力する画像入力部をさらに備え、前記伝言変換部は、前記音声入力部により入力された音声と、前記画像入力部により入力された画像とを用いて推定された感情推定の結果に基づき、前記発信者のユーザから受け付けられた伝言の内容に応じて、前記伝言を、ユーザ間で円滑になるような伝言に変換することができる。【０００９】
前記伝言変換部は、前記伝言がネガティブな表現である場合、ポジティブな表現の伝言に変換することができる。【００１０】
前記伝言変換部により変換されたポジディブな表現の伝言を伝えるか否かを、前記発信者のユーザに確認する通知を制御する通知制御部をさらに備えることができる。【００１１】
前記伝言変換部は、前記伝言がネガティブな表現である場合、前記伝言に、伝える側の憶測または意見を加えることができる。【００１２】
前記伝言変換部は、前記伝言がネガティブな表現であっても、相手との関係や状況に応じて、よりネガティブな表現の伝言に変換することができる。【００１３】
前記伝言変換部は、前記伝言がポジティブな表現である場合、よりポジティブな表現の伝言に変換することができる。【００１４】
前記伝言変換部により変換された伝言を受けた受信者のユーザからの返答があった場合、前記受信者のユーザからの返答と前記伝言変換部により変換された伝言の内容とを、前記発信者のユーザに出力するフィードバック部をさらに備えることができる。【００１５】
前記フィードバック部は、前記伝言変換部により変換された伝言を受けた受信者のユーザからの返答がない場合、前記伝言変換部により変換された伝言の内容を、ユーザ間で円滑になるような表現を加えて、前記発信者のユーザに出力することができる。【００１６】
前記伝言変換部により変換された伝言の内容を、伝言を受ける受信者のユーザに出力する出力制御部をさらに備えることができる。【００１７】
前記出力制御部は、前記受信者のユーザの状況に応じたタイミングで、前記伝言変換部により変換された伝言の内容を、前記受信者のユーザに出力することができる。【００１８】
前記出力制御部は、前記受信者のユーザと対話またはコンテンツの提示をして、前記受信者のユーザとの関係を良好にしてから、前記伝言変換部により変換された伝言の内容を、前記受信者のユーザに出力することができる。【００１９】
前記出力制御部は、画像または音楽とともに、前記伝言変換部により変換された伝言の内容を、前記受信者のユーザに出力することができる。【００２０】
前記伝言変換部は、前記伝言を出力するときのコンテキストを用いて判断されるポジティブかネガティブかの方向の表現の伝言に変換することができる。【００２１】
前記伝言変換部は、前記伝言を受けるときのコンテキストおよび前記伝言を出力するときのコンテキストを用いて判断されるポジティブかネガティブかの方向の表現の伝言に変換することができる。【００２２】
ＮＧワードを登録する登録部をさらに備え、前記伝言変換部は、前記登録部により登録されたＮＧワードの使用を禁止することができる。【００２３】
前記伝言変換部は、前記伝言の語気がきつい場合、前記伝言をテキスト化または音声出力の加工をして、前記発信者のユーザに提示させることができる。【００２４】
前記伝言変換部は、前記伝言と前記発信者のユーザの表情または動作に一貫性がない場合、前記伝言に補足情報を加えることができる。【００２５】
前記伝言変換部は、前記伝言に加えて、前記発信者のユーザの画像を出力する場合、前記発信者のユーザに、不適切な表情または動作があるとき、前記発信者のユーザの画像も変換することができる。【００２６】
本技術の一側面の信号処理方法は、信号処理装置が、発信者のユーザの音声を入力し、入力された音声を用いて、前記発信者のユーザから受け付けられた伝言の内容に応じて推定された感情推定の結果に基づき、前記伝言を、ユーザ間で円滑になるような伝言に変換する。【００２７】
本技術の一側面のプログラムは、発信者のユーザの音声を入力する音声入力部と、前記音声入力部により入力された音声を用いて推定された感情推定の結果に基づき、前記発信者のユーザから受け付けられた伝言の内容に応じて、前記伝言を、ユーザ間で円滑になるような伝言に変換する伝言変換部として、コンピュータを機能させる。【００２８】
本技術の一側面においては、発信者のユーザの音声が入力される。そして、入力された音声を用いて推定された感情推定の結果に基づき、前記発信者のユーザから受け付けられた伝言の内容に応じて、前記伝言が、ユーザ間で円滑になるような伝言に変換される。
【発明の効果】
【００２９】
本開示によれば、信号を処理することができる。特に、ユーザ間の関係をよりよくすることができる。
【図面の簡単な説明】
【００３０】
【図１】本技術を適用した伝言変換システムの動作について説明する図である。
【図２】エージェントの構成例を示すブロック図である。
【図３】伝言変換処理について説明するフローチャートである。
【図４】図３のステップＳ２２の発話内容による感情検出処理について説明するフローチャートである。
【図５】図３のステップＳ２２の発話内容による感情検出処理の他の例について説明するフローチャートである。
【図６】図３のステップＳ２３の表情による感情検出処理について説明するフローチャートである。
【図７】図３のステップＳ２３の表情による感情検出処理の他の例について説明するフローチャートである。
【図８】コンピュータの主な構成例を示すブロック図である。
【発明を実施するための形態】
【００３１】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。
【００３２】
＜本後術のシステム＞
まず、図１を参照して、本技術を適用した伝言変換システムの動作について説明する。
【００３３】
図１の例において、伝言変換システムは、本技術を適用した信号処理装置であるエージェント２１を含むように構成されている。エージェント２１は、発信者であるユーザ１１からの「何回言ったらやってくれるの！これ片付けてって言ったじゃない！（怒）って伝えて！」という伝言１１Ａから、伝える内容やノンバーバルな表現（表情、言い方）を認識し、ネガティブな言い方のときは、ポジティブな方向に内容の変換を行う。エージェント２１は、伝言１１Ａを、例えば、「●●を手伝ってくれたらすごく助かるって言ってるよ」という伝言２１Ａに変換して、変換した伝言２１Ａを、受信者であるユーザ１２に伝える。
【００３４】
これに対して、ユーザ１２は、「わかった！すぐやるよ。」という返答１２Ａをエージェント２１に返してくる。
【００３５】
ユーザ１２から返答１２Ａがあった場合、エージェント２１は、発信者であるユーザ１１に返答１２Ａを伝えるときに、エージェント２１が頼まれたメッセージをどのように伝えたかを、例えば、後述する出力制御部４９などの制御により、そのユーザ１１に報告する。このように、報告することで、ユーザ１１をポジティブ方向へ誘導できる。
【００３６】
ただし、ユーザ１２からの返答がほしいのにない場合、例えば、ユーザ１２が伝言２１Ａに対して無視した場合、エージェント２１は、ユーザ１１には、ユーザ１２が忙しそうとか、集中してそうなど、ユーザ間で円滑になるような表現や緩和する表現を加える。例えば、ユーザ１２（の画像や音声）からネガティブな表出であることが検出された場合、エージェント２１は、表出された表現より柔らかく表現する、または、エージェント自身の検出結果に自信が持てない表現を行い、ネガティブな表出が、ユーザ１１に直接的に伝わらないようにする。
【００３７】
なお、図１の例においては、発信者であるユーザ１１の伝言１１Ａが、怒りなど、ネガティブな言い方のときは、ネガティブを低減させるよう、ポジティブな方向に内容の変換を行う例が示されている。これに対して、ユーザ１１の伝言１１Ａが、ポジティブな言い方のときは、それを増幅させるため、よりポジティブに、大げさに伝えるようにするのがよい。
【００３８】
すなわち、例えば、ユーザ１１の伝言１１Ａが、怒りではなく、心配や不安な表現については増幅させたり、怒りは、心配に変えるようにする。例えば、ユーザ１１の伝言１１Ａが抑揚であれば、抑揚を落ちついたトーンで、スピードを緩めに変換させる。また、例えば、ユーザ１１の伝言１１Ａが喜びなどの表現であれば、それを大げさに伝える。
【００３９】
以上のようにすることで、伝言変換システムによれば、ユーザ間の関係がよりよくなるようにすることができる。以下、具体的に説明していく。
【００４０】
＜エージェントの構成例＞
図２は、図１のエージェントの構成例を示すブロック図である。
【００４１】
エージェント２１は、本技術を適用した信号処理装置であり、ロボットのような物理エージェント、または、スマートホンのような携帯端末やパーソナルコンピュータなどの据え置き機器にインストールされているソフトウエアエージェントなどである。
【００４２】
図２の例において、エージェント２１には、カメラ３１、マイクロホン３２、スピーカ３３が接続されている。エージェント２１は、画像入力部４１、画像処理部４２、音声入力部４３、音声処理部４４、状態推定部４５、伝言変換部４６、表現変換辞書DB４７、ユーザ情報DB４８、出力制御部４９、および音声出力部５０を含むように構成されている。
【００４３】
カメラ３１は、撮像した被写体の画像を、画像入力部４１に入力する。マイクロホン３２は、ユーザ１１やユーザ１２の音声を集音して、集音した音声を音声入力部４３に入力する。スピーカ３３は、音声出力部５０からの音声を出力する。
【００４４】
画像入力部４１は、カメラ３１からの画像を、画像処理部４２に供給する。画像処理部４２は、供給された画像に対して、所定の画像処理を行う。画像処理部４２は、画像処理済みの画像から、顔を検出し、検出された顔から表情を検出し、検出された表情検出の結果を、状態推定部４５に供給する。なお、コンテキストを推定するための周囲の画像情報も供給される。また、画像処理部４２は、画像処理済みの画像から、動作を検出し、検出された動作検出の結果を状態推定部４５に供給する。
【００４５】
音声入力部４３は、マイクロホン３２からの音声（発信者であるユーザの伝言の音声や受信者であるユーザの返答の音声、コンテキストを推定するための周囲音など）を、音声処理部４４に供給する。音声処理部４４は、供給された音声に対して、所定の音声処理を行う。音声処理部４４は、音声処理済みの音声から、音声認識を行い、意味解析を行い、意味解析の結果とユーザの伝言（以下、伝言には、返答も含まれるものとする）を、状態推定部４５に供給する。また、音声処理部４４は、音声処理済みの音声から、抑揚解析を行い、抑揚解析の結果を、状態推定部４５に供給する。
【００４６】
状態推定部４５は、画像処理部４２からの表情検出の結果や動作検出の結果および音声処理部４４からの意味解析の結果や抑揚解析の結果を参照して、発信者であるユーザの感情推定を行い、感情推定の結果とユーザの伝言を、伝言変換部４６に供給する。これらの結果は、ユーザ毎にデータベースに記録しておいてもよい。
【００４７】
伝言変換部４６は、画像入力部４１により入力された画像および音声入力部４３により入力された音声を用いて、表現変換辞書DB４７や行動履歴などが記憶されているユーザ情報DB４８を参照して、ユーザからの伝言を変換する。すなわち、伝言変換部４６は、画像入力部４１により入力された画像および音声入力部４３により入力された音声を用いて、状態推定部４５により推定された感情推定の結果に基づき、表現変換辞書DB４７や行動履歴などが記憶されているユーザ情報DB４８を参照して、ユーザからの伝言を変換する。伝言変換部４６は、変換されたユーザからの伝言を、出力制御部４９に供給する。
【００４８】
例えば、図１を参照して上述したように、図１の例においては、発信者であるユーザ１１の伝言１１Ａが、怒りなど、ネガティブな言い方のときは、低減させるよう、ポジティブな方向に内容の変換を行う例が示されている。例えば、ユーザ１１の伝言１１Ａが、ポジティブな言い方のときは、それを増幅させるため、大げさに伝えるようにするのがよい。また、ユーザ１１の伝言１１Ａが、怒りではなく、心配や不安な表現については、増幅させたり、怒りについては、心配に変えるようにしてもよい。例えば、ユーザ１１の伝言１１Ａが抑揚であれば、抑揚を落ちついたトーンで、スピードを緩めに変換させるようにしてもよい。また、例えば、ユーザ１１の伝言１１Ａが喜びなどの表現であれば、それを大げさに伝えるようにしてもよい。
【００４９】
出力制御部４９は、伝言変換部４６からの制御のもと、伝言変換部４６により変換された伝言を音声出力部５０に出力させる。音声出力部５０は、出力制御部４９の制御のもと、伝言（返答も含む）を音声としてスピーカ３３から出力する。
【００５０】
なお、図２の例においては、伝言の出力が音声出力の構成例が示されているが、他には、視覚による通知や、視覚および聴覚による通知を行うために、伝言変換システムには、表示部を備えさせて、エージェントを、表示制御部を備えた構成とすることもできる。また、他のモーダルを使ってポジティブに変換するようにしてもよい。例えば、エージェントが、ロボット・アニメーションなどのように、擬人化されていたら、伝えるときに表情や動作も用いる。また、例えば、伝言を伝えるときに、電灯の色やBGM、背景画像などを用いて、ポジティブな印象（場合によっては、ネガティブな印象）を作るようにしてもよい。
【００５１】
なお、伝える際の制御として、次のようにすることも可能である。
・伝える際のネガティブ／ポジティブの方向は、エージェント２１が発話するときのコンテキスト（前後関係）に応じて判断される。
・伝言の相手（すなわち、受信者のユーザ）がネガティブな時などは伝えないなど、伝言のタイミング制御が必要である。
・伝言する際には、エージェント２１と伝える相手の環境を良好にしてから、すなわち、なごむ対話を行う、またはコンテンツの提示を行うなど、伝言の相手をポジティブな状態にしてから伝言を行うのが好ましい。
・伝言を受けるときと、表出するときの両方のコンテキストを用意しておき、ネガティブ／ポジティブの方向の判断には、そのときに応じたものが用いられる。
・相手（すなわち、受信者のユーザ）の反応によって言い換え方を変えたり、相手との関係で言い換えの方法を変更するようにしてもよい。例えば、一度やさしく言っても効かなければ、強く発言するなど言い換えの方法を変更できる。
【００５２】
さらに、例えば、お別れしたい相手への伝言や、相手にきつくいえないときなど、状況やユーザの要望次第で、ネガティブな伝言であったとしても、より険悪にする方向に変換してもよい。
【００５３】
＜伝言変換システムの動作＞
次に、図３のフローチャートを参照して、伝言変換システムの伝言変換処理について説明する。
【００５４】
例えば、発信者であるユーザ１１がマイクロホン３２に向かって伝言を発話する。または、伝言を受けた受信者であるユーザ１２がマイクロホン３２に向かって返答を発話する。マイクロホン３２は、ユーザ１１やユーザ１２の音声を集音して、集音した音声を音声入力部４３に入力する。音声入力部４３は、入力した音声（伝言や返答、以下、まとめて伝言と称する）を、音声処理部４４に供給する。
【００５５】
ステップＳ２１において、音声入力部４３は、伝言を受け付けたと判定するまで待機しており、伝言を受け付けたと判定した場合、処理は、ステップＳ２２に進む。なお、このとき、カメラ３１は、撮像したユーザ１１の画像を、画像入力部４１に入力し、画像入力部４１は、カメラ３１からの画像を、画像処理部４２に供給している。
【００５６】
ステップＳ２２において、音声処理部４４および状態推定部４５は、発話内容による感情検出処理を行う。なお、この発話内容による感情検出処理は、図４または図５を参照して後述される。ステップＳ２２により、発話内容による感情検出結果が、伝言変換部４６に供給される。
【００５７】
さらに、ステップＳ２３において、画像処理部４２および状態推定部４５は、表情による感情検出処理を行う。なお、この表情による感情検出処理は、図６または図７を参照して後述される。ステップＳ２３により、表情による感情検出結果が、伝言変換部４６に供給される。また、感情検出に関しては、個人差が想定されるため、ユーザ毎の音声や画像の入力情報を保存し、そのユーザの定常状態や表出の起伏範囲などを分析しておいてもよい。また、相手による表出差なども記録しておき、判別結果を相手によって変えてもよい。
【００５８】
ステップＳ２４において、伝言変換部４６は、表現変換辞書DB４７やユーザ情報DB４８を参照して、受け付けた伝言が、ポジティブな伝言であるか否かを判定する。ステップＳ２４において、ポジティブな伝言であると判定された場合、処理は、ステップＳ２５に進む。
【００５９】
ステップＳ２５において、伝言変換部４６は、表現変換辞書DB４７やユーザ情報DB４８を参照して、受け付けた伝言を、より表現を増幅した伝言に変換する。その後、処理は、ステップＳ２７に進む。
【００６０】
一方、ステップＳ２４において、ポジティブな伝言ではない、すなわち、ネガティブな伝言であると判定された場合、処理は、ステップＳ２６に進む。ステップＳ２６において、伝言変換部４６は、表現変換辞書DB４７やユーザ情報DB４８を参照して、受け付けた伝言を、ネガティブを緩和する伝言に変換する。その後、処理は、ステップＳ２７に進む。
【００６１】
ステップＳ２７において、伝言変換部４６は、ステップＳ２５またはＳ２６で変換された伝言を実行する。すなわち、伝言変換部４６は、変換されたユーザからの伝言を、出力制御部４９に供給する。出力制御部４９は、伝言変換部４６からの制御のもと、伝言変換部４６により変換された伝言を音声出力部５０に出力させる。音声出力部５０は、出力制御部４９の制御のもと、伝言（返答も含む）を音声としてスピーカ３３から出力する。
【００６２】
なお、図３の例においては、伝言がある場合の伝言変換処理について説明されているが、ユーザが特定の相手に対して表出している感情（伝言があってもなくても）には、その感情がネガティブな感情の場合、相手に、その様子を伝える際にエージェント２１の気持ちを、心配や不安そうに表出させて、怒っているみたいだよと伝えるようにしてもよい。
【００６３】
また、ユーザが特定の相手に対して表出している感情がポジティブな感情の場合、「〜って言ってたよ」とか「〜を喜んでいたよ」と相手に伝えたり、あるいは、ポジティブな感情が検出できなくても、「いつもできないところまで掃除していた」とか、「帰宅してすぐ片付けにかかった」など、関係を良好に保てそうなことは積極的に伝えるようにしてもよい。
【００６４】
さらに、伝言時に言い換えを提案するようにしてもよい。例えば、ネガティブな表現の伝言を頼まれた場合、ポジティブに変換して、「○○って言ってもいいかな？」と、例えば、出力制御部４９が、発信者のユーザに確認するための通知を制御してもよい。
【００６５】
伝言を、「○○って言ってたけど、怒っているのかな？」、「ママが、「・・・・」だって。すぐに返事したほうがいいかも。」などと、エージェントの推測、意見として伝えたり、あるいは、エージェントの感情検出に自信がなさそうに伝えることも可能である。
【００６６】
次に、図４のフローチャートを参照して、図３のステップＳ２２の発話内容による感情検出処理について説明する。
【００６７】
ステップＳ４１において、音声処理部４４は、音声処理済みの音声から、音声認識を行う。
【００６８】
ステップＳ４２において、音声処理部４４は、音声認識の結果を用いて、意味解析を行う。音声処理部４４は、意味解析の結果とユーザの伝言を、状態推定部４５に供給する。
【００６９】
ステップＳ４３において、状態推定部４５は、音声処理部４４からの意味解析の結果を参照して、発信者であるユーザ１１の感情推定を行い、感情推定の結果とユーザ１１の伝言を、伝言変換部４６に供給する。その後、処理は、図３のステップＳ２２に戻り、それ以降の処理が繰り返される。
【００７０】
次に、図５のフローチャートを参照して、図３のステップＳ２２の発話内容による感情検出処理の他の例について説明する。
【００７１】
ステップＳ６１において、音声処理部４４は、音声処理済みの音声から、音声信号処理を行う。
【００７２】
ステップＳ６２において、音声処理部４４は、音声信号処理の結果を用いて、抑揚解析を行う。音声処理部４４は、抑揚解析の結果とユーザの伝言を、状態推定部４５に供給する。
【００７３】
ステップＳ６３において、状態推定部４５は、音声処理部４４からの抑揚解析の結果を参照して、発信者であるユーザ１１の感情推定を行い、感情推定の結果とユーザ１１の伝言を、伝言変換部４６に供給する。その後、処理は、図３のステップＳ２２に戻り、それ以降の処理が繰り返される。
【００７４】
次に、図６のフローチャートを参照して、図３のステップＳ２３の表情による感情検出処理について説明する。
【００７５】
ステップＳ８１において、画像処理部４２は、画像処理済みの画像から、顔検出を行う。
【００７６】
ステップＳ８２において、画像処理部４２は、顔検出の結果を用いて、表情検出を行う。画像処理部４２は、表情検出の結果とユーザの伝言を、状態推定部４５に供給する。
【００７７】
ステップＳ８３において、状態推定部４５は、音声処理部４４からの意味解析の結果を参照して、発信者であるユーザ１１の感情推定を行い、感情推定の結果とユーザ１１の伝言を、伝言変換部４６に供給する。その後、処理は、図３のステップＳ２２に戻り、それ以降の処理が繰り返される。
【００７８】
次に、図７のフローチャートを参照して、図３のステップＳ２３の表情による感情検出処理の他の処理について説明する。
【００７９】
ステップＳ１０１において、画像処理部４２は、画像処理済みの音声から、動作検出を行う。画像処理部４２は、動作検出の結果とユーザの伝言を、状態推定部４５に供給する。
【００８０】
ステップＳ１０２において、状態推定部４５は、画像処理部４２からの動作検出の結果を参照して、発信者であるユーザ１１の感情推定を行い、感情推定の結果とユーザ１１の伝言を、伝言変換部４６に供給する。その後、処理は、図３のステップＳ２２に戻り、それ以降の処理が繰り返される。
【００８１】
なお、ステップＳ４３、Ｓ６３、Ｓ８３における感情推定の処理は、個別に記載したが、音声や画像などからのすべての検出結果を用いて、感情推定を行うようにしてもよい。
【００８２】
以上のように、本技術によれば、同じ内容を伝える場合でも、ユーザ間の関係がよりよくなる。
【００８３】
なお、処理中に気まずい関係が検知されたら、相手に通知したり、一緒に行う予定の通知を使うなどの処理を行うことで、雰囲気を変えるようにしてもよい。また、コンテンツを判断して、時系列ではなく語気が強いものとやわらかいものとをよい順番でまぜるようにするのもよい。また、別のユーザに仲介を要請してもよい。
【００８４】
また、言語の変換について、例えば、表現変換辞書DB４７などのデータベースにNGワード（例えば、バカなどの相手を罵倒する言葉）を登録しておき、登録したNGワードは伝言できないようにする。わざと認識間違いのような提示をして、ポジティブに変換するようにしてもよい。究極は、ポジティブな単語にしか伝言できないようにすることも考えられる。
【００８５】
動画・テキストの変換として、語気がきつかったら、テキスト化または音声出力の加工をするようにしてもよい。また、表現を変換しないときでも、語気を弱めたTTS(TextToSpeech)を用いて、テキスト化してもよい。ユーザにテキスト化して提示して冷静にさせて、送信される情報をテキストにするようにしてもよい。また、以前に機嫌よく言ったときのログを切り貼りできるようにしておいたり、きつい言葉は、履歴に残さないようにすることもできる。
【００８６】
マルチモーダルなフィルタリングを設けるようにしてもよい。具体的には、表情や動作、ジェスチャなどで不適切な動きを見つけたらフィルタしたり、置き換えたりする。これは、アバタでも実写でもよく、相手の画像を使った伝言の場合、表情を操作（画像変換）してもよい。その場合、過去に記録されたユーザ音声や画像を用いてもよい。
【００８７】
また、音声と画像のアンビバレッジな状態を検知した場合には、発言内容と感情表出に一貫性がない場合（例えば、「大丈夫」といいながら具合が悪そうな場合など）、エージェントが補足情報をつける。
【００８８】
なお、本技術の適用範囲としては、スマートホンやウェアラブル機器のコミュニケーション用アプリケーションも含まれる。
【００８９】
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
【００９０】
図８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【００９１】
図８に示されるコンピュータにおいて、CPU（Central Processing Unit）３０１、ROM（Read Only Memory）３０２、RAM（Random Access Memory）３０３は、バス３０４を介して相互に接続されている。
【００９２】
バス３０４にはまた、入出力インタフェース３０５も接続されている。入出力インタフェース３０５には、入力部３０６、出力部３０７、記憶部３０８、通信部３０９、およびドライブ３１０が接続されている。
【００９３】
入力部３０６は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部３０７は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部３０８は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部３０９は、例えば、ネットワークインタフェースよりなる。ドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア３１１を駆動する。
【００９４】
以上のように構成されるコンピュータでは、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを、入出力インタフェース３０５およびバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。RAM３０３にはまた、CPU３０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００９５】
コンピュータ（CPU３０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア３１１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インタフェース３１０を介して、記憶部３０８にインストールすることができる。
【００９６】
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部３０９で受信し、記憶部３０８にインストールすることができる。
【００９７】
その他、このプログラムは、ROM３０２や記憶部３０８に、あらかじめインストールしておくこともできる。
【００９８】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【００９９】
例えば、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１００】
また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
【０１０１】
また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１０２】
また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
【０１０３】
また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１０４】
なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
【０１０５】
なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術を、他の実施の形態において説明した本技術と組み合わせて実施することもできる。また、上述した任意の本技術を、上述していない他の技術と併用して実施することもできる。
【０１０６】
なお、本技術は以下のような構成も取ることができる。
（１）  発信者のユーザの音声を入力する音声入力部と、
前記音声入力部により入力された音声を用いて推測された感情推定の結果に基づき、前記発信者のユーザから受け付けられた伝言の内容に応じて、前記伝言を、ユーザ間で円滑になるような伝言に変換する伝言変換部と
を備える信号処理装置。
（２）  前記発信者のユーザの画像を入力する画像入力部を
さらに備え、
前記伝言変換部は、前記音声入力部により入力された音声と、前記画像入力部により入力された画像とを用いて推定された感情推定の結果に基づき、前記発信者のユーザから受け付けられた伝言の内容に応じて、前記伝言を、ユーザ間で円滑になるような伝言に変換する
前記（１）に記載の信号処理装置。
（３）  前記伝言変換部は、前記伝言がネガティブな表現である場合、ポジティブな表現の伝言に変換する
前記（１）または（２）に記載の信号処理装置。
（４）  前記伝言変換部により変換されたポジディブな表現の伝言を伝えるか否かを、前記発信者のユーザに確認する出力を制御する出力制御部を
さらに備える
前記（３）に記載の信号処理装置。
（５）  前記伝言変換部は、前記伝言がネガティブな表現である場合、前記伝言に、伝える側の憶測または意見を加える
前記（１）乃至（４）のいずれかに記載の信号処理装置。
（６）  前記伝言変換部は、前記伝言がネガティブな表現であっても、相手との関係や状況に応じて、よりネガティブな表現の伝言に変換する
前記（１）乃至（５）のいずれかに記載の信号処理装置。
（７）  前記伝言変換部は、前記伝言がポジティブな表現である場合、よりポジティブな表現の伝言に変換する
前記（１）乃至（６）のいずれかに記載の信号処理装置。
（８）  前記伝言変換部により変換された伝言を受けた受信者のユーザからの返答があった場合、
前記受信者のユーザからの返答と前記伝言変換部により変換された伝言の内容とを、前記発信者のユーザに出力するフィードバック部を
さらに備える前記（１）乃至（７）のいずれかに記載の信号処理装置。
（９）  前記フィードバック部は、前記伝言変換部により変換された伝言を受けた受信者のユーザからの返答がない場合、前記伝言変換部により変換された伝言の内容を、ユーザ間で円滑になるような表現を加えて、前記発信者のユーザに出力する
前記（８）に記載の信号処理装置。
（１０）  前記伝言変換部により変換された伝言の内容を、伝言を受ける受信者のユーザに出力する出力制御部を
さらに備える前記（１）乃至（９）のいずれかに記載の信号処理装置。
（１１）  前記出力制御部は、前記受信者のユーザの状況に応じたタイミングで、前記伝言変換部により変換された伝言の内容を、前記受信者のユーザに出力する
前記（１０）に記載の信号処理装置。
（１２）  前記出力制御部は、前記受信者のユーザと対話またはコンテンツの提示をして、前記受信者のユーザとの関係を良好にしてから、前記伝言変換部により変換された伝言の内容を、前記受信者のユーザに出力する
前記（１０）に記載の信号処理装置。
（１３）  前記出力制御部は、画像または音楽とともに、前記伝言変換部により変換された伝言の内容を、前記受信者のユーザに出力する
前記（１０）に記載の信号処理装置。
（１４）  前記伝言変換部は、前記伝言を出力するときのコンテキストを用いて判断されるポジティブかネガティブかの方向の表現の伝言に変換する
前記（１）に記載の信号処理装置。
（１５）  前記伝言変換部は、前記伝言を受けるときのコンテキストおよび前記伝言を出力するときのコンテキストを用いて判断されるポジティブかネガティブかの方向の表現の伝言に変換する
前記（１４）に記載の信号処理装置。
（１６）  ＮＧワードを登録する登録部を
さらに備え、
前記伝言変換部は、前記登録部により登録されたＮＧワードの使用を禁止する
前記（１）乃至（１５）のいずれかに記載の信号処理装置。
（１７）  前記伝言変換部は、前記伝言の語気がきつい場合、前記伝言をテキスト化または音声出力の加工をして、前記発信者のユーザに提示させる
前記（１）乃至（１６）のいずれかに記載の信号処理装置。
（１８）  前記伝言変換部は、前記伝言と前記発信者のユーザの表情または動作に一貫性がない場合、前記伝言に補足情報を加える
前記（１）乃至（１７）のいずれかに記載の信号処理装置。
（１９）  前記伝言変換部は、前記伝言に加えて、前記発信者のユーザの画像を出力する場合、前記発信者のユーザに、不適切な表情または動作があるとき、前記発信者のユーザの画像も変換する
前記（１）乃至（１８）のいずれかに記載の信号処理装置。
（２０）  信号処理装置が、
発信者のユーザの音声を入力し、
入力された音声を用いて推定された感情推定の結果に基づき、前記発信者のユーザから受け付けられた伝言の内容に応じて、前記伝言を、ユーザ間で円滑になるような伝言に変換する
信号処理方法。
（２１）  発信者のユーザの音声を入力する音声入力部と、
前記音声入力部により入力された音声を用いて推定された感情推定の結果に基づき、前記発信者のユーザから受け付けられた伝言の内容に応じて、前記伝言を、ユーザ間で円滑になるような伝言に変換する伝言変換部と
して、コンピュータを機能させるプログラム。
【符号の説明】
【０１０７】
２１  エージェント，  ３１  カメラ，  ３２  マイクロホン，  ３３  スピーカ，  ４１  画像入力部，  ４２  画像処理部，  ４３  音声入力部，  ４４  音声処理部，  ４５  状態推定部，  ４６  伝言変換部，  ４７  表現変換辞書DB，  ４８  ユーザ情報DB，４９  出力制御部，  ５０  音声出力部
【図１】
2018198791.tif 000003
【図２】
2018198791.tif 000004
【図３】
2018198791.tif 000005
【図４】
2018198791.tif 000006
【図５】
2018198791.tif 000007
【図６】
2018198791.tif 000008
【図７】
2018198791.tif 000009
【図８】
2018198791.tif 000010
【国際調査報告】
2018198791.tif 000011
2018198791.tif 000012
2018198791.tif 000013
2018198791.tif 000014