(57)【要約】【課題】被推定者の音声を用いて被推定者の感情を高い精度で推定する。【解決手段】感情推定装置１は、音量調整部１０１と、感情推定部１０２と、を備える。音量調整部１０１は、被推定者が発し、被推定者から第１距離だけ離れた位置に存する第１音声取得手段が取得した音声である推定用音声を表す推定用音声データの音量を、被推定者から調整距離だけ離れた位置に存する第１音声取得手段によって推定用音声が取得された場合に推定用音声データが有していたと推定される音量へ調整する。感情推定部１０２は、音量調整部１０１が音量を調整した推定用音声データを、音声の音量を参酌して被推定者の感情を推定する感情推定モデルに適用することによって、推定用音声を発した際における被推定者の感情を推定する。【選択図】図４
2017138343.tif 000002
【特許請求の範囲】
【請求項１】
被推定者が発し、前記被推定者から第１距離だけ離れた位置に存する第１音声取得手段が取得した音声である推定用音声を表す推定用音声データの音量を、前記被推定者から調整距離だけ離れた位置に存する前記第１音声取得手段によって前記推定用音声が取得された場合に前記推定用音声データが有していたと推定される音量へ調整する音量調整手段と、
前記音量調整手段が音量を調整した前記推定用音声データを、音声の音量を参酌して被推定者の感情を推定する感情推定モデルに適用することによって、前記推定用音声を発した際における前記被推定者の感情を推定する感情推定手段と、
を備えることを特徴とする感情推定装置。
【請求項２】
前記感情推定モデルは、発話者が発し、前記発話者から第２距離だけ離れた位置に存する第２音声取得手段が取得した音声である学習用音声を表す学習用音声データに対応する感情推定モデルであり、
前記調整距離は、前記第２距離であることを特徴とする請求項１に記載の感情推定装置。
【請求項３】
前記音量調整手段は、前記推定用音声データが含む、前記推定用音声の振幅を表す振幅パラメータに、前記第２距離に対する前記第１距離の比率である第１調整係数を乗算することによって、前記推定用音声データの音量を調整することを特徴とする請求項２に記載の感情推定装置。
【請求項４】
前記第１音声取得手段を備え、
前記第１音声取得手段は、
前記第１距離を取得する第１距離取得手段を備えることを特徴とする請求項１乃至３の何れか一項に記載の感情推定装置。
【請求項５】
前記第１音声取得手段は、
各々が前記推定用音声を取得し、相互の位置関係が既知である複数の録音手段と、
前記複数の録音手段それぞれが前記推定用音声を取得した時刻の間の差分を取得する時間差取得手段と、を備え、
前記第１距離取得手段は、前記位置関係と前記差分とに基づいて前記第１距離を取得することを特徴とする請求項４に記載の感情推定装置。
【請求項６】
前記第１音声取得手段は、
前記推定用音声を取得する録音手段と、
前記録音手段が前記推定用音声を取得した際における前記被推定者を表す被推定者画像を取得する撮像手段と、
前記被推定者画像が含む、前記被推定者の身体の所定の少なくとも一部である所定領域を表す画像の位置とサイズとを取得する所定領域検出手段と、を備え、
前記第１距離取得手段は、前記位置と前記サイズとに基づいて前記第１距離を取得することを特徴とする請求項４に記載の感情推定装置。
【請求項７】
前記第１音声取得手段は、
前記推定用音声を取得する録音手段と、
前記録音手段が前記推定用音声を取得した際における前記被推定者を互いに異なる２つの方向から撮像することにより１組のステレオ画像を取得するステレオカメラと、
前記１組のステレオ画像の間でステレオマッチングを行うことにより視差を取得する視差取得手段と、を備え、
前記第１距離取得手段は、前記視差に基づいて前記第１距離を取得することを特徴とする請求項４に記載の感情推定装置。
【請求項８】
前記第１音声取得手段は、
前記推定用音声を取得する録音手段と、
前記録音手段が前記推定用音声を取得した際における前記被推定者へ光を照射する発光手段と、
前記被推定者が反射した前記光を受光する受光手段と、
前記光が前記発光手段によって照射されてから、前記被推定者によって反射された後、前記受光手段によって受光されるまでに要する時間である飛行時間を取得する飛行時間取得手段と、を備え、
前記第１距離取得手段は、前記飛行時間に基づいて前記第１距離を取得することを特徴とする請求項４に記載の感情推定装置。
【請求項９】
被推定者が発した推定用音声を表す推定用音声データを取得する音声取得手段と、
前記被推定者と前記音声取得手段との距離を取得する距離取得手段と、
前記音声取得手段が取得した前記推定用音声データの音量を、前記距離取得手段が取得した前記被推定者と前記音声取得手段との距離に基づいて調整する音量調整手段と、
前記音量調整手段が音量を調整した前記推定用音声データを、音声の音量を参酌して被推定者の感情を推定する感情推定モデルに適用することによって、前記推定用音声を発した際における前記被推定者の感情を推定する感情推定手段と、
を備えることを特徴とする感情推定装置。
【請求項１０】
被推定者が発し、前記被推定者から第１距離だけ離れた位置に存する第１音声取得手段が取得した音声である推定用音声を表す推定用音声データの音量を、前記被推定者から調整距離だけ離れた位置に存する前記第１音声取得手段によって前記推定用音声が取得された場合に前記推定用音声データが有していたと推定される音量へ調整する音量調整ステップと、
前記音量調整ステップにおいて音量を調整した前記推定用音声データを、音声の音量を参酌して被推定者の感情を推定する感情推定モデルに適用することによって、前記推定用音声を発した際における前記被推定者の感情を推定する感情推定ステップと、
を含むことを特徴とする感情推定方法。
【請求項１１】
コンピュータを、
被推定者が発し、前記被推定者から第１距離だけ離れた位置に存する第１音声取得手段が取得した音声である推定用音声を表す推定用音声データの音量を、前記被推定者から調整距離だけ離れた位置に存する前記第１音声取得手段によって前記推定用音声が取得された場合に前記推定用音声データが有していたと推定される音量へ調整する音量調整手段、
前記音量調整手段が音量を調整した前記推定用音声データを、音声の音量を参酌して被推定者の感情を推定する感情推定モデルに適用することによって、前記推定用音声を発した際における前記被推定者の感情を推定する感情推定手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、感情推定装置、感情推定方法及びプログラムに関する。
【背景技術】
【０００２】
被推定者が発した音声を用いて被推定者の感情を推定する技術が知られている。例えば、特許文献１は、マイクロホンが取得した入力音声を用いて、この入力音声の発話者の感情を認識する感情認識装置を開示している。
【０００３】
入力音声の音量は、この入力音声を発した際の発話者の感情に依存する。このため、入力音声を用いて発話者の感情を認識する際には、この入力音声の音量を参酌して感情を認識することが一般的である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２００７／１４８４９３号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
さて、音声の音量は、音源から遠ざかるにつれて減衰する。従って、被推定者が入力音声を発した際にこの入力音声が有していた音量と、被推定者から離れた位置に存するマイクロホンがこの入力音声を取得した際にこの入力音声が有している音量と、は異なる。このため、特許文献１に開示された感情認識装置が、マイクロホンが取得した入力音声の音量を参酌して発話者の感情を認識した場合、認識精度が低くなってしまうことを防げなかった。
【０００６】
本発明は、上記事情に鑑みてなされたものであり、被推定者の音声を用いて被推定者の感情を高い精度で推定することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明に係る感情推定装置は、
被推定者が発し、前記被推定者から第１距離だけ離れた位置に存する第１音声取得手段が取得した音声である推定用音声を表す推定用音声データの音量を、前記被推定者から調整距離だけ離れた位置に存する前記第１音声取得手段によって前記推定用音声が取得された場合に前記推定用音声データが有していたと推定される音量へ調整する音量調整手段と、
前記音量調整手段が音量を調整した前記推定用音声データを、音声の音量を参酌して被推定者の感情を推定する感情推定モデルに適用することによって、前記推定用音声を発した際における前記被推定者の感情を推定する感情推定手段と、
を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、被推定者の音声を用いて被推定者の感情を高い精度で推定することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る感情推定装置の物理的構成の一例を示すブロック図である。
【図２】本発明の実施形態に係る第１音声取得装置の構成例を示すブロック図である。
【図３】本発明の実施形態に係る第１音声取得装置が備える第１録音部、第２録音部及び第３録音部の配置を説明するための図である。
【図４】本発明の実施形態に係る感情推定装置の機能構成の一例を示すブロック図である。
【図５】本発明の実施形態に係る感情推定装置が実行する感情推定処理を説明するためのフローチャートである。
【図６】本発明の第１変形例に係る第１音声取得装置の構成例を示すブロック図である。
【図７】本発明の第２変形例に係る第１音声取得装置の構成例を示すブロック図である。
【図８】本発明の第３変形例に係る第１音声取得装置の構成例を示すブロック図である。
【図９】本発明の第４変形例に係る感情推定装置の構成例を示すブロック図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態に係る感情推定装置の機能及び動作を、図面を参照しながら詳細に説明する。図中、互いに同一又は同等の部分には同一の符号を付す。
【００１１】
感情推定装置は、被推定者の音声を用いて被推定者の感情を推定する。
【００１２】
感情推定装置１は、図１に示すように、ＣＰＵ（Central Processing Unit）１０と、記憶部１１と、入力部１２と、出力部１３と、外部インタフェース１４と、を備えている。
【００１３】
ＣＰＵ１０は、記憶部１１に記憶された各種プログラムを実行する。具体的に、ＣＰＵ１０は、記憶部１１に記憶された制御プログラムを実行することにより、感情推定装置１全体を制御する。また、ＣＰＵ１０は、記憶部１１に記憶された感情推定プログラムを実行することにより、後述する音量調整部１０１及び感情推定部１０２の機能を実現する。
【００１４】
記憶部１１は、ＲＡＭ（Random Access Memory）を備え、ＣＰＵ１０のワークメモリとして機能する。また、記憶部１１は、ＲＯＭ（Read-Only Memory）と、ハードディスクドライブ等の不揮発性メモリと、を備え、各種データ及び各種プログラムを記憶する。具体的に、記憶部１１は、制御プログラムと、感情推定プログラムと、推定用音声データ１１１と、第１距離データ１１２と、感情推定モデル１１３と、第２距離データ１１４と、を記憶している。
【００１５】
制御プログラムは、感情推定装置１全体を制御するためのプログラムである。感情推定プログラムは、後述する音量調整部１０１及び感情推定部１０２の機能を実現するためのプログラムである。
【００１６】
推定用音声データ１１１は、被推定者が発し、被推定者から第１距離だけ離れた位置に存する外部の第１音声取得装置が取得した音声である推定用音声を表す音声データである。第１距離データ１１２は、第１距離を表すデータである。推定用音声データ１１１は、推定用音声の振幅を表すパラメータである振幅パラメータを含んでいる。後述する音量調整部１０１は、振幅パラメータを調整することによって、推定用音声データ１１１の音量を調整する。音声の音量は音声の振幅に依存するため、振幅パラメータを変更することによって推定用音声データ１１１の音量を変更できるのである。後述する感情推定部１０２は、音量調整部１０１が音量を調整した推定用音声データ１１１に基づいて被推定者の感情を推定する。音量調整部１０１及び感情推定部１０２の機能及び動作の詳細については、後述する。
【００１７】
感情推定装置１は、推定用音声データ１１１と第１距離データ１１２とを、第１音声取得装置から外部インタフェース１４を介して予め取得し、互いに対応付けて記憶部１１に記憶している。
【００１８】
以下、図２及び３を参照して、推定用音声データ１１１と第１距離データ１１２とを生成して感情推定装置１へ供給する第１音声取得装置の機能及び動作を説明する。
【００１９】
第１音声取得装置は、各々が推定用音声を取得し、相互の位置関係が既知である複数の録音部を備えている。第１音声取得装置は、これらの録音部によって推定用音声を取得し、推定用音声データ１１１を生成する。また、第１音声取得装置は、これらの録音部相互の位置関係と、各録音部が推定用音声を取得した時刻の間の差分と、に基づいて第１距離を取得し、第１距離データ１１２を生成する。
【００２０】
第１音声取得装置２は、図２に示すように、第１録音部２０ａと、第２録音部２０ｂと、第３録音部２０ｃと、気温測定部２１と、記憶部２２と、ＣＰＵ２３と、入出力インタフェース２４と、を備えている。
【００２１】
第１録音部２０ａ、第２録音部２０ｂ及び第３録音部２０ｃは、何れも、被推定者が発したアナログ音声を取得してデジタル音声信号へ変換し、このデジタル音声信号を表す音声データを生成する。生成された音声データは、各時点における音声の瞬時振幅を表すデータを含んでいる。第１録音部２０ａ、第２録音部２０ｂ及び第３録音部２０ｃは、生成した音声データを、ＣＰＵ２３へ供給する。第１録音部２０ａ、第２録音部２０ｂ及び第３録音部２０ｃは、アナログ音声を取得するマイクロホンと、マイクロホンが取得したアナログ音声をデジタル音声信号へ変換するＡ／Ｄ（Analog/Digital）変換回路と、を備えている。
【００２２】
第１録音部２０ａ、第２録音部２０ｂ及び第３録音部２０ｃ相互の位置関係は、既知である。具体的に、第１録音部２０ａ、第２録音部２０ｂ及び第３録音部２０ｃは、図３に示すように、直線ＬＲ上に配置されて、３チャネルのマイクロホンアレイを構成している。第１録音部２０ａは、位置Ｌに配置されている。第２録音部２０ｂは、位置Ｏに配置されている。第３録音部２０ｃは、位置Ｒに配置されている。ＯＬ間の距離と、ＯＲ間の距離と、は既知であるものとする。なお、被推定者は、推定用音声を発した際、位置Ｐにいたものとする。
【００２３】
図２に戻って、気温測定部２１は、第１録音部２０ａ、第２録音部２０ｂ及び第３録音部２０ｃが推定用音声を取得した際における第１音声取得装置２近傍の気温を測定する。気温測定部２１は、測定した気温を表すデータを、ＣＰＵ２３へ供給する。
【００２４】
記憶部２２は、ＲＡＭを備え、ＣＰＵ２３のワークメモリとして機能する。また、記憶部２２は、ＲＯＭと、ハードディスク等の不揮発性メモリと、を備え、各種データ及び各種プログラムを記憶する。具体的に、記憶部２２は、制御プログラムと、距離取得プログラムと、を記憶している。制御プログラムは、第１音声取得装置２全体を制御するためのプログラムである。距離取得プログラムは、後述する音速取得部２０１、時間差取得部２０２、第１距離取得部２０３及びデータ生成部２０４の機能を実現するためのプログラムである。
【００２５】
ＣＰＵ２３は、記憶部２２に記憶された各種プログラムを実行する。具体的に、ＣＰＵ２３は、記憶部２２に記憶された制御プログラムを実行することにより、第１音声取得装置２全体を制御する。また、ＣＰＵ２３は、記憶部２２に記憶された距離取得プログラムを実行することにより、音速取得部２０１、時間差取得部２０２、第１距離取得部２０３及びデータ生成部２０４の機能を実現する。
【００２６】
音速取得部２０１は、気温測定部２１が測定した気温に基づき、下記の式（１）を用いて音速を取得する。式（１）中、ｖは音速を表し、ｔは気温測定部２１が測定した気温を表す。
ｖ＝３３１．５＋０．６ｔ        …（１）
【００２７】
時間差取得部２０２は、第１録音部２０ａ、第２録音部２０ｂ及び第３録音部２０ｃそれぞれが推定用音声を取得した時刻の間の差分を取得する。具体的に、時間差取得部２０２は、第１録音部２０ａが推定用音声を取得した時刻と、第２録音部２０ｂが推定用音声を取得した時刻と、の間の差分を取得する。また、時間差取得部２０２は、第２録音部２０ｂが推定用音声を取得した時刻と、第３録音部２０ｃが推定用音声を取得した時刻と、の間の差分を取得する。より具体的に、時間差取得部２０２は、互いに異なる２つの録音部が取得した音声を表す音声データ間の相互相関度を、所定の範囲内で時間差を与えながら計算する。時間差取得部２０２は、計算した相互相関度が最大になる時間差の符号を反転させた値を、これら２つの録音部それぞれが音声を取得した時刻の間の差分として取得する。
【００２８】
第１距離取得部２０３は、録音部相互の位置関係と、時間差取得部２０２が取得した差分と、に基づいて第１距離を取得する。以下、第１距離取得部２０３が第１距離を取得する動作を、図３を参照しながら説明する。
【００２９】
上述したように、被推定者は、推定用音声を発した際、図３に示す位置Ｐにいたものとする。ＯＬ間の距離とＯＲ間の距離とが既知であるため、第１距離取得部２０３は、ＯＰ間の距離である距離ｒと、直線ＯＰと直線ＬＲとが成す角度である角度θと、を取得することにより、被推定者と各録音部との間の位置関係を取得できる。
【００３０】
位置Ｐにいる被推定者が発した音声が位置Ｌに到達した時刻と、この音声が位置Ｏに到達した時刻と、の間の差分である第１時間差は、音速と、距離ｒと、角度θと、の３つの未知数を含む関数によって表せる。また、位置Ｐにいる被推定者が発した音声が位置Ｏに到達した時刻と、この音声が位置Ｒに到達した時刻と、の間の差分である第２時間差も、音速と、距離ｒと、角度θと、を未知数として含む関数によって表せる。３つの未知数のうち、音速は、音速取得部２０１によって取得される。従って、距離ｒと角度θとの２つの未知数が求まれば、被推定者と各録音部との間の位置関係が一意に定まる。
【００３１】
さて、時間差取得部２０２が取得した、第１録音部２０ａが推定用音声を取得した時刻と、第２録音部２０ｂが推定用音声を取得した時刻と、の間の差分は、第１時間差の実測値である。また、時間差取得部２０２が取得した、第２録音部２０ｂが推定用音声を取得した時刻と、第３録音部２０ｃが推定用音声を取得した時刻と、の間の差分は、第２時間差の実測値である。２つの未知数を含む関数でそれぞれ表される２つの値の実測値が取得されているため、これら２つの未知数を一意に決定できる。すなわち、第１距離取得部２０３は、時間差取得部２０２が取得した差分に基づいて距離ｒと角度θを取得し、被推定者と各録音部との間の位置関係を取得できる。
【００３２】
以上説明したように、第１距離取得部２０３は、音速取得部２０１が取得した音速と、時間差取得部２０２が取得した差分と、に基づいて、被推定者と各録音部との間の位置関係を取得する。第１距離取得部２０３は、被推定者との間の距離が最も小さい録音部と被推定者との間の距離を第１距離として取得する。
【００３３】
図２に戻って、データ生成部２０４は、第１距離取得部２０３が取得した第１距離を表す第１距離データ１１２を生成する。また、データ生成部２０４は、被推定者から第１距離だけ離れた位置に存する録音部が取得した音声を表す音声データに基づいて推定用音声データ１１１を生成する。具体的に、データ生成部２０４は、被推定者との間の距離が最も小さい録音部が取得した音声を表す音声データを取得し、この音声データが含む、音声の瞬時振幅を表すデータ等のデータに基づいて、この音声データが表す推定用音声の振幅を表す振幅パラメータを含む各種特徴量を生成することによって、推定用音声データ１１１を生成する。
【００３４】
入出力インタフェース２４は、外部との間でデータをやり取りする。具体的に、入出力インタフェース２４は、キーボードや操作ボタン等の入力手段を備え、ユーザの操作に従って入力を受け付ける。また、入出力インタフェース２４は、推定用音声データ１１１及び第１距離データ１１２を含む各種データを外部へ出力する。
【００３５】
本実施形態において、音速取得部２０１は、気温測定部２１が測定した気温に基づいて、音速を取得するものとして説明した。しかし、これは一例に過ぎない。音速取得部２０１は、任意の方法によって音速を取得できる。例えば、第１音声取得装置２は、相互の位置関係が既知である４つの録音部を、これらの録音部がそれぞれ推定音声を取得した時刻の間の差分を時間差取得部２０２によって取得し、この差分に基づいて、音速を取得すればよい。時間差取得部２０２は、４つの録音部それぞれが推定音声を取得した時刻に基づいて、３つの差分を取得できる。これら３つの差分は、音速と距離ｒと角度θとの３つの未知数を含む関数によってそれぞれ表される３つの時間差の実測値である。第１音声取得装置２は、３つの未知数を含む関数によってそれぞれ表される３つの時間差の実測値に基づいて、音速を含む３つの未知数を一意に決定できる。
【００３６】
本実施形態において、第１距離取得部２０３は、被推定者との間の距離が最も小さい録音部と被推定者との間の距離を第１距離として取得するものとして説明した。しかし、これは一例に過ぎない。第１距離取得部２０３は、任意の録音部と被推定者との間の距離を第１距離として取得できる。例えば、第１距離取得部２０３は、予め指定した録音部と被推定者との間の距離を第１距離として取得すればよい。
【００３７】
本実施形態において、第１音声取得装置２は、３つの録音部を備えるものとして説明した。しかし、これは一例に過ぎない。第１音声取得装置２は、任意の数の録音部を備えることができる。なお、より多くの録音部を備え、より多くの時間差に基づいて取得するほど、より正確に第１距離を取得できる。
【００３８】
以上、感情推定装置１の記憶部１１が記憶する推定用音声データ１１１と第１距離データ１１２とを生成して感情推定装置１へ供給する第１音声取得装置２について、その機能及び動作を説明した。以下、図１に戻って、感情推定装置１の機能及び動作の説明を再開する。
【００３９】
感情推定モデル１１３は、音声の音量を参酌して被推定者の感情を推定する感情推定モデルである。感情推定モデル１１３は、学習用音声データに対応している。学習用音声データは、発話者が発し、この発話者から第２距離だけ離れた位置に存する外部の第２音声取得装置が取得した音声である学習用音声を表す音声データである。第２音声取得装置は、任意の公知技術に係る音声取得装置である。第２距離は、予め設定された一定の距離である。第２距離データ１１４は、第２距離を表すデータである。感情推定装置１は、感情推定モデル１１３と第２距離データ１１４とを外部から予め取得し、互いに対応付けて記憶部１１に記憶している。
【００４０】
具体的に、感情推定モデル１１３は、図示しない外部の感情推定モデル生成装置によって、学習用音声データを用いて生成された感情推定モデルである。以下、感情推定モデル生成装置が感情推定モデル１１３を生成する動作を説明する。
【００４１】
感情推定モデル生成装置は、それぞれに感情ラベルが予め付与された複数の学習用音声データを、外部から取得する。複数の学習用音声データは、何れも、予め設定された一定の距離である第２距離だけ発話者から離れた第２音声取得装置が取得した学習用音声を表している。感情ラベルは、各学習用音声データが表す学習用音声を発した際の発話者の感情が、複数種類の感情のうち何れであるかを表す情報である。複数の感情の具体例としては、喜怒哀楽が挙げられる。感情推定モデル生成装置は、感情ラベルが付与された複数の学習用音声データの特徴量を教師データとして用いた機械学習を行うことにより、サポートベクターマシン（Support Vector Machine）を感情推定モデル１１３として生成する。教師データとして用いられる特徴量は、各学習用音声データの音量を含んでいる。これにより、音声の音量を参酌して、この音声を発した際における被推定者の感情が複数種類の感情のうち何れであるかを推定するサポートベクターマシンが感情推定モデル１１３として生成される。
【００４２】
上述の方法により生成された感情推定モデル１１３は、被推定者から任意の距離だけ離れた位置に存する音声取得装置が取得した音声を用いて被推定者の感情を推定できる。感情推定モデル１１３は、特に、被推定者から第２距離だけ離れた位置に存する音声取得装置が取得した音声を用いた場合、被推定者から第２距離とは異なる距離だけ離れた位置に存する音声取得装置が取得した音声を用いた場合よりも高い精度で被推定者の感情を推定できる。
【００４３】
入力部１２は、ユーザの操作に従って入力を受け付ける。入力部１２は、受け付けた入力をＣＰＵ１０へ供給する。
【００４４】
出力部１３は、各種データを、ユーザが認識可能な態様で出力する。具体的に、出力部１３は、図示しないディスプレイを備え、感情推定装置１が推定した被推定者の感情を表す画像である感情画像をこのディスプレイに表示する。感情画像の具体例としては、被推定者の感情を表すテキストメッセージが挙げられる。
【００４５】
外部インタフェース１４は、外部の装置との間で各種データをやり取りする。具体的に、感情推定装置１は、外部インタフェース１４を介して、推定用音声データ１１１、第１距離データ１１２、感情推定モデル１１３及び第２距離データ１１４を外部から取得する。また、感情推定装置１は、外部インタフェース１４を介して、推定した被推定者の感情を表す情報である感情情報を、図示しない外部の情報処理装置へ送出する。
【００４６】
上記の物理的構成を有する感情推定装置１は、機能的に、図４に示すように、音量調整部１０１と、感情推定部１０２と、を備えている。
【００４７】
音量調整部１０１は、被推定者から第１距離だけ離れた位置に存する第１音声取得装置２が取得した推定用音声を表す推定用音声データ１１１の音量を、被推定者から調整距離だけ離れた位置に存する第１音声取得装置２によって推定用音声が取得された場合に推定用音声データ１１１が有していたと推定される音量へ調整する。本実施形態において、調整距離は、第２距離である。すなわち、音量調整部１０１は、推定用音声データ１１１の音量を、被推定者から第２距離だけ離れた位置に存する第１音声取得装置２によって推定用音声が取得された場合に推定用音声データ１１１が有していたと推定される音量へ調整する。
【００４８】
具体的に、音量調整部１０１は、推定用音声データ１１１が含む振幅パラメータに、第２距離に対する第１距離の比率である第１調整係数を乗算することによって、推定用音声データ１１１の音量を調整する。音声の振幅は、音源からの距離の逆数に比例して減衰する。このため、音量調整部１０１は、振幅パラメータに第１調整係数を乗算することにより、推定用音声データ１１１の音量を、被推定者から第２距離だけ離れた位置に存する第１音声取得装置２によって推定用音声が取得された場合に推定用音声データ１１１が有していたと推定される音量へ調整できる。
【００４９】
感情推定部１０２は、音量調整部１０１が音量を調整した推定用音声データ１１１を感情推定モデル１１３に適用することによって、推定用音声を発した際における被推定者の感情を推定する。具体的に、感情推定部１０２は、音量調整部１０１が調整した音量を含む推定用音声データ１１１の特徴量を、サポートベクターマシンである感情推定モデル１１３に適用することによって、推定用音声を発した際における被推定者の感情が、複数種類の感情の何れであるかを推定する。
【００５０】
上述したように、感情推定モデル１１３は、被推定者から第２距離だけ離れた位置に存する音声取得装置が取得した音声を用いた場合、被推定者から第２距離とは異なる距離だけ離れた位置に存する音声取得装置が取得した音声を用いた場合よりも高い精度で被推定者の感情を推定できる。このため、被推定者から第２距離だけ離れた位置に存する第１音声取得装置２によって推定用音声が取得された場合に有していたと推定される音量へ推定用音声データ１１１の音量を調整した上で、この推定用音声データ１１１を感情推定モデル１１３に適用することにより、このような音量調整を施していない推定用音声データ１１１を感情推定モデル１１３に適用した場合よりも高い精度で被推定者の感情を推定できる。
【００５１】
以下、図５を参照して、上記の物理的・機能的構成を有する感情推定装置１が、被推定者の音声を用いて被推定者の感情を推定する動作を説明する。感情推定装置１は、図５のフローチャートに示す感情推定処理を実行することにより、被推定者の音声を用いて被推定者の感情を推定する。
【００５２】
感情推定装置１は、推定用音声データ１１１と第１距離データ１１２とを、外部インタフェース１４を介して外部の第１音声取得装置２から予め取得し、互いに対応付けて記憶部１１に記憶している。
【００５３】
また、感情推定装置１は、感情推定モデル１１３と第２距離データ１１４とを外部インタフェース１４を介して、外部から予め取得し、互いに対応付けて記憶部１１に記憶している。
【００５４】
この状態において、被推定者の感情の推定を所望するユーザが入力部１２を介して感情の推定を指示すると、感情推定装置１のＣＰＵ１０は、この指示に応答し、図５のフローチャートに示す感情推定処理を開始する。
【００５５】
まず、音量調整部１０１が、推定用音声データ１１１の音量を、被推定者から第２距離だけ離れた位置に存する第１音声取得装置２によって推定用音声が取得された場合に推定用音声データ１１１が有していたと推定される音量へ調整する（ステップＳ１０１）。具体的に、音量調整部１０１は、推定用音声データ１１１が含む振幅パラメータに、第２距離に対する第１距離の比率である第１調整係数を乗算することによって、推定用音声データ１１１の音量を調整する。
【００５６】
感情推定部１０２は、ステップＳ１０１で音量を調整した推定用音声データ１１１を感情推定モデル１１３に適用することによって、推定用音声を発した際における被推定者の感情を推定する（ステップＳ１０２）。具体的に、感情推定部１０２は、音量調整部１０１が調整した音量を含む推定用音声データ１１１の特徴量を、サポートベクターマシンである感情推定モデル１１３に適用することによって、推定用音声を発した際における被推定者の感情が、複数種類の感情の何れであるかを推定する。
【００５７】
感情推定部１０２は、ステップＳ１０２で推定した被推定者の感情を表すテキストメッセージを感情画像として出力部１３のディスプレイに表示し、推定した感情を表す感情情報を、外部インタフェース１４を介して、図示しない外部の情報処理装置へ送出して（ステップＳ１０３）、感情推定処理を終了する。
【００５８】
以上説明したように、感情推定装置１は、被推定者から第２距離だけ離れた位置に存する第１音声取得装置２によって推定用音声が取得された場合に有していたと推定される音量へ推定用音声データ１１１の音量を調整した上で、この推定用音声データ１１１を感情推定モデル１１３に適用することにより、このような音量調整を施していない推定用音声データ１１１を感情推定モデル１１３に適用した場合よりも高い精度で被推定者の感情を推定する。
【００５９】
以上、本発明の実施の形態について説明したが、これらの実施の形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、本発明の実施の形態は種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。
【００６０】
上述の実施形態において、感情推定装置１は、推定用音声データ１１１と第１距離データ１１２とを、外部の第１音声取得装置２から取得した。しかし、これは一例に過ぎない。感情推定装置１は、推定用音声データ１１１と第１距離データ１１２とを、任意の方法により取得できる。
【００６１】
例えば、感情推定装置１は、外部の音声取得装置から推定用音声データ１１１を取得する一方、自らが備える入力部１２を介し、ユーザによる第１距離の入力を受け付けることによって第１距離データ１１２を自ら生成してもよい。
【００６２】
あるいは、感情推定装置１は、上述の実施形態においては外部装置として説明した第１音声取得装置２を自ら備え、この第１音声取得装置２によって推定用音声データ１１１と第１距離データ１１２とを自ら生成してもよい。
【００６３】
上述の実施形態において、推定用音声データ１１１は、推定用音声の振幅を表す振幅パラメータを含み、音量調整部１０１は、振幅パラメータに第１調整係数を乗算することにより推定用音声データ１１１の音量を調整した。しかし、これは一例に過ぎない。音量調整部１０１は、任意の方法により推定用音声データ１１１の音量を調整できる。
【００６４】
例えば、推定用音声データ１１１は、推定用音声のエネルギーを表すエネルギーパラメータを含み、音量調整部１０１は、このパラメータを調整することにより音量を調整すればよい。音声の音量は、音声のエネルギーに依存する。このため、音量調整部１０１は、エネルギーパラメータを調整することにより、推定用音声データ１１１の音量を調整できる。
【００６５】
具体的に、音量調整部１０１は、調整距離に対する第１距離の比率の２乗値をエネルギーパラメータに乗算することにより、推定用音声データ１１１の音量を調整すればよい。音声のエネルギーは、音源からの距離の２乗値の逆数に比例して減衰する。このため、音量調整部１０１は、調整距離に対する第１距離の比率の２乗値をエネルギーパラメータに乗算することにより、推定用音声データ１１１の音量を、被推定者から調整距離だけ離れた位置に存する音声取得装置によって推定用音声が取得された場合に有していたと推定される音量へ調整できる。
【００６６】
あるいは、推定用音声データ１１１は、推定用音声の音圧を表す音圧パラメータを含み、音量調整部１０１は、このパラメータを調整することにより音量を調整してもよい。音声の音量は、音声の音圧に依存する。このため、音量調整部１０１は、音圧パラメータを調整することにより、推定用音声データ１１１の音量を調整できる。
【００６７】
具体的に、音量調整部１０１は、調整距離に対する第１距離の比率の２乗値を音圧パラメータに乗算することにより、推定用音声データ１１１の音量を調整すればよい。音声の音圧は、音源からの距離の２乗値の逆数に比例して減衰する。このため、音量調整部１０１は、調整距離に対する第１距離の比率の２乗値を音圧パラメータに乗算することにより、推定用音声データ１１１の音量を、被推定者から調整距離だけ離れた位置に存する音声取得装置によって推定用音声が取得された場合に有していたと推定される音量へ調整できる。
【００６８】
あるいは、推定用音声データ１１１は、推定用音声の音圧レベルを表す音圧レベルパラメータを含み、音量調整部１０１は、このパラメータを調整することにより音量を調整してもよい。音声の音量は、音声の音圧レベルに依存する。このため、音量調整部１０１は、音圧レベルパラメータを調整することにより、推定用音声データ１１１の音量を調整できる。
【００６９】
具体的に、音量調整部１０１は、音圧レベルパラメータに、調整距離に対する第１距離の比率の常用対数に比例する値を加算することにより、推定用音声データ１１１の音量を調整すればよい。音源から一の距離だけ離れた位置における音圧レベルと、音源から一の距離よりも大きい他の距離だけ離れた位置における音圧レベルと、を比較すると、他の距離における音圧レベルは、一の距離における音圧レベルよりも、一の距離に対する他の距離の比率の常用対数に比例する値だけ減衰している。このため、音量調整部１０１は、調整距離に対する第１距離の比率の常用対数を加算することにより、推定用音声データ１１１の音量を、被推定者から調整距離だけ離れた位置に存する音声取得装置によって取得された場合に有していたと推定される音量へ調整できる。
【００７０】
上述の実施形態において、感情推定モデル１１３は、それぞれ感情ラベルが付与された複数の学習用音声データを教師データとして用いた機械学習を行うことにより生成されたサポートベクターマシンであった。しかし、これらは一例に過ぎない。感情推定モデル１１３は、学習用音声データに対応し、被推定者が発した音声を用いて被推定者の感情を推定する感情推定モデルあれば、サポートベクターマシンに限らず、任意の種類の感情推定モデルであってよい。
【００７１】
上述の実施形態において、感情推定装置１は、感情画像を出力部１３のディスプレイに表示し、外部インタフェース１４を介して感情情報を送出することにより、感情推定処理の結果を出力した。しかし、これは一例に過ぎない。感情推定装置１は、感情推定処理の結果を、任意の方法により出力できる。例えば、感情推定装置１は、図示しないスピーカを出力部１３に備え、感情推定装置１が推定した被推定者の感情を表す音声を、このスピーカを介して出力すればよい。
【００７２】
上述の実施形態において、第１音声取得装置２は、相互の位置関係が既知である複数の録音部を備え、これらの録音部相互の位置関係と、各録音部が推定用音声を取得した時刻の間の差分と、に基づいて第１距離を取得した。しかし、これは一例に過ぎない。第１音声取得装置は、以下の第１変形例〜第３変形例の方法を含む任意の方法により第１距離を取得できる。
【００７３】
（第１変形例）
例えば、第１音声取得装置は、単眼カメラを用いて第１距離を取得すればよい。以下、単眼カメラを用いて第１距離を取得する第１音声取得装置の機能及び動作を、図６を参照して説明する。
【００７４】
第１音声取得装置２’は、被推定者を表す被推定者画像を取得する撮像部を備えている。第１音声取得装置２’は、被推定者画像が含む、被推定者の身体の所定の少なくとも一部を表す画像の位置とサイズとを取得し、この位置とサイズとに基づいて第１距離を取得する。
【００７５】
第１音声取得装置２’は、上述の実施形態に係る第１音声取得装置２と概ね共通の構成を備えているものの、図６に示すように、構成の一部が異なっている。以下、両者の差異点を中心に説明する。
【００７６】
第１音声取得装置２’は、第１音声取得装置２とは異なり、第１録音部２０ａ、第２録音部２０ｂ、第３録音部２０ｃ及び気温測定部２１を備えていない。第１音声取得装置２’は、第１音声取得装置２とは異なり、録音部２５と、撮像部２６と、を備えている。また、第１音声取得装置２’が備える記憶部２２’の機能は、第１音声取得装置２が備える記憶部２２の機能と一部が異なる。
【００７７】
録音部２５は、被推定者が発したアナログ音声である推定用音声を取得してデジタル音声信号へ変換し、このデジタル音声信号を表す音声データを生成する。録音部２５は、生成した音声データを、ＣＰＵ２３へ供給する。撮像部２６は、ＣＰＵ２３の制御に従って、録音部２５が推定用音声を取得した際における被推定者を撮像することにより、録音部２５が推定用音声を取得した際における被推定者を表す被推定者画像を取得する。
【００７８】
記憶部２２’は、基準データ２２１を予め外部から取得し、記憶している。基準データ２２１は、所定の基準距離を表すデータと、この基準距離だけ被写体人物から離れた撮像装置が撮像した被写体人物の画像が含む、所定領域を表す画像のサイズを表すデータと、を互いに対応付けて含んでいる。所定領域は、被写体人物の身体の予め指定された少なくとも一部である。具体的に、所定領域は、被写体人物の顔と、被写体人物の両目と、である。すなわち、基準データ２２１は、基準距離を表すデータと、基準距離だけ被写体人物から離れた撮像装置が撮像した被写体人物の画像が含む、被写体人物の顔と両目とを表す画像のサイズを表すデータと、を互いに対応付けて含んでいる。両目を表す画像のサイズとは、この画像が表す両目の間隔である。なお、所定領域は、被写体人物の顔及び両目に限らず、被写体人物の身体の任意の少なくとも一部であってよい。
【００７９】
第１音声取得装置２’は、記憶部２２’に記憶された距離取得プログラムを実行することにより、所定領域検出部２０５、第１距離取得部２０３’及びデータ生成部２０４の機能を実現する。
【００８０】
所定領域検出部２０５は、撮像部２６が取得した被推定者画像が含む、所定領域を表す画像の位置とサイズとを取得する。具体的に、所定領域検出部２０５は、被推定者画像から、所定領域である被推定者の顔と両目とを表す画像を検出し、これらの画像の位置とサイズとを取得する。人物の画像から、この人物の顔及び目を表す画像を検出する技術は公知であるため、詳細な説明は省略する。各画像の位置は、各画像の中心の画素位置であるものとする。
【００８１】
第１距離取得部２０３’は、所定領域検出部２０５が取得した所定領域を表す画像の位置とサイズとに基づいて第１距離を取得する。
【００８２】
具体的に、第１距離取得部２０３’は、基準データ２２１が含む所定領域を表す画像のサイズに対する所定領域検出部２０５が取得したサイズの比率を、基準データ２２１が表す基準距離に乗算することにより、奥行きを取得する。より具体的に、第１距離取得部２０３’は、基準データ２２１が含む被写体人物の両目を表す画像のサイズに対する所定領域検出部２０５が取得した被推定者の両目を表す画像のサイズの比率を基準距離に乗算することにより、奥行きを取得する。奥行きは、被推定者が属し、撮像部２６の光学軸に直交する平面と、撮像部２６と、の間の距離である。被写体のサイズは、奥行きに反比例する。さらに、両目の間の間隔は、異なる人間の間でも概ね共通であることが知られている。このため、所定領域検出部２０５は、基準データ２２１が含む両目を表す画像のサイズに対する所定領域検出部２０５が取得した両目を表す画像のサイズの比率を基準距離に乗算することにより、奥行きを取得できる。
【００８３】
第１距離取得部２０３’は、奥行きと、所定領域検出部２０５が取得した被推定者の顔を表す画像の位置と撮像部２６の光学軸に対応する画素位置との間の距離と、に基づいて、被推定者が属し、光学軸に直交する面と光学軸との交点から被推定者の顔の中心までの距離を取得する。第１距離取得部２０３’は、この距離と奥行きとに基づいて、第１距離を取得する。
【００８４】
データ生成部２０４は、録音部２５が生成した音声データに基づいて推定用音声データ１１１を生成する。また、データ生成部２０４は、第１距離取得部２０３’が取得した第１距離を示す第１距離データ１１２を生成する。
【００８５】
以上説明したように、第１音声取得装置２’は、単眼カメラ用いて第１距離を取得する。
【００８６】
（第２変形例）
あるいは、第１音声取得装置は、ステレオカメラを用いて第１距離を取得すればよい。以下、ステレオカメラを用いて第１距離を取得する第１音声取得装置の機能及び動作を、図７を参照して説明する。
【００８７】
第１音声取得装置２’’は、互いに異なる２つの方向から被推定者を撮像することにより１組のステレオ画像を取得するステレオカメラを備えている。第１音声取得装置２’’は、この１組のステレオ画像の間でステレオマッチングを行うことにより視差を取得し、この視差に基づいて第１距離を取得する。
【００８８】
第１音声取得装置２’’は、上述の実施形態に係る第１音声取得装置２と概ね共通の構成を備えているものの、図７に示すように、構成の一部が異なっている。以下、両者の差異点を中心に説明する。
【００８９】
第１音声取得装置２’’は、第１音声取得装置２とは異なり、第１録音部２０ａ、第２録音部２０ｂ、第３録音部２０ｃ及び気温測定部２１を備えていない。第１音声取得装置２’’は、第１音声取得装置２とは異なり、録音部２５と、ステレオカメラ２７と、を備えている。録音部２５は、被推定者が発したアナログ音声である推定用音声を取得してデジタル音声信号へ変換し、このデジタル音声信号を表す音声データを生成する。録音部２５は、生成した音声データを、ＣＰＵ２３へ供給する。ステレオカメラ２７は、ＣＰＵ２３の制御に従って、録音部２５が推定用音声を取得した際における被推定者を互いに異なる２つの方向から被推定者を撮像することにより、１組のステレオ画像を取得する。
【００９０】
第１音声取得装置２’’は、記憶部２２に記憶された距離取得プログラムを実行することにより、視差取得部２０６、第１距離取得部２０３’’及びデータ生成部２０４の機能を実現する。
【００９１】
視差取得部２０６は、ステレオカメラ２７が取得した１組のステレオ画像の間でステレオマッチングを行うことにより、視差を取得する。具体的に、視差取得部２０６は、各ステレオ画像が含む、被推定者の顔を表す画像を検出し、２つのステレオ画像を、検出した顔を表す画像の近傍でステレオマッチングすることにより、視差を取得する。
【００９２】
第１距離取得部２０３’’は、視差取得部２０６が取得した視差に基づき、任意の公知技術を用いて第１距離を取得する。
【００９３】
データ生成部２０４は、録音部２５が生成した音声データに基づいて推定用音声データ１１１を生成する。また、データ生成部２０４は、第１距離取得部２０３’’が取得した第１距離を表す第１距離データ１１２を生成する。
【００９４】
以上説明したように、第１音声取得装置２’’は、ステレオカメラを用いて第１距離を取得する。
【００９５】
（第３変形例）
あるいは、第１音声取得装置は、ＴＯＦ（Time-of-flight）法を用いて第１距離を取得すればよい。以下、ＴＯＦ法を用いて第１距離を取得する第１音声取得装置の機能及び動作を、図８を参照して説明する。
【００９６】
第１音声取得装置２’’’は、被推定者に光を照射する発光部と、発光部が発し、被推定者が反射した光を受光する受光部と、を備えている。第１音声取得装置２’’’は、光が発光部によって照射されてから、被推定者によって反射された後、受光部によって受光されるまでに要する時間に基づいて、第１距離を取得する。
【００９７】
第１音声取得装置２’’’は、上述の実施形態に係る第１音声取得装置２と概ね共通の構成を備えているものの、図８に示すように、構成の一部が異なっている。以下、両者の差異点を中心に説明する。
【００９８】
第１音声取得装置２’’’は、第１音声取得装置２とは異なり、第１録音部２０ａ、第２録音部２０ｂ、第３録音部２０ｃ及び気温測定部２１を備えていない。第１音声取得装置２’’’は、第１音声取得装置２とは異なり、録音部２５と、発光部２８と、受光部２９と、を備えている。録音部２５は、被推定者が発したアナログ音声である推定用音声を取得してデジタル音声信号へ変換し、このデジタル音声信号を表す音声データを生成する。録音部２５は、生成した音声データを、ＣＰＵ２３へ供給する。発光部２８は、ＣＰＵ２３の制御に従って、録音部２５が推定用音声を取得した際における被推定者へ光を照射する。受光部２９は、発光部２８が照射し、被推定者が反射した光を受光する。
【００９９】
第１音声取得装置２’’’は、記憶部２２に記憶された距離取得プログラムを実行することにより、飛行時間得部２０７、第１距離取得部２０３’’’及びデータ生成部２０４の機能を実現する。
【０１００】
飛行時間取得部２０７は、光が発光部２８によって照射されてから、被推定者によって反射された後、受光部２９によって受光されるまでに要する時間である飛行時間を取得する。
【０１０１】
第１距離取得部２０３’’’は、飛行時間取得部２０７が取得した飛行時間と、既知の光速と、に基づいて第１距離を取得する。
【０１０２】
データ生成部２０４は、録音部２５が生成した音声データに基づいて推定用音声データ１１１を生成する。また、データ生成部２０４は、第１距離取得部２０３’’’が取得した第１距離を表す第１距離データ１１２を生成する。
【０１０３】
以上説明したように、第１音声取得装置２’’’は、ＴＯＦ法を用いて第１距離を取得する。
【０１０４】
上述の実施形態において、調整距離は、第２距離であった。しかし、これは一例に過ぎない。調整距離は、任意の距離であってよい。
【０１０５】
（第４変形例）
以下、第２距離とは異なる距離である第４距離を調整距離として用いた音量調整を施した推定用音声データ１１１に基づいて被推定者の感情を推定する感情推定装置１’の機能及び動作を、図９を参照して説明する。
【０１０６】
感情推定装置１’は、図９に示すように、感情推定装置１と概ね共通の物理的構成を有している。ただし、感情推定装置１’が備える記憶部１１は、感情推定モデル１１３の代わりに、感情推定モデル１１３’を記憶している。また、記憶部１１は、第２距離データ１１４の代わりに、第４距離データ１１５を記憶している。
【０１０７】
感情推定モデル１１３’は、音声の音量を参酌して被推定者の感情を推定する感情推定モデルである。感情推定モデル１１３’は、正規化音声データに対応している。具体的に、感情推定モデル１１３’は、図示しない外部の感情推定モデル生成装置によって、正規化音声データを用いて生成された感情推定モデルである。
【０１０８】
正規化音声データは、発話者が発し、この発話者から第３距離だけ離れた位置に存する外部の音声取得装置が取得した音声である学習用音声を表し、発話者から第４距離だけ離れた位置に存する音声取得装置によって学習用音声が取得された場合に有していたと推定される音量を有する音声データである。第３距離は、学習用音声データごとに異なるものとする。第４距離は、予め設定された一定の距離である。第４距離データ１１５は、第４距離を表すデータである。感情推定装置１’は、感情モデル１１３’と第４距離データ１１５とを、外部から予め取得し、互いに対応付けて記憶部１１に記憶している。
【０１０９】
正規化音声データは、発話者が発し、この発話者から第３距離だけ離れた位置に存する外部の音声取得装置が取得した音声である学習用音声を表す学習用音声データが含む、学習用音声の振幅を表す振幅パラメータに正規化係数を乗算することによって生成される。正規化係数は、第４距離に対する第３距離の比率である。音声の振幅は、音源からの距離の逆数に比例して減衰する。このため、学習用音声データが含む振幅パラメータに正規化係数を乗算することによって、実際には発話者から第３距離だけ離れた位置に存する音声取得装置が取得した学習用音声が、発話者から第４距離だけ離れた位置に存する音声取得装置によって取得された場合に有していたと推定される音量を有する正規化音声データを生成できる。
【０１１０】
感情推定モデル生成装置は、それぞれに感情ラベルが予め付与された複数の正規化音声データを、外部から取得する。感情推定モデル生成装置は、感情ラベルが付与された複数の正規化音声データの特徴量を教師データとして用いた機械学習を行うことにより、サポートベクターマシン（Support Vector Machine）を感情推定モデル１１３’として生成する。教師データとして用いられる正規化音声データの特徴量は、正規化音声データの音量を含んでいる。これにより、音声の音量を参酌して、この音声を発した際における被推定者の感情が複数種類の感情のうち何れであるかを推定するサポートベクターマシンが感情推定モデル１１３’として生成される。
【０１１１】
複数の学習用音声データは、様々な距離である第３距離だけ発話者から離れた位置に存する音声取得装置が取得した学習用音声をそれぞれ表している。これらの学習用音声データの音量を、予め設定された一定の距離である第４距離だけ発話者から離れた位置に存する音声取得装置によって学習用音声が取得された場合に有していたと推定される音量へ調整した音声データである正規化音声データの特徴量を教師データとして用いることにより、学習用音声データの特徴量を教師データとして用いた場合よりも推定精度が高い感情推定モデルを生成できる。上述の方法により生成された感情推定モデル１１３’は、被推定者から任意の距離だけ離れた位置に存する音声取得装置が取得した音声を用いて被推定者の感情を推定できる。感情推定モデル１１３’は、特に、第４距離だけ被推定者から離れた位置に存する音声取得装置が取得した音声を用いた場合、第４距離とは異なる距離だけ被推定者から離れた位置に存する音声取得装置が取得した音声を用いた場合よりも高い精度で被推定者の感情を推定できる。
【０１１２】
感情推定装置１’が備えるＣＰＵ１０は、記憶部１１に記憶された感情推定プログラムを実行することにより、音量調整部１０１’及び感情推定部１０２’の機能を実現する。音量調整部１０１’及び感情推定部１０２’は、上述の実施形態で説明した音量調整部１０１及び感情推定装置１０２と概ね共通の機能を備えている。ただし、音量調整部１０１’は、第２距離ではなく第４距離を用いて推定用音声データの音量を調整する。
【０１１３】
具体的に、音量調整部１０１’は、第１距離だけ被推定者から離れた位置に存する第１音声取得装置２が取得した推定用音声を表す推定用音声データ１１１の音量を、被推定者から第４距離だけ離れた位置に存する第１音声取得装置２によって推定用音声が取得された場合に推定用音声データ１１１が有していたと推定される音量へ調整する。
【０１１４】
具体的に、音量調整部１０１’は、推定用音声データ１１１が含む振幅パラメータに、第４距離に対する第１距離の比率である第２調整係数を乗算することによって、推定用音声データ１１１の音量を調整する。音声の振幅は、音源からの距離の逆数に比例して減衰する。このため、音量調整部１０１’は、振幅パラメータに第２調整係数を乗算することにより、推定用音声データ１１１の音量を、被推定者から第４距離だけ離れた位置に存する第１音声取得装置２によって推定用音声が取得された場合に推定用音声データ１１１が有していたと推定される音量へ調整できる。
【０１１５】
感情推定部１０２’は、音量調整部１０１’が音量を調整した推定用音声データ１１１を感情推定モデル１１３’に適用することによって、推定用音声を発した際における被推定者の感情を推定する。
【０１１６】
上述したように、感情推定モデル１１３’は、被推定者から第４距離だけ離れた位置に存する音声取得装置が取得した音声を用いた場合、被推定者から第４距離とは異なる距離だけ離れた位置に存する音声取得装置が取得した音声を用いた場合よりも高い精度で被推定者の感情を推定できる。このため、被推定者から第４距離だけ離れた位置に存する第１音声取得装置２によって推定用音声が取得された場合に有していたと推定される音量へ推定用音声データ１１１の音量を調整した上で、この推定用音声データ１１１を感情推定モデル１１３’に適用することにより、このような音量調整を施していない推定用音声データ１１１を感情推定モデル１１３’に適用した場合よりも高い精度で被推定者の感情を推定できる。
【０１１７】
以上説明したように、感情推定装置１’は、第４距離を調整距離として用いた音量調整を施して推定用音声データ１１１に基づいて、被推定者の感情を高い精度で推定できる。
【０１１８】
上述の実施形態において、感情推定装置１は、被推定者から第１距離だけ離れた位置に存する第１音声取得装置２が取得した被推定用音声を表す推定用音声データ１１１の音量を、被推定者から第２距離だけ離れた位置に存する第１音声取得装置２によって推定用音声が取得された場合に有していたと推定される音量へ調整し、音量調整後の推定用音声データ１１１を感情推定モデル１１３へ適用することによって、被推定者の感情を推定した。しかし、これは一例に過ぎない。感情推定装置１は、第１距離と第２距離とに基づく任意の方法で音量を調整した推定用音声データ１１１を感情推定モデル１１３へ適用することによって、被推定者の感情を推定できる。
【０１１９】
例えば、感情推定装置１は、第２距離に基づいて設定された複数の距離範囲のうち何れの距離範囲に第１距離が属するかに応じた音量調整を施した推定用音声データ１１１に基づいて、被推定者の感情を推定すればよい。
【０１２０】
具体的に、この態様によれば、記憶部１１が、予め設定された、第２距離に基づいて設定された互いに異なる距離範囲をそれぞれ示す複数のデータを、各距離範囲に第１距離が属していた場合に音量調整部１００が実行する音量調整処理を示すデータにそれぞれ対応付けて記憶している。
【０１２１】
距離範囲は、第２距離に基づいて、任意の方法で設定できる。例えば、第２距離を含む所定の距離範囲である「適正距離」距離範囲、「適正距離」距離範囲よりも小さな距離の「過小距離」距離範囲、「適正距離」距離範囲よりも大きな距離の「過大距離」距離範囲を含む複数の距離範囲を設定すればよい。具体的に、第２距離が３０ｃｍである場合には、１０ｃｍ以下を「過小距離」距離範囲、２０ｃｍ以上１ｍ以下を「適正距離」距離範囲、２ｍ以上を「過大距離」距離範囲として設定しておけばよい。
【０１２２】
また、各距離範囲に第１距離が属していた場合に音量調整部１００が実行する音量調整処理も、ユーザが任意の方法によって予め設定しておけばよい。例えば、第１距離が「過小距離」距離範囲に属する場合には、推定用音声データ１１１の音量を小さくし、第１距離が「適正距離」距離範囲に属する場合には、推定用音声データ１１１の音量を変化させず、第１距離が「過大距離」距離範囲に属する場合には、推定用音声データ１１１の音量を大きくすることとすればよい。なお、音量を大きくしたり小さくしたりする方法は、任意である。例えば、推定用音声データ１１１が含む振幅パラメータに所定の乗数を乗算することによって音量を所定の倍率だけ大きく又は小さくすることができる。
【０１２３】
感情推定装置１の音量調整部１０１は、第１距離データ１１２が示す第１距離が、記憶部１１に記憶されたデータが示す複数の距離範囲のうち何れに属するかを判別する。そして、音量調整部１０１は、第１距離が属すると判別した距離範囲を示すデータに対応付けて記憶されている、第１距離がこの距離範囲に属する場合の音量調整処理を示すデータが示す音量調整処理を推定用音声データ１１１へ施す。感情推定部１０２は、音量調整部１０１が音量調整した推定用音声データ１１１を感情推定モデル１１３へ適用することにより、被推定者の感情を推定する。
【０１２４】
感情推定モデル１１３は、第１距離と第２距離との間の差が大きいほど、その推定精度が低下する。第１距離が第２距離に比べて小さすぎると推定用音声の音量が大きすぎて推定精度が低下し、第１距離が第２距離に比べて大きすぎると推定用音声の音量が小さすぎて推定精度が低下するのである。
【０１２５】
上述の態様によれば、感情推定装置１は、第１距離が「過小距離」距離範囲に属する場合、すなわち、第１距離が第２距離に比べて小さすぎる場合、推定用音声データ１１１の音量を小さくした上で感情推定モデル１１３へ適用し、被推定者の感情を推定する。これにより、感情推定装置１は、音量を小さくすることなく推定用音声データ１１１を感情推定モデル１１３へ適用した場合よりも高い精度で被推定者の感情を推定できる。
【０１２６】
また、感情推定装置１は、第１距離が「適正距離」距離範囲に属する場合、すなわち、第１距離と第２距離とが、感情推定の目的のためには概ね等しいとみなして良い場合、推定用音声データ１１１を、音量調整を行うことなく、感情推定モデル１１３へ適用し、被推定者の感情を推定する。このような場合、音量調整を行わずとも、推定精度が低下する可能性は低い。そこで、推定用音声データ１１１を、音量調整を行わずに感情推定モデル１１３へ適用することにより、推定精度の低下を招くことなく、感情推定装置１の処理負荷を軽減できる。
【０１２７】
また、感情推定装置１は、第１距離が「過大距離」距離範囲に属する場合、すなわち、第１距離が第２距離に比べて大きすぎる場合、推定用音声データ１１１の音量を大きくした上で感情推定モデル１１３へ適用し、被推定者の感情を推定する。これにより、感情推定装置１は、音量を大きくすることなく推定用音声データ１１１を感情推定モデル１１３へ適用した場合よりも高い精度で被推定者の感情を推定できる。
【０１２８】
本発明に係る感情推定装置は、コンピュータや携帯電話、スマートフォン、カメラ、ＰＤＡ（Personal Digital Assistance）等の任意の電子機器によって実現できる。具体的には、これらの電子機器を本発明に係る感情推定装置として動作させるためのプログラムを、これらの電子機器が読み取り可能な記録媒体（例えば、メモリカードやＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disc Read-Only Memory）等）に格納して配布し、これらの電子機器にインストールすることにより本発明に係る感情推定装置を実現できる。
【０１２９】
あるいは、上記プログラムを、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置（例えば、ディスク装置等）に格納しておき、コンピュータや携帯電話、スマートフォン、カメラ、ＰＤＡ等の電子機器がこのプログラムをダウンロードすることによって本発明に係る感情推定装置を実現してもよい。
【０１３０】
また、本発明に係る感情推定装置の機能を、ＯＳ（Operating System）とアプリケーションプログラムとの協働又は分担により実現する場合には、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
【０１３１】
また、アプリケーションプログラムを搬送波に重畳し、通信ネットワークを介して配信してもよい。例えば、通信ネットワーク上の掲示板（BBS：Bulletin Board System）にアプリケーションプログラムを掲示し、ネットワークを介してアプリケーションプログラムを配信してもよい。そして、このアプリケーションプログラムをコンピュータにインストールして起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、本発明に係る感情推定装置を実現してもよい。
【０１３２】
以上、本発明の好ましい実施の形態について説明したが、本発明は係る特定の実施の形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願当初の特許請求の範囲に記載された発明を付記する。
【０１３３】
（付記１）
被推定者が発し、前記被推定者から第１距離だけ離れた位置に存する第１音声取得手段が取得した音声である推定用音声を表す推定用音声データの音量を、前記被推定者から調整距離だけ離れた位置に存する前記第１音声取得手段によって前記推定用音声が取得された場合に前記推定用音声データが有していたと推定される音量へ調整する音量調整手段と、
前記音量調整手段が音量を調整した前記推定用音声データを、音声の音量を参酌して被推定者の感情を推定する感情推定モデルに適用することによって、前記推定用音声を発した際における前記被推定者の感情を推定する感情推定手段と、
を備えることを特徴とする感情推定装置。
【０１３４】
（付記２）
前記感情推定モデルは、発話者が発し、前記発話者から第２距離だけ離れた位置に存する第２音声取得手段が取得した音声である学習用音声を表す学習用音声データに対応する感情推定モデルであり、
前記調整距離は、前記第２距離であることを特徴とする付記１に記載の感情推定装置。
【０１３５】
（付記３）
前記音量調整手段は、前記推定用音声データが含む、前記推定用音声の振幅を表す振幅パラメータに、前記第２距離に対する前記第１距離の比率である第１調整係数を乗算することによって、前記推定用音声データの音量を調整することを特徴とする付記２に記載の感情推定装置。
【０１３６】
（付記４）
前記第１音声取得手段を備え、
前記第１音声取得手段は、
前記第１距離を取得する第１距離取得手段を備えることを特徴とする付記１乃至３の何れか一つに記載の感情推定装置。
【０１３７】
（付記５）
前記第１音声取得手段は、
各々が前記推定用音声を取得し、相互の位置関係が既知である複数の録音手段と、
前記複数の録音手段それぞれが前記推定用音声を取得した時刻の間の差分を取得する時間差取得手段と、を備え、
前記第１距離取得手段は、前記位置関係と前記差分とに基づいて前記第１距離を取得することを特徴とする付記４に記載の感情推定装置。
【０１３８】
（付記６）
前記第１音声取得手段は、
前記推定用音声を取得する録音手段と、
前記録音手段が前記推定用音声を取得した際における前記被推定者を表す被推定者画像を取得する撮像手段と、
前記被推定者画像が含む、前記被推定者の身体の所定の少なくとも一部である所定領域を表す画像の位置とサイズとを取得する所定領域検出手段と、を備え、
前記第１距離取得手段は、前記位置と前記サイズとに基づいて前記第１距離を取得することを特徴とする付記４に記載の感情推定装置。
【０１３９】
（付記７）
前記第１音声取得手段は、
前記推定用音声を取得する録音手段と、
前記録音手段が前記推定用音声を取得した際における前記被推定者を互いに異なる２つの方向から撮像することにより１組のステレオ画像を取得するステレオカメラと、
前記１組のステレオ画像の間でステレオマッチングを行うことにより視差を取得する視差取得手段と、を備え、
前記第１距離取得手段は、前記視差に基づいて前記第１距離を取得することを特徴とする付記４に記載の感情推定装置。
【０１４０】
（付記８）
前記第１音声取得手段は、
前記推定用音声を取得する録音手段と、
前記録音手段が前記推定用音声を取得した際における前記被推定者へ光を照射する発光手段と、
前記被推定者が反射した前記光を受光する受光手段と、
前記光が前記発光手段によって照射されてから、前記被推定者によって反射された後、前記受光手段によって受光されるまでに要する時間である飛行時間を取得する飛行時間取得手段と、を備え、
前記第１距離取得手段は、前記飛行時間に基づいて前記第１距離を取得することを特徴とする付記４に記載の感情推定装置。
【０１４１】
（付記９）
被推定者が発した推定用音声を表す推定用音声データを取得する音声取得手段と、
前記被推定者と前記音声取得手段との距離を取得する距離取得手段と、
前記音声取得手段が取得した前記推定用音声データの音量を、前記距離取得手段が取得した前記被推定者と前記音声取得手段との距離に基づいて調整する音量調整手段と、
前記音量調整手段が音量を調整した前記推定用音声データを、音声の音量を参酌して被推定者の感情を推定する感情推定モデルに適用することによって、前記推定用音声を発した際における前記被推定者の感情を推定する感情推定手段と、
を備えることを特徴とする感情推定装置。
【０１４２】
（付記１０）
被推定者が発し、前記被推定者から第１距離だけ離れた位置に存する第１音声取得手段が取得した音声である推定用音声を表す推定用音声データの音量を、前記被推定者から調整距離だけ離れた位置に存する前記第１音声取得手段によって前記推定用音声が取得された場合に前記推定用音声データが有していたと推定される音量へ調整する音量調整ステップと、
前記音量調整ステップにおいて音量を調整した前記推定用音声データを、音声の音量を参酌して被推定者の感情を推定する感情推定モデルに適用することによって、前記推定用音声を発した際における前記被推定者の感情を推定する感情推定ステップと、
を含むことを特徴とする感情推定方法。
【０１４３】
（付記１１）
コンピュータを、
被推定者が発し、前記被推定者から第１距離だけ離れた位置に存する第１音声取得手段が取得した音声である推定用音声を表す推定用音声データの音量を、前記被推定者から調整距離だけ離れた位置に存する前記第１音声取得手段によって前記推定用音声が取得された場合に前記推定用音声データが有していたと推定される音量へ調整する音量調整手段、
前記音量調整手段が音量を調整した前記推定用音声データを、音声の音量を参酌して被推定者の感情を推定する感情推定モデルに適用することによって、前記推定用音声を発した際における前記被推定者の感情を推定する感情推定手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【０１４４】
１，１’…感情推定装置、２，２’，２’’，２’’’…第１音声取得装置、１０…ＣＰＵ、１１…記憶部、１２…入力部、１３…出力部、１４…外部インタフェース、２０ａ…第１録音部、２０ｂ…第２録音部、２０ｃ…第３録音部、２１…気温測定部、２２，２２’…記憶部、２３…ＣＰＵ、２４…入出力インタフェース、２５…録音部、２６…撮像部、２７…ステレオカメラ、２８…発光部、２９…受光部、１０１，１０１’…音量調整部、１０２，１０２’…感情推定部、１１１…推定用音声データ、１１２…第１距離データ、１１３，１１３’…感情推定モデル、１１４…第２距離データ、１１５…第４距離データ、２０１…音速取得部、２０２…時間差取得部、２０３，２０３’，２０３’’，２０３’’’…第１距離取得部、２０４…データ生成部、２０５…所定領域検出部、２０６…視差取得部、２０７…飛行時間取得部、２２１…基準データ、Ｐ…被推定者の位置、Ｌ…第１録音部の位置、Ｏ…第２録音部の位置、Ｒ…第３録音部の位置、ｒ…ＯＰ間の距離、θ…直線ＯＰと直線ＬＲとが成す角度
【図１】
2017138343.tif 000003
【図２】
2017138343.tif 000004
【図３】
2017138343.tif 000005
【図４】
2017138343.tif 000006
【図５】
2017138343.tif 000007
【図６】
2017138343.tif 000008
【図７】
2017138343.tif 000009
【図８】
2017138343.tif 000010
【図９】
2017138343.tif 000011