(57)【要約】【課題】  話者の音声から場の雰囲気を判定する。【解決手段】音声解析システム１０は、第１の話者の第１の音声を集音する集音装置１１と、第２の話者の第２の音声を集音する集音装置１２と、第１の話者の複数種類の定量化された感情を複数の成分とするベクトル表現である第１の感情ベクトルを第１の音声から演算し、第２の話者の複数種類の定量化された感情を複数の成分とするベクトル表現である第２の感情ベクトルを第２の音声から演算し、第１の感情ベクトルと第２の感情ベクトルとを用いて、第１の話者と第２の話者との間の場の雰囲気を示す複数種類の定量化された感情を複数の成分とするベクトル表現である雰囲気ベクトルを演算する演算装置１３と、第１の感情ベクトルの少なくとも一つの成分と、第２の感情ベクトルの少なくとも一つの成分と、雰囲気ベクトルの長さとを表示する表示装置１４とを備える。【選択図】      図２
2019056879.tif 000002
【特許請求の範囲】
【請求項１】
第１の話者の第１の音声を集音する第１の集音装置と、
第２の話者の第２の音声を集音する第２の集音装置と、
前記第１の話者の複数種類の定量化された感情を複数の成分とするベクトル表現である第１の感情ベクトルを前記第１の音声から演算し、前記第２の話者の複数種類の定量化された感情を複数の成分とするベクトル表現である第２の感情ベクトルを前記第２の音声から演算し、前記第１の感情ベクトルと前記第２の感情ベクトルとを用いて、前記第１の話者と前記第２の話者との間の場の雰囲気を示す複数種類の定量化された感情を複数の成分とするベクトル表現である雰囲気ベクトルを演算する演算装置と、
前記第１の感情ベクトルの少なくとも一つの成分と、前記第２の感情ベクトルの少なくとも一つの成分と、前記雰囲気ベクトルの長さとを表示する表示装置と、
を備える音声解析システム。
【請求項２】
請求項１に記載の音声解析システムであって、
前記演算装置は、前記雰囲気ベクトルの長さの移動平均値を演算し、
前記表示装置は、前記移動平均値を表示する、音声解析システム。
【請求項３】
請求項２に記載の音声解析システムであって、
前記演算装置は、前記雰囲気ベクトルの長さの短期間移動平均値と長期間移動平均値とを演算し、前記短期間移動平均値と前記長期間移動平均値との関係から、前記場の雰囲気が盛り上がる傾向にあるのか或いは盛り下がる傾向にあるのかを判定する、音声解析システム。
【請求項４】
コンピュータシステムが、
第１の話者の複数種類の定量化された感情を複数の成分とするベクトル表現である第１の感情ベクトルを前記第１の話者の音声から演算するステップと、
第２の話者の複数種類の定量化された感情を複数の成分とするベクトル表現である第２の感情ベクトルを前記第２の話者の音声から演算するステップと、
前記第１の感情ベクトルと前記第２の感情ベクトルとを用いて、前記第１の話者と前記第２の話者との間の場の雰囲気を示す複数種類の定量化された感情を複数の成分とするベクトル表現である雰囲気ベクトルを演算するステップと、
前記第１の感情ベクトルの少なくとも一つの成分と、前記第２の感情ベクトルの少なくとも一つの成分と、前記雰囲気ベクトルの長さとを表示装置に表示するステップと、
を実行する音声解析方法。
【請求項５】
コンピュータシステムに、
第１の話者の複数種類の定量化された感情を複数の成分とするベクトル表現である第１の感情ベクトルを前記第１の話者の音声から演算するステップと、
第２の話者の複数種類の定量化された感情を複数の成分とするベクトル表現である第２の感情ベクトルを前記第２の話者の音声から演算するステップと、
前記第１の感情ベクトルと前記第２の感情ベクトルとを用いて、前記第１の話者と前記第２の話者との間の場の雰囲気を示す複数種類の定量化された感情を複数の成分とするベクトル表現である雰囲気ベクトルを演算するステップと、
前記第１の感情ベクトルの少なくとも一つの成分と、前記第２の感情ベクトルの少なくとも一つの成分と、前記雰囲気ベクトルの長さとを表示装置に表示するステップと、
を実行させる音声解析プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声解析システム、音声解析方法、及び音声解析プログラムに関わる。
【背景技術】
【０００２】
話者の音声から抽出される特徴をモデル化することにより、音声から感情を推定したり、或いは話者を識別したりする技術が知られている。例えば、特許文献１は、会話をする二人の話者の精神活性度と感情との相関関係を予め求めておき、各話者の音声から推定される精神活性度の時間変化に基づいて、各話者の感情の変化を判定する技術について言及している。特許文献２は、話者の音声から抽出される特徴量を成分とする特徴量ベクトルを用いて話者の交代を検出する技術について言及している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５７７２４４８号公報
【特許文献２】特開２０１６−８０９１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このように、話者の音声から感情を推定したり、或いは話者を識別したりする技術は確立されているものの、複数人の話者の音声から場の雰囲気を判定する技術は、未だ確立されていない。
【０００５】
そこで、本発明は、複数人の話者の音声から場の雰囲気を判定する音声解析システムを提案することを課題とする。
【課題を解決するための手段】
【０００６】
上述の課題を解決するため、本発明に関わる音声解析システムは、第１の話者の第１の音声を集音する第１の集音装置と、第２の話者の第２の音声を集音する第２の集音装置と、第１の話者の複数種類の定量化された感情を複数の成分とするベクトル表現である第１の感情ベクトルを第１の音声から演算し、第２の話者の複数種類の定量化された感情を複数の成分とするベクトル表現である第２の感情ベクトルを第２の音声から演算し、第１の感情ベクトルと第２の感情ベクトルとを用いて、第１の話者と第２の話者との間の場の雰囲気を示す複数種類の定量化された感情を複数の成分とするベクトル表現である雰囲気ベクトルを演算する演算装置と、第１の感情ベクトルの少なくとも一つの成分と、第２の感情ベクトルの少なくとも一つの成分と、雰囲気ベクトルの長さとを表示する表示装置と、を備える。
【発明の効果】
【０００７】
本発明に関わる音声解析システムによれば、複数人の話者の音声から場の雰囲気を判定することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に関わる話者の間の場の雰囲気の解析処理の概略を示す説明図である。
【図２】本発明の実施形態に関わる音声解析システムの概略構成を示す説明図である。
【図３】本発明の実施形態に関わる表示装置の画面表示例を示す説明図である。
【図４】本発明の実施形態に関わる話者の間の場の雰囲気の動向の判定処理の説明図である。
【図５】本発明の実施形態に関わる話者の間の場の雰囲気の動向の判定処理の説明図である。
【図６】本発明の実施形態に関わる音声解析方法の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、各図を参照しながら本発明の実施形態について説明する。ここで、同一符号は同一の構成要素を示すものとし、重複する説明は省略する。
図１は本発明の実施形態に関わる話者の間の場の雰囲気の解析処理の概略を示す説明図である。感情のモデルとして、ラッセルの円環モデルが知られている。この円環モデルは、感情（例えば、「喜」「怒」「哀」「楽」）を「快−不快」，「覚醒−眠気」の２軸から分類したものである。本実施形態では、「快−不快」，「覚醒−眠気」の２軸から定義される円環モデルの４象限内に感情ベクトルと雰囲気ベクトルとを定義する。ここで、「感情ベクトル」は、話者の複数種類の定量化された感情を複数の成分とするベクトル表現である。また、「雰囲気ベクトル」は、話者の間の場の雰囲気を示す複数種類の定量化された感情を複数の成分とするベクトル表現である。
【００１０】
円環モデルの４象限内に定義される感情ベクトルは、二つの成分を有する。二つの成分のうち一方の成分は、「快−不快」に関わる定量化された感情を示し、本明細書では、この成分をｘ成分と呼ぶ。二つの成分のうち他方の成分は、「覚醒−眠気」に関わる定量化された感情を示し、本明細書では、この成分をｙ成分と呼ぶ。Ｐ１（ｘ１，ｙ１）は、二人の話者のうちの一方の感情ベクトルを示し、Ｐ２（ｘ２，ｙ２）は、二人の話者のうちの他方の感情ベクトルを示している。円環モデルの４象限内に定義される雰囲気ベクトルは、感情ベクトルの成分と同様の成分を有する。Ｐ３（ｘ３，ｙ３）は、二人の話者の間の場の雰囲気を表す雰囲気ベクトルを示している。Ｐ３（ｘ３，ｙ３）は、例えば、Ｐ１（ｘ１，ｙ１）とＰ２（ｘ２，ｙ２）との和により求めることができ、この場合、ｘ３＝ｘ１＋ｘ２，且つｙ３＝ｙ２＋ｙ１の関係を有する。雰囲気ベクトルの長さは、話者の間の場の雰囲気を示す感情の強さを示しており、雰囲気ベクトルの長さの時間変化（時系列的な移り変わり）を基に、話者の間の場の雰囲気の動向（トレンド）を判定することができる。
【００１１】
図２は、本発明の実施形態に関わる音声解析システム１０の概略構成を示す説明図である。以下の説明では、二人の話者の間の場の雰囲気を判定する場合を例示する。音声解析システム１０は、二つの集音装置１１，１２と、演算装置１３と、表示装置１４とを備えている。集音装置１１は、二人の話者のうち一方の音声を集音し、集音装置１２は、二人の話者のうち他方の音声を集音する。集音装置１１，１２は、例えば、マイクロフォンである。二人の話者のうち、一方は男性でもよく、他方は女性でもよい。演算装置１３は、集音装置１１，１２が集音した音声から二人の話者のそれぞれの感情ベクトルＰ１，Ｐ２と二人の話者の間の雰囲気ベクトルＰ３とを演算するコンピュータシステムである。演算装置１３は、そのハードウェア資源として、プロセッサ及び記憶資源を備えており、記憶資源に格納されている音声解析プログラムをプロセッサが解釈及び実行することにより、感情ベクトルＰ１，Ｐ２及び雰囲気ベクトルＰ３の演算処理を行う。表示装置１４は、感情ベクトルＰ１の少なくとも一つの成分（例えば、ｙ成分）と、感情ベクトルＰ２の少なくとも一つの成分（例えば、ｙ成分）と、雰囲気ベクトルＰ３の長さとを表示する。
【００１２】
ここで、二人の話者の音声から各話者の感情ベクトルＰ１，Ｐ２を演算する方法の一例を以下に説明する。演算装置１３は、各話者による一連の発話毎（無音区間を挟まずに連続する一定時間以上の発話毎）に、それぞれの集音装置１１，１２が集音した音声の特徴量を検出し、音声の特徴量の変化の度合いから、各話者の複数種類の定量化された感情を示すｘ成分及びｙ成分を求める。音声の特徴量として、例えば、平均音圧、音圧変化、音圧分布、平均ピッチ（声の高さ）、ピッチ変化、及びピッチ分布などを用いることができる。これらの音声の特徴量の算出方法の一例を以下に示す。
・平均音圧：一例の発話における音声信号のレベルの絶対値を加算し、その一連の発話が行われた時間でこれを平均化することにより、平均音圧を算出する。
・音圧変化：絶対値化された音圧グラフのピークにおける最大値と最小値との差から音圧変化を算出する。音圧グラフのピークは、音圧グラフの１次微分の正から負へのゼロ交差点から算出できる。
・音圧分布：音圧のヒストグラムを正規分布にフィッティングし、その標準偏差から音圧分布を算出する。
・平均ピッチ：ピッチ（声の高さ、或いは基本周波数）は、波形法、相関法又はスペクトル法などから求めることができる。一連の発話における音声信号のピッチを加算し、その一連の発話が行われた時間でこれを平均化することにより、平均ピッチを算出する。
・ピッチ変化：ピッチの最大値と最小値との差から、ピッチ変化を算出する。
・ピッチ分布：ピッチのヒストグラムを正規分布にフィッティングし、その標準偏差からピッチ分布を算出する。
【００１３】
なお、音声の特徴量は、上述の例に限られるものではなく、例えば、メル周波数ケプストラム係数（Mel-Frequency Cepstrum Coefficient：MFCC）の１〜１２次元と、その変化量であるΔＭＦＣＣなどのパラメータを用いることができる。
【００１４】
図３は本発明の実施形態に関わる表示装置１４の画面表示例を示す。この画面の横軸は時間軸を示し、縦軸は感情ベクトルＰ１，Ｐ２の成分の大きさ又は雰囲気ベクトルＰ３の長さを示している。感情ベクトルＰ１，Ｐ２の成分の大きさ及び雰囲気ベクトルＰ３の長さは、時間の経過とともに変化し得るため、表示装置１４は、一定周期毎にこれらの成分及び長さを表示する。符号２１は、感情ベクトルＰ１の少なくとも一つの成分の一定周期毎の値を通るグラフを示しており、このグラフ２１から、感情ベクトルＰ１の少なくとも一つの成分の時間変化を読み取ることができる。符号２２は、感情ベクトルＰ２の少なくとも一つの成分の一定周期毎の値を通るグラフを示しており、このグラフ２２から、感情ベクトルＰ２の少なくとも一つの成分の時間変化を読み取ることができる。感情ベクトルＰ１の二つの成分のうち表示装置１４に表示される成分は、例えば、ｙ成分である。感情ベクトルＰ２の二つの成分のうち表示装置１４に表示される成分は、例えば、感情ベクトルＰ１の二つの成分のうち表示装置１４に表示される成分と同じ成分である。符号２３は、雰囲気ベクトルＰ３の一定周期毎の長さに対応する高さを有する一連の棒グラフを示しており、一定周期毎に表示される各棒グラフ２３の高さの時間変化から雰囲気ベクトルＰ３の長さの時間変化を読み取ることができる。雰囲気ベクトルＰ３の長さは、話者の間の場の雰囲気を示す感情の強さを示すため、任意の時点における棒グラフ２３の高さからその時点における話者の間の場の雰囲気を示す感情の強さを読み取ることができる。符号２４は、雰囲気ベクトルＰ３の長さの移動平均（単純移動平均）の一定周期毎の値を通るグラフを示しており、このグラフ２４から、雰囲気ベクトルＰ３の長さの移動平均値の時間変化（話者の間の場の雰囲気の動向）を読み取ることができる。なお、各話者の感情の動向と話者の間の場の雰囲気の動向との対応関係が分かればよいため、それぞれのグラフ２１，２２の値から算出される雰囲気ベクトルＰ３の長さと棒グラフ２３の高さとは必ずしも厳密には一致しなくてもよい。例えば、それぞれのグラフ２１，２２の値を加算した値を棒グラフ２３の高さとしてもよく、或いは、それぞれのグラフ２１，２２の値を加算した値に補正係数を乗じた値を棒グラフ２３の高さとしてもよい。この補正係数は、話者の間の場の雰囲気に応じて変えてもよい。
【００１５】
図４及び図５に示すように、演算装置１３は、雰囲気ベクトルＰ３の長さの短期間移動平均値２５と長期間移動平均値２６との関係から、話者の間の場の雰囲気の動向を判定してもよい。例えば、図４に示すように、短期間移動平均値２５のグラフが長期間移動平均値２６のグラフを下から上に向けて交差する事象は、ゴールデンクロスと呼ばれており、雰囲気ベクトルＰ３の長さが増加傾向に転じる兆候を示している。演算装置１３は、ゴールデンクロスを検出すると、話者の間の場の雰囲気が盛り上がる傾向にあるものと判定する。一方、図５に示すように、短期間移動平均値２５のグラフが長期間移動平均値２６のグラフを上から下に向けて交差する事象は、デッドクロスと呼ばれており、雰囲気ベクトルＰ３の長さが減少傾向に転じる兆候を示している。演算装置１３は、デッドクロスを検出すると、話者の間の場の雰囲気が盛り下がる傾向にあるものと判定する。短期間移動平均値２５と長期間移動平均値２６との関係から、話者の間の場の雰囲気が盛り上がる傾向にあるのか或いは盛り下がる傾向にあるのかを判定する手法は、話者へのサービスに応用することができる。例えば、話者の間の場の雰囲気が盛り上がる傾向にあるものと判定された場合、音声解析システム１０は、話者の間の場の雰囲気が一層盛り上がるように、サービスを提供する（例えば、飲食品を提供する）旨のメッセージを表示装置１４に表示してもよい。一方、話者の間の場の雰囲気が盛り下がる傾向にあるものと判定された場合、音声解析システム１０は、話者の交代を提案するメッセージを表示装置１４に表示してもよい。
【００１６】
図６は本発明の実施形態に関わる音声解析方法の処理の流れを示すフローチャートである。演算装置１３の記憶資源に格納されている音声解析プログラムは、実施形態に関わる音声解析方法を演算装置１３に実行させるコンピュータプログラムである。
演算装置１３は、二人の話者のうち一方の話者の複数種類の定量化された感情を複数の成分とするベクトル表現である感情ベクトルＰ１を当該一方の話者の音声から演算する（ステップ６１）。
演算装置１３は、二人の話者のうち他方の話者の複数種類の定量化された感情を複数の成分とするベクトル表現である感情ベクトルＰ２を当該他方の話者の音声から演算する（ステップ６２）。
演算装置１３は、感情ベクトルＰ１と感情ベクトルＰ２とを用いて、二人の話者の間の場の雰囲気を示す複数種類の定量化された感情を複数の成分とするベクトル表現である雰囲気ベクトルＰ３を演算する（ステップ６３）。
演算装置１３は、感情ベクトルＰ１の少なくとも一つの成分と、感情ベクトルＰ２の少なくとも一つの成分と、雰囲気ベクトルＰ３の長さとを表示装置１４に表示する（ステップ６４）。
【００１７】
本実施形態によれば、感情ベクトルＰ１の少なくとも一つの成分と、感情ベクトルＰ２の少なくとも一つの成分と、雰囲気ベクトルＰ３の長さとを表示装置１４に表示することにより、各話者の感情のみならず、話者の間の場の雰囲気をも読み取ることができる。また、雰囲気ベクトルＰ３の長さの移動平均値を表示装置１４に表示することにより、雰囲気ベクトルＰ３の長さの時間変化から、話者の間の場の雰囲気の動向を読み取ることができる。また、雰囲気ベクトルＰ３の長さの短期間移動平均値２５と長期間移動平均値２６との関係から、話者の間の場の雰囲気が盛り上がる傾向にあるのか或いは盛り下がる傾向にあるのかを判定することができる。
【００１８】
なお、二人の話者のうち、一方を第１の話者と呼び、他方を第２の話者と呼んでもよい。また、第１の話者の音声を第１の音声と呼び、第２の話者の音声を第２の音声と呼んでもよい。また、第１の話者の感情ベクトルＰ１を第１の感情ベクトルＰ１と呼び、第２の話者の感情ベクトルＰ２を第２の感情ベクトルＰ２と呼んでもよい。また、第１の音声を集音する集音装置１１を第１の集音装置１１と呼び、第２の音声を集音する集音装置１２を第２の集音装置１２と呼んでもよい。また、二人の話者の間の場を第１の話者と第２の話者との間の場と呼んでもよい。
【００１９】
上述の例では、二人の話者の間の場の雰囲気を判定する場合を例示したが、音声解析システム１０は、三人以上の話者の間の場の雰囲気を判定してもよい。この場合、音声解析システム１０は、話者一人につき一つの集音装置を備えてもよい。また、演算装置１３は、三つ以上の感情ベクトルの演算（例えば、三つ以上の感情ベクトルの加算）により、三人以上の話者の間の場の雰囲気を表す雰囲気ベクトルを求めることができる。また、表示装置１４は、感情ベクトルＰ１の全ての成分（例えば、ｘ成分及びｙ成分）と、感情ベクトルＰ２の全ての成分（例えば、ｘ成分及びｙ成分）と、雰囲気ベクトルＰ３の長さとを表示してもよい。
【００２０】
なお、以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更／改良され得るととともに、本発明にはその等価物も含まれる。即ち、実施形態に当業者が適宜設計変更を加えたものも、本発明の特徴を備えている限り、本発明の範囲に包含される。また、実施形態が備える各要素は、技術的に可能な限りにおいて組み合わせることができ、これらを組み合わせたものも本発明の特徴を含む限り本発明の範囲に包含される。
【符号の説明】
【００２１】
１０…音声解析システム  １１…集音装置  １２…集音装置  １３…演算装置  １４…表示装置  ２１…グラフ  ２２…グラフ  ２３…棒グラフ  ２４…グラフ  ２５…短期間移動平均値  ２６…長期間移動平均値
【図１】
2019056879.tif 000003
【図２】
2019056879.tif 000004
【図３】
2019056879.tif 000005
【図４】
2019056879.tif 000006
【図５】
2019056879.tif 000007
【図６】
2019056879.tif 000008