(57)【要約】【課題】受話側の話者の音声と送話側の話者の音声が混じった音声信号に基づいて、一方の話者の状態を推定可能な状態推定装置を提供する。【解決手段】状態推定装置１は、第１の話者の音声と、電話回線を通じて伝送された第２の話者の音声とを含む音声信号に対して、所定の時間長を持つフレーム単位で複数の周波数のそれぞれのパワースペクトルを算出するスペクトル算出部２１と、フレームごとに、複数の周波数のうち、非伝送帯域に含まれる周波数のパワースペクトルに基づいて非伝送帯域のパワーを算出する帯域パワー算出部２２と、非伝送帯域のパワーが音声を含むことを表す閾値よりも大きいフレームに第１の話者の音声が含まれると判定する送話判定部２３と、第１の話者の音声が含まれると判定されたフレームに基づいて、第１の話者の心理状態が正常か異常かを判定する状態判定部２６とを有する。【選択図】図４
2014170132.tif 000002
【特許請求の範囲】
【請求項１】
第１の話者の音声と、電話回線を通じて伝送された第２の話者の音声とを含む音声信号に対して、所定の時間長を持つフレーム単位で複数の周波数のそれぞれのパワースペクトルを算出するスペクトル算出部と、
前記フレームごとに、前記複数の周波数のうち、音声信号が前記電話回線を伝送される際に電話帯域フィルタにより減衰させられる周波数帯域である非伝送帯域に含まれる周波数のパワースペクトルに基づいて当該非伝送帯域のパワーを算出する帯域パワー算出部と、
前記非伝送帯域のパワーが音声を含むことを表す閾値よりも大きいフレームに前記第１の話者の音声が含まれると判定する送話判定部と、
前記第１の話者の音声が含まれると判定されたフレームに基づいて、前記第１の話者の心理状態が正常か異常かを判定する状態判定部と、
を有する状態推定装置。
【請求項２】
前記第１の話者の音声が含まれると判定されたフレームに有声音が含まれるか否かを判定する有声／無声判定部をさらに有し、
前記状態判定部は、前記第１の話者の音声が含まれると判定され、かつ、有声音が含まれるフレームに基づいて、前記第１の話者の心理状態が正常か異常かを判定する、請求項１に記載の状態推定装置。
【請求項３】
前記第１の話者の音声が含まれると判定され、かつ、有声音が含まれるフレームから求められた話者の心理状態を表す特徴量に基づいて、前記第１の話者の心理状態を表す評価値を算出する評価値算出部をさらに有し、
前記状態判定部は、前記評価値が、前記第１の話者の心理状態が異常である条件を満たす場合に、前記第１の話者の心理状態が異常であると判定する、請求項２に記載の状態推定装置。
【請求項４】
前記有声／無声判定部は、前記第１の話者の音声が含まれると判定されたフレームが有声音を含むと判定する度に、当該フレームから前記特徴量としてピッチ周波数と各周波数のパワースペクトルの積算値を求め、
前記評価値算出部は、前記第１の話者の音声が含まれると判定され、かつ、有声音が含まれる複数のフレームのうちで、該複数のフレームのそれぞれから求められた前記ピッチ周波数の平均より所定値以上高いピッチ周波数を持つフレームの出現頻度を表す統計量と、前記第１の話者の音声が含まれると判定され、かつ、有声音が含まれる複数のフレームのうちで、該複数のフレームのそれぞれからから求められた前記パワースペクトルの積算値の平均より所定値以上大きいパワースペクトルの積算値を持つフレームの出現頻度を表す統計量とに基づいて前記評価値を算出する、請求項３に記載の状態推定装置。
【請求項５】
前記非伝送帯域パワーが前記閾値以下であるフレームから前記第１の話者の抑圧に利用されるキーワードを検出する音声認識部をさらに有し、
前記評価値算出部は、検出された前記キーワードが多いほど、前記評価値を前記条件を満たし易いように補正する、
請求項３または４に記載の状態推定装置。
【請求項６】
第１の話者の音声と、電話回線を通じて伝送された第２の話者の音声とを含む音声信号に対して、所定の時間長を持つフレーム単位で複数の周波数のそれぞれのパワースペクトルを算出し、
前記フレームごとに、前記複数の周波数のうち、音声信号が前記電話回線を伝送される際に電話帯域フィルタにより減衰させられる周波数帯域である非伝送帯域に含まれる周波数のパワースペクトルに基づいて当該非伝送帯域のパワーを算出し、
前記非伝送帯域のパワーが音声を含むことを表す閾値よりも大きいフレームに前記第１の話者の音声が含まれると判定し、
前記第１の話者の音声が含まれると判定されたフレームに基づいて、前記第１の話者の心理状態が正常か異常かを判定する、
ことを含む状態推定方法。
【請求項７】
第１の話者の音声と、電話回線を通じて伝送された第２の話者の音声とを含む音声信号に対して、所定の時間長を持つフレーム単位で複数の周波数のそれぞれのパワースペクトルを算出し、
前記フレームごとに、前記複数の周波数のうち、音声信号が前記電話回線を伝送される際に電話帯域フィルタにより減衰させられる周波数帯域である非伝送帯域に含まれる周波数のパワースペクトルに基づいて当該非伝送帯域のパワーを算出し、
前記非伝送帯域のパワーが音声を含むことを表す閾値よりも大きいフレームに前記第１の話者の音声が含まれると判定し、
前記第１の話者の音声が含まれると判定されたフレームに基づいて、前記第１の話者の心理状態が正常か異常かを判定する、
ことをコンピュータに実行させるための状態推定用コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、電話回線を利用して通話中の話者が発する音声に基づいて、話者の心理状態が異常か否かを判定する状態推定装置、状態推定方法及び状態推定用コンピュータプログラムに関する。
【背景技術】
【０００２】
近年、電話回線を用いて行われる、金銭を騙し取ることを目的とした詐欺行為及び悪質な勧誘行為が社会的な問題となっている。そこで、電話回線を介した通話中の音声に基づいて、話者の心理状態を推定する技術が提案されている（例えば、特許文献１〜３を参照）。
【０００３】
例えば、特許文献１に開示された発話状態検出装置は、発話者の発話データを周波数解析した結果から高周波数成分を抽出し、その高周波数成分についての単位時間ごとの変動度合いを算出する。そしてこの発話状態検出装置は、特定発話者の発話データから得られた、所定期間における複数の変動度合いに基づいて算出される所定区間ごとの統計量に基づいて、特定発話者の発話状態を検出する。
【０００４】
また、特許文献２に開示された抑圧状態検出装置は、入力された音声を複数のフレームごとに解析し、その解析結果の平均値を算出する。抑圧状態検出装置は、予め記憶された複数話者ごとの解析結果の平均値及び解析結果の累積頻度分布に関する統計データと、算出した解析結果の平均値とに基づいて閾値を決定し、複数の解析結果のうち閾値よりも大きな値を有する解析結果の出現頻度を演算する。そして抑圧状態検出装置は、その出現頻度に基づいて音声を発する声帯の緊張状態を判定する。
【０００５】
さらに、特許文献３に開示された状態検出装置は、話者の発話データから特徴パラメータの複数の統計量を算出する。状態検出装置は、平常状態下の発話を表している基準発話データと話者の発話データのそれぞれについての特徴パラメータの統計量に基づき、少なくとも一つの統計量が基準発話データについての統計量と一致する疑似発話データを作成する。そして状態検出装置は、疑似発話データと話者の発話データについての特徴パラメータの統計量とに基づき、疑似発話データを話者の発話データが入力された分だけ置換して得られる合成発話データについての特徴パラメータの統計量を算出する。状態検出装置は、合成発話データと基準発話データとのそれぞれについての特徴パラメータの統計量の違いに基づいて、話者の異常状態を検出する。
【０００６】
これらの技術では、送話側の話者の音声と、受話側の話者の音声とが別々に得られることが前提となっている。送話側の話者の音声と、受話側の話者の音声とを別々に取得するためには、例えば、電話機本体とハンドセットとの間に通話録音アダプタを接続する。そして、状態推定装置は、そのアダプタから送話側の音声信号と受話側の音声信号をそれぞれ取得して、話者の状態を推定する。この場合、通話録音アダプタから取得できる音声信号は、その通話録音アダプタが接続された電話機を用いた通話の音声信号に限られる。そのため、一つの電話回線に複数の電話機が接続されており、そのうちの一つの電話機にのみ通話録音アダプタが接続されていると、状態推定装置は、他の電話機を用いた通話から話者の状態を推定することはできない。一方、モジュラーローゼットと分配器の間に通話録音アダプタを接続し、状態推定装置がその通話録音アダプタから音声信号を取得すれば、分配器に複数の電話機が接続されていても、何れの電話機の通話の音声信号を取得することができる。しかし、この場合には、通話録音アダプタから得られる音声信号は、送話側の話者の音声と受話側の話者の音声とが混ざったものとなる。そのため、このような音声信号に対して、送話側の話者の音声と、受話側の話者の音声とが別々に得られることが前提となっている上記の技術を適用しても、十分な推定精度を得ることは困難である。これは、一方の話者の音声に他方の話者の音声が重畳されるため、一方の話者の状態を推定するための音声の特徴量に、他方の話者の音声の特徴も含まれてしまうことによる。一方、正弦波重畳モデルのパラメータを推定することで、二つの音源からの音を分離する技術が提案されている（例えば、特許文献４を参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１１−２４２７５５号公報
【特許文献２】特開２０１２−１６８２９６号公報
【特許文献３】米国特許公開第２０１３／０００６６３０号
【特許文献４】特開２００８−３０４７１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献４に記載の技術では、正弦波モデルに雑音を表す項が含まれていない。しかしながら、実際の通話では、話者の周囲にある音源から発せられた雑音が話者の声に重畳されるので、特許文献４に記載の技術は、実際の通話を録音した音声信号から、それぞれの話者の音声を正確に分離できないおそれがある。
【０００９】
そこで本明細書は、一つの側面では、受話側の話者の音声と送話側の話者の音声が混じった音声信号に基づいて、一方の話者の状態を推定可能な状態推定装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
一つの実施形態によれば、状態推定装置が提供される。この状態推定装置は、第１の話者の音声と、電話回線を通じて伝送された第２の話者の音声とを含む音声信号に対して、所定の時間長を持つフレーム単位で複数の周波数のそれぞれのパワースペクトルを算出するスペクトル算出部と、フレームごとに、複数の周波数のうち、音声信号が電話回線を伝送される際に電話帯域フィルタにより減衰させられる周波数帯域である非伝送帯域に含まれる周波数のパワースペクトルに基づいて非伝送帯域のパワーを算出する帯域パワー算出部と、非伝送帯域のパワーが音声を含むことを表す閾値よりも大きいフレームに第１の話者の音声が含まれると判定する送話判定部と、第１の話者の音声が含まれると判定されたフレームに基づいて、第１の話者の心理状態が正常か異常かを判定する状態判定部とを有する。
【００１１】
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
【発明の効果】
【００１２】
本明細書に開示された状態推定装置は、受話側の話者の音声と送話側の話者の音声が混じった音声信号に基づいて、一方の話者の状態を推定できる。
【図面の簡単な説明】
【００１３】
【図１】送話側の音声信号の周波数特性と受話側の音声信号の周波数特性の一例を示す図である。
【図２】一つの実施形態による状態推定装置を電話回線に接続する位置の一例を示す図である。
【図３】一つの実施形態による状態推定装置の概略構成図である。
【図４】状態推定装置が有する処理部の機能ブロック図である。
【図５】状態推定処理の動作フローチャートである。
【図６】第２の実施形態による状態推定装置が有する処理部の機能ブロック図である。
【図７】変形例による、状態推定装置を電話回線に接続する位置の他の一例を示す図である。
【図８】何れかの実施形態またはその変形例による状態推定装置が実装された携帯電話機の概略構成図である。
【発明を実施するための形態】
【００１４】
以下、図を参照しつつ、状態推定装置について説明する。
この状態推定装置は、電話回線を伝送された後の音声信号の周波数特性と、電話回線を伝送される前の音声信号の周波数特性の違いに着目することで、受話側の話者の音声と送話側の話者の音声が混じった音声信号から送話側の音声が含まれるフレームを特定する。
なお、本実施形態では、状態推定装置が取り付けられる側を送話側とし、電話回線を介して送話側との通話の相手側を受話側とする。
【００１５】
図１は、送話側の音声信号の周波数特性と受話側の音声信号の周波数特性の一例を示す図である。図１において、横軸は周波数(kHz)を表し、縦軸はパワースペクトルの強度(dB)を表す。グラフ１０１は、受話側の音声信号の周波数特性を表し、グラフ１０２は、送話側の音声信号の周波数特性を表す。
【００１６】
電話回線を利用した通話では、音声信号は交換局間を多重化されて伝送されるために、音声信号の周波数帯域は0.3kHz〜3.4kHzに制限され、その他の周波数成分は伝送時に電話帯域フィルタによって減衰させられている。そのため、受話側の音声信号のパワースペクトルは、3.4kHzを超えると急激に低下する。一方、送話側の音声信号は、電話回線を伝送される前であり、そのような周波数帯域の制限はないので、3.4kHzよりも高い周波数でも、ある程度大きなパワーを有している。また、早川他、「音声の高域に含まれる個人性情報を用いた話者認識」、日本音響学会誌 51(11)、p.861-868、1995年には、高域周波数の情報を使うほど、話者の認識率が向上することが示されている。このことは、3.4kHz以上の周波数帯域にも、話者の音声のスペクトル成分が含まれることを示している。
【００１７】
そこで状態推定装置は、送話側の話者の音声と受話側の話者の音声とが混じった音声信号の周波数特性をフレーム単位で調べて、電話回線を介した伝送により制限される周波数帯域以外のスペクトルが含まれるフレームに送話側の話者の音声が含まれると判断する。
【００１８】
図２は、一つの実施形態による状態推定装置を電話回線に接続する位置の一例を示す図である。本実施形態では、状態推定装置１は、二つの電話機２−１、２−２が接続された分配器３と、モジュラーローゼット４との間に接続された通話録音アダプタ５から音声信号を取得する。そのため、送話側の話者が、電話機２−１、２−２のうちの何れの電話機を使用する場合でも、送話側の話者の音声を含む音声信号は、通話録音アダプタ５を通過する。また、受話側の話者の音声を含む音声信号は、電話回線６からモジュラーローゼット４及び通話録音アダプタ５を介して何れかの電話機へ送信される。そのため、通話録音アダプタ５から状態推定装置１へ出力される音声信号は、送話側の話者の音声と受話側の話者の音声が混じったアナログ信号となる。
【００１９】
図３は、一つの実施形態による状態推定装置の概略構成図である。状態推定装置１は、インターフェース部１１と、ローパスフィルタ１２と、アナログ／デジタルコンバータ１３と、処理部１４と、記憶部１５と、デジタル／アナログコンバータ１６と、スピーカ１７とを有する。
【００２０】
インターフェース部１１は、音声入力部の一例であり、オーディオインターフェースを有する。そしてインターフェース部１１は、通話録音アダプタ５からアナログ信号である音声信号を取得し、その音声信号をローパスフィルタ１２へ出力する。ローパスフィルタ１２は、アナログ／デジタルコンバータ１３（以下、Ａ／Ｄコンバータと表記する）での信号サンプリングによるエリアジングを抑制するために、音声信号のうちのＡ／Ｄコンバータ１３のサンプリングレートにより決まるナイキスト周波数（サンプリングレートの半分の周波数）よりも高い周波数の成分を減衰させる。高周波数成分が減衰された音声信号は、Ａ／Ｄコンバータ１３に入力される。Ａ／Ｄコンバータ１３は、アナログの音声信号を所定のサンプリングレートでサンプリングすることにより、その音声信号をデジタル化する。なお、Ａ／Ｄコンバータ１３のサンプリングレートは、デジタル化された音声信号が、電話回線６を伝送される音声信号の周波数帯域の上限（3.4kHz）よりも高い周波数の成分を持てるように設定される。状態推定装置１が、例えば、3.4kHz〜4.0kHzの周波数帯域のパワースペクトルを用いて送話側の音声か受話側の音声かを判定するのであれば、ナイキスト周波数が4.0kHz以上になるように、サンプリングレートは8kHz以上に設定される。また、一般に、送話側の音声には、4kHz〜8kHzの周波数帯域の成分も含まれるので、サンプリングレートは、16kHz以上に設定されることが好ましい。そしてＡ／Ｄコンバータ１３は、デジタル化された音声信号を処理部１４へ出力する。
【００２１】
処理部１４は、例えば、一つまたは複数のプロセッサと、メモリ回路と、周辺回路とを有する。処理部１４は、デジタル化された音声信号に基づいて、送話側の話者の音声を含むフレームを識別する。そして処理部１４は、送話側の話者の音声を含むフレームに基づいて送話側の話者の心理状態が異常か否か判定する。なお、処理部１４による処理の詳細は後述する。
【００２２】
記憶部１５は、例えば、読み書き可能な不揮発性の半導体メモリと、読み書き可能な揮発性の半導体メモリとを有する。そして記憶部１５は、処理部１４上で実行される状態推定処理で利用される各種のデータ及び状態推定処理の途中で生成される各種のデータを記憶する。また記憶部１５は、処理部１４が、送話側の話者の状態が異常であると判定したときにスピーカ１７から出力される警告音声信号を記憶する。
【００２３】
デジタル／アナログコンバータ１６（以下、Ｄ／Ａコンバータと表記する）は、処理部１４が、送話側の話者の状態が異常であると判定したときに、処理部１４から出力される警告音声信号をアナログ化してスピーカ１７へ出力する。スピーカ１７は、アナログ化された警告音声信号を再生する。
【００２４】
図４は、処理部１４の機能ブロック図である。処理部１４は、スペクトル算出部２１と、帯域パワー算出部２２と、送話判定部２３と、有声／無声判定部２４と、評価値算出部２５と、状態判定部２６とを有する。
処理部１４が有するこれらの各部は、例えば、処理部１４が有するプロセッサ上で動作するコンピュータプログラムにより実現される機能モジュールである。
【００２５】
スペクトル算出部２１は、デジタル化された音声信号（以下では、単に音声信号と呼ぶ）を所定長を持つフレームごとに分割する。フレーム長は、例えば、32msecに設定される。なお、スペクトル算出部２１は、連続する二つのフレームの一部を重複させてもよい。この場合、スペクトル算出部２１は、現在のフレームから次のフレームへ移動する際に、新たにフレームに取り入れられるフレームシフト量を、例えば、10msec〜16msecに設定してもよい。
【００２６】
スペクトル算出部２１は、フレームごとに、音声信号を、時間周波数変換を用いて時間領域から周波数領域のスペクトル信号に変換する。スペクトル算出部２１は、時間周波数変換として、例えば、高速フーリエ変換(Fast Fourier Transform, FFT)または修正離散コサイン変換（Modified Discrete Cosign Transform, MDCT）を用いることができる。なお、スペクトル算出部２１は、各フレームに、ハミング窓またはハニング窓といった窓関数を乗じたのちに時間周波数変換を行ってもよい。
例えば、フレーム長が32msecであり、Ａ／Ｄコンバータ１３のサンプリングレートが16kHzであれば、1フレームあたり512個のサンプル点が含まれるので、スペクトル算出部２１は、512点のFFTを実行する。
【００２７】
スペクトル算出部２１は、フレームごとに、周波数ごとのスペクトル信号から、周波数ごとのパワースペクトルを算出する。そしてスペクトル算出部２１は、フレームごとに、周波数ごとのパワースペクトルを帯域パワー算出部２２及び評価値算出部２５へ出力する。
【００２８】
帯域パワー算出部２２は、フレームごとに、電話回線を伝送されることによって減衰させられる音声信号の周波数帯域である非伝送帯域に含まれる周波数のパワースペクトルに基づいて、非伝送帯域のパワーを算出する。なお、以下では、非伝送帯域のパワーを、単に非伝送帯域パワーと呼ぶ。本実施形態では、帯域パワー算出部２２は、電話回線を通じて伝送される音声信号の周波数帯域と重複しないように設定された非伝送帯域内のパワースペクトルを積算することにより非伝送帯域パワーを算出する。例えば、サンプリングレートが16kHz、フレーム長が32msecで512点のFFTにより各周波数のパワースペクトルが算出されており、非伝送帯域が3.4kHz〜6.0kHzである場合、帯域パワー算出部２２は、次式に従って非伝送帯域パワーを算出する。
【数１】
2014170132.tif 000003
ここでS(f)は、周波数fにおけるスペクトル信号であり、|S(f)|2は、周波数fにおけるパワースペクトルである。そしてPは非伝送帯域パワーである。
【００２９】
なお、非伝送帯域の上限は、6.0kHzに限られない。非伝送帯域の上限は、電話回線を伝送される音声信号の上限周波数である3.4kHzよりも高く、かつ、Ａ／Ｄコンバータ１３のサンプリングレートの1/2以下であればよい。また非伝送帯域の下限は、例えば、電話回線を伝送される音声信号の上限周波数である3.4kHz以上に設定される。ただし、非伝送帯域の下限をあまり高くすると、非伝送帯域内に送話側の話者の音声の成分もほとんど含まれなくなるので、非伝送帯域の下限は3.4kHzに近いほど好ましい。
【００３０】
帯域パワー算出部２２は、フレームごとに、非伝送帯域パワーP及び各周波数のパワースペクトルを送話判定部２３へ出力する。
【００３１】
送話判定部２３は、フレームごとに、非伝送帯域パワーPを送話判定閾値と比較する。そして送話判定部２３は、非伝送帯域パワーPが送話判定閾値よりも大きければ、そのフレームには送話側の話者の音声が含まれると判定する。一方、非伝送帯域パワーPが送話判定閾値以下であれば、送話判定部２３は、そのフレームには送話側の話者の音声は含まれないと判定する。なお、送話判定閾値は、非伝送帯域に話者の音声が含まれることを表す値であり、例えば、通話録音アダプタ５及びＡ／Ｄコンバータ１３の特性に応じて設定される。例えば、送話判定閾値は、45dB〜50dBに設定される。
【００３２】
また、送話判定閾値は、通話音声の背景雑音レベルに応じて適応的に設定されることが好ましい。そこで送話判定部２３は、送話側の話者と受話側の話者の両方とも発声していないフレームを、背景雑音のみが含まれる無音フレームと判定する。例えば、送話判定部２３は、フレームの周波数帯域全体のパワースペクトルの積算値が所定のパワー閾値未満であれば、そのフレームを無音フレームと判定する。そして送話判定部２３は、無音フレームの非伝送帯域パワーに基づいて背景雑音レベルを推定する。例えば、送話判定部２３は、次式に従って背景雑音レベルを推定する。
【数２】
2014170132.tif 000004
ここで、Psは、最新の無音フレームの非伝送帯域パワーであり、noisePは、更新前の背景雑音レベルである。そしてnoiseP'は、更新後の背景雑音レベルである。この場合、送話判定閾値Th1は、例えば、次式に従って設定される。
【数３】
2014170132.tif 000005
ここで、γは、あらかじめ設定される定数であり、例えば、周囲が静かな環境で送話側の話者が発声した母音を含むフレームの非伝送帯域パワーが受話側の話者の発声と区別できるように設定される。
【００３３】
送話判定部２３は、送話側の話者の音声が含まれると判定したフレームの各周波数のパワースペクトルを有声／無声判定部２４へ出力する。一方、送話判定部２３は、送話側の話者の音声が含まれないと判定したフレームの各周波数のパワースペクトルを廃棄する。
【００３４】
有声／無声判定部２４は、送話側の話者の有声音が含まれるフレームを送話側の話者の状態推定に利用するために、送話側の話者の音声が含まれると判定されたフレーム（以下、便宜上、送話フレームと呼ぶ）に含まれる音声が、有声音か無声音かを判定する。
一般に、話者にストレスなどの抑圧が掛かると、話者の声帯の開閉運動に変化が現れることが知られており、母音を含むような有声音は、その声帯の開閉運動の変化に影響される。そのため、有声音を含むフレームは、話者の心理状態を推定するのに有用である。また、有声音には、ピッチ周波数が含まれ、そのピッチ周波数は、声帯の開閉運動の変化に影響される。
【００３５】
そこで、有声／無声判定部２４は、送話フレームについて、自己相関関数または変形自己相関関数のピーク値のうちの最大値（ただし、時間差0のピーク値を除く）を求める。人の有声音に相当するフレームについては、比較的自己相関の度合いが高いのに対し、無声音または背景雑音に相当するフレームの自己相関の度合いは低い。そこで有声／無声判定部２４は、そのピーク値の最大値を所定の閾値と比較し、最大値が所定の閾値よりも大きい場合、その送話フレームには送話側の話者の有声音が含まれると判定する。そして有声／無声判定部２４は、そのピーク値の最大値に相当する時間差の逆数をピッチ周波数とする。なお、自己相関関数は、各周波数のパワースペクトルを逆フーリエ変換することにより求められる。また、変形自己相関関数は、パワースペクトルに対して線形予測符号化フィルタを用いてフィルタリングしたものを逆フーリエ変換することにより求められる。
【００３６】
あるいは、有声／無声判定部２４は、零交差数に基づいて、送話フレームに送話側の話者の有声音が含まれるか否かを判定してもよい。なお、有声／無声判定部２４は、零交差数を用いる場合、送話フレーム中の音声信号の時間変化曲線が0と交差する数を零交差数として計数する。そして有声／無声判定部２４は、例えば、その零交差数が所定の閾値より小さい場合、その送話フレームに送話側の話者の有声音が含まれると判定する。
【００３７】
有声／無声判定部２４は、送話フレームに送話側の話者の有声音が含まれると判定した場合、その送話フレームのピッチ周波数及び周波数帯域全体のパワースペクトルの積算値を記憶部１５に記憶させる。さらに、有声／無声判定部２４は、通話開始からの送話側の話者の有声音が含まれると判定した送話フレームの総数Nを1インクリメントし、インクリメント後の総数Nを記憶部１５に記憶させる。
【００３８】
評価値算出部２５は、通話が終了した時点までに記憶部１５に記憶された送話側の話者の有声音が含まれると判定された送話フレームのピッチ周波数及びパワースペクトルの積算値から、送話側の話者の心理状態を表す評価値を算出する。なお、以下では、便宜上、送話側の話者の有声音が含まれると判定された送話フレームを有声音フレームと呼ぶ。
【００３９】
本実施形態では、評価値算出部２５は、通話の終了後に評価値を算出する。そこで、例えば、評価値算出部２５は、フレームの周波数帯域全体のパワースペクトルの積算値が所定のパワー閾値未満となる無音フレームが所定期間連続すれば、通話が終了したと判定する。所定期間は、例えば、30秒に設定される。評価値算出部２５は、通話が終了していないと判定した場合には、その時点では評価値を算出しない。
【００４０】
一方、評価値算出部２５は、通話が終了したと判定した場合、評価値を算出する。そのために、評価値算出部２５は、記憶部１５から有声音フレームのピッチ周波数及びパワースペクトルの積算値と、通話開始から通話終了までの間に含まれる有声音フレームの総数Nを読み込む。
【００４１】
評価値算出部２５は、各有声音フレームのピッチ周波数の平均値pitchmeanを算出する。そして評価値算出部２５は、以下の条件を満たす有声音フレームの数Npitchを算出する。
【数４】
2014170132.tif 000006
なお、pitchは、着目する有声音フレームのピッチ周波数である。係数αは、例えば、1.1〜2.0に設定される。このNpitchは、通話中における、有声音フレームのピッチ周波数の平均値よりも一定以上高いピッチ周波数を持つ有声音フレームの総数を表している。したがって、評価値算出部２５は、次式により、ピッチ周波数の平均値よりも一定値以上高いピッチ周波数を持つ有声音フレームの出現頻度Pptichを算出する。
【数５】
2014170132.tif 000007
出現頻度Pptichは、送話側の話者が抑圧を受けているほど小さな値となる。
【００４２】
また評価値算出部２５は、各有声音フレームのパワースペクトルの積算値の平均値powermeanを算出する。そして評価値算出部２５は、以下の条件を満たす有声音フレームの数Npowerを算出する。
【数６】
2014170132.tif 000008
なお、powerは、着目する有声音フレームのパワースペクトルの積算値である。係数βは、例えば、0.5〜1.0に設定される。このNpowerは、通話中における、有声音フレームのパワースペクトル積算値の平均値よりも一定値以上高いパワースペクトル積算値を持つ有声音フレームの総数を表している。したがって、評価値算出部２５は、次式により、パワースペクトル積算値の平均値よりも一定以上高いパワースペクトル積算値を持つ有声音フレームの出現頻度Ppowerを算出する。
【数７】
2014170132.tif 000009
出現頻度Ppowerは、送話側の話者が抑圧を受けているほど大きな値となる。
【００４３】
評価値算出部２５は、次式のように、所定の正規化定数SCORENORMからパワースペクトル積算値の平均値よりも一定以上高いパワースペクトル積算値を持つ有声音フレームの出現頻度Ppowerを減じた値をパワースペクトルの修正累積分布Pdfpowerとして算出する。
【数８】
2014170132.tif 000010
送話側の話者が抑圧を受けているほど出現頻度Ppowerが高くなるので、パワースペクトルの修正累積分布Pdfpowerは、送話側の話者が抑圧を受けているほど小さな値となる。なお、正規化定数SCORENORMは、例えば、0.03に設定される。
【００４４】
また、評価値算出部２５は、次式のように、所定の正規化係数PITCHNORMをピッチ周波数の平均値よりも一定以上高いピッチ周波数を持つ有声音フレームの出現頻度Pptichに乗じた値をピッチ周波数の修正累積分布Pdfpitchとして算出する。
【数９】
2014170132.tif 000011
なお、正規化係数PITCHNORMは、ピッチ周波数の修正累積分布Pdfpitchのオーダがパワースペクトルの修正累積分布Pdfpowerのオーダと同程度になるように、例えば、1.0に設定される。
送話側の話者が抑圧を受けているほど出現頻度Ppitchが小さくなるので、ピッチ周波数の修正累積分布Pdfpitchは、送話側の話者が抑圧を受けているほど小さな値となる。
【００４５】
評価値算出部２５は、ピッチ周波数の修正累積分布Pdfpitchとパワースペクトルの修正累積分布Pdfpowerに基づき、次式に従って、送話側の話者の心理状態を表す評価値SCOREを算出する。
【数１０】
2014170132.tif 000012
本実施形態では、評価値SCOREが小さいほど、送話側の話者の心理状態が異常である確率が高いことを表す。
【００４６】
評価値算出部２５は、評価値SCOREを状態判定部２６へ出力する。
【００４７】
状態判定部２６は、評価値SCOREが、送話側の話者の心理状態が異常である条件を満たすか否か判定する。そして評価値SCOREがその条件を満たす場合に、状態判定部２６は、送話側の話者の心理状態が異常であると判定する。
本実施形態では、状態判定部２６は、評価値SCOREを異常判定閾値Th2と比較する。そして状態判定部２６は、評価値SCOREが異常判定閾値Th2よりも低ければ、評価値SCOREが送話側の話者の心理状態が異常である条件を満たし、送話側の話者の心理状態は異常であると判定する。一方、評価値SCOREが異常判定閾値Th2以上であれば、状態判定部２６は、送話側の話者の心理状態は正常であると判定する。なお、異常判定閾値Th2は、例えば、心理状態が正常な複数の話者の評価値SCOREの平均値と異常判定閾値Th2間のマハラノビス距離と、心理状態が異常な複数の話者の評価値SCOREの平均値と異常判定閾値Th2間のマハラノビス距離とが等しくなるように設定される。
【００４８】
状態判定部２６は、送話側の話者の心理状態が異常であると判定した場合、記憶部１５から、警告音声信号を読み込む。そして状態判定部２６は、その警告音声信号を、Ｄ／Ａコンバータ１６を介してスピーカ１７へ出力する。
【００４９】
なお、状態推定装置１は、警告用の光源を有していてもよい。この場合には、状態判定部２６は、送話側の話者の心理状態が異常であると判定した場合、その光源を点灯または明滅させることで、送話側の話者へ警告してもよい。
【００５０】
図５は、状態推定処理の動作フローチャートである。処理部１４は、通話ごとに以下の動作フローチャートに従って状態推定処理を実行する。なお、初期化処理として、処理部１４は、記憶部１５に記憶されているピッチ周波数及びパワースペクトルの積算値を消去し、有声音フレームの総数Nを0にリセットする。
【００５１】
処理部１４のスペクトル算出部２１は、音声信号をフレーム単位で時間周波数変換することで、現フレームの周波数ごとのパワースペクトルを算出する（ステップＳ１０１）。スペクトル算出部２１は、現フレームの周波数ごとのパワースペクトルを処理部１４の帯域パワー算出部２２へ出力する。
帯域パワー算出部２２は、現フレームについて電話回線を伝送される音声信号の周波数帯域の上限より高い周波数の非伝送帯域パワーPを算出する（ステップＳ１０２）。そして帯域パワー算出部２２は、現フレームについての非伝送帯域パワーP及び周波数ごとのパワースペクトルを処理部１４の送話判定部２３へ出力する。
【００５２】
送話判定部２３は、非伝送帯域パワーPが送話判定閾値Th1よりも大きいか否か判定する（ステップＳ１０３）。
非伝送帯域パワーPが送話判定閾値Th1以下である場合（ステップＳ１０３−Ｎｏ）、送話判定部２３は、現フレームは送話フレームでないと判定する。一方、非伝送帯域パワーPが送話判定閾値Th1よりも大きい場合（ステップＳ１０３−Ｙｅｓ）、送話判定部２３は、現フレームは送話フレームであると判定する。そして送話判定部２３は、現フレームの各周波数のパワースペクトルを処理部１４の有声／無声判定部２４へ出力する。
【００５３】
有声／無声判定部２４は、現フレームの自己相関関数のピーク値などに基づいて、現フレームが有声音フレームか否か判定する（ステップＳ１０４）。現フレームが有声音フレームであれば（ステップＳ１０４−Ｙｅｓ）、有声／無声判定部２４は、現フレームのピッチ周波数及びパワースペクトル積算値を特徴量として算出し、それらの値を記憶部１５に記憶させる（ステップＳ１０５）。また有声／無声判定部２４は、通話開始からの有声音フレームの総数Nを1インクリメントする。
【００５４】
ステップＳ１０５の後、処理部１４の評価値算出部２５は、通話が終了したか否か判定する（ステップＳ１０６）。またステップＳ１０３にて現フレームが送話フレームでないと判定されるか（ステップＳ１０３−Ｎｏ）、現フレームが有声音フレームでない場合（ステップＳ１０４−Ｎｏ）も、評価値算出部２５は、通話が終了したか否か判定する（ステップＳ１０６）。通話が終了していない場合（ステップＳ１０６−Ｎｏ）、処理部１４は、次フレームを読み込む（ステップＳ１０７）。そして処理部１４は、次フレームを現フレームとして、ステップＳ１０１以降の処理を繰り返す。
【００５５】
一方、通話が終了した場合（ステップＳ１０６−Ｙｅｓ）、評価値算出部２５は、ピッチ周波数の修正累積分布Pdfpitch及びパワースペクトル積算値の修正累積分布Pdfpowerを算出する（ステップＳ１０８）。そして評価値算出部２５は、ピッチ周波数の修正累積分布Pdfpitch及びパワースペクトル積算値の修正累積分布Pdfpowerに基づいて評価値SCOREを算出し、その評価値SCOREを処理部１４の状態判定部２６へ出力する（ステップＳ１０９）。
【００５６】
状態判定部２６は、評価値SCOREが状態判定閾値Th2以下か否かを判定する（ステップＳ１１０）。評価値SCOREが状態判定閾値Th2以下である場合（ステップＳ１１０−Ｙｅｓ）、状態判定部２６は、送話側の話者の心理状態は異常であると判定する。そして状態判定部２６は、送話側の話者の心理状態が異常であることを示す警告を出力する（ステップＳ１１１）。
【００５７】
ステップＳ１１１の後、処理部１４は、状態推定処理を終了する。
また、評価値SCOREが状態判定閾値Th2よりも大きい場合（ステップＳ１１０−Ｎｏ）、状態判定部２６は、送話側の話者の心理状態は正常であると判定する。この場合、処理部１４は、警告を出力することなく、状態推定処理を終了する。
【００５８】
以上に説明してきたように、この状態推定装置は、送話側の話者の音声と受話側の話者の音声とが混じった音声信号から、電話回線を伝送される音声信号の周波数帯域外の非伝送帯域パワーをフレーム単位で調べる。これにより、この状態推定装置は、送話側の話者の音声が含まれるフレームを識別できる。そのため、この状態推定装置は、送話側の話者の音声を受話側の話者の音声と区別して、送話側の話者の音声の特徴を調べることができるので、適切に送話側の話者の心理状態を推定できる。
【００５９】
次に、第２の実施形態による状態推定装置について説明する。第２の実施形態による状態推定装置は、送話側の話者の心理状態の推定に、受話側の話者の音声から検出した特定のキーワードに関する情報を利用する。
第２の実施形態による状態推定装置は、第１の実施形態による状態推定装置と比較して、処理部だけが異なる。そこで以下では、処理部について説明する。
【００６０】
図６は、第２の実施形態による処理部１４１の機能ブロック図である。第２の実施形態による処理部１４１は、スペクトル算出部２１と、帯域パワー算出部２２と、送話判定部２３と、有声／無声判定部２４と、評価値算出部２５と、状態判定部２６と、音声認識部２７とを有する。処理部１４１が有するこれらの各部は、例えば、処理部１４１が有するプロセッサ上で動作するプログラムによって実現される機能モジュールである。
【００６１】
図６において、処理部１４１の各部には、図４に示した第１の実施形態による処理部１４の対応する構成要素の参照番号と同一の参照番号を付した。第２の実施形態による処理部１４１は、音声認識部２７を有する点で、第１の実施形態による処理部１４と異なる。そこで以下では、音声認識部２７及びその関連部分について説明する。
【００６２】
送話判定部２３は、送話フレームでないと判定したフレームの各周波数のパワースペクトルの積算値を算出する。そして送話判定部２３は、その積算値が所定のパワー閾値以上であれば、そのフレームを受話側の話者の音声が含まれるフレームであると判定する。そして送話判定部２３は、そのフレームの各周波数のパワースペクトルを音声認識部２７へ出力する。なお、以下では、便宜上、受話側の話者の音声が含まれるフレームを受話フレームと呼ぶ。
【００６３】
音声認識部２７は、受話フレームに対して音声認識処理を実行することにより、送話側の話者を抑圧するために利用されるキーワードを検出する。
本実施形態では、音声認識部２７は、認識対象となる１以上のキーワードが登録された単語辞書と、予め作成された音響モデルを用いてキーワードを検出する。なお、単語辞書及び音響モデルは、予め記憶部１５に記憶される。キーワードは、例えば、「急いで」、「振り込み」、「口座番号」または「暗証番号」など、いわゆる振り込み詐欺などを行おうとする有害通話中で加害者が発する可能性の高い単語または文節とすることができる。
音響モデルは、例えば、単語の発音を音素または音節といった単位音ごとに区分し、その単位音の順序に従って、その単位音に対応する単位音響モデルを連結することにより生成される。この単位音響モデル及び音響モデルは、例えば、それぞれ、隠れマルコフモデル(Hidden Markov Model, HMM)により表される。
【００６４】
音声認識部２７は、例えば、受話フレームから、音声認識に用いられる特徴量を抽出する。そのために、音声認識部２７は、例えば、特徴量として、メル周波数ケプストラム係数(Mel Frequency Cepstral Coefficient、MFCC)を求める。または、音声認識部２７は、連続する受話フレーム間のパワーの差分値を求める。音声認識部２７は、特徴量としてMFCCを算出する場合、例えば、各周波数のパワースペクトルをメル尺度のパワー値に変換した後、そのパワー値の対数に対してMDCTなどの周波数変換を行うことによりMFCCを算出する。また音声認識部２７は、特徴量としてフレーム間のパワーの差分値を求める場合、例えば、連続する二つの受話フレーム間で周波数帯域全体にわたるパワースペクトルの積算値の差を求めることによりその差分値を求める。
【００６５】
なお、音声認識部２７は、特徴量として、音響モデルを用いた音声認識で用いられる他の様々な特徴量（例えば、基本周波数）の何れかを抽出してもよい。また音声認識部２７は、音声認識の対象とされた各受話フレームから複数の種類の特徴量を抽出してもよい。
【００６６】
音声認識部２７は、受話フレームから抽出される１以上の特徴量を時間軸に沿って並べた特徴量の系列と、単語辞書に含まれるキーワードごとに単位音響モデルを表すHMMを連結して生成したキーワードの音響モデルとの類似度を求める。そして音声認識部２７は、類似度が最大となり、かつその類似度が所定の閾値以上となるキーワードを検出する。
【００６７】
なお、音声認識部２７は、動的時間伸縮法など、他の音声認識の手法に従ってキーワードを検出してもよい。
【００６８】
音声認識部２７は、キーワードが検出される度に、検出されたキーワードの総数を表すキーワードカウンタを記憶部１５から読み出し、そのキーワードカウンタを1インクリメントする。そして音声認識部２７は、キーワードカウンタを1インクリメントする度に、そのキーワードカウンタを記憶部１５に記憶させる。なお、音声認識部２７は、キーワードごとに、検出された回数を記憶部１５に記憶させてもよい。
【００６９】
評価値算出部２５は、評価値SCOREを、受話フレームから検出されたキーワードの総数に応じて補正する。本実施形態では、検出されたキーワードの数が多いほど、送話側の話者が抑圧されている可能性が高い。そこで評価値算出部２５は、検出されたキーワードの数が多いほど、送話側の話者の心理状態が異常であると判定する条件を満たし易くするように、評価値SCOREを小さくする。例えば、評価値算出部２５は、次式に従って評価値を補正する。
【数１１】
2014170132.tif 000013
ここで、SCORE'は、補正後の評価値である。またNkは、検出されたキーワードの総数を表し、Rは、所定の定数、例えば、10である。
なお、評価値算出部２５は、検出されたキーワードに応じて、評価値SCOREの補正量を重み付してもよい。例えば、評価値算出部２５は、（１１）式において、検出されたキーワードの総数Nkの代わりに、キーワードごとの検出回数N(i)にそのキーワードの重み係数w(i)を乗じた値の総和ΣN(i)w(i)を用いてもよい。この場合、重み係数w(i)は、送話側の話者を抑圧しようとしているときに出現する確率が高いキーワードほど、大きな値に設定される。なお、評価値の算出において、検出されたキーワードごとの検出回数の組み合わせは（１１）式に限定されず、検出されたキーワード数が多いほどSCORE'が小さくなる組み合わせ方であればよい。
【００７０】
評価値算出部２５は、補正後の評価値を状態判定部２６へ出力する。状態判定部２６は、補正後の評価値を状態判定閾値Th2と比較する。そして補正後の評価値が状態判定閾値Th2以下である場合、状態判定部２６は、送話側の話者の心理状態は異常であると判定する。一方、補正後の評価値が状態判定閾値Th2より大きい場合、状態判定部２６は、送話側の話者の心理状態は正常であると判定する。
【００７１】
この実施形態によれば、状態推定装置は、受話側の話者の音声が含まれるフレームを識別できるので、そのフレームから検出したキーワードの数を送話側の話者の心理状態の推定に利用できる。そのため、この状態推定装置は、送話側の話者の心理状態をより正確に推定できる。
【００７２】
また、変形例によれば、検出すべきキーワードを、振り込め詐欺をしようとする際の通話など、特定の有害通話で出現するキーワード（以下、有害キーワードと呼ぶ）とすることができる。この場合には、状態判定部２６は、評価値SCOREに基づいて送話側の話者の心理状態が異常であると判定し、かつ有害キーワードの検出総数が所定の閾値（例えば、10）を超えたとき、通話がその特定の有害通話であると判定してもよい。
【００７３】
図７は、変形例による、状態推定装置を電話回線に接続する位置の他の一例を示す図である。なお、図７において、各構成要素には、図２に示された対応する構成要素の参照番号と同じ参照番号を付した。この変形例では、送話フレームの周波数帯域と受話フレームの周波数帯域との差をより明確化するために、モジュラーローゼット４と通話録音アダプタ５との間にバンドパスフィルタ７が接続される。バンドパスフィルタ７は、電話回線により伝送される音声信号の周波数帯域(0.3kHz〜3.4kHz)の周波数成分のみを通す。そのため、状態推定装置１の帯域パワー算出部２２は、0.3kHzよりも低い周波数のパワースペクトルも、非伝送帯域パワーPの算出に利用してもよい。
【００７４】
また他の変形例によれば、処理部は、検出された有声音フレームの数が所定数以上となるか、あるいは、所定数の整数倍に達する度に評価値を算出し、その評価値に基づいて、送話側の話者の心理状態が異常か否かを判定してもよい。所定数は、例えば、100〜1000に設定される。この変形例によれば、状態推定装置は、通話中に送話側の話者に、心理状態が異常となったことを警告できるので、送話側の話者が異常な心理状態のまま、何がしかの不利益を被る前に通話を中断させたり、正常状態に戻るきっかけを与えることができる。
【００７５】
さらに他の変形例によれば、話者の心理状態を表す特徴量はピッチ周波数及びパワーの積算値に限られない。評価値算出部は、有声音フレームから抽出された、話者の心理状態を表す他の特徴量に基づいて評価値を算出してもよい。さらに、評価値算出部は、有声音フレーム以外の送話フレームから抽出された特徴量、例えば、パワースペクトルの積算値も、評価値の算出に利用してもよい。また評価値算出部は、評価値が大きくなるほど、送話側の話者の心理状態が異常であると判定され易くなるような評価値を算出してもよい。例えば、評価値算出部は、上記の評価値SCOREの逆数を評価値として算出してもよい。
【００７６】
また状態推定装置は、携帯電話機に実装されてもよい。
図８は、上記の何れかの実施形態またはその変形例による状態推定装置が実装された携帯電話機の概略構成図である。携帯電話機３０は、マイクロホン３１と、通信部３２と、記憶媒体アクセス装置３３と、記憶部３４と、ユーザインターフェース部３５と、処理部３６と、スピーカ３７とを有する。
【００７７】
マイクロホン３１は、集音部の一例であり、マイクロホン３１の周囲にいる送話側の話者が発する音声を集音してアナログ音声信号を生成し、そのアナログ音声信号をＡ／Ｄコンバータ（図示せず）へ出力する。Ａ／Ｄコンバータは、アナログ音声信号を所定のサンプリングレートでサンプリングしてデジタル化することによりデジタル音声信号を生成する。そしてＡ／Ｄコンバータは、デジタル化された音声信号を処理部３６へ出力する。
【００７８】
通信部３２は、携帯電話機３０を基地局を介して電話回線に接続するための無線通信回路を有する。そして通信部３２は、電話回線から基地局を介して受信した、受話側の話者が発した音声を電気信号化した下り音声信号を含むデータストリームを受信する。そして通信部３２は、そのデータストリームから下り音声信号を抽出する。そして通信部３２は、下り音声信号を処理部３６へ出力する。
【００７９】
記憶媒体アクセス装置３３は、例えば、半導体メモリカードといった記憶媒体３８にアクセスする装置である。記憶媒体アクセス装置３３は、例えば、記憶媒体３８に記憶された処理部３６上で実行されるコンピュータプログラムを読み込み、処理部３６に渡す。例えば、記憶媒体アクセス装置３３は、記憶媒体３８から状態推定用コンピュータプログラムを読み込んで、処理部３６に渡してもよい。
【００８０】
記憶部３４は、例えば、読み書き可能な不揮発性の半導体メモリと、読み書き可能な揮発性の半導体メモリとを有する。そして記憶部３４は、処理部３６上で実行される各種のアプリケーションプログラム及び各種のデータを記憶する。また記憶部３４は、上記の各実施形態または変形例による状態推定処理を実行するためのコンピュータプログラム及び状態推定処理に用いられる各種のデータを記憶してもよい。さらに記憶部３４は、マイクロホン３１を介して取得された音声信号と、通信部３２を介して取得された下り音声信号とが合成された音声信号を記憶してもよい。
【００８１】
ユーザインターフェース部３５は、例えば、複数の操作キーといった入力装置と液晶ディスプレイといった表示装置とを有する。あるいは、ユーザインターフェース部３５は、タッチパネルディスプレイのように、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース部３５は、送話側の話者による入力装置の操作に応じた操作信号を生成し、その操作信号を処理部３６へ出力する。またユーザインターフェース部３５は、処理部３６から受け取った各種の情報を表示装置上に表示する。さらにユーザインターフェース部３５は、警告を出力する出力部の一例であり、処理部３６が送話側の話者の心理状態が異常と判定した場合の警告メッセージを処理部３６から受け取り、その警告メッセージを表示装置に表示させてもよい。
【００８２】
処理部３６は、一つまたは複数のプロセッサと、メモリ回路と、周辺回路とを有する。処理部３６は、携帯電話機３０の各部と信号線を介して接続されており、携帯電話機３０の各部を制御する。また処理部３６は、話者による操作、あるいは呼び出し信号の着信に応じて呼設定を行ったり、通信を維持するための各種の処理を実行する。そして処理部３６は、通話が開始されると、マイクロホン３１を介して取得された音声信号と、通信部３２を介して取得された下り音声信号とが合成された音声信号を取得する。そして処理部３６は、その合成音声信号に対して、上記の実施形態における状態推定装置の処理部により実行される状態推定処理を実行することで、送話側の話者の心理状態が正常か異常かを判定する。なお、この例では、処理部３６は、携帯電話機３０の電話アプリケーションのアプリケーションプログラミングインタフェース(Application Programming Interface、API)を介して通話の開始及び終了を知ることができる。そのため、処理部３６は、通話の終了を知るために、無音区間を検出しなくてもよい。
【００８３】
この例では、処理部３６は、送話側の話者の心理状態が異常と判定すると、ユーザインターフェース部３５の表示装置に警告メッセージを表示させる。あるいは、処理部３６は、警告メッセージの音声信号を、出力部の他の一例であるスピーカ３７に再生させてもよい。
あるいはまた、処理部３６は、送話側の話者の心理状態が異常と判定すると、携帯電話機３０の電子メール機能を利用して、予め指定された関係者のメールアドレスへ、送話側の話者の心理状態が異常と判定されたことを示す警告メールを自動的に送信してもよい。
【００８４】
上記の各実施形態または変形例による状態推定装置の処理部が有する各機能をコンピュータに実現させるコンピュータプログラムは、磁気記録媒体または光記録媒体といったコンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。
【００８５】
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【００８６】
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
第１の話者の音声と、電話回線を通じて伝送された第２の話者の音声とを含む音声信号に対して、所定の時間長を持つフレーム単位で複数の周波数のそれぞれのパワースペクトルを算出するスペクトル算出部と、
前記フレームごとに、前記複数の周波数のうち、音声信号が前記電話回線を伝送される際に電話帯域フィルタにより減衰させられる周波数帯域である非伝送帯域に含まれる周波数のパワースペクトルに基づいて当該非伝送帯域のパワーを算出する帯域パワー算出部と、
前記非伝送帯域のパワーが音声を含むことを表す閾値よりも大きいフレームに前記第１の話者の音声が含まれると判定する送話判定部と、
前記第１の話者の音声が含まれると判定されたフレームに基づいて、前記第１の話者の心理状態が正常か異常かを判定する状態判定部と、
を有する状態推定装置。
（付記２）
前記第１の話者の音声が含まれると判定されたフレームに有声音が含まれるか否かを判定する有声／無声判定部をさらに有し、
前記状態判定部は、前記第１の話者の音声が含まれると判定され、かつ、有声音が含まれるフレームに基づいて、前記第１の話者の心理状態が正常か異常かを判定する、付記１に記載の状態推定装置。
（付記３）
前記送話判定部は、前記閾値を、前記非伝送帯域における背景雑音のパワーよりも大きい値に設定する、付記１または２に記載の状態推定装置。
（付記４）
前記非伝送帯域の上限周波数の２倍以上のサンプリングレートで前記音声信号をサンプリングするアナログ／デジタルコンバータをさらに有する、付記１〜３の何れか一項に記載の状態推定装置。
（付記５）
前記第１の話者の音声が含まれると判定され、かつ、有声音が含まれるフレームから求められた話者の心理状態を表す特徴量に基づいて、前記第１の話者の心理状態を表す評価値を算出する評価値算出部をさらに有し、
前記状態判定部は、前記評価値が、前記第１の話者の心理状態が異常である条件を満たす場合に、前記第１の話者の心理状態が異常であると判定する、付記２に記載の状態推定装置。
（付記６）
前記有声／無声判定部は、前記第１の話者の音声が含まれると判定されたフレームが有声音を含むと判定する度に、当該フレームから前記特徴量としてピッチ周波数と各周波数のパワースペクトルの積算値を求め、
前記評価値算出部は、前記第１の話者の音声が含まれると判定され、かつ、有声音が含まれる複数のフレームのうちで、該複数のフレームのそれぞれから求められた前記ピッチ周波数の平均より所定値以上高いピッチ周波数を持つフレームの出現頻度を表す統計量と、前記第１の話者の音声が含まれると判定され、かつ、有声音が含まれる複数のフレームのうちで、該複数のフレームのそれぞれからから求められた前記パワースペクトルの積算値の平均より所定値以上大きいパワースペクトルの積算値を持つフレームの出現頻度を表す統計量とに基づいて前記評価値を算出する、付記５に記載の状態推定装置。
（付記７）
前記非伝送帯域パワーが前記閾値以下であるフレームから前記第１の話者の抑圧に利用されるキーワードを検出する音声認識部をさらに有し、
前記評価値算出部は、検出された前記キーワードが多いほど、前記評価値を前記条件を満たし易いように補正する、
付記５または６に記載の状態推定装置。
（付記８）
前記キーワードは特定の通話に関連するキーワードであり、
前記状態判定部は、検出された前記キーワードの数が所定数以上であり、かつ、前記第１の話者の心理状態が異常であると判定した場合、前記特定の通話行われたと判定する、付記７に記載の状態推定装置。
（付記９）
第１の話者の音声と、電話回線を通じて伝送された第２の話者の音声とを含む音声信号に対して、所定の時間長を持つフレーム単位で複数の周波数のそれぞれのパワースペクトルを算出し、
前記フレームごとに、前記複数の周波数のうち、音声信号が前記電話回線を伝送される際に電話帯域フィルタにより減衰させられる周波数帯域である非伝送帯域に含まれる周波数のパワースペクトルに基づいて当該非伝送帯域のパワーを算出し、
前記非伝送帯域のパワーが音声を含むことを表す閾値よりも大きいフレームに前記第１の話者の音声が含まれると判定し、
前記第１の話者の音声が含まれると判定されたフレームに基づいて、前記第１の話者の心理状態が正常か異常かを判定する、
ことを含む状態推定方法。
（付記１０）
第１の話者の音声と、電話回線を通じて伝送された第２の話者の音声とを含む音声信号に対して、所定の時間長を持つフレーム単位で複数の周波数のそれぞれのパワースペクトルを算出し、
前記フレームごとに、前記複数の周波数のうち、音声信号が前記電話回線を伝送される際に電話帯域フィルタにより減衰させられる周波数帯域である非伝送帯域に含まれる周波数のパワースペクトルに基づいて当該非伝送帯域のパワーを算出し、
前記非伝送帯域のパワーが音声を含むことを表す閾値よりも大きいフレームに前記第１の話者の音声が含まれると判定し、
前記第１の話者の音声が含まれると判定されたフレームに基づいて、前記第１の話者の心理状態が正常か異常かを判定する、
ことをコンピュータに実行させるための状態推定用コンピュータプログラム。
（付記１１）
第１の話者の音声を集音して第１の音声信号を生成する集音部と、
電話回線を通じて伝送された第２の話者の音声を含む第２の音声信号を受信する通信部と、
前記第１の音声信号と前記第２の音声信号が合成された合成音声信号に対して、所定の時間長を持つフレーム単位で複数の周波数のそれぞれのパワースペクトルを算出し、
前記フレームごとに、前記複数の周波数のうち、音声信号が前記電話回線を伝送される際に電話帯域フィルタにより減衰させられる周波数帯域である非伝送帯域に含まれる周波数のパワースペクトルに基づいて当該非伝送帯域のパワーを算出し、
前記非伝送帯域のパワーが音声を含むことを表す閾値よりも大きいフレームに前記第１の話者の音声が含まれると判定し、
前記第１の話者の音声が含まれると判定されたフレームに基づいて、前記第１の話者の心理状態が正常か異常かを判定するように適合された処理部と、
前記第１の話者の心理状態が異常であると判定された場合に警告メッセージを表示する出力部と、
を有する電話機。
【符号の説明】
【００８７】
１    状態推定装置
２−１、２−２    電話機
３    分配器
４    モジュラーローゼット
５    通話録音アダプタ
６    電話回線
７    バンドパスフィルタ
１１    インターフェース部
１２    ローパスフィルタ
１３    Ａ／Ｄコンバータ
１４、１４１    処理部
１５    記憶部
１６    Ｄ／Ａコンバータ
２１    スペクトル算出部
２２    帯域パワー算出部
２３    送話判定部
２４    有声／無声判定部
２５    評価値算出部
２６    状態判定部
２７    音声認識部
３０    携帯電話機（状態推定装置）
３１    マイクロホン
３２    通信部
３３    記憶媒体アクセス装置
３４    記憶部
３５    ユーザインターフェース部
３６    処理部
３７    スピーカ
３８    記憶媒体
【図１】
2014170132.tif 000014
【図２】
2014170132.tif 000015
【図３】
2014170132.tif 000016
【図４】
2014170132.tif 000017
【図５】
2014170132.tif 000018
【図６】
2014170132.tif 000019
【図７】
2014170132.tif 000020
【図８】
2014170132.tif 000021