(57)【特許請求の範囲】
【請求項１】
第１の話者と第２の話者間の通話において、音声入力部により取得された前記第１の話者が発した第１の音声から、前記第１の話者が話している区間である第１の発話区間、及び、前記第２の話者が発した第２の音声から、前記第２の話者が話している区間である第２の発話区間のうち、少なくとも該第１の発話区間を検出する発話区間検出部と、
前記通話に占める前記第１の話者の発話比率を前記第１の発話区間と前記第２の発話区間のうちの少なくとも前記第１の発話区間に基づいて算出する発話比率算出部と、
前記発話比率に基づいて、前記第１の音声及び前記第２の音声のうちの少なくとも一方が音声認識の対象となるか否かを判定する音声認識実行判定部と、
前記第１の音声及び前記第２の音声のうち、音声認識の対象とされた音声から特定通話に関連するキーワードを検出する音声認識部と、
検出された前記キーワードが多いほど、前記特定通話らしさを表す評価値を高くするように該評価値を算出し、該評価値が所定の閾値以上である場合、前記通話が前記特定通話であると判定する判定部と、
を有する特定通話検出装置。
【請求項２】
前記音声認識実行判定部は、前記発話比率が所定の閾値よりも大きい期間が第１の期間に達するまで前記第１の音声を音声認識の対象とし、一方、前記発話比率が前記閾値よりも大きい期間が前記第１の期間に達した以降の前記第１の音声を音声認識の対象としない、請求項１に記載の特定通話検出装置。
【請求項３】
前記音声認識実行判定部は、前記発話比率が所定の閾値以下となる期間が第２の期間に達するまで前記第２の音声を音声認識の対象とせず、一方、前記発話比率が前記閾値以下となる期間が前記第２の期間に達した以降の前記第２の音声を音声認識の対象とする、請求項１に記載の特定通話検出装置。
【請求項４】
前記第１の音声に基づいて前記第１の話者の心理状態が正常か否かを判定する心理状態判定部をさらに有し、
前記音声認識実行判定部は、前記第１の話者の心理状態が正常でないと判定された場合における前記閾値の値を、前記第１の話者の心理状態が正常であると判定された場合における前記閾値の値よりも大きくする、請求項２または３に記載の特定通話検出装置。
【請求項５】
前記第１の音声に基づいて前記第１の話者の心理状態が正常か否かを判定する心理状態判定部と、
前記キーワードとして、所定の音節数以上の音節数を持つ第１のキーワードと、該所定の音節数未満の音節数を持つ第２のキーワードを記憶する記憶部とをさらに有し、
前記音声認識部は、前記第１の話者の心理状態が正常であると判定された場合、前記音声認識の対象とされた音声から前記第１のキーワードを検出し、一方、前記第１の話者の心理状態が正常でないと判定された場合、前記音声認識の対象とされた音声から前記第１のキーワード及び前記第２のキーワードを検出する、請求項２または３に記載の特定通話検出装置。
【請求項６】
前記第１の音声に基づいて前記第１の話者の心理状態が正常か否かを判定する心理状態判定部をさらに有し、
前記音声認識部は、前記音声認識の対象とされた音声と前記キーワードとの類似度を求め、該類似度が類似度閾値以上となる場合に前記キーワードを検出するとともに、前記第１の話者の心理状態が正常でないと判定された場合における前記類似度閾値の値を、前記第１の話者の心理状態が正常であると判定された場合における前記類似度閾値の値よりも小さくする、請求項２または３に記載の特定通話検出装置。
【請求項７】
前記判定部は、前記発話比率が低いほど、前記評価値を高くする、請求項１〜６の何れか一項に記載の特定通話検出装置。
【請求項８】
第１の話者と第２の話者間の通話において、音声入力部により取得された前記第１の話者が発した第１の音声から、前記第１の話者が話している区間である第１の発話区間、及び、前記第２の話者が発した第２の音声から、前記第２の話者が話している区間である第２の発話区間のうち、少なくとも該第１の発話区間を検出し、
前記通話に占める前記第１の話者の発話比率を前記第１の発話区間と前記第２の発話区間のうちの少なくとも前記第１の発話区間に基づいて算出し、
前記発話比率に基づいて、前記第１の音声及び前記第２の音声のうちの少なくとも一方が音声認識の対象となるか否かを判定し、
前記第１の音声及び前記第２の音声のうち、音声認識の対象とされた音声から特定通話に関連するキーワードを検出し、
検出された前記キーワードが多いほど、前記特定通話らしさを表す評価値を高くするように該評価値を算出し、該評価値が所定の閾値以上である場合、前記通話が前記特定通話であると判定する、
ことを含む特定通話検出方法。
【請求項９】
第１の話者と第２の話者間の通話において、音声入力部により取得された前記第１の話者が発した第１の音声から、前記第１の話者が話している区間である第１の発話区間、及び、前記第２の話者が発した第２の音声から、前記第２の話者が話している区間である第２の発話区間のうち、少なくとも該第１の発話区間を検出し、
前記通話に占める前記第１の話者の発話比率を前記第１の発話区間と前記第２の発話区間のうちの少なくとも前記第１の発話区間に基づいて算出し、
前記発話比率に基づいて、前記第１の音声及び前記第２の音声のうちの少なくとも一方が音声認識の対象となるか否かを判定し、
前記第１の音声及び前記第２の音声のうち、音声認識の対象とされた音声から特定通話に関連するキーワードを検出し、
検出された前記キーワードが多いほど、前記特定通話らしさを表す評価値を高くするように該評価値を算出し、該評価値が所定の閾値以上である場合、前記通話が前記特定通話であると判定する、
ことをコンピュータに実行させる特定通話検出用コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、通話中の複数の話者が発する音声に基づいて、その通話の内容が特定内容の通話か否かを判定する特定通話検出装置、特定通話検出方法及び特定通話検出用コンピュータプログラムに関する。
【背景技術】
【０００２】
近年、電話回線を用いて行われる、金銭を騙し取ることを目的とした詐欺行為及び悪質な勧誘行為が社会的な問題となっている。そこで、電話回線を介した通話中の音声を認識することにより、そのような詐欺行為などに関連する通話を検出する技術が提案されている（例えば、特許文献１〜３を参照）。
【０００３】
例えば、特許文献１に開示された電話装置は、通話相手の音声を文字列に変換し、キーワードとその文字列とを比較して、キーワードごとに一致回数を計数する。そしてこの電話装置は、複数のキーワードが文字列と一致した場合に詐欺師からの電話と判定する。
【０００４】
また、特許文献２に開示された振り込め詐欺防止システムは、ユーザ電話端末から受信した通話音声データと予め登録された詐欺師の音声データを基に音声特徴を照合する。またこのシステムは、通話音声データをテキスト変換し、テキスト変換された通話内容に含まれる口座情報が予め登録された詐欺用口座情報と一致するか否かを照合する。さらにこのシステムは、予め登録されたキーワードとテキスト変換された通話内容に含まれるキーワードとの一致率を算出する。そしてこのシステムは、音声特徴、口座情報、一致率を基に判定レベルを決定する。
【０００５】
さらに、特許文献３に開示された通話内容警告付き電話機は、録音された通話内容から、予め登録された単語が検出された場合に、その検出結果の情報を外部へ警告通知する。
【０００６】
これらの技術では、通話中、少なくとも一方の話者の音声に対して継続的に音声認識処理が実行される。そのため、音声認識を実行することによる処理負荷が大きい。一方、音声認識装置の処理負荷を軽減するための技術が提案されている（例えば、特許文献４を参照）。特許文献４に開示された電話装置は、送話側音声信号が有音信号か否かを検出するとともに受話側音声信号が無音信号か否かを検出し、その検出結果に基づいて時分割処理された送話側音声信号及び受話側音声信号を音声認識する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−９６９６２号公報
【特許文献２】特開２００８−２１００８５号公報
【特許文献３】特開２００６−１９６９４９号公報
【特許文献４】特開平１０−１５５１６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、単純に一方の話者の音声のみが認識対象とされると、他方の話者が検出すべき通話か否かを判定するために有用なキーワードを発していても、そのキーワードが検出できない。その結果として、特定内容の通話の検出精度が低下してしまうおそれがあった。また、有音信号を音声認識の対象とする場合でも、結局、話者が発する声の殆どが音声認識の対象となるので、処理負荷の軽減は十分でないおそれがあった。
【０００９】
そこで本明細書は、特定内容の通話の検出精度を低下させることなく、特定内容の通話の検出のための処理負荷を軽減可能な特定通話検出装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
一つの実施形態によれば、特定通話検出装置が提供される。この特定通話検出装置は、  第１の話者と第２の話者間の通話において、音声入力部により取得された第１の話者が発した第１の音声または第２の話者が発した第２の音声から、第１の話者が話している区間である第１の発話区間と第２の話者が話している区間である第２の発話区間のうち、少なくとも第１の発話区間を検出する発話区間検出部と、通話に占める第１の話者の発話比率を第１の発話区間と第２の発話区間のうちの少なくとも第１の発話区間に基づいて算出する発話比率算出部と、その発話比率に基づいて、第１の音声及第２の音声のうちの少なくとも一方が音声認識の対象となるか否かを判定する音声認識実行判定部と、第１の音声及び第２の音声のうち、音声認識の対象とされた音声から特定通話に関連するキーワードを検出する音声認識部と、検出されたキーワードが多いほど、特定通話らしさを表す評価値を高くするようにその評価値を算出し、その評価値が所定の閾値以上である場合、通話が特定通話であると判定する判定部とを有する。
【００１１】
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
【発明の効果】
【００１２】
本明細書に開示された特定通話検出装置は、特定内容の通話の検出精度を低下させることなく、特定内容の通話を検出するための処理負荷を軽減できる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施形態による特定通話検出装置が実装された電話機の概略構成図である。
【図２】第１の実施形態による特定通話検出装置が実装された電話機が有する処理部の機能ブロック図である。
【図３】（ａ）は、非有害通話についての発話比率の時間遷移の一例を示す図であり、（ｂ）は、（ａ）に示された発話比率と上り音声信号及び下り音声信号に対して音声認識処理が行われる期間の関係の一例を示す図である。
【図４】（ａ）は、有害通話についての発話比率の時間遷移の一例を示す図であり、（ｂ）は、（ａ）に示された発話比率と上り音声信号及び下り音声信号に対して音声認識処理が行われる期間の関係の一例を示す図である。
【図５】音声認識実行判定部により実行される、上り音声信号に対する音声認識実行判定処理の動作フローチャートである。
【図６】音声認識実行判定部により実行される、下り音声信号に対する音声認識実行判定処理の動作フローチャートである。
【図７】特定通話検出処理の動作フローチャートである。
【図８】第２の実施形態による特定通話検出装置が実装された電話機が有する処理部の機能ブロック図である。
【発明を実施するための形態】
【００１４】
以下、図を参照しつつ、様々な実施形態による特定通話検出装置について説明する。
本実施形態では、特定通話検出装置は、詐欺行為を目的とする通話、悪質な勧誘を目的とする通話といった有害通話を検出対象である特定通話とする。
発明者は、鋭意研究の結果、被害者と加害者との間で電話回線を介して有害通話が行われている場合、通常の会話が行われているときと比較して、通話に占める被害者の発話区間の割合が少なくなるという知見を得た。これは、加害者が詐欺行為などを行うために様々な言葉を発するのに対して、被害者の発話の殆どが、「はい」といった返事となるためである。
【００１５】
そこで、この特定通話検出装置は、各話者が話している区間である発話区間を求め、通話に占める一方の話者の発話比率に基づいて、有害通話が行われている可能性が有るか否か判定する。そしてこの特定通話検出装置は、有害通話が行われている可能性が有ると判定した場合に限り、少なくとも一方の話者の音声に対して音声認識処理を実行する。
【００１６】
本実施形態において、特定通話検出装置は、携帯電話機または固定電話機といった電話機に組み込まれ、電話回線を通じて行われる複数の話者間の通話が有害通話か否か検出する。
【００１７】
図１は、一つの実施形態による特定通話検出装置が実装された電話機の概略構成図である。本実施形態では、電話機１は、マイクロホン２と、通信部３と、記憶媒体アクセス装置４と、記憶部５と、ユーザインターフェース部６と、処理部７と、スピーカ８とを有する。なお、電話機１は、固定電話機または携帯電話機の何れであってもよい。
【００１８】
マイクロホン２は、音声入力部の一例であり、第１の話者が発した音声のデータを取得する。第１の話者は、有害通話による被害を受ける可能性がある話者である。マイクロホン２は、マイクロホン２の周囲にいる第１の話者が発する音声を集音してアナログ音声信号を生成し、そのアナログ音声信号をアナログ−デジタル変換器（図示せず）へ出力する。アナログ−デジタル変換器は、アナログ音声信号を所定のサンプリング周期でサンプリングしてデジタル化することにより上り音声信号を生成する。そしてアナログ−デジタル変換器は、上り音声信号をアナログ−デジタル変換器と接続された処理部７へ出力する。
【００１９】
通信部３は、音声入力部の他の一例であり、電話機１を電話回線に接続するためのインターフェース回路を有する。そして通信部３は、電話回線を介して、第２の話者が発した音声を電気信号化した下り音声信号を含むデータストリームを受信する。なお第２の話者は、有害通話により第１の話者を加害する意図を有している可能性がある話者である。そして通信部３は、そのデータストリームから下り音声信号を抽出する。なお、下り音声信号が所定の通信路符号化方式にて符号化されている場合には、通信部３は、符号化された下り音声信号をその通信路符号化方式に従って復号する。そして通信部３は、下り音声信号を処理部７へ出力する。
【００２０】
記憶媒体アクセス装置４は、例えば、半導体メモリカードといった記憶媒体９にアクセスする装置である。記憶媒体アクセス装置４は、例えば、記憶媒体９に記憶された処理部７上で実行されるコンピュータプログラムを読み込み、処理部７に渡す。また記憶媒体アクセス装置４は、記憶媒体９から特定通話検出用コンピュータプログラムを読み込んで、処理部７に渡してもよい。
【００２１】
記憶部５は、例えば、読み書き可能な不揮発性の半導体メモリと、読み書き可能な揮発性の半導体メモリとを有する。そして記憶部５は、処理部７上で実行される各種のアプリケーションプログラム及び各種のデータを記憶する。また記憶部５は、特定通話検出処理を実行するためのコンピュータプログラム及び特定通話検出処理に用いられる各種のデータを記憶してもよい。さらに記憶部５は、マイクロホン２または通信部３を介して取得された音声信号を記憶してもよい。
【００２２】
ユーザインターフェース部６は、例えば、複数の操作キーといった入力装置と液晶ディスプレイといった表示装置とを有する。あるいは、ユーザインターフェース部６は、タッチパネルディスプレイのように、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース部６は、第１の話者による入力装置の操作に応じた操作信号を生成し、その操作信号を処理部７へ出力する。またユーザインターフェース部６は、処理部７から受け取った各種の情報を表示装置上に表示する。さらにユーザインターフェース部６は、処理部７が特定通話を検出した場合の警告メッセージを処理部７から受け取り、その警告メッセージを表示装置に表示させてもよい。
【００２３】
処理部７は、一つまたは複数のプロセッサと、メモリ回路と、周辺回路とを有する。処理部７は、電話機１の各部と信号線を介して接続されており、電話機１の各部を制御する。また処理部７は、ユーザによる操作、あるいは呼び出し信号の着信に応じて呼設定を行ったり、通信を維持するための各種の処理を実行する。そして処理部７は、通話開始の時刻を記憶部５に記憶する。また処理部７は、マイクロホン２から受け取った上り音声信号を通信部３を介して電話回線へ送信するための各種の処理、及び電話回線から受け取った下り音声信号をスピーカ８を介して再生するための各種の処理を実行する。
【００２４】
また処理部７は、特定通話検出装置の一例であり、第１及び第２の話者の少なくとも一方が発した音声に基づいて、第１の話者と第２の話者間の通話が特定通話か否か判定する。
【００２５】
図２は、特定通話の検出に関する処理部７の機能ブロック図である。処理部７は、発話区間検出部１１と、発話比率算出部１２と、音声認識実行判定部１３と、音声認識部１４と、特定通話判定部１５とを有する。
処理部７が有するこれらの各部は、例えば、処理部７が有するプロセッサ上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、処理部７が有するこれらの各部は、それぞれ、別個の回路として、電話機１に実装されてもよく、あるいはこれらの各部の機能を実現する一つの集積回路として、処理部７とは別個に電話機１に実装されてもよい。
【００２６】
発話区間検出部１１は、上り音声信号及び下り音声信号を所定長を持つフレームごとに分割する。フレーム長は、例えば、10msec〜100msecに設定される。そして発話区間検出部１１は、上り音声信号の各フレームのうち、第１の話者が声を発しているフレームを検出することで、第１の話者が話している区間である第１の発話区間を検出する。同様に、発話区間検出部１１は、下り音声信号の各フレームのうち、第２の話者が声を発しているフレームを検出することで、第２の話者が話している区間である第２の発話区間を検出する。なお、上り音声信号から第１の話者が声を発しているフレームを検出する処理と、下り音声信号から第２の話者が声を発しているフレームを検出する処理とは、同一の処理とすることができる。そこで以下では、上り音声信号を例として、第１の話者が声を発しているフレームを検出する処理について説明する。
【００２７】
一般に、第１の話者が声を発しているフレームにおける上り音声信号のパワーは、第１の話者が声を発していないフレームにおける上り音声信号のパワーよりも大きい。そこで発話区間検出部１１は、例えば、フレームごとに、上り音声信号を、時間周波数変換を用いて時間領域から周波数領域のスペクトル信号に変換する。なお、発話区間検出部１１は、時間周波数変換として、例えば、高速フーリエ変換(Fast Fourier Transform,FFT)または修正離散コサイン変換（Modified Discrete Cosign Transform, MDCT）を用いることができる。そして発話区間検出部１１は、各周波数帯域のスペクトル信号を２乗することにより周波数帯域ごとのパワーを求め、全周波数帯域にわたってパワーの平均値を算出する。そして発話区間検出部１１は、その平均値が所定のパワー閾値よりも大きいフレームを、第１の話者が声を発しているフレームとして検出する。パワー閾値は、例えば、背景雑音のパワーに所定のオフセットを加算した値に設定される。その背景雑音のパワーは、例えば、予め設定されてもよく、あるいは、フレーム単位で更新されてもよい。例えば、発話区間検出部１１は、パワーの平均値がパワー閾値以下となったフレームのパワー平均値に忘却係数α（例えば、α=0.01）を乗じた値を、その時点の背景雑音のパワーに(1-α)を乗じた値に加えることで、背景雑音のパワーを更新する。
【００２８】
なお、発話区間検出部１１は、発話区間を検出する他の方法に従って、各フレームが第１の話者が声を発しているフレームであるか否かを判定してもよい。例えば、発話区間検出部１１は、パワーの平均値がパワー閾値よりも大きいフレームについて、上り音声信号の信号値の時間変化曲線が0と交差する数を零交差数として計数する。そして発話区間検出部１１は、その零交差数が所定の閾値より小さい場合に限り、そのフレームを第１の話者が声を発しているフレームと判定してもよい。人の声では、フォルマント周波数と呼ばれる特定の周波数成分が他の周波数の成分よりも大きいため、零交差数はフォルマント周波数に大きく影響される。一方、背景雑音の零交差数は、様々な音の周波数成分が混じっているために、人の声の零交差数よりも多くなるためである。
【００２９】
なお、一般に、背景雑音の音源は、第１の話者よりもマイクロホン２から遠いので、背景雑音に相当する振幅は、第１の話者の声に相当する振幅よりも小さい可能性が高い。そこで発話区間検出部１１は、各フレームにおいて、上り音声信号の絶対値が所定の閾値よりも大きくなった直後にその信号値が0となる点のみを計数して零交差数を求めてもよい。この場合には、発話区間検出部１１は、フレームのパワーによらず、零交差数が所定の閾値よりも多いフレームを第１の話者が声を発しているフレームと判定してもよい。
【００３０】
また他の変形例によれば、発話区間検出部１１は、パワーの平均値がパワー閾値より大きいフレームについて、自己相関関数または変形自己相関関数のピーク値のうちの最大値（ただし、時間差0のピーク値を除く）を求めてもよい。人の声に相当するフレームについては、比較的自己相関の度合いが高いのに対し、背景雑音に相当するフレームの自己相関の度合いは低い。そこで発話区間検出部１１は、そのピーク値の最大値が所定の閾値よりも大きいフレームに限り、そのフレームを第１の話者が声を発しているフレームと判定してもよい。なお、自己相関関数は、各周波数帯域のパワー（パワースペクトル密度）を逆フーリエ変換することにより求められる。また、変形自己相関関数は、パワースペクトル密度に対して線形予測符号化フィルタを用いてフィルタリングしたものを逆フーリエ変換することにより求められる。
【００３１】
発話区間検出部１１は、上り音声信号について、第１の話者が声を発していると判定されたフレームが連続する有音区間を検出する。そして発話区間検出部１１は、その有音区間が検出される度に、その有音区間を一つの第１の発話区間とする。同様に、発話区間検出部１１は、下り音声信号について、第２の話者が声を発していると判定されたフレームが連続する有音区間を検出する。そして発話区間検出部１１は、その有音区間が検出される度に、その有音区間を一つの第２の発話区間とする。
発話区間検出部１１は、第１の発話区間または第２の発話区間が検出される度に、その発話区間の開始時刻と終了時刻とを記憶部５に記憶する。
【００３２】
発話比率算出部１２は、各フレームごとに、通話が開始されてからそのフレームまでの期間中の通話において第１の話者が話している割合を表す第１の発話比率を算出する。例えば、発話比率算出部１２は、第１の話者の発話比率talkratio(n)を、次式に従って算出する。
【数１】
0005810946.tif 000002
ここでnは、通話開始から現フレームまでのフレーム数である。sumuser(n)は、通話開始から現フレームまでの第１の話者による第１の発話区間の総和である。sumparty(n)は、通話開始から現フレームまでの第２の話者による第２の発話区間の総和である。
【００３３】
なお、発話比率算出部１２は、現フレームを終端とする所定の期間において、（１）式に従って第１の話者の発話比率を求めてもよい。なお、所定期間は、例えば、5分〜10分に設定される。これにより、発話比率算出部１２は、通話開始時に行われる挨拶など、有害通話に限らずに話される会話による発話比率への影響を軽減できる。
【００３４】
発話比率算出部１２は、フレームごとに、第１の話者の発話比率talkratio(n)を音声認識実行判定部１３へ通知する。
【００３５】
音声認識実行判定部１３は、現在行われている通話が有害通話である可能性が高い場合に、上り音声信号及び下り音声信号の少なくとも一方に対して音声認識部１４に音声認識を実行させる。そこで先ず、有害通話及び非有害通話のそれぞれについての第１の話者の発話比率の時間遷移について、例を挙げて説明する。
【００３６】
図３（ａ）は、非有害通話についての第１の話者の発話比率の時間遷移の一例を示す図である。図３（ｂ）は、図３（ａ）に示された発話比率と上り音声信号及び下り音声信号に対して本実施形態による特定通話検出装置によって音声認識処理が行われる期間の関係の一例を示す図である。図３（ａ）及び図３（ｂ）において、横軸は通話開始からの経過時間を表す。また図３（ａ）において、縦軸は発話比率を表す。そしてグラフ３００は、発話比率の時間遷移を表す。また図３（ｂ）において、線３０１は上り音声信号に対して音声認識が行われている期間を示し、線３０２は、下り音声信号に対して音声認識が行われている期間を示す。なお、線３０１及び線３０２のうち、実線で表されている部分が音声認識が行われる期間に対応し、点線で表されている部分は音声認識が行われていない期間に対応する。
【００３７】
グラフ３００に示されるように、通話が開始されてからある程度の時間が経過するまでは、第１の話者の発話比率の変化が大きく、発話比率に基づいて通話が有害通話か否かを判定することは困難である。しかし、発話比率がある閾値を超えた時刻t1から所定期間が経過した時刻t2以降では、発話比率はほぼ一定となる。そして時刻t2以降において、発話比率は常に閾値よりも大きくなっており、このことから、第１の話者も単なる返事だけでなく、様々な言葉を発していると推定される。上記のように、第１の話者が被害者となる有害通話では、第１の話者は返事だけをする傾向が高く、その結果として発話比率は低くなることを考慮すると、時刻t2以降では、この通話が有害通話である可能性は低い。そこで、図３（ｂ）に示されるように、時刻t2が経過するまでは、上り音声信号、すなわち、第１の話者の音声に対してのみ、音声認識が実行される。一方、時刻t2以降では、上り音声信号及び下り音声信号の何れについても、音声認識は実行されない。
【００３８】
図４（ａ）は、有害通話についての第１の話者の発話比率の時間遷移の一例を示す図である。図４（ｂ）は、図４（ａ）に示された発話比率と上り音声信号及び下り音声信号に対して本実施形態による特定通話検出装置によって音声認識処理が行われる期間の関係の一例を示す図である。図４（ａ）及び図４（ｂ）において、横軸は通話開始からの経過時間を表す。また図４（ａ）において、縦軸は発話比率を表す。そしてグラフ４００は、第１の話者の発話比率の時間遷移を表す。また図４（ｂ）において、線４０１は上り音声信号に対して音声認識が行われている期間を示し、線４０２は、下り音声信号に対して音声認識が行われている期間を示す。なお、線４０１及び線４０２のうち、実線で表されている部分が、音声認識が行われる期間に対応し、点線で表されている部分は音声認識が行われていない期間に対応する。
【００３９】
グラフ４００に示されるように、図３（ａ）において発話比率が閾値を超えた時刻t1においても、発話比率は閾値よりも低い値でほぼ一定となっている。このことから、第１の話者は単なる返事しかしていない可能性が高いと推定される。そしてこのような場合、この通話が有害通話である可能性は高い。そこで、図４（ｂ）に示されるように、上り音声信号に対しては継続的に音声認識が実行される。また、下り音声信号に対しても、時刻t1から一定期間経過した時刻t2以降において音声認識が実行される。
【００４０】
上記のように、通話開始から一定期間が経過した後は、第１の話者の発話比率talkratio(n)が低ければその通話は有害である可能性が高い。そこで音声認識実行判定部１３は、フレームごとに、発話比率talkratio(n)に基づいて上り音声信号及び下り音声信号に対する音声認識を実行するか否かを判定する。
【００４１】
図５は、音声認識実行判定部１３により実行される、上り音声信号に対する音声認識実行判定処理の動作フローチャートである。音声認識実行判定部１３は、この動作フローチャートに従って、フレームごとに音声認識を実行するか否かを判定する。
音声認識実行判定部１３は、通話開始からの経過時間が閾値Th1以上となったか否か判定する（ステップＳ１０１）。なお、閾値Th1は、例えば、発話比率talkratio(n)がある程度一定化されるのに要する期間、例えば、100秒〜300秒に設定される。経過時間が閾値Th1以上である場合（ステップＳ１０１−Ｙｅｓ）、音声認識実行判定部１３は、第１の話者の発話比率talkratio(n)が閾値Th2以下か否か判定する（ステップＳ１０２）。閾値Th2は、例えば、有害通話における被害者の発話比率の上限値、例えば、0.5、あるいは0.5に1未満の安全係数(例えば、0.9〜0.95)を乗じた値に設定される。あるいはまた、この上限値は、例えば、実験的に、複数の有害通話のサンプルを解析することにより、0〜0.5の範囲内の何れかの値に設定されてもよい。
【００４２】
発話比率talkratio(n)が閾値Th2以下である場合（ステップＳ１０２−Ｙｅｓ）、音声認識実行判定部１３は、STARTCOUNTERを1インクリメントする。また音声認識実行判定部１３は、STOPCOUNTERを0にリセットする（ステップＳ１０３）。なお、STARTCOUNTERは、発話比率talkratio(n)が閾値Th2以下となっているフレームの連続数を表し、STOPCOUNTERは、発話比率talkratio(n)が閾値Th2より大きいフレームの連続数を表す。通話開始時において、STARTCOUNTER及びSTOPCOUNTERは0に設定されている。
【００４３】
ステップＳ１０３の後、音声認識実行判定部１３は、上り音声信号に対する音声認識を停止中であることを表すUPLINKSTOPフラグが設定中となっているか否か判定する（ステップＳ１０４）。本実施形態では、通話開始からの経過時間が閾値Th1以上となるまでは、上り音声信号は第１の発話区間に含まれる限り音声認識の対象となるので、通話開始時においては、UPLINKSTOPフラグは未設定である。
【００４４】
UPLINKSTOPフラグが設定中、すなわち、上り音声信号に対する音声認識が停止中となっていれば（ステップＳ１０４−Ｙｅｓ）、音声認識実行判定部１３はSTARTCOUNTERが閾値Th3以上か否か判定する（ステップＳ１０５）。なお、閾値Th3は、フレームが音声認識対象となるか否かが頻繁に入れ替わることを抑制できるフレーム数、例えば、100に設定される。STARTCOUNTERが閾値Th3未満であれば（ステップＳ１０５−Ｎｏ）、音声認識実行判定部１３は、現フレームに対して音声認識対象外フラグを設定する（ステップＳ１１３）。一方、STARTCOUNTERが閾値Th3以上であれば（ステップＳ１０５−Ｙｅｓ）、音声認識実行判定部１３は、UPLINKSTOPフラグを解除する（ステップＳ１０６）。
【００４５】
ステップＳ１０６の後、あるいは、ステップＳ１０４にてUPLINKSTOPフラグが未設定であれば（ステップＳ１０４−Ｎｏ）、音声認識実行判定部１３は、現フレームの開始時刻と記憶部５に記憶された第１の発話区間の開始時刻及び終了時刻とを比較する。そして音声認識実行判定部１３は、現フレームが第１の発話区間に含まれているか否か判定する（ステップＳ１０７）。現フレームが第１の発話区間に含まれていなければ（ステップＳ１０７−Ｎｏ）、現フレームにおいて第１の話者は話していないので、音声認識実行判定部１３は、現フレームに対して音声認識対象外フラグを設定する（ステップＳ１１３）。
【００４６】
一方、現フレームが第１の発話区間に含まれていれば（ステップＳ１０７−Ｙｅｓ）、音声認識実行判定部１３は、現フレームが含まれる第１の発話区間について、その開始時刻から現フレームまでの時間長が閾値Th5以下か否か判定する（ステップＳ１０８）。そして第１の発話区間の開始時刻から現フレームまでの時間長が閾値Th5より長ければ（ステップＳ１０８−Ｎｏ）、音声認識実行判定部１３は、現フレームに対して音声認識対象外フラグを設定する（ステップＳ１１３）。上述したように、有害通話においては、被害者が返事をする頻度が高く、その結果として各第１の発話区間は短い。そのため、検出すべきキーワードも、それぞれの第１の発話区間が開始されてから一定期間内に含まれる可能性が高いためである。そこで閾値Th5は、その一定期間、例えば、1〜2秒に設定される。
【００４７】
一方、第１の発話区間の開始時刻から現フレームまでの時間長が閾値Th5以下であれば（ステップＳ１０８−Ｎｏ）、音声認識実行判定部１３は、現フレームに対して音声認識対象フラグを設定する（ステップＳ１０９）。
【００４８】
また、ステップＳ１０１において、経過時間が閾値Th1未満である場合（ステップＳ１０１−Ｎｏ）、音声認識実行判定部１３は、ステップＳ１０７以降の処理を実行する。
さらにステップＳ１０２において、発話比率talkratio(n)が閾値Th2より高い場合（ステップＳ１０２−Ｎｏ）、音声認識実行判定部１３は、STOPCOUNTERを1インクリメントし、STARTCOUNTERを0にリセットする（ステップＳ１１０）。そして音声認識実行判定部１３は、STOPCOUNTERが閾値Th4以上か否か判定する（ステップＳ１１１）。なお、閾値Th4は、フレームが音声認識対象となるか否かが頻繁に入れ替わることを抑制できるフレーム数、例えば、100に設定される。STOPCOUNTERが閾値Th4未満であれば（ステップＳ１１１−Ｎｏ）、音声認識実行判定部１３は、ステップＳ１０７以降の処理を実行する。
【００４９】
一方、STOPCOUNTERが閾値Th4以上であれば（ステップＳ１１１−Ｙｅｓ）、第１の話者の発話比率talkratio(n)が閾値Th2より高いフレームが一定数以上連続しているので、通話が有害通話でない可能性が高い。そこで音声認識実行判定部１３は、UPLINKSTOPフラグを設定する（ステップＳ１１２）。そして音声認識実行判定部１３は、現フレームに音声認識対象外フラグを設定する（ステップＳ１１３）。
ステップＳ１０９またはＳ１１３の後、音声認識実行判定部１３は、上り音声信号に対する音声認識実行判定処理を終了する。
【００５０】
図６は、音声認識実行判定部１３により実行される、下り音声信号に対する音声認識実行判定処理の動作フローチャートである。音声認識実行判定部１３は、この動作フローチャートに従って、フレームごとに音声認識を実行するか否かを判定する。
【００５１】
音声認識実行判定部１３は、通話開始からの経過時間が閾値Th1以上となったか否か判定する（ステップＳ２０１）。経過時間が閾値Th1未満である場合（ステップＳ２０１−Ｎｏ）、音声認識実行判定部１３は、現フレームに対して音声認識対象外フラグを設定する（ステップＳ２１２）。
【００５２】
一方、経過時間が閾値Th1以上である場合（ステップＳ２０１−Ｙｅｓ）、音声認識実行判定部１３は、第１の話者の発話比率talkratio(n)が閾値Th2以下か否か判定する（ステップＳ２０２）。発話比率talkratio(n)が閾値Th2以下である場合（ステップＳ２０２−Ｙｅｓ）、音声認識実行判定部１３は、STARTCOUNTERを1インクリメントし、STOPCOUNTERを0にリセットする（ステップＳ２０３）。そして音声認識実行判定部１３はSTARTCOUNTERが閾値Th3以上か否か判定する（ステップＳ２０４）。STARTCOUNTERが閾値Th3未満であれば（ステップＳ２０４−Ｎｏ）、音声認識実行判定部１３は、現フレームに対して音声認識対象外フラグを設定する（ステップＳ２１２）。一方、STARTCOUNTERが閾値Th3以上であれば（ステップＳ２０４−Ｙｅｓ）、音声認識実行判定部１３は、下り音声信号に対して音声認識処理が実行されることを表すDOWNLINKSTARTフラグを設定する（ステップＳ２０５）。
【００５３】
その後、音声認識実行判定部１３は、現フレームの開始時刻と記憶部５に記憶された第２の発話区間の開始時刻及び終了時刻とを比較することで、現フレームが第２の発話区間に含まれているか否か判定する（ステップＳ２０６）。現フレームが第２の発話区間に含まれていなければ（ステップＳ２０６−Ｎｏ）、現フレームにおいて第２の話者は話していないので、音声認識実行判定部１３は、現フレームに対して音声認識対象外フラグを設定する（ステップＳ２１２）。
【００５４】
一方、現フレームが第２の発話区間に含まれていれば（ステップＳ２０６−Ｙｅｓ）、音声認識実行判定部１３は、現フレームに対して音声認識対象フラグを設定する（ステップＳ２０７）。
【００５５】
また、ステップＳ２０２において、発話比率talkratio(n)が閾値Th2より高い場合（ステップＳ２０２−Ｎｏ）、音声認識実行判定部１３は、STOPCOUNTERを1インクリメントし、STARTCOUNTERを0にリセットする（ステップＳ２０８）。そして音声認識実行判定部１３は、STOPCOUNTERが閾値Th4以上か否か判定する（ステップＳ２０９）。STOPCOUNTERが閾値Th4未満であれば（ステップＳ２０９−Ｎｏ）、音声認識実行判定部１３は、DOWNLINKSTARTフラグが設定中となっているか否か判定する（ステップＳ２１０）。DOWNLINKSTARTフラグが設定中、すなわち、下り音声信号に対する音声認識処理が実行中となっていれば、音声認識実行判定部１３は、ステップＳ２０６以降の処理を実行する。
【００５６】
一方、STOPCOUNTERが閾値Th4以上であれば（ステップＳ２０９−Ｙｅｓ）、第１の話者の発話比率talkratio(n)が閾値Th2より高いフレームが一定数以上連続しているので、通話が有害通話でない可能性が高い。そこで音声認識実行判定部１３は、DOWNLINKSTARTフラグを設定する（ステップＳ２１１）。そして音声認識実行判定部１３は、現フレームに音声認識対象外フラグを設定する（ステップＳ２１２）。
ステップＳ２０７またはＳ２１２の後、音声認識実行判定部１３は、下り音声信号に対する音声認識実行判定処理を終了する。
【００５７】
なお、経過時間、発話比率talkratio、STARTCOUNTER及びSTOPCOUNTERは、上り音声信号と下り音声信号の両方に共通している。そこで音声認識実行判定部１３は、下り音声信号に対する音声認識実行判定処理におけるステップＳ２０１〜Ｓ２０３及びステップＳ２０９を、上り音声信号に対する音声認識実行判定処理におけるステップＳ１０１〜Ｓ１０３及びＳ１１０と共通化してもよい。
【００５８】
変形例によれば、あるフレームにおいて、第１の話者の発話比率talkratio(n)が閾値Th2より高くなると、音声認識実行判定部１３は、そのフレーム以降、直ちに第１及び第２の音声信号に対する音声認識処理を停止してもよい。逆に、あるフレームにおいて、第１の話者の発話比率talkratio(n)が閾値Th2より高くなると、音声認識実行判定部１３は、そのフレーム以降、直ちに第１及び第２の音声信号に対する音声認識処理を開始してもよい。この場合には、上り音声信号に対する音声認識実行判定処理のうち、ステップＳ１０３、Ｓ１０５、Ｓ１１０及びＳ１１１は省略される。また、下り音声信号に対する音声認識実行判定処理のうち、ステップＳ２０３、Ｓ２０４、Ｓ２０８及びＳ２０９は省略される。
【００５９】
さらに、第１及び第２の音声信号が音声認識処理の対象となっているときの発話比率に対する閾値Th2の値は、第１及び第２の音声信号が音声認識処理の対象となっていないときの閾値Th2の値よりも高く設定されてもよい。これにより、音声認識実行判定部１３は、第１及び第２の音声信号が音声認識処理の対象となったり、音声認識処理の対象から外れたりを短期間に繰り返すことを防止できる。
また他の変形例によれば、音声認識実行判定部１３は、上り音声信号についても、図６に示された下り音声信号用の音声認識実行判定処理に従って、音声認識の対象とするか否かを判定してもよい。
【００６０】
音声認識実行判定部１３は、上り音声信号及び下り音声信号のそれぞれについて、フレームごとに設定した音声認識対象フラグまたは音声認識対象外フラグを音声認識部１４へ通知する。
【００６１】
音声認識部１４は、上り音声信号及び下り音声信号のそれぞれについて、音声認識対象フラグが設定されたフレームに対して音声認識処理を実行することにより、有害通話に表れる可能性が高いキーワードを検出する。
本実施形態では、音声認識部１４は、認識対象となる１以上のキーワードが登録された単語辞書と、予め作成された音響モデルを用いてキーワードを検出する。上り音声信号についてのキーワードと下り音声信号についてのキーワードとは、異なっていてもよい。例えば、上り音声信号に対するキーワードは、「はい」または「しました」など、有害通話中で被害者が発する可能性の高い単語または文節とすることができる。一方、下り音声信号に対するキーワードは、「急いで」、「振り込み」、「口座番号」または「暗証番号」など、有害通話中で加害者が発する可能性の高い単語または文節とすることができる。
音響モデルは、例えば、単語の発音を音素または音節といった単位音ごとに区分し、その単位音の順序に従って、その単位音に対応する単位音響モデルを連結することにより生成され、予め、記憶部５に記憶される。この単位音響モデル及び音響モデルは、例えば、それぞれ、隠れマルコフモデル(Hidden Markov Model, HMM)により表される。
【００６２】
音声認識部１４は、例えば、認識対象とされたフレームから、音声認識に用いられる特徴量を抽出する。そのために、音声認識部１４は、例えば、そのフレームごとにFFTまたはMDCTを用いて周波数領域の信号に変換することでフレームごとのスペクトルを求める。そして音声認識部１４は、そのスペクトルに基づいて、特徴量として、例えば、フレームごとに、メル周波数ケプストラム係数(Mel Frequency Cepstral Coefficient、MFCC)を求める。または、音声認識部１４は、連続するフレーム間のパワーの差分値を求める。音声認識部１４は、特徴量としてMFCCを算出する場合、例えば、各フレームのスペクトルをメル尺度のパワー値に変換した後、そのパワー値の対数に対して再度MDCTなどの周波数変換を行うことによりMFCCを算出する。また音声認識部１４は、特徴量としてフレーム間のパワーの差分値を求める場合、例えば、各フレームの周波数帯域ごとのスペクトルの２乗の和をパワーとして求め、連続する二つのフレーム間でパワーの差を求めることによりその差分値を求める。
【００６３】
なお、音声認識部１４は、特徴量として、音響モデルを用いた音声認識で用いられる他の様々な特徴量（例えば、基本周波数）の何れかを抽出してもよい。また音声認識部１４は、音声認識の対象とされた各フレームから複数の種類の特徴量を抽出してもよい。
【００６４】
音声認識部１４は、単位音響モデルを表すHMMを用いて、上り音声信号または下り音声信号の認識対象フレームから抽出される１以上の特徴量に基づいて、１以上のフレームが特定の単位音と推定される確率または尤度を類似度として算出する。そして音声認識部１４は、単語辞書に含まれるキーワードごとに単位音響モデルを連結して生成したキーワードの音響モデルとの類似度を求める。そして音声認識部１４は、類似度が最大となり、かつその類似度が所定の閾値以上となるキーワードを検出する。
【００６５】
なお、音声認識部１４は、動的時間伸縮法など、他の音声認識の手法に従ってキーワードを検出してもよい。
【００６６】
音声認識部１４は、上り音声信号についてキーワードが検出される度に、上り音声信号から検出されたキーワードの総数を表す上りキーワードカウンタを記憶部５から読み出し、その上りキーワードカウンタを1インクリメントする。そして音声認識部１４は、上りキーワードカウンタを1インクリメントする度に、その上りキーワードカウンタを記憶部５に書き込む。同様に、音声認識部１４は、下り音声信号について、キーワードが検出される度に、下り音声信号から検出されたキーワードの総数を表す下りキーワードカウンタを記憶部５から読み出し、その下りキーワードカウンタを1インクリメントする。そして音声認識部１４は、下りキーワードカウンタを1インクリメントする度に、その下りキーワードカウンタを記憶部５に書き込む。
【００６７】
特定通話判定部１５は、通話が有害通話か否か判定する。そのために、特定通話判定部１５は、例えば、以下の式に従って、有害通話らしさを表す評価値を算出する。
【数２】
0005810946.tif 000003
ここで、nは、通話開始から現フレームまでのフレーム数であり、e(n)は、現フレームについての評価値である。またsumuser(n)は、通話開始から現フレームまでにおける、第１の話者による第１の発話区間の総和であり、sumparty(n)は、通話開始から現フレームまでにおける、第２の話者による第２の発話区間の総和である。Cup(n)及びCdown(n)は、それぞれ、通話開始から現フレームまでにおける、上りキーワードカウンタの値及び下りキーワードカウンタの値である。そしてαは係数であり、例えば、50に設定される。
【００６８】
特定通話判定部１５は、評価値e(n)が所定の判定閾値未満であれば、現フレームの時点では、通話は有害通話でないと判定する。一方、評価値e(n)がその判定閾値以上であれば、特定通話判定部１５は、通話は有害通話であると判定する。そして特定通話判定部１５は、ユーザインターフェース部６に、この通話が有害通話である可能性があることを示す警告メッセージを表示させる。なお、判定閾値は、例えば、0.5〜1に設定される。
【００６９】
図７は、特定通話検出処理の動作フローチャートである。処理部７は、この動作フローチャートに従って、通話が有害通話と判定されるまで、フレームごとに通話が有害通話か否かを判定する。
発話区間検出部１１は、上り音声信号及び下り音声信号のそれぞれから第１及び第２の話者の発話区間を検出する（ステップＳ３０１）。そして発話比率算出部１２は、各話者の発話区間に基づいて、通話開始から現時点までの通話に占める、第１の話者の発話比率を算出する（ステップＳ３０２）。
【００７０】
音声認識実行判定部１３は、通話開始からの経過時間及び第１の話者の発話比率に基づいて、上り音声信号及び下り音声信号のそれぞれについて、フレーム単位で音声認識を実行するか否かを判定する（ステップＳ３０３）。音声認識部１４は、音声認識の対象となったフレームに対して音声認識を実行することで、キーワードを検出する（ステップＳ３０４）。
【００７１】
特定通話判定部１５は、検出されたキーワードが多いほど特定通話である可能性を表す評価値が高くなるようにその評価値を算出する（ステップＳ３０５）。そして特定通話判定部１５は、評価値が判定閾値以上か否か判定する（ステップＳ３０６）。評価値が判定閾値未満であれば（ステップＳ３０６−Ｎｏ）、特定通話判定部１５は、この通話は、現時点では有害通話でない可能性が高いと判定する。そして特定通話判定部１５は、その判定結果を処理部７に渡す。その後、処理部７は、特定通話検出処理を終了する。
一方、評価値は判定閾値以上であれば（ステップＳ３０６−Ｙｅｓ）、特定通話判定部１５は、この通話は、有害通話であると判定する。そして特定通話判定部１５は、ユーザインターフェース部６に、この通話が有害通話である可能性があることを示す警告メッセージを表示させる（ステップＳ３０７）。その後、処理部７は、特定通話検出処理を終了する。
【００７２】
以上に説明してきたように、この特定通話検出装置は、被害者となり得る第１の話者の発話比率に基づいて、通話が有害通話である可能性を評価し、有害通話である可能性が低い場合には、音声認識処理を停止する。また、発話比率の算出及び音声認識の実行可否の判定に要する処理負荷は、音声認識処理の処理負荷と比較して小さい。そのため、この特定通話検出装置は、音声認識処理の対象となる音声データを少なくできるので、処理負荷を軽減できる。またこの特定通話検出装置は、通話が有害通話である可能性が高い場合には、下り音声信号または上り音声信号に対して音声認識処理を行って有害通話に関連するキーワードを検出し、その検出結果を通話が有害通話か否かの判定に利用する。そのため、この特定通話検出装置は、有害通話の検出精度の低下を抑制できる。
【００７３】
次に、第２の実施形態による特定通話検出装置について説明する。第２の実施形態による特定通話検出装置は、上り音声信号に基づいて第１の話者が異常な心理状態となっているか否かを判定する。そしてこの特定通話検出装置は、第１の話者の心理状態が異常である場合には、異常でない場合よりも通話が特定通話であると判定され易くする。なお、第２の実施形態においても、検出対象とする特定通話は有害通話であるとする。
【００７４】
第２の実施形態による特定通話検出装置は、第１の実施形態による特定通話検出装置と同様に、例えば、電話機の処理部の機能の一部として実装される。そこで以下では、特定通話検出装置が実装された電話機の処理部について説明する。電話機のその他の構成要素に関しては、第１の実施形態による特定通話検出装置が実装された電話機の対応する構成要素の説明を参照されたい。
【００７５】
図８は、第２の実施形態による特定通話検出装置が実装された電話機の処理部の機能ブロック図である。処理部７は、発話区間検出部１１と、発話比率算出部１２と、音声認識実行判定部１３と、音声認識部１４と、特定通話判定部１５と、心理状態判定部１６とを有する。なお、図８において、各構成要素には、図２に示された処理部の対応する構成要素の参照番号と同一の参照番号を付した。以下では、第１の実施形態による特定通話検出装置に含まれない心理状態判定部１６及びその関連部分について説明する。
【００７６】
心理状態判定部１６は、上り音声信号から第１の話者の心理状態を表す少なくとも一つの特徴量を抽出する。本実施形態では、心理状態判定部１６は、第１の発話区間に含まれるフレームごとに、特徴量として音声のパワー及びピッチを抽出する。
【００７７】
例えば、心理状態判定部１６は、音声のパワーを求めるために、第１の発話区間に含まれるフレームごとに、上り音声信号をFFTまたはMDCTなどの時間周波数変換を用いて、周波数変換することにより周波数スペクトルを求める。そして心理状態判定部１６は、周波数スペクトルのうち、人の声に相当する周波数帯域のスペクトルの振幅の２乗平均値を音声のパワーとして求める。
【００７８】
また心理状態判定部１６は、第１の発話区間に含まれる上り音声信号の各フレームについて、スペクトルの２乗を逆フーリエ変換することで自己相関関数を求めてもよい。そして心理状態判定部１６は、各フレームについて、その自己相関関数の最初のピークとなる時間差（ただし0は除く）を、ピッチ間隔として求めてもよい。あるいは、心理状態判定部１６は、音声のピッチ間隔を求める他の方法、例えば、ケプストラム法に従ってピッチ間隔を求めてもよい。
【００７９】
心理状態判定部１６は、通話開始から現フレームまでのうち、第１の発話区間に含まれる各フレームについて音声のパワーの分散及びピッチ間隔の分散を求める。そして心理状態判定部１６は、その音声のパワーの分散及びピッチ間隔の分散の組と、心理状態が平常である場合に対応する音声のパワーの分散の基準値とピッチ間隔の分散の基準値の組までの距離を、例えば次式に従って算出する。なお、音声のパワーの分散の基準値及びピッチ間隔の分散の基準値は、例えば、心理状態が平常である話者についての音声信号の複数のサンプルから算出された音声のパワーの分散の平均値及びピッチ間隔の分散の平均値として算出され、記憶部５に予め記憶される。
【数３】
0005810946.tif 000004
nは、通話開始から現フレームまでのフレーム数であり、σpitch(n)及びσpower(n)は、それぞれ、通話開始から現フレームまでのピッチ間隔の分散及びパワーの分散である。またσpitchref及びσpowerrefは、それぞれ、ピッチ間隔の分散の基準値及びパワーの分散の基準値である。そしてd(n)は、現フレームにおける距離である。
【００８０】
なお、心理状態判定部１６は、テンポ、抑揚及び所定の周波数成分の時間的な変動度合いの統計量を特徴量として抽出してもよい。そして心理状態判定部１６は、ピッチ間隔及び音声のパワーと同様に、各特徴量の分散を求め、各特徴量の分散とその特徴量の分散の基準値間の差の２乗和の平方根を距離として求めてもよい。
【００８１】
心理状態判定部１６は、現フレーム及び過去のフレームのうち、第１の発話区間に含まれるフレームについて算出した複数の距離d(j)(j=1,2,...,n)に基づいて、距離d(j)の平均値を求める。第１の話者の心理状態が平常である場合、この平均値は、相対的に小さな値となる。一方、第１の話者の心理状態が異常であれば、この平均値は相対的に大きな値となる。そこで心理状態判定部１６は、距離d(j)の平均値を所定の判定値と比較する。そして心理状態判定部１６は、その距離の平均値が判定値よりも大きければ、第１の話者の心理状態は異常であると判定し、一方、その距離の平均値が判定値以下であれば、心理状態判定部１６は、第１の話者の心理状態は平常であると判定する。なお、判定値は、例えば、実験的に予め決定され、記憶部５に記憶される。
心理状態判定部１６は、第１の話者の心理状態を判定する度に、その判定結果を音声認識部１４へ通知する。また心理状態判定部１６は、距離d(j)の平均値を、第１の話者の心理状態の異常度合いを表す異常度として音声認識部１４へ通知する。
【００８２】
音声認識部１４は、第１の話者の心理状態が異常であるか否かの判定結果に基づいて、キーワード検出用の閾値または検出対象となるキーワードの種類を変更する。例えば、第２の話者が第１の話者に対する詐欺行為を働こうとする加害者である場合、第２の話者は、第１の話者に対して心理的に圧力を掛けることがある。そのため、有害通話においては、第１の話者は、その心理状態を平常に保つことが困難となることがある。そこで、第１の話者の心理状態が異常である場合にキーワードが検出され易くすることで、特定通話検出装置は、有害通話の検出精度を向上できる。
【００８３】
例えば、音声認識部１４は、第１の話者の心理状態が異常であると判定されている場合、キーワードが検出され易くなるように、各キーワードについて算出された類似度に対する閾値を、第１の話者の心理状態が平常であると判定されている場合よりも小さくする。なお、音声認識部１４は、心理状態判定部１６から受け取った異常度が大きいほど、閾値を小さく設定してもよい。
【００８４】
また音声認識部１４は、第１の話者の心理状態が平常であると判定されている場合に検出対象とするキーワードの長さよりも短いキーワードを、第１の話者の心理状態が異常であると判定されている場合に検出対象としてもよい。
一般に、キーワードが長いほど、そのキーワードと類似する他の言葉が通話中に出現する確率が低下するので、他の言葉がそのキーワードとして誤って検出される可能性は低くなる。しかし、キーワードが長いほど、そのキーワードとして検出されるために必要な特徴量の数が増えるので、通話中に表れたそのキーワードの検出に失敗する可能性が高くなる。逆に、キーワードが短いほど、そのキーワードとして検出されるために必要な特徴量の数は少なくてよいので、通話中に表れたそのキーワードを検出できる可能性が高くなるが、通話中の他の単語がそのキーワードとして誤って検出される可能性が高くなる。
【００８５】
そのため、上記のように、第１の話者の心理状態が平常であると判定されている場合には、相対的に長いキーワードのみを検出対象とすることで、音声認識部１４は、キーワードが誤検出されることを防止できる。また第１の話者の心理状態が異常であると判定されている場合に相対的に短いキーワードも検出対象として追加することで、有害通話の検出に有用なキーワードの検出が容易になる。
【００８６】
例えば、記憶部５に記憶される単語辞書には、複数のキーワードとともに、各キーワードに含まれる音節数も登録される。そして、第１の話者の心理状態が平常であると判定されている場合、音声認識部１４は、単語辞書に登録された複数のキーワードのうち、所定の音節数以上の音節を持つキーワードのみを検出対象として選択する。一方、第１の話者の心理状態が異常であると判定されている場合、音声認識部１４は、所定の音節数以上の音節を持つキーワードだけでなく、所定の音節数未満の音節を持つキーワードも検出対象とする。そして音声認識部１４は、例えば、検出対象としたキーワードを、下り音声信号の第２の発話区間のそれぞれから検索する。例えば、所定の音節数は5とすることができる。そして5以上の音節数を持つキーワードは、例えば、「口座番号」、「郵便局」及び「キャッシュカード」とすることができる。また、5未満の音節数を持つキーワードは、例えば、「振り込み」、「銀行」、「急いで」及び「警察」とすることができる。
【００８７】
以上に説明してきたように、この第２の実施形態による特定通話検出装置は、上り音声信号に基づいて判断した第１の話者の心理状態に応じて、キーワードの検出基準を変更する。そのため、この特定通話検出装置は、特定通話の検出精度を向上できる。
【００８８】
なお、変形例によれば、特定通話検出装置は、第１の話者の心理状態が異常と判定された場合に、上り音声信号及び下り音声信号のうちの少なくとも一方について、音声認識の対象とする条件を緩和させてもよい。例えば、音声認識実行判定部１３は、第１の話者の心理状態が異常と判定された場合における、発話比率と比較する閾値Th2を、第１の話者の心理状態が平常と判定された場合の閾値Th2の値よりも大きくしてもよい。例えば、第１の話者の心理状態が平常と判定された場合、Th2=0.3とすることができ、一方、第１の話者の心理状態が異常と判定された場合、Th2=0.4とすることができる。
【００８９】
あるいは、音声認識実行判定部１３は、第１の話者の心理状態が異常と判定された場合におけるSTARTCOUNTERと比較する閾値Th3の値を、第１の話者の心理状態が平常と判定された場合の閾値Th3の値よりも小さくしてもよい。また、音声認識実行判定部１３は、第１の話者の心理状態が異常と判定された場合におけるSTOPCOUNTERと比較する閾値Th4の値を、第１の話者の心理状態が平常と判定された場合の閾値Th4の値よりも大きくしてもよい。例えば、第１の話者の心理状態が平常と判定された場合、Th3=Th4=100とすることができ、一方、第１の話者の心理状態が異常と判定された場合、Th3=50、Th4=200とすることができる。
【００９０】
これにより、特定通話検出装置は、第１の話者の心理状態が異常と判定された場合には、音声認識の対象となる発話区間を長くすることができるので、より多くのキーワードを検出できる可能性を向上できる。その結果として、特定通話検出装置は、特定通話の検出精度を向上できる。
【００９１】
また他の変形例によれば、特定通話検出装置は、上り音声信号のみに基づいて、通話が有害通話か否かを判定してもよい。この場合、発話区間検出部１１は、上り音声信号から第１の話者の第１の発話区間を検出するものの、下り音声信号からは第２の話者の第２の発話区間を検出しない。また発話比率算出部１２は、次式に従って第１の話者の発話比率talkratio(n)を算出する。
【数４】
0005810946.tif 000005
nは、通話開始から現フレームまでのフレーム数であり、ptotal(n)は、通話開始から現フレームまでの通話時間であり、sumuser(n)は、通話開始から現フレームまでの第１の発話区間の総和である。
【００９２】
この変形例では、音声認識実行判定部１３は、図５に示した動作フローチャートに従って、上り音声信号に対する音声認識実行判定処理を実行するが、下り音声信号に対する音声認識実行判定処理は行わない。そして音声認識部１４は、音声認識処理の対象とされた第１の発話区間に含まれるフレームに対して音声認識処理を実行することにより、上り音声信号に含まれるキーワードを検出する。そして特定通話判定部１５は、例えば、次式に従って有害通話らしさを表す評価値e(n)を算出する。
【数５】
0005810946.tif 000006
なお、Cup(n)は、現フレームまでの音声認識処理が終了した時点における上りキーワードカウンタの値、すなわち、通話開始から現フレームまでの間に上り音声信号から検出されたキーワードの総数である。またβは係数であり、例えば、0.5に設定される。
【００９３】
さらにこの変形例によれば、上り音声信号に基づいて第１の話者の心理状態が異常か否か判定されている場合、特定通話判定部１５は、例えば、次式に従って評価値e(n)を算出してもよい。
【数６】
0005810946.tif 000007
なお、a(n)は、現フレームにおける異常度であり、amaxは、異常度の値が取り得る最大値である。そしてα、β、γは係数であり、例えば、それぞれ、0.4、0.3、0.3とすることができる。
【００９４】
この変形例によれば、音声認識の対象となる音声データが上り音声信号に限定されるので、特定通話検出装置は、音声認識の処理負荷をより軽減できる。
【００９５】
さらに他の変形例によれば、検出対象となる特定通話は、有害通話に限定されない。特定通話は、何れか一方の話者の発話比率が特定の閾値（例えば、0.2〜03）以下、あるいは、特定の閾値（0.7〜0.8）以上となる傾向にある通話であればよい。例えば、特定通話は、ある製品のユーザと、その製品についてのサポートセンター内のオペレータ間の通話のうち、ユーザがいわゆるクレーマーである場合の通話であってもよい。ユーザがクレーマーである場合も、通話中のオペレータの発話比率は、0.5よりもかなり小さくなる傾向となる。これは、通話中においてユーザは様々なことを述べるのに対して、オペレータは、「はい」、「すみません」といった、特定の単語を多く発する傾向があるためである。この場合、特定通話検出装置は、例えば、オペレータが使用する電話機に実装される。あるいは、オペレータとユーザ間の通話を録音した音声データを読み込んで、その音声データを解析するコンピュータに、特定通話検出装置は実装されてもよい。そして、オペレータが第１の話者に対応し、ユーザが第２の話者に対応する。
【００９６】
上記の各実施形態または変形例による特定通話検出装置の処理部が有する各機能をコンピュータに実現させるコンピュータプログラムは、磁気記録媒体または光記録媒体といったコンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。
【００９７】
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【００９８】
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
第１の話者と第２の話者間の通話において、音声入力部により取得された前記第１の話者が発した第１の音声から、前記第１の話者が話している区間である第１の発話区間、及び、前記第２の話者が発した第２の音声から、前記第２の話者が話している区間である第２の発話区間のうち、少なくとも該第１の発話区間を検出する発話区間検出部と、
前記通話に占める前記第１の話者の発話比率を前記第１の発話区間と前記第２の発話区間のうちの少なくとも前記第１の発話区間に基づいて算出する発話比率算出部と、
前記発話比率に基づいて、前記第１の音声及び前記第２の音声のうちの少なくとも一方が音声認識の対象となるか否かを判定する音声認識実行判定部と、
前記第１の音声及び前記第２の音声のうち、音声認識の対象とされた音声から特定通話に関連するキーワードを検出する音声認識部と、
検出された前記キーワードが多いほど、前記特定通話らしさを表す評価値を高くするように該評価値を算出し、該評価値が所定の閾値以上である場合、前記通話が前記特定通話であると判定する判定部と、
を有する特定通話検出装置。
（付記２）
前記音声認識実行判定部は、前記発話比率が所定の閾値よりも大きい期間が第１の期間に達するまで前記第１の音声を音声認識の対象とし、一方、前記発話比率が前記閾値よりも大きい期間が前記第１の期間に達した以降の前記第１の音声を音声認識の対象としない、付記１に記載の特定通話検出装置。
（付記３）
前記音声認識実行判定部は、前記発話比率が所定の閾値以下となる期間が第２の期間に達するまで前記第２の音声を音声認識の対象とせず、一方、前記発話比率が前記閾値以下となる期間が前記第２の期間に達した以降の前記第２の音声を音声認識の対象とする、付記１に記載の特定通話検出装置。
（付記４）
前記第１の音声に基づいて前記第１の話者の心理状態が正常か否かを判定する心理状態判定部をさらに有し、
前記音声認識実行判定部は、前記第１の話者の心理状態が正常でないと判定された場合における前記閾値の値を、前記第１の話者の心理状態が正常であると判定された場合における前記閾値の値よりも大きくする、付記２または３に記載の特定通話検出装置。
（付記５）
前記第１の音声に基づいて前記第１の話者の心理状態が正常か否かを判定する心理状態判定部をさらに有し、
前記音声認識実行判定部は、前記第１の話者の心理状態が正常でないと判定された場合における前記第１の期間の長さを、前記第１の話者の心理状態が正常であると判定された場合における前記第１の期間よりも長くする、付記２に記載の特定通話検出装置。
（付記６）
前記第１の音声に基づいて前記第１の話者の心理状態が正常か否かを判定する心理状態判定部をさらに有し、
前記音声認識実行判定部は、前記第１の話者の心理状態が正常でないと判定された場合における前記第２の期間の長さを、前記第１の話者の心理状態が正常であると判定された場合における前記第２の期間よりも短くする、付記３に記載の特定通話検出装置。
（付記７）
前記第１の音声に基づいて前記第１の話者の心理状態が正常か否かを判定する心理状態判定部と、
前記キーワードとして、所定の音節数以上の音節数を持つ第１のキーワードと、該所定の音節数未満の音節数を持つ第２のキーワードを記憶する記憶部とをさらに有し、
前記音声認識部は、前記第１の話者の心理状態が正常であると判定された場合、前記音声認識の対象とされた音声から前記第１のキーワードを検出し、一方、前記第１の話者の心理状態が正常でないと判定された場合、前記音声認識の対象とされた音声から前記第１のキーワード及び前記第２のキーワードを検出する、付記２または３に記載の特定通話検出装置。
（付記８）
前記第１の音声に基づいて前記第１の話者の心理状態が正常か否かを判定する心理状態判定部をさらに有し、
前記音声認識部は、前記音声認識の対象とされた音声と前記キーワードとの類似度を求め、該類似度が類似度閾値以上となる場合に前記キーワードを検出するとともに、前記第１の話者の心理状態が正常でないと判定された場合における前記類似度閾値の値を、前記第１の話者の心理状態が正常であると判定された場合における前記類似度閾値の値よりも小さくする、付記２または３に記載の特定通話検出装置。
（付記９）
前記発話区間検出部は、前記第１の発話区間と前記第２の発話区間の両方を検出し、
前記発話比率算出部は、現時点を終端とする所定の期間における、前記第１の発話区間の長さの総和と前記第２の発話区間の長さの総和の合計に占める、前記第１の発話区間の長さの総和の比を前記発話比率として算出する、付記１〜８の何れか一項に記載の特定通話検出装置。
（付記１０）
前記発話区間検出部は、前記第１の発話区間と前記第２の発話区間のうちの前記第１の発話区間のみを検出し、
前記発話比率算出部は、現時点を終端とする所定の期間に占める、前記第１の発話区間の長さの総和の比を前記発話比率として算出する、付記１〜８の何れか一項に記載の特定通話検出装置。
（付記１１）
前記判定部は、前記発話比率が低いほど、前記評価値を高くする、付記１〜１０の何れか一項に記載の特定通話検出装置。
（付記１２）
前記特定通話は、前記第２の話者が前記第１の話者を加害しようとする有害通話である、付記１〜１１の何れか一項に記載の特定通話検出装置。
（付記１３）
第１の話者と第２の話者間の通話において、音声入力部により取得された前記第１の話者が発した第１の音声から、前記第１の話者が話している区間である第１の発話区間、及び、前記第２の話者が発した第２の音声から、前記第２の話者が話している区間である第２の発話区間のうち、少なくとも該第１の発話区間を検出し、
前記通話に占める前記第１の話者の発話比率を前記第１の発話区間と前記第２の発話区間のうちの少なくとも前記第１の発話区間に基づいて算出し、
前記発話比率に基づいて、前記第１の音声及び前記第２の音声のうちの少なくとも一方が音声認識の対象となるか否かを判定し、
前記第１の音声及び前記第２の音声のうち、音声認識の対象とされた音声から特定通話に関連するキーワードを検出し、
検出された前記キーワードが多いほど、前記特定通話らしさを表す評価値を高くするように該評価値を算出し、該評価値が所定の閾値以上である場合、前記通話が前記特定通話であると判定する、
ことを含む特定通話検出方法。
（付記１４）
第１の話者と第２の話者間の通話において、音声入力部により取得された前記第１の話者が発した第１の音声から、前記第１の話者が話している区間である第１の発話区間、及び、前記第２の話者が発した第２の音声から、前記第２の話者が話している区間である第２の発話区間のうち、少なくとも該第１の発話区間を検出し、
前記通話に占める前記第１の話者の発話比率を前記第１の発話区間と前記第２の発話区間のうちの少なくとも前記第１の発話区間に基づいて算出し、
前記発話比率に基づいて、前記第１の音声及び前記第２の音声のうちの少なくとも一方が音声認識の対象となるか否かを判定し、
前記第１の音声及び前記第２の音声のうち、音声認識の対象とされた音声から特定通話に関連するキーワードを検出し、
検出された前記キーワードが多いほど、前記特定通話らしさを表す評価値を高くするように該評価値を算出し、該評価値が所定の閾値以上である場合、前記通話が前記特定通話であると判定する、
ことをコンピュータに実行させる特定通話検出用コンピュータプログラム。
（付記１５）
第１の話者と第２の話者間の通話において、前記第１の話者が発した第１の音声と前記第２の話者が発した第２の音声とを取得する音声入力部と、
前記第１の音声から、前記第１の話者が話している区間である第１の発話区間、及び、前記第２の音声から、前記第２の話者が話している区間である第２の発話区間のうち、少なくとも該第１の発話区間を検出する発話区間検出部と、
前記通話に占める前記第１の話者の発話比率を前記第１の発話区間と前記第２の発話区間のうちの少なくとも前記第１の発話区間に基づいて算出する発話比率算出部と、
前記発話比率に基づいて、前記第１の音声及び前記第２の音声のうちの少なくとも一方が音声認識の対象となるか否かを判定する音声認識実行判定部と、
前記第１の音声及び前記第２の音声のうち、音声認識の対象とされた音声から特定通話に関連するキーワードを検出する音声認識部と、
検出された前記キーワードが多いほど、前記特定通話らしさを表す評価値を高くするように該評価値を算出し、該評価値が所定の閾値以上である場合、前記通話が前記特定通話であると判定する判定部と、
前記通話が前記特定通話であると判定された場合に警告メッセージを表示する表示部と、
を有する電話機。
【符号の説明】
【００９９】
１    電話機
２    マイクロホン
３    通信部
４    記憶媒体アクセス装置
５    記憶部
６    ユーザインターフェース部
７    処理部（特定通話検出装置）
８    スピーカ
９    記憶媒体
１１    発話区間検出部
１２    発話比率算出部
１３    音声認識実行判定部
１４    音声認識部
１５    特定通話判定部
１６    心理状態判定部
【図１】
0005810946.tif 000008
【図２】
0005810946.tif 000009
【図３】
0005810946.tif 000010
【図４】
0005810946.tif 000011
【図５】
0005810946.tif 000012
【図６】
0005810946.tif 000013
【図７】
0005810946.tif 000014
【図８】
0005810946.tif 000015