(57)【特許請求の範囲】
【請求項１】
第１の話者の音声信号と第２の話者の音声信号とに基づいて、前記第２の話者の音声信号の音声開始時刻から所定の時刻までの期間における前記第２の話者のあいづち頻度を表す平均あいづち頻度を推定する平均あいづち頻度推定部と、
前記第１の話者の音声信号と前記第２の話者の音声信号とに基づいて、単位時間毎の前記第２の話者のあいづち頻度を算出するあいづち頻度算出部と、
前記平均あいづち頻度推定部で推定した前記平均あいづち頻度と、前記あいづち頻度算出部で算出した前記あいづち頻度とに基づいて、前記第２の話者の満足度を判定する判定部と、
を備え、
前記平均あいづち頻度推定部は、前記第２の話者の音声信号から算出される発話速度に基づいて、前記平均あいづち頻度を推定する、
ことを特徴とする発話状態判定装置。
【請求項２】
第１の話者の音声信号と第２の話者の音声信号とに基づいて、前記第２の話者の音声信号の音声開始時刻から所定の時刻までの期間における前記第２の話者のあいづち頻度を表す平均あいづち頻度を推定する平均あいづち頻度推定部と、
前記第１の話者の音声信号と前記第２の話者の音声信号とに基づいて、単位時間毎の前記第２の話者のあいづち頻度を算出するあいづち頻度算出部と、
前記平均あいづち頻度推定部で推定した前記平均あいづち頻度と、前記あいづち頻度算出部で算出した前記あいづち頻度とに基づいて、前記第２の話者の満足度を判定する判定部と、
を備え、
前記平均あいづち頻度推定部は、前記第２の話者の音声信号における音声区間の開始時刻及び終了時刻から求めた発話時間から前記第２話者の発話時間を算出し、前記発話時間に基づいて前記平均あいづち頻度を推定する、
ことを特徴とする発話状態判定装置。
【請求項３】
第１の話者の音声信号と第２の話者の音声信号とに基づいて、前記第２の話者の音声信号の音声開始時刻から所定の時刻までの期間における前記第２の話者のあいづち頻度を表す平均あいづち頻度を推定する平均あいづち頻度推定部と、
前記第１の話者の音声信号と前記第２の話者の音声信号とに基づいて、単位時間毎の前記第２の話者のあいづち頻度を算出するあいづち頻度算出部と、
前記平均あいづち頻度推定部で推定した前記平均あいづち頻度と、前記あいづち頻度算出部で算出した前記あいづち頻度とに基づいて、前記第２の話者の満足度を判定する判定部と、
前記第１の話者の音声信号に含まれる音声区間を検出する音声区間検出部と、
前記第２の話者の音声信号に含まれるあいづち区間を検出するあいづち区間検出部と、
を備え、
前記あいづち頻度算出部は、検出した前記音声区間及び前記あいづち区間に基づいて、前記第１の話者の発話時間に対する前記第２の話者のあいづちの回数を算出する、
ことを特徴とする発話状態判定装置。
【請求項４】
第１の話者の音声信号と第２の話者の音声信号とに基づいて、前記第２の話者の音声信号の音声開始時刻から所定の時刻までの期間における前記第２の話者のあいづち頻度を表す平均あいづち頻度を推定する平均あいづち頻度推定部と、
前記第１の話者の音声信号と前記第２の話者の音声信号とに基づいて、単位時間毎の前記第２の話者のあいづち頻度を算出するあいづち頻度算出部と、
前記平均あいづち頻度推定部で推定した前記平均あいづち頻度と、前記あいづち頻度算出部で算出した前記あいづち頻度とに基づいて、前記第２の話者の満足度を判定する判定部と、
を備え、
前記あいづち頻度算出部は、前記第１の話者の音声信号における音声区間の開始時刻及び終了時刻から求めた発話時間と、前記第２の話者の音声信号におけるあいづち区間から求めたあいづちの回数と、を用いて、前記発話時間当たりの前記あいづちの回数を前記あいづち頻度として算出する、
ことを特徴とする発話状態判定装置。
【請求項５】
コンピュータが、
第１の話者の音声信号と第２の話者の音声信号とに基づいて、前記第２の話者の音声信号の音声開始時刻から所定の時刻までの期間における前記第２の話者のあいづち頻度を表す平均あいづち頻度を推定し、
前記第１の話者の音声信号と前記第２の話者の音声信号とに基づいて、単位時間毎の前記第２の話者のあいづち頻度を算出し、
前記平均あいづち頻度と前記単位時間毎の前記あいづち頻度とに基づいて、前記第２の話者の満足度を判定する、
処理を実行し、
前記平均あいづち頻度の推定では、前記第２の話者の音声信号から算出される発話速度に基づいて、前記平均あいづち頻度を推定する、
ことを特徴とする発話状態判定方法。
【請求項６】
コンピュータが、
第１の話者の音声信号と第２の話者の音声信号とに基づいて、前記第２の話者の音声信号の音声開始時刻から所定の時刻までの期間における前記第２の話者のあいづち頻度を表す平均あいづち頻度を推定し、
前記第１の話者の音声信号と前記第２の話者の音声信号とに基づいて、単位時間毎の前記第２の話者のあいづち頻度を算出し、
前記平均あいづち頻度と前記単位時間毎の前記あいづち頻度とに基づいて、前記第２の話者の満足度を判定する、
処理を実行し、
前記平均あいづち頻度の推定では、前記第２の話者の音声信号における音声区間の開始時刻及び終了時刻から求めた発話時間から前記第２話者の発話時間を算出し、前記発話時間に基づいて前記平均あいづち頻度を推定する、
ことを特徴とする発話状態判定方法。
【請求項７】
コンピュータが、
第１の話者の音声信号と第２の話者の音声信号とに基づいて、前記第２の話者の音声信号の音声開始時刻から所定の時刻までの期間における前記第２の話者のあいづち頻度を表す平均あいづち頻度を推定し、
前記第１の話者の音声信号と前記第２の話者の音声信号とに基づいて、単位時間毎の前記第２の話者のあいづち頻度を算出し、
前記平均あいづち頻度と前記単位時間毎の前記あいづち頻度とに基づいて、前記第２の話者の満足度を判定する、
処理を実行し、
前記単位時間毎の前記あいづち頻度の算出では、
前記第１の話者の音声信号に含まれる音声区間を検出し、
前記第２の話者の音声信号に含まれるあいづち区間を検出し、
検出した前記音声区間及び前記あいづち区間に基づいて、前記第１の話者の発話時間に対する前記第２の話者のあいづちの回数を算出する、
ことを特徴とする発話状態判定方法。
【請求項８】
コンピュータが、
第１の話者の音声信号と第２の話者の音声信号とに基づいて、前記第２の話者の音声信号の音声開始時刻から所定の時刻までの期間における前記第２の話者のあいづち頻度を表す平均あいづち頻度を推定し、
前記第１の話者の音声信号と前記第２の話者の音声信号とに基づいて、単位時間毎の前記第２の話者のあいづち頻度を算出し、
前記平均あいづち頻度と前記単位時間毎の前記あいづち頻度とに基づいて、前記第２の話者の満足度を判定する、
処理を実行し、
前記単位時間毎の前記あいづち頻度の算出では、前記第１の話者の音声信号における音声区間の開始時刻及び終了時刻から求めた発話時間と、前記第２の話者の音声信号におけるあいづち区間から求めたあいづちの回数と、を用いて、前記発話時間当たりの前記あいづちの回数を前記あいづち頻度として算出する、
ことを特徴とする発話状態判定方法。
【請求項９】
コンピュータに、
第１の話者の音声信号と第２の話者の音声信号とに基づいて、前記第２の話者の音声信号の音声開始時刻から所定の時刻までの期間における前記第２の話者のあいづち頻度を表す平均あいづち頻度を推定し、
前記第１の話者の音声信号と前記第２の話者の音声信号とに基づいて、単位時間毎の前記第２の話者のあいづち頻度を算出し、
前記平均あいづち頻度と前記単位時間毎の前記あいづち頻度とに基づいて、前記第２の話者の満足度を判定する、
処理を実行させ、
前記平均あいづち頻度の推定では、前記第２の話者の音声信号から算出される発話速度に基づいて、前記平均あいづち頻度を推定する、
ことを特徴とする判定プログラム。
【請求項１０】
コンピュータに、
第１の話者の音声信号と第２の話者の音声信号とに基づいて、前記第２の話者の音声信号の音声開始時刻から所定の時刻までの期間における前記第２の話者のあいづち頻度を表す平均あいづち頻度を推定し、
前記第１の話者の音声信号と前記第２の話者の音声信号とに基づいて、単位時間毎の前記第２の話者のあいづち頻度を算出し、
前記平均あいづち頻度と前記単位時間毎の前記あいづち頻度とに基づいて、前記第２の話者の満足度を判定する、
処理を実行させ、
前記平均あいづち頻度の推定では、前記第２の話者の音声信号における音声区間の開始時刻及び終了時刻から求めた発話時間から前記第２話者の発話時間を算出し、前記発話時間に基づいて前記平均あいづち頻度を推定する、
ことを特徴とする判定プログラム。
【請求項１１】
コンピュータに、
第１の話者の音声信号と第２の話者の音声信号とに基づいて、前記第２の話者の音声信号の音声開始時刻から所定の時刻までの期間における前記第２の話者のあいづち頻度を表す平均あいづち頻度を推定し、
前記第１の話者の音声信号と前記第２の話者の音声信号とに基づいて、単位時間毎の前記第２の話者のあいづち頻度を算出し、
前記平均あいづち頻度と前記単位時間毎の前記あいづち頻度とに基づいて、前記第２の話者の満足度を判定する、
処理を実行させ、
前記単位時間毎の前記あいづち頻度の算出では、
前記第１の話者の音声信号に含まれる音声区間を検出し、
前記第２の話者の音声信号に含まれるあいづち区間を検出し、
検出した前記音声区間及び前記あいづち区間に基づいて、前記第１の話者の発話時間に対する前記第２の話者のあいづちの回数を算出する、
ことを特徴とする判定プログラム。
【請求項１２】
コンピュータに、
第１の話者の音声信号と第２の話者の音声信号とに基づいて、前記第２の話者の音声信号の音声開始時刻から所定の時刻までの期間における前記第２の話者のあいづち頻度を表す平均あいづち頻度を推定し、
前記第１の話者の音声信号と前記第２の話者の音声信号とに基づいて、単位時間毎の前記第２の話者のあいづち頻度を算出し、
前記平均あいづち頻度と前記単位時間毎の前記あいづち頻度とに基づいて、前記第２の話者の満足度を判定する、
処理を実行させ、
前記単位時間毎の前記あいづち頻度の算出では、前記第１の話者の音声信号における音声区間の開始時刻及び終了時刻から求めた発話時間と、前記第２の話者の音声信号におけるあいづち区間から求めたあいづちの回数と、を用いて、前記発話時間当たりの前記あいづちの回数を前記あいづち頻度として算出する、
ことを特徴とする判定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、発話状態判定装置、発話状態判定方法、及び判定プログラムに関する。
【背景技術】
【０００２】
音声通話における各話者の感情状態を推定する技術として、相手（一方の話者）のあいづちの回数を用いて、相手が怒っている状態であるか否かを判定する技術が知られている（例えば、特許文献１を参照）。
【０００３】
また、通話中の相手（一方の話者）の感情状態を検出する技術として、あいづち発話の間隔等を用いて相手が興奮状態にあるか否かを検出する技術が知られている（例えば、特許文献２を参照）。
【０００４】
また、音声信号からあいづちを検出する技術として、音声信号の発話区間と、あいづち辞書に登録されたあいづちデータとを比較し、発話区間内のあいづちデータと一致する区間をあいづち区間として検出する技術が知られている（例えば、特許文献３を参照）。
【０００５】
また、音声通話等における２者の通話（対話）を録音し、通話終了後に再生する際の技術として、話者の発話速度に応じて再生速度を変化させる技術が知られている（例えば、特許文献４を参照）。
【０００６】
更に、話者の音声の特徴量として母音を用いることが可能であることが知られている（例えば、非特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−１７５６８４号公報
【特許文献２】特開２００７−２８６０９７号公報
【特許文献３】特開２０１３−２２５００３号公報
【特許文献４】特開２０１３−２００４２３号公報
【非特許文献】
【０００８】
【非特許文献１】“音声１”、[online]、[平成２７年８月２９日検索]、インターネット＜URL：http://media.sys.wakayama-u.ac.jp/kawahara-lab/LOCAL/diss/diss7/S3_6.htm＞
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上記の話者が怒っている状態や不満な状態にあるか否かの推定（判定）は、怒っていたり不満がある場合には平常状態よりもあいづちの回数が少なくなるという、話者の感情状態とあいづちの入れ方との関係を利用している。そのため、あいづちの回数等と予め用意した一定の閾値とに基づいて相手の感情状態を判定する。
【００１０】
しかしながら、あいづちの回数や間隔には個人差があるため、一定の閾値に基づいて話者の感情状態を判定することは難しい。例えば、判定対象の話者が元来あいづちの少ない人物である場合、当人は平常状態であいづちを多く入れているにもかかわらず、あいづちの回数が閾値よりも少なく怒っている状態であると判定される可能性が高い。また、例えば、判定対象の話者が元来あいづちの多い人物である場合、当人は怒っている状態であいづちの回数が平常時よりも少ないにもかかわらず、平常状態であると判定される可能性が高い。
【００１１】
１つの側面において、本発明は、あいづちの入れ方に基づいた話者の感情状態の判定精度を向上させることを目的とする。
【課題を解決するための手段】
【００１２】
１つの態様の発話状態判定装置は、平均あいづち頻度推定部と、あいづち頻度算出部と、判定部と、を備える。平均あいづち頻度推定部は、第１の話者の音声信号と第２の話者の音声信号とに基づいて、前記第２の話者の音声信号の音声開始時刻から所定の時刻までの期間における前記第２の話者のあいづち頻度を表す平均あいづち頻度を推定する。あいづち頻度算出部は、前記第１の話者の音声信号と前記第２の話者の音声信号とに基づいて、単位時間毎の前記第２の話者のあいづち頻度を算出する。判定部は、前記平均あいづち頻度推定部で推定した前記平均あいづち頻度と、前記あいづち頻度算出部で算出したあいづち頻度とに基づいて、前記第２の話者の満足度を判定する。この構成において、平均あいづち頻度推定部は、前記第２の話者の音声信号から算出される発話速度に基づいて、前記平均あいづち頻度を推定する。
【発明の効果】
【００１３】
あいづちの入れ方に基づいた話者の感情状態の判定精度を向上させることができる。
【図面の簡単な説明】
【００１４】
【図１】第１の実施形態に係る通話システムの構成を示す図である。
【図２】第１の実施形態に係る発話状態判定装置の機能的構成を示す図である。
【図３】発話状態判定装置における音声信号の処理単位を説明する図である。
【図４】第１の実施形態に係る発話状態判定装置が行う処理の内容を示すフローチャートである。
【図５】第１の実施形態における平均あいづち頻度推定処理の内容を示すフローチャートである。
【図６】第２の実施形態に係る通話システムの構成を示す図である。
【図７】第２の実施形態に係る発話状態判定装置の機能的構成を示す図である。
【図８】記憶部に記憶させる文章の例を示す図である。
【図９】第２の実施形態に係る発話状態判定装置が行う処理の内容を示すフローチャートである。
【図１０】第２の実施形態における平均あいづち頻度推定処理の内容を示すフローチャートである。
【図１１】第３の実施形態に係る通話システムの構成を示す図である。
【図１２】第３の実施形態に係るサーバの機能的構成を示す図である。
【図１３】発話状態判定装置における音声信号の処理単位を説明する図である。
【図１４】記憶部に記憶させる文章の例を示す図である。
【図１５】第３の実施形態に係る再生装置の機能的構成を示す図である。
【図１６】第３の実施形態に係る発話状態判定装置が行う処理の内容を示すフローチャートである。
【図１７】第３の実施形態における平均あいづち頻度推定処理の内容を示すフローチャートである。
【図１８】第４の実施形態に係る録音装置の構成を示す図である。
【図１９】第４の実施形態に係る発話状態判定装置の機能的構成を示す図である。
【図２０】あいづち意図判別情報の例を示す図である。
【図２１】発話速度と平均あいづち頻度との対応表の例を示す図である。
【図２２】第４の実施形態に係る発話状態判定装置が行う処理の内容を示すフローチャートである。
【図２３】第５の実施形態に係る録音システムの構成を示す図である。
【図２４】第５の実施形態に係る発話状態判定装置の機能的構成を示す図である。
【図２５】平均あいづち頻度の対応表の例を示す図である。
【図２６】第５の実施形態に係る発話状態判定装置が行う処理の内容を示すフローチャートである。
【図２７】コンピュータのハードウェア構成を示す図である。
【発明を実施するための形態】
【００１５】
［第１の実施形態］
図１は、第１の実施形態に係る通話システムの構成を示す図である。
【００１６】
図１に示すように、本実施形態に係る通話システム１００は、第１の電話機２と、第２の電話機３と、Internet Protocol（ＩＰ）網４と、表示装置６と、を備える。
【００１７】
第１の電話機２は、マイク２０１と、通話処理部２０２と、レシーバ（スピーカ）２０３と、表示部２０４と、発話状態判定装置５と、を備える。第１の電話機２の発話状態判定装置５は、表示装置６に接続されている。なお、第１の電話機２は、１台に限らず、複数台であってもよい。
【００１８】
第２の電話機３は、ＩＰ網４を介して第１の電話機２と接続することが可能な電話機である。第２の電話機３は、マイク３０１と、通話処理部３０２と、レシーバ（スピーカ）３０３と、を備える。
【００１９】
この通話システム１００は、ＩＰ網４を利用しSession Initiation Protocol（ＳＩＰ）に従って第１の電話機２と第２の電話機３との呼接続を行うことで、両電話機２，３を用いた音声通話が可能になる。
【００２０】
第１の電話機２は、マイク２０１で収音した第１の話者の音声信号を通話処理部２０２で送信用の信号に変換し、第２の電話機３に送信する。また、第１の電話機２は、第２の電話機３から受信した信号を通話処理部２０２でレシーバ２０３から出力可能な音声信号に変換し、レシーバ２０３に出力する。
【００２１】
第２の電話機３は、マイク３０１で収音した第２の話者（相手）の音声信号を通話処理部３０２で送信用の信号に変換し、第１の電話機２に送信する。また、第２の電話機３は、第１の電話機２から受信した信号を通話処理部３０２でレシーバ３０３から出力可能な音声信号に変換し、レシーバ３０３に出力する。
【００２２】
図１では省略しているが、第１の電話機２及び第２の電話機３の通話処理部２０２，３０２は、それぞれ、エンコーダと、デコーダと、送受信部とを備える。エンコーダは、マイク２０１，３０１で収音した音声信号（アナログ信号）をデジタル信号に変換する。デコーダは、他方の電話機から受信したデジタル信号を音声信号（アナログ信号）に変換する。送受信部は、Real-time Transport Protocol（ＲＴＰ）に従って送信用のデジタル信号をパケット化する一方で、受信したパケットからデジタル信号を復元する。
【００２３】
本実施形態の通話システム１００における第１の電話機２は、上記のように発話状態判定装置５及び表示部２０４を備える。加えて、第１の電話機２の発話状態判定装置５には表示装置６が接続されている。表示装置６は、第１の電話機２を利用する第１の話者とは別の人物、例えば第１の話者の応対を監視する監視者が使用する。
【００２４】
発話状態判定装置５は、第１の話者の音声信号及び第２の話者の音声信号に基づいて、第２の話者の発話状態が満足している状態にあるか否か（言い換えると第２の話者の満足度）を判定する。また、発話状態判定装置５は、第２の話者の発話状態が不満な状態にある場合、表示部２０４や表示装置６を介して第１の話者に対し警告する。表示部２０４は、発話状態判定装置５の判定結果（第２の話者の満足度）や警告等を表示する。更に、第１の電話機２（発話状態判定装置５）に接続された表示装置６は、発話状態判定装置５が発した第１の話者に対する警告を表示する。
【００２５】
図２は、第１の実施形態に係る発話状態判定装置の機能的構成を示す図である。
【００２６】
図２に示すように、本実施形態に係る発話状態判定装置５は、音声区間検出部５０１と、あいづち区間検出部５０２と、あいづち頻度算出部５０３と、平均あいづち頻度推定部５０４と、判定部５０５と、警告出力部５０６と、を備える。
【００２７】
音声区間検出部５０１は、第１の話者の音声信号における音声区間を検出する。音声区間検出部５０１は、第１の話者の音声信号のうち当該音声信号から導出したパワーが所定の閾値ＴＨ以上の区間を音声区間として検出する。
【００２８】
あいづち区間検出部５０２は、第２の話者の音声信号におけるあいづち区間を検出する。あいづち区間検出部５０２は、第２の話者の音声信号に対し形態素解析を行い、図示しないあいづち辞書に登録したあいづちデータのいずれかと一致する区間をあいづち区間として検出する。あいづち辞書には、例えば「はい」、「なるほど」、「うん」、「へぇ」、等あいづちに多用される感動詞をテキストデータで登録しておく。
【００２９】
あいづち頻度算出部５０３は、第２の話者のあいづち頻度として、第１の話者の発話時間当たりの第２の話者のあいづち回数を算出する。あいづち頻度算出部５０３は、所定の単位時間を１フレームとし、１フレーム内の第１の話者の音声区間から算出される発話時間と、第２の話者のあいづち区間から算出されるあいづち回数とに基づいて、あいづち頻度を算出する。
【００３０】
平均あいづち頻度推定部５０４は、第１及び第２の話者の音声信号に基づいて、第２の話者の平均あいづち頻度を推定する。本実施形態の平均あいづち頻度推定部５０４は、第２の話者の平均あいづち頻度の推定値として、第２の話者の音声開始時刻から一定フレーム数が経過するまでの期間におけるあいづち頻度の平均を算出する。
【００３１】
判定部５０５は、あいづち頻度算出部５０３で算出したあいづち頻度と、平均あいづち頻度推定部５０４で算出（推定）した平均あいづち頻度とに基づいて、第２の話者の満足度、言い換えると第２の話者が満足しているか否かを判定する。
【００３２】
警告出力部５０６は、判定部５０５において第２の話者が満足していない状態（すなわち不満な状態）であるという判定が所定の回数以上連続した場合に、第１の電話機２の表示部２０４、及び発話状態判定装置５に接続された表示装置６に警告を表示させる。
【００３３】
図３は、発話状態判定装置における音声信号の処理単位を説明する図である。
発話状態判定装置５における音声区間の検出及びあいづち区間の検出では、例えば、図３に示すように、音声信号のサンプルｎ毎の処理、時間ｔ１毎の区間処理、及び時間ｔ２毎のフレーム処理を行う。図３において、ｓ１（ｎ）は、第１の話者の音声信号におけるｎ番目のサンプルの振幅である。また、図３において、Ｌ−１，Ｌは区間番号であり、１区間に相当する時間ｔ１は例えば２０msecである。また、図３において、ｍ−１，ｍはフレーム番号であり、１フレームに相当する時間ｔ２は例えば３０secである。
【００３４】
音声区間検出部５０１は、まず、第１の話者の音声信号における各サンプルの振幅ｓ１（ｎ）を用い、区間Ｌにおける音声信号のパワーｐ１（Ｌ）を下記式（１）により算出する。
【００３５】
【数１】
0006565500.tif 000002
【００３６】
式（１）において、Ｎは、区間Ｌ内のサンプル数である。
【００３７】
次に、音声区間検出部５０１は、パワーｐ１（Ｌ）と予め定めた閾値ＴＨとを比較し、ｐ１（Ｌ）≧ＴＨとなる区間Ｌを音声区間として検出する。音声区間検出部５０１は、検出結果として、下記式（２）で与えられるｕ１（Ｌ）を出力する。
【００３８】
【数２】
0006565500.tif 000003
【００３９】
あいづち区間検出部５０２は、まず、第２の話者の音声信号における各サンプルの振幅ｓ２（ｎ）を用いた形態素解析を行って発話区間を切り出す。次に、あいづち区間検出部５０２は、切り出した発話区間とあいづち辞書に登録されたあいづちデータとを比較し、発話区間内のあいづちデータと一致する区間をあいづち区間として検出する。あいづち区間検出部５０２は、検出結果として、下記式（３）で与えられるｕ２（Ｌ）を出力する。
【００４０】
【数３】
0006565500.tif 000004
【００４１】
あいづち頻度算出部５０３は、ｍ番目のフレームにおける音声区間の検出結果及びあいづち区間の検出結果を用いて、下記式（４）で与えられるあいづち頻度ＩＡ（ｍ）を算出する。
【００４２】
【数４】
0006565500.tif 000005
【００４３】
式（４）におけるstartｊ及びendｊは、音声区間の検出結果ｕ１（Ｌ）が１である区間の開始時刻及び終了時刻である。すなわち、startｊは、サンプル毎の検出結果ｕ１（ｎ）が０から１に立ち上がった時刻であり、endｊは、startｊ以降で最初にサンプル毎の検出結果ｕ１（ｎ）が１から０に立ち下がった時刻である。また、式（４）におけるcntA（ｍ）は、あいづち区間の検出結果ｕ２（Ｌ）が１である区間の数である。すなわち、cntA（ｍ）は、サンプル毎の検出結果ｕ２（ｎ）が０から１に立ち上がった回数である。
【００４４】
一方、平均あいづち頻度推定部５０４は、第２の話者の音声開始時刻から所定のフレーム数Ｆ１までのあいづち頻度ＩＡ（ｍ）を用い、下記式（５）で与えられる単位時間（１フレーム）当たりのあいづち頻度の平均ＪＡを、平均あいづち頻度として算出する。
【００４５】
【数５】
0006565500.tif 000006
【００４６】
そして、判定部５０５は、下記式（６）で与えられる判定式に基づいて、判定結果ｖ（ｍ）を出力する。
【００４７】
【数６】
0006565500.tif 000007
【００４８】
式（６）において、ｖ（ｍ）＝１は相手が満足していることを意味し、ｖ（ｍ）＝０は相手が不満であることを意味する。また、式（６）のβは、補正係数であり、例えばβ＝０．７とする。
【００４９】
また、警告出力部５０６は、判定部５０５の判定結果ｖ（ｍ）を取得し、ｖ（ｍ）＝０が２フレーム以上連続した場合に警告信号を出力する。警告出力部５０６は、警告信号として、例えば、下記式（７）で与えられる第２の判定結果ｅ（ｍ）を出力する。
【００５０】
【数７】
0006565500.tif 000008
【００５１】
図４は、第１の実施形態に係る発話状態判定装置が行う処理の内容を示すフローチャートである。
【００５２】
本実施形態に係る発話状態判定装置５は、第１の電話機２と第２の電話機３との呼接続が完了して音声通話が可能な状態になると、図４に示したような処理を行う。
【００５３】
発話状態判定装置５は、まず、第１及び第２の話者の音声信号のモニタリングを開始する（ステップＳ１００）。ステップＳ１００は、発話状態判定装置５に設けたモニタリング部（図示せず）が行う。モニタリング部は、マイク２０１から通話処理部に伝送される第１の話者の音声信号、及び通話処理部２０２からレシーバ２０３に伝送される第２の話者の音声信号をモニタリングする。モニタリング部は、第１の話者の音声信号を音声区間検出部５０１及び平均あいづち頻度推定部５０４に出力するとともに、第２の話者の音声信号をあいづち区間検出部５０２及び平均あいづち頻度推定部５０４に出力する。
【００５４】
発話状態判定装置５は、次に、平均あいづち頻度推定処理を行う（ステップＳ１０１）。ステップＳ１０１は、平均あいづち頻度推定部５０４が行う。平均あいづち頻度推定部５０４は、例えば、まず、式（１）〜（４）を用いて第２の話者の音声開始時刻から２フレーム分（６０sec分）の音声信号におけるあいづち頻度ＩＡ（ｍ）を算出する。その後、平均あいづち頻度推定部５０４は、式（５）を用いて算出した１フレーム当たりのあいづち頻度の平均ＪＡを平均あいづち頻度とし、判定部５０５に出力する。
【００５５】
平均あいづち頻度ＪＡを算出すると、発話状態判定装置５は、次に、第１の話者の音声信号から音声区間を検出する処理（ステップＳ１０２）、及び第２の話者の音声信号からあいづち区間を検出する処理（ステップＳ１０３）を行う。ステップＳ１０２は、音声区間検出部５０１が行う。音声区間検出部５０１は、式（１），（２）を用いて、第１の話者の音声信号における音声区間の検出結果ｕ１（Ｌ）を算出する。音声区間検出部５０１は、音声区間の検出結果ｕ１（Ｌ）をあいづち頻度算出部５０３に出力する。一方、ステップＳ１０３は、あいづち区間検出部５０２が行う。あいづち区間検出部５０２は、例えば、上記の形態素解析等によりあいづち区間を検出した後、式（３）を用いてあいづち区間の検出結果ｕ２（Ｌ）を算出する。あいづち区間検出部５０２は、あいづち区間の検出結果ｕ２（Ｌ）をあいづち頻度算出部５０３に出力する。
【００５６】
なお、図４のフローチャートでは、ステップＳ１０２の後にステップＳ１０３を行っているが、これに限らず、ステップＳ１０３が先でもよいし、ステップＳ１０２及びＳ１０３を並列に行ってもよい。
【００５７】
発話状態判定装置５は、次に、第１の話者の音声区間と第２の話者のあいづち区間とに基づいて、第２の話者のあいづち頻度を算出する（ステップＳ１０４）。ステップＳ１０４は、あいづち頻度算出部５０３が行う。あいづち頻度算出部５０３は、式（４）を用いてｍ番目のフレームにおける第２の話者のあいづち頻度ＩＡ（ｍ）を算出する。あいづち頻度算出部５０３は、算出したあいづち頻度ＩＡ（ｍ）を判定部５０５に出力する。
【００５８】
発話状態判定装置５は、次に、第２の話者の平均あいづち頻度ＪＡとあいづち頻度ＩＡ（ｍ）とに基づいて、第２の話者の満足度を判定し、判定結果を表示部及び警告出力部に出力する（ステップＳ１０５）。ステップＳ１０５は、判定部５０５が行う。判定部５０５は、式（６）を用いて判定結果ｖ（ｍ）を算出し、当該判定結果ｖ（ｍ）を表示部２０４及び警告出力部５０６に出力する。
【００５９】
発話状態判定装置５は、次に、判定部５０５が連続して不満と判定したか否かを判断する（ステップＳ１０６）。ステップＳ１０６は、警告出力部５０６が行う。警告出力部５０６は、ｍ−１番目のフレームにおける判定結果ｖ（ｍ−１）の値を保持しており、ｖ（ｍ）及びｖ（ｍ−１）に基づいて、式（７）で与えられる第２の判定結果ｅ（ｍ）を算出する。そして、ｅ（ｍ）＝１の場合、警告出力部５０６は、判定部５０５が連続して不満と判定したと判断する。
【００６０】
判定部５０５が連続して不満と判定した場合（ステップＳ１０６；Ｙｅｓ）、警告出力部５０６は、警告信号を表示部２０４及び表示装置６に出力する（ステップＳ１０７）。一方、不満の判定が連続していない場合（ステップＳ１０７；Ｎｏ）、警告出力部５０６は、ステップＳ１０７の処理をスキップする。
【００６１】
その後、発話状態判定装置５は、処理を続けるか否かを判断する（ステップＳ１０８）。処理を続ける場合（ステップＳ１０８；Ｙｅｓ）、発話状態判定装置５は、ステップＳ１０２以降の処理を繰り返す。処理を続けない場合（ステップＳ１０８；Ｎｏ）、発話状態判定装置５は、第１及び第２の話者の音声信号のモニタリングを終了して処理を終了する。
【００６２】
なお、平均あいづち頻度推定装置５が上記の処理を行っている間、第１の電話機２の表示部２０４及び表示装置６には、第２の話者の満足度等が表示される。通話開始時、第１の電話機２の表示部２０４及び表示装置６には、第２の話者が不満を感じていないことを示す表示がなされ、以降、判定部５０５における判定結果ｖ（ｍ）に応じた表示がなされる。そして、警告出力部５０６から警告信号が出力されると、第１の電話機２の表示部２０４及び表示装置６は、第２の話者の満足度に関する表示を警告信号に応じた表示に切り替える。
【００６３】
図５は、第１の実施形態における平均あいづち頻度推定処理の内容を示すフローチャートである。
【００６４】
本実施形態に係る発話状態判定装置５の平均あいづち頻度推定部５０４は、上記の平均あいづち頻度推定処理（ステップＳ１０１）として、図５に示すような処理を行う。
【００６５】
平均あいづち頻度推定部５０４は、まず、第１の話者の音声信号から音声区間を検出する処理（ステップＳ１０１ａ）、及び第２の話者の音声信号からあいづち区間を検出する処理（ステップＳ１０１ｂ）を行う。ステップＳ１０１ａの処理では、平均あいづち頻度推定部５０４は、式（１），（２）を用いて、第１の話者の音声信号における音声区間の検出結果ｕ１（Ｌ）を算出する。ステップＳ１０１ｂの処理では、平均あいづち頻度推定部５０４は、例えば、上記の形態素解析等によりあいづち区間を検出した後、式（３）を用いてあいづち区間の検出結果ｕ２（Ｌ）を算出する。
【００６６】
なお、図５のフローチャートでは、ステップＳ１０１ａの後にステップＳ１０１ｂを行っているが、これに限らず、ステップＳ１０１ｂが先でもよいし、ステップＳ１０１ａ及びＳ１０１ｂを並列に行ってもよい。
【００６７】
平均あいづち頻度推定部５０４は、次に、第１の話者の音声区間と第２の話者のあいづち区間とに基づいて、第２の話者のあいづち頻度ＩＡ（ｍ）を算出する（ステップＳ１０１ｃ）。ステップＳ１０１ｃの処理では、平均あいづち頻度推定部５０４は、式（４）を用いてｍ番目のフレームにおける第２の話者のあいづち頻度ＩＡ（ｍ）を算出する。
【００６８】
その後、平均あいづち頻度推定部５０４は、第２の話者の音声開始時刻から所定フレーム数Ｆ１分のあいづち頻度を算出したかチェックする（ステップＳ１０１ｄ）。所定フレーム数（例えばＦ１＝２）分のあいづち頻度を算出していない場合（ステップＳ１０１ｄ；Ｎｏ）、平均あいづち頻度推定部５０４は、ステップＳ１０１ａ〜Ｓ１０１ｃの処理を繰り返す。そして、所定フレーム数分のあいづち頻度を算出した場合（ステップＳ１０１ｄ；Ｙｅｓ）、平均あいづち頻度推定部５０４は、次に、所定フレーム数分のあいづち頻度から第２の話者のあいづち頻度の平均ＪＡを算出する（ステップＳ１０１ｅ）。ステップＳ１０１ｅの処理では、平均あいづち頻度推定部５０４は、式（５）を用いて１フレーム当たりのあいづち頻度の平均ＪＡを算出する。あいづち頻度の平均ＪＡを算出すると、平均あいづち頻度推定部５０４は、あいづち頻度の平均ＪＡを平均あいづち頻度として判定部５０５に出力し、平均あいづち頻度推定処理を終了する。
【００６９】
このように、第１の実施形態においては、第２の話者の音声開始時刻から一定フレーム数分（例えば６０sec分）の音声信号におけるあいづち頻度の平均ＪＡを平均あいづち頻度とし、この平均あいづち頻度に基づいて第２の話者が満足しているか否かを判定する。音声開始時刻から一定フレーム数分の期間、すなわち通話を開始した直後、第２の話者は平常状態と推定される。よって、音声開始時刻から一定フレーム数分の期間における第２の話者のあいづち頻度は、第２の話者の平常状態でのあいづち頻度とみなすことができる。したがって、第１の実施形態によれば、第２の話者に特有の平均あいづち頻度を考慮して第２の話者が満足しているか否かを判定することができ、あいづちの入れ方に基づいた話者の感情状態の判定精度を向上させることができる。
【００７０】
なお、本実施形態に係る発話状態判定装置５は、図１に示したようなＩＰ網４を利用した通話システム１００に限らず、他の電話網を利用した通話システムにも適用することができる。
【００７１】
また、図２に示した発話状態判定装置５における平均あいづち頻度推定部５０４は、第１及び第２の話者の音声信号をモニタリングして平均あいづち頻度を算出している。しかしながら、平均あいづち頻度推定部５０４は、これに限らず、例えば、音声区間検出部５０１の検出結果ｕ１（Ｌ）及びあいづち区間検出部５０２の検出結果ｕ２（Ｌ）を入力として平均あいづち頻度ＪＡを算出するようにしてもよい。また、平均あいづち頻度推定部５０４は、例えば、あいづち頻度算出部５０３の算出結果ＩＡ（ｍ）を第２の話者の音声開始時刻から一定フレーム数分だけ取得して平均あいづち頻度ＪＡを算出するようにしてもよい。
【００７２】
[第２の実施形態]
図６は、第２の実施形態に係る通話システムの構成を示す図である。
【００７３】
図６に示すように、本実施形態に係る通話システム１１０は、第１の電話機２と、第２の電話機３と、ＩＰ網４と、分岐器８と、応対評価装置９と、を備える。
【００７４】
第１の電話機２は、マイク２０１と、通話処理部２０２と、レシーバ２０３と、を備える。なお、第１の電話機２は、１台に限らず、複数台であってもよい。
【００７５】
第２の電話機３は、ＩＰ網４を介して第１の電話機２と接続することが可能な電話機である。第２の電話機３は、マイク３０１と、通話処理部３０２と、レシーバ３０３とを備える。
【００７６】
分岐器８は、第１の電話機２の通話処理部２０２から第２の電話機３に伝送される第１の話者の音声信号、及び第２の電話機３から第１の電話機２の通話処理部２０２に伝送される第２の話者の音声信号を分岐させ応対評価装置９に入力する。分岐器８は、第１の電話機２とＩＰ網４との間の伝送路に設けられている。
【００７７】
応対評価装置９は、発話状態判定装置５を用いて第２の話者（相手）の満足度を判定する装置である。応対評価装置９は、受信部９０１と、デコーダ９０２と、表示部９０３と、発話状態判定装置５と、を備える。
【００７８】
受信部９０１は、分岐器８で分岐させた第１及び第２の話者の音声信号を受信する。デコーダ９０２は、受信した第１及び第２の話者の音声信号をアナログ信号に復号する。発話状態判定装置５は、復号した第１及び第２の話者の音声信号に基づいて、第２の話者の発話状態、すなわち第２の話者が満足しているか否かを判定する。表示部９０３は、発話状態判定装置５の判定結果等を表示する。
【００７９】
この通話システム１１０では、第１の実施形態の通話システム１００と同様、ＳＩＰに従って第１の電話機２と第２の電話機３との呼接続を行うことで、両電話機２，３を用いた音声通話が可能になる。
【００８０】
図７は、第２の実施形態に係る発話状態判定装置の機能的構成を示す図である。
【００８１】
図７に示すように、本実施形態に係る発話状態判定装置５は、音声区間検出部５１１と、あいづち区間検出部５１２と、あいづち頻度算出部５１３と、平均あいづち頻度推定部５１４と、判定部５１５と、文章出力部５１６と、記憶部５１７と、を備える。
【００８２】
音声区間検出部５１１は、第１の話者の音声信号における音声区間を検出する。音声区間検出部５１１は、第１の実施形態に係る発話状態判定装置５の音声区間検出部５０１と同様、第１の話者の音声信号のうち当該音声信号から導出したパワーが所定の閾値ＴＨ以上の区間を音声区間として検出する。
【００８３】
あいづち区間検出部５１２は、第２の話者の音声信号におけるあいづち区間を検出する。あいづち区間検出部５１２は、第１の実施形態に係る発話状態判定装置５のあいづち区間検出部５０２と同様、第２の話者の音声信号に対し形態素解析を行い、あいづち辞書に登録したあいづちデータのいずれかと一致する区間をあいづち区間として検出する。
【００８４】
あいづち頻度算出部５１３は、第２の話者のあいづちの頻度として、第１の話者の発話時間当たりの第２の話者のあいづち回数を算出する。あいづち頻度算出部５１３は、所定の単位時間を１フレームとし、１フレーム内の第１の話者の音声区間から算出される発話時間と、第２の話者のあいづち区間から算出されるあいづち回数とに基づいて、あいづち頻度を算出する。なお、本実施形態の発話状態判定装置５におけるあいづち頻度算出部５１３は、ｍ番目のフレームにおける音声区間の検出結果及びあいづち区間の検出結果を用いて、下記式（８）で与えられるあいづち頻度ＩＢ（ｍ）を算出する。
【００８５】
【数８】
0006565500.tif 000009
【００８６】
式（８）におけるstartｊ及びendｊは、式（４）と同様、音声区間の検出結果ｕ１（Ｌ）が１である区間の開始時刻及び終了時刻である。すなわち、開始時刻startｊは、サンプル毎の検出結果ｕ１（ｎ）が０から１に立ち上がった時刻であり、終了時刻endｊは、startｊ以降で最初にサンプル毎の検出結果ｕ１（ｎ）が１から０に立ち下がった時刻である。また、式（８）におけるcntB（ｍ）は、ｍ番目のフレームにおける第１の話者の音声区間の開始時刻startｊから終了時刻endｊまでの間で検出された第２の話者のあいづち区間の区間数から算出されるあいづちの回数である。
【００８７】
平均あいづち頻度推定部５１４は、第２の話者の平均あいづち頻度を推定する。なお、本実施形態における平均あいづち頻度推定部５１４は、第２の話者の平均あいづち頻度の推定値として、下記式（９）の更新式で与えられる平均あいづち頻度ＪＢ（ｍ）を算出する。
【００８８】
【数９】
0006565500.tif 000010
【００８９】
式（９）におけるεは、更新係数であり、０＜ε＜１の任意の値（例えばε＝０．９）とする。また、ＪＢ（０）＝０．１とする。
【００９０】
判定部５１５は、あいづち頻度算出部５１３で算出したあいづち頻度ＩＢ（ｍ）と、平均あいづち頻度推定部５１４で算出（推定）した平均あいづち頻度ＪＢ（ｍ）とに基づいて、第２の話者の満足度、言い換えると第２の話者が満足しているか否かを判定する。判定部５１５は、下記式（１０）で与えられる判定式に基づいて、判定結果ｖ（ｍ）を出力する。
【００９１】
【数１０】
0006565500.tif 000011
【００９２】
文章出力部５１６は、判定部５１５における満足度の判定結果ｖ（ｍ）と対応する文章を記憶部５１７から読み出し、表示部９０３に表示させる。
【００９３】
図８は、記憶部に記憶させる文章の例を示す図である。
本実施形態における満足度の判定結果ｖ（ｍ）は、式（１０）に示したように、０及び１の２値のいずれかの値になる。そのため、記憶部５１７には、図８に示すように、ｖ（ｍ）＝０の場合に表示させる文章、及びｖ（ｍ）＝１の場合に表示させる文章の２通りの文章ｗ（ｍ）を記憶させる。また、式（１０）の判定式では、第２の話者が満足している場合に判定結果がｖ（ｍ）＝１となる。そのため、図８に示したように、ｖ（ｍ）＝０の場合には第２の話者が不満を感じていることを通知する文章が表示され、ｖ（ｍ）＝１の場合には第２の話者が満足していることを通知する文章が表示されるようにする。
【００９４】
図９は、第２の実施形態に係る発話状態判定装置が行う処理の内容を示すフローチャートである。
【００９５】
本実施形態に係る発話状態判定装置５は、第１の電話機２と第２の電話機３との呼接続が完了して音声通話が可能な状態になると、図９に示したような処理を行う。
【００９６】
発話状態判定装置５は、まず、第１及び第２の話者の音声信号の取得を開始する（ステップＳ２００）。ステップＳ２００は、発話状態判定装置５に設けた取得部（図示せず）が行う。取得部は、分岐器８から発話状態判定装置５に入力される第１の話者の音声信号、及び第２の話者の音声信号を取得する。取得部は、第１の話者の音声信号を音声区間検出部５０１及び平均あいづち頻度推定部５０４に出力するとともに、第２の話者の音声信号をあいづち区間検出部５０２及び平均あいづち頻度推定部５０４に出力する。
【００９７】
発話状態判定装置５は、次に、平均あいづち頻度推定処理を行う（ステップＳ２０１）。ステップＳ２０１は、平均あいづち頻度推定部５１４が行う。平均あいづち頻度推定部５１４は、例えば、まず、式（１）〜（３）及び（８）を用いて第２の話者のあいづち頻度ＩＢ（ｍ）を算出する。その後、平均あいづち頻度推定部５１４は、式（９）を用いてあいづち頻度の平均ＪＢ（ｍ）を算出し、算出したあいづち頻度の平均ＪＢ（ｍ）を平均あいづち頻度として判定部５０５に出力する。
【００９８】
平均あいづち頻度ＪＢ（ｍ）を算出すると、発話状態判定装置５は、次に、第１の話者の音声信号から音声区間を検出する処理（ステップＳ２０２）、及び第２の話者の音声信号からあいづち区間を検出する処理（ステップＳ２０３）を行う。ステップＳ２０２は、音声区間検出部５１１が行う。音声区間検出部５１１は、式（１），（２）を用いて、第１の話者の音声信号における音声区間の検出結果ｕ１（Ｌ）を算出する。音声区間検出部５１１は、音声区間の検出結果ｕ１（Ｌ）をあいづち頻度算出部５１３に出力する。一方、ステップＳ２０３は、あいづち区間検出部５１２が行う。あいづち区間検出部５１２は、例えば、上記の形態素解析等によりあいづち区間を検出した後、式（３）を用いてあいづち区間の検出結果ｕ２（Ｌ）を算出する。あいづち区間検出部５１２は、あいづち区間の検出結果ｕ２（Ｌ）をあいづち頻度算出部５１３に出力する。
【００９９】
ステップＳ２０２及びＳ２０３の処理を終えると、発話状態判定装置５は、次に、第１の話者の音声区間と第２の話者のあいづち区間とに基づいて、第２の話者のあいづち頻度を算出する（ステップＳ２０４）。ステップＳ２０４は、あいづち頻度算出部５１３が行う。あいづち頻度算出部５１３は、式（８）を用いてｍ番目のフレームにおける第２の話者のあいづち頻度ＩＢ（ｍ）を算出する。
【０１００】
なお、図９のフローチャートでは、ステップＳ２０１で平均あいづち頻度を算出してからステップＳ２０２〜Ｓ２０４であいづち頻度を算出しているが、これに限らず、ステップＳ２０２〜Ｓ２０４をステップＳ２０１の前に行ってもよい。また、ステップＳ２０１の処理とステップＳ２０２〜２０４の処理を並列に行ってもよい。さらに、ステップＳ２０２及びＳ２０３は、ステップＳ２０３の処理を先に行ってもよいし、ステップＳ２０２及びＳ２０３を並列に行ってもよい。
【０１０１】
ステップＳ２０１〜Ｓ２０４の処理を終えると、発話状態判定装置５は、次に、第２の話者の平均あいづち頻度ＪＢ（ｍ）とあいづち頻度ＩＢ（ｍ）とに基づいて、第２の話者の満足度を判定し、判定結果を表示部及び文章出力部に出力する（ステップＳ２０５）。ステップＳ２０５は、判定部５１５が行う。判定部５１５は、式（１０）を用いて判定結果ｖ（ｍ）を算出し、当該判定結果ｖ（ｍ）を表示部９０３及び文章出力部５１６に出力する。
【０１０２】
発話状態判定装置５は、次に、判定結果ｖ（ｍ）と対応した文章を抽出し、表示部９０３に表示させる（ステップＳ２０６）。ステップＳ２０６は、文章出力部５１６が行う。文章出力部５１６は、記憶部５１７に記憶させた文章テーブル（図８を参照）を参照して判定結果ｖ（ｍ）と対応した文章ｗ（ｍ）を抽出し、抽出した文章ｗ（ｍ）を表示部９０３に出力して表示させる。
【０１０３】
その後、発話状態判定装置５は、処理を続けるか否かを判断する（ステップＳ２０７）。処理を続ける場合（ステップＳ２０７；Ｙｅｓ）、発話状態判定装置５は、ステップＳ２０１以降の処理を繰り返す。処理を続けない場合（ステップＳ２０７；Ｎｏ）、発話状態判定装置５は、第１及び第２の話者の音声信号の取得を終了して処理を終了する。
【０１０４】
図１０は、第２の実施形態における平均あいづち頻度推定処理の内容を示すフローチャートである。
【０１０５】
本実施形態に係る発話状態判定装置５の平均あいづち頻度推定部５１４は、上記の平均あいづち頻度推定処理（ステップＳ２０１）として、図１０に示すような処理を行う。
【０１０６】
平均あいづち頻度推定部５１４は、まず、第１の話者の音声信号から音声区間を検出する処理（ステップＳ２０１ａ）、及び第２の話者の音声信号からあいづち区間を検出する処理（ステップＳ２０１ｂ）を行う。ステップＳ２０１ａの処理では、平均あいづち頻度推定部５１４は、式（１），（２）を用いて、第１の話者の音声信号における音声区間の検出結果ｕ１（Ｌ）を算出する。ステップＳ２０１ｂの処理では、平均あいづち頻度推定部５１４は、例えば、上記の形態素解析等によりあいづち区間を検出した後、式（３）を用いてあいづち区間の検出結果ｕ２（Ｌ）を算出する。
【０１０７】
なお、図１０のフローチャートでは、ステップＳ２０１ａの後にステップＳ２０１ｂを行っているが、これに限らず、ステップＳ２０１ｂが先でもよいし、ステップＳ２０１ａ及びＳ２０１ｂを並列に行ってもよい。
【０１０８】
ステップＳ２０１ａ，Ｓ２０１ｂの処理を終えると、平均あいづち頻度推定部５１４は、次に、第１の話者の音声区間と第２の話者のあいづち区間とに基づいて、第２の話者のあいづち頻度ＩＢ（ｍ）を算出する（ステップＳ２０１ｃ）。ステップＳ２０１ｃの処理では、平均あいづち頻度推定部５１４は、式（８）を用いてｍ番目のフレームにおける第２の話者のあいづち頻度ＩＢ（ｍ）を算出する。
【０１０９】
平均あいづち頻度推定部５１４は、次に、現フレームのあいづち頻度ＩＢ（ｍ）と、１フレーム前の第２の話者のあいづち頻度の平均ＪＢ（ｍ−１）とを用いて、現フレームにおける第２の話者のあいづち頻度の平均ＪＢ（ｍ）を算出する（ステップＳ２０１ｄ）。ステップＳ２０１ｄの処理では、平均あいづち頻度推定部５１４は、式（９）を用いて、現フレーム（ｍ番目のフレーム）における平均あいづち頻度ＪＢ（ｍ）を算出する。
【０１１０】
その後、平均あいづち頻度推定部５１４は、ステップＳ２０１ｄで算出したあいづち頻度の平均ＪＢ（ｍ）を第２の話者の平均あいづち頻度として判定部５０５に出力するとともに保持し（ステップＳ２０１ｅ）、平均あいづち頻度推定処理を終了する。
【０１１１】
このように、第２の実施形態においても、第２の話者の音声信号から算出した平均あいづち頻度ＪＢ（ｍ）と、あいづち頻度ＩＢ（ｍ）とに基づいて第２の話者の満足度を判定する。したがって、第１の実施形態と同様、第２の話者に特有の平均あいづち頻度を考慮して第２の話者が満足しているか否かを判定することができ、あいづちの入れ方に基づいた第２の話者の感情状態の判定精度を向上させることができる。
【０１１２】
なお、本実施形態に係る発話状態判定装置５は、図６に示したようなＩＰ網４を利用した通話システム１１０に限らず、他の電話網を利用した通話システムにも適用することができる。また、通話システム１１０は、分岐器８の変わりに分配器を用いてもよい。
【０１１３】
また、図７に示した発話状態判定装置５における平均あいづち頻度推定部５１４は、デコーダ８０２で復号した第１及び第２の話者の音声信号を取得して平均あいづち頻度ＪＢ（ｍ）を算出している。しかしながら、平均あいづち頻度推定部５１４は、これに限らず、例えば、音声区間検出部５１１の検出結果ｕ１（Ｌ）及びあいづち区間検出部５１２の検出結果ｕ２（Ｌ）を入力としてあいづち頻度の平均ＪＢ（ｍ）を算出するようにしてもよい。また、平均あいづち頻度推定部５１４は、例えば、あいづち頻度算出部５１３で算出したあいづち頻度ＩＢ（ｍ）を取得してあいづち頻度の平均ＪＢ（ｍ）を算出するようにしてもよい。
【０１１４】
更に、本実施形態の発話状態判定装置５では、式（１）〜（３）及び（８）を用いて算出したあいづち頻度ＩＢ（ｍ）と、あいづち頻度ＩＢ（ｍ）を用いて算出した平均あいづち頻度ＪＢ（ｍ）とに基づいて第２の話者の満足度を判定している。しかしながら、図６に示した応対評価装置９の発話状態判定装置５の構成は、例えば、第１の実施形態で説明した発話状態判定装置５の構成（図２を参照）と同じでもよい。
【０１１５】
［第３の実施形態］
図１１は、第３の実施形態に係る通話システムの構成を示す図である。
【０１１６】
図１１に示すように、本実施形態に係る通話システム１２０は、第１の電話機２と、第２の電話機３と、ＩＰ網４と、分岐器８と、サーバ１０と、再生装置１１と、を備える。
【０１１７】
第１の電話機２は、マイク２０１と、通話処理部２０２と、レシーバ２０３と、を備える。
【０１１８】
第２の電話機３は、ＩＰ網４を介して第１の電話機２と接続することが可能な電話機である。第２の電話機３は、マイク３０１と、通話処理部３０２と、レシーバ３０３とを備える。
【０１１９】
分岐器８は、第１の電話機２の通話処理部２０２から第２の電話機３に伝送される第１の話者の音声信号、及び第２の電話機３から第１の電話機２の通話処理部２０２に伝送される第２の話者の音声信号を分岐させサーバ１０に入力する。分岐器８は、第１の電話機２とＩＰ網４との間の伝送路に設けられている。
【０１２０】
サーバ１０は、分岐器８を介して入力された第１及び第２の話者の音声信号を音声ファイルにして保持し、必要に応じて第２の話者（相手）の満足度を判定する装置である。サーバ１０は、音声処理部１００１と、記憶部１００２と、発話状態判定装置５と、を備える。音声処理部１００１は、第１及び第２の話者の音声信号から音声ファイルを生成する処理を行う。記憶部１００２は、生成した第１及び第２の話者の音声ファイルを記憶する。発話状態判定装置５は、第１及び第２の話者の音声ファイルを読み出して第２の話者の満足度を判定する。
【０１２１】
再生装置１１は、サーバ１０の記憶部１００２で保持している第１及び第２の話者の音声ファイルを読み出して再生するとともに、発話状態判定装置５の判定結果を表示する装置である。
【０１２２】
図１２は、第３の実施形態に係るサーバの機能的構成を示す図である。
本実施形態に係るサーバ１０の音声処理部１００１は、図１２に示すように、受信部１００１ａと、デコーダ１００１ｂと、音声ファイル化処理部１００１ｃとを備える。
【０１２３】
受信部１００１ａは、分岐器８で分岐させた第１及び第２の話者の音声信号を受信する。デコーダ１００１ｂは、受信した第１及び第２の話者の音声信号をアナログ信号に復号する。音声ファイル化処理部１００１ｃは、デコーダ１００１ｂで復号した第１及び第２の話者の音声信号の電子ファイル（音声ファイル）を生成し、これらを対応付けて記憶部１００２に記憶させる。
【０１２４】
記憶部１００２は、音声通話毎に対応付けされた第１及び第２の話者の音声ファイルを記憶する。記憶部１００２に記憶させた音声ファイルは、再生装置１１からの読み出し要求に応じて再生装置に転送される。以下、第１及び第２の話者の音声ファイルは、それぞれ、音声信号ともいう。
【０１２５】
発話状態判定装置５は、記憶部１００２に記憶させた第１及び第２の話者の音声ファイルを読み出し、第２の話者の発話状態、すなわち第２の話者が満足しているか否かを判定して再生装置１１に出力する。本実施形態に係る発話状態判定装置５は、図１２に示したように、音声区間検出部５２１と、あいづち区間検出部５２２と、あいづち頻度算出部５２３と、平均あいづち頻度推定部５２４と、判定部５２５と、を備える。また、発話状態判定装置５は、全体満足度算出部５２６と、文章出力部５２７と、記憶部５２８と、を更に備える。
【０１２６】
音声区間検出部５２１は、第１の話者の音声信号における音声区間を検出する。音声区間検出部５２１は、第１の実施形態に係る発話状態判定装置５の音声区間検出部５０１と同様、第１の話者の音声信号のうち当該音声信号から導出したパワーが所定の閾値ＴＨ以上の区間を音声区間として検出する。
【０１２７】
あいづち区間検出部５２２は、第２の話者の音声信号におけるあいづち区間を検出する。あいづち区間検出部５２２は、第１の実施形態に係る発話状態判定装置５のあいづち区間検出部５０２と同様、第２の話者の音声信号に対し形態素解析を行い、あいづち辞書に登録したあいづちデータのいずれかと一致する区間をあいづち区間として検出する。
【０１２８】
あいづち頻度算出部５２３は、第２の話者のあいづち頻度として、第１の話者の発話時間当たりの第２の話者のあいづち回数を算出する。あいづち頻度算出部５２３は、所定の単位時間を１フレームとし、１フレーム内の第１の話者の音声区間から算出される発話時間と、第２の話者のあいづち区間から算出されるあいづち回数とに基づいて、あいづち頻度を算出する。なお、本実施形態の発話状態判定装置５におけるあいづち頻度算出部５２３は、ｍ番目のフレームにおける音声区間の検出結果及びあいづち区間の検出結果を用いて、下記式（１１）で与えられるあいづち頻度ＩＣ（ｍ）を算出する。
【０１２９】
【数１１】
0006565500.tif 000012
【０１３０】
式（１１）におけるstartｊ及びendｊは、式（４）と同様、音声区間の検出結果ｕ１（Ｌ）が１である区間の開始時刻及び終了時刻である。すなわち、開始時刻startｊは、サンプル毎の検出結果ｕ１（ｎ）が０から１に立ち上がった時刻であり、終了時刻endｊは、startｊ以降で最初にサンプル毎の検出結果ｕ１（ｎ）が１から０に立ち下がった時刻である。また、cntC（ｍ）は、ｍ番目のフレームにおける第１の話者の音声区間の開始時刻startｊから終了時刻endｊまでの間、及び終了時刻endｊの直後の一定時間ｔ以内の期間における第２の話者のあいづちの回数である。あいづちの回数cntC（ｍ）は、上記の期間におけるあいづち区間の検出結果ｕ２（ｎ）が０から１に立ち上がった回数から算出する。
【０１３１】
平均あいづち頻度推定部５２４は、第２の話者の平均あいづち頻度を推定する。本実施形態の平均あいづち頻度推定部５２４は、第２の話者の平均あいづち頻度の推定値として、下記式（１２）で与えられるあいづち頻度の平均ＪＣを算出する。
【０１３２】
【数１２】
0006565500.tif 000013
【０１３３】
式（１２）におけるＭは、第２の話者の音声信号における最後（終了時刻）のフレームの番号である。すなわち、平均あいづち頻度（あいづち頻度の平均）ＪＣは、第２の話者の音声開始時刻から終了時刻までのあいづち頻度のフレーム単位での平均である。
【０１３４】
判定部５２５は、あいづち頻度算出部５２３で算出したあいづち頻度ＩＣ（ｍ）と、平均あいづち頻度推定部５２４で算出（推定）した平均あいづち頻度ＪＣとに基づいて、第２の話者の満足度、言い換えると第２の話者が満足しているか否かを判定する。判定部５２５は、下記式（１３）で与えられる判定式に基づいて、判定結果ｖ（ｍ）を出力する。
【０１３５】
【数１３】
0006565500.tif 000014
【０１３６】
式（１３）におけるβ１及びβ２は、それぞれ補正係数であり、例えばβ１＝０．２、β２＝１．５とする。
【０１３７】
全体満足度算出部５２６は、第１及び第２の話者の通話全体を通しての第２の話者の満足度Ｖを算出する。全体満足度算出部５２６は、下記式（１４）を用いて全体の満足度Ｖを算出する。
【０１３８】
【数１４】
0006565500.tif 000015
【０１３９】
式（１４）において、ｃ０，ｃ１，及びｃ２は、それぞれ、ｖ（ｍ）＝０のフレームの数、ｖ（ｍ）＝１のフレームの数、及びｖ（ｍ）＝２のフレームの数である。
【０１４０】
文章出力部５２７は、全体満足度算出部５２６で算出した全体の満足度Ｖと対応する文章を記憶部５２８から読み出して再生装置１１に出力する。
【０１４１】
図１３は、発話状態判定装置における音声信号の処理単位を説明する図である。
本実施形態に係る発話状態判定装置５において音声区間の検出及びあいづち区間の検出を行う際には、例えば、図１３に示すように、音声信号のサンプルｎ毎の処理、時間ｔ１毎の区間処理、及び時間ｔ２毎のフレーム処理を行う。なお、本実施形態における時間ｔ２毎のフレーム処理は、各フレームの開始時刻をｔ３（例えば１０sec）ずつずらしたオーバーラップ処理を行う。図３において、ｓ１（ｎ）は、第１の話者の音声信号におけるｎ番目のサンプルの振幅である。また、図３において、Ｌ−１，Ｌは区間番号であり、１区間に相当する時間ｔ１は例えば２０msecである。また、図３において、ｍ−１，ｍはフレーム番号であり、１フレームに相当する時間ｔ２は例えば３０secである。
【０１４２】
図１４は、記憶部に記憶させる文章の例を示す図である。
本実施形態の発話状態判定装置５における文章出力部５２７は、上記のように、全体の満足度Ｖと対応した文章を記憶部５２８から読み出して再生装置１１に出力する。全体の満足度Ｖは、式（１４）を用いて算出される値であり、０から１００までの値のいずれかになる。また、式（１４）を用いて算出される全体の満足度Ｖは、ｃ２の値、すなわちｖ（ｍ）＝２となるフレームの数が多いほど大きな値となるので、第２の話者の満足度が高いほど、全体の満足度Ｖは１００に近い大きな値となる。そのため、記憶部５２８に記憶させる文章は、全体の満足度Ｖが小さい場合には第２の話者が不満を感じていることを示す文章が読み出され、全体の満足度Ｖが高い場合には第２の話者が満足していることを示す文章が読み出されるようにする。よって、記憶部５２８には、例えば、図１４に示したような全体の満足度Ｖの高さに応じた５通りの文章ｗ（ｍ）を記憶させる。
【０１４３】
図１５は、第３の実施形態に係る再生装置の機能的構成を示す図である。
本実施形態に係る再生装置１１は、図１５に示すように、操作部１１０１と、データ取得部１１０２と、音声再生部１１０３と、スピーカ１１０４と、表示部１１０５と、を備える。
【０１４４】
操作部１１０１は、例えば、再生装置１１のオペレータが操作するキーボード装置やマウス装置等の入力装置であり、再生する通話記録を選択する操作等に用いる。
【０１４５】
データ取得部１１０２は、操作部１１０１の操作により選択された通話記録と対応する第１及び第２の話者の音声ファイルの取得、及び当該音声ファイルについての発話状態判定装置５による満足度の判定結果や全体満足度に応じた文章等の取得を行う。データ取得部１１０２は、サーバ１０の記憶部１００２から第１及び第２の話者の音声ファイルを取得する。また、データ取得部１１０２は、発話状態判定装置５の判定部５２５、全体満足度算出部５２６、及び文章出力部５２７から出力された判定結果等を取得する。
【０１４６】
音声再生部１１０３は、データ取得部１１０２で取得した第１及び第２の話者の音声ファイル（電子ファイル）をスピーカ１１０４から出力可能なアナログ信号に変換する処理を行う。
【０１４７】
表示部１１０５は、データ取得部１１０２で取得した満足度の判定結果や全体満足度Ｖと対応した文章を表示する。
【０１４８】
図１６は、第３の実施形態に係る発話状態判定装置が行う処理の内容を示すフローチャートである。
【０１４９】
本実施形態に係る発話状態判定装置５は、例えば、再生装置１１のデータ取得部１１０２からの音声ファイルの転送要求をサーバ１０で受信したことを契機に、図１６に示したような処理を行う。
【０１５０】
発話状態判定装置５は、まず、サーバ１０の記憶部１００２から第１及び第２の話者の音声ファイルを読み出す（ステップＳ３００）。ステップＳ３００は、発話状態判定装置５に設けた取得部（図示せず）が行う。取得部は、再生装置１１から要求された通話記録と対応する第１及び第２の話者の音声ファイルを取得する。取得部は、第１の話者の音声ファイルを音声区間検出部５２１及び平均あいづち頻度推定部５２４に出力するとともに、第２の話者の音声ファイルをあいづち区間検出部５２２及び平均あいづち頻度推定部５２４に出力する。
【０１５１】
発話状態判定装置５は、次に、平均あいづち頻度推定処理を行う（ステップＳ３０１）。ステップＳ３０１は、平均あいづち頻度推定部５２４が行う。平均あいづち頻度推定部５２４は、例えば、まず、式（１）〜（３）及び（１１）を用いて第２の話者のあいづち頻度ＩＣ（ｍ）を算出する。その後、平均あいづち頻度推定部５２４は、式（１２）を用いてあいづち頻度の平均ＪＣを算出し、算出したあいづち頻度の平均ＪＣを平均あいづち頻度として判定部５２５に出力する。
【０１５２】
平均あいづち頻度ＪＣを算出すると、発話状態判定装置５は、次に、第１の話者の音声信号から音声区間を検出する処理（ステップＳ３０２）、及び第２の話者の音声信号からあいづち区間を検出する処理（ステップＳ３０３）を行う。ステップＳ３０２は、音声区間検出部５２１が行う。音声区間検出部５２１は、式（１），（２）を用いて、第１の話者の音声信号における音声区間の検出結果ｕ１（Ｌ）を算出する。音声区間検出部５２１は、音声区間の検出結果ｕ１（Ｌ）をあいづち頻度算出部５２３に出力する。一方ステップＳ３０３は、あいづち区間検出部５２２が行う。あいづち区間検出部５２２は、例えば、上記の形態素解析等によりあいづち区間を検出した後、式（３）を用いてあいづち区間の検出結果ｕ２（Ｌ）を算出する。あいづち区間検出部５２２は、あいづち区間の検出結果ｕ２（Ｌ）をあいづち頻度算出部５２３に出力する。
【０１５３】
なお、図１６のフローチャートでは、ステップＳ３０２の後にステップＳ３０３を行っているが、これに限らず、ステップＳ３０３を先に行ってもよいし、ステップＳ３０２及びＳ３０３を並列に行ってもよい。
【０１５４】
ステップＳ３０２及びＳ３０３の処理を終えると、発話状態判定装置５は、次に、第１の話者の音声区間と第２の話者のあいづち区間とに基づいて、第２の話者のあいづち頻度を算出する（ステップＳ３０４）。ステップＳ３０４は、あいづち頻度算出部５２３が行う。あいづち頻度算出部５２３は、式（１１）を用いてｍ番目のフレームにおける第２の話者のあいづち頻度ＩＣ（ｍ）を算出する。
【０１５５】
発話状態判定装置５は、次に、第２の話者の平均あいづち頻度ＪＣとあいづち頻度ＩＣ（ｍ）とに基づいて、フレームｍにおける第２の話者の満足度を判定し、判定結果を再生装置１１に出力する（ステップＳ３０５）。ステップＳ３０５は、判定部５２５が行う。判定部５２５は、式（１３）を用いて判定結果ｖ（ｍ）を算出し、当該判定結果ｖ（ｍ）を再生装置１１及び全体満足度算出部５２６に出力する。
【０１５６】
発話状態判定装置５は、次に、各フレームにおける満足度の判定結果ｖ（ｍ）の値を用い、全体の満足度Ｖを算出し、当該満足度Ｖを再生装置１１及び文章出力部３２７に出力する（ステップＳ３０６）。ステップＳ３０６は、全体満足度算出部５２６が行う。全体満足度算出部５２６は、式（１４）を用いて第２の話者の全体の満足度Ｖを算出する。
【０１５７】
発話状態判定装置５は、次に、全体の満足度Ｖと対応する文章ｗ（ｍ）を記憶部３２８から読み出して再生装置１１に出力する（ステップＳ３０７）。ステップＳ３０７は、文章出力部５２７が行う。文章出力部５２７は、例えば、記憶部５２８に記憶させた文章テーブル（図１３を参照）を参照して全体の満足度Ｖと対応した文章ｗ（ｍ）を抽出し、抽出した文章ｗ（ｍ）を再生装置１１に出力する。
【０１５８】
その後、発話状態判定装置５は、処理を続けるか否かを判断する（ステップＳ３０８）。処理を続ける場合（ステップＳ３０８；Ｙｅｓ）、発話状態判定装置５は、ステップＳ３０２以降の処理を繰り返す。処理を続けない場合（ステップＳ３０８；Ｎｏ）、発話状態判定装置５は、処理を終了する。
【０１５９】
図１７は、第３の実施形態における平均あいづち頻度推定処理の内容を示すフローチャートである。
【０１６０】
本実施形態に係る発話状態判定装置５の平均あいづち頻度推定部５２４は、上記の平均あいづち頻度推定処理（ステップＳ３０１）として、図１７に示すような処理を行う。
【０１６１】
平均あいづち頻度推定部５２４は、まず、第１の話者の音声信号から音声区間を検出する処理（ステップＳ３０１ａ）、及び第２の話者の音声信号からあいづち区間を検出する処理（ステップＳ３０１ｂ）を行う。ステップＳ３０１ａの処理では、平均あいづち頻度推定部５２４は、式（１），（２）を用いて、第１の話者の音声信号における音声区間の検出結果ｕ１（Ｌ）を算出する。ステップＳ３０１ｂの処理では、平均あいづち頻度推定部５２４は、例えば、上記の形態素解析等によりあいづち区間を検出した後、式（３）を用いてあいづち区間の検出結果ｕ２（Ｌ）を算出する。
【０１６２】
なお、図１７のフローチャートでは、ステップＳ３０１ａの後にステップＳ３０１ｂを行っているが、これに限らず、ステップＳ３０１ｂが先でもよいし、ステップＳ３０１ａ及びＳ３０１ｂを並列に行ってもよい。
【０１６３】
平均あいづち頻度推定部５２４は、次に、第１の話者の音声区間と第２の話者のあいづち区間とに基づいて、第２の話者のあいづち頻度ＩＣ（ｍ）を算出する（ステップＳ３０１ｃ）。ステップＳ３０１ｃの処理では、平均あいづち頻度推定部５２４は、式（１１）を用いてｍ番目のフレームにおける第２の話者のあいづち頻度ＩＣ（ｍ）を算出する。
【０１６４】
その後、平均あいづち頻度推定部５２４は、第２の話者の音声開始時刻から終了時刻までのあいづち頻度を算出したかチェックする（ステップＳ３０１ｄ）。終了時刻までのあいづち頻度を算出していない場合（ステップＳ３０１ｄ；Ｎｏ）、平均あいづち頻度推定部５２４は、ステップＳ３０１ａ〜Ｓ３０１ｃの処理を繰り返す。そして、終了時刻までのあいづち頻度を算出した場合（ステップＳ３０１ｄ；Ｙｅｓ）、平均あいづち頻度推定部５２４は、次に、終了時刻までのあいづち頻度から第２の話者のあいづち頻度の平均ＪＣを算出する（ステップＳ３０１ｅ）。ステップＳ３０１ｅの処理では、平均あいづち頻度推定部５２４は、式（１２）を用いてあいづち頻度の平均ＪＣを算出する。あいづち頻度の平均ＪＣを算出すると、平均あいづち頻度推定部５２４は、算出したあいづち頻度の平均ＪＣを平均あいづち頻度として判定部５２５に出力し、平均あいづち頻度推定処理を終了する。
【０１６５】
このように、第３の実施形態においても、第２の話者の音声信号から算出した平均あいづち頻度ＪＣと、あいづち頻度ＩＣ（ｍ）とに基づいて第２の話者の満足度を判定する。したがって、第１の実施形態と同様、第２の話者に特有の平均あいづち頻度を考慮して第２の話者が満足しているか否かを判定することができ、あいづちの入れ方に基づいた第２の話者の感情状態の判定精度を向上させることができる。
【０１６６】
また、第３の実施形態では、第１及び第２の電話機２，３を用いた第１及び第２の話者の通話を音声ファイル（電子ファイル）としてサーバ１０の記憶部１００２に記憶させるため、通話終了後に音声ファイルを再生し視聴することができる。また、第３の実施形態では、音声ファイルの再生中に第２の話者の全体の満足度Ｖを算出し、全体の満足度Ｖに応じた文章を再生装置１１に出力する。そのため、通話終了後に音声ファイルを視聴しながら、各フレーム（区間）における第２の話者の満足度に加え、通話全体の満足度及び全体の満足度に応じた文章を再生装置１１の表示部１１０５で確認することができる。
【０１６７】
なお、本実施形態で例示した通話システムにおけるサーバ１０は、第１の電話機２が設置された施設内に限らず、任意の場所に設置し、第１の電話機２や再生装置１１とインターネット等の通信ネットワークを通じて接続されていてもよい。
【０１６８】
［第４の実施形態］
図１８は、第４の実施形態に係る録音装置の構成を示す図である。
【０１６９】
図１８に示すように、本実施形態に係る録音装置１２は、第１のＡＤ変換部１２０１と、第２のＡＤ変換部１２０２と、音声ファイル化処理部１２０３と、操作部１２０４と、表示部１２０５と、記憶装置１２０６と、発話状態判定装置５と、を備える。
【０１７０】
第１のＡＤ変換部１２０１は、第１のマイク１３Ａで収音した音声信号をアナログ信号からデジタル信号に変換する。第２のＡＤ変換部１２０２は、第２のマイク１３Ｂで収音した音声信号をアナログ信号からデジタル信号に変換する。以下、第１のマイク１３Ａで収音した音声信号を第１の話者の音声信号とし、第２のマイク１３Ｂで収音した音声信号を第２の話者の音声信号とする。
【０１７１】
音声ファイル化処理部１２０３は、第１のＡＤ変換部１２０１で変換した第１の話者の音声信号及び第２のＡＤ変換部１２０２で変換した第２の話者の音声信号の電子ファイル（音声ファイル）を生成し、これらを対応付けて記憶装置１２０６に記憶させる。
【０１７２】
発話状態判定装置５は、第１のＡＤ変換部１２０１で変換した第１の話者の音声信号及び第２のＡＤ変換部１２０２で変換した第２の話者の音声信号を用いて、例えば、第２の話者の発話状態（満足度）を判定する。また、発話状態判定装置５は、判定結果を音声ファイル化処理部で生成した音声ファイルと対応付けて記憶装置１２０６に記憶させる。
【０１７３】
操作部１２０４は、録音装置１２の操作に用いる釦スイッチ等である。例えば、録音装置１２のオペレータが操作部１２０４を操作して録音を開始すると、操作部１２０４から音声ファイル化処理部１２０３及び発話状態判定装置５のそれぞれに所定の処理の開始命令が入力される。
【０１７４】
表示部１２０５は、発話状態判定装置５の判定結果（第２の話者の満足度等）を表示する。
【０１７５】
記憶装置１２０６は、第１及び第２の話者の音声ファイル、第２の話者の満足度等を記憶する装置である。なお、記憶装置１２０６は、メモリカード等の可搬型記憶媒体と、可搬型記憶媒体との間でデータの書き込み及び読み出しが可能な記憶媒体駆動装置とで構成してもよい。
【０１７６】
図１９は、第４の実施形態に係る発話状態判定装置の機能的構成を示す図である。
【０１７７】
本実施形態に係る発話状態判定装置５は、音声区間検出部５３１と、あいづち区間検出部５３２と、特徴量算出部５３３と、あいづち頻度検出部５３４と、第１の記憶部５３５と、平均あいづち頻度推定部５３６と、第２の記憶部５３７と、を備える。また、発話状態判定装置５は、判定部５３８と、応対点数出力部５３９と、を更に備える。
【０１７８】
音声区間検出部５３１は、第１の話者の音声信号（第１のマイク１３Ａで収音した話者の音声信号）における音声区間を検出する。音声区間検出部５３１は、第１の実施形態に係る発話状態判定装置５の音声区間検出部５０１と同様、第１の話者の音声信号のうち当該音声信号から導出したパワーが所定の閾値ＴＨ以上の区間を音声区間として検出する。
【０１７９】
あいづち区間検出部５３２は、第２の話者の音声信号（第２のマイク１３Ｂで収音した話者の音声信号）におけるあいづち区間を検出する。あいづち区間検出部５３２は、第１の実施形態に係る発話状態判定装置５のあいづち区間検出部５０２と同様、第２の話者の音声信号に対し形態素解析を行い、あいづち辞書に登録したあいづちデータのいずれかと一致する区間をあいづち区間として検出する。
【０１８０】
特徴量算出部５３３は、第２の話者の音声信号及びあいづち区間検出部５３２で検出したあいづち区間に基づいて、母音種別ｈ（Ｌ）及びピッチ変化量ｄｆ（Ｌ）を算出する。母音種別ｈ（Ｌ）は、例えば、非特許文献１に記載された方法等により算出する。また、ピッチ変化量ｄｆ（Ｌ）は、例えば、下記式（１５）により算出する。
【０１８１】
【数１５】
0006565500.tif 000016
【０１８２】
式（１５）におけるｆ（Ｌ）は、区間Ｌにおけるピッチであり、区間についての自己相関やケプストラム分析によるピッチ検出等、既知の方法で算出することができる。
【０１８３】
あいづち頻度算出部５３４は、母音種別ｈ（Ｌ）及びピッチ変化量ｄｆ（Ｌ）に基づいてあいづちを肯定及び否定の２状態に分類し、下記式（１６）で与えられるあいづちの頻度ＩＤ（ｍ）を算出する。
【０１８４】
【数１６】
0006565500.tif 000017
【０１８５】
式（１６）におけるstartｊ及びendｊは、それぞれ、第１の実施形態で説明した第１の話者の音声区間の開始時刻及び終了時刻である。また、式（１６）におけるcnt0（ｍ）及びcnt1（ｍ）は、それぞれ、肯定状態のあいづち区間のみを用いて算出したあいづち回数及び否定状態のあいづち区間を用いて算出したあいづち回数である。また、式（１６）におけるμ０及びμ１は重み付け係数であり、例えばμ０＝０．８、μ１＝１．２とする。なお、あいづちの肯定及び否定の分類は、第1の記憶部５３５に記憶させたあいづち意図判別情報を参照して行う。
【０１８６】
平均あいづち頻度推定部５３６は、第２の話者の平均あいづち頻度を推定する。本実施形態の平均あいづち頻度推定部５３６は、第２の話者の平均あいづち頻度の推定値として、第２の話者の音声開始時刻から一定フレーム数が経過するまでの期間における発話速度ｒと対応した値ＪＤを算出する。発話速度ｒは、既知の方法（例えば、特許文献４に記載された方法）を用いて算出する。平均あいづち頻度推定部５３６は、発話速度ｒを算出した後、第２の記憶部５３７に記憶させた発話速度ｒと平均あいづち頻度ＪＤとの対応表を参照して第２の話者の平均あいづち頻度ＪＤを算出する。また、平均あいづち頻度推定部５３６は、第２の話者の話者情報info２（ｎ）が変更されると、都度平均あいづち頻度ＪＤを算出する。第２の話者の話者情報info２（ｎ）は、例えば操作部１２０４から入力される。
【０１８７】
判定部５３８は、あいづち頻度算出部５３４で算出したあいづち頻度ＩＤ（ｍ）と、平均あいづち頻度推定部５３６で算出（推定）した平均あいづち頻度ＪＤとに基づいて、第２の話者の満足度、言い換えると第２の話者が満足しているか否かを判定する。判定部５３８は、下記式（１７）で与えられる判定式に基づいて、判定結果ｖ（ｍ）を出力する。
【０１８８】
【数１７】
0006565500.tif 000018
【０１８９】
式（１７）におけるβ１及びβ２は、それぞれ補正係数であり、例えばβ１＝０．２、β２＝１．５とする。
【０１９０】
応対点数出力部５３９は、下記式（１８）を用いて、各フレームにおける応対の点数ｖ'（ｍ）を算出する。
【０１９１】
【数１８】
0006565500.tif 000019
【０１９２】
また、応対点数出力部５３９は、算出した応対の点数ｖ'（ｍ）を表示部１２０５に出力するとともに、音声ファイル化処理部１２０３で作成した音声ファイルと対応付けて記憶装置１２０６に記憶させる。
【０１９３】
図２０は、あいづち意図判別情報の例を示す図である。
あいづち頻度算出部５３４が参照するあいづち意図判別情報は、例えば、図２０に示すように、母音種別とピッチ変化量との組み合わせによりあいづちが肯定的であるか否定的であるかを分類した情報である。例えば、ある区間Ｌにおける母音種別ｈ（Ｌ）が「/a/」の場合、ピッチ変化量ｄｆ（Ｌ）が０以上であれば肯定的なあいづちであり、ピッチ変化量ｄｆ（Ｌ）が０未満であれば否定的なあいづちと判別する。
【０１９４】
図２１は、発話速度と平均あいづち頻度との対応表の例を示す図である。
第１〜第３の実施形態ではあいづちの頻度に基づいて平均あいづち頻度を算出しているのに対し、本実施形態では上記のように発話速度ｒに基づいて平均あいづち頻度ＪＤを算出する。
【０１９５】
発話速度が大きい話者（言い換えると早口の話者）は、発話速度が小さい話者に比べてあいづちを入れる間隔が短いので、あいづちの頻度が高くなる。そのため、例えば、図２１に示す対応表のように、発話速度ｒに比例して平均あいづち頻度ＪＤが大きくなるようにすることで、第１〜第３の実施形態と同様の傾向を有する平均あいづち頻度ＪＤを算出（推定）することができる。
【０１９６】
図２２は、第４の実施形態に係る発話状態判定装置が行う処理の内容を示すフローチャートである。
【０１９７】
本実施形態に係る発話状態判定装置５は、オペレータが録音装置１２の操作部１２０４を操作することにより録音装置１２が録音処理を開始すると、図２２に示したような処理を行う。
【０１９８】
発話状態判定装置５は、まず、第１及び第２の話者の音声信号のモニタリングを開始する（ステップＳ４００）。ステップＳ４００は、発話状態判定装置５に設けたモニタリング部（図示せず）が行う。モニタリング部は、第１のＡＤ変換部１２０１及び第２のＡＤ変換部１２０２のそれぞれから音声ファイル化処理部１２０３に伝送される第１の話者の音声信号及び第２の話者の音声信号をモニタリングする。モニタリング部は、第１の話者の音声信号を音声区間検出部５３１及び平均あいづち頻度推定部５３６に出力するとともに、第２の話者の音声信号をあいづち区間検出部５３２及び特徴量算出部５３３並びに平均あいづち頻度推定部５３６に出力する。
【０１９９】
発話状態判定装置５は、次に、平均あいづち頻度推定処理を行う（ステップＳ４０１）。ステップＳ４０１は、平均あいづち頻度推定部５３６が行う。平均あいづち頻度推定部５３６は、例えば、まず、第２の話者の音声開始時刻から２フレーム分（６０sec分）の音声信号に基づいて第２の話者の発話速度ｒを算出する。発話速度ｒは、既知の算出方法のいずれか（例えば特許文献４に記載された方法）により算出する。その後、平均あいづち頻度推定部５３６は、第２の記憶部５３７に記憶させた対応表を参照し、発話速度ｒと対応した平均あいづち頻度ＪＤを第２の話者の平均あいづち頻度として判定部５３８に出力する。
【０２００】
平均あいづち頻度ＪＤを算出すると、発話状態判定装置５は、次に、第１の話者の音声ファイルから音声区間を検出する処理（ステップＳ４０２）、及び第２の話者の音声ファイルからあいづち区間を検出する処理（ステップＳ４０３）を行う。ステップＳ４０２は、音声区間検出部５３１が行う。音声区間検出部５３１は、式（１），（２）を用いて第１の話者の音声信号における音声区間の検出結果ｕ１（Ｌ）を算出し、音声区間の検出結果ｕ１（Ｌ）をあいづち頻度算出部５３４に出力する。ステップＳ４０３は、あいづち区間検出部５３２が行う。あいづち区間検出部５３２は、例えば、上記の形態素解析等によりあいづち区間を検出した後、式（３）を用いてあいづち区間の検出結果ｕ２（Ｌ）を算出し、あいづち区間の検出結果ｕ２（Ｌ）をあいづち頻度算出部５３４に出力する。
【０２０１】
あいづち区間の検出を終えると、発話状態判定装置５は、次に、第２の話者の音声ファイルにおけるあいづち区間の特徴量を算出する（ステップＳ４０４）。ステップＳ４０４は、特徴量算出部５３３が行う。特徴量算出部５３３は、あいづち区間の特徴量として、母音種別ｈ（Ｌ）及びピッチ変化量ｄｆ（Ｌ）を算出する。母音種別ｈ（Ｌ）は、あいづち区間検出部５３２のあいづち区間の検出結果ｕ２（Ｌ）を用い、既知の算出方法のいずれか（例えば非特許文献１に記載された方法）で算出する。また、ピッチ変化量ｄｆ（Ｌ）は、式（１５）を用いて算出する。特徴量算出部５３３は、算出した特徴量、すなわち母音種別ｈ（Ｌ）及びピッチ変化量ｄｆ（Ｌ）をあいづち頻度算出部５３４に出力する。
【０２０２】
なお、図２２のフローチャートでは、ステップＳ４０２の後にステップＳ４０３及びＳ４０４を行っているが、これに限らず、ステップＳ４０３及びＳ４０４の処理を先に行ってもよい。また、ステップＳ４０２の処理とステップＳ４０３及びＳ４０４の処理とを並列に行ってもよい。
【０２０３】
ステップＳ４０２〜Ｓ４０４の処理を終えると、発話状態判定装置５は、次に、第１の話者の音声区間、並びに第２の話者のあいづち区間及び特徴量に基づいて、第２の話者のあいづち頻度を算出する（ステップＳ４０５）。ステップＳ４０５は、あいづち頻度算出部５３４が行う。ステップＳ４０５において、あいづち頻度算出部５３４は、まず、第１の記憶部５３５のあいづち意図判別情報と、ステップＳ４０４で算出した特徴量とに基づいて、肯定的なあいづちの回数cnt0（ｍ）及び否定的なあいづちの回数cnt1（ｍ）を導出する。その後、あいづち頻度算出部５３４は、式（１６）を用いてｍ番目のフレームにおける第２の話者のあいづち頻度ＩＤ（ｍ）を算出し、あいづち頻度ＩＤ（ｍ）を判定部５３８に出力する。
【０２０４】
発話状態判定装置５は、次に、第２の話者の平均あいづち頻度ＪＤとあいづち頻度ＩＤ（ｍ）とに基づいて、第２の話者の満足度を判定する（ステップＳ４０６）。ステップＳ４０６は、判定部５３８が行う。判定部５３８は、式（１７）を用いて判定結果ｖ（ｍ）を算出する。判定部５３８は、第２の話者の満足度として、判定結果ｖ（ｍ）を応対点数出力部５３９に出力する。
【０２０５】
発話状態判定装置５は、次に、第２の話者の満足度の判定結果に基づいて第１の話者の応対点数を算出し、算出した応対点数を出力する（ステップＳ４０７）。ステップＳ４０７は、応対点数出力部５３９が行う。応対点数出力部５３９は、まず、判定部５３８の判定結果ｖ（ｍ）と式（１８）とを用いて応対点数ｖ’（ｍ）を算出する。その後、応対点数出力部５３９は、算出した応対点数ｖ’（ｍ）を表示部１２０５に表示させるとともに、記憶装置１２０６に記憶させる。
【０２０６】
応対点数ｖ’（ｍ）を出力した後、発話状態判定装置５は、処理を続けるか否かを判断する（ステップＳ４０８）。処理を続けない場合（ステップＳ４０８；Ｎｏ）、発話状態判定装置５は、第１及び第２の話者の音声信号のモニタリングを終了して処理を終了する。
【０２０７】
一方、処理を続ける場合（ステップＳ４０８；Ｙｅｓ）、発話状態判定装置５は、次に、第２の話者の話者情報が変更されたか否かをチェックする（ステップＳ４０９）。第２の話者の話者情報info２（ｎ）に変更がない場合（ステップＳ４０９；Ｎｏ）、発話状態判定装置５は、ステップＳ４０２以降の処理を繰り返す。第２の話者の話者情報info２（ｎ）が変更された場合（ステップＳ４０９；Ｙｅｓ）、発話状態判定装置５は、ステップＳ４０１に戻り、変更後の第２の話者についての平均あいづち頻度ＪＤを算出してからステップＳ４０２以降の処理を行う。
【０２０８】
このように、第４の実施形態では、第２の話者の音声信号から算出した平均あいづち頻度ＪＤと、あいづち頻度ＩＤ（ｍ）とに基づいて第１の話者の応対点数ｖ’（ｍ）を算出することにより、間接的に第２の話者の満足度を知ることができる。
【０２０９】
また、第４の実施形態では、第２の話者の発話速度ｒに応じた平均あいづち頻度ＪＤを算出するので、例えば、元来あいづちの頻度が少ない第２の話者に対しても、適切な平均あいづち頻度を算出することができる。
【０２１０】
更に、第４の実施形態では、特徴量算出部５３３で算出した母音種別ｈ（Ｌ）及びピッチ変化量ｄｆ（Ｌ）に応じてあいづちを肯定的なあいづちと否定的なあいづちに分類し、その分類に基づいてあいづちの頻度ＩＤ（ｍ）を算出する。そのため、第４の実施形態におけるあいづちの頻度ＩＤ（ｍ）は、１フレームにおけるあいづちの回数が同じでも、肯定的なあいづちの回数に応じて値が変化する。よって、元来あいづちの頻度が少ない第２の話者に対しても、あいづちが肯定的か否定的かにより、満足しているか否かを判定することができる。
【０２１１】
なお、本実施形態に係る発話状態判定装置５は、図１８に示したような録音装置１２に限らず、第１〜第３の実施形態で例示した通話システムにも適用可能である。また、録音装置１２における記憶装置１２０６は、例えば、メモリカード等の可搬型記憶媒体と、当該可搬型記憶媒体へのデータの書き込み及び当該可搬型記憶媒体からのデータの読み出しが可能な記憶媒体駆動装置とで構成してもよい。
【０２１２】
［第５の実施形態］
図２３は、第５の実施形態に係る録音システムの構成を示す図である。
【０２１３】
図２３に示すように、本実施形態に係る録音システム１４は、第１のマイク１３Ａと、第２のマイク１３Ｂと、録音装置１５と、サーバ１６とを備える。録音装置１５とサーバ１６とは、例えば、インターネット等の通信ネットワークを介して接続される。
【０２１４】
録音装置１５は、第１のＡＤ変換部１５０１と、第２のＡＤ変換部１５０２と、音声ファイル化処理部１５０３と、操作部１５０４と、表示部１５０５と、を備える。
【０２１５】
第１のＡＤ変換部１５０１は、第１のマイク１３Ａで収音した音声信号をアナログ信号からデジタル信号に変換する。第２のＡＤ変換部１５０２は、第２のマイク１３Ｂで収音した音声信号をアナログ信号からデジタル信号に変換する。以下、第１のマイク１３Ａで収音した音声信号を第１の話者の音声信号とし、第２のマイク１３Ｂで収音した音声信号を第２の話者の音声信号とする。
【０２１６】
音声ファイル化処理部１５０３は、第１のＡＤ変換部１５０１で変換した第１の話者の音声信号及び第２のＡＤ変換部１５０２で変換した第２の話者の音声信号の電子ファイル（音声ファイル）を生成する。また、音声ファイル化処理部１５０３は、生成した音声ファイルをサーバ１６の記憶装置１６０１に記憶させる。
【０２１７】
操作部１５０４は、録音装置１５の操作に用いる釦スイッチ等である。例えば、録音装置１５のオペレータが操作部１５０４を操作して録音を開始すると、操作部１５０４から音声ファイル化処理部１５０３に所定の処理の開始命令が入力される。また、例えば、録音装置１５のオペレータが録音した音声（記憶装置１６０１に記憶させた音声ファイル）を再生する操作を行うと、録音装置１５は、記憶装置１６０１から読み出した音声ファイルを図示しないスピーカで再生する。また、録音装置１５は、音声ファイルの再生時に、発話状態判定装置５に第２の話者の発話状態を判定させる。
【０２１８】
表示部１５０５は、発話状態判定装置５の判定結果（第２の話者の満足度等）を表示する。
【０２１９】
一方、サーバ１６は、記憶装置１６０１と、発話状態判定装置５と、を備える。記憶装置１６０１は、録音装置１５の音声ファイル化処理部１５０３で生成した音声ファイルを含む各種のデータファイルを記憶する。発話状態判定装置５は、記憶装置１６０１に記憶させた音声ファイル（第１の話者と第２の話者との会話記録）を再生する際に第２の話者の発話状態（満足度）を判定する。
【０２２０】
図２４は、第５の実施形態に係る発話状態判定装置の機能的構成を示す図である。
【０２２１】
図２４に示すように、本実施形態に係る発話状態判定装置５は、音声区間検出部５４１と、あいづち区間検出部５４２と、あいづち頻度算出部５４３と、平均あいづち頻度推定部５４４と、記憶部５４５と、を備える。また、発話状態判定装置５は、判定部５４６と、応対点数出力部５４７と、を更に備える。
【０２２２】
音声区間検出部５４１は、第１の話者の音声信号（第１のマイク１３Ａで収音した音声信号）における音声区間を検出する。音声区間検出部５４１は、第１の実施形態に係る発話状態判定装置５の音声区間検出部５０１と同様、第１の話者の音声信号のうち当該音声信号から導出したパワーが所定の閾値ＴＨ以上の区間を音声区間として検出する。
【０２２３】
あいづち区間検出部５４２は、第２の話者の音声信号（第２のマイク１３Ｂで収音した音声信号）におけるあいづち区間を検出する。あいづち区間検出部５４２は、第１の実施形態に係る発話状態判定装置５のあいづち区間検出部５０２と同様、第２の話者の音声信号に対し形態素解析を行い、あいづち辞書に登録したあいづちデータのいずれかと一致する区間をあいづち区間として検出する。
【０２２４】
あいづち頻度算出部５４３は、第２の話者のあいづち頻度として、第１の話者の発話時間当たりの第２の話者のあいづち回数を算出する。あいづち頻度算出部５４３は、所定の単位時間を１フレームとし、１フレーム内の第１の話者の音声区間から算出される発話時間と、第２の話者のあいづち区間から算出されるあいづち回数とに基づいて、あいづち頻度を算出する。本実施形態の発話状態判定装置５におけるあいづち頻度算出部５４３は、第１の実施形態と同様、式（４）で与えられるあいづち頻度ＩＡ（ｍ）を算出する。
【０２２５】
平均あいづち頻度推定部５４４は、第２の話者の平均あいづち頻度を推定する。本実施形態の平均あいづち頻度推定部５４４は、第２の話者の音声開始時刻から一定フレーム数が経過するまでの期間における第２の話者の音声区間に基づいて、第２の話者の平均あいづち頻度を算出（推定）する。平均あいづち頻度推定部５４４は、音声区間検出部５４１と同様の処理を行い、第２の話者の音声開始時刻から一定フレーム数分（例えば、２フレーム分）の音声信号における音声区間を検出する。また、平均あいづち頻度推定部５４４は、検出した音声区間の開始時刻startｊ’及び終了時刻endｊ’から、第２の話者の一続きの発話時間Ｔｊ及び累積発話時間Ｔallを算出する。一続きの発話時間Ｔｊ及び累積発話時間Ｔallは、それぞれ、下記式（１９）及び（２０）により算出する。
【０２２６】
【数１９】
0006565500.tif 000020
【０２２７】
更に、平均あいづち頻度推定部５４４は、一続きの発話時間Ｔｊ及び累積発話時間Ｔallを用いて下記式（２１）で与えられる時間Ｔsumを算出する。
【０２２８】
【数２０】
0006565500.tif 000021
【０２２９】
式（２１）のξ１、ξ２は重み付け係数であり、例えばξ１＝ξ２＝０．５とする。
【０２３０】
その後、平均あいづち頻度推定部５４４は、記憶部５４５に記憶させた平均あいづち頻度の対応表５４５ａを参照し、算出した時間Ｔsumに対応した平均あいづち頻度ＪＥを算出する。また、平均あいづち頻度推定部５４４は、第２の話者の話者情報info２（ｎ）が変更されると、info２（ｎ−１）及び平均あいづち頻度ＪＥを記憶部５４５の話者情報リスト５４５ｂに格納する。また、平均あいづち頻度推定部５４４は、第２の話者の話者情報info２（ｎ）が変更されると、記憶部５４５の話者情報リスト５４５ｂを参照する。そして、変更後の話者情報info２（ｎ）が話者情報リスト５４５ｂにある場合、平均あいづち頻度推定部５４４は、変更後の話者情報info２（ｎ）と対応付けられた平均あいづち頻度ＪＥを話者情報リスト５４５ｂから読み出して判定部５４６に出力する。一方、変更後の話者情報info２（ｎ）が話者情報リスト５４５ｂにない場合、平均あいづち頻度推定部５４４は、一定のフレーム数が経過するまでは平均あいづち頻度ＪＥとして所定の初期値ＪＥ０を用い、一定のフレーム数が経過したら上記の手順で平均あいづち頻度ＪＥを算出する。
【０２３１】
判定部５４６は、あいづち頻度算出部５４３で算出したあいづち頻度ＩＡ（ｍ）と、平均あいづち頻度推定部５４４で算出（推定）した平均あいづち頻度ＪＥとに基づいて、第２の話者の満足度、言い換えると第２の話者が満足しているか否かを判定する。判定部５４６は、下記式（２２）で与えられる判定式に基づいて、判定結果ｖ（ｍ）を出力する。
【０２３２】
【数２１】
0006565500.tif 000022
【０２３３】
式（２２）におけるβ１及びβ２は、それぞれ補正係数であり、例えばβ１＝０．２、β２＝１．５とする。
【０２３４】
判定部５４６は、算出した判定結果ｖ（ｍ）を録音装置１５に送信して録音装置１５の表示部１５０５に表示させるとともに、応対点数算出部５４７に出力する。
【０２３５】
応対点数算出部５４７は、第１及び第２の話者の会話全体を通しての第２の話者の満足度Ｖを算出する。この満足度Ｖは、例えば、第３の実施形態で示した式（１４）を用いて算出する。応対点数算出部５４７は、算出した全体の満足度Ｖを録音装置１５に送信し、録音装置１５の表示部１５０５に表示させる。
【０２３６】
図２５は、平均あいづち頻度の対応表の例を示す図である。
第１〜第３の実施形態では第２の話者のあいづちの頻度に基づいて平均あいづち頻度を算出しているのに対し、本実施形態では上記のように第２の話者の発話時間（音声区間）に基づいて平均あいづち頻度を算出（推定）する。発話時間が長い話者は、発話時間が短い話者に比べてあいづちの頻度が高くなる。そのため、例えば、図２５に示す対応表のように、式（１９）〜（２１）を用いて算出した発話時間に関する時間Ｔsumが大きくなると平均あいづち頻度ＪＥが大きくなるようにすることで、第１〜第３の実施形態と同様の傾向を有する平均あいづち頻度ＪＥを算出することができる。
【０２３７】
図２６は、第５の実施形態に係る発話状態判定装置が行う処理の内容を示すフローチャートである。
【０２３８】
本実施形態に係る発話状態判定装置５は、オペレータが録音装置１５の操作部１５０４を操作して記憶装置１６０１に記憶させた会話記録の再生を開始するのを契機として、図２６に示したような処理を行う。
【０２３９】
発話状態判定装置５は、まず、第１及び第２の話者の音声ファイルを読み出す（ステップＳ５００）。ステップＳ５００は、発話状態判定装置５に設けた読み出し部（図示せず）が行う。発話状態判定装置５の読み出し部は、録音装置１５の操作部１５０４を通じて指定された会話記録と対応する第１及び第２の話者の音声ファイルを記憶装置１６０１から読み出す。読み出し部は、第１の話者の音声ファイルを音声区間検出部５４１及び平均あいづち頻度推定部５４４に出力するとともに、第２の話者の音声ファイルをあいづち区間検出部５４２及び平均あいづち頻度推定部５４４に出力する。
【０２４０】
発話状態判定装置５は、次に、平均あいづち頻度推定処理を行う（ステップＳ５０１）。ステップＳ５０１は、平均あいづち頻度推定部５４４が行う。平均あいづち頻度推定部５４４は、第２の話者の音声開始時刻から２フレーム分（６０sec分）の音声信号における音声区間を検出した後、式（１９）〜（２１）を用いて時間Ｔsumを算出する。その後、平均あいづち頻度推定部５４４は、記憶部５４５に記憶させた平均あいづち頻度の対応表５４５ａを参照し、算出した時間Ｔsumと対応する平均あいづち頻度ＪＥを第２の話者の平均あいづち頻度として判定部５４６に出力する。
【０２４１】
発話状態判定装置５は、次に、第１の話者の音声ファイルから音声区間を検出する処理（ステップＳ５０２）、及び第２の話者の音声ファイルからあいづち区間を検出する処理（ステップＳ５０３）を行う。ステップＳ５０２は、音声区間検出部５４１が行う。音声区間検出部５４１は、式（１），（２）を用いて、第１の話者の音声ファイルにおける音声区間の検出結果ｕ１（Ｌ）を算出する。音声区間検出部５４１は、音声区間の検出結果ｕ１（Ｌ）をあいづち頻度算出部５４３に出力する。ステップＳ５０３は、あいづち区間検出部５４２が行う。あいづち区間検出部５４２は、例えば、上記の形態素解析等によりあいづち区間を検出した後、式（３）を用いてあいづち区間の検出結果ｕ２（Ｌ）を算出する。あいづち区間検出部５４２は、あいづち区間の検出結果ｕ２（Ｌ）をあいづち頻度算出部５４３に出力する。
【０２４２】
なお、図２６のフローチャートでは、ステップＳ５０２の後にステップＳ５０３を行っているが、これに限らず、ステップＳ５０３の処理を先に行ってもよい。また、ステップＳ５０２の処理とステップＳ５０３の処理とを並列に行ってもよい。
【０２４３】
ステップＳ５０２，Ｓ５０３の処理を終えると、発話状態判定装置５は、次に、第１の話者の音声区間、及び第２の話者のあいづち区間に基づいて、第２の話者のあいづち頻度を算出する（ステップＳ５０４）。ステップＳ５０４は、あいづち頻度算出部５４３が行う。あいづち頻度算出部５４３は、第１の実施形態で説明したように、ｍ番目のフレームにおける音声区間の検出結果及びあいづち区間の検出結果を用いて、式（４）で与えられるあいづち頻度ＩＡ（ｍ）を算出する。
【０２４４】
発話状態判定装置５は、次に、第２の話者の平均あいづち頻度ＪＥとあいづち頻度ＩＡ（ｍ）とに基づいて、第２の話者の満足度を判定する（ステップＳ５０５）。ステップＳ５０５は、判定部５４６が行う。判定部５４６は、式（２２）を用いて判定結果ｖ（ｍ）を算出する。
【０２４５】
発話状態判定装置５は、次に、算出した判定結果ｖ（ｍ）の値と対応した満足度のフレーム数を１だけ増加する（ステップＳ５０６）。ステップＳ５０６は、応対点数出力部５４７が行う。ここで、満足度のフレーム数は、上記の式（１４）で用いるｃ０，ｃ１，及びｃ２である。例えば、判定結果ｖ（ｍ）が０である場合、ステップＳ５０６ではｃ０の値を１だけ増加する。また、判定結果ｖ（ｍ）が１又は２である場合、ステップＳ５０６では、それぞれ、ｃ１又はｃ２の値を１だけ増加する。
【０２４６】
発話状態判定装置５は、次に、満足度のフレーム数に基づいて第１の話者の応対点数を算出し、算出した応対点数を出力する（ステップＳ５０７）。ステップＳ５０７は、応対点数出力部５４７が行う。ステップＳ５０７では、応対点数出力部５４７は、式（１４）を用いて第２の話者の満足度Ｖを算出し、この満足度Ｖを第１の話者の応対点数にする。また、応対点数出力部５４７は、算出した満足度Ｖ（応対点数）を録音装置１５のスピーカ（図示しない）に出力する。
【０２４７】
応対点数を算出した後、発話状態判定装置５は、処理を続けるか否かを判断する（ステップＳ５０８）。処理を続けない場合（ステップＳ５０８；Ｎｏ）、発話状態判定装置５は、第１及び第２の話者の音声ファイルの読み出しを終了して処理を終了する。
【０２４８】
一方、処理を続ける場合（ステップＳ５０８；Ｙｅｓ）、発話状態判定装置５は、次に、第２の話者の話者情報が変更されたか否かをチェックする（ステップＳ５０９）。第２の話者の話者情報info２（ｎ）に変更がない場合（ステップＳ５０９；Ｎｏ）、発話状態判定装置５は、ステップＳ５０２以降の処理を繰り返す。第２の話者の話者情報info２（ｎ）が変更された場合（ステップＳ５０９；Ｙｅｓ）、発話状態判定装置５は、ステップＳ５０１に戻り、変更後の第２の話者についての平均あいづち頻度ＪＥを算出してからステップＳ５０２以降の処理を行う。
【０２４９】
このように、第５の実施形態では、第２の話者の一続きの発話時間Ｔｊ及び累積発話時間Ｔallに基づいて算出したあいづち頻度の平均ＪＥを平均あいづち頻度とする。そのため、例えば、元来口数が少ない第２の話者に対しても、適切な平均あいづち頻度を算出することができ、満足しているか否かを判定することができる。
【０２５０】
なお、本実施形態に係る発話状態判定装置５は、図２３に示したような録音システム１４に限らず、第１〜第３の実施形態で例示した通話システムにも適用可能である。
【０２５１】
また、発話状態判定装置５の構成及び発話状態判定装置５が行う処理は、第１〜第５の実施形態に例示した構成及び処理に限定されない。
【０２５２】
また、第１〜第５の実施形態で例示した発話状態判定装置５は、例えば、コンピュータと、コンピュータに実行させるプログラムとにより実現可能である。
【０２５３】
図２７は、コンピュータのハードウェア構成を示す図である。
図２７に示すように、コンピュータ１７は、プロセッサ１７０１と、主記憶装置１７０２と、補助記憶装置１７０３と、入力装置１７０４と、表示装置１７０５と、を備える。また、コンピュータ１７は、インタフェース装置１７０６と、記憶媒体駆動装置１７０７と、通信装置１７０８と、を更に備える。コンピュータ１７におけるこれらの要素１７０１〜１７０８は、バス１７１０により相互に接続されており、要素間でのデータの受け渡しが可能になっている。
【０２５４】
プロセッサ１７０１は、Central Processing Unit（ＣＰＵ）等の演算処理装置であり、オペレーティングシステムを含む各種のプログラムを実行することによりコンピュータ９の全体の動作を制御する。
【０２５５】
主記憶装置１７０２は、Read Only Memory（ＲＯＭ）及びRandom Access Memory（ＲＡＭ）を含む。ＲＯＭには、例えばコンピュータ１７の起動時にプロセッサ１７０１が読み出す所定の基本制御プログラム等が予め記録されている。また、ＲＡＭは、プロセッサ１７０１が各種のプログラムを実行する際に、必要に応じて作業用記憶領域として使用する。主記憶装置１７０２のＲＡＭは、例えば、あいづち頻度の平均等の平均あいづち頻度、第１の話者の音声区間及び第２の話者のあいづち区間等の一時的な記憶（保持）に用いることが可能である。
【０２５６】
補助記憶装置１７０３は、Hard Disk Drive（ＨＤＤ）やSolid State Drive（ＳＳＤ）等の主記憶装置１７０２に比べて大容量の記憶装置である。補助記憶装置１７０３には、プロセッサ１７０１によって実行される各種のプログラムや各種のデータ等を記憶させる。補助記憶装置１７０３に記憶させるプログラムとしては、例えば、図４及び図５に示した処理をコンピュータ１７に実行させるプログラム、或いは図９及び図１０に示した処理をコンピュータ１７に実行させるプログラムが挙げられる。また、補助記憶装置１７０３には、例えば、コンピュータ１７と他の電話機（又はコンピュータ）との間での音声通話を可能にするプログラム、音声信号から音声ファイルを生成するプログラム等を記憶させることも可能である。また、補助記憶装置９０３に記憶させるデータとしては、例えば、音声通話の電子ファイルや第２の話者の満足度の判定結果等が挙げられる。
【０２５７】
入力装置１７０４は、例えばキーボード装置やマウス装置であり、コンピュータ１７のオペレータにより操作されると、その操作内容に対応付けられている入力情報をプロセッサ１７０１に送信する。
【０２５８】
表示装置１７０５は、例えば液晶ディスプレイである。液晶ディスプレイは、プロセッサ１７０１等から送信される表示データに従って各種のテキスト、画像等を表示する。
【０２５９】
インタフェース装置１７０６は、例えば、コンピュータ１９にマイク２０１やレシーバ（スピーカ）２０３等の電子機器を接続するための入出力装置である。
【０２６０】
記憶媒体駆動装置１７０７は、図示しない可搬型記憶媒体に記録されているプログラムやデータの読み出し、補助記憶装置１７０３に記憶されたデータ等の可搬型記憶媒体への書き込みを行う装置である。可搬型記憶媒体としては、例えば、ＵＳＢ規格のコネクタが備えられているフラッシュメモリが利用可能である。また、可搬型記憶媒体としては、Compact Disk（ＣＤ）、Digital Versatile Disc（ＤＶＤ）、Blu-ray Disc（Blu-rayは登録商標）等の光ディスクも利用可能である。
【０２６１】
通信装置１７０８は、インターネット等の通信ネットワークを介してコンピュータ１７と他のコンピュータ等とを通信可能又は通話可能に接続する装置である。
【０２６２】
このコンピュータ１７は、例えば、図１に示した第１の電話機２における通話処理部２０２、表示部２０４、及び発話状態判定装置５として機能させることができる。この場合、コンピュータ１７は、例えば、プロセッサ１７０１が補助記憶装置１７０３からＩＰ網４を利用した通話を行うためのプログラムを予め読み出して実行し、第２の電話機３との呼接続が可能な状態で待機している。そして、第２の電話機３からの制御信号によりコンピュータ１７と第２の電話機３との呼接続が確立されると、プロセッサ１７０１は、図４及び図５に示した処理をさせるプログラムを実行し、音声通話に関する処理とともに、第２の話者の満足度を判定する処理を行う。
【０２６３】
また、コンピュータ１７には、例えば、通話毎に、第１及び第２の話者の音声信号から音声ファイルを生成する処理を実行させることもできる。生成した音声ファイルは、補助記憶装置１７０３に記憶させることもできるし、記憶媒体駆動装置１７０７を介して可搬型記憶媒体に記録することもできる。更に、生成した音声ファイルは、通信装置１７０８及び通信ネットワークを介して接続された他のコンピュータに送信することもできる。
【０２６４】
なお、発話状態判定装置５として用いるコンピュータ１７は、図２７に示した全ての構成要素を含む必要はなく、用途や条件に応じて一部の構成要素（例えば、記憶媒体駆動装置１７０７等）を省略することも可能である。また、コンピュータ１７は、種々のプログラムを実行することにより複数の機能を実現する汎用型のものに限らず、音声通話や会話における特定の話者（第２の話者）の満足度の判定に特化した装置でもよい。
【０２６５】
以上記載した各実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
第１の話者の音声信号と第２の話者の音声信号とに基づいて、前記第２の話者の音声信号の音声開始時刻から所定の時刻までの期間における前記第２の話者のあいづち頻度を表す平均あいづち頻度を推定する平均あいづち頻度推定部と、
前記第１の話者の音声信号と第２の話者の音声信号とに基づいて単位時間毎の前記第２の話者のあいづち頻度を算出するあいづち頻度算出部と、
前記平均あいづち頻度推定部で推定した前記平均あいづち頻度と、前記あいづち頻度算出部で算出したあいづち頻度とに基づいて、前記第２の話者の満足度を判定する判定部と、
を備えることを特徴とする発話状態判定装置。
（付記２）
前記平均あいづち頻度推定部は、前記第２の話者の音声信号の音声開始時刻から所定の時刻までの期間における前記第２の話者のあいづちの回数に基づいて前記平均あいづち頻度を推定する、
ことを特徴とする付記１に記載の発話状態判定装置。
（付記３）
前記平均あいづち頻度推定部は、前記第２の話者の音声信号の音声開始時刻から終了時刻までのあいづち頻度に基づいて前記平均あいづち頻度を推定する、
ことを特徴とする付記１に記載の発話状態判定装置。
（付記４）
前記平均あいづち頻度推定部は、前記第２の話者の音声信号から算出される発話速度に基づいて、前記平均あいづち頻度を推定する、
ことを特徴とする付記１に記載の発話状態判定装置。
（付記５）
前記平均あいづち頻度推定部は、前記第２の話者の音声信号における音声区間の開始時刻及び終了時刻から求めた発話時間を用いて前記第２の話者の発話時間を算出し、当該発話時間に基づいて前記平均あいづち頻度を推定する、
ことを特徴とする付記１に記載の発話状態判定装置。
（付記６）
前記平均あいづち頻度推定部は、前記第２の話者の音声信号における累積発話時間を算出し、前記第２の話者の累積発話時間に応じた前記平均あいづち頻度を推定する、
ことを特徴とする付記１に記載の発話状態判定装置。
（付記７）
前記平均あいづち頻度推定部は、前記第２の話者の話者情報が変更された場合に、前記平均あいづち頻度を予め定めた値に戻し、変更後の前記第２の話者についての平均あいづち頻度を推定する、
ことを特徴とする付記１に記載の発話状態判定装置。
（付記８）
前記発話状態判定装置は、前記第２の話者の話者情報と当該第２の話者の平均あいづち頻度とを対応付けて記憶する記憶部、を更に備え、
前記平均あいづち頻度推定部は、前記第２の話者の話者情報が変更された場合に前記記憶部を参照し、変更後の話者情報が前記記憶部に記憶されている場合には前記記憶部から前記第２の話者情報を読み出す、
ことを特徴とする付記７に記載の発話状態判定装置。
（付記９）
前記発話状態判定装置は、前記第１の話者の音声信号に含まれる音声区間を検出する音声区間検出部と、前記第２の話者の音声信号に含まれるあいづち区間を検出するあいづち区間検出部と、を更に備え、
前記あいづち頻度算出部は、検出した前記音声区間及び前記あいづち区間に基づいて、前記第１の話者の発話時間に対する前記第２の話者のあいづちの回数を算出する、
ことを特徴とする付記１に記載の発話状態判定装置。
（付記１０）
前記発話状態判定装置は、前記第２の話者のあいづち区間の音響的特徴量を算出する特徴量算出部と、前記特徴量に応じたあいづちの分類を記憶する記憶部と、を更に備え、
前記あいづち頻度算出部は、前記特徴量と前記あいづちの分類とに基づき、前記第２の話者のあいづち頻度を算出する、
ことを特徴とする付記１に記載の発話状態判定装置。
（付記１１）
前記あいづち頻度算出部は、前記第１の話者の音声信号における音声区間の開始時刻及び終了時刻から求めた発話時間と、前記第２の話者の音声信号におけるあいづち区間から求めたあいづちの回数と、を用いて、前記発話時間当たりの前記あいづちの回数を前記あいづち頻度として算出する、
ことを特徴とする付記１に記載の発話状態判定装置。
（付記１２）
前記あいづち頻度算出部は、前記第１の話者の音声信号における音声区間の開始時刻及び終了時刻から求めた発話時間と、前記第１の話者の音声信号における音声区間の開始時刻から終了時刻までの間に検出された前記第２の話者の音声信号のあいづち区間から求めたあいづちの回数と用い、前記発話時間当たりの前記あいづちの回数を前記あいづち頻度として算出する、
ことを特徴とする付記１に記載の発話状態判定装置。
（付記１３）
前記あいづち頻度算出部は、
前記第１の話者の音声信号における音声区間の開始時刻及び終了時刻から求めた発話時間と、前記第１話者の音声信号における音声区間の開始時刻から終了時刻の間及び予め設定した当該音声区間の直後の所定の時間内に検出された前記第２の話者のあいづち区間の数から求めたあいづちの回数とを用い、前記発話時間当たりの前記あいづちの回数を前記あいづちの頻度として算出する、
ことを特徴とする付記１に記載の発話状態判定装置。
（付記１４）
前記発話状態判定装置は、前記判定部の判定結果に基づいて、前記第２の話者が不満である場合に警告信号を出力する警告出力部、を更に備える、
ことを特徴とする付記１に記載の発話状態判定装置。
（付記１５）
前記発話状態判定装置は、前記判定部の判定結果に基づいて、前記第２の話者の満足度に応じた文章を出力する出力部と、を備える、
ことを特徴とする付記１に記載の発話状態判定装置。
（付記１６）
前記発話状態判定装置は、前記第２の話者の満足度から当該第２の話者の音声信号全体における満足度を算出する全体満足度算出部、を更に備える、
ことを特徴とする付記１に記載の発話状態判定装置。
（付記１７）
前記発話状態判定装置は、前記第２の話者の満足度から前記第１の話者の応対の点数を算出して出力する応対点数出力部、を更に備える、
ことを特徴とする付記１に記載の発話状態判定装置。
（付記１８）
コンピュータが、
第１の話者の音声信号と第２の話者の音声信号とに基づいて、前記第２の話者の音声信号の音声開始時刻から所定の時刻までの期間における前記第２の話者のあいづち頻度を表す平均あいづち頻度を推定した後、
前記第１の話者の音声信号と第２の話者の音声信号とに基づいて単位時間毎の前記第２の話者のあいづち頻度を算出し、
前記平均あいづち頻度と、前記単位時間毎の前記第２の話者のあいづち頻度とに基づいて、前記第２の話者の満足度を判定する、
処理を実行することを特徴とする発話状態判定方法。
（付記１９）
第１の話者の音声信号と第２の話者の音声信号とに基づいて、前記第２の話者の音声信号の音声開始時刻から所定の時刻までの期間における前記第２の話者のあいづち頻度を表す平均あいづち頻度を推定した後、
前記第１の話者の音声信号と第２の話者の音声信号とに基づいて前記単位時間毎の前記第２の話者のあいづち頻度を算出し、
前記平均あいづち頻度と、前記単位時間毎の前記第２の話者のあいづち頻度とに基づいて、前記第２の話者の満足度を判定する、
処理をコンピュータに実行させるための判定プログラム。
【符号の説明】
【０２６６】
１００，１１０，１２０  通話システム
２  第１の電話機
２０１  マイク
２０２  通話処理部
２０３  レシーバ
２０４  表示部
３  第２の電話機
３０１  マイク
３０２  通話処理部
３０３  レシーバ
４  ＩＰ網
５  発話状態判定装置
５０１，５１１，５２１，５３１，５４１  音声区間検出部
５０２，５１２，５２２，５３２，５４２  あいづち区間検出部
５０３，５１３，５２３，５３４，５４３  あいづち頻度算出部
５０４，５１４，５２４，５３６，５４４  平均あいづち頻度推定部
５０５，５１５，５２５，５３８，５４６  判定部
５０６  警告出力部
５１６，５２７  文章出力部
５１７，５２８，５４５  記憶部
５２６  全体満足度算出部
５３５  第１の記憶部
５３７  第２の記憶部
５３９，５４７  応対点数出力部
６  表示装置
８  分岐器
９  応対評価装置
１０，１６  サーバ
１１  再生装置
１２，１５  録音装置
１３Ａ  第１のマイク
１３Ｂ  第２のマイク
１４  録音システム
【図１】
0006565500.tif 000023
【図２】
0006565500.tif 000024
【図３】
0006565500.tif 000025
【図４】
0006565500.tif 000026
【図５】
0006565500.tif 000027
【図６】
0006565500.tif 000028
【図７】
0006565500.tif 000029
【図８】
0006565500.tif 000030
【図９】
0006565500.tif 000031
【図１０】
0006565500.tif 000032
【図１１】
0006565500.tif 000033
【図１２】
0006565500.tif 000034
【図１３】
0006565500.tif 000035
【図１４】
0006565500.tif 000036
【図１５】
0006565500.tif 000037
【図１６】
0006565500.tif 000038
【図１７】
0006565500.tif 000039
【図１８】
0006565500.tif 000040
【図１９】
0006565500.tif 000041
【図２０】
0006565500.tif 000042
【図２１】
0006565500.tif 000043
【図２２】
0006565500.tif 000044
【図２３】
0006565500.tif 000045
【図２４】
0006565500.tif 000046
【図２５】
0006565500.tif 000047
【図２６】
0006565500.tif 000048
【図２７】
0006565500.tif 000049