(57)【要約】【課題】ユーザが迷っている区間を正確に推定すること。【解決手段】音声処理装置１は、音声情報から複数の発話区間を検出する。音声処理装置１は、複数の発話区間からフィラーを検出した発話区間をフィラー区間として特定する。音声処理装置１は、フィラー区間の音声情報の特徴量を基にして、フィラー区間の音声情報が、ユーザが判断に迷っている場合に発話される音声情報であるか否かを判定する。【選択図】図３
2020052256.tif 000002
【特許請求の範囲】
【請求項１】
音声情報から複数の発話区間を検出し、
前記複数の発話区間からフィラーを検出した発話区間をフィラー区間として特定し、
前記フィラー区間の音声情報の特徴量を基にして、前記フィラー区間の音声情報が、ユーザが判断に迷っている場合に発話される音声情報であるか否かを判定する
処理をコンピュータに実行させることを特徴とする音声処理プログラム。
【請求項２】
前記判定する処理は、前記フィラー区間の音声情報の特徴量と、前記フィラー区間に続く前記発話区間の音声情報の特徴量とを基にして、前記フィラー区間の音声情報が、ユーザが判断に迷っている場合に発話される音声情報であるか否かを判定することを特徴とする請求項１に記載の音声処理プログラム。
【請求項３】
前記判定する処理は、第１のユーザの発話区間から第２のユーザの発話区間までの応答時間を更に用いて、前記フィラー区間の音声情報が、前記第２のユーザが判断に迷っている場合に発話される音声情報であるか否かを判定することを特徴とする請求項１または２に記載の音声処理プログラム。
【請求項４】
前記判定する処理は、前記第２のユーザの各発話区間から算出された各特徴量の平均値を算出し、前記各特徴量の平均値を更に用いて、前記第２のユーザが判断に迷っている場合に発話される音声情報であるか否かを判定することを特徴とする請求項３に記載の音声処理プログラム。
【請求項５】
前記判定する処理は、前記音声情報の基本周波数を基に算出される分散を、前記特徴量として用いることを特徴とする請求項１〜４のいずれか一つに記載の音声処理プログラム。
【請求項６】
前記判定する処理は、前記音声情報をスペクトルに変換し、前記スペクトルの特徴を前記特徴量として用いることを特徴とする請求項１〜４のいずれか一つに記載の音声処理プログラム。
【請求項７】
前記判定する処理は、前記特徴量と、前記特徴量に対応する音声情報が明るい音声であるか否かの情報とを対応付けた教師データにより学習された分類器に、前記特徴量を入力して得られる結果を基にして、前記フィラー区間の音声情報が、ユーザが判断に迷っている場合に発話される音声情報であるか否かを判定することを特徴とする請求項１に記載の音声処理プログラム。
【請求項８】
前記判定する処理は、前記第２のユーザに対応する第１閾値、第２閾値、第３閾値を取得し、前記フィラー区間の音声情報の特徴量と前記第１閾値との比較結果、前記フィラー区間に続く前記発話区間の音声情報の特徴量と前記第１閾値との比較結果、前記応答時間と前記第２閾値との比較結果、前記各特徴量の平均値と前記第３閾値との比較結果を基にして、前記フィラー区間の音声情報が、ユーザが判断に迷っている場合に発話される音声情報であるか否かを判定することを特徴とする請求項４に記載の音声処理プログラム。
【請求項９】
コンピュータが実行する音声処理方法であって、
音声情報から複数の発話区間を検出し、
前記複数の発話区間からフィラーを検出した発話区間をフィラー区間として特定し、
前記フィラー区間の音声情報の特徴量を基にして、前記フィラー区間の音声情報が、ユーザが判断に迷っている場合に発話される音声情報であるか否かを判定する
処理を実行することを特徴とする音声処理方法。
【請求項１０】
音声情報から複数の発話区間を検出する発話区間検出部と、
前記複数の発話区間からフィラーを検出した発話区間をフィラー区間として特定する特定部と、
前記フィラー区間の音声情報の特徴量を基にして、前記フィラー区間の音声情報が、ユーザが判断に迷っている場合に発話される音声情報であるか否かを判定する判定部と
を有することを特徴とする音声処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声処理プログラム等に関する。
【背景技術】
【０００２】
近年、多くの企業では、店員と顧客とのコミュニケーションから様々な情報を獲得し、顧客満足度の向上や、マーケティングの戦略に役立てたいというニーズがある。たとえば、顧客が判断に迷っている音声区間には、顧客の意志決定に至る判断材料に関する情報が多く含まれるため、顧客が判断に迷った音声区間を検出し、検出した音声区間の音声情報を分析することで、顧客のニーズを推定することができる。
【０００３】
たとえば、エージェントがユーザに質問した時点から、ユーザが回答するまでの無音および意味をなさない発話区間の終了時点までを、思考時間として検出する従来技術がある。意味をなさない発話区間は「フィラー区間」と呼ばれる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−１１１７６０号公報
【特許文献２】特開２０００−１９４３８６号公報
【特許文献３】国際公開第２０１７／０８５９９２号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した従来技術では、ユーザが迷っている区間を正確に推定することができないと言う問題がある。
【０００６】
図１５は、従来技術の問題を説明するための図である。従来技術では、フィラー区間を思考時間（判断に迷った音声区間）として検出しているが、フィラー区間において、ユーザは判断に迷っている場合もあれば、言葉探しや記憶操作等をしている場合もある。
【０００７】
図１５において、店員が「何か気になる機種などありますか？」と質問し、顧客は「えっと、あれ？なんだっけ・・・」と発話した後に、「あ！××です」と回答している。この例では、「えっと、あれ？なんだっけ・・・」と発話された区間Ｔ１が、フィラー区間として検出される。この区間Ｔ１は、顧客が記憶操作を行っている区間といえる。
【０００８】
店員が「××ですね。人気ですよ。ただ、××にはＹＹがついていなくて・・・」と発話し、顧客は「そうなんだうーん・・・」と発話した後に、「やっぱりＹＹは必要かなぁ」と発話している。この例では、「そうなんだうーん・・・」と発話された区間Ｔ２が、フィラー区間として検出される。この区間Ｔ２は、顧客が迷っている区間といえる。
【０００９】
従来技術では、区間Ｔ１およびＴ１を、思考時間として検出することになるが、区間Ｔ１は、顧客が記憶操作を行っている区間であり、顧客が判断に迷っている区間ではない。
【００１０】
１つの側面では、本発明は、ユーザが迷っている区間を正確に推定することができる音声処理プログラム、音声処理方法および音声処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
第１の案では、コンピュータに次の処理を実行させる。コンピュータは、音声情報から複数の発話区間を検出する。コンピュータは、複数の発話区間からフィラーを検出した発話区間をフィラー区間として特定する。コンピュータは、フィラー区間の音声情報の特徴量を基にして、フィラー区間の音声情報が、ユーザが判断に迷っている場合に発話される音声情報であるか否かを判定する。
【発明の効果】
【００１２】
ユーザが迷っている区間を正確に推定することができる。
【図面の簡単な説明】
【００１３】
【図１】図１は、本実施例１に係る音声処理装置の処理を説明するための図である。
【図２】図２は、本実施例１に係るシステムの構成を示す図である。
【図３】図３は、本実施例１に係る音声処理装置の構成を示す機能ブロック図である。
【図４】図４は、本実施例１に係る状態判定部の構成を示す機能ブロック図である。
【図５】図５は、明るさ算出部の処理を説明するための図である。
【図６】図６は、本実施例１に係る音声処理装置の処理手順を示すフローチャートである。
【図７】図７は、実験結果の一例を示す図である。
【図８】図８は、音声情報の周波数の推移を説明するための図である。
【図９】図９は、本実施例２に係るシステムの構成を示す図である。
【図１０】図１０は、本実施例２に係る収録機器の構成を示す機能ブロック図である。
【図１１】図１１は、本実施例２に係る音声処理装置の構成を示す機能ブロック図である。
【図１２】図１２は、本実施例２に係る状態判定部の構成を示す機能ブロック図である。
【図１３】図１３は、本実施例２に係る音声処理装置の処理手順を示すフローチャートである。
【図１４】図１４は、音声処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
【図１５】図１５は、従来技術の問題を説明するための図である。
【発明を実施するための形態】
【００１４】
以下に、本願の開示する音声処理プログラム、音声処理方法および音声処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
【実施例１】
【００１５】
図１は、本実施例１に係る音声処理装置の処理を説明するための図である。本実施例１では一例として、第１話者と第２話者との音声情報を取得して発話区間を検出し、第２話者のある発話区間が、第２話者が「判断に迷っている区間」であるか否かを判定する場合について説明する。以下の説明では、適宜、発話区間のうち、判断に迷っている区間を「判断迷い区間」と表記する。
【００１６】
音声処理装置は、音声情報を取得すると、第１話者の発話区間と、第２話者の発話区間とを検出し、第１話者の発話区間の後の第２発話区間のうち、フィラー区間となる発話区間を特定する。発話区間は、無音区間に挟まれる区間である。フィラー区間は、意味をなさない発話がなされた発話区間であり、たとえば、「えっと、あれ、なんだっけ」、「そうなんだ、うーん」等が発話された区間は、フィラー区間となる。
【００１７】
図１では、第１話者の発話区間をＴ１１、Ｔ１２、Ｔ１３とし、第２話者の発話区間をＴ２１、Ｔ２２、Ｔ２３、Ｔ２４とする。音声処理装置は、発話区間Ｔ１１に続く、発話区間Ｔ２１、Ｔ２２の音声情報、発話区間Ｔ１２に続く、発話区間Ｔ２３、Ｔ２４の音声情報を解析して、フィラー区間を特定する。たとえば、音声処理装置は、発話区間Ｔ２１，Ｔ２３をフィラー区間と特定したものとして説明する。音声処理装置は、フィラー区間の音声情報の特徴量を基にして、フィラー区間が、判断迷い区間であるか否かを判定する。
【００１８】
図１のグラフＧ１は、音声情報の特徴量（声の明るさ）の時間変化を示すものである。グラフＧ１の横軸は時間軸である。グラフＧ１の縦軸は話者の声の明るさに対応する軸であり、閾値Ｔｈ＿Ｄよりも大きい場合には、話者の声が明るく、閾値ＴＨ＿Ｄ未満である場合には、話者の声が暗いことを示す。たとえば、音声処理装置は、フィラー区間における明るさが「明るい」場合には、フィラー区間を「判断迷い区間ではない」と判定する。これに対して、音声処理装置は、フィラー区間における明るさが「暗い」場合には、フィラー区間を「判断迷い区間である」と判定する。
【００１９】
図１を用いて説明すると、音声処理装置は、フィラー区間Ｔ２１において、声の明るさが「明るい」ため、フィラー区間Ｔ２１が「判断迷い区間ではない」と判定する。音声処理装置は、フィラー区間Ｔ２３において、声の明るさが「暗い」ため、フィラー区間Ｔ２３は「判断迷い区間である」と判定する。このように、本実施例に係る音声処理装置は、フィラー区間の音声情報の特徴量を基にして、判断迷い区間であるか否かを判定するので、ユーザが迷っている区間を正確に推定することができる。
【００２０】
なお、音声処理装置は、フィラー区間の音声情報の特徴量だけでなく、フィラー区間に続く応答区間の音声情報の特徴量、対話全体の明るさの平均、応答時間を更に用いて、フィラー区間が、判断迷い区間であるか否かを判定してもよい。これにより、判断迷い区間を更に精度よく判定することができる。なお、応答区間は、第２話者の発話区間のうち、フィラー区間以外の発話区間とする。図１に示す例では、発話区間Ｔ２２、Ｔ２４が応答区間となる。応答時間は、第１話者の発話区間から、第２話者の応答区間までの時間である。たとえば、発話区間Ｔ１１の終了時刻から、発話区間（応答区間）Ｔ２２の開始時刻までが応答時間となる。
【００２１】
音声処理装置が、フィラー区間と、フィラー区間に続く応答区間とを基にして、判断迷い区間を判定する場合について説明する。音声処理装置は、フィラー区間の話者の声の明るさが「暗く」、かつ、応答区間の話者の声の明るさが「明るい」場合に、フィラー区間が「判断迷い区間」であると判定する。かかる条件を満たさない場合には、音声処理装置は、フィラー区間が「判断迷い区間ではない」と判定する。
【００２２】
たとえば、音声処理装置は、フィラー区間Ｔ２３の声の明るさが「暗く」、応答区間Ｔ２４の声の明るさが「明るい」ため、上記の条件を満たし、フィラー区間Ｔ２３を、「判断迷い区間」であると判定する。一方、音声処理装置は、フィラー区間Ｔ２１の声の明るさが「明るく」、応答区間Ｔ２４の声の明るさが「明るい」ため、上記の条件を満たさないので、フィラー区間Ｔ２３を「判断迷い区間」でないと判定する。
【００２３】
続いて、音声処理装置が、フィラー区間と、フィラー区間に続く応答区間と、対話全体の明るさの平均と、応答時間を基にして、判断迷い区間であるか否かを判定する場合について説明する。音声処理装置は、対話全体の明るさの平均が、閾値ＴＨ＿Ｄ’以上であり、かつ、応答時間が、閾値ＴＨ＿Ｒ以上である場合に限り、上記のフィラー区間と、フィラー区間に続く応答区間とを基にした判定を行う。これに対して、音声処理装置は、対話全体の明るさの平均が、閾値ＴＨ＿Ｄ’未満である場合には、話者に興味がないといえるため、フィラー区間と、フィラー区間に続く応答区間と音声情報の特徴によらず、フィラー区間が、「判断迷い区間ではない」と判定する。また、音声処理装置は、応答時間が閾値ＴＨ＿Ｒ未満である場合には、フィラー区間と、フィラー区間に続く応答区間と音声情報の特徴によらず、フィラー区間が、「判断迷い区間ではない」と判定する。
【００２４】
音声処理装置は、対話全体の明るさの平均と、応答時間を用いることで、フィラー区間の音声情報の特徴量および応答区間の音声情報の特徴量を解析しなくても、フィラー区間が「判断迷い区間ではない」と判定することができる。
【００２５】
次に、本実施例１に係るシステムの構成について説明する。図２は、本実施例１に係るシステムの構成を示す図である。図２に示すように、このシステムは、音声処理装置１と、マイク１０ａ，１０ｂとが含まれる。音声処理装置１は、マイク１０ａ，１０ｂに接続される。
【００２６】
マイク１０ａは、ユーザＵ１０１の音声を集音するマイクである。マイク１０ａは、集音した音声情報を、音声処理装置１に出力する。マイク１０ｂは、ユーザＵ１０２の音声を集音するマイクである。マイク１０ａは、集音した音声情報を、音声処理装置１に出力する。たとえば、ユーザＵ１０１は、第１話者に対応し、ユーザＵ１０２は、第２話者に対応する。以下の説明では適宜、ユーザＵ１０１の音声情報を「第１音声情報」と表記し、ユーザＵ１０２の音声情報を「第２音声情報」と表記する。
【００２７】
音声処理装置１は、マイク１０ａ，１０ｂから音声情報を取得し、取得した音声情報を基にして、ユーザＵ１０２の発話区間から、判断迷い区間を判定し、判定した判断迷い区間の音声情報を記憶装置に格納する装置である。
【００２８】
図３は、本実施例１に係る音声処理装置の構成を示す機能ブロック図である。図３に示すように、この音声処理装置１は、図２で説明したマイク１０ａ，１０ｂに接続される。音声処理装置１は、ＡＤ変換部２０ａ，２０ｂと、前処理部３０と、記憶部４０と、状態判定部１００とを有する。ＡＤ変換部２０ａ，２０ｂと、前処理部３０、状態判定部１００の各処理部は、例えば、ＣＰＵ（Central  Processing  Unit）やＭＰＵ（Micro  Processing  Unit）等により実現される。また、各処理部は、例えば、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等の集積回路により実現されてもよい。
【００２９】
ＡＤ変換部２０ａは、マイク１０ａから入力される第１音声情報を、アナログ信号からデジタル信号に変換するＡＤ変換回路（Analog-to-digital  converter）である。ＡＤ変換部２０ａは、デジタル信号に変換した、第１音声情報を前処理部３０に出力する。以下の説明では、デジタル信号に変換した第１音声情報を単に、第１音声情報と表記する。
【００３０】
ＡＤ変換部２０ｂは、マイク１０ｂから入力される第２音声情報を、アナログ信号からデジタル信号に変換するＡＤ変換回路である。ＡＤ変換部２０ｂは、デジタル信号に変換した、第２音声情報を前処理部３０に出力する。以下の説明では、デジタル信号に変換した第２音声情報を単に、第２音声情報と表記する。
【００３１】
前処理部３０は、第１音声情報および第２音声情報に対して各種の前処理を実行し、前処理を行った第１音声情報および第２音声情報を、状態判定部１００に出力する処理部である。たとえば、図２に示したシステムでは、マイク１０ａ，１０ｂに、ユーザＵ１０１，Ｕ１０２双方の音声が集音される場合がある。このため、前処理部３０は、第１音声情報に、ユーザＵ１０１の音声のみが含まれるように、第１音声情報から、ユーザＵ１０２の音声を取り除く前処理を行う。前処理部３０は、第２音声情報に、ユーザＵ１０２の音声のみが含まれるように、第２音声情報から、ユーザＵ１０１の音声を取り除く前処理を行う。
【００３２】
状態判定部１００は、第１音声情報および第２音声情報を取得して、発話区間を検出し、各発話区間からフィラー区間を特定する。状態判定部１００は、特定したフィラー区間に含まれる音声情報の特徴量を基にして、フィラー区間が判断迷い区間であるか否かを判定する。状態判定部１００は、フィラー区間が判断迷い区間である場合には、判断迷い区間の音声情報を、記憶部４０に格納する。本実施例では、第２音声情報の発話区間から、フィラー区間を特定し、判断迷い区間であるか否かを判定する場合について説明するが、これに限定されるものではない。状態判定部１００は、第１音声情報の発話区間から、フィラー区間を特定し、判断迷い区間であるか否かを判定してもよい。
【００３３】
記憶部４０は、判断迷い区間の音声情報を記憶する記憶装置である。記憶部４０は、たとえば、ＲＡＭ（Random  Access  Memory）、ＲＯＭ（Read  Only  Memory）、フラッシュメモリ（Flash  Memory）などの半導体メモリ素子などの記憶装置に対応する。
【００３４】
図４は、本実施例１に係る状態判定部の構成を示す機能ブロック図である。図４に示すように、状態判定部１００は、発話区間検出部１１０ａ，１１０ｂと、特定部１２０と、応答時間算出部１３０と、明るさ算出部１４０と、長期平均算出部１５０と、閾値算出部１６０と、閾値ＤＢ１７０と、判定部１８０とを有する。
【００３５】
発話区間検出部１１０ａは、第１話者（ユーザＵ１０１）の第１音声情報の入力を受け付け、第１音声情報のパワーの小さい無音区間に挟まれた区間を発話区間として算出する。発話区間検出部１１０ａは、第１音声情報の発話区間の情報を、応答時間算出部１３０に出力する。
【００３６】
たとえば、発話区間検出部１１０ａは、第１音声情報ｘ１（ｎ）のパワーを検出し、発話の有無を示す変数「ｖ１（ｔ）」を設定する。ｎは音声情報のサンプル番号を示す。ｔはフレーム番号を示す。１フレームを、３０ｍｓとする。発話区間検出部１１０ａは、１フレーム中の第１音声情報ｘ１（ｎ）のパワーが閾値未満である場合には、「発話なし」として、変数「ｖ１（ｔ）＝０」に設定する。発話区間検出部１１０ａは、１フレーム中の第１音声情報ｘ１（ｎ）のパワーが閾値以上である場合には、「発話あり」として、変数「ｖ１（ｔ）＝１」に設定する。なお、発話区間検出部１１０ａは、ＷＯ２００９／１４５１９２に記載された技術を基にして、発話の有無を判定してもよい。また、発話区間検出部１１０ａは、音声情報のパワーの代わりに、ＳＮＲ（signal-noise  ratio）を用いて、発話の有無を判定してもよい。後述する発話区間検出部１１０ｂも同様である。
【００３７】
発話区間検出部１１０ａは、変数Ｖ１（ｔ）を基にして、第１話者の発話区間の開始時刻Ｔ１ｓ（ｋ１）と、第１話者の発話区間の終了時刻Ｔ１ｅ（ｋ１）とを、応答時間算出部１３０に出力する。「ｋ１」は、第１音声情報の発話区間を識別する発話区間番号である。
【００３８】
たとえば、発話区間検出部１１０ａは、下記の式（１）、（２）に基づいて、Ｔ１ｓ（ｋ１）、Ｔ１ｅ（ｋ１）を出力する。式（１）に示すように、発話区間検出部１１０ａは、ｖ１（ｔ）の値が「０」から「１」に変化するタイミングを、発話区間の開始時刻とする。式（２）に示すように、発話区間検出部１１０ａは、ｖ１（ｔ）の値が「１」から「０」に変化するタイミングを、発話区間の終了時刻とする。
【００３９】
【数１】
2020052256.tif 000003
【数２】
2020052256.tif 000004
【００４０】
発話区間検出部１１０ｂは、第２話者（ユーザＵ１０２）の第２音声情報の入力を受け付け、第２音声情報のパワーの小さい無音区間に挟まれた区間を発話区間として算出する。発話区間検出部１１０ｂは、発話区間の情報を、特定部１２０および明るさ算出部１４０に出力する。
【００４１】
たとえば、発話区間検出部１１０ｂは、第２音声情報ｘ２（ｎ）のパワーを検出し、発話の有無を示す変数「ｖ２（ｔ）」を設定する。発話区間検出部１１０ｂは、１フレーム中の第２音声情報ｘ２（ｎ）のパワーが閾値未満である場合には、「発話なし」として、変数「ｖ２（ｔ）＝０」に設定する。発話区間検出部１１０ｂは、１フレーム中の第２音声情報ｘ２（ｎ）のパワーが閾値以上である場合には、「発話あり」として、変数「ｖ２（ｔ）＝１」に設定する。
【００４２】
発話区間検出部１１０ｂは、変数Ｖ２（ｔ）を基にして、第２話者の発話区間の開始時刻Ｔ２ｓ（ｋ２）と、第２話者の発話区間の終了時刻Ｔ２ｅ（ｋ２）とを特定部１２０および明るさ算出部１４０に出力する。「ｋ２」は、第２音声情報の発話区間を識別する発話区間番号である。
【００４３】
たとえば、発話区間検出部１１０ｂは、下記の式（３）、（４）に基づいて、Ｔ２ｓ（ｋ２）、Ｔ２ｅ（ｋ２）を出力する。式（３）に示すように、発話区間検出部１１０ｂは、ｖ２（ｔ）の値が「０」から「１」に変化するタイミングを、発話区間の開始時刻とする。式（４）に示すように、発話区間検出部１１０ｂは、ｖ２（ｔ）の値が「１」から「０」に変化するタイミングを、発話区間の終了時刻とする。
【００４４】
【数３】
2020052256.tif 000005
【数４】
2020052256.tif 000006
【００４５】
特定部１２０は、第２音声情報および第２話者の発話区間の情報を受け付け、発話区間がフィラー区間であるか否かを判定する処理部である。特定部１２０は、判定結果を応答時間算出部１３０および判定部１８０に出力する。
【００４６】
特定部１２０は、第２音声情報ｘ２（ｎ）のうち、発話区間の開始時刻Ｔ２ｓ（ｋ２）から終了時刻Ｔ２ｅ（ｋ２）に含まれる音声情報を、音声認識エンジンに入力し、音声認識結果をフィラーＤＢ（data  base）と参照することで、発話区間がフィラー区間であるかを判定する。たとえば、フィラーＤＢには、意味をなさない音声の各種情報「そうなんだ、えーっと、なんだっけ、・・・」を記憶する。特定部１２０は、音声認識結果が、フィラーＤＢの音声の情報にヒットした場合に、発話区間を、フィラー区間と特定する。また、特定部１２０は、特開２０１５−０８２０８７に記載された技術を用いて、発話区間が、フィラー区間であるか否かを判定してもよい。
【００４７】
特定部１２０は、フィラーの判定結果Ｆ（ｋ２）を、応答時間算出部１３０および判定部１８０に出力する。特定部１２０は、第２音声情報の発話区間番号「ｋ２」の発話区間が、フィラー区間であると判定した場合には、「Ｆ（ｋ２）＝１」を判定部１８０に出力する。特定部１２０は、第２音声情報の発話区間番号「ｋ２」の発話区間が、フィラー区間でないと判定した場合には、「Ｆ（ｋ２）＝０」を判定部１８０に出力する。
【００４８】
なお、音声認識は一般的に音声を文字に変換することを意味する。特定部１２０が、フィラー検出を行う場合には、文字に変換してから判定することも可能であるが、文字に変換しなくても、フィラー検出を行うことが可能である。たとえば、特定部１２０は、発話区間に含まれる韻律的特徴（アクセント、抑揚、リズムなどの特徴）や音響的特徴（音声認識の基となる特徴量など）からもフィラー区間であるか否かを検出してもよい。
【００４９】
応答時間算出部１３０は、第１話者による発話区間が終了してから、第２話者による発話区間（フィラー区間ではない発話区間）が開始されるまでの応答時間を算出する処理部である。応答時間算出部１３０は、応答時間の情報を、閾値算出部１６０および判定部１８０に出力する。
【００５０】
たとえば、応答時間算出部１３０は、式（５）を基にして、応答時間Ｒ（ｋ２）を算出する。式（５）において、Ｔ１ｅ（ｋ１）は、第１話者の発話の終了時刻である。Ｔ２ｓ（ｋ２’）は、第１話者の発話の終了時刻Ｔ１ｅ（ｋ１）から次の発話の開始時刻Ｔ１ｓ（ｋ１＋１）に含まれる、第２話者の発話区間番号ｋ２の発話区間のうち、フィラー区間ではない、最初の発話区間の開始時刻を示す。なお、第１話者の発話の終了時刻Ｔ１ｅ（ｋ１）から次の発話の開始時刻Ｔ１ｓ（ｋ１＋１）には、第２話者の複数の発話区間が含まれていてもよい。
【００５１】
【数５】
2020052256.tif 000007
【００５２】
明るさ算出部１４０は、第２音声情報および第２話者の発話区間の情報を受け付け、第２話者の発話区間の明るさの推定値Ｄを算出する処理部である。明るさ算出部１４０は、明るさの推定値Ｄの情報を、長期平均算出部１５０、閾値算出部１６０、判定部１８０に出力する。明るさの推定値Ｄは、発話区間に含まれる各基本周波数の分散に対応するものである。
【００５３】
以下において、明るさ算出部１４０の処理の一例について説明する。まず、明るさ算出部１４０は、第２話者の発話区間Ｔ２ｓ（ｋ２）〜Ｔ２ｅ（ｋ２）に含まれる第２音声情報から、基本周波数Ｐ（ｔ）を算出する。明るさ算出部１４０は、第２音声情報の自己相関関数を算出し、自己相関関数の値がピークとなる位置に基づいて、フレーム毎の基本周波数を算出する。明るさ算出部１４０は、特開平８−４４３９５に記載された技術を用いて、基本周波数を算出してもよい。
【００５４】
明るさ算出部１４０は、基本周波数Ｐ（ｔ）［Ｈｚ］を、式（６）を基にして、基本周波数Ｐ’（ｔ）［semitone］に変換する。基本周波数Ｐ’（ｔ）は、人の聴覚上の声の高さに合った対数領域での尺度により示されるものである。
【００５５】
【数６】
2020052256.tif 000008
【００５６】
明るさ算出部１４０は、基本周波数の時系列データＰ’（ｔ）から、所定フレームの移動平均により、基本周波数の長期平均Ｐ＿ａｖｅ＿ｌｏｎｇ（ｔ）を算出する。たとえば、明るさ算出部１４０は、式（７）に基づいて、Ｐ＿ａｖｅ＿ｌｏｎｇ（ｔ）を算出する。式（７）に含まれる「Ｌ」は、平均算出時の移動幅を示すものである。
【００５７】
【数７】
2020052256.tif 000009
【００５８】
明るさ算出部１４０は、発話区間番号「ｋ２」の発話区間における平均差分量（分散）を、明るさの推定値Ｄ（ｋ２）として、算出する。たとえば、明るさ算出部１４０は、式（８）を基にして、明るさの推定値Ｄ（ｋ２）を算出する。
【００５９】
【数８】
2020052256.tif 000010
【００６０】
図５は、明るさ算出部の処理を説明するための図である。図５において、グラフＧ２の横軸はフレーム数に対応する軸であり、縦軸は基本周波数Ｐ’（ｔ）［semitone］に対応する軸である。グラフＧ３の横軸は第２話者の発話区間番号ｋ２に対応する軸であり、縦軸は明るさの推定値Ｄ（ｋ２）に対応する軸である。たとえば、グラフＧ２の領域Ａ１に含まれるＰ’（ｔ）を、フレーム番号ｔ−Ｌ〜Ｌに含まれるＰ’（ｔ）の長期平均Ｐ＿ａｖｅ＿ｌｏｎｇ（ｔ）で除算することで、推定値ＤＡ１が算出される。
【００６１】
明るさ算出部１４０は、第２話者の各発話区間について、上記処理を繰り返し実行することで、各発話区間の明るさの推定値Ｄを算出する。
【００６２】
図４の説明に戻る。長期平均算出部１５０は、明るさ算出部１４０から取得する明るさの推定値の時系列データＤ（ｋ２）から、所定フレームの移動平均により、明るさの長期平均Ｄ’（ｋ２）を算出する。たとえば、長期平均算出部１５０は、式（９）を基にして、明るさの長期平均Ｄ’（ｋ２）を算出する。式（９）において、Ｌ２は、発話区間番号ｋ２の発話区間の終了時刻から所定時間後の時刻を示す。Ｌ１は、発話区間番号ｋ２の発話区間の開始時刻から所定時間前の時刻を示す。長期平均算出部１５０は、前後の会話状況の明るさを示す指標として活用する。長期平均算出部１５０は、明るさの長期平均Ｄ’（ｋ２）を判定部１８０に出力する。
【００６３】
【数９】
2020052256.tif 000011
【００６４】
閾値算出部１６０は、各種の閾値を算出し、算出した閾値の情報を判定部１８０に出力する処理部である。たとえば、閾値算出部１６０は、閾値ＴＨ＿Ｄ、閾値ＴＨ＿Ｒ、閾値ＴＨ＿Ｄ’を算出する。閾値ＴＨ＿Ｄは、発話区間の明るさの推定値Ｄと比較される閾値である。閾値ＴＨ＿Ｒは、応答時間と比較される閾値である。閾値ＴＨ＿Ｄ’は、明るさ長期平均Ｄ’と比較される閾値である。
【００６５】
閾値ＴＨ＿Ｄ、閾値ＴＨ＿Ｒ、閾値ＴＨ＿Ｄ’の初期値は、閾値ＤＢ１７０に記録されているものとする。たとえば、閾値ＴＨ＿Ｄの初期値を「１．５［semitone］」とする。閾値ＴＨ＿Ｒの初期値を「２００［Frame］」とする。閾値ＴＨ＿Ｄ’の初期値を「１．０［semitone］」とする。
【００６６】
閾値算出部１６０が、閾値ＨＴ＿Ｄを算出する処理について説明する。閾値算出部１６０は、明るさ算出部１４０から、各発話区間の明るさの推定値Ｄを取得し、取得した複数の推定値Ｄの平均ＡＶＥ＿Ｄおよび分散ＶＡＲ＿Ｄを算出する。閾値算出部１６０は、式（１０）を基にして、閾値ＨＴ＿Ｄを更新する。閾値算出部１６０は、更新した閾値ＨＴ＿Ｄの情報を、判定部１８０に出力する。式（１０）のαは係数であり、たとえば「α＝０．５」とする。
【００６７】
ＨＴ＿Ｄ＝ＡＶＥ＿Ｄ−α×ＶＡＲ＿Ｄ・・・（１０）
【００６８】
閾値算出部１６０が、閾値ＨＴ＿Ｒを算出する処理について説明する。閾値算出部１６０は、応答時間算出部１３０から、各応答時間Ｒを取得し、取得した複数の応答時間Ｒの平均ＡＶＥ＿Ｒおよび分散ＶＡＲ＿Ｒを算出する。閾値算出部１６０は、式（１１）を基にして、閾値ＨＴ＿Ｒを更新する。閾値算出部１６０は、更新した閾値ＨＴ＿Ｒの情報を、判定部１８０に出力する。式（１１）のβは係数であり、たとえば「β＝０．５」とする。
【００６９】
ＨＴ＿Ｒ＝ＡＶＥ＿Ｒ−β×ＶＡＲ＿Ｒ・・・（１１）
【００７０】
閾値算出部１６０は、閾値ＴＨ＿Ｄ’に関しては、更新処理を行わないで、そのまま、判定部１８０に出力する。
【００７１】
閾値算出部１６０は、上記の閾値ＴＨ＿Ｄ、閾値ＴＨ＿Ｒを更新する処理を定期的に行い、更新を行ったタイミングで、判定部１８０に更新した閾値ＴＨ＿Ｄ、閾値ＴＨ＿Ｒを判定部１８０に出力する。また、閾値算出部１６０は、第２話者の識別情報と対応付けて、閾値ＴＨ＿Ｄ、閾値ＴＨ＿Ｒを、閾値ＤＢ１７０に格納しておき、別の機会に第２話者の音声情報を基に「判断迷い区間ではない」を行う場合に、格納しておいた各閾値から、第２話者に対応する閾値を検索して、検索した閾値を、判定部１８０に出力してもよい。これにより、第２話者の音声情報に最適化された閾値をもちいて、処理を行うことができる。
【００７２】
判定部１８０は、各発話区間に関するフィラー区間の有無Ｆ、応答時間Ｒ、推定値Ｄ、長期平均Ｄ’を取得し、フィラー区間と判定された発話区間について、下記の処理を行うことで、フィラー区間が「判断迷い区間であるかいなか」を判定する。判定部１８０は、判断迷い区間であると判定した場合には、判断迷い区間の第２音声情報を、記憶部４０に格納する。
【００７３】
たとえば、判定部１８０は、長期平均判定処理、応答時間判定処理、フィラー明るさ判定処理、応答明るさ判定処理を行う。なお、判定部１８０は、フィラー区間ではない（Ｆ（ｋ２）＝０）発話区間については、長期平均判定処理、応答時間判定処理、フィラー明るさ判定処理、応答明るさ判定処理をスキップし「判断迷い区間ではない」と判定する。
【００７４】
長期平均判定処理について説明する。判定部１８０は、フィラー区間と判定された（Ｆ（ｋ２）＝１）の発話区間番号「ｋ２」の発話区間の明るさ長期平均Ｄ’（ｋ２）と、閾値ＴＨ＿Ｄ’とを比較し、明るさ長期平均が「明」か「暗」かを判定する。判定部１８０は、長期平均Ｄ’（ｋ２）が、閾値ＴＨ＿Ｄ’以上である場合に、発話区間番号ｋ２の発話区間の明るさ長期平均が「明」であると判定する。判定部１８０は、長期平均Ｄ’（ｋ２）が、閾値ＴＨ＿Ｄ’未満である場合に、発話区間番号ｋ２の発話区間の明るさ長期平均が「暗」であると判定する。
【００７５】
応答時間判定処理について説明する。判定部１８０は、フィラー区間と判定された（Ｆ（ｋ２）＝１）の発話区間番号「ｋ２」の発話区間に対応する応答時間Ｒ（ｋ２）と、閾値ＴＨ＿Ｒとを比較し、応答時間Ｒ（ｋ２）が「長」か「短」かを判定する。判定部１８０は、応答時間Ｒ（ｋ２）が、閾値ＴＨ＿Ｒ以上である場合に、発話区間番号ｋ２の発話区間に対応する応答時間が「長」と判定する。判定部１８０は、応答時間Ｒ（ｋ２）が、閾値ＴＨ＿Ｒ未満である場合に、発話区間番号ｋ２の発話区間に対応する応答時間が「短」と判定する。
【００７６】
判定部１８０は、長期平均判定処理の判定結果が「明」であり、かつ、応答時間判定結果が「長」である場合に、続く、フィラー明るさ判定処理、応答明るさ判定処理を行う。一方、判定部１８０は、長期平均判定処理の判定結果が「暗」である、または、応答時間判定結果が「短」である場合に、発話区間番号「ｋ２」の発話区間が、「判断迷い区間ではない」と判定し、フィラー明るさ判定処理、応答明るさ判定処理をスキップする。
【００７７】
フィラー明るさ判定処理について説明する。判定部１８０は、フィラー区間と判定された（Ｆ（ｋ２）＝１）の発話区間番号「ｋ２」の発話区間の明るさ推定値Ｄ（ｋ２）と、閾値ＴＨ＿Ｄとを比較し、明るさが「明」か「暗」かを判定する。判定部１８０は、推定値Ｄ（ｋ２）が、閾値ＴＨ＿Ｄ以上である場合に、発話区間番号ｋ２の発話区間の明るさが「明」であると判定する。判定部１８０は、推定値Ｄ（ｋ２）が、閾値ＴＨ＿Ｄ未満である場合に、発話区間番号ｋ２の発話区間の明るさが「暗」であると判定する。
【００７８】
応答明るさ判定処理について説明する。判定部１８０は、フィラー区間と判定された（Ｆ（ｋ２）＝１）の発話区間番号「ｋ２」の発話区間に続く応答区間の明るさ推定値Ｄ（ｋ２’）と、閾値ＴＨ＿Ｄとを比較し、明るさが「明」か「暗」かを判定する。判定部１８０は、推定値Ｄ（ｋ２’）が、閾値ＴＨ＿Ｄ以上である場合に、応答区間の明るさが「明」であると判定する。判定部１８０は、推定値Ｄ（ｋ２’）が、閾値ＴＨ＿Ｄ未満である場合に、応答区間の明るさが「暗」であると判定する。
【００７９】
判定部１８０は、フィラー明るさ判定処理の判定結果が「暗」であり、かつ、応答明るさ判定処理の判定結果が「明」である場合に、発話区間番号「ｋ２」の発話区間が「判断迷い区間である」と判定する。
【００８０】
なお、判定部１８０は、長期平均判定処理、応答時間判定処理、フィラー明るさ判定処理、応答明るさ判定処理をそれぞれ実行して、各判定結果をまとめて用いて、発話区間番号「ｋ２」の発話区間が「判断迷い区間であるかいなか」を判定してもよい。判定部１８０は、長期平均判定処理の結果が「明」、応答時間判定処理の結果が「長」、フィラー明るさ判定処理の結果が「暗」、応答明るさ判定処理の結果が「明」である場合に、発話区間番号「ｋ２」の発話区間が「判断迷い区間である」と判定してもよい。
【００８１】
次に、本実施例１の音声処理装置１の状態判定部１００の処理手順の一例について説明する。図６は、本実施例１に係る音声処理装置の処理手順を示すフローチャートである。図６に示すように、この音声処理装置１の状態判定部１００は、第１音声情報および第２音声情報を取得する（ステップＳ１０１）。
【００８２】
状態判定部１００の発話区間検出部１１０ａは、第１話者の発話区間を検出し、発話区間検出部１１０ｂは、第２話者の発話区間を検出する（ステップＳ１０２）。状態判定部１００の特定部１２０は、フィラー区間を検出する（ステップＳ１０３）。状態判定部１００は、フィラー区間が存在しない場合には（ステップＳ１０４，Ｎｏ）、ステップＳ１１１に移行する。
【００８３】
一方、状態判定部１００は、フィラー区間が存在する場合には（ステップＳ１０４，Ｙｅｓ）、ステップＳ１０５に移行する。状態判定部１００の応答時間算出部１３０は、応答時間Ｒを算出する（ステップＳ１０５）。状態判定部１００の明るさ算出部１４０は、明るさの推定値Ｄを算出する（ステップＳ１０６）。
【００８４】
状態判定部１００の長期平均算出部１５０は、明るさ長期平均Ｄ’を算出する（ステップＳ１０７）。状態判定部１００の判定部１８０は、各閾値判定を実行する（ステップＳ１０８）。ステップＳ１０８において、判定部１８０は、長期平均判定処理、応答時間判定処理、フィラー明るさ判定処理、応答明るさ判定処理をそれぞれ実行する。
【００８５】
判定部１８０は、発話区間が「判断迷い区間」であるか否かを判定する（ステップＳ１０９）。判定部１８０は、発話区間が「判断迷い区間」である場合には（ステップＳ１０９，Ｙｅｓ）、判定迷い区間の音声情報を記憶部４０に格納する（ステップＳ１１０）。一方、判定部１８０は、発話区間が「判断迷い区間」でない場合には（ステップＳ１０９，Ｎｏ）、ステップＳ１１１に移行する。
【００８６】
状態判定部１００は、次の会話がある場合には（ステップＳ１１１，Ｙｅｓ）、ステップＳ１０３に移行する。状態判定部１００は、次の会話がない場合には（ステップＳ１１１，Ｎｏ）、処理を終了する。
【００８７】
次に、本実施例１に係る音声処理装置１の効果について説明する。音声処理装置１は、話者の発話区間からフィラー区間を特定し、特定したフィラー区間の明るさの推定値が閾値未満である場合に、フィラー区間を判断迷い区間として判定する。これにより、ユーザが迷っている区間を正確に推定することができる。
【００８８】
また、音声処理装置１は、フィラー区間の明るさの推定値の他に、応答区間の明るさの推定値、応答時間、長期平均の判定結果の組合せを基にして、フィラー区間が判断迷い区間であるか否かを判定することで、判定精度を向上させることができる。
【００８９】
なお、話者の声の明るさは、声の高さと関係があるといわれており、声が高いと明るいと感じる。発明者は、異なる話者に関して、フィラー区間のおける音声情報の周波数の中央値と、フィラー区間の状態との関係に関して実験を行った。図７は、実験結果の一例を示す図である。図７に示すように、全体として（一部例外を除けば）、フィラー区間の状態が「記憶操作（判断迷い区間でない）」の場合と比較して、状態が「判断迷い区間」の周波数が低くなっており、話者の声の明るさが「暗い」と、フィラー区間は「判断迷い区間」であると言える。
【００９０】
図８は、音声情報の周波数の推移を説明するための図である。図８のグラフＧ４，Ｇ５の横軸は時間軸であり、縦軸は周波数（声の高さ）に対応する軸である。たとえば、グラフＧ４において、フィラー区間Ｔ３１の状態は「記憶操作（判断迷い区間でない）」である。このフィラー区間Ｔ３１の周波数は、２００〜２５０Ｈｚ付近であり、明るい声である。一方、グラフＧ５において、フィラー区間３２の状態は「判断迷い区間」である。このフィラー区間Ｔ３１の周波数は、１５０〜２００Ｈｚ付近であり、暗い声である。なお、フィラー区間３２に続く発話区間Ｔ３３の周波数は、２００〜３００Ｈｚ付近の明るい声である。
【実施例２】
【００９１】
図９は、本実施例２に係るシステムの構成を示す図である。図９に示すように、このシステムは、音声処理装置２と、マイク１０ａ，１０ｂと、収録機器３００とを有する。マイク１０ａ，１０ｂは、収録機器３００に接続される。収録機器３００は、ネットワーク５を介して、クラウド上の音声処理装置２に接続される。図示を省略するが、音声処理装置２は、複数のサーバによって構成されていてもよい。
【００９２】
マイク１０ａは、ユーザＵ１０１の音声を集音するマイクである。マイク１０ａは、集音した音声情報を、収録機器３００に出力する。マイク１０ｂは、ユーザＵ１０２の音声を集音するマイクである。マイク１０ａは、集音した音声情報を、収録機器３００に出力する。たとえば、ユーザＵ１０１は、第１話者に対応し、ユーザＵ１０２は、第２話者に対応する。以下の説明では適宜、ユーザＵ１０１の音声情報を「第１音声情報」と表記し、ユーザＵ１０２の音声情報を「第２音声情報」と表記する。
【００９３】
収録機器３００は、第１音声情報および第２音声情報を収録する装置である。収録機器３００は、第１音声情報および第２音声情報を音声ファイル化して、音声処理装置２に送信する。
【００９４】
図１０は、本実施例２に係る収録機器の構成を示す機能ブロック図である。図１０に示すように、この収録機器３００は、マイク１０ａ，１０ｂに接続される。また、収録機器３００は、ＡＤ変換部３１０ａ，３１０ｂ、音声ファイル化部３２０、送信部３３０を有する。ＡＤ変換部３１０ａ，３１０ｂ、音声ファイル化部３２０、送信部３３０の各処理部は、例えば、ＣＰＵやＭＰＵ等により実現される。また、各処理部は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されてもよい。
【００９５】
ＡＤ変換部３１０ａは、マイク１０ａから入力される第１音声情報を、アナログ信号からデジタル信号に変換するＡＤ変換回路である。ＡＤ変換部３１０ａは、デジタル信号に変換した、第１音声情報を音声ファイル化部３２０に出力する。以下の説明では、デジタル信号に変換した第１音声情報を単に、第１音声情報と表記する。
【００９６】
ＡＤ変換部３１０ｂは、マイク１０ｂから入力される第２音声情報を、アナログ信号からデジタル信号に変換するＡＤ変換回路である。ＡＤ変換部３１０ｂは、デジタル信号に変換した、第２音声情報を音声ファイル化部３２０に出力する。以下の説明では、デジタル信号に変換した第２音声情報を単に、第２音声情報と表記する。
【００９７】
音声ファイル化部３２０は、ＡＤ変換部３１０ａから第１音声情報を取得し、取得した第１音声情報を音声ファイル化する。音声ファイル化部３２０は、音声ファイル化した第１音声情報を、送信部３３０に出力する。また、音声ファイル化部３２０は、ＡＤ変換部３１０ｂから第２音声情報を取得し、取得した第２音声情報を音声ファイル化する。音声ファイル化部３２０は、音声ファイル化した第２音声情報を、送信部３３０に出力する。
【００９８】
送信部３３０は、音声ファイル化された第１音声情報を、ネットワーク５を介して、音声処理装置２に送信する。また、送信部３３０は、音声ファイル化された第２音声情報を、ネットワーク５を介して、音声処理装置２に送信する。
【００９９】
音声処理装置２は、収録機器３００から第１音声情報および第２音声情報の音声ファイルを受信する。音声処理装置２は、音声ファイルに含まれる各音声情報を基にして、ユーザＵ１０２の発話区間から、判断迷い区間を判定する。音声処理装置２は、判断迷い区間の音声情報を記憶装置に格納する。
【０１００】
図１１は、本実施例２に係る音声処理装置の構成を示す機能ブロック図である。図１１に示すように、この音声処理装置２は、受信部２１、前処理部２２、記憶部２３、状態判定部２００を有する。受信部２１、前処理部２２、記憶部２３、状態判定部２００の各処理部は、例えば、ＣＰＵやＭＰＵ等により実現される。また、各処理部は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されてもよい。
【０１０１】
受信部２１は、ネットワーク５を介して、収録機器３００から音声ファイル化された第１音声情報および第２音声情報を受信する処理部である。以下の説明では、音声ファイル化された第１音声情報および第２音声情報を単に、第１音声情報および第２音声情報と表記する。受信部２１は、第１音声情報および第２音声情報を、前処理部２２に出力する。
【０１０２】
前処理部２２は、第１音声情報および第２音声情報に対して各種の前処理を実行し、前処理を行った第１音声情報および第２音声情報を、状態判定部２００に出力する処理部である。たとえば、図９に示したシステムでは、マイク１０ａ，１０ｂに、ユーザＵ１０１，Ｕ１０２双方の音声が集音される場合がある。このため、前処理部２２は、第１音声情報に、ユーザＵ１０１の音声のみが含まれるように、第１音声情報から、ユーザＵ１０２の音声を取り除く前処理を行う。前処理部２２は、第２音声情報に、ユーザＵ１０２の音声のみが含まれるように、第２音声情報から、ユーザＵ１０１の音声を取り除く前処理を行う。
【０１０３】
状態判定部２００は、第１音声情報および第２音声情報を取得して、発話区間を検出し、各発話区間からフィラー区間を特定する。状態判定部２００は、特定したフィラー区間に含まれる音声情報の特徴量を基にして、フィラー区間が判断迷い区間であるか否かを判定する。状態判定部２００は、フィラー区間が判断迷い区間である場合には、判断迷い区間の音声情報を、記憶部２３に格納する。本実施例では、第２音声情報の発話区間から、フィラー区間を特定し、判断迷い区間であるか否かを判定する場合について説明するが、これに限定されるものではない。状態判定部２００は、第１音声情報の発話区間から、フィラー区間を特定し、判断迷い区間であるか否かを判定してもよい。
【０１０４】
たとえば、状態判定部２００は、第２音声情報に対して、短時間離散フーリエ変換を実行することで、第２音声情報を入力スペクトルに変換する。状態判定部２００は、入力スペクトルに関する特徴量を用いて、発話区間の明るさを判定する。
【０１０５】
記憶部２３は、判断迷い区間の音声情報を記憶する記憶装置である。記憶部２３は、たとえば、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子などの記憶装置に対応する。
【０１０６】
図１２は、本実施例２に係る状態判定部の構成を示す機能ブロック図である。図１２に示すように、この状態判定部２００は、発話区間検出部２１０ａ，２１０ｂと、特定部２２０と、応答時間算出部２３０と、明るさ算出部２４０と、判定部２５０とを有する。
【０１０７】
発話区間検出部２１０ａは、第１話者（ユーザＵ１０１）の第１音声情報の入力を受け付け、第１音声情報のパワーの小さい無音区間に挟まれた区間を発話区間として算出する。発話区間検出部２１０ａは、第１音声情報の発話区間の情報を、応答時間算出部１３０に出力する。発話区間検出部２１０ａが、発話区間を算出する処理は、発話区間検出部１１０ａの処理と同様である。
【０１０８】
発話区間検出部２１０ｂは、第２話者（ユーザＵ１０２）の第２音声情報の入力を受け付け、第２音声情報のパワーの小さい無音区間に挟まれた区間を発話区間として算出する。発話区間検出部２１０ｂは、第２音声情報の発話区間の情報を、特定部２２０、明るさ算出部２４０に出力する。発話区間検出部２１０ｂが、発話区間を算出する処理は、発話区間検出部１１０ｂの処理と同様である。
【０１０９】
特定部２２０は、第２音声情報および第２話者の発話区間の情報を受け付け、発話区間がフィラー区間であるか否かを判定する処理部である。特定部１２０は、判定結果を応答時間算出部２３０および判定部２５０に出力する。特定部２２０が、フィラー区間であるか否かを判定する処理は、実施例１で説明した特定部１２０の処理と同様である。
【０１１０】
応答時間算出部２３０は、第１話者による発話区間が終了してから、第２話者による発話区間（フィラー区間ではない発話区間）が開始されるまでの応答時間を算出する処理部である。応答時間算出部２３０は、応答時間の情報を、判定部２５０に出力する。応答時間算出部２３０が、応答時間を算出する処理は、実施例１で説明した応答時間算出部１３０の処理と同様である。
【０１１１】
明るさ算出部２４０は、第２音声情報および第２話者の発話区間の情報を受け付け、第２話者の発話区間の明るさの特徴量を算出する処理部である。明るさ算出部２４０は、各発話区間の明るさの特徴量の情報を、判定部２５０に出力する。
【０１１２】
以下において、明るさ算出部２４０の処理の一例について説明する。まず、明るさ算出部２４０は、第２話者の発話区間Ｔ２ｓ（ｋ２）〜Ｔ２ｅ（ｋ２）に含まれる第２音声情報ｘ２（ｎ）に対して、短期間離散フーリエ変換を実行することで、第２音声情報の入力スペクトルＸ２（ｌ）を生成する。
【０１１３】
明るさ算出部２４０は、文献（F.Eyben  et  al.,“The  Geneva  Minimalistic  Acoustic  Parameter  Set  (GeMAPS)  for  Voice  Research  and  Affective  Computing,”in  IEEE  Transactions  on  Affective  Computing,  vol.  7,  no.  2,pp.190-202,April-June  1  2016.）等に記載された方法に基づいて、入力スペクトルに関する複数の特徴量の平均、分散、中央値などの統計量を算出し、特徴ベクトルＶ（ｋｓ、ｓ）の各要素として格納する。ここで、特徴ベクトルＶの「ｓ」は、特徴量の要素数を示すものである。
【０１１４】
入力スペクトルに関する特徴量には、スペクトルの形状に関する特徴量と、音量に関する特徴量と、話速に関する特徴量とが含まれる。スペクトルの形状に関する特徴量には「Alpha  Ratio、Hammarberg  Indes、Spectral  Slope  0-500Hz、Spectral  Slope  500-1500Hz、Formant  1,2,  and  relative  energy、Harmonic  differnce  H1-H2、Harmonic  differnce  H1-A3」等が含まれる。音量に関する特徴量には「Loudness、Rate  of  loudness  peaks」等が含まれる。話速に関する特徴量には「Number  of  continuous  voiced  regions  per  second  (pseudo  syllable  rate)」等が含まれる。
【０１１５】
明るさ算出部２４０は、上記の入力スペクトルに関する複数の特徴量から、特徴ベクトルＶ（ｋｓ、ｓ）を生成しても良いし、複数の特徴量の一部から、特徴ベクトルＶ（ｋｓ、ｓ）を生成してもよい。明るさ算出部２４０は、話速に関して、音声認識を併用し、１秒当たりの文字数を、話速として算出してもよい。明るさ算出部２４０は、第２話者の各発話区間について、特徴ベクトルを算出し、判定部２５０に出力する。
【０１１６】
なお、明るさ算出部２４０は、次のような事前処理を行う。明るさ算出部２４０は、判定部２５０から教師データを受け付けた場合に、教師データに対して上記の処理を実行することで、特徴ベクトルＶを算出する。明るさ算出部２４０は、教師データに対して算出した特徴ベクトルＶを、判定部２５０に出力する。教師データに対応する特徴ベクトルＶは、閾値を決定する場合に用いられる。
【０１１７】
判定部２５０は、各発話区間に関するフィラー区間の有無Ｆ、応答時間Ｒ、特徴ベクトルＶを取得し、下記の処理を行うことで、フィラー区間が「判断迷い区間であるかいなか」を判定する。判定部２５０は、判断迷い区間であると判定した場合には、判断迷い区間の第２音声情報を、記憶部２３に格納する。
【０１１８】
まず、判定部２５０の事前処理について説明する。かかる事前処理を実行することで、特徴ベクトルＶ（ｋ２、ｓ）を「明」または「暗」に分類する閾値ＴＨ＿Ｖ（ｓ）を準備する。判定部２５０は、明るさの判定結果が「明」と判断されたフィラー区間の音声情報と、応答区間の音声情報との教師データを事前に収集しておく。判定部２５０は、教師データを、明るさ算出部２４０に出力し、教師データに対応する特徴ベクトルＶ（ｋ２、ｓ）を取得する。判定部２５０は、特徴ベクトルＶ（ｋ２、ｓ）と正解ラベルとの組をサポートベクターマシンに入力し、「明」または「暗」の２クラス分類を実行する。判定部２５０は、「明」または「暗」の２クラス分類の境界面を、明るさ閾値ＴＨ＿Ｖ（ｓ）とする。応答時間の閾値ＴＨ＿Ｒの値は、予め設定さているものとする。
【０１１９】
判定部２５０が「判断迷い区間であるかいなか」を判定する処理について説明する。判定部２５０は、フィラー区間の特徴ベクトルＶ（ｋ２、ｓ）と、閾値ＴＨ＿Ｖ（ｓ）とを比較し、特徴ベクトルＶ（ｋｓ、ｓ）が、閾値ＴＨ＿Ｖ（ｓ）以上である場合に、フィラー区間が「明」であると判定する。判定部２５０は、フィラー区間の特徴ベクトルＶ（ｋ２、ｓ）と、閾値ＴＨ＿Ｖ（ｓ）とを比較し、特徴ベクトルＶ（ｋｓ、ｓ）が、閾値ＴＨ＿Ｖ（ｓ）未満である場合に、フィラー区間が「暗」であると判定する。なお、判定部２５０は、フィラー区間の特徴ベクトルＶ（ｋ２、ｓ）を、学習済みのベクターマシーンに入力して、「明」または「暗」を判定してもよい。
【０１２０】
判定部２５０は、応答区間の特徴ベクトルＶ（ｋ２、ｓ）と、閾値ＴＨ＿Ｖ（ｓ）とを比較し、特徴ベクトルＶ（ｋｓ、ｓ）が、閾値ＴＨ＿Ｖ（ｓ）以上である場合に、応答区間が「明」であると判定する。判定部２５０は、応答区間の特徴ベクトルＶ（ｋ２、ｓ）と、閾値ＴＨ＿Ｖ（ｓ）とを比較し、特徴ベクトルＶ（ｋｓ、ｓ）が、閾値ＴＨ＿Ｖ（ｓ）未満である場合に、応答区間が「暗」であると判定する。なお、判定部２５０は、応答区間の特徴ベクトルＶ（ｋ２、ｓ）を、学習済みのベクターマシーンに入力して、「明」または「暗」を判定してもよい。
【０１２１】
また、判定部２５０は、実施例１で説明した判定部１８０と同様にして、フィラー区間と判定された（Ｆ（ｋ２）＝１）の発話区間番号「ｋ２」の発話区間に対応する応答時間Ｒ（ｋ２）と、閾値ＴＨ＿Ｒとを比較し、応答時間Ｒ（ｋ２）が「長」か「短」かを判定する。
【０１２２】
判定部２５０は、フィラー区間の判定結果が「暗」、かつ、応答区間の判定結果が「明」、かつ、応答時間が「長」である場合おいて、フィラー区間が「判断迷い区間である」と判定する。これに対して、判定部２５０は、フィラー区間の判定結果が「明」、応答区間の判定結果が「暗」、または、応答時間が「長」である場合において、フィラー区間が「判断迷い区間でない」と判定する。
【０１２３】
次に、本実施例２の音声処理装置２の状態判定部２００の処理手順の一例について説明する。図１３は、本実施例２に係る音声処理装置の処理手順を示すフローチャートである。図１３に示すように、この音声処理装置２の状態判定部２００は、第１音声情報および第２音声情報を取得する（ステップＳ２０１）。
【０１２４】
状態判定部２００の発話区間検出部２１０ａは、第１話者の発話区間を検出し、発話区間検出部２１０ｂは、第２話者の発話区間を検出する（ステップＳ２０２）。状態判定部２００の特定部２２０は、フィラー区間を検出する（ステップＳ２０３）。状態判定部２００は、フィラー区間が存在しない場合には（ステップＳ２０４，Ｎｏ）、ステップＳ２０９に移行する。
【０１２５】
一方、状態判定部２００は、フィラー区間が存在する場合には（ステップＳ２０４，Ｙｅｓ）、ステップＳ２０５に移行する。状態判定部２００の応答時間算出部２３０は、応答時間Ｒを算出する（ステップ２０５）。状態判定部２００の明るさ算出部２４０は、明るさの特徴ベクトルを算出する（ステップＳ２０６）。
【０１２６】
判定部２５０は、発話区間が「判断迷い区間」であるか否かを判定する（ステップＳ２０７）。判定部２５０は、発話区間が「判断迷い区間」である場合には（ステップＳ２０７，Ｙｅｓ）、判定迷い区間の音声情報を記憶部２３に格納する（ステップＳ２０８）。一方、判定部２５０は、発話区間が「判断迷い区間」でない場合には（ステップＳ２０７，Ｎｏ）、ステップＳ２０９に移行する。
【０１２７】
状態判定部２００は、次の会話がある場合には（ステップＳ２０９，Ｙｅｓ）、ステップＳ２０３に移行する。状態判定部２００は、次の会話がない場合には（ステップＳ２０９，Ｎｏ）、処理を終了する。
【０１２８】
次に、本実施例２に係る音声処理装置２の効果について説明する。音声処理装置２は、話者の発話区間からフィラー区間を特定し、特定したフィラー区間のスペクトルの特徴量を基にして、フィラー区間を判断迷い区間として判定する。これにより、ユーザが迷っている区間を正確に推定することができる。
【０１２９】
ところで、上述した状態判定部２００の処理は一例であり、その他の処理を行ってもよい。たとえば、明るさ算出部２４０は、明るさの特徴量を、教師ありの機械学習により予め生成してもよい。明るさ算出部２４０は、明るさの判定結果が「明」と判断されたフィラー区間の音声情報と、応答区間の音声情報との教師データを事前に収集しておく。
【０１３０】
明るさ算出部２４０は、文献（SoundNet:Learning  Sound  Representations  from  Unlabeled  Video  Yusuf  Aytar,Carl  Vondrick,Antonio  Torralba  NIPS  2016）に記載されているＤＮＮモデルに、上記の教師データを入力して分類器を学習する。
【０１３１】
明るさ算出部２４０は、かかる分類器を学習しておき、発話区間の音声情報を分類器に入力し、分類器の出力層（最終層）の一つ手前の層から出力される情報を、特徴量ベクトルＷ（ｋ２，ｕ）として算出する。ここで、特徴ベクトルＷの「ｕ」は、特徴ベクトルの要素数を示すものである。明るさ算出部２４０は、特徴量ベクトルＷを、判定部２５０に出力する。
【０１３２】
なお、判定部２５０は、事前処理を実行し、特徴ベクトルＷ（ｋ２、ｕ）を「明」または「暗」に分類する閾値ＴＨ＿Ｗ（ｕ）を準備する。判定部２５０は、明るさの判定結果が「明」と判断されたフィラー区間の音声情報と、応答区間の音声情報との教師データを事前に収集しておく。判定部２５０は、教師データを、明るさ算出部２４０に出力し、教師データに対応する特徴量ベクトルＷ（ｋ２、ｕ）を取得する。判定部２５０は、特徴量ベクトルＷ（ｋ２、ｕ）と正解ラベルとの組をサポートベクターマシンに入力し、「明」または「暗」の２クラス分類を実行する。判定部２５０は、「明」または「暗」の２クラス分類の境界面を、明るさ閾値ＴＨ＿Ｗ（ｓ）とする。応答時間の閾値ＴＨ＿Ｒの値は、予め設定さているものとする。
【０１３３】
判定部２５０は、フィラー区間の特徴量ベクトルＷ（ｋ２、ｕ）と、閾値ＴＨ＿Ｗ（ｓ）とを比較し、特徴量ベクトルＷ（ｋｓ、ｕ）が、閾値ＴＨ＿Ｗ（ｕ）以上である場合に、フィラー区間が「明」であると判定する。判定部２５０は、フィラー区間の特徴量ベクトルＶ（ｋ２、ｕ）と、閾値ＴＨ＿Ｗ（ｕ）とを比較し、特徴ベクトルＷ（ｋｓ、ｕ）が、閾値ＴＨ＿Ｗ（ｕ）未満である場合に、フィラー区間が「暗」であると判定する。なお、判定部２５０は、フィラー区間の特徴ベクトルＶ（ｋ２、ｓ）を、学習済みのベクターマシーンに入力して、「明」または「暗」を判定してもよい。
【０１３４】
判定部２５０は、フィラー区間の判定結果が「暗」、かつ、応答区間の判定結果が「明」、かつ、応答時間が「長」である場合おいて、フィラー区間が「判断迷い区間である」と判定する。これに対して、判定部２５０は、フィラー区間の判定結果が「明」、応答区間の判定結果が「暗」、または、応答時間が「長」である場合において、フィラー区間が「判断迷い区間でない」と判定する。
【０１３５】
次に、上記実施例に示した音声処理装置１，２と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図１４は、音声処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
【０１３６】
図１４に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、ユーザからのデータの入力を受け付ける入力装置３０２と、ディスプレイ３０３とを有する。また、コンピュータ３００は、記憶媒体からプログラム等を読み取る読み取り装置３０４と、有線または無線ネットワークを介して収録機器等との間でデータの授受を行うインターフェース装置３０５とを有する。また、コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０６と、ハードディスク装置３０７とを有する。そして、各装置３０１〜３０７は、バス３０８に接続される。
【０１３７】
ハードディスク装置３０７は、発話区間検出プログラム３０７ａ、特定プログラム３０７ｂ、応答時間算出プログラム３０７ｃ、明るさ算出プログラム３０７ｄ、長期平均算出プログラム３０７ｅを有する。また、ハードディスク装置３０７は、閾値算出プログラム２０７ｆ、判定プログラム３０７ｇを有する。ＣＰＵ５０１は、各プログラム３０７ａ〜３０７ｇを読み出してＲＡＭ３０６に展開する。
【０１３８】
発話区間検出プログラム３０７ａは、発話区間検出プロセス３０６ａとして機能する。特定プログラム３０７ｂは、特定プロセス３０６ｂとして機能する。応答時間算出プログラム３０７ｃは、応答時間算出プロセス３０６ｃとして機能する。明るさ算出プログラム３０７ｄは、明るさ算出プロセス３０６ｄとして機能する。長期平均算出プログラム３０７ｅは、長期平均算出プロセス３０６ｅとして機能する。閾値算出プログラム３０７ｆは、閾値算出プロセス３０６ｆとして機能する。判定プログラム３０７ｇは、判定プロセス３０６ｆとして機能する。
【０１３９】
発話区間検出プロセス３０６ａの処理は、発話区間検出部１１０ａ，１１０ｂ，２１０ａ，２１０ｂの処理に対応する。特定プロセス３０６ｂは、特定部１２０，２２０の処理に対応する。応答時間算出プロセス３０６ｃの処理は、応答時間算出部１３０，２３０の処理に対応する。明るさ算出プロセス３０６ｄは、明るさ算出部１４０，２４０の処理に対応する。長期平均算出プロセス３０６ｅは、長期平均算出部１５０の処理に対応する。閾値算出プロセス３０６ｆは、閾値算出部１６０の処理に対応する。判定プロセス３０６ｇは、判定部３６０ｇの処理に対応する。
【０１４０】
なお、各プログラム３０７ａ〜３０７ｇについては、必ずしも最初からハードディスク装置３０７に記憶させておかなくても良い。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ５００が各プログラム３０７ａ〜３０７ｇを読み出して実行するようにしても良い。
【０１４１】
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
【０１４２】
（付記１）音声情報から複数の発話区間を検出し、
前記複数の発話区間からフィラーを検出した発話区間をフィラー区間として特定し、
前記フィラー区間の音声情報の特徴量を基にして、前記フィラー区間の音声情報が、ユーザが判断に迷っている場合に発話される音声情報であるか否かを判定する
処理をコンピュータに実行させることを特徴とする音声処理プログラム。
【０１４３】
（付記２）前記判定する処理は、前記フィラー区間の音声情報の特徴量と、前記フィラー区間に続く前記発話区間の音声情報の特徴量とを基にして、前記フィラー区間の音声情報が、ユーザが判断に迷っている場合に発話される音声情報であるか否かを判定することを特徴とする付記１に記載の音声処理プログラム。
【０１４４】
（付記３）前記判定する処理は、第１のユーザの発話区間から第２のユーザの発話区間までの応答時間を更に用いて、前記フィラー区間の音声情報が、前記第２のユーザが判断に迷っている場合に発話される音声情報であるか否かを判定することを特徴とする付記１または２に記載の音声処理プログラム。
【０１４５】
（付記４）前記判定する処理は、前記第２のユーザの各発話区間から算出された各特徴量の平均値を算出し、前記各特徴量の平均値を更に用いて、前記第２のユーザが判断に迷っている場合に発話される音声情報であるか否かを判定することを特徴とする付記３に記載の音声処理プログラム。
【０１４６】
（付記５）前記判定する処理は、前記音声情報の基本周波数を基に算出される分散を、前記特徴量として用いることを特徴とする付記１〜４のいずれか一つに記載の音声処理プログラム。
【０１４７】
（付記６）前記判定する処理は、前記音声情報をスペクトルに変換し、前記スペクトルの特徴を前記特徴量として用いることを特徴とする付記１〜４のいずれか一つに記載の音声処理プログラム。
【０１４８】
（付記７）前記判定する処理は、前記特徴量と、前記特徴量に対応する音声情報が明るい音声であるか否かの情報とを対応付けた教師データにより学習された分類器に、前記特徴量を入力して得られる結果を基にして、前記フィラー区間の音声情報が、ユーザが判断に迷っている場合に発話される音声情報であるか否かを判定することを特徴とする付記１に記載の音声処理プログラム。
【０１４９】
（付記８）前記判定する処理は、前記第２のユーザに対応する第１閾値、第２閾値、第３閾値を取得し、前記フィラー区間の音声情報の特徴量と前記第１閾値との比較結果、前記フィラー区間に続く前記発話区間の音声情報の特徴量と前記第１閾値との比較結果、前記応答時間と前記第２閾値との比較結果、前記各特徴量の平均値と前記第３閾値との比較結果を基にして、前記フィラー区間の音声情報が、ユーザが判断に迷っている場合に発話される音声情報であるか否かを判定することを特徴とする付記４に記載の音声処理プログラム。
【０１５０】
（付記９）コンピュータが実行する音声処理方法であって、
音声情報から複数の発話区間を検出し、
前記複数の発話区間からフィラーを検出した発話区間をフィラー区間として特定し、
前記フィラー区間の音声情報の特徴量を基にして、前記フィラー区間の音声情報が、ユーザが判断に迷っている場合に発話される音声情報であるか否かを判定する
処理を実行することを特徴とする音声処理方法。
【０１５１】
（付記１０）前記判定する処理は、前記フィラー区間の音声情報の特徴量と、前記フィラー区間に続く前記発話区間の音声情報の特徴量とを基にして、前記フィラー区間の音声情報が、ユーザが判断に迷っている場合に発話される音声情報であるか否かを判定することを特徴とする付記９に記載の音声処理方法。
【０１５２】
（付記１１）前記判定する処理は、第１のユーザの発話区間から第２のユーザの発話区間までの応答時間を更に用いて、前記フィラー区間の音声情報が、前記第２のユーザが判断に迷っている場合に発話される音声情報であるか否かを判定することを特徴とする付記９または１０に記載の音声処理方法。
【０１５３】
（付記１２）前記判定する処理は、前記第２のユーザの各発話区間から算出された各特徴量の平均値を算出し、前記各特徴量の平均値を更に用いて、前記第２のユーザが判断に迷っている場合に発話される音声情報であるか否かを判定することを特徴とする付記１１に記載の音声処理方法。
【０１５４】
（付記１３）前記判定する処理は、前記音声情報の基本周波数を基に算出される分散を、前記特徴量として用いることを特徴とする付記９〜１２のいずれか一つに記載の音声処理方法。
【０１５５】
（付記１４）前記判定する処理は、前記音声情報をスペクトルに変換し、前記スペクトルの特徴を前記特徴量として用いることを特徴とする付記９〜１２のいずれか一つに記載の音声処理方法。
【０１５６】
（付記１５）前記判定する処理は、前記特徴量と、前記特徴量に対応する音声情報が明るい音声であるか否かの情報とを対応付けた教師データにより学習された分類器に、前記特徴量を入力して得られる結果を基にして、前記フィラー区間の音声情報が、ユーザが判断に迷っている場合に発話される音声情報であるか否かを判定することを特徴とする付記９に記載の音声処理方法。
【０１５７】
（付記１６）前記判定する処理は、前記第２のユーザに対応する第１閾値、第２閾値、第３閾値を取得し、前記フィラー区間の音声情報の特徴量と前記第１閾値との比較結果、前記フィラー区間に続く前記発話区間の音声情報の特徴量と前記第１閾値との比較結果、前記応答時間と前記第２閾値との比較結果、前記各特徴量の平均値と前記第３閾値との比較結果を基にして、前記フィラー区間の音声情報が、ユーザが判断に迷っている場合に発話される音声情報であるか否かを判定することを特徴とする付記１２に記載の音声処理方法。
【０１５８】
（付記１７）音声情報から複数の発話区間を検出する発話区間検出部と、
前記複数の発話区間からフィラーを検出した発話区間をフィラー区間として特定する特定部と、
前記フィラー区間の音声情報の特徴量を基にして、前記フィラー区間の音声情報が、ユーザが判断に迷っている場合に発話される音声情報であるか否かを判定する判定部と
を有することを特徴とする音声処理装置。
【０１５９】
（付記１８）前記判定部は、前記フィラー区間の音声情報の特徴量と、前記フィラー区間に続く前記発話区間の音声情報の特徴量とを基にして、前記フィラー区間の音声情報が、ユーザが判断に迷っている場合に発話される音声情報であるか否かを判定することを特徴とする付記１７に記載の音声処理装置。
【０１６０】
（付記１９）前記判定部は、第１のユーザの発話区間から第２のユーザの発話区間までの応答時間を更に用いて、前記フィラー区間の音声情報が、前記第２のユーザが判断に迷っている場合に発話される音声情報であるか否かを判定することを特徴とする付記１７または１８に記載の音声処理装置。
【０１６１】
（付記２０）前記判定部は、前記第２のユーザの各発話区間から算出された各特徴量の平均値を算出し、前記各特徴量の平均値を更に用いて、前記第２のユーザが判断に迷っている場合に発話される音声情報であるか否かを判定することを特徴とする付記１９に記載の音声処理装置。
【０１６２】
（付記２１）前記判定部は、前記音声情報の基本周波数を基に算出される分散を、前記特徴量として用いることを特徴とする付記１７〜２０のいずれか一つに記載の音声処理装置。
【０１６３】
（付記２２）前記判定部は、前記音声情報をスペクトルに変換し、前記スペクトルの特徴を前記特徴量として用いることを特徴とする付記１７〜２０のいずれか一つに記載の音声処理装置。
【０１６４】
（付記２３）前記判定部は、前記特徴量と、前記特徴量に対応する音声情報が明るい音声であるか否かの情報とを対応付けた教師データにより学習された分類器に、前記特徴量を入力して得られる結果を基にして、前記フィラー区間の音声情報が、ユーザが判断に迷っている場合に発話される音声情報であるか否かを判定することを特徴とする付記１７に記載の音声処理装置。
【０１６５】
（付記２４）前記判定部は、前記第２のユーザに対応する第１閾値、第２閾値、第３閾値を取得し、前記フィラー区間の音声情報の特徴量と前記第１閾値との比較結果、前記フィラー区間に続く前記発話区間の音声情報の特徴量と前記第１閾値との比較結果、前記応答時間と前記第２閾値との比較結果、前記各特徴量の平均値と前記第３閾値との比較結果を基にして、前記フィラー区間の音声情報が、ユーザが判断に迷っている場合に発話される音声情報であるか否かを判定することを特徴とする付記２０に記載の音声処理装置。
【符号の説明】
【０１６６】
１，２    音声処理装置
５    ネットワーク
１０ａ，１０ｂ    マイク
２０ａ，２０ｂ，３１０ａ，３１０ｂ    ＡＤ変換部
２１    受信部
２２，３０    前処理部
２３，４０    記憶部
１００，２００    状態判定部
１１０ａ，１１０ｂ，２１０ａ，２１０ｂ    発話区間検出部
１２０，２２０    特定部
１３０，２３０    応答時間算出部
１４０，２４０    明るさ算出部
１５０    長期平均算出部
１６０    閾値算出部
１７０    閾値ＤＢ
１８０，２５０    判定部
３００    収録機器
３２０    音声ファイル化部
３３０    送信部
【図１】
2020052256.tif 000012
【図２】
2020052256.tif 000013
【図３】
2020052256.tif 000014
【図４】
2020052256.tif 000015
【図５】
2020052256.tif 000016
【図６】
2020052256.tif 000017
【図７】
2020052256.tif 000018
【図８】
2020052256.tif 000019
【図９】
2020052256.tif 000020
【図１０】
2020052256.tif 000021
【図１１】
2020052256.tif 000022
【図１２】
2020052256.tif 000023
【図１３】
2020052256.tif 000024
【図１４】
2020052256.tif 000025
【図１５】
2020052256.tif 000026