(57)【要約】【課題】自動音声応答に際し、従来に比べ利用者側の使いにくさを改善することができる自動音声応答装置を提供する。【解決手段】音声自動応答装置１０は、利用者１からの音声信号を背景音と音声とに分離するスプリッター１１と、分離された背景音をもとに利用者１の置かれている背景状態を認識する背景状態認識部１２と、分離された音声をもとに利用者個人の状態である利用者状態を認識する利用者状態認識部１３と、認識された背景状態と利用者状態とに基づいて利用者１に応答するための応答内容を生成する応答内容生成部１４と、生成された応答内容をもとに音声を合成して出力する音声合成部１５とを備える。【選択図】  図１
2013207508.tif 000002
【特許請求の範囲】
【請求項１】
利用者からの音声信号を背景音と音声とに分離するスプリッターと、
前記背景音をもとに前記利用者の置かれている背景状態を認識する背景状態認識部と、
前記音声をもとに前記利用者個人の状態である利用者状態を認識する利用者状態認識部と、
前記背景状態と前記利用者状態とに基づいて前記利用者に応答するための応答内容を生成する応答内容生成部と、
前記応答内容をもとに音声を合成して出力する音声合成部と
を備えたことを特徴とする自動音声応答装置。
【請求項２】
前記背景状態認識部は、複数の背景音を周波数分布に変換しその背景音に係る背景状態を対応させて格納した背景状態データベースを備え、前記格納された複数の背景音の周波数分布と前記分離された背景音の周波数分布との相関係数をそれぞれ求め、最大の相関係数を示す背景音に対応する背景状態を、前記利用者の置かれている背景状態として認識することを特徴とする請求項１に記載の自動音声応答装置。
【請求項３】
前記背景状態認識部は、さらに前記分離された背景音の大きさによって、前記利用者の置かれている背景状態を認識することを特徴とする請求項２に記載の自動音声応答装置。
【請求項４】
前記利用者状態認識部は、複数の利用者状態に対応した音声を周波数分布に変換して得られた中心周波数の値および発話ピッチの変動値をスコアにしてそれぞれ格納した利用者状態データベースを備え、前記分離された音声を周波数分布に変換して得られた中心周波数および発話ピッチに相当するスコアをそれぞれ前記利用者状態データベースから求め、前記求めた中心周波数に相当するスコアおよび発話ピッチに相当するスコアの合計が最大の値を示す音声に対応する利用者状態を前記利用者個人の状態である利用者状態として認識することを特徴とする請求項１〜３のいずれかに記載の自動音声応答装置。
【請求項５】
前記利用者状態データベースは、さらに複数の利用者状態に対応した音声の大きさの値をスコアにして格納するものであり、前記分離された音声の大きさに相当するスコアを前記利用者状態データベースから求め、前記求めた中心周波数に相当するスコア、発話ピッチに相当するスコアおよび音声の大きさに相当するスコアの合計が最大の値を示す音声に対応する利用者状態を前記利用者個人の状態である利用者状態として認識することを特徴とする請求項４に記載の自動音声応答装置。
【請求項６】
前記応答内容生成部は、自動音声応答時における、音量の上げ下げ、および、男性音と女性音の切り替え、の少なくとも一方を行うことができることを特徴とする請求項１〜５のいずれかに記載の自動音声応答装置。
【請求項７】
前記応答内容生成部は、前記応答内容として、標準応答テキスト、簡略応答テキストおよびオペレータによる応答指示のいずれかを出力することを特徴とする請求項１〜６のいずれかに記載の自動音声応答装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、利用者からの電話に対し合成音声により自動で応答する自動音声応答装置に関するものである。
【背景技術】
【０００２】
自動音声応答装置は例えばコールセンタ等で従来から用いられているが、現状では発信者番号・着信番号・トーン入力といった極めて限定された選択肢の中でしか応答できない。このような場合、利用者の状態を考慮しない一方的な応答になるため、利用者に余計な負担を強いる、あるいは利用者の望む結果に到達しないなどの不都合がある。この種の装置として、たとえば、特許文献１には電話受付システムが記載されている。このシステムでは、音声パターンによる個人特定で不満度を測定しているが、音声パターン以外の状態は考慮しておらず、また当該システムへのフィードバックもないものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４０６７４８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、自動音声応答に際し、従来に比べ利用者側の使いにくさを改善することができる自動音声応答装置を提供することにある。
【課題を解決するための手段】
【０００５】
本発明は、上記目的を達成するため以下のような自動音声応答装置を提供する。
（１）利用者からの音声信号を背景音と音声とに分離するスプリッターと、
前記背景音をもとに前記利用者の置かれている背景状態を認識する背景状態認識部と、
前記音声をもとに前記利用者個人の状態である利用者状態を認識する利用者状態認識部と、
前記背景状態と前記利用者状態とに基づいて前記利用者に応答するための応答内容を生成する応答内容生成部と、
前記応答内容をもとに音声を合成して出力する音声合成部と
を備えたことを特徴とする自動音声応答装置。
（２）前記背景状態認識部は、複数の背景音を周波数分布に変換しその背景音に係る背景状態を対応させて格納した背景状態データベースを備え、前記格納された複数の背景音の周波数分布と前記分離された背景音の周波数分布との相関係数をそれぞれ求め、最大の相関係数を示す背景音に対応する背景状態を、前記利用者の置かれている背景状態として認識することを特徴とする上記（１）に記載の自動音声応答装置。
（３）前記背景状態認識部は、さらに前記分離された背景音の大きさによって、前記利用者の置かれている背景状態を認識することを特徴とする上記（２）に記載の自動音声応答装置。
（４）前記利用者状態認識部は、複数の利用者状態に対応した音声を周波数分布に変換して得られた中心周波数の値および発話ピッチの変動値をスコアにしてそれぞれ格納した利用者状態データベースを備え、前記分離された音声を周波数分布に変換して得られた中心周波数および発話ピッチに相当するスコアをそれぞれ前記利用者状態データベースから求め、前記求めた中心周波数に相当するスコアおよび発話ピッチに相当するスコアの合計が最大の値を示す音声に対応する利用者状態を前記利用者個人の状態である利用者状態として認識することを特徴とする上記（１）〜（３）のいずれかに記載の自動音声応答装置。
（５）前記利用者状態データベースは、さらに複数の利用者状態に対応した音声の大きさの値をスコアにして格納するものであり、前記分離された音声の大きさに相当するスコアを前記利用者状態データベースから求め、前記求めた中心周波数に相当するスコア、発話ピッチに相当するスコアおよび音声の大きさに相当するスコアの合計が最大の値を示す音声に対応する利用者状態を前記利用者個人の状態である利用者状態として認識することを特徴とする上記（４）に記載の自動音声応答装置。
（６）前記応答内容生成部は、自動音声応答時における音量の上げ下げおよび男性音と女性音の切り替えの少なくとも一方を行うことができることを特徴とする上記（１）〜（５）のいずれかに記載の自動音声応答装置。
（７）前記応答内容生成部は、前記応答内容として、標準応答テキスト、簡略応答テキストおよびオペレータによる応答指示のいずれかを出力することを特徴とする上記（１）〜（６）のいずれかに記載の自動音声応答装置。
【発明の効果】
【０００６】
請求項１に係る発明によれば、自動音声応答に際し、従来に比べ利用者側の使いにくさを改善することができる自動音声応答装置を提供することができる。
請求項２に係る発明によれば、利用者の置かれている背景状態を容易に認識することができる。
請求項３に係る発明によれば、利用者の置かれている背景状態に合った応答を行うことができる。
請求項４に係る発明によれば、利用者個人の状態である利用者状態を容易に認識することができる。
請求項５に係る発明によれば、利用者個人の状態である利用者状態を一層容易に認識することができる。
請求項６に係る発明によれば、利用者の置かれている背景状態や利用者個人の状態に合った応答を行うことができる。
請求項７に係る発明によれば、利用者個人の状態である利用者状態に対して柔軟に対応することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明に係る自動音声応答装置の一実施例を説明するための図である。
【図２】（ａ）〜（ｄ）は、背景状態認識部の構成例を説明するための図である。
【図３】（ａ）〜（ｄ）は、利用者状態認識部の構成例を説明するための図である。
【図４】（ａ）〜（ｃ）は、応答内容生成部の構成例を説明するための図である
【図５】図４の例における応答フローの一例を示す図である。
【発明を実施するための形態】
【０００８】
図１は、本発明に係る自動音声応答装置の一実施例を説明するための図である。本例ではコールセンタシステムを例にとって説明するが、これに限定されない。図示のように、まず利用者１がコールセンタに電話をかけると、利用者１の音声信号は一般の加入電話回線ネットワークであるＰＳＴＮ（Ｐｕｂｌｉｃ  Ｓｗｉｔｃｈｅｄ  Ｔｅｌｅｐｈｏｎｅ  Ｎｅｔｗｏｒｋｓ：公衆交換電話網）２を介してコールセンタの電話回線インタフェース部３で受信される。音声自動応答装置１０は、電話回線インタフェース部３より入力した利用者１からの発話（音声信号）に応じて、内部で生成した所定の合成音声またはオペレータ１６による音声で、電話回線インタフェース部３およびＰＳＴＮ２を介して利用者１に応答する。
【０００９】
音声自動応答装置１０は、利用者１からの音声信号を背景音と音声とに分離するスプリッター１１と、分離された背景音をもとに利用者１の置かれている背景状態を認識する背景状態認識部１２と、分離された音声をもとに利用者個人の状態である利用者状態を認識する利用者状態認識部１３と、認識された背景状態と利用者状態とに基づいて利用者１に応答するための応答内容を生成する応答内容生成部１４と、生成された応答内容（テキスト）をもとに音声を合成して出力する音声合成部１５とを備える。
【００１０】
自動音声応答装置１０は、例えば概略次のように動作する。すなわち、自動音声応答装置１０は、利用者１からの音声信号をもとに、利用者１の置かれている背景状態および利用者個人の状態を認識する。その背景状態と利用者状態の中から、最も「適している」と推定できる応答内容を選択し、自動音声応答装置の出力とする。ここで、最も「適している」と推定できる応答内容とは、例えば以下のようなことが該当する。
・背景音が大きい環境であれば合成音声の音量を上げるように調整する。
・利用者が立腹しているようであれば合成音声による応答ではなくオペレータが対応するように応答フローを調整する。
・利用者が急いでいるようであれば合成音声による応答を簡略化するように応答フローを調整する。
以上の応答内容は例示であり、本発明はこれに限定されない。
【００１１】
一方、オペレータ１６は、必要に応じて利用者の音声および合成音声の少なくとも一方をモニターすることができる。このとき、利用者１の音声（会話）が予期しない方向に流れた場合、オペレータ１６は、応答内容生成部１４または音声合成部１５の動作を制御して、会話の流れを修正する、あるいは自動応答による会話を中止して、自らの会話に切り替えることができる。なお、後述のように、応答内容生成部１４からの応答内容として、合成音声ではなく、オペレータ１６に通話切替を行うための指示が出力されることがあるが、この場合の指示は応答内容生成部１４からオペレータ１６へ電話回線インタフェース部３および音声合成部１５を介して行われる。
以下、自動音声応答装置１０の各部の構成および動作について説明する。
【００１２】
図２（ａ）〜（ｄ）は、背景状態認識部の構成例を説明するための図である。背景状態認識部１２は、図２（ａ）に示すように、背景状態認識手段１２１と、背景状態データベース１２２とを備える。背景状態データベース１２２は、予め複数の背景音を周波数分布（周波数スペクトル）に変換しその背景音に係る背景状態を対応させて格納したものである。背景状態認識手段１２１は、この格納された複数の背景音の周波数分布と、スプリッター１１で分離された背景音の周波数分布との相関係数をそれぞれ求め、最大の相関係数を示す背景音に対応する背景状態を、利用者の置かれている背景状態として認識し出力する。
【００１３】
図２（ｂ）は、背景音の元信号１２３と、その周波数分布１２４の概念図を示すものである。図２（ｃ）は、背景状態データベース１２２に格納されている複数の背景音の周波数分布とそれに対応する背景状態の関係を示すものである。図中の周波数分布１２５，１２６，１２７は、それぞれ背景状態として車中、雨、繁華街に対応する。周波数分布は正規化されている。図２（ｄ）は、スプリッター１１で分離された背景音の周波数分布１２４と、背景状態データベース１２２に格納された背景音の周波数分布１２５，１２６，１２７との相関係数を示す図である。図中で最大の相関係数は、周波数分布１２４と１２５の０．９５である。この場合、図２（ｃ）の周波数分布１２５に対応する「車中」が利用者１の置かれている背景状態と認識される。
【００１４】
背景状態認識部１２は、さらにスプリッター１１で分離された背景音の大きさ（レベル）の大小によって、利用者の置かれている背景状態を別の観点から認識することができる。例えば、背景音の大きさが予め決められた閾値以上の場合は、利用者の置かれている背景状態は「喧騒」、また背景音レベルが上記閾値未満の場合は、利用者の置かれている背景状態は「静寂」として認識することができる。
【００１５】
図３（ａ）〜（ｄ）は、利用者状態認識部の構成例を説明するための図である。利用者状態認識部１３は、図３（ａ）に示すように、利用者状態認識手段１３１と、利用者状態データベース１３２とを備える。利用者状態データベース１３２は、複数の利用者状態に対応した音声を周波数分布に変換して得られた中心周波数の値および発話ピッチの変動値をスコアにしてそれぞれ格納したものである。利用者状態認識手段１３１は、スプリッター１１で分離された音声を周波数分布に変換して得られた中心周波数および発話ピッチに相当するスコアをそれぞれ利用者状態データベース１３２から求め、この求めた中心周波数に相当するスコアおよび発話ピッチに相当するスコアの合計が最大の値を示す音声に対応する利用者状態を、利用者個人の状態である利用者状態として認識し出力する。
【００１６】
利用者状態データベース１３２は、さらに複数の利用者状態に対応した音声の大きさ（レベル）の値をスコアにして格納することができる。この場合、利用者状態認識手段１３１は、スプリッター１１で分離された音声の大きさに相当するスコアを利用者状態データベース１３２から求め、上記で求めた中心周波数に相当するスコア、発話ピッチに相当するスコアおよび今回求めた音声の大きさに相当するスコアの合計が最大の値を示す音声に対応する利用者状態を、利用者個人の状態である利用者状態として認識し出力することができる。
【００１７】
図３（ｂ）は、音声の元信号１３３と、その周波数分布１３４の概念図を示すものである。図３（ｃ）は、利用者状態データベース１３２に格納されている複数の利用者状態（男性、女性、緊急、立腹）に対応した音声を周波数分布に変換して得られた中心周波数（ｋＨｚ）の値、発話ピッチ（％）の変動値、および発話レベル（ｄＢ）（音声の大きさ）をそれぞれスコアにしたものである。たとえば、図３（ｃ）中の網掛け部に示すように、音声の元信号１３３を周波数分布１３４に変換して得られた中心周波数が１．８ｋＨｚ、発話ピッチが０％、発話レベルが−２０ｄＢの場合、各利用者状態のスコアの合計は、図３（ｄ）に示すようになる。すなわち、利用者状態として、「男性」がスコアの合計３０、「女性」がスコアの合計１０、「緊急」がスコアの合計０、「立腹」がスコアの合計１０である。この場合、スコアの合計が最大の値を示す「男性」が、利用者個人の利用者状態と認識される。なお、本例では、中心周波数、発話ピッチ、発話レベルは例えば以下のようにして求める。中心周波数は音声を変換して得られた周波数分布におけるピーク周波数とする。発話ピッチは一定時間あたりの中心周波数の遷移頻度とする。発話レベルは一定レベルである時報の音量と比較して求める。
【００１８】
図４（ａ）〜（ｃ）は、応答内容生成部の構成例を説明するための図である。応答内容生成部１４は、図４（ａ）に示すように、応答内容生成手段１４１と、応答方向データベース１４２とを備える。応答方向データベース１４２は、図４（ｂ）に示すように、応答方向として、Ａ１：音量（上）、Ａ２：音量（下）、Ｂ１：話者切替（男性音）、Ｂ２：話者切替（女性音）、Ｃ１：内容（オペレータ）、Ｃ２：内容（標準）、Ｃ３：内容（簡略）を有する。そして、各応答方向に対応して背景状態（喧騒、静寂、車中、雨、繁華街）、および利用者状態（男性、女性、緊急、立腹）が、それぞれの状態に応じてスコアで表されている。図４（ｂ）中の網掛け部は、背景状態認識部１２から出力された背景状態が「喧騒」および「繁華街」であり、利用者状態認識部１３から出力された利用者状態が「緊急」であることを示している。
【００１９】
応答内容生成手段１４１は、次のようにして応答内容（テキスト）を生成し、音声合成部に出力する。図４（ｃ）に示すように、各応答方向のスコアの合計は、「Ａ１：音量（上）」が７０、「Ａ２：音量（下）」が０、「Ｂ１：話者切替（男性音）」が０、「Ｂ２：話者切替（女性音）」が０、「Ｃ１：内容（オペレータ）」が３０、「Ｃ２：内容（標準）」が０、「Ｃ３：内容（簡略）」が１００となる。Ａ１とＡ２の比較では、Ａ１のスコアの合計が最大の値を示すので、「Ａ１：音量（上）」が応答内容として選択される。Ｂ１とＢ２の比較では、両者のスコアの合計が同値を示すので、応答内容として話者切替は行われず、前回男性音の場合はそのまま男性音とされ、前回女性音の場合はそのまま女性音とされる。Ｃ１とＣ２とＣ３の比較では、Ｃ３のスコアの合計が最大の値を示すので、応答内容として「Ｃ３：内容（簡略）」が選択される。なお、応答方向Ａ１，Ａ２のスコアの合計が同値の場合は、音量変更なしとすることができる。また、応答方向Ｃ１−Ｃ３のスコアの合計が同値の場合は、応答方向を前回と変更なしとすることができる。
【００２０】
このように、応答内容生成部１４は、自動音声応答時における合成音声の音量の上げ下げおよび男性音と女性音の切り替えの少なくとも一方を行うことができる。また、応答内容生成部１４は、応答内容として、「Ｃ２：内容（標準）」（標準応答テキスト）、「Ｃ３：内容（簡略）」（簡略応答テキスト）、および「Ｃ１：内容（オペレータ）」（オペレータによる応答指示）のいずれかを出力することができる。
【００２１】
図５は、図４の例における応答フローの一例を示す図である。まず、応答内容生成手段は、ステップ５１において、応答内容として、「お電話ありがとうございます。こちらはＸＸＸＸに関するお問い合わせを受け付けておりますＸＸＸＸセンターでございます。ご用件はお客様の音声、または電話機をご利用いただけます。」をテキストとして生成する。この場合、上述のように応答方向Ａ１，Ａ２に関し、Ａ１の「音量（上）」５６が選択されているので、応答内容として合成音声の音量を上げる指示が含まれる。また、上述のように応答方向Ｂ１，Ｂ２に関しスコアが同値のため「話者切替なし」５７とされるので、応答内容として、合成音声は前回男性音の場合はそのまま男性音とされ、前回女性音の場合はそのまま女性音とされる指示を含む。
【００２２】
次に、ステップ５２において、上述のように応答方向Ｃ１−Ｃ３に関し、Ｃ３の「内容（簡略）」５８が選択されているので、応答内容として、ステップ５３の「商品のご案内であれば１を、ご購入済みの商品のお問い合わせであれば２を…」をテキストとして生成する。仮に、Ｃ２の「内容（標準）」が選択された場合は、応答内容として、ステップ５４の「ご用件をお願いします。電話機を操作する場合、商品のご案内であれば１を、ご購入済みの商品に関するお問い合わせであれば２を…」をテキストとして生成し、Ｃ１の「内容（オペレータ）」が選択された場合は、応答内容として、ステップ５５の「オペレータに通話切替」の指示が出力される。なお、応答方向の種類によっては途中で適用することもあり得る。例えば、先のステップ５１において「お電話ありがとうございます…」と発話している途中に音量を上げるようにすることができる。
【００２３】
以上のように、本自動音声応答装置では、利用者からの音声は電話回線インタフェース部にて受信後、スプリッターに入力する。スプリッターは入来信号の周波数帯域、スペクトルの分布差異によって背景音と会話内容（音声）に分離し、それぞれ背景状態認識部と利用者状態認識部に入力する。背景状態認識部では背景音のレベル、周波数分布等から利用者の置かれた状況を推定し、背景状態として応答内容生成部に入力する。利用者状態認識部では利用者の音声のピッチ、周波数分布、発話レベル等から利用者の状態変化を推定し、利用者状態として応答内容生成部に入力する。応答内容生成部は背景状態および利用者状態から、最も妥当と思われる応答内容を生成し、音声合成部に入力する。音声合成部は与えられた応答内容（テキスト）を元に応答音声を合成し、電話回線インタフェース部を通じて利用者に応答する。
【００２４】
これにより、利用者が使いやすい自動音声応答装置を得ることができる。また、自動音声応答装置で対処しきれずにオペレータの対応が必要になるケースが減るため、オペレータの使用コストを抑制することができる。さらに、自動音声応答装置の対応能力が向上するため、利用者の利便性が向上する。
【符号の説明】
【００２５】
１  利用者
２  ＰＳＴＮ（公衆交換電話網）
３  電話回線インタフェース部
１０  音声自動応答装置
１１  スプリッター
１２  背景状態認識部
１３  利用者状態認識部
１４  応答内容生成部
１５  音声合成部
１６  オペレータ
【図１】
2013207508.tif 000003
【図２】
2013207508.tif 000004
【図３】
2013207508.tif 000005
【図４】
2013207508.tif 000006
【図５】
2013207508.tif 000007