(57)【要約】【課題】利用者の主観評価を向上させながら、間違った対話を継続しない、かつ不要な応答を行わない音声対話装置を提供する。【解決手段】受理と確認との閾値である第１の閾値と確認と棄却との閾値である第２の閾値との組合せ条件を複数設定し、入力された音声データを文字データに変換する音声認識手段２３と、文字データに含まれる単語の信頼度を算出する信頼度算出手段２５と、信頼度を、第１の閾値と、第２の閾値と比較し、受理、確認、棄却のいずれの応答を行うかを制御する応答制御手段２７と、を有する音声対話装置１の評価実験を行い、被験者の主観評価結果、特に正確性と効率性の評価結果に基づいて第１の閾値と第２の閾値との組合せ条件の中で最も好ましい条件を決定する。【選択図】図２
2008233305.tif 000002
【特許請求の範囲】
【請求項１】
入力された音声データを文字データに変換する音声認識手段と、
前記文字データに含まれる単語の信頼度を算出する信頼度算出手段と、
前記信頼度を、受理と確認との閾値である第１の閾値と、確認と棄却との閾値である第２の閾値と比較し、受理、確認、棄却のいずれの応答を行うかを制御する応答制御手段と、
を具備し、
前記第１の閾値と前記第２の閾値は、主観評価に基づき決定したものであることを特徴とする音声対話装置。
【請求項２】
前記主観評価は、正確性と効率性についての評価であることを特徴とする請求項１に記載の音声対話装置。
【請求項３】
入力された音声データを文字データに変換するステップと、
前記文字データに含まれる単語の信頼度を算出するステップと、
前記信頼度を、受理と確認との閾値である第１の閾値と、確認と棄却との閾値である第２の閾値と比較し、受理、確認、棄却のいずれの応答を行うかを制御するステップと、
を含み、
前記第１の閾値と前記第２の閾値は、主観評価に基づき決定したものであることを特徴とする音声対話方法。
【請求項４】
前記主観評価は、正確性と効率性についての評価であることを特徴とする請求項３に記載の音声対話方法。
【請求項５】
コンピュータを請求項１または請求項２に記載の音声対話装置として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識技術に関し、特に、音声認識結果に基づいて応答制御を行う音声対話装置、音声対話方法、プログラムに関する。
【背景技術】
【０００２】
近年、音声認識技術が広く利用されるようになり、カーナビゲーション、携帯電話、ゲーム、コールセンタなどで使われるようになっている。また、ＰＣ上のソフトウェアとして、各種のディクテーションプログラムも存在する。
そして、音声認識結果に基づいて応答制御を行う仕組みとして、音声認識結果である単語の信頼度を用いて応答制御を行うものが開示されている（特許文献１、非特許文献１参照）。
【０００３】
特許文献１に示す方式では、音声認識結果である単語の信頼度を用いて、音声認識結果を受理／確認するように応答制御する音声対話装置を実現する。そして、受理／確認を制御する閾値を意味カテゴリ毎に持ち、音声対話装置の動作時にその対話履歴データを基に閾値を補正する。誤認識単語を受理した場合には閾値を高く、正解認識単語を確認した場合は閾値を低く補正する。
【０００４】
また、非特許文献１に示す方式では、音声認識結果である単語の信頼度を用いて、音声認識結果を受理／確認／棄却するように応答制御する音声対話装置を実現する。そして、受理／確認を制御する閾値１と、確認／棄却を制御する閾値２とを客観的な指標である各種の誤り率を用いて決定する。ここで、閾値１の決定に用いる誤り率は、ＦＡ１＝１−受理した正解単語数÷受理した単語の総数、ＳＥｒｒ＝１−受理した正解単語数÷正解単語の総数（＝評価単語の総数）、の２種類である。また、閾値２の決定に用いる誤り率は、ＦＡ２＝１−確認した正解単語数÷確認した単語の総数、ＦＲ＝棄却した正解単語数÷棄却した単語の総数、の２種類である。
【特許文献１】特開２００５−１８１３８６号公報
【非特許文献１】河原  達也・駒谷和範、“音声対話システムにおける音声認識結果の信頼度の利用法”、日本音響学会２０００年秋季研究発表会講演論文集Ｉ、ｐ７３、２０００年．
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献１では、確認／棄却に関する応答制御がなく、誤認識結果で確認応答すれば利用者は必ず「いいえ」と答えることになり、結果として、再度発話しなければならず、発話効率が良いとは言えない。信頼度が十分低い場合、誤認識している可能性が非常に高いことから、棄却するように応答制御をすべきである。
【０００６】
また、上述の非特許文献１では、閾値の決定はあくまで客観評価上の最適値であり、主観評価が必ず向上するとは限らない。
【０００７】
本発明は、前述した問題点に鑑みてなされたもので、その目的は利用者の主観評価を向上させながら、間違った対話を継続しない、かつ不要な応答を行わない音声対話装置を提供することである。
【課題を解決するための手段】
【０００８】
前述した目的を達成するために第１の発明は、入力された音声データを文字データに変換する音声認識手段と、前記文字データに含まれる単語の信頼度を算出する信頼度算出手段と、前記信頼度を、受理と確認との閾値である第１の閾値と、確認と棄却との閾値である第２の閾値と比較し、受理、確認、棄却のいずれの応答を行うかを制御する応答制御手段と、を具備し、前記第１の閾値と前記第２の閾値は、主観評価に基づき決定したものであることを特徴とする音声対話装置である。
また、前記主観評価は、正確性と効率性についての評価であることが望ましい。
【０００９】
第２の発明は、入力された音声データを文字データに変換するステップと、前記文字データに含まれる単語の信頼度を算出するステップと、前記信頼度を、受理と確認との閾値である第１の閾値と、確認と棄却との閾値である第２の閾値と比較し、受理、確認、棄却のいずれの応答を行うかを制御するステップと、を含み、前記第１の閾値と前記第２の閾値は、主観評価に基づき決定したものであることを特徴とする音声対話方法である。
また、前記主観評価は、正確性と効率性についての評価であることが望ましい。
【００１０】
第３の発明は、コンピュータを請求項１または請求項２に記載の音声対話装置として機能させるプログラムである。
【発明の効果】
【００１１】
本発明により、利用者の主観評価を向上させながら、間違った対話を継続しない、かつ不要な応答を行わない音声対話装置を提供することができる。
【発明を実施するための最良の形態】
【００１２】
以下図面に基づいて、本発明の実施形態を詳細に説明する。
【００１３】
図１は、本実施の形態に係る音声対話装置１を実現するコンピュータのハードウェア構成図である。
図１に示すように、音声対話装置１は、制御部３、記憶部５、メディア入出力部７、通信制御部９、入力部１１、表示部１３、周辺機器Ｉ／Ｆ部１５等が、バス１７と介して接続される。
なお、以下の実施の形態では、コンピュータをハードウェアとして利用した音声対話装置１の例を示しているが、コンピュータに限るものではなく、例えばカーナビゲーション装置、携帯電話端末、ゲーム装置等の各種電子機器に応用することも可能である。
【００１４】
制御部３は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成される。
【００１５】
ＣＰＵは、記憶部５、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１７を介して接続された各装置を駆動制御し、音声対話装置１が行う後述する情報検索処理（図４参照）を実現する。
ＲＯＭは、不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。
ＲＡＭは、揮発性メモリであり、記憶部５、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部３が各種処理を行う為に使用するワークエリアを備える。
【００１６】
記憶部５は、ＨＤＤ（ハードディスクドライブ）であり、制御部３が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（オペレーティングシステム）等が格納される。プログラムに関しては、ＯＳ（オペレーティングシステム）に相当する制御プログラムや、後述の情報検索処理に相当するアプリケーションプログラムが格納されている。
これらの各プログラムコードは、制御部３により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて各種の手段として実行される。
【００１７】
メディア入出力部７（ドライブ装置）は、データの入出力を行い、例えば、フロッピー（登録商標）ディスクドライブ、ＰＤドライブ、ＣＤドライブ（−ＲＯＭ、−Ｒ、ＲＷ等）、ＤＶＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）、ＭＯドライブ等のメディア入出力装置を有する。
【００１８】
通信制御部９は、通信制御装置、通信ポート等を有し、コンピュータとネットワーク１９間の通信を媒介する通信インタフェースであり、ネットワーク１９を介して、他のコンピュータ間との通信制御を行う。
【００１９】
入力部１１は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。また、例えば、マイク等の音声入力装置を有する。入力部１１を介して、コンピュータに対して、操作指示、動作指示、データ入力等を行うことができる。
【００２０】
表示部１３は、ＣＲＴモニタ、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してコンピュータのビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。
【００２１】
周辺機器Ｉ／Ｆ（インタフェース）部１５は、コンピュータに周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１５を介してコンピュータは周辺機器とのデータの送受信を行う。周辺機器Ｉ／Ｆ部１５は、ＵＳＢやＩＥＥＥ１３９４やＲＳ−２３２Ｃ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は有線、無線を問わない。
【００２２】
バス１７は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【００２３】
次に、図２を参照しながら、音声対話装置１の構成について説明する。
図２は、音声対話装置１の機能を示すブロック図である。
【００２４】
音声対話装置１は、音声入力手段２１、音声認識手段２３、信頼度算出手段２５、応答制御手段２７等を備える。
【００２５】
音声入力手段２１は、利用者が発話した音声をデータとして入力する。音声データは、音声対話装置１の入力部１１を介して入力されても良いし、ネットワーク１９を介して、他のコンピュータ等から入力されても良い。
【００２６】
音声認識手段２３は、入力された音声データを文字データに変換する。まず、入力された音声データの波形から音声特徴量を抽出する。次に、抽出された音声特徴量を入力として、話者性や音声入力環境等の音響的特徴を定める音響モデル、言い回し等の文章表現や認識対象単語等の言語的特徴を定める言語モデルを用いた尤度計算を行う。そして、認識候補の中から尤度の高いものを選択し、文字データに変換する。例えば、音声分析結果である入力文に対して全ての可能性を計算し、ｎ個までの複数の文候補を求め、認識結果として尤度の高い順に文候補を出力するｎ−ｂｅｓｔ方式が多く用いられている。
【００２７】
信頼度算出手段２５は、文字データに含まれる単語の信頼度を算出する。ここで、信頼度（Ｃｏｎｆｉｄｅｎｃｅ  Ｍｅａｓｕｒｅ：ＣＭ）とは、音声認識結果である文字データに含まれる単語をどれだけ信頼して良いかを表す尺度である。信頼度の数値が高い場合、文字データに含まれる単語に競合するような他の候補が見当たらなかったことを示し、信頼度の数値が低い場合、他の候補が多く競合していたことを示す。
【００２８】
信頼度算出式の例として、ｎ−ｂｅｓｔ方式による音声認識結果であるｎ個の文候補の結果を利用する算出式について述べる。これは、直観的には、どの文候補にも一貫して出現する単語は信頼できるとみなすものであり、第ｉ候補の対数尤度をｇ（ｉ）とし、単語ｗの信頼度ＣＭ（ｗ）を以下の算出式で求める。
【数１】
2008233305.tif 000003
ここで、単語ｗが第ｉ候補に含まれるときはδ（ｗ,ｉ）＝１、含まれないときはδ（ｗ,ｉ）＝０である。また、αはスムージング係数である。
【００２９】
応答制御手段２７は、信頼度を、受理と確認との閾値である第１の閾値と、確認と棄却との閾値である第２の閾値と比較し、受理、確認、棄却のいずれの応答を行うかを制御する。
【００３０】
図３は、信頼度を用いた応答制御を示す図である。
図３に示すように、信頼度の値が第１の閾値２９より大きい場合、制御部３は、受理の応答を行う。受理の応答とは、音声認識結果をそのまま受け入れて対話を続けることである。音声認識結果が正しい場合、後述する確認の応答を省くことができる。次に、信頼度の値が第１の閾値２９以下であり、第２の閾値３１より大きい場合、制御部３は、確認の応答を行う。確認の応答とは、音声認識結果が正しいかどうかを利用者に確認することである。音声認識結果が誤りである場合、誤った認識結果で対話を続けることを回避することができる。そして、信頼度の値が第２の閾値３１以下の場合、制御部３は、棄却の応答を行う。棄却の応答とは、音声認識結果を使用せずに利用者に再度同じ質問をすることである。音声認識の結果が誤りである場合、確認の応答を省略することができる。
【００３１】
次に、図４を参照しながら、音声対話装置１の動作の詳細について説明する。
図４は、音声対話処理の手順を示すフローチャートである。
【００３２】
図４に示すように、入力部１１を介して、音声データが入力されると（ステップ１０１）、制御部３は、入力された音声データを文字データに変換する（ステップ１０２）。
【００３３】
次に、制御部３は、文字データに含まれる単語の信頼度の算出を行う（ステップ１０３）。信頼度の算出は、例えば、図２の説明で前述した算出式を用いて行う。
【００３４】
次に、制御部３は、算出した信頼度が第１の閾値より大きいかどうか確認する（ステップ１０４）。
信頼度が第１の閾値より大きい場合、制御部３は、受理の応答を行う（ステップ１０５）。
信頼度が第１の閾値以下の場合、ステップ１０６に進む。
【００３５】
次に、制御部３は、算出した信頼度が第２の閾値より大きいかどうか確認する（ステップ１０５）。
信頼度が第２の閾値より大きい場合、制御部３は、確認の応答を行う（ステップ１０６）。
信頼度が第２の閾値以下の場合、制御部３は、棄却の応答を行う（ステップ１０７）。
以上の処理を１つの対話処理として、複数の対話処理を繰り返し行うことで、制御部３は、利用者との音声対話を実現する。
【００３６】
次に、図５から図９を参照しながら、第１の閾値と第２の閾値をどのように決定するかについて説明する。
【００３７】
図５は、第１の閾値と第２の閾値の組合せ条件を示す図である。
図５に示すように、例えば、３種類の第１の閾値と第２の閾値の組合せ条件を設定し、図２に示される各機能を有する音声対話装置１の評価実験を行い、被験者の主観評価結果に基づいて第１の閾値と第２の閾値を決定する。
尚、第１の閾値と第２の閾値の組合せ条件は、３種類に限定されるものではなく、３種類以上の組合せ条件を設定しても良い。
【００３８】
図６は、図５で示した条件ごとの応答動作を示す図である。
図６に示すように、条件Ａは、確認の応答を行う範囲を大きく設定している。条件Ｂは、棄却の応答を行う範囲を大きく設定している。条件Ｃは、受理の応答を行う範囲を大きく設定している。このように、条件Ａ〜条件Ｃは、応答動作が大きく異なっていることが分かる。
以下、実際に行った評価実験について説明する。
【００３９】
まず、本評価実験の実験諸元について説明する。
図２で示した音声認識手段２３を実現する音声認識エンジンは、一般に公開されているオープンソースソフトウェアであるＪｕｌｉｕｓ３．５である。
次に、音響モデルは、Ｊｕｌｉｕｓ３．５と合わせて一般に公開されている不特定話者のＰＴＭ（Ｐｈｏｎｅｔｉｃ  Ｔｉｅｄ−Ｍｉｘｔｕｒｅ：音素内タイドミクスチャ）トライフォンモデルである。
また、言語モデルは、３００万文の認識文リストから学習した語彙数３５００語のモデルである。
そして、これらのモジュールを組み込んだ音声対話による施設検索サービスを行う音声対話装置１を構築し、本評価実験を行った。尚、被験者数は、音声対話処理に習熟した２０〜４０代の男女６名である。
【００４０】
次に、本評価実験の主観評価の結果について説明する。
図７は、被験者の主観評価を示す図である。
図７に示すように、主観評価は、正確性と効率性の２つの観点について被験者から回答を得た。図７に示す評価点は、５段階評価によって得た被験者からの回答の平均値である。正確性においては、条件Ａが最も高い評価を得たことが分かる。一方、効率性においては、条件Ｃが最も高い評価を得たが、条件Ａもほぼ同等の評価を得たことが分かる。
ここで、条件の決定について説明する。例えば、正確性の評価結果において最も評価の低い条件Ｃを外す。これは、正確性を確保するためである。次に、例えば、効率性の評価結果において条件Ａと条件Ｂのうち評価の低い条件Ｂを外す。これは、効率性を向上するためである。そうすると、この３種類の条件の中では、条件Ａが最も好ましい第１の閾値と第２の閾値の組合せであると決定できる。
【００４１】
次に、最も好ましい第１の閾値と第２の閾値の組合せであると決定した条件Ａが、被験者の総合的な評価ではどのように評価されたかについて説明する。
図８は、図５で示した条件ごとの対人対話との比較評価の結果を示す図である。
図８に示す得点は、有人オペレータとの音声対話による施設検索サービスを利用した時の評価を１００点と想定した場合の比較得点である。
図８に示すように、条件Ａは他の条件に比べて約５点高い得点が得られていることが分かる。
【００４２】
次に、本評価実験の客観評価の結果について説明する。
図９は、図５で示した条件ごとの受理誤り率と平均所要時間を示す図である。
図９の横軸は、誤認識単語を誤って受理の応答を行った割合である受理誤り率（＝１−受理した正解単語数÷受理した単語の総数）である。また、図９の縦軸は、平均所要時間である。平均所要時間とは、音声対話を開始してから検索キーワードを全て入力するまでの時間を平均したものであり、システムが検索を実行してから結果を表示するまでの時間は含まない。受理誤り率は、客観評価上の正確性の指標であり、平均所要時間は客観評価上の効率性の指標といえる。受理誤り率が生じていなければ、間違った対話を継続していないことになる。また、平均所要時間が極端に多くなければ、不要な応答を行っていないことになる。
図９に示すように、条件Ｃは、受理誤りが生じており、客観評価上の正確性が確保できていないことが分かる。このことから、主観評価による正確性の評価結果において条件Ｃを外したことは妥当であることが裏付けられる。
一方、条件Ａと条件Ｂは、受理誤りが生じておらず、客観評価上の正確性が確保できている。更に、条件Ａと条件Ｂは、条件Ｃと比べて平均所要時間の差が小さく、不要な応答を行っていないことが分かる。
【００４３】
以上、詳細に説明したように、本実施の形態によれば、図２に示される各機能を有する音声対話装置１の評価実験を行い、被験者の主観評価結果、特に正確性と効率性の評価結果に基づいて第１の閾値と第２の閾値を決定する。
【００４４】
尚、図７の説明においては、主観評価の結果だけに基づいて第１の閾値と第２の閾値を決定するとしたが、主観評価の結果と客観評価の結果の両方に基づいて第１の閾値と第２の閾値を決定しても良い。例えば、客観評価上、１００％の正確性を確保する必要がある場合、図９で示した受理誤り率が０％となる第１の閾値と第２の閾値との組合せの中から、図７で示した主観評価による効率性の評価結果で最も高い評価の第１の閾値と第２の閾値との組合せに決定しても良い。
【００４５】
本実施の形態によって、利用者の主観評価が向上する音声対話装置１を提供することができる。また、間違った対話を継続しないようにしながら、不要な応答を行わないようにすることができる。そして、利用者は、音声対話装置１による様々なサービスを使って良かったと感じ、安心して利用を続けることができる。
【００４６】
以上、添付図面を参照しながら、本発明に係る音声対話装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【図面の簡単な説明】
【００４７】
【図１】音声対話装置１を実現するコンピュータのハードウェア構成図
【図２】音声対話装置１の機能を示すブロック図
【図３】信頼度を用いた応答制御を示す図
【図４】音声対話処理の手順を示すフローチャート
【図５】第１の閾値と第２の閾値の組合せ条件を示す図
【図６】図５で示した条件ごとの応答動作を示す図
【図７】被験者の主観評価を示す図
【図８】図５で示した条件ごとの対人対話との比較評価の結果を示す図
【図９】図５で示した条件ごとの受理誤り率と平均所要時間を示す図
【符号の説明】
【００４８】
１………音声対話装置
３………制御部
５………記憶部
７………メディア入出力部
９………通信制御部
１１………入力部
１３………表示部
１５………周辺機器Ｉ／Ｆ部
１７………バス
１９………ネットワーク
２１………音声入力手段
２３………音声認識手段
２５………信頼度算出手段
２７………応答制御手段
【図１】
2008233305.tif 000004
【図２】
2008233305.tif 000005
【図３】
2008233305.tif 000006
【図４】
2008233305.tif 000007
【図５】
2008233305.tif 000008
【図６】
2008233305.tif 000009
【図７】
2008233305.tif 000010
【図８】
2008233305.tif 000011
【図９】
2008233305.tif 000012