(57)【要約】【課題】システム発話を適切に設定して利用者との対話を円滑に進行させる。【解決手段】予測文に基づきユーザ発話を認識する予測認識処理が実行され、予測認識結果とこの結果の予測尤度とが出力される。また、大語彙辞書に基づきユーザ発話を認識する大語彙認識処理が実行され、大語彙認識結果とこの結果の大語彙尤度とが出力される。さらに、予測認識結果と大語彙認識結果とを比較する一致度算出処理が実行されて認識結果の一致度が算出される。続いて、予測尤度、大語彙尤度および一致度をパラメータとして統計的モデルを用いることにより、ユーザ発話の認識状況(予測内認識状況，予測内誤認識状況，予測外状況)が判別される。そして、判別された認識状況に応じてシステム発話の内容が設定されるとともに音声合成処理が実行される。これにより、適切にシステム発話の内容を設定することができ、利用者との対話を円滑に進行させることが可能となる。【選択図】図３
2008281901.tif 000002
【特許請求の範囲】
【請求項１】
予測した発話内容に基づいてユーザ発話を認識し、予測認識結果とこの結果の尤度とを出力する予測認識手段と、
所定の大語彙辞書に基づいてユーザ発話を認識し、大語彙認識結果とこの結果の尤度とを出力する大語彙認識手段と、
前記予測認識結果と前記大語彙認識結果とを比較して前記認識結果の一致度を算出する一致度算出手段と、
前記予測認識結果の尤度、前記大語彙認識結果の尤度および前記認識結果の一致度に基づき統計的モデルを用いて認識状況を判別する認識状況判別手段と、
前記認識状況に基づいてシステム発話の内容を設定するシステム発話設定手段とを有することを特徴とする音声対話装置。
【請求項２】
請求項１記載の音声対話装置において、
前記認識状況判別手段は、予測内認識状況、予測内誤認識状況または予測外状況のいずれかに認識状況を判別することを特徴とする音声対話装置。
【請求項３】
請求項２記載の音声対話装置において、
前記認識状況判別手段によって認識状況が予測内誤認識状況であると判別された場合に、前記予測認識手段は予測した発話内容から前記予測認識結果を除外することを特徴とする音声対話装置。
【請求項４】
請求項１〜３のいずれか１項に記載の音声対話装置において、
前記統計的モデルは、多変量解析手法または機械学習手法であることを特徴とする音声対話装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザ発話を認識してこれに応答する音声対話装置に関する。
【背景技術】
【０００２】
近年、カーナビゲーションシステムやコールセンター等の分野において、利用者から発せられた音声(以下、ユーザ発話という)を自動的に認識して各種処理を実行するようにした音声認識装置が開発されている(たとえば、特許文献１参照)。このような音声認識装置にあっては、音声分析によって入力音声の特徴量を抽出した後に、この入力音声の特徴量に合致する音響モデルの列を探索することにより、ユーザ発話の内容を認識するようにしている。また、ユーザ発話の認識精度を向上させるため、言語統計や文法等に基づいて単語の生起確率を定めた言語モデルが設定されており、この言語モデルの拘束下で入力音声に合致する音響モデルの列を探索するようにしている。さらに、単にユーザ発話を認識して認識結果を出力するだけでなく、ユーザ発話の内容に応じて装置側から発せられる音声(以下、システム発話という)を設定することにより、利用者と装置との間で対話を進行させるようにした音声対話装置も開発されている。
【特許文献１】特開昭６２−２５５９９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、従来の音声対話装置にあっては、ユーザ発話の認識が成功した場合と、ユーザ発話の認識が失敗した場合とに分けて、システム発話の内容を設定するようにしている。このように、単にユーザ発話の認識が成功したか否かによってシステム発話の内容を設定すると、システム発話の内容を適切に設定することが困難となるため、利用者と装置との対話を円滑に進行させることが困難となり、利用者に対して煩わしさを感じさせてしまうおそれがある。つまり、ユーザ発話の認識に失敗した場合について考えると、認識の方向性が合っているも関わらず認識に失敗した場合や、そもそも認識の方向性が間違っていて認識に失敗した場合が考えられるため、これらの状況において同一内容のシステム発話を設定することは、利用者との円滑な対話を阻害してしまう要因となっていた。
【０００４】
本発明の目的は、システム発話を適切に設定することにより、利用者との対話を円滑に進行させることにある。
【課題を解決するための手段】
【０００５】
本発明の音声対話装置は、予測した発話内容に基づいてユーザ発話を認識し、予測認識結果とこの結果の尤度とを出力する予測認識手段と、所定の大語彙辞書に基づいてユーザ発話を認識し、大語彙認識結果とこの結果の尤度とを出力する大語彙認識手段と、前記予測認識結果と前記大語彙認識結果とを比較して前記認識結果の一致度を算出する一致度算出手段と、前記予測認識結果の尤度、前記大語彙認識結果の尤度および前記認識結果の一致度に基づき統計的モデルを用いて認識状況を判別する認識状況判別手段と、前記認識状況に基づいてシステム発話の内容を設定するシステム発話設定手段とを有することを特徴とする。
【０００６】
本発明の音声対話装置は、前記認識状況判別手段は、予測内認識状況、予測内誤認識状況または予測外状況のいずれかに認識状況を判別することを特徴とする。
【０００７】
本発明の音声対話装置は、前記認識状況判別手段によって認識状況が予測内誤認識状況であると判別された場合に、前記予測認識手段は予測した発話内容から前記予測認識結果を除外することを特徴とする。
【０００８】
本発明の音声対話装置は、前記統計的モデルは、多変量解析手法または機械学習手法であることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、予測認識結果の尤度、大語彙認識結果の尤度、および認識結果の一致度に基づき統計的モデルを用いて認識状況を判別し、判別された認識状況に基づいてシステム発話の内容を設定するようにしたので、システム発話の内容を適切に設定することができ、利用者に対して不快感を与えることなく対話を進行させることが可能となる。
【発明を実施するための最良の形態】
【００１０】
図１は本発明の一実施の形態である音声対話装置１０の構成を示すブロック図である。図１に示すように、音声対話装置１０は、利用者から発せられる音声つまりユーザ発話を電気信号に変換するマイク１１と、この電気信号から音声特徴量を抽出する音響分析部１２とを備えている。また、音声対話装置１０には、ユーザ発話を認識する予測認識部(予測認識手段)１３や大語彙認識部(大語彙認識手段)１４が設けられており、これらの各認識部１３，１４には音響分析部１２を介して音声特徴量が入力されている。
【００１１】
ここで、図２は予測認識部１３と大語彙認識部１４との各構成を示すブロック図である。図２に示すように、各認識部１３，１４は、音素や音節を単位とした音声特徴量パターンの統計的モデル(隠れマルコフモデル等)である音響モデル１６ａ，１６ｂと、単語の接続確率や出現確率の統計的モデル(Ｎグラムモデル等)である言語モデル１７ａ，１７ｂとをそれぞれに備えている。また、認識対象となる語彙およびその発音を規定するため、各認識部１３，１４には大量の単語を収録した辞書１８ａ，１８ｂが設けられている。なお、辞書１８ａ，１８ｂに登録される単語は、新聞記事、学会講演、Ｗｅｂページ等によって構成された大量のテキストデータベースから収集されたものである。
【００１２】
また、各認識部１３，１４には、音響モデル１６ａ，１６ｂや言語モデル１７ａ，１７ｂを用いて音声認識処理(人工知能学会誌Ｖｏｌ.２０・Ｎｏ.１「連続音声認識ソフトウェアＪｕｌｉｕｓ」河原達也・李晃伸著  ４１〜４９頁参照)を実行するデコーダ１９ａ，１９ｂが設けられており、このデコーダ１９ａ，１９ｂを介して入力音声Ｘが最適な単語列Ｗに変換されている。この音声認識処理は、入力音声Ｘに対する事後確率ｐ(Ｗ｜Ｘ)が最大となる単語列Ｗを探索する処理であり、ベイズの定理による以下の式(１)を用いて、様々な単語列Ｗについての事後確率ｐ(Ｗ｜Ｘ)を計算し、最も高い事後確率ｐ(Ｗ｜Ｘ)が得られた単語列Ｗを認識結果として採用する処理である(以下の式(２)参照)。この事後確率ｐ(Ｗ｜Ｘ)つまり尤度は、入力音声の認識結果がどれくらい妥当であるかを示す指標となっている。なお、式(１)の分母に示されるｐ(Ｘ)は、単語列Ｗの決定に影響しないことから無視することが可能である。また、式(２)の確率ｐ(Ｗ)は単語列Ｗの生起確率を表現する言語モデル１７ａ，１７ｂを意味しており、式(２)の確率ｐ(Ｘ｜Ｗ)は単語列Ｗから入力音声Ｘが得られる確率を表現する音響モデル１６ａ，１６ｂを意味している。
ｐ(Ｗ｜Ｘ)＝ｐ(Ｗ)＊ｐ(Ｘ｜Ｗ)／ｐ(Ｘ)  ・・・・・(１)
Ｗ＝ａｒｇｍａｘ  ｐ(Ｗ)＊ｐ(Ｘ｜Ｗ)    ・・・・・(２)
続いて、予測認識部１３によって実行される予測認識処理や、大語彙認識部１４によって実行される大語彙認識処理について説明する。まず、予測認識部１３は、対話場面に基づいて利用者から発せられるユーザ発話を予測し、この予測したユーザ発話を文単位で辞書１８ａに登録する。次いで、予測認識部１３は、辞書登録したユーザ発話を単語または文節単位に区切って言語モデル１７ａを作成した後に、この言語モデル１７ａの拘束下で前述した音声認識処理を実行し、ユーザ発話についての認識結果Ｗ１(以下、予測認識結果という)と、この予測認識結果Ｗ１の尤度(以下、予測尤度という)とを出力する。なお、辞書登録したユーザ発話を単語または文節単位に区切って文法を作成し、この文法を用いて音声認識処理を実行するようにしても良い。この予測認識処理にあっては、認識対象を絞り込んだ上で音声認識を実行するため、認識範囲が狭くなるものの認識精度を向上させることが可能である。
【００１３】
また、大語彙認識部１４は、前述した各種テキストデータから収集された辞書(大語彙辞書)１８ｂ内の単語を用いて言語モデル１７ｂを作成する。そして、大語彙認識部１４は、作成した言語モデル１７ｂの拘束下で前述した音声認識処理を実行し、ユーザ発話についての認識結果Ｗ２(以下、大語彙認識結果という)と、この大語彙認識結果Ｗ２の尤度(以下、大語彙尤度という)とを出力する。この大語彙認識処理にあっては、認識対象を過度に絞り込むことなく音声認識を実行するため、認識精度が低下するものの認識範囲を広げることが可能である。
【００１４】
また、音声対話装置１０には一致度算出手段としての一致度算出部２０が設けられている。この一致度算出部２０には予測認識結果Ｗ１と大語彙認識結果Ｗ２とが入力されており、一致度算出部２０は認識結果Ｗ１，Ｗ２を比較して認識結果Ｗ１，Ｗ２がどのくらい類似しているかの指標である一致度を算出する。予測認識結果Ｗ１と大語彙認識結果Ｗ２とを比較する際には、それぞれの認識結果Ｗ１，Ｗ２を文節単位、単語単位、音素単位に分割するとともに、分割された認識結果Ｗ１，Ｗ２を漢字、カタカナ、ひらがなに変換した上で比較するようにしている。そして、分割された単位毎に周知のＤＰマッチング(Ｄｙｎａｍｉｃ  Ｐｒｏｇｒａｍｍｉｎｇ：動的計画法、共立出版「パターン認識」舟久保登著  ６２〜６７頁参照)を用いて比較する対象間の対応付けを行い、一致した頻度あるいは割合を一致度として算出する。また、ＤＰマッチングによって得られた距離を一致度として採用することも可能である。
【００１５】
さらに、音声対話装置１０には認識状況判別手段としての統計的モデル適用部２１が設けられており、この統計的モデル適用部２１には予測尤度、大語彙尤度および一致度が入力されている。そして、統計的モデル適用部２１は、予測尤度、大語彙尤度および一致度をパラメータとして所定の統計的モデルを用いることにより、ユーザ発話に対する認識状況が、予測内認識状況、予測内誤認識状況または予測外状況のいずれに該当するかを判別する。ここで、予測内認識状況とは、ユーザ発話の内容が予測認識部１３の予測範囲内であり、その発話内容が特定された状況である。また、予測内誤認識状況とは、ユーザ発話の内容が予測認識部１３の予測範囲内であるが、その発話内容が特定されていない状況である。さらに、予測外状況とは、ユーザ発話の内容が予測認識部１３の予測範囲から外れた状況である。
【００１６】
また、統計的モデル適用部２１において用いられる統計的モデルとしては、周知の多変量解析手法である重回帰分析(サイエンス社「多変量解析法入門」永田靖・棟近雅彦著  ６１〜８６頁参照)や判別分析(サイエンス社「多変量解析法入門」永田靖・棟近雅彦著  ９９〜１１８頁参照)等が挙げられる。また、パターン認識等で用いられる周知の機械学習手法であるニューラルネットワーク(産業図書「ニューラルネットワーク情報処理」麻生英樹著  ９〜１７頁参照)、サポートベクトルマシン(電子情報通信学会誌Ｖｏｌ.８３・Ｎｏ.６「サポートベクターマシンとは何か」津田宏治著  ４６０〜４６６頁参照)、隠れマルコフモデル(ＨＭＭ：Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ、オーム社「音声認識システム」鹿野清宏・伊藤克亘・河原達也・武田一哉・山本幹雄著  １７〜３６頁参照)、決定木、混合ガウス分布モデル(ＧＭＭ：Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ)等を統計的モデルとして採用しても良い。
【００１７】
さらに、音声対話装置１０にはシステム発話設定手段としてのシステム発話選択部２２が設けられており、このシステム発話選択部２２には、予測認識結果Ｗ１、大語彙認識結果Ｗ２、統計的モデル適用部２１からの判別結果が入力されている。このシステム発話選択部２２には、装置側から発せられる音声つまりシステム発話に関する複数の内容や文法が登録されており、システム発話選択部２２は入力される認識結果Ｗ１，Ｗ２および判別結果に基づいてシステム発話の内容を選択する。そして、システム発話選択部２２は選択したシステム発話のテキストデータを音声合成部２３に出力し、音声合成部２３はテキストデータを解析して音声波形の電気信号を生成する。次いで、音声合成部２３からスピーカ２４に対して電気信号が入力され、スピーカ２４から利用者に対してシステム発話が発せられることになる。
【００１８】
続いて、音声対話装置１０による音声対話処理の実行手順を説明図に沿って説明する。ここで、図３は音声対話処理の実行手順を示す説明図である。図３に示すように、予測認識部１３の予測認識処理によって予測尤度(例えば３０)が算出され、大語彙認識部の大語彙認識処理によって大語彙尤度(例えば１０)が算出され、一致度算出部２０の一致度算出処理によって一致度(例えば５)が算出される。そして、統計的モデル適用部２１に対して予測尤度、大語彙尤度および一致度が入力され、統計的モデル適用部２１は予測尤度、大語彙尤度および一致度をパラメータとして所定の統計的モデルを参照する。図示するように、統計的モデルには、予測内認識状況と判別するための領域Ａ、予測内誤認識状況と判別するための領域Ｂ、予測外状況と判別するための領域Ｃがそれぞれ区画されている。統計的モデル適用部２１は、各パラメータを用いてユーザ発話についての認識状況がどの領域に入っているかを判別し、判別された認識状況をシステム発話選択部２２に対して出力する。そして、システム発話選択部２２は認識状況に応じたシステム発話の内容を選択して音声合成部２３にテキストデータを出力し、音声合成部２３およびスピーカ２４はテキストデータを用いて音声合成処理を実行する。なお、図示する場合には、ユーザ発話の認識状況が領域Ｂつまり予測内誤認識状況であると判別されるため、システム発話選択部２２によって予測内誤認識状況に応じたシステム発話の内容が設定されることになる。
【００１９】
続いて、音声対話装置１０による音声対話処理の実行手順をフローチャートに沿って具体的に説明する。ここで、図４は音声対話処理の実行手順を示すフローチャートである。なお、前述したように、認識状況(予測内認識状況，予測内誤認識状況，予測外状況)毎にシステム発話の設定内容が変わるため、予測内認識状況と判別される場合、予測内誤認識状況と判別される場合、予測外状況と判別される場合のそれぞれに分けて説明する。
【００２０】
まず、予測内認識状況と判別される場合の具体例について説明する。図４に示すように、ステップＳ１においてユーザ発話「おはよう」が取り込まれ、続くステップＳ２では、取り込まれた入力音声に対する予測認識処理が実行される。ここで、予測認識部１３はユーザ発話を挨拶に関する内容と予測しており、予測文として「おはよう」・「こんにちは」・「こんばんは」が設定されている。また、この予測認識処理によって得られた予測認識結果Ｗ１は正解の「おはよう」であるとする。続いて、ステップＳ３では、取り込まれた入力音声に対する大語彙認識処理が実行され、続くステップＳ４では、予測認識結果Ｗ１と大語彙認識結果Ｗ２とを比較して認識結果Ｗ１，Ｗ２の一致度が算出される。続いて、ステップＳ５では、予測尤度、大語彙尤度および一致度をパラメータに用いて統計的モデルが参照され、ユーザ発話についての認識状況が判別される。そして、ステップＳ５において、ユーザ発話が予測範囲内で特定された予測内認識状況であると判断されると、ステップＳ６に進み、予測認識結果Ｗ１の「おはよう」に対応するシステム発話「おはようございます」が発せられる。
【００２１】
次いで、予測内誤認識状況と判別される場合の具体例について説明する。図４に示すように、ステップＳ１においてユーザ発話「群馬」が取り込まれ、続くステップＳ２では、取り込まれた入力音声に対する予測認識処理が実行される。ここで、予測認識部１３はユーザ発話を地名に関する内容と予測しており、予測文として「群馬」・「栃木」・「茨城」が設定されている。また、この予測認識処理によって得られた予測認識結果Ｗ１は不正解の「栃木」であるとする。続いて、ステップＳ３では、取り込まれた入力音声に対する大語彙認識処理が実行され、続くステップＳ４では、予測認識結果Ｗ１と大語彙認識結果Ｗ２とを比較して認識結果Ｗ１，Ｗ２の一致度が算出される。なお、大語彙認識処理によって得られた大語彙認識結果Ｗ２は不正解であるが似ている「群像」であるとする。
【００２２】
続いて、ステップＳ５では、予測尤度、大語彙尤度および一致度をパラメータに用いて統計的モデルが参照され、ユーザ発話についての認識状況が判別される。そして、ステップＳ５において、ユーザ発話が予測範囲内であるが特定されていない予測内誤認識状況であると判断されると、ステップＳ７に進み、予測文から不正解の予測認識結果Ｗ１である「栃木」を除外した後に、ステップＳ８において、利用者に同じ発話を促すためのシステム発話「もう一度言って下さい」が発せられる。このように、予測内誤認識状況であると判断された場合には、不正解である予測認識結果Ｗ１を予測文から除外し、予測文を絞り込んだ状態のもとで再びユーザ発話を認識させることにより、ユーザ発話の認識精度を向上させるようにしている。これにより、予測認識処理によってユーザ発話の「群馬」を認識させることができ、ステップＳ５において予測内認識状況との判別結果を得ることが可能となる。そして、続くステップＳ６において、予測認識結果Ｗ１の「群馬」に対応する次の段階のシステム発話「市町村名を言って下さい」が発せられる。
【００２３】
次いで、予測外状況と判別される場合の具体例について説明する。なお、以下説明する具体例にあっては、その前段階におけるシステム発話「工学部ですね」が発せられた後のステップを説明するものである。図４に示すように、ステップＳ１においてユーザ発話「うん」が取り込まれ、続くステップＳ２では、取り込まれた入力音声に対する予測認識処理が実行される。ここで、予測認識部１３はユーザ発話を認否に関する内容と予測しており、予測文として「はい」・「いいえ」が設定されている。続いて、ステップＳ３では入力音声に対する大語彙認識処理が実行され、続くステップＳ４では予測認識結果Ｗ１と大語彙認識結果Ｗ２とを比較して認識結果Ｗ１，Ｗ２の一致度が算出される。
【００２４】
続いて、ステップＳ５では、予測尤度、大語彙尤度および一致度をパラメータに用いて統計的モデルが参照され、ユーザ発話についての認識状況が判別される。そして、ステップＳ５において、ユーザ発話が予測範囲外の内容である予測外状況であると判断されると、ステップＳ９に進み、利用者に対して予測文のフレーズを発話させるためのシステム発話「“はい”または“いいえ”で答えて下さい」が発せられる。このように、予測外状況であると判断された場合には、利用者に対して予測文に合致するようなユーザ発話を促すことにより、ユーザ発話の認識精度を向上させるようにしている。これにより、再び実行される予測認識処理においてユーザ発話の「はい」を認識させることができ、ステップＳ５において予測内認識状況との判別結果を得ることが可能となる。そして、続くステップＳ６においては、予測認識結果Ｗ１の「はい」に対応する次の段階のシステム発話「学科を言って下さい」が発せられる。
【００２５】
このように、予測尤度、大語彙尤度および一致度に基づいて統計的モデルを用いることにより、ユーザ発話についての認識状況(予測内認識状況，予測内誤認識状況，予測外状況)を判断し、認識状況に応じてシステム発話の内容を設定するようにしている。これにより、ユーザ発話に応答するシステム発話の内容を適切に設定することができるため、利用者に対して不快感を与えることなく対話を進行させることが可能となる。
【００２６】
本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。また、図示する音声対話装置１０にあっては、カーナビゲーションシステムやコールセンター等の様々な対話分野において有効に適用することが可能である。
【図面の簡単な説明】
【００２７】
【図１】本発明の一実施の形態である音声対話装置の構成を示すブロック図である。
【図２】予測認識部と大語彙認識部との各構成を示すブロック図である。
【図３】音声対話処理の実行手順を示す説明図である。
【図４】音声対話処理の実行手順を示すフローチャートである。
【符号の説明】
【００２８】
１０    音声対話装置
１３    予測認識部(予測認識手段)
１４    大語彙認識部(大語彙認識手段)
１８ｂ  辞書(大語彙辞書)
２０    一致度算出部(一致度算出手段)
２１    統計的モデル適用部(認識状況判別手段)
２２    システム発話選択部(システム発話設定手段)
【図１】
2008281901.tif 000003
【図２】
2008281901.tif 000004
【図３】
2008281901.tif 000005
【図４】
2008281901.tif 000006