(57)【要約】【課題】ユーザからのバージインが生じる場合にも音声対話を円滑に進行する。【解決手段】実施形態によれば、音声対話システムは、検出部１０７と、取得部１０８と、第１の理解部１０９と、更新部１１０とを備える。検出部１０７は、ユーザの発話の開始タイミングを検出し、タイミング情報を生成する。取得部１０８は、現行の対話状態に対応する応答文に関する情報とタイミング情報とに基づいて、応答文のうち発話の開始タイミングにおいて音声出力済みの部分応答文を取得する。第１の理解部１０９は、部分応答文の文意を理解することによって、１以上の第１の理解結果を得る。更新部１１０は、１以上の第１の理解結果に基づいて、現行の対話状態を更新するための代替対話状態を生成する。【選択図】図１
2014038150.tif 000002
【特許請求の範囲】
【請求項１】
現行の対話状態に対応する応答文を音声出力する出力部と、
ユーザの発話を入力する入力部と、
前記ユーザの発話の開始タイミングを検出し、タイミング情報を生成する検出部と、
前記応答文に関する情報と前記タイミング情報とに基づいて、前記応答文のうち前記発話の開始タイミングにおいて音声出力済みの部分応答文を取得する取得部と、
前記部分応答文の文意を理解することによって、１以上の第１の理解結果を得る第１の理解部と、
前記１以上の第１の理解結果に基づいて、前記現行の対話状態を更新するための代替対話状態を生成する更新部と、
前記発話に対して音声認識処理を行うことによって、発話テキストを得る音声認識部と、
少なくとも前記発話テキストに基づいて前記ユーザの発話の意図を理解することによって、第２の理解結果を得る第２の理解部と、
前記代替対話状態によって前記現行の対話状態を更新してから前記第２の理解結果を処理し、対話状態間の遷移を制御する制御部と
を具備する、音声対話システム。
【請求項２】
前記第２の理解部は、前記発話テキストに加えて前記１以上の第１の理解結果に基づいて前記ユーザの発話の意図を理解することによって、前記第２の理解結果を得る、請求項１の音声対話システム。
【請求項３】
前記タイミング情報は、前記開始タイミングに基づく時間情報である、請求項１の音声対話システム。
【請求項４】
前記タイミング情報は、前記開始タイミングに基づく文字数情報である、請求項１の音声対話システム。
【請求項５】
前記タイミング情報は、前記開始タイミングよりも、前記ユーザの理解能力によって生じる遅延に相当する補正量を遡ったタイミングを特定する、請求項１の音声対話システム。
【請求項６】
前記１以上の第１の理解結果は、タグ形式で表現される、請求項１の音声対話システム。
【請求項７】
前記１以上の第１の理解結果を１以上の確認文へと変換し、前記１以上の確認文を前記ユーザに提示し、前記１以上の確認文のいずれか１つに対するユーザの選択を受理する確認部を更に具備し、
前記更新部は、前記１以上の第１の理解結果のうち前記ユーザの選択に対応する１つに基づいて前記代替対話状態を生成する、
請求項１の音声対話システム。
【請求項８】
前記１以上の第１の理解結果の各々が出現する第１の確率と当該１以上の第１の理解結果の各々の出現を仮定した場合に前記第２の理解結果に対応する発話が出現する第２の確率とに基づいて当該１以上の第１の理解結果の各々の信頼度を評価し、当該１以上の第１の理解結果のうち前記信頼度の最も高い１つを決定する決定部を更に具備し、
前記更新部は、前記１以上の第１の理解結果のうち前記信頼度の最も高い１つに基づいて前記代替対話状態を生成する、
請求項１の音声対話システム。
【請求項９】
現行の対話状態に対応する応答文を音声出力することと、
ユーザの発話を入力することと、
前記ユーザの発話の開始タイミングを検出することによって、タイミング情報を得ることと、
前記応答文に関する情報と前記タイミング情報とに基づいて、前記応答文のうち前記発話の開始タイミングにおいて音声出力済みの部分応答文を取得することと、
前記部分応答文の文意を理解することによって、１以上の第１の理解結果を得ることと、
前記１以上の第１の理解結果に基づいて、前記現行の対話状態を更新するための代替対話状態を生成することと、
前記発話に対して音声認識処理を行うことによって、発話テキストを得ることと、
少なくとも前記発話テキストに基づいて前記ユーザの発話の意図を理解することによって、第２の理解結果を得ることと、
前記代替対話状態によって前記現行の対話状態を更新してから前記第２の理解結果を処理し、対話状態間の遷移を制御することと
を具備する、音声対話方法。
【請求項１０】
コンピュータを
現行の対話状態に対応する応答文を音声出力する手段、
ユーザの発話を入力する手段、
前記ユーザの発話の開始タイミングを検出することによって、タイミング情報を得る手段、
前記応答文に関する情報と前記タイミング情報とに基づいて、前記応答文のうち前記発話の開始タイミングにおいて音声出力済みの部分応答文を取得する手段、
前記部分応答文の文意を理解することによって、１以上の第１の理解結果を得る手段、
前記１以上の第１の理解結果に基づいて、前記現行の対話状態を更新するための代替対話状態を生成する手段、
前記発話に対して音声認識処理を行うことによって、発話テキストを得る手段、
少なくとも前記発話テキストに基づいて前記ユーザの発話の意図を理解することによって、第２の理解結果を得る手段、
前記代替対話状態によって前記現行の対話状態を更新してから前記第２の理解結果を処理し、対話状態間の遷移を制御する手段
として機能させるための、音声対話プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
実施形態は、音声対話に関する。
【背景技術】
【０００２】
ユーザとの音声対話を通じて、当該ユーザの要望に合致したサービスを提供するシステム（以降、音声対話システムと称される）が知られている。従来、例えばある種のカーナビゲーションシステムは、音声対話を通じてユーザが所望する情報（例えば、ルート案内情報）を提供する。また近年、係る音声対話システムの用途は、例えば携帯電話機向けのアプリケーションなどに拡大されつつある。
【０００３】
音声対話システムによって進行される音声対話において、当該システムからの応答文の音声出力と、ユーザからの音声入力（即ち、ユーザの発話）とが交互に繰り返される。一般に、応答文が長いほど当該応答文の音声出力を完了するまでに多くの時間を要する。故に、応答文の音声出力が完了するまでユーザの発話を受理しない音声対話システムは、ユーザが発話を開始できるタイミングが制限されるので音声対話を円滑に進行することが困難である。
【０００４】
応答文の音声出力の途中でユーザの発話を受理可能な（いわゆるバージイン機能を備える）音声対話システムが提案されている。従来のバージイン機能は、例えば、未出力部分を含む応答文全体に対してユーザの発話がなされたとみなすものである。しかしながら、ユーザが応答文の一部しか聞いていないことに起因して、ユーザは応答文全体の文意を誤って理解した状態で発話を開始することがある。この場合に、応答文全体に対してユーザの発話がなされたとみなすと、ユーザの発話とシステムによって想定される発話とが噛み合わないので音声対話の進行に支障が生じる。
【０００５】
また、従来の別のバージイン機能は、応答文の音声出力をキャンセルしたうえでユーザの発話を例えば過去の対話状態を用いて処理するものである。しかしながら、ユーザは、例えば言い直しのためではなく出力中の応答文に対する返事のためにバージインを行うことがある。この場合に、応答文の音声出力をキャンセルしたうえでユーザの発話を過去の対話状態を用いて処理すると、ユーザの発話とシステムによって想定される発話とが噛み合わないので音声対話の進行に支障が生じる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特表２００２−５２７８２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
実施形態は、ユーザからのバージインが生じる場合にも音声対話を円滑に進行することを目的とする。
【課題を解決するための手段】
【０００８】
実施形態によれば、音声対話システムは、出力部と、入力部と、検出部と、取得部と、第１の理解部と、更新部と、音声認識部と、第２の理解部と、制御部とを備える。出力部は、現行の対話状態に対応する応答文を音声出力する。入力部は、ユーザの発話を入力する。検出部は、ユーザの発話の開始タイミングを検出し、タイミング情報を生成する。取得部は、応答文に関する情報とタイミング情報とに基づいて、応答文のうち発話の開始タイミングにおいて音声出力済みの部分応答文を取得する。第１の理解部は、部分応答文の文意を理解することによって、１以上の第１の理解結果を得る。更新部は、１以上の第１の理解結果に基づいて、現行の対話状態を更新するための代替対話状態を生成する。音声認識部は、発話に対して音声認識処理を行うことによって、発話テキストを得る。第２の理解部は、少なくとも発話テキストに基づいてユーザの発話の意図を理解することによって、第２の理解結果を得る。制御部は、代替対話状態によって現行の対話状態を更新してから第２の理解結果を処理し、対話状態間の遷移を制御する。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に係る音声対話システムを例示するブロック図。
【図２】ユーザからのバージインが生じない場合の音声対話の進行例を示す図。
【図３】ユーザからのバージインが生じる場合の音声対話の進行例を示す図。
【図４】ユーザからのバージインの説明図。
【図５】バージインのタイミングによるユーザの発話意図への影響の説明図。
【図６】ユーザからのバージインが生じない場合における、第１の実施形態に係る音声対話システム及び比較例に係る音声対話システムの動作を例示する図。
【図７】ユーザからのバージインが生じる場合における、比較例に係る音声対話システムの動作を例示する図。
【図８】ユーザからのバージインが生じる場合における、第１の実施形態に係る音声対話システムの動作を例示する図。
【図９】第２の実施形態に係る音声対話システムを例示するブロック図。
【図１０】第３の実施形態に係る音声対話システムを例示するブロック図。
【図１１】ユーザからのバージインが生じる場合における、第２の実施形態に係る音声対話システムの動作を例示する図。
【図１２】確認文の説明図。
【図１３】ユーザからのバージインが生じる場合における、比較例に係る音声対話システムの動作を例示する図。
【図１４】図１０の文意決定部の動作の説明図。
【図１５】代替対話状態を生成するための技法を例示する図。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら実施形態の説明が述べられる。尚、以降、説明済みの要素と同一または類似の要素には同一または類似の符号が付され、重複する説明は基本的に省略される。  
（第１の実施形態）  
ユーザからのバージインが生じない場合（即ち、ユーザがシステムからの応答文を最後まで聞き取ってから発話する場合）には、一般に、音声対話は例えば図２に示されるように進行する。図２の例によれば、ユーザがシステムからの応答文を適切に理解したうえで当該応答文に対する返事のために発話するので、発話はシステムの想定内のものとなり音声対話は円滑に進行する。
【００１１】
しかしながら、一般に、ユーザからのバージインが生じる場合に当該ユーザの発話意図を適切に理解することは容易でない。具体的には、ユーザからのバージインは、図４に例示されるように様々なタイミングで生じる可能性がある。ユーザが聞き取ることのできる応答文はバージインのタイミング次第で異なるので、図５に例示されるように、応答文に対するユーザの理解もまたバージインのタイミング次第で異なる。そして、ユーザは応答文に対する理解に基づいて発話するから、図５に例示されるように、ユーザの発話内容が同じであってもバージインのタイミング次第でユーザの発話意図が異なる可能性がある。
【００１２】
第１の実施形態に係る音声対話システムは、ユーザからのバージインが生じる場合であっても、ユーザが聞き取った応答文（以降、部分応答文と称される）の文意を理解し、この理解結果を利用してユーザの発話を処理する。故に、この音声対話システムによれば、音声対話を円滑に進行することができる。
【００１３】
具体的には、ユーザからのバージインが生じる場合（即ち、ユーザがシステムからの応答文を最後まで聞き取らずに発話する場合）には、音声対話は例えば図３に示されるように進行する。尚、図３の例において、ユーザは、システムからの応答文（Ａ２）「年利が１００％のギリシャ国債は嫌ですよね。それでは７％のイタリア国債か１％の日本国債のどちらにしますか？」のうち「年利が１００％のギリシャ国債」を聞き取ってから「はい！」と発話している（Ｂ３）。この場合に、ユーザは、システムからの応答文（Ａ２）を最後まで聞き取っていないので、聞き取った応答文の文意を誤って理解し（Ｃ２）、システムの想定外の発話をするおそれがある。本実施形態に係る音声対話システムは、後述されるように、ユーザの発話の開始タイミングに基づいて応答文から部分応答文を抽出し、その文意を理解し、文意理解結果を利用して対話状態を更新する。故に、この音声対話システムによれば、システムの想定外の発話も適切に処理することができる。
【００１４】
図１に示されるように、本実施形態に係る音声対話システムは、音声入力部１０１と、音声認識部１０２と、発話意図理解部１０３と、対話状態制御部１０４と、対話履歴記憶部１０５と、音声出力部１０６と、発話検出部１０７と、部分応答文取得部１０８と、部分応答文理解部１０９と、対話状態更新部１１０とを備える。
【００１５】
図１の音声対話システムは、単独の装置によって実装されてもよいし、２以上の装置に亘って実装されてもよい。例えば、図１の音声対話システムのうち一部の要素がサーバ装置に備えられ、残りの要素がサーバ装置にネットワーク経由で接続可能な電子機器（例えば、携帯電話機、ＰＣ、ポータブルメディアプレーヤなど）に備えられてよい。
【００１６】
音声入力部１０１は、例えばマイクロホンを用いて実装されてよい。この場合に、音声入力部１０１は、ユーザからの入力音声を電気信号に変換することによって、発話信号を得ることができる。或いは、音声入力部１０１は、図１に示されない装置からネットワーク経由で発話信号を受信してもよい。音声入力部１０１は、発話信号を音声認識部１０２及び発話検出部１０７へと出力する。尚、音声入力部１０１が音声認識部１０２及び発話検出部１０７とは別の装置に設けられる場合には、音声入力部１０１はネットワーク経由で発話信号を出力（送信）してもよい。
【００１７】
音声認識部１０２は、音声入力部１０１から発話信号を入力する。音声認識部１０２は、発話信号に対して音声認識処理を行うことによって、ユーザの発話の内容を表す発話テキストを得る。音声認識部１０２は、任意の技法を用いて音声認識処理を実現してよい。
【００１８】
発話意図理解部１０３は、音声認識部１０２から発話テキストを入力する。発話意図理解部１０３は、発話テキストに基づいてユーザの発話の意図を理解することによって、発話意図理解結果を得る。具体的には、発話意図理解部１０３は、後述される部分応答文理解部１０９と同一または類似の技法を利用することによって、発話テキストに基づいてユーザの発話の意図を理解してよい。ここで、発話意図理解結果は、発話テキストの意図を抽象化して表現するデータを意味する。発話意図理解部１０３は、発話意図理解結果を対話状態制御部１０４へと出力する。
【００１９】
発話テキストが曖昧なもの（例えば、「はい」、「いいえ」、「そうですね」など）である場合には当該発話テキスト単体からユーザの発話の意図を高精度に特定することは困難である。故に、発話意図理解部１０３は、発話テキストに加えて対話履歴記憶部１０５からの対話履歴及び部分応答文理解部１０９からの部分応答文の文意理解結果に基づいてユーザの発話の意図を理解してもよい。発話意図理解部１０３は、対話履歴及び文意理解結果のうち少なくとも一方を考慮することによって、ユーザの発話の意図をより正確に理解することが可能となる。
【００２０】
対話状態制御部１０４は、発話意図理解部１０３から発話意図理解結果を入力する。対話状態制御部１０４は、現行の対話状態を用いて発話意図理解結果を処理し、必要に応じて対話状態間の遷移（自己遷移を含む）を制御する。具体的には、図１の音声対話システムは、シナリオ毎に対話状態を準備しており、発話意図理解結果に応じて対話状態間の遷移を行うことによって、ユーザとの音声対話を実現する。
【００２１】
ここで、対話状態は、音声対話システムの振る舞いを決定付けるパラメータである。対話状態は、例えば、音声対話システムがユーザに対して出力する応答文、音声対話システムが当該応答文に対して受理可能な単語、当該受理可能な単語が入力された場合の音声対話システムの動作などを示す。
【００２２】
対話状態制御部１０４は、発話意図理解結果を処理することによって、ユーザに対して次に出力する応答文を決定する。対話状態制御部１０４は、応答文を音声出力部１０６へと出力する。更に、対話状態制御部１０４は、現行の対話状態と発話意図理解結果とを対話履歴として対話履歴記憶部１０５へと出力する。
【００２３】
更に、対話状態制御部１０４は、後述される対話状態更新部１１０から代替対話状態を入力することができる。対話状態制御部１０４は、代替対話状態によって現行の対話状態を更新してから、発話意図理解結果を処理する。
【００２４】
対話履歴記憶部１０５は、対話状態制御部１０４からの対話履歴を保存する。対話履歴記憶部１０５に保存された対話履歴は、発話意図理解部１０３によって必要に応じて読み出される。
【００２５】
音声出力部１０６は、例えばスピーカを用いて実装されてよい。この場合に、音声出力部１０６は、対話状態制御部１０４からの応答文を音声出力することができる。音声出力部１０６は、応答文がテキスト形式である場合には例えば任意のテキスト読み上げ処理を行うことによって当該応答文を音声出力してもよい。或いは、音声出力部１０６は応答文が音声形式である場合には必要な信号処理を行うことによって当該応答文を音声出力してもよい。或いは、音声出力部１０６は、図１に示されない装置へとネットワーク経由で応答文を送信してもよい。尚、音声出力部１０６が対話状態制御部１０４とは別の装置に設けられる場合には、音声出力部１０６はネットワーク経由で応答文を入力（受信）してもよい。
【００２６】
更に、音声出力部１０６は、応答文に関する情報を部分応答文取得部１０８へと出力する。応答文に関する情報は、例えば、応答文を構成する文字列を示す文字列情報と、当該文字列を構成する各文字の音声出力時刻を示す時刻情報とを含む。尚、音声出力部１０６が部分応答文取得部１０８とは別の装置に設けられる場合には、音声出力部１０６はネットワーク経由で応答文に関する情報を出力（送信）してもよい。
【００２７】
発話検出部１０７は、音声入力部１０１から発話信号を入力する。発話検出部１０７は、発話信号に基づいてユーザの発話の開始タイミングを検出する。開始タイミングは、例えば、発話が開始された時刻、発話が開始された時点での音声出力済みの応答文の文字数などを意味する。発話検出部１０７は、検出した開始タイミングを用いてタイミング情報を生成する。発話検出部１０７は、タイミング情報を部分応答文取得部１０８へと出力する。尚、発話検出部１０７が音声入力部１０１とは別の装置に設けられる場合には、発話検出部１０７はネットワーク経由で発話信号を入力（受信）してもよい。また、発話検出部１０７が部分応答文取得部１０８とは別の装置に設けられる場合には、発話検出部１０７はネットワーク経由でタイミング情報を出力（送信）してもよい。
【００２８】
タイミング情報は、開始タイミングそのものを特定してもよいし、当該開始タイミングに補正することによって得られるタイミングを特定してもよい。一般に、人間が音声を聞き取り、その音声の内容を理解し、理解した内容に基づいて発話するまでにはある程度の遅延が生じる。従って、発話検出部１０７は、ユーザの理解能力によって生じる遅延に相当する補正量（時間或いは文字数）をユーザの発話の開始タイミングを遡らせたタイミングを特定するタイミング情報を生成してもよい。また、発話検出部１０７は、ネットワーク伝送などの他の遅延について考慮してもよい。尚、遅延を考慮した開始タイミングの補正は、部分応答文取得部１０８において行われてもよい。
【００２９】
部分応答文取得部１０８は、音声出力部１０６から応答文に関する情報を入力し、発話検出部１０７からタイミング情報を入力する。部分応答文取得部１０８は、応答文に関する情報とタイミング情報とに基づいて、応答文全体から部分応答文を抽出する。部分応答文取得部１０８は、部分応答文を部分応答文理解部１０９へと出力する。
【００３０】
部分応答文の末尾文字は、上記タイミング情報によって定められる。例えば、タイミング情報が時刻を表すならば、当該時刻までに音声出力された最後の文字が部分応答文の末尾文字に定められてよい。また、タイミング情報が文字数を表すならば、応答文の先頭文字から当該文字数だけ先にある文字が部分応答文の末尾文字に定められてよい。
【００３１】
部分応答文の先頭文字として、典型的には、応答文の先頭文字が定められてよい。或いは、応答文が複数の文を含んでいる場合には、これら複数の文のいずれかの先頭文字が部分応答文の先頭文字に定められてよい。また、応答文が複数の話題を含む場合には、話題の転換点に基づいて部分応答文の先頭文字が定められてよい。
【００３２】
部分応答文理解部１０９は、部分応答文取得部１０８から部分応答文を入力する。部分応答文理解部１０９は、部分応答文の文意を理解することによって、当該部分応答文の文意理解結果を得る。ここで、部分応答文の文意理解結果は、部分応答文の文意を抽象化して表現するデータを意味する。尚、部分応答文理解部１０９は、部分応答文に複数の文意が見込まれる場合であっても、いずれか１つの文意理解結果を自動で決定するものとする。部分応答文理解部１０９は、文意理解結果を発話意図理解部１０３及び対話状態更新部１１０へと出力する。
【００３３】
例えば、部分応答文理解部１０９は、部分応答文の文意を抽象的に表現するタグへと、部分応答文を変換してもよい。例えば、以降の説明では、部分応答文の文意は、行為（ａｃｔ）とコマンド（ｃｏｍｍａｎｄ）と呼ばれるタグの組み合わせで表現されている。但し、行為タグのみまたはその他の１以上のタグによって部分応答文の文意が表現されてもよい。或いは、部分応答文理解部１０９は、多数の文意が予め整理及び正規化された例文集に列挙された例文のいずれかに、部分応答文を変換してもよい。
【００３４】
部分応答文理解部１０９は、部分応答文と文意との対応関係が定められたルールに従って、部分応答文の文意を決定してもよい。或いは、部分応答文理解部１０９は、大量の学習データを用いた統計的な学習結果に基づいて、部分応答文と任意の文意とが対応付けられる確率を計算し、最も高い確率を示す文意を選択してもよい。
【００３５】
対話状態更新部１１０は、部分応答文理解部１０９から文意理解結果を入力する。対話状態更新部１１０は、文意理解結果に応じた対話状態を生成することによって、現行の対話状態を更新するための代替対話状態を得る。対話状態更新部１１０は、代替対話状態を対話状態制御部１０４へと出力する。
【００３６】
以下、図６、図７、図８及び図１５を用いて、図１の音声対話システムの動作と、比較例に係る音声対話システムの動作とを比較する。ここで、比較例に係る音声対話システムは、ユーザからのバージインが生じた場合に、未出力部分を含む応答文全体に対してユーザの発話がなされたとみなすものとする。
【００３７】
ユーザからのバージインが生じない場合に、図１の音声対話システム及び比較例に係る音声対話システムは、図６に例示されるように動作する。尚、図６、図７、図８、図１１及び図１３において、システムによって理解されたユーザの発話意図は、主体（「Ｕｓｅｒ」；１行目）、行為タグ（２行目）及びコマンドタグ（３行目）によって表現されている。同様に、図６、図７、図８、図１１及び図１３において、応答文の文意は、主体（「Ｓｙｓｔｅｍ」；１行目）、行為タグ（２行目）及びコマンドタグ（３行目）によって表現されている。
【００３８】
図６の例によれば、ユーザは、応答文を最後まで聞き取り、応答文全体の文意を適切に理解できる。故に、ユーザからの発話はシステムの想定内のものとなり、音声対話が円滑に進行する。
【００３９】
ユーザからのバージインが生じる場合に、比較例に係る音声対話システムは例えば図７に示されるように動作する。図７の例において、ユーザは、システムからの応答文（Ａ２）「年利が１００％のギリシャ国債は嫌ですよね。それでは７％のイタリア国債か１％の日本国債のどちらにしますか？」のうち「年利が１００％のギリシャ国債」を聞き取ってから「はい！」と発話している（Ｂ３）。この場合に、ユーザは、システムからの応答文（Ａ２）を最後まで聞き取っていないので、聞き取った応答文の文意を例えば「ギリシャ国債にしますか？」のように誤って理解している。即ち、ユーザの発話（Ｂ３）の意図は、例えば「金利１００％のギリシャ国債を購入したい！」（Ｄ３）のようになる。
【００４０】
他方、システムは、ユーザが応答文（Ａ２）の全体の文意を理解しているとみなす。故に、システムの対話状態（Ｄ２）は、国名「イタリア」または国名「日本」に相当する発話を想定する。結果的に、ユーザの発話（Ｂ３）は、システムの想定外のものとして扱われ、「「はい」という国はありません。国名を入力してください。」のような応答文（Ａ４）が音声出力される。この応答文（Ａ４）は、ギリシャ国債の購入を希望するユーザの発話意図（Ｄ３）から見て適切でない。故に、音声対話を進行に支障が生じる。
【００４１】
ユーザからのバージインが生じる場合に、図１の音声対話システムは例えば図８に示されるように動作する。図８の例において、ユーザは、システムからの応答文（Ａ２）「年利が１００％のギリシャ国債は嫌ですよね。それでは７％のイタリア国債か１％の日本国債のどちらにしますか？」のうち「年利が１００％のギリシャ国債」を聞き取ってから「はい！」と発話している（Ｂ３−１）。この場合に、ユーザは、システムからの応答文（Ａ２）を最後まで聞き取っていないので、聞き取った応答文の文意を例えば「ギリシャ国債にしますか？」のように誤って理解している。
【００４２】
システムは、ユーザの発話（Ｂ３−１）を検出し、部分応答文である「年利が１００％のギリシャ国債」（Ａ３−２）を取得する。システムは、部分応答文（Ａ３−２）の文意（Ｃ３−２）を理解し、代替対話状態（Ｄ３−２）を生成して現行の対話状態を更新する。故に、システムの対話状態は、肯定または否定に相当する発話を想定することになる。結果的に、ユーザの発話（Ｂ３−１，Ｂ３−３）は、システムの想定内のものとして扱われ、「ギリシャ国債への投資ですね。承知しました。いくら投資されますか？」（Ａ４）のような応答文が音声出力される。この応答文（Ａ４）は、ギリシャ国債の購入を希望するユーザの発話意図（Ｄ３−１，Ｄ３−３）から見て適切であるから、ユーザは例えば「とりあえず１万で。」（Ｂ５）のように発話して音声対話が円滑に進行する。
【００４３】
ところで、部分応答文の文意理解結果に応じた代替対話状態を生成するために、図１５に例示されるように、部分応答文の文意と当該文意に対応する応答文を出力する時の対話状態（即ち、代替対話状態）とを組にした情報を予め作成して利用することができる。図１５に例示される表は、部分応答文（列Ｂ）とその文意（列Ｃ）とその文意に対応する応答文を出力する時の対話状態（列Ｄ）との組を表している。また、図１５に例示されるように、直前の対話状態の情報（列Ａ）が、上記組の要素として加えられてもよい。この直前の対話状態を示す情報（列Ａ）は、代替対話状態を生成するために必須ではないが、部分応答文から複数の文意理解結果が得られる場合に、より適切な文意理解結果を特定するために利用されてよい。
【００４４】
例えば、部分応答文（図８のＡ３−２）から２つの文意理解結果（図１５のＣ１及びＣ２を得ることができる。しかしながら、図１５の例によれば、直前の対話状態が「Ｒｅｑｕｅｓｔ、Ｒｅｃｏｍｍｅｎｄ（ｃｏｎｕｎｔｒｙ）」（図８のＣ１）であれば、直前の対話状態は「Ｓ１（＝Ｒｅｑｕｅｓｔ、ＢｏｕｎｄＩｎｆｏ（ギリシャ））以外の対話状態」（即ち、図１５のＡ１）に該当する。故に、上記部分応答文（図８のＡ３−２）の文意理解結果は、「Ｑｕｅｓｔｉｏｎ−ＹＮ、国債購入（ギリシャ）」（図１５のＣ１）に特定されることになる。
【００４５】
具体的には、部分応答文（図８のＡ３−２）と直前の対話状態（図８のＣ１）「Ｒｅｑｕｅｓｔ、Ｒｅｃｏｍｍｅｎｄ（ｃｏｎｕｎｔｒｙ）」との組み合わせによって、部分応答文の文意理解結果（図１５のＣ１）が特定されるので、文意理解結果に応じた代替対話状態（図１５のＤ１）を生成することができる。そして、音声対話システムは、対話状態を（図８のＤ３−２）のように置き換えてからユーザの発話を処理することによって、前述のように音声対話を円滑に進行できる。
【００４６】
以上説明したように、第１の実施形態に係る音声対話システムは、ユーザの発話の開始タイミングに基づいて部分応答文を取得し、当該部分応答文の文意を理解し、対話状態を更新する。従って、この音声対話システムによれば、部分応答文の文意理解結果に適応して対話状態が更新されるので、ユーザの発話がシステムの想定内のものとして扱われ易くなる。即ち、この音声対話システムによれば、ユーザからのバージインが生じる場合にも音声対話を円滑に進行することができる。
【００４７】
（第２の実施形態）  
図９に示されるように、第２の実施形態に係る音声対話システムは、音声入力部１０１と、音声認識部１０２と、発話意図理解部１０３と、対話状態制御部１０４と、対話履歴記憶部１０５と、音声出力部１０６と、発話検出部１０７と、部分応答文取得部１０８と、部分応答文理解部２０９と、対話状態更新部１１０と、文意確認部２１１とを備える。
【００４８】
部分応答文理解部２０９は、部分応答文取得部１０８から部分応答文を入力する。部分応答文理解部２０９は、部分応答文の文意を理解することによって、１以上の文意理解結果を得る。換言すれば、部分応答文理解部２０９は、部分応答文に複数の文意が見込まれる場合には、複数の文意理解結果を得てもよい。尚、部分応答文理解部２０９は、１以上の文意理解結果を得るために、前述の部分応答文理解部１０９と同一または類似の技法を用いることができる。部分応答文理解部２０９は、１以上の文意理解結果を文意確認部２１１へと出力する。
【００４９】
文意確認部２１１は、部分応答文理解部２０９から１以上の文意理解結果を入力する。文意確認部２１１は、１以上の文意理解結果を変換することによって１以上の確認文を生成する。尚、文意確認部２１１は、部分応答文理解部２０９から入力した文意理解結果の数が１つである場合には、当該文意理解結果をそのまま対話状態更新部１１０へと出力してもよい。ここで、確認文は、対応する文意理解結果の内容に対するユーザの理解を補助するテキストを意味する。具体的には、図１２に例示されるように、部分応答文の文意理解結果が「Ｑｕｓｅｓｔｉｏｎ−ＹＮ，国債購入（ギリシャ）」（Ｂ１）である場合に、当該文意理解結果をそのまま提示するのではなく「ギリシャ国債はいかがですか？」（Ｃ１）のような確認文を提示することによって、当該文意理解結果の内容に対するユーザの理解を補助することができる。
【００５０】
文意確認部２１１は、１以上の確認文をユーザに提示する。文意確認部２１１は、任意のやり方で１以上の確認文を提示してよい。一般に、音声よりも映像の方が文章を短時間で提示することができるので、音声対話を円滑化する観点から、文意確認部２１１は例えば１以上の確認文が列挙された映像を図示されない表示部に表示させてよい。勿論、文意確認部２１１は、１以上の確認文を音声によって提示してもよいし、映像及び音声を併用して提示してもよい。
【００５１】
図１２の例によれば、部分応答文が「年利が１００％のギリシャ国債」（Ａ１，Ａ２）の場合に２つの文意理解結果（Ｂ１，Ｂ２）が得られる。故に、文意確認部２１１は、これらに対応する確認文である「ギリシャ国債はいかがですか？」，「ギリシャ国債は年利１００％です。」をユーザに提示する。
【００５２】
ユーザは、提示された１以上の確認文の中から、自己が聞き取った応答文に対する理解に最も合致する１つを選択する。そして、文意確認部２１１は、１以上の確認文のいずれか１つに対するユーザの選択を受理する。文意確認部２１１は、任意のやり方でユーザの選択を受理してよい。具体的には、文意確認部２１１は、例えば音声入力、タッチパネル入力、キー入力、ジェスチャー入力などの形式でユーザの選択を受理してよい。文意確認部２１１は、ユーザによって選択された１つの確認文に対する１つの文意理解結果を対話状態更新部１１０へと出力する。
【００５３】
文意確認部２１１は、提示された１以上の確認文のいずれも、ユーザが聞き取った応答文に対する理解に合致しないことを示す入力を受理してもよい。文意確認部２１１が係る入力を受理した場合には、現行の対話状態に対応する応答文が改めて音声出力されてもよいし、部分応答文に関する処理（例えば、部分応答文を取得する処理、部分応答文の文意を理解する処理など）がやり直されたりしてもよい。
【００５４】
文意確認部２１１は、部分応答文の文意理解結果に対応する確認文に加えて、応答文全体の文意に対応する確認文（或いは、応答文そのもの）をユーザに提示してもよい。例えばユーザが図９の音声対話システムの使用に慣れている場合に、ユーザが応答文の一部を聞き取った時点で応答文全体の文意を正しく理解することも想定される。ところが、ユーザの発話の開始タイミング次第では部分応答文の文意理解結果に対応する確認文のいずれも応答文全体の文意に対応しないかもしれない。即ち、ユーザの発話の開始タイミング次第では、適切な確認文が提示されないおそれがある。故に、ユーザの発話の開始タイミングに関わらず応答文全体の文意に対応する確認文を併せて提示することによって、このユースケースにおいて音声対話を円滑に進行することが有用である。
【００５５】
文意確認部２１１によれば、複数の文意理解結果が存在する場合であっても、ユーザの選択に基づいて適切な１つの文意理解結果を抽出することができる。故に、文意確認部２１１によれば、ユーザの理解と異なる文意理解結果に基づいて対話状態が更新されることにより音声対話の進行に支障が生じる事態を予防できる。
【００５６】
対話状態更新部１１０は、文意確認部２１１から文意理解結果を入力する。対話状態更新部１１０は、文意理解結果に応じた対話状態を生成することによって、現行の対話状態を更新するための代替対話状態を得る。対話状態更新部１１０は、代替対話状態を対話状態制御部１０４へと出力する。
【００５７】
以下、図１１及び図１３を用いて、図９の音声対話システムの動作と、比較例に係る音声対話システムの動作とを比較する。ここで、比較例に係る音声対話システムは、ユーザからのバージインが生じた場合に、未出力部分を含む応答文全体に対してユーザの発話がなされたとみなすものとする。
【００５８】
ユーザからのバージインが生じる場合に、比較例に係る音声対話システムは例えば図１１に示されるように動作する。図１１の例において、ユーザは、システムからの応答文（Ａ２）「年利が１００％のギリシャ国債は嫌ですよね。それでは７％のイタリア国債か１％の日本国債のどちらにしますか？」のうち「年利が１００％のギリシャ国債」を聞き取ってから「なんで？」と発話している（Ｂ３）。この場合に、ユーザは、システムからの応答文（Ａ２）を最後まで聞き取っていないので、聞き取った応答文の文意を「ギリシャ国債は年利１００％です。」のように誤って理解している。即ち、ユーザの発話（Ｂ３）の意図は、例えば「ギリシャ国債の状況の説明依頼」（Ｄ３）のようになる。
【００５９】
他方、システムは、ユーザが応答文（Ａ２）の全体の文意を理解しているとみなす。故に、システムの対話状態（Ｄ２）は、国名「イタリア」または国名「日本」に相当する発話を想定する。結果的に、ユーザの発話（Ｂ３）は、システムの想定外のものとして扱われ、「「なんで」という国はありません。国名を入力してください。」のような応答文（Ａ４）が音声出力される。この応答文（Ａ４）は、ギリシャ国債の状況の説明を希望するユーザの発話意図（Ｄ３）から見て適切でない。故に、音声対話を進行に支障が生じる。
【００６０】
ユーザからのバージインが生じる場合に、図９の音声対話システムは例えば図１３に示されるように動作する。図１３の例において、ユーザは、システムからの応答文（Ａ２）「年利が１００％のギリシャ国債は嫌ですよね。それでは７％のイタリア国債か１％の日本国債のどちらにしますか？」のうち「年利が１００％のギリシャ国債」を聞き取ってから「なんで？」と発話している（Ｂ３−１）。この場合に、ユーザは、システムからの応答文（Ａ２）を最後まで聞き取っていないので、聞き取った応答文の文意を例えば「ギリシャ国債はいかがですか？」、「ギリシャ国債は年利１００％です。」のように誤って理解している。
【００６１】
システムは、ユーザの発話（Ｂ３−１）を検出し、部分応答文である「年利が１００％のギリシャ国債」（Ａ３−２）を取得する。システムは、部分応答文（Ａ３−２）の文意を理解し、複数の文意理解結果（例えば、図１２のＢ１，Ｂ２）を得る。システムは、複数の文意理解結果を変換することによって、複数の確認文（例えば、図１２のＣ１，Ｃ２）を得る。システムは、複数の確認文を提示し、これらに対するユーザの選択を受理する。そして、システムは、ユーザの選択に対応する１つの文意理解結果（Ｃ３−２）を抽出し、これに基づいて代替対話状態（Ｄ３−２）を生成して現行の対話状態を更新する。
【００６２】
故に、ユーザの発話（Ｂ３−１，Ｂ３−３）は、システムの想定内のものとして扱われ、「ギリシャは国家財政の債務危機でデフォルトになる可能性があるからです。」（Ａ４）のような応答文が音声出力される。この応答文（Ａ４）は、ギリシャ国債の状況の説明を希望するユーザの発話意図（Ｄ３−１，Ｄ３−３）から見て適切であるから、音声対話が円滑に進行する。
【００６３】
以上説明したように、第２の実施形態に係る音声対話システムは、部分応答文の１以上の文意理解結果に対応する確認文をユーザに提示し、ユーザの選択を受理し、ユーザの選択に対応する１つの文意理解結果に基づいて対話状態を更新する。故に、この音声対話システムによれば、ユーザの理解と異なる文意理解結果に基づいて対話状態が更新されることにより音声対話の進行に支障が生じる事態を予防できる。
【００６４】
（第３の実施形態）  
図１０に示されるように、第３の実施形態に係る音声対話システムは、音声入力部１０１と、音声認識部１０２と、発話意図理解部３０３と、対話状態制御部１０４と、対話履歴記憶部１０５と、音声出力部１０６と、発話検出部１０７と、部分応答文取得部１０８と、部分応答文理解部２０９と、対話状態更新部１１０と、文意決定部３１２とを備える。
【００６５】
発話意図理解部３０３は、音声認識部１０２から発話テキストを入力する。発話意図理解部３０３は、発話テキストに基づいてユーザの発話の意図を理解することによって、第１の発話意図理解結果を得る。具体的には、発話意図理解部３０３は、発話意図理解部１０３と同一または類似の技法を利用することによって、発話テキストに基づいてユーザの発話の意図を理解してよい。発話意図理解部３０３は、第１の発話意図理解結果を文意決定部３１２へと出力する。また、発話意図理解部３０３は、第１の発話意図理解結果を対話状態制御部１０４へ出力してもよい。
【００６６】
発話テキストが曖昧なもの（例えば、「はい」、「いいえ」、「そうですね」など）である場合には当該発話テキスト単体からユーザの発話の意図を高精度に特定することは困難である。故に、発話意図理解部１０３は、発話テキストに加えて対話履歴記憶部１０５からの対話履歴に基づいてユーザの発話の意図を理解してもよい。発話意図理解部１０３は、対話履歴を考慮することによって、ユーザの発話の意図をより正確に理解することが可能となる。
【００６７】
発話意図理解部３０３は、後述される文意決定部３１２から文意理解結果を入力してもよい。そして、発話意図理解部３０３は、上記発話テキスト（及び対話履歴）に加えて文意理解結果に基づいて、第２の発話意図理解結果を生成してもよい。発話意図理解部３０３は、文意理解結果を考慮することによって、ユーザの発話の意図をより正確に理解することが可能となる。発話意図理解部３０３は、第１の発話意図理解結果の代わりに第２の発話意図理解結果を対話制御部１０４へと出力してもよい。
【００６８】
対話状態制御部１０４は、発話意図理解部１０３から第１の発話意図理解結果または第２の発話意図理解結果を入力する。対話状態制御部１０４は、現行の対話状態を用いて第１の発話意図理解結果または第２の発話意図理解結果を処理し、必要に応じて対話状態間の遷移（自己遷移を含む）を制御する。
【００６９】
文意決定部３１２は、発話意図理解部３０３から第１の発話意図理解結果を入力し、部分応答文理解部２０９から１以上の文意理解結果を入力する。文意決定部３１２は、後述されるように、１以上の文意理解結果の中から信頼度の最も高い１つを決定する。尚、文意決定部３１２は、部分応答文理解部２０９から入力した文意理解結果の数が１つである場合には、当該文意理解結果をそのまま対話状態更新部１１０へと出力してもよい。文意決定部３１２は、信頼度の最も高い文意理解結果を対話状態更新部１１０へと出力する。
【００７０】
具体的には、文意決定部３１２は、図１４に例示されるように、部分応答文に対応する１以上の文意理解結果の各々が出現する第１の確率を参照できる。第１の確率は、前提となる部分応答文が与えられた場合に対象の文意理解結果がユーザの当該部分応答文に対する理解と合致する確率に相当する。図１４の例によれば、部分応答文が「年利が１００％のギリシャ国債」（Ａ１，Ａ２）である場合に、２つの文意理解結果（Ｂ１，Ｂ２）の各々が出現する確率は７０％（Ｃ１），３０％（Ｃ２）である。
【００７１】
更に、文意決定部３１２は、図１４に例示さえるように、部分応答文に対応する１以上の文意理解結果の各々の出現を仮定した場合にユーザの複数の発話意図の各々が出現する第２の確率を参照できる。第２の確率は、前提となる部分応答文の文意理解結果がユーザの当該部分応答文に対する理解と合致する場合に、ユーザが対象の発話意図に対応する発話をする確率に相当する。即ち、この第２の確率を利用すれば、第１の発話意図理解結果からその前提であるユーザの部分応答文に対する理解を推定することが可能となる。図１４の例によれば、「Ｑｕｅｓｔｉｏｎ−ＹＮ，国債購入（ギリシャ）」という文意理解結果（Ｂ１）の出現を仮定した場合に、ユーザが「Ｒｅｓｐｏｎｓｅ」（Ｄ１）に対応する発話をする確率が「８０％」（Ｅ１）である。
【００７２】
文意決定部３１２は、ある文意理解結果に対応する第１の確率と、当該文意理解結果に対応する複数の第２の確率のうち第１の発話意図理解結果に合致するものとを乗算することによって、当該文意理解結果の信頼度を評価する。
【００７３】
図１４の例において、部分応答文が「年利が１００％のギリシャ国債」（Ａ１，Ａ２）であり、第１の発話意図理解結果が「Ｒｅｑｕｅｓｔ（依頼）」であるするとする。この場合に、「Ｑｕｅｓｔｉｏｎ−ＹＮ，国債購入（ギリシャ）」という文意理解結果（Ｂ１）に対応する第１の確率は「７０％」（Ｃ１）であり、当該文意理解結果（Ｂ１）に対応する複数の第２の確率（Ｅ１）のうち第１の発話意図理解結果に合致するものは「５％」である。故に、文意理解結果（Ｂ１）の信頼度は、例えば「３．５％」と評価することができる。また、「Ｉｎｆｏｒｍ，国債情報（ギリシャ）」という文意理解結果（Ｂ２）に対応する第１の確率は「３０％」（Ｃ２）であり、当該文意理解結果（Ｂ２）に対応する複数の第２の確率（Ｅ２）のうち第１の発話意図理解結果に合致するものは「６５％」である。故に、文意理解結果（Ｂ２）の信頼度は、例えば「１９．５％」と評価することができる。文意決定部３１２は、複数の文意理解結果（Ｂ１，Ｂ２）のうち信頼度の最も高い１つ（Ｂ２）を決定する。
【００７４】
文意決定部３１２によれば、複数の文意理解結果が存在する場合であっても、第１の発話意図理解結果を利用して信頼度の最も高い１つの文意理解結果を自動決定することができる。故に、文意決定部３１２によれば、ユーザの部分応答文に対する理解に合致した文意理解結果を高精度にかつ短時間で決定できるので、音声対話を円滑に進行することができる。
【００７５】
対話状態更新部１１０は、文意決定部３１２から文意理解結果を入力する。対話状態更新部１１０は、文意理解結果に応じた対話状態を生成することによって、現行の対話状態を更新するための代替対話状態を得る。対話状態更新部１１０は、代替対話状態を対話状態制御部１０４へと出力する。
【００７６】
以上説明したように、第３の実施形態に係る音声対話システムは、部分応答文の１以上の文意理解結果のうち信頼度の最も高い１つをユーザの発話意図理解結果を利用して自動的に決定し、信頼度の最も高い文意理解結果に基づいて対話状態を更新する。故に、この音声対話システムによれば、ユーザの部分応答文に対する理解に合致した文意理解結果を高精度にかつ短時間で決定できるので、音声対話を円滑に進行することができる。
【００７７】
上記各実施形態の処理は、汎用のコンピュータを基本ハードウェアとして用いることで実現可能である。上記各実施形態の処理を実現するプログラムは、コンピュータで読み取り可能な記憶媒体に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記憶媒体に記憶される。記憶媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリなどである。記憶媒体は、プログラムを記憶でき、かつ、コンピュータが読み取り可能であれば、何れであってもよい。また、上記各実施形態の処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。
【００７８】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７９】
１０１・・・音声入力部
１０２・・・音声認識部
１０３，３０３・・・発話意図理解部
１０４・・・対話状態制御部
１０５・・・対話履歴記憶部
１０６・・・音声出力部
１０７・・・発話検出部
１０８・・・部分応答文取得部
１０９，２０９・・・部分応答文理解部
１１０・・・対話状態更新部
２１１・・・文意確認部
３１２・・・文意決定部
【図１】
2014038150.tif 000003
【図２】
2014038150.tif 000004
【図３】
2014038150.tif 000005
【図４】
2014038150.tif 000006
【図５】
2014038150.tif 000007
【図６】
2014038150.tif 000008
【図７】
2014038150.tif 000009
【図８】
2014038150.tif 000010
【図９】
2014038150.tif 000011
【図１０】
2014038150.tif 000012
【図１１】
2014038150.tif 000013
【図１２】
2014038150.tif 000014
【図１３】
2014038150.tif 000015
【図１４】
2014038150.tif 000016
【図１５】
2014038150.tif 000017