(57)【要約】【課題】ユーザと対話する装置において、バリエーション豊かな会話を提供する。【解決手段】音声によってユーザと対話する音声対話装置であって、前記ユーザが発した発話を取得し、音声認識を行う発話取得手段と、前記発話に含まれる単語について、複数の認識候補を抽出する抽出手段と、前記複数の認識候補のうち、尤度が最も高い第一の候補を用いて、前記発話に対する応答を生成する応答生成手段と、を有し、前記応答生成手段は、選択された前記第一の候補よりも尤度が低い第二の候補を一時的に記憶し、以降の対話において利用する。【選択図】図１
2018163295.tif 000002
【特許請求の範囲】
【請求項１】
音声によってユーザと対話する音声対話装置であって、
前記ユーザが発した発話を取得し、音声認識を行う発話取得手段と、
前記発話に含まれる単語について、複数の認識候補を抽出する抽出手段と、
前記複数の認識候補のうち、尤度が最も高い第一の候補を用いて、前記発話に対する応答を生成する応答生成手段と、
を有し、
前記応答生成手段は、選択された前記第一の候補よりも尤度が低い第二の候補を一時的に記憶し、以降の対話において利用する、
音声対話装置。
【請求項２】
前記応答生成手段は、前記第一の候補を用いて応答を行ったタイミングよりも後のタイミングにおいて、前記第二の候補を用いて追加応答を生成する、
請求項１に記載の音声対話装置。
【請求項３】
前記応答生成手段は、前記追加応答を自発的に生成する、
請求項２に記載の音声対話装置。
【請求項４】
前記第一の候補が有する尤度と、前記第二の候補が有する尤度との差が所定値より小さい場合に、
前記応答生成手段は、前記第一の候補が正しいか否かを前記ユーザに確認する内容の前記追加応答を生成する、
請求項２または３に記載の音声対話装置。
【請求項５】
前記応答生成手段は、前記第一の候補と第二の候補が音響的に類似している旨に言及した前記追加応答を生成する、
請求項２または３に記載の音声対話装置。
【請求項６】
前記ユーザが発した発話が、以前の発話に対する音声の誤認識を指摘するものであった場合に、
前記応答生成手段は、前記第二の候補を用いて、前記以前の発話に対する応答を再度生成する、
請求項１から５のいずれかに記載の音声対話装置。
【請求項７】
音声によってユーザと対話する音声対話装置が行う音声対話方法であって、
前記ユーザが発した発話を取得し、音声認識を行う発話取得ステップと、
前記発話に含まれる単語について、複数の認識候補を抽出する抽出ステップと、
前記複数の認識候補のうち、尤度が最も高い第一の候補を用いて、前記発話に対する応答を生成する応答生成ステップと、
を含み、
前記応答生成ステップにおいて、選択された前記第一の候補よりも尤度が低い第二の候補を一時的に記憶し、以降の対話において利用する、
音声対話方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声によって人と対話する装置に関する。
【背景技術】
【０００２】
ユーザが発した音声を認識し、対話をすることによって、様々な情報を提供する音声対話装置が実用化されている。また、マイクによって入力された音声を処理し、入力に対する応答を音声で返すコミュニケーションロボットが多く開発されている。
【０００３】
ユーザが発した音声を認識した結果に基づいて応答を生成する場合、誤認識が問題となる。例えば、ユーザの発話に含まれる単語を、発音が似通った別の単語として認識してしまうと、話題が逸れてしまい対話が続かなくなるおそれがある。このようなケースに対応するため、例えば、特許文献１に記載の音声認識装置では、音声認識の結果得られた候補ごとに、文脈に対する適合度（尤度）を求め、最も尤度が高い候補を採用するという手法をとっている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０６−２０８３８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の音声認識装置のように、従来の音声認識手法においては、尤度を用いて音声認識の候補を抽出することが一般的である。しかし、かかる手法によると、単語の認識精度を上げることはできるが、対話が単調になりがちという課題がある。
【０００６】
本発明は上記の課題を考慮してなされたものであり、ユーザと対話する装置において、バリエーション豊かな会話を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る音声対話装置は、音声によってユーザと対話する音声対話装置であって、前記ユーザが発した発話を取得し、音声認識を行う発話取得手段と、前記発話に含まれる単語について、複数の認識候補を抽出する抽出手段と、前記複数の認識候補のうち、尤度が最も高い第一の候補を用いて、前記発話に対する応答を生成する応答生成手段と、を有し、前記応答生成手段は、選択された前記第一の候補よりも尤度が低い第二の候補を一時的に記憶し、以降の対話において利用することを特徴とする。
【０００８】
本発明に係る音声対話装置は、ユーザが行った発話に対して音声認識を行い、ユーザによって言及された単語の候補を複数個抽出したうえで、最も尤度が高い候補を用いて応答を生成する。この際、採用された候補よりも尤度が低い候補を一時的に記憶しておき、以降の対話において利用する。これにより、例えば、誤認識しやすい（聞き間違えの起こりやすい）単語が発話された場合に、聞き間違え自体を話題としてユーザに話しかけるといったことが可能になり、対話のバリエーションを増やすことができる。また、音声認識の結果に誤りがあった場合に、認識結果をただちに訂正できるという副次的な効果を得ることができる。
【０００９】
また、前記応答生成手段は、前記第一の候補を用いて応答を行ったタイミングよりも後のタイミングにおいて、前記第二の候補を用いて追加応答を生成することを特徴としても
よい。
【００１０】
追加応答は、例えば、「そういえば、（第二の候補）と（第一の候補）って似ているよね」といったような、話題を膨らませるものであってもよいし、「さっき（第一の候補）って言った？（第二の候補）の間違えじゃないよね？」といったような、音声認識の結果を確認するものであってもよい。また、追加応答は、対話が途切れたタイミングで行ってもよいし、対話の途中で行ってもよい。
【００１１】
また、前記応答生成手段は、前記追加応答を自発的に生成することを特徴としてもよい。
【００１２】
自発的に追加応答を生成することで、対話の内容を発展させることができる。
【００１３】
また、前記第一の候補が有する尤度と、前記第二の候補が有する尤度との差が所定値より小さい場合に、前記応答生成手段は、前記第一の候補が正しいか否かを前記ユーザに確認する内容の前記追加応答を生成することを特徴としてもよい。
【００１４】
第一の候補と第二の候補の尤度が小さい場合、誤認識が発生する確率が高いと言える。そこで、このような場合、第一の候補が正しかったか否かを事後的に確認する内容の追加応答を生成する。これにより、万一、認識結果が誤っていた場合であっても、対話の流れをスムーズに修正できるようになる。また、認識結果が正しかった場合であっても、新たな話題を提供することができる。
【００１５】
また、前記応答生成手段は、前記第一の候補と第二の候補が音響的に類似している旨に言及した前記追加応答を生成することを特徴としてもよい。
【００１６】
第一の候補と第二の候補が音響的に似ている旨を話題とすることで、対話を発展させることができる。
【００１７】
また、前記ユーザが発した発話が、以前の発話に対する音声の誤認識を指摘するものであった場合に、前記応答生成手段は、前記第二の候補を用いて、前記以前の発話に対する応答を再度生成することを特徴としてもよい。
【００１８】
第一の候補（最も尤度が高い候補）が結果的に誤認識であった場合、第二の候補を用いて応答を生成することで、ユーザに再度発話してもらうことなく、ただちに対話の流れを修正することが可能になる。
【００１９】
なお、本発明は、上記手段の少なくとも一部を含む音声対話装置として特定することができる。また、前記音声対話装置が行う音声対話方法として特定することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
【発明の効果】
【００２０】
本発明によれば、ユーザと対話する装置において、バリエーション豊かな会話を提供することができる。
【図面の簡単な説明】
【００２１】
【図１】第一の実施形態に係る対話装置１００のシステム構成図である。
【図２】ユーザが行った発話と不採用候補を説明する図である。
【図３】第一の実施形態において対話装置が行う処理のフローチャート図である。
【図４】第一の実施形態において対話装置が行う処理のフローチャート図である。
【図５】第二の実施形態において対話装置が行う処理のフローチャート図である。
【発明を実施するための形態】
【００２２】
以下、本発明の好ましい実施形態について図面を参照しながら説明する。
第一の実施形態に係る対話装置は、ユーザが発した音声を取得して音声認識を行い、認識結果に基づいて応答文を生成することで、音声によってユーザとの対話を行うシステムである。
【００２３】
（第一の実施形態）
<システム構成>
図１は、本実施形態に係る対話装置１００のシステム構成図である。本実施形態に係る対話装置１００は、入出力部１０１、発話取得部１０２、応答生成部１０３、記憶部１０４、追加応答生成部１０５を含んで構成される。
【００２４】
入出力部１０１は、内蔵されたマイクおよびスピーカを利用して音声の入出力を行う手段である。入出力部１０１は、入力された音声を音声データに変換し、また、入力された音声データを音声によって出力する機能を有している。
【００２５】
発話取得部１０２は、ユーザが発した音声を、入出力部１０１を介して取得し、認識する手段である。発話取得部１０２は、取得した音声データに対して、既知の技術を用いて音声認識を行う。例えば、発話取得部１０２は、入力された音声に対して雑音を低減する処理を行い、発話区間を検出したうえで、発話を構成する複数の単語を認識する。発話取得部１０２には、音響モデルと認識辞書が記憶されており、取得した音声データと音響モデルとを比較して特徴を抽出し、抽出した特徴を認識辞書とをマッチングさせることで音声認識を行う。発話取得部１０２は、認識結果に対して形態素解析を行う機能を有していてもよい。
また、発話取得部１０２は、音声認識を行う際に、複数の認識候補を尤度（認識結果に対する確からしさ）とともに取得する機能を有する。尤度は、既知の技術によって定量的に算出される。
【００２６】
図２は、発話取得部１０２が音声認識を行った結果を表した図である。本例の場合、「レストラン」という単語に対し、「レストラン」「テストラン」「ベストワン」「ラストラン」という４つの候補が生成されたものとする。各候補には、０〜１００の値を取る尤度（カッコ内に表示）が関連付いており、発話取得部１０２は、最も尤度が高い候補を認識結果として採用する。この結果、図２の例の場合、「近くのレストランを教えて」という認識結果が生成される。
認識結果は、応答生成部１０３へ送信される。この際、認識候補が複数ある単語については、採用されなかった候補を含む全ての候補を尤度とともに送信する。以降、音声認識において採用されなかった認識候補を不採用候補と称する。
【００２７】
なお、発話取得部１０２は、装置外部のサービスを用いて音声認識を行ってもよい。例えば、図１に示したように、ネットワークを介して外部の音声認識サーバと通信を行い、認識結果を取得するように構成してもよい。
【００２８】
応答生成部１０３は、発話取得部１０２から取得した認識結果に基づいて、ユーザに提供する応答（応答文）を生成する手段である。ユーザに提供する応答は、例えば、事前に記憶された対話シナリオ（対話辞書）に基づいて生成してもよいし、データベースやウェブを検索して得られた情報に基づいて生成してもよい。
また、応答生成部１０３は、音声認識の結果を解析することで、ユーザが言及している
対象を判定し（本例の場合「レストラン」）、判定結果に基づいて応答（例：「レストランの検索を行います」）を生成する。
生成された応答は、音声合成機能によって音声データに変換され、入出力部１０１を介して出力される。
【００２９】
更に、応答生成部１０３は、応答を生成した後で、不採用候補を一時的に記憶し、次回以降の会話ターンにおいて、当該不採用候補を用いて更なる応答を生成する機能を有する。詳細な処理内容については後述する。
【００３０】
記憶部１０４は、装置が用いるデータ（不採用候補など）を一時的または恒久的に記憶する手段である。例えば、高速に読み書きでき、かつ、大容量なフラッシュメモリなどの記憶媒体を用いることが好ましい。
【００３１】
追加応答生成部１０５は、記憶部１０４に記憶されている不採用候補を用いて、追加応答を生成する手段である。本実施形態における追加応答とは、ユーザの発話に起因しない自発的な応答である。追加応答は、対話が途切れた際に生成してもよい。なお、追加応答は、必ずしも自発的な応答でなくてもよい。例えば、対話中において話題を転換するために追加応答を生成してもよい。具体的な方法については後述する。
生成された追加応答は、音声合成機能によって音声データに変換され、入出力部１０１を介して出力される。
【００３２】
<処理フローチャート>
次に、本実施形態に係る対話装置が行う処理について、図３を参照しながら説明する。図３に示した処理は、ユーザによる発話が検出された場合に開始される。
まず、ステップＳ１１で、発話取得部１２が、ユーザが行った発話を認識する処理を行う。
次に、ステップＳ１２で、発話取得部１２が、発話においてユーザが言及している対象を特定し、該当する単語について複数の認識候補を生成する。認識候補の数は、例えば３個とすることができるが、特に制限はない。生成された複数の認識候補は、それぞれ尤度が関連付いたものである。音声認識の結果および認識候補は、応答生成部１３へ送信される。
【００３３】
次に、ステップＳ１３で、応答生成部１３が、複数の認識候補のうち、採用する候補を尤度に基づいて決定する。例えば、最も尤度が高い認識候補を採用してもよい。
次に、ステップＳ１４で、応答生成部１３が、不採用候補をそれぞれ尤度と関連付けて記憶部１４に一時的に記憶させる。
【００３４】
次に、ステップＳ１５で、応答生成部１３が、音声認識の結果に基づいて応答を生成する。そして、ステップＳ１６で、生成された応答に基づいて音声合成を行い、入出力部１０１を介して出力する。
【００３５】
なお、本実施形態に係る対話装置１００は、タスク指向型の対話と、非タスク指向型対話のいずれか（または両方）が可能な構成となっている。タスク指向型の対話を行う場合、ステップＳ１６で応答を出力した後で、タスクを達成するための更なる処理（例えば、レストランの検索や、検索結果の出力）を行ってもよい。
【００３６】
図３のフローチャートを終了した段階において、対話装置１００は、ユーザが言及した対象について、聞き間違えの起きやすい、発音がよく似た単語を複数個保持している状態となる。
【００３７】
次に、記憶されている不採用候補を利用して追加応答を生成する処理について、図４を参照しながら説明する。図４に示した処理は、ユーザと対話装置が対話を行っていない状態において、対話装置によって自発的に開始され、追加応答生成部１０５によって実行される。
【００３８】
まず、ステップＳ２１で、自発的な発話を行うか否かを判定する。本例では、（１）直前の会話ターンにおいて不採用候補が発生しており、（２）対話が終了してから所定の時間が経過した場合に、肯定判定を行う。
【００３９】
なお、本実施形態では、対話が終了してから所定の時間が経過したことをトリガとしたが、例えば、ステップＳ１５で生成した応答を最後に対話が途切れた（想定通りに対話が続かず、途中で返答が無くなってしまった）ことを検出し、トリガとしてもよい。
また、ステップＳ２１では、直前の会話ターンにおいて採用された候補と不採用候補との尤度差に基づいて、自発的に発話するか否かを決定してもよい。例えば、両者の尤度差が小さい場合、直前の会話ターンにおいて聞き間違えを起こした可能性があるため、肯定判定を行うようにしてもよい。
【００４０】
次に、ステップＳ２２で、追加応答のための発話文を生成する。本ステップで生成する発話文は、不採用候補を利用して生成した発話文であり、例えば以下のようなものに分類される。
【００４１】
（Ａ）直前の会話ターンにおいて音声認識に誤りが起きていないかを確認するもの
例えば、「さっきレストランって聞こえたけど、テストランって言った？」といったものである。本タイプの発話は、直前の会話ターンにおいて採用された候補と不採用候補との尤度差が小さく、確証が持てない場合などに有効である。
【００４２】
（Ｂ）発音が似ている単語があることを話題とし、新たな対話を始めるもの
例えば、「そういえば、レストランとテストランって似ているよね。間違えそうになったよ」といったものである。本タイプの発話は、直前の会話ターンにおいて採用された候補と不採用候補との尤度差が大きい場合などに有効である。
【００４３】
（Ｃ）不採用候補に関連付いた他の単語を用いて新たな対話を始めるもの
例えば、「テストラン」に関連付いた他の単語を検索し、当該単語を用いて新たな話題を生成する。これにより、話題をさらに発展させることができる。
【００４４】
生成された発話文は、ステップＳ２３で音声に変換され、入出力部１０１を介して出力される。
【００４５】
以上に説明した構成によると、音声認識において採用されなかった候補を用いて、新たな発話文を生成することができる。当該候補は、採用された候補と類似性（あるいは関連性）を持ったものであるため、自然な形で話題を発展させることができ、対話の幅を広げることができる。
【００４６】
なお、第一の実施形態の説明では、対話が途切れた場合に追加応答を生成したが、対話が継続している中で図４の処理を実行するようにしてもよい。例えば、対話中に、話題が尽きそうなことが想定される場合に、図４に示した処理を開始するようにしてもよい。
【００４７】
（第二の実施形態）
第一の実施形態では、対話装置が自発的に追加応答を生成した。これに対し、第二の実施形態は、ユーザが音声認識の誤りを指摘した場合に、不採用候補を用いて前回の応答を
訂正する実施形態である。
【００４８】
図５は、第二の実施形態において対話装置１００が実行する処理のフローチャート図である。第二の実施形態では、ステップＳ１１にてユーザの発話に対して音声認識処理を行った後で、当該発話が、音声認識の誤りを指摘する内容であったか否かを判定する（ステップＳ３１）。なお、音声認識の誤りに対する指摘とは、直接的なものであってもよいし、間接的なものであってもよい。例えば、「テストランじゃなくてレストラン」といったものであってもよいし、「ちょっと違うよ？」といったものであってもよい。
【００４９】
ステップＳ３１で肯定判定となった場合、ステップＳ３２で、直前に生成した応答を訂正する。例えば、不採用候補の中から最も尤度が高いものを選択し、当該候補を用いて応答を再度生成する。その後の処理は、前述したものと同様である。
【００５０】
第二の実施形態によると、記憶している不採用候補を用いて応答を再度生成するため、音声認識の結果に誤りがあった場合であっても、ユーザに聞き返すことなく直ちに対話の流れを修正することができる。
【００５１】
（変形例）
上記の実施形態はあくまでも一例であって、本発明はその要旨を逸脱しない範囲内で適宜変更して実施しうる。
例えば、実施形態の説明では、発話においてユーザが言及している（話題としている）対象を表す単語を一つ特定し、当該単語について複数の候補を生成したが、不採用候補を生成する単語は二つ以上であってもよい。
【００５２】
二つ以上の単語について不採用候補を生成した場合、どの単語を対象として追加応答を生成するかは自由に決定することができる。例えば、複数の不採用候補が有している尤度のばらつきに基づいて、対象の単語を決定してもよい。
例えば、尤度のばらつきが小さい第一の単語と、尤度のばらつきが大きい第二の単語があった場合、第一の単語について、前述した（Ａ）のような追加応答を生成してもよい。また、第二の単語について、前述した（Ｂ）のような追加応答を生成してもよい。
【符号の説明】
【００５３】
１００・・・対話装置
１０１・・・入出力部
１０２・・・発話取得部
１０３・・・応答生成部
１０４・・・記憶部
１０５・・・追加応答生成部
【図１】
2018163295.tif 000003
【図２】
2018163295.tif 000004
【図３】
2018163295.tif 000005
【図４】
2018163295.tif 000006
【図５】
2018163295.tif 000007