(57)【要約】  本技術は、より正確に、ユーザの発話の意図を推定することができるようにする情報処理装置、及び情報処理方法に関する。ユーザの発話中に得られる認識の結果に基づいて、ユーザの発話の区切りを検出する検出部と、検出した発話の区切りごとに発話文を分割して得られる分割発話文の意味解析の結果に基づいて、ユーザの発話の意図を推定する推定部とを備える情報処理装置が提供される。本技術は、例えば、音声対話システムに適用することができる。
2019087811.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの発話中に得られる認識の結果に基づいて、前記ユーザの発話の区切りを検出する検出部と、
検出した前記発話の区切りごとに発話文を分割して得られる分割発話文の意味解析の結果に基づいて、前記ユーザの発話の意図を推定する推定部と
を備える情報処理装置。
【請求項２】
前記認識の結果は、前記ユーザの発話の音声データの認識の結果、前記ユーザを撮像して得られる画像データの認識の結果、及び前記ユーザ又はその周辺をセンシングして得られるセンサデータの認識の結果のうち、少なくとも１つの認識の結果を含む
請求項１に記載の情報処理装置。
【請求項３】
前記検出部は、前記認識の結果から得られる前記ユーザの状態又は仕草に基づいて、前記発話の区切りを検出する
請求項２に記載の情報処理装置。
【請求項４】
前記推定部は、前記分割発話文ごとに逐次得られる意図（Intent）及び実体情報（Entity）に基づいて、前記ユーザの発話の意図を推定する
請求項１に記載の情報処理装置。
【請求項５】
前記推定部は、前記分割発話文ごとの意図（Intent）の中から、前記発話文に即した意図（Intent）を抽出する
請求項４に記載の情報処理装置。
【請求項６】
前記推定部は、前記分割発話文ごとの実体情報（Entity）の中から、前記発話文に即した実体情報（Entity）を抽出する
請求項４に記載の情報処理装置。
【請求項７】
前記実体情報（Entity）は、そのタイプとして、自由発話を含むことを表すBodyタイプを含み、
前記推定部は、最後の分割発話文の意図（Intent）が、Bodyタイプの実体情報（Entity）を有する場合に、それよりも前の分割発話文であって注目している注目分割発話文が、特定の条件を満たす場合、前記注目分割発話文の意図（Intent）を未実行とし、その内容を、最後の分割発話文の意図（Intent）が有するBodyタイプの実体情報（Entity）に追加する
請求項４に記載の情報処理装置。
【請求項８】
前記推定部は、前記注目分割発話文が、前記特定の条件を満たさない場合、前記注目分割発話文の意図（Intent）を破棄する
請求項７に記載の情報処理装置。
【請求項９】
前記特定の条件は、前記ユーザの発話の速度が、所定の閾値を超えるかどうかを判定するための条件、又は前記ユーザの視線が、所定の対象を向いているかどうかを判定するための条件を含む
請求項８に記載の情報処理装置。
【請求項１０】
前記実体情報（Entity）は、そのタイプとして、自由発話を含むことを表すBodyタイプを含み、
前記推定部は、Bodyタイプの実体情報（Entity）を有する前記分割発話文が存在しないとき、前記分割発話文ごとの意図（Intent）に応じて、前記ユーザの発話の意図を推定する
請求項４に記載の情報処理装置。
【請求項１１】
前記推定部は、前記ユーザの発話に、取り消しの意図（Intent）が含まれるとき、取り消しの対象となる分割発話文を、前記ユーザの発話の意図推定の対象から削除する
請求項４に記載の情報処理装置。
【請求項１２】
前記推定部は、n番目の分割発話文が、取り消しの意図（Intent）を有しているとき、n-1番目の分割発話文を、前記ユーザの発話の意図推定の対象から削除する
請求項１１に記載の情報処理装置。
【請求項１３】
検出した前記発話の区切りごとに出力されるフィードバック情報を生成する生成部をさらに備える
請求項１に記載の情報処理装置。
【請求項１４】
前記フィードバック情報は、音声、効果音、又は画像を含む
請求項１３に記載の情報処理装置。
【請求項１５】
前記検出部は、前記音声データの認識の結果に基づいて、前記ユーザの発話の間の時間が一定の時間を超えたとき、前記ユーザの発話に含まれるイントネーション句の境界を検出したとき、又は前記ユーザの発話に含まれる言いよどみ若しくはフィラーを検出したとき、前記発話の区切りを検出する
請求項３に記載の情報処理装置。
【請求項１６】
前記検出部は、前記画像データの認識の結果に基づいて、前記ユーザの口が動いていない時間が一定の時間を超えたとき、又は前記ユーザの視線の動きが大きいことを検出したとき、前記発話の区切りを検出する
請求項３に記載の情報処理装置。
【請求項１７】
前記検出部は、前記センサデータの認識の結果に基づいて、前記ユーザの息継ぎを検出したとき、又は前記ユーザの身体の全体若しくは一部の動きを検出したとき、前記発話の区切りを検出する
請求項３に記載の情報処理装置。
【請求項１８】
前記ユーザの発話の意図推定の結果に基づいて、タスクを実行するタスク実行部をさらに備える
請求項１に記載の情報処理装置。
【請求項１９】
前記ユーザの発話から前記発話文を得るための音声認識（ASR）を行う音声認識部と、
前記発話の区切りごとに逐次得られる前記分割発話文の意味解析（NLU）を行う意味解析部と
をさらに備える請求項１８に記載の情報処理装置。
【請求項２０】
情報処理装置の情報処理方法において、
前記情報処理装置が、
ユーザの発話中に得られる認識の結果に基づいて、前記ユーザの発話の区切りを検出し、
検出した前記発話の区切りごとに発話文を分割して得られる分割発話文の意味解析の結果に基づいて、前記ユーザの発話の意図を推定する
情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、情報処理装置、及び情報処理方法に関し、特に、より正確に、ユーザの発話の意図を推定することができるようにした情報処理装置、及び情報処理方法に関する。
【背景技術】
【０００２】
近年、ユーザの発話に応じた応答を行う音声対話システムが、様々な分野で利用されはじめている。音声対話システムでは、ユーザの発話の音声を認識するだけでなく、ユーザの発話の意図を推定して、適切な応答を行うことが求められる。【０００３】
例えば、特許文献１には、入力文を、言語文法を用いて要素に分割し、分割された要素に対する意味解析を行うことで、長文の解析能力を高める技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平6-295308号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１に開示されている言語文法による入力文の分割では、ユーザの発話に含まれる多様な表現に対し、ユーザの意図の単位で、分割が正しく行われない可能性がある。そのため、ユーザによって、複数の意図を含む長い文章や複文などが発話されたときに、ユーザの発話の意図を、正確に推定することができない場合がある。【０００６】
本技術はこのような状況に鑑みてなされたものであり、より正確に、ユーザの発話の意図を推定することができるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の一側面の情報処理装置は、ユーザの発話中に得られる認識の結果に基づいて、前記ユーザの発話の区切りを検出する検出部と、検出した前記発話の区切りごとに発話文を分割して得られる分割発話文の意味解析の結果に基づいて、前記ユーザの発話の意図を推定する推定部とを備える情報処理装置である。【０００８】
本技術の一側面の情報処理方法は、情報処理装置の情報処理方法において、前記情報処理装置が、ユーザの発話中に得られる認識の結果に基づいて、前記ユーザの発話の区切りを検出し、検出した前記発話の区切りごとに発話文を分割して得られる分割発話文の意味解析の結果に基づいて、前記ユーザの発話の意図を推定する情報処理方法である。【０００９】
本技術の一側面の情報処理装置、及び情報処理方法においては、ユーザの発話中に得られる認識の結果に基づいて、前記ユーザの発話の区切りが検出され、検出された前記発話の区切りごとに発話文を分割して得られる分割発話文の意味解析の結果に基づいて、前記ユーザの発話の意図が推定される。【００１０】
本技術の一側面の情報処理装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。
【発明の効果】
【００１１】
本技術の一側面によれば、より正確に、ユーザの発話の意図を推定することができる。【００１２】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１３】
【図１】本技術を適用した音声対話システムの構成の例を示すブロック図である。
【図２】本技術を適用した音声対話システムの機能的構成の例を示すブロック図である。
【図３】音声対話処理の流れを説明するフローチャートである。
【図４】第１の条件を用いた場合のユーザ発話の区切りの検出の例を示す図である。
【図５】第１の条件を用いた場合のユーザ発話の区切りの検出の例を示す図である。
【図６】第２の条件を用いた場合のユーザ発話の区切りの検出の例を示す図である。
【図７】ユーザの意図推定の第１の例を示す図である。
【図８】ユーザの意図推定の第２の例を示す図である。
【図９】ユーザの意図推定の第３の例を示す図である。
【図１０】ユーザの意図推定の第４の例を示す図である。
【図１１】発話全体のBody判定処理の流れを説明するフローチャートである。
【図１２】区切り単位のキャンセル処理の流れを説明するフローチャートである。
【図１３】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照しながら本技術の実施の形態について説明する。なお、説明は以下の順序で行うものとする。
【００１５】
１．本技術の実施の形態
２．変形例
３．コンピュータの構成
【００１６】
＜１．本技術の実施の形態＞
【００１７】
（音声対話システムの構成例）
図１は、本技術を適用した音声対話システムの構成の例を示すブロック図である。
【００１８】
音声対話システム１は、ユーザ宅等のローカル側に設置され、音声対話サービスのユーザインターフェースとして機能する端末装置１０と、データセンタ等のクラウド側に設置され、音声対話機能を実現するための処理を行うサーバ２０とから構成される。音声対話システム１において、端末装置１０とサーバ２０とは、インターネット３０を介して相互に接続されている。
【００１９】
端末装置１０は、例えば、家庭内LAN(Local Area Network)等のネットワークに接続可能なスピーカであって、スマートスピーカやホームエージェントなどとも称される。この種のスピーカは、音楽の再生のほか、例えば、ユーザとの音声対話や、照明器具や空調設備などの機器に対する音声操作などの機能を有している。
【００２０】
なお、端末装置１０は、スピーカに限らず、例えば、ゲーム機や、スマートフォンや携帯電話機等のモバイル機器、タブレット型のコンピュータなどとして構成されるようにしてもよい。
【００２１】
端末装置１０は、インターネット３０を介してサーバ２０と連携することで、ユーザに対し、音声対話サービス（のユーザインターフェース）を提供することができる。
【００２２】
例えば、端末装置１０は、ユーザから発せられた音声（ユーザ発話）を収音し、その音声データを、インターネット３０を介して、サーバ２０に送信する。また、端末装置１０は、インターネットを介してサーバ２０から送信されてくる処理データを受信し、その処理データに応じた音声などの情報を出力する。
【００２３】
サーバ２０は、クラウドベースの音声対話サービスを提供するサーバである。
【００２４】
例えば、サーバ２０は、インターネット３０を介して端末装置１０から送信されてくる音声データに基づき、音声認識処理や意味解析処理などの処理を行い、その処理の結果に応じた処理データを、インターネット３０を介して端末装置１０に送信する。
【００２５】
（音声対話システムの機能的構成例）
図２は、図１に示した音声対話システム１の機能的構成の例を示すブロック図である。
【００２６】
図２において、音声対話システム１は、音声入力部１０１、画像入力部１０２、センサ部１０３、音声認識部１０４、画像認識部１０５、センサ認識部１０６、発話区切り検出部１０７、意味解析部１０８、複数意図推定部１０９、タスク実行部１１０、効果音再生部１１１、音声合成処理部１１２、出力画像処理部１１３、音声出力部１１４、画像出力部１１５、及び記憶部１１６から構成される。
【００２７】
音声入力部１０１は、例えば、マイクロフォン等の音声入力デバイスから構成される。音声入力部１０１は、ユーザ２が発した声を電気信号に変換して得られる音声データを、音声認識部１０４に供給する。
【００２８】
画像入力部１０２は、例えば、イメージセンサを有するカメラ等の画像入力デバイスから構成される。画像入力部１０２は、ユーザ２等の被写体を撮像して得られる画像データを、画像認識部１０５に供給する。
【００２９】
センサ部１０３は、例えば、各種のセンサ等のセンサデバイスから構成される。センサ部１０３は、ユーザ２やその周辺などのセンシングを行い、そのセンシング結果に応じたセンサデータを、センサ認識部１０６に供給する。
【００３０】
ここで、センサ部１０３としては、例えば、呼吸や脈拍、指紋、虹彩などの生体情報を検出する生体センサ、磁場（磁界）の大きさや方向を検出する磁気センサ、加速度を検出する加速度センサ、角度（姿勢）や角速度、角加速度を検出するジャイロセンサ、近接するものを検出する近接センサなどを含めることができる。
【００３１】
また、センサ部１０３は、ユーザ２の頭部に取り付けられ、電位等を計測することで脳波を検出する脳波センサであってもよい。さらに、センサ部１０３には、温度を検出する温度センサや、湿度を検出する湿度センサ、周囲の明るさを検出する環境光センサなどの周囲の環境を測定するためのセンサや、GPS(Global Positioning System)信号などの位置情報を検出するためのセンサを含めることができる。
【００３２】
音声認識部１０４は、音声入力部１０１から供給される音声データに基づいて、音声認識処理を行い、その音声認識の結果を、発話区切り検出部１０７に供給する。
【００３３】
この音声認識処理では、例えば、音声テキスト変換用のデータベース等を参照することで、音声入力部１０１からの音声データを、テキストデータ（発話文）に変換する処理が行われる。
【００３４】
また、この音声認識処理では、例えば、音声入力部１０１からの音声データ（の信号波形）を解析する処理など、音声データに対し、後段の発話区切り検出処理で用いられる音声認識の結果を抽出するための処理が行われる。
【００３５】
なお、以下の説明では、音声認識部１０４により行われる音声認識処理のうち、ユーザ２の発話のテキストデータ（発話文）を得るための音声認識を、「音声認識（ASR：Automatic Speech Recognition）」と記述して、後段の発話区切り検出処理で、発話の区切りを検出するために用いられる音声認識の結果と区別する。さらに、音声認識処理による音声認識（ASR）の結果得られるテキストデータを、「発話文」と記述する。
【００３６】
画像認識部１０５は、画像入力部１０２から供給される画像データに基づいて、画像認識処理を行い、その画像認識の結果を、発話区切り検出部１０７に供給する。この画像認識処理では、画像データに対し、後段の発話区切り検出処理で用いられる画像認識の結果を抽出するための処理が行われる。
【００３７】
センサ認識部１０６は、センサ部１０３から供給されるセンサデータに基づいて、センサ認識処理を行い、そのセンサ認識の結果を、発話区切り検出部１０７に供給する。このセンサ認識処理では、センサデータに対し、後段の発話区切り検出処理で用いられるセンサ認識の結果を抽出するための処理が行われる。
【００３８】
発話区切り検出部１０７には、音声認識部１０４による音声認識（ASR）の結果である発話文とともに、音声認識部１０４からの音声認識の結果、画像認識部１０５からの画像認識の結果、及びセンサ認識部１０６からのセンサ認識の結果が供給される。
【００３９】
発話区切り検出部１０７は、音声認識の結果、画像認識の結果、及びセンサ認識の結果に基づいて、発話文に対する発話区切り検出処理を行い、その発話区切り検出の結果を、意味解析部１０８に供給する。また、発話区切り検出部１０７は、発話区切り検出の結果を、効果音再生部１１１、音声合成処理部１１２、又は出力画像処理部１１３に供給する。
【００４０】
この発話区切り検出処理は、音声認識の結果、画像認識の結果、及びセンサ認識のうち、少なくとも１つの認識の結果に基づき、例えば、発話の間（ま）の時間が一定の時間を超えたときや、イントネーション句の境界を検出したとき、言いよどみやフィラーを検出したときなどに、発話の区切りを検出する。
【００４１】
なお、以下の説明では、発話区切り検出処理により検出された発話の区切り位置を境界として、音声認識（ASR）の結果得られる発話文を分割して得られるテキストデータを、「分割発話文」と記述する。また、発話区切り検出処理の詳細については、図４乃至図６などを参照して後述する。
【００４２】
意味解析部１０８は、発話区切り検出部１０７から供給される発話区切り検出の結果（分割発話文）に基づいて、意味解析処理を行い、その意味解析の結果を、複数意図推定部１０９に供給する。
【００４３】
この意味解析処理では、例えば、音声言語理解用のデータベース等を参照することで、自然言語である音声認識（ASR）の結果得られる発話文を分割した分割発話文（テキストデータ）を、機械（システム）が理解できる表現に変換する処理が行われる。
【００４４】
ここでは、意味解析の結果として、ユーザが実行させたい「意図（Intent）」と、そのパラメータとなる「実体情報（Entity）」の形で、発話の意味が表現される。なお、以下の説明では、この意味解析処理を、「意味解析（NLU：Natural Language Understanding）」とも記述する。また、以下の説明では、分割発話文ごとの意味解析（NLU）の結果得られる意図を、「意図（Intent）」又は「Intent」と記述することで、ユーザ２の発話の意図と区別する。
【００４５】
複数意図推定部１０９は、意味解析部１０８から供給される意味解析（NLU）の結果に基づいて、意図推定処理を行い、その意図推定の結果を、タスク実行部１１０に供給する。
【００４６】
この意図推定処理では、分割発話文ごとの意味解析（NLU）の結果（Intent, Entity）に基づき、ユーザ２の発話の意図が１又は複数推定される。なお、ここでは、ユーザ２の発話の意図を推定するに際し、例えば各分割発話文の発話速度などの他の情報が用いられるようにしてもよい。また、意図推定処理の詳細については、図７乃至図１２などを参照して後述する。
【００４７】
なお、意味解析部１０８には、逐次、発話区切り検出部１０７によって分割発話文が投入され、分割発話文ごとに意図（Intent）と実体情報（Entity）が得られるため、この意味解析（NLU）の結果を、記憶部１１６に（一時的に）記録（蓄積）しておくことで、複数意図推定部１０９は、記憶部１１６に記録（蓄積）されている、分割発話文ごとの意味解析の結果（Intent, Entity）を取得することができる。
【００４８】
タスク実行部１１０は、複数意図推定部１０９から供給される意図推定の結果に基づいて、タスク実行処理を行い、そのタスク実行の結果を、音声合成処理部１１２、及び出力画像処理部１１３に供給する。
【００４９】
効果音再生部１１１は、発話区切り検出部１０７から供給される発話区切り検出の結果に基づいて、効果音再生処理を行い、その効果音再生の結果を、音声出力部１１４に供給する。
【００５０】
音声合成処理部１１２は、発話区切り検出部１０７から供給される発話区切り検出の結果に基づいて、音声合成処理を行い、その音声合成の結果を、音声出力部１１４に供給する。また、音声合成処理部１１２は、タスク実行部１１０から供給されるタスク実行の結果に基づいて、音声合成処理を行い、その音声合成の結果を、音声出力部１１４に供給する。
【００５１】
出力画像処理部１１３は、発話区切り検出部１０７から供給される発話区切り検出の結果に基づいて、出力画像処理を行い、その出力画像の結果を、画像出力部１１５に供給する。また、出力画像処理部１１３は、タスク実行部１１０から供給されるタスク実行の結果に基づいて、出力画像処理を行い、その出力画像の結果を、画像出力部１１５に供給する。
【００５２】
音声出力部１１４は、例えば、スピーカやヘッドホン等の音声出力デバイスから構成される。音声出力部１１４は、効果音再生部１１１から供給される効果音再生の結果、又は音声合成処理部１１２から供給される音声合成の結果に基づいて、それらの音声データに応じた音を、システム応答（応答）として出力する。
【００５３】
画像出力部１１５は、例えば、液晶ディスプレイや有機ELディスプレイ等の画像出力デバイスから構成される。画像出力部１１５は、出力画像処理部１１３から供給される出力画像の結果に基づいて、その画像データに応じた画像を、システム応答（応答）として出力（表示）する。
【００５４】
音声対話システム１は、以上のように構成される。
【００５５】
なお、図２の音声対話システム１において、音声入力部１０１乃至記憶部１１６を、端末装置１０（図１）と、サーバ２０（図１）のどちらの機器に組み込むかは、任意であるが、例えば、次のような構成とすることができる。
【００５６】
すなわち、ユーザインターフェースとして機能する、音声入力部１０１、画像入力部１０２、センサ部１０３、音声出力部１１４、及び画像出力部１１５を、ローカル側の端末装置１０に組み込む一方で、それ以外の機能となる、音声認識部１０４、画像認識部１０５、センサ認識部１０６、発話区切り検出部１０７、意味解析部１０８、複数意図推定部１０９、タスク実行部１１０、効果音再生部１１１、音声合成処理部１１２、出力画像処理部１１３、及び記憶部１１６を、クラウド側のサーバ２０に組み込むことができる。
【００５７】
このとき、音声認識部１０４、画像認識部１０５、センサ認識部１０６、発話区切り検出部１０７、意味解析部１０８、複数意図推定部１０９、タスク実行部１１０、効果音再生部１１１、音声合成処理部１１２、及び出力画像処理部１１３は、例えば、サーバ２０のCPU(Central Processing Unit)が、プログラムを実行することで実現される。また、記憶部１１６は、例えば、揮発性メモリの一種であるRAM(Random Access Memory)などから構成される。
【００５８】
また、図示はしていないが、端末装置１０とサーバ２０は、インターネット３０を介してデータをやり取りするために、通信インターフェース回路等から構成される通信I/Fをそれぞれ有している。これにより、ユーザ２の発話中に、端末装置１０とサーバ２０が、インターネット３０を介して通信を行い、サーバ２０側では、端末装置１０からの認識の結果に基づき、発話区切り検出処理などの処理を行うことができる。
【００５９】
さらに、端末装置１０には、例えば、ボタンやキーボード等からなる入力部を設けて、ユーザの操作に応じた操作信号が得られるようにするか、あるいは、画像出力部１１５が、タッチセンサと表示部とが一体化されたタッチパネルとして構成され、ユーザの指やタッチペン（スタイラスペン）による操作に応じた操作信号が得られるようにしてもよい。
【００６０】
（音声対話処理の流れ）
次に、図３のフローチャートを参照して、音声対話システム１により実行される音声対話処理の流れを説明する。
【００６１】
この音声対話処理は、端末装置１０の付近に存在するユーザ２により発話が開始されたときに実行される。なお、ここでは、ユーザ２が発話を開始するに際して、例えば、特定のキーワード（いわゆる起動ワード）を用いることによる呼びかけや、手を叩くことによる破裂音などによって、発話を開始するための明示的な指示を与えるようにしてもよい。
【００６２】
ステップＳ１１において、音声入力部１０１は、ユーザ２から発せられた音声を収音することで、ユーザ２の発話を受け付ける。
【００６３】
ステップＳ１２において、音声認識部１０４等の認識部は、音声入力部１０１等の前段の入力部からのデータに基づいて、ユーザ発話中の認識処理を行う。
【００６４】
ここでは、例えば、音声認識部１０４によって、音声入力部１０１からの音声データに基づき、音声認識処理が行われ、音声認識（ASR）の結果が得られる。また、音声認識部１０４による音声認識処理、画像認識部１０５による画像認識処理、及びセンサ認識部１０６によるセンサ認識処理のうち、少なくとも１つの認識処理が行われ、後段の発話区切り検出処理（Ｓ１３）で用いられる認識の結果が得られる。
【００６５】
ステップＳ１３において、発話区切り検出部１０７は、ステップＳ１２の処理で得られる認識の結果（各入力部の認識の結果）に基づいて、音声認識（ASR）の結果得られる発話文に対し、発話区切り検出処理を行い、ユーザ２の発話の区切りを検出する。
【００６６】
ステップＳ１４において、意味解析部１０８は、ステップＳ１３の処理で得られる発話の区切り位置で分割された分割発話文に対し、意味解析処理を行う。
【００６７】
この意味解析処理によって、自然言語である音声認識（ASR）の結果得られる発話文を分割した分割発話文（テキストデータ）を、機械（システム）が理解できる表現に変換する処理が行われる。これにより、分割発話文の意味解析（NLU）の結果（Intent, Entity）が得られる。
【００６８】
ステップＳ１５において、音声合成処理部１１２は、ステップＳ１３の処理で得られる発話の区切り位置での発話意図の受領を示すフィードバック情報（例えば、「はい」である音声）を生成し、音声出力部１１４から出力する。これにより、システム応答（応答）として、ユーザ２に対し、フィードバック情報が出力（提示）される。
【００６９】
なお、ここでは、フィードバック情報として、音声合成処理部１１２により合成された音声を出力するほか、例えば、効果音再生部１１１により再生された効果音や、出力画像処理部１１３により生成された出力画像を出力するようにしてもよい。
【００７０】
ステップＳ１６においては、音声入力部１０１により収音される音声に基づき、ユーザ２の発話が完了したかどうかが判定される。
【００７１】
ステップＳ１６において、ユーザ２の発話を完了していないと判定された場合、処理は、ステップＳ１１に戻り、上述したステップＳ１１乃至Ｓ１５の処理が繰り返される。
【００７２】
すなわち、ステップＳ１１乃至Ｓ１５の処理が繰り返されることで、ユーザ２の発話の区切りごとに得られる分割発話文が、逐次、意味解析処理に投入され（かけられ）、分割発話文ごとに意味解析（NLU）の結果（Intent, Entity）が得られる。これにより、意味解析（NLU）の結果として、ユーザ２の発話に対し、分割発話文ごとに意図（Intent）と実体情報（Entity）が、記憶部１１６に記録（蓄積）される。
【００７３】
そして、ステップＳ１６において、ユーザ２の発話が完了したと判定された場合、処理は、ステップＳ１７に進められる。
【００７４】
ステップＳ１７において、複数意図推定部１０９は、ステップＳ１１乃至Ｓ１６の処理が繰り返されることで順次記録される意味解析（NLU）の結果（Intent, Entity）に基づいて、意図推定処理を行い、ユーザ２の発話の意図を推定する。
【００７５】
ステップＳ１８において、タスク実行部１１０は、ステップＳ１７の処理で得られる意図推定の結果に基づいて、タスク実行処理を行い、ユーザ２の発話の意図に応じたシステムのタスクを実行する。ここでは、ユーザ２の発話の意図推定の結果に基づき、１又は複数のタスクが実行される。
【００７６】
ステップＳ１９において、音声合成処理部１１２は、ステップＳ１８の処理で行われるシステムのタスク実行の結果を示すタスク実行情報（例えば、タスクが正常に完了した旨の音声）を生成し、音声出力部１１４から出力する。これにより、システム応答（応答）として、ユーザ２に対し、タスク実行情報が出力（提示）される。
【００７７】
なお、ここでは、タスク実行情報として、音声合成処理部１１２により合成された音声を出力するほか、例えば、出力画像処理部１１３により生成された出力画像（例えば、タスクが正常に完了した旨の画像）などを提示するようにしてもよい。
【００７８】
以上、音声対話処理の流れを説明した。
【００７９】
この音声対話システム１により実行される音声対話処理（図３）では、ユーザ２の発話が、マイクロフォン等の音声入力部１０１を通じて音声認識処理にかけられ、その発話の内容がテキスト化されて、発話区切り検出処理に送られる。この音声認識処理は、ユーザ２の発話中に常時行われ、認識できた発話途中のテキストデータ（分割発話文）が、逐次、発話区切り検出処理に送られる。
【００８０】
また、音声認識処理は、ユーザ２の発話内容をテキスト化するのみならず、発話のピッチ抽出などの入力音声の韻律の検出も行い、逐次、発話区切り検出処理に送られるようにしてもよい。
【００８１】
さらに、ユーザ２の発話の音声以外にも、ユーザ２を撮像して得られる画像が、カメラ等の画像入力部１０２を通じて画像認識処理にかけられ、ユーザ２の口や首の動きなどの仕草などが認識さるようにしたり、あるいは、ユーザ２の生体情報などが、センサ部１０３を通じてセンサ認識処理にかけられ、ユーザ２の呼吸状態などが認識されるようにしたりすることができる。
【００８２】
これらの認識処理は、ユーザ２の発話中に常時行われ、その認識の結果が、逐次、発話区切り検出処理に送られる。
【００８３】
そして、音声対話システム１により実行される音声対話処理（図３）では、発話中のユーザ２の状態や仕草などの認識の結果に基づき、発話の区切りを検出して、その区切り位置で分割された発話文に対し、逐次、意味解析（NLU）を行い、その意味解析の結果得られる複数の意図（Intent）と実体情報（Entity）に基づき、１又は複数のユーザの意図を推定して、その推定結果に応じたタスク（アクション）を実行する。
【００８４】
ここで、発話中のユーザ２の状態や仕草としては、例えば、小さな発話の間（ま）や、口や首の動き、生体情報、言いよどみやフィラー、イントネーションなどがある。そこで、音声対話システム１では、この人の発話特性を検出して、ユーザ２の意図を理解してほしい単位で、発話文を分割することで、より正確に、ユーザ２の発話の意図を推定するようにしている。
【００８５】
（発話区切り検出処理）
次に、図４乃至図６等を参照して、発話区切り検出部１０７によって実行される発話区切り検出処理の詳細な内容について説明する。
【００８６】
発話区切り検出部１０７は、ユーザ２の発話中に、音声認識部１０４、画像認識部１０５、及びセンサ認識部１０６から逐次送られてくる認識の結果に基づいて、発話区切り検出処理を行うことで、ユーザ２の発話の区切り位置を検出する。
【００８７】
この発話区切り検出処理では、例えば、下記に示した（Ａ）乃至（Ｇ）の条件のうち、１つの条件、又は複数の条件の組み合わせに基づき、ユーザ２の発話の区切りのタイミングが検出される。
【００８８】
（Ａ）発話の間の時間が一定の時間を超えたとき
（Ｂ）イントネーション句の境界を検出したとき
（Ｃ）言いよどみやフィラーを検出したとき
（Ｄ）息継ぎを検出したとき
（Ｅ）口が動いていない時間が一定の時間を超えたとき
（Ｆ）視線の動きが大きいことを検出したとき
（Ｇ）身体（の一部）の動きが大きいことを検出したとき
【００８９】
なお、上述した（Ａ）乃至（Ｇ）の条件は、発話の区切りを検出するための条件を例示列挙したものであって、ユーザ２の発話の区切りのタイミングを検出可能なものであれば、他の条件を用いるようにしてもよい。
【００９０】
（Ａ）第１の条件
ここで、上述の（Ａ）に示した第１の条件を用いた場合には、「発話の間（ま）の時間が一定の時間を超えたとき」に、発話の区切りを検出するが、その具体例を、図４に示している。
【００９１】
図４において、ユーザ２が、「いいよ、」と、「10時になったら、、」を順に発話する場合に、「いいよ、」である発話が終わってから、「10時になったら、、」である発話が開始されるまでの時間が、微小な時間（例えば、数百ミリ秒程度）を超えたときに、音声対話システム１は、ユーザ２の発話の区切りを検出して、「はい」である応答を行う。
【００９２】
すなわち、音声対話システム１では、ユーザ２の発話中に、音声認識（ASR）の結果（発話のテキストデータ）が逐次出力されるが、音声認識（ASR）の結果として逐次出力するテキストデータの途中結果（分割発話文）が、閾値（例えば、300ms）を超えて更新されない場合に、発話の区切りを検出する。そして、音声対話システム１は、発話の区切りを検出した場合に、前回の区切り位置から今回の区切り位置までのテキストデータの途中結果（分割発話文）を、意味解析処理に投入することで、意味解析（NLU）の結果として、意図（Intent）と実体情報（Entity）を得ることができる。
【００９３】
図４においては、時刻t11乃至t12に、「いいよ、」である発話を用いた音声認識処理が行われ、音声認識（ASR）の結果の出力が更新されるが、時刻t12以降に、音声認識（ASR）の結果の出力の更新が停止され、閾値（閾値時間）を超えても音声認識（ASR）の結果の出力の更新がなされていない。そのため、時刻t13になったときに、ユーザ２の発話の区切りが検出され、テキストデータの途中結果として、「いいよ、」である分割発話文が、意味解析処理に投入され、意味解析（NLU）の結果が得られる。そして、時刻t14に、「はい」である応答が行われる。
【００９４】
その後、時刻t15乃至時刻t16に、「10時になったら、、」である発話を用いた音声認識処理が行われ、その音声認識（ASR）の結果の出力が更新されることになる。
【００９５】
また、例えば、図５において、ユーザ２が、「いいよ、10時になったらはじめよう いつもの場所で、、」である発話を行った場合、音声対話システム１は、音声認識（ASR）の結果得られる「いいよ、」と「10時になったらはじめよう」との間に、微小な間（ま）による発話の区切りを検出する。そして、音声対話システム１では、「いいよ、」である分割発話文が、意味解析処理に投入され、意味解析（NLU）の結果が得られる。
【００９６】
また、音声対話システム１は、音声認識（ASR）の結果得られる「10時になったらはじめよう」と「いつもの場所で、、」との間に、微小な間（ま）による発話の区切りを検出する。そして、音声対話システム１では、「10時になったらはじめよう」である分割発話文が、意味解析処理に投入され、意味解析（NLU）の結果が得られる。
【００９７】
なお、図示はしていないが同様に、その後に、「いつもの場所で、、」についての発話の区切りが検出されたとき、音声対話システム１では、「いつもの場所で、、」である分割発話文が、意味解析処理に投入される。
【００９８】
このように、上述の（Ａ）の第１の条件を用いる場合には、例えば、音声認識部１０４による音声認識の結果に基づき、ユーザ２の発話中に、微小な間（ま）等の発話の間の時間が一定の時間を超えたとき、発話区切り検出部１０７は、ユーザ２の発話の区切りを検出する。
【００９９】
（Ｂ）第２の条件
上述の（Ｂ）の第２の条件を用いた場合には、「イントネーション句の境界を検出したとき」に、発話の区切りを検出するが、その具体例を、図６に示している。
【０１００】
図６において、ユーザ２が、「いいよ、10時になったらはじめよう いつもの場所で待ってるよって返信して」である発話を行った場合、音声対話システム１は、音声認識（ASR）の結果得られる「いいよ、」と「10時になったらはじめよう」との間に、発話音声のピッチの自然降下からイントネーション句の境界（息継ぎ）を検出する。
【０１０１】
ここでは、図６の「ピッチ」の波形で示すように、「いいよ、」である発話に注目すれば、ユーザ２の発話のピッチ（例えば、音の高さや基本周波数F0に相当する）のエンベローブ波形は、発話の始めはピッチが上昇し、アクセント核の後で自然降下するので、このピッチの自然降下を検出することで、イントネーション句の境界（息継ぎ）を検出することが可能となる。
【０１０２】
なお、ピッチに相当する物理量である基本周波数F0は、時間軸にしたがって、少しずつ下降する傾向があって、この傾向のことを、自然降下（Declination）という。
【０１０３】
そして、音声対話システム１では、「いいよ、」である発話のイントネーション句の境界によって発話の区切りを検出し、「いいよ、」である分割発話文が、意味解析処理に投入され、意味解析（NLU）の結果が得られる。
【０１０４】
同様にまた、「10時になったらはじめよう」と「いつもの場所で待ってるよって返信して」である発話に注目すれば、音声対話システム１では、これらの発話のピッチの自然降下がそれぞれ検出され、イントネーション句の境界によって発話の区切りが検出される。そして、音声対話システム１では、「10時になったらはじめよう」である分割発話文と、「いつもの場所で待ってるよって返信して」である分割発話文が、逐次、意味解析処理に投入され、それらの分割発話文ごとに意味解析（NLU）の結果が得られる。
【０１０５】
なお、図６においても、音声対話システム１によって、ユーザ２の発話の区切りが検出されたとき、「はい」である応答が行われている。
【０１０６】
このように、上述の（Ｂ）の第２の条件を用いる場合には、例えば、音声認識部１０４による音声認識の結果に基づき、ユーザ２の発話中に、イントネーション句の境界（息継ぎ）を検出したとき、発話区切り検出部１０７は、ユーザ２の発話の区切りを検出する。
【０１０７】
（Ｃ）第３の条件
上述の（Ｃ）の第３の条件を用いる場合には、例えば、音声認識部１０４による音声認識の結果に基づき、ユーザ２の発話中に、言いよどみや、フィラー（例えば、「えーと」、「あのー」など）が検出されたとき、発話区切り検出部１０７は、ユーザ２の発話の区切りを検出する。
【０１０８】
なお、日本語以外の言語として、例えば、英語の場合には、 "like", "you know", "I mean" などの特定の文言によるフィラーを検出したときに、ユーザ２の発話の区切りを検出することになる。
【０１０９】
（Ｄ）第４の条件
上述の（Ｄ）の第４の条件を用いる場合には、例えば、センサ認識部１０６によるセンサ認識の結果に基づき、ユーザ２の発話中に、ユーザ２が息を吸っている呼吸（息継ぎ）が検出されたとき、発話区切り検出部１０７は、ユーザ２の発話の区切りを検出する。ここでのセンサ認識の結果としては、例えば、生体センサとして構成されるセンサ部１０３から得られるセンサデータの認識の結果を用いることができる。
【０１１０】
（Ｅ）第５の条件
上述の（Ｅ）の第５の条件を用いる場合には、例えば、画像認識部１０５による画像認識の結果に基づき、ユーザ２の発話中に、画像の情報からユーザ２の口が動いていない時間が一定値（閾値）を超えるとき、発話区切り検出部１０７は、ユーザ２の発話の区切りを検出する。
【０１１１】
（Ｆ）第６の条件
上述の（Ｆ）の第６の条件を用いる場合には、例えば、画像認識部１０５による画像認識の結果に基づき、ユーザ２の発話中に、画像の情報からユーザ２の視線の動きが大きいこと（例えば、アイコンタクトなど）を検出したとき、発話区切り検出部１０７は、ユーザ２の発話の区切りを検出する。
【０１１２】
（Ｇ）第７の条件
上述の（Ｇ）の第７の条件を用いる場合には、例えば、センサ認識部１０６によるセンサ認識の結果に基づき、ユーザ２の発話中に、ユーザ２の身体の一部（例えば首など）の動きが大きいことを検出したとき、発話区切り検出部１０７は、ユーザ２の発話の区切りを検出する。ここでのセンサ認識の結果としては、例えば、頭などのユーザ２の身体に身につけた加速度センサとして構成されるセンサ部１０３から得られるセンサデータの認識の結果を用いることができる。
【０１１３】
（発話区切り検出の他の例）
なお、上述した（Ａ）乃至（Ｇ）の条件以外の他の条件としては、例えば、次に示すような認識の結果が得られたときに、音声対話システム１は、その認識の結果に基づき、ユーザ２の発話の区切りを検出するようにしてもよい。
【０１１４】
第１の他の例として、端末装置１０（の画像出力部１１５）に表示されている表示情報から、ユーザ２が視線をそらしたとき、又は確認のためにそれらにユーザ２の視線が向いたときに、ユーザ２の発話の区切りを検出することができる。ここで、表示情報としては、例えば、アイコン（例えば、マイクアイコン）や、ユーザの音声認識の結果（例えば、音声認識（ASR）や意味解析（NLU）の結果）などの情報を含む。
【０１１５】
第２の他の例として、ユーザ２の発話の音量や高さ、速度の変化量が大きかったとき、ユーザ２の発話の区切りを検出することができる。ここで、音量としては、例えば、声の大きさなどが該当する。また、速度の変化量としては、例えば、急に大きな声になったり、若しくは小さな声になったり、トーンが変わったり、又は話す速度（話速）が変わったりすることを含む。
【０１１６】
第３の他の例として、ユーザ２の発話内に語末を伸ばす表現が含まれるとき、ユーザ２の発話の区切りを検出することができる。ここで、語末を伸ばす表現としては、母音の継続時間が長い表現、例えば、「・・・でさぁ」や「・・・してからぁ」などの表現が含まれる。
【０１１７】
第４の他の例として、イントネーションのパターンによる発話の区切りは、例えば言語や地域によっても異なる場合があるので、ユーザに関する情報（例えば、サービスのログイン情報等）から、エリアの属性を取得し、エリアごとに適応するパターンを変えて、ユーザ２の発話の区切りを検出することができる。
【０１１８】
また、ユーザ個人が、システムに対し、別要因で発話を区切ったイントネーションのパターンを設定しておくことで、次回以降のシステムを利用時には、個人化されたパターンによって、発話の区切りを検出するようにしてもよい。
【０１１９】
なお、音声対話システム１は、ユーザ２の発話中に、端末装置１０以外の他の対象（例えば、家族や友達等の他のユーザ）に対して話していることが、視線や発話内容から検出されたときには、その認識の結果に基づき、発話の区切りの検出や蓄積を停止して、ユーザ２に対し、応答を返すのを止めてもよい。
【０１２０】
（言語文法の利用）
音声対話処理において、発話中のユーザ２の状態や仕草などの認識の結果に基づき、発話の区切りを検出する際に、ユーザ２の状態や仕草のみでは、分割発話文が長く、意味解析（NLU）の結果として意図（Intent）が得られなかった場合には、言語文法を用いた発話文の分割を併用するようにしてもよい。
【０１２１】
例えば、ユーザ２の状態や仕草などの認識の結果に基づき、区切られた分割発話文を、意味解析処理に投入して、その意味解析（NLU）の結果として、意図（Intent）の信頼度のスコアが、一定値以下であった場合に、その分割発話文内で、係り受けが離れている箇所を境界としてさらに分割して得られる分割発話文を、意味解析処理に投入することで、より信頼度スコアの高い意図（Intent）を得ることができる。
【０１２２】
例えば、ユーザ２が、「音量を大きくして、曲の先頭に戻って」である発話を行った場合に、上述の条件を用いて発話の区切りを検出できなかったとき（発話の区切りの検出の精度が悪かったとき）、言語文法を利用して、「音量を大きくして」である発話に対し、「戻って」である発話は、係り受けが離れているため、「音量を大きくして」である発話の後に、発話の区切りを検出することができる。
【０１２３】
以上、音声対話システム１においては、ユーザ２による発話が開始されると、発話区切り検出部１０７によって、例えば、第１の条件乃至第７の条件等の上述の条件のうち、１つの条件、又は複数の条件の組み合わせを用いた発話区切り検出処理が行われる。また、音声対話システム１では、発話区切り検出処理によって、発話の区切りが検出されると、前回の区切り位置から、今回の区切り位置までのテキストデータの途中結果（分割発話文）が、意味解析部１０８による意味解析処理に投入される。
【０１２４】
そして、音声対話システム１では、ユーザ２による発話が完了するまで、発話の区切りが検出される度に、分割発話文の意味解析処理が逐次行われ、その結果得られる分割発話文ごとの意味解析（NLU）の結果（Intent, Entity）が記録（蓄積）されることになる。
【０１２５】
このように、ユーザ２の発話中に、意味解析処理を逐次行い、その結果得られる意味解析（NLU）の結果（Intent, Entity）を記録（蓄積）しておくことで、ユーザ２の発話が完了してから、全ての発話文を意味解析処理するのに比べて、音声対話システム１の応答（レスポンス）を速くする効果が得られる。
【０１２６】
（発話区切りでのフィードバック情報出力処理）
次に、効果音再生部１１１、音声合成処理部１１２、又は出力画像処理部１１３によって実行される発話区切りでのフィードバック情報出力処理の詳細な内容について説明する。
【０１２７】
ところで、人は、相手が発話意図を理解できる区切りで間（ま）をあけるなどの仕草を無意識に行うことで、相手の意図の受領を示す反応行動（例えば相槌など）を促している。
【０１２８】
また、人は、相手の発話途中の内容や意図が理解できたタイミングで、意図の受領を示す反応行動（例えば相槌など）を行うが、音声対話システム１が、この人の反応行動（理解行動）に相当する動作を行うことで（シミュレートすることで）、ユーザは、発話の途中でシステムに理解されていることのフィードバックを受けることができる。
【０１２９】
ここで、音声対話システム１では、発話の区切りを検出するためのユーザの状態や仕草を認識したときに、ユーザ２に対し、音声や画像を出力して、フィードバックをかけるようにしている。その結果として、ユーザ２は、音声対話システム１に対し、その後の発話内容を話しかけやすくなる。
【０１３０】
例えば、上述の図４及び図６では、ユーザ２の発話の区切りを検出したタイミングで、音声合成処理部１１２が、「はい」である相槌を、システム発話として出力する場合を例示した。このような相槌を、応答（システム発話）として出力する場合には、発話の区切りに応じた分割発話文ごとの意味解析（NLU）の結果として、意図（Intent）が得られたときには、受領したことを示す「はい」を出力する一方で、意図（Intent）が得られなかったときには、理解できなかったことを示す「え？」を、応答（システム発話）として出力するようにしてもよい。
【０１３１】
これにより、ユーザ２は、音声対話システム１に対し、発話を行った場合に、音声対話システム１から、受領の相槌があったときには、後続の発話を安心して行うことができる。一方で、音声対話システム１から、理解できない旨の相槌があったとき、ユーザ２は、文言を変えて言い直しを行うことができるようになる。
【０１３２】
なお、上述の「分割発話文ごとの意味解析（NLU）の結果として、意図（Intent）が得られなかったとき」とは、例えば、対話の文脈に合った意図（Intent）ではない場合や、意図（Intent）の信頼度スコアが、一定の値（閾値）よりも低い場合などが該当する。
【０１３３】
また、上述した例では、「はい」等の相槌を応答（システム発話）として出力する場合を説明したが、効果音再生部１１１によって、例えば、「ピッ」などの効果音を出力することで、ユーザ２に対し、フィードバック情報が通知されるようにしてもよい。
【０１３４】
ただし、効果音再生部１１１では、分割発話文ごとの意味解析（NLU）の結果で、意図（Intent）が得られたときと、意図（Intent）が得られずに理解できなかったときとで、効果音の種類を変えるようにしてもよい。
【０１３５】
さらに、出力画像処理部１１３によって、例えば、アバタ等の画像を生成することで、ユーザ２に対し、フィードバック情報が通知されるようにしてもよい。ここでは、画像の表示に限らず、例えば、LED(Light Emitting Diode)の点灯パターンや、色による視覚情報など、ユーザ２に対し、視覚的に、フィードバック情報を通知できる手法であれば、他の手法を用いるようにしてもよい。
【０１３６】
ただし、出力画像処理部１１３では、分割発話文ごとの意味解析（NLU）の結果で、意図（Intent）が得られたときと、意図（Intent）が得られずに理解できなかったときとで、表示する画像の種類を変えるようにしてもよい。
【０１３７】
一般的に、ユーザ２の発話の完了は、音声対話システム１側で、１秒以上程度、ユーザ２の発話が無いことをもって、発話が完了したと判定される。ユーザ２の発話の区切りを検出することで、ユーザ２が、長い時間待たされることも想定され、音声対話システム１からフィードバック情報の通知がないと、この発話の完了待ちの間、ユーザ２は、自身の発話が受領されているのかどうかが分からずに不安になって、不要な言い直しなどを行ってしまう可能性がある。
【０１３８】
それに対し、効果音再生部１１１、音声合成処理部１１２、又は出力画像処理部１１３によって、発話区切りでのフィードバック情報出力処理が行われ、ユーザ２の発話の区切りで、フィードバック情報が、早期に出力されるようにすることで、ユーザ２は、自身の発話が受領されていることを認知することができる。その結果として、ユーザ２が、不要な言い直しをしてしまうことを回避することができる。
【０１３９】
（フィードバック情報出力の他の例）
なお、上述したフィードバック情報の出力は一例であって、音声対話システム１では、ユーザ２の発話に応じて行われるフィードバックであれば、様々なものを採用することができる。
【０１４０】
例えば、ユーザ２が身につけている機器（例えば、スマートフォンやウェアラブル機器等）が振動することで、触覚によってフィードバック情報が通知されるようにしてもよい。このとき、フィードバックの内容に応じて振動の種類を変えてもよい。さらにまた、ユーザ２の身体に、微弱な電流を通して刺激を与えるようにしてもよい。
【０１４１】
また、例えば、前の区切り位置から一定期間、発話の区切りが検出されず、発話時間が長いと認識された場合には、ユーザ２に対し、発話の区切りを促すためのフィードバック情報が提示されるようにしてもよい。このようにすることで、フィードバック情報が早めに提示され、分割発話文の分割単位を小さくすることができるため、後段の意味解析部１０８による意味解析処理の解析精度を向上させることができる。
【０１４２】
ここで、早めのフィードバック情報を提示する手法としては、例えば、ユーザ２の発話時間が長いときに、画像出力部１１５に表示された擬人化エージェントがうなずくことで、ユーザ２に対し、発話の区切りを促すことができる。なお、擬人化エージェントとは、例えばCG(Computer Graphics)キャラクタやビデオアバタ等の動画像を用いてユーザと音声での対話を行う擬人化音声対話エージェントである。
【０１４３】
（意図推定処理・タスク実行処理）
次に、図７乃至図１０を参照して、複数意図推定部１０９により実行される意図推定処理と、タスク実行部１１０により実行されるタスク実行処理の詳細な内容について説明する。
【０１４４】
複数意図推定部１０９は、記録（蓄積）された意味解析（NLU）の結果（Intent, Entity）に基づいて、意図推定処理を行うことで、ユーザ２の意図を推定する。また、タスク実行部１１０は、ユーザ２の意図推定の結果に基づいて、タスク実行処理を行うことで、システムのタスクを実行する。
【０１４５】
（ユーザ意図推定の第１の例）
図７は、ユーザ２の意図推定の第１の例を示している。
【０１４６】
図７において、ユーザ２は、「いいよ、10時になったらはじめよう いつもの場所で待ってるよって返信して」である発話を行っている。従来の音声対話システムでは、この発話文全体に対し、意味解析処理を行うため、発話文に複数の異なる意図が含まれてしまうことになり、意味解析（NLU）の結果は、OOD(Out Of Domain)となる。ここで、OODとは、意味解析処理の結果得られる信頼度スコアが低く、正しい結果となっていないことを意味する。
【０１４７】
一方で、音声対話システム１では、「いいよ」である発話の後に発話の区切りを検出し、「いいよ」である第１の分割発話文（テキストデータ）が、意味解析処理に投入される。そして、この意味解析処理によって、第１の分割発話文の意味解析（NLU）の結果として、Intent = "YES" が得られる。
【０１４８】
このとき、音声対話システム１では、「いいよ」である発話の区切りが検出されたため、ユーザ２に対し、「はい」である応答（相槌）が行われる。
【０１４９】
次に、音声対話システム１では、「いいよ」である発話に続く、「10時になったらはじめよう」である発話の後に、発話の区切りを検出し、「10時になったらはじめよう」である第２の分割発話文（テキストデータ）が、意味解析処理に投入される。この意味解析処理によって、第２の分割発話文の意味解析（NLU）の結果として、Intent = "ALARM-SET", Entity = "10時" が得られる。
【０１５０】
このとき、音声対話システム１では、「10時になったらはじめよう」である発話の区切りが検出されたため、ユーザ２に対し、「はい」である応答（相槌）が行われる。
【０１５１】
次に、音声対話システム１では、「10時になったらはじめよう」である発話に続く、「いつもの場所で待ってるよって返信して」である発話の後に、発話の区切りを検出し、「いつもの場所で待ってるよって返信して」である第３の分割発話文（テキストデータ）が、意味解析処理に投入される。この意味解析処理によって、第３の分割発話文の意味解析（NLU）の結果として、Intent = "REPLY", Entity = "いつもの場所で待ってるよ" が得られる。
【０１５２】
そして、音声対話システム１においては、複数意図推定部１０９によって、第３の分割発話文の意味解析（NLU）の結果が、Intent = "REPLY", Entity = "いつもの場所で待ってるよ"となっていることから、それ以前の第１の分割発話文と第２の分割発話文も、第３の分割発話文と同様に、返信（"REPLY"）の内容であると推定することができる。すなわち、例えば日本語の場合には、発話の最後に述語がくるため、ここでは、第３の分割発話文の意図（Intent）である、返信（"REPLY"）が、発話全体の意図であると推定している。
【０１５３】
これにより、複数意図推定部１０９は、ユーザ２の発話全体の意図推定の結果として、Intent = "REPLY", Entity = "いいよ" + "10時になったらはじめよう" + "いつもの場所で待ってるよ" を得ることができる。この発話全体の意図推定の結果は、「いいよ、10時になったらはじめよう いつもの場所で待ってるよって返信して」である発話の内容からすれば、ユーザ２の意図に従った結果として適切であると言える。
【０１５４】
その後、タスク実行部１１０は、複数意図推定部１０９による意図推定の結果に基づいて、端末装置１０又はサーバ２０の各部（例えば、メッセージ生成部や通信I/Fなど）を制御して、「いいよ 10時になったらはじめよう いつもの場所で待ってるよ」であるメッセージを返信する処理を行う。このように、音声対話システム１（のタスク実行部１１０）では、ユーザ２の発話に応じて、「メッセージの返信」であるタスクが実行される。
【０１５５】
なお、図７の例では、「メッセージの返信」であるタスクを説明したが、それに限らず、例えば、音声対話システム１において、「メッセージの作成」などの他のタスクを実行する場合にも、同様に適用することができる。
【０１５６】
（ユーザ意図推定の第２の例）
図８は、ユーザ２の意図推定の第２の例を示している。
【０１５７】
図８において、ユーザ２は、「忘れそうだからぁ、子供のプレゼント買って、早めに帰宅って今日の予定に入れといて」である発話を行っている。
【０１５８】
音声対話システム１は、「忘れそうだからぁ」である発話の後に発話の区切りを検出し、「忘れそうだからぁ」である第１の分割発話文が、意味解析処理に投入される。この意味解析処理によって、第１の分割発話文の意味解析（NLU）の結果として、Intent = OOD が得られる。
【０１５９】
また、このとき、音声対話システム１は、「忘れそうだからぁ」である発話の音声データを解析して、その発話速度（話速）を、"遅い"と判定している。これらの解析の結果（Intent, 話速）は、記憶部１１６に記録される。
【０１６０】
次に、音声対話システム１は、「忘れそうだからぁ」である発話に続く、「子供のプレゼント買って」である発話の後に、発話の区切りを検出し、「子供のプレゼント買って」である第２の分割発話文が、意味解析処理に投入される。この意味解析処理によって、第２の分割発話文の意味解析（NLU）の結果として、Intent = "BUY-ITEM", Entity = "子供のプレゼント" が得られる。
【０１６１】
ただし、"子供のプレゼント"は、BodyタイプのEntityとされる。なお、Bodyは、発話の内容を表すものであって、BodyタイプのEntityは、自由発話を含んでいる。
【０１６２】
また、このとき、音声対話システム１は、「子供のプレゼント買って」である発話の音声データを解析して、その発話速度（話速）を、"速い"と判定している。これらの解析の結果（Intent, Entity, 話速）は、記憶部１１６に記録される。
【０１６３】
次に、音声対話システム１は、「子供のプレゼント買って」である発話に続く、「早めに帰宅って今日の予定に入れといて」である発話の後に、発話の区切りを検出し、「早めに帰宅って今日の予定に入れといて」である第３の分割発話文が、意味解析処理に投入される。この意味解析処理によって、第３の分割発話文の意味解析（NLU）の結果として、Intent = "SCHEJULE-ADD", Entity = "早めに帰宅", Entity = "今日" が得られる。ただし、Entityのうち、"早めに帰宅"は、BodyタイプのEntityとされ、"今日"は、DateタイプのEntityとされる。
【０１６４】
また、このとき、音声対話システム１は、「早めに帰宅って今日の予定に入れといて」である発話の音声データを解析して、その発話速度（話速）を、"速い"と判定している。これらの解析の結果（Intent, Entity, 話速）は、記憶部１１６に記録される。
【０１６５】
なお、上述した例と同様に、音声対話システム１は、ユーザ２の発話の区切りが検出されたとき、ユーザ２に対し、「はい」である応答（相槌）を行っている。
【０１６６】
そして、音声対話システム１において、複数意図推定部１０９は、記憶部１１６に記録されている、ユーザ２の発話を３分割した分割発話文ごとの意味解析（NLU）の結果（Intent, Entity）と、各分割発話文の発話速度（話速）に基づき、ユーザ２の発話の意図を推定する。
【０１６７】
この意図推定処理では、最後の分割発話文である第３の分割発話文の意図（Intent）に対するBodyタイプのEntityが、"早めに帰宅"であって、第３の分割発話文が、BodyタイプのEntityを有する意図（Intent）であり、かつ、その１つ前の第２の分割発話文である「子供のプレゼント買って」の話速が、"速い"と判定されているため、第２の分割発話文の意味解析（NLU）の結果は、次のように処理される。
【０１６８】
すなわち、この意図推定処理では、第２の分割発話文の意図（Intent）を棄却して、その発話内容が、第３の分割発話文の意図（Intent）である、Intent = "SCHEJULE-ADD" のBodyタイプのEntityに追加されるようにする。
【０１６９】
また、この意図推定処理では、さらにその１つ前の第１の分割発話文（先頭の分割発話文）である「忘れそうだからぁ」の話速が、"遅い"と判定されているため、第１の分割発話文の意図（Intent）が、第３の分割発話文のBodyタイプのEntityに追加されないようにする。
【０１７０】
これにより、複数意図推定部１０９は、ユーザ２の発話全体の意図推定の結果として、Intent = "SCHEJULE-ADD", BodyタイプのEntity = "子供のプレゼント買って" + "早めに帰宅", DateタイプのEntity = "今日" を得ることができる。この発話全体の意図推定は、「忘れそうだからぁ、子供のプレゼント買って、早めに帰宅って今日の予定に入れといて」である発話の内容からすれば、ユーザ２の意図に従った結果として適切であると言える。
【０１７１】
その後、タスク実行部１１０は、複数意図推定部１０９による意図推定の結果に基づいて、端末装置１０又はサーバ２０の各部（例えば、スケジュール管理部など）を制御して、「今日」の予定として、「子供のプレゼント買って 早めに帰宅」である予定を、スケジュールに登録する処理を行う。このように、音声対話システム１（のタスク実行部１１０）では、ユーザ２の発話に応じて、「スケジュールの登録」であるタスクが実行される。
【０１７２】
なお、この第２の例では、意図推定処理において、複数の意味解析（NLU）の結果から、Bodyの部分を判定し、スケジュールの内容に追加する際に、発話速度（話速）を用いたが、Bodyの部分として追加すべきかどうかを判定可能な情報であれば、他の情報を用いるようにしてもよい。
【０１７３】
（ユーザ意図推定の第３の例）
図９は、ユーザ２の意図推定の第３の例を示している。
【０１７４】
図９において、ユーザ２は、「ああ、明日雨なんだよな いつもの場所で待ってるよって返信して」である発話を行っている。
【０１７５】
音声対話システム１は、「ああ」である発話の後に発話の区切りを検出し、「ああ」である第１の分割発話文が、意味解析処理に投入される。この意味解析処理によって、第１の分割発話文の意味解析（NLU）の結果として、Intent = OOD が得られる。
【０１７６】
また、このとき、音声対話システム１は、「ああ」である発話中の画像データを解析して、発話中のユーザ２の視線が、端末装置１０に対し、"それている"と判定している。これらの解析結果（Intent, 視線）は、記憶部１１６に記録される。
【０１７７】
次に、音声対話システム１は、「ああ」である発話に続く、「明日雨なんだよな」である発話の後に、発話の区切りを検出し、「明日雨なんだよな」である第２の分割発話文が、意味解析処理に投入される。この意味解析処理によって、第２の分割発話文の意味解析（NLU）の結果として、Intent = OOD が得られる。
【０１７８】
また、このとき、音声対話システム１は、「明日雨なんだよな」である発話中の画像データを解析して、発話中のユーザ２の視線が、端末装置１０に対し、"それている"と判定している。これらの解析結果（Intent, 視線）は、記憶部１１６に記録される。
【０１７９】
次に、音声対話システム１は、「明日雨なんだよな」である発話に続く、「いつもの場所で待ってるよって返信して」である発話の後に、発話の区切りを検出し、「いつもの場所で待ってるよって返信して」である第３の分割発話文が、意味解析処理に投入される。この意味解析処理によって、第３の分割発話文の意味解析（NLU）の結果として、Intent = "REPLY", Entity = "いつもの場所で待ってるよ" が得られる。
【０１８０】
また、このとき、音声対話システム１は、「いつもの場所で待ってるよって返信して」である発話中の画像データを解析して、発話中のユーザ２の視線が、端末装置１０に対し、"向いている"と判定している。これらの解析結果（Intent, Entity, 視線）は、記憶部１１６に記録される。
【０１８１】
そして、音声対話システム１においては、複数意図推定部１０９によって、第３の分割発話文の意味解析（NLU）の結果が、Intent = "REPLY", Entity = "いつもの場所で待ってるよ"となっているが、その１つ前の第２の分割発話文である「明日雨なんだよな」の発話中の視線が、"それている"と判定されているため、第２の分割発話文の意図（Intent）が、第３の分割発話文のBodyタイプのEntityに追加されないようにする。
【０１８２】
同様にまた、さらにその１つ前の第１の分割発話文（先頭の分割発話文）である「ああ」の発話中の視線が、"それている"と判定されているため、第１の分割発話文の意図（Intent）が、第３の分割発話文のBodyタイプのEntityに追加されないようにする。
【０１８３】
これにより、複数意図推定部１０９は、ユーザ２の発話全体の意図推定の結果として、Intent = "REPLY", BodyタイプのEntity = "いつもの場所で待ってるよ"を得ることができる。この発話全体の意図推定は、「ああ、明日雨なんだよな いつもの場所で待ってるよって返信して」である発話の内容からすれば、「ああ、明日雨なんだよな」が、ユーザ２の独り言であるため、ユーザ２の意図に従った結果として適切であると言える。
【０１８４】
その後、タスク実行部１１０は、複数意図推定部１０９による意図推定の結果に基づいて、端末装置１０又はサーバ２０の各部（例えば、メッセージ生成部や通信I/Fなど）を制御して、「いつもの場所で待ってるよ」であるメッセージを返信する処理を行う。このように、音声対話システム１（のタスク実行部１１０）では、ユーザ２の発話に応じて、「メッセージの返信」であるタスクが実行される。
【０１８５】
なお、この第３の例では、意図推定処理において、複数の意味解析（NLU）の結果から、Bodyの部分を判定し、スケジュールの内容に追加する際に、視線を用いたが、Bodyの部分として追加すべきかどうかを判定可能な情報であれば、他の情報を用いるようにしてもよい。
【０１８６】
（ユーザ意図推定の第４の例）
図１０は、ユーザ２の意図推定の第４の例を示している。
【０１８７】
図１０において、ユーザ２は、「音量を大きくして、曲の先頭に戻って」である発話を行っている。従来の音声対話システムでは、この発話文全体に対し、意味解析処理を行うが、発話文に複数の異なる意図が含まれるため、意味解析（NLU）の結果として、Intent = OOD が得られる。
【０１８８】
一方で、音声対話システム１では、「音量を大きくして」である発話の後に、発話の区切りを検出し、「音量を大きくして」である第１の分割発話文が、意味解析処理に投入される。そして、この意味解析処理によって、第１の分割発話文の意味解析（NLU）の結果として、Intent = "VOLUME_UP" が得られる。
【０１８９】
このとき、音声対話システム１では、「音量を大きくして」である発話の区切りが検出されたため、ユーザ２に対し、「はい」である応答（相槌）が行われる。
【０１９０】
また、音声対話システム１では、「音量を大きくして」である発話に続く、「曲の先頭に戻って」である発話の後に、発話の区切りを検出し、「曲の先頭に戻って」である第２の分割発話文が、意味解析処理に投入される。そして、この意味解析処理によって、第２の分割発話文の意味解析（NLU）の結果として、Intent = "MUSIC_REPLAY" が得られる。
【０１９１】
このとき、音声対話システム１では、「曲の先頭に戻って」である発話の区切りが検出されたため、ユーザ２に対し、「はい」である応答（相槌）が行われる。
【０１９２】
そして、音声対話システム１では、複数意図推定部１０９によって、第１の分割発話文の意味解析（NLU）の結果が、Intent = "VOLUME_UP" であり、第２の分割発話文の意味解析（NLU）の結果が、Intent = "MUSIC_REPLAY" であることから、ユーザ２の発話には、２つの意図（Intent）が含まれると推定することができる。
【０１９３】
これにより、複数意図推定部１０９は、ユーザ２の発話全体の意図推定の結果として、Intent = "VOLUME_UP", "MUSIC_REPLAY" の２つの意図（Intent）を得ることができる。この発話全体の意図推定の結果は、「音量を大きくして、曲の先頭に戻って」である発話の内容からすれば、ユーザ２の意図に従った結果として適切であると言える。
【０１９４】
タスク実行部１１０は、複数意図推定部１０９による意図推定の結果に基づいて、端末装置１０の音声出力部１１４等を制御することで、音量を上げるとともに、曲を先頭に戻して再生する処理を行う。このように、音声対話システム１（のタスク実行部１１０）では、"VOLUME_UP"である意図（Intent）に応じた「音量を上げる」である第１のタスクと、"MUSIC_REPLAY"である意図（Intent）に応じた「曲を先頭に戻して再生する」である第２のタスクを、ユーザ２の意図に従って、一括して実行することができるようになる。
【０１９５】
なお、図１０の例では、音楽再生操作の依頼を説明したが、それに限らず、例えば、音声対話システム１において、ユーザ２の発話が、複数のシステムへの依頼意図を含む場合に、この手法の適用が可能とされる。
【０１９６】
（意図推定処理・タスク実行処理の他の例）
【０１９７】
上述した図７のユーザ意図推定の第１の例として、メッセージの返信や作成のタスクを実行する例を説明したが、このメッセージの返信や作成のタスクを、エージェントの伝言機能などの他の機能に応用するようにしてもよい。
【０１９８】
例えば、音声対話システム１に対し、ユーザ２によって、「「冷蔵庫におやつのケーキがあるよ」って言っておいて」である発話（伝言）がなされた場合に、この発話のうち、発話の区切りに応じた「冷蔵庫におやつのケーキがあるよ」である部分の発話音声を、伝言本文として録音しておくことで、他のユーザ（例えば家族）に対しては、伝言本文の音声のみが再生されるようにしてもよい。
【０１９９】
また、ユーザ２は、発話中に言い間違える可能性があるが、発話中の言い間違いに対する、キャンセルやアンドゥ（undo）、取り消しを、発話の区切り単位で行うようにしてもよい。
【０２００】
ここで、発話の区切り単位でのキャンセル機能の２つの具体例を示すが、対話における、ユーザ２の発話を、「Ｕ（User）」と表記し、音声対話システム１による応答（タスクの実行）を、「Ｓ（System）」と表記している。また、「/」は、発話区切り検出処理によって検出した発話の区切り位置を表している。
【０２０１】
（第１の例）
Ｕ：「明日の目覚ましは / ７時にかけて / 間違えた / ６時にかけて」
Ｓ：（「明日の朝６時」に「アラーム設定」であるタスクの実行）
【０２０２】
この第１の例の場合において、音声対話システム１は、「間違えた」である分割発話文の１つ前の発話の区切りに対応する、「７時にかけて」である分割発話文をキャンセルし、「間違えた」である分割発話文の１つ後の発話の区切りに対応する、「６時にかけて」である分割発話文を用い、明日の朝６時にアラームの設定を行っている。
【０２０３】
すなわち、ここでは、分割発話文ごとに得られる意味解析（NLU）の結果のうち、アラーム設定（"ALARM-SET"）である意図（Intent）はそのままに、実体情報（Entity）としての、「７時」が、「６時」に修正されている。
【０２０４】
（第２の例）
Ｕ：「買い物リストに / 卵 / 人参 / いやそれはやめて / 大根 / を入れておいて」
Ｓ：（「卵」と「大根」を「買い物リストに追加」であるタスクの実行）
【０２０５】
この第２の例の場合において、音声対話システム１は、「いやそれはやめて」である分割発話文の１つ前の発話の区切りに対応する、「人参」である分割発話文をキャンセルし、「いやそれはやめて」である分割発話文の１つ後の発話の区切りに対応する、「大根」である分割発話文を用い、卵と大根の買い物リストへの追加を行っている。
【０２０６】
すなわち、ここでは、分割発話文ごとに得られる意味解析（NLU）の結果のうち、買い物の予定（"SCHEJULE-ADD"）である意図（Intent）はそのままに、実体情報（Entity）としての、「人参」が、「大根」に修正されている。
【０２０７】
（統計的な分析）
音声対話システム１では、分割発話文ごとに、意味解析（NLU）の結果（Intent, Entity）が得られるため、例えば、複数の意図（Intent）の相対的な共起頻度を統計的に分析し、その分析結果を、意図推定処理で用いるようにしてもよい。
【０２０８】
例えば、ユーザ２によって、「音量を上げて、××の曲を再生して」である発話がなされたときに、「音量を上げて」である第１の分割発話文と、「××の曲を再生して」である第２の分割発話文のそれぞれの意味解析（NLU）の結果に基づき、Intent = VOLUME_UP + PLAY_MUSIC の相対的な共起頻度を統計的に学習することができる。
【０２０９】
また、音声対話システム１では、記憶部１１６に記録される、分割発話文ごとの意味解析（NLU）の結果（Intent, Entity）等のデータを、収集データとして記録しておくことで、この収集データを統計的に分析して、例えば、VOLUME_UPである意図（Intent）の発話の後には、PLAY_MUSICである意図（Intent）の発話がされやすいなどを、学習することができる。
【０２１０】
そして、例えば、ユーザ２によって、「音量を上げて、××をかけて」である発話がなされたときに、「音量を上げて」である第１の分割発話文と、「××をかけて」である第２の分割発話文のそれぞれの意味解析（NLU）の結果として、Intent = VOLUME_UP + OOD が得られた場合を想定する。ここでは、Intent = PLAY_MUSIC の信頼度スコアが低い状態であるため、第２の分割発話文の意図（Intent）が、OODとなっている。
【０２１１】
このとき、音声対話システム１（の複数意図推定部１０９）では、あらかじめ行われた学習の結果を用い、OOD となっているPLAY_MUSIC の信頼度スコアに、共起頻度に応じた値を加算して、補正することにより（VOLUME_UPの後のPLAY_MUSICの共起頻度が高いために信頼度スコアが上がることで）、OODではなく、PLAY_MUSICの意図であると判定した意図推定の結果が得られる。これにより、音声対話システム１（のタスク実行部１１０）では、音量を上げるとともに音楽の再生も行う。
【０２１２】
なお、記憶部１１６が、サーバ２０に設けられる場合には、ある特定のユーザのみならず、音声対話サービスを使用している多数のユーザの発話に応じた意味解析（NLU）の結果（Intent, Entity）を、収集データとして蓄積することができるため、より多くの収集データを用いて、より精度の高い機械学習を行うことができる。
【０２１３】
すなわち、上述した統計的な共起頻度を、ユーザ全体に対して収集して適用してもよいし、ユーザ属性（例えばエリアや年代、性別など）ごとに収集して適用するか、あるいは、ある特定のユーザ個人に対して収集して適用するようにしてもよい。
【０２１４】
また、上述した例では、n-gram統計の n=2 の場合を示したが、例えば、n=3, n=4, ・・・ と共起関係の数を増やして、頻度を統計的に分析するようにしてもよい。
【０２１５】
このような統計的な分析を行うことで、例えば、システムの使用時間とともに収集するデータ量が増加して、ユーザにより発話される長い文章や複文などからも、分割発話文ごとの意味解析（NLU）の結果が得られることで、意図推定処理での意図推定の精度が上がって、使い込むほどにシステムが賢くなっていくことを、ユーザは実感することができる。
【０２１６】
（発話全体のBody判定処理の流れ）
次に、図１１のフローチャートを参照して、音声対話システム１により実行される発話全体のBody判定処理の流れを説明する。
【０２１７】
なお、この発話全体のBody判定処理は、図３の音声対話処理におけるステップＳ１１乃至Ｓ１６の処理が繰り返し行われ、分割発話文ごとの意味解析（NLU）の結果が得られた後に行われるステップＳ１７の処理に含まれる。
【０２１８】
ステップＳ３１において、複数意図推定部１０９は、記憶部１１６に記録されている、ユーザ２の発話をN個に分割した分割発話文の意味解析（NLU）の結果と、各分割発話文の発話速度（話速）を取得する。ただし、Nは、１以上の整数である。
【０２１９】
ステップＳ３２において、複数意図推定部１０９は、分割文インデックスnとして、n = N をセットする。ここでは、n = N をセットすることで、処理の対象が、最後の分割発話文とされる。
【０２２０】
ステップＳ３３において、複数意図推定部１０９は、n番目の分割発話文の意図（Intent）が、Bodyタイプの実体情報（Entity）を有するかどうかを判定する。
【０２２１】
ステップＳ３３において、n番目の分割発話文の意図（Intent）が、Bodyタイプの実体情報（Entity）を有していないと判定された場合、処理は、ステップＳ３５に進められる。
【０２２２】
ステップＳ３５において、複数意図推定部１０９は、ユーザ２の発話内に、Bodyタイプの実体情報（Entity）が存在しないため、N個の分割発話文の各意図（Intent）に応じた意図を推定する。これにより、タスク実行部１１０は、複数意図推定部１０９からの意図推定の結果に基づき、N個の分割発話文の各意図（Intent）に応じたタスクを実行する。
【０２２３】
このステップＳ３５の処理が実行されるケースとしては、例えば、図１０に示したユーザ意図推定の第４の例が該当する。図１０においては、ユーザ２の発話全体の意図推定の結果として、Intent = "VOLUME_UP", "MUSIC_REPLAY" の２つの意図（Intent）が推定されている。
【０２２４】
ステップＳ３５の処理が終了すると、発話全体のBody判定処理は終了する。
【０２２５】
一方で、ステップＳ３３において、n番目の分割発話文の意図（Intent）が、Bodyタイプの実体情報（Entity）を有すると判定された場合、処理は、ステップＳ３４に進められる。
【０２２６】
ステップＳ３４において、複数意図推定部１０９は、n番目の分割発話文が、ユーザ２の発話の先頭であるかどうかを判定する。ここでは、処理の対象が、n = 1，すなわち、１番目（先頭）の分割発話文であるかどうかが判定される。
【０２２７】
ステップＳ３４において、n番目の分割発話文が、ユーザ２の発話の先頭であると判定された場合、Bodyタイプの実体情報（Entity）を有しているが、先頭の分割発話文であるため、発話全体のBody判定処理は終了する。
【０２２８】
また、ステップＳ３４において、n番目の分割発話文が、ユーザ２の発話の先頭ではないと判定された場合、処理は、ステップＳ３６に進められる。ステップＳ３６において、複数意図推定部１０９は、分割文インデックスnとして、n = n-1 をセットする。ここでは、例えば、Nの次に、N-1など、１つ前の分割発話文に対応するインデックスがセットされる。
【０２２９】
ステップＳ３７において、複数意図推定部１０９は、n番目の分割発話文のユーザ２の発話速度が、閾値を超えるかどうか（閾値が示す速度よりも速いかどうか）を判定する。
【０２３０】
ステップＳ３７において、ユーザ２の発話速度が、閾値を超えると判定された場合、処理は、ステップＳ３８に進められる。
【０２３１】
ステップＳ３８において、複数意図推定部１０９は、n番目の分割発話文の意図（Intent）を未実行とし、その内容を、最後の分割発話文の意図（Intent）のBodyタイプの実体情報（Entity）に追加した意図を推定する。これにより、タスク実行部１１０は、n番目の分割発話文の意図（Intent）を、最後の分割発話文の意図（Intent）のBodyタイプの実体情報（Entity）に追加した意図推定の結果に応じたタスクを実行する。
【０２３２】
このステップＳ３８の処理が実行されるケースとしては、例えば、図７に示したユーザ意図推定の第１の例が該当する。図７においては、ユーザ２の発話全体の意図推定の結果として、"いいよ" 及び "10時になったらはじめよう" である分割発話文の内容が、最後の分割発話文のBodyタイプの実体情報（Entity）として追加され、Intent = "REPLY", Entity = "いいよ" + "10時になったらはじめよう" + "いつもの場所で待ってるよ" が得られる。
【０２３３】
ステップＳ３８の処理が終了すると、処理は、ステップＳ３４に戻り、上述した処理が繰り返される。
【０２３４】
一方で、ステップＳ３７において、ユーザの発話速度が、閾値未満であると判定された場合、処理は、ステップＳ３９に進められる。
【０２３５】
ステップＳ３９において、複数意図推定部１０９は、n番目より前の分割発話文は、システムへの依頼発話ではないと判定し、n番目より前の分割発話文の意図（Intent）を未実行とした意図を推定する。これにより、タスク実行部１１０は、n番目より前の分割発話文の意図（Intent）を未実行とした意図推定の結果に応じたタスクを実行する。
【０２３６】
このステップＳ３９の処理が実行されるケースとしては、例えば、図８に示したユーザ意図推定の第２の例が該当する。図８においては、「忘れそうだからぁ」である分割発話文（の意図（Intent））が未実行とされ、発話全体の意図推定の結果として、Intent = "SCHEJULE-ADD", BodyタイプのEntity = "子供のプレゼント買って" + "早めに帰宅", DateタイプのEntity = "今日" が得られる。
【０２３７】
ステップＳ３９の処理が終了すると、発話全体のBody判定処理は終了する。
【０２３８】
以上、発話全体のBody判定処理の流れを説明した。
【０２３９】
（区切り単位のキャンセル処理の流れ）
次に、図１２のフローチャートを参照して、音声対話システム１により実行される区切り単位のキャンセル処理の流れを説明する。
【０２４０】
なお、この区切り単位のキャンセル処理は、図３の音声対話処理におけるステップＳ１１乃至Ｓ１６の処理が繰り返し行われ、分割発話文ごとの意味解析（NLU）の結果が得られた後に行われるステップＳ１７の処理に含まれる。
【０２４１】
ステップＳ５１において、複数意図推定部１０９は、記憶部１１６に記録されている、ユーザの発話をN個に分割した分割発話文の意味解析（NLU）の結果を取得する。ただし、Nは、１以上の整数である。
【０２４２】
ステップＳ５２において、複数意図推定部１０９は、分割文インデックスnとして、n = N をセットする。n = N をセットすることで、処理の対象が、最後の分割発話文とされる。
【０２４３】
ステップＳ５３において、複数意図推定部１０９は、n番目の分割発話文が、ユーザ２の発話の先頭であるかどうかを判定する。ここでは、処理の対象が、n = 1，すなわち、１番目（先頭）の分割発話文であるかどうかが判定される。
【０２４４】
ステップＳ５３において、n番目の分割発話文が、ユーザ２の発話の先頭であると判定された場合、発話の区切り単位でキャンセルを行う必要はないため、区切り単位のキャンセル処理は終了する。
【０２４５】
一方で、ステップＳ５３において、n番目の分割発話文が、ユーザ２の発話の先頭ではないと判定された場合、処理は、ステップＳ５４に進められる。
【０２４６】
ステップＳ５４において、複数意図推定部１０９は、n番目の分割発話文の意図（Intent）が、キャンセルや取り消しの意図を有するかどうかを判定する。ここで、キャンセルや取り消しの意図としては、例えば、上述の「間違えた」や「いやそれはやめて」などの分割発話文に応じた意図（Intent）が該当する。
【０２４７】
ステップＳ５４において、n番目の分割発話文の意図（Intent）が、キャンセル等の意図を有すると判定された場合、処理は、ステップＳ５５に進められる。ステップＳ５５において、複数意図推定部１０９は、n-1番目の分割発話文を、ユーザ２の意図推定の対象から削除する。
【０２４８】
例えば、上述の第１の例で、「・・・ / ７時にかけて / 間違えた / ・・・」である発話の区切りが検出された場合に、「間違えた」であるn番目の分割発話文が、キャンセル等の意図を有すると判定されたとき、「７時にかけて」であるn-1番目の分割発話文が、意図推定の対象から削除される。
【０２４９】
また、例えば、上述の第２の例で、「・・・ / 人参 / いやそれはやめて / ・・・」である発話の区切りが検出された場合、「いやそれはやめて」であるn番目の分割発話文が、キャンセル等の意図を有すると判定されたとき、「人参」であるn-1番目の分割発話文が、意図推定の対象から削除される。
【０２５０】
一方で、ステップＳ５４において、n番目の分割発話文の意図（Intent）が、キャンセル等の意図を有していないと判定された場合、処理は、ステップＳ５６に進められる。ステップＳ５６において、複数意図推定部１０９は、分割文インデックスnとして、n = n-1 をセットする。ここでは、例えば、Nの次に、N-1など、１つ前の分割発話文に対応するインデックスがセットされる。
【０２５１】
ステップＳ５６の処理が終了すると、処理は、ステップＳ５３に戻り、それ以降の処理が繰り返される。
【０２５２】
また、ステップＳ５５の処理が終了すると、処理は、ステップＳ５７に進められる。ステップＳ５７において、複数意図推定部１０９は、n-1番目の分割発話文が、ユーザ２の発話の先頭であるかどうかを判定する。ここでは、処理の対象が、n = 2，すなわち、２番目の分割発話文であるかどうかが判定される。
【０２５３】
ステップＳ５７において、n-1番目の分割発話文が、ユーザ２の発話の先頭であると判定された場合、これ以上発話の区切り単位でキャンセルを行う必要はないため、区切り単位のキャンセル処理は終了する。
【０２５４】
一方で、ステップＳ５７において、n-1番目の分割発話文が、ユーザ２の発話の先頭ではないと判定された場合、処理は、ステップＳ５８の処理に進められる。ステップＳ５８において、複数意図推定部１０９は、分割文インデックスnとして、n = n-2 をセットする。ここでは、例えば、Nの次に、N-2など、２つ前の分割発話文に対応するインデックスがセットされる。
【０２５５】
ステップＳ５８の処理が終了すると、処理は、ステップＳ５３に戻り、それ以降の処理が繰り返される。
【０２５６】
以上、区切り単位のキャンセル処理の流れを説明した。
【０２５７】
このように、音声対話システム１では、ユーザ２の発話特性を検出して、ユーザ２の意図を理解してほしい単位で発話文を分割した分割発話文ごとに意味解析（NLU）の結果を得ることで、より正確に、ユーザ２の発話の意図を推定することができるようにしている。
【０２５８】
ところで、従来の意味解析エンジン（NLUエンジン）では、ユーザの発話文から意図（Intent）と実体情報（Entity）を抽出する際に、複数の意図を含む長い文章や複文から、意図（Intent）と実体情報（Entity）を正しく抽出することは、困難であった。つまり、ユーザが発話する文章が長くなるほど、複数の意図（Intent）や実体情報（Entity）が含まれる可能性が高くなり、従来の意味解析エンジンでは、一意の意図（Intent）を推定することができなくなる。
【０２５９】
また、従来の音声対話システムにおいて、ユーザが長めの発話を行った場合に、その意図（Intent）を正しく推定できないときには、ユーザが意図しないシステム挙動となってしまう。その結果として、ユーザは、音声対話システムに対し、短文やコマンドベースでの発話しか行わないようになって、音声コマンドによる入力ユーザインターフェース（UI：User Interface）からの脱却を図ることができない。
【０２６０】
ただし、ここでの音声コマンドは、ユーザが、音声によって特定のコマンドを発することであって、ユーザによる自然発話ではないことを意味している。
【０２６１】
それに対し、音声対話システム１では、人の発話特性を検出して、ユーザ２の意図を理解してほしい単位で、発話文を分割した分割発話文ごとに意味解析（NLU）の結果が得られるため、ユーザ２の発話に即した意図（Intent）や実体情報（Entity）を得ることができる。そのため、音声対話システム１では、ユーザ２によって、複数の意図を含む長い文章や複文などが発話された場合（ユーザ２の発話が複数のシステムへの依頼意図を含む場合）でも、各々の依頼意図を正しく推定して、各依頼タスクに応じたタスクを一括で実行することが可能となる。
【０２６２】
その結果として、ユーザ２が、依頼タスクごとに音声コマンド的な短文発話による対話ターンを行わなくなることが期待される。また、ユーザ２にとっては、長い文章や複文を発話したときにも、システムが正しく意図を理解して動作している経験を通じて、システムに対して長い文章や複文の発話をすることができる、というマインドができる。
【０２６３】
さらに、音声対話システム１では、ユーザ２の複雑な発話の意図に対し、音声コマンド的な短文発話による複数の対話ターンを必要としないため、ユーザ２に対し、対話ターンを意識させない自然な対話を行うことが可能となる。
【０２６４】
また、音声対話システム１では、例えば、電子メールやソーシャルネットワーキングサービス（SNS：Social Networking Service）等のメッセージの作成依頼の発話時に、発話文の中からメッセージの内容（Body）を正しく抽出することが可能となるので、例えば、メッセージの作成依頼とメッセージの内容（Body）の入力で、別の対話ターンとせずに、１回の対話ターンでまとめて処理することが可能となる。
【０２６５】
＜２．変形例＞
【０２６６】
上述した説明では、音声対話システム１において、音声入力部１０１乃至センサ部１０３、音声出力部１１４、及び画像出力部１１５が、ローカル側の端末装置１０に組み込まれ、音声認識部１０４乃至出力画像処理部１１３が、クラウド側のサーバ２０に組み込まれる構成を一例として説明したが、音声入力部１０１乃至画像出力部１１５のそれぞれは、端末装置１０とサーバ２０のうち、どちらの機器に組み込まれてもよい。
【０２６７】
例えば、音声入力部１０１乃至画像出力部１１５のすべてが、端末装置１０側に組み込まれ、ローカル側で処理が完了するようにしてもよい。ただし、このような構成を採用した場合でも、各種のデータベースは、インターネット３０上のサーバ２０が管理するようにしてもよい。
【０２６８】
また、音声認識部１０４で行われる音声認識処理や、意味解析部１０８で行われる意味解析処理は、他のサービスで提供されている音声認識サービスや意味解析サービスを利用するようにしてもよい。この場合、例えば、サーバ２０では、インターネット３０上で提供される音声認識サービスに対し、音声データを送ることで、音声認識の結果を得ることができる。また、例えば、サーバ２０では、インターネット３０上で提供される意味解析サービスに対し、分割発話文のデータを送ることで、分割発話文ごとの意味解析結果（Intent, Entity）を得ることができる。
【０２６９】
＜３．コンピュータの構成＞
【０２７０】
上述した一連の処理（例えば、図３に示した音声対話処理など）は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、各装置のコンピュータにインストールされる。図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２７１】
コンピュータ１０００において、CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インターフェース１００５が接続されている。入出力インターフェース１００５には、入力部１００６、出力部１００７、記録部１００８、通信部１００９、及び、ドライブ１０１０が接続されている。
【０２７２】
入力部１００６は、マイクロフォン、キーボード、マウスなどよりなる。出力部１００７は、スピーカ、ディスプレイなどよりなる。記録部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインターフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体１０１１を駆動する。
【０２７３】
以上のように構成されるコンピュータ１０００では、CPU１００１が、ROM１００２や記録部１００８に記録されているプログラムを、入出力インターフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
【０２７４】
コンピュータ１０００（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
【０２７５】
コンピュータ１０００では、プログラムは、リムーバブル記録媒体１０１１をドライブ１０１０に装着することにより、入出力インターフェース１００５を介して、記録部１００８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部１００９で受信し、記録部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記録部１００８に、あらかじめインストールしておくことができる。
【０２７６】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。
【０２７７】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２７８】
また、図３に示した音声対話処理の各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２７９】
なお、本技術は、以下のような構成をとることができる。
【０２８０】
（１）
ユーザの発話中に得られる認識の結果に基づいて、前記ユーザの発話の区切りを検出する検出部と、
検出した前記発話の区切りごとに発話文を分割して得られる分割発話文の意味解析の結果に基づいて、前記ユーザの発話の意図を推定する推定部と
を備える情報処理装置。
（２）
前記認識の結果は、前記ユーザの発話の音声データの認識の結果、前記ユーザを撮像して得られる画像データの認識の結果、及び前記ユーザ又はその周辺をセンシングして得られるセンサデータの認識の結果のうち、少なくとも１つの認識の結果を含む
前記（１）に記載の情報処理装置。
（３）
前記検出部は、前記認識の結果から得られる前記ユーザの状態又は仕草に基づいて、前記発話の区切りを検出する
前記（２）に記載の情報処理装置。
（４）
前記推定部は、前記分割発話文ごとに逐次得られる意図（Intent）及び実体情報（Entity）に基づいて、前記ユーザの発話の意図を推定する
前記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）
前記推定部は、前記分割発話文ごとの意図（Intent）の中から、前記発話文に即した意図（Intent）を抽出する
前記（４）に記載の情報処理装置。
（６）
前記推定部は、前記分割発話文ごとの実体情報（Entity）の中から、前記発話文に即した実体情報（Entity）を抽出する
前記（４）又は（５）に記載の情報処理装置。
（７）
前記実体情報（Entity）は、そのタイプとして、自由発話を含むことを表すBodyタイプを含み、
前記推定部は、最後の分割発話文の意図（Intent）が、Bodyタイプの実体情報（Entity）を有する場合に、それよりも前の分割発話文であって注目している注目分割発話文が、特定の条件を満たす場合、前記注目分割発話文の意図（Intent）を未実行とし、その内容を、最後の分割発話文の意図（Intent）が有するBodyタイプの実体情報（Entity）に追加する
前記（４）に記載の情報処理装置。
（８）
前記推定部は、前記注目分割発話文が、前記特定の条件を満たさない場合、前記注目分割発話文の意図（Intent）を破棄する
前記（７）に記載の情報処理装置。
（９）
前記特定の条件は、前記ユーザの発話の速度が、所定の閾値を超えるかどうかを判定するための条件、又は前記ユーザの視線が、所定の対象を向いているかどうかを判定するための条件を含む
前記（８）に記載の情報処理装置。
（１０）
前記実体情報（Entity）は、そのタイプとして、自由発話を含むことを表すBodyタイプを含み、
前記推定部は、Bodyタイプの実体情報（Entity）を有する前記分割発話文が存在しないとき、前記分割発話文ごとの意図（Intent）に応じて、前記ユーザの発話の意図を推定する
前記（４）に記載の情報処理装置。
（１１）
前記推定部は、前記ユーザの発話に、取り消しの意図（Intent）が含まれるとき、取り消しの対象となる分割発話文を、前記ユーザの発話の意図推定の対象から削除する
前記（４）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
前記推定部は、n番目の分割発話文が、取り消しの意図（Intent）を有しているとき、n-1番目の分割発話文を、前記ユーザの発話の意図推定の対象から削除する
前記（１１）に記載の情報処理装置。
（１３）
検出した前記発話の区切りごとに出力されるフィードバック情報を生成する生成部をさらに備える
前記（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
前記フィードバック情報は、音声、効果音、又は画像を含む
前記（１３）に記載の情報処理装置。
（１５）
前記検出部は、前記音声データの認識の結果に基づいて、前記ユーザの発話の間の時間が一定の時間を超えたとき、前記ユーザの発話に含まれるイントネーション句の境界を検出したとき、又は前記ユーザの発話に含まれる言いよどみ若しくはフィラーを検出したとき、前記発話の区切りを検出する
前記（２）又は（３）に記載の情報処理装置。
（１６）
前記検出部は、前記画像データの認識の結果に基づいて、前記ユーザの口が動いていない時間が一定の時間を超えたとき、又は前記ユーザの視線の動きが大きいことを検出したとき、前記発話の区切りを検出する
前記（２）又は（３）に記載の情報処理装置。
（１７）
前記検出部は、前記センサデータの認識の結果に基づいて、前記ユーザの息継ぎを検出したとき、又は前記ユーザの身体の全体若しくは一部の動きを検出したとき、前記発話の区切りを検出する
前記（２）又は（３）に記載の情報処理装置。
（１８）
前記ユーザの発話の意図推定の結果に基づいて、タスクを実行するタスク実行部をさらに備える
前記（１）乃至（１７）のいずれかに記載の情報処理装置。
（１９）
前記ユーザの発話から前記発話文を得るための音声認識（ASR）を行う音声認識部と、
前記発話の区切りごとに逐次得られる前記分割発話文の意味解析（NLU）を行う意味解析部と
をさらに備える前記（１）乃至（１８）のいずれかに記載の情報処理装置。
（２０）
情報処理装置の情報処理方法において、
前記情報処理装置が、
ユーザの発話中に得られる認識の結果に基づいて、前記ユーザの発話の区切りを検出し、
検出した前記発話の区切りごとに発話文を分割して得られる分割発話文の意味解析の結果に基づいて、前記ユーザの発話の意図を推定する
情報処理方法。
【符号の説明】
【０２８１】
１  音声対話システム，  １０  端末装置，  ２０  サーバ，  ３０  インターネット，  １０１  音声入力部，  １０２  画像入力部，  １０３  センサ部，  １０４  音声認識部，  １０５  画像認識部，  １０６  センサ認識部，  １０７  発話区切り検出部，  １０８  意味解析部，  １０９  複数意図推定部，  １１０  タスク実行部，  １１１  効果音再生部，  １１２  音声合成処理部，  １１３  出力画像処理部，  １１４  音声出力部，  １１５  画像出力部，  １１６  記憶部，  １０００  コンピュータ，  １００１  CPU
【図１】
2019087811.tif 000003
【図２】
2019087811.tif 000004
【図３】
2019087811.tif 000005
【図４】
2019087811.tif 000006
【図５】
2019087811.tif 000007
【図６】
2019087811.tif 000008
【図７】
2019087811.tif 000009
【図８】
2019087811.tif 000010
【図９】
2019087811.tif 000011
【図１０】
2019087811.tif 000012
【図１１】
2019087811.tif 000013
【図１２】
2019087811.tif 000014
【図１３】
2019087811.tif 000015
【国際調査報告】
2019087811.tif 000016
2019087811.tif 000017
2019087811.tif 000018
2019087811.tif 000019