(57)【要約】【課題】  知能型対話処理装置を開示すること。【解決手段】  一実施例に係る知能型対話処理装置は使用者に対して個人化されたデータベース（ＤＢ）に基づいて使用者の個人語を使用して使用者の発話した基本音声の理解を遂行するように構成された一つ以上のプロセッサ中の音声理解処理部および音声理解処理部によって基本音声から理解されない単位表現を選択して抽出し、抽出された単位表現が明確となるように抽出された単位表現に関連された使用者に対して明確化質疑を提供する一つ以上のプロセッサ中の追加質疑処理部を含むことができる。【選択図】      図１
2017058673.tif 000002
【特許請求の範囲】
【請求項１】
知能型対話処理装置において、
使用者に対して個人化されたデータベース（ＤＢ）に基づき、前記使用者の個人語を使用して前記使用者の発話された基本音声の理解を遂行するように構成された一つ以上のプロセッサ中の音声理解部、および
前記音声理解部によって基本音声から理解されない単位表現を選択して抽出し、前記抽出された単位表現が明確となるように前記使用者に対して抽出された単位表現に関連された明確化質疑を提供する一つ以上のプロセッサ中の追加質疑処理部、
を含む、対話処理装置。
【請求項２】
前記音声理解部は、
個人化されたＤＢを使用して前記基本音声を構成する一つ以上の単位表現それぞれに対して信頼度を算出する信頼度算出部を含み、
前記算出された信頼度に基づいて前記使用者の個人語を使用して基本発話の理解を遂行する、
請求項１に記載の対話処理装置。
【請求項３】
前記明確化質疑を提供することは、前記基本音声で抽出された単位表現の状況（ｃｏｎｔｅｘｔ）および／または前記抽出された単位表現に対して、潜在的に関連された用語に関する前記個人化されたＤＢを分析し、前記分析の結果に基づいて状況化された（ｃｏｎｔｅｘｔｕａｌｉｚｅｄ）明確化質疑を生成する、
請求項１または２に記載の対話処理装置。
【請求項４】
前記個人化されたＤＢは、
複数の使用者の共通発話表現を保存する共通ＤＢ、前記使用者の個人語で多様な表現を保存する個人ＤＢ、および、前記共通発話表現および前記使用者の個人語で表現中の少なくとも一つをオントロジー基盤で保存するオントロジーＤＢ、のうちの一つ以上を含む、
請求項２に記載の対話処理装置。
【請求項５】
前記信頼度算出部は、
前記共通ＤＢ、前記個人ＤＢ、および、前記オントロジーＤＢの中の少なくとも二つのＤＢから理解の結果に互いに異なる加重値を付与し、前記互いに異なる加重値が付与された理解の結果を使用して前記信頼度を算出する、
請求項４に記載の対話処理装置。
【請求項６】
前記追加質疑処理部は、
前記抽出された単位表現および明確化質疑テンプレートのうちの少なくとも一つに基づいて前記明確化質疑を生成する追加質疑生成部、を含む、請求項１に記載の対話処理装置。
【請求項７】
前記追加質疑処理部は、
前記抽出された単位表現に関するカテゴリーを決定するカテゴリー決定部、および、
質疑テンプレートＤＢから前記決定されたカテゴリーに対応する前記質疑テンプレートを抽出するテンプレート抽出部、
をさらに含む、請求項６に記載の対話処理装置。
【請求項８】
前記追加質疑処理部は、
前記基本音声のオーディオから前記抽出された単位表現に対応する前記使用者の音声のオーディオを抽出する音声抽出部、をさらに含み、
前記追加質疑生成部は、
前記抽出された使用者の音声オーディオと前記生成された明確化質疑テンプレートの音声をミキシングして追加質疑を生成する、
請求項６または７に記載の対話処理装置。
【請求項９】
前記追加質疑処理部は、
前記使用者に提供された明確化質疑の出力に対して前記使用者から明確化音声が入力されると、入力された明確化音声を解釈する明確化音声解釈部、および、
前記明確化音声の解釈の結果に基づいて前記明確化音声から前記抽出された単位表現に対する正解表現を抽出する正解抽出部、
をさらに含む、請求項１に記載の対話処理装置。
【請求項１０】
前記追加質疑処理部は、
使用者に前記抽出された正解表現に対する確認質疑を遂行する正解確認部、および、
前記確認質疑に対する使用者の確認返答により前記個人化されたＤＢを更新する正解個人化部、
をさらに含む、請求項９に記載の対話処理装置。
【請求項１１】
前記使用者の入力発話が前記基本音声であるかまたは前記明確化音声であるかを判断する音声判断部、
をさらに含む、請求項９または１０に記載の対話処理装置。
【請求項１２】
前記一つ以上のプロセッサは音声認識部によって獲得された前記使用者の発話を受信し、前記受信された発話の認識を遂行し、音声理解処理部に前記認識の結果を提供し、前記提供された結果に基づいて前記理解を遂行する、
請求項１に記載の対話処理装置。
【請求項１３】
自然言語音声で前記使用者に明確化質疑を提供する一つ以上のプロセッサ中の応答処理部、
をさらに含む、請求項１２に記載の対話処理装置。
【請求項１４】
知能型対話処理方法において、
使用者に対して個人化されたＤＢに基づいて前記使用者の個人語を使用して前記使用者の発話した基本音声の自動化された理解を遂行する段階、
前記理解の結果に基づいて基本発話から理解されない単位表現を選択して抽出する段階、および、
前記抽出された単位表現が明確となるように前記使用者に対して前記抽出された単位表現に関連された明確化質疑を自動化されたプロセスを通じて提供する段階、
を含む、対話処理方法。
【請求項１５】
前記発話した基本音声を理解する段階は、
個人化されたＤＢに基づいて前記基本発話を構成する一つ以上の単位表現それぞれに対して信頼度を算出する段階、および
前記算出された信頼度に基づいて前記使用者の個人語を使用して前記基本発話の理解を遂行する段階、
を含む、請求項１４に記載の対話処理方法。
【請求項１６】
前記個人化されたＤＢは、
複数の使用者の共通発話表現を保存する共通ＤＢ、前記使用者の個人語で多様な表現を保存する個人ＤＢ、および、前記共通発話表現および前記使用者の個人語で表現中の少なくとも一つをオントロジー基盤で保存するオントロジーＤＢ、のうちの一つ以上を含む、
請求項１５に記載の対話処理方法。
【請求項１７】
前記明確化質疑を提供する段階は、
前記抽出された単位表現および明確化質疑テンプレートのうちの少なくとも一つに基づいて前記使用者の出力に対する明確化質疑を生成する段階を含む、
請求項１４に記載の対話処理方法。
【請求項１８】
前記明確化質疑を提供する段階は、
前記抽出された単位表現に関するカテゴリーを決定する段階、および、
質疑テンプレートＤＢから前記決定されたカテゴリーに対応する前記質疑テンプレートを抽出する段階、
をさらに含む、請求項１７に記載の対話処理方法。
【請求項１９】
前記明確化質疑を提供する段階は、
前記基本音声のオーディオから前記抽出された単位表現に対応する前記使用者の音声のオーディオを抽出する段階、をさらに含み、
追加質疑を生成する段階は、
前記抽出された使用者の音声オーディオと前記生成された明確化質疑テンプレートの音声をミキシングして前記追加質疑を生成し、前記生成された明確化質疑を出力する、
請求項１７または１８に記載の対話処理方法。
【請求項２０】
前記明確化質疑を提供する段階は、
前記使用者に提供された明確化質疑の出力に対して前記使用者から明確化音声が入力されると、入力された明確化音声を解釈する段階、および
前記明確化音声の前記解釈の結果に基づいて前記明確化音声から前記抽出された単位表現に対する正解表現を抽出する段階、
を含む、請求項１４に記載の対話処理方法。
【請求項２１】
前記明確化質疑を提供する段階は、
前記抽出された正解表現に対する確認質疑を生成する段階、
前記生成された確認質疑を使用者に提示する段階、および、
前記確認質疑に対する使用者の確認返答により前記個人化されたＤＢを更新する段階、
をさらに含む、請求項２０に記載の対話処理方法。
【請求項２２】
前記使用者の入力発話が前記基本音声であるか、または、明確化音声であるか判断する段階、
をさらに含む、請求項２０または２１に記載の対話処理方法。
【請求項２３】
前記発話した基本音声の理解を遂行する段階は、
前記発話した基本音声をキャプチャーした遠隔端末から前記発話した基本音声を受信し、
前記明確化質疑を提供する段階は、
前記使用者に前記明確化質疑を出力するように前記明確化質疑を前記遠隔端末に提供する、
請求項１４に記載の対話処理方法。
【請求項２４】
前記受信された発話した基本音声は、
言語モデルおよび音響モデルのうちの少なくとも一つを使用して前記キャプチャーされた基本音声を認識する前記遠隔端末の認識処理部によって認識されるテキスト形態である、
請求項２３に記載の対話処理方法。
【請求項２５】
音声入力部によってキャプチャーされた前記使用者の発話を受信する段階、
前記受信された発話で前記認識の結果を使用して前記理解を遂行することを含む認識を遂行する段階、および、
前記発話に対する応答として、前記使用者に自然言語音声で明確化質疑を出力する段階、
をさらに含む、請求項１４に記載の対話処理方法。
【請求項２６】
使用者から初期発話を受信し、前記受信された初期発話の認識を遂行する、一つ以上のプロセッサ中の音声認識部、
前記認識の結果および前記使用者の個人化されたＤＢに基づいて、前記使用者の個人語を使用して前記認識された初期発話の理解を遂行し、前記認識された初期発話の理解で理解されない単位表現に関連された明確化質疑を処理し、前記明確化質疑を出力する一つ以上のプロセッサ中の発話処理部、および、
前記初期発話の部分を明確にするための明確化質疑を使用して前記受信された使用者の初期発話に対する自然言語応答を生成して発話処理部に提供する一つ以上のプロセッサ中の応答処理部、
を含む、知能型対話処理システム。
【請求項２７】
前記音声認識部は、
音響モデルおよび言語モデルのうちの一つ以上を利用して前記受信された初期発話を認識し、認識の結果をテキスト形態で発話処理部に提供する、
請求項２６に記載の知能型対話処理システム。
【請求項２８】
前記発話処理部は、
前記単位表現に対するカテゴリーを決定し、前記決定されたカテゴリーに対応する質疑テンプレートを前記単位表現と結合して明確化質疑を生成する、
請求項２６または２７に記載の知能型対話処理システム。
【請求項２９】
前記発話処理部は、
初期発話のオーディオから前記単位表現に対応する使用者の音声のオーディオを抽出し、抽出された使用者の音声と前記生成された質疑テンプレートに対する音声をミキシングして前記明確化質疑を生成する、
請求項２８に記載の知能型対話処理システム。
【請求項３０】
前記発話処理部は、
前記明確化質疑に対する明確化発話が受信されると、前記明確化発話から前記単位表現に対する正解を抽出し、前記抽出された正解および前記初期発話の理解の結果に基づいて最終理解の結果を提供する、
請求項２８に記載の知能型対話処理システム。
【請求項３１】
前記応答処理部は、
前記初期発話の理解の結果に基づいて前記個人化されたＤＢから候補応答を抽出し、抽出された候補応答を利用して自然言語形態の質疑を生成し、生成された質疑を自然言語音声に変換して使用者に提供する、
請求項２６に記載の知能型対話処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、使用者発話を処理する知能型対話管理装置および方法に関する。
【背景技術】
【０００２】
一般の自動化された音声基盤の対話エージェントにおいて、エージェントの技術能力を通した自然言語理解の水準は全体的なエージェントの相互作用性能に多いに寄与する。自然言語の自動化された理解は発話の自由度と音声認識エラーに対する敏感度などの原因によりチャレンジングな技術分野に該当する。音声基盤の対話エージェントにおける個人化は、最終質問または発話者の命令の理解のための初期化段階を遂行するか、発話者の保存された質問または命令に対応する使用者情報を通じて使用者の質疑の理解と意図把握に主に使用され得る。一般的に、使用者が特定語彙を使用する場合には、使用者が発音記号などを登録して保存することができる。エージェントは音声認識過程または文字言語で聴覚的な言語の対話で言語モデルが保存された情報を辞書に活用する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
このような一般的な自動化された音声認識過程では新しい語彙に対する音韻論的情報が処理されてよく、例えば、認識動作で用いられ得る音響モデルだけがアップデートされ得る。また、一般的な音声認識処理は音声区分の一部が認識されない時、使用者が言語モデルによって生成された単語に潜在的に対応する表示されたリストから選択しなければならないコンピュータ技術の弱点のせいで、単語の頻度に基づいてモデルを一緒に使用するか話者は全体音声構文を繰り返す必要があり、全体音声構文で同じ部分が依然として認識されないと認識不可と決定することがある。
【０００４】
したがって、音声基盤の知能型対話は音声認識に対する作動不能、不正確さおよび不充分な自動化されたエージェントおよび質疑または使用者の音声命令が認識されないようなコンピュータまたはプロセッサの問題点が存在する。
【課題を解決するための手段】
【０００５】
一様態によれば、知能型対話処理装置は使用者に対して個人化されたデータベース（ＤＢ）に基づいて使用者の個人語を使用して使用者の発話した基本音声の理解を遂行するように構成された一つ以上のプロセッサ中の音声理解部および音声理解部によって基本音声から理解されない単位表現を選択して抽出し、抽出された単位表現が明確となるように抽出された単位表現に関連された使用者に対して明確化質疑を提供する一つ以上のプロセッサ中の追加質疑処理部を含むことができる。
【０００６】
音声理解部は、個人化されたＤＢを使用して基本音声を構成する一つ以上の単位表現それぞれに対して信頼度を算出する信頼度算出部を含み、算出された信頼度に基づいて使用者の個人語を使用して基本発話の理解を遂行することができる。
【０００７】
ここで、明確化質疑を提供することは、基本音声で抽出された単位表現の状況（ｃｏｎｔｅｘｔ）および／または抽出された単位表現に対して潜在的に関連された用語に関する個人化されたＤＢを分析し、分析結果に基づいて状況化された（ｃｏｎｔｅｘｔｕａｌｉｚｅｄ）明確化質疑を生成することができる。
【０００８】
個人化されたＤＢは、複数の使用者の共通発話表現を保存する共通ＤＢ、使用者の個人語で多様な表現を保存する個人ＤＢ、および、共通発話表現および使用者の個人語で表現中の少なくとも一つをオントロジー基盤で保存するオントロジーＤＢ、のうちの一つ以上を含むことができる。
【０００９】
信頼度算出部は、共通ＤＢ、個人ＤＢ、および、オントロジーＤＢ中の少なくとも二つのＤＢから理解結果に互いに異なる加重値を付与し、互いに異なる加重値が付与された理解結果を使用して信頼度を算出することができる。
【００１０】
追加質疑処理部は、抽出された単位表現および明確化質疑テンプレートのうちの少なくとも一つに基づいて明確化質疑を生成する追加質疑生成部を含むことができる。
【００１１】
追加質疑処理部は。抽出された単位表現に関するカテゴリーを決定するカテゴリー決定部および質疑テンプレートＤＢから決定されたカテゴリーに対応する質疑テンプレートを抽出するテンプレート抽出部をさらに含むことができる。
【００１２】
追加質疑処理部は、基本音声のオーディオから抽出された単位表現に対応する使用者の音声のオーディオを抽出する音声抽出部をさらに含み、追加質疑生成部は抽出された使用者の音声オーディオと生成された明確化質疑テンプレートの音声をミキシングして追加質疑を生成することができる。
【００１３】
追加質疑処理部は、使用者に提供された明確化質疑の出力に対して使用者から明確化音声が入力されると、入力された明確化音声を解釈する明確化音声解釈部、および、明確化音声の解釈結果に基づいて明確化音声から抽出された単位表現に対する正解表現を抽出する正解抽出部、をさらに含むことができる。
【００１４】
追加質疑処理部は、使用者に抽出された正解表現に対する確認質疑を遂行する正解確認部、および、確認質疑に対する使用者の確認返答により個人化されたＤＢを更新する正解個人化部、をさらに含むことができる。
【００１５】
使用者の入力発話が基本音声であるかまたは明確化音声であるかを判断する音声判断部、をさらに含むことができる。
【００１６】
一つ以上のプロセッサは、音声認識部によって獲得された使用者の発話を受信し、受信された発話の認識を遂行し、音声理解処理部に認識結果を提供し、提供された結果に基づいて理解を遂行することができる。
【００１７】
自然言語音声で使用者に明確化質疑を提供する一つ以上のプロセッサ中の応答処理部。をさらに含むことができる。
【００１８】
一様態によれば、知能型対話処理方法は、使用者に対して個人化されたＤＢに基づいて使用者の個人語を使用して使用者の発話した基本音声の自動化された理解を遂行する段階理解結果に基づいて基本発話から理解されない単位表現を選択して抽出する段階、および、抽出された単位表現が明確となるように抽出された単位表現に関連された使用者に対して明確化質疑を自動化されたプロセスを通じて提供する段階、を含むことができる。
【００１９】
ここで発話した基本音声を理解する段階は、個人化されたＤＢに基づいて基本発話を構成する一つ以上の単位表現それぞれに対して信頼度を算出する段階、および、算出された信頼度に基づいて使用者の個人語を使用して基本発話の理解を遂行する段階、を含むことができる。
【００２０】
個人化されたＤＢは、複数の使用者の共通発話表現を保存する共通ＤＢ、使用者の個人語で多様な表現を保存する個人ＤＢ、および、共通発話表現および使用者の個人語で表現中の少なくとも一つをオントロジー基盤で保存するオントロジーＤＢ、のうちの一つ以上を含むことができる。
【００２１】
明確化質疑を提供する段階は、抽出された単位表現および明確化質疑テンプレートのうちの少なくとも一つに基づいて使用者の出力に対する明確化質疑を生成する段階、を含むことができる。
【００２２】
明確化質疑を提供する段階は、抽出された単位表現に関するカテゴリーを決定する段階および質疑テンプレートＤＢから決定されたカテゴリーに対応する質疑テンプレートを抽出する段階、をさらに含むことができる。
【００２３】
明確化質疑を提供する段階は、基本音声のオーディオから抽出された単位表現に対応する使用者の音声のオーディオを抽出する段階、をさらに含み、追加質疑を生成する段階は、抽出された使用者の音声オーディオと生成された明確化質疑テンプレートの音声をミキシングして追加質疑を生成し、生成された明確化質疑を出力することができる。
【００２４】
明確化質疑を提供する段階は、使用者に提供された明確化質疑の出力に対して使用者から明確化音声が入力されると、入力された明確化音声を解釈する段階、および、明確化音声の解釈結果に基づいて明確化音声から抽出された単位表現に対する正解表現を抽出する段階、を含むことができる。
【００２５】
明確化質疑を提供する段階は、抽出された正解表現に対する確認質疑を生成する段階、生成された確認質疑を使用者に提示する段階、および、確認質疑に対する使用者の確認返答により個人化されたＤＢを更新する段階、をさらに含むことができる。
【００２６】
使用者の入力発話が基本音声であるかまたは明確化音声であるかを判断する段階、をさらに含むことができる。
【００２７】
発話した基本音声の理解を遂行する段階は、発話した基本音声をキャプチャーした遠隔端末から発話した基本音声を受信し、明確化質疑を提供する段階は、使用者に明確化質疑を出力するように明確化質疑を遠隔端末に提供することができる。
【００２８】
受信された発話した基本音声は、言語モデルおよび音響モデルのうちの少なくとも一つを使用してキャプチャーされた基本音声を認識する遠隔端末の認識処理部によって認識されるテキスト形態であり得る。
【００２９】
音声入力部によってキャプチャーされた使用者の発話を受信する段階、受信された発話で認識結果を使用して理解を遂行することを含む認識を遂行する段階、および、発話に対する応答として、使用者に自然言語音声で明確化質疑を出力する段階、をさらに含むことができる。
【００３０】
一様態によれば、知能型対話処理システムは、使用者から初期発話を受信し、受信された初期発話の認識を遂行する、一つ以上のプロセッサ中の音声認識部、認識結果および使用者の個人化されたＤＢに基づいて、使用者の個人語を使用して認識された初期発話の理解を遂行し、認識された初期発話の理解で理解されない単位表現に関連された明確化質疑を処理し、明確化質疑を出力する一つ以上のプロセッサ中の発話処理部および初期発話の部分を明確にするための明確化質疑を使用して受信された使用者の初期発話に対する自然言語応答を生成して発話処理部に提供する一つ以上のプロセッサ中の応答処理部、を含むことができる。
【００３１】
音声認識部は、音響モデルおよび言語モデルのうちの一つ以上を利用して受信された初期発話を認識し、認識結果をテキスト形態で発話処理部に提供することができる。
【００３２】
発話処理部は、単位表現に対するカテゴリーを決定し、決定されたカテゴリーに対応する質疑テンプレートを単位表現と結合して明確化質疑を生成することができる。
【００３３】
発話処理部は、初期発話のオーディオから単位表現に対応する使用者の音声のオーディオを抽出し、抽出された使用者の音声と生成された質疑テンプレートに対する音声をミキシングして明確化質疑を生成することができる。
【００３４】
発話処理部は、明確化質疑に対する明確化発話が受信されると、明確化発話から単位表現に対する正解を抽出し、抽出された正解および初期発話の理解結果に基づいて最終理解結果を提供することができる。
【００３５】
応答処理部は、初期発話の理解結果に基づいて個人化されたＤＢから候補応答を抽出し、抽出された候補応答を利用して自然言語形態の質問を生成し、生成された質問を自然言語音声に変換して使用者に提供することができる。
【図面の簡単な説明】
【００３６】
【図１】一実施例に係る発話処理装置のブロック図である。
【図２】図１の音声理解部１２０の一実施例を図示したブロック図である。
【図３ａ】図１の追加質疑処理部１３０の一実施例を図示したブロック図である。
【図３ｂ】図１の追加質疑処理部１３０の一実施例を図示したブロック図である。
【図３ｃ】図１の追加質疑処理部１３０の一実施例を図示したブロック図である。
【図４ａ】図１の追加質疑処理部１３０の他の実施例を図示したブロック図である。
【図４ｂ】図１の追加質疑処理部１３０の他の実施例を図示したブロック図である。
【図５】一実施例に係る発話処理方法のフローチャートである。
【図６】他の実施例に係る発話処理方法のフローチャートである。
【図７】図６の追加質疑遂行段階６７０の一実施例である。
【図８】図６の追加質疑遂行段階６７０の他の実施例である。
【図９】図６の追加音声処理段階６８０の一実施例である。
【図１０】一実施例に係る対話管理装置のブロック図である。
【図１１】一実施例に係るエージェント端末のブロック図である。
【図１２】一実施例に係る音声対話管理システムのブロック図である。
【発明を実施するための形態】
【００３７】
その他の実施例の具体的な事項は、詳細な説明および図面に含まれている。記載された技術の利点および特徴、そして、それらを達成する方法は、図面とともに詳細に後述されている実施例を参照すれば明確となるであろう。明細書の全体にわたって同一参照符号は、同一構成要素を指し示す。
【００３８】
以下、使用者の発話処理装置および方法と音声対話管理装置の実施例を図面を参照して詳細に説明する。
【００３９】
図１は一実施例に係る発話処理装置のブロック図である。
【００４０】
一実施例に係る発話処理装置１００は音声基盤の対話エージェント（Ｖｏｉｃｅ  Ａｇｅｎｔ）が適用される電子機器、例えば、スマートフォン、タブレットＰＣ、デスクトップＰＣ、ノートパソコンＰＣ、ヘルスケア機器、知能型ロボット、ウェアラブル機器などに搭載され得る。このとき、発話処理装置１００はハードウェアおよび一つ以上のプロセッサ、コンピュータまたは他のプロセッシングハードウェアのような一つ以上の処理装置によって具現され得る。電子機器は、下記においてさらに説明するように、電子機器の性能および追加動作をさらに支援するためのハードウェア要素をさらに含むことができる。また、ここで、知能型対話エージェント（または「エージェント」）は、使用者とエージェント間の知能型対話インタラクションのように音声情報の理解、および／または、認識を遂行する処理装置ハードウェアまたはコンピュータであり得る。
【００４１】
図１を参照すれば、発話処理装置１００は、音声判断部１１０、音声理解部１２０、追加質疑処理部１３０、および、個人化されたＤＢ１４０を含むことができる。ここで、音声判断部１１０、音声理解部１２０、追加質疑処理部１３０、および、個人化されたＤＢ１４０は、一つ以上のプロセッサまたは他のハードウェアプロセッシング装置の組合せとなり得る。他の実施例によれば、音声判断部１１０、音声理解部１２０、追加質疑処理部１３０、および、個人化されたＤＢ１４０は、発話処理装置１００のメモリーのような非揮発性保存媒体に保存された命令語に従うように動作を遂行する一つ以上のプロセッサによって具現されてもよい。ここで、個人化されたＤＢ１４０は、二つ以上の互いに異なるデータベースに保存された個人化された情報であり得る。例えば、個人化されたＤＢ１４０は、個人化されたＤＢ１４０を含む一部分およびこのような命令語を含む他の部分に区分されたメモリーであってよく、個人化されたＤＢ１４０はこのような命令語を保存する発話処理装置１００のメモリーに追加してさらに他のメモリーであり得る。
【００４２】
音声判断部１１０は使用者の発話が受信または入力されると、入力された使用者の発話が応答を要求する発話（以下、「基本音声」という）であるか（例えば、命令、要請または発話処理装置１００により以前の初期質疑に対する応答であるか、など）、それとも、発話処理装置１００により使用者に追加に質疑した事項に対する返答に関連された発話（以下、「追加発話」という）であるかの可否を判断することができる。このとき、使用者の発話は発話処理装置１００が搭載された機器で遂行され得る文字メッセージ生成および伝送、電話をかける、ウェブブラウザの実行およびブラウジング、住所録管理、アプリケーションの実行などの多様な機能を遂行する命令と関連付けされ得る。例えば、基本音性は、命令または発話処理装置１００による質疑に対する応答ではない要請または使用者の以前の基本音声をより明確にするための発話処理装置１００からの質問応答、要請または命令となり得る。例えば、基本音声の応答は、使用者のカレンダーにある約束を追加するための発話処理装置１００による質疑および応答となり得る。例えば、質疑は、使用者による以前の命令にしたがって、約束に対してユーザーの所望のアラームを設定するための質疑であり得る。しかし、万一、発話処理装置１００により基本音声の一部分が理解されないか、このような基本音声が誤って理解され得る可能性が十分にあり、発話処理装置１００は、基本音声の部分に関して使用者に追加質疑を適切に選択決定して提供することができる。使用者は、追加質疑に対して追加音声で応答することができる。追加質疑は、使用者に全体基本音声を再要請したり基本音声の他の表現を要請したり、追加質疑は、音声の重要部分に特に関連する部分を再要請したり理解されないか、明確化が必要な基本音性の一部分に関する明瞭な情報を要請することができる。
【００４３】
一例として、基本音声および追加音声間の区別のために音声判断部１１０は使用者に追加質疑が遂行された後、所定時間（例：５秒）以内に使用者から入力される発話を追加発話と判断し、音声エージェントが実行された後、追加質疑が遂行される前または追加質疑が遂行された後、所定時間後に入力される使用者の発話を基本発話と判断することができる。このとき、使用者は使用者の発話が基本音声であるか、または、追加音声であるかを判断するための所定時間を適切に設定して修正することができる。所定時間の調整には他の要素が考慮されてよく、環境、対話、状況、脈絡のような要素が考慮され得るが、これに制限されない。
【００４４】
他の例として、音声判断部１１０は、追加質疑後所定時間以内に使用者の発話音声に対する音声認識結果が受信される場合、その音声認識結果を分析して追加質疑と関連されたキーワードが検出される場合に使用者の発話を追加発話と判断することができる。例えば、追加質疑が「ホンチェギムは誰ですか？」であり、使用者の発話が「ホンチェギムはホンギルトンです。」である場合、音声判断部１１０は、使用者の発話で追加質疑に使用された「ホンチェギム」が検出されるので、使用者の発話を追加発話であると判断することができる。万一、使用者発話がこのようなキーワードを含んでいないか、追加質疑に対応されないと判断されると、音声判断部１１０は使用者の発話を基本音声に決定することができる。
【００４５】
ただし、使用者の発話が基本音声であるか、追加音声であるかを判断する実施例は例示に限定されず、必要に応じて多様に設定され得る。
【００４６】
音声理解部１２０は、音声判断部１１０が使用者から入力された発話を基本発話であると判断すると、個人ＤＢ１４０に基づいて基本発話を解釈（例えば、基本音声の文字形態翻訳を分析することによって）して個人化されたＤＢ１４０に基づいて使用者の個人語と関連された基本音声の理解を遂行することができる。このとき、音声理解部１２０は、基本発話を構成する特定単位表現、多くの単位表現が個人化されたＤＢ１４０に存在しない場合のように、基本発話全体が理解されないと使用者発話の特定単位表現に対する追加質疑が必要であると判断することができる。
【００４７】
追加質疑処理部１３０は、音声理解部１２０に追加質疑が必要であると判断する場合、使用者の基本発話から個人化された発話表現で理解されない単位表現を抽出し、抽出された単位表現に関連された追加質疑を処理することができる。
【００４８】
例えば、使用者が「ホンチェギムに電話しなさい」と基本発話を入力した時、音声理解部１２０は、個人ＤＢ１４０に基づいて「ホンチェギム」が実際に「ホンギルトン」と判断して、使用者の基本発話を「ホンギルトンに電話しなさい」と理解することができる。例えば、音声理解部１２０は個人化されたＤＢ１４０を使用して「ホン」に対する個人化されたＤＢ１４０に適切な形態の質疑を生成することができ、個人化されたＤＢ１４０は。音声理解部１２０に「ホンギルトン」の結果を帰還（ｆｅｅｄｂａｃｋ）することができる。しかし、音声理解部１２０は「ホンチェギム」または「ホン」が個人ＤＢ１４０に存在せず、「ホンチェギム」が誰であるか理解できない場合、「ホンチェギム」に関する追加質疑が必要であると判断することができる。
【００４９】
このとき、追加質疑処理部１３０は、使用者の基本発話を構成する単位表現である「ホンチェギム」、「電話しなさい」の中で理解されない「ホンチェギム」を追加質疑が必要な単位表現として抽出することができる。また、抽出された単位表現「ホンチェギム」に基づいて追加質疑を生成し、生成された追加質疑を使用者に提示したり聴覚的に出力することができる。追加質疑処理部１３０は、単位表現の理解に基づいて追加質疑をさらに生成することができる。例えば、生成された追加質疑は理解されない単位表現により適切であり得る。
【００５０】
また、追加質疑処理部１３０は、このように使用者に提示された追加質疑に対して使用者が追加発話を入力するか提供すると、入力された追加発話を処理して理解されない基本音声の単位表現を理解し、以後、その使用者との音声対話で活用され得るように追加質疑処理結果を個人ＤＢ１４０に更新して個人化処理をすることができる。例えば、使用者が次回に「ホンチェギム」を言及すれば、音声処理部１２０は、この単位表現を理解することができる。また、音声理解部１２０は、使用者の本来の基本音声を直ちに完全に理解することができ、電子機器を制御して「ホンギルトン」に通話を試みる動作を開始することができる。図２は、図１の音声理解部１２０の一実施例を図示したブロック図である。
【００５１】
図１および図２を参照して音声理解部１２０および図２の個人化されたＤＢ１４０の一実施例を説明し、図２の個人化されたＤＢ１４０は、図１の個人化されたＤＢ１４０に対応することができる。図２に図示された通り、音声理解部２００は音声解釈部２１０、信頼度算出部２２０および結果帰還部２３０を含むことができる。
【００５２】
音声解釈部２１０は、使用者の基本発話を解釈する。このとき、使用者の基本発話は音声認識を通じてテキスト形態に変換されて入力され得る。例えば、認識は、音響モデル（例えば、音声学または発音）および言語モデル（例えば、単語または語句の連結性）の組合せ、または、これらの利用を通した多様な音声認識方法を含むことができるが、これに制限されない。また、このようなモデルは聴覚的音声入力に対する最も適切な認識を示し、認識単語または潜在的な音声のスコアまたは確率をそれぞれ示すことができる。音声解釈部２１０は、テキスト形態の基本発話を各文章の文法的な構成および／または構文を分析するパーシング（ｐａｒｓｉｎｇ）、個体名認識（Ｎａｍｅｄ  Ｅｎｔｉｔｙ  Ｒｅｃｏｇｎｉｔｉｏｎ、ＮＥＲ）などを通して分析することができる。ただし、これに限定されない。
【００５３】
また、音声解釈部２１０は、このように基本発話の解釈を通じて基本発話を一つ以上の単位表現で分解することができる。このとき、単位表現とは、使用者の発話を所定単位に分離した表現を意味する。このとき、所定単位は単語単位であり得るが、これに限定されず、音素、音節、構文、文章などの多様な単位にあらかじめ設定され得る。例えば、使用者の基本発話が「ホンチェギムに電話しなさい」である時、音声解釈部２１０は、「ホンチェギム」、「に」、「電話しなさい」のように、３つの単位表現に分解することができる。
【００５４】
信頼度算出部２２０は、音声解釈部２１０により分解された各単位表現に対する信頼度を算出することができる。このとき、信頼度算出部２２０は、構文分析／意味分析パーシングや自然言語処理（ｎａｔｕｒａｌ  ｌａｎｇｕａｇｅ  ｐｒｏｃｅｓｓｉｎｇ）で活用されるワードエンベッディング（ｗｏｒｄ  ｅｍｂｅｄｄｉｎｇ）などの技法を活用して各単位表現の信頼度を算出することができる。
【００５５】
信頼度算出部２２０は、音声認識結果算出された言語モデル点数、個人ＤＢ１４０などを利用して各単位表現に対する信頼度を算出することができる。ここで、信頼度算出部２２０は、音声認識動作および個人化されたＤＢ１４０から獲得された一つ以上の音響モデル点数を使用して各単位表現の信頼度を算出することができる。このとき、個人ＤＢ１４０は、図示された通り、共通ＤＢ１４１、個人ＤＢ１４２、および、オントロジーＤＢ１４３の中の少なくとも一つを含むことができる。ここで、共通ＤＢ１４１は、複数の使用者の共通発話表現を保存し、個人ＤＢ１４２は、使用者別に個人化された発話表現を保存することができる。個人ＤＢ１４２は発話処理装置１００が搭載された機器で管理する使用者の住所録、電話帳、その機器に設置されているアプリケーションリストなどが該当され得るがこれに制限されない。また、オントロジーＤＢ１４３は、このような多様な発話表現をオントロジー形態で保存することができる。共通ＤＢ１４１、個人ＤＢ１４２、および、オントロジーＤＢ１４３、それぞれは一つ以上の使用可能なデータベースまたは同一使用者に対する使用可能性がフィルタリングされたデータベースであってよく、このような他のデータベースは発話が生成された、使用者環境、作業環境、位置または時間に基づいて選択的に使用され得る。
【００５６】
一例として、信頼度算出部２２０は、共通ＤＢ１４１、個人ＤＢ１４２、オントロジーＤＢ１４３、の中で同時に二つ以上のＤＢを利用して各単位表現に対する信頼度を算出することができる。このとき、同時に利用される二つ以上のＤＢに互いに異なる加重値を付与して信頼度を算出することができる。または、二つ以上のＤＢに優先順位を設定して、設定された優先順位を利用して信頼度を算出することができる。
【００５７】
例えば、共通ＤＢ１４１と個人ＤＢ１４２を利用する場合、信頼度算出部２２０は、個人ＤＢ１４２の加重値を共通ＤＢ１４１よりも高く付与することによって、使用者別に個人化されている発話表現が共通発話表現よりも高い信頼度を持つようにすることができる。
【００５８】
結果帰還部２３０は、基本発話の各単位表現に対して算出された信頼度をあらかじめ設定された閾値と比較し、その結果により、以後、基本発話に対する応答処理がなされるようにその理解結果を帰還したり、追加質疑処理部１３０が追加質疑を処理するようにすることができる。例えば、基本音声が特定の人に電話をかけることを要請し、基本音声が理解された場合、結果帰還部２３０は、特定の人に電話をかけることを遂行することができ、基本音声がエージェントから情報を要請すれば、結果帰還部２３０は、使用者情報に対する要請に応答することができる。一実施例において、結果帰還部２３０は、使用者に理解した基本音声を帰還することができる（例えば、同じ形態、代案的な語句および基本音声の理解を確認するための要請など）。
【００５９】
このとき、一実施例によれば、結果帰還部２３０は、基本発話を構成するすべての単位表現の信頼度が閾値より高い場合、基本発話が理解されたと判断してその理解結果を帰還することができる。ここで、実施例によれば、結果帰還部２３０は、使用者に理解結果を出力したり、他のハードウェア要素、アプリケーションまたは処理またはアクションをするための装置に結果を提供することができる。他の実施例によれば、信頼度が閾値以下である単位表現が一つ以上存在しても単位表現全体信頼度の統計値（例：平均など）があらかじめ設定された基準値以上の場合には基本発話が理解されたと判断することができる。ただし、これらの多様な基準により追加質疑の必要可否を判断することができる。
【００６０】
例えば、使用者の基本発話の単位表現中で「ホンチェギム」が個人ＤＢ１４２を通じて「ホンギルトン」で確認され、計算された信頼度が閾値より高い場合、結果帰還部２３０は、「ホンギルトンに電話しなさい」のように、その使用者の個人化された表現で理解した結果を自動で帰還することができる。
【００６１】
図３ａ〜図３ｃは、図１の追加質疑処理部１３０の一実施例を図示したブロック図である。図３ａ〜図３ｃの追加質疑処理部は、図１の追加質疑処理部１３０であり得るが、これに制限されない。例えば、図３ａ〜３ｃの追加質疑処理部は、図１および図２の音声理解部１２０、２００に追加質疑が必要であると決定する場合、動作することができる。
【００６２】
図１〜図３ｃを参照して、音声理解部１２０に追加質疑が必要であると判断した場合に追加質疑処理部１３０が遂行する実施例を説明する。
【００６３】
図３ａを参照すれば、一実施例に係る追加質疑処理部３１０は、単位表現抽出部３１１および追加質疑生成部３１２を含むことができる。
【００６４】
単位表現抽出部３１１は、音声理解部１２０が使用者の基本音声に完全または十分な理解のために追加質疑が必要であると判断した場合、使用者の基本発話を構成する単位表現の中で追加質疑が必要な単位表現を抽出することができる（例えば、基本発話の明確化および使用可能なデータベースで基本発話を構成するすべての単位表現を探すことができず、完全な理解ができない時、など）。このとき、音声理解部１２０により使用者の基本発話を構成する各単位表現に対するそれぞれの信頼度が算出されると、算出された信頼度に基づいて追加質疑が必要な単位表現を一つ以上抽出することができる。
【００６５】
単位表現抽出部３１１は、算出された信頼度が閾値以下である単位表現が複数個である場合、このような低い信頼度の単位表現を追加質疑を遂行する単位表現として抽出することができる。使用者の基本音声発話が複雑であるために互いに異なる関連された単位表現に対して多数の追加質疑が要求されると、基本音声のすべての単位表現からそれぞれ多数の追加質疑が誘導され得る。あらかじめ定義された基準によるいずれか一つの単位表現、例えば、信頼度が最も低い単位表現だけを追加質疑が必要な単位表現として抽出することができる。ただし、あらかじめ定義された基準は多様に設定することができ、これに限定されない。
【００６６】
例えば、使用者から「明日３時に友達と場所１で会う日程を登録して」という基本発話が入力された場合、各単位表現の中で「場所１」の表現に対する情報が個人ＤＢ１４０すべてに存在しないか、共通ＤＢ１４１には存在するが個人ＤＢ１４２には存在せず、信頼度が閾値より低い場合、単位表現抽出部３１１は「場所１」の表現を追加質疑を遂行する単位表現として抽出することができる。
【００６７】
追加質疑生成部３１２は、抽出された単位表現に関連された追加質疑を生成することができる。例えば、前記の例において、「場所１」が追加質疑のための単位表現として抽出されると、あらかじめ設定された追加質疑テンプレート、例えば、「何ですか」と結合して、「場所１は何ですか」のように追加質疑を生成することができる。
【００６８】
または「、場所１」に対する発話表現が個人ＤＢ１４２に存在せず信頼度は低く算出されたが、共通ＤＢ１４１に「場所１」に対する発話表現が「シンチョン」と登録されている場合、追加質疑生成部３１２は、追加質疑テンプレート「ですか？」と結合して、「場所１がシンチョンですか？」のような追加質疑を生成することができる。
【００６９】
また、追加質疑生成部３１２は、ＴＴＳ（Ｔｅｘｔ  Ｔｏ  Ｓｐｅｅｃｈ）技術を利用して、テキスト形態で生成された追加質疑文を自然言語形態の音声に変換することができ、使用者に聴覚的に追加質疑を出力することができる。
【００７０】
このように、使用者の基本発話の中で理解していない単位表現を含んで使用者に追加質疑をすることによって、使用者は、自身の発話の中でいずれの部分が理解されていないかを簡単に判断することができ、これによって、使用者は「場所１はイテウォンだよ」のように正確化情報を入力することができる。
【００７１】
これに反し、前述したように典型的な音声エージェントは、コンピューティングまたはプロセッシング技術を通じて具現されてよく、使用者の発話の一部が理解されないと典型的な音声エージェントは「もう一度話してください」のように使用者が基本発話全体を再度話すように要請する。典型的な音声エージェントは、最初の発話を理解せず、ただ使用者の新しい発話に対する後続する完全に違った表現を理解しようと試みる。したがって、使用者は、音声エージェントが自身の発話の中でいずれの部分を理解していないかが分からないため、本来の発話から変えるか再表現されるべき代案的な表現が分からなくなり、誤った情報を入力し続ける不便さが存在する。例えば、典型的な音声エージェントは、本来の発話で、「場所１」の音声を理解できない場合、使用者は「場所１」を識別できる他の表現を知らず、理解できない情報に関連された情報を入力し続ける恐れがある。
【００７２】
図３ｂを参照して、他の実施例に係る追加質疑処理部３２０を説明すると、図示された通り、追加質疑処理部３２０は、単位表現抽出部３２１、追加質疑生成部３２２、カテゴリー決定部３２３、テンプレート抽出部３２４、および、追加質疑テンプレートＤＢ３２５を含むことができる。
【００７３】
カテゴリー決定部３２３は、単位表現抽出部３２１が追加質疑を遂行する単位表現を抽出すると、抽出された単位表現のカテゴリーを決定することができる。このとき、カテゴリー決定部３２３は、使用者の基本発話を構成する周辺の他の単位表現を参照してカテゴリーを決定することができる。
【００７４】
例えば、使用者の基本発話が「明日３時に友達と場所１で会う日程を登録して」であり、追加質疑のために抽出された単位表現が「場所１」である場合、カテゴリー決定部３２３は、他の単位表現、例えば「時間」、「３時」、「会う」、「で」などに基づいて「場所１」が場所であることを予測し、「場所１」のカテゴリーを場所に決定することができる。一例として、カテゴリー決定部３２３は、あらかじめ決定された以前の発話、および、以前および／または以後の明確化を必要とする抽出された表現の数を考慮することができる。
【００７５】
テンプレート抽出部３２４は、カテゴリー決定部３２３によりカテゴリーが決定されると、追加質疑テンプレートＤＢ３３５から決定されたカテゴリーに対応するテンプレートを抽出することができる。
【００７６】
例えば、「場所１」の表現のカテゴリーが場所に決定された場合、追加質疑テンプレートＤＢ３３５から場所に関連されるか対応する追加質疑テンプレート、例えば、「どこですか？」のようなテンプレートを抽出することができる。同様に明確化が必要な抽出された単位表現のカテゴリーが物であれば、テンプレート抽出部３２４により追加質疑テンプレートは、「何ですか？」を抽出することができ、明確化が必要な抽出された単位表現のカテゴリーが人であれば、テンプレート抽出部３２４により「誰ですか」のようなテンプレートが抽出され得る。
【００７７】
追加質疑生成部３２２は、明確化が必要な追加質疑のための単位表現とテンプレートが抽出されると、単位表現とテンプレートを結合して自然言語対話形態の追加質疑文を生成することができる。例えば、抽出された単位表現「場所１」と追加質疑テンプレート「どこですか？」を結合して「場所１はどこですか」のように追加質疑文を生成することができる。追加質疑生成部３２２は、生成されたテキスト形態の追加質疑文を音声信号に変換し、音声エージェントの制御を通じて使用者に聴覚的に出力させることができる。音声エージェントは発話処理装置の自然言語をシミュレーションするか模倣するように特別に構成された分離して処理されるか、他のハードウェア素子であってよく、使用者に対して基本発話の認識を遂行するような機能を遂行する端末または装置であり得る。また、音声エージェントは発話処理装置、端末またはデバイスのスピーカーによって出力のための音声信号を増幅したり生成し、一つ以上の音声認識装置、端末またはデバイスの結合であり得る。
【００７８】
一実施例によれば、追加質疑生成部３２２は、あらかじめ設定された出力される音声の形態と関連された情報を利用して音声信号に変換することができる。このとき、出力される音声の形態と関連された情報は、声の性別（男／女）、年齢層、強度、速度、出力言語、などを含むことができる。音声エージェントはこのような情報を使用して自然言語に対応するように生成することができる。
【００７９】
図３ｃを参照すると、追加質疑処理部３３０は、単位表現抽出部３３１、追加質疑生成部３３２、カテゴリー決定部３３３、テンプレート抽出部３３４、追加質疑テンプレートＤＢ３３５、および、発話音声抽出部３３６を含むことができる。
【００８０】
音声認識機が使用者から入力された発話を認識する時、言語モデルで定義されていない単語の場合には認識できないことがあり、理解動作は、その単語の明確化のために生成された追加質疑の結果であり得る。または、使用者は、自分の発話の中で理解されない部分に対して自分の実際の音声を通じて確認しようとする可能性がある。
【００８１】
単位表現抽出部３３１は、使用者の発話に対する音声認識過程で認識されず、その結果、個人化された発話表現で理解されないか、個人ＤＢ１４０に存在しないため理解されない単位表現を追加質疑のための単位表現として抽出することができる。
【００８２】
カテゴリー決定部３３３は、前述した通り、抽出された単位表現に対するカテゴリーを決定することができ、テンプレート抽出部３３４は、追加質疑テンプレートＤＢ３３５から決定されたカテゴリーに対する追加質疑テンプレートを抽出することができる。このとき、追加質疑テンプレートＤＢ３３５は、追加質疑テンプレートをテキスト形態または音声形態で保存することができる。
【００８３】
発話音声抽出部３３６は、使用者から入力された基本発話から抽出された単位表現に対応する部分の使用者の実際の音声を抽出することができる。
【００８４】
追加質疑生成部３３２は、抽出された追加質疑テンプレートに対する音声と抽出された使用者の実際の音声をミキシングして追加質疑を生成することができる。このとき、抽出されたテンプレートがテキスト形態である場合、追加質疑生成部３３２は、音声信号に変換し、変換されたテンプレート音声と使用者の実際の音声をミキシングすることができる。
【００８５】
ただし、本実施例において、カテゴリー決定部３３３およびテンプレート抽出部３３４の構成は、図３ｃによる追加質疑処理部に含まれないことがある。この場合、追加質疑生成部３３２はあらかじめ定義されたテンプレート音声、例えば「何ですか？」のような簡単な音声信号を利用して追加質疑を生成することができる。
【００８６】
図４ａおよび図４ｂは、図１の追加質疑処理部１３０の他の実施例を図示したブロック図である。図４ａおよび４ｂの追加質疑処理部は、図１の追加質疑処理部１３０に対応され得るが、これは一実施例に過ぎず、これに制限されるものではない。例えば、図４ａおよび図４ｂの追加質疑処理部は、図１、図３ａ〜３ｃの追加質疑処理部で生成されたように、使用者の基本音声による使用者の追加質疑に対応して使用者の追加音声をそれぞれ受信することができる。ここで、図４ａおよび図４ｂの追加質疑処理部は、図３ａ〜図３ｃの追加質疑処理部でそれぞれ構成されるか、これらの結合であってよく、または、一例による発話処理装置は。図４ａおよび４ｂの追加質疑処理部および図３ａ〜図３ｃの追加質疑処理部は別個のものであってよいが、これに制限されない。
【００８７】
図１、図４ａおよび図４ｂを参照して、追加質疑処理部１３０が基本発話に対する追加質疑を遂行した後、使用者から入力された追加発話を処理する実施例を説明する。
【００８８】
図４ａを参照すると、追加質疑処理部４１０は、音声解釈部４１１、正解抽出部４１２、および、結果帰還部４１３、を含むことができる。
【００８９】
音声解釈部４１１は、音声判断部１１０が使用者から入力された発話を追加質疑に対する発話、すなわち、追加発話であると判断すると入力された追加発話を解釈する。
【００９０】
一方、音声判断部１１０および音声解釈部４１１は、これらの機能に基づいて別個で配置されてよく、一実施例により一つの構成からなってよく、この場合、音声判断部１１０による発話判断は、音声解釈部４１１による発話解釈と同時にまたは前後に遂行され得る。
【００９１】
音声解釈部４１１は、構文分析／意味分析パーシング、個体名認識（Ｎａｍｅｄ  Ｅｎｔｉｔｙ  Ｒｅｃｏｇｎｉｔｉｏｎ、ＮＥＲ）技術などを通して使用者の追加発話を解釈し、一つ以上の単位表現に分解することができる。
【００９２】
正解抽出部４１２は、以前の追加質疑およびこれに対応する追加発話の解釈結果を利用して一つ以上の分解された単位表現の中で正解として抽出することができる。例えば、以前の追加質疑が位置または場所に対する質疑である場合、追加発話から位置または場所と関連された単位表現を正解として抽出することができる。または使用者が韓国語のような外国語で話をする場合、正解抽出部４１２は、追加発話から分解された単位表現の中で文章の終結語尾を確認し、終結語尾の手前に位置した単位表現を正解として抽出することができる。
【００９３】
結果帰還部４１３は、使用者の追加発話から追加質疑に対する正解が抽出されると、以前の基本発話に対して明確に理解されない表現が使用者の正解によって明確となった理解結果の他の表現および抽出された正解を利用して、使用者の発話を最終的に理解し、その結果を帰還することができる。
【００９４】
一方、結果帰還部４１３は、使用者の追加発話に正解と思われる単位表現が存在しない場合、あらかじめ設定された政策により以前に生成されている追加質疑を再び使用者に提示して再質疑をするか、対話を初期化して再開始することができる。
【００９５】
図４ｂを参照して、他の実施例の追加質疑処理部４２０を説明する。図示された通り、追加質疑処理部４２０は、音声解釈部４２１、正解抽出部４２２、結果帰還部４２３、正解確認部４２４、および、個人化処理部４２５、を含むことができる。
【００９６】
音声解釈部４２１、正解抽出部４２２、および、結果帰還部４２３は、前述した通り、使用者の追加発話を解釈し、使用者の追加音声の解釈結果に基づいて音声処理装置によって提示された追加質疑に対する正解を抽出し、抽出された正解に基づいて最終理解結果を帰還することができる。
【００９７】
このとき、正解確認部４２４は、正解抽出部４２２により正解が抽出されると、抽出された正解が正確に解釈／理解されたのかを使用者に確認する過程を遂行することができる。例えば、正解確認部４２４は、追加質疑に対する単位表現である「場所１」に対して抽出された正解が「イテウォン」である場合、「場所１がイテウォンですか？」のように確認質疑を生成し、生成された確認質疑を使用者に提示することができる。
【００９８】
また、正解確認部４２４は、使用者から確認質疑に対する確認返答を受信することができる。このとき、使用者は、発話処理装置１００が搭載された機器の物理的ボタン、タッチボタンなどを利用して同意の可否を入力するか、「はい／いいえ」のように音声で入力することができる。または、その他のジェスチャー入力のような多様な方法を利用して同意の可否を確認する返答を入力することができる。
【００９９】
結果確認部４２３は理解された正解に対して使用者が同意した場合に基本音声の発話処理装置の理解に基づいて最終理解結果を帰還（ｆｅｅｄｂａｃｋ）し、そうではない場合には結果確認部４２３は再質疑または対話初期化および再開始などをすることができる。また、追加質疑は、使用者に再提示されるか他のテンプレートを使用して修正され得る。
【０１００】
個人化処理部４２５は、現在の対話を遂行している使用者が新しい使用者であるかまたは登録された使用者であるかを判断することができる。このとき、新しい使用者であると判断されると、使用者に使用者情報を要請し、使用者情報を受信して個人ＤＢ１４２に登録するか、特定使用者に対する新しい個人ＤＢ１４２を生成することによって、その使用者に対する個人化処理をすることができる。
【０１０１】
また、個人化処理部４２５は、現在の使用者から追加質疑に対する正解が確認されると、追加質疑に対する単位表現および正解を利用して個人ＤＢ１４２を更新することによって、その使用者に対する個人化処理をすることができる。したがって、個人化処理部４２５は、使用者の個人ＤＢ１４２を変更するか更新することによって正解を正確に理解して確認することができる。
【０１０２】
このとき、個人化処理部４２５は、追加質疑に対する単位表現、確認された正解などを利用して個人ＤＢ１４２に保存できる形態（例：ｅｎｔｉｔｙ−ｒｅｌａｔｉｏｎ−ｅｎｔｉｔｙのトリプル形態または単語／文章のエンベッディング方法を利用したベクトル形式、など）のエントリ（ｅｎｔｒｙ）を生成し、生成されたエントリを個人ＤＢ１４２に保存することができる。このとき、個人ＤＢ１４２の資料構造形態は多様であり、いずれか一つに限定されない。
【０１０３】
図５は、一実施例に係る発話処理方法のフローチャートである。
【０１０４】
図５を参照すると、発話処理装置１００は、使用者の発話が入力されると個人ＤＢを利用して使用者の基本発話をその使用者に個人化された発話表現で理解することができる５１０。このとき、個人ＤＢは、複数の使用者に対する共通発話表現を保存する共通ＤＢおよび使用者個人別に個人化された発話表現を保存する個人ＤＢを含むことができ、発話処理装置１００は、個人ＤＢに保存されている使用者個人別発話表現を辞書として利用して使用者の発話を個人化された表現で理解することができる。個人化されたＤＢは、オントロジーＤＢを含むことができる。したがって、使用者は自分が所望する特定キーワードや、よく使用する機能に対して別名（ａｌｉａｓ）や短縮命令語、命令語の組合せなどをあらかじめ定義して音声対話に活用することができる。
【０１０５】
その後、使用者の基本発話が理解されないと、基本発話から追加質疑が必要な単位表現を抽出することができる５２０。例えば、音声認識結果、言語モデルに定義されていないために認識されない単位表現や、音声認識はされたが個人ＤＢに存在しないため理解されない単位表現を抽出することができる。
【０１０６】
その後、発話処理装置１００は、明確化のために抽出された単位表現に関連された追加質疑を処理することができる５３０。例えば、抽出された単位表現を含む追加質疑を生成し、使用者の全体基本音声より少ない、生成された追加質疑を音声形態で使用者に提示して、理解されない単位表現に対する返答を要求することができる。または、使用者から追加質疑に対する返答が入力されると、入力された返答から理解されない単位表現に対する正解を抽出し、抽出された正解を利用して使用者の発話を理解することができる。発話処理装置１００は個人化されたＤＢをアップデートすることができ、発話処理装置１００は、使用者の次の基本音声または追加音声を自動で正確に理解することができる。
【０１０７】
その後、発話処理装置１００は、追加質疑処理を通じて使用者の発話が理解されると、以後、使用者に適切な応答を処理することができるように理解結果を帰還することができる５４０。
【０１０８】
図６は、他の実施例に係る発話処理方法のフローチャートである。
【０１０９】
図６は、発話処理装置１００が遂行する発話処理方法の他の実施例であって、発話処理装置１００は、使用者の発話が入力されると６１０、入力された使用者の発話が基本発話であるか、追加質疑に対する返答を入力する追加発話であるかを判断することができる６２０。このとき、追加発話であるかの可否を判断する基準は、多様に設定可能であり、一例として、追加質疑を遂行した後、あらかじめ定義された時間内に入力される発話を追加発話と判断することができる。
【０１１０】
その後、判断結果６２０、使用者の発話が基本発話であれば、個人ＤＢに基づいて使用者の基本発話を解釈することができる６３０。例えば、個人化されたＤＢは一つ以上の個人ＤＢ、共通ＢＤおよびオントロジーＤＢの組合せを含むデータベースであり得る。このとき、使用者の発話解釈は、構文分析／意味分析パーシング技法や、個体名認識技法などの多様な技法を活用して使用者の発話を解釈することができる。
【０１１１】
一方、使用者の発話が追加発話であるかを判断する段階６２０と使用者の発話を解釈する段階６３０は同時に遂行されるか、使用者の音声解釈結果に基づいて追加発話であるかの可否を判断することも可能である。
【０１１２】
その後、解釈結果、および、音声認識結果のうちの言語モデル点数と個人ＤＢに基づき、基本発話を構成する各単位表現に対する信頼度を算出することができる６４０。ここで、各単位表現の信頼度は、個人化されたＤＢおよび音声認識から一つ以上の音声モデル点数および解釈結果に基づくことができる。例えば、使用者の基本発話が「場所１で会う日程を登録して」という時、「場所１」の単位表現に対する言語モデル点数は高くても、個人ＤＢ中のその使用者に対する個人ＤＢに「場所１」の単位表現に対する情報が存在しない場合には、「場所１」の単位表現に対する信頼度は非常に低く算出され得る。
【０１１３】
このとき、発話処理装置１００は、各単位表現に対する言語モデル点数、すなわち、認識正確度と、共通ＤＢおよび個人ＤＢにそれぞれ他の加重値を付与して調整することによって、特定単位表現に対する発話表現が個人ＤＢに存在する場合、最も高い信頼度を持つように設定することができる。
【０１１４】
その後、基本発話の各単位表現に対する算出された信頼度を閾値と比較してすべての単位表現の信頼度が閾値より高い場合、使用者の基本発話が理解されたと判断して６５０、理解結果を帰還することができる６９０。例えば、対応する命令が直ちに遂行されてよく、理解された発話の完全な理解確認のために使用者に確認指示または確認質疑を使用者に帰還することができ、使用者の発話に対する理解に基づいて何らかの異なる応答をすることができる。このとき、計算された信頼度が閾値より低い単位表現が存在する場合、明確化のための追加質疑が必要であると判断することができる６５０。例えば、閾値より低い信頼度を持つ単位表現全体またはその中で信頼度が最も低い一つの単位表現を追加質疑が必要な単位表現として抽出することができる６６０。ここで、このような計算された信頼度と比較する閾値は異なって設定され得る。例えば、決定される単位表現のカテゴリー、位置、名前、または、動詞であるか名詞であるかまたは形容詞であるか。によって閾値が変わってよく、時間、環境、位置遂行活動、専門用語または非専門用語であるか、同僚間または家族の間であるか、によっても閾値は異なり得る。また、閾値は、使用者によって選択されて使用され得る。
【０１１５】
その後、追加質疑が必要な単位表現が抽出されると６６０、抽出された単位表現を利用して追加質疑を生成して使用者に提示することができる６７０。このような追加質疑の生成は、図７および図８を参照して詳細に後述する。
【０１１６】
その後、使用者が追加質疑に対して発話を入力すると６１０、追加発話であるかの可否を判断する６２０。
【０１１７】
追加発話と判断されると、以前の追加質疑のために、明確化のために抽出された単位表現に関連された追加発話を処理して使用者の全体発話を理解し６８０、理解結果を帰還することができる６９０。図９を参照して詳細に後述する。
【０１１８】
図７は、図６の追加質疑遂行段階６７０の一実施例である。図７を参照して、使用者の基本発話が理解されない場合に遂行される追加質疑遂行段階６７０の一実施例を説明する。一例として、追加質疑の生成は、使用者の基本発話が理解されない時、一部分に対して遂行され得る。
【０１１９】
まず、追加質疑のために単位表現が抽出されると６６０、抽出された単位表現の使用可能な複数のカテゴリーのうちの決定されたカテゴリーを考慮して追加質疑を遂行するかを判断することができる７１０。カテゴリーを考慮して追加質疑を遂行するかどうかは、機器の製造時点によってあらかじめ設定されてよく、以後使用者によって変更され得る。
【０１２０】
その後、カテゴリーを考慮すると判断されると、抽出された単位表現の周辺表現の意味分析／構文分析などを通してカテゴリーが、例えば、場所であるか、人であるか、物であるか、などを決定することができる７２０。
【０１２１】
その後、追加質疑テンプレートＤＢから決定されたカテゴリーに該当する質疑テンプレートを抽出することができる７３０。例えば、カテゴリーが人である場合、抽出されたテンプレートは、「誰ですか？」のように人に関して聞く形式の文章または構文となり得る。
【０１２２】
もし、段階７１０でカテゴリーを考慮しないと判断されると、あらかじめ設定された簡単な形態、例えば「何ですか？」のような形態のテンプレートを使用することができる。
【０１２３】
その後、抽出された単位表現とテンプレートを結合して追加質疑を生成することができる７４０。
【０１２４】
その後、生成された追加質疑を自然言語形態の音声に変換し７５０、変換された追加質疑音声を使用者に出力することができる７６０。このとき、追加質疑テンプレートＤＢにテンプレートが音声形態で保存されている場合、抽出された単位表現だけを音声に変換し、テンプレート音声とミキシングして自然言語形態の音声質疑を生成することができる。また、追加質疑を通じて受信された基本音声の明確化のために使用者に誘導することができ、例えば、基本音声の状況、時間または環境に依存することができる。また、追加質疑の誘導は、使用者の以前の発話または基本音声が理解されるまで遅滞されてよく、必ずしも直ちに遂行されるべきものではない。
【０１２５】
図８は、図６の追加質疑遂行段階６７０の他の実施例である。
【０１２６】
図８は、他の実施例に係る追加質疑遂行段階であり得る。例えば、図６の追加質疑生成段階６７０は、図８の追加質疑遂行段階に対応することができるが、これに制限されない。一実施例によれば、追加質疑生成は、入力された使用者の発話の実際の声を使用して遂行され得る。
【０１２７】
図８を参照して、図６の追加質疑遂行段階６７０の他の実施例を説明する。本実施例によれば、発話処理装置１００は、追加質疑を遂行する時、使用者が発話した実際の音声を利用して追加質疑文を生成して再質疑することができる。
【０１２８】
発話処理装置１００は、使用者の発話に対する音声認識過程で認識されない単位表現、個人ＤＢに存在しないため理解されない単位表現が追加質疑のために抽出されると６６０、使用者の基本発話音声から追加質疑のために抽出された単位表現に関連された使用者の実際の音声を抽出することができる８１０。ここで個人化されたＤＢは一つ以上の個人ＤＢ、共通ＤＢおよびオントロジーＤＢの組合せを含むデータベースであり得る。
【０１２９】
また、発話処理装置１００は、抽出された単位表現のカテゴリーを考慮して追加質疑を遂行するかどうかを決定することができる８２０。
【０１３０】
一方、使用者の音声を抽出する段階８１０とカテゴリーを考慮するかどうかを決定する段階８２０は、その遂行順序が図示された通りに限定されず、同時に遂行されるか前後が変更されて遂行されることもある。
【０１３１】
その後、カテゴリーを考慮すると判断されると、抽出された単位表現の周辺表現の意味分析／構文分析などを通して、カテゴリーが、例えば、場所であるか、人であるか、物であるかなどを決定することができる８３０。
【０１３２】
その後、追加質疑テンプレートＤＢから決定されたカテゴリーに該当する質疑テンプレートを抽出することができる８４０。このとき、追加質疑テンプレートＤＢにはカテゴリー別テンプレートが音声形態またはテキスト形態で保存され得る。
【０１３３】
もし、段階８２０でカテゴリーを考慮しないと判断されると、あらかじめ設定された簡単な形態の基本テンプレート、例えば「何ですか？」のようなテンプレートを使用することができ、このとき、基本的に使用されるテンプレートを追加質疑テンプレートＤＢから抽出することができる。
【０１３４】
その後、抽出されたテンプレートがテキスト形態である場合、ＴＴＳ（Ｔｅｘｔ  Ｔｏ  Ｓｐｅｅｃｈ）技術を活用して音声信号に変換することができる８５０。
【０１３５】
その後、基本音声および単位表現から抽出された使用者の実際の音声と、変換されたテンプレート音声をミキシングして追加質疑を生成し８６０、使用者に提供することができる８７０。
【０１３６】
図９は、図６の追加発話処理段階６８０の一実施例である。一例として、図９の追加質疑処理は、図６の段階６８０に対応することができるが、これに制限されない。一実施例は、追加質疑の生成は、使用者の追加質疑生成後の使用者の追加音声処理遂行であり得る。
【０１３７】
図９は、発話処理装置１００が使用者に追加質疑を遂行した後、使用者から入力された追加発話を処理する手続きを説明するための図面である。
【０１３８】
発話処理装置１００は、使用者から入力された追加発話を解釈し９１０、追加音声から使用者に質疑した明確化が必要であるか、以前理解に失敗した単位表現に対する正解を抽出することができる９２０。このとき、使用者の追加発話音声に対する音声認識結果がテキスト形態で入力されると、パーシング技法や個体名認識技法などの多様なテキスト認識技法を活用して使用者の追加発話を解釈することができる。
【０１３９】
その後、追加質疑に対する正解が抽出されると、抽出された正解が正しいかどうかを確認するために使用者に確認質疑を提示し、使用者から確認質疑に対する返答を受信することができる９３０。
【０１４０】
このとき、確認質疑は、音声形態で生成されて使用者に機器の音声エージェントを通じて提示され、音声エージェントを通じて使用者から音声形態の返答を受信することができる。ただし、これに制限されず、機器のディスプレイにテキスト形態の確認質疑を出力し、音声、文字、または、動作を含む多様な方式で入力する使用者の確認返答を受信することができる。
【０１４１】
その後、使用者から受信された確認返答に基づいて使用者が抽出された正解に同意するかを判断し９４０、同意する場合に、その正解を利用して単位表現を明確にして個人化されたＤＢをアップデートして個人化処理９５０および使用者の発話理解過程を遂行することができ９６０、これは、対応する命令の遂行、該当情報の検索、理解された基本音声に対する一定の動作であり得る。もし、使用者が同意しないのであれば、以前に生成された同一の追加質疑文を利用して再質疑をするか、対話を初期化して再開始をすることができる９７０。
【０１４２】
このとき、一例として、発話処理装置１００は、使用者が個人ＤＢに登録された使用者であるかを判断して登録された使用者である場合、追加質疑を遂行した単位表現およびその単位表現に対する正解を個人ＤＢに更新することによって、個人化処理をすることができる。使用者が登録された使用者ではない場合、その使用者に使用者情報を入力するように要請し、使用者が使用者情報を入力する場合、入力された使用者情報を個人ＤＢに登録するか、個人ＤＢを生成するか、他の個人ＤＢを初期化した後、その個人ＤＢに個人化処理をすることができる。
【０１４３】
一方、発話処理装置１００は、追加質疑に対する単位表現および確認された正解などを利用して個人ＤＢ１４２に保存できる形態（例：ｅｎｔｉｔｙ−ｒｅｌａｔｉｏｎ−ｅｎｔｉｔｙのトリプル形態または単語／文章のエンベッディング方法を利用したベクトル形式など）のエントリ（ｅｎｔｒｙ）を生成し、生成されたエントリを個人ＤＢ１４２に保存することができる。このとき、個人ＤＢ１４２の資料構造形態は多様であり、いずれか一つに限定されない。
【０１４４】
図１０は、一実施例に係る音声対話管理装置のブロック図である。例えば、対話管理装置は、図１で説明した発話処理装置、および、図３ａ〜図４ｂの追加質疑処理部の組合せによる発話処理装置として用いられ得る。ここで、対話管理装置または方法は、知能型対話管理装置および方法とそれぞれ同一語でありってよく、対話処理装置または方法、もしくは、知能型対話処理装置または方法は、それぞれ同一語であり得る。
【０１４５】
図１０は、図１の発話処理装置を利用して知能型音声対話を管理する装置の一実施例である。対話管理装置１０００は、図１１および図１２を参照して後述するように、音声エージェントが搭載されたいずれか一つの機器に設置されるか、音声エージェントが搭載された機器とクラウドサーバーに分散設置されて知能型音声対話管理を遂行することができる。
【０１４６】
図１０を参照すると、対話管理装置１０００は、音声認識部１０１０、発話処理部１０２０および応答処理部１０３０を含むことができる。
【０１４７】
音声認識部１０１０は、音声エージェント（ｖｏｉｃｅ  ａｇｅｎｔ）から伝達された使用者の発話音声を音声認識（ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ）を通じてテキスト形態に変換して出力することができる。例えば、テキストは、対話管理装置１０００のメモリーに保存することができ、または、発話処理部１０２０から直接提供され得る。音声認識部１０１０または音声エージェントおよび使用者の発話は同じようにメモリーに保存され得る。音声認識部１０１０は、必要によっては音声エージェントの一構成として含まれ得る。
【０１４８】
音声認識部１０１０は、あらかじめ学習された音響モデルおよび言語モデルに利用して音声を認識し、テキスト形態の認識結果、音響モデル点数および言語モデル点数を発話処理部１０２０に伝達することができる。
【０１４９】
発話処理部１０２０は、音声認識部１０１０から伝達されたテキスト形態の使用者の発話を処理してその使用者の対話をその使用者に対する個人化された表現で理解する過程を遂行する。
【０１５０】
発話処理部１０２０は、伝達された使用者の発話が基本発話であるか、追加発話であるかを判断することができる。判断の結果、基本発話である場合、発話処理部１０２０は、対話管理装置１０００の個人化されたＤＢのような個人ＤＢを利用してその基本発話に含まれた別名、短縮命令語などの単位表現をその使用者に適合した個人化表現に変換し、変換結果を応答処理部１０３０に伝達するか、同じメモリーに保存することができる。一例として、個人化されたＤＢは一つ以上の個人ＤＢ、共通ＤＢ、および、オントロジーＤＢの組合せを含むデータベースであり得る。
【０１５１】
発話処理部１０２０は、使用者の基本発話を構成する単位表現中に個人ＤＢに存在しないため理解されない単位表現が存在すると、そのような単位表現に対して追加質疑を生成し、生成された追加質疑を音声エージェントを通じて音声で使用者に出力することができる。
【０１５２】
このとき、発話処理部１０２０は、基本発話を構成する各単位表現に対する信頼度を計算し、各計算された信頼度に基づいて追加質疑が必要であるかの可否を判断して、追加質疑が必要な一つ以上の単位表現を抽出することができる。
【０１５３】
一実施例によれば、発話処理部１０２０は、明確化が必要な単位表現が抽出されると、基本発話の周辺単位表現を利用して抽出された単位表現のカテゴリーを決定し、決定されたカテゴリーに対応する追加質疑テンプレートを追加質疑テンプレートＤＢから抽出し、抽出された追加質疑テンプレートと追加質疑が必要な単位表現を利用して追加質疑を生成することができる。
【０１５４】
他の実施例によれば、発話処理部１０２０は、明確化が必要な単位表現が抽出されると、保存された使用者の基本音声からその抽出された単位表現に該当する実際の音声の部分を抽出し、抽出された使用者の実際の音声をテンプレート音声にミキシングして追加質疑を生成することができる。
【０１５５】
また、発話処理部１０２０は、音声認識部１０１０から使用者の追加発話に対する音声認識結果を受信すると、受信された音声認識結果から追加質疑に対する正解を抽出し、抽出された正解を利用して使用者に対する個人ＤＢを更新することによって、使用者に対する個人化処理をすることができる。したがって、発話処理部１０２０は、単位表現の明確化を通じて単位表現を理解して使用者が入力した基本音声を理解することができる。
【０１５６】
応答処理部１０３０は、単位表現の理解後に、発話処理部１０２０から基本発話理解結果が伝達されると、個人ＤＢを参照して使用者に提供する応答を生成し、生成された応答を使用者に提供することができる。このとき、応答処理部１０３０は、生成された応答を自然言語形態の音声に変換し、変換された応答を音声エージェントに伝送して使用者に提供することができる。
【０１５７】
このとき、応答処理部１０３０は、あらかじめ設定された出力される音声の形態と関連された情報に基づいて自然言語形態の音声に変換することができる。例えば、出力される音声の形態に関する情報は声の性別（男／女）、年齢層、強度、速度、出力言語、などを含むことができる。
【０１５８】
応答処理部１０３０は、発話処理部１０２０から伝達された論理的形態の発話理解結果に基づいて、個人化されたＤＢ、例えば、個人ＤＢ、共通ＤＢ、または、個人ＤＢを検索するための形態の質疑文を生成し、生成された質疑文を遂行して、個人ＤＢから必要な情報を取得することができる。応答処理部１０３０は、個人ＤＢから必要な情報が獲得されると、その情報を利用して一つ以上の候補応答を生成することができる。また、必要な場合、生成された候補応答を理解し、解釈する過程を遂行することができ、その結果を利用して、使用者に提供する最終応答を生成することができる。
【０１５９】
例えば、使用者が「ホンチェギムの電話番号教えて」と基本発話を入力した場合、前述した通り、発話処理部１０２０は、使用者の個人ＤＢを利用して「ホンギルトンの電話番号教えて」のように理解し、その理解結果を帰還することができる。発話の理解に基づいて、応答処理部１０３０は、使用者の個人ＤＢ、例えば、機器に保存されている使用者の電話帳を検索してホンギルトンの電話番号「０１０−１２３４−５６７８」を取得し、使用者に提供する応答として、「ホンギルトンの電話番号は０１０−１２３４−５６７８です」のように生成して、音声エージェントに伝達して使用者に出力することができる。
【０１６０】
図１１は、一実施例に係る音声対話管理装置が搭載されたエージェント端末のブロック図である。
【０１６１】
図１１に図示されたエージェント端末１１００は、音声エージェントが搭載された機器であって、スマートフォン、タブレットＰＣ、デスクトップＰＣ、ノートパソコン、ヘルスケア機器、知能型ロボット、ウェアラブル機器、などであってよい。
【０１６２】
図１１を参照すると、図１０の対話管理装置１０００は、音声認識部１１２０、発話処理部１１３０、および、応答処理部１１４０により表現されるエージェント端末１１００に搭載され、音声エージェントが遂行する使用者との知能型対話を管理することができる。図示された通り、エージェント端末１１００は、音声入力部１１１０、音声認識部１１２０、発話処理部１１３０、応答処理部１１４０、および、応答出力部１１５０を含むことができる。
【０１６３】
このとき、音声入力部１１１０および応答出力部１１５０は、音声エージェントのハードウェア構成であってよく、例えば、マイクおよびスピーカーをそれぞれ含むことができる。また、音声認識部１１２０、発話処理部１１３０、および、応答処理部１１４０は、図１０の音声対話管理装置１００の一実施例であって、前述した内容に従うため、以下詳細な説明は省略する。
【０１６４】
音声入力部１１１０は、使用者が入力する発話音声を受信する。このとき、エージェント端末に内蔵されているマイクロホンを通じて使用者の音声を受信することができる。音声入力部１１１０は、使用者から音声信号が受信されると、デジタル信号に変換してフレーム単位で音声認識部１１２０に伝達することができる。例えば、音声入力部１１１０は、前述したように、追加音声または基本音声を取得するか検出することができる。
【０１６５】
音声認識部１１２０は、音響モデル、言語モデルを利用して、音声形態の使用者発話をテキスト形態の使用者発話に変換して発話処理部１１３０に伝達することができる。
【０１６６】
発話処理部１１３０は、テキスト形態の使用者発話を理解し、追加質疑が必要な一部の単位表現に対して追加質疑を遂行することができる。また、使用者の全体発話が理解されるとその結果を応答処理部１１４０に伝達する。例えば、使用者が特定の人の電話番号を要請することが理解されると、応答処理部１１４０は、その特定の人の電話番号のような適切な結果を提供することができる。応答処理部１１４０はまた、使用者が特定の人に電話をかけるような要請を音声で命令すると、エージェント端末１１００によりこのような動作の遂行を開始することができる。
【０１６７】
応答処理部１１４０は、理解結果に基づいて応答を生成して自然言語形態の音声に変換し、変換された結果を応答出力部１１５０に伝達する。
【０１６８】
応答出力部１１５０は、応答処理部１１４０から受信された応答を使用者に出力する。応答出力部１１５０（または応答処理部１１４０）は、音声エージェントを通じて、前述したように使用者の質疑または返答の出力および／または命令または動作の制御または遂行を作動することができる。
【０１６９】
図１２は、一実施例に係る音声対話管理システムのブロック図である。
【０１７０】
図１２を参照すると、図１０の音声対話管理装置１００の構成は、エージェント端末１２１０と、クラウドサーバー１２２０に分散配置され得る。
【０１７１】
図１２を参照すると、音声対話管理システムは、エージェント端末１２１０およびクラウドサーバー１２２０を含むことができる。ここで、音声入力部１２１１、音声認識部１２１２、応答出力部１２１４、発話処理部１２２２、および、応答処理部１２２３は、それぞれ音声入力部１１１０、音声認識部１１２０、応答出力部１１５０、発話処理部１１３０、および、応答処理部１１４０と類似して動作し得るため、以下では簡単に説明する。
【０１７２】
エージェント端末１２１０は音声エージェントである音声入力部１２１１、応答出力部１２１４と、音声認識部１２１２および端末通信部１２１５を含むことができる。
【０１７３】
エージェント端末１２１０は、使用者の対話要請により音声入力部１２１１のマイクロホンを活性化するか、音声入力部１２１１により音声を検出して自動で動作することができ、使用者から発話音声信号が入力されると、音声入力部１２１１は、入力された音声信号をデジタル信号に処理して、音声認識部１２１２に伝達することができる。このとき、音声認識部１２１２は、使用者の発話音声を認識してテキスト形態の認識結果を生成し、生成された結果を端末通信部１２１５に発話処理を遂行するクラウドサーバー１２２０に伝送するように要請することができる。
【０１７４】
端末通信部１２１５は、通信モジュールを通じて接続されている通信網でクラウドサーバー１２１０を検索して通信連結を要請し、通信が連結されるとクラウドサーバー１２２０にテキスト形態の使用者の発話および音響モデルや言語モデル点数を含む音声認識結果を伝送することができる。このとき、端末通信部１２１５は、現在のネットワーク通信網にクラウドサーバー１２２０が検索されない場合、他の通信モジュールを制御して他の通信網に接続し、クラウドサーバー１２２０との通信を連結することができる。ここで、ネットワーク通信は無線ＬＡＮ（ＷｉＦｉ）、ＮＦＣ（Ｎｅａｒ  Ｆｉｅｌｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ジグビー、ブルートゥース（登録商標）などの近距離無線通信、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどの移動通信であり得るが、これに限定されない。また、エージェント端末１２１０には、このような通信を可能にする一つ以上の通信モジュールが搭載され得る。端末通信部１２１５は、クラウドサーバー１２１０から応答を待機するか受信することができる。
【０１７５】
応答出力部１２１４は、端末通信部１２１５がサーバー通信部１２２１から使用者の発話に対する命令を指し示す情報を含む応答を受信すると、受信された情報および／または応答に基づいて該当する動作を遂行するか、応答出力部１２１４を通じて使用者に該当応答を出力することができる。
【０１７６】
クラウドサーバー１２２０のサーバー通信部１２２１は、端末通信部１２１５から音声認識結果が受信されると、発話処理部１２２２に伝達する。このとき、発話処理部１２２２は、音声認識結果が伝達されると前述した通り、個人ＤＢを利用して使用者の発話を理解し、理解結果を応答処理部１２２３に伝達する。応答処理部１２２３は、理解結果に基づいて使用者に伝達する応答を生成してサーバー通信部１２２１を通じてエージェント端末１２１０の端末通信部１２１５に伝達するようにすることができる。生成された応答は追加質疑、確認質疑または理解動作の結果に関する一定の応答であり得る。
【０１７７】
一方、開示された実施例に係る発話処理技術および音声対話技術は前述したものに制限されず、多様に変形実施され得る。例えば、音声処理部、発話処理部、および、応答処理部を含む音声対話管理装置のすべての構成がクラウドサーバーに搭載されて、エージェント端末の要請を処理するように変形実施することもできる。他の例として、エージェント端末およびクラウドサーバーはすべて同じ対話管理装置を含むことができ、エージェント端末は、使用者の発話に対する応答処理、発話処理および音声認識に対応するある組合せの遂行に、クラウドサーバーまたはエージェント端末を選択的に使用することができる。クラウドサーバーが使用可能であるか、クラウドサーバーにネットワーク接続が可能であるか、ネットワーク連結が混雑であるか、現在の要請されたエージェント端末の発話認識処理動作またはエージェント端末の使用可能なバッテリ容量、に基づいて、処理動作はエージェント端末よりもクラウドサーバーによって遂行され得る。また、前述した通り、エージェント端末およびクラウドサーバーは、同じ個人ＤＢ、共通ＤＢ、および／または、オントロジーＤＢを使用し、エージェント端末またはクラウドサーバーの各データベースは自動でまたは定期的にアップデートされ得る。
【０１７８】
一例として、音声基盤知能型対話遂行は、音声構文の認識されない部分の選択的明確化を要請することができ、発話者の単語または構文間の意味的連結性を構築可能な対話管理を提供することができる。
【０１７９】
一方、本実施例は、コンピュータ可読記録媒体にコンピュータ可読コードで具現することが可能である。コンピュータ可読記録媒体は、コンピュータシステムによって読み込まれ得るデータが保存されるすべての種類の記録装置を含む。
【０１８０】
コンピュータ可読記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、また、キャリアウェーブ（例えばインターネットを通した伝送）の形態で具現するものを含む。また、コンピュータ可読記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータ可読コードが保存されて遂行され得る。そして本実施例を具現するための機能的な（ｆｕｎｃｔｉｏｎａｌ）プログラム、コードおよびコードセグメントは、本発明が属する技術分野のプログラマーによって容易に推論され得る。
【０１８１】
本開示が属する技術分野の通常の知識を有する者は、開示された技術的思想や必須の特徴を変更することなく、他の具体的な形態で実施できることが理解できるであろう。したがって、以上に記述した実施例は、すべての面で例示的なものであり、限定的なものではないと理解されるべきである。
【符号の説明】
【０１８２】
１００    発話処理装置
２００    音声理解部
３１０    追加質疑処理部
４１０    追加質疑処理部
１０００  対話管理装置
１１００  エージェント端末
【図１】
2017058673.tif 000003
【図２】
2017058673.tif 000004
【図３ａ】
2017058673.tif 000005
【図３ｂ】
2017058673.tif 000006
【図３ｃ】
2017058673.tif 000007
【図４ａ】
2017058673.tif 000008
【図４ｂ】
2017058673.tif 000009
【図５】
2017058673.tif 000010
【図６】
2017058673.tif 000011
【図７】
2017058673.tif 000012
【図８】
2017058673.tif 000013
【図９】
2017058673.tif 000014
【図１０】
2017058673.tif 000015
【図１１】
2017058673.tif 000016
【図１２】
2017058673.tif 000017