(57)【要約】【課題】複数のユーザ発話の混在する環境から装置に対するユーザ発話を的確に選択する処理を実行する装置および方法を実現する。【解決手段】発話を行なうユーザを含む環境から、ユーザ発話情報の他、カメラによって撮影された画像情報などの観測情報を入力してベイジアンネットワークを利用した確率値算出を行い、情報処理装置に対するユーザ発話を選択する。さらに、選択したユーザ発話を部分観測マルコフ決定過程（ＰＯＭＤＰ：Ｐａｒｔｉａｌｌｙ  Ｏｂｓｅｒｖａｂｌｅ  Ｍａｒｋｏｖ  Ｄｅｃｉｓｉｏｎ  Ｐｒｏｃｅｓｓ）を適用して、ユーザ要求を理解するグラウンディング処理を実行する構成としたので、複数の発話が混在する環境においても、装置に対する要求を的確に選択して迅速にタスクを行なうことが可能となる。【選択図】図１７
2009157905.tif 000002
【特許請求の範囲】
【請求項１】
発話を行なうユーザを含む環境における環境情報を取得する環境情報取得部と、
前記環境情報取得部の取得した環境情報を観測情報として入力し、ベイジアンネットワークを利用した確率値算出を伴う処理により、情報処理装置に対するユーザ発話を選択する発話選択部と、
前記発話選択部の選択したユーザ発話を入力し、部分観測マルコフ決定過程（ＰＯＭＤＰ：Ｐａｒｔｉａｌｌｙ  Ｏｂｓｅｒｖａｂｌｅ  Ｍａｒｋｏｖ  Ｄｅｃｉｓｉｏｎ  Ｐｒｏｃｅｓｓ）を適用して、ユーザ要求を理解するグラウンディング処理を実行する会話管理部と、
前記会話管理部のグラウンディング処理結果情報に基づいてタスクを実行するタスク管理部を有する情報処理装置。
【請求項２】
前記発話選択部は、
前記ベイジアンネットワークを利用して取得された発話候補者としてのターゲットユーザに対して部分観測マルコフ決定過程（ＰＯＭＤＰ：Ｐａｒｔｉａｌｌｙ  Ｏｂｓｅｒｖａｂｌｅ  Ｍａｒｋｏｖ  Ｄｅｃｉｓｉｏｎ  Ｐｒｏｃｅｓｓ）を適用したグラウンディング処理を実行して情報処理装置に対するユーザ発話を選択する構成である請求項１に記載の情報処理装置。
【請求項３】
前記発話選択部は、
前記環境情報取得部の取得するカメラ画像情報を含む観測情報を利用して算出される実体的解析（Ｐｒａｇｍａｔｉｃ）情報と、音声入力情報を含む観測情報を利用して算出される意味的解析（Ｓｅｍａｎｔｉｃ）情報を併せて、前記ベイジアンネットワークを利用して情報処理装置に対するユーザ発話を選択する処理を実行する請求項１に記載の情報処理装置。
【請求項４】
前記環境情報取得部は、
ユーザ発話情報の他、カメラ画像情報と、ユーザ視線情報と、情報処理装置に対する応答時間計測情報との少なくともいずれの情報を観測情報として取得する構成であり、
前記発話選択部は、
ユーザ発話情報の他、カメラ画像情報と、ユーザ視線情報と、情報処理装置に対する応答時間計測情報との少なくともいずれの情報を観測情報として入力し、ベイジアンネットワークを利用した確率値算出により、情報処理装置に対するユーザ発話を選択する処理を実行する構成である請求項１に記載の情報処理装置。
【請求項５】
前記発話選択部は、
カメラ画像を含む観測情報を定期的に入力して実行する定期的処理と、ユーザ発話の入力をトリガとして実行するイベント対応処理を実行し、前記定期的処理およびイベント対応処理において取得される情報を利用したベイジアンネットワークのデータ更新処理を行なう構成である請求項１に記載の情報処理装置。
【請求項６】
前記情報処理装置は、さらに、
前記会話管理部の実行するグラウンディング処理においてユーザに対するシステムアクションの表示を実行する表示部を有する請求項１に記載の情報処理装置。
【請求項７】
前記会話管理部は、
ユーザ発話に対応して生成される言語意味解析情報と、前記タスク管理部のタスク実現性を含む情報に基づいて生成される実体的情報を観測情報（Ｏｂｓｅｒｖａｔｉｏｎ  ｓｐａｃｅ）として設定したＰＯＭＤＰを適用したグラウンディング処理を実行する構成である請求項１に記載の情報処理装置。
【請求項８】
前記会話管理部は、
前記言語意味解析情報を観測情報として算出される状態値と、前記実体的情報を観測情報として算出される状態値を状態情報（Ｓｔａｔｅ  ｓｐａｃｅ）として設定したＰＯＭＤＰを適用したグラウンディング処理を実行する構成である請求項７に記載の情報処理装置。
【請求項９】
前記会話管理部は、
前記グラウンディング処理における実行アクションとして、処理開始（Ｉｎｉｔｉａｔｅ）、継続処理（ｃｏｎｔｉｎｕｅ）、確認処理（ｒｅｐａｉｒ）、確認要求処理（ＲｅｑＲｅｐａｉｒ）、理解確認応答（ａｃｋ）、理解確認応答要求（Ｒｅｑａｃｋ）、キャンセル（ｃａｎｃｅｌ）の各処理を定義したグラウンディングモデルを適用した処理を実行する請求項１に記載の情報処理装置。
【請求項１０】
前記会話管理部は、
前記グラウンディング処理における実行アクションとして、処理開始（Ｉｎｉｔｉａｔｅ）、理解確認応答（ａｃｋ）、キャンセル（ｃａｎｃｅｌ）の各処理を定義したグラウンディングモデルを適用した処理を実行する請求項１に記載の情報処理装置。
【請求項１１】
前記発話選択部は、
前記グラウンディング処理の実行対象としてのターゲットユーザが未確定の場合に、前記環境情報取得部の取得するカメラ画像情報を含む観測情報から、ターゲットユーザ候補となるユーザ数を判定し、
ターゲットユーザ候補が１人である場合は、その１人のユーザをグラウンディング処理対象であるターゲットユーザとして判定する処理を実行し、
ターゲットユーザ候補が２人以上である場合は、さらに、前記環境情報取得部の取得した環境情報を利用して評価を行い、評価値の高いユーザをグラウンディング処理対象であるターゲットユーザと判定する処理を実行する請求項１に記載の情報処理装置。
【請求項１２】
前記発話選択部は、
前記グラウンディング処理の実行対象としてのターゲットユーザが選定済みである場合に、前記環境情報取得部の取得するカメラ画像情報を含む観測情報からユーザ数を判定し、
ユーザ数が０であると判定した場合は、グラウンディングの実行アクションとしてキャンセル処理を実行し、
ユーザ数が１以上であると判定した場合は、最終実行アクションに応じて次のアクションを決定して実行する構成である請求項１に記載の情報処理装置。
【請求項１３】
前記発話選択部は、
前記観測情報に基づいてユーザ数が１以上であると判定した場合において、
最終実行アクションが理解確認応答（Ａｃｋ）である場合は、ターゲットユーザ決定のためのグラウンディング処理が完了したと判定し、最終実行アクションが理解確認応答（Ａｃｋ）以外である場合は、ターゲットユーザ決定のためのグラウンディング処理を継続して実行する構成である請求項１２に記載の情報処理装置。
【請求項１４】
情報処理装置において、ユーザの発話を入力して解析する情報処理方法であり、
環境情報取得部が、発話を行なうユーザを含む環境における環境情報を取得する環境情報取得ステップと、
発話選択部が、前記環境情報取得部の取得した環境情報を観測情報として入力し、ベイジアンネットワークを利用した確率値算出を伴う処理により、情報処理装置に対するユーザ発話を選択する発話選択ステップと、
会話管理部が、前記発話選択ステップにおいて選択したユーザ発話を入力し、部分観測マルコフ決定過程（ＰＯＭＤＰ：Ｐａｒｔｉａｌｌｙ  Ｏｂｓｅｒｖａｂｌｅ  Ｍａｒｋｏｖ  Ｄｅｃｉｓｉｏｎ  Ｐｒｏｃｅｓｓ）を適用して、ユーザ要求を理解するグラウンディング処理を実行する会話管理ステップと、
タスク管理部が、前記会話管理ステップにおけるグラウンディング処理結果情報に基づいてタスクを実行するタスク管理ステップと、
を有する情報処理方法。
【請求項１５】
前記発話選択ステップは、
前記ベイジアンネットワークを利用して取得された発話候補者としてのターゲットユーザに対して部分観測マルコフ決定過程（ＰＯＭＤＰ：Ｐａｒｔｉａｌｌｙ  Ｏｂｓｅｒｖａｂｌｅ  Ｍａｒｋｏｖ  Ｄｅｃｉｓｉｏｎ  Ｐｒｏｃｅｓｓ）を適用したグラウンディング処理を実行して情報処理装置に対するユーザ発話を選択するステップを含む請求項１４に記載の情報処理方法。
【請求項１６】
前記発話選択ステップは、
前記環境情報取得ステップにおいて取得するカメラ画像情報を含む観測情報を利用して算出される実体的解析（Ｐｒａｇｍａｔｉｃ）情報と、音声入力情報を含む観測情報を利用して算出される意味的解析（Ｓｅｍａｎｔｉｃ）情報を併せて、前記ベイジアンネットワークを利用して情報処理装置に対するユーザ発話を選択する処理を実行する請求項１４に記載の情報処理方法。
【請求項１７】
前記環境情報取得ステップは、
ユーザ発話情報の他、カメラ画像情報と、ユーザ視線情報と、情報処理装置に対する応答時間計測情報との少なくともいずれの情報を観測情報として取得するステップであり、
前記発話選択ステップは、
ユーザ発話情報の他、カメラ画像情報と、ユーザ視線情報と、情報処理装置に対する応答時間計測情報との少なくともいずれの情報を観測情報として入力し、ベイジアンネットワークを利用した確率値算出により、情報処理装置に対するユーザ発話を選択する処理を実行するステップである請求項１４に記載の情報処理方法。
【請求項１８】
前記発話選択ステップは、
カメラ画像を含む観測情報を定期的に入力して実行する定期的処理と、ユーザ発話の入力をトリガとして実行するイベント対応処理を実行し、前記定期的処理およびイベント対応処理において取得される情報を利用したベイジアンネットワークのデータ更新処理を行なうステップである請求項１４に記載の情報処理方法。
【請求項１９】
前記情報処理方法は、さらに、
表示部が、前記会話管理ステップにおけるグラウンディング処理においてユーザに対するシステムアクションの表示を実行するステップを有する請求項１４に記載の情報処理方法。
【請求項２０】
前記会話管理ステップは、
ユーザ発話に対応して生成される言語意味解析情報と、前記タスク管理部のタスク実現性を含む情報に基づいて生成される実体的情報を観測情報（Ｏｂｓｅｒｖａｔｉｏｎ  ｓｐａｃｅ）として設定したＰＯＭＤＰを適用したグラウンディング処理を実行するステップである請求項１４に記載の情報処理方法。
【請求項２１】
前記会話管理ステップは、
前記言語意味解析情報を観測情報として算出される状態値と、前記実体的情報を観測情報として算出される状態値を状態情報（Ｓｔａｔｅ  ｓｐａｃｅ）として設定したＰＯＭＤＰを適用したグラウンディング処理を実行するステップである請求項２０に記載の情報処理方法。
【請求項２２】
前記会話管理ステップは、
前記グラウンディング処理における実行アクションとして、処理開始（Ｉｎｉｔｉａｔｅ）、継続処理（ｃｏｎｔｉｎｕｅ）、確認処理（ｒｅｐａｉｒ）、確認要求処理（ＲｅｑＲｅｐａｉｒ）、理解確認応答（ａｃｋ）、理解確認応答要求（Ｒｅｑａｃｋ）、キャンセル（ｃａｎｃｅｌ）の各処理を定義したグラウンディングモデルを適用した処理を実行するステップである請求項１４に記載の情報処理方法。
【請求項２３】
前記会話管理ステップは、
前記グラウンディング処理における実行アクションとして、処理開始（Ｉｎｉｔｉａｔｅ）、理解確認応答（ａｃｋ）、キャンセル（ｃａｎｃｅｌ）の各処理を定義したグラウンディングモデルを適用した処理を実行するステップである請求項１４に記載の情報処理方法。
【請求項２４】
前記発話選択ステップは、
前記グラウンディング処理の実行対象としてのターゲットユーザが未確定の場合に、前記環境情報取得部の取得するカメラ画像情報を含む観測情報から、ターゲットユーザ候補となるユーザ数を判定し、
ターゲットユーザ候補が１人である場合は、その１人のユーザをグラウンディング処理対象であるターゲットユーザとして判定する処理を実行し、
ターゲットユーザ候補が２人以上である場合は、さらに、前記環境情報取得部の取得した環境情報を利用して評価を行い、評価値の高いユーザをグラウンディング処理対象であるターゲットユーザと判定する処理を実行するステップである請求項１４に記載の情報処理方法。
【請求項２５】
前記発話選択ステップは、
前記グラウンディング処理の実行対象としてのターゲットユーザが選定済みである場合に、前記環境情報取得部の取得するカメラ画像情報を含む観測情報からユーザ数を判定し、
ユーザ数が０であると判定した場合は、グラウンディングの実行アクションとしてキャンセル処理を実行し、
ユーザ数が１以上であると判定した場合は、最終実行アクションに応じて次のアクションを決定して実行するするステップである請求項１４に記載の情報処理方法。
【請求項２６】
前記発話選択ステップは、
前記観測情報に基づいてユーザ数が１以上であると判定した場合において、
最終実行アクションが理解確認応答（Ａｃｋ）である場合は、ターゲットユーザ決定のためのグラウンディング処理が完了したと判定し、最終実行アクションが理解確認応答（Ａｃｋ）以外である場合は、ターゲットユーザ決定のためのグラウンディング処理を継続して実行するステップである請求項２５に記載の情報処理方法。
【請求項２７】
情報処理装置において、ユーザの発話を入力して解析させるコンピュータ・プログラムであり、
環境情報取得部に、発話を行なうユーザを含む環境における環境情報を取得させる環境情報取得ステップと、
発話選択部に、前記環境情報取得部の取得した環境情報を観測情報として入力し、ベイジアンネットワークを利用した確率値算出を伴う処理により、情報処理装置に対するユーザ発話を選択させる発話選択ステップと、
会話管理部に、前記発話選択ステップにおいて選択したユーザ発話を入力し、部分観測マルコフ決定過程（ＰＯＭＤＰ：Ｐａｒｔｉａｌｌｙ  Ｏｂｓｅｒｖａｂｌｅ  Ｍａｒｋｏｖ  Ｄｅｃｉｓｉｏｎ  Ｐｒｏｃｅｓｓ）を適用して、ユーザ要求を理解するグラウンディング処理を実行させる会話管理ステップと、
タスク管理部に、前記会話管理ステップにおけるグラウンディング処理結果情報に基づいてタスクを実行させるタスク管理ステップと、
を有するコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、および情報処理方法、並びにコンピュータ・プログラムに関する。例えばユーザとテレビなどの情報処理装置とのコミュニケーションによって処理を実行する構成、具体的にはユーザの発する言葉を情報処理装置が解釈してユーザ要求に従ったタスクを実行する構成に適用される情報処理装置、および情報処理方法、並びにコンピュータ・プログラムに関する。
【０００２】
さらに、本発明は、複数のユーザ発話が存在する環境から、情報処理装置に対して行なわれたと判定されるユーザ発話を選択する処理を行なう情報処理装置、および情報処理方法、並びにコンピュータ・プログラムに関する。
【０００３】
さらに、本発明は、部分観測マルコフ決定過程（ＰＯＭＤＰ：Ｐａｒｔｉａｌｌｙ  Ｏｂｓｅｒｖａｂｌｅ  Ｍａｒｋｏｖ  Ｄｅｃｉｓｉｏｎ  Ｐｒｏｃｅｓｓ）を適用して、システムがユーザの意思を正確に把握するためのグラウンディング処理を行なう情報処理装置、および情報処理方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００４】
例えば、テレビなどのシステムに対してリモコンの操作を行なうことなくユーザの発する言葉をシステムが解釈して処理を実行するといった構成について様々な研究がなされている。システムがユーザの言葉を理解して正確な処理を実行するためには、ユーザとシステムの共通理解が必要となる。
【０００５】
例えば、システムがユーザの要求を理解できない場合に、ユーザに対して疑問を解決するための質問を行い、ユーザからの応答などによって問題を解決してユーザの意思を正しく理解するといった処理が必要とされる。
【０００６】
このようなユーザとのコミュニケーションを行なうシステムの実行する処理は、大きく分けて２つの処理に分類できる。
１つは、ユーザの要求に応じてシステム内で実行する処理、例えばシステムがテレビであれば、ユーザ要求に応じてチャンネルを切り換えるといったシステム内部での処理を行なう処理である。このような処理はドメインタスク（ｄｏｍａｉｎ  ｔａｓｋ）と呼ばれる。
もう１つは、例えばユーザの要求が理解できない場合などに、システムがユーザに質問をしてユーザの応答を確認するなどの会話処理を行いシステムとユーザ間の相互理解を深める処理である。この処理は会話タスク（ｃｏｎｖｅｒｓａｔｉｏｎａｌ  ｔａｓｋ）と呼ばれる。
【０００７】
例えば、人と人との会話において、会話を行なっている複数の会話者が相互理解を行なうための処理はグラウンディング（Ｇｒｏｕｎｄｉｎｇ）と呼ばれる。このグラウンディングにおいて行なうべき処理には以下の２つの処理がある。
（１）相互理解がなされているかの確認処理
（２）相互理解のために実行する処理
【０００８】
（１）相互理解の確認のためには、理解しているか否かを判断するための基準が必要であり、例えば理解の確信度や、満足度を計る指標が必要と考えられる。また発話者と聴取者各々において、相互に理解していると判断するレベルが一致としているといったことも要求される。
（２）相互理解のために実行する処理、すなわち、グラウディング処理の実行に際しては、ユーザ間で、どのような会話や、やり取りが有効であるかといった指標や、グラウンディング行為（Ａｃｔ）の規格化といったことが重要であると考えられる。
【０００９】
相互理解を行なうための処理、すなわちグラウンディング処理について記述した従来技術として非特許文献１（Ｄａｖｉｄ  Ｒ．  Ｔｒａｕｍ  ａｎｄ  Ｊａｍｅｓ  Ｆ．  Ａｌｌｅｎ．  Ａ  ｓｐｅｅｃｈ  ａｃｔｓ  ａｐｐｒｏａｃｈ  ｔｏ  ｇｒｏｕｎｄｉｎｇ  ｉｎ  ｃｏｎｖｅｒｓａｔｉｏｎ．  Ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ２ｎｄ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｓｐｏｋｅｎ  Ｌａｎｇｕａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ  （ＩＣＳＬＰ−９２），  ｐａｇｅｓ  １３７−４０，Ｏｃｔｏｂｅｒ  １９９２）がある。
【００１０】
この非特許文献に示された構成について、図１、図２を参照して説明する。この文献では、例えば複数の人の間で行なわれるコミュニケーション処理において図１に示すような状態遷移構成を示している。図１に示す７つの状態、すなわち、
Ｓ．初期状態
１．開始直後状態
２．システム困惑状態
３．要確認状態
４．ユーザ困惑状態
Ｆ．グラウンディング状態
Ｄ．キャンセル状態
コミュニケーション処理においては、これらの７つの状態の遷移が発生すると想定している。
【００１１】
非特許文献１では、この状態遷移に対応する現在の状態と、状態遷移を発生させるアクションとの対応関係を図２に示す表のように定義している。図２は、現在の状態（Ｓ〜Ｄ）にあるときに、表に示す次のアクション（Ｉｎｉｔｉａｔｅ（Ｉ）〜ｃａｎｃｅｌ（Ｒ））を実行した場合に遷移する可能性のある次の状態を示している。次のアクションに示す（Ｉ）はアクション開始者（Ｉｎｉｔｉａｔｅｒ）、（Ｒ）は応答者（Ｒｅｓｐｏｎｄｅｒ）のアクションであることを示している。
【００１２】
例えば、初期状態（Ｓ）において、アクション開始者（Ｉｎｉｔｉａｔｅｒ）が何らかのアクション、例えばアクション開始者（Ｉｎｉｔｉａｔｅｒ）を第１ユーザとした場合、第１ユーザが発話した場合、状態は（Ｓ）から（１）に遷移する。さらに、状態（１）において、アクション開始者（Ｉｎｉｔｉａｔｅｒ）が発話を継続（ｃｏｎｔｉｎｕｅ）した場合、状態は（１）に留まるか、あるいは状態（４）に遷移する。
【００１３】
Ｆ．グラウンディング状態に進めば、会話を実行している複数のユーザは相互理解した状態に至ったと判断される。
Ｄ．キャンセルは相互理解に失敗した状態である。
【００１４】
この非特許文献１では、主として、人と人とのコミュニケーション処理における相互理解のプロセス、すなわちグラウンディングプロセスを解析している。このような相互理解（グラウンディング）処理は、人とシステム間のコミュニケーションにおいても必要となると考えられる。すなわち、ユーザがテレビなどのシステムに対して処理要求を行なう場合、ユーザとシステムとの間でも相互理解がなされることが正しい処理を実行するために必要であると考えられる。
【非特許文献１】Ｄａｖｉｄ  Ｒ．  Ｔｒａｕｍ  ａｎｄ  Ｊａｍｅｓ  Ｆ．  Ａｌｌｅｎ．  Ａ  ｓｐｅｅｃｈ  ａｃｔｓ  ａｐｐｒｏａｃｈ  ｔｏ  ｇｒｏｕｎｄｉｎｇ  ｉｎ  ｃｏｎｖｅｒｓａｔｉｏｎ．  Ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ２ｎｄ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｓｐｏｋｅｎ  Ｌａｎｇｕａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ  （ＩＣＳＬＰ−９２），  ｐａｇｅｓ  １３７−４０，Ｏｃｔｏｂｅｒ  １９９２
【発明の開示】
【発明が解決しようとする課題】
【００１５】
本発明は、上述の問題点に鑑みてなされたものであり、システムとユーザ間のコミュニケーションにおいて相互理解を行い、効率的にシステムに正しい処理を実行させることを可能とする情報処理装置、および情報処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
【００１６】
さらに、本発明は、例えばユーザの発する言葉を、テレビなどのシステムが解釈して処理を実行する構成において、部分観測マルコフ決定過程（ＰＯＭＤＰ：Ｐａｒｔｉａｌｌｙ  Ｏｂｓｅｒｖａｂｌｅ  Ｍａｒｋｏｖ  Ｄｅｃｉｓｉｏｎ  Ｐｒｏｃｅｓｓ）を適用して、システムがユーザの意思を正確に把握して処理を行なうことを可能とする情報処理装置、および情報処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
【００１７】
さらに、本発明は、複数のユーザ発話が存在する環境から、情報処理装置に対して行なわれたと判定されるユーザ発話を選択する処理を行なう情報処理装置、および情報処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１８】
本発明の第１の側面は、
ユーザの発話を入力して解析する情報処理装置であり、
発話を行なうユーザを含む環境における環境情報を取得する環境情報取得部と、
前記環境情報取得部の取得した環境情報を観測情報として入力し、ベイジアンネットワークを利用した確率値算出を伴う処理により、情報処理装置に対するユーザ発話を選択する発話選択部と、
前記発話選択部の選択したユーザ発話を入力し、部分観測マルコフ決定過程（ＰＯＭＤＰ：Ｐａｒｔｉａｌｌｙ  Ｏｂｓｅｒｖａｂｌｅ  Ｍａｒｋｏｖ  Ｄｅｃｉｓｉｏｎ  Ｐｒｏｃｅｓｓ）を適用して、ユーザ要求を理解するグラウンディング処理を実行する会話管理部と、
前記会話管理部のグラウンディング処理結果情報に基づいてタスクを実行するタスク管理部を有することを特徴とする情報処理装置にある。
【００１９】
さらに、本発明の情報処理装置の一実施態様において、前記発話選択部は、前記ベイジアンネットワークを利用して取得された発話候補者としてのターゲットユーザに対して部分観測マルコフ決定過程（ＰＯＭＤＰ：Ｐａｒｔｉａｌｌｙ  Ｏｂｓｅｒｖａｂｌｅ  Ｍａｒｋｏｖ  Ｄｅｃｉｓｉｏｎ  Ｐｒｏｃｅｓｓ）を適用したグラウンディング処理を実行して情報処理装置に対するユーザ発話を選択する構成であることを特徴とする。
【００２０】
さらに、本発明の情報処理装置の一実施態様において、前記発話選択部は、前記環境情報取得部の取得するカメラ画像情報を含む観測情報を利用して算出される実体的解析（Ｐｒａｇｍａｔｉｃ）情報と、音声入力情報を含む観測情報を利用して算出される意味的解析（Ｓｅｍａｎｔｉｃ）情報を併せて、前記ベイジアンネットワークを利用して情報処理装置に対するユーザ発話を選択する処理を実行することを特徴とする。
【００２１】
さらに、本発明の情報処理装置の一実施態様において、前記環境情報取得部は、ユーザ発話情報の他、カメラ画像情報と、ユーザ視線情報と、情報処理装置に対する応答時間計測情報との少なくともいずれの情報を観測情報として取得する構成であり、前記発話選択部は、ユーザ発話情報の他、カメラ画像情報と、ユーザ視線情報と、情報処理装置に対する応答時間計測情報との少なくともいずれの情報を観測情報として入力し、ベイジアンネットワークを利用した確率値算出により、情報処理装置に対するユーザ発話を選択する処理を実行する構成であることを特徴とする。
【００２２】
さらに、本発明の情報処理装置の一実施態様において、前記発話選択部は、カメラ画像を含む観測情報を定期的に入力して実行する定期的処理と、ユーザ発話の入力をトリガとして実行するイベント対応処理を実行し、前記定期的処理およびイベント対応処理において取得される情報を利用したベイジアンネットワークのデータ更新処理を行なう構成であることを特徴とする。
【００２３】
さらに、本発明の情報処理装置の一実施態様において、前記情報処理装置は、さらに、前記会話管理部の実行するグラウンディング処理においてユーザに対するシステムアクションの表示を実行する表示部を有することを特徴とする。
【００２４】
さらに、本発明の情報処理装置の一実施態様において、前記会話管理部は、ユーザ発話に対応して生成される言語意味解析情報と、前記タスク管理部のタスク実現性を含む情報に基づいて生成される実体的情報を観測情報（Ｏｂｓｅｒｖａｔｉｏｎ  ｓｐａｃｅ）として設定したＰＯＭＤＰを適用したグラウンディング処理を実行する構成であることを特徴とする。
【００２５】
さらに、本発明の情報処理装置の一実施態様において、前記会話管理部は、前記言語意味解析情報を観測情報として算出される状態値と、前記実体的情報を観測情報として算出される状態値を状態情報（Ｓｔａｔｅ  ｓｐａｃｅ）として設定したＰＯＭＤＰを適用したグラウンディング処理を実行する構成であることを特徴とする。
【００２６】
さらに、本発明の情報処理装置の一実施態様において、前記会話管理部は、前記グラウンディング処理における実行アクションとして、処理開始（Ｉｎｉｔｉａｔｅ）、継続処理（ｃｏｎｔｉｎｕｅ）、確認処理（ｒｅｐａｉｒ）、確認要求処理（ＲｅｑＲｅｐａｉｒ）、理解確認応答（ａｃｋ）、理解確認応答要求（Ｒｅｑａｃｋ）、キャンセル（ｃａｎｃｅｌ）の各処理を定義したグラウンディングモデルを適用した処理を実行する。
【００２７】
さらに、本発明の情報処理装置の一実施態様において、前記会話管理部は、前記グラウンディング処理における実行アクションとして、処理開始（Ｉｎｉｔｉａｔｅ）、理解確認応答（ａｃｋ）、キャンセル（ｃａｎｃｅｌ）の各処理を定義したグラウンディングモデルを適用した処理を実行する。
【００２８】
さらに、本発明の情報処理装置の一実施態様において、前記発話選択部は、前記グラウンディング処理の実行対象としてのターゲットユーザが未確定の場合に、前記環境情報取得部の取得するカメラ画像情報を含む観測情報から、ターゲットユーザ候補となるユーザ数を判定し、ターゲットユーザ候補が１人である場合は、その１人のユーザをグラウンディング処理対象であるターゲットユーザとして判定する処理を実行し、ターゲットユーザ候補が２人以上である場合は、さらに、前記環境情報取得部の取得した環境情報を利用して評価を行い、評価値の高いユーザをグラウンディング処理対象であるターゲットユーザと判定する処理を実行する。
【００２９】
さらに、本発明の情報処理装置の一実施態様において、前記発話選択部は、前記グラウンディング処理の実行対象としてのターゲットユーザが選定済みである場合に、前記環境情報取得部の取得するカメラ画像情報を含む観測情報からユーザ数を判定し、ユーザ数が０であると判定した場合は、グラウンディングの実行アクションとしてキャンセル処理を実行し、ユーザ数が１以上であると判定した場合は、最終実行アクションに応じて次のアクションを決定して実行する構成である。
【００３０】
さらに、本発明の情報処理装置の一実施態様において、前記発話選択部は、前記観測情報に基づいてユーザ数が１以上であると判定した場合において、最終実行アクションが理解確認応答（Ａｃｋ）である場合は、ターゲットユーザ決定のためのグラウンディング処理が完了したと判定し、最終実行アクションが理解確認応答（Ａｃｋ）以外である場合は、ターゲットユーザ決定のためのグラウンディング処理を継続して実行する構成である。
【００３１】
さらに、本発明の第２の側面は、
情報処理装置において、ユーザの発話を入力して解析する情報処理方法であり、
環境情報取得部が、発話を行なうユーザを含む環境における環境情報を取得する環境情報取得ステップと、
発話選択部が、前記環境情報取得部の取得した環境情報を観測情報として入力し、ベイジアンネットワークを利用した確率値算出を伴う処理により、情報処理装置に対するユーザ発話を選択する発話選択ステップと、
会話管理部が、前記発話選択ステップにおいて選択したユーザ発話を入力し、部分観測マルコフ決定過程（ＰＯＭＤＰ：Ｐａｒｔｉａｌｌｙ  Ｏｂｓｅｒｖａｂｌｅ  Ｍａｒｋｏｖ  Ｄｅｃｉｓｉｏｎ  Ｐｒｏｃｅｓｓ）を適用して、ユーザ要求を理解するグラウンディング処理を実行する会話管理ステップと、
タスク管理部が、前記会話管理ステップにおけるグラウンディング処理結果情報に基づいてタスクを実行するタスク管理ステップと、
を有することを特徴とする情報処理方法にある。
【００３２】
さらに、本発明の情報処理方法の一実施態様において、前記発話選択ステップは、前記ベイジアンネットワークを利用して取得された発話候補者としてのターゲットユーザに対して部分観測マルコフ決定過程（ＰＯＭＤＰ：Ｐａｒｔｉａｌｌｙ  Ｏｂｓｅｒｖａｂｌｅ  Ｍａｒｋｏｖ  Ｄｅｃｉｓｉｏｎ  Ｐｒｏｃｅｓｓ）を適用したグラウンディング処理を実行して情報処理装置に対するユーザ発話を選択するステップを含むことを特徴とする。
【００３３】
さらに、本発明の情報処理方法の一実施態様において、前記発話選択ステップは、
前記環境情報取得ステップにおいて取得するカメラ画像情報を含む観測情報を利用して算出される実体的解析（Ｐｒａｇｍａｔｉｃ）情報と、音声入力情報を含む観測情報を利用して算出される意味的解析（Ｓｅｍａｎｔｉｃ）情報を併せて、前記ベイジアンネットワークを利用して情報処理装置に対するユーザ発話を選択する処理を実行することを特徴とする。
【００３４】
さらに、本発明の情報処理方法の一実施態様において、前記環境情報取得ステップは、ユーザ発話情報の他、カメラ画像情報と、ユーザ視線情報と、情報処理装置に対する応答時間計測情報との少なくともいずれの情報を観測情報として取得するステップであり、前記発話選択ステップは、ユーザ発話情報の他、カメラ画像情報と、ユーザ視線情報と、情報処理装置に対する応答時間計測情報との少なくともいずれの情報を観測情報として入力し、ベイジアンネットワークを利用した確率値算出により、情報処理装置に対するユーザ発話を選択する処理を実行するステップであることを特徴とする。
【００３５】
さらに、本発明の情報処理方法の一実施態様において、前記発話選択ステップは、カメラ画像を含む観測情報を定期的に入力して実行する定期的処理と、ユーザ発話の入力をトリガとして実行するイベント対応処理を実行し、前記定期的処理およびイベント対応処理において取得される情報を利用したベイジアンネットワークのデータ更新処理を行なうステップであることを特徴とする。
【００３６】
さらに、本発明の情報処理方法の一実施態様において、前記情報処理方法は、さらに、表示部が、前記会話管理ステップにおけるグラウンディング処理においてユーザに対するシステムアクションの表示を実行するステップを有することを特徴とする。
【００３７】
さらに、本発明の情報処理方法の一実施態様において、前記会話管理ステップは、ユーザ発話に対応して生成される言語意味解析情報と、前記タスク管理部のタスク実現性を含む情報に基づいて生成される実体的情報を観測情報（Ｏｂｓｅｒｖａｔｉｏｎ  ｓｐａｃｅ）として設定したＰＯＭＤＰを適用したグラウンディング処理を実行するステップであることを特徴とする。
【００３８】
さらに、本発明の情報処理方法の一実施態様において、前記会話管理ステップは、前記言語意味解析情報を観測情報として算出される状態値と、前記実体的情報を観測情報として算出される状態値を状態情報（Ｓｔａｔｅ  ｓｐａｃｅ）として設定したＰＯＭＤＰを適用したグラウンディング処理を実行するステップであることを特徴とする。
【００３９】
さらに、本発明の情報処理方法の一実施態様において、前記会話管理ステップは、前記グラウンディング処理における実行アクションとして、処理開始（Ｉｎｉｔｉａｔｅ）、継続処理（ｃｏｎｔｉｎｕｅ）、確認処理（ｒｅｐａｉｒ）、確認要求処理（ＲｅｑＲｅｐａｉｒ）、理解確認応答（ａｃｋ）、理解確認応答要求（Ｒｅｑａｃｋ）、キャンセル（ｃａｎｃｅｌ）の各処理を定義したグラウンディングモデルを適用した処理を実行するステップである。
【００４０】
さらに、本発明の情報処理方法の一実施態様において、前記会話管理ステップは、前記グラウンディング処理における実行アクションとして、処理開始（Ｉｎｉｔｉａｔｅ）、理解確認応答（ａｃｋ）、キャンセル（ｃａｎｃｅｌ）の各処理を定義したグラウンディングモデルを適用した処理を実行するステップである。
【００４１】
さらに、本発明の情報処理方法の一実施態様において、前記発話選択ステップは、前記グラウンディング処理の実行対象としてのターゲットユーザが未確定の場合に、前記環境情報取得部の取得するカメラ画像情報を含む観測情報から、ターゲットユーザ候補となるユーザ数を判定し、ターゲットユーザ候補が１人である場合は、その１人のユーザをグラウンディング処理対象であるターゲットユーザとして判定する処理を実行し、ターゲットユーザ候補が２人以上である場合は、さらに、前記環境情報取得部の取得した環境情報を利用して評価を行い、評価値の高いユーザをグラウンディング処理対象であるターゲットユーザと判定する処理を実行するステップである。
【００４２】
さらに、本発明の情報処理方法の一実施態様において、前記発話選択ステップは、前記グラウンディング処理の実行対象としてのターゲットユーザが選定済みである場合に、前記環境情報取得部の取得するカメラ画像情報を含む観測情報からユーザ数を判定し、ユーザ数が０であると判定した場合は、グラウンディングの実行アクションとしてキャンセル処理を実行し、ユーザ数が１以上であると判定した場合は、最終実行アクションに応じて次のアクションを決定して実行するするステップである。
【００４３】
さらに、本発明の情報処理方法の一実施態様において、前記発話選択ステップは、前記観測情報に基づいてユーザ数が１以上であると判定した場合において、最終実行アクションが理解確認応答（Ａｃｋ）である場合は、ターゲットユーザ決定のためのグラウンディング処理が完了したと判定し、最終実行アクションが理解確認応答（Ａｃｋ）以外である場合は、ターゲットユーザ決定のためのグラウンディング処理を継続して実行するステップである。
【００４４】
さらに、本発明の第３の側面は、
情報処理装置において、ユーザの発話を入力して解析させるコンピュータ・プログラムであり、
環境情報取得部に、発話を行なうユーザを含む環境における環境情報を取得させる環境情報取得ステップと、
発話選択部に、前記環境情報取得部の取得した環境情報を観測情報として入力し、ベイジアンネットワークを利用した確率値算出を伴う処理により、情報処理装置に対するユーザ発話を選択させる発話選択ステップと、
会話管理部に、前記発話選択ステップにおいて選択したユーザ発話を入力し、部分観測マルコフ決定過程（ＰＯＭＤＰ：Ｐａｒｔｉａｌｌｙ  Ｏｂｓｅｒｖａｂｌｅ  Ｍａｒｋｏｖ  Ｄｅｃｉｓｉｏｎ  Ｐｒｏｃｅｓｓ）を適用して、ユーザ要求を理解するグラウンディング処理を実行させる会話管理ステップと、
タスク管理部に、前記会話管理ステップにおけるグラウンディング処理結果情報に基づいてタスクを実行させるタスク管理ステップと、
を有することを特徴とするコンピュータ・プログラムにある。
【００４５】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００４６】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００４７】
本発明の一実施例の構成によれば、発話を行なうユーザを含む環境から、ユーザ発話情報の他、カメラによって撮影された画像情報などの観測情報を入力してベイジアンネットワークを利用した確率値算出を行い、情報処理装置に対するユーザ発話を選択する。さらに、選択したユーザ発話を部分観測マルコフ決定過程（ＰＯＭＤＰ：Ｐａｒｔｉａｌｌｙ  Ｏｂｓｅｒｖａｂｌｅ  Ｍａｒｋｏｖ  Ｄｅｃｉｓｉｏｎ  Ｐｒｏｃｅｓｓ）を適用して、ユーザ要求を理解するグラウンディング処理を実行する構成としたので、複数の発話が混在する環境においても、装置に対する要求を的確に選択して迅速にタスクを行なうことが可能となる。
【発明を実施するための最良の形態】
【００４８】
以下、図面を参照しながら本発明の実施形態に係る情報処理装置、および情報処理方法、並びにコンピュータ・プログラムの詳細について説明する。
以下、
１．ＰＯＭＤＰを利用した相互理解（グラウンディング）処理を実行する処理例
２．処理対象ユーザおよび発話特定処理を含む処理例
これら２つの処理例について、順次、説明する。
【００４９】
［１．ＰＯＭＤＰを利用した相互理解（グラウンディング）処理を実行する処理例］
本発明の情報処理装置は、例えばテレビなどのシステムであり、ユーザの発する言葉によって様々な処理、例えばチャンネルの切り替えなどの処理を行なう装置である。すなわちシステムとユーザとのコミュニケーションによって、ユーザの意図に従った処理を実行する。より正しいユーザの意図を得るために情報処理装置は、ユーザとの相互理解をえるための処理、すなわちグラウンディング（Ｇｒｏｕｎｄｉｎｇ）処理を行なう。
【００５０】
本発明の一実施例に係る情報処理装置は、この相互理解（グラウンディング）処理において、
（１）ベイジアンネットワーク（ＢＮ：Ｂａｙｅｓｉａｎ  Ｎｅｔｗｏｒｋ）
（２）部分観測マルコフ決定過程（ＰＯＭＤＰ：Ｐａｒｔｉａｌｌｙ  Ｏｂｓｅｒｖａｂｌｅ  Ｍａｒｋｏｖ  Ｄｅｃｉｓｉｏｎ  Ｐｒｏｃｅｓｓ）
これらを利用する。
【００５１】
ベイジアンネットワーク（ＢＮ：Ｂａｙｅｓｉａｎ  Ｎｅｔｗｏｒｋ）は、複数ノードからなり、各ノード間の関連性を定義したネットワークである。ベイジアンネットワークの生成処理、利用処理については、例えばＵＳ公開特許２００４／０２２０８９２、ＵＳ公開特許２００２／０１０３７９３などに記載されている。これらの文献にはノード間の関連性を正しく設定した信頼度の高いベイジアンネットワークを生成するための処理について記載している。本発明の情報処理装置は、相互理解の推定やトラッキングを行なうためにベイジアンネットワークを利用する。例えば、ユーザの言葉に対する音声認識、言語処理、意味理解、内容把握といった様々なレベルでのデータを利用した処理を行なう。
【００５２】
部分観測マルコフ決定過程（ＰＯＭＤＰ：Ｐａｒｔｉａｌｌｙ  Ｏｂｓｅｒｖａｂｌｅ  Ｍａｒｋｏｖ  Ｄｅｃｉｓｉｏｎ  Ｐｒｏｃｅｓｓ）は、状態予測や行動決定手法の１つとして知られている。部分観測マルコフ決定過程（以下ＰＯＭＤＰ）の概要について説明する。
【００５３】
ＰＯＭＤＰは、以下の情報を適用した状態予測や行動決定を行なう手法である。
（ａ）状態情報（Ｓｔａｔｅ  ｓｐａｃｅ）：Ｓ
（ｂ）行動情報（Ａｃｔｉｏｎ  ｓｐａｃｅ）：Ａ
（ｃ）観測情報（Ｏｂｓｅｒｖａｔｉｏｎ  ｓｐａｃｅ）：Ｏ
（ｄ）報酬情報（Ｒｅｗａｒｄ  ｓｐａｃｅ）：Ｒ
これらの各情報が、時間（ｔ）の経過に伴って推移するものとし、
例えば状態遷移確率の算出関数や、報酬の算出関数、ある観測状態の発生確率を算出する関数などを定義して、取得可能な情報と、定義関数に基づいて状態予測や行動決定を実行する。
【００５４】
関数としては、例えば、時間Ｔ＝（ｔ−１）の状態Ｓ＝ｓｔ−１と行動Ａ＝ａｔ−１から、次の時間Ｔ＝（ｔ）の状態Ｓ＝ｓｔへの状態遷移確率を算出する状態遷移確率算出関数：Ｔ（ｓｔ，ａｔ−１，ｓｔ−１）＝Ｐ（ｓｔ｜ａｔ−１，ｓｔ−１）
時間Ｔ＝（ｔ）の状態Ｓ＝ｓｔと行動Ａ＝ａｔからの報酬（Ｒｅｗａｒｄ）を算出する報酬関数：Ｒ（ｓｔ，ａｔ）
時間Ｔ＝（ｔ−１）の行動Ａ＝ａｔ−１と、時間Ｔ＝（ｔ）の状態Ｓ＝ｓｔとから時間Ｔ＝（ｔ）の観測状態の発生確率を算出する観測状態確率関数：Ｏ（ｓｔ，ａｔ−１，ｏｔ−１）＝Ｐ（ｏｔ｜ａｔ−１，ｓｔ）
などが定義され、利用されることになる。
【００５５】
ＰＯＭＤＰは、上記の各種の情報や関数を適用した状態予測や行動決定処理を行なう手法である。例えば、取得可能な少ない情報から最適と判断される行動（Ａｃｔｉｏｎ）を決定する処理などに適用され、具体的には、ロボットの行動を決定する処理や、計算機を使用したシミュレーションや、データ処理、さらには、事業経営などにおける最適なアクションの決定処理など、様々な行動の決定に適用可能である。
【００５６】
上記の各情報を適用したＰＯＭＤＰによる状態予測や行動決定処理について図３を参照して説明する。図３には時間Ｔ＝ｔ−１における状態ｓｔ−１，行動ａｔ−１、報酬Ｒｔ−１、観測ｏｔ−１と、その後の時間Ｔ＝ｔにおける状態ｓｔ，行動ａｔ、報酬Ｒｔ、観測ｏｔとを示している。各ブロックを結ぶ矢印は、相互の影響を示している。矢印の出力元（ｐａｒｅｎｔ）の情報や状態が矢印の出力先（ｃｈｉｌｄ）の状態や情報に変化を及ぼす可能性があることを示している。
【００５７】
例えば、時間Ｔ＝ｔ−１において、
報酬Ｒｔ−１は、時間Ｔ＝ｔ−１の状態ｓｔ−１，行動ａｔ−１に基づいて、上述したように、報酬関数：Ｒ（ｓｔ−１，ａｔ−１）で求められる。
また、観測情報ｏｔ−１は、例えば、状態ｓｔ−１の変化に伴って変化する観察可能な情報である。
これらの関係は、いずれの時間Ｔ＝ｔ−１，ｔ，ｔ＋１，・・・においても同様となる。
【００５８】
さらに、異なる時間の関係において、時間Ｔ＝ｔにおける状態ｓｔと、時間Ｔ＝ｔ−１における状態ｓｔ−１および行動ａｔ−１との関係は、上述した状態遷移確率算出関数：Ｔ（ｓｔ，ａｔ−１，ｓｔ−１）＝Ｐ（ｓｔ｜ａｔ−１，ｓｔ−１）によって対応付けられている。すなわち、時間Ｔ＝ｔにおける状態ｓｔとなる確率は、前の時間Ｔ＝ｔ−１における、状態ｓｔ−１および行動ａｔ−１とから算出される。この関係は、連続する事象観測時間の間において、すべて成立する。
【００５９】
このように、ＰＯＭＤＰでは不確実性を含む対象領域において様々な情報（状態、行動、報酬、観測）を定義し、これらの情報に関連性に基づいて、不確実性を含む対象領域における状態遷移の予測や、自己の行動を決定する。行動の決定処理に際しては、例えば報酬が最も高く算出される行動を最善の行動として決定する処理を行なう。
【００６０】
なお、ＰＯＭＤＰの構築処理においては、情報（状態、行動、報酬、観測）間の関連性を正しく設定することが重要であり、このような処理にベイジアンネットワーク（ＢＮ：Ｂａｙｅｓｉａｎ  Ｎｅｔｗｏｒｋ）が利用される。
【００６１】
本発明の一実施例に係る情報処理装置では、例えば、ユーザや装置の実行する発話レベルでのグラウンディングプロセスのモデリングやトラッキング処理、すなわち具体的なグラウンディングプロセスの構築のためにＰＯＭＤＰを利用する。
【００６２】
その他、本発明の一実施例に係る情報処理装置では、会話レベルでのグラウンディング実行のためのルールを利用する。例えばユーザからの指示に対して明確な理解を得るための質問の生成などのルールである。
具体的には、
ユーザ：Ｉ  ｎｅｅｄ  ａ  ｆｌｉｇｈｔ  ｔｏ  Ｌｏｎｄｏｎ
このようなリクエストに対して、システムが相互理解を得るための確認処理として、
システム：Ｄｉｄ  ｙｏｕ  ｓａｙ  "ｔｏ  Ｌｏｎｄｏｎ"？
このような確認のための質問を実行し、この質問に対してユーザから、
ユーザ：Ｙｅｓ
このような答えを取得することで、理解の確信度：Ｐを高めるといったプロセスである。
目的地がロンドンであることについての［確信度（Ｐ）］は、をユーザ応答（ｙｅｓ）によって高められることになる。
この場合の確信度Ｐは、
Ｐ（Ｄｅｓｔｉｎａｔｉｏｎ＝Ｌｏｎｄｏｎ｜Ｅｖｉｄｅｎｃｅ＝Ｙｅｓ）
として示される。
【００６３】
本発明の情報処理装置の一構成例を図４に示す。ここでは、例えばチャンネル切り替えなどの処理を実行するテレビシステムを例として示している。テレビ装置の中に、ユーザとのコミュニケーションを実行するデータ処理部が構成されており、データ処理部において、ＰＯＭＤＰやベイジアンネットワークを利用した相互理解処理、すなわちグラウンディング処理を実行する。
【００６４】
図４に示す情報処理装置１００は、会話管理部（Ｄｉｓｃｏｕｒｓｅ  Ｍａｎａｇｅｒ）１０１、表示部（Ｄｉｓｐｌａｙ）１０２、タスク管理部（Ｔａｓｋ  Ｍａｎａｇｅｒ）１０３、ユーザインタフェース（ＧＵＩ  Ｆｒｏｎｔ−Ｅｎｄ）１０４を有する。ユーザインタフェース（ＧＵＩ  Ｆｒｏｎｔ−Ｅｎｄ）１０４には、言語解析部（Ｓｅｍａｎｔｉｃ  Ｐａｒｓｅｒ  Ｅｍｕｌａｔｏｒ）１０５、グラウンディング処理解析部（Ｇｒｏｕｎｄｉｎｇ  Ａｃｔ  Ｅｍｕｌａｔｏｒ）１０６が含まれる。
【００６５】
ユーザ２０の発生した言葉は、ユーザインタフェース（ＧＵＩ  Ｆｒｏｎｔ−Ｅｎｄ）１０４における言語解析部（Ｓｅｍａｎｔｉｃ  Ｐａｒｓｅｒ  Ｅｍｕｌａｔｏｒ）１０５において既存の音声認識や意味解析が実行され言葉の意味の把握などが実行される。解釈された言葉は、会話管理部（Ｄｉｓｃｏｕｒｓｅ  Ｍａｎａｇｅｒ）１０１に出力される。
【００６６】
また、グラウンディング処理の実行時には、ユーザの発した言葉はグラウンディング処理解析部（Ｇｒｏｕｎｄｉｎｇ  Ａｃｔ  Ｅｍｕｌａｔｏｒ）１０６にも入力され、グラウンディング処理、すなわちユーザ２０と情報処理装置１００との相互理解処理において実行されたユーザの行動や発話情報がグラウンディングアクト情報（Ｇｒｏｕｎｄｉｎｇ  Ａｃｔ）として抽出され、ユーザの発話情報とともに会話管理部（Ｄｉｓｃｏｕｒｓｅ  Ｍａｎａｇｅｒ）１０１に出力される。
【００６７】
ユーザの言葉の意味が言語解析部（Ｓｅｍａｎｔｉｃ  Ｐａｒｓｅｒ  Ｅｍｕｌａｔｏｒ）１０５において十分に把握された場合、会話管理部（Ｄｉｓｃｏｕｒｓｅ  Ｍａｎａｇｅｒ）１０１は、タスク管理部（Ｔａｓｋ  Ｍａｎａｇｅｒ）１０３に対してタスク実行要求を出力する。具体的には、例えばチャンネル切り替え指示情報や番組表（ＥＰＧ）表示要求などの言語情報（Ｓｅｍａｎｔｉｃ  Ｅｌｅｍｅｎｔ）を出力する。タスク管理部（Ｔａｓｋ  Ｍａｎａｇｅｒ）１０３は、会話管理部（Ｄｉｓｃｏｕｒｓｅ  Ｍａｎａｇｅｒ）１０１から入力される要求に応じたタスクを実行する。タスクの実行結果は、例えば表示部（Ｄｉｓｐｌａｙ）１０２に出力される。
【００６８】
なお、タスク管理部（Ｔａｓｋ  Ｍａｎａｇｅｒ）１０３は、会話管理部（Ｄｉｓｃｏｕｒｓｅ  Ｍａｎａｇｅｒ）１０１に対して許容されるタスク情報などについてのタスク情報を通知する。
【００６９】
一方、ユーザの言葉の意味が言語解析部（Ｓｅｍａｎｔｉｃ  Ｐａｒｓｅｒ  Ｅｍｕｌａｔｏｒ）１０５において十分に把握されなかった場合などにおいて実行されるグラウンディング処理の実行時には、グラウンディング処理解析部（Ｇｒｏｕｎｄｉｎｇ  Ａｃｔ  Ｅｍｕｌａｔｏｒ）１０６において、ユーザの行動や発話情報がグラウンディングアクト情報（Ｇｒｏｕｎｄｉｎｇ  Ａｃｔ）として抽出され、ユーザの発話情報とともに会話管理部（Ｄｉｓｃｏｕｒｓｅ  Ｍａｎａｇｅｒ）１０１に出力される。
【００７０】
会話管理部（Ｄｉｓｃｏｕｒｓｅ  Ｍａｎａｇｅｒ）１０１は、グラウンディング処理解析部（Ｇｒｏｕｎｄｉｎｇ  Ａｃｔ  Ｅｍｕｌａｔｏｒ）１０６からの情報入力に応じてグラウンディング処理、すなわち、ユーザとの相互理解を行なうためのグラウンディング処理を行なう。このグラウンディング処理に際しては、ＰＯＭＤＰが利用される。
【００７１】
グラウンディング処理では、例えば、表示部（Ｄｉｓｐｌａｙ）１０２に対する質問の表示などを実行し、その質問に対するユーザ２０からの回答をユーザインタフェース（ＧＵＩ  Ｆｒｏｎｔ−Ｅｎｄ）１０４を介して入力し、言語解析部（Ｓｅｍａｎｔｉｃ  Ｐａｒｓｅｒ  Ｅｍｕｌａｔｏｒ）１０５における音声認識や意味解析などを含む言語解析、グラウンディング処理解析部（Ｇｒｏｕｎｄｉｎｇ  Ａｃｔ  Ｅｍｕｌａｔｏｒ）１０６におけるグラウンディングアクトの抽出などが実行され、その結果情報が会話管理部（Ｄｉｓｃｏｕｒｓｅ  Ｍａｎａｇｅｒ）１０１に入力される。グラウンディング処理においては、この処理が繰り返し実行されることになる。
【００７２】
会話管理部（Ｄｉｓｃｏｕｒｓｅ  Ｍａｎａｇｅｒ）１０１におけるＰＯＭＤＰを利用したグラウンディング処理によって、最終的にユーザの発した言葉の意味が確認された場合は、会話管理部（Ｄｉｓｃｏｕｒｓｅ  Ｍａｎａｇｅｒ）１０１は、タスク管理部（Ｔａｓｋ  Ｍａｎａｇｅｒ）１０３に対してタスク実行要求を出力する。具体的には、例えばチャンネル切り替え指示情報や番組表（ＥＰＧ）表示要求などの言語情報（Ｓｅｍａｎｔｉｃ  Ｅｌｅｍｅｎｔ）を出力する。タスク管理部（Ｔａｓｋ  Ｍａｎａｇｅｒ）１０３は、会話管理部（Ｄｉｓｃｏｕｒｓｅ  Ｍａｎａｇｅｒ）１０１から入力される要求に応じたタスクを実行する。タスクの実行結果は、例えば表示部（Ｄｉｓｐｌａｙ）１０２に出力される。
【００７３】
会話管理部（Ｄｉｓｃｏｕｒｓｅ  Ｍａｎａｇｅｒ）１０１の実行するグラウンディング処理の詳細シーケンスについて、図５に示すフローチャートを参照して説明する。
【００７４】
図５に示すフローチャートにおいて、ブロック２００が会話管理部（Ｄｉｓｃｏｕｒｓｅ  Ｍａｎａｇｅｒ）１０１内に構成されたＰＯＭＤＰ実行部の処理である。すなわち、部分観測マルコフ決定過程（ＰＯＭＤＰ：Ｐａｒｔｉａｌｌｙ  Ｏｂｓｅｒｖａｂｌｅ  Ｍａｒｋｏｖ  Ｄｅｃｉｓｉｏｎ  Ｐｒｏｃｅｓｓ）を適用した処理として実行される。
【００７５】
まず、ステップＳ１０１において、ユーザ発話が実行されると、ユーザの発話情報は、会話管理部（Ｄｉｓｃｏｕｒｓｅ  Ｍａｎａｇｅｒ）１０１に入力される。会話管理部１０１では、まず、ステップＳ１０２において、ユーザと装置の相互理解レベルの指標として用いる理解確信度（Ｂｅｌｉｅｆ  ｏｆ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ）情報（ＰＬ）の更新処理を行なう。理解確信度情報（ＰＬ）は、この時点では以下のように示される。
ＰＬ（Ｃ｜Ｓｅｍａｎｔｉｃ）
Ｃは理解（Ｃｏｍｐｌｅｈｅｎｄ）を意味し、（Ｃ｜Ｓｅｍａｎｔｉｃ）は、言語処理に基づく情報（セマンティック情報）のみからの理解度であることを示している。すなわち、得られている情報がセマンティック情報のみであることが示されている。
【００７６】
この理解確信度情報（ＰＬ）が、ＰＯＭＤＰ処理を実行するＰＯＭＤＰ実行部２００に入力され、ステップＳ２０１において、理解確信度情報（ＰＬ）が十分な値、例えば予め設定した閾値以上であるか否かが判定される。理解確信度情報（ＰＬ）が十分なに高い値である場合、ステップＳ２０２に進み、タスク管理部１０３に対してタスク要求の妥当性の確認、例えばユーザ要求に従ったタスクの実行が可能であるか否かなどの確認処理を実行し、そのタスク実現性に関する情報を含む確認情報を実体的情報（Ｐｒａｇｍａｔｉｃ  Ｏｐｉｎｉｏｎ）として取得し、ステップＳ２０３に進む。
【００７７】
ステップＳ２０３では、タスク管理部１０３から取得した実体的情報（Ｐｒａｇｍａｔｉｃ  Ｏｐｉｎｉｏｎ）を加味して理解確信度情報（ＰＬ）の更新処理を行なう。理解確信度情報（ＰＬ）は、この時点では以下のように示される。
ＰＬ（Ｃ｜Ｓｅｍａｎｔｉｃ，Ｐｒａｇｍａｔｉｃ）
Ｃは理解（Ｃｏｍｐｌｅｈｅｎｄ）を意味し、（Ｃ｜Ｓｅｍａｎｔｉｃ，Ｐｒａｇｍａｔｉｃ）は、言語処理に基づく情報（セマンティック情報）と、タスク管理部１０３から取得した実体的情報（Ｐｒａｇｍａｔｉｃ  Ｏｐｉｎｉｏｎ）から算出される理解度であることを示している。
【００７８】
例えば、ユーザ要求がタスク管理部１０３において実行可能な要求であった場合には、実体的情報（Ｐｒａｇｍａｔｉｃ  Ｏｐｉｎｉｏｎ）は肯定的なデータとなり、ステップＳ２０３で更新される理解確信度情報（ＰＬ）、すなわち、
ＰＬ（Ｃ｜Ｓｅｍａｎｔｉｃ，Ｐｒａｇｍａｔｉｃ）
この値は、ステップＳ１０２で設定した理解確信度情報（ＰＬ）
ＰＬ（Ｃ｜Ｓｅｍａｎｔｉｃ）
上記値より上昇することになる。
【００７９】
一方、ユーザ要求がタスク管理部１０３において実行不可能な要求であった場合には、実体的情報（Ｐｒａｇｍａｔｉｃ  Ｏｐｉｎｉｏｎ）は否定的なデータとなり、ステップＳ２０３で更新される理解確信度情報（ＰＬ）、すなわち、
ＰＬ（Ｃ｜Ｓｅｍａｎｔｉｃ，Ｐｒａｇｍａｔｉｃ）
この値は、ステップＳ１０２で設定した理解確信度情報（ＰＬ）
ＰＬ（Ｃ｜Ｓｅｍａｎｔｉｃ）
上記値より低下するといった更新処理が行なわれることになる。
【００８０】
ステップＳ２０４では、ステップＳ２０３で更新された理解確信度情報（ＰＬ）、すなわち、
ＰＬ（Ｃ｜Ｓｅｍａｎｔｉｃ，Ｐｒａｇｍａｔｉｃ）
この値に基づいて理解度が十分であるか否かが判定される。例えば、理解確信度情報（ＰＬ）が予め設定した閾値以上であるか否かが判定され、予め設定した閾値以上である場合はユーザの意図が理解されたと判断し、ステップＳ１３１に進みグラウンディングフェーズをリセット、すなわちグラウンディング処理を終了し、ステップＳ１３２に進む。
【００８１】
ステップＳ１３２では、グラウンディング処理の結果として得られたユーザ要求情報をタスク管理部１０３に通知して、必要な処理を実行させる。
【００８２】
一方、ステップＳ２０４で、理解確信度情報（ＰＬ）が予め設定した閾値以上でないと判定した場合はユーザの意図が理解されなかったと判断し、ステップＳ２０５に進み、次に実行すべきグラウンディング処理を決定して、ステップＳ１２１に進む。なおステップＳ２０５では、ＰＯＭＤＰにおいて算出されるコストに応じて最良と判断されるアクションを実行アクションとして決定する処理を行なう。
【００８３】
ステップＳ１２１では、グラウンディングフェーズの更新を実行する。なお、グラウンディングフェーズとはグラウンディング処理における実行フェーズであり、例えば先に図１，２を参照して説明したグラウンディングモデルにおけるフェーズＳ，１，２，３，４，Ｆ，Ｄの各フェーズが利用可能である。なお、グラウンディング処理のシーケンスやフェーズ設定は様々な設定が可能であり、図１，２に示すモデルに限定されるものではない。
【００８４】
ステップＳ１２１においてグラウンディングフェーズの更新を実行して決定された処理がステップＳ１２２において実行される例えば表示部（ディスプレイ）１０２に対して、ユーザの要求確認のための質問の表示などが実行される。
【００８５】
なお、図５に示す処理は、例えばグラウンディング処理の実行期間において継続的に繰り返し実行され、ステップＳ２０４において理解成功が確認されるか、あるいは、グラウンディングフェーズが終了するまで繰り返し実行される。
【００８６】
次に、図５に示す会話管理部（Ｄｉｓｃｏｕｒｓｅ  Ｍａｎａｇｅｒ）１０１の実行する処理において、ＰＯＭＤＰ実行部２００の実行する処理、すなわち、部分観測マルコフ決定過程（ＰＯＭＤＰ：Ｐａｒｔｉａｌｌｙ  Ｏｂｓｅｒｖａｂｌｅ  Ｍａｒｋｏｖ  Ｄｅｃｉｓｉｏｎ  Ｐｒｏｃｅｓｓ）を適用した処理について、さらに図６を参照して説明する。
【００８７】
ＰＯＭＤＰ実行部２００は、ＰＯＭＤＰを適用した処理として、以下の２つの処理を行なう。
（Ａ）ユーザ発話がグラウンディング（理解）されたかの管理処理
（Ｂ）グラウンディングの状態（フェーズ）遷移の管理処理
これらの２種類の処理を実行する。
【００８８】
図６に、これら（Ａ），（Ｂ）２つの処理についてＰＯＭＤＰにおける管理情報、すなわち、先に図３を参照して説明した以下の情報
（ａ）状態情報（Ｓｔａｔｅ  ｓｐａｃｅ）：Ｓ
（ｂ）行動情報（Ａｃｔｉｏｎ  ｓｐａｃｅ）：Ａ
（ｃ）観測情報（Ｏｂｓｅｒｖａｔｉｏｎ  ｓｐａｃｅ）：Ｏ
（ｄ）報酬情報（Ｒｅｗａｒｄ  ｓｐａｃｅ）：Ｒ
を示す。
【００８９】
なお、このＰＯＭＤＰは、観測情報（Ｏｂｓｅｒｖａｔｉｏｎ）を末端ノードとしたベイジアンネットワーク（Ｂａｙｅｓｉａｎ  Ｎｅｔｗｏｒｋ）によって構築されている。ベイジアンネットワークは、確率変数の依存関係を有向グラフの形式で表現したネットワークであり、例えば、事象をノード、各事象間の因果関係をリンクにより記述した有向グラフである。学習サンプルデータを用いた学習によって、ベイジアンネットワークを構成するノードについて、個別の条件に基づいて発生する確率をまとめたテーブルとしてのコンディショナル確率テーブル（ＣＰＴ：Ｃｏｎｄｉｔｉｏｎａｌ  Ｐｒｏｂａｂｉｌｉｔｙ  Ｔａｂｌｅｓ）を得ることができる。
【００９０】
ベイジアンネットワークおよびコンディショナル確率テーブル（ＣＰＴ）について、図７を参照して説明する。ベイジアンネットワークは確率推論を行なうために適用され、特に、一部の事象のみしか観察できない不確実性を含む対象領域における予測や意思決定を定量的に取り扱うことができる。このアルゴリズムの基本は、複数の事象をノードとして設定しノード間の依存関係をモデル化するものである。
【００９１】
図７に示す例では、ノードとして、［Ｃｌｏｕｄｙ（曇り）］、［Ｓｐｒｉｎｋｌｅｒ（噴水）］、［Ｒａｉｎ（雨）］、［ＷｅｔＧｌａｓｓ（濡れ芝）］の４つの事象ノードを設定した例を示している。各ノードを結ぶ矢印は、矢印の出力元（親ノード）が、矢印の出力先（子ノード）の状態に影響を及ぼすことを示す。
【００９２】
図に示す例では、ノード［Ｃｌｏｕｄｙ（曇り）］が、
真（Ｔｒｕｅ）の確率＝０．５
偽（Ｆａｌｓｅ）の確率＝０．５
であるとする。
【００９３】
この場合、ノード［Ｃｌｏｕｄｙ（曇り）］を親ノードとする子ノード［Ｓｐｒｉｎｋｌｅｒ（噴水）］において、Ｓｐｒｉｎｋｌｅｒ（噴水）が動作する（Ｔｒｕｅ）確率と、動作しない（Ｆａｌｓｅ）確率を、親ノード［Ｃｌｏｕｄｙ（曇り）］の状態に応じたコンディショナル確率テーブル（ＣＰＴ：Ｃｏｎｄｉｔｉｏｎａｌ  Ｐｒｏｂａｂｉｌｉｔｙ  Ｔａｂｌｅｓ）として得ることができる。図７に示すＣＰＴ３０１である。
【００９４】
ＣＰＴ３０１は、
親ノード［Ｃｌｏｕｄｙ（曇り）］＝Ｆ（Ｆａｌｓｅ）の場合、
子ノード［Ｓｐｒｉｎｋｌｅｒ（噴水）］が、
動作しない（Ｆａｌｓｅ）確率＝０．５
動作する（Ｔｒｕｅ）確率＝０．５
であり、
親ノード［Ｃｌｏｕｄｙ（曇り）］＝Ｔ（Ｔｒｕｅ）の場合、
子ノード［Ｓｐｒｉｎｋｌｅｒ（噴水）］が、
動作しない（Ｆａｌｓｅ）確率＝０．９
動作する（Ｔｒｕｅ）確率＝０．１
であることを示している。
ＣＰＴ３０１において、Ｐ（Ｓ＝Ｆ）は、子ノード［Ｓｐｒｉｎｋｌｅｒ（噴水）］が偽（Ｆａｌｓｅ）である確率（Ｐｏｓｓｉｂｉｌｉｔｙ）を示し、Ｐ（Ｓ＝Ｔ）は、子ノード［Ｓｐｒｉｎｋｌｅｒ（噴水）］が真（Ｔｒｕｅ）である確率（Ｐｏｓｓｉｂｉｌｉｔｙ）を示している。
【００９５】
また、ノード［Ｃｌｏｕｄｙ（曇り）］を親ノードとする子ノード［Ｒａｉｎ（雨）］において、Ｒａｉｎ（雨）である（Ｔｒｕｅ）確率と、Ｒａｉｎ（雨）でない（Ｆａｌｓｅ）確率を、親ノード［Ｃｌｏｕｄｙ（曇り）］の状態に応じたコンディショナル確率テーブル（ＣＰＴ：Ｃｏｎｄｉｔｉｏｎａｌ  Ｐｒｏｂａｂｉｌｉｔｙ  Ｔａｂｌｅｓ）として得ることができる。図７に示すＣＰＴ３０２である。
【００９６】
ＣＰＴ３０２は、
親ノード［Ｃｌｏｕｄｙ（曇り）］＝Ｆ（Ｆａｌｓｅ）の場合、
子ノード［Ｒａｉｎ（雨）］が、
雨でない（Ｆａｌｓｅ）確率＝０．８
雨である（Ｔｒｕｅ）確率＝０．２
であり、
親ノード［Ｃｌｏｕｄｙ（曇り）］＝Ｔ（Ｔｒｕｅ）の場合、
子ノード［Ｒａｉｎ（雨）］が、
雨でない（Ｆａｌｓｅ）確率＝０．２
雨である（Ｔｒｕｅ）確率＝０．８
であることを示している。
【００９７】
さらに、ノード［Ｓｐｒｉｎｋｌｅｒ（噴水）］と、ノード［Ｒａｉｎ（雨）］を親ノードとする子ノード［ＷｅｔＧｌａｓｓ（濡れ芝）］において、芝が濡れている（Ｔｒｕｅ）確率と、芝が濡れていない（Ｆａｌｓｅ）確率を、親ノードノード［Ｓｐｒｉｎｋｌｅｒ（噴水）］と［Ｒａｉｎ（雨）］の状態に応じたコンディショナル確率テーブル（ＣＰＴ：Ｃｏｎｄｉｔｉｏｎａｌ  Ｐｒｏｂａｂｉｌｉｔｙ  Ｔａｂｌｅｓ）として得ることができる。図７に示すＣＰＴ３０３である。
【００９８】
ＣＰＴ３０３は、
親ノード［Ｓｐｒｉｎｋｌｅｒ（噴水）］＝Ｆ（Ｆａｌｓｅ）
親ノード［Ｒａｉｎ（雨）］＝Ｆ（Ｆａｌｓｅ）の場合、
子ノード［ＷｅｔＧｌａｓｓ（濡れ芝）］が、
芝が濡れていない（Ｆａｌｓｅ）確率＝１．０
芝が濡れている（Ｔｒｕｅ）確率＝０．０
であり、
親ノード［Ｓｐｒｉｎｋｌｅｒ（噴水）］＝Ｔ（Ｔｒｕｅ）
親ノード［Ｒａｉｎ（雨）］＝Ｆ（Ｆａｌｓｅ）の場合、
子ノード［ＷｅｔＧｌａｓｓ（濡れ芝）］が、
芝が濡れていない（Ｆａｌｓｅ）確率＝０．１
芝が濡れている（Ｔｒｕｅ）確率＝０．９
であり、
親ノード［Ｓｐｒｉｎｋｌｅｒ（噴水）］＝Ｆ（Ｆａｌｓｅ）
親ノード［Ｒａｉｎ（雨）］＝Ｔ（Ｔｒｕｅ）の場合、
子ノード［ＷｅｔＧｌａｓｓ（濡れ芝）］が、
芝が濡れていない（Ｆａｌｓｅ）確率＝０．１
芝が濡れている（Ｔｒｕｅ）確率＝０．９
であり、
親ノード［Ｓｐｒｉｎｋｌｅｒ（噴水）］＝Ｔ（Ｔｒｕｅ）
親ノード［Ｒａｉｎ（雨）］＝Ｔ（Ｔｒｕｅ）場合、
子ノード［ＷｅｔＧｌａｓｓ（濡れ芝）］が、
芝が濡れていない（Ｆａｌｓｅ）確率＝０．０１
芝が濡れている（Ｔｒｕｅ）確率＝０．９９
であることを示している。
【００９９】
このように子ノードでのそれぞれの結果が生じる確率を親ノードのコンディションの確率に依存した分布を示すテーブルとして設定したテーブルが、コンディショナル確率テーブル（ＣＰＴ：Ｃｏｎｄｉｔｉｏｎａｌ  Ｐｒｏｂａｂｉｌｉｔｙ  Ｔａｂｌｅｓ）である。このようにベイジアンネットワークを適用することで、ある原因が生じたという条件のもとである結果が得られる条件付確率の表としてのＣＰＴを取得することができる。
【０１００】
本発明の構成では、先に図３を参照して説明した以下の情報
（ａ）状態情報（Ｓｔａｔｅ  ｓｐａｃｅ）：Ｓ
（ｂ）行動情報（Ａｃｔｉｏｎ  ｓｐａｃｅ）：Ａ
（ｃ）観測情報（Ｏｂｓｅｒｖａｔｉｏｎ  ｓｐａｃｅ）：Ｏ
（ｄ）報酬情報（Ｒｅｗａｒｄ  ｓｐａｃｅ）：Ｒ
これらの各情報に含まれる要素の依存関係を、ベイジアンネットワークを利用して表現し、図６に示すＰＯＭＤＰを設定している。ＰＯＭＤＰ実行部２００は、ベイジアンネットワークを利用したＰＯＭＤＰ処理として、以下の２つの処理を個別のベイジアンネットワークを設定して実行する。
（Ａ）ユーザ発話がグラウンディング（理解）されたかの管理処理
（Ｂ）グラウンディングの状態（フェーズ）遷移の管理処理
これらの２種類の処理を実行する。
【０１０１】
図６に示す各ノードの情報について説明する。
（Ａ）ユーザ発話がグラウンディング（理解）されたかの管理処理において、
観測情報（Ｏｂｓｅｒｖａｔｉｏｎ  ｓｐａｃｅ）は、
実体的情報（Ｐｒａｇｍａｔｉｃ  Ｅｖｉｄｅｎｃｅ）２２１
全体観察情報（Ｏｖｅｒａｌｌ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ）２２２
言語意味解析情報（Ｓｅｍａｎｔｉｃ  Ｅｖｉｄｅｎｃｅ）２２３
これら３つの観測情報によって構成される。
【０１０２】
状態情報（Ｓｔａｔｅ  ｓｐａｃｅ）は、
実体的状態（Ｐｒａｇｍａｔｉｃ）２３１
意味解析状態（Ｓｅｍａｎｔｉｃ）２３２
理解完了状態（Ｇｒｏｕｎｄｅｄ）２３３
これら３つの状態情報によって構成される。
【０１０３】
さらに、報酬情報（Ｒｅｗａｒｄ  ｓｐａｃｅ）として、
グラウンディングコスト（Ｇｒｏｕｎｄｉｎｇ  Ｃｏｓｔ）２４１
が設定される。
【０１０４】
観測情報（Ｏｂｓｅｒｖａｔｉｏｎ  ｓｐａｃｅ）に含まれる実体的情報（Ｐｒａｇｍａｔｉｃ  Ｅｖｉｄｅｎｃｅ）２２１は、先に説明した図５のフローにおけるステップＳ２０２においてタスク管理部１０３から得られるタスクの実現性などの情報である。
例えばタスクの実現性の有無に応じた（Ｙｅｓ，Ｎｏ）の２つの観測情報が得られる。
【０１０５】
また、観測情報（Ｏｂｓｅｒｖａｔｉｏｎ  ｓｐａｃｅ）に含まれる全体観察情報（Ｏｖｅｒａｌｌ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ）２２２は、観測情報２４１，２４３から得られる観測情報以外の様々な情報が含まれる。例えば発話を実行したユーザの会話状況、システムの出力した質問に応答した／しないといった状況や、ユーザが存在するか否かといった各種の情報についての観察情報などが含まれる。
各観測情報に応じて例えば（Ｙｅｓ，Ｎｏ）の２つの観測情報が得られる。
【０１０６】
さらに、観測情報（Ｏｂｓｅｒｖａｔｉｏｎ  ｓｐａｃｅ）に含まれる言語意味解析情報（Ｓｅｍａｎｔｉｃ  Ｅｖｉｄｅｎｃｅ）２２３は、ユーザの発した言葉の音声認識、意味解析結果の情報である。
例えば意味解析成功か否かに応じた（Ｙｅｓ，Ｎｏ）の２つの観測情報が得られる。
【０１０７】
状態情報（Ｓｔａｔｅ  ｓｐａｃｅ）に含まれるタスク実現性を含む実体的状態（Ｐｒａｇｍａｔｉｃ）２３１は、観測情報（Ｏｂｓｅｒｖａｔｉｏｎ  ｓｐａｃｅ）に含まれる実体的情報（Ｐｒａｇｍａｔｉｃ  Ｅｖｉｄｅｎｃｅ）２２１の解析情報に基づく状態値が設定される。
例えば、例えばタスクの実現性の有無に応じて（Ｙｅｓ，Ｎｏ）の２つの状態が確率値として設定される。具体的には、Ｙｅｓの確率［０．８］、Ｎｏの確率［０．２］などの確率値データである。
【０１０８】
図８（１）に実体的解析状態（Ｐｒａｇｍａｔｉｃ）２３１の持つ時間経過に従った状態値データの推移例を示す。［Ｙｅｓ］の確率値と、［Ｎｏ］の確率値が観測情報（実体的情報（Ｐｒａｇｍａｔｉｃ  Ｅｖｉｄｅｎｃｅ）２２１）の入力に従った時間経過に伴って変化する。
【０１０９】
また、状態情報（Ｓｔａｔｅ  ｓｐａｃｅ）に含まれる意味解析状態（Ｓｅｍａｎｔｉｃ）２３２は、観測情報（Ｏｂｓｅｒｖａｔｉｏｎ  ｓｐａｃｅ）に含まれる言語意味解析情報（Ｓｅｍａｎｔｉｃ  Ｅｖｉｄｅｎｃｅ）２２３の解析情報に基づく状態が設定される。
例えば、意味解析成功か否かの観測情報に応じて（Ｙｅｓ，Ｎｏ）の２つの状態が確率値として設定される。具体的には、Ｙｅｓの確率［０．９］、Ｎｏの確率［０．１］などの確率値データである。
【０１１０】
図８（２）に意味解析状態（Ｓｅｍａｎｔｉｃ）２３２の持つ時間経過に従った状態値データの推移例を示す。［Ｙｅｓ］の確率値と、［Ｎｏ］の確率値が観測情報（言語意味解析情報（Ｓｅｍａｎｔｉｃ  Ｅｖｉｄｅｎｃｅ）２２３）の入力に従った時間経過に伴って変化する。
【０１１１】
さらに、状態情報（Ｓｔａｔｅ  ｓｐａｃｅ）に含まれる理解完了状態（Ｇｒｏｕｎｄｅｄ）２３３は、状態情報（Ｓｔａｔｅ  ｓｐａｃｅ）に含まれるタスク実現性などを含む実体的状態（Ｐｒａｇｍａｔｉｃ）２３１と、意味解析状態（Ｓｅｍａｎｔｉｃ）２３２の情報と、その他の観測情報である全体観察情報（Ｏｖｅｒａｌｌ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ）２２２によって取得される観測情報、例えば発話を実行したユーザの会話状況、システムの出力した質問に応答した／しないといった状況や、ユーザが存在するか否かといった各種の情報についての観察情報などに基づく総合的な状態値が設定される。
例えば、理解が完了したか否かの（Ｙｅｓ，Ｎｏ）の２つの状態が確率値として設定される。具体的には、Ｙｅｓの確率［０．７］、Ｎｏの確率［０．３］などの確率値データである。
【０１１２】
図８（３）に理解完了状態（Ｇｒｏｕｎｄｅｄ）２３３の持つ時間経過に従った状態値データの推移例を示す。［Ｙｅｓ］の確率値と、［Ｎｏ］の確率値が、タスク実現性情報などによって生成される実体的状態（Ｐｒａｇｍａｔｉｃ）２３１と、意味解析状態（Ｓｅｍａｎｔｉｃ）２３２の情報と、その他の観測情報である全体観察情報（Ｏｖｅｒａｌｌ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ）２２２の入力に従った時間経過に伴って変化する。
【０１１３】
報酬情報（Ｒｅｗａｒｄ  ｓｐａｃｅ）として設定されるグラウンディングコスト（Ｇｒｏｕｎｄｉｎｇ  Ｃｏｓｔ）２４１は、状態情報（Ｓｔａｔｅ  ｓｐａｃｅ）に含まれる理解完了状態（Ｇｒｏｕｎｄｅｄ）２３３の実行のコストに相当する。例えば、グラウンディング処理によって十分な理解が得られて正しい処理が可能となった場合や、結果として理解が得られず時間の浪費となった場合にコストに差が生じる設定とされる。
【０１１４】
また、（Ｂ）グラウンディングの状態（フェーズ）遷移の管理処理において、
観測情報（Ｏｂｓｅｒｖａｔｉｏｎ  ｓｐａｃｅ）は、
ユーザグラウンディングアクション（Ｕｓｅｒ  Ｇｒｏｕｎｄｉｎｇ  Ａｃｔ）２５１
この情報によって構成される。
【０１１５】
状態情報（Ｓｔａｔｅ  ｓｐａｃｅ）は、
事前プロセス（Ｐｒｏｃｅｓｓ  ｐｒｅｖｉｏｕｓ  ｓｔａｔｅ）２６１
プロセス（ｐｒｏｃｅｓｓ）２６２
これら２つの状態情報によって構成される。
【０１１６】
行動情報（Ａｃｔｉｏｎ  ｓｐａｃｅ）は、
情報処理装置の実行するシステムグラウンディングアクション（Ｓｙｓｔｅｍ  Ｇｒｏｕｎｄｉｎｇ  Ａｃｔｉｏｎ）２７１
によって構成される。
【０１１７】
さらに、報酬情報（Ｒｅｗａｒｄ  ｓｐａｃｅ）として、
プロセスコスト（Ｐｒｏｃｅｓｓ  Ｃｏｓｔｓ）２８１
アクションコスト（Ａｃｔｉｏｎ  Ｃｏｓｔｓ）２８２
これらの２つの報酬情報が設定される。
【０１１８】
観測情報（Ｏｂｓｅｒｖａｔｉｏｎ  ｓｐａｃｅ）に含まれるユーザグラウンディングアクション（Ｕｓｅｒ  Ｇｒｏｕｎｄｉｎｇ  Ａｃｔ）２５１は、グラウンディング処理において実行するユーザのアクション情報である。具体的には、例えば、先に図１、図２を参照して説明したグラウンディングモデルを適用する場合、ユーザのアクションとして、
発話開始処理（Ｉｎｉｔｉａｔｅ）
継続処理（ｃｏｎｔｉｎｕｅ）
確認処理（ｒｅｐａｉｒ）
確認要求処理（ＲｅｑＲｅｐａｉｒ）
理解確認応答（ａｃｋ）
理解確認応答要求（Ｒｅｑａｃｋ）
キャンセル（ｃａｎｃｅｌ）
これらの観測情報が得られることになる。
【０１１９】
状態情報（Ｓｔａｔｅ  ｓｐａｃｅ）に含まれる事前プロセス（Ｐｒｏｃｅｓｓ  ｐｒｅｖｉｏｕｓ  ｓｔａｔｅ）２６１、およびプロセス（ｐｒｏｃｅｓｓ）２６２は、グラウンディングアクションにおける時系列の２つの実行プロセス状態に相当する。例えば、先に図１、図２を参照して説明したグラウンディングモデルを適用する場合、これらの事前プロセス２６１、およびプロセス２６２の状態値は、Ｓ，１，２，３，４，Ｆ，Ｄ、すなわち、
Ｓ：初期状態、
１：開始直後、
２．システム困惑、
３．要確認
４．ユーザ困惑、
Ｄ．キャンセル
Ｆ．グラウンディング完了
これらの７状態のそれぞれに対する確率値が設定される。Ｓ〜Ｆのそれぞれの確率値の総計が［１］になるように、Ｓ〜Ｆ対応の確率値が設定される。
【０１２０】
図９にプロセス（ｐｒｏｃｅｓｓ）２６２の持つ時間経過に従った状態値データの推移例を示す。Ｓ〜Ｆ対応の確率値が観測情報（ユーザグラウンディングアクション（Ｕｓｅｒ  Ｇｒｏｕｎｄｉｎｇ  Ａｃｔ）２５１）の入力に従った時間経過に伴って変化する。
【０１２１】
行動情報（Ａｃｔｉｏｎ  ｓｐａｃｅ）に含まれるシステムグラウンディングアクション（Ｓｙｓｔｅｍ  Ｇｒｏｕｎｄｉｎｇ  Ａｃｔｉｏｎ）２７１は、情報処理装置の実行する相互理解のためのグラウンディングアクションである。これは、システム側の実行する処理であり、先に図１、図２を参照して説明したグラウンディングモデルを適用する場合、システムの実行アクションとして、
処理開始（Ｉｎｉｔｉａｔｅ）
継続処理（ｃｏｎｔｉｎｕｅ）
確認処理（ｒｅｐａｉｒ）
確認要求処理（ＲｅｑＲｅｐａｉｒ）
理解確認応答（ａｃｋ）
理解確認応答要求（Ｒｅｑａｃｋ）
キャンセル（ｃａｎｃｅｌ）
これらの処理が行なわれることになる。
【０１２２】
報酬情報（Ｒｅｗａｒｄ  ｓｐａｃｅ）として設定されるプロセスコスト（Ｐｒｏｃｅｓｓ  Ｃｏｓｔｓ）２８１は、状態情報（Ｓｔａｔｅ  ｓｐａｃｅ）に含まれるプロセス（Ｐｒｏｃｅｓｓ）２６２の実行のコストに相当する。例えば、プロセスに要する時間や、処理負荷などに応じてコストに差が生じる設定とされる。
【０１２３】
報酬情報（Ｒｅｗａｒｄ  ｓｐａｃｅ）として設定されるアクションコスト（Ａｃｔｉｏｎ  Ｃｏｓｔｓ）２８２は、行動情報（Ａｃｔｉｏｎ  ｓｐａｃｅ）に含まれるシステムグラウンディングアクション（Ｓｙｓｔｅｍ  Ｇｒｏｕｎｄｉｎｇ  Ａｃｔｉｏｎ）２７１の実行のコストに相当する。例えば、グラウンディング処理に要する時間や、処理負荷などに応じてコストに差が生じる設定とされる。
【０１２４】
図６に示すシステムグラウンディングアクション（Ｓｙｓｔｅｍ  Ｇｒｏｕｎｄｉｎｇ  Ａｃｔｉｏｎ）２７１は、ＰＯＭＤＰにおける行動情報（Ａｃｔｉｏｎ  ｓｐａｃｅ）に対応する。システムグラウンディングアクション（Ｓｙｓｔｅｍ  Ｇｒｏｕｎｄｉｎｇ  Ａｃｔｉｏｎ）２７１は、情報処理装置の実行する相互理解のためのグラウンディングアクションである。
【０１２５】
先に図１、図２を参照して説明したグラウンディングモデルを適用する場合、システムの実行アクションは、
処理開始（Ｉｎｉｔｉａｔｅ）
継続処理（ｃｏｎｔｉｎｕｅ）
確認処理（ｒｅｐａｉｒ）
確認要求処理（ＲｅｑＲｅｐａｉｒ）
理解確認応答（ａｃｋ）
理解確認応答要求（Ｒｅｑａｃｋ）
キャンセル（ｃａｎｃｅｌ）
これらの処理のいずれかとなる。これらの処理のいずれを実行するかについては、ＰＯＭＤＰにおいて設定されたコスト算出アルゴリズムに従って算出されたコストに応じて決定される。
【０１２６】
先に図１、図２を参照して説明したグラウンディングモデルを適用する場合、システムの実行アクションは上記の７種類のアクション［処理開始（Ｉｎｉｔｉａｔｅ）〜キャンセル（ｃａｎｃｅｌ）］のいずれかとなる。しかし、先に説明したように、図１，２に示すグラウンディングモデルは一例であり、他の形態のグラウンディングモデルを適用することも可能である。
【０１２７】
例えば、システムやユーザの実行アクションとして、
処理開始（Ｉｎｉｔｉａｔｅ）
理解確認応答（ａｃｋ）
キャンセル（ｃａｎｃｅｌ）
これらの３つのみのアクションのみを定義した簡略化したグラウンディングモデルを適用してもよい。
【０１２８】
例えば図１に示すグラウンディングモデルから、処理開始（Ｉｎｉｔｉａｔｅ）、理解確認応答（ａｃｋ）、キャンセル（ｃａｎｃｅｌ）、これらの３つのアクションのみを残して、他のアクションを省略したグラウンディングモデルが利用できる。なお、図１に示すグラウンディングフェーズＳ，１，２，３，４，Ｆ，Ｄ、これらのフェーズも一部省略した設定としてもよい。
【０１２９】
処理開始（Ｉｎｉｔｉａｔｅ）、理解確認応答（ａｃｋ）、キャンセル（ｃａｎｃｅｌ）、これらの３つのアクションのみを定義した簡略化したグラウンディングモデルを適用した場合の処理例について説明する。
【０１３０】
例えば、ＰＯＭＤＰに従ったグラウンディング処理を実行する装置がテレビを持つ装置であり、ユーザがテレビのチャンネル変更を要求した場合についての具体例について説明する。
ユーザが「チャンネルを１にして下さい。」と装置側に要求した場合、まず、ユーザの言葉の意味を図４に示す言語解析部（Ｓｅｍａｎｔｉｃ  Ｐａｒｓｅｒ  Ｅｍｕｌａｔｏｒ）１０５が解析する。
【０１３１】
言語解析部（Ｓｅｍａｎｔｉｃ  Ｐａｒｓｅｒ  Ｅｍｕｌａｔｏｒ）１０５においてユーザの発話が十分に把握されなかった場合などに、グラウンディング処理が実行される。この場合、グラウンディング処理解析部（Ｇｒｏｕｎｄｉｎｇ  Ａｃｔ  Ｅｍｕｌａｔｏｒ）１０６において、ユーザの行動や発話情報がグラウンディングアクト情報（Ｇｒｏｕｎｄｉｎｇ  Ａｃｔ）として抽出され、ユーザの発話情報とともに会話管理部（Ｄｉｓｃｏｕｒｓｅ  Ｍａｎａｇｅｒ）１０１に出力される。
【０１３２】
会話管理部（Ｄｉｓｃｏｕｒｓｅ  Ｍａｎａｇｅｒ）１０１は、グラウンディング処理解析部（Ｇｒｏｕｎｄｉｎｇ  Ａｃｔ  Ｅｍｕｌａｔｏｒ）１０６からの情報入力に応じてグラウンディング処理、すなわち、ユーザとの相互理解を行なうためのグラウンディング処理を行なう。このグラウンディング処理に際しては、ＰＯＭＤＰが利用される。
【０１３３】
グラウンディング処理では、例えば、表示部（Ｄｉｓｐｌａｙ）１０２に対する質問の表示などを実行し、その質問に対するユーザ２０からの回答をユーザインタフェース（ＧＵＩ  Ｆｒｏｎｔ−Ｅｎｄ）１０４を介して入力し、言語解析部（Ｓｅｍａｎｔｉｃ  Ｐａｒｓｅｒ  Ｅｍｕｌａｔｏｒ）１０５における音声認識や意味解析などを含む言語解析、グラウンディング処理解析部（Ｇｒｏｕｎｄｉｎｇ  Ａｃｔ  Ｅｍｕｌａｔｏｒ）１０６におけるグラウンディングアクトの抽出などが実行され、その結果情報が会話管理部（Ｄｉｓｃｏｕｒｓｅ  Ｍａｎａｇｅｒ）１０１に入力される。グラウンディング処理においては、この処理が繰り返し実行されることになる。
【０１３４】
ユーザが「チャンネルを１にして下さい。」と装置側に要求した場合、会話管理部（Ｄｉｓｃｏｕｒｓｅ  Ｍａｎａｇｅｒ）１０１は、ユーザとの相互理解を行なうためのグラウンディング処理として、表示部（Ｄｉｓｐｌａｙ）１０２に対して、例えば、以下の質問の表示を行う。
「チャンネルは１チャンネルでよろしいですか」
【０１３５】
この質問に対するユーザ応答は、
（ａ）はい（Ｙｅｓ）、
（ｂ）いいえ（Ｎｏ）、
（ｃ）その他（Ｅｌｓｅ）、
これら（ａ）〜（ｃ）の３種類であることが想定される。
【０１３６】
会話管理部（Ｄｉｓｃｏｕｒｓｅ  Ｍａｎａｇｅｒ）１０１は、上記の３種類のユーザ応答に応じて、実行アクションを決定する。
例えば、
（Ａ）ユーザ応答がはい（Ｙｅｓ）の場合は、実行アクション（ＧｒｏｕｎｄｉｎｇＡｃｔ）＝理解確認応答（ａｃｋ）とする。
（Ｂ）ユーザ応答がいいえ（Ｎｏ）の場合は、実行アクション（ＧｒｏｕｎｄｉｎｇＡｃｔ）＝キャンセル（ｃａｎｃｅｌ）とする。
（Ｃ）ユーザ応答がその他（Ｅｌｓｅ）の場合は、実行アクション（ＧｒｏｕｎｄｉｎｇＡｃｔ）＝処理開始（Ｉｎｉｔｉａｔｅ）とする。
【０１３７】
上記の実行アクション（ＧｒｏｕｎｄｉｎｇＡｃｔ）決定アルゴリズムは以下のように示すことができる。
Ｉｆ  Ａｎｓｗｅｒ  ｉｓ  ＹｅｓＮｏＡｎｓｗｅｒ
Ｉｆ  Ａｎｓｗｅｒ  ｉｓ  Ｎｅｇａｔｉｖｅ
ＧｒｏｕｎｄｉｎｇＡｃｔ＝Ｃａｎｃｅｌ
Ｅｌｓｅ  
ＧｒｏｕｎｄｉｎｇＡｃｔ＝Ａｃｋ
Ｅｌｓｅ
ＧｒｏｕｎｄｉｎｇＡｃｔ＝Ｉｎｉｔｉａｔｅ
このように示すことができる。
【０１３８】
なお、実行アクション（ＧｒｏｕｎｄｉｎｇＡｃｔ）＝処理開始（Ｉｎｉｔｉａｔｅ）の場合には、さらなるユーザ発話を入力して新たなグラウンディング処理を開始するといった設定である。このようにアクション数を限定（上記例では３つ）として、簡略化したグラウンディングモデルを適用して処理を行ってもよい。
【０１３９】
このように、本発明のグラウンディング処理は、様々な形態のグラウンディングモデルを利用して、またＰＯＭＤＰを適用したプロセスを実行することで、ユーザと情報処理装置間の相互理解を効率的に進めることができる。図１０以下を参照して、本発明のＰＯＭＤＰを適用したグラウンディング処理についての評価データについて説明する。
【０１４０】
図１０、図１１は、本発明のＰＯＭＤＰを適用したグラウンディング処理と、ＰＯＭＤＰを利用しないグラウンディング処理の処理結果の比較を示す図である。
【０１４１】
まず、タスクとしてユーザが情報処理装置としてのシステム（テレビ）に対してある番組の表示要求を行なうものとする。例えばユーザが「スポーツが見たい」といった要求を行なって会話を開始、目的のスポーツ番組を表示するまでの処理を比較した。
【０１４２】
比較対象は、
（１）ｂｅｌｉｅｖｅ：システムがユーザの言葉を全て信頼する処理
（２）ｃｏｎｆｉｒｍ：システムがユーザの言葉を入力した際、必ず確認を行なう処理
（３）ＰＯＭＤＰ：上述の本発明に従ったＰＯＭＤＰを利用した処理
これらの３つの処理態様である。
【０１４３】
評価は、２つの指標、すなわち、
（Ａ）タスク達成率：目的の番組の選択に成功した割合、
（Ｂ）所要ターン数：目的の番組を選択するまでに要したユーザの発話数、
これらの指標を採用した。
【０１４４】
４人のユーザが各々１０番組を選択する処理を行い、計４０回の処理を上記（１）〜（３）の処理を実行して得られた評価結果（Ａ）、（Ｂ）を図１０、図１１に示す。なお、それぞれ言語処理の精度が低精度のシステムと高精度のシステムの２通りのシステムを適用した場合の処理結果を示している。
【０１４５】
図１０は、
（Ａ）タスク達成率：目的の番組の選択に成功した割合、
について、
（１）ｂｅｌｉｅｖｅ：システムがユーザの言葉を全て信頼する処理
（２）ｃｏｎｆｉｒｍ：システムがユーザの言葉を入力した際、必ず確認を行なう処理
（３）ＰＯＭＤＰ：上述の本発明に従ったＰＯＭＤＰを利用した処理
これらの３つの処理態様の各々の結果データを示している。図から理解されるように、ＰＯＭＤＰを適用した処理が、最もタスク達成率が高くなっており、他の処理態様に比較して優れた結果が得られている。
【０１４６】
図１１は、
（Ｂ）所要ターン数：目的の番組を選択するまでに要したユーザの発話数、
について、
（１）ｂｅｌｉｅｖｅ：システムがユーザの言葉を全て信頼する処理
（２）ｃｏｎｆｉｒｍ：システムがユーザの言葉を入力した際、必ず確認を行なう処理
（３）ＰＯＭＤＰ：上述の本発明に従ったＰＯＭＤＰを利用した処理
これらの３つの処理態様の各々の結果データを示している。図から理解されるように、［ｂｅｌｉｅｖｅ］、すなわち、システムがユーザの言葉を全て信頼する処理は、ターン数が最も少ないが、ＰＯＭＤＰを適用した処理も［ｂｅｌｉｅｖｅ］と同レベルのターン数で処理が完了している。
【０１４７】
［ｂｅｌｉｅｖｅ］すなわち、システムがユーザの言葉を全て信頼する処理は図１０に示すタスク達成率が低く、タスク達成率と、所要ターン数を考慮した総合的な評価として本発明に従ったＰＯＭＤＰを適用した処理が優れている結論づけることができる。
【０１４８】
次に、図１２〜図１５を参照して、ＰＯＭＤＰを利用したグラウンディング所の具体的な処理例について説明する。図１２〜図１５の例は、それぞれ以下の処理例である。
（１）ユーザとシステム間のコミュニケーションが良好に行なわれた場合（図１２）
（２）ユーザからの要求が曖昧（低信頼度）である場合（図１３）
（３）ユーザからの要求をシステムが間違って理解した場合（図１４）
（４）ユーザとシステム間のコミュニケーションが長い場合（図１５）
これらの処理例である。
【０１４９】
図１２〜図１５には、それぞれ、
ユーザとシステム（情報処理装置）との質問シーケンスと、
（Ａ）グラウンディング状態遷移
（Ｂ）グラウンディング完了状態遷移
をユーザからの発話入力に対応する遷移データとして示している。
（Ａ）グラウンディング状態遷移は、図５に示すＰＯＭＤＰにおけるプロセス（Ｐｒｏｃｅｓｓ）２６２の状態遷移に相当し、
（Ｂ）グラウンディング完了状態遷移は、図５に示すＰＯＭＤＰにおける理解完了（Ｇｒｏｕｎｄｅｄ）２３３、タスク実現性などの情報によって生成される実体的解析（Ｐｒａｇｍａｔｉｃ）２３１、意味解析（Ｓｅｍａｎｔｉｃ）２３２各々における［Ｙｅｓ］の確率値に対応する。
以下、図１２〜図１５の各々について説明する。
【０１５０】
（１）ユーザとシステム間のコミュニケーションが良好に行なわれた場合
図１２は、ユーザとシステム間のコミュニケーションが良好に行なわれた場合である。
この場合、例えば、（Ａ）グラウンディング状態遷移は、
Ｓ（初期状態）→１（開始直後）→Ｆ（グラウンディング）
と順調に推移してグラウンディング、すなわちユーザとシステム間の相互理解が行なわれたことを示している。
【０１５１】
（Ｂ）グラウンディング完了状態遷移については、理解完了（Ｇｒｏｕｎｄｅｄ）２３３、実体的解析（Ｐｒａｇｍａｔｉｃ）２３１、意味解析（Ｓｅｍａｎｔｉｃ）２３２各々における［Ｙｅｓ］の確率値が、２回目の発話入力時点で、［Ｙｅｓ］の確信度が高くなり、ほぼユーザの要求が理解されたことが確信された状態であることが示されている。
【０１５２】
（２）ユーザからの要求が曖昧（低信頼度）である場合
図１３は、ユーザからの要求が曖昧（低信頼度）である場合である。ユーザからの２番目の発話入力、
［スポーツが見たい］
この発話がシステム側ではっきり聞き取れないなどの問題が発生したものであり、システム側では、
［アニメで間違いないでしょうか］
という確認を求める質問を行なった例である。
【０１５３】
この場合、例えば、（Ａ）グラウンディング状態遷移は、
Ｓ（初期状態）→１（開始直後）→（１（開始直後）≒０．６，２（システム困惑）≒０．１，４（ユーザ困惑）≒０．３）→Ｆ（グラウンディング）
といった推移になっており、ユーザグラウンディング、すなわちユーザとシステム間の理解がユーザ発話２〜３において困惑した状態が発生したことを示している。
【０１５４】
（Ｂ）グラウンディング完了状態遷移については、理解完了（Ｇｒｏｕｎｄｅｄ）２３３、実体的む解析（Ｐｒａｇｍａｔｉｃ）２３１、意味解析（Ｓｅｍａｎｔｉｃ）２３２各々における［Ｙｅｓ］の確率値が、２回目の発話入力時点で、［Ｙｅｓ］の確信度が一旦、低くなり、３回目の発話入力時点で、［Ｙｅｓ］の確信度が低くなり、ほぼユーザの要求が理解されたことが確信された状態であることが示されている。
【０１５５】
（３）ユーザからの要求をシステムが間違って理解した場合
図１４は、ユーザからの要求をシステムが間違って理解した場合である。ユーザからの２番目の発話入力、
［スポーツが見たい］
この発話がシステム側ではっきり聞き取れないなどの問題が発生したものであり、システム側では、
［アニメで間違いないでしょうか］
という確認を求める質問を行ない、さらに、この質問をユーザが聞き取れず、３番目の発話入力、
［何て言いましたか］
このユーザ発話があり、さらにシステムが、
［アニメが見たいのですか］
と質問して、結果として、ユーザから否定応答、
［違います］
と入力された場合の処理である。
【０１５６】
この場合、例えば、（Ａ）グラウンディング状態遷移は、
Ｓ（初期状態）→１（開始直後）→（２（システム困惑）≒０．２，４（ユーザ困惑）≒０．８）→（３（要確認）≒０．２，Ｄ（キャンセル）≒０．８）
といった推移になっており、ユーザグラウンディング、すなわちユーザとシステム間の理解が実現されず、キャンセル状態に至ったことを示している。
【０１５７】
（Ｂ）グラウンディング完了状態遷移については、理解完了（Ｇｒｏｕｎｄｅｄ）２３３、実体的解析（Ｐｒａｇｍａｔｉｃ）２３１、意味解析（Ｓｅｍａｎｔｉｃ）２３２各々における［Ｙｅｓ］の確率値が、２回目の発話入力時点で、［Ｙｅｓ］の確信度が低くなっているが、その後回復しており、解析情報については、大きな問題が発生していないことを示している。
【０１５８】
（４）ユーザとシステム間のコミュニケーションが長い場合
図１５は、ユーザとシステム間のコミュニケーションが長い場合の例であり、ユーザ発話１〜５の入力によってグラウンディングされた例である。
【０１５９】
この場合、例えば、（Ａ）グラウンディング状態遷移は、
Ｓ（初期状態）→１（開始直後）→・・・・→Ｆ（グラウンディング）
といったユーザ発話回数に応じて、複数の状態を経過した後グラウンディング状態に至る推移になっており、最終的にユーザグラウンディング、すなわちユーザとシステム間の理解状態に至ったことを示している。
【０１６０】
（Ｂ）グラウンディング完了状態遷移については、理解完了（Ｇｒｏｕｎｄｅｄ）２３３、実体的解析（Ｐｒａｇｍａｔｉｃ）２３１、意味解析（Ｓｅｍａｎｔｉｃ）２３２各々における［Ｙｅｓ］の確率値が、２回目の発話入力時点で、［Ｙｅｓ］の確信度が高くなり、この解析情報については、何ら問題が発生していないことを示している。
【０１６１】
［２．処理対象ユーザおよび発話特定処理を含む処理例］
上述した［１．ＰＯＭＤＰを利用した相互理解（グラウンディング）処理を実行する処理例］においては、テレビなどの装置は、コミュニケーションの対象となるユーザは、予め特定されているものとして説明した。しかし、実際の環境では、テレビの前に複数のユーザがいて、それぞれが様々な発話を行なうといった環境であることが多い。このような複数ユーザがそれぞれ発話を行なう場合、その複数ユーザから、テレビなどの装置とのコミュニケーションを行なっているユーザや発話を選択する処理が必要となる。
【０１６２】
以下に説明する処理例は、このような複数のユーザからシステムとの会話を行なっているユーザを選択する処理を行なう処理例である。
【０１６３】
図１６を参照して本処理例の概要について説明する。図１６に示す構成は、図４に示す会話管理部１０１とユーザインタフェース１０４の本処理例における構成に相当する。図１６に示す会話管理部（Ｄｉｓｃｏｕｒｓｅ  Ｍａｎａｇｅｒ）３２１と、発話選択部（Ｉｎｔｅｒａｃｔｉｏｎ  Ｍａｎａｇｅｒ）３２２が、本処理例における会話管理部１０１に相当し、図１６に示す環境情報取得部（Ｅｎｖｉｒｏｎｍｅｎｔ  Ｍｏｄｅｌ）３２３はユーザインタフェース１０４に対応する。
【０１６４】
なお、本処理例では、ユーザインタフェース１０４に相当する環境情報取得部（Ｅｎｖｉｒｏｎｍｅｎｔ  Ｍｏｄｅｌ）３２３は、ユーザの発話の取得解析を行なうのみでなく、カメラ撮影画像からのユーザ識別、ユーザ数の確認処理や、応答時間の計測などの処理を実行するカメラ、画像解析部、タイマなどを有する構成である。
【０１６５】
図１６に示す会話管理部（Ｄｉｓｃｏｕｒｓｅ  Ｍａｎａｇｅｒ）３２１は、上述の処理例［１．ＰＯＭＤＰを利用した相互理解（グラウンディング）処理を実行する処理例］において説明した会話管理部１０１において実行する処理と同様ＰＯＭＤＰを利用したグラウンディング処理を行なう。
【０１６６】
図１６に示すように、発話を行なうユーザが複数（ユーザＡ〜Ｃ）存在する環境において、それぞれのユーザＡ〜Ｃが様々な発話を行っている。ユーザＡ〜Ｃの発話は、情報処理装置のインタフェースを介して情報処理装置に入力されるが、情報処理装置に対する発話はその１つ［発話Ｐ］のみであり、その他の発話は情報処理装置に対しての発話ではない。
【０１６７】
このような場合、図１６に示す会話管理部（Ｄｉｓｃｏｕｒｓｅ  Ｍａｎａｇｅｒ）３２１がユーザＡ〜Ｃのすべての発話について処理を行なうと、結果としてグラウンディングがなされる可能性、すなわち情報処理装置がユーザの要求を理解する可能性は極めて低くなってしまう。
【０１６８】
そこで、本処理例では、発話選択部（Ｉｎｔｅｒａｃｔｉｏｎ  Ｍａｎａｇｅｒ）３２２が、ユーザＡ〜Ｃの発話から、情報処理装置に対する発話［発話Ｐ］を選択する処理を実行し、選択した［発話Ｐ］のみを会話管理部（Ｄｉｓｃｏｕｒｓｅ  Ｍａｎａｇｅｒ）３２１に出力する。この処理によって、会話管理部（Ｄｉｓｃｏｕｒｓｅ  Ｍａｎａｇｅｒ）３２１は、上述したＰＯＭＤＰを適用したグラウンディング処理をスムーズに実行することが可能となる。
【０１６９】
発話選択部（Ｉｎｔｅｒａｃｔｉｏｎ  Ｍａｎａｇｅｒ）３２２は、環境情報取得部（Ｅｎｖｉｒｏｎｍｅｎｔ  Ｍｏｄｅｌ）３２３の取得する様々な観測情報を取得してその解析により情報処理装置に対する発話である［発話Ｐ］を選択する。この発話選択処理においても、ベイジアンネットワークを利用した処理、部分観測マルコフ決定過程（ＰＯＭＤＰ：Ｐａｒｔｉａｌｌｙ  Ｏｂｓｅｒｖａｂｌｅ  Ｍａｒｋｏｖ  Ｄｅｃｉｓｉｏｎ  Ｐｒｏｃｅｓｓ）を適用した処理を実行する。
【０１７０】
すなわち、環境情報取得部（Ｅｎｖｉｒｏｎｍｅｎｔ  Ｍｏｄｅｌ）３２３の取得する様々な観測情報を末端ノードとしたネットワークを形成し、観測情報に基づく状態値を算出して、装置に対して話しかけているユーザを特定し、特定ユーザの複数の発話の中から、装置に対する発話である［発話Ｐ］のみを選択する処理を実行する。
【０１７１】
発話選択部（Ｉｎｔｅｒａｃｔｉｏｎ  Ｍａｎａｇｅｒ）３２２は、図１７に示すベイジアンネットワークを利用した確率値算出処理や、ＰＯＭＤＰを利用した処理により情報処理装置に対する発話を選択する。
【０１７２】
図１７に発話選択部（Ｉｎｔｅｒａｃｔｉｏｎ  Ｍａｎａｇｅｒ）３２２において設定されるベイジアンネットワークの構成例を示す。図１７に示す発話選択部３２３に示すノード、すなわち、総合解析（Ｇｒｏｕｎｄｅｄ）３５１、実体的解析（Ｐｒａｇｍａｔｉｃ）３５２、意味的解析（Ｓｅｍａｎｔｉｃ）３５３、その他のノードデータは、ベイジアンネットワークの構成ノードに相当し、先に図３を参照して説明したＰＯＭＤＰにおける状態情報（Ｓｔａｔｅ  ｓｐａｃｅ）ノードに対応する。
【０１７３】
それぞれのノードは、例えば、環境情報取得部（Ｅｎｖｉｒｏｎｍｅｎｔ  Ｍｏｄｅｌ）３２３の取得する様々な観測情報に基づいて算出される確率値が設定される。図に示す例では、状態ノードとして以下のノードが設定されている。
【０１７４】
反応時間（ＴｉｍｅＯｕｔ）：このノードは、例えば情報処理装置の出力したユーザに対する質問に対するユーザの反応時間を観測情報として入力して、その反応時間を３つに区分（Ｓｈｏｒｔ，Ｎｏｒｍａｌ，Ｌｏｎｇ）してその確率データを状態値として保持している。
フレーム内存在（Ｔａｒｇｅｔ  ＨｏｔＳｐｏｔ）：このノードは、ターゲットとしてのユーザが情報処理装置に入力するカメラ画像のフレーム内にいるか否かについての状態値を確率データとして保持している。
意味確信度（Ｓｅｍａｎｔｉｃ  Ｃｏｎｆ．）：このノードは、ユーザの発話入力情報からの意味理解度を確率データとして保持している。
【０１７５】
視線（Ｅｙｅ  ｔｏ  Ｓｙｓｔｅｍ）：このノードは、ターゲットとしてのユーザの視線が情報処理装置に向けられているか否かの確率データを保持している。この情報はカメラ取得画像から解析される。
なお、視線情報は、情報処理装置に対する注目度（Ａｔｔｅｎｔｉｏｎ）情報に反映されるデータとなる。注目度（Ａｔｔｅｎｔｉｏｎ）情報は時系列データ，現在、および過去（ｔ−１）の情報の２つがノード情報として保持される。
【０１７６】
ターゲット数（Ｎｕｍ  Ｔａｒｇｅｔ）：このノードは、情報処理装置が処理すべきユーザ数、すなわちターゲット数情報を保持している。
ダイアリゼーション確信度（Ｄｉａｒｉｚａｔｉｏｎ  Ｃｏｎｆ．）：このノードは、ターゲットとしているユーザが発話主体としてのユーザに対応するか否かを示す確率データを保持している。
【０１７７】
発話者がフレーム内（Ｓｐｅｅｃｈ  Ｏｕｔｓｉｄｅ）：このノードは、発話者が情報処理装置の取得した画像フレーム内のユーザであるか否かを示す確率データを保持している。
なお、発話者がフレーム内（Ｓｐｅｅｃｈ  Ｏｕｔｓｉｄｅ）にあるか否かの情報は、未確認ターゲトの有無についての情報に反映される。
未確認ターゲット（Ｕｎｓｅｅｎ  Ｔａｒｇｅｔ）情報は時系列データ，現在、および過去（ｔ−１）の情報の２つがノード情報として保持される。
【０１７８】
これらの各種の状態情報が、
（１）実体的解析解（Ｐｒａｇｍａｔｉｃ）ノード３５２、
（２）意味的解析（Ｓｅｍａｎｔｉｃ）ノード３５３、
これらの２つのカテゴリに分類されて集約される。
【０１７９】
（１）実体的解析（Ｐｒａｇｍａｔｉｃ）ノード３５２に対して集約される状態情報は、
反応時間（ＴｉｍｅＯｕｔ）
フレーム内存在（Ｔａｒｇｅｔ  ＨｏｔＳｐｏｔ）
意味確信度（Ｓｅｍａｎｔｉｃ  Ｃｏｎｆ．）
視線（Ｅｙｅ  ｔｏ  Ｓｙｓｔｅｍ）
注目度（Ａｔｔｅｎｔｉｏｎ）
これらの状態情報であり、実体的解析（Ｐｒａｇｍａｔｉｃ）ノード３５２は、これらの情報を集約した情報、すなわち、ターゲットとしてのユーザの発話が情報処理装置に対して実行されたものであるか否かを示す実体的解析情報が確率データとして算出される。
【０１８０】
一方、（２）意味的解析（Ｓｅｍａｎｔｉｃ）ノード３５３に対して集約される状態情報は、
ターゲット数（Ｎｕｍ  Ｔａｒｇｅｔ）
ダイアリゼーション確信度（Ｄｉａｒｉｚａｔｉｏｎ  Ｃｏｎｆ．）
発話者がフレーム内（Ｓｐｅｅｃｈ  Ｏｕｔｓｉｄｅ）
未確認ターゲット（Ｕｎｓｅｅｎ  Ｔａｒｇｅｔ）
これらの状態情報であり、意味的解析（Ｓｅｍａｎｔｉｃ）ノード３５３は、これらの情報を集約した情報、すなわち、ターゲットとしてのユーザの発話が情報処理装置に対して実行されたものであるか否かを示す意味的解析情報が確率データとして算出される。
【０１８１】
さらに、総合解析（Ｇｒｏｕｎｄｅｄ）ノード３５１に、
実体的解析（Ｐｒａｇｍａｔｉｃ）ノード３５２と、意味的解析（Ｓｅｍａｎｔｉｃ）ノード３５３の情報が集約され、ターゲットとしてのユーザの発話が情報処理装置に対して実行されたものであるか否かを示す総合的解析情報が確率データとして算出される。
【０１８２】
図１６に示す会話管理部（Ｄｉｓｃｏｕｒｓｅ  Ｍａｎａｇｅｒ）３２１では、このようなＰＯＭＤＰを利用した処理により、複数ユーザの複数発話の中から、情報処理装置に対して実行されたと判定される発話を選択する。すなわち、総合解析（Ｇｒｏｕｎｄｅｄ）ノード３５１における総合的解析情報としての確率データに応じて発話の選別を実行して、情報処理装置に対して実行されたと判定される発話を選択する。選択された発話のみが図１６に示す
【０１８３】
と、発話選択部（Ｉｎｔｅｒａｃｔｉｏｎ  Ｍａｎａｇｅｒ）３２２が図１６に示す会話管理部（Ｄｉｓｃｏｕｒｓｅ  Ｍａｎａｇｅｒ）３２１に提供され、会話管理部（Ｄｉｓｃｏｕｒｓｅ  Ｍａｎａｇｅｒ）３２１は、上述の処理例［１．ＰＯＭＤＰを利用した相互理解（グラウンディング）処理を実行する処理例］において説明した会話管理部１０１において実行する処理と同様ＰＯＭＤＰを利用したグラウンディング処理を行なう。
【０１８４】
図１８に、図１７に示す複数ノードの保持する確率データの時間的推移例を示す。横軸が時間（ｔ）であり、縦軸が各ノードの保持する確率データ（Ｙｅｓの確率値）である。図１８には、
総合的解析（Ｇｒｏｕｎｄｅｄ）
実体的解析（Ｐｒａｇｍａｔｉｃ）
意味的解析（Ｓｅｍａｎｔｉｃ）
未確認ターゲット（Ｕｎｓｅｅｎ  Ｔａｒｇｅｔ）
注目度（Ａｔｔｅｎｔｉｏｎ）
これら５つのノードの状態値の時間推移を示している。
なお、これらの時間推移は、各ノードに保持された値が変更した場合にのみプロットして得られる履歴データ（ヒストリデータ）である。
【０１８５】
次に、図１９に示すフローチャートを参照して、発話の選択処理を行なう発話選択部（Ｉｎｔｅｒａｃｔｉｏｎ  Ｍａｎａｇｅｒ）３２２の処理シーケンスについて説明する。
【０１８６】
発話選択部（Ｉｎｔｅｒａｃｔｉｏｎ  Ｍａｎａｇｅｒ）３２２の処理は、図１９に示すように、
（Ａ）状況確認処理（Ｂｅｈａｖｉｏｒ  Ｅｓｔｉｍａｔｉｏｎ）
（Ｂ）アクション実行処理（Ａｃｔｉｏｎ  Ｅｘｅｃｕｔｉｏｎ）
この２つの処理に分類できる。
【０１８７】
（Ａ）状況確認処理（Ｂｅｈａｖｉｏｒ  Ｅｓｔｉｍａｔｉｏｎ）は、図１７に示すベイジアンネットワークを利用して環境情報取得部３２３から得られる観測情報に基づいて各ユーザ（ターゲット）の発話が装置に対しておこなわれているか否かを確認して、発話を実行したユーザ（ターゲット）を特定しそれぞれの発話に対応すると判定されるターゲットに対する識別子として観測ＩＤ（Ｏｂｓ  ＩＤ：Ｏｂｓｅｒｖａｔｉｏｎ  ＩＤ）を設定する処理である。
【０１８８】
発話選択部（Ｉｎｔｅｒａｃｔｉｏｎ  Ｍａｎａｇｅｒ）３２２は、観測ＩＤ［Ｏｂｓ  ＩＤ］によって特定されたターゲットに対して、さらに、グラウンディング処理が実行され、ターゲットユーザの発話が装置に対して行なわれた発話であるか否かの確認処理が実行され、その確認結果に基づいて（Ｂ）アクション実行処理（Ａｃｔｉｏｎ  Ｅｘｅｃｕｔｉｏｎ）を実行する。この処理によって、特定ターゲットの特定の発話が、情報処理装置に対する発話であるか否かの最終判定を行なう。
【０１８９】
図１９に示すフローについて説明する。まず、
（Ａ）状況確認処理（Ｂｅｈａｖｉｏｒ  Ｅｓｔｉｍａｔｉｏｎ）
について説明する。
状況確認処理においては、定期的（Ｐｅｒｉｏｄｉｃ）処理と、イベント（発話）対応処理各々が並列に行なわれる。定期的処理は、予め設定された時間間隔、例えば情報処理装置に入力されるカメラ撮影画像の所定フレーム間隔単位で実行され、イベント対応処理は、例えば情報処理装置に対するユーザ発話の入力に応じて実行される。
【０１９０】
まず、定期的処理について説明する。ステップＳ３１１において、処理ターゲットを選択する。この処理は、例えば情報処理装置の環境情報取得部３２３に備えられたカメラの撮影画像の解析に基づいてターゲットとなるユーザを選択する処理である。なお、（Ａ）状況確認処理（Ｂｅｈａｖｉｏｒ  Ｅｓｔｉｍａｔｉｏｎ）は各ターゲット各々について実行する。
【０１９１】
ステップＳ３１２において、観測情報を取得する。例えばカメラ取得画像フレームにターゲットユーザが存在するか否か、ターゲットの視線は装置を向いているか否か、ターゲット数、装置からの質問に対するユーザの応答に至るまでの時間など、先に図１７を参照して説明した様々な観測情報を取得する。
【０１９２】
ステップＳ３１３において、取得した観測情報に基づいて、図１７に示すベイジアンネットワークの更新を実行する。なお、このステップＳ３１３のベイジアンネットワーク更新処理は、イベント対応処理の処理結果も反映したものとする。
【０１９３】
イベント対応処理のシーケンスについて説明する。イベント対応処理は例えば発話を検出した際に実行される。ステップＳ３２１において、発話者が情報処理装置のカメラによって取得された画像フレーム内に含まれるか否かが判定され、存在しない場合は、その情報がステップＳ３１３のベイジアンネットワーク更新に利用される。
【０１９４】
一方、ステップＳ３２１において、発話者が情報処理装置のカメラによって取得された画像フレーム内に含まれる場合は、ステップＳ３２２において、ダイアリゼーション確信度、すなわち、発話者とユーザの対応関係を示す確信度を算出する。例えばカメラ撮影画像に複数のユーザが存在する場合、各ユーザに応じた、ダイアリゼーション確信度を算出する。
【０１９５】
次に、ステップＳ３２３において、情報処理装置に入力された発話情報の意味解析結果の確信度（Ｓｅｍａｎｔｉｃ  Ｃｏｎｆ．）を算出する。次に、ステップＳ３２４において、発話時間に応じた時間調整を行なって、ステップＳ３１３のベイジアンネットワークの更新に進む。なお、ステップＳ３２４における発話時間に応じた時間調整処理は、定期的な処理においてカメラ画像の解析などによって実行されるステップＳ３１１〜Ｓ３１２の処理に比較して、ステップＳ３２１〜Ｓ３２３の処理は発話時間分の時間遅れが発生するので、その時間分を調整して同一タイミングの発生事象としてベイジアンネットワークの更新を行なうために実行するタイミング調整処理である。
【０１９６】
ステップＳ３１３では、定期的処理として実行されるステップＳ３１１〜Ｓ３１２の処理と、イベント対応処理のステップＳ３２１〜Ｓ３２４の処理結果を反映させたベイジアンネットワーク更新処理を行なう。ステップＳ３１４では、ステップＳ３１３の更新結果に基づいて履歴データ（Ｈｉｓｔｏｒｙ）を取得してメモリに記録する。この履歴は、先に図１８を参照して説明したようにベイジアンネットワークのノード情報としての状態値が変化した場合にのみ取得して記録する構成としてよい。
【０１９７】
ステップＳ３１５では、確認不能となったターゲットを処理対象から削除し、ステップＳ３１６において、装置に対する発話を行なった候補ユーザとしてのターゲットに対してＰＯＭＤＰに適用する観測ＩＤ（ＯｂｓｅｒｖａｔｉｏｎＩＤ）［Ｏｂｓ  ＩＤ］を設定する。
【０１９８】
この観測ＩＤが設定されたターゲットユーザに対して、グラウンディングが実行される。この処理は、情報処理装置とターゲットユーザとのコミュニケーションによって行なわれる処理であり、先に図５、図６を参照して説明したＰＯＭＤＰ実行部２００の処理と同様の処理として実行される。このグラウンディング処理結果に基づいて、（Ｂ）アクション実行処理（Ａｃｔｉｏｎ  Ｅｘｅｃｕｔｉｏｎ）を実行する。この処理によって、特定ターゲットの特定の発話が、情報処理装置に対する発話であるか否かの最終判定を行なう。
【０１９９】
まず、ステップＳ３３１おいて、ターゲットユーザからグラウンディング（理解）されたことを示す応答、例えば（Ａｃｋ）などが入力されたか否かを判定する。このような応答がなされていない場合はグラウンディング処理を継続する。
【０２００】
ステップＳ３３１おいて、ターゲットユーザからグラウンディング（理解）されたことを示す応答が得られた場合は、ステップＳ３３２に進み、ターゲットユーザの発話を装置対応の発話として選択し、ステップＳ３３３において、この発話を図１６に示す会話管理部（Ｄｉｓｃｏｕｒｓｅ  Ｍａｎａｇｅｒ）３２１に出力する。
【０２０１】
このようにして、発話選択部（Ｉｎｔｅｒａｃｔｉｏｎ  Ｍａｎａｇｅｒ）３２２は、複数ユーザの複数の発話から、装置対応の発話、例えば図１６に示す［発話Ｐ］を選択し、会話管理部（Ｄｉｓｃｏｕｒｓｅ  Ｍａｎａｇｅｒ）３２１に出力する。
【０２０２】
会話管理部（Ｄｉｓｃｏｕｒｓｅ  Ｍａｎａｇｅｒ）３２１は、発話選択部（Ｉｎｔｅｒａｃｔｉｏｎ  Ｍａｎａｇｅｒ）３２２からの［発話Ｐ］の入力をトリガとして、上述の処理例［１．ＰＯＭＤＰを利用した相互理解（グラウンディング）処理を実行する処理例］において説明した会話管理部１０１において実行する処理と同様ＰＯＭＤＰを利用したグラウンディング処理を行なう。
【０２０３】
この処理によって、複数のユーザが様々な発話を行なっている環境においても効率的に装置に対する要求などの装置に対する発話のみを選択してユーザ要求に応じた処理を行なうことが可能となる。
【０２０４】
以上、図１９に示すフローチャートを参照して、発話の選択処理を行なう発話選択部（Ｉｎｔｅｒａｃｔｉｏｎ  Ｍａｎａｇｅｒ）３２２の処理シーケンスについて説明した。図１９を参照して説明したように発話選択部（Ｉｎｔｅｒａｃｔｉｏｎ  Ｍａｎａｇｅｒ）３２２は、
（Ａ）状況確認処理（Ｂｅｈａｖｉｏｒ  Ｅｓｔｉｍａｔｉｏｎ）
（Ｂ）アクション実行処理（Ａｃｔｉｏｎ  Ｅｘｅｃｕｔｉｏｎ）
この２つの処理を行う。
【０２０５】
図１９に示す処理シーケンスは、発話選択部（Ｉｎｔｅｒａｃｔｉｏｎ  Ｍａｎａｇｅｒ）３２２の実行する処理の一例であり、発話選択部（Ｉｎｔｅｒａｃｔｉｏｎ  Ｍａｎａｇｅｒ）３２２は図１９に示す処理を簡略化した処理を行う構成としてもよい。簡略化した処理例について図２０、図２１に示すフローチャートを参照して説明する。
【０２０６】
図２０に示すフローは、システムとの会話を実行するユーザ、すなわちターゲットユーザが未確定の場合に発話選択部（Ｉｎｔｅｒａｃｔｉｏｎ  Ｍａｎａｇｅｒ）３２２が実行する処理シーケンスである。図２１に示すフローはターゲットユーザが確定している場合の処理シーケンスである。
【０２０７】
まず、図２０に示すフローチャートを参照してシステムとの会話を実行するターゲットユーザが未確定の場合に、発話選択部（Ｉｎｔｅｒａｃｔｉｏｎ  Ｍａｎａｇｅｒ）３２２の実行する処理シーケンスについて説明する。
【０２０８】
この図２０に示すフローに従った処理は、グラウンディング処理の実行対象としてのターゲットユーザが未確定の場合の発話選択部（Ｉｎｔｅｒａｃｔｉｏｎ  Ｍａｎａｇｅｒ）３２２の処理である。発話選択部３２２は、まず、環境情報取得部の取得するカメラ画像情報を含む観測情報から、ターゲットユーザ候補となるユーザ数を判定する。ターゲットユーザ候補が１人である場合は、その１人のユーザをグラウンディング処理対象であるターゲットユーザとして判定する処理を実行する。ターゲットユーザ候補が２人以上である場合は、環境情報取得部の取得した環境情報を利用して評価を行い、評価値の高いユーザをグラウンディング処理対象であるターゲットユーザと判定する処理を実行する。各処理ステップについて説明する。
【０２０９】
まず、ステップＳ４０１において、発話選択部（Ｉｎｔｅｒａｃｔｉｏｎ  Ｍａｎａｇｅｒ）３２２は、フレーム内に人物が１人以上存在するか否かを判定する。この処理は、例えば情報処理装置の環境情報取得部３２３に備えられたカメラの撮影画像の解析に基づいて判定する。
【０２１０】
フレーム内に人物が１人も存在しない場合は、グラウンディング処理を実行するターゲットユーザはいないと判定する。この場合は待機することになる。処理としては、ステップＳ４０１の処理を定期的に繰り返す。
【０２１１】
フレーム内に人物が１人以上存在することが確認された場合はステップＳ４０２に進む。ステップＳ４０２では、フレーム内に存在する人物から、注目度の高い人物を抽出し、注目度の高い人物の数を判定する。注目度は例えば、先に図１７等を参照して説明したように、視線（Ｅｙｅ  ｔｏ  Ｓｙｓｔｅｍ）情報から解析される。視線（Ｅｙｅ  ｔｏ  Ｓｙｓｔｅｍ）情報は、ユーザの視線が情報処理装置に向けられているか否かの確率データであり、カメラ取得画像から解析される。この視線情報により情報処理装置に対する注目度（Ａｔｔｅｎｔｉｏｎ）情報が生成される。
【０２１２】
ステップＳ４０２では、フレーム内に存在する人物から、情報処理装置に対する注目度（Ａｔｔｅｎｔｉｏｎ）が予め設定した閾値より高いユーザを選択し、その人数を確認する。注目度が高いと判定されるユーザが０人である場合は、グラウンディング処理を実行するターゲットユーザはいないと判定する。この場合は待機処理となり、ステップＳ４０１の処理を定期的に繰り返す。
【０２１３】
注目度の高いユーザが１人であると判定した場合は、注目度が高いと判定した１人のユーザをターゲットとしてグラウンディング処理を実行することになる。この場合は、ステップＳ４０３に進み、注目度の高い唯一の人物をターゲットとしたアクション実行処理（Ａｃｔｉｏｎ  Ｅｘｅｃｕｔｉｏｎ）を開始する。この処理は、実行アクション［処理開始（Ｉｎｉｔｉａｔｅ）］としたグラウンディング処理の開始と同様の処理である。
【０２１４】
さらに、ステップＳ４０２の判定処理において、注目度の高いユーザが２人以上であると判定した場合は、その２人以上のユーザからターゲットユーザを選択する処理を行う。すなわち、ステップＳ４０４に進み、観測情報を取得して評価を行い、評価値の高いユーザをターゲットユーザとして選定する。
【０２１５】
このステップＳ４０４の処理においては、まず、先に図１９を参照して説明したステップＳ３１２の処理と同様の観測情報を取得する処理を行う。この観測情報に基づいて評価を行い、評価値の高いユーザをターゲットユーザとして選定する。例えば、取得した観測情報に基づいて、図１７に示すベイジアンネットワークの更新を実行して注目度や意味確信度などの高い値を持つユーザをターゲットユーザとして選定する処理を行う。
【０２１６】
次に、ステップＳ４０５において、評価値の高い唯一の人物抽出に成功したか否かを判定する。成功しなかった場合は、ターゲットユーザの選択は不可または処理エラーの発生と判定し、ステップＳ４０１の処理に戻る。評価値の高い唯一の人物抽出に成功した場合は、ステップＳ４０６に進む。
【０２１７】
ステップＳ４０６では、評価値の高い唯一の人物をターゲットとしたアクション実行処理（Ａｃｔｉｏｎ  Ｅｘｅｃｕｔｉｏｎ）を開始する。この処理は、実行アクション［処理開始（Ｉｎｉｔｉａｔｅ）］としたグラウンディング処理の開始と同様の処理である。
【０２１８】
次に、図２１を参照して発話選択部（Ｉｎｔｅｒａｃｔｉｏｎ  Ｍａｎａｇｅｒ）３２２を持つ情報処理装置がターゲットユーザを選択済みである場合に、発話選択部（Ｉｎｔｅｒａｃｔｉｏｎ  Ｍａｎａｇｅｒ）３２２の実行する処理シーケンスについて説明する。このフローは、グラウンディング処理における実行アクションを、
処理開始（Ｉｎｉｔｉａｔｅ）
確認処理（ｒｅｐａｉｒ）
理解確認応答（ａｃｋ）
キャンセル（ｃａｎｃｅｌ）
これらの４つの処理のみとした処理例である。
【０２１９】
発話選択部（Ｉｎｔｅｒａｃｔｉｏｎ  Ｍａｎａｇｅｒ）３２２は、グラウンディング処理の実行対象としてのターゲットユーザが選定済みである場合に、環境情報取得部の取得するカメラ画像情報を含む観測情報からユーザ数を判定し、ユーザ数が０であると判定した場合は、グラウンディングの実行アクションとしてキャンセル処理を実行し、ユーザ数が１以上であると判定した場合は、最終実行アクションに応じて次のアクションを決定して実行する。最終実行アクションが理解確認応答（Ａｃｋ）である場合は、ターゲットユーザ決定のためのグラウンディング処理が完了したと判定し、最終実行アクションが理解確認応答（Ａｃｋ）以外である場合は、ターゲットユーザ決定のためのグラウンディング処理を継続して実行する。図２１に示すフローの各ステップの処理について説明する。
【０２２０】
まず、ステップＳ４２１において、発話選択部（Ｉｎｔｅｒａｃｔｉｏｎ  Ｍａｎａｇｅｒ）３２２は、フレーム内に人物が１人以上存在するか否かを判定する。この処理は、例えば情報処理装置の環境情報取得部３２３に備えられたカメラの撮影画像の解析に基づいて判定する。
【０２２１】
フレーム内に人物が１人も存在しない場合は、グラウンディング処理を実行するターゲットユーザはいなくなったと判定する。この場合は、選定済みであったターゲットユーザとのグラウンディング処理は終了することになり、ステップＳ４２１において、グラウンディング処理におけるアクションとしてキャンセル（Ｃａｎｃｅｌ）を実行する。
【０２２２】
ステップＳ４２１において、フレーム内に人物が１人以上存在すると判定した場合は、ステップＳ４２３に進む。ステップＳ４２３では、ターゲットユーザに対して実行したアクション実行処理（Ａｃｔｉｏｎ  Ｅｘｅｃｕｔｉｏｎ）における最後の実行アクションを検証する。最後の実行アクションが、理解確認応答（Ａｃｋ）である場合は、ステップＳ４２４において、最終的なユーザのアクションが理解確認応答（Ａｃｋ）であったと判断する。この場合はグラウンディングがなされたことを意味する。すなわち、図１９に示すステップＳ３３１の判定がＹｅｓであったと判定する処理に対応する。
【０２２３】
一方、最後の実行アクションが、理解確認応答（Ａｃｋ）以外である場合は、ステップＳ４２５において、ユーザの最終アクションが確認要求（Ｒｅｐａｉｒ）であったものと判断し、グラウンディングモデルに従ったアクション実行処理を続行する。この場合はグラウンディングがまだなされておらず、グラウンディング処理が続行されることを意味する。すなわち、図１９に示すステップＳ３３１の判定をＮｏとしてステップＳ３３４の処理を行う処理に対応する。
【０２２４】
図１９、図２０、図２１を参照して説明したように、発話選択部（Ｉｎｔｅｒａｃｔｉｏｎ  Ｍａｎａｇｅｒ）３２２の実行する具体的な処理シーケンスとしては、様々な形態が設定可能である。
【０２２５】
次に、上述したＰＯＭＤＰを利用したグラウンディング処理などを実行する情報処理装置の構成例について、図２２を参照して説明する。情報処理装置４５０は例えば、プログラム実行機能を備えた情報処理装置、例えば一般的なＰＣやプログラム実行部としてのＣＰＵを備えたテレビなど様々な装置によって実現される。なお、ハードウェア構成の具体例については、後段で説明する。
【０２２６】
情報処理装置４５０は、ユーザインタフェース４５１、ＰＯＭＤＰを適用したグラウンディング処理などを実行する会話管理部４５２、タスク管理部４５３、表示部４５４、記憶部４５５、データベース４５６を有する。ユーザインタフェース４５１、会話管理部４５２、タスク管理部４５３、表示部４５４の各々は、先に図４を参照して説明した各構成に対応する。
【０２２７】
なお、ユーザインタフェース４５１は、図１６を参照して説明した環境情報取得部（Ｅｎｖｉｒｏｎｍｅｎｔ  Ｍｏｄｅｌ）３２３に相当し、ユーザの発話の取得解析を行なうのみでなく、カメラ撮影画像からのユーザ識別、ユーザ数の確認処理や、応答時間の計測などの処理を実行するカメラ、画像解析部、タイマなどを有する構成である。また、会話管理部４５２には、図１６に示す発話選択部（Ｉｎｔｅｒａｃｔｉｏｎ  Ｍａｎａｇｅｒ）３２２が含まれる。
【０２２８】
例えば、ユーザインタフェース４５１を介してユーザ発話や画像情報などの様々な観測情報が入力されると、会話管理部４５２内の図１６に示す発話選択部（Ｉｎｔｅｒａｃｔｉｏｎ  Ｍａｎａｇｅｒ）３２２において、装置対応のユーザ発話の選択処理が実行される。この処理は、図１６〜図１９を参照して説明した処理である。
【０２２９】
その後、発話選択部において選択された発話に対して会話管理部４５２においてＰＯＭＤＰを適用したグラウンディング処理が実行される。会話管理部４５２は、先に図４〜図６等を参照して説明したＰＯＭＤＰによるグラウンディング処理を実行する。タスク管理部４５２は、情報処理装置４５０において実行するタスクの管理を実行する。詳細は、先に図４を参照して説明した通りである。
【０２３０】
なお、データベース４５６には、ＰＯＭＤＰに適用するプログラム、コスト算出アルゴリズム、ＰＯＭＤＰに適用される状態遷移確率の算出関数や、報酬の算出関数、ある観測状態の発生確率を算出する関数などの情報、質問ルールなどのデータを格納している。記憶部４５４は、各種データ処理に適用するパラメータ、プログラムの格納領域、ワーク領域などに用いられるメモリである。
【０２３１】
最後に、上述した処理を実行する情報処理装置のハードウェア構成例について、図２３を参照して説明する。ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）５０１は、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）に対応する処理、上述の実施例において説明したデータ処理部の実行主体として機能する。具体的には、ＰＯＭＤＰを適用したグラウンディング処理、タスク管理処理などを実行する。これらの処理は、各情報処理装置のＲＯＭ、ハードディスクなどのデータ記憶部に格納されたコンピュータ・プログラムに従って実行される。
【０２３２】
ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）５０２は、ＣＰＵ５０１が使用するプログラム、ＰＯＭＤＰ生成処理プログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）５０３は、ＣＰＵ５０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス５０４により相互に接続されている。
【０２３３】
ホストバス５０４は、ブリッジ５０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス５０６に接続されている。
【０２３４】
音声入力部５０８はユーザの発話を入力する。入力部５０９はユーザにより操作される入力デバイスである。ディスプレイ５１０は、液晶表示装置またはＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）などから成る。
【０２３５】
ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）５１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ５０１によって実行するプログラムや情報を記録または再生させる。ハードディスクは、例えばＰＯＭＤＰ生成に適用するルールなどの格納手段などに利用され、さらに、データ処理プログラム等、各種コンピュータ・プログラムが格納される。
【０２３６】
ドライブ５１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体５２１に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インタフェース５０７、外部バス５０６、ブリッジ５０５、およびホストバス５０４を介して接続されているＲＡＭ５０３に供給する。
【０２３７】
接続ポート５１４は、外部接続機器５２２を接続するポートであり、ＵＳＢ，ＩＥＥＥ１３９４等の接続部を持つ。接続ポート５１４は、インタフェース５０７、および外部バス５０６、ブリッジ５０５、ホストバス５０４等を介してＣＰＵ５０１等に接続されている。通信部５１５は、ネットワークに接続されている。
【０２３８】
なお、図２３に示す情報処理装置のハードウェア構成例は、ＰＣを適用して構成した装置の一例であり、図２３に示す構成に限らず、上述した実施例において説明した処理を実行可能な様々な装置が適用可能である。
【０２３９】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０２４０】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０２４１】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０２４２】
以上、説明したように、本発明の一実施例の構成によれば、発話を行なうユーザを含む環境から、ユーザ発話情報の他、カメラによって撮影された画像情報などの観測情報を入力してベイジアンネットワークを利用した確率値算出を行い、情報処理装置に対するユーザ発話を選択する。さらに、選択したユーザ発話を部分観測マルコフ決定過程（ＰＯＭＤＰ：Ｐａｒｔｉａｌｌｙ  Ｏｂｓｅｒｖａｂｌｅ  Ｍａｒｋｏｖ  Ｄｅｃｉｓｉｏｎ  Ｐｒｏｃｅｓｓ）を適用して、ユーザ要求を理解するグラウンディング処理を実行する構成としたので、複数の発話が混在する環境においても、装置に対する要求を的確に選択して迅速にタスクを行なうことが可能となる。
【図面の簡単な説明】
【０２４３】
【図１】グラウンディングプロセスにおける状態遷移の一例について説明する図である。
【図２】グラウンディングプロセスにおけるアクションと状態遷移の対応例について説明する図である。
【図３】部分観測マルコフ決定過程（ＰＯＭＤＰ：Ｐａｒｔｉａｌｌｙ  Ｏｂｓｅｒｖａｂｌｅ  Ｍａｒｋｏｖ  Ｄｅｃｉｓｉｏｎ  Ｐｒｏｃｅｓｓ）の適用処理例について説明する図である。
【図４】本発明の一実施例に係る情報処理装置の構成および処理について説明する図である。
【図５】本発明の一実施例に係る情報処理装置の会話管理部の構成および処理について説明する図である。
【図６】本発明の一実施例に係る情報処理装置の会話管理部の実行するＰＯＭＤＰ適用処理について説明する図である。
【図７】ベイジアンネットワークおよびコンディショナル確率テーブル（ＣＰＴ）について説明する図である。
【図８】ＰＯＭＤＰにおいて設定される状態情報の時間経過に従った状態値データの推移例を示す図である。
【図９】ＰＯＭＤＰにおいて設定される状態情報の時間経過に従った状態値データの推移例を示す図である。
【図１０】本発明の情報処理装置の実行するＰＯＭＤＰ適用処理およびその他の処理におけるグラウンディング処理の比較結果について説明する図である。
【図１１】本発明の情報処理装置の実行するＰＯＭＤＰ適用処理およびその他の処理におけるグラウンディング処理の比較結果について説明する図である。
【図１２】本発明の情報処理装置の実行するＰＯＭＤＰを適用したグラウンディング処理例について説明する図である。
【図１３】本発明の情報処理装置の実行するＰＯＭＤＰを適用したグラウンディング処理例について説明する図である。
【図１４】本発明の情報処理装置の実行するＰＯＭＤＰを適用したグラウンディング処理例について説明する図である。
【図１５】本発明の情報処理装置の実行するＰＯＭＤＰを適用したグラウンディング処理例について説明する図である。
【図１６】複数の発話から装置に対する発話を選択する発話選択部を有する構成について説明する図である。
【図１７】発話選択部の実行するベイジアンネットワークを利用した処理について説明する図である。
【図１８】発話選択部の実行するベイジアンネットワークを利用した処理におけるノードの状態値の時間推移について説明する図である。
【図１９】発話選択部の実行する処理について説明するフローチャートを示す図である。
【図２０】発話選択部の実行する１つの具体的処理例について説明するフローチャートを示す図である。
【図２１】発話選択部の実行する１つの具体的処理例について説明するフローチャートを示す図である。
【図２２】本発明の情報処理装置の構成例について説明する図である。
【図２３】本発明の情報処理装置のハードウェア構成例について説明する図である。
【符号の説明】
【０２４４】
２０  ユーザ
１００  情報処理装置
１０１  会話管理部（Ｄｉｓｃｏｕｒｓｅ  Ｍａｎａｇｅｒ）
１０２  表示部（Ｄｉｓｐｌａｙ）
１０３  タスク管理部（Ｔａｓｋ  Ｍａｎａｇｅｒ）
１０４  ユーザインタフェース（ＧＵＩ  Ｆｒｏｎｔ−Ｅｎｄ）
１０５  言語解析部（Ｓｅｍａｎｔｉｃ  Ｐａｒｓｅｒ  Ｅｍｕｌａｔｏｒ）
１０６  グラウンディング処理解析部（Ｇｒｏｕｎｄｉｎｇ  Ａｃｔ  Ｅｍｕｌａｔｏｒ）
２００  ＰＯＭＤＰ実行部
２２１  タスク実現性情報（Ｐｒａｇｍａｔｉｃ  Ｅｖｉｄｅｎｃｅ）
２２２  全体観察情報（Ｏｖｅｒａｌｌ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ）
２２３  言語意味解析情報（Ｓｅｍａｎｔｉｃ  Ｅｖｉｄｅｎｃｅ）
２３１  タスク実現性解析状態（Ｐｒａｇｍａｔｉｃ）
２３２  意味解析状態（Ｓｅｍａｎｔｉｃ）
２３３  理解完了状態（Ｇｒｏｕｎｄｅｄ）
２４１  グラウンディングコスト（Ｇｒｏｕｎｄｉｎｇ  Ｃｏｓｔ）
２５１  ユーザグラウンディングアクション（Ｕｓｅｒ  Ｇｒｏｕｎｄｉｎｇ  Ａｃｔ）
２６１  事前プロセス（Ｐｒｏｃｅｓｓ  ｐｒｅｖｉｏｕｓ  ｓｔａｔｅ）
２６２  プロセス（ｐｒｏｃｅｓｓ）
２７１  システムグラウンディングアクション（Ｓｙｓｔｅｍ  Ｇｒｏｕｎｄｉｎｇ  Ａｃｔｉｏｎ）
２８１  プロセスコスト（Ｐｒｏｃｅｓｓ  Ｃｏｓｔｓ
２８２  アクションコスト（Ａｃｔｉｏｎ  Ｃｏｓｔｓ）
３０１〜３０３  ＣＰＴ（Ｃｏｎｄｉｔｉｏｎａｌ  Ｐｒｏｂａｂｉｌｉｔｙ  Ｔａｂｌｅｓ）
４５０  情報処理装置
４５１  ユーザインタフェース
４５２  会話管理部
４５３  タスク管理部
４５４  表示部
４５５  記憶部
４５６  データベース
５０１  ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）
５０２  ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ−Ｍｅｍｏｒｙ）
５０３  ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）
５０４  ホストバス
５０５  ブリッジ
５０６  外部バス
５０７  インタフェース
５０８  音声入力部
５０９  入力部
５１０  ディスプレイ
５１１  ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）
５１２  ドライブ
５１４  接続ポート
５１５  通信部
５２１  リムーバブル記録媒体
５２２  外部接続機器
【図１】
2009157905.tif 000003
【図２】
2009157905.tif 000004
【図３】
2009157905.tif 000005
【図４】
2009157905.tif 000006
【図５】
2009157905.tif 000007
【図６】
2009157905.tif 000008
【図７】
2009157905.tif 000009
【図１６】
2009157905.tif 000010
【図１８】
2009157905.tif 000011
【図１９】
2009157905.tif 000012
【図２０】
2009157905.tif 000013
【図２１】
2009157905.tif 000014
【図２２】
2009157905.tif 000015
【図２３】
2009157905.tif 000016
【図８】
2009157905.tif 000017
【図９】
2009157905.tif 000018
【図１０】
2009157905.tif 000019
【図１１】
2009157905.tif 000020
【図１２】
2009157905.tif 000021
【図１３】
2009157905.tif 000022
【図１４】
2009157905.tif 000023
【図１５】
2009157905.tif 000024
【図１７】
2009157905.tif 000025