(57)【要約】  双方向マニュアルを提供するための方法及びシステムにおいて、ユーザからの音声を受け取り処理し、音声をワード・シーケンスへ変換し、ワード・シーケンスから意味構造を識別する音声エンジンと、デバイスの操作に関する情報を含む構造化マニュアルと、情報の視覚表示に関連する視覚モデルと、文脈において意味構造を解釈し、適切な情報、構造化マニュアルから視覚表示、及び視覚モデルを取り出す対話管理アレンジメントと、出力情報及び視覚表示を出力する出力アレンジメントと、を含む方法及びシステム。
2008507007.tif 000002
【特許請求の範囲】
【請求項１】
双方向マニュアル・システムであって、
ユーザからの音声を受け取り、処理するための音声エンジンであって、音声をワード・シーケンスへ変換し、ワード・シーケンスから意味構造を識別する音声エンジンと、
デバイスの操作に関連する情報を含む構造化マニュアルと、
情報の視覚表示を関連づける視覚モデルと、
文脈において意味構造を解釈し、構造化マニュアル及び視覚モデルからの関係する情報、及び視覚表示を引き出す対話管理アレンジメントと、
前記情報及び視覚表示を出力するための出力アレンジメントと、
を備えた、双方向マニュアル・システム。
【請求項２】
請求項１に記載の双方向マニュアル・システムにおいて、前記音声エンジンは、自動音声認識アレンジメント及び自然言語理解アレンジメントを含む、システム。
【請求項３】
請求項１に記載の双方向マニュアル・システムにおいて、前記デバイスは少なくとも一つの車両及び該車両内にあるデバイスを含む、システム。
【請求項４】
請求項１に記載の双方向マニュアル・システムにおいて、構造化マニュアルの情報は、人間認知構造に基づいて配置される、システム。
【請求項５】
請求項１に記載の双方向マニュアル・システムにおいて、前記視覚表示は車両に特定的なものと、デバイスに特定的なものの内一つである、システム。
【請求項６】
請求項１に記載の双方向マニュアル・システムにおいて、前記出力アレンジメントは、視覚ディスプレイ及び音声合成アレンジメントを含む、システム。
【請求項７】
請求項６に記載の双方向マニュアル・システムにおいて、前記視覚ディスプレイは２−Ｄ及び３−Ｄディスプレイの少なくとも一つを含む、システム。
【請求項８】
請求項６に記載の双方向マニュアル・システムにおいて、前記視覚ディスプレイが複数のレベルを含む、システム。
【請求項９】
請求項６に記載の双方向マニュアル・システムにおいて、前記視覚ディスプレイは操作のアニメーションを含む、システム。
【請求項１０】
請求項１に記載の双方向マニュアル・システムにおいて、前記音声合成アレンジメントはテキスト音声変換（ＴＴＳ）アプリケーションを含む、システム。
【請求項１１】
請求項１に記載の双方向マニュアル・システムにおいて、前記出力アレンジメントはユーザを導くための言葉の合図及び視覚の合図の少なくとも一つを提供する、システム。
【請求項１２】
デバイスの操作に関する情報を提供するためにユーザと対話する方法において、
前記ユーザからの音声入力を受け取り、
音声入力を意味構造へ変換し、
構造化マニュアル及び視覚モデルから、意味構造に関連する情報及び関連する視覚表示を引き出し、
ユーザへ情報を出力する、
ことを含む方法。
【請求項１３】
請求項１２に記載の方法において、前記音声は、自動音声認識アレンジメント及び自然言語理解アレンジメントを用いて意味構造へ変換される、方法。
【請求項１４】
請求項１２に記載の方法において、構造化マニュアルの前記情報は人間認知構造に基づいて配置される、方法。
【請求項１５】
請求項１２に記載の方法において、視覚グラフィック表示は車両に特定的なもの、デバイスに特定的なものの内一つである、方法。
【請求項１６】
請求項１２に記載の方法において、さらにユーザからの入力を受け取る、方法。
【請求項１７】
請求項１６に記載の方法において、入力は、さらにユーザに対する情報出力に関する質問を含む、方法。
【請求項１８】
請求項１６に記載の方法において、入力は、さらにカーソルの動きを含む、方法。
【請求項１９】
請求項１６に記載の方法において、入力は、さらにカーソルの動きとユーザに対する情報出力に関する質問を含む、方法。
【請求項２０】
請求項１６に記載の方法であって、さらに
ユーザからの入力をさらに受け取る時、ユーザに対する情報の出力を中断し、
ユーザからのさらなる入力をさらに意味構造に変換し、
前記構造化マニュアル及び前記視覚マニュアルからのさらなる意味構造に関連する情報及び関連する視覚ディスプレイを引き出し、
前記ユーザに対し情報をさらに出力し、
中断の時点で、前記ユーザに対し情報の出力を再開する、
ことを含む方法。
【請求項２１】
ユーザと対話し、デバイスの操作に関する情報を提供する方法を実行するプロセッサによって実行可能な命令集合を有する記憶媒体であって、前記方法が、
前記ユーザからの音声入力を受け取り、
前記音声入力を意味構造へ変換し、
構造化マニュアル及び視覚モデルからの意味構造に関連する情報と、関連する視覚ディスプレイとを引き出し、
前記情報を前記ユーザへ出力する、
ことを含む記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両デバイスを含む、デバイスのための双方向（インタラクティブ）マニュアルに関する。
関連する出願へのクロスリファレンス
本出願は、２００３年４月３０日に出願された「音声認識における統計的な言語モデリング方法」と題される米国特許出願番号１０／４２７，６０１、及び２００３年７月３日に出願された「最大エントロピー・モデリングのための高速特性選択方法及びシステム」と題される米国出願番号１０／６１３，３６６に関連し、それらの開示はここで参照することにより全体が援用される。
【背景技術】
【０００２】
マニュアルは多くの人にとって一般的すぎて厄介であり、マニュアルを読みたくない人々がいると考えられている。ある装置はマニュアル無しに使用可能な一方、他の装置はより複雑でそれらを操作するのにマニュアルを必要とする場合がある。自動車産業の動向は、より多くのデバイスが車両に統合されることを示しているので、この問題はより悪化するであろう。
【０００３】
車両又は他の複雑な装置又は装置用のマニュアルを利用する人々は、これらのマニュアルを読むことが退屈であると不平を訴えるであろう。特に、旅行の際、例えば彼らがなじみのない車を借りる場合、例えばきつい旅行スケジュールのせいで、マニュアルを熟読する時間は殆どないであろう。
【０００４】
マニュアルを利用することが不本意及び／又は気が進まないことは、これらのマニュアルが書き言葉のみを利用しているためと説明できるであろう。書き言葉はある事情において、例えば、抽象的な概念を説明するには十分であるかも知れないが、他の事情において、例えば直感的なオブジェクト又はプロセスを説明するには十分でないかもしれない。その上、マニュアルは一般的なユーザのために設計されており、それぞれの特定の機会にある各個人の必要のために設計されていないであろう。
【０００５】
米国特許６，３３０，４９９はデータベース内の車両に関するデータを維持するため、また、音声インタフェースを用いて車両の状態を遠隔でチェックするためにクライアント／サーバ構成を用いた車両診断、及び健康監視システムに言及している。米国特許６，３３０，４９９は診断及び健康監視システムがユーザ・マニュアルを更新するために利用されているが、いずれのマニュアル構成プロセスへも直接のリンクが無いことを示している。
【０００６】
米国特許６，５２６，３５５は、ユーザが商店主、通信施設、情報提供業者（information provider）、家庭やオフィスにあるコンピュータ、及び他のエンティティと無線で対話することを可能にする自動車パーソナル・コンピュータ・システムに言及している。音声コマンドを用いて又は自動車内のディスプレイで対話することによって製品を購入可能である。
【０００７】
米国特許公開２００２０００４７１９は、ユーザから入力された言葉を受け取るマシンとユーザとが対話(interface)するためのマシン・インターフェースに言及している。テキストの各句にあらわれる語に対するスコアを用いて、少なくともいくつかの入力語のスコアが決定される。入力語に対し最も高く結合されたスコアを有するテキスト中の句が識別されると、対応する対話（ダイアログ）命令セットが実行され、出力語が生成され、そしてユーザからの入力語に応答する。この点において、ＵＳ特許公報２００２０００４７１９は単に最も高いスコアを有するテキスト句を戻すだけであり、さらなる説明（表示）は無い。その文書に関して、いかなる前処理又は構造調査も生じない。
【発明の開示】
【課題を解決するための手段】
【０００８】
[概要]
本発明の一例示的な実施形態及び／又は方法は、話し言葉及び、例えば２−Ｄ又は３−Ｄの視覚ディスプレイを含む視覚ディスプレイを、双方向マニュアルへ統合して用いることで、人間にとってより自然で、直感的なコミュニケーション・ツールを提供する。これは様々なデバイスの操作を学習する時間量を著しく低減し、そのプロセスを大いに容易にするであろう。本発明の例示的な実施形態及び／又は方法は、車内のデバイスのマニュアルだけでなく、精巧なデバイスを含む他のデバイスのマニュアルにも同様に適用可能である。
【０００９】
本発明の一例示的な実施形態及び／又は方法は、高度な言語理解技術と視覚モデリングを用い、複雑なデバイス、たとえば車両内に在る、又は車両に統合したデバイスを含む双方向マニュアルを構築する。
【００１０】
本発明に従って一例示的な双方向マニュアルは音声情報及び視覚情報の両方を提供し、特定のデバイス及び／又は車両の操作を学んでいるユーザを導くことができる。例えば、例示的な双方向マニュアルはユーザへ自然言語、例えば、簡単な英語、又は他の適切な話し言葉で情報を質問できる能力を提供できる。また、例示的な双方向マニュアルは、ユーザの質問に応じて、一以上の透視図内にある画面情報をズームイン及びズームアウトできる能力をユーザへ提供できる。
【００１１】
本発明の一例示的な実施形態及び／又は方法は、人々が効率的及び効果的に必要とする操作情報を取得できるように、各個人の認知学習するプロセスをより容易にできる双方向のマニュアルを提供するため用いられるであろう。
【００１２】
本発明に従って一例示的な双方向マニュアルは視覚的情報、例えば２−Ｄ又は３−Ｄのグラフィック表示、又は連続したグラフィック表示と共に言葉のメッセージで答えることができる。言葉のメッセージ及び／又は視覚的情報はユーザからの質問を直接対象にすることができる。２−Ｄ又は３−Ｄグラフィック表示は一般的なものではなく、車両に特定的なものであり、ユーザはより簡単に対応するオブジェクト（対象）を配置し、特定のデバイスの操作を学習する事ができる。
【００１３】
本発明に従って一例示的な双方向マニュアルは個々の機会に各個人の必要のために構成できる。
本発明に従って一例示的な双方向マニュアルは、異なる語句が同じ意味を有し、又は同じ概念に関連することを理解するように構成することができる。この点において、例示的な双方向マニュアルは、同じオブジェクト又は同じプロセスを示す異なる語句、例えば「ガス・タンクの開口部」、又は「ガス・タンクの蓋」をユーザが利用できるようにすることができる。
【００１４】
本発明に従って一例示的な双方向マニュアルは、一以上の図及び／又は透視図でユーザはどこにオブジェクトがあり、それがどのように見えるかを正確に見ることができる。この点において、例示的な双方向マニュアルは、ユーザを適切な位置に導くために言葉の合図(キュー)及び／又は視覚の合図を用いることができる。
【００１５】
本発明に従って一例示的な双方向マニュアルは、特にデバイスの操作が多数のステップに関連する場合、ユーザがどのようにデバイスを操作するかを対話式に理解可能にする。従って、一例示的な双方向マニュアル・システムは、ユーザが、それらのステップが学習プロセスにおいて関連すると感じる方法で、デバイスをどのように操作するかをユーザへ示す。
【００１６】
本発明に従って一例示的な双方向マニュアルは、より良い対話及び学習のために人間の認知に基づいて事前に処理され、構成される要素（エレメント）を含むことができる。
本発明の一例示的な実施形態及び／又は例示的な方法は、視覚及び言葉による方法でユーザの質問に答えることによってデバイスの機能を説明することができる。この点において、デバイスの機能はより直感的に双方向形式で理解される。
【００１７】
本発明の一例示的な実施形態及び／又は例示的な方法は、一以上のデバイス・モデルの構成を含むことができる。デバイス・モデルは、実際はシステム全体にわたるモジュールであり、デバイスが異なっても一般的な表示形式がユーザへ提供される。この点において、全体のシステムは、ソフトウェアのわずかな修正で、又は修正なしに適切なデバイス・モデルで設定可能である。
【００１８】
一例示的な実施形態及び／又は例示的な方法は、ユーザが該モデルを調査すること及び操縦することを可能にし、デバイス環境のシミュレーションは、ユーザがコントローラを用いてどこを「調べる」ことができ、また「動かす」ことができるかを、提供することができる。
【００１９】
本発明の一例示的な実施形態及び／又は例示的な方法は、デバイス機能を説明したり、例えば「どのように（how-to）」についての質問を含む質問に応答するアニメーション（動画）・クリップを用いることができる。
【００２０】
一例示的な実施形態及び／又は例示的な方法は、テキスト音声変換（Text-To-Speech（TTS））アプリケーションを用いて、例えば「何が（what-is）」についての質問を含む質問へ答えを提供することができる。
【００２１】
一例示的な実施態様及び／又は例示的な方法に従って、任意の与えられた時間において、ユーザはアニメーション・クリップ又は非アニメーション・フレームを見ることできる。アニメーションは連続したフレームを含むことができる。各フレームは、テキスト音声変換（ＴＴＳ）アプリケーションにより語られ、各フレームは次のフレームが読み込まれる前に一定量の時間だけ示すことができる。非アニメーション・フレームはユーザが変更を要求するまで、無制限の量の時間表示すことができる。
【発明を実施するための最良の形態】
【００２２】
図１は、双方向マニュアルを提供するための一例示的なシステム１００を示す。例示的なシステム１００は、自動音声認識アレンジメント（装置）１０１、自然言語理解アレンジメント１０２、対話管理アレンジメント１０３、構造化マニュアル１０４、視覚モデル１０５、応答生成アレンジメント１０６、音声合成アレンジメント１０７、及び視覚ディスプレイ・アレンジメント１０８を含む。例示的システム１００は、例えば適切な処理アレンジメント上で実行可能なコンピュータ・ソフトウェアとして実行できる。
【００２３】
自動音声認識アレンジメント１０１は、音声信号を個別の表現、例えば後の段階で適当な意味を割り当てられるワード・シーケンス(word sequence)などへ変換する。特に、自動音声認識アレンジメント１０１は、ユーザの音声を受け取り、顕著な特徴を求めて音声をスペクトル的に分析し、音声をデジタルでエンコードされた特徴のベクトルへ変換し、そのベクトルは音響環境、性、方言の違い、音声学についての知識を利用して、音シーケンス（phone sequence）（例えば、単に母音又は子音）を得るために検査される。次に、音シーケンスは、例えば、何があり得る語となるか、何の語がよく発生するか、及びどのようなシーケンス（言語モデル（ＬＭ）と呼ばれる）にあるかの知識を利用して、対応するワード・シーケンスへ変換される。この点において、本発明の例示的な実施態様及び／又は方法は、例えば「言語認識における統計的言語モデリング法」と題される２００３年４月３０日に出願された米国特許出願１０／４２７，６０１に記述されている技術を用いることが可能であり、その出願の開示内容全体は参照により援用される。
【００２４】
自然言語理解アレンジメント１０２は、自動音声認識アレンジメント１０１からワード・シーケンスを受け取り、統計的な知識又は規則に基づいた情報のいずれかに基づくワード・シーケンスからその意味の構造を識別する。この点において、本発明の例示的な実施態様及び／又は方法は、例えば２００３年７月３日に出願された「最大エントロピー・モデリングのための高速特徴選択方法及びシステム」と題される米国出願１０／６１３，３６６において記述されている技術を用いることが可能であり、その出願の開示内容全体は参照により援用される。
【００２５】
対話管理アレンジメント１０３は、自然言語アレンジメント１０２により生成された意味構造を用い、関連する情報のための構造化マニュアル１０４、及びグラフィック・イメージのための（複数の）デバイスの相互に関連する視覚モデル１０５を検査する。構造化マニュアル１０４からの関連する情報及び視覚モデル１０５からのグラフィック・イメージは応答生成アレンジメント１０６へ供給され、応答生成アレンジメント１０６は適当な形式で情報やグラフィック・イメージをフォーマットし、音声合成アレンジメント１０７及び視覚ディスプレイ・アレンジメント１０８を介して出力する。この点において、視覚ディスプレイ・アレンジメント１０８は、例えば静的又は動的な方法で表示される例えば２−Ｄ、又は３−Ｄイメージを供給できる。
【００２６】
対話管理アレンジメント１０３はユーザの音声を解釈し応答を準備するための調整を行う。例えば、質問「左のオブジェクトは何を行うか？」を用いて、自然言語理解アレンジメント１０２はこの「何か(what-is)」のような質問を理解するために構成され、対話管理アレンジメント１０３はこの理解を用いて、構造化マニュアル１０４及び視覚モデル１０５と対話（相互作用）し、オブジェクトを識別し、オブジェクト及び現在の表示に関する一定の情報を検索し、その後、応答生成アレンジメント１０６へ該情報を送る。
【００２７】
構造化マニュアル１０４及び視覚モデル１０５は、共に例えばＧＳＬ文法パッケージ及び文法テーブルを含むモデル・パッケージを形成する。ＧＳＬ文法パッケージは、例えば、自動音声認識アレンジメント１０１のための語句及び文の集合を記した文法を含み、例えば、「停止」、「開始」、「どのように町へ行けばよいか」などの質問及び／又は命令を認識する。文法テーブルは、例えば文法特定言語（ＧＳＬ）を用いて定義されている特定の文法に関連するそれぞれアニメーション・クリップ及び非アニメーション・フレームを含むことができる。この点において、音声の発生がなされると、自動音声認識アレンジメント１０１は対応する文法を用いて、その対応する文を見つけることができる。自動音声認識アレンジメント１０１からの出力に基づいて、モデル・オブジェクト又はユーザの意図する行動が識別され、ユーザを助けるために適切な応答が提供される。
【００２８】
また、構造化マニュアル１０４及び視覚モデル１０５によって形成されるモデル・パッケージは、オブジェクト・ファイルを含み、デバイスのモデルに関連する空間的な情報及び画像情報、例えばあるデバイスのコンポーネント（構成要素）の位置や色を定義することができる。この点において、モデル・パッケージは様々なテーブル、例えば、「環境（ｓｕｒｒｏｕｎｄｉｎｇ）」テーブル、「スライド（ｓｌｉｄｅ）」テーブル、「ハウツー（ｈｏｗ−ｔｏ）」テーブル、「何が（ｗｈａｔ  ｉｓ）」テーブル、「選択する（ｓｅｌｅｃｔ−ｉｔ）」テーブルなどを含むことができる。特に、「環境テーブル」は、オブジェクトと近接する空間的な情報を定義でき、オブジェクト・ファイルによって提供される情報と共に、物理モデル及び関係を定義できる。「スライド」テーブルは、アニメーション・シーケンスや、例えば表示とテキスト字幕の間隔に関する情報を含む関連の情報を記憶することができる。この際に、アニメーション・シーケンスはいつでも中断されるであろう。「ハウツー」テーブルは、オブジェクトとアニメーション・クリップを連結し、ハウツー・アクション(action)が促されると（例えば「どのようにしてこれを行うか」の発声を検出すると）、適切なアニメーション・クリップがスクリーン上に表示される。「何か」テーブルは、特定の特徴が何を行うかを記述したテキストを含み、「何か」アクションが促されると（例えば、「これは何を行うか」の発声を検出すると）、テキストは表示及び／又は音声応答として出力することができる。「それを選択する」テーブルはフレームの表示を容易にすることができ、例えば特定のボタンが押された結果を含む、使用可能な制御の結果を示す。
【００２９】
これらの検索テーブルの間で、オブジェクトは唯一のＩＤで一貫して識別される。構造化マニュアルは、この唯一のＩＤを用いて各テーブル内を検索するためのアプリケーション・プログラミング・インターフェース（ＡＰＩ）を提供する。自然言語理解アレンジメント１０２は、音声中の各オブジェクトを識別し、さらに分析する際に該音声をそのオブジェクトＩＤで参照するであろう。対話管理アレンジメント１０３は音声操作する際に、本ＩＤを用いることができる。
【００３０】
また、表示を更新する必要があるとき、現在のコンテンツが配置されるであろう。まず、該操作は、構造化マニュアル内に新しい視野（ビュー）に対応するスライドを配置する。次にスライド中の全てのオブジェクトがわかると、各テーブルの探索はオブジェクトのＩＤを用いて行われ、配置されたコンテンツを構成する。この際に、配置されたコンテンツは表示及び事実を検索するために用いられる。
【００３１】
構造化マニュアル１０４により形成されるモデル・パッケージ、及び視覚モデル１０５は、一般的ではなく、車両に特定的なもの及び／又はデバイスに特定的なものであるので、ユーザは、より容易に対応するオブジェクトを配置し、車両に関係するデバイス類及び車両に関係ないデバイス類を含む特定のデバイスの操作を学習できる。例えば、例示的なシステム１００は、一以上のデバイス・モデルの構造を含み、そのデバイス・モデルは実際上、システム全体にわたってモジュール構成(modular)であり、異なるデバイスであるにもかかわらず一般的な表示フォーマットがユーザへ供給される場合がある。この点において、システム全体は、ソフトウェアの変更はほとんど無く、又は全く無しに、適切なデバイス・モデルで構成可能である。
【００３２】
音声合成アレンジメント１０７は、ユーザへ音声応答を提供する。特に、音声合成アレンジメント１０７は、ユーザへ音声応答を提供するための、例えばテキスト音声変換（ＴＴＳ）アプリケーションを含む場合がある。この点において、テキスト音声変換（ＴＴＳ）アプリケーションは英語のテキストを用い、音声データから得られる一連の規則やモデルを用いて、自然でわかりやすい音響音声信号を生成できる。
【００３３】
視覚ディスプレイ・アレンジメント１０８は、ユーザへ視覚情報を３次元の透視図で提供する。この点において、視覚ディスプレイ・アレンジメント１０８は、例えば、陰極線管（ＣＲＴ）モニタ、液晶ディスプレイ、又は他の適切なグラフィック・ディスプレイを含むことができる。視覚ディスプレイ・アレンジメントは２−Ｄ又は３−Ｄディスプレイを供給できることは容易に理解されよう。また、例えばユーザの入力の連続及び視角の方向によって、視野が異なるように、視覚モデル１０５は、２−Ｄ又は３−Ｄ、又は３−Ｄと２−Ｄの組み合わせで実行できることは容易に理解されよう。従って、ユーザの見え方（perspective）に適応させるため、モデルは２Ｄへ適切に変形できる。
【００３４】
例示的な双方向マニュアル・システム１００の一部はＭｉｃｒｏｓｏｆｔ  Ｖｉｓｕａｌ  Ｃ＋＋６．０、Ｎｕａｎｃｅ  Ｖｏｃａｌｉｚｅｒ３．０、及びＮｕａｎｃｅ  Ｒｅｃｏｇｎｉｚｅｒ８．０を用いて実行されることができる。例示的な双方向マニュアル・システム１００は、例えば任意の適切な処理配置、例えばインテルに基づくマイクロプロセッサを有するパーソナル・コンピュータ等を含むことができる。適切な処理配置は、例えばＭｉｃｒｏｓｏｆｔ  Ｗｉｎｄｏｗｓ  バージョン２００環境を含む、例えば広範な様々の操作及び／又はアプリケーション開発環境によりサポートされることができる。例示的な双方向マニュアル・システム１００のコンポーネント１０１から１０８は、共通のプラットフォーム上に配置される場合があること、あるいはいくつかの又は全てのこれらのコンポーネントが独立して存する場合があることは理解されよう。例えば、自動音声認識アレンジメント１０１、自然言語理解アレンジメント１０２、対話アレンジメント１０３、応答生成アレンジメント１０６、音声合成アレンジメント１０７、及び視覚ディスプレイ・アレンジメント１０８は全て車両内にある場合がある。それに対し、構造化マニュアル１０４及び視覚モード１０５は、例えば適切な無線インタフェースを介してアクセス可能な遠隔の場所にある車両の外に存する場合がある。この点において、構造化マニュアル１０４及び視覚モデル１０５は、例えば、これらのコンポーネントの拡張、更新及び又は修正されたバージョンがサポートされるよう、必要に応じてアップロード及び／又はダウンロードされる場合がある。
【００３５】
図２は、例示的な双方向マニュアル（ＩＭ）ディスプレイ２００を示す。例示的な双方向マニュアルディスプレイ２００は、ウィンドウ記述２０１、ドロップ−ダウン及び／又はポップアップ・コマンドのメニュー・バー２０２、サブ・ウィンドウ２０３、双方向テキスト２０４、カーソル２０５、双方向グラフィック・ディスプレイ２０６、質問文２０７、グラフィック・シンボル２０８、及び状態表示２０９を含む。
【００３６】
双方向マニュアル・システム１００の例示的な動作に従って、ユーザがデバイスを操作する上で、問題及び／又は困難（あるデバイスの場所を探し当てる、又はデバイスの操作を理解するなど）に遭遇したとき、ユーザは、音声及び／又は視覚による方法で応答可能な双方向マニュアルに話すことができる。この点において、双方向マニュアルはユーザと簡単な対話を行い、ユーザへそのデバイスの操作についてアニメーションを示すことができる。アニメーションは、フレーム中の各グラフィック表示と関連したいわゆるアニメーション・オブジェクトを含む連続したフレームを含むことができる。各フレームは与えられた時間で表示された情報を保存することができる。その情報はテキスト記述及びオブジェクト調査のためのインデックス・テーブルを含むことができる。その記述を、デモンストレーションの間、テキスト音声変換（ＴＴＳ）アプリケーションを用いて読むことができる。再生プロセスの間、フレームは事前に定義された期間に表示され、そしてその記述はテキスト音声変換（ＴＴＳ）アプリケーションにより音読されるよう促される。現在のフレームは現在の時間におけるスライドの情報を含むことができる。スライドの内容を複製することに加え、アニメーション・オブジェクトを強調し、及び／又は例えば選択カーソルの位置へ、移動することができる。例えば、双方向マニュアルは、ユーザがデバイスについて問題を有していることを確認し、そして点滅する記号、及び／又はオブジェクトを有するスクリーン上にそのデバイスを表示することができる。
【００３７】
各フレームの内容は、例えばアニメーション・オブジェクトのリストを含むことができる。特に、ディスプレイ内の各グラフィック表示はアニメーション・オブジェクトとして記憶できる。更に、アニメーション・オブジェクトの各インスタンスは唯一の名前、レイアウト位置、及び色彩表示を有することができる。
【００３８】
図３は、ブロック３００における例示的なアニメーション・オブジェクトの種類を示す。特に、アニメーション・オブジェクトは、例えば基本形、テキスト、又はグラフィック・ユーザ・インタフェース（ＧＵＩ）オブジェクトを含むことができる。この場合に、基本形は例えば、長方形、ボックス、線、及び又は円を含むことができる。テキストは、例えば一行のテキスト及び／又は複数行のテキストを含む。グラフィック・ユーザ・インタフェース（ＧＵＩ）オブジェクトは、例えばテキスト・ボタン、イメージ・ボタン及び／又はイメージを含む。
【００３９】
各オブジェクトはその位置に関連する隣接した周囲の情報を記憶することができる。例えば、各オブジェクトは左、右、上、底、前、後等に関連する情報を記憶する。その上、隣接するオブジェクトはオブジェクトの周囲に「よく聞かれること」を明細に記すことができる。さらに、方向コマンド（例えば北、南、上、下、左、右等）が与えられると、システムは現在選択されたオブジェクトの周囲のオブジェクトを調べることができる。オブジェクトが見つからない場合は、有効な隣接オブジェクトが無い。
【００４０】
図４は、双方向マニュアル・システムの例示的なコンポーネント間で内部メッセージを送るための一例示的なシステム構成４００を示す。図４において、長方形のボックスは、それぞれ例示的なコンポーネントを表し、及び線は接続レイヤを表す。例示的なコンポーネントはディスプレイ・マネージャ４０１、音声エンジン４０２，テキスト音声変換（ＴＴＳ）エンジン４０５、双方向マネージャ４０３、及びモデル・マネージャ４０４を含む。例示的なシステム構成４００は、例えばソフトウェアで実行され、また適当な処理手順で実行される。
【００４１】
例示的なシステム構成４００はメッセージに基づいている。この点において、コンポーネント「ｈｏｏｋｓ（フック）」は最上位層及び最下位層へ向けられると、そのコンポーネントは上へ向かって又は下に向かってメッセージを知らせる。同一ピア内にあるコンポーネント（例えばディスプレイ・マネージャ・コンポーネント４０１及び音声エンジン・コンポーネント４０２）は直接メッセージを送らない。コネクタを通じて、メッセージは明示されたコンポーネントへ分配される。メッセージが受信するコンポーネントの名前で記載されている場合、コネクタはそのコンポーネントへのみメッセージを送る。そうでなければ、メッセージは全てのコンポーネントへ送信（ブロードキャスト）される。
【００４２】
アプリケーションの開始時に、音声エンジン・コンポーネント４０２は、例えば命令や質問である、ユーザの発声を受け取る。入力された音声は、解釈され、その結果は双方向マネージャ・コンポーネント４０３へ送られる。
【００４３】
双方向マネージャ・コンポーネント４０３は例えばデモ・アニメーションの読み込みなど対応する行動をとる。この点において、デモンストレーションを再生する処理の間、ユーザは任意の時点で遮断して、現在のフレームに関する質問を行い、命令をし、フレーム間で指示又は他のトピックに移ることができる。
【００４４】
ディスプレイ・マネージャ・コンポーネント４０１は、モデル・マネージャ・コンポーネント４０４により生成された物理モデル４０４ａを監視するために、ユーザへカメラの視野を提供する。この点において、ユーザはカメラをズームイン又はズームアウト、回転及び移動するために言葉で制御する。３−Ｄ環境において、例えばカメラの視野によりユーザはオブジェクトの別の側面を見ることができる。
【００４５】
ディスプレイ・マネージャ・コンポーネント４０１はスクリーン上に現在のフレームを表示する。それは例えばキーを押下する等のユーザ・インタフェース（ＵＩ）入力も扱う。ディスプレイ・マネージャ・コンポーネント４０１は現在のディスプレイのモデル４０１ａを含み、それは双方向マネージャ・コンポーネント４０３を介してモデル・マネージャ・コンポーネント４０４により更新される。ディスプレイは、必要なときにユーザの視野内で、３−Ｄモデルを２−Ｄ表示へ変換することができる。
【００４６】
モデル・マネージャ・コンポーネント４０４はオブジェクト、フレーム及びアニメーション、高速検索のためのインデックスを付すハッシュ・テーブルの内容を含む。この点において、モデル・マネージャ４０４は、多数の異なるファイルを含み、適切なモデル・パッケージが読み込まれるよう、適切な検索テーブルが構成され、その結果デバイス・モデルが組み立てられる。
【００４７】
モデル・マネージャ・コンポーネント４０４は、また、オブジェクト及びシーケンス、例えば再生制御又は動作制御等の空間的で一時的な操作のために、アプリケーション・プログラミング・インタフェース（ＡＰＩｓ）を提供する。この点において、再生制御は、例えば巻戻し、早送り、再生、逆転させる等を含み、動作制御は例えば、上、下、左、右、中、外、等を含む。
【００４８】
音声エンジン・コンポーネント４０２は音声入力を受け取り、ユーザの言葉の意味を理解しようと試み、双方向マネージャ・コンポーネント４０３へその意味を渡す。また、音声エンジン・コンポーネント４０２は双方向マネージャ・コンポーネント４０３から命令を受け取り、音声を生成することができる。テキスト音声変換（ＴＴＳ）コンポーネント４０５はテキストを音声へ変換する。音声エンジン・コンポーネント４０４は例えば言語理解プロセッサを含むことができる。
【００４９】
双方向マネージャ・コンポーネント４０３はシステムの全体に亘って制御を提供し、有限状態機械（有限状態文法）、プッシュダウン・オートマトン（文脈自由の文法）、又はチョムスキー階層（Chomsky hierarchy）のより複雑なオートマトンを介して実行される。この点において、双方向マネージャ・コンポーネント４０３は様々なシステム状態を維持することができる。双方向マネージャ・コンポーネント４０３は、音声エンジン・コンポーネント４０２及び現在のシステム状態から意味入力を受け取り、そして他のコンポーネントへ連続した命令を提供し、よってシステム状態を調整する。決定セット用の知識ベースは、双方向記述言語（ＩＤＬ）によって記述することができる。
【００５０】
双方向記述言語（ＩＤＬ）は、規則及びアクションの対としてプログラムされる。一規則は一以上の状態で定義される。規則中の全ての状態が満足されると、規則に関連したアクションが引き起こされる。例えば、発声「赤いボタンは何か」と「これは何か」が比較されるとき、音声エンジン・コンポーネント４０２は異なる意味構造を生成し、よって異なる規則が適用される。特に、音声エンジン・コンポーネント４０２は第１発声「何か」質問と特定のオブジェクトを分類（label）する。関連するアクションは、「赤いボタン」に対する記述を検索する。第２の発声に対して、音声エンジン・コンポーネント４０２は特定のオブジェクトを提供しない。その代わりに、２つの関連するアクションを行う。第１のアクションにおいて、現在のフレーム中の現在選択されたオブジェクトに関する検索が行われる。オブジェクトが存在すれば、第２の検索は選択の記述のために行われる。そうでなければ、入力は無視される。
【００５１】
規則は４つのカテゴリに分類され、アプリケーションの要求に基づいて拡張される。この点において、規則は例えば、（１）早送り、巻き戻し又は停止などのアニメーション・シーケンスを扱うデモ・アクション制御規則、（２）カーソルを用いて項目に印を付ける処理を行うカーソル移動規則、（３）対象のデバイスを探索するためのユーザ・アクション、例えばメニュー項目の選択又はボタン押下などを処理するインタフェース操作規則、（４）「何か（what-is）」及び「どのように（how-to）」等の質問を処理するオブジェクト質問規則、である。
【００５２】
図５は、図４の双方向マネージャ４０３を実行するのに用いられる、一例示的な有限状態機械表示５００を示す。例示的な有限状態機械表示５００は、状態を変化させるために状態や関連するアクションを含む。この場合、状態はアイドル状態、認識(recognizer)オン状態、評価結果状態、アニメーション再生状態、音声合成オン状態を含む。そのアクションは、「通話キー押下」アクション、「通話キー解放」アクション、「デモ再生」アクション、「テキストを読む」アクション、「プレイヤー終了」アクション、「無効結果」アクションを含む。「通話キー押下」アクションはアイドル状態又は音声合成オン状態を、認識オン状態へ変更し、「通話キー解放」アクションは認識オン状態を評価結果状態へ変更し、「テキストを読む」アクションは評価結果状態を音声合成オン状態へ変更し、「デモ再生」アクションは、評価結果状態をアニメーション再生状態へ変更し、「プレイヤー終了」アクションは、アニメーション・プレイヤー状態をアイドル状態へ変更し、「無効結果」アクションは評価結果状態をアイドル状態へ変更する。
【図面の簡単な説明】
【００５３】
【図１】双方向マニュアルを提供する一例示的なシステムを示す。
【図２】一例示的な双方向マニュアルのディスプレイを示す。
【図３】例示的なアニメーション・オブジェクトの種類を示す。
【図４】双方向マニュアルの例示的なコンポーネント間の内部メッセージのための例示的なシステム構成を示す。
【図５】一例示的な有限の状態機械表示を示す。
【図１】
2008507007.tif 000003
【図２】
2008507007.tif 000004
【図３】
2008507007.tif 000005
【図４】
2008507007.tif 000006
【図５】
2008507007.tif 000007
【手続補正書】
【提出日】平成19年7月5日(2007.7.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項２０
【補正方法】変更
【補正の内容】
【請求項２０】
請求項１６に記載の方法であって、さらに
ユーザからの入力をさらに受け取る時、ユーザに対する情報の出力を中断し、
ユーザからのさらなる入力をさらに意味構造に変換し、
前記構造化マニュアル及び前記視覚マニュアルからのさらなる意味構造に関連する情報及び関連する視覚表示を引き出し、
前記ユーザに対し情報をさらに出力し、
中断の時点で、前記ユーザに対し情報の出力を再開する、
ことを含む方法。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項２１
【補正方法】変更
【補正の内容】
【請求項２１】
ユーザと対話し、デバイスの操作に関する情報を提供する方法を実行するプロセッサによって実行可能な命令集合を有する記憶媒体であって、前記方法が、
前記ユーザからの音声入力を受け取り、
前記音声入力を意味構造へ変換し、
構造化マニュアル及び視覚モデルからの意味構造に関連する情報と、関連する視覚表示とを引き出し、
前記情報を前記ユーザへ出力する、
ことを含む記憶媒体。
【国際調査報告】
2008507007.tif 000008