(57)【要約】【課題】マルチモーダル・アプリケーションを含む音声使用可能アプリケーションにヘルプを供給する方法を提供する。【解決手段】音声使用可能アプリケーションと関連する少なくとも１つの音声文法を識別し、音声文法内のヘルプ・フィールドを定義する。ヘルプ・フィールドは音声使用可能アプリケーション用に利用可能な音声コマンドを含むことができる。音声使用可能アプリケーションが使用するために音声文法がアクティブにされると、利用可能な音声コマンドを音声使用可能アプリケーションのユーザに提示することができる。提示される音声コマンドは、ヘルプ・フィールドから獲得することができる。【選択図】図２
2007249200.tif 000002
【特許請求の範囲】
【請求項１】
ヘルプを音声使用可能アプリケーションに供給する方法であって、
音声使用可能アプリケーションと関連する少なくとも１つの音声文法を識別するステップと、
前記音声文法内にヘルプ・フィールドを定義するステップであって、前記ヘルプ・フィールドが前記音声使用可能アプリケーション用に利用可能な音声コマンドを含むステップと、
前記音声使用可能アプリケーションが使用するために前記音声文法をアクティブにするステップと、
前記利用可能な音声コマンドを前記音声使用可能アプリケーションのユーザに提示するステップであって、前記提示した音声コマンドが前記ヘルプ・フィールドから獲得されるステップと
を含む方法。
【請求項２】
前記音声文法の状態が前記音声使用可能アプリケーションの状態に基づいて動的に変化し、前記提示した利用可能な音声コマンドが前記音声文法の前記状態に従って動的に変化する、請求項１に記載の方法。
【請求項３】
前記音声文法を含む複数の音声文法が同時にアクティブにされ、前記複数の音声文法の各々が、利用可能な音声コマンドを含む定義済のヘルプ・フィールドを有し、前記提示するステップが、前記アクティブにされた音声文法の各々と関連する利用可能な音声コマンドを提示する、請求項１に記載の方法。
【請求項４】
前記複数の音声文法が、コンテキスト依存文法、ページ・レベル文法及びグローバル文法を含む一群の文法タイプから選択された少なくとも２つの異なるタイプの文法を含む、請求項３に記載の方法。
【請求項５】
前記少なくとも２つの異なるタイプの文法が、前記一群の文法タイプから選択された少なくとも３つの異なるタイプの文法を含む、請求項４に記載の方法。
【請求項６】
前記音声使用可能アプリケーションがマルチモーダル・アプリケーションであり、前記提示するステップが、前記利用可能な音声コマンドを前記音声使用可能アプリケーションのユーザに視覚的に提示する、請求項１に記載の方法。
【請求項７】
前記利用可能な音声コマンドが視覚的に提示されるウィンドウが、受信した音声コマンドに応答して選択的に表示される、請求項６に記載の方法。
【請求項８】
前記提示するステップが、受信したヘルプを使用可能な音声コマンドに応答して前記利用可能な音声コマンドを前記音声使用可能アプリケーションのユーザに音声として提示し、ユーザ・コマンドにより、前記音声使用可能アプリケーションを、前記ヘルプを使用可能な音声コマンドが受信される直前の状態に戻す、請求項１に記載の方法。
【請求項９】
前記音声使用可能アプリケーションが、グラフィカル・ユーザ・インターフェースを有するマルチモーダル・アプリケーションである、請求項８に記載の方法。
【請求項１０】
前記ヘルプ・フィールドが複数の発話例を含み、各々が前記利用可能な音声コマンドの１つに対応し、前記提示するステップが、
前記発話例を前記ユーザに提示するステップを更に含み、前記提示された発話例が前記ヘルプ・フィールドから獲得される、請求項１に記載の方法。
【請求項１１】
前記音声文法がＳＲＧＳに基づく文法であり、前記ヘルプ・フィールドが、ＳＲＧＳメタタグを用いて前記ＳＲＧＳに基づく文法内に格納される、請求項１０に記載の方法。
【請求項１２】
前記音声使用可能アプリケーションが、マルチモーダル・ブラウザ内で実行するマルチモーダル・アプリケーションである、請求項１に記載の方法。
【請求項１３】
前記音声使用可能アプリケーションがマークアップ言語で書かれる、請求項１２に記載の方法。
【請求項１４】
前記マルチモーダル・アプリケーションと前記マルチモーダル・ブラウザとの間にヘルプ・コンジットを確立するステップを更に含み、データ・ペイロードが前記ヘルプ・コンジットを介して伝達される、請求項１２に記載の方法。
【請求項１５】
前記ヘルプ・フィールド内にコンテンツを配置する手段を開発者に提供する文法ウィザードを供給するステップ
を更に含む、請求項１に記載の方法。
【請求項１６】
請求項１に記載のステップが、コンピュータ・プログラムに従ってコンピュータにより実行される、請求項１に記載の方法。
【請求項１７】
請求項１に記載のステップが、サービス仲介者によって操作されるコンピュータ装置によって実行され、前記ステップがサービス要求に応答して実行される、請求項１に記載の方法
【請求項１８】
ＳＲＧＳメタタグを用いて実装されたヘルプ・フィールドを含む音声文法であって、前記音声文法が、前記音声文法をアクティブにする音声使用可能アプリケーションによって用いられ、前記ヘルプ・フィールドが、前記音声文法と関連する音声コマンドに対するヘルプを前記音声使用可能アプリケーションのユーザに提供するヘルプ・データを含む、
音声文法。
【請求項１９】
前記ヘルプ・フィールドと関連するヘルプ例を更に含み、前記ヘルプ例が、適切に言い表される音声コマンドの一例として前記音声使用可能アプリケーションによって提示される、請求項１８に記載の音声文法。
【請求項２０】
ヘルプを音声使用可能アプリケーションに供給するシステムであって、
音声文法の利用可能な音声コマンドと関連するヘルプ・コンテンツを指定する文法ウィザードと、
前記文法ウィザードによって生成された少なくとも１つの文法であって、前記文法内の複数の単語と、前記複数の単語用のヘルプ・コンテンツが含まれる複数のヘルプ・フィールドとを含む文法と、
ヘルプ・インターフェースを含むマルチモーダル・アプリケーションであって、前記関連する文法がアクティブにされると、前記ヘルプ・コンテンツを前記ヘルプ・インターフェース内に動的にロードするマルチモーダル・アプリケーションと
を含むシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声処理の分野に関し、特に、音声文法内に利用可能な音声コマンドを含む文法依存ヘルプを配置することに関する。
【背景技術】
【０００２】
ユーザがインターフェースをとることができる複数の冗長対話モードを有するコンピュータ・インターフェースを介してマルチモーダル対話が生じる。マルチモーダル・インターフェースの代表的なモードには、グラフィカル・ユーザ・インターフェース（ＧＵＩ）モード及び音声モードが含まれる。どちらか一方のモードを介して入力及び出力を受信及び送信することができる。
【０００３】
有限または不便な入力／出力周辺装置が取り付けられたコンピュータ装置上でマルチモーダル・アプリケーションが実行される場合、特に音声モードが重要となることがある。このことは、コンピュータ装置が埋め込まれた移動体、及び装着型コンピュータ装置に特に当てはまる。
【０００４】
例えば、多くのスマートフォンには、タッチ画面ＧＵＩ及び音声インターフェースが含まれる。音声インターフェースは音声入力を受信することができ、この音声入力はテキストに自動的に変換され、電子メール・アプリケーションまたはワード・プロセッシング・アプリケーションのようなアプリケーションに配置される。この音声入力機構は、装置のＧＵＩモードが含まれるタッチ画面入力機構を用いてテキスト・メッセージを入力しようとするよりもユーザにとって著しく容易となり得る。これに加えて、この装置を、（携帯装置の可動性によって）比較的小型の画面が読みにくい環境において、または、表示画面を読むことにかなり気を取られる状況において用いることができる。これらの状況において、テキスト出力を音声に変換し、音声としてユーザに提示することができる。
【０００５】
マルチモーダル・アプリケーションを用いる課題の１つは、許可される音声コマンドに関する。異なるコマンドを、マルチモーダル・アプリケーションの状態に応じて選択的に利用可能にすることがある。その他の音声コマンドを、アプリケーションの状態から独立して利用可能にすることがある。音声コマンドのうちの異なる音声コマンドをアプリケーションのグローバル・コマンドと見なすことがあり、その他の利用可能な音声コマンドを、アプリケーションの表示されたウィンドウまたはページに依存するページ・レベル・コマンドとすることがあり、更なる他の音声コマンドを、インターフェースのフォーカスを現在保有しているインターフェース項目に依存するコンテキスト依存コマンドとすることがある。ページ・レベル・コマンド及びコンテキスト依存コマンドを動的とすることがあるが、グローバル・コマンドを比較的静的とすることがある。マルチモーダル・アプリケーションは、これらの異なるタイプのコマンドのすべてにヘルプを供給する必要がある。
【０００６】
マルチモーダル・アプリケーションにヘルプを供給する現在の技術は、マルチモーダル・アプリケーションと、マルチモーダル・アプリケーション内に生じるイベントとにリンクされたコード内にヘルプを一意的に構成する従来のコーディング技術を用いる。例えば、ヘルプをアプリケーションの汎用ヘルプ・ファイル内で統合することがある。このアプローチに関する１つの問題は、（利用可能な音声コマンドがアプリケーション状態に応じて変化することがあるので）音声コマンド及びヘルプ・コードがアプリケーションの比較的深いレベルで統合されるということである。コードがアプリケーションに対して変更される場合、ヘルプ・ファイルへのリンクも変更し、これらを試験する必要がある。これに加えて、音声コマンドをプログラマチックに解釈するために用いられる音声文法が変化する場合、この変化に対応するようにマルチモーダル・アプリケーション及び関連のヘルプ・ファイルを変更する必要がある。
【０００７】
アプリケーション／ヘルプ／文法の同期を維持することに関する問題は、明確なインターフェースを有する離散ユニット内にソフトウェア機能をコンポーネント化したサービス指向アーキテクチャ（ＳＯＡ）技術のような新たなソフトウェア開発技術によって悪化する。ＳＯＡでは、異なるグループまたは一団あるいはその両方は典型的に、他者によって独立して開発されたコード・ユニットと組み合わせることができるコード・ユニットを供給することに焦点を合わせる。原子的に制御される開発環境の代わりとして、ＳＯＡは、多数の独立して開発されたソフトウェア・ビルディング・ブロックから統合されたソフトウェア製品をもたらす分散型開発環境を奨励している。ＳＯＡは、製品化までの時間を改善し、ソフトウェアを大規模に再利用し、段階的に性能を向上するという利点を有することができる。ＳＯＡは従来のソフトウェア設計方法を問題にすることもある。例えば、ＳＯＡソフトウェア・ユニットを、コード依存性の低いソフトウェアと統合することは困難であることがある。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ヘルプを音声使用可能アプリケーション及びマルチモーダル・アプリケーション内に実装するために新たなアプローチが必要とされる。新たなアプローチは、ＳＯＡに基づく技術を含む任意のソフトウェア技術を用いて開発されたマルチモーダル・アプリケーションと理想的に協働することができる。更に、音声使用可能アプリケーションまたは音声文法あるいはその両方が更新されるように、このアプローチが更新及び維持し易くする必要がある。その上、最適なアプローチは、異なるプラットフォーム用に開発された音声使用可能アプリケーション及びマルチモーダル・アプリケーションの両方に単一のヘルプ技術を用いることができるようにヘルプ・ファイルを異なるアプリケーションにわたって移植できるようにする。
【課題を解決するための手段】
【０００９】
ソフトウェア解決策では、音声コマンドと関連するヘルプ・ファイルが、本明細書で開示された本発明の構成の一実施形態に従って音声文法内に実装されている。特に、動的にアクティブにすることができる文法はヘルプ・フィールドを含むことができる。ヘルプ・フィールドは、文法がアクティブであるときに利用可能であるヘルプ・コマンドと、各ヘルプ・コマンドの１つ以上の例と、関連のコンテキスト依存ヘルプとを指定することができる。音声文法を音声使用可能アプリケーションによって用いることができる。このような音声使用可能アプリケーションの１つは、マルチモーダル・ウェブ・ブラウザによってレンダリングすることができるマークアップを用いて実装されたマルチモーダル・アプリケーションである。文法、アプリケーション及びウェブ・ブラウザの任意の組み合わせ間でコンジットを確立することができ、コンジットを介してヘルプ・イベント及びヘルプ関連のデータ・ペイロードを伝達することができる。アクティブな文法から抽出されたヘルプ情報を視覚的に、または音声として、あるいはその両方で提示することができる。一実施形態では、文法内にヘルプ・フィールドを埋め込み、これらヘルプ・フィールドを音声使用可能アプリケーションのインターフェース要素に統合することを容易にするウィザードをソフトウェア開発環境の一部として含めることができる。
【００１０】
本明細書で提示される要素と合致する多数の側面に従って本発明を実装することができる。例えば、本発明の一側面は、音声使用可能アプリケーションにヘルプを供給する方法を含むことができる。この方法は、音声使用可能アプリケーションと関連する少なくとも１つの音声文法を識別するステップを含むことができる。音声文法内のヘルプ・フィールドを定義することができる。ヘルプ・フィールドは音声使用可能アプリケーション用に利用可能な音声コマンドを含むことができる。音声使用可能アプリケーションが使用するために音声文法をアクティブにすることができる。利用可能な音声コマンドを音声使用可能アプリケーションのユーザに提示することができる。提示した音声コマンドをヘルプ・フィールドから獲得することができる。
【００１１】
本発明の別の側面は、音声認識文法仕様（ＳＲＧＳ）メタタグを用いて実装された少なくとも１つのヘルプ・フィールドを有する音声文法を含むことができる。ヘルプ・フィールドは、音声使用可能アプリケーションによって用いられるコンテンツを含むことができる。ヘルプ・フィールドは、音声文法と関連する音声コマンドに対するヘルプを音声使用可能アプリケーションのユーザに提供するヘルプ・データを含むことができる。
【００１２】
本発明の更なる別の側面は、ヘルプを音声使用可能アプリケーションに供給するシステムを含むことができる。このシステムは、文法ウィザードと、文法ウィザードによって生成された少なくとも１つの文法と、マルチモーダル・アプリケーションとを含むことができる。文法ウィザードは、音声文法の利用可能な音声コマンドと関連するヘルプ・コンテンツを指定することができる。生成された文法は、文法内の単語と、単語用のヘルプ・コンテンツが含まれるヘルプ・フィールドとを含むことができる。マルチモーダル・アプリケーションはヘルプ・インターフェースを含むことができる。マルチモーダル・アプリケーションは、関連する文法を動的にアクティブにする実行時にヘルプ・コンテンツをヘルプ・インターフェース内に動的にロードすることができる。
【００１３】
ここで留意すべきは、本明細書で記載された機能を実装するコンピュータ機器を制御するプログラムとして、または、本明細書で開示されたステップに対応するプロセスをコンピュータ機器に実行させることができるプログラムとして本発明の様々な側面を実装することができるということである。このプログラムを、磁気ディスク、光ディスク、半導体メモリまたはその他の任意の記録媒体にプログラムを格納することによって構成することができる。このプログラムを、搬送波を介して伝達されるデジタル符号化信号として構成することもできる。前述のプログラムを単一プログラムとすることができる。または、各々が単一コンピュータ装置内で相互作用するか、あるいは、ネットワーク空間にわたって分散するように相互作用する複数のサブプログラムとして前述のプログラムを実装することができる。
【００１４】
また、ここで留意すべきは、本明細書で詳述される方法を、サービス仲介者または、サービス要求に応答してサービス仲介者によって操作されるマシンあるいはその両方によって少なくとも部分的に実行される方法とすることもできるということである。
【発明を実施するための最良の形態】
【００１５】
好適な実施形態を図面に示すが、本発明は図示の厳密な構成及び手段に限定されるものではない。
【００１６】
図１は、本明細書で開示された本発明の構成の一実施形態に従って、１つ以上の音声文法のヘルプ・フィールドに含まれるコンテンツからヘルプを音声使用可能アプリケーションに供給するシステム１００の概略図である。システム１００は、音声文法データ・ストア１２０から１つ以上の音声文法を受信するコンピュータ装置１１０を含むことができる。
【００１７】
コンピュータ装置１１０は、音声使用可能アプリケーション１１４を提示し、このアプリケーションにヘルプ１１６を供給することができる任意の装置を含むことができる。コンピュータ装置１１０を、マイクロホン及びスピーカのような１つ以上の音声変換器（図示せず）にプログラマチックに取り付けることができる。音声変換器を、コンピュータ装置１１０に埋め込まれたコンポーネントとして実装することができ、または、ユニバーサル・シリアル・バス（ＵＳＢ）ポートを介してリンクされた装置のような通信リンクされた周辺装置として実装することができる。コンピュータ装置１１０は、コンピュータ、タブレットＰＣ、ノート型ＰＣ、パーソナル・データ・アシスタント（ＰＤＡ）、スマートフォン、メディア・プレイヤ、デジタル娯楽システム、家庭用音声映像システム、装着型コンピュータ装置などを含むことができるが、これだけに限定されるものではない。
【００１８】
一実施形態では、音声使用可能アプリケーション１１４を、グラフィカル・ユーザ・インターフェース（ＧＵＩ）及び音声インターフェースを有するマルチモーダル・アプリケーションとすることができる。これに加えて、音声使用可能アプリケーション１１４をマークアップ言語で実装し、音声に基づくブラウザまたはマルチモーダル・ブラウザとすることができるブラウザ内にレンダリングすることができる。
【００１９】
ヘルプ１１６は、音声使用可能アプリケーション１１４が認識することができる語句またはコマンドあるいはその両方を提示するセクションを含むことができる。許可される音声コマンドの１つ以上の例をヘルプ１６によって供給することもできる。音声使用可能アプリケーション１１４に対して利用可能な音声コマンドが変化すると、ヘルプ１１６のコンテンツは、その変化に応じて自動的に変更することができる。ヘルプ１１６を、音声使用可能アプリケーション１１４と同じように実装することができる。例えば、音声使用可能アプリケーション１１４が、ブラウザ内にレンダリングされるマークアップとして実装される場合、ヘルプ１１６をマークアップとして実装することができる。本発明は、ブラウザに基づく実施形態だけに限定されるものではない。音声使用可能アプリケーション１１４及びヘルプ１１６を、コンピュータ装置１１０によってサポートされるように実装することができる。
【００２０】
音声文法データ・ストア１２０は１つ以上の音声文法を含むことができる。各々が状況に応じてアクティブにされる異なるタイプの音声文法を含めることができる。例えば、関連の音声使用可能アプリケーション１１４が実行するときはいつでもアクティブにすることができる１つ以上のグローバル文法１３０を含めることができる。ページ・レベル文法１３２及びコンテキスト依存文法１３４を、音声使用可能アプリケーション１１４の状態に基づいて選択的に且つ動的にアクティブにすることができる。
【００２１】
ページ・レベル文法１３２の各々を、音声使用可能アプリケーション１１４のページ、画面またはアプリケーション・セグメントに応じて動的にアクティブ／非アクティブにすることができる。例えば、音声使用可能アプリケーション１１４が、ウェブ・ブラウザ内で実行する一連のウェブ・ページとして実装される場合、異なるページ・レベル文法１３２を、アクティブなウェブ・ページに依存してアクティブ／非アクティブにすることができる。
【００２２】
コンテキスト依存文法１３４は、音声使用可能アプリケーション１１４がフォーカスを現在保有している要素に依存することができる。フォーカスが変化すると、コンテキスト依存文法１３４は変化することができる。例えば、音声使用可能ワード・プロセッシング・アプリケーションでは、音声コマンド「単語のコピー」は、フォーカスを現在有している単語をクリップボードにコピーすることができる。異なる単語がフォーカスを有する場合、異なるコンテンツが、同じ音声コマンドに応答してコピーされる。これに加えて、フォーカスがワード・プロセッシング・アプリケーションのテキスト領域からファイル・ストレージ領域に移動すると、テキスト操作に対してコンテキスト依存文法１３４と関連するコマンドを自動的に非アクティブにすることができる。当然のことながら、アクティブな音声文法と音声使用可能アプリケーション１１４の状態と利用可能な音声コマンドとの間には直接の関係がある。
【００２３】
特に、音声文法データ・ストア１２０内の各音声文法は、文法内の１つ以上の単語１２４と１つ以上のヘルプ・フィールド１２６とを含むことができる。ヘルプ・フィールド１２６は、文法内の単語１２４のうちで関連する単語に音声コマンドのヘルプ及び例を供給する。音声文法データ・ストア１２０からの異なる文法がアクティブ／非アクティブにされると、新たな単語１２４はコンジット１５０を介して音声使用可能アプリケーション１１４に伝達される。典型的に、このことは、新たな文法をロード／アンロードすることによって生じる。一部の文法を最初にロードすることができ、必要に応じてコンジット１５０を介して追加の情報を獲得することができるストリーミング技術を用いることもできる。
【００２４】
ヘルプ・フィールド１２６とアプリケーション用のヘルプ１１６との間でヘルプ・コンジット１５２を介してデータを伝達することもできる。アプリケーション用のヘルプ１１６を選択的にアクティブまたは非アクティブあるいはその両方にすることができる。ヘルプ１１６が非アクティブにされると、ヘルプ・フィールド１２６と関連する単語１２４がロードされるけれども、ヘルプ・フィールド１２６からのコンテンツは必要ない。ヘルプ１１６がアクティブにされると、ヘルプ・コンジット１５２を介してヘルプ・アクティブ・イベントを伝達することができ、それに応じてアクティブな文法の適切なヘルプ・パケットを伝達することができる。その結果として、適切なヘルプ・フィールド１２６からヘルプ１１６に必要に応じてコンテンツを動的に投入することができる。
【００２５】
意図された一実施形態では、開発装置１４０に常駐する文法開発アプリケーション１４２を用いて音声文法データ・ストア１２０の文法の生成を容易にすることができる。文法開発アプリケーション１４２は、ヘルプ・コンテンツの開発者にプロンプトを出す文法ウィザード１４４を含むことができる。供給されたヘルプ・コンテンツ及びヘルプ例を自動的にヘルプ・フィールド１２６内に配置することができる。
【００２６】
文法ウィザード１４４は、文法ツリーの自動巡回に基づいてヘルプ・コンテンツを自動的に生成するオプションを形成することができる。例えば、文法ツリー経路の第１選択項目を選択することによってヘルプ例を文法ウィザード１４４によって自動的に生成することができる。これに類似して、文法ウィザードは、関連の文法の単語に基づいて視覚または音声あるいはその両方によるヘルプ・コンテンツを自動的に生成することができる。例えば、文法がＸＨＴＭＬ＋Ｖｏｉｃｅ（Ｘ＋Ｖ）マルチモーダル・マークアップの一部として指定される場合、文法ウィザード１４４は、開発者によって提供された情報に基づいてＸ＋Ｖマークアップの視覚セグメントまたは音声セグメントあるいはその両方をヘルプ・フィールド１２６に自動的に投入することができる。
【００２７】
図２は、本明細書で開示された本発明の構成の一実施形態に従って、音声文法内に含まれたヘルプ・フィールドを用いて音声使用可能アプリケーション内にヘルプを動的に供給する方法２００のフローチャートである。システム１００との関連で方法２００を実行することができる。
【００２８】
方法２００はステップ２０５において開始することができ、ステップ２０５において、音声使用可能アプリケーションのインスタンスを生成することができる。ステップ２１０において、アプリケーション用のグローバル音声文法をロードすることができる。グローバル文法は、利用可能な音声コマンドを指定する１つ以上のヘルプ・フィールドを含むことができる。ステップ２１５において、グローバル文法内のヘルプ・フィールドからヘルプ・コンテンツをロードすることができる。
【００２９】
ステップ２２０において、アプリケーション・ページをロードすることができる。ステップ２２５において、アプリケーション・ページ用のページ・レベル文法を任意にロードすることができる。このステップは任意である。その理由は、アプリケーションの幾つかのページがページ・レベル文法と関連しないことがあるためである。ステップ２３０において、ページ・レベル文法がロードされている場合、文法ヘルプ・フィールドからヘルプ・コンテンツをロードすることができる。
【００３０】
ステップ２４０において、アプリケーション・フォーカスを決定することができる。このアプリケーション・フォーカスをコンテキスト依存文法と関連付けることができる。任意のステップ２４５において、非アクティブにされたコンテキスト文法が、アプリケーション・フォーカスの存在と関連する場合、コンテキスト依存文法を動的にロードすることができる。ステップ２５０において、コンテキスト依存文法内の文法ヘルプ・フィールドからヘルプ・コンテンツをロードすることができる。
【００３１】
ステップ２５５において、異なるフォーカスが存在するかどうかを決定するための検査を行う。異なるフォーカスが存在しない場合、この方法はステップ２５５からステップ２６５にスキップすることができる。異なるフォーカスが存在する場合、この方法はステップ２５５からステップ２６０に進むことができる。ステップ２６０において、現在アクティブなコンテキスト依存文法及び関連のヘルプ・コンテンツをアンロードすることができる。アンロードされ、または非アクティブにされたコンテキスト依存文法を、新たなフォーカスに適用できないものとすることができる。この時点で、新たなコンテキスト依存文法及び関連のヘルプをアクティブにし／ロードすることもできる。
【００３２】
ステップ２６５において、音声使用可能アプリケーション用の新たなページがロードされたかどうかを決定することができる。新たなページがロードされなかった場合、この方法はステップ２７５にスキップすることができる。新たなページがロードされた場合、この方法はステップ２７０に進むことができる。ステップ２７０において、もはや適切ではない現在アクティブなページ・レベル文法及び関連のヘルプを自動的にアンロードすることができる。新たなページのために新たなページ・レベル文法が存在する場合、この時点で文法及び関連のヘルプ・コンテンツをアクティブにし／ロードすることができる。
【００３３】
ステップ２７５において、音声使用可能アプリケーションが依然として用いられているかどうかを、または、（音声使用可能アプリケーションとすることもできる）新たなアプリケーションが前の音声使用可能アプリケーションに置き換えられたかどうかを決定することができる。例えば、音声使用可能アプリケーションをブラウザ内にレンダリングすることができ、異なるアプリケーションと関連するＵＲＬを選択して音声使用可能アプリケーションを置き換えることができる。
【００３４】
異なるアプリケーションが選択されなかった場合、または、音声使用可能アプリケーションが何らかの理由でアクティブのままである場合、この方法はステップ２７５からステップ２５５に進むことができる。ステップ２５５において、アプリケーション・フォーカスに対して検査を行うことができ、その後、この方法は、前に詳述したように続行することができる。音声使用可能アプリケーションが、異なるアプリケーションをロードするといったような何らかの理由で閉じられると、この方法はステップ２７５からステップ２８０に進むことができる。ステップ２８０において、音声使用可能アプリケーション用に現在アクティブな文法及び関連のヘルプ・コンテンツをアンロードすることができる。
【００３５】
図３は、本明細書で開示された本発明の構成の一側面に従って文法及び関連の音声コマンド・ヘルプを動的にアクティブにする方法３００のフローチャートである。システム１００との関連で方法３００を実行することができる。方法３００は、マルチモーダル・ブラウザによってレンダリングされるＸ＋Ｖのような音声使用可能マークアップと文法が関連するということを前提とする。当然のことながら、これらの特定の詳細な記述は、意図された一実施形態のみに適用され、本明細書においてその他の実装の詳細に基づく派生的な実施形態が意図され、当業者によって実装されるであろう。
【００３６】
方法３００はステップ３０５において開始することができ、ステップ３０５において、マルチモーダル・ブラウザの音声ヘルプを最初に非アクティブにすることができる。利用可能な音声コマンドのリストを音声として、または視覚的に、あるいはその両方でユーザに提示するように音声ヘルプを設計することができる。ステップ３１０において、アプリケーションのＸ＋Ｖページをマルチモーダル・ブラウザにロードすることができる。ステップ３１５において、アプリケーションとブラウザとの間にヘルプ・コンジットを確立することができる。ヘルプ・コンジットを、データを伝達することができる通信リンクとすることができ、このデータは、ヘルプ・コンテンツを含むヘルプ・イベント・データ及びヘルプ・データ・パッケージを含むが、これらに限定されるものではない。
【００３７】
ステップ３２０において、音声使用可能アプリケーションのアクティブ状態が変化することができる。ステップ３２５において、アプリケーションと関連する音声文法を、新たなアクティブ状態に適するように動的にロード／アンロードすることができる。ステップ３３０において、ヘルプがアクティブである場合、ヘルプ・コンテンツを含むデータ・ペイロードを、ヘルプ・コンジットを介して伝達することができる。データ・ペイロードは、アクティブな文法に対応するようにマルチモーダル・ブラウザの音声ヘルプのヘルプ・コンテンツを更新することができる。
【００３８】
ステップ３４０において、ユーザは、現在非アクティブにされている音声ヘルプをアクティブにすることができる。例えば、ユーザは、「助けて（ｈｅｌｐ）」または「なんて言えばいいの（Ｗｈａｔ  ｃａｎ  Ｉ  ｓａｙ）」と音声使用可能アプリケーションに話すことができる。ユーザは、音声ヘルプを使用可能にするためにＧＵＩからヘルプ・オプションを選択することもできる。ヘルプ・コンジットを介してヘルプ要求を音声使用可能アプリケーションに伝達することができる。ステップ３４５において、ヘルプ要求はヘルプ・イベントを起動することができ、これによって、すべてのアクティブな文法のヘルプ・コンテンツを収集する。すなわち、すべてのアクティブな文法に含まれるヘルプ・フィールドに問い合わせしてヘルプ・コンテンツを抽出することができる。
【００３９】
ステップ３５０において、特定のヘルプ・テンプレートを指定するように設計されたヘルプ・フィールドの１つ以上からコンテンツを用いてヘルプ・テンプレートを識別することができる。ヘルプ・テンプレートを、マルチモーダル・ブラウザにレンダリングすることができるＸ＋Ｖページとすることができる。ヘルプ・フィールドから獲得したヘルプ・コンテンツをヘルプ・テンプレートに動的に投入することができる。
【００４０】
ステップ３５５において、投入されたヘルプ・テンプレートからヘルプ・ページを生成することができる。ステップ３６０において、ヘルプ・ページを視覚的に、または音声として、あるいはその両方で音声ヘルプとして提示することができる。ヘルプ・ページの提示は、特に音声インターフェースについて、アプリケーション依存情報の表示を一時的に非アクティブにするか、または一時的に中断させることができる。ステップ３６５において、ユーザ・コマンドはヘルプ情報の表示を中断し、アプリケーション・フォーカスを、前に中断したアプリケーション状態に戻すことができる。例えば、ユーザ・コマンド「ヘルプの終了」は、音声として提示されたヘルプ発話を停止することができ、アプリケーション用の音声インターフェースをヘルプ前の状態に戻すことができる。
【００４１】
ステップ３７０において、１つ以上のアプリケーション文法を任意に変更することができる。例えば、コンテキスト依存またはページ・レベル文法をアプリケーションの変化状態に従って変更することができる。ステップ３７０において文法が変化する場合、この方法はステップ３７０からステップ３２０にループすることができる。ステップ３２０において、音声文法及び関連のヘルプ・コンテンツをアプリケーション状態に従って動的に更新することができる。ステップ３７０において、文法に変化がないと決定された場合、アプリケーションがステップ３７５に進むことができ、ステップ３７５において、アプリケーション・タスクを実行することができる。この方法は、ステップ３７５からステップ３７０に周期的にループして、ヘルプ・コンテンツ調整または音声文法調整あるいはその両方を行う必要がある文法変化が生じたかどうかを検査することができる。
【００４２】
図４は、本明細書で開示された本発明の構成の一実施形態に従ってヘルプ・フィールドを含む見本としての文法４００のコード例である。文法４００は、システム１００の音声文法データ・ストア１２０に格納された可能な文法の一例である。文法４００は飲み物問い合わせアプリケーションの文法を示す。文法４００をグラフィカルな文法ツリー４１０，４２０，４３０として表すことができる。文法４００を文法４４０によって更に詳細に表すことができる。
【００４３】
当然のことながら、文法４００は例示の目的のためにのみ提供されたものであって、本発明が、図４に含まれる詳細な記述に制限されるものと解釈されるべきではない。その代わりとして当業者は、図４に示す見本から、埋め込まれたヘルプ・フィールドの一般的原理を理解することができ、実装の詳細に関係なく一般的な原理を任意の音声文法に適用することができる。
【００４４】
文法ツリー４１０は飲み物ブランチ４２１を示す。予期された飲み物要求の前置き４１３は、「Ｉ  ｗｏｕｌｄ  ｌｉｋｅ」、「Ｉ  ｗａｎｔ」及び「＜ｐｌｅａｓｅ＞  ｇｉｖｅ  ｍｅ」を含むことができる。不定冠詞４１５は、飲み物のサイズ４１６及びタイプ４１７を受けて後に予期される。飲み物のサイズ４１６は、「小さい（ｓｍａｌｌ）」、「サイズ（ｓｉｚｅ）４２４」及び「大きい（ｌａｒｇｅ）」のサイズ・カテゴリ４２２を含むことができる。サイズ４２４は、「ミディアム（ｍｅｄｉｕｍ）」または「レギュラー（ｒｅｇｕｌａｒ）」の中間サイズ指定子を含むことができる。タイプ４１７は、「コーヒー（ｃｏｆｆｅｅ）」、「ミルク（ｍｉｌｋ）」、「ソフト・ドリンク・タイプ（ｓｏｆｔ  ｄｒｉｎｋ  ｔｙｐｅ）４３４」及び「レモネード（ｌｅｍｏｎａｄｅ）」の飲み物のタイプを含むことができる。ソフト・ドリンク・タイプ４３４は、「ソーダ（ｓｏｄａ）」、「炭酸飲料（ｐｏｐ）」及び「コーラ（ｃｏｌａ）」を含むことができる。
【００４５】
文法４４０は、ＳＲＧＳ文法規格に準拠するＸＭＬに基づく文法である。文法４４０は、前述の文法ツリー４１０，４２０，４３０を有する音声文法を使用可能にすることができる。文法４４０は、ヘルプ・フィールド４４２及び例４４６を含むこともできる。一実施形態では、ソフトウェア開発ツールから呼び出される文法ウィザード１４４を用いて、ヘルプ・フィールド４４２及び例４４６を含む文法４４０を生成することができる。
【００４６】
ヘルプ・フィールド４４２は、記述４４３、識別子４４４及び命令方法４４５の指定を可能にする。記述４４３は、「飲み物は何がよろしいですか？（Ｗｈａｔ  ｗｏｕｌｄ  ｙｏｕ  ｌｉｋｅ  ｔｏ  ｄｒｉｎｋ  ？）」のような、音声応答が予期される音声プロンプトを指定することができる。識別子４４４を用いて、文法４４０がグローバル文法、ページ・レベル文法及びコンテキスト依存文法のどれであるかマークを付けることができる。命令方法４４５は、文法４４０の利用可能な音声コマンドを供給するヘルプ・ページのロケーションを参照することができる。
【００４７】
文法４４０では、ヘルプ・フィールド４４２はＳＲＧＳメタタグとして実装される。特に、ヘルプ・フィールドは、ダブリン・コア・メタデータ・イニシアチブの規格に準拠する。ヘルプ・フィールド４４２は、この特定の構成に限定されるものではない。その他の実施形態（図示せず）では、ヘルプ・フィールド４４２を、ＳＲＧＳメタデータ用の別の規格を含むその他の規格に準拠して多様に実装することができる。
【００４８】
例４４６は、「ミディアム・コーヒーが欲しい（Ｉ  ｗｏｕｌｄ  ｌｉｋｅ  ａ  ｍｅｄｉｕｍ  ｃｏｆｆｅｅ）」のような飲み物要求をどのように言い表すべきかについて一例を挙げる。複数の例４４６を文法に含めることができ、音声使用可能アプリケーションのユーザに選択的に提示することができる。一実施形態では、例４４６が文法４４０内に供給されない場合、文法ツリーの一経路をトラバースすることによって例を動的に生成することができる。例えば、文法ツリー４１０〜４３０の各選択肢から第１項目が選択される場合、動的に構成された例を、「小さいコーヒーが欲しい（Ｉ  ｗｏｕｌｄ  ｌｉｋｅ  ａ  ｓｍａｌｌ  ｃｏｆｆｅｅ）」とすることができる。別の実施形態では、文法ウィザード１４４を用いて同じように文法開発者のために例４４６を自動的に生成することができる。ウィザードによって生成された例を文法４４０自体に含めることができ、文法４４０では、この例を所望に応じて文法開発者によって変更することができる。
【００４９】
図５は、本明細書で開示された本発明の構成の一実施形態に従う文法４００を参照する音声使用可能アプリケーションのコード例５００である。図示のように、音声使用可能アプリケーションはＸ＋Ｖコードに実装され、音声使用可能アプリケーションをマルチモーダル・ブラウザによってレンダリングすることができる。コード行５１０は、文法「ｂｅｖｅｒａｇｅ．ｇｒｘｍｌ」をアクティブにすることができることを示す。一実施形態では、文法プロンプト５２０または文法プロンプト５２２あるいはその両方を、アクティブにされた文法内に含まれる記述ヘルプ・タグから自動的に抽出することができる。コード例５００が生成されたら、自動的に抽出された記述ヘルプ・タグを、コードの適切なロケーションに配置するためにソフトウェア開発ツールを用いることができる。
【００５０】
図６は、本明細書で開示された本発明の構成の一実施形態に従う文法４００のヘルプのコード例６００である。コード例６００は、コード例５００のマルチモーダル・ヘルプ・ページｈｅｌｐ／ｄｒｉｎｋｈｅｌｐ．ｍｘｍｌである。ｈｅｌｐ／ｄｒｉｎｋｈｅｌｐ．ｍｘｍｌファイルをテンプレートとすることができる。ユーザがヘルプ・イベントを起動することに直接応答してヘルプ・コンテンツをｈｅｌｐ／ｄｒｉｎｋｈｅｌｐ．ｍｘｍｌページ内に動的に配置することができる。例えば、音声プロンプト６２０及びプロンプト例６２２を飲み物形式の音声ＸＭＬ（ＶｏｉｃｅＸＭＬ）ブロックに追加することができる。これに加えて、視覚プロンプト６２６及び視覚例６２８をＸ＋Ｖページの本体に追加することができる。マクロ展開を用いてヘルプ・コンテンツを静的ページに動的に追加するといったように多様にコンテンツをテンプレートに追加することができる。
【００５１】
特に、ＶｏｉｃｅＸＭＬは、システム文法内に自動的に含まれる音声命令の１つとして「助けて（ｈｅｌｐ）」を含む。従って、ユーザが助けてと言えば、音声インタープリタによってヘルプ・イベントを生成することができる。音声使用可能アプリケーションまたは、Ｘ＋Ｖの場合にはマルチモーダル・ブラウザがヘルプ・イベントを受信すると、ヘルプがアクセスされ、コンテンツとしてテンプレート文書内に配置される。例えば命令方法４４５によって文法内でテンプレート文書を指定することができる。
【００５２】
図７は、本明細書で開示される本発明の構成の一実施形態に従うマルチモーダル・ブラウザ７１０及びヘルプ７２０のウィンドウを示すグラフィカル・ユーザ・インターフェース７００である。
【００５３】
マルチモーダル・ブラウザ７１０は、マルチモーダル・アプリケーションをレンダリングすることができる。マルチモーダル・アプリケーションをＸ＋Ｖのようなマークアップ言語で書くことができる。マルチモーダル・アプリケーションは、アプリケーションがアクセスされるときにロードされる関連のグローバル文法７１１を有することができる。１つ以上のページ・レベル文法７１２をも動的にアクティブ／非アクティブにすることができる。これに加えて、コンテキスト依存文法７１４及び７１６も、アプリケーション状態に応じて選択的にアクティブにすることができる。例えば、マルチモーダル・アプリケーションでは、口座取引要約コンテキストに対して一方のコンテキスト依存文法７１４をアクティブにし／ロードすることができ、特定の口座取引コンテキストに対して他方のコンテキスト依存文法７１６をアクティブにし／ロードすることができる。
【００５４】
ヘルプ７２０のウィンドウは複数の音声コマンドを含むことができる。音声文法に含まれているか、音声文法によって指定されているか、またはその両方が行われたヘルプ・コンテンツを用いて、利用可能な音声コマンドを有するヘルプ７２０のウィンドウを自動的にロードすることができる。すなわち、ヘルプ７２０のウィンドウに現れた音声コマンドを、１つ以上の音声文法に含まれたヘルプ・フィールドから自動的且つ動的に投入することができる。１つ以上のグローバル文法、１つ以上のページ・レベル文法及び１つ以上のコンテキスト依存文法のような複数の音声文法を同時にアクティブにすることができる。ユーザは、正確に言い表される音声コマンドの例を用いて音声として、または視覚的に、あるいはその両方で提示すべきヘルプ７２０のウィンドウから利用可能なコマンドのいずれかを選択することができる。アクティブな音声文法に含まれたヘルプ・フィールドからヘルプ例を抽出することができる。
【００５５】
一実施形態では、音声コマンドが関連する文法のタイプに従って、異なる音声コマンドを順序付けることができる。例えば、グローバル７２２コマンドをグローバル文法と関連付けることができ、ページ・レベル７２４コマンドをページ・レベル文法と関連付けることができ、コンテキスト依存７２６コマンドを１つ以上のコンテキスト依存文法と関連付けることができる。
【００５６】
ヘルプ７２０は拡張可能な階層として異なるコマンドを示すが、コマンドに対して様々なその他の構成のいずれをも用いることができる。例えば、コマンドを過去の使用量に従って供給することができ、「すべて表示」または「その他の」コマンドを選択した後のみに、まれにしか用いられないコマンドを選択可能にする。異なる構成において、ユーザがコンテキスト依存コマンドに関心を持っている可能性が高いという仮定の下で、コンテキスト依存コマンドを最初に表示し、その後にページ・レベル・コマンドが続き、その後にグローバル・コマンドが続くことができる。ユーザがヘルプ７２０のウィンドウの外観を所望に応じて構成することができるようにユーザ構成可能なオプションを提供することができる。
【００５７】
図８は、本明細書で開示される本発明の構成の一実施形態に従ってサービス仲介者が、アクティブな文法から派生された音声コマンド・ヘルプを用いるシステムを構成することができる方法８００のフローチャートである。システム１００との関連で方法８００を実行することができる。
【００５８】
方法８００はステップ８０５において開始することができ、ステップ８０５において顧客はサービス要求を開始する。サービス要求を、文法に埋め込まれたヘルプを使用可能にするために既存の文法またはアプリケーションあるいはその両方を変更するサービス仲介者への要求とすることができる。サービス要求を、顧客と関連する開発者にＸ＋Ｖアプリケーションのようなマルチモーダル・アプリケーションを構成させることができるように訓練するものとすることができる。また、サービス要求を、技術者に既存のシステムに関する問題を解決させるためのものとすることができる。
【００５９】
ステップ８１０において、サービス要求に応答する仲介者を選択することができる。ステップ８１５において、仲介者は顧客の現在のシステムまたは問題あるいはその両方を分析することができ、解決策を応答可能なように開発することができる。例えば、解決策は、仲介者がマルチモーダル・アプリケーション・プロセスのステップを通じてソフトウェア開発者を手引きすることを含むことができる。
【００６０】
ステップ８２０において、仲介者は１つ以上のコンピュータ装置を用いて方法３００のステップを実行するようにコンピュータ装置を実行することができ、または、コンピュータ装置に方法３００のステップを実行させることができる。例えば、仲介者はソフトウェア開発者と相互閲覧し、ヘルプを文法フィールドに含めるために文法ウィザードをどのように用いるかをソフトウェア開発者に示すことができる。
【００６１】
ステップ８２５において、仲介者は、顧客または顧客の依頼人が将来において方法３００の１つ以上のステップを実行することができるように顧客のコンピュータ装置を構成することができる。例えば、サービス仲介者は１つ以上の文法またはヘルプ・テンプレートを確立することができ、文法に含まれるヘルプ・コンテンツを音声使用可能アプリケーションに供給することができるように音声使用可能アプリケーションを構成することができる。ステップ８３０において、仲介者は、サービス活動を完了することができる。
【００６２】
仲介者は、顧客のコンピュータを調整するために顧客の居る場所に物理的に行くことができるが、物理的に行く必要がないことに留意すべきである。例えば、仲介者は、顧客が体験する問題に対して電話に基づいて顧客支援を行うことができる。
【００６３】
本発明をハードウェア、ソフトウェア、または、ハードウェア及びソフトウェアの組み合わせで実現することができる。１つのコンピュータ・システム内に集中して、または、幾つかの相互接続したコンピュータ・システムにわたって異なる要素が散在するように分散して本発明を実現することができる。いかなる種類のコンピュータ・システム、または、本明細書で説明された方法を実行するために適するその他の装置が適している。ハードウェア及びソフトウェアの典型的な組み合わせを、コンピュータ・プログラムを有する汎用コンピュータ・システムとすることができ、このコンピュータ・プログラムは、ロード及び実行のときに、コンピュータ・システムが、本明細書で説明された方法を実行するように、コンピュータ・システムを制御する。
【００６４】
本明細書で説明された方法の実装を有効にするすべての特徴を含み、コンピュータ・システム内にロードされるときにこれら方法を実行することができるコンピュータ・プログラムにも、本発明を組み込むことができる。本明細書中、コンピュータ・プログラムは、情報処理能力を有するシステムに特定の機能を直接に実行させるか、あるいは、ａ）別の言語、コードまたは表記への変換、並びに、ｂ）異なる形態での再現の両方またはいずれか一方の後で実行させることを目的とする一連の命令のあらゆる言語、コードまたは表記のいかなる表現をも意味する。
【００６５】
本発明の意図または本質的な特性から逸脱することなく本発明をその他の形態で具体化することができる。従って、前述の明細書の説明よりはむしろ、本発明の範囲を表す特許請求の範囲を参照すべきである。
【図面の簡単な説明】
【００６６】
【図１】本明細書で開示された本発明の構成の一実施形態に従って、１つ以上の音声文法のヘルプ・フィールドに含まれるコンテンツからヘルプを音声使用可能アプリケーションに供給するシステムの概略図である。
【図２】本明細書で開示された本発明の構成の一実施形態に従って、音声文法内に含まれたヘルプ・フィールドを用いて音声使用可能アプリケーション内にヘルプを動的に供給する方法のフローチャートである。
【図３】本明細書で開示された本発明の構成の一側面に従って文法及び関連の音声コマンド・ヘルプを動的にアクティブにする方法のフローチャートである。
【図４】本明細書で開示された本発明の構成の一実施形態に従ってヘルプ・フィールドを含む見本としての文法のコード例である。
【図５】本明細書で開示された本発明の構成の一実施形態に従う文法を参照する音声使用可能アプリケーションのコード例である。
【図６】本明細書で開示された本発明の構成の一実施形態に従う音声文法の見本としてのヘルプ・マークアップのコード例である。
【図７】本明細書で開示された本発明の構成の一実施形態に従うマルチモーダル・ブラウザ及びヘルプのウィンドウを示すグラフィカル・ユーザ・インターフェースである。
【図８】本明細書で開示された本発明の構成の一実施形態に従ってサービス仲介者が、アクティブな文法から派生された音声コマンド・ヘルプを用いるシステムを構成することができる方法のフローチャートである。
【符号の説明】
【００６７】
１００  システム
１１０  コンピュータ装置
１１４  音声使用可能アプリケーション
１１６、７２０  ヘルプ
１２０  音声文法データ・ストア
１２４  単語
１２６、４４２  ヘルプ・フィールド
１３０  グローバル文法
１３２  ページ・レベル文法
１３４  コンテキスト依存文法
１４０  開発装置
１４２  文法開発アプリケーション
１４４  文法ウィザード
１５０  コンジット
１５２  ヘルプ・コンジット
４００、４４０  文法
４１０、４２０、４３０  文法ツリー
４１３  飲み物要求の前置き
４１５  不定冠詞
４１６  サイズ
４１７  タイプ
４２１  飲み物ブランチ
４４３  記述
４４４  識別子
４４５  命令方法
４４６  例
５００、６００  コード例
５１０  コード行
５２０、５２２  文法プロンプト
６２０  音声プロンプト
６２２  プロンプト例
６２６  視覚プロンプト
６２８  視覚例
７００  グラフィカル・ユーザ・インターフェース
７１０  マルチモーダル・ブラウザ
７１１  グローバル文法
７１２  ページ・レベル文法
７１４、７１６  コンテキスト依存文法
７２２  グローバル
７２４  ページ・レベル
７２６  コンテキスト依存
【図１】
2007249200.tif 000003
【図２】
2007249200.tif 000004
【図３】
2007249200.tif 000005
【図４】
2007249200.tif 000006
【図５】
2007249200.tif 000007
【図６】
2007249200.tif 000008
【図７】
2007249200.tif 000009
【図８】
2007249200.tif 000010