(57)【要約】【課題】  ２Ｇ携帯電話を使用してクライアント／サーバアーキテクチャと対話する方法を提供すること。【解決手段】  ２Ｇ電話は、データチャネルと音声チャネルとを含んでいる。データチャネルを介してアプリケーションに従ってＷｅｂサーバからＷｅｂページを受信し、Ｗｅｂページを２Ｇ電話にレンダリングするステップを含む。Ｗｅｂページ上のデータフィールドの発話音声をユーザから受信し、音声チャネルを介した２Ｇ電話から電話サーバへの呼が確立される。電話サーバは、発話音声を処理でき、提供されるＷｅｂページの発話音声対応ＷｅｂページをＷｅｂサーバから取得する。発話音声は、２Ｇ電話から電話サーバに送信され、発話音声対応Ｗｅｂページの処理により、テキストデータは取得され、Ｗｅｂサーバに送信される。２Ｇ電話は、データチャネルを介して新しいＷｅｂページを取得し、テキストデータを有する新しいＷｅｂページをレンダリングする。【選択図】  図５
2005149484.tif 000002
【特許請求の範囲】
【請求項１】
データを送信するデータチャネルと、発話音声を送信する音声チャネルとを有する２Ｇモバイル電話を使用してクライアント／サーバアーキテクチャと対話する方法であって、
前記データチャネルを介してアプリケーションに従ってＷｅｂサーバからＷｅｂページを受信し、前記Ｗｅｂページを前記２Ｇ電話にレンダリングするステップと、
前記Ｗｅｂページ上の少なくとも１つのデータフィールドに対応する発話音声をユーザから受信するステップと、
前記音声チャネルを介した前記２Ｇ電話から電話サーバへの呼を確立するステップであって、前記電話サーバは前記２Ｇ電話から離れており、発話音声を処理するように適合されているステップと、
前記２Ｇ電話に提供される前記Ｗｅｂページに対応する発話音声対応Ｗｅｂページを前記Ｗｅｂサーバから取得するステップと、
前記２Ｇ電話から前記電話サーバに発話音声を送信するステップと、
前記発話音声対応Ｗｅｂページに従って前記発話音声を処理して、前記発話音声に従ってテキストデータを取得するステップと、
前記テキストデータを前記Ｗｅｂサーバに送信するステップと、
前記データチャネルを介して前記２Ｇ電話上に新しいＷｅｂページを取得し、前記テキストデータを有する前記新しいＷｅｂページをレンダリングするステップと
を含むことを特徴とする方法。
【請求項２】
前記発話音声を処理するステップは、前記受信された発話音声を示すデータを前記電話サーバから離れた発話音声サーバに送信し、前記発話音声サーバが前記受信された発話音声を示す前記データを処理して前記テキストデータを取得するステップを含み、前記テキストデータを前記Ｗｅｂサーバに送信するステップは、前記発話音声サーバが前記テキストデータを送信するステップを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記音声チャネルを介した前記２Ｇ電話から電話サーバへの呼を確立するステップは、前記２Ｇ電話に関連する識別子を取得するステップを含むことを特徴とする請求項１に記載の方法。
【請求項４】
前記２Ｇ電話に提供される前記Ｗｅｂページに対応する発話音声対応Ｗｅｂページを前記Ｗｅｂサーバから取得するステップは、前記２Ｇ電話に関連付けられた前記識別子を使用するステップを含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記識別子を取得するステップは、前記２Ｇ電話に関連する電話番号を識別するステップを含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記Ｗｅｂサーバから前記新しいＷｅｂページを取得するステップの前に、新しいページが前記Ｗｅｂサーバから入手可能であるというメッセージを前記２Ｇ電話に送信するステップをさらに含むことを特徴とする請求項１に記載の方法。
【請求項７】
前記メッセージを送信するステップは、ＳＭＳメッセージを送信するステップをさらに含むことを特徴とする請求項６に記載の方法。
【請求項８】
前記メッセージを送信するステップは、前記新しいＷｅｂページのアドレスに関係する情報を送信するステップを含むことを特徴とする請求項６に記載の方法。
【請求項９】
前記メッセージを送信するステップは、ＵＲＬリンクを送信するステップをさらに含むことを特徴とする請求項８に記載の方法。
【請求項１０】
前記メッセージを送信するステップは、ＳＭＳメッセージを送信するステップをさらに含むことを特徴とする請求項９に記載の方法。
【請求項１１】
前記電話サーバが前記新しいＷｅｂページを取得するステップの前に前記音声チャネルを切断するステップをさらに含むことを特徴とする請求項６に記載の方法。
【請求項１２】
データを送信するデータチャネルと、発話音声を送信する音声チャネルとを有する２Ｇモバイル電話を使用してクライアント／サーバアーキテクチャと対話する方法であって、
前記データチャネルを介してアプリケーションに従ってＷｅｂサーバからＷｅｂページを受信し、前記Ｗｅｂページを前記２Ｇ電話にレンダリングするステップと、
前記Ｗｅｂページ上の少なくとも１つのデータフィールドに対応する発話音声をユーザから受信するステップと、
前記音声チャネルを介した前記２Ｇ電話から電話サーバへの呼を確立するステップであって、前記電話サーバは前記２Ｇ電話から離れており、発話音声を処理するように適合されているステップと、
前記２Ｇ電話から前記電話サーバに発話音声を送信するステップと、
前記データチャネルを介して前記２Ｇ電話上に新しいＷｅｂページを取得し、前記発話音声に従って前記テキストデータを有する前記新しいＷｅｂページをレンダリングするステップと
を含むことを特徴とする方法。
【請求項１３】
前記音声チャネルを介した前記２Ｇ電話から電話サーバへの呼を確立するステップは、前記２Ｇ電話に関連する識別子を送信するステップを含むことを特徴とする請求項１に記載の方法。
【請求項１４】
前記識別子を送信するステップは、前記２Ｇ電話に関連する電話番号を識別するステップを含むことを特徴とする請求項１３に記載の方法。
【請求項１５】
前記Ｗｅｂサーバから前記新しいＷｅｂページを取得するステップの前に、新しいページが前記Ｗｅｂサーバから入手可能であるというメッセージを受信するステップをさらに含むことを特徴とする請求項１２に記載の方法。
【請求項１６】
前記メッセージを受信するステップは、ＳＭＳメッセージを受信するステップを含むことを特徴とする請求項１５に記載の方法。
【請求項１７】
前記メッセージを受信するステップは、前記新しいＷｅｂページのアドレスに関係する情報を受信するステップを含むことを特徴とする請求項１５に記載の方法。
【請求項１８】
前記メッセージを受信するステップは、ＵＲＬリンクを受信するステップをさらに含むことを特徴とする請求項１７に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータシステムにおける情報へのアクセスおよび情報のレンダリングに関する。より詳細には、本発明は、第２世代（「２Ｇ」）携帯電話またはセルラー方式電話のための逐次的なマルチモーダル入力（sequential multimodal input）に関する。
【背景技術】
【０００２】
個人情報マネージャ（ＰＩＭ）などの小型コンピューティング装置や携帯電話は、日常の活動における人々の使用頻度が絶えず増加している。こうした装置の稼働に使用されるマイクロプロセッサに現在使用可能な処理能力が高まるにつれて、こうした装置の機能は増大しつつあり、また場合によっては、併合されつつある。例えば多くの携帯電話、特に２Ｇ電話を使用して、現在ではインターネットにアクセスし、それをブラウズすることができるとともに、住所、電話番号などの個人情報を格納することもできる。
【０００３】
こうしたコンピューティング装置がインターネットをブラウズするために使用されている、または他のサーバ／クライアントアーキテクチャで使用されるということを考えると、コンピューティング装置に情報を入力することが必要である。残念ながら、こうした装置は、容易に運べるようにできるだけ小さく保つことが望まれるため、コンピューティング装置のハウジング上で使用可能な表面積が制限されるので、通常、アルファベットのすべての文字を分離されたボタンとして有する従来のキーボードの使用は不可能である。したがって、インターネットなど、クライアント／サーバアーキテクチャをナビゲートするために、こうした装置のユーザは、Ｗｅｂページの必要なフィールドを埋めるためにテキスト情報を提供する、または別の方法で命令を提供するようなやり方で限られたキーボードを操作する必要がある。入力のこのやり方は、こうした制約で動作するＷｅｂベースのアプリケーションの有用性を制限しており、したがってこうした装置を使用したインターネットまたは他のクライアント／サーバシステムのナビゲーションは、著しい成功を収めていない。
【０００４】
最近、電話のみを使用してインターネットコンテンツにアクセスできるように、例えばＳＡＬＴ（Speech Application Language Tag）またはＶｏｉｃｅＸＭＬ（音声拡張可能マークアップ言語）の使用による音声ポータルが発展してきている。このアーキテクチャでは、ドキュメントサーバ（Ｗｅｂサーバなど）は、ＳＡＬＴ／ＶｏｉｃｅＸＭＬインタープリタを介してクライアントからの要求を処理する。Ｗｅｂサーバは、応答において、ＳＡＬＴ／ＶｏｉｃｅＸＭＬドキュメントを生成することができ、ドキュメントは、ＳＡＬＴ／ＶｏｉｃｅＸＭＬインタープリタによって処理され、ユーザに聞き取れるように提供される。音声認識を介した音声コマンドを使用して、ユーザは、Ｗｅｂをナビゲートすることができる。特にＷｅｂサーバから取得した情報がユーザに戻されるときにそれを聞き取れるようにする必要があるため、インターネットナビゲーションのこの技術も限られている。さらに、認識された結果の可視による確認が無ければ、ユーザは、適切な認識が行われたことを確信しない可能性がある。認識された結果の音声による確認は提供できるが、こうした確認は時間がかかり、それによって合理化された、または効率的なユーザ体験が損なわれる。
【０００５】
【特許文献１】米国特許出願公開第２００２−０，１６９，８０６号明細書
【非特許文献１】http://www.SALTforum.org
【発明の開示】
【発明が解決しようとする課題】
【０００６】
したがって、サーバ／クライアントアーキテクチャにおいて情報にアクセスする、また特に２Ｇ電話などの装置の場合にサーバ情報にアクセスするために使用するアーキテクチャおよび方法を改良することが現在必要とされている。
【課題を解決するための手段】
【０００７】
２Ｇ携帯電話を使用してクライアント／サーバアーキテクチャと対話する方法が提供される。２Ｇ電話は、データを送信するデータチャネル、発話音声（speech）を送信する音声チャネル、およびテキストまたは限られたグラフィックスを表示するための基本的な画面を含む。この方法は、データチャネルを介してアプリケーションに従ってＷｅｂサーバからＷｅｂページを受信し、Ｗｅｂページを２Ｇ電話にレンダリングするステップを含む。Ｗｅｂページ上の少なくとも１つのデータフィールドに対応する発話音声をユーザから受信する。音声チャネルを介した２Ｇ電話から電話サーバへの呼が確立される。電話サーバは、２Ｇ電話から離れており、発話音声を処理するように適合されている。電話サーバは、２Ｇ電話に提供されるＷｅｂページに対応する発話音声対応（speech-enabled）ＷｅｂページをＷｅｂサーバから取得する。発話音声(speech)が２Ｇ電話から電話サーバに送信される。発話音声は、発話音声対応Ｗｅｂページに従って処理されて、テキストデータが取得される。テキストデータは、Ｗｅｂサーバに送信される。２Ｇ電話は、データチャネルを介して新しいＷｅｂページを取得し、テキストデータを有する新しいＷｅｂページをレンダリングする。
【０００８】
本発明の別の態様として、２Ｇ電話の操作から見ると、この方法は、データチャネルを介してアプリケーションに従ってＷｅｂサーバからＷｅｂページを受信し、Ｗｅｂページを２Ｇ電話にレンダリングするステップを含む。Ｗｅｂページ上の少なくとも１つのデータフィールドに対応する発話音声をユーザから受信する。音声チャネルを介した２Ｇ電話から電話サーバへの呼が確立され、電話サーバは、２Ｇ電話から離れており、発話音声を処理するように適合されている。発話音声が２Ｇ電話から電話サーバに送信される。データチャネルを介して２Ｇ電話上に新しいＷｅｂページが取得され、発話音声に従ってテキストデータを有する新しいＷｅｂページがレンダリングされる。
【発明を実施するための最良の形態】
【０００９】
本発明の一態様は、第２世代（「２Ｇ」）電話用に実装された発話音声認識を含むマルチモダリティ入力（multimodality input）を提供する方法である。本明細書で使用するように、また一般に知られているように、２Ｇ電話は、音声チャネルを介して音声通話を行うことができ、しかしさらに、個別のデータチャネルを介してデジタルデータを送受信することができる回路も含む。ユーザは、電話のキーパッドを使用して、クライアント／サーバアーキテクチャでＷｅｂサイトをナビゲートし、テキストデータを送受信することによって情報を取得することができる。データは、小さいディスプレイ上にレンダリングされる。本発明の一態様によって、ユーザは、電話への入力の形式として発話音声を提供し、したがって同等のテキストを入力する煩わしい作業を回避することができる。
【００１０】
図５を参照すると、本発明で使用できるＷｅｂベースの発話音声認識のためのアーキテクチャ２００を示している。一般に、Ｗｅｂサーバ２０２に格納されている情報には、クライアントであるモバイル装置３０（本明細書では、表示画面、および可聴信号を検出するマイクロフォンを有する他の形式のコンピューティング装置も表す）、または情報が可聴的に、すなわちキーの押下に応答して電話８０によって生成されるトーンを介して要求され、かつＷｅｂサーバ２０２からの情報が音声によってのみユーザに戻される単純な電話８０、または情報はＷｅｂサーバ２０２からアクセスすることもでき、ＷＡＰ（無線アプリケーションプロトコル）を介して送信されるＷＭＬページ、ＸＨＴＭＬページなどのページとして提供される２Ｇ電話８１を介してアクセスすることができる。上述したように、限られたキーボード機能が与えられている場合、本発明で使用するアーキテクチャ２００は、認識された結果をレンダリングする２Ｇ電話の可視レンダリング機能（visual rendering capability）をさらに利用しながら、その使いやすさを向上させるために、２Ｇ電話８１を発話音声認識とともに使用することができる。
【００１１】
しかしより重要なことは、発話音声認識を使用して、モバイル装置３０、単純な電話８０、または２Ｇ電話８１のどれを介して情報が取得されようと、単一の発話音声サーバ２０４は、各操作モードをサポートすることができるという点で、アーキテクチャ２００は統一されていることである。さらに、アーキテクチャ２００は、よく知られているマークアップ言語（ＨＴＭＬ、ＸＨＴＭＬ、ｃＨＴＭＬ、ＸＭＬ、ＷＭＬなど）の拡張を使用して動作する。したがって、Ｗｅｂサーバ２０２に格納されている情報には、こうしたマークアップ言語に見られるよく知られているＧＵＩ方法を使用してアクセスすることができる。よく知られているマークアップ言語の拡張を使用することによって、Ｗｅｂサーバ２０２でのオーサリングがより容易となり、現在存在している従来のアプリケーションも、音声認識を含むように容易に変更することができる。
【００１２】
Ｗｅｂベースの発話音声認識のアーキテクチャ２００、および特に２Ｇ電話８１用にＷｅｂベースの発話音声認識を実装する方法をさらに説明する前に、アーキテクチャ２００において機能することができる他のコンピューティング装置を概説することが有用となり得る。
【００１３】
次に図１を参照すると、データ管理装置（ＰＩＭ、ＰＤＡなど）の形態例を３０に示している。モバイル装置３０は、ハウジング３２を含み、スタイラス３３とともにタッチセンシティブ表示画面（contact sensitive display screen）を使用するディスプレイ３４を含むユーザインターフェースを有する。スタイラス３３は、ディスプレイ３４の指定された座標を押すか、それに触れて、フィールドを選択する、カーソルの開始位置を選択的に移動させる、そうでない場合はコマンド情報を提供するために使用される。あるいは、またはそれに加えて、ナビゲーション用に１つまたは複数のボタン３５を装置３０上に含めることができる。さらに、回転可能ホイール、ローラーなどの他の入力機構を提供することもできる。
【００１４】
次に図２を参照すると、ブロック図は、モバイル装置３０を構成している機能構成要素を示している。中央演算処理装置（ＣＰＵ）５０は、ソフトウェア制御機能を実装する。ＣＰＵ５０は、制御ソフトウェアに従って生成されたテキストおよびグラフィックアイコンがディスプレイ３４上に表示されるように、ディスプレイ３４に結合されている。スピーカ４３は、可聴出力を提供するために、一般にデジタルアナログ変換器５９を用いてＣＰＵ５０に結合することができる。ユーザによってモバイル装置３０にダウンロードされた、または入力されたデータは、双方向にＣＰＵ５０に結合される不揮発性読み取り／書き込みランダムアクセスメモリストア５４に格納される。ランダムアクセスメモリ（ＲＡＭ）５４は、ＣＰＵ５０によって実行される命令用の揮発性ストレージ、およびレジスタ値など一時データ用のストレージを提供する。構成オプションのデフォルト値および他の変数は、読み取り専用メモリ（ＲＯＭ）５８に格納される。また、ＲＯＭ５８を使用して、モバイル装置３０の基本機能を制御する装置のオペレーティングシステムソフトウェア、および他のオペレーティングシステムカーネル機能（ソフトウェア構成要素のＲＡＭ５４へのロードなど）を格納することもできる。また、ＲＡＭ５４は、アプリケーションプログラムの格納に使用されるＰＣ上のハードドライブの機能と同じようにコードのストレージとして働く。
【００１５】
無線信号は、ＣＰＵ５０に結合されている無線送受信機５２を介してモバイル装置によって送受信することができる。また、コンピュータ（デスクトップコンピュータなど）から、または必要に応じて配線式のネットワークから直接データをダウンロードするために、オプションの通信インターフェース６０を備えることもできる。したがってインターフェース６０は、例えば赤外線リンク、モデム、ネットワークカードなど、様々な形態の通信装置を含むことができる。
【００１６】
モバイル装置３０は、マイクロフォン２９、およびアナログデジタル（Ａ／Ｄ）変換器３７、およびＲＡＭストア５４に格納されているオプションの発話音声認識プログラムを含む。モバイル装置３０のユーザからの可聴情報、命令、またはコマンドに応答して、マイクロフォン２９は発話音声信号を提供し、この発話音声信号は、Ａ／Ｄ変換器３７によってデジタル化される。発話音声認識プログラムは、デジタル化された発話音声信号に対して標準化(normalization)および／または特徴抽出機能(feature extraction function)を行い、中間の発話音声認識結果を取得することができる。無線送受信機５２または通信インターフェース６０を使用して、発話音声データがリモート発話音声サーバ２０４に送信される。リモート発話音声サーバについては後述し、図５のアーキテクチャに示している。次いで認識結果がモバイル装置３０に戻され、それに（可視および／または可聴に）レンダリングされ、最終的にＷｅｂサーバ２０２（図５）に送信され、そこでＷｅｂサーバ２０２およびモバイル装置３０は、クライアント／サーバの関係で動作する。
【００１７】
図３は、２Ｇ電話８１の実施形態の一例を示す平面図である。電話８１は、ディスプレイ８２およびキーボード８４を含んでいる。一般に、電話８１は、８７に図示した音声チャネルを介して音声通話を行い、８５に図示したデータチャネルを介してデジタルデータを送受信する回路を含む。このタイプの２Ｇ電話は、多数のメーカーから入手可能であり、明確な標準およびプロトコルに従って動作する。本発明を理解するのに、回路の動作に関する特定の詳細は必要ではない。
【００１８】
上述した携帯用のまたはモバイルコンピューティング装置に加えて、本発明を、一般のデスクトップコンピュータなど、他の多数のコンピューティング装置とともに使用することができることも理解されたい。例えば、完全な英数字のキーボードなど他の従来の入力装置は操作するのが難しすぎるとき、アーキテクチャ２００によって、ユーザは、限られた身体的な能力でコンピュータまたは他のコンピューティング装置にテキストを入力することができる。
【００１９】
以下は、図４に示した汎用コンピュータ１２０の簡単な説明である。しかし、コンピュータ１２０は、この場合も適したコンピューティング環境の一例にすぎず、本発明の使用または機能の範囲に関する任意の限定を示唆するものではない。また、コンピュータ１２０を、そこの例に示した構成要素のいずれか１つ、またはその組合せに関連する依存性または必要条件を有しているものと解釈すべきではない。さらに、パーソナルコンピュータ１２０は、それだけには限定されないが、Ｗｅｂサーバ２０２および発話音声サーバ２０４および電話音声ブラウザ２１２など、アーキテクチャ２００の他の構成要素に適した動作環境を提供することができる。
【００２０】
本発明は、コンピュータによって実行されるプログラムモジュールなどのコンピュータ実行可能命令の一般的な文脈で説明することができる。一般にプログラムモジュールは、特定のタスクを実行する、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、構成要素、データ構造などを含む。また、本発明は、タスクが通信ネットワークによってリンクされているリモート処理装置によって実行される分散コンピューティング環境でも実施することができる。分散コンピューティング環境では、プログラムモジュールを、メモリ記憶装置を含むローカルおよびリモートのコンピュータ記憶媒体に置くことができる。プログラムおよびモジュールによって実行されるタスクについては、下記で図を用いて説明する。当業者は、説明および図を、任意の形態のコンピュータ可読媒体に書き込むことができるプロセッサ実行可能命令として実施することができる。
【００２１】
図４を参照すると、コンピュータ１２０の構成要素は、それだけには限定されないが、処理ユニット１４０、システムメモリ１５０、およびシステムメモリを含む様々なシステム構成要素を処理ユニット１４０に結合するシステムバス１４１を含み得る。システムバス１４１は、様々なバスアーキテクチャのうちの任意のものを使用するメモリバスまたはメモリコントローラ、周辺バス、およびローカルバスを含むいくつかのタイプのバス構造のうちどんなものでもよい。こうしたアーキテクチャには、それだけには限定されないが一例として、ＩＳＡ(Industry Standard Architecture)バス、ＵＳＢ(Universal Serial Bus)、ＭＣＡ(Micro Channel Architecture)バス、ＥＩＳＡ(Enhanced ISA)バス、ＶＥＳＡ(Video Electronics Standard Association)ローカルバス、およびメザニンバスとしても知られているＰＣＩ(Peripheral Component Interconnect)バスなどがある。コンピュータ１２０は、一般に様々なコンピュータ可読媒体を含む。コンピュータ可読媒体は、コンピュータ１２０からアクセスできる使用可能な任意の媒体とすることができ、揮発性および不揮発性媒体、リムーバブルおよび非リムーバブル媒体を含む。コンピュータ可読媒体は、それだけには限定されないが一例として、コンピュータ記憶媒体および通信媒体を含み得る。コンピュータ記憶媒体には、コンピュータ可読命令、データ構造、プログラムモジュール、他のデータなど、情報を記憶するための任意の方法または技術で実施される揮発性および不揮発性のリムーバブルおよび非リムーバブル媒体がある。コンピュータ記憶媒体には、それだけには限定されないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたは他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）または他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置または他の磁気記憶装置、または所望の情報の格納に使用でき、コンピュータ１２０からアクセスできる他の任意の媒体などがある。
【００２２】
通信媒体は一般に、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータを搬送波または他の移送機構などの変調されたデータ信号に組み込む。これには任意の情報配送媒体がある。「変調されたデータ信号」という用語は、信号に情報を符号化するように１つまたは複数のその特性が設定または変更された信号を意味する。通信媒体には、それだけには限定されないが一例として、有線ネットワーク、直接配線された接続などの有線媒体、および音響、ＲＦ、赤外線、その他の無線媒体などの無線媒体がある。また、上記のどんな組合せでもコンピュータ可読媒体の範囲内に含まれるものとする。
【００２３】
システムメモリ１５０は、読み取り専用メモリ（ＲＯＭ）１５１やランダムアクセスメモリ（ＲＡＭ）１５２など、揮発性および／または不揮発性メモリの形のコンピュータ記憶媒体を含む。ＢＩＯＳ(basic input/output system)１５３は、例えば起動中など、コンピュータ１２０内の要素間での情報の転送を助ける基本ルーチンを含み、一般にＲＯＭ１５１に格納されている。ＲＡＭ１５２は一般に、処理ユニット１４０から直接アクセス可能な、かつ／または処理ユニット１２０が現在処理しているデータおよび／またはプログラムモジュールを含む。図４は、それだけには限定されないが一例として、オペレーティングシステム１５４、アプリケーションプログラム１５５、他のプログラムモジュール１５６、およびプログラムデータ１５７を示している。
【００２４】
コンピュータ１２０は、他のリムーバブル／非リムーバブル、揮発性／不揮発性コンピュータ記憶媒体を含むこともできる。一例にすぎないが、図４は、非リムーバブル不揮発性磁気媒体から読み取り、あるいはそこに書き込むハードディスクドライブ１６１、リムーバブル不揮発性磁気ディスク１７２から読み取り、あるいはそこに書き込む磁気ディスクドライブ１７１、およびＣＤ−ＲＯＭや他の光媒体など、リムーバブル不揮発性光ディスク１７６から読み取り、あるいはそこに書き込む光ディスクドライブ１７５を示している。動作環境の例で使用できる他のリムーバブル／非リムーバブル、揮発性／不揮発性コンピュータ記憶媒体には、それだけには限定されないが、磁気テープカセット、フラッシュメモリカード、デジタル多用途ディスク、デジタルビデオテープ、半導体ＲＡＭ、半導体ＲＯＭなどがある。ハードディスクドライブ１６１は一般に、インターフェース１６０などの非リムーバブルメモリインターフェースを介してシステムバス１４１に接続され、磁気ディスクドライブ１７１および光ディスクドライブ１７５は一般に、インターフェース１７０などのリムーバブルメモリインターフェースによってシステムバス１４１に接続される。
【００２５】
上述し、図４に示したドライブおよびその関連のコンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、およびコンピュータ１２０の他のデータのストレージを提供する。図４では例えば、ハードディスクドライブ１６１は、オペレーティングシステム１６４、アプリケーションプログラム１６５、他のプログラムモジュール１６６、およびプログラムデータ１６７を記憶するものとして示されている。これらの構成要素は、オペレーティングシステム１５４、アプリケーションプログラム１５５、他のプログラムモジュール１５６、およびプログラムデータ１５７と同じであっても、異なっていてもよいことに留意されたい。オペレーティングシステム１６４、アプリケーションプログラム１６５、他のプログラムモジュール１６６、およびプログラムデータ１６７は少なくとも異なるコピーであることを示すために、ここではそれらに異なる番号を付している。
【００２６】
ユーザは、キーボード１８２、マイクロフォン１８３、およびマウス、トラックボール、タッチパッドなどのポインティング装置１８１などの入力装置を介してコマンドおよび情報をコンピュータ１２０に入力することができる。他の入力装置（図示せず）には、ジョイスティック、ゲームパッド、衛星パラボラアンテナ、スキャナなどがある。これらおよび他の入力装置は、しばしばシステムバスに結合されているユーザ入力インターフェース１８０を介して処理ユニット１４０に接続されるが、パラレルポート、ゲームポート、ユニバーサルシリアルバス（ＵＳＢ）など他のインターフェースおよびバス構造で接続してもよい。モニタ１８４または他のタイプの表示装置もまた、ビデオインターフェース１８５などのインターフェースを介してシステムバス１４１に接続される。モニタに加えて、コンピュータは、出力周辺インターフェース１８８を介して接続できるスピーカ１８７、プリンタ１８６などの他の周辺出力装置を含むこともできる。
【００２７】
コンピュータ１２０は、リモートコンピュータ１９４など１つまたは複数のリモートコンピュータへの論理接続を使用してネットワーク式環境で動作することができる。リモートコンピュータ１９４は、パーソナルコンピュータ、ハンドヘルド装置、サーバ、ルータ、ネットワークＰＣ、ピア装置、または他の一般のネットワークノードでよく、一般にコンピュータ１２０に関連して上述した多くまたはすべての要素を含む。図４に示した論理接続は、ローカルエリアネットワーク（ＬＡＮ）１９１および広域ネットワーク（ＷＡＮ）１９３を含むが、他のネットワークを含んでいてもよい。こうしたネットワーキング環境は、オフィス、全社規模のコンピュータネットワーク、イントラネット、およびインターネットではごく一般的である。
【００２８】
ＬＡＮネットワーキング環境で使用する場合、コンピュータ１２０は、ネットワークインターフェースまたはアダプタ１９０を介してＬＡＮ１９１に接続される。ＷＡＮネットワーキング環境で使用する場合、コンピュータ１２０は一般に、モデム１９２、またはインターネットなどＷＡＮ１９３を介して通信を確立する他の手段を含む。モデム１９２は、内蔵のものでも外付けのものでもよく、ユーザ入力インターフェース１８０または他の適切な機構を介してシステムバス１４１に接続することができる。ネットワーク式環境では、コンピュータ１２０に関連して示したプログラムモジュール、またはその一部をリモートメモリ記憶装置に格納することができる。図４は、それだけには限定されないが一例として、リモートアプリケーションプログラム１９５をリモートコンピュータ１９４上に存在するものとして示している。図示したネットワーク接続は例であり、コンピュータ間の通信リンクを確立する他の手段を使用してもよいことは理解されよう。
【００２９】
図５は、本発明で使用できるＷｅｂベースの発話音声認識のためのアーキテクチャ２００を示している。上述したように、Ｗｅｂサーバ２０２に格納されている情報には、モバイル装置３０、単純な電話８０、または２Ｇ電話８１を介してアクセスすることができる。アーキテクチャ２００およびそこで使用されるマークアップ言語についてはさらに、参照により全体が本明細書に組み込まれている、公開されている米国特許出願（２００２年１１月１４日）に記載されている（例えば、特許文献１参照）。
【００３０】
一般に、装置３０から始めると、装置３０は、Ｗｅｂサーバ２０２によって提供されたＨＴＭＬ＋スクリプトなどを実行する。音声認識が必要な場合、デジタル化された音声信号、または上述したように装置３０によってあらかじめ処理されている(preprocessed)発話音声の特徴であり得る発話音声データは、発話音声認識中に使用する文法または言語モデルの指示とともに発話音声サーバ２０４に提供される。発話音声サーバ２０４の実装は、多くの形態をとることができ、そのうちの１つを説明するが、一般に発話音声認識器２１１を含む。発話音声認識の結果は、必要に応じて、または適切な場合、装置３０に戻されて、ローカルにレンダリングされる。音声認識、および使用している場合は任意のグラフィカルユーザインターフェースを介して情報をコンパイルすると、装置３０は、情報をＷｅｂサーバ２０２に送信して、必要に応じてさらにＨＴＭＬスクリプトの処理および受信を行う。
【００３１】
図５に示すように、装置３０、２Ｇ電話８１、Ｗｅｂサーバ２０２、電話音声ブラウザ２１２、および発話音声サーバ２０４は、一般に接続されており、ネットワーク２０５、本明細書ではインターネットなどの広域ネットワークを介して個別にアドレス指定可能である。したがって、こうした装置のいずれも、互いに物理的に隣接して配置する必要はない。特に、Ｗｅｂサーバ２０２が発話音声サーバ２０４を含んでいる必要はない。このように、Ｗｅｂサーバ２０２でのオーサリングでは、作成者が発話音声サーバ２０４の複雑さを知る必要なしに目的のアプリケーションに的を絞ることができる。むしろ発話音声サーバ２０４は、独立して設計し、ネットワーク２０５に接続することができ、それによってＷｅｂサーバ２０２でのそれ以上の変更の必要なしに更新し、向上することができる。さらに、発話音声サーバ２０４は、多くのクライアント装置３０、電話８０および８１、および／またはＷｅｂサーバ２０２にサービスを提供することができる。
【００３２】
別の実施形態では、Ｗｅｂサーバ２０２、発話音声サーバ２０４、およびクライアント３０を、実装しているマシンの機能に応じて組み合わせることができる。例えば、クライアントがパーソナルコンピュータなどの汎用コンピュータを備えている場合、クライアントは、発話音声サーバ２０４を含むことができる。同様に、必要に応じてＷｅｂサーバ２０２および発話音声サーバ２０４を単一のマシンに組み込むことができる。
【００３３】
クライアント装置３０に関して、クライアント／サーバシステムにおいて音声認識を処理する方法は、クライアント装置のユーザから発話音声データを取得するように構成された拡張を有するマークアップ言語ページをサーバ２０２から受信するステップと、マークアップ言語ページをクライアント装置上で実行するステップと、（ユーザから取得した発話音声を示す）発話音声データおよび関連の文法をクライアントから離れた発話音声サーバに送信するステップと、発話音声サーバから認識結果をクライアントで受信するステップとを含む。クライアント／サーバシステムにおけるあるクライアント装置で実行するためのマークアップ言語を有するコンピュータ可読媒体を提供することができ、マークアップ言語は、クライアント装置を介して入力された発話音声に関連付ける文法を指示する命令を有する。
【００３４】
電話８０を介したＷｅｂサーバ２０２へのアクセスは、有線または無線の電話ネットワーク２０８への電話８０の接続を含み、電話ネットワークは、電話８０をサードパーティゲートウェイ２１０に接続する。ゲートウェイ２１０は、電話８０を電話音声ブラウザ２１２に接続する。電話音声ブラウザ２１２は、電話インターフェースを提供するメディアサーバ２１４および音声ブラウザ２１６を含む。装置３０同様、電話音声ブラウザ２１２は、Ｗｅｂサーバ２０２からＨＴＭＬスクリプトなどを受信する。しかしより重要なことは、ＨＴＭＬスクリプトは、装置３０に提供されるＨＴＭＬスクリプトと似た形式のものであるということである。このように、Ｗｅｂサーバ２０２は、装置３０および電話８０を別々にサポートする必要はなく、また標準ＧＵＩクライアントを別々にサポートする必要すらない。むしろ、共通のマークアップ言語を使用することができる。さらに、装置３０同様、電話８０によって送信された可聴信号からの音声認識は、ネットワーク２０５、またはＴＣＰ／ＩＰなどを使用した専用ライン２０７を介して音声ブラウザ２１６から発話音声サーバ２０４に提供される。認識結果および他の情報は、電話音声ブラウザ２１２および電話８０を介して、ユーザに聞き取れるように戻される。
【００３５】
上述したように、ＨＴＭＬ、ＸＨＴＭＬ、ｃＨＴＭＬ、ＸＭＬ、ＷＭＬ、または他の任意のＳＧＭＬから派生したマークアップによるものなどのマークアップ言語は、クライアント／サーバアーキテクチャにおいて発話音声認識を提供するコントロールおよび／またはオブジェクトを含むことができる。このように、作成者は、こうしたアーキテクチャで使用される主流のＷｅｂ開発プラットフォームであるこうしたマークアップ言語におけるすべてのツールおよび専門知識を活用することができる。
【００３６】
一般に、コントロールおよび／またはオブジェクトは、認識器の構成、認識器の実行、および／または後処理のための認識器コントロールおよび／またはオブジェクト、シンセサイザの構成、およびプロンプト再生のためのシンセサイザコントロールおよび／またはオブジェクト、入力文法リソースを指定するための文法コントロールおよび／またはオブジェクト、および／または認識結果を処理するためのバインディングコントロールおよび／またはオブジェクトの機能のうちの１つまたは複数を含むことができる。拡張は、既存のマークアップ言語に発話音声インターフェースの能力を追加する軽量のマークアップ層となるように設計される。したがって拡張は、ＨＴＭＬなどの拡張が含まれる高レベルページ、テキスト−発話音声フォーマットおよび文法のフォーマットなどの言語リソースの参照のために拡張が使用した低レベルフォーマット、および発話音声サーバ２０４で使用される認識プラットフォームおよび発話音声合成プラットフォームの個々の特性とは無関係のままとすることができる。
【００３７】
本発明は、音声アプリケーション言語タグ（ＳＡＬＴ）などのマークアップ言語の拡張を使用して具現化することができることに留意されたい。ＳＡＬＴは、パーソナルコンピュータ、電話、タブレットＰＣ、および無線モバイル装置などから情報、アプリケーション、およびＷｅｂサービスへのアクセスを可能にする開発中の標準である。ＳＡＬＴは、ＨＴＭＬ、ＸＨＴＭＬ、ＸＭＬなど、既存のマークアップ言語を拡張する。ＳＡＬＴ１．０の仕様は、非特許文献１においてオンラインで見ることができる。
【００３８】
上記のアーキテクチャ２００とのマルチモーダル対話は、２Ｇ電話８１を介して提供される。一般に、マルチモーダル対話によって、ユーザの希望に基づいた自然な方法でＷｅｂサーバ２０２から情報へのアクセスが可能になる。特に、キーパッドの操作によってテキスト形式のコマンドを提供し、結果を可視的に表示されたテキストとして受信することに制限されるのではなく、ユーザは、発話音声を入力媒体として提供し、必要に応じてその結果を可視的に受信する、または合成された発話音声として受信することを選択することができる。しかし、処理能力の限られた２Ｇ電話８１などの装置では、さらにインターネットなどネットワークへの接続のためのデータチャネルが使用可能であり、通話するために個別の音声チャネルも使用可能であるが、こうしたチャネルには同時にアクセスすることができないというさらによく知られている要件を備えている。その結果、データチャネルおよび音声チャネルを必要とするマルチモーダル対話は、逐次的に行われなければならない。これは、逐次的なマルチモダリティとして知られている。それにも関わらず、上記のアーキテクチャ２００、および後述する方法を使用して、Ｗｅｂサーバ２０２との逐次的なマルチモーダル対話を提供することができる。装置３０および電話８０に加えて２Ｇ電話８１をサポートするためにＷｅｂサーバ２０２およびそこで稼働するアプリケーションを大幅に変更する必要がないように、サーバ２０２へのアクセスが装置３０や電話８０などの他の装置と一貫しているため、このアーキテクチャにおける２Ｇ電話８１の統合は特に有利である。このように、アプリケーション開発者は、情報にアクセスできる各装置をサポートするために個別のアプリケーションを提供する負担を負うことがなく、それどころか多くの異なる装置の様々な機能をサポートすることができるより統一されたコードを提供することができる。
【００３９】
図６は、ＷＡＰを介してＷＭＬ／ＸＨＴＭＬページを使用して発話音声認識結果がテキスト形式で提示される、２Ｇ電話８１に適用可能な逐次的なマルチモーダルのシナリオを示している。
【００４０】
無線アプリケーションプロトコル（ＷＡＰ）は、モバイル電話を介して情報にアクセスし、内容および簡単なグラフィックスをモバイル電話のディスプレイ８２に表示する権限をユーザに与える、公開され、よく知られている仕様である。ＷＡＰは、音声と対話する機能に欠けており、その入力は一般に、ほとんどのモバイル電話上の１２個のキーに限定されている。
【００４１】
周知のように、２Ｇ電話８１は、ショートメッセージサービス（ＳＭＳ）もサポートしている。これは、無線装置への英数字メッセージの送信を可能にする、よく知られており、世界的に導入されているモバイルサービスである。
【００４２】
図７Ａおよび７Ｂは、２Ｇ電話８１により逐次的なマルチモーダル発話音声認識を実行する方法３００のステップ例を示している。
【００４３】
示した例では、図６に矢印３０２で示すように、最初に、飛行機の手配に向けられたアプリケーションにアクセスせよとの要求がＷｅｂサーバ２０２に対して行われると仮定する。これをステップ３０４で示している。
【００４４】
ステップ３０６で、Ｗｅｂサーバ２０２は、この実施形態の例では、出発する都市のテキストボックスまたはデータフィールド入力用の他の指示、および出発する州のテキストボックスまたはデータフィールド入力用の他の指示を含むページを２Ｇ電話８１に提供する（矢印３０７）。こうしたフィールドを、図８の３０８および３１０に図示している。Ｗｅｂサーバから２Ｇ電話へのＷｅｂページの送信は、無線ＷＡＰ／ＳＭＳデータチャネル８５を介する。
【００４５】
従来の２Ｇ電話では、ユーザには、テキストボックスまたはデータフィールド３０８および３１０のそれぞれにテキストを入力するオプションがある。しかし、２Ｇ電話では、一般にユーザは、キーパッド８４上で使用可能な１２個のキーに限られており、それらを操作して一般の各英数字記号を提供する必要がある。
【００４６】
本発明では、ユーザには、データフィールド３０８および３１０のそれぞれに従って発話音声入力を提供する能力があり、それによって限られたキーボード８４の面倒な操作が回避される。
【００４７】
ステップ３１２で、ユーザは、発話音声入力が提供されるという指示を提供する。指示は、キーパッド８４のキーのうちの１つを押す、または２Ｇ電話８１上の特殊なボタン８９を押す形式をとることができる。しかし、指示の他の形式は、２Ｇ電話８１上でローカルに処理し、認識することができる選択された音声コマンドを含むことができる。
【００４８】
ステップ３１４で、２Ｇ電話８１は、図６の矢印３１６によって示すように、電話音声ブラウザ２１２に対して音声通話を開始する。電話音声ブラウザ２１２との接続に続いて、ステップ３１８で、電話音声ブラウザ２１２は、ステップ３０６で前もって送信されたＷｅｂページに従って、発話音声認識に関連付けられたタグを有する発話音声対応ＷｅｂページをＷｅｂサーバ２０２に要求する。これを矢印３２０で示している。一実施形態で、矢印３２３で示すように、ステップ３２１で電話音声ブラウザ２１２に提供すべき適切なＷｅｂページは、２Ｇ電話８１の電話番号、またはそのページに現在関連付けられている他の記号識別子を介してＷｅｂサーバ２０２によって確認される。したがってＷｅｂサーバ２０２は、電話番号または他の識別子によって、データチャネル８５を介して２Ｇ電話８１に直接送信されるページ、およびＷｅｂサーバ２０２と電話音声ブラウザ２１２との間に送信されるページの適切な関連を維持することができる。Ｗｅｂサーバ２０２から電話音声ブラウザ２１２に送信されるページは、ステップ３０６のＷｅｂページの２Ｇ電話８１に送信されたデータフィールドの発話音声認識のために必要なすべての文法またはその識別を含む。
【００４９】
電話音声ブラウザ２１２が音声チャネル８７を介してユーザから発話音声を受信することができるとき、ステップ３２４で、ユーザは、フィールドについての発話音声を提供する。一実施形態では、ユーザに話し始めるよう促すために、電話音声ブラウザ２１２または電話８１によってトーンや音声コマンドなどの適したプロンプトをユーザに提供することができることに留意されたい。電話音声ブラウザ２１２は、Ｗｅｂサーバ２０２から対応する発話音声対応ページを受信すると、このプロンプトを開始することができる。しかし、他の実施形態では、電話音声ブラウザ２１２は、発話音声対応Ｗｅｂページを受信する前にこのプロンプトを提供し、受信した発話音声を一時的に適したバッファ、または他の記憶装置に格納して、ステップ３１２で発話音声が提供されたことをユーザが示したときからステップ３２４で発話音声が実際に提供されたときまでの時間量を最低限に抑えることができる。
【００５０】
入力された発話音声は、電話８０での動作に関して上記で概説したのと同じように、発話音声サーバ２０２を使用して処理される。特に、矢印３２８によって示すように、ステップ３２６で、電話音声ブラウザ２１２は、入力された発話音声を発話音声サーバ２０４に提供する。発話音声サーバ２０４は、認識を行い、その結果は、図６で矢印３３２によって示すように、ステップ３３０でＷｅｂサーバ２０２に戻される。
【００５１】
Ｗｅｂサーバ２０２は、２Ｇ電話８１に関連する電話番号または他の識別子に従って認識結果を受信する。ステップ３４０で、Ｗｅｂサーバ２０２は、データチャネル８５を使用してＳＭＳメッセージを２Ｇ電話８１に送信する。これを図６に矢印３４２で示している。ＳＭＳメッセージは、認識結果を含むことになるが、別の実施形態では、ＳＭＳメッセージは、例えばＵＲＬリンクなどＷｅｂページのアドレスである。ＳＭＳメッセージを受信すると、ステップ３４４で、ユーザが明示的に、またはユーザエージェントが暗黙的にデータチャネルを使用して、矢印３４６で示すように、認識結果を有する更新されたＷｅｂページを取り出す。これによって電話音声ブラウザ２１２への音声通話が切断される。別の実施形態では、音声チャネルの切断は、音声ブラウザページに関する必要なすべての情報を収集すると、電話サーバによって行うことができる。
【００５２】
ステップ３４８で、次いでＷｅｂサーバ２０２は、矢印３５０で示すように、認識結果を有する新しいページを２Ｇ電話８１に提供する。図９は、テキストボックス３０８および３１０を示しており、ここでは、ユーザによって提供された発話音声入力に基づいて、発話音声認識結果が追加されている。
【００５３】
上記は、２Ｇ電話での発話音声入力を提供する逐次的なマルチモーダル操作を示している。２Ｇ電話８１の限られた機能が与えられている場合、有効な発話音声対話を提供するために、図５に示したアーキテクチャによって、図７Ａおよび７Ｂに示した方法の繰り返し操作で、Ｗｅｂページに関連する他のフィールド、または他のＷｅｂページに関連するフィールドについての発話音声入力を提供できるようになる。
【００５４】
本発明は、特定の実施形態を参照して説明してきたが、本発明の意図および範囲から逸脱することなく形態および詳細に変更を加えることができることを当業者であれば理解されよう。
【図面の簡単な説明】
【００５５】
【図１】本発明の一実施形態に係る、コンピューティング装置の動作環境を示す平面図である。
【図２】図１のコンピューティング装置を示すブロック図である。
【図３】本発明の一実施形態に係る、２Ｇ携帯電話を示す平面図である。
【図４】本発明の一実施形態に係る、汎用コンピュータを示すブロック図である。
【図５】本発明の一実施形態に係る、クライアント／サーバシステムのアーキテクチャを示すブロック図である。
【図６】逐次的なマルチモーダル対話を提供するための図５のアーキテクチャの構成要素との接続を示すブロック図である。
【図７Ａ】本発明の一実施形態に係る、逐次的なマルチモーダル対話を提供するための方法例を示すフロー図である。
【図７Ｂ】本発明の一実施形態に係る、逐次的なマルチモーダル対話を提供するための方法例を示すフロー図である。
【図８】本発明の一実施形態に係る、２Ｇ電話上にレンダリングされたテキストボックス例を示す図である。
【図９】本発明の一実施形態に係る、２Ｇ電話上にレンダリングされた認識結果を含むテキストボックス例を示す図である。
【符号の説明】
【００５６】
３０  クライアント
８０  単純な電話
８１  ２Ｇ電話
８５  データチャネル
８７  音声チャネル
２０２  Ｗｅｂサーバ
２０５  パケット交換データネットワーク
２０６  Ｗｅｂページ、発話音声対応コントロール／テンプレート
２０７  専用ライン
２０８  電話ネットワーク
２１０  サードパーティＶＯＩＰゲートウェイ
２１１  発話音声認識器
２１２  電話音声ブラウザ
２１４  メディアサーバ
２１６  音声ブラウザ
２２０  言語モデル
【図１】
2005149484.tif 000003
【図２】
2005149484.tif 000004
【図３】
2005149484.tif 000005
【図４】
2005149484.tif 000006
【図５】
2005149484.tif 000007
【図６】
2005149484.tif 000008
【図７Ａ】
2005149484.tif 000009
【図７Ｂ】
2005149484.tif 000010
【図８】
2005149484.tif 000011
【図９】
2005149484.tif 000012