(57)【特許請求の範囲】
【請求項１】
ホームネットワークと通信する少なくとも１つの家庭用品を有する、前記ホームネットワークのための情報フィルタリングシステムにおいて、
音声入力を処理するためのパーサーを有する音声認識装置と、
少なくとも１つの電子作業ガイドを記憶しているデータ記憶装置と、
前記音声認識装置とデータ通信し、音声入力から意味情報を抽出可能で、電子作業ガイドからの情報に関連する文法の組を有するローカルパーサーおよび電子作業ガイドの意味構造に対応するスロットを有する複数の目的指向型フレームを定義するグローバルパーサーを有する自然言語パーサーと、
前記自然言語パーサーおよびデータ記憶装置とデータ通信し、電子作業ガイドからの情報を有する文法の組を更新可能なプログラムガイドマッピングモジュールと、
前記意味情報に基づいて、記憶された電子作業ガイドをフィルタリングし、かつ、前記家庭用品に対応する、フィルタリングされた情報を提供するための対話マネージャと
を具備することを特徴とする情報フィルタリングシステム。
【請求項２】
前記家庭用品は、オーディオ／ビデオ装置、器具、コンピュータ、ホームオートメーションシステム、火災報知システム、盗難警報システム、電話システム、インターホンシステム、ゲートウェイシステム及びインターネットアクセスシステムから成るグループの中から選択されることを特徴とする請求項１に記載のシステム。
【請求項３】
前記対話マネージャは、聴覚的あるいは視覚的な形式で、ユーザに、前記フィルタリングされた情報を提供することを特徴とする請求項１に記載のシステム。
【請求項４】
電子プログラムガイドが変化して、その結果、前記プログラムガイドマッピングモジュールが、もはや全ての電子プログラムガイドの内容を正しくマッピングしなくなったときに、前記プログラムガイドマッピングモジュールの機能を更新するためのマッピングモジュール更新システムを更に具備することを特徴とする請求項１に記載のシステム。
【請求項５】
前記ネットワークをインターネットに接続するホームゲートウェイモジュールを更に具備し、前記フィルタリングシステムは、前記意味情報に基づいて、インターネットを介して獲得した情報をフィルタリングすることを特徴とする請求項１に記載のシステム。
【請求項６】
複数の家庭用品が前記ネットワークと通信していて、前記フィルタリングシステムは、前記複数の家庭用品に対応する複数の電子作業ガイドを有していることを特徴とする請求項１に記載のシステム。
【請求項７】
前記家庭用品は、ユーザが入力音声を供給する、対応するマイクロフォンを有していることを特徴とする請求項１に記載のシステム。
【請求項８】
前記家庭用品は、前記対話マネージャが前記フィルタリングされた情報を提示する、対応するディスプレイを有していることを特徴とする請求項１に記載のシステム。
【請求項９】
前記対話マネージャは、ユーザに合成音声による情報を提供するための音声合成器を有していることを特徴とする請求項１に記載のシステム。
【請求項１０】
前記対話マネージャは、ユーザに合成音声による前記フィルタリングされた情報を提供するための音声合成器を有していることを特徴とする請求項１に記載のシステム。
【請求項１１】
前記対話マネージャは、前記フィルタリングシステムのユーザが過去に使用した表現を記憶するためのユーザ特性データ記憶装置を有していて、前記対話マネージャは、記憶された電子作業ガイドの表現を更にフィルタリングするために、前記特性データ記憶装置を用いることを特徴とする請求項１に記載のシステム。
【請求項１２】
ユーザ特性データ記憶装置と、前記ユーザ特性データ記憶装置にアクセスするための話者検証システムとを更に具備することを特徴とする請求項１に記載のシステム。
【請求項１３】
ユーザ特性データ記憶装置と、前記ユーザ特性データ記憶装置にアクセスするための話者識別システムとを更に具備することを特徴とする請求項１に記載のシステム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この出願は、1999年8月26日に出願され、「音声認識及び自然言語を用いるテレビ内容の自動フィルタリング」と題された米国特許出願番号09/383,758の一部と関連する。
【０００２】
本発明は、一般的には、対話型情報検索に関する。より詳細には、本発明は、電子的に格納された情報のメニュー構造内を移動することによって、最適な量で正しい内容の情報がユーザに提示される音声を発することが可能なシステムに関する。
【０００３】
【従来の技術及び発明が解決しようとする課題】
家庭の隅々までコンピュータネットワークの到達範囲を拡張することに対する関心が高まっている。ホームゲートウェイが開発され、家庭の隅々まで、ネットワークサービスや、ホームオートメーションや、情報へのアクセスが行き渡りつつある。このようなアクセスを行き渡らせることに関する問題の１つは、情報検索である。コンピュータの大型ディスプレイは、当然に、使用に便利なように、整然としたフォーマットで、情報を適切に表示することができるが、家庭内の多くの器具やシステムは、このサイズあるいは品質のディスプレイを備えてはいない。このように、大部分の消費者向け電化製品や器具は、これまで、簡単なメッセージや少量の情報しか表示できなかった。
【０００４】
将来は、ホームネットワークの発達に伴って、ユーザが、様々な消費者向け電化製品や家庭の器具をホームネットワークに接続して、このような製品や器具がデータを共有し、相互に連動することを望むことが予想される。この点に関して、ホームネットワークは、様々なチャネルを介した通信をサポートすることができる。様々なチャネルとは、例えば、現存する電話の配線や、コンピュータネットワークの配線や、交流の電力線に重畳されたデータ信号や、スペクトラム拡散無線周波数やブルートゥース(bluetooth)技術を含む様々な技術を用いた無線通信のことである。
【０００５】
いったん、ホームネットワークが構築され、様々な電化製品や器具が接続されれば、ユーザは、疑いなく、それらの接続された製品や器具を、ホームネットワークへのポータル（入り口）として使うことを望むであろう。このことに関する問題は、現在の技術が、非常に扱いにくいユーザインターフェースしか提供できない点であり、特に、ディスプレイのサイズが小さいか、あるいは品質が低い場合に顕著である。現在の技術では、メニュー上の情報を表示してユーザに伝えるのに、時折、長い時間がかかることがある。更に、画面上のメニュー表示との対話は煩わしいものであり、特に、暗い部屋でマウスによる作業あるいはキーボード操作を行わなければならない場合に顕著である。最後に、ユーザインターフェース画面を家族全員にとって理想的な場所に配置することは不可能であるし、このようなインターフェースの個数も限られている。
【０００６】
【課題を解決するための手段】
本発明は、１以上の電子作業ガイドの支援によって、情報を選別し、かつ複雑なメニュー構造内を移動するための音声を発することが可能なシステムを提供する。このシステムは、ユーザに対して、次の作業を選択するのに最適な量の情報を提供するように構成されている。
【０００７】
本発明は、従来の画面ベースのインターフェースの限界に対処するために、音声認識及び自然言語の構文解析を用いて、電子作業ガイドの内容を自動的に選別するので、ユーザの次の選択のために、最適な数に微調整された選択肢が、音声によって、もしくは従来の押しボタン制御を介して、もしくはその他の方法によって提示される。
【０００８】
本発明は、ユーザが特定の作業を選択する際に、迅速で、より煩わしくないインターフェースを提供する。しばしば、これは、１つの文で要求を完成させることが可能である。このような場合には、表示装置は必要ないし、もし、それが用意されていたとしても、それを見る必要はない。
【０００９】
本発明は、ネットワークに接続された任意の装置に、その装置あるいはネットワークに接続された他の装置を操作するためのポータル（入り口）としての役割を果たさせることが可能である。
そのネットワークが、ゲートウェイまたは他の適当な接続部を介してインターネットに接続されていれば、このポータル（入り口）から、インターネットにアクセスすることも可能である。
【００１０】
本発明は、ユーザの入力音声から意味情報を抽出するためのパーサーを有する音声認識システムを用いる。データ記憶装置は、１以上の電子作業ガイドの表現を記憶している。これらのガイドは、自然言語による対話の分野を、特定の装置、システム、または対話に限定する能力を持っている。これにより、システムは、はるかに正確に、ユーザの入力音声に対応する意味を解釈することができる。自然言語対話モジュールは、電子作業ガイドにアクセスし、ユーザの入力音声の意味を解釈し、そして、ネットワークに適切な情報を提供して、ネットワークに接続されている、いずれかの装置から、あるいは、インターネットに接続されているのであれば、インターネットから、特定の情報を検索する。また、自然言語対話モジュールは、ネットワークを介して通信している装置に、制御命令及びメニュー移動命令を与えることができる。このように、本発明は、情報を入手し、かつ家庭の至る所の装置、器具、コンピュータ、及びその他のシステムを制御する、自然発音モードをユーザに提供する。
【００１１】
例として、ほぼ買い物旅行をする準備が整ったユーザは、冷蔵庫に付随しているマイクロフォンに向かって話しかけ、「ディナーに何を作ることができるか？」と尋ねる。自然言語対話モジュールは、適切な電子作業ガイド（冷蔵庫に対応しているもの）にアクセスし、冷蔵庫内の品目で可能なディナーのメニューに関する情報を検索する。システムは、可能なメニューについて提案すると共に、摂取する必要がある成分についてユーザの注意を喚起する。これに対して、ユーザは、「今夜はチキンシチューを作ろうと思う。買い物リストをプリントして下さい。」などと言うことができる。すると、システムは、現在、どの品目が冷蔵庫内で見あたらないかを確かめた上で、プリントのために、ユーザのコンピュータにプリントジョブを送る。
【００１２】
１つの好ましい実施において、ネットワークを介して通信する各器具もしくは他の装置は、その個々の分野に対する対話文法を確認する、対応する電子作業ガイドを有している。自然言語対話モジュールは、ネットワークの全域で共有される。ユーザが、ネットワークを介して通信する器具あるいは装置に取り付けられるか、あるいは近くにあるマイクロフォンに向かって話しかけると、自然言語対話モジュールは、入力音声の意味を、電子作業ガイド、すなわち入力音声に最も適合する特定の文法を用いて解釈する。システムは、最高の意味認識得点が得られる文法を割り出すことによって、最適な作業ガイドを選択する。このように、ユーザは、冷蔵庫ポータル（入り口）の前に立って、システムに、インターネット上のストックプロセス(stock process)を調べるように要求し、システムのテキスト−音声合成器を用いて、冷蔵庫のスピーカから合成音声を再生させることができる。例えば、冷蔵庫に取り付けられるか、あるいは近くにあるマイクロフォンを介して、ユーザが、入力音声を入力したとしても、自然言語対話モジュールは、インターネットに接続されたホームゲートウェイに対応する電子作業ガイドを用いて、ストックプライス(stock prices)のための要求を解釈する。
【００１３】
残りの明細書、及び添付した図を参照することによって、本発明及びその多くの可能性、目的、及び利点が、更に完全に理解される。
【００１４】
【発明の実施の形態】
図１は、インターネットに接続されたコンピュータネットワーク及びホームゲートウェイと共に示された、本発明の現時点での好ましい実施形態のブロック図である。
【００１５】
図２は、いかにして、音声認識装置及び自然言語パーサーが、対話マネージャ及び対応する電子作業ガイドと連係して動作するかを示す、より詳細なブロック図である。
【００１６】
図３は、現時点での好ましい実施形態における自然言語パーサーの構成要素を示すブロック図である。
【００１７】
図４は、現時点での好ましい実施形態におけるローカルパーサーの構成要素を示すブロック図である。
【００１８】
図１を参照すると、家庭活動制御システムが、コンピュータネットワーク 10 に不可欠な構成要素として示されている。それは、適当な接続部を介してインターネット 14 に接続されているゲートウェイ 12 を含んでいてもよい。
既に述べたように、ネットワーク 10 は、有線及び無線技術、並びに光技術を含む様々な通信技術によって実現される。
【００１９】
本発明のいくつかの可能性を示すために、様々な装置が、ネットワーク 10 に接続されたものとして示されている。これらは、オーディオ／ビデオ装置 16 、器具 18 、コンピュータ 20 、及び他のシステム 22 を含んでいる。この点に関して、現時点では、大部分の家庭には、ネットワークに接続可能なオーディオ／ビデオ装置や器具は備えられていない。しかし、将来のオーディオ／ビデオ装置や家庭器具は、ネットワーキング能力を持ち、これらの装置が、ホームゲートウェイ及びネットワークシステムの制御下にある構成要素として、あるいは更に、自然言語での対話のための入り口（ポータル）としての役割を果たすようになることが予想される。
【００２０】
ゲートウェイ 12 は、簡単なネットワークハブ装置から、インターネットへの広帯域接続が可能な、より複雑なハブ及びスイッチングシステムまで、様々な形をとることができる。要望があれば、ゲートウェイには、照明制御機能や、火災及び盗難警報機能や、冷暖房システム制御機能や、電話応答及び切換機能等を含む、様々なホームオートメーション機能を実現するための構成要素を備えることもできる。あるいは、これらのホームオートメーション機能を、ネットワークに接続された、符号24に図示された補助装置によって実現することもできる。
【００２１】
できれば、ネットワーク 10 に接続される各装置は、図１における符号16〜24で示された装置のように、独立した処理能力と、少なくとも、いくらかの限られたデータ記憶能力とを持っているとよい。また、これらの装置は、内蔵ディスプレイ画面及びユーザ入力制御装置を含んでいてもよい。ユーザ入力制御装置とは、例えば、押しボタン制御装置や、ポインティングデバイス制御装置や、キーボード等のことである。現時点での好ましい実施形態では、各装置は、そのネットワークへの接続とは独立に動作するように形成されている。従って、何らかの理由で、ネットワークのサービスが停止したとしても、これらの装置は、それまで通り、それぞれの機能を遂行するであろう。その後、ネットワークが、元のサービスが稼働している状態に戻ると、それらの装置は、できれば、通信が停止した時に記録された状態に基づいて、お互いを更新するために、お互いに通信することができるとよい。
【００２２】
本発明によれば、音声認識及び自然言語対話システムが提供され、ユーザが、自然言語の音声を用いて、ネットワークに接続された様々な装置及びシステムと通信することが可能になっている。実例として、音声認識及び自然言語対話システムが、符号30に図示されている。このシステム 30 は、図１においては、ネットワーク 10 に接続されたものとして示されている。これは、単に、システム 30 の音声認識及び自然言語対話処理サービスが、ネットワーク 10 を介して通信する装置、器具、及び他のシステムで利用可能とされていることを、実例を用いて説明するためのものである。従って、システム 30 は、物理的には、ホームゲートウェイ 12 の中に組み込まれていてもよいし、ネットワークを介して通信する他の装置、器具、コンピュータ、オートメーションシステム、及び、他のシステムのうちのいずれかの中に組み込まれていてもよい。それに加えて、あるいは、その代りに、システム 30 によって提供される機能が、インターネット 14 から得られるコンポーネント(components)によって実現されるものであってもよい。例えば、これらのコンポーネントが、オンデマンドで（要求に応じて）、インターネット 14 からホームゲートウェイ 12 内にダウンロードされるものであってもよい。
【００２３】
好ましい実施形態における、音声認識及び自然言語処理システム 30 は、入力音声が供給される１つ以上のマイクロフォン 32 を備えている。これらは、防騒音型マイクロフォンであってもよく、かつ、物理的には、様々な位置、例えば、ネットワーク 10 を介して通信する構成要素のいずれかの内部に配置されていてもよい。マイクロフォンへの入力は、音声入力処理モジュール 34 に供給され、ここで、入力音声はデジタル化され、音声認識装置 36 が必要とする形式に変換される。一般に、家庭環境には、多くのにせのバックグラウンドノイズがあるので、音声入力処理モジュール 34 は、音声の開始及び終了を検出するための処理部を有していて、これにより、人間の音声の特性に合わないバックグラウンドノイズ成分を遮断する。
【００２４】
音声認識装置 36 は、予め調整され、もしくは適合された複数の音声モデル 38 のセットを有していて、これらの音声モデルは、話された発声をテキストの形式または記号の形式に変換するために、前記認識装置によって用いられる。一実施形態においては、前記音声モデル 38 は、話者に依存しない、連続的な音声モデルであり、単語及び熟語の豊富な語いを、テキストまたは記号の形式に変換することが可能なものである。要望があれば、このシステムは、このシステムを使う予定の話者の発声に基づく調整または適合化によって、音声モデル 38 を更新可能なものとしてもよい。そのような場合には、この音声モデルは、話者に依存し、かつ適合したモデルに修正される。
【００２５】
音声認識装置 36 の出力は、自然言語対話モジュール 40 に供給される。このモジュールの構成及び動作を、以下で更に十分に説明する。自然言語対話モジュールは、符号42に集合的に示され、かつ符号44、46、48及び50に個別的に示された複数の電子作業ガイドのセットと共に機能する。更に十分に説明するが、これらの電子作業ガイドは、自然言語対話モジュールの分野を特定するのに役立ち、音声認識装置 36 から前記対話モジュールに伝送されたテキストまたは記号表現から、意味内容(semantic content)すなわち意味(meaning)を抽出することを可能にする。多種多様な構成要素、装置、器具、システム等との対話を扱うことが可能な、グローバルな電子作業ガイドを設けることも可能ではあるが、現時点での好ましい実施形態においては、それぞれの装置のために、別々の電子作業ガイドを用いている。各装置のために電子作業ガイドを分割すると、システムを設計する際の、このガイドのプログラミング及びトラブルシューティングがより容易になる。
【００２６】
自然言語対話モジュールは、テキストから音声を合成するテキスト−音声合成器 52 に接続されていて、このテキスト−音声合成器 52 は、さらに、符号54に図示したスピーカを有する適当なオーディオシステムにも接続されている。テキスト−スピーチ合成器は、自然言語による対話の一部として、ユーザに、音声による助言を与える。テキスト−スピーチ合成器 52 は、テキストの内容を、耳で聞くことができる合成音声の形式で再生するので、ユーザは、情報を入手するために、ディスプレイの画面を見る必要はない。自然言語対話モジュールは、ユーザの入力音声の意味内容(semantic content)すなわち意味(meaning)を確かめ、ネットワーク 10 を介して通信している、対応する装置に適切な命令を与える。
【００２７】
現時点での好ましい実施形態における認識及び自然言語システムを図２に示す。ユーザからの入力音声は、適当なオーディオインターフェース及びデジタイザを介して音声認識モジュール 110 に供給される。音声認識モジュール 110 の出力は、自然言語パーサー 112 に供給される。このパーサーは、このパーサーが解釈可能なものの意味規則を定義した文法 114 のセットと共に機能する。パーサーの詳細を、以下で、更に十分に説明する。しかしながら、本質的に、このパーサーは、目的指向型の原理に基づいて動作し、認識されたスピーチから、キーワード及びフレーズを割り出す。そして、これらの認識されたワード（単語）及びフレーズ（熟語）を用いて、予め定義されたテンプレートまたはフレーム内のスロットを埋めるが、これは、別の目的指向型のタスクを表している。
【００２８】
このパーサーは、また、電子作業ガイド ( EAG ) の意味表現と共に機能する。図２においては、意味表現は、符号116に格納される。EAG は、文法 114 内にマッピングされる。そして、自然言語パーサーは、符号116に格納された意味表現を調べ、システムが、どのような選択肢または応答をユーザに対して提示するかを決定する。システムが、ユーザを、絶えず変化する電子作業ガイドのデータと連係させることを可能にするために、電子作業ガイドの内容をローカルパーサーの文法の中にダウンロードもしくは更新するためのメカニズムが備えられている。この機能は、ガイド−マッピングモジュール 118 によって実現される。このマッピングモジュールは、符号120に木構造として図示されたEAGをダウンロードし、ガイドの内容を、ローカルパーサーの文法の中にマッピングする。ガイド−マッピングモジュールは、電子作業ガイドの全体構造の演繹的な知識を有している。従って、マッピングモジュールは、例えば、テレビもしくはビデオレコーダに対応する電子作業ガイドが、映画、スポーツ、ニュース、天気予報等のために別々の分野を有していることを認識している。そして、マッピングモジュールは、この演繹的な知識を用いて、電子作業ガイドの中間及びリーフ(leaf)ノードで見つけた情報を文法の中にマッピングする。例えば、映画に対応する意味表現は、コメディ、ドラマ、ＳＦのような異なるタイプの映画に対応するスロットや、監督の名前のためのスロットや、俳優の名前のためのスロット等を有している。例えば、冷蔵庫の中身の意味表現は、様々なタイプの食品の品目に対応するスロットを有している。
【００２９】
時々、電子作業ガイドの全体構造は変化する。これは、例えば、新しい構成要素がネットワークに追加されるときに起こる。システムは、このような変化に適応するように構成されており、マッピングモジュール更新装置 122 を有している。このモジュール更新装置には、ネットワークや、インターネットや、もしくは他の遠隔通信のリンクを介して、最新情報が供給される。もし電子作業ガイドの全体構造が変化したら、プログラムガイド−マッピングモジュールは、もはや全てのガイドの内容を正しくマッピングしないので、このマッピングモジュールは、更新装置 122 によって更新される。この更新は、追加のプラグインモジュールの形であってもよいし、あるいは完全に新しいバージョンのマッピングモジュールの形であってもよい。
【００３０】
このシステムの１つの目的は、ネットワークを介して通信する装置間の連係を簡単にすることである。このシステムは、ユーザが話した要求の意味規則に基づいて、電子作業ガイド内で見つかった情報をフィルタリングすることによって、上記を実現する。ユーザとの対話から、直ちに、ユーザが感心を持っている情報に関する１つの作業あるいは項目を割り出すことができる場合もあるが、多くの場合には、ユーザが何を行おうとしているのかを割り出すために、一連の対話が必要になる。
【００３１】
これを容易にするために、好ましい実施形態においては、対話マネージャ 124が用いられている。この対話マネージャ 124 は、自然言語パーサー 112 を用いて、ユーザの要求をかみくだき、画面上に表示されるか、あるいは合成音声によって提示される、意味をなすものにする。対話マネージャは、予め、システムの表示能力に関する情報を記憶しているので、画面上でユーザに提示する適切な量の情報を決めることができる。例えば、１つの要求に応じて５０本の映画の選択肢をユーザに提示するのは、画面の解像度やフォントの高さの制限があるので、画面上に容易に表示するには多すぎる。一方、与えられた要求に応じて２本のプログラムのみを割り出せば、対話マネージャは、ユーザから追加の問い合わせを引き出して、ユーザが更に多くの情報を見たいかどうかを突き止めることができるかもしれない。
【００３２】
電子作業ガイドの意味表現を用いることによって、システムは、電子プログラムガイド 120 に含まれている情報のフィルタリングを遂行する。この機能は、図２においては、フィルタモジュール 126 として図示されている。
【００３３】
対話マネージャは、特性データ記憶装置 128 と共に機能する。このデータ記憶装置は、例えば、そのユーザが以前に何を要求したかといったデータのような、ユーザ特性情報を記憶している。この情報は、例えば、対話マネージャ及び対応するフィルタリング機能が、そのユーザが興味を持っている可能性がある情報、あるいは持っていない可能性がある情報をつきとめる際の規準として用いられる。例えば、そのユーザが、前の夜に、特定のプログラムを見たならば、この事実は、データ記憶装置 128 内に記憶され、対話マネージャは、次の夜に、このプログラムを表示することを控えることができる。同様に、そのユーザが、ディナーにホウレンソウのシチューを選択することを、いつも拒否するようであれば、対話マネージャは、今後、この選択肢の提示を控えるであろう。また、前記特性データ記憶装置を、そのユーザが、どの程度の量の情報が、画面に表示されるか、あるいは合成音声によって提示されることを望むかについての、そのユーザの好みを記憶するために用いることもできる。特定のユーザのための特性データは、話者の検証あるいは鑑定を用いて選択されてもよい。この点に関して、認識システムは、各ユーザにおける、特有の、もしくは識別している音声特性を記憶する。それ以降、そのユーザが入力音声を供給すると、システムは、音声特性に基づく話者鑑定を行うことによって、話者を識別するか、あるいは、スピーチ特性に基づく話者検証を行うことによって、話者から提供された身元を証明することができる。
【００３４】
自然言語パーサー 112 は、電子作業ガイドの意味表現と共に、音声認識システムの中心部を形成している。好ましい自然言語パーサーの詳細を説明する。
【００３５】
図３に、自然言語パーサー 112 の構成要素を、より詳細に示す。特に、音声認識モジュール 228 は、所定の該当するタスクに関連する断片を割り出すためのローカルパーサー 260 を有している。音声認識モジュール 228 は、また、話者の要求の全体の意味規則を抽出するためのグローバルパーサー 262 も有している。
【００３６】
好ましい実施形態におけるローカルパーサー 260 は、パース(parse)の仮説を提供するための、それぞれのパス(passes)と、独特の得点メカニズムとに沿った、小さな複数の文法を使用する。例えば、新たなローカルパーサー 260 は、このアプローチフレーズ、例えば、日付、人名、映画のカテゴリー、食品のカテゴリー等によって認識を行う。もし、話者が、ホームエンターテイメントシステムに向かって、「メル ブルックス主演で、１月２３日以前に放映されるコメディを録画して下さい。」と発言したら、ローカルパーサーは、「コメディ」を映画のカテゴリーとして認識し、「１月２３日」を日付として認識し、かつ「メル ブルックス」を俳優として認識する。グローバルパーサーは、これらの項目（映画のカテゴリー、日付等）を組み合わせ、話者が、所定の制約がある映画の録画を望んでいることを認識する。
【００３７】
音声認識モジュール 228 は、ある分野の意味規則（すなわち、到達すべき目標）を符号化する知識データベース 263 を有している。この意味で、知識データベース 263 は、好ましくは、符号265に図示されたような、分野特有のデータベースであり、対話マネージャ 230 によって、所定の目標への到達に対応する特定の動作が可能であるかどうかを決定するために用いられる。
【００３８】
好ましい実施形態においては、フレームデータ構造 264 を介して意味規則が符号化される。フレームデータ構造 264 は、空のスロット 266 を有していて、この空のスロット 266 は、グローバルパーサー 262 の意味解釈がフレームに合致したとき、埋められる。例えば、（分野がチューナーのコマンドである）フレームデータ構造は、ある時間帯において視聴者が要求するチャンネルを指定するための空のスロットを有している。もし、視聴者がチャンネルを提示したならば、空のスロットは、その情報で埋められる。しかしながら、特定のフレームが、視聴者が初めに要求を提示した後に、埋められる必要がある場合には、対話マネージャ 230 は、応答モジュール 234 に指示して、視聴者に所望のチャンネルを提示するように要求させる。応答モジュール 234 は、テキスト−音声合成器を有していてもよい。
【００３９】
フレームデータ構造 264 は、好ましくは、複数のフレームを有していて、その各々は、さらに、複数のスロットを有している。テレビのチューニングの例においては、１つのフレームは、映画の属性、監督、及び映画のタイプ向けのスロットを有していてもよい。別のフレームは、その映画が上演されている場所や、チャンネル等に関する属性向けのスロットを有しているかもしれない。
【００４０】
以下の参照は、グローバルパーサー及びフレームについて論じている。: R. Kuhn and R. D. Mon, Spoken Dialogues with Computers (Chapter 14: Sentence Interpretation), Academic Press, Boston (1998)
【００４１】
対話マネージャ 230 は、話者に情報を要請する前に空のスロットを埋める際の支援を行う対話履歴データファイル 267 を用いる。対話履歴データファイル 267 は、本発明の装置を介して行われた会話のログを収録する。例えば、話者が、今夜のディナーが４人分であることを話したとする。すると、対話マネージャ 230 は、対話履歴データファイル 267 内に、人数の記録を格納する。それ以降、もし、その話者が、「今夜はバーベキューを作りたい。」と発言したら、対話マネージャ 230 は、冷蔵庫に対応するデータベースを調べ、どの品目が利用可能であるかを明らかにする。そして、対話マネージャ 230 は、対話履歴データファイル 267 を用いて、４人分の利用可能なポークチョップがあるという理由により、「ポークチョップ」を勧めるかもしれない。もし、利用可能なチキンが１人分のみであれば、対話マネージャは、対話履歴に基づいて、チキンを勧めないであろう。十分な数のスロットが埋められると、本発明は、話者に、メニューの選択を検証(verify)して確認(confirm)するように要請するであろう。従って、もし、対話履歴データファイル 267 を用いて対話マネージャ 230 が定めた、いずれかの仮定が、誤っていることが分かったら、話者は、ここで、この仮定を訂正することができる。
【００４２】
自然言語パーサー 112 は、対話あるいは音声認識システムに用いられる自動音声認識システム ( ASR ) の出力として生成される、緩い構造の自然言語のテキストから、意味的に重要で有意義な話題を分析して抽出する。自然言語パーサー 112 は、自然言語のテキストを、話題情報及びデータを含む厳格に構造化されたタグを生成し、各々のタグをタグが付けられる情報を含む入力テキストのセグメントと結び付けることによって、新しい表現に変換する。更に、タグは、別途のリストあるいは意味フレームのような他の形式で生成されてもよい。
【００４３】
自然言語パーサー 112 の特徴は、入力が文法的に誤った英語の文を含んでいてもよいように、耐性が強いことである。その理由は、以下の通りである。認識装置への入力が、カジュアルな対話スタイルなので、音声入力が正しいと考えられる時でさえも、自然な音声は、文法に反した文、不完全な熟語、及び、挿入、省略、または、音声認識装置によるエラーの誤認識を含んでいる可能性がある。自然言語パーサー 112 は、全てのタイプの入力に、強い耐性で対処し、可能な限り多くの情報を抽出する。ここでは例として英語が挙げられているが、本発明は、いかなる言語にも適用することができる。
【００４４】
図４に、自然言語パーサー 112 の新しいローカルパーサー 260 の様々な構成要素を示す。自然言語パーサー 112 は、好ましくは、定点評価として、マルチパスアプローチ(multi-pass approach)において、一般化されたパース（構文解析）技法を利用する。各々の話題(topic)は、曖昧さを許容する、文脈に敏感なＬＲ（左−右、及び、最も右の派生）文法として記述される。下記のものは、文脈に敏感なＬＲ文法 に関する参照である。: A. Aho and J. D. Ullman, Principles of Compiler Design, Addison Wesley Publishing Co., Reading, Massachusetts (1977); 及び N. Tomita, Generalized Parsing, Kluwer Academic Publishers, Boston, Massachusetts (1991)
【００４５】
評価の各々のパスにおいて、それぞれのターゲットの話題とは関係なく、一般化されたパース（構文解析）アルゴリズムが、全ての可能性がある（完全な、または不完全な、 ) パースツリー(parse trees)を生成するために用いられる。各々のパスは、もしかすると、いくつかの代替のパースツリーを生成するかもしれない。各々のパースツリーは、ことによると、ある特定の話題に対して異なる解釈を表現するかもしれない。好ましくは並列で独立した道を通る複数のパスは、実質的に、曖昧さ、及び、異なる話題との間の重複を除去する。一般的なパースアルゴリズム(parsing algorithm)は、可能性がある全てのパースツリーを評価する体系化された方法であるので、システム内に存在する文脈上の情報を利用して、Ｎ個の最良の候補を選択する。
【００４６】
ローカル パース システム 260 は、語彙分析 320 と、それぞれの話題のための並列なパースフォレストの生成（例えば、生成器 330 及び 332 ）と、概略、符号 334 によって示されたような、構文解析された要素の分析及び合成との３段階を実行する。
【００４７】
語彙分析：
話者が発したフレーズは、自動音声認識装置 317 によって認識され、この自動音声認識装置 317 は、入力文 318 を生成する。語彙分析段階 320 は、語彙フィルタ 326 及び 328 を用いて、入力文 318 中の話題（これは広範囲な文法を必要としない）のためのタグを確認して生成する。これらは、例えば、ホームエンターテイメントへの適用においては、映画の題名、映画のカテゴリ、監督、男優及び女優の名前を含んでいる。前記の典型的なタグに関連したキーワードを用いる、入力文 318 の通常表現の走査は、一般に、このレベルで十分である。また、特別な文法の語彙の一部ではない、入力文中の単語へのタグ付けは、この段階で行われる。これらの単語は、Ｘタグを用いて示されるので、そのようなノイズ単語は、文字「Ｘ」に置き換えられる。
【００４８】
並列なパースフォレストの生成：
パーサー 112 は、各話題を別々に記述及び構文解析するための高水準の通常パース（構文解析）方針を用いて、タグを生成し、入力の流れに対して、それらをマッピングする（割り当てる）。構造化されていない入力テキスト 318 の性質のため、個々の話題のパーサーは、好ましくは、重要な単語以外の全てを無視し、挿入及び削除エラーに対処して、できる限り広範な言語を受け入れる。それぞれの話題のパース（構造解析）は、LRパースの中で用いられるものに、かなり似た、メタ(meta)レベルの仕様言語を用いる、文脈に敏感な文法規則を含んでいる。文法の例は、文法 A 340 、及び、文法 B 342 を含んでいる。本発明のアプローチを用いて、話題の文法 340 及び 342 は、それらがLR型の文法であるかのように、重複を含んで、ずれを除去せずに、矛盾を減少させて、記述される。入力文の構造解析の結果は、文法仕様に基づく、可能性がある構造解析の全てである。
【００４９】
生成器 330 及び 332 は、それらの話題のために、パースフォレスト 350 及び 352 を生成する。タグの生成は、パース（構造解析）の間に得られるパース ツリーの中で発見される、実際の情報を合成することによって行われる。タグの生成は、タグ及び得点生成器 360 及び 362 によって達成され、それぞれ、タグ 364 及び 366 を生成する。それぞれの識別されたタグは、また、入力文中のどの単語の組（セット）がタグによってカバーされたかについての情報も有している。続いて、タグは、そのカバー−セットと入れ替わる。好ましい実施形態においては、文脈情報 367 が、生成器 360 及び 362 によるもののような、タグ及び得点生成のために利用される。文脈情報 367 は、以下で説明する発見的得点要因技法(heuristic scoring factor technique)と関連する重みを調節するために、発見的方法の評価(scoring heuristics)において利用される。文脈情報 367は、好ましくは、単語信用ベクトル 368 、及び、対話文脈重み 369 を含んでいる。
しかしながら、パーサー 112 が、単語信用ベクトル 368 、及び、対話文脈重み 369 の両方を用いるものに限定されず、一方を用いて他方を用いないものや、文脈情報 367 を利用しないものも含まれることは、理解されるべきである。
【００５０】
自動音声認識処理ブロック 317 は、単語信用ベクトル 368 を生成し、それは、どれほど良く、入力文 318 中の単語が認識されたかを示す。対話マネージャ 230 は、対話の状態を見極めることによって、対話文脈重み 369 を生成する。例えば、対話マネージャ 230 は、ユーザに、例えば、どの視聴時間が望ましいか、といった、特定の話題について尋ねる。この要求によって、対話マネージャ 230 は、対話の状態が時間指向であるものと見極める。対話マネージャ 230 は、検出された時間指向の単語を、更に大きく重み付ける、適切な処理を通知するために、対話文脈重み 369 を供給する。
【００５１】
タグ要素の合成：
前の段階の、話題を見分けるパーサーは、ローカルパーサーの最終的な出力を形成するために、分析され、かつ共に結合される必要がある情報を、かなりの量、生成する。パーサー 112 は、好ましくは、複数のタグの候補の生成をもたらす、各々の話題を見分ける際に、できる限り「攻撃的」であった方がよい。その上、数字または所定のキーワード、例えば「間」、「前」、「そして」、「あるいは」、「あたり」等があり、特に、これらの単語が、認識エラーのために、差し込まれるか、あるいは落とされたならば、多くの代替タグ候補を形成することが可能である。例えば、入力文は、挿入または削除エラーを有している可能性がある。結合段階では、どのタグが、より意味がある入力の解釈を形成するかを見極める。パーサー 112 は、発見的方法(heuristics)を定義し、これに基づいて、Ｎ個の最良候補選択手順を用いて、選択を行う。それぞれの生成されたタグは、入力された単語の列の中の、タグのカバー−セットと呼ばれる単語の組に対応する。
【００５２】
タグのカバー−セットを考慮に入れる発見的方法は、得点を生成するために用いられる。得点は、おおよそ、カバー−セットのサイズ、カバーされた項目の中の、いくつかの単語の隔たりの大きさ、及び、所定のキーワードの存在に対して割り当てられた重みによる。好ましい実施形態においては、ＡＳＲから得られた信用ベクトル及び対話文脈情報が、優先順位をタグに割り当てるために利用される。例えば、チャンネル−タグのパース（構文解析）の適用は、初めに、チャンネルに関する数字を取り除くかもしれない。それは、入力の流れから、一意に識別することが容易であり、他のタグによって曖昧さを引き起こす原因となる数字を、ほとんど残さない。好ましくは、対話文脈情報が、優先順位を調整するために用いられる。
【００５３】
Ｎ個の最良の候補の選択：
各パスの終りに、 Ｎ個の最良プロセッサ 370 は、タグに関する得点に基づいて、Ｎ個の最良の候補を選択し、そして、対応するパースツリー内で発見された情報を各々が表す話題タグを生成する。いったん、話題が、この方法で発見されたならば、入力における対応する単語は、タグ情報によって置き換えられる。この置換変換は、現在の入力テキストから、対応する単語を削除する。各パスの出力 380 は、新たな入力として、次のパスにフィードバックされる。なぜなら、この置換は、競合する文法間の一定の曖昧さを除去するのに役立つ。もしくは、オーバーラップしているシンボルをフィルタにかけて取り除くことによって、より良いパースツリーを生成する助けになる。
【００５４】
最後のパスにおいて追加のタグが生成されないとき、評価は終了する。最後のパスの出力は、グローバルパーサー 262 に対する、ローカルパーサーの出力になる。各段階は、その入力中の単語数を減少させることのみを行い、入力テキストの長さは有限であるので、定点評価におけるパスの数は、その入力のサイズによって、直線的に制限される。
【００５５】
後述する新たな得点要因は、以下のパースツリーの属性に基づいて、代替パースツリーのランク付けを行うのに用いられる。
・終端のシンボルの数
・終端ではないシンボルの数
・パースツリーの深さ
・終端のシンボルにおける隔たりの大きさ
・各々の終端のシンボルに対応するＡＳＲ信用度
・各々の終端のシンボル及び終端ではないシンボルに対応する文脈−調節可能重み
【００５６】
各経路は、独自に展開することが可能な、別々の話題に対応していて、評価的に安い方法で、少量のデータで動作することが好ましい。パーサー 112 の構造は、柔軟な、モジュール方式であるので、新たな話題のために、あるいは、特定の話題が率直であるために発見的方法(heuristics)を変更するために、追加の経路及び文法を組み込むことを可能にする。これは、また、異なるシステム間で容易に共有可能な、再利用可能な要素を展開することも可能にする。
【００５７】
【発明の効果】
以上より、本発明が、別の見方をすれば複雑な電子プログラムガイドと連係する、ユーザーフレンドリーで高速な方法を提供することが明らかになった。自然言語による会話を通して、ユーザは、このシステムに、プログラムガイド内の情報を見つけるように要求することができ、また、返される情報は、理解しやすい部分の中に提示される。その結果は、情報提示の混合であって、画面上への表示による率直な提示と共に、自然言語による気軽な対話を提供する。本発明を、現時点での好ましい形態に沿って説明してきたが、本発明が、添付した請求項の中で明らかにされた、発明の意図からはずれることがない変形が可能であることは、理解されるであろう。
【図面の簡単な説明】
【図１】   インターネットに接続されたコンピュータネットワーク及びホームゲートウェイと共に示された、本発明の現時点での好ましい実施形態のブロック図である。
【図２】   いかにして、音声認識装置及び自然言語パーサーが、対話マネージャ及び対応する電子作業ガイドと連係して動作するかを示す、より詳細なブロック図である。
【図３】   現時点での好ましい実施形態における自然言語パーサーの構成要素を示すブロック図である。
【図４】   現時点での好ましい実施形態におけるローカルパーサーの構成要素を示すブロック図である。
【符号の説明】
10  コンピュータネットワーク
12  ゲートウェイ
14  インターネット
16  オーディオ／ビデオ装置
18  器具
20  コンピュータ
22  他のシステム
24  補助装置
30  音声認識及び自然言語処理システム
32  マイクロフォン
34  音声入力処理モジュール
36  音声認識装置
38  音声モデル
40  自然言語対話モジュール
42  電子作業ガイド
44  他のシステム
46  冷蔵庫
48  テレビ
50  ホームオートメーション
52  テキスト−音声合成器
【図１】
0003711089.tif 000002
【図２】
0003711089.tif 000003
【図３】
0003711089.tif 000004
【図４】
0003711089.tif 000005