(57)【要約】言語に無関係な、音声ベースのユーザ・インターフェース方法は、ユーザが発話した音声入力データを受け取ること、音声入力データから、ユーザが発話した言語を識別すること、言語識別子に少なくとも部分的に基づいて音声入力データ中のユーザの音声を認識することによって識別した言語の形の第１のテキストに音声入力データを変換すること、第１のテキストを解析し、キーワードを抽出すること、およびアプリケーションに対するコマンドとしてキーワードを使用することを含む。別のアクションには、コマンドに対する結果を受け取ること、識別した言語に従って、自然言語フォーマットの形の第２のテキストに結果を変換すること、およびユーザが理解するように第２のテキストを表現することが含まれる。
2004511867.tif 000002
【特許請求の範囲】
【請求項１】
ユーザから音声入力データを受け取ること、
音声入力データから、ユーザが発話した言語を識別すること、
言語識別子に少なくとも部分的に基づいて音声入力データ中のユーザの音声を認識することによって、識別した言語の形の第１のテキストに音声入力データを変換すること、
第１のテキストを解析し、キーワードを抽出すること、および
アプリケーションに対するコマンドとしてキーワードを使用すること
を含むシステムとインターフェースする方法。
【請求項２】
コマンドに対する結果を受け取ること、
識別した言語に従って、自然言語フォーマットの形の第２のテキストに結果を変換すること、および
ユーザが理解するように第２のテキストを表現することをさらに含む請求項１に記載の方法。
【請求項３】
前記表現することが、第２のテキストを音声に変換すること、および音声をユーザに対して表現することを含む請求項２に記載の方法。
【請求項４】
識別した言語以外の複数の言語に前記キーワードを翻訳すること、および翻訳したキーワードをコマンドとして使用することをさらに含む請求項１に記載の方法。
【請求項５】
サーチ・エンジンに対するサーチ照会として前記キーワードを使用することをさらに含み、前記結果が、サーチ照会に対して動作するサーチ・エンジンからのサーチ結果を含む請求項２に記載の方法。
【請求項６】
前記結果を第２のテキストに変換する前に、前記結果を自動的に要約することをさらに含む請求項２に記載の方法。
【請求項７】
識別した言語以外の複数の言語に前記キーワードを翻訳すること、および翻訳したキーワードをサーチ・エンジンに対するサーチ照会として使用することをさらに含み、前記結果が、サーチ照会に対して動作するサーチ・エンジンからのサーチ結果を含む請求項２に記載の方法。
【請求項８】
識別した言語以外の言語の形のサーチ結果を、識別した言語に翻訳することをさらに含む請求項７に記載の方法。
【請求項９】
前記アプリケーションがウェブ・ブラウザを含む請求項１に記載の方法。
【請求項１０】
前記ウェブ・ブラウザがサーチ・エンジンとインターフェースし、前記コマンドがサーチ照会を含む請求項９に記載の方法。
【請求項１１】
前記ウェブ・ブラウザがショッピング・ウェブ・サイトとインターフェースし、前記コマンドが、購入注文と、製品情報を求める要求の少なくとも一方を含む請求項９に記載の方法。
【請求項１２】
前記音声が会話的音声を含む請求項１に記載の方法。
【請求項１３】
複数の機械可読命令を有する記憶媒体を備える製品であって、前記命令がプロセッサによって実行されたとき、ユーザから音声入力データを受け取り、音声入力データからユーザが発話した言語を識別し、言語識別子に少なくとも部分的に基づいて音声入力データ中のユーザの音声を認識することによって識別した言語の形の第１のテキストに音声入力データを変換し、第１のテキストを解析し、キーワードを抽出し、かつアプリケーションに対するコマンドとしてキーワードを使用することにより、前記命令がシステムに対するインターフェースを提供する製品。
【請求項１４】
コマンドに対する結果を受け取り、識別した言語に従って、自然言語フォーマットの形の第２のテキストに結果を変換し、ユーザが理解するように第２のテキストを表現するための命令をさらに含む請求項１３に記載の製品。
【請求項１５】
表現するための前記命令が、第２のテキストを音声に変換し、音声をユーザに対して表現するための命令を含む請求項１４に記載の製品。
【請求項１６】
識別した言語以外の複数の言語に前記キーワードを翻訳すること、および翻訳したキーワードをコマンドとして使用するための命令をさらに含む請求項１３に記載の製品。
【請求項１７】
サーチ・エンジンに対するサーチ照会として前記キーワードを使用するための命令をさらに含み、前記結果が、サーチ照会に対して動作するサーチ・エンジンからのサーチ結果を含む請求項１４に記載の製品。
【請求項１８】
前記結果を第２のテキストに変換する前に、前記結果を自動的に要約するための命令をさらに含む請求項１４に記載の製品。
【請求項１９】
識別した言語以外の複数の言語に前記キーワードを翻訳し、翻訳したキーワードをサーチ・エンジンに対するサーチ照会として使用するための命令をさらに含み、前記結果が、サーチ照会に対して動作するサーチ・エンジンからのサーチ結果を含む請求項１４に記載の製品。
【請求項２０】
識別した言語以外の言語の形のサーチ結果を、識別した言語に翻訳するための命令をさらに含む請求項１９に記載の製品。
【請求項２１】
前記アプリケーションがウェブ・ブラウザを含む請求項１３に記載の製品。
【請求項２２】
前記ウェブ・ブラウザがサーチ・エンジンとインターフェースし、前記コマンドがサーチ照会を含む請求項２１に記載の製品。
【請求項２３】
前記ウェブ・ブラウザがショッピング・ウェブ・サイトとインターフェースし、前記コマンドが、購入注文と、製品情報を求める要求の少なくとも一方を含む請求項２１に記載の製品。
【請求項２４】
前記音声が会話的音声を含む請求項１３に記載の製品。
【請求項２５】
言語に無関係な音声ベースのユーザ・インターフェース・システムであって、
ユーザから音声入力データを受け取り、ユーザが発話した言語を識別する言語識別器と、
音声入力データおよび言語識別子を受け取り、言語識別子に少なくとも部分的に基づいて音声入力データを第１のテキストに変換する音声認識器と、
第１テキストを解析し、キーワードを抽出する自然言語処理モジュールと、
識別した言語に従って、第２のテキストを自然言語フォーマットに変換する自然言語ジェネレータとを備えるシステム。
【請求項２６】
第２のテキストをユーザに聞こえる方法で表現する音声合成モジュールをさらに備える請求項２５に記載のシステム。
【請求項２７】
前記キーワードを複数の言語に翻訳し、第２のテキストを自然言語フォーマットに変換する前に、識別した言語に第２のテキストを変換する言語翻訳器をさらに備える請求項２５に記載のシステム。
【請求項２８】
第２のテキストを自然言語フォーマットに変換する前に、第２のテキストを自動的に要約する自動要約モジュールをさらに備える請求項２５に記載のシステム。
【請求項２９】
前記システムがウェブ・ブラウザに結合される請求項２５に記載のシステム。
【請求項３０】
前記ウェブ・ブラウザがサーチ・エンジンとインターフェースし、前記キーワードがサーチ・エンジンに対するサーチ照会を含み、第２のテキストがサーチ・エンジンからのサーチ結果を含む請求項２９に記載のシステム。
【請求項３１】
サーチ照会として使用するための第１の複数の言語に前記キーワードを翻訳し、第２のテキストを自然言語フォーマットに変換する前に、識別した言語に第２のテキストを翻訳する言語翻訳器をさらに備え、第２のテキストが第２の複数の言語の形のテキストを含む請求項３０に記載のシステム。
【請求項３２】
前記ウェブ・ブラウザがショッピング・ウェブ・サイトとインターフェースし、前記キーワードが、購入注文と、製品情報を求める要求の少なくとも一方を含む請求項２９に記載のシステム。
【請求項３３】
言語に無関係な音声ベースのサーチ・システムであって、
ユーザから音声入力データを受け取り、ユーザが発話した言語を識別する言語識別器と、
音声入力データおよび言語識別子を受け取り、言語識別子に少なくとも部分的に基づいて音声入力データを第１のテキストに変換する音声認識器と、
第１のテキストを解析し、キーワードを抽出する自然言語処理モジュールと、
キーワードをサーチ語として使用し、サーチ結果を返すサーチ・エンジンと、
サーチ・エンジンに入力する前にキーワードを複数の言語に翻訳し、サーチ結果が複数の言語の形であるとき、識別した言語の形の第２のテキストにサーチ結果を翻訳する言語翻訳器と、
識別した言語に従って、第２のテキストを自然言語フォーマットに変換する自然言語ジェネレータとを備えるシステム。
【請求項３４】
第２のテキストを自然言語フォーマットに変換する前に、第２のテキストを自動的に要約する自動要約モジュールをさらに備える請求項３３に記載のシステム。
【請求項３５】
第２のテキストをユーザに聞こえる方法で表現する音声合成モジュールをさらに備える請求項３３に記載のシステム。
【発明の詳細な説明】
【０００１】
（背景）
１．分野
本発明は、一般にウェブ・ブラウザおよびサーチ・エンジンに関し、より詳細には、様々な言語の音声を使用する、ウェブ・ブラウザ用のユーザ・インターフェースに関する。
【０００２】
２．説明
現在のところ、インターネットは、他のどんな情報源よりもユーザに対して多くの情報を提供している。しかし、探している情報を見つけることは困難なことが多い。それに応えて、所望の情報を突き止める助けとなるように、サーチ・エンジンが開発された。サーチ・エンジンを使用するには、ユーザは一般に、キーボードを使用してサーチ語をタイプし、またはマウスを使用してサーチ・カテゴリを選択する。次いでサーチ・エンジンは、サーチ語に基づいてインターネットまたはイントラネットをサーチし、関連する情報を見つける。このユーザ・インターフェースの制約が、ウェブ・ブラウザを使用してインターネットまたはイントラネット上の情報を突き止めることができるユーザの数を著しく制限する。なぜなら、英語でサーチ語をタイピングすることが困難なユーザ（例えば、中国語または日本語しか話さない人々）はそのようなサーチ・エンジンを使用するとは思えないからである。
【０００３】
サーチ・エンジンまたはウェブ・ポータルが結果の表示を複数の言語でサポートするとき、サーチ・エンジンまたはポータルは一般に、ユーザがマウスを使用して出力用の特定の言語を選択することで初めて、特定の言語で事前に準備したウェブ・ページを表示する。
【０００４】
近年、一部のインターネット・ポータルは、音声認識アプリケーションと、ユーザのコンピュータ・システムに結合されたマイクロフォンを使用して、天気、スポーツ、株価などの特定の話題についての情報をユーザが問い合わせることができる音声入力サービスを実装した。この場合、音声データは、表示すべきウェブ・ページを選択するために、ポータルが認識する所定のコマンドに変換される。しかし、サポートされる言語は一般に英語のみであり、かつ音声は会話的ではない。音声サーチ照会を直接サポートするサーチ・エンジンは知られていない。
【０００５】
本発明の特徴および利点は、本発明の以下の詳細な説明から明らかとなるであろう。
【０００６】
（詳細な説明）
本発明の実施形態は、言語に無関係な、音声ベースのインターネットまたはイントラネット・サーチ・システムのための方法および装置である。本発明を使用して、ユーザがユーザ自身の母語を介して所望の情報をサーチできるようにすることにより、現在のインターネットまたはイントラネット・サーチ・フレームワークを改善することができる。一実施形態では、サーチ・システムは、会話的に発話されるユーザからの音声入力データを受け取り、ユーザが発話した言語を自動的に識別し、音声入力データとして音声を認識し、サーチ・エンジンに対するサーチ照会用の入力データとしてその音声を使用して、所望のサーチを実施することができる。言語に無関係な音声ベースのサーチ・システムをより強力なものとするために、いくつかの機能をシステムに含めることもできる。自然言語処理（ＮＬＰ）を適用して、自然に発話された照会からサーチ語を抽出することができ、その結果、ユーザは、サーチ語を厳密に発話する必要がない（すなわち、会話的音声がサポートされる）。機械翻訳を使用して、複数の言語間でサーチ語およびサーチ結果を翻訳することができ、その結果、サーチ空間を大幅に拡張することができる。サーチ結果が十分に整理されておらず、またはユーザの好む方式で提示されない場合に、自動要約技法を使用して結果を要約することができる。自然言語生成および音声合成（ＴＴＳ）の技法を利用して、ユーザの母語で音声としてサーチ結果をユーザに返すことができる。本発明の汎用的な音声サーチの概念は、インターネットまたはイントラネットのサーチ・エンジンと統合すると、様々な言語を話す人々にとって、インターネットまたはイントラネットで入手可能な情報を最も好都合な方式で利用する上で強力なツールとなる。このシステムは、サーチ・エンジンまたは他のウェブ・サイトの使用を容易にすることにより、英語以外を話す人々の間でのインターネットの使用の増加を促進することができる。
【０００７】
本明細書における、本発明の「一実施形態」または「実施形態」への参照は、実施形態に関連して説明する特定の機能、構造、または特徴が、本発明の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書全体にわたって様々な箇所に現れる「一実施形態では」という語句の出現は、必ずしもすべてが同一の実施形態を指すわけではない。
【０００８】
本発明の実施形態により、少なくともいくつかの機能が提供される。音声認識により、ユーザは、ユーザ自身の音声という最も自然で効果的な媒体でインターネット・サーチ・エンジンと対話することが可能となる。これは、ユーザの母語の書き言葉の性質のためにユーザがユーザの母語を迅速にタイプできない可能性のある様々なアジア諸国で特に有用である。自動言語識別により、様々な言語を話すユーザが、単一のシステムを使用して、ユーザがどの言語を話しているかをシステムに具体的に知らせることなく、ユーザ自身の音声を介してインターネットまたはイントラネットをサーチすることが可能となる。この機能は、サーチ・エンジンに関するインターネット・ユーザ人口、一般にはワールド・ワイド・ウェブ（ＷＷＷ）に関するインターネット・ユーザ人口の著しい成長を促すことができる。自然言語処理を利用して、サーチ照会において、自然で会話的な方式でユーザ自身のサーチ語をユーザが発話することが可能となる。例えば、ユーザが「南北戦争についての記事をサーチしてもらえませんか？」と言った場合、ユーザに「南北戦争」とだけ厳密に言うことを要求するのではなく、自然言語処理機能が、文全体をサーチ語「南北戦争」に変換することができる。
【０００９】
さらに、言語の機械翻訳を使用して、サーチ・エンジンが言語相互間サーチを実施することが可能となる。例えば、ユーザが中国語でサーチ語を発話した場合、機械翻訳はサーチ語を他の言語（例えば、英語、スペイン語、フランス語、ドイツ語など）に翻訳し、インターネットを介してより広範囲のサーチを実施することができる。サーチ照会に関連するものが見つかったが、そのウェブ・ページが中国語以外の言語で書かれている場合、本発明は、サーチ結果を中国語（元の音声サーチ照会の言語）に戻す。例えば結果が長文の文書に散らばっており、またはサーチ・エンジンによってサーチ語と関連すると判定された情報の中で結果を識別するのが困難である場合、自動要約技法を使用して、サーチ結果を要約する助けとすることができる。サーチ結果がユーザにとって好ましくないフォーマットで提示された場合、本発明は結果を要約し、それを異なる方式でユーザに提示することができる。例えば、結果がカラーの図で提示され、ユーザがある色を識別するのが困難である場合、本発明は図の内容を要約し、その情報をテキスト形式でユーザに提示することができる。
【００１０】
自然言語生成は、サーチ結果を整理し、かつ所望の出力言語である自然な口語に適合する応答を生成する助けとなる。すなわち、結果を言語特有の方式で修正することができる。音声合成（ＴＴＳ：Ｔｅｘｔ ｔｏ ｓｐｅｅｃｈ）機能を使用して、ユーザが聞くことができる出力モードを選択した場合に、サーチ結果を聞くことができる形で表現することができる。例えば、ユーザの目は忙しいことがあり、またはユーザは発話されるサーチ照会に口頭で応答することを好むことがある。
【００１１】
言語に無関係な音声ベースのサーチ・システムのアーキテクチャを図１に示す。ユーザ（図示せず）は入力１０機能および出力１２機能と対話する。入力機能については、システムは、少なくとも従来のキーボードおよびマウス１４機能、ならびに音声１６入力機能をサポートする。音声入力は、システムに結合されたマイクロフォンから音声または他の可聴音を受け取ることにより、周知の方式でサポートすることができる。受け取ったオーディオ・データをデジタル化し、音声認識モジュールまたは言語識別モジュールが受け取るフォーマットに変換することができる。出力機能については、システムは、従来の方式でテキストまたはイメージとしてサーチ結果をディスプレイ１８上に表現することができる。あるいは、システムは、周知の音声合成機能２０を使用して、サーチ結果を音声として表現することもできる。識別した入力機能および出力機能のそれぞれの処理は当業者にとって周知であり、本明細書ではこれ以上説明しない。他の実施形態では、本発明の範囲を限定することなく、他の入力処理および／または出力処理も使用することができる。
【００１２】
ユーザがユーザの音声を使用してサーチを実施する決定をしたとき、ユーザは、システムに結合されたマイクロフォンに発話して、ユーザが関心を抱いているものを見つけるようにシステムに依頼する。例えば、ユーザは、「えーと、２０００年のＮＦＬスーパー・ボウルで誰が、えー、勝ったかについての情報を見つけて欲しい（ｈｈｈｍｍ，ｆｉｎｄ ｍｅ ｉｎｆｏｒｍａｔｉｏｎ ａｂｏｕｔ ｗｈｏ ｗｏｎ，ｕｈ，ｗｏｎ ｔｈｅ ＮＦＬ Ｓｕｐｅｒ Ｂｏｗｌ ｉｎ ２０００）」と発話する可能性がある。さらに、ユーザは、システムがサポートする任意の言語でこのことを発話する可能性がある。例えば、中国語、日本語、英語、フランス語、スペイン語、およびロシア語を入力言語としてサポートするようにシステムを実装することができる。様々な実施形態では、様々な数組の言語をサポートすることができる。
【００１３】
音声入力データを取り込み、デジタル化した後、音声入力データを、言語に無関係なユーザ・インターフェース２４内の言語識別モジュール２２に転送し、ユーザが発話している言語を判定することができる。言語識別モジュール２２は、音声入力データから特徴を抽出し、発話されている言語を識別し、使用された言語の識別子を出力する。音声データから言語を自動的に識別する様々なアルゴリズムが当技術分野で周知である。一般に、識別アルゴリズムにおいて隠れマルコフ・モデルまたはニューラル・ネットワークを使用することができる。本発明の一実施形態では、Ｊ．Ｌ．ＨｉｅｒｏｎｙｍｕｓおよびＳ．Ｋａｄａｍｂｅによる「Ｒｏｂｕｓｔ　Ｓｐｏｋｅｎ　Ｌａｎｇｕａｇｅ　Ｉｄｅｎｆｉｃａｔｉｏｎ　Ｕｓｉｎｇ　Ｌａｒｇｅ　Ｖｏｃａｂｕｌａｒｙ　Ｓｐｅｅｃｈ　Ｒｅｃｏｇｎｉｔｉｏｎ」，１９９７　ＩＥＥＥ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ，ａｎｄ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｉｎｇで開示されているような口語識別システムを使用することができる。別の実施形態では、Ｆ．ＰｅｌｌｅｇｒｉｎｏおよびＲ．Ａｎｄｒｅ−Ｏｂｒｅｃｈｔによる「Ａｎ　Ｕｎｓｕｐｅｒｖｉｓｅｄ　Ａｐｐｒｏａｃｈ　ｔｏ　Ｌａｎｇｕａｇｅ　Ｉｄｅｎｆｉｃａｔｉｏｎ」，１９９９　ＩＥＥＥ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ，ａｎｄ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｉｎｇで開示されているような口語識別システムを使用することができる。その他の実施形態では、現在周知の、または今後開発される他の自動言語識別システムを利用することができる。使用する言語識別システムに関わらず、システムの開発者は、サーチ・システムによってサポートされる、選択された１組の言語を認識するように言語識別システム内のモデルをトレーニングすることができる。
【００１４】
テキスト・フォーマットに変換するために、検出した言語に少なくとも部分的に基づいて、音声入力データを音声認識モジュール２３に渡すことができる。ある実施形態では、この処理の一部は、言語識別モジュール２２と並列に実施することができる。音声認識モジュール２３は、変換すべき音声データと言語識別子を受け取り、どういう語が話されたかを認識し、その情報をテキストに変換する。したがって、音声認識モジュール２３は周知の音声認識機能を有する。この目的で、様々な市販の音声認識ソフトウェア・アプリケーションのいずれか１つをこのシステムで使用することができる。例えば、インターナショナル・ビジネス・マシーンズ（ＩＢＭ）コーポレイションから市販されているＶｉａＶｏｉｃｅ（商標）は、ユーザが様々なアプリケーション・プログラムに直接指令することができる。ＶｉａＶｏｉｃｅ（商標）の様々なバージョンにより、複数の言語（英語、中国語、フランス語、およびイタリア語など）がサポートされる。
【００１５】
多くの場合、音声認識モジュールによって判定されたテキストは文法的に不正確である。音声入力はユーザの自然な音声である可能性があるので、得られるテキストは、つなぎ語、口語的表現、繰返しなどを含むことがある。自然言語処理モジュール２６を使用して、テキストからキーワードを抽出することができる。自然言語処理モジュールは、音声認識モジュールから出力されたテキストを解析してキーワードを識別し、テキスト内の重要でない語を廃棄するパーサを含む。上記の例では、「ｈｈｍｍ　ｆｉｎｄ　ｍｅ　ｉｎｆｏｒｍａｔｉｏｎ　ａｂｏｕｔ　ｗｈｏ　ｗｏｎ　ｕｈ　ｗｏｎ　ｔｈｅ　ｉｎ」という語および音を廃棄することができ、語「ＮＦＬ　Ｓｕｐｅｒ　Ｂｏｗｌ　２０００」をキーワードとして識別することができる。口語から選択される音声語句を抽出するパーサを実装するための様々なアルゴリズムおよびシステムが当技術分野で周知である。本発明の一実施形態では、Ｗａｙｎｅ　Ｗａｒｄによる「Ｅｘｔｒａｃｔｉｎｇ　Ｉｎｆｏｒｍａｔｉｏｎ　ｉｎ　Ｓｐｏｎｔａｎｅｏｕｓ　Ｓｐｅｅｃｈ」，１９９４　Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｓｐｏｋｅｎ　Ｌａｎｇｕａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ（ＩＣＳＬＰ）で開示されるパーサを使用することができる。別の実施形態では、Ｓ．Ｓｅｎｅｆｆによる「ＴＩＮＡ：Ａ　Ｎａｔｕｒａｌ　Ｌａｎｇｕａｇｅ　Ｓｙｓｔｅｍ　ｆｏｒ　Ｓｐｏｋｅｎ　Ｌａｎｇｕａｇｅ　Ａｐｐｌｉｃａｔｉｏｎｓ」，Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｌｉｎｇｕｉｓｔｉｃｓ，Ｍａｒｃｈ，１９９２で開示されるパーサを使用することができる。その他の実施形態では、現在周知の、または今後開発される他の自然言語処理システムを利用することができる。
【００１６】
キーワードをテキストから抽出した後、機械翻訳モジュール２８によって、サポートされる複数の言語にキーワードを翻訳することができる。キーワードを複数の言語に翻訳し、キーワードをサーチ語として使用することにより、様々な言語の文書にわたってサーチを実施し、それによって、使用するサーチ空間を著しく拡張することができる。言語の機械翻訳を実装するための様々なアルゴリズムおよびシステムが当技術分野で周知である。本発明の一実施形態では、Ｅ．Ｎｙｂｅｒｇ、Ｔ．Ｍｉｔａｍｕｒａ、およびＪ．Ｃａｒｂｏｎｅｌｌによる「Ｔｈｅ　ＫＡＮＴ　Ｍａｃｈｉｎｅ　Ｔｒａｎｓｌａｔｉｏｎ　Ｓｙｓｔｅｍ：Ｆｒｏｍ　Ｒ＆Ｄ　ｔｏ　Ｉｎｉｔｉａｌ　Ｄｅｐｌｏｙｍｅｎｔ」，Ｐｒｅｓｅｎｔａｔｉｏｎ　ａｔ　１９９７　ＬＩＳＡ　Ｗｏｒｋｓｈｏｐ　ｏｎ　Ｉｎｔｅｇｒａｔｉｎｇ　Ａｄｖａｎｃｅｄ　Ｔｒａｎｓｌａｔｉｏｎ　Ｔｅｃｈｎｏｌｏｇｙで開示される機械翻訳を使用することができる。その他の実施形態では、現在周知の、または今後開発される他の機械翻訳システムを利用することができる。
【００１７】
キーワードを、サーチ語として、様々な言語３０の形でサーチ・エンジン３２に自動的に入力することができる。様々な周知のサーチ・エンジンのうちのいずれか１つまたは複数を使用することができる（例えば、Ｙａｈｏｏ、Ｅｘｃｉｔｅ、ＡｌｔａＶｉｓｔａ、Ｇｏｏｇｌｅ、Ｎｏｒｔｈｅｒｎ　Ｌｉｇｈｔなど）。サーチ・エンジンは、インターネットまたは指定のイントラネットをサーチし、様々な言語３４の形のサーチ結果を、言語に無関係なユーザ・インターフェース２４に返す。サーチ結果に応じて、結果は単一の言語であることもあり、または複数の言語であることもある。サーチ結果が複数の言語の形である場合、機械翻訳モジュール２８を使用して、ユーザが使用する言語にサーチ結果を翻訳することができる。サーチ結果が、ユーザの言語ではない単一の言語である場合、結果をユーザの言語に翻訳することができる。
【００１８】
必要なら、自動要約モジュール３６を使用してサーチ結果を要約することができる。本発明の一実施形態では、Ｔ．Ｋｒｉｓｔｊａｎｓｓｏｎ、Ｔ．Ｈｕａｎｇ、Ｐ．Ｒａｍｅｓｈ、およびＢ．Ｊｕａｎｇの、「Ａ　Ｕｎｉｆｉｅｄ　Ｓｔｒｕｃｔｕｒｅ−Ｂａｓｅｄ　Ｆｒａｍｅｗｏｒｋ　ｆｏｒ　Ｉｎｄｅｘｉｎｇ　ａｎｄ　Ｇｉｓｔｉｎｇ　ｏｆ　Ｍｅｅｔｉｎｇｓ」，１９９９　ＩＥＥＥ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｃｏｍｐｕｔｉｎｇ　ａｎｄ　Ｓｙｓｔｅｍｓでの教示を使用して、自動要約を実装することができる。その他の実施形態では、現在周知の、または今後開発される、情報を要約するための他の技法を利用することができる。
【００１９】
自然言語生成モジュール３６を使用して、ユーザの言語の形で要約されたサーチ結果を得て、結果が自然に発話される形式を生成することができる。選択した韻律パターンを使用して、読取り可能な文に適合するように結果を修正し、その結果をユーザに対して表現したとき、結果が自然に聞こえ、文法的に正しくなるようにすることができる。本発明の一実施形態では、Ｊ．Ｇｌａｓｓ、Ｊ．Ｐｏｌｉｆｒｏｎｉ、およびＳ．Ｓｅｎｅｆｆによる「Ｍｕｌｔｉｌｉｎｇｕａｌ　Ｌａｎｇｕａｇｅ　Ｇｅｎｅｒａｔｉｏｎ　Ａｃｒｏｓｓ　Ｍｕｌｔｉｐｌｅ　Ｄｏｍａｉｎｓ」，１９９４　Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｓｐｏｋｅｎ　Ｌａｎｇｕａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ（ＩＣＳＬＰ）で開示される自然言語生成システムを使用することができる。しかし、現在周知の、または今後開発される他の自然言語生成処理技法を利用することもできる。
【００２０】
自然言語生成モジュールの出力を音声合成モジュール２０に渡し、テキストをオーディオ・フォーマットに変換し、オーディオ・データをユーザに対して提示することができる。あるいは、テキストを従来の方式でディスプレイ１８上に表示することもできる。様々な音声合成実装が当技術分野で周知である。一実施形態では、ＩＢＭコーポレイションから入手可能なＶｉａＶｏｉｃｅ（商標）音声合成（ＴＴＳ）技術を使用することができる。Ｌｕｃｅｎｔ　Ｔｅｃｈｎｏｌｏｇｉｅｓ　Ｂｅｌｌ　Ｌａｂｏｒａｔｏｒｉｅｓから入手可能な多国語音声合成システムなどの他の実装も使用することができる。別の実施形態では、サーチ結果をユーザに聞こえるように表現すると共に、ビジュアルＴＴＳも使用して、合成音声と同期してアニメートされる顔面のイメージ（例えばトーキング・ヘッド）を表示することができる。トーキング・ヘッド上の、音声と一致するリアルな口の動きにより、イメージが話しているという感覚が得られるだけでなく、表現される音声の了解度も向上させることができる。トーキング・ヘッドなどのアニメートされたエージェントにより、サーチ続行中に、待とうとするユーザの気持ちを高めることができる。
【００２１】
上記の議論では、言語に無関係な音声ベースの入力に関するアプリケーションとしてサーチ・エンジンに焦点を当てたが、音声入力の自動言語識別をサポートする他の周知のアプリケーションも本発明から益を得る。本発明を含むウェブ・ブラウザを使用して、サーチ・エンジン以外のウェブ・サイトまたはアプリケーションとインターフェースすることができる。例えば、ウェブ・ポータルに本発明を含めて、様々な言語の形の音声入力をサポートすることができる。ｅコマース・ウェブ・サイトは、音声ベースの注文を様々な言語で受け取り、買い手が使用する言語の形で、音声として確認情報を返すことができる。例えば、言語に無関係なユーザ・インターフェースによってウェブ・サイトに送られるキーワードは、システムがサポートする任意の言語で元々発話された購入注文、または製品情報を求める要求とすることができる。ニュース・ウェブ・サイトは、様々な言語を話すユーザから、特定のニュース記事を求める口頭の要求を受け取り、要求されたニュース記事をユーザの話す言語で返すことができる。他の多くのアプリケーションおよびウェブ・サイトで、本発明の提供する機能を利用することができる。
【００２２】
その他の実施形態では、望むなら、言語に無関係なユーザ・インターフェース内のモジュールの一部を省略することができる。例えば、自動要約を省略することができ、または、サポートすべき言語が１つだけである場合、機械翻訳を省略することができる。
【００２３】
図２は、本発明の実施形態による、言語に無関係な音声ベースのサーチを示す流れ図である。ブロック１００では、ユーザから音声を受け取り、デジタルに変換することができる。ブロック１０２では、デジタル化した音声を解析し、ユーザが使用した言語を識別することができる。ブロック１０４では、識別した言語に従って、音声をテキストに変換することができる。ブロック１０６では、テキストを解析することにより、テキストからキーワードを抽出することができる。ブロック１０８では、キーワードを複数の言語に翻訳することができる。ブロック１１０では、複数の言語の形のキーワードを、１つまたは複数のサーチ・エンジンに対して照会するためのサーチ語として使用することができる。ブロック１１２では、１つまたは複数のサーチ・エンジンからの複数の言語の形のサーチ結果を、ユーザが使用する言語に翻訳することができる。次にブロック１１４では、サーチ結果を要約することができる（必要な場合）。ブロック１１６では、ユーザの言語に関する自然言語構成体を表すテキスト形式でサーチ結果を生成することができる。ブロック１１８では、音声合成モジュールを使用してテキストを音声に変換し、ユーザに聞こえる方法で表現することができる。
【００２４】
上記の説明では、本発明の様々な態様を説明した。上記の説明では、本発明を完全に理解できるようにするために、特定の数字、システム、および構成を述べた。しかし、特定の細部なしに本発明を実施できることは、この開示の特典を有する当業者には明らかであろう。他の例では、本発明をあいまいにしないようにするために、周知の機能を省略または単純化した。
【００２５】
本発明の実施形態は、ハードウェアまたはソフトウェア、あるいはそれらの組合せで実装することができる。しかし、本発明の実施形態は、少なくとも１つのプロセッサ、データ記憶システム（揮発性／不揮発性メモリおよび／または記憶素子を含む）、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスを備えるプログラマブル・システム上で実行中のコンピュータ・プログラムとして実装することができる。プログラム・コードを入力データに適用し、本明細書で説明される機能を実施し、出力情報を生成することができる。出力情報は、周知の方式で、１つまたは複数の出力デバイスに与えることができる。本願では、再生デバイス構成要素を実施する処理システムは、例えばデジタル信号プロセッサ（ＤＳＰ）、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、またはマイクロプロセッサなどのプロセッサを有するあらゆるシステムを含む。
【００２６】
プログラムは、処理システムと通信するように、高水準の手続型プログラミング言語またはオブジェクト指向プログラミング言語で実装することができる。プログラムはまた、望むならアセンブリ言語または機械語で実装することもできる。実際、本発明は、何らかの特定のプログラミング言語に範囲が限定されない。いずれにしても、言語はコンパイル型言語でよく、またはインタプリタ型言語でもよい。
【００２７】
記憶媒体または記憶デバイス（例えば、ハード・ディスク・ドライブ、フロッピィ・ディスク・ドライブ、読取り専用メモリ（ＲＯＭ）、ＣＤ−ＲＯＭデバイス、フラッシュ・メモリ・デバイス、デジタル・バーサタイル・ディスク（ＤＶＤ）、またはその他の記憶デバイス）が処理システムで読み取られ、本明細書で説明される手順が実行されるときに処理システムを構成および操作するために、汎用または特殊目的プログラマブル処理システムで読取り可能な記憶媒体または記憶デバイス上にプログラムを格納することができる。また、本発明の実施形態は、処理システムと共に使用されるように構成され、本明細書で説明される機能を実行するように特定の事前定義された方式で処理システムを動作させるように構成された機械可読記憶媒体に実装することもできる。
【００２８】
そのようなタイプの処理システムの一例を図３に示す。しかし、その他のシステムも使用することができ、かつ図示したシステムのすべての構成要素が本発明に必要であるわけではない。例えばサンプル・システム４００を使用して、本明細書で説明される実施形態などの、本発明による言語に無関係な音声ベースのサーチ・システムの実施形態のための処理を実行することができる。サンプル・システム４００は、インテル・コーポレーションから入手可能なＰＥＮＴＩＵＭ（登録商標）ＩＩ、ＰＥＮＴＩＵＭ（登録商標）ＩＩＩ、およびＣＥＬＥＲＯＮ（商標）マイクロプロセッサに基づく処理システムの典型であるが、その他のシステム（他のマイクロプロセッサを有するパーソナル・コンピュータ（ＰＣ）、エンジニアリング・ワークステーション、その他のセットトップ・ボックスなどを含む）およびアーキテクチャも使用することができる。
【００２９】
図３は、本発明の一実施形態のシステム４００のブロック図である。システム４００は、データ信号を処理するプロセッサ４０２を含む。プロセッサ４０２は、そのプロセッサ４０２とシステム４００内の他の構成要素との間でデータ信号を転送するプロセッサ・バス４０４に結合することができる。
【００３０】
システム４００はメモリ４０６を含む。メモリ４０６は、プロセッサ４０２で実行することができるデータ信号によって表される命令および／またはデータを格納することができる。命令および／またはデータは、本発明の技法のうちいずれか、および／またはすべてを実行するコードを含むことができる。メモリ４０６はまた、追加のソフトウェアおよび／またはデータ（図示せず）も含むことができる。メモリ４０６内に格納されたデータ信号を格納するキャッシュ・メモリ４０８は、プロセッサ４０２内部に常駐することができる。
【００３１】
ブリッジ／メモリ・コントローラ４１０は、プロセッサ・バス４０４およびメモリ４０６に結合することができる。ブリッジ／メモリ・コントローラ４１０は、プロセッサ４０２、メモリ４０６、およびシステム４００内のその他の構成要素の間のデータ信号を管理し、プロセッサ・バス４０４、メモリ４０６、および第１入力／出力（Ｉ／Ｏ）バス４１２の間でデータ信号をブリッジする。この実施形態では、グラフィックス・コントローラ４１３は、グラフィックス・コントローラ４１３で表現し、または処理したイメージをユーザに対して表示するディスプレイ・デバイス（図示せず）とインターフェースする。
【００３２】
第１のＩ／Ｏバス４１２は、単一バスでも、または複数のバスの組合せでもよい。第１のＩ／Ｏバス４１２は、システム４００内の構成要素間の通信リンクを提供する。ネットワーク・コントローラ４１４を第１のＩ／Ｏバス４１２に結合することができる。ある実施形態では、ディスプレイ・デバイス・コントローラ４１６を第１のＩ／Ｏバス４１２に結合することができる。ディスプレイ・デバイス・コントローラ４１６により、ディスプレイ・デバイスをシステム４００に結合することが可能となり、ディスプレイ・デバイス・コントローラ４１６は、ディスプレイ・デバイス（図示せず）とシステムの間のインターフェースとして働く。ディスプレイ・デバイスは、プロセッサ４０２からディスプレイ・デバイス・コントローラ４１６を介してデータ信号を受け取り、データ信号中に含まれる情報をシステム４００のユーザに対して表示する。
【００３３】
第２のＩ／Ｏバス４２０は、単一バスでも、または複数のバスの組合せでもよい。第２のＩ／Ｏバス４２０は、システム４００内の構成要素間の通信リンクを提供する。データ記憶デバイス４２２を第２のＩ／Ｏバス４２０に結合することができる。キーボード・インターフェース４２４を第２のＩ／Ｏバス４２０に結合することができる。ユーザ入力インターフェース４２５を第２のＩ／Ｏバス４２０に結合することができる。例えばリモート制御装置、マウス、ジョイスティック、またはトラックボールなどのユーザ入力デバイスにユーザ入力インターフェースを結合し、入力データをコンピュータ・システムに供給することができる。バス・ブリッジ４２８は、第１のＩ／Ｏブリッジ４１２を第２のＩ／Ｏブリッジ４２０に結合する。
【００３４】
本発明の実施形態は、言語に無関係な音声ベースのサーチ・システムとしてシステム４００を使用することに関係する。一実施形態によれば、このような処理は、プロセッサ４０２がメモリ４０４内の命令のシーケンスを実行することに応答して、システム４００によって実行することができる。このような命令は、例えばデータ記憶デバイス４２２などの別のコンピュータ可読媒体から、またはネットワーク・コントローラ４１４を介して別の供給源からメモリ４０４内に読み取ることができる。命令のシーケンスの実行により、プロセッサ４０２は、本発明の実施形態による言語に無関係なユーザ・インターフェース処理を実行する。代替実施形態では、ソフトウェア命令の組合せの代わりにハードウェア回路を使用して、本発明の実施形態を実装することができる。したがって、本発明はハードウェア回路やソフトウェアの何らかの特定の組合せに限定されない。
【００３５】
システム４００の各要素は、当技術分野で周知の方式で、各要素の通常の機能を実行する。具体的には、データ記憶デバイス４２２を使用して、本発明による言語に無関係な音声ベースのサーチ・システムの実施形態用の実行可能命令およびデータ構造の長期記憶を実現することができ、メモリ４０６を使用して、プロセッサ４０２の実行中に、本発明による言語に無関係な音声ベースのサーチ・システムの実施形態の実行可能命令を短期間格納することができる。
【００３６】
例示的実施形態を参照しながら本発明を説明したが、上記の説明は、限定的な意味で解釈されることを意図するものではない。本発明が関係する技術分野の技術者にとって明らかな、例示的実施形態の様々な修正形態、ならびに本発明のその他の実施形態は、本発明の精神および範囲内に包含されるとみなされる。
【図面の簡単な説明】
【図１】
本発明の実施形態による、言語に無関係な音声ベースのサーチ・システムの図である。
【図２】
本発明の実施形態による、言語に無関係な音声ベースのサーチを示す流れ図である。
【図３】
本発明の実施形態による、言語に無関係な音声ベースのサーチ・システムとして動作可能なサンプル処理システムを示す図である。
【図１】
2004511867.tif 000003
【図２】
2004511867.tif 000004
【図３】
2004511867.tif 000005
【国際公開パンフレット】
2004511867.tif 000006
2004511867.tif 000007
2004511867.tif 000008
2004511867.tif 000009
2004511867.tif 000010
2004511867.tif 000011
2004511867.tif 000012
2004511867.tif 000013
2004511867.tif 000014
2004511867.tif 000015
2004511867.tif 000016
2004511867.tif 000017
2004511867.tif 000018
2004511867.tif 000019
2004511867.tif 000020
2004511867.tif 000021
2004511867.tif 000022
2004511867.tif 000023
2004511867.tif 000024
2004511867.tif 000025
2004511867.tif 000026
2004511867.tif 000027
2004511867.tif 000028
2004511867.tif 000029
【国際調査報告】
2004511867.tif 000030
2004511867.tif 000031
2004511867.tif 000032