(57)【要約】  音声ドキュメントのコンテンツ（録音した本、音声放送、録音した会話など含むがこれらには限定されない）をインデックス化し、検索し、取り出すことは、音声ドキュメントが音声による（またはテキストの）クエリ語を含まない場合であっても、概念レベルでクエリ語に関連する音声ドキュメントを見つけ、取り出すことによって達成される。概念ベースのメディア間情報取り出しを使用する。語−音素／ドキュメント行列を、ドキュメントのトレーニングセットから構成する。次いで、ドキュメントを、トレーニングデータから構成された該行列に追加する。特異値分解を使用して、語−音声／ドキュメント行列からベクトル空間を計算する。その結果は、語−音声とドキュメントのベクトルが最近傍として概念的に関連付けられた低次元の数値空間である。クエリエンジンは、空間内のクエリベクトルと他の全てのベクトルとの間のコサイン値を計算し、最高コサイン値を有するそれらの語−音素および／またはドキュメントのリストを返す。
2009540398.tif 000002
【特許請求の範囲】
【請求項１】
メディア間で音声ドキュメントをインデックス化し、登録し、取り出す方法であって、
トレーニングドキュメントのセットを登録するステップと、
各トレーニングドキュメントを前処理するステップと、
行が前記トレーニングドキュメント内の語および各音素に関して作成され、列が各トレーニングドキュメントに関して作成される、語−音声／ドキュメント行列を、前記トレーニングドキュメントのメタデータから構成するステップと、
前記語−音声／ドキュメント行列内のエントリを最適化するステップと、
前記語−音声／ドキュメント行列から計算することによって、前記トレーニングドキュメントから概念的ベクトル空間を計算するステップと、
新しいドキュメントのベクトルを計算して、該ベクトルを前記ベクトル空間に追加するステップと、
クエリ語またはクエリ音素に関して計算されたベクトルに近い複数のベクトルに関して、計算された前記ベクトル空間を検索するステップと、
最高値を有する音声ドキュメントおよび／またはテキストドキュメントのリストを提供するステップと
を備えたことを特徴とする方法。
【請求項２】
前記前処理するステップは、各トレーニングドキュメントに関してメタデータを作成することを含め、各トレーニングドキュメントのレコードを作成するステップを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記前処理するステップは、各音声ドキュメントを中間表現言語に音声的に書き換えるステップと、各ドキュメントをネイティブフォーマットからＵＴＦ−８フォーマットに変換するステップと、各ドキュメントをセグメント化するステップと、カタログするために各ドキュメントをエンキューするステップとを含むことを特徴とする請求項１に記載の方法。
【請求項４】
前記セグメント化するステップは、インデックス語およびインデックス音素のカウントを取得するために、各音声表記および変換されたテキストをトークン化するステップを含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記概念的ベクトル空間を計算するステップは、特異値分解（ＳＶＤ：Ｓｉｎｇｕｌａｒ  Ｖａｌｕｅ  Ｄｅｃｏｍｐｏｓｉｔｉｏｎ）技術を使用するステップを含むことを特徴とする請求項１に記載の方法。
【請求項６】
新しいドキュメントのベクトルを計算して、該ベクトルを前記ベクトル空間に追加するステップは、各ドキュメントが含むワードまたは音素に関して、それぞれのワードまたは音素カウントによって重み付けされた語ベクトルまたは音素ベクトルを合計することによって、各ドキュメントを作成するステップを含むことを特徴とする請求項１に記載の方法。
【請求項７】
クエリ語またはクエリ音素に関して計算されたベクトルに近い複数のベクトルに関して、計算された前記ベクトル空間を検索するステップは、前記空間内のクエリベクトルと他の全てのベクトルとの間のコサイン値を計算するステップと、最高コサイン値を有するテキストおよび／または音声のドキュメントのリストを返すステップとを含むことを特徴とする請求項１に記載の方法。
【請求項８】
メディア間で音声ドキュメントをインデックス化し、登録し、取り出すシステムであって、
トレーニングドキュメントのセットを登録し、カタログするために前記トレーニングドキュメントのセットを準備し、ドキュメントの語および音素を含めて前記トレーニングドキュメントのセットをインデックス化する、ドキュメントコレクション手段と、
各トレーニングドキュメントを前処理し、前記トレーニングドキュメントのセットからベクトルを計算することによって、概念的ベクトル空間を形成するベクトルを前記トレーニングドキュメントから計算する、プリプロセッサと、
前記トレーニングドキュメントのメタデータから構成され、行がトレーニングドキュメントの各語および各音素に関して作成され、列が各トレーニングドキュメントに関して作成される語−音素／ドキュメント行列であって、該行列内のエントリが最適化されている、語−音素／ドキュメント行列と、
前記語−音素／ドキュメント行列からベクトル空間を計算する、特異値分解手段と、
新しいドキュメントのそれぞれを前処理し、前記新しいドキュメントからベクトルを計算し、該ベクトルを前記ベクトル空間に追加する手段でもある、前記プリプロセッサと、
１つまたは複数のクエリ語またはクエリ音素に関して計算されたベクトルに近い複数のベクトルに関して、前記計算されたベクトル空間を検索し、最高値を有するこれらのテキストドキュメントおよび／または音声ドキュメントのリストを提供する、クエリエンジンと
を備えたことを特徴とするシステム。
【請求項９】
前記プリプロセッサは、各トレーニングドキュメントのメタデータを作成することを含め、各トレーニングドキュメントのレコードを作成することを特徴とする請求項８に記載のシステム。
【請求項１０】
前記プリプロセッサは、各音声ドキュメントを中間表現言語に音声的に書き換え、各ドキュメントをネイティブフォーマットからＵＴＦ−８フォーマットに変換し、各ドキュメントをセグメント化し、カタログするために各ドキュメントをエンキューすることを特徴とする請求項８に記載のシステム。
【請求項１１】
前記プリプロセッサは、インデックス語およびインデックス音素のカウントを取得するように、各音声表記および変換されたテキストをトークン化することによって、各ドキュメントをセグメント化することを特徴とする請求項１０に記載のシステム。
【請求項１２】
前記プリプロセッサは、さらに、新しいドキュメントの各々について、各々のワードまたは音素のカウントによって各々重みづけされている語または音素のベクトルを、各ドキュメントが含むワードまたは音素に関して合計することによって、該新しいドキュメントのベクトルを計算し、該ベクトルを前記ベクトル空間に追加することを特徴とする請求項８に記載のシステム。
【請求項１３】
検索エンジンは、前記空間内のクエリベクトルと他の全てのベクトルとの間のコサイン値を計算し、最高コサイン値を有するテキストドキュメントおよび／または音声ドキュメントのリストを返すことによって、クエリ語またはクエリ音素に関して計算されたベクトルに近い複数のベクトルに関して、前記計算されたベクトル空間を検索することを特徴とする請求項８に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、潜在的セマンティックのインデックス化（latent semantic indexing）技術に関する。より具体的には、本発明は、音声ドキュメント（speech document）のコンテンツをインデックス化し、検索し、取り出すことに関する。
【背景技術】
【０００２】
音声によるドキュメント（spoken document）のコンテンツ（録音した本（recorded books）、音声放送、録音した会話など含むがこれらには限定されない）をインデックス化し、検索し、取り出すことは、難しい問題である。現在のアプローチは、典型的に、キーワードの合致に相当するものを介して、すなわち、ユーザが提供したテキストクエリがテキストメタデータと合致すること、または、該クエリが音声表記にされた後に、音的に合致することのいずれかによって、検索し、取り出すことが可能である。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
現在のこのアプローチでは、得られるものが少ない、すなわち、クエリに対して、多くの関連する音声ドキュメントを見つけることができないことがある。キーワードの合致の代わりに、音声によるドキュメントが音声による（またはテキストの）クエリ語（term）を含んでいない場合であっても、概念レベルでクエリに関連する音声によるドキュメントを見つけ、取り出すことによって、この問題を解決する。
【課題を解決するための手段】
【０００４】
既存の技術は、音声のインデックス化を提供するが、これは、音声のオーディオドキュメントの音声コンテンツを中間言語に書き換え（transcribe）、テキストまたはボイスクエリも上記と同じ中間言語に書き換えて、その結果、音声セグメントをクエリに合致させることができる。対照的に、本発明は、音声ドキュメントの音声表記（phonetic transcription）とそのテキスト表記（textual transcription）とを備えている新しい種類の「デュアルドキュメント（dual document）」から、検索空間を計算する。このアプローチにおいて、デュアルドキュメントは、２種類のトークン、すなわち、ワードと音素（phoneme）とを含む「バッグ（bag）」である。これらのデュアルドキュメントのコーパスを、トレーニングセット（training set）として使用して、ベクトル空間を計算する。該ベクトル空間では、音素、ワード、およびドキュメント（音声およびテキスト）は、ベクトルによって表現され、関連する概念を表すこれらの音素、ワード、およびドキュメントが、該空間内の最近傍となる。最近傍の関係を利用して、テキストクエリまたは音声クエリのいずれかに関する音声ドキュメントを見つけ、取り出すことができ、あるいは、音声クエリに関するテキストドキュメントを見つけ、取り出すことができる。これを、「概念ベースのメディア間情報取り出し（concept-based cross-media information retrieval）」と呼ぶこととする。本発明の注目すべき特徴の１つは、コンテンツを概念ベースでインデックス化するために音声から自然言語テキストへの変換を必要とする他の方法とは異なり、音声表記を使用して、より抽象的な概念レベルでコンテンツをインデックス化することである。この特徴により、音声のインデックス化におけるエラー率およびコストが軽減される。
【図面の簡単な説明】
【０００５】
【図１】本発明を実施するための、セマンティクスインデックス化システムの実施形態を示す概略図である。
【発明を実施するための形態】
【０００６】
図１を参照すると、本発明を構成するインデックス化システム１００の実施形態が概略的に示されている。本システムには、取込み／収集（Ingest/Collect）ドキュメント１０２、プリプロセッサ／レジスタ（Pre-processor/Register）ドキュメント１０４、カタログドキュメント１０６、拡張（Augment）カタログ（ＳＶＤ）１０８、およびクエリエンジン／カタログ１１０が含まれる。マシンまたは人間がドキュメントのセットをドキュメントコレクションエリア１０２に置くと、処理が始まる。ライブラリアン（Librarian）が、これらのドキュメントを登録（register）して、カタログするために準備（prepare）をする。カタログすることにより、あるドキュメントに関するテキストと数値の両方のメタデータのレコードがデータベース内に作成され、ベクトル空間を計算するのに必要とされる追加の処理が全て適用され、該空間内の全てのドキュメントが、その語および音素とともにインデックス化される。カタログは定期的に、取込み／収集−登録−カタログという同じ順序に従うことによって、新しいドキュメントで拡張されることがある。しかしながら、カタログ拡張ドキュメントでインデックス化されるが、ベクトル空間の計算には使用されない。さらに、エンドユーザは定期的に、関連するドキュメントに関して、カタログ、カタログのベクトル、およびベクトルに関連するメタデータをクエリすることができる。ドキュメントの登録、およびプロセスをカタログしてクエリすることは、ネットワークサービスとして利用可能である。これらのサービスが管理者によって開始されると、これらのサービスは、該サービスユーザに対して、および互いに対して利用可能となる。例えば、インデックス化するための新しいドキュメントがあるとき、レジスタサービス（Register Service）が、カタログサービス（Catalog Service）に通知する。ライブラリアンは、提供されるＧＵＩ１１４を使用するドキュメントを登録することによって、プロセスのフローをトリガしなければならない。
【０００７】
本発明によると、元のソースデータは、テキストドキュメントおよび音声ドキュメントを備えている。これらのドキュメントの一部は、音声ドキュメントとこれに対応するテキスト表記とによって構成されるデュアルドキュメントであり、一方、他のドキュメントは、「シングルトン（singleton）」、すなわち、他のフォーマットの対応する表現を有しない、テキストドキュメントまたは音声ドキュメントのいずれかである。これらのドキュメントをコンテンツリポジトリに取込み、収集するための手段を提供する。これは単に、新しいドキュメントを登録するプロセスによってドキュメントを検出することができる公知の収集場所、例えば、ファイルディレクトリまたはフォルダに、ドキュメントを転送することのみを必要とする可能性がある。
【０００８】
ドキュメントの登録により、ドキュメントのタイプ、作成日付および場所などのメタデータの作成を含め、ドキュメントに関するレコードがコンテンツカタログ内に作成され、前処理（preprocessing）のために該ドキュメントがキューに入れられる。いくつかの事がこの前処理のステップで達成される。第一に、全ての音声ドキュメントが、中間表現言語に音声的に書き換えられなければならない１１６。そのような自動音声書換装置（speech transcriber）の１つは、自動的な音声書き換えのためのＮｅｘｉｄｉａ  Ｅｎｔｅｒｐｒｉｓｅ  Ｓｐｅｅｃｈ  Ｉｎｔｅｌｌｉｇｅｎｃｅ（登録商標）である。本発明は、この特定の音声書換装置には限定されない。第二に、ドキュメント変換装置１１８（例えば、Ｓｔｅｌｌｅｎｔ（商標）、Ｏｕｔｓｉｄｅ  Ｉｎ（登録商標）の製品）を使用して、ドキュメントをネイティブフォーマットからＵＴＦ−８に変換し、概念ベースの前処理に必要とされるドキュメントの符号化を行う。本発明は、この特定のドキュメント変換装置には限定されない。第三に、ドキュメントはセグメント化される１２０、すなわち、音声およびその対応するテキストをトークン化して、その結果、インデックスの語および音素のカウント（count）を取得することができる。第四に、ドキュメントは、カタログするためにエンキューされる。すなわち、この事例ではドキュメントコレクションカタログである。
【０００９】
さらに、処理は、コレクションが、トレーニングドキュメントと他のインデックスのみの（index-only）ドキュメントを区別することを必要とする。トレーニングドキュメントは、概念ベクトル空間を計算するのに使用され、一方、インデックスのみのドキュメントは、そうでなない。インデックスのみのドキュメントの場合、ベクトルが計算され１０８、カタログを拡張するのに使用される。本発明は、メディア間の情報の取り出しをサポートするので、ドキュメントはまた、メディアタイプによって、この事例ではテキストまたは音声によって分けられるべきである。
【００１０】
コレクション内の全ての文書が前処理されると、ワード／音素のカウントが、コレクションカタログ１０６内にドキュメントのメタデータの一部として格納される。これらのカウントから、非常に大きい疎行列が構成され、該行列は、行が、トレーニングセット内の各語および各音素に関して作成され、列が、該トレーニングセット内の各ドキュメントに関して作成されたものである。この「語−音素／ドキュメント」行列内のエントリは、ワードまたは音素のカウント、すなわち、ある特定のインデックス化可能なワード、およびインデックス化可能な音素がドキュメント内で現れる回数である。この行列を用いてベクトル空間を計算する前に、行列のエントリを最適化する必要がある。これが必要とされる理由は、一部のドキュメントが他のドキュメントよりも非常に長いことがあり、一部の語または音素が、あるドキュメントまたはコレクション内に、他のドキュメントまたはコレクションよりもはるかに多く現れる傾向がある可能性があるためである。したがって、トレーニングセットにおけるドキュメントの長さおよび高頻出のトークンの影響を軽減させることが必要である。このことは、語−音素／ドキュメント行列１１２において、適切な重みづけを未加工の（raw）トークンカウントに対して適用することによって達成される。
【００１１】
上述されるように、本発明は、特異値分解（ＳＤＶ：Singular Value Decomposition）１０８として知られる統計技術を使用して、ドキュメントのトレーニングセットから構成される語−音素／ドキュメント行列１１２から、ベクトル空間を計算する。生成される結果は、低次元の数値空間（lower-dimensional numerical space）であり、該空間では、概念的に関連する語−音素とドキュメントが最近傍である。この特性により、ドキュメントがたとえクエリ語を全く保持していないとしても、クエリのための語またはドキュメントを見つけることが可能になる。すなわち、ドキュメントはクエリを含む必要がなく、該ドキュメントは、計算されたベクトル空間においてクエリベクトルに対する最近傍であることのみが必要である。
【００１２】
ドキュメントのトレーニングセットに関してベクトル空間が計算されると、新しいドキュメントのベクトルを計算し、次いでこれらのベクトルを該空間に追加することが必要である。このオペレーションは単に、ライブラリアンに知られているあるチーム（team）のコレクションエリア内に、これらの新しいドキュメントを置くことを必要とするものである。そこでは、ライブラリアンは、トレーニングセットのように、これらの新しいドキュメントを登録することで処理するために該新しいドキュメントをエンキューすることができる。トレーニングドキュメントと同様に、各ドキュメントに関する語または音素のカウントを含むレコードがコンテンツカタログ内に作成されるが、トレーニングドキュメントとは異なり、これらのドキュメントはベクトル空間を計算するのには使用されない。組み合わせる目的で、あるドキュメントは、ワードのみまたは音素のみを含むことができ、その両方を含むことは必ずしも必要ではない。そのベクトル表現は、そのワードベクトルまたはその音素ベクトルで計算されることになる。各ドキュメントのベクトルは、そのドキュメントが含むワードおよび音素に関して、語または音素のベクトルを合計することによって作成され、この語または音素のベクトルの各々は、そのそれぞれのワードまたは音素のカウントによって重みづけされている。これらの新しいドキュメントのベクトルを、ベクトル空間に「混ぜ入れる（fold-in）」と、該ドキュメントは、既にそのベクトル空間にあったドキュメントとともに検索に利用可能となる。
【００１３】
ドキュメントのクエリは、関連メタデータに関してコンテンツカタログを検索することを必要とし、この検索は、１つまたは複数のクエリ語またはクエリ音素のセットに関して計算されたベクトルと同様または該ベクトルと「近い（close to）」、複数のベクトルに関して、計算されたベクトル空間を検索することを含む。クエリエンジン１１０は、ある空間内のクエリベクトルと全ての他のベクトルとの間のコサイン値（cosine value）を計算し、最高コサイン値を有する語−音素および／またはドキュメントのリストを返す。ドキュメントベクトルとほぼ同様に、クエリベクトルは単に、該クエリベクトルに含まれ、且つ、該クエリ内で生じる頻度（最もアドホックなクエリは１回だけ）によってそれぞれ重みづけされた、複数のワードまたは音素に関する複数のベクトルの合計である。クエリは、複数のワードまたは複数の音素で構成されることがある。そのクエリベクトルは、計算されたＬＳＩベクトル空間から生じる上記ワードのベクトルまたは音素のベクトルのいずれかの、重みづけされた合計で計算される。ＬＳＩとは、潜在的セマンティックのインデックス化（latent semantic indexing）のことである。クエリベクトルは、「関連フィードバック」などにおいて、ドキュメントの全てまたはその一部から計算されることもあることに留意されたい。これは、関連ドキュメントが、「これに類似するさらなるドキュメント」を見つけるために、クエリとしてクエリエンジンに提示（submit）される事例である。この場合もやはり、これらのドキュメントは、音声ドキュメントまたはテキストドキュメントのいずれかとすることができる。エンドユーザは、コンテンツリポジトリから取り出すためにヒットリスト上のアイテムを選択することができるが、これは、このヒットリストが、コンテンツ記述メタデータとともにカタログ内に格納される、アクセス記述メタデータ、例えば、ドキュメントのＵＲＬなどを配信することができるからである。
【００１４】
上述したアルゴリズムおよびモデリングを、コンピューティングデバイスなどの、命令実行システム、装置、またはデバイスにおいて実行することができる。本アルゴリズム自体は、コンピュータなどの命令実行システム、装置、またはデバイスによって、あるいはこれらとともに使用するためのプログラムを含み、格納し、伝達し、伝搬し、または送信することが可能な任意の手段とすることができる、コンピュータ読み取り可能な媒体に含まれることがある。
【００１５】
音声ドキュメントをインデックス化し、検索し、取り出すための方法およびシステムについて記述し、説明してきたが、当業者には、添付の特許請求の範囲によって単に限定されることのない本発明の広範な教示および原理から逸脱することなく、変形および修正が可能であることが認識されよう。
【図１】
2009540398.tif 000003
【国際調査報告】
2009540398.tif 000004