(57)【要約】本発明は、獲得モジュール20と、マルチメディアデータベース101と、サブエージェントに分解されることのできる索引付けエージェント121およびサーチエージェント122と、ドキュメントの構造に関するデータの管理専用のエージェント123と、ドキュメントの構成要素を解析し、構成するモジュール200と、ドキュメント索引付けインターフェース30およびサーチインターフェース40を備えたユーザインターフェース80と、マルチメディアデータベースを生成するモジュール70と、ログオン手続き順制御モジュール71を備えた専用演算ユニットのアセンブリに関する。管理システムはさらに、システムの種々のユニットを配列するエージェント301と、ドキュメントの索引付けを制御するエージェント302およびサーチエージェント303と、識別子マネジャ60とを備えた専用機能ユニットのアセンブリを含んでいる。プラットホーム10は、専用演算および機能ユニットの相互接続および相互通信を提供する。
2005505080.tif 000002
【特許請求の範囲】
【請求項１】
（ａ）専用演算ユニットのセットと、
（ｂ）専用機能ユニットのセットと、
（ｃ）専用演算ユニットおよび専用機能ユニットのための相互接続および相互通信プラットホーム(10)とを具備しており、
前記専用演算ユニットのセットは少なくとも、
（ａ１）獲得モジュール(20)と、
（ａ２）マルチメディアデータベース(101)と、
（ａ３）特定の処理モードをそれぞれ使用する少なくとも２つのサブエージェントに細分されることのできる少なくとも１つの索引付けエージェント(121)と、
（ａ４）特定の処理モードをそれぞれ使用する少なくとも２つのサブエージェントに細分されることのできる少なくとも１つのサーチエージェント(122)と、
（ａ５）ドキュメント構造に関する情報の管理を専用に行うエージェント(123)と、
（ａ６）入力されたマルチメディアドキュメントの内容を解析し、そのドキュメントから構成要素を抽出して構成するモジュール(200)と、
（ａ７）ユーザインターフェース(80)であって、
（ａ７−１）ドキュメント索引付けインターフェース(30)と、および
（ａ７−２）ドキュメントサーチインターフェース(40)とを含むユーザインターフェース(80)と、
（ａ８）マルチメディアデータベースを生成し、起動させ、破壊するモジュール(70)と、
（ａ９）ユーザがセッションを開いて、マルチメディアデータベースを生成し、起動させ、破壊するモジュール(70)を制御することを可能にするモジュール(71)とを備えており、
前記専用機能ユニットのセットは少なくとも、
（ｂ１）システムの種々のユニットを配列するエージェント(301)と、
（ｂ２）ドキュメントへの索引付けを駆動するエージェント(302)と、
（ｂ３）ドキュメントのサーチを駆動するエージェント(303)と、
（ｂ４）識別子マネジャ(60)とを備えていることを特徴とするマルチメディアデータベースを管理するシステム。
【請求項２】
少なくとも２つのサブエージェントに細分されることのできる前記索引付けエージェント(121)は、イメージタイプのオブジェクトに索引付けするように機能するエージェントであり、少なくとも２つのサブエージェントに細分されることのできる前記サーチエージェント(122)は、イメージタイプのオブジェクトをサーチするように機能するエージェントであることを特徴とする請求項１記載のシステム。
【請求項３】
入力されたマルチメディアドキュメントの内容を解析し、ドキュメント構成要素の構造を抽出する前記モジュールは、統計学的解析、モデル化、および入力されたドキュメントのエレメントを同種の構成要素にグループ化する分類動作のためにイメージまたは信号を処理して解析する第１のユニットと、ドキュメントの種々の構成要素の間の関係を定めるドキュメントの構造またはオブジェクトグラフを生成するユニットとを備えていることを特徴とする請求項１または２記載のシステム。
【請求項４】
テキストタイプのオブジェクトに索引付けする索引付けエージェントと、テキストタイプのオブジェクトをサーチするサーチエージェントとを備えていることを特徴とする請求項１乃至３のいずれか１項記載のシステム。
【請求項５】
音響タイプのオブジェクトに索引付けする索引付けエージェントと、音響タイプのオブジェクトをサーチするサーチエージェントとを備えていることを特徴とする請求項１乃至４のいずれか１記載のシステム。
【請求項６】
イメージオブジェクト、音響オブジェクト、およびその動的性質を特徴付けるオブジェクトを抽出する解析エージェントと、ビデオタイプのオブジェクトに索引付けする索引付けエージェントと、およびビデオタイプのオブジェクトをサーチするサーチエージェントとを備えていることを特徴とする請求項１乃至５のいずれか１記載のシステム。
【請求項７】
マルチメディアデータベースは保管されるドキュメントへの参照と、保管されたドキュメントの特徴付け構成要素および保管されたドキュメントの構造の記述によって構成された複合シグナチャの両者を含んでおり、前記記述は保管されたドキュメントの構成要素の間の関係を識別することを特徴とする請求項１乃至６のいずれか１記載のシステム。
【請求項８】
入力されたマルチメディアドキュメントの内容を解析し、ドキュメントの構成要素を抽出して構成する複数のモジュール(200)を備えており、内容を解析し、抽出して構成するこれらのモジュールのそれぞれはその内容の特性（イメージ、テキスト、音響、ビデオ）によって識別されたドキュメントの特定のタイプに適合されていることを特徴とする請求項１乃至７のいずれか１記載のシステム。
【請求項９】
処理の各ステップで特有の参照をマルチメディアドキュメントの各表現エレメントと関連付ける識別子割当エージェントを生成し、
イメージ、ビデオ、音響、テキスト、動画化されたベクトルグラフィックスのカテゴリーの少なくとも１つに属する情報を含む異種内容のマルチメディアドキュメントを獲得し、
マルチメディアドキュメントに索引付けするステップを含んでおり、
この索引付けするステップは、
（ａ１）同じタイプのカテゴリーにそれぞれ属している同種の構成要素を抽出すると共に、前記同種の構成要素の間の関係もまた抽出するためにマルチメディアドキュメントを解析し、
（ｂ１）同種の各構成要素の内容を特徴付け、前記同種の構成要素のそれぞれの内容のエレメントの間の関係を設定し、
（ｃ１）異なった同種の構成要素の内容に属するエレメントの間の関係が存在する場合、これを設定し、
（ｄ１）同種の各構成要素の索引、前に識別された関係および前に獲得された識別子の全てを組合せる複合シグナチャを生成するサブステップを含んでおり、
索引付けされたマルチメディアドキュメントをその複合シグナチャと一緒に記憶し、
前に索引付けされて記憶されたマルチメディアドキュメントを複合リクエストに基づいてサーチするステップを含んでおり、
このサーチするステップは、
（ａ２）最初に単一のタイプのカテゴリーを参照とする同種のリクエストを抽出し、次に複合リクエストで表現されたユーザ制約関係を抽出するために複合リクエストを解析し、
（ｂ２）同種のリクエストを処理し、
（ｃ２）ユーザ制約関係を考慮しながら同種のリクエストを処理した結果を公式化し、
（ｄ２）その結果に対する適切な順序を定めてその結果を提供するサブステップを含んでいることを特徴とするマルチメディアデータベースの管理方法。
【請求項１０】
前に索引付けされて記憶されたマルチメディアドキュメントをサーチしているあいだに、同種のリクエストの処理中に、サーチエージェントにより戻される応答はトリプレットのシーケンスにより構成されており、このトリプレットのそれぞれは、複合シグナチャを索引付け段階の期間中に処理された複合シグナチャと比較した後の類似性スコアと、索引付け段階中に元のドキュメントと関連付けられたオブジェクトの識別子と、同種のリクエストの構成要素の識別子とを含んでいることを特徴とする請求項９記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチメディアデータベースを管理するための方法およびシステムに関する。
【背景技術】
【０００２】
デジタル革命により、マルチメディアデータ（テキスト、写真、ビデオ、動画化されたまたは静止オブジェクト、音響、・・・）を生成し、記憶し、転送し、また、遠距離通信、ラジオおよびテレビジョンから派生した技術との併合によって、インターネット上で発行され入手可能なデータ量を計算するシステムがこれまでにない爆発的な勢いで普及している。その量は約１００億テラバイトと推定され、これは年々倍増している。ワールドワイドウェブ上で利用可能な適切な情報を普及し、その位置をつきとめ、それにアクセスすることを容易にする解決策をみつけることが重要になってきている。主要な問題は、処理されるべき大量のデータの他に、マルチメディアドキュメント中の多種多様な内容をうまく処理することを可能にする解決方法を開発することである。マルチメディアドキュメントは、それぞれが異なった特性（テキスト、図形、イメージ、写真、ビデオ、音響、信号、・・・）のものである構成要素のアセンブリから構成されていることが多い。
【０００３】
保管されるべきドキュメントに索引付けして、これをサーチする種々の解決方法がすでに提案されているが、しかしながら、これらの解決方法はそのほとんどが専ら１つの特定のタイプのドキュメントに対するものである。
【０００４】
それ故、たとえば、米国特許第 5 706 365号明細書および米国特許第 5 794 177号明細書においては、ｎグラム（ｎ−ｇｒａｍ）アプローチおよび候補となる単語の語形変化の識別にそれぞれ基づいたテキストに索引付けする方法が提案されている。
【０００５】
国際特許出願 WO 99/59083号明細書もまた、テキストがドキュメントの主なエレメントを表現するドキュメントを管理するシステムに関するものである。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、分散形マルチメディアデータベースを管理する並列の分散処理システム内においてマルチメディアドキュメントを獲得し、構成し、索引付けし、および記憶するステップおよびその位置を内容によってつきとめるステップの両期間中にマルチメディアドキュメント全体を自動的に評価することを可能にすることである。
【０００７】
したがって、本発明の目的は、マルチメディア内容にアクセスし、生成するタスクにおいて実効的な支援をオペレータに提供することである。
【課題を解決するための手段】
【０００８】
これらの目的は、
（ａ）専用演算ユニットのセットと、
（ｂ）専用機能ユニットのセットと、
（ｃ）専用演算ユニットおよび専用機能ユニットのための相互接続および相互通信プラットホームとを具備しており、
前記専用演算ユニットのセットは少なくとも、
（ａ１）獲得モジュールと、
（ａ２）マルチメディアデータベースと、
（ａ３）特定の処理モードをそれぞれ使用する少なくとも２つのサブエージェントに細分されることのできる少なくとも１つの索引付けエージェントと、
（ａ４）特定の処理モードをそれぞれ使用する少なくとも２つのサブエージェントに細分されることのできる少なくとも１つのサーチエージェントと、
（ａ５）ドキュメント構造に関する情報の管理を専用に行うエージェントと、
（ａ６）入力されたマルチメディアドキュメントの内容を解析し、そのドキュメントから構成要素を抽出して構成するモジュールと、
（ａ７）ユーザインターフェースであって、
（ａ７−１）ドキュメント索引付けインターフェースと、および
（ａ７−２）ドキュメントサーチインターフェースとを含むユーザインターフェースと、
（ａ８）マルチメディアデータベースを生成し、起動させ、破壊するモジュールと、
（ａ９）ユーザがセッションを開いて、マルチメディアデータベースを生成し、起動させ、破壊するモジュールを制御することを可能にするモジュールとを備えており、
前記専用機能ユニットのセットは少なくとも、
（ｂ１）システムの種々のユニットを配列するエージェントと、
（ｂ２）ドキュメントへの索引付けを駆動するエージェントと、
（ｂ３）ドキュメントのサーチを駆動するエージェントと、
（ｂ４）識別子マネジャとを備えていることを特徴とするマルチメディアデータベース管理システムによって達成される。
【０００９】
とくに、少なくとも２つのサブエージェントに細分されることのできる索引付けエージェントは、イメージタイプのオブジェクトに索引付けするように機能するエージェントであり、少なくとも２つのサブエージェントに細分されることのできるサーチエージェントは、イメージタイプのオブジェクトをサーチするように機能するエージェントである。
【００１０】
特定の特徴によると、入力されたマルチメディアドキュメントの内容を解析し、ドキュメント構成要素の構成を抽出するモジュールは、イメージまたは信号を処理して解析し、統計学的解析を行い、モデル化し、入力されたドキュメントのエレメントを同種の構成要素にグループ化するために分類する第１のユニットと、ドキュメントの構造またはドキュメントの種々の構成要素の間の関係を定めたオブジェクトグラフを生成するユニットとを備えている。
【００１１】
本発明のシステムは、イメージタイプオブジェクト以外のタイプのオブジェクトに適合された種々の索引付けエージェントおよびサーチエージェントを備えることができる。
【００１２】
したがって、システムは、テキストタイプのオブジェクトに索引付けするように機能する索引付けエージェントと、テキストタイプのオブジェクトをサーチするように機能するサーチエージェントとを備えているか、あるいは、事実上、音響タイプのオブジェクトに索引付けするように機能する索引付けエージェントと、音響タイプのオブジェクトをサーチするように機能するサーチエージェントとを備えていることができる。
【００１３】
本発明のシステムはまた、イメージオブジェクト、音響オブジェクト、およびその動力学を特徴付けるオブジェクトを抽出するように機能する解析エージェントと、ビデオタイプのオブジェクトに索引付けするように機能する索引付けエージェントと、ビデオタイプのオブジェクトをサーチするように機能するサーチエージェントとを備えていることができる。
【００１４】
マルチメディアデータベースは、保管されるべきドキュメントへの参照と複合シグナチャへの参照の両者を含んでおり、この複合シグナチャは、保管されたドキュメントの構成要素を特徴付けることによって、および保管されたドキュメントの構成要素の間の関係を識別する保管されたドキュメントの構造の記述によって構成されている。
【００１５】
本発明のシステムは、入力されたマルチメディアドキュメントの内容を解析し、そのドキュメントの構成要素の抽出および構成を行う複数のモジュールを備えており、内容を解析し、抽出および構成を行うこれらの各モジュールがその内容の特性（イメージ、テキスト、音響、ビデオ）によって識別されたドキュメントの特定のタイプに適合されているという利点がある。
【００１６】
本発明はまた、
処理の各ステップで特有の参照をマルチメディアドキュメントの各表現エレメントと関連付ける識別子割当エージェントを生成し、
イメージ、ビデオ、音響、テキスト、動画化されたベクトルグラフィックスのカテゴリーの少なくとも１つに属する情報を含む異種内容のマルチメディアドキュメントを獲得し、
マルチメディアドキュメントに索引付けするステップを含んでおり、
この索引付けするステップは、
（ａ１）同じタイプのカテゴリーにそれぞれ属している同種の構成要素を抽出すると共に、前記同種の構成要素の間の関係を抽出するためにマルチメディアドキュメントを解析し、
（ｂ１）同種の各構成要素の内容を特徴付け、前記同種の構成要素のそれぞれの内容のエレメントの間の関係を設定し、
（ｃ１）異なった同種の構成要素の内容に属するエレメントの間の関係が存在する場合、これを設定し、
（ｄ１）同種の各構成要素の索引、前に識別された関係および前に獲得された識別子の全てを組合せる複合シグナチャを生成するサブステップを含んでおり、
索引付けされたマルチメディアドキュメントをその複合シグナチャと一緒に記憶し、
前に索引付けされて記憶されたマルチメディアドキュメントを複合リクエストに基づいてサーチするステップを含んでおり、
このサーチするステップは、
（ａ２）最初に単一のタイプのカテゴリーを参照とする同種のリクエストを抽出し、次に複合リクエストで表現されたユーザ制約関係を抽出するために複合リクエストを解析し、
（ｂ２）同種のリクエストを処理し、
（ｃ２）ユーザ制約関係を考慮しながら同種のリクエストを処理した結果を公式化し、
（ｄ２）その結果に対する適切な順序を定めてその結果を提供するサブステップを含んでいることを特徴とするマルチメディアデータベースを管理する方法を提供する。
【００１７】
有効な特徴によると、前に索引付けされて記憶されたマルチメディアドキュメントをサーチしているあいだに、同種のリクエストの処理中に、サーチチエージェントによって戻された応答はトリプレットのシーケンスによって構成されており、各トリプレットは、リクエストの複合シグナチャと索引付け段階の期間中に処理された複合シグナチャとを比較した後の類似性スコアと、索引付け段階の期間中に元のドキュメントと関連付けられたオブジェクトの識別子と、および同種のリクエストの構成要素の識別子とを含んでいる。
【００１８】
本発明のシステムの種々のモジュールは、マルチメディアドキュメントの各構成要素によって提供された情報の相補性を利用し、保管および索引付け段階の期間中に、それらはドキュメントの内容の記述を増強（ｅｎｒｉｃｈ）することを可能にし、したがって、ドキュメントの複合シグナチャによって構成されている前記増強された記述は、サーチ段階の期間中に、最も適切なドキュメントを識別するように機能する。サーチ段階中、ユーザインターフェースは、１以上の個々のまたは“最小単位”リクエスト（たとえば、画像、テキスト、または音響に関する）から形成された複合リクエストを使用することによりシステムと相互作用する。
【発明を実施するための最良の形態】
【００１９】
本発明のその他の特徴および利点は、例として与えられた以下の特定の実施形態の説明および添付図面から明らかになる。
最初に図１を参照として、マルチメディアデータベースを管理する本発明のシステムの全体的なアーキテクチャを説明する。
【００２０】
本発明の管理システムは、専用演算ユニットと専用機能ユニットとの間に相互接続および相互通信プラットホーム10を備えている。このプラットホーム10は、リソースを管理するソフトウェアバスおよびツールの形態であり、それは異種のモジュールの間の接続を管理すると共に最適化するように機能し、したがってリソースおよび処理速度を管理するユニットを構成している。
【００２１】
プラットホーム10は、テキスト、イメージ、ビデオ信号およびオーディオ信号を同時に含んでいる可能性のあるマルチメディアドキュメントに索引付けし、サーチするアクティビティに必要とされるエージェントを相互接続し、組織化（ｏｒｃｈｅｓｔｒａｔｅ）し、一緒に動作させるように機能する。
【００２２】
プラットホーム10は、最初に分散されたエージェントを統合し、調整し、次にシステムのリソースを管理し、最適化するという２つのレベルで動作する。
【００２３】
分散されたエージェントを統合し、調整するということは、以下の点が考慮されなければならないということを意味する：
・各エージェントのオブジェクトの位置。これらの位置は、たとえば、インターネットまたはイントラネットを介して相互接続される複数のマシンにわたって分散されている可能性がある；
・独立的に動作するように設計された可能性がある、あるいは種々のプログラミング環境および、または言語［ＪＡＶＡ（Ｒ）、Ｃ、Ｃ＋＋、ＦＯＲＴＲＡＮ、ＵＮＩＸ、ＮＴ、ＷＩＮＤＯＷＳ（Ｒ）、・・・］下において開発された可能性のあるエージェントの異種混合；
・プラットホームのエージェントの間におけるデータのスイッチングおよび転送。これを行うために、種々の通信プロトコルがアプリケーションの機能として使用されてもよく、とくに、
・イメージまたはビデオ信号を非接続モードで、したがって実時間で転送するためのＵＤＰ／ＩＰまたはＲＴＰ／ＲＴＳＰプロトコル；
・転送時間よりも転送の信頼性のほうが重要であるデータ転送用のＴＣＰ／ＩＰプロトコル；および
・任意のタイプのオブジェクトを転送するためにデフォルトにより使用されるＣＯＲＢＡおよびＪＡＶＡ（Ｒ）プロトコルに基づくことができる；
・複数のエージェントまたはこの所定のエージェントのサブエージェントが並行して実行することを可能にするツールを利用可能にすることにより計算時間が減少されることを可能にする並行処理（ｐａｒａｌｌｅｌｉｓｍ）およびマルチプログラミング。
【００２４】
リソース（マシン、通信メディア、処理エージェント、・・・）の管理および最適化とは、特定のタイプの演算子にそれぞれ対応した３つの機能を意味する。
【００２５】
管理の観点から、プラットホーム10はアプリケーションに必要なリソースを規定するように機能する。
【００２６】
アプリケーション設計の観点から、プラットホーム10は、オブジェクトまたはエージェントがその位置に関係なく参照とされることを可能にし、それは適切な通信プロトコルが選択されることを可能にし、並列に動作し、タスクを分配し、負荷を平衡にするためのツールを提供する。
【００２７】
索引付けまたはサーチを使用する観点から、プラットホーム10は、クライアントとサーバとの間において交換が発生することを可能にする。
【００２８】
複数の専用演算中央ユニットはプラットホーム10と協同する。
【００２９】
モジュール70はメディアベースマネジャを構成し、マルチメディアデータベース（または“メディアベース”）を生成し、スタートし、破壊するために管理人によって使用される。
メディアベースマネジャ70は各計算ノードに存在し、その構成に貢献している。メディアベースマネジャ70は起動されると、それは局部構成を解析し（テキスト索引付け、イメージ索引付け、光学的文字認識、データベースサーバ、・・・のような特定のサービスを局部的に活動化することが可能か否かを決定するために）、局部的にホストされなければならない専用エージェントを起動する。その後、メディアベースマネジャ70はそれ自身を命名サービス（専用ユニットの参照ディレクトリ90）に登録するため、クライアントはそれを発見して、それに接続することができる。
【００３０】
メディアベースはモジュール71によって生成され、このモジュール71は、メディアベースマネジャ70上のセッションに接続して開くセッションを開いて実行する。モジュール71は、メディアベースのリソースの構成を定めるファイルを供給する。この構成に関与する各メディアベースマネジャ70の役目は、それが配置されているマシンのリクエストの部分を実行することである。
【００３１】
特定のアプリケーションに専用にされたメディアベースを起動したとき、メディアベースマネジャ70と同じマシンでホストされる必要のあるメディアベースのエージェントおよびサブエージェントの全てが付勢される。
【００３２】
エージェントの付勢とは、そのエージェントのコピーをメモリ中に生成し、そのエージェントをプラットホームのバスに接続し、そのエージェントを命名サービスに登録することである。
【００３３】
専用演算中央ユニットを構成しているユーザインターフェース80は、プラットホーム10に接続され、ドキュメント索引付けインターフェース30およびドキュメントサーチインターフェース40を備えている。
【００３４】
したがって、ユーザインターフェース80により、ユーザは最初にドキュメントを保管してそれに索引付けし、次にリクエストを表現し、それに応答して特定されたドキュメントを復元することが可能になる。
【００３５】
プラットホーム10に接続された識別子管理装置60は、無料で未使用の参照または参照のパケットを提供するように機能する専用機能ユニットを構成しており、データベースの各ドキュメントまたはデータベースの単一のドキュメントからの構成要素を特有の参照によって識別する。
【００３６】
システム中に存在する各エンティティ（ドキュメント、質問または構成要素）が特有の識別子を確実に有するようにするために、識別子マネジャ60はある参照を提供し、この参照は、それが呼出されるたびに使用されてはいない。
次に識別子マネジャ60はまた、ドキュメントまたは応答を受取った質問が消えた後、識別参照を解放する。
【００３７】
本発明のデータベース管理システムの重要な特徴は、特定のアプリケーション（たとえば、ビデオドキュメントの管理、紙ドキュメントの管理）専用にされた演算および機能専用ユニットの各セットを含むマルチメディアベータベースまたはメディアベースの構成である。
【００３８】
メディアベースの演算ユニットは本質的に、
・獲得モジュール20と、
・メディアプロセッサ200と、および
・メモリモジュール100とを備えている。
【００３９】
メディアベースはまた、ドキュメントサーバ300内の機能ユニットをグループ化する。
【００４０】
獲得モジュール20は、種々の獲得システム（スキャナ、カメラ、インターネットによりアクセス可能なサーバ、・・・）を駆動し、入ってきたドキュメントのフォーマットを内部フォーマットに変換する。
【００４１】
したがって、獲得モジュール20は、保管するためにドキュメントを開いてその内容を読取るように機能するエージェントである。それは、特定のタイプのドキュメントを読取るように構成された種々のメソッドから形成されている。このようにして入ってきたドキュメントは、たとえば、ＴＩＦＦ、ＧＩＦ、ＪＰＥＧ、ＡＶＩ、またはＭＰＥＧのようなタイプのものであることができる。
【００４２】
特定のタイプのドキュメントに適合されたメソッドを呼出すことにより、そのドキュメントは読取られ、その結果、それはオブジェクトを戻して（コンピュータ方向に）、データおよび前記データにアクセスするメソッドをグループ化する。例示すると、獲得モジュール20において実施される１つのメソッドは、所定の位置の画素値がイメージタイプのオブジェクトに適用されるときにそれを戻し、あるいは所定の位置のフレームがビデオタイプのオブジェクトに適用されるときにそれを戻すことができる。
【００４３】
メディアプロセッサ200は、ドキュメント解析モジュール201と、ドキュメントから構成要素を抽出する構成要素抽出モジュール202と、およびドキュメントの構成要素を構成する構成要素構成モジュール203とを備えている。
【００４４】
メディアプロセッサ200は、ドキュメントを保管する段階中に呼出される最初のエージェントである。それは、そのドキュメントの構成要素およびそれらをつなぐ関係を記述したドキュメントの構成記述を生成するために索引付けされるドキュメントの内容を解析する。ドキュメント解析モジュール201および構成要素抽出モジュール202は、統計学的解析、モデリング／トレーニング、および分類のために、イメージまたは信号を処理し、解析するための種々のツール［ウエーブレット（ｗａｖｅｌｅｔｓ）、フィルタ処理、アウトライン検出、一様性（ｕｎｉｆｏｒｍｉｔｙ）解析、テクスチャ、ペアリング、・・・］を備えている。それらの役割は、エレメント（イメージの画素、ビデオのフレーム、ドキュメント信号のサンプル）を同種の構成要素（ビデオ信号中のショット、フレームまたはイメージ内のテキストエリア、グラフィックスゾーン、サウンド゛オブジェクト、・・・）にグループ化することであり、これら同種の構成要素は分類され、その後適切な索引付けエージェントに送られる。このプロセスの第１のステップは、ドキュメントの各エレメントを属性（値のベクトル）と関連付けることであリ、この属性は、２つの隣接したエレメントが類似しているか否か、およびしたがって、それらが一緒にグループ化されることができるか否かを決定するように機能する。第２のステップは、各同種クラスのタイプを決定することである。
【００４５】
ドキュメントの各エレメントに関連付けられた値ベクトルから形成されたドキュメントの属性マトリックスを計算するために、いくつかの方法が使用される。使用される方法の1つは、ウエーブレット変換を適用する（ローパスフィルタおよびハイパスフィルタの２つの線形フィルタを適用する）ことによって得られるマルチスケール分解に基づいている。同種の構成要素は、類似した属性を有する隣接した同じラベルポイントの下でグループ化を行うことにより決定される。この動作の結果は、同じラベルを有する接続されたポイントに対応している同種のゾーン（元のドキュメントにおける）を規定するために使用されるラベル付けされたドキュメントである。最後のステップは、各ゾーンのタイプを識別することに当てられる。これを行うために、統計学的解析技術が各ゾーンに対して適応される。各構成要素は、適切な索引付けエージェントに送られる。構成要素の内容は、破壊されてシグナチャだけが保存されてもよい。元のドキュメントは、保管のためにデータベース101に送られる。
【００４６】
保管すべきドキュメントがテキストを含んでいるとき、解析および構成要素抽出の段階中に光学的文字認識（ＯＣＲ）エージェントを利用することが可能であり、したがって原文の構成要素の内容を符号化することが可能である。
【００４７】
構成要素構成モジュール203は、ドキュメントの構造を生成する。それは、ドキュメントの種々の構成要素の間の関係を決定してドキュメントの構造的表現を形成するために構成要素の位相空間をそれらの意味論的内容と共に利用する。それはまた、アプリケーションのドキュメントをモデル化するドキュメントタイプ記述（ＤＴＤ）に依存する。これは、そのアプリケーションのフィールドが明確に規定され、ドキュメントが１以上のＤＴＤによってモデル化されている場合にのみ可能である。
【００４８】
このようにして生成された構造（オブジェクトグラフ）はデータベース101に記憶され、マルチメディアドキュメントの種々の構成要素の間のリンクとして機能する。グラフの各具体的表現（オブジェクト）は、元のドキュメントが見出されることを可能にして、その構成要素に対応したデータゾーンの位置を決定する情報を含んでいる。
【００４９】
メモリモジュール100は、ドキュメントを形成している種々の構成要素の内容を記述（索引付け）し、この記述を元のドキュメントと一緒に保管するように機能する。
【００５０】
マルチメディアドキュメントの内容において特徴付けられる記述（すなわち、データを提供し、イメージ、音響、ビデオ、テキストのような異種のタイプの構成要素を組合せる構成されたオブジェクト）は、マルチメディアドキュメントに対する複合シグナチャまたは索引を構成する。
【００５１】
この記述は、各構成要素の内容の特徴および構成要素の間の関係の特徴を利用する。
【００５２】
メモリモジュール100は複合シグナチャを生成するために一緒に動作するある定まった数のエージェントを備えており、この複合シグナチャは索引付けされるべきデータベースの内容を特徴付ける。同じエージェントは、当該シグナチャまたは保管されたドキュメントの複合シグナチャを有する演算子から複合リクエストを抽出して比較するためにサーチ段階中に協同する。
【００５３】
したがって、同じマシンにおいて、あるいはインターネットまたはイントラネットにより接続された別のマシンにおいてホストされることのできるメモリモジュール100のエージェントおよびツールは、最初に、ドキュメントの内容および構造を細かく特徴付ける複合シグナチャ抽出して、その後それを記憶し、次に演算子によってなされた質問に表現された特定の情報を含むドキュメントの位置をつきとめることを可能にする。
【００５４】
メモリモジュール100は本質的にマルチメディアデータベース101および専用演算エージェントのセット102を備えている。
アセンブリ102は、構成要素に索引付けし、保管する少なくとも１つのエージェント121と、構成要素をサーチするエージェント122と、およびドキュメントの構造に関する情報を管理するエージェント123を備えている。
【００５５】
各エージェント121、122は特定のタイプのドキュメントの管理専用である。
索引付けおよび保管エージェント121として、およびサーチエージェント122として、特定の情報の管理専用のＩＭＡＳエージェントを使用することが可能である。
【００５６】
各ＩＭＡＳエージェントはそれ自身が、少なくとも２つのサブエージェントＰＩＭＡＳ１およびＰＩＭＡＳ２から構成されており、これらのサブエージェントＰＩＭＡＳ１およびＰＩＭＡＳ２はそれぞれ、画像情報を管理する特定の処理モードを使用し、ＰＩＭＡＳ１およびＰＩＭＡＳ２サブエージェントにおいてイメージに対して行われた特定の処理の結果得られたそのイメージの個々の構成要素に索引を割当てる。その後、イメージドキュメントの複合シグナチャは、ＰＩＭＡＳ１およびＰＩＭＡＳ２サブエージェントによって生成された個々の構成要素の索引を併合することにより形成される。
【００５７】
したがって、画像構成要素のリストへの索引付けは本質的に、このリスト中の別の構成要素およびデータベースの内容とは無関係に処理された各構成要素の局部索引を計算するステップと、および、たとえば、主構成要素解析（ＰＣＡ）に基づいたアルゴリズムを使用して、たとえば、シグナチャを表す減少されたベクトル空間中に索引を投影すること等によって標準化されたシグナチャを生成するステップとを含んでいる。たとえば、あるイメージは、全体的なカラーおよび局部的なカラーによって特徴付けられることができる。
【００５８】
索引付けおよび保管エージェント121として、およびサーチエージェント122として、画像情報の管理を専用に行う１以上のＩＭＡＳエージェントを使用することができるだけでなく、オーディオデータの管理を専用に行う１以上のＡＭＡＳエージェント、ビデオデータの処理を専用に行う１以上のＶＩＤＡＳエージェント、および原文の情報の管理を専用に行う１以上のＴＥＭＡＳエージェントを使用することもまた可能である。
【００５９】
イメージを記憶し、テキストを記憶する専用演算エージェントは、画素データおよび純粋なテキストデータをそれぞれデータベース101に記憶するために設けられている。
【００６０】
テキストドキュメントの索引付けおよびサーチ専用のＴＥＭＡＳエージェントは、ドキュメントデータベースに自然言語で質問するために使用されることができる。リクエストを処理するために、ＴＥＭＡＳエージェントは質問とベース中の全てのドキュメントとの間の意味論的近さの程度を計算し、その後そのドキュメントをそれらの意味論的近さの程度に応じた順序に分類する。
【００６１】
テキストに索引付けするプロセス中、データベース中に導入されることとなるテキストは、言語学的処理を受け、その後統計学的処理を行われる。
【００６２】
言語学的処理について、その目的は、所定のテキスト中に含まれている概念を抽出して表現することである。ＴＥＭＡＳエージェントのコアは、ある数の言語学的機能によって構成されている。このコアは、たとえば、３つの言語（フランス語、英語、ドイツ語、・・・）で利用できる概念の辞書と質問を公式化するルールに依存し、この概念は一般的または個人的（すなわち、特定のテーマまたは分野に関連した）であることができる。前記コアの動作の原理は、索引付け中および情報をサーチしているときの両期間中の方言語学的解析に基づいている。この解析により、単語の全ての形（語形変化、単一／複数、頭字語、・・・）を認識し、曖昧さをなくす（たとえば、フランス語の名詞“ｏｒ”［＝金］と等位接続詞＜ｏｒ＞とを区別するために）ことが可能になる。言語学的解析は“移民労働者”のような言語学的依存性を認識する等の、別のオプションを提供する。
【００６３】
統計学的解析の目的は、字句単位に加重して、データベース中の稀な概念に対してもっと強い識別力を与えることである。
【００６４】
再公式化段階により、質問が等価な表現（油および石油）に拡大され、および、または漠然とした用語を明瞭にすることが可能になる。
【００６５】
ＴＥＭＡＳエージェントは、１以上のコアが統合されることを可能にするように設計されている。ＴＥＭＡＳエージェントにおいて統合されることのできるコアの一例は、サプライヤＴＧＩＤによって与えられ、ＳＰＩＲＩＴ［原文の情報に索引付けし、サーチする言語的（ｓｙｎｔａｃｔｉｃ）および確率システム］と命名される。
【００６６】
メモリモジュール100はまた、とくに、
種々の演算エージェントを配列する；
変化しているエージェントのサービスへのアクセスを一様化し、均質にする；
エージェントの特定の特徴、割当および実施詳細を隠す；
種々の演算エージェントが互いに共同利用できることを保証する；
マルチメディアドキュメントの単一の高レベルの表現を提供する等のような機能を行うためのある定まった数の専用機能エージェントまたはツールから構成されたあるレベルを備えている。
【００６７】
メディアベースは、索引付けドキュメントの保管およびドキュメントのサーチを行うストラテジを分割し、情報が本物であることを証明し、およびその適切さを評価するようにドキュメントサーバ300によりグループ化される種々の機能ユニットを備えており、このドキュメントサーバ300はドキュメント保管および位置決定プロセスを駆動し、したがってシステムの種々のエージェントを配列するように機能する。
【００６８】
ドキュメントサーバ300は、システムの種々のユニットを配列するエージェント301と、ドキュメント索引付けを駆動するエージェント302と、およびドキュメントのサーチを駆動するエージェント303とを備えており、これらのエージェントはプラットホーム10を介して通信し、協同する。
【００６９】
配列エージェント301は、保管およびサーチのプロセスが可能な最良の条件下において最短の時間で行われるようにユーザによって規定された制約の関数としてハードウェアリソースを最適化するように意図されている。
【００７０】
管理人により選択された構成を解析したとき、配列エージェント301は、可能な限り多くの処理が各エージェント内において並列に行われるようにしながらネットワーク内の通信が減少されることを可能にする実行ストラテジを考え出す。例示すると、画像データの処理を専用に行う６つのＩＭＡＳエージェントを有する構成では、第１のマシンＭ１上にホストされた４つのＩＭＡＳエージェント（ＩＭＡＳ１１、ＩＭＡＳ１２、ＩＭＡＳ１３、ＩＭＡＳ１４）と、第２のマシンＭ２上にホストされた２つのＩＭＡＳエージェント（ＩＭＡＳ２１、ＩＭＡＳ２２）とを有することが可能である。
【００７１】
別の例において、複数のエージェントＩＭＡＳｉｊ（ＩＭＡＳ１１、ＩＭＡＳ１２、ＩＭＡＳ１３、ＩＭＡＳ１４、ＩＭＡＳ２１、ＩＭＡＳ２２）が利用可能である場合に、ビデオデータの処理を専用に行うＶＩＭＡＳエージェントを使用して実行される第１の処理と、およびそれに後続する画像情報の処理を専用に行うＩＭＡＳエージェントによりイメージに関して行われる第２の処理を使用してビデオ信号を表現したとき、配列エージェント301はＶＩＭＡＳエージェントとＩＭＡＳｉｊエージェントとの間におけるアレンジャ生産者／消費者タイプのポリシーを定める。
【００７２】
ＶＩＭＡＳエージェントが識別されたシーケンスを表現するイメージを生成すると、そのイメージは最も軽い重さで負荷された個々の索引付けエージェントＩＭＡＳｉｊに割当てられる。個々の索引付けエージェントＩＭＡＳｉｊの負荷は、その入口待ち行列の中に存在するオブジェクトの複雑さの関数として評価され、複雑さはサイズ、均質度、・・・に依存する。
【００７３】
その後、ドキュメント索引付けドライバエージェント302により駆動されるマルチメディアドキュメントに索引付けし、あるいはこれをサーチするプロセスの記述が続く。
【００７４】
ドキュメントサーバ300は、ひとたび保管のためにドキュメントを受取ると、専用ユニット参照ディレクトリ90を使用することによりＩＭＡＳ、ＴＥＭＡＳ、ＡＭＡＳ、ＶＩＭＡＳエージェントのような索引付けおよびサーチエージェントの参照を検索し始める。
【００７５】
１組のドキュメントは、プラットホーム10に接続されたリソースの関数として並列に索引付けをされることができる。
各索引付けグループは、索引付けされる、たとえば、画像ドキュメント等のドキュメントパケットを受取り、各インデクサ（ｉｎｄｅｘｅｒ）がパケット中のイメージの内容だけを表現する局部索引を設定する。
局部索引付けの結果は、インデクサの各グループ（たとえば、第１のグループのインデクサＩＭＡＳ１１、ＩＭＡＳ１２、ＩＭＡＳ１３、ＩＭＡＳ１４、および第２のグループのインデクサＩＭＡＳ２１、ＩＭＡＳ２２）内において併合され、おそらく、標準化される。
その後、各イメージに対して生成された索引の全体的な併合が行われる。
【００７６】
ユーザの視点から、マルチメディアドキュメントを保管するプロセスは以下のとおりである：
オペレータは、アクセス制御プロセスによってシステムに接続する。このプロセスは、ひとたびその検査に成功すると、ホームウインドウが表示され、それによってオペレータは、索引付けインターフェース30を使用してアプリケーションのフィールド（たとえば、走査された紙のドキュメント、ビデオ、写真、音響、・・・）を選択することが可能になると共に、索引付けプロセスを開始する前に、保管するためにドキュメントを選択することが可能になる。
【００７７】
索引付けドライバエージェント302はリクエストを受取って、議論を解析し、保管されるべきドキュメントを開いてその内容を読取る獲得モジュール20と、構造およびドキュメントを形成している構成要素を抽出するように機能するメディアプロセッサ200と、ならびにドキュメントを記述し、表現するように機能する複合シグナチャを生成するメモリモジュール100とを順番に付勢する。
【００７８】
メモリモジュール100内において、ドキュメントから抽出された各構成要素に対して、ドキュメントサーバ300は適切な索引付けエージェント121を呼出す。したがって、イメージタイプの構成要素に索引付けするためにＩＭＡＳエージェントが呼出され、テキストタイプの構成要素に索引付けするためにＴＥＭＡＳエージェントが呼出され、音響信号タイプの構成要素に索引付けするためにＡＭＡＳエージェントが呼出され、ビデオ信号タイプの構成要素に索引付けするためにＶＩＭＡＳエージェントが呼出される。ドキュメントの構造を規定する種々の構成要素の間の関係は、データベース101に記憶される。したがって、データベース10は複合シグナチャおよび元のドキュメントだけを保存する。保管プロセスの報告書は、保管メソッドからの復帰（ｒｅｔｕｒｎ）値としてクライアントに送られる。
【００７９】
索引付けドライバエージェント302に対するコマンド指令シーケンスの一例を以下に示す。
ドキュメントが索引付けされている期間中に以下が行われる：
【数１】
2005505080.tif 000003
【００８０】
図２のフローチャートには、マルチメディアドキュメントに索引付けする本発明の方法の主要なステップ401乃至410が要約されている。
ステップ401では、索引付けされるべきドキュメントＤｉが入力される。
ステップ402では、特有の識別子ＩｄをドキュメントＤｉに割当てる。
ステップ403では、獲得モジュールによりドキュメントＤｉを読取る。
ステップ404では、ドキュメントＤｉが解析され、同種の構成要素（ビデオ、イメージ、テキスト、音響、・・・）が抽出され、構成される。
ステップ405では、特有の識別子Ｉｄcが各同種の構成要素に割当てられる。
ステップ406では、各同種構成要素の内容を特徴付けるために索引付けエージェントを各タイプの同種の構成要素に割当てる。
ステップ407では、各同種の構成要素に対する同種のオブジェクトを抽出し、構成する。
ステップ408では、異なった同種の構成要素に属するエレメントの間に関係が存在するならば、それらを設定する。
ステップ409では、複合セパレータを抽出する。
ステップ410では、マルチメディアドキュメントＤｉをその識別子およびその複合シグナチャと共に記憶する。
【００８１】
このようにして、本発明では、保存されるべきドキュメントＤｉに対して、本発明の方法は、同種の構成要素を抽出し、構成することによって開始し、その後、同種の構成要素の各タイプについて、各同種の構成要素に対して同種のオブジェクトを抽出し、構成することにより進行する。
【００８２】
さらに、本発明のある特徴において、各同種の構成要素に対して同種のオブジェクトを抽出し、構成したとき、特定の処理モードをそれぞれ使用する少なくとも２つのサブエージェント（たとえば、ＰＩＭＡＳ１およびＰＩＭＡＳ２エージェント）から構成された少なくとも１つの２部分専用索引付けエージェント121（たとえば、ＩＭＡＳエージェント）が利用される。
【００８３】
以下において、メディアプロセッサ200に組込まれ、テキストおよびイメージの両者を含む紙のドキュメントの処理に適用可能なセグメンタエージェントの一例を示す。セグメンタエージェントは、ドキュメントを分割して、画像エレメントおよびテキストエレメントをそれぞれ有するＩＭＡＳおよびＴＥＭＡＳのような異なった専用索引付けエージェントにフィードするように機能する。画像構成要素とテキスト構成要素との間の構造上の関係は識別され、データベースに記憶された複合シグナチャで統合される。
【００８４】
ドキュメントの電子管理には、走査されたカラーイメージを処理し、テキスト、イメージおよびグラフィックスのゾーンを含む多数の背景を含むことを必然的に伴なう。使用される解像度は一般に１インチ当り３００ドット（ｄｐｉ）である。これは、プリントされた文字の良好な光学的認識が通常の光学的文字認識ソフトウェアを使用することにより可能であるためである。上記に提案されたメソッドは、ドキュメントページの背景を抽出し（一般に、Ａ４フォーマットで）、その後“テキスト”ゾーン、“グラフィックス”ゾーン、および“イメージ”ゾーンを統計学的方法に基づいて識別する。
【００８５】
セグメント化はまた、たとえば、空、屋根、道路、車等の特性エンティティまたはオブジェクトを抽出するために通常のイメージに対して適用されることができる。
一例として、３００ｄｐｉの解像度でＪＰＥＧフォーマットを使用してカラーでデジタル化されたイメージが考えられる。
【００８６】
一般に、Ａ４ページ、すなわち、２４８０×３５００画素に対して、それは平面当り８ビットで符号化する赤、緑および青（ＲＧＢ）に対して約２６メガバイトになる。これらのイメージは、ＲＢＧをＨＬＳ（色調、輝度、彩度）にコード変換（ｔｒａｎｓｃｏｄｅ）することによって変換される。データの量を減少させるために輝度部分だけを処理することが可能である。輝度帯域のサイズは約８メガバイトである。
【００８７】
種々の背景は累積ヒストグラムにおける最大値を連続的にサーチすることにより抽出される。
このメソッドは、輝度帯域にわたってヒストグラムＨ（ｉ）を計算することにより始まる（図８）。その後、以下の式を使用することにより、累積ヒストグラムＨｃ（ｉ）における最大値がサイズＴのセグメント中に見出される：
【数２】
2005505080.tif 000004
【００８８】
得られた第１の最大値ｉ＝Ｍａｘ（１）に対して、動的しきい値を適用することによりラベルが伝播され、各ラベルを付けられた接続領域に対して、画素でのそのサイズが保存される。領域は、そのサイズが十分である場合にのみ、妥当とされる。
画素のグレーレベルの値はｖａｌと書込まれる。
ラベル付けが派生した（すなわち、領域の一部をすでに形成している）接続された画素は値ａｎｃｖａｌを有している。
静的しきい値化は、画素値がｉ＝Ｍａｘ（１）乃至ｉ＋Ｔの範囲内にある場合にのみ、ラベルを伝播する。
【００８９】
対照的に、動的しきい値化はもっと寛容である：
ラベル付け中さらにフレキシブルであるために係数Ｃがメソッドに導入される。
静的基準が満足されないとき、すなわち、ｖａｌがセグメント［しきい値、しきい値＋Ｔ］中に存在しないとき、２つのテストが行われる：
・しきい値＋Ｔ≦ｖａｌおよびａｂｓ（ｖａｌ−ａｎｃｖａｌ）≦Ｔ＊Ｃならば、しきい値＝ｖａｌ−Ｔ；
・ｖａｌ≦しきい値およびａｂｓ（ａｎｃｖａｌ−ｖａｌ）≦Ｔ＊Ｃならば、しきい値＝ｖａｌ。
【００９０】
動的基準において、しきい値は変化し、画素の値の関数であることが認められる。
１に等しい係数については、ｉ＝Ｍａｘ（１）＝元のしきい値からｉ＋Ｔまでの範囲内の値の画素だけが考慮される。静的しきい値化の場合に減少された場合、しきい値の値は一定のままであり、ｉ＝Ｍａｘ（１）によって与えられる。
【００９１】
ラベル付けは、基準を満足させる画素がなくなるまで４または８の連結数（ｃｏｎｎｅｃｔｉｖｉｔｙ）を使用して伝播される。その後、ラベル付けされた領域は、それが妥当であること（新しいパラメータｒｅｇｉｏｎ ｍｉｎ ｓｉｚｅの導入）を可能にする十分なサイズのものであることが確認される。そのサイズがｒｅｇｉｏｎ ｍｉｎ ｓｉｚｅより小さい場合、それは拒否される。
イメージの走査は、ｉ＝Ｍａｘ（１）の同じ値を維持しながら続行される。
【００９２】
この第１のステップ中にラベル付けされた（その領域が妥当であるとされた）各画素は、その値がａｌｒｅａｄｙ ｌａｂｅｌｌｅｄに設定される。
その後、ヒストグラム計算が繰返され（ラベルを付けられていない画素だけを考慮して）、新しい最大値ｉ＝Ｍａｘ（２）が見出され、その後動的しきい値化が繰返される。
このステップは、イメージ中の少なくとも９５％の画素が処理されるまで何度も繰返される。
【００９３】
アルゴリズムにおけるこのステップでは、ドキュメントを構成する種々の異なった背景が抽出されている。“テキスト”または“文字”ゾーンは“ラベル付けされていない画素”（図９）の形態で背景内に存在する。
【００９４】
穴をふさいで文字を結びつける（図１０）ために、ラン長平滑化アルゴリズム（ＲＬＳＡ）が垂直方向および水平方向に適用される。
“グラフィックス”または“イメージ”ゾーンはこの動作の影響を全く、あるいはほとんど受けない。
したがって、“イメージ”タイプのブロックに関するＲＬＳＡ平滑化方法の結果、単一のブロックを構成しているものとして依然見られるイメージ部分が得られる。
【００９５】
その後、各背景において見出された種々の（長方形）ブロックを抽出するためにラン長コード化（ＲＬＣ）が適用される。
【００９６】
最後に、これらのブロックの特性（テキスト、イメージまたはグラフィックス）を決定するために、統計学的方法がそれらに関して適用される。
【００９７】
これらの統計学的方法が適用されることを可能にする測定は次のとおりである：
・ブロックのサイズを測定する；
・各ブロック内のヒストグラムを計算する（テキスト、グラフィックスおよびイメージブロックが識別されることを可能にする）。“テキスト”ブロックは２つのピーク（背景および文字）を有し（図１１）、“グラフィックス”ブロックは限られた数のピークを有し、イメージブロックに対するヒストグラムは広く、密度が高い（図１２）；
・平均背景値とは異なった値の画素に対する分散を測定する。“テキスト”ブロックおよび“グラフィック”ブロックは、“イメージ”ブロックと比較して小さい値を有している。；
・隣接する３×３、５×５、７×７および９×９に対するクロスバリアンス（ｃｒｏｓｓ−ｖａｒｉａｎｃｅ）を測定する。
【数３】
2005505080.tif 000005
【００９８】
注釈：
ｖａｌは、Ｉ（０，０）に対する画素の値である；
ｖ［１］［４］は、Ｉ（−４，−４）に対する画素の値である；
ｖ［４］［４］は、Ｉ（４，４）に対する画素の値である；
ｍiは、サイズｉ×ｉのクロスにおける平均である；
ｖｃiは、サイズｉ×ｉのクロスにおける分散である；
ｍ3＝（ｖ［１］［１］＋ｖ［２］［１］＋ｖ［３］［１］＋ｖ［４］［１］＋値）／５
ｖｃ3＝（ｖ［１］［１］2＋ｖ［２］［１］2＋ｖ［３］［１］2＋ｖ［４］［１］2＋値2）／５−ｍ32
【００９９】
ｖｃiの値は、過去には線形分類、パラメトリック分類、または、たとえば、ＫＥＭＡＮ（Ｋ個の最隣接）等の非パラメトリック分類のような通常の分類方法を使用して決定することのできなかったテキスト、グラフィックスおよびイメージブロックを特徴付けるように機能する。
【０１００】
マルチメディアドキュメントの同種の構成要素または同種のオブジェクトを同種の構成要素内から分離するように機能する別のタイプのセグメント化エージェントもまた、当然、設けられることができる。同種のオブジェクトの例には、とくに、ビデオ信号のキーフレーム、フレームまたはイメージ内のテキストのゾーン、特有の形状、文字、音、リズム、・・・が含まれる。
【０１０１】
テキストのイメージおよびブロックを参照として上述したセグメント化プロセスは、マルチメディアドキュメントの音響構成要素からエレメントを抽出するためにヒストグラムに基づいた同じアプローチを使用して、類似したやり方で適用されることができる。
【０１０２】
このような状況において、音響信号の種々の同種の構成要素（音域、楽音、リズム、…）は、累積ヒストグラム中の最大値を連続的にサーチすることによって抽出される。この方法は、信号のヒストグラムを計算することにより、あるいはその変換（たとえば、ウエーブレットまたはフーリエタイプの変換等）により開始される。その後、サイズＴのセグメントに対する累積ヒストグラムＨc（ｍ）中の最大値のサーチが次式を使用して行われる：
【数４】
2005505080.tif 000006
【０１０３】
得られた第１の最大値に対してある数が与えられ、動的しきい値を適用することによりこの数が伝播される。音域は、そのサイズが十分である場合に保存される。
【０１０４】
ヒストグラム計算は、処理されていないポイントおよび新しい最大値が見出されたポイントに対して繰返され、その後、動的しきい値化を使用して伝播が再開される。このステップは、少なくとも９０％のポイントが処理されるまで、何度も繰返される。穴をふさぐためのＲＬＳＡタイプの方法は、同じ数を有すると同時にそれほど離れていない音域を結びつけるように機能する。
【０１０５】
ビデオ信号では、たとえば、ビデオタイプの構成要素に索引付けするＶＩＭＡＳエージェントは、互いに似ている連続したイメージがイメージの同種のシーケンスを形成するようにグループ化されることを可能にするセグメント化エージェントを含むことができ、したがってイメージの同種のシーケンスのいくつかはそれら自身がイメージタイプの構成要素に索引付けするＩＭＡＳエージェントによって処理されることができる。
【０１０６】
イメージの同種のシーケンスは、ウエーブレットに分解し、その後連続したイメージの両方向性ヒストグラムを比較することによって識別されることができる。
【０１０７】
上記においてすでに述べたように、保管段階中、獲得モジュールによって供給されたマルチメディアドキュメントを構成するオブジェクト（テキスト、イメージ、ビデオ信号、音響、動画化されたベクトルグラフィックス）は識別され、その後、その内容および前記構成要素（構造）の間の関係グラフは、各構成要素を抽出して同種のオブジェクトに構成し、最終的にマルチメディアドキュメントを形成している全てのエレメントの内容を特徴付けて表現する複合シグナチャを生成するために専用エージェントによって解析される。複合シグナチャは、所望のドキュメントの位置をつきとめるために比較されるようにデータベース101に記憶される。
【０１０８】
サーチ段階中、ドキュメントサーチインターフェース40、ドキュメントサーバ300のサーチ駆動エージェント303、およびメモリモジュール100の専用サーチエージェント122は、大量のマルチメディアドキュメント内のドキュメントを識別するために協同する。
【０１０９】
リクエストにより、テキスト、音響および画像特徴は、３つの全てのケースについて、内容による質問を使用して混合されることができる。画像データについて、その意図は、ある視覚基準（演算子により指定されたテクスチャ、カラー、形状、フラグメント）または意味論的基準（テクスチャの記述およびイメージ中に存在するオブジェクトに対する関係グラフ・・・）を満足させるシグナチャを有するイメージまたはイメージのシーケンスを見出すことである。音響リクエストは、類似している信号（たとえば、楽音）を見出す必要性を表現する。言語学的解析技術を使用することにより、テキストは自然言語を使用して質問される。システムは、質問を公式化するために使用された言語以外の言語で書込まれたドキュメントを発見することができる。自由形式のテキストのサーチは、構文構造を解析するツールおよび再公式化メカニズムを使用することによって行われることができる。
【０１１０】
リクエストは複合リクエストの内容を解析するドキュメントサーバ300により処理され、その後、演算子のプロファイル、索引付けおよびサーチエージェントの各容量、環境の状況の関数として適切なサーチエンジンを呼出し、応答を公式化する。
【０１１１】
所望のドキュメントの位置をつきとめるために、サーチプロセスは、保管段階中に生成された情報を利用する。所望の情報の位置をつきとめるプロセスは、オペレータに対して完全に透明である。このオペレータは視覚インターフェースを介してシステムと対話し、マルチモードの複合質問を使用する。これらの質問は１以上の個々の質問：自然言語で表現されたテキスト質問、画像質問（たとえば、例示すると）、および音響質問から構成されている。これらの個々の質問は、論理演算子（アンド、オア、ノット）、述語／属性（はタイトルである、のタイトル、要約、主題、・・・）、および因数分解演算子によって結びつけられる。これらの種々のリンクは、応答ドキュメントが満足させなければならない制約を表現する。したがって、例示すると、複合質問は２つの個々の質問から構成されており、それらの一方はテキスト質問（Ｔｅｘｔ１）であり、他方は画像質問（Ｉｍａｇｅ１）であり、それらの間のリンクは、（Ｔｅｘｔ１  ｉｓ ｔｈｅ ｌｅｇｅｎｄ ｏｆ  Ｉｍａｇｅ１）と定義された述語であることができる。この述語は、テキスト“Ｔｅｘｔ１”およびイメージ“Ｉｍａｇｅ１”を含み、Ｔｅｘｔ１がＩｍａｇｅ１の説明文であるドキュメントだけが演算子に送られる制約を表現する。このリクエストは、２つの異なった方式で実行されることができる。
【０１１２】
第１のメソッドにおいて、最初に、説明文を有するイメージを含む全てのドキュメントのサーチが行われる。その後、これらのドキュメントは“Ｔｅｘｔ１”および“Ｉｍａｇｅ１”の両者を含むものだけを保存するようにフィルタ処理される。サーチの第１のステップはドキュメントに関する構造的な情報だけを利用する。しかしながら、第２のステップはテキストおよび画像構成要素の内容を利用する。
【０１１３】
第２のメソッドは、“Ｔｅｘｔ１”が存在するテキスト構成要素を含む全てのドキュメントおよび“Ｉｍａｇｅ１”が存在する画像構成要素を含む全てのドキュメントの位置を並行してつきとめることにより始まる。その後、オペレータによってリクエストされたものだけを保存するために各ドキュメントの構造が解析される：各応答テキスト構成要素は、応答画像構成要素の説明文でなければならない。
【０１１４】
図３には、マルチメディアドキュメントサーチメソッドの主要なステップが示されている。
ステップ421では、複合リクエストＱCを力する。
ステップ421aでは、特有の識別子を複合リクエストに割当てる。この識別子は所定のリクエストに対する応答をグループ化するように機能する。
ステップ422では、複合リクエストＱCを解析し、同種のリクエストおよびユーザ制約関係を抽出する。
ステップ423では、特有の識別子を各同種のリクエストに割当てる。
ステップ424では、同種のリクエストを処理する。
ステップ425では、ユーザ制約を考慮しながら応答を公式化する。
ステップ426では、応答を適切な順序に分類する。
ステップ427では、応答を提供する。
【０１１５】
図７は、保管プロセスの主要なステップとサーチプロセスの主要なステップとの比較を示している。
保管段階の期間中、マルチメディアドキュメントを導入するステップ501と、構成要素を識別するステップ502と、およびデータベース101に保管するために複合シグナチャを生成するステップ503とが行われる。
【０１１６】
サーチ段階の期間中、複合質問を実行依頼するステップ521と、この質問を分解するステップ522と、複合シグナチャを生成するステップ523と、この生成された複合シグナチャをデータベース101中に記憶されている複合シグナチャと比較するステップ524と、および応答を適切な順序で提供するステップ525とが行われる。
【０１１７】
サーチ段階でリクエストまたは質問を表現するために、ユーザはアクセス制御プロセスによってシステムに接続する。このプロセスはその動作がひとたび成功すると、ホームウインドウが開き、それによってユーザは、ドキュメントサーバ300に実行依頼された複合リクエストを表現することが可能になる。
【０１１８】
図５に示されている特定の実施形態において、オペレータは、視覚マルチメディアドキュメント問合せ言語（ＶＭＤＱＬ）として知られている視覚記述言語を使用することによってリクエストを行う。このＶＭＤＱＬリクエスト（モジュール601）からスタートし、ユーザインターフェース（モジュール602）がＭＤＱＬスクリプト（モジュール603）を生成する。モジュール604において、最初にその質問の構文法がＭＤＱＬ言語の文法に従っていることを解析して確認し、次にリクエストの処理に関係するサーチエージェント（ＴＥＭＡＳエージェント605、ＩＭＡＳエージェント606、またはドキュメント構造をサーチするエージェント607のような）に適用するためにユーザの質問を呼出しスクリプトに翻訳するために、語彙、構文および意味解析技術が使用される。スクリプトはまた，種々のエージェントによって与えられた応答が公式化される（応答を公式化するモジュール608）方式を表現する述語を含んでいる。順序付けられた応答は、データベース（モジュール610）中に記憶されたデータに基づいて表示される（モジュール609）。
【０１１９】
質問を入力し、それが処理されることを保証することを担当するドキュメントサーバ300のサーチ駆動エージェント303は、ある数の個々のモジュールから構成されている（図６参照）。
【０１２０】
リクエスト解析モジュール621は複合質問またはリクエストを解析して個々の質問に分解し、その後それらの各々に対して呼出しモジュール622を使用して、メモリモジュール100内の最も適したサーチエージェントを呼出す。したがって、ＴＥＭＡＳエージェント631はテキスト質問を処理するために呼出されることができ、一方ＩＭＡＳエージェント632は画像質問を処理するために呼出されることができる。これらのエージェントはそれぞれ、それが受取った質問に索引付けし、その後類似性スコアを決定するために、これらの索引を保管段階中に生成されたものと比較する。これらのエージェントにはドキュメントが局部的にしか見えておらず、それらエージェントはそれらに関係する構成要素だけを、各ブロックをその元のドキュメントに結びつけるオブジェクトと一緒に受取る。したがって、サーチエージェントにより戻された応答はトリプレット（スコア、保管段階中に元のドキュメントと関連付けられたオブジェクトの参照（ｉｄＤｏｃｕｍｅｎｔ）、構成要素識別子（ｉｄＣｏｍｐｏｎｅｎｔ））のシーケンスによって構成されている。
【０１２１】
とくに、４つの段階でリクエストが処理され、応答が公式化される：
１．所定のタイプの項がグループ化される：局部応答公式化（サーチエージェント内の）を促進するために、および論理演算子を因数分解して置換するプロセスを適用して、制約式の中の同じタイプの項がグループ化される。したがって、たとえば、制約式は：
−  Ｔｅｘｔ１およびＩｍａｇｅ１ならびにＴｅｘｔ２は書込まれることができる：
−  Ｔｅｘｔ１およびＴｅｘｔ２ならびにＩｍａｇｅ１は、
−  式（１）において、リクエストＴｅｘｔ１およびＴｅｘｔ２はＴＥＭＡＳエージェントに送られ、Ｉｍａｇｅ１はＩＭＡＳエージェントに送られる。これらのリクエストが処理された後、ＴＥＭＡＳエージェントは２つの応答のリストｔｅｘｔＡｎｓｗｅｒｓ１およびｔｅｘｔＡｎｓｗｅｒｓ２を戻し、一方ＩＭＡＳエージェントは単一の応答のリストｐｉｃｔｕｒｅＡｎｓｗｅｒｓ１を戻す（それが１つのリクエストしか受取っていないため）。３つのリストはドキュメントサーバ300において併合される（アンド動作）。
−  式（２）において、リストは２つのステップで併合され、応答ｔｅｘｔＡｎｓｗｅｒｓ１およびｔｅｘｔＡｎｓｗｅｒｓ２はＴＥＭＡＳエージェントにおいて局部的に併合される。その結果はドキュメントサーバに送られて、ＩＮＡＳエージェントによって送られた結果と併合される。この方法の利点は、それが応答を転送するのに要する時間および中間の応答をドキュメントサーバに記憶するために必要とされる空間を減少させることである。
【０１２２】
２．リクエストに対する特有の識別子を生成し、サーチエージェントを呼出し、この呼出しは各エージェントが受取る最小単位の（ａｔｏｍｉｃ）リクエストのリストを各エージェントに渡すことによって行われる。その後、各エージェントはそれに割当てられたリクエストを処理する。時間を短縮するために、およびリソースがこれを可能にした場合に、リクエストは並列に処理される。並列処理が管理される方式（すなわち、システムベースの機能である、タスクを生成して分配するプロセスおよび調整するプロセス）はユーザに対して透明である。
【０１２３】
３．同じタイプの応答は、サーチエージェントにおいて局部的に融合され、その後ドキュメントサーバにおいて応答リストが全体的に融合される。サーチプロセスが実効的で頑強であることを保証するために、呼出し、リクエスト処理および応答併合は局部的であるか、あるいは全体的であるかにかかわらず、それらは全て各々のオートマトンによって行われる。簡明にするために、このようなオートマトンの文法は、ＹＡＣＣ（）の構文から暗示を受けて記述される。ＹＡＣＣ（ｆｏｒ“ｙｅｔ  ａｎｏｔｈｅｒ  ｃｏｍｐｉｌｅｒ  ｃｏｍｐｉｌｅｒ”）は意味解析生成手段、すなわち、プログラムである。そのプログラムは、言語の文法的な詳述を前記言語に対する解析プログラムに変換するプログラムである。文法は、ある定まった数の生成ルールから構成されている。ＹＡＣＣにより、これらの各ルールは、そのルールが満足されたときに実行されるアクションと関連付けられることが可能になる。このアクションは、書込まれたコードがその文法と関連付けられることを可能にすることを決めた規定を伴なってＣ／Ｃ＋＋言語で書込まれる：
【数５】
2005505080.tif 000007
【０１２４】
この例では、文法は２つの手続きルール（１）および（２）によって構成されている。ルール（１）は、ひとたびルールが分解されると実行されるアクション１（）と関連付けられている。さらに詳細な内容は、Ｏ’Ｒｅｉｌｌｙ  ＆  Ａｓｓｏｃｉａｔｅｓ，Ｉｔｄ．により出版されたＪｏｈｎ  Ｒ．Ｌｅｖｉｎｅ，Ｔｏｎｙ  ＭａｓｓｏｎおよびＤｏｕｇ  Ｂｒｏｗｎ氏らによる文献（“ｌｅｘ  ＆  ＹＡＣＣ”）を参照とされたい。
【０１２５】
マルチメディアリクエストを処理し、応答を公式化するために使用されたオートマトンの文法は、１つのアクションとそれぞれが関連付けられている２０の生成ルール（１）によって構成されている。
【０１２６】
（１）  制約式  ：：  ｕｎａｒｙＣｏｎｓｔｒａｉｎｔ
｛
最終結果をドキュメントサーバに送信する
アクション１
｝
（２）                  ｜  ｂｉｎａｒｙＣｏｎｓｔｒａｉｎｔ
｛
最終結果をドキュメントサーバに送信する
アクション２
｝
（２）  ｂｉｓ            ｜  ｎ−ａｒｙＣｏｎｓｔｒａｉｎｔ
｛
最終結果をドキュメントサーバに送信する
アクション２
｝
（３）                  ｜  ｕｎａｒｙＣｏｎｓｔｒａｉｎｔ  OPERATOR  ｃｏｎｓｔｒａｉｎｔＥｑｕａｔｉｏｎ
｛
応答リストが到着したときのそれらのメモリモジュールによる併合およびドキュメントサーバへの最終結果の転送
｝
（４）                  ｜  ｂｉｎａｒｙＣｏｎｓｔｒａｉｎ  OPERATOR  ｃｏｎｓｔｒａｉｎｔＥｑｕａｔｉｏｎ
｛
応答リストが到着したときのそれらのメモリモジュールによる併合およびドキュメントサーバへの最終結果の転送
｝
（４ｂｉｓ）              ｜  ｎ−ｎａｒｙＣｏｎｓｔｒａｉｎ  OPERATOR  ｃｏｎｓｔｒａｉｎｔＥｑｕａｔｉｏｎ
｛
応答リストが到着したときのそれらのメモリモジュールによる併合およびドキュメントサーバへの最終結果の転送
｝
（５）                  ｜  （ｃｏｎｓｔｒａｉｎｔＥｑｕａｔｉｏｎ）
｛
ドキュメントサーバへの最終結果の転送
｝
（６）                  ｜  EMPTY
；
（７）  ｂｉｎａｒｙＣｏｎｓｔｒａｉｎｔ  ：：  ｈｏｍｏｇｅｎｅｏｕｓＢｉｎａｒｙ
｛
結果リストをメモリモジュールに転送する
｝
（８）                  ｜  ｈｅｔｅｒｏｇｅｎｅｏｕｓＢｉｎａｒｙ
｛
結果リストをメモリモジュールに転送する
｝
；
（９）  ｕｎａｒｙＣｏｎｓｔｒａｉｎｔ  ：：        TEXT
｛
ＴＥＭＡＳを呼出す；リクエストを処理し、その応答を送信する
｝
（１０）                ｜    TEXT  ATTRIBUTE
｛
ＴＥＭＡＳを呼出す；リクエストを処理する；結果を局部的にフィルタ処理し、その応答リストを送信する
｝
（１１）                ｜    画像
｛
ＴＥＭＡＳを呼出す；リクエストを処理し、その応答リストをドキュメントサーバに送信する
｝
（１２）                ｜    画像属性
｛
ＩＭＡＳを呼出す；リクエストを処理する；その結果を局部的にフィルタ処理し、その応答を転送する
｝
（１１ｂｉｓ）            ｜    音響
｛
ＡＭＡＳを呼出す；リクエストを処理し、その応答リストをドキュメントサーバに送信する
｝
（１２ｂｉｓ）            ｜    音響属性
｛
ＩＭＡＳを呼出す；リクエストを処理する；その結果を局部的にフィルタ処理し、その応答を転送する
｝
；
（１３）  ｈｅｔｅｒｏｇｅｎｅｏｕｓＢｉｎａｒｙ  ：：        TEXT  OPERATOR  PICTURE
｛
テキストリクエストおよび画像リクエストを処理するためにＴＥＭＡＳおよびＩＭＡＳをそれぞれ呼出し、その後、応答を併合するメモリモジュールに対して２つの応答リストを転送する
｝
（１４）                ｜    画像オペレータテキスト
｛
テキストリクエストおよび画像リクエストを処理するためにＴＥＭＡＳおよびＩＭＡＳをそれぞれ呼出し、その後、応答を併合するメモリモジュールに対して２つの応答リストを転送する
｝
（１５）  ｈｅｔｅｒｏｇｅｎｅｏｕｓＢｉｎａｒｙ  ：：    ｜    TEXT  OPERATOR  TEXT
｛
両テキストリクエストを処理するためにＴＥＭＡＳを呼出し、その後２つの応答リストを局部的に併合し、その結果リストをメモリモジュールに転送する
｝
（１６）                ｜    画像オペレータ画像；
｛
両画像リクエストを処理するためにＩＥＭＡＳを呼出し、その後両応答リストを局部的に併合し、その結果リストをメモリモジュールに転送する
｝
；
【０１２７】
上記の２０の文法ルールにおいて、ルール１は、単項制約（たとえば、ただ１つのイメージ、テキスト、音響、またはビデオ構成要素）が存在することを意味する。
ルール２は、２の制約が存在する（たとえば、２つのイメージ、テキスト、音響、またはビデオ構成要素が存在する）ことを意味する。
ルール２ｂｉｓは、ｎの制約が存在する（たとえば、３以上のイメージ、テキスト、音響、またはビデオ構成要素が存在する）ことを意味する。
ルール３は、演算子により制約式と関連付けられた単項制約が存在することを意味する。
ルール４は、演算子により制約式と関連付けられた２の制約が存在することを意味する。
ルール４ｂｉｓは、演算子により制約式と関連付けられたｎの制約が存在することを意味する。
ルール５は、括弧の中に入れることを意味する。
ルール６は、解析後の停止状態に対応する。
ルール７は、同種の２の制約のケース（たとえば、同じタイプの、すなわち、イメージタイプまたはテキストタイプあるいは音響タイプもしくはビデオタイプの２つの構成要素が存在する）に対応する。
ルール８は、異種の２の制約のケース（たとえば、両者がテキストとイメージ、音響とイメージ、・・・のような同じタイプに属さない２つの構成要素が存在する）に対応する。
ルール９は、単項制約がテキスト構成要素に対応することを意味する。
ルール１０は、テキスト属性（たとえば、“はタイトルである”）が存在することを意味する。
ルール１１は、２の制約のケースがイメージ構成要素に対応することを意味する。
ルール１２は、イメージ属性（たとえば、“ビデオイメージである”）が存在することを意味する。
ルール１１ｂｉｓは、音響構成要素に対応した２の制約のケースが存在することを意味する。
ルール１２ｂｉｓは、音響属性（たとえば、“ビデオ音響である”）が存在することを意味する。
ルール１３は、異種の２のケースにおいてテキストが演算子によりイメージと関連付けられている（演算子は、たとえば、“同じページ上にある”、“の説明文である”によって構成されていることができる）ことを意味する。
ルール１４は、異種の２のケースにおいてイメージが演算子によりテキストと関連付けられている（演算子は、たとえば、“の左側にある”によって構成されていることができる）ことを意味する。
ルール１５は、同種の２のケースにおいて１つのあるテキストが演算子によりあるテキストと関連付けられている（演算子は、たとえば、“のタイトルである”によって構成されていることができる）ことを意味する。
ルール１６は、同種の２のケースにおいて１つのあるイメージが演算子によりあるイメージと関連付けられている（演算子は、たとえば、“同じページ上にある”、“と同じ゛ドキュメント中にある”によって構成されている）ことを意味する。
【０１２８】
応答解析モジュール623は、種々のサーチエージェントによって送られた応答を収集する。それはユーザによって表現された制約を使用する。モジュール641において、それはデータベース101から応答ドキュメントの構造を回復する。各応答の適切なスコアをフィルタ処理して計算するためにこれらの構造を解析し、どの応答がユーザの期待に整合するかを決定した後、モジュール624はサーチの結果をグループ化し、そのリクエストされた結果を供給するためにデータベース101のドキュメント記憶モジュール642と通信する。サーチの結果は、実施された種々の近似計算により公式化された基準を使用して順序付けられたリストの形態で送られる。
【０１２９】
図４は、最初に以下の定義によりテキスト質問に変換される視覚リクエストにより構成された複合リクエストの一例を示している：
Ｔ1＝テキストオブジェクト        Ｉ1＝イメージオブジェクト
Ｔ2＝テキストオブジェクト
Ｔ3＝テキストオブジェクト
“Ｔ1はＴ2のタイトルである”および“Ｔ3はタイトルである” “Ｔ1およびＩ1は同じページ上にある”
【０１３０】
したがって、この場合、ユーザにより定められた制約は３つであり、それ故３つの個々のまたは最小単位の質問を構成する。
【０１３１】
第１の制約“Ｔ1はＴ2のタイトルである”は、演算子“のタイトルである”（ルール１５）を伴なった同種（ルール７）である２の質問（ルール２）を構成する。
【０１３２】
したがって、テキストＴ1およびＴ2を含むドキュメントをサーチするために、テキストタイプのオブジェクトのサーチを専用に行うＴＥＭＡＳエージェントが呼出され、その後、Ｔ1に対応した応答がＴ2のタイトルである応答ドキュメントだけを保存するように、関係“のタイトルである”によるフィルタ処理により応答が併合される。
【０１３３】
ドキュメント参照の分類されたリストＤ1，Ｄ2，・・・，Ｄnは、質問“Ｔ1はＴ2のタイトルである”を満足させたドキュメントの識別子と一緒に保存される。
【０１３４】
その後、属性“Ｔ3はタイトルである”を有する第２の制約が処理される。
この質問は単項タイプ（ルール１）のものであり、それはテキスト（ルール９）に関するものである。
【０１３５】
サーチエージェントＴＥＭＡＳが呼出され、テキストＴ3または類似のテキストが現れるドキュメントを戻す。タイトルＴ3と関連付けられた関係“はタイトルである”を使用してフィルタ処理が行われ、質問“Ｔ3はタイトルである”を満足させたドキュメント識別子を有するドキュメントのリストＤ’1，Ｄ’2，・・・が保存される。
【０１３６】
その後、リストＤ1，Ｄ2，・・・とリストＤ’1，Ｄ’2，・・・に共通するドキュメントだけを保存するために、両リスト間における局部併合がアンド演算子によるフィルタ処理によってＴＥＭＡＳエージェントにおいて行われる。
【０１３７】
制約“Ｔ1およびＩ1は同じページ上にある”は、異種（ルール８）であり、演算子（ルール１３）を伴なう２の関係（ルール２）を構成する。
したがって、テキストリクエスト（Ｔ1）および画像リクエスト（Ｉ1）を処理するためにエージェントＴＥＭＡＳおよびＩＭＡＳがそれぞれ呼出される。２つの応答リストはドキュメントサーバに転送され、このドキュメントサーバが応答を併合し、関係 “は同じページ上にある”によりフィルタ処理する。
【０１３８】
最後に、ドキュメントサーバは、アンド演算子を使用するフィルタ処理による併合を、前の処理から最初に得られたドキュメントのリストとＴＥＭＡＳエージェントにおいて前に行われたフィルタ処理から次に得られたドキュメントのリストとの間で行う。
【０１３９】
適切なスコアが各フィルタ処理演算に関して計算される。スコアは伝播し、各フィルタによって更新される。たとえば、“ある日付より後の応答だけを保存する”のような部分的データ処理を行うこともできる。
【０１４０】
一般に、複合リクエストにおいて、個々のリクエストは、それが同種である場合は単一の処理モジュール内において処理され、応答が同じレベルで公式化されるが、しかし異種であリ、それ故複数の処理モジュールによるアクションを暗示する個々のリクエストは、ドキュメントサーバ300のサーチ駆動エージェント303内で局部的におよび全体的に処理される。
【図面の簡単な説明】
【０１４１】
【図１】マルチメディアデータベースを管理する本発明のシステムの全体的なアーキテクチャを示すブロック図。
【図２】マルチメディアドキュメントに索引付けする本発明の方法における種々のステップを示すフローチャート。
【図３】マルチメディアドキュメントをサーチする本発明の方法における種々のステップを示すフローチャート。
【図４】リクエストがどのようにして公式化されるか、および本発明の管理システムのこれらの種々の処理モジュール間でどのような協同動作が行われるかを、マルチメディアドキュメントをサーチする一例で示す概略図。
【図５】テキストおよびイメージから構成されたドキュメントに対して与えられた複合リクエストを獲得し、処理している期間中の本発明の方法の種々のステップを示すブロック図。
【図６】テキストおよびイメージから構成されたドキュメントに対して与えられた複合リクエストを獲得し、処理している期間中に本発明の管理システムにおいて行われる種々の機能を示すブロック図。
【図７】マルチメディアドキュメントの索引付け（保管）およびサーチ専用にされたエージェントによって実施される種々のステップを示すフローチャート。
【図８】複数背景マルチメディアドキュメントの一例の輝度帯域のヒストグラムＨ（ｉ）およびサイズＴのセグメントに対する累積ヒストグラムΣO,TＨ（ｉ）。
【図９】ラベル付けされていない文字を有するイメージの背景の一部分を示す概略図。
【図１０】穴をふさいで文字を結びつける処理を行った後の図９のイメージの背景部分内のテキストゾーンを示す概略図。
【図１１】図９のテキストのブロックに対するヒストグラムの一例を示す概略図。
【図１２】イメージブロックに対するヒストグラムの一例を示す概略図。
【図１３】マルチメディアドキュメントの複合シグナチャを構成するプロセスを示すブロック図。
【図１】
2005505080.tif 000008
【図２】
2005505080.tif 000009
【図３】
2005505080.tif 000010
【図４】
2005505080.tif 000011
【図５】
2005505080.tif 000012
【図６】
2005505080.tif 000013
【図７】
2005505080.tif 000014
【図８】
2005505080.tif 000015
【図９】
2005505080.tif 000016
【図１０】
2005505080.tif 000017
【図１１】
2005505080.tif 000018
【図１２】
2005505080.tif 000019
【図１３】
2005505080.tif 000020
【国際公開パンフレット】
2005505080.tif 000021
2005505080.tif 000022
2005505080.tif 000023
2005505080.tif 000024
2005505080.tif 000025
2005505080.tif 000026
2005505080.tif 000027
2005505080.tif 000028
2005505080.tif 000029
2005505080.tif 000030
2005505080.tif 000031
2005505080.tif 000032
2005505080.tif 000033
2005505080.tif 000034
2005505080.tif 000035
2005505080.tif 000036
2005505080.tif 000037
2005505080.tif 000038
2005505080.tif 000039
2005505080.tif 000040
2005505080.tif 000041
2005505080.tif 000042
2005505080.tif 000043
2005505080.tif 000044
2005505080.tif 000045
2005505080.tif 000046
2005505080.tif 000047
2005505080.tif 000048
2005505080.tif 000049
2005505080.tif 000050
2005505080.tif 000051
2005505080.tif 000052
2005505080.tif 000053
2005505080.tif 000054
2005505080.tif 000055
2005505080.tif 000056
2005505080.tif 000057
2005505080.tif 000058
2005505080.tif 000059
2005505080.tif 000060
2005505080.tif 000061
2005505080.tif 000062
2005505080.tif 000063
2005505080.tif 000064
2005505080.tif 000065
2005505080.tif 000066
2005505080.tif 000067
2005505080.tif 000068
【国際調査報告】
2005505080.tif 000069
2005505080.tif 000070
2005505080.tif 000071
2005505080.tif 000072
2005505080.tif 000073
2005505080.tif 000074