(57)【特許請求の範囲】
【請求項１】
複数のマルチメディア情報に対して情報処理装置が処理を実行する情報処理方法であって、
前記マルチメディア情報に対するディスクリプタを獲得するステップと、
各前記ディスクリプタの、前記マルチメディア情報における重要性を表す、少なくとも一つのメタ・ディスクリプタを生成するステップと、
前記マルチメディア情報に前記少なくとも一つのメタ・ディスクリプタをアタッチするステップとを有し、
前記メタ・ディスクリプタは、各前記ディスクリプタの重要性をベクトル表現で示し、前記ディスクリプタは前記マルチメディア情報から抽出されたカラー、形状、テクスチャ、スケッチのうちの複数を表す方法。
【請求項２】
前記マルチメディア情報が、集合的に、様々なコンテンツのタイプであり、更に前記ディスクリプタのクラスタを生成するステップを有し、
前記メタ・ディスクリプタを生成するステップが、前記クラスタに対するメタ・ディスクリプタを生成するステップを有し、かつ
前記メタ・ディスクリプタをアタッチするステップが、前記クラスタ内の前記ディスクリプタによって記述された前記マルチメディア情報の項目に前記クラスタに対する前記メタ・ディスクリプタを各々アタッチするステップを有する請求項1に記載の方法。
【請求項３】
前記メタ・ディスクリプタを生成するステップが、その中の前記ディスクリプタの関連を示す前記クラスタの各々に対して各々のデータ要素のグループを生成するステップを有する請求項2に記載の方法。
【請求項４】
前記ディスクリプタの少なくともいくつかが、マルチメディアコンテンツのカテゴリに属しているマルチメディア情報の項目の機能の表現であり、前記機能が、カラー、テクスチャ、形状、およびスケッチを含む機能の順序付けられたセットを有し、かつマルチメディアコンテンツの前記カテゴリが、静止画像であり、そして
前記メタ・ディスクリプタを生成するステップが、その中の前記ディスクリプタの関連を示している前記クラスタの各々に対する各々のバイナリベクトルを生成するステップを有する請求項3に記載の方法。
【請求項５】
前記ディスクリプタの少なくともいくつかが、マルチメディアコンテンツのカテゴリに属しているマルチメディア情報の項目の機能の表現であり、前記機能が、カラー、テクスチャ、形状、およびスケッチを含む機能の順序付けられたセットを有し、かつマルチメディアコンテンツの前記カテゴリが、静止画像であり、そして
前記メタ・ディスクリプタを生成するステップが、その中の前記ディスクリプタに対する各々の重みを示す前記クラスタの各々に対して各々の重み値のグループを生成するステップを有する請求項3に記載の方法。
【請求項６】
前記ディスクリプタの少なくともいくつかが、マルチメディアコンテンツのカテゴリに属しているマルチメディア情報の項目の機能の表現であり、前記機能が、カラー、テクスチャ、形状、およびスケッチを含む機能の順序付けられたセットを有し、かつマルチメディアコンテンツの前記カテゴリが、静止画像であり、そして
前記メタ・ディスクリプタを生成するステップが、表現タイプの既定セットを有する少なくとも一つの関連機能を識別する前記クラスタの各々に対する各々の文字ストリングを生成するステップと、表現タイプの前記既定セットから前記表現タイプの少なくとも一つとを有する請求項3に記載の方法。
【請求項７】
前記マルチメディア情報の前記ディスクリプタにインデックスを付けるステップを更に有する請求項2に記載の方法。
【請求項８】
前記メタ・ディスクリプタを生成するステップが、その中に前記ディスクリプタの関連を示すデータ要素のグループを生成するステップを有する請求項1に記載の方法。
【請求項９】
前記ディスクリプタの少なくともいくつかが、マルチメディアコンテンツのカテゴリに属しているマルチメディア情報の項目の機能の表現であり、前記機能が、カラー、テクスチャ、形状、およびスケッチを含む機能の順序付けられたセットを有し、かつマルチメディアコンテンツの前記カテゴリが、静止画像であり、そして
前記メタ・ディスクリプタを生成するステップが、その中の前記ディスクリプタの関連を示すバイナリベクトルを生成するステップを有する請求項8に記載の方法。
【請求項１０】
前記ディスクリプタの少なくともいくつかが、マルチメディアコンテンツのカテゴリに属しているマルチメディア情報の項目の機能の表現であり、前記機能が、カラー、テクスチャ、形状、およびスケッチを含む機能の順序付けられたセットを有し、かつマルチメディアコンテンツの前記カテゴリが、静止画像であり、そして
前記メタ・ディスクリプタを生成するステップが、その中の前記ディスクリプタに対する重みを示す重み値のグループを生成するステップを有する請求項8に記載の方法。
【請求項１１】
前記ディスクリプタの少なくともいくつかが、マルチメディアコンテンツのカテゴリに属しているマルチメディア情報の項目の機能の表現であり、前記機能が、カラー、テクスチャ、形状、およびスケッチを含む機能の順序付けられたセットを有し、かつマルチメディアコンテンツの前記カテゴリが、静止画像であり、そして
前記メタ・ディスクリプタを生成するステップが、表現タイプの前記既定セットを有する少なくとも一つの関連機能を識別している文字ストリングを生成するステップと、表現タイプの前記既定セットから前記表現タイプの少なくとも一つとを有する請求項8に記載の方法。
【発明の詳細な説明】
【発明が属する技術分野】
【０００１】  本発明は、マルチメディア・データのコンテンツに基づく処理、特に、それのコンテンツを記述しているマルチメディア・データの属性の作成と使用に、関する。
【背景技術】
【０００２】  典型的に、マルチメディア情報は、例えば、デジタル、アナログ（例えば、VCR磁気テープとオーディオ磁気テープ）、光学式（例えば、従来のフィルム）、画像（例えば、理論上のピクチャと図形）等の様々の均質でないフォームで存在する。このマルチメディア情報を得る能力は、現代社会においては重要であり、特に、例えば、教育、ジャーナリズム（例えば、ある政治家のスピーチを彼の名前、彼の声、または彼の顔を使用して検索する）、旅行者の情報、文化的サービス（例えば、歴史博物館、アートギャラリ等）、エンタテイメント（例えば、ゲーム、またはカラオケのタイトルの検索）、調査サービス（例えば、人間特性認識と弁論術）、地理的な情報システム、遠隔探査（例えば、地図製作、エコロジ、天然資源管理等）、監視（例えば、交通管理、水陸路輸送、劣悪な環境での非破壊試験等）、バイオ医学的なアプリケーション、買い物（例えば、好みの衣類の検索）、建築、不動産、インテリア・デザイン、社交クラブ（例えば、デート・サービス）、そしてフィルム、ビデオ、およびラジオ・アーカイブのような、様々なプロ用アプリケーションと消費者用アプリケーションにおいて重要である。残念なことに、現在のシステムは、マルチメディア情報を検索する場合、完全ではなく、高速でなく、または効率的でない。例えば、「国際標準化組織ISO/IEC JTC1/SC29/WG11動画および音声のコーディング(International Organizsation for Standardisation ISO/IEC JTC1/SC29/WG11 Coding of Moving Pictures and Audio), MPEG-7 Applications Document V.8, No. N2728, March 1999 」を参照されたい（これは、引用文献として全体が本明細書に組み込まれているものとする）。【０００３】  マルチメディア情報の検索をサポートする上で重要なステップは、モデムコンピュータシステムを使用して検索可能であるフォームでそれを表すことである。単純波形またはサンプルに基づく表現以上のオーディオ・ビジュアル情報表現と、MPEG-1とMPEG-2のような圧縮に基づく表現と、MPEG-4のようなオブジェクトに基づく表現とであって、かつデバイスまたはコンピュータコードに渡すことが出来、またはそれらによりアクセスすることが出来るフォームを開発することに、多くの関心が、注がれて来た。所有権が異なる多数の解決策が、マルチメディアコンテンツを記述し、かつそれらの表現を抽出しそして結果として生じる表現の集合を照会するために、開発されて来たが、これらは、異種のマルチメディア情報を更に急増させ、かつマルチメディア情報を高速にしかも効率的に検索する困難性を悪化させるのみであった。【０００４】  「ディスクリプタ」は、マルチメディア情報の媒体または技術にかかわらず、かつマルチメディア情報が、どのように、格納され、符号化され、表示され、かつ送信されるかにかかわらない、マルチメディア情報特有の特性である「機能」の表現である。所有権が異なるマルチメディア情報検索システムに使用されるディスクリプタには、必ずしも互換性がないので、マルチメディア情報を作成し、交換し、検索しおよび／または再利用する計算システムの演算上の要求をサポートする、マルチメディアコンテンツデータを記述する標準を確立することに、関心が向けられていた。具体的には、画像理解（例えば、監視、知的ビジ���ン、スマートカメラ）と、メディア変換（例えば、テキストのスピーチへの、スピーチのピクチャへの、ピクチャのスピーチヘの変換）と、情報検索（ユーザが興味を持つマルチメディアドキュメントの様々なタイプの高速かつ効率的な検索）と、オーディオ・ビジュアルコンテンツ記述のストリームにおいて（ユーザの好みを満足するこれらのマルチメディア・データ項目のみを受信する）フィルタリングとのために設計された計算システム、が挙げられる。【０００５】  従って、これらの演算上の要求とこれから開発される他の演算上の要求とをサポートするマルチメディアコンテンツデータを記述する標準に対する必要性が、存在する。
【課題を解決するための手段】
【０００６】  従って、特定の実施例で実現される本発明の目的は、収納場所からマルチメディア情報を検索する効率を改善することである。
【０００７】  特定の実施例で実現される本発明の別の目的は、収納場所からマルチメディア情報を検索するスピードを改善することである。
特定の実施例で実現される本発明の更に別の目的は、マルチメディア情報の機能の標準表現を提供することである。
【０００８】  これらのおよび他の目的は、本発明の様々な実施例において達成される。例えば、本発明の一実施例は、複数のマルチメディア情報を表現する方法であって、前記マルチメディア情報に対するディスクリプタを獲得することと、前記ディスクリプタに対する少なくとも一つのメタ・ディスクリプタを生成することと、前記マルチメディア情報に前記少なくとも一つのメタ・ディスクリプタをアッタッチすることとを有する方法である。
【０００９】  本発明の別の実施例は、前記マルチメディア情報が、集合的に、様々なコンテンツのタイプであり、更に前記ディスクリプタのクラスタを生成することを有し、前記メタ・ディスクリプタ生成ステップが、前記クラスタに対するメタ・ディスクリプタを生成することを有し、かつ前記メタ・ディスクリプタ・アッタッチング・ステップが、前記クラスタ内の前記ディスクリプタによって記述された前記マルチメディア情報の項目に前記クラスタに対する前記メタ・ディスクリプタを各々アッタッチすることを有する方法である。
【００１０】  本発明の更なる実施例は、照会マルチメディア情報項目を使用して、ディスクリプタによって記述された収納場所内のマルチメディア情報を検索する方法であって、前記収納場所・ディスクリプタのメタ・ディスクリプタを獲得することと、照会マルチメディア情報を選択することと、少なくとも一つの照会ディスクリプタを得るために、前記メタ・ディスクリプタに基づく照会マルチメディア情報から少なくとも一つの照会ディスクリプタを抽出することと、前記照会ディスクリプタを前記収納場所・ディスクリプタと比較することと、前記比較ステップに従って、前記収納場所内の前記マルチメディア情報の少なくともいくつかをランク付けすることとを有する方法である。
【００１１】  本発明の別の実施例は、収納場所からマルチメディア情報を検索する方法であって、前記収納場所内の前記マルチメディア情報から収納場所・ディスクリプタを抽出することと、前記収納場所・ディスクリプタのクラスタを生成することと、前記収納場所内の前記マルチメディア情報に前記収納場所・ディスクリプタにインデックスを付けることと、前記クラスタに対するメタ・ディスクリプタを生成することと、前記クラスタ内の前記各々のマルチメディア情報に前記クラスタに対する前記メタ・ディスクリプタをアッタッチすることと、照会マルチメディア情報を選択することと、少なくとも一つの照会ディスクリプタを得るために、前記メタ・ディスクリプタに基づく前記照会マルチメディア情報から少なくとも一つのディスクリプタを抽出することと、前記収納場所・ディスクリプタと前記照会ディスクリプタを比較することと、前記比較ステップに従って、前記収納場所内の前記マルチメディア情報の少なくともいくつかをランク付けすることとを有する方法である。
【００１２】  本発明の更なる実施例は、マルチメディアコンテンツの特定のカテゴリに属するマルチメディア情報の項目の機能の表現である複数のディスクリプタに関する情報を表現するデータ構造であって、マルチメディア情報の前記項目を記述する場合に前記ディスクリプタの関連を示す複数のデータ要素を有するデータ構造である。
【発明を実施するための形態】
【００１３】  マルチメディア・データが存在することが出来る様々なフォームの具体例は、図1に示されていて、かつ、例えば、グラフィックス10、静止画像12、ビデオ14、フィルム16、音楽18、音声20、音22、および他のメディア24の多重出現を含む。これらの多重出現は、異なったフォームで格納し、異なったフォームで符号化し、異なったフォームで送信し、異なったメディア上に存在させ、また異なった技術で製作されたものとすることが出来る。マルチメディアのデータは、一つの位置に格納することも出来るし、世界中に分散させることも出来る。例えば、ユーザが興味を持つデジタル化されたマルチメディアは、独立言語型関係またはオブジェクト指向のデータ・ベースに、または異なる技術で実施され、かつ世界中に散在していてかつインターネットのみでアクセス可能な所有者が異なるコンピュータに格納されている別々の独立したデータ・ベースに、格納することが出来る。実際、ユーザが興味を持つデジタル化されていないマルチメディアも、同様に、単一の構成要素の制御のもとで一つの集合に格納することも出来、また異なる構成要素のもとで異なる集合に広く分散させることも出来る。マルチメディア情報が存在するフォームやそれがどのように格納されているかに関係なく、ユーザは、図1に示されるように、特定のマルチメディア・データの集合を効率的に検索するために、マルチメディアの情報の集合を単一の収納場所とみなすことを好むであろう。
【００１４】  本発明者等は、ディスクリプタに加えてメタ・ディスクリプタを使用するマルチメディア情報検索が、マルチメディア情報を識別する場合に、効率的なだけではなく、これが、様々な異なる方法で表現されたマルチメディア情報を識別することが可能であることを見出した。「ディスクリプタ」は、マルチメディア情報特有の特性である「機能」の表現であり、一方「メタ・ディスクリプタ」は、そのディスクリプタに関する情報である。メタ・ディスクリプタは、追加情報を埋め込む周知の方法であるメタ・データの一般的な概念とは異なるが、関連はしている。例えば、ドキュメント内のメタ・データは、ドキュメント内の画像のフォーマットを含むことが出来、そしてデータベース内のメタ・データは、一つの関係の属性に対する値制約または統計情報を含むことが出来る。特に、マルチメディア情報の項目に対するメタ・ディスクリプタは、マルチメディア情報のこの項目を識別する最も有効な情報を含むマルチメディア情報のこの項目に対するディスクリプタのこれらの部分を識別する。メタ・ディスクリプタの概念は、所定のマルチメディア情報項目は、それを最もよく記述しているものを知ることに最も適していて、かつこの情報を示すことは、コンテンツベースの検索を大きく強化するという認識に基づいている。メタ・ディスクリプタにより、マルチメディア情報に対するコンピュータ化された検索を、メタ・スクリプタのサイズを一般により小さくすることにより、より高速に行い、関連性の薄い情報を除去することにより、より効率的に行うことが出来ることは、有利である。
【００１５】  多くのマルチメディアの検索技術がメタ・ディスクリプタの使用に適合化させることが出来るが、メタ・ディスクリプタを使用してマルチメディア情報を検索する好適技術は、シナリオ検索、または例示照会である。例えば、画像の例示照会検索の場合、特定の静止画像が、収納場所を照会する根拠として規定される。この照会は、人間のユーザによるプロセス、または自動化されたプロセスとすることが出来る照会のイニシエータ、または例えば、検索処理に使用される検索アルゴリズムの何れかにより規定される。この照会は、収納場所内のマルチメディア情報のメタ・ディスクリプタ内に示された一つまたは複数の機能が、重要となることに基づいて形成される。その一つまたは複数の機能に対するディスクリプタは、照会マルチメディア情報から抽出され、かつマルチメディア情報の一つ以上の「マッチング」項目を選択するために使用される類似尺度を得るために、収納場所マルチメディア情報から抽出されたディスクリプタと比較される。場合によっては、収納場所マルチメディア情報に対するメタ・ディスクリプタは、コンテンツ内の明白で大きな相違点を即座に示すことが出来、これによって、ディスクリプタの抽出と、照会と特定の収納場所マルチメディア情報に対する機能との比較とを実行する計算が不用になる。ユーザが情報検索のエキスパートでない場合、マルチメディア情報とマッチングする検索で使用されるその特定の一つまたは複数の機能は、使用の簡潔さのためユーザに対して即応型であることが好ましい。
【００１６】  図2は、収納場所マルチメディア情報に対するメタ・スクリプトを生成し、かつ収納場所の照会を実行する処理を示しているフローチャートである。メタ・ディスクリプタが、マルチメディア情報の何れのタイプにも使用することが出来るが、図2に例示された具体例は、説明を容易にするために静止画像に基づいている。メタ・ディスクリプタを生成する方法110は、主要なステップ111〜114により示されていて、そして図1に示されるようなマルチメディアの収納場所を照会する方法130は、主要なステップ131〜137により示されている。メタ・ディスクリプタは、人間によって、または半自動式の技術の混成によってユーザ入力を定式化することによっても生成することが出来るが、メタ・ディスクリプタ生成方法110は、管理されない、または自動化された機械学習方法である。照会方法130は、照会のユーザの定式化を除いて自動化されることが好ましい。ディスクリプタの生成およびマルチメディア情報検索の様々な観点は、周知であり、かつ様々の刊行物に記述されている。それらの例には、Yong Rui, Thomas S. Hung  およびShih-Fu Changによる「画像検索：過去、現在そして未来（Image Retrieval:Past, Present, and Future）」（Jounal of Visual Communication and Image Representation, 10,1-23(1999)）；Sharad Mehrotra, Yong Rui, Michasel Ortega-Briderberger， およびThomas S. Huangによる「MARSにおける画像についてのコンテントにもとずく照会の指示（Supporting Content-based Queries over Image in MARS）」（Proceedings of the IEEE International Conference on Multimedia Computing and System, June 3-6, 1997, Chateau Laurier, Ottawa, Ontario, Canada, 1997, pp.632-633）；Sharad Mehrota, Yong Rui, Kaushik Chakrabarti, Michael Ortega-Binderberger， およびThomas S.Huangによる「マルチメディア分析および検索システム（Multimedia Analysis and Retrieval System）」（Proceedings of the 3rd International Workshop on Information Retrieval Systems, Como, Italy, September 25-27, 1997, pp.39-45）；そしてPatrick M. Kelly, Michael Cannon, およびDonald R. Hushによる「画像例による照会（Query by Image Example）」（the CANADI Approach,in SPIE Vol. 2420 Storage and Retrieval for Image and Video Databases III, 1995, pp. 238-248）が、挙げられ、これらは引用文献としてそれらの全体が本明細書に組み込まれているものとする。
【００１７】  メタ・ディスクリプタ生成方法110の第一のステップ111は、マルチメディア（「MM」）情報からのディスクリプタの抽出である。ディスクリプタ抽出アルゴリズムおよびソフトウエアとインデックス付けアルゴリズムおよびソフトウエアは、従来技術において周知であり、かつそれらの具体例は、上述した刊行物に記述されている。何れの関連する標準によって課せられる制約を除いて、ディスクリプタ抽出技術の何れか一つまたは組み合わせは、所望どおり使用することが出来る。任意の瞬間に抽出された特有のディスクリプタは、自動化された処理で使用されたソフトウエア、手動の処理におけるユーザの動作、またはハイブリッド処理におけるユーザとソフトウエアのインタラクションに依存するが、典型的には、静止画像から抽出きれたディスクリプタは、例えば、カラー、形状、テクスチャ、およびスケッチを含む。自動化された処理は、それらが収納場所内の大量のマルチメディア情報を人間の重要な介入を必要とせずに処理することが出来るので有利である。典型的には、静止画像に演算を行う自動化された処理は、意味レベルに演算を行なわない。つまり、これらは、この様な項でファミリーポートを記述せず、おそらく静止画像全体に対して、またはおそらく画像が分割されたマルチブル・ブロックに対して色、形状、テクスチャ、およびスケッチの値を生成すると言える。
【００１８】  所望により他の技術を使用することも可能で、かつ具体例は上述された刊行物に記述されているが、次のステップ112は、ディスクリプタに基づいてマルチメディア情報をクラスタ化することである。本質的に、クラスタリングとは、から、ディスクリプタに適応されたある基準に基づいて、大きい混合データセットから類似したマルチメディア情報をグループ化することである（クラスタリングは、同じコンテンツのタイプ情報の小さい収納場所には必要とされない）。クラスタは、似ている構成要素のセットであり、そして異なるクラスタからの構成要素は、似ていない。メタ・ディスクリプタの抽出は、管理されているまたは管理されていないクラスタリングによって行うことが出来る。管理されたクラスタリングによるメタ・ディスクリプタの抽出は、以前にラベルまたはディスクリプタが割り当てられたクラスタの代表のセットに対し、その機能に基づくクラスタリング・マルチメディア・コンテンツに関係する。各クラスタ内の画像には、この時、このクラスタの代表のラベル、またはディスクリプタが割り当てられる。管理されないクラスタリングによるメタ・ディスクリプタの抽出は、各記述された機能に基づくクラスタリング・マルチメディア・コンテンツに関係する。例えば、画像のセットは、それらのカラー機能に基づく第一のクラスタ表現と、これらのテクスチャ機能に基づく第二のクラスタ表現とを有する。例えば、それらのクラスタが、どの程度明瞭に規定され、かつコンパクトであるかを計算するプログラムされた測定基準を使用して各機能に対するクラスタを比較することに基づき、一つの機能または二、三の機能が、所定の画像を記述する上で他のものより優れていることが判明する。例えば、ある画像は、カラー機能に基づいてクラスタのセットにおいて極めてコンパクトでかつ明瞭に規定されたクラスタに属することが出来るが、テクスチャ機能に基づいてクラスタのセットにおいて大きく広がってかつ重なっているクラスタに属することも出来る。従って、カラー機能は、それがそれらの各々の機能スペース内でテクスチャ機能よりより良く画像を分類するので、画像に対するメタ・ディスクリプタとして選択される。
【００１９】  クラスタは、数学的には、クラスタ内の任意の二つのポイント間の距離が、そのクラスタ内の任意のポイントとそのクラスタ内に無い任意のポイント間の距離より小さい、テストスペース内のポイントの集合である。例えば、Anil K. JainとRichard C. Dubesによる「クラスタリングデータのアルゴリズム（Algorithms for Clustering Data）」（Prentice Hall Advanced Reference Series, 1988,p.1.）を参照されたい。クラスタ分析は、特定の問題のコンテキスト中に意味を有するサブセットにオブジェクトを分類するプロセスである。オブジェクトは、これによって、サンプリングされている母集団を特徴づける効率的な表現に編成される。オブジェクト間の関係は、行と列がオブジェクトに対応している近似マトリクスにより表現される。オブジェクトが、d次元距離空間のパターンまたはポイントとして特徴付けられる場合、その近似は、ユークリッド距離のような対を成すポイント間の距離とすることが出来る。典型的に、近似マトリクスは、クラスタリングアルゴリズムへの唯一の入力である。クラスタ化されているオブジェクトは、異なるトピックに関するデジタル画像またはドキュメント内の種類が異なるプラント、ピクセルとすることが出来る。クラスタ分析は、パターン認識と画像処理において数個のアプリケーションが見出される。クラスタ分析は、管理されない学習に関するアプリケーション、および人工知能における機械学習と知識表現の補助における機能選択に使用される。
【００２０】  静止画像から抽出されたディスクリプタは、典型的には、スペース内のポイントの集合を表現している多次元数のベクトルである。単純なケースでは、クラスタリングアルゴリズムは、2Dスペース内のポイントの集合内の距離を比較し、それらのポイントがどの程度近接しているかを決定する。より高度なアルゴリズムの場合、この概念は、多次元のスペースまで拡張される。整合性を保証するために、クラスタリング処理は、同じ抽出アルゴリズムで処理されたマルチメディア情報のみに適応されることが好ましい。静止画像に対して、クラスタリングは、典型的に低レベル機能の類似性に基づいている。例えば、（例えば、浜辺のシーンから生成されるような）特定のカラーとテクスチャに対しては明瞭なパターンが現れるが、一方スケッチと形状に対しては不明確な結果を有する画像は、同じクラスタ内にあると考えることが出来る。管理されないクラスタリングアルゴリズムは、典型的には、ユーザによって指定されるしきい値ポイントが達成されるまで、反復して作動し、それらの結果を精緻化する。
【００２１】  次のスッテップ113は、メタ・ディスクリプタを各クラスタに割り当てる。例えば、パターンが、カラーについてのみ現れる場合、カラーのメタ・ディスクリプタは、100％そのクラスタに割り当てられる。（モノクロの工業設計図のように）パターンがスケッチのみに現れる場合、例えば、スケッチのメタ・ディスクリプタは、100％そのクラスタに割り当てられる。明瞭なパターンが特定のカラーとテクスチャに対してのみ現れる前記具体例の静止画像の特定のクラスタに対しては、カラー50％とテクスチャ50％のメタ・ディスクリプタが、そのクラスタに割り当てられる。処理自動化が要望される場合、重みは、マルチメディア情報に関する過去の経験による統計情報に基づく経験的規則を使用して割り当てることが出来る。これに代えて、メタ・ディスクリプタは、必要に応じ、手動で割り当てることが出来、または必要に応じ、人間のインタラクションによる半自動方式で割り当てることが出来る。
【００２２】  メタ・ディスクリプタは、プログラマに便利であれば如何なるフォームを取ることが出来る。一つの特にコンパクトなフォームの場合、メタ・ディスクリプタは、バイナリベクトルＸである。ここで、各ビットxi は、マルチメディアコンテンツのこのカテゴリに対して固定数の順序付けられた機能が与えられた機能の関連性（xi =ith 機能が、関連している）を示している。静止画像の場合、例えば、適切なベクトルは、その中の２進数1または0が、各々、マルチメディアの記述における、カラー、形状、テクスチャ、およびスケッチの重要性または不適切さを示す4ビットベクトルである。特定の静止画像においてカラーしか重要でない場合には、適切なメタ・ディスクリプタは、1000である。
【００２３】  特定重みを割り当てることが出来る表記法は、重み付きベクトルXを使用する。ここで、ベクトルxi の各要素は、マルチメディアコンテンツのこのカテゴリに対して固定数の順序付けられた機能が与えられたithの機能に割り当てられた重みを示している。カラーとスケッチの両方が重要であるが、重みが異なる場合、このタイプの適切なメタ・スクリプタは、カラーが70％の重みを有し、かつスケッチが30パーセントの重みを有することを示す「70,0,0,30」である。
【００２４】  別のフォームは、異なる重みのみならず異なる抽出アルゴリズムを扱いかつ静止画像をマルチプル・ブロックに分割することが出来るストリング表記法である。さらに、ストリング表現は、新しい機能を、後にメタ・ディスクリプタ内で適切な時間に考慮することを可能にする。ストリング表記法の場合、ストリング内の各文字または文字グループは、既定の標準表記法に従って、与えられた機能と機能のセットとの関連性を示す。例えば、四つの有効なカラー・ディスクリプタ・タイプのセット、（1）RGBカラースペース内の全ての画像に対する単一ヒストグラム；（2）5×5グリッドに分割されるRGBカラースペース内の画像に対する25のヒストグラム；（3）YUVカラースペース内の全ての画像に対する単一ヒストグラム；および（4）5×5グリッドに分割されるYUVカラースペース内の画像に対する25のヒストグラム（結果として生ずる25のブロックの各々は、一つのヒストグラムによって表現される）を考えよう。これらのディスクリプタ・タイプは、1からnまで数値的に順序づけられていて、nを、有効なディスクリプタ・タイプの番号である（ここでは4）と仮定する。例えば、第一および第四カラー・ディスクリプタによって最良に記述される静止画像に対する適切なストリング・メタ・ディスクリプタは、「C214」である。これは、カラー機能が、関連した（C）であり、かつカラー表現の既定セットからの二つの（2）カラー表現、即ち、カラー表現の既定セットからの第一および第四（14）カラー表現により得られることを意味する。ストリング表記法は、特にフレキシブルであり、異なるカラースペ一ス（例えば、RGBとYUV）を識別することが出来るばかりでなく、各カラースペースを（例えば、１ブロック、10ブロックのセット、100ブロックのセット等として）違えて計算することが出来る。ストリング表記法の機能拡張は、適正な既定コードによって異なる抽出アルゴリズムを扱うことが出来る。
【００２５】  異なるフォームのメタ・ディスクリプタは、異なるマルチメディア情報に使用することが出来、かつメタ・ディスクリプタの特定のフォームに提供されない如何なる情報も、デフォルトによって供給することが出来る。例えば、デフォルトディスクリプタ抽出方法とデフォルトカラースペースが使用される場合、バイナリ・メタ・ディスクリプタが、適切である。
【００２６】  次のステップ114は、クラスタ情報に基づいてマルチメディア情報にメタ・ディスクリプタをアタッチさせる。様々な異なる「アタッチメント」技術は、周知であり、かつメディア・タイプとそれにアクセスする仕方に基づく使用に対して選択することが出来、かつ異なるアタッチメント・タイプを、メタ・ディスクリプタの特定のデータ・ベースの範囲内で使用することが出来る。それらが存在しない場合には、システムは、デフォルトまたはメタ・ディスクリプタ表記法内の値の何れかによりそれらを計算する方法を知っていなければならないが、ディスクリプタ自体は、存在していても、存在していなくても良い。少なくとも、メタ・ディスクリプタかつそれらのアッタチメント・データは、システムにアクセス可能な如何なるタイプのデータ・ベースでも良い記憶部120に格納させることが好ましい。ディスクリプタは、記憶部120に格納することが出来、またはこれらが抽出されたマルチメディア情報と共に格納することが出来る。マルチメディア情報自体は、収納場所（図1）の中にあり、それは、記憶装置120内の他のメモリと同様に特定され、またはインターネットと同様に多様であり、または紙の様な非電子フォームの記憶を含むように多様であっても良い。
【００２７】  機能が、例えば、画像に対して、メタ・ディスクリプト内に存在するように選択されると、メタ・ディスクリプタは、必要に応じ、既定セットからの他の機能の存在を可能にする。テストされる機能の数を減らすために、ラベルを付けられたトレーニング・セットから導出された結合ルールのセットを、適正ならば、使用することが出来る。例えば、特定の収納場所は、スケッチによってうまく記述されていないマルチメディア情報を含むことが出来るので、検索システムは、スケッチを使用する必要はないであろう。
【００２８】  抽出の間、マルチメディアコンテンツからの機能は、必要に応じ、メタ・ディスクリプタ内の値を決定するために、より高いレベルの意味情報と結合させることが出来る。例えば、マルチメディアコンテンツが画像である場合、画像からの機能は、その画像に関連するテキスト・キャプションからの意味情報と結合され、その画像に対するメタ・ディスクリプタ内の値を決定する。
【００２９】  図3は、様々なアタッチメント技術を使用する関係型データ・ベースファイル（データ・ベースの他の如何なるタイプも、適切である）に対する単純なマルチメディア情報表の具体例である。例示的に、表は、5つのフィールド、マルチメディア情報番号フィールドMM_INFO_NOと、ディスクリプタ値フィールドDVと、メタ・ディスクリプタ値フィールドMDVと、マルチメディア・ファイル・ソース・フィールドMM_SOURCEと、コメント・フィールドCOMMENTとを有する。MM_INFO_NOフィールドは、基本キー・フィールドである。DVとMDVフィールドは、例えば、ストリングベクトルを含む文字フィールドである。MM_SOURCEフィールドは、デジタル化されたドキュメント、図面、ピクチャ、音等のようなOLEオブジェクトにリンクし、またはそれらを埋め込むOLEデータタイプである。COMMENTフィールドは、メモ・データ・タイプ・フィールドである。必要に応じ、ディスクリプタがマルチメディア情報内に埋め込まれるか、または検索システムがマルチメディア情報からディスクリプタを抽出することが出来るならば、DVフィールドは、表から省略することが出来る。しかしながら、ローカル・データ・ベースにディスクリプタを有することは、検索システムがより高速に動作することを可能にする。
【００３０】  基本キーMM01によって識別されたレコードは、ディスクリプタ値DV01とメタ・ディスクリプタ値MDV01とを含み、かつOLEデータ・タイプ・フィールド内のリンクによってFILE01内に格納されているデジタル化された静止画像にアタッチされる。基本キーMM02によって識別されたレコードは、メタ・ディスクリプタ値MDV02を含み、かつOLEデータ・タイプ・フィールド内にリンクによってFILE02内に格納されているデジタル化された静止画像にアタッチされる。ディスクリプト値は、収納場所内のマルチメディア情報を照会する処理中、FILE02のコンテンツから抽出される。基本キーMM03によって識別されたレコードは、ディスクリプタ値DV03と画像内のマルチメディア情報のブロックに対するメタ・ディスクリプタ値MDV03とを含み、かつOLEデータ・タイプ・フィールド内のリンクによってFILE03内に格納されているデジタル化された静止画像にアタッチされる。基本キーMM04によって識別されたレコードは、ディスクリプタ値DV04と同じ画像のマルチメディア情報の別のブロックに対するメタ・ディスクリプタ値MDV04とを含み、かつOLEデータ・タイプ・フィールド内のリンクによってFILE04内に格納されているデジタル化された静止画像にアタッチされる。基本キーMM05によって識別されたレコードは、OLEデータ・タイプ・フィールド内のリンクによってFILE05内に格納されているデジタル化された静止画像にアタッチされる。DVとMDVフィールドは、DVとMDVがリンクされたファイルに埋め込まれ、かつそれから容易に読み出すことが出来るので、このレコードに対して空白である。基本キーMM06によって識別されたレコードは、OLEデータ・タイプ・フィールド内のURLリンクによってインターネットでアクセス可能な別のデータ・ベース内に格納されているデジタル化された静止画像にアタッチされる。DVとMDVフィールドは、DVとMDVがリンクされたファイルに埋め込まれ、かつそれから読み出すことが出来るので、このレコードに対して空白である。基本キーMM07によって識別されたレコードは、メタ・ディスクリプタ値MDV07を含み、VCRテープにアッタッチされる。ディスクリプタ値がVCRテープ上に垂直帰線消去期間に埋め込まれ、かつそれから読み出すことが出来るので、DVフィールドは、このレコードに対して空白である。MM_SOURCEフィールドは、このレコードに対して空白である。検索システムが、内容の明白かつ大きな相違点が照会マルチメディアとVRCテープとの間に存在することをメタ・ディスクリプタから検知しない限り、テープをマウントし、かつディスクリプタが、照会中VCRテープから読み出しを行なわなければならない。基本キーMM08によって識別されたレコードは、ディスクリプタ値DV08とメタ・ディスクリプタ値MDV08とを含み、かつ写真印画紙にプリントされ、かつ引き出し08にファイルされた静止画像にアッタッチされる。MM_SOURCEフィールドは、このレコードに対して空白である。
【００３１】  図1に示されるようなマルチメディア収納場所を照会する方法130は、主要ステップ131〜137によって示される。ステップ131は、任意の便利な方法、ここでは例示照会を使用するユーザによる照会の形成である。例示照会言語の場合、ユーザは、マルチメディア情報の項目を選択し、かつ収納場所からマルチメディア情報の全てにマッチングする項目を見出そうとする。ステップ132において、収納場所内のマルチメディア情報の項目に対するディスクリプタとメタ・ディスクリプタとが、図示されるように、記憶120から検索される。ディスクリプタの場合、それらは、その代わりに、マルチメディア情報とともに格納し、そして従ってそれらをマルチメディア情報から検索しなけばならないようにするか、またはそれらを利用できなくし、そしてメタ・ディスクリプタの値に基づいて再び抽出しなければならなくすることもできる。収納場所マルチメディア情報項目に対するディスクリプタが、照会130内であらかじめ処理されてないタイプである（ステップ133でYES）場合、対応するディスクリプタは、メタ・ディスクリプタによって示される抽出方法と重みを収納場所マルチメディア情報項目に適応させることによって、照会マルチメディア項目から抽出される（ステップ134）。次いで、比較（ステップ135）が、収納場所マルチメディア情報項目に対する参照ディスクリプタとディスクリプタとの間で行われる。収納場所マルチメディア情報項目に対するメタ・ディスクリプタにおいて重みを与えられない機能は、メタ・ディスクリプタ抽出に対する処理には必要ない。比較は、データ・ベース内で全てのクラスタに対して繰り返され（ステップ136でNO）、かつ各クラスタからの最も近いマッチのセットが、従来技術で周知である適切な手段により、適正にランク付けされ、かつユーザに表示される（ステップ137）。
【００３２】  人間のエキスパートによってユーザ入力を形式化することに関するメタ・ディスクリプタを最適化する技術が、図4に示されている。本明細書の明確さのために、静止画像の単純な収納場所が、想定されている。この様な画像は、典型的には、例えば、人間の姿、植物、景色、および織物のようないくつかのカテゴリに分類することが可能であり、かつカラー、形状、テクスチャ、およびスケッチのようないくつかの方法によって、コンテンツに基づく検索を可能にする。データデース内の所定の画像は、これらの機能の一つ以上によって最も良く記述され、かつ他の機能によっては十分に記述されない。例えば、人間の姿は、形状によって最も良く記述され、かつ植物は、カラーとテクスチャによって最も良く記述され、かつ景色は、テクスチャ単独によって最も良く記述される。これらの特性を有するデータ・ベースは、人間の入力を使用して次のようにトレーニングされる。ステップ301において、メタ・ディスクリプタ生成処理は、カラー、形状、テクスチャ、およびスケッチ等の機能の全てを使用して実行される（図2のステップ112〜114は、この様な処理の例である）。ステップ302において、マルチメディアの照会処理が、カラー、形状、テクスチャ、およびスケッチ等の機能の全てを使用して実行される（図2のステップ131〜136は、この様な処理の例である）。ステップ303において、結果は、検索システムによってランク付けされ、かつ人間のエキスパートに表示される。最も近いマッチから、ユーザは、どの方法が最も良く照会画像に合うかを決定し、また複数の方法が照会画像に合う場合、ユーザは、適切な基準を使用して適切な機能の各々に対する重みを決定する。ユーザは、適切な機能に対して同じ重みが与えられるべき最も近いマッチのセット内の他の画像の全ても示す。ステップ306において、検索システムは、例えば、人間のエキスパートの入力に基づく機能に対して新しい重みを割り当てることによって、メタ・ディスクリプタの値をアップデートする。如何なる様々な反復的学習技術も、使用することが出来る。トレーニング内で全く考慮されなかった画像には、全ての機能に対して等しい重みを割り当てることが出来る。人間のエキスパートが、その結果に満足するまで、ステップ301、302、303および306は、繰り返され、そしてメタ・ディスクリプタは最適化され、かつ処理300は終了する。
【００３３】  特定の標準化方式に関わらず、メタ・ディスクリプタは、ディスクリプタ、ディスクリプタ方式、およびディスクリプタ定義言語に対する標準システムに組み込まれる場合、最も効果的である。ディスクリプタとは何か、かつそれがマルチメディア情報の検索システム内でどのように機能するかを述べた例は、「国際標準化組織ISO/IEC JTC1/SC29/WG11 動画および音声コーディング（International Organisation for Standardisation ISO/IEC JTC1/SC29/WG11 Coding of Moving Pictures and Audio）」（MPEG-7 Requirements Document V.8, No.N2727, March 1999）；「国際標準化組織ISO/IEC JTC1/SC29/WG11 動画および音声コーディング, MPEG-7（International Organization for Standardisation ISO/IEC JTC1/SC29/WG11 Coding of Moving Pictures and Audio, MPEG-7）」（Context, Objectives and Technical Roadmap, V.11, No.N2729, March 1999）であり、これらは、引用文献としてそれらの全体が、本明細書に組み込まれているものとする。これらの文献において示された観点によると、マルチメディア情報の検索は、「ディスクリプタ」とそれらの例示（「ディスクリプタ値」）を比較することによって実行され、ディスクリプタは、マルチメディア情報の「機能」の表現であり、かつ機能は、誰かに何かを知らせるマルチメディア情報特有の特性である。ディスクリプタは、機能表現の構文と意味を定義する。必要に応じ、異なる関連した要求事項が、アドレス指定されることが必要となる場合のように、数個のディスクリプタを、単一の機能を表現するために使用することが出来る。例えば、カラー機能に対して可能なディスクリプタは、カラーヒストグラム、周波数成分の平均、モーション・フィールド、およびタイトルのテキスト等である。ディスクリプタ値は、「記述方式」のメカニズムを介して「記述」を形成するために結合される。特に、記述方式（「DS」）は、ディスクリプタと記述方式とすることが出来るその成分間の関係の構成と意味を規定し、かつ記述は、DS(構成)とマルチメディア・データを記述するディスクリプタ値（例示）のセットから成る。記述定義言語（「DDL」）は、新規な記述方式、およびおそらくディスクリプタの作成を可能にする言語である。それは、既存の記述方式の拡張と変更態様も可能にする。（スケッチ機能を含むように修正された）上述したMPEG-7 Requirements Document V.8から引用した表1は、機能とそのディスクリプタ間の区別を示す。
【００３４】
【表１】
0005340517.tif 000002
【００３５】  ディスクリプタと記述方式のための一般的な要求事項は、上述のMPEG-7 Requirements Document内に提案されたように、適切なディスクリプタとそれらのメタ・ディスクリプタによってサポートされる。機能の多重タイプ(Multiple types of features) ― 適切なディスクリプタとそれらのメタ・ディスクリプタは、次のような様々なタイプの機能を使用しているマルチメディア記述をサポートする：N次元の時空間構造（例えば、音楽セグメントの継続時間）、オブジェクティブ機能（例えば、ホテル内のベッド数、オブジェクトのカラー、オブジェクトの形状、オーディオピッチ等）、主観的機能（例えば、誰かがどの程度素適で、幸福で、太っているかということ、トピック、スタイル等）、生産機能（例えば、取得日のようなドキュメント作成についての情報、プロデューサ、ディレクタ、パフオーマ、役割、生産会社、生産履歴、何れかの非IPMP生産情報）、合成情報（例えば、シーンが組み立てられる方法、編集情報、ユーザの優先等）、および概念（例えば、イベント、アクティビティ）。マルチメディア材料に対する抽象レベル(Abstraction levels for the multimedia material) ― 異なる抽象レベルでマルチメディアドキュメントを記述する階層的なメカニズムは、サポートされ、それは（例えば、サブオブジェクトからのオブジェクトの合成と、ビデオのモーションシーケンス解析によるシーケンスと、ビデオのプロット構造のような）異なる抽象レベルで情報に対するユーザのニーズに対処する。クロスモダリティ(Cross-modality) ―ビジュアル記述に基づいて照会がオーディオ・データを検索することおよびその逆を可能にする、オーディオ、ビジュアル、または他のディスクリプタおよびメタ・ディスクリプタが、サポートされる（例えば、照会は、パバロッティの音声の抽出であり、かつその結果は、パバロッティが歌っていて、かつパバロッティが現れるビデオ・クリップの検索である）。多重記述(Multiple descriptions) ― その生産プロセスの数個のステージで、同じ材料の多重記述を扱う能力が、同じ材料の多重コピーに適応される記述と同様に、サポートされる。記述方式関係(Description scheme relations) ― 適切な記述方式は、ディスクリプタとそれらのメタ・ディスクリプタとの間の関係を表し、複数の記述方式のそれらの使用を可能にする。異なる記述方式でのディスクリプタとそれらのメタ・ディスクリプタとの間の等価関係を符号化する性能が、サポートされる。ディスクリプタ優先順位(Descriptor priorities) ― ディスクリプタとそれらのメタ・ディスクリプタの優先順位付けは、照会をより効率的に処理することが出来るように記述方式によってサポートされることが好ましい。優先順位は、確信、または信頼性のレベルを反映することが出来る。ディスクリプタ階層(Descriptor hierarchy) ― 適切な記述方式は、照会が、（Nレベルディスクリプタが（N-1）レベルディスクリプタを補足する）連続したレベルで、より効率的に処理されることを可能にするために、異なるディスクリプタとそれらのメタ・ディスクリプタの階層的表現をサポートする。ディスクリプタ・スケーラビリティ(Descriptor scalability) ― 適切な記述方式は、照会を、連続した記述層でより効率的に処理することが出来るように、それらのメタ・ディスクリプタを有��るスケーラブルなディスクリプタをサポートする。時間範囲の記述(Description of temporal range)―異なる時間範囲へのそれらのメタ・ディスクリプタを有するディスクリプタの関連は、シーケンシャル（それらのメタ・ディスクリプタを有するディスクリプタは、連続する時間間隔に連続して関連する）および階層的（それらのメタ・ディスクリプタを有するディスクリプタは、全部のデータ、またはそれの時間なサブセットに関連する）の両方でサポートされる。直接データ操作(Direct data manipulation) ―データに直接参照することを扱うように作用するディスクリプタとそれらのメタ・ディスクリプタは、サポートされ、マルチメディア材料の操作を可能にする。テキストベースの記述言語(Language of text-based descriptions) ― それらのメタ・ディズクリプタを有する適切なディスクリプタは、記述で使用される言語を規定し、かつ全ての自然言語をサポートする。テキスト記述における翻訳(Translations in text descriptions) ― 適切なテキスト記述は、異なる言語における記述間の関係を伝えるために、多数の異なる言語への翻訳を含む方法を提供する。
【００３６】  ディスクリプタと記述方式に対する機能要求は  上述したMPEG-7 Requirements Documentに提案されているように、適切なディスクリプタとそれらのメタ・ディスクリプタによってサポートされている。検索効果(Retrieval effectiveness) ― マルチメディア材料の効果的な検索は、サポートされる。検索効率 ― マルチメディア材料の効率的な検索は、サポートされる。類似ベース検索(Similarity-base retrieval) ― 照会との類似の程度によってデータ・ベース・コンテンツの順位付けを可能にする記述が、サポートされる。関連情報(Associated information) ― データと他の情報との関連性が、サポートされる。流出されたおよび格納された記述(Streamed and stored descriptions) ― （コンテンツと同期された）流出されたデータと流出されないデータの記述の両方が、サポートされる。分散型マルチメディア・データベース(Distributed multimedia database) ― 分散型データ・ベースにおけるマルチメディア・データの同時かつ即応型の検索が、サポートされる。アナログデータの参照(Referencing analogue and data) ― アナログ・フォーマットにおけるマルチメディアドキュメントを参照しかつ記述する能力が、サポートされる（例えば、VHSテープ内のシーケンスに対する時間参照を提供する）。インタラクティブ照会(Interactive queries) ― インタラクティブ照会を可能にするメカニズムが、サポートされる。リンキング(Linking) ― ソース・データを空間と時間に位置付けることが可能なメカニズムが、関連情報へのリンクを含んで、サポートされる。関連情報の優先順位(Prioritization of related information) ― 関連情報の優先順位を可能にするメカニズムが、上述のリンキングのもとで、サポートされる。ブラウジング(Browsing) ― 情報コンテンツをプレビューできる記述が、ユーザが構成および／または情報タイプの彼らの不慣れを克服するのを助け、または彼等の未決定のニーズを明瞭にするために、サポートされる。準関係(Associate relation) ― 記述の成分の間の関係が、サポートされる。インタラクティビティ・サポート(Interactivity support) ― 記述に関するインタラクティビティを規定することが可能な手段が、サポートされる（例えば、放送イベントに関するテレ投票）。知的所有権情報 ― 著作権、ライセンス、およびDs、DSs、および記述に関する認証情報の内包が、サポートされる。
【００３７】  ディスクリプタと記述方式に対するビジュアル規定の要求事項は、上述したMPEG-7 Requirements Documentで提案されるように、適切なディスクリプタとそれらのメタ・ディスクリプタによってサポートされる。機能のタイプ(Type of features) ―（主に、照会において使用される情報のタイプに関する）以下の機能を可能にするビジュアル記述が、サポートされる：カラー、ビジュアル・オブジェクト、テクスチャ、スケッチ、形状、静止と動画像(例えば、サムネイル)、ボリューム、空間の関係、モーション、変位、ビジュアル・オブジェクトのソースとその特性（例えば、ソース・オブジェクト、ソース・イベント、ソース属性、イベント、イベント属性、および典型的に関連するシーン）、およびモデル（例えば、MPEG-4 SNHC）。記述を使用しているデータ・ビジュアライゼーション(Data visualization using the description) ― ビジュアライゼーションで性能を向上させるマルチメディア・データ記述の範囲が、サポートされる（インデックスを付けられたデータの多少のスケッチビジュアライゼーションが可能になる）。ビジュアル・データフォーマット(Visual data formats) ― 次のビジュアル・データフォーマットの記述が、サポートされる：MPEG-1, MPEG-2, またはMPEG-4のようなデジタルビデオとフィルム；アナログビデオとフィルム；JPEG、紙、または他のフォーマットのような電子機器内の静止画像；CADのようなグラフィックス；3Dモデル（とりわけVRML）；およびビデオに関連した構成データ。まだ定義されない他のビジュアル・データフォーマットの記述は、可能である。ビジュアル・データ・クラス(Visual data classes) ― ビヂュアル・データの次のクラスに特別に適用できる記述が、サポートされる：ナチュラルビデオ、静止画像、グラフィックス、アニメーション（2次元）、3次元モデル、および構成情報。
【００３８】  ディスクリプタと記述に対するオーディオ規定要求は、上述したMPEG-7 Requirements Documentに提案されるように、適切なディスクリプタとそれらのメタ・ディスクリプタによってサポートされる。機能のタイプ(Type of features) ― （照会において使用される情報のタイプに主に関する）次の機能を可能にするオーディオ記述：周波数等高線（一般的な傾向、旋律的な等高線）、オーディオ・オブジェクト、音色、調和、周波数プロファイル、振幅エンベロープ、時間の構成（リズムを含む）、テキストのコンテンツ（典型的に、音声または歌詞）のソニック近似（例えば、メロディをハミングする、または音響効果を高めることによるソニック・スケッチの発声）、原型的な音（典型的に、例示照会言語）、空間構造（マルチチャンネル・ソース、ステレオ、5.1チャンネル、および各々特定のマッピングを有するバイノーラル音に適用できる）、音とその特性のソース（例えば、ソース・オブジェクト、ソース・イベント、ソース属性、イベント、イベント属性、および典型的に関連シーン）、およびモデル（例えば、MPEG-4 SAOL）。記述を使用しているデータ・ソニフィケーション(Data sonification using the description)―ソニフィケーションで性能を向上したマルチメディア・データ記述の範囲が、サポートされる。聴覚データフォーマット(Auditory data formats) ― 聴覚データの次のタイプの記述は、サポートされる：デジィタルオーディオ（例えば、MPEG-1 オーディオ、コンパクトディスク）、アナログ・オーディオ（例えば、ビニル・レコード、磁気テープ・メディア）、一般的MIDI とカラオケフォーマットを含むMIDI、モデルに基づくオーディオ（例えば、MPEG-4のStructured Audio Orchestra Language  - SAOL）、および生産データ。聴覚データ・クラス(Auditory data classes) ― 聴覚データの次のサブクラスに特別に適用できる記述は、サポートされる：サウンドトラック（ナチュラルオーディオシーン）、音楽、極小の音響効果（例えば、拍手）、音声、記号オーディオ表現（MIDI, SNHC Audio）、およびミキシング情報（効果を含む）。
【００３９】  ディスクリプタと記述方式に対する符号化要求事項は、上述のMPEG-7 Requirements Documentに提案されるように、適切なディスクリプタとそれらのメタ・ディスクリプタによってサポートされる。記述の効率的な表現(Description efficient representation) ― データ記述の効率的な表現は、サポートされる。記述抽出(Description extraction) ―数個の広く使用されたフォーマットに従って、圧縮されていないデータと圧縮データから容易に抽出することが出来るディスクリプタと記述方式の使用は、メタ・ディスクリプタによってサポートされる。情報エラーと損失に対する堅牢性(Robustness to information errors and loss) ― 送信エラーの場合システムの適当な動作を保証するメカニズムは、サポートされる。
【００４０】  ディスクリプタと記述方式に対するテキスト規定要求事項は、上述のMPEG-7 Requirements Documentには提案されていないが、テキスト記述とインターフェースにより、オーディオ・ビジュアル記述に基づいて照会がテキストデータを検索するまたその逆が可能になり、かつテキストのみのドキュメントとテキストを含むコンポジット・ドキュメントに対するテキストの記述が同じであるならば、適切なディスクリプタとそれらのメタ・ディスクリプタは、オーディオビヂュアル情報に加えて、テキストを含む、または参照するマルチメディアの能力をサポートする。
【００４１】  メタ・ディスクリプタが使用されるいくつかの状況においては、検索エンジンまたはフィルタエージェント（ユーザ側）は、メタ・記述生成処理によって用いられる正確な機能抽出アルゴリズムを知る必要がある場合があるが、記述生成処理の間、機能抽出に使用される特有のアルゴリズムは、メタ・記述生成処理に関連しない。それゆえ、メタ・記述プロセスは、機能抽出における技術開発に対処することが出来、かつ競争力の有る開発を奨励することが出来る。
【００４２】  本明細書において述べられた本発明とそのアプリケーションの記載は、例示的であり、かつ請求項に述べられた本発明の範囲を制限するものではない。本明細書で開示された実施例の変更と修正は、可能であり、かつ実施例の様々な要素の実際的な代替と等価物は、当業者には知られている。本明細書に開示された実施例のこれらのおよび他の変更と修正は、請求項に記載された本発明の範囲と精神から逸脱することなく行うことが出来る。
【図面の簡単な説明】
【図１】収納場所内のマルチメディア・データの様々なフォームのピクトリアル表現を示す。
【図２】本発明によるメタ・ディスクリプタ生成処理とマルチメディアの照会処理のフローチャートを示す。
【図３】本発明による例示となる関係形式データ・ベースのレコード表を示す。
【図４】本発明による収納場所内のマルチメディアに対するメタ・ディスリプタをリファインする処理のフローチャートを示す。
【符号の説明】10    グラフィックス
20    音声
110    メタ・ディスクリプタ生成方法
120    記憶
130    マルチメディア・収納場所の照会方法
MM_INFO_NO    マルチメディア情報番号フィールド
DV     ディスクリプタ値フィールド
MDV    メタ・ディスクリプタ値フィールド
301    メタ・ディスクリプタ生成処理
302    マルチメディアの照会処理
【図１】
0005340517.tif 000003
【図２】
0005340517.tif 000004
【図３】
0005340517.tif 000005
【図４】
0005340517.tif 000006