(57)【特許請求の範囲】
【請求項１】
画像情報から記述レコードを生成するためのシステムにおいて、
前記画像情報を受信するための少なくとも１つの画像入力インタフェースと、
前記少なくとも１つの画像入力インタフェースに接続されてそこから前記画像情報を受信し、画像オブジェクト抽出処理を実行することによって前記画像情報を処理して前記画像情報から画像オブジェクト記述を生成し、オブジェクト階層構成・抽出処理によって前記生成された画像オブジェクト記述を処理して画像オブジェクト階層記述を生成し、かつ実体関係グラフ生成処理によって前記生成された画像オブジェクト記述を処理して実体関係グラフ記述を生成し、前記画像オブジェクト記述と前記画像オブジェクト階層記述と前記実体関係グラフ記述とを含む少なくとも１つの記述レコードが、前記画像情報内に埋め込まれたコンテンツを表現するために生成されるコンピュータプロセッサと、
前記プロセッサに作動的に接続された、前記少なくとも１つの記述レコードを蓄積するためのデータ蓄積システムと、
を備えることを特徴とするシステム。
【請求項２】
前記画像オブジェクト抽出処理と前記オブジェクト階層構成・抽出処理が並行して実行される、請求項１記載のシステム。
【請求項３】
前記画像オブジェクト抽出処理が、
前記画像情報中の各画像を前記画像内の諸領域に分割する画像分割処理と、
単数または複数の前記領域に関する単数または複数の特徴記述を生成する特徴抽出注釈処理とを含み、
前記生成された画像オブジェクト記述が、単数または複数の前記領域に関する前記単数または複数の特徴記述を含む、請求項１記載のシステム。
【請求項４】
前記画像オブジェクト記述が、記録媒体特徴と視覚特徴と意味特徴とからなる群から選択される、請求項１又は３記載のシステム。
【請求項５】
前記意味特徴がさらに、誰、如何なるオブジェクト、如何なる行動、何処、何時、何故、コードダウンローディングおよびテキスト注釈からなる群から選択される少なくとも１つの特徴記述によって定義される、請求項４記載のシステム。
【請求項６】
前記視覚特徴がさらに、色、表面模様、位置、サイズ、形状、動き、コードダウンローディングおよび方位からなる群から選択される少なくとも１つの特徴記述によって定義される、請求項４記載のシステム。
【請求項７】
前記記録媒体特徴がさらに、ファイル形式、ファイルサイズ、色表現、解像度、データファイルロケーション、著者、作成、スケーラブルレイヤ、コードダウンローディングおよびモダリティトランスコーディングからなる群から選択される少なくとも１つの特徴記述によって定義される、請求項４記載のシステム。
【請求項８】
前記オブジェクト階層構成・抽出処理が、前記画像オブジェクト記述によって表現される画像オブジェクトの視覚特徴関連に基づいて前記画像オブジェクト記述の画像オブジェクト階層記述を生成する、請求項１記載のシステム。
【請求項９】
前記オブジェクト階層構成・抽出処理が、前記画像オブジェクト記述によって表現される画像オブジェクトの意味特徴関連に基づいて前記画像オブジェクト記述の画像オブジェクト階層記述を生成する、請求項１記載のシステム。
【請求項１０】
前記オブジェクト階層構成・抽出処理が、前記画像オブジェクト記述によって表現される画像オブジェクトの記録媒体特徴関連に基づいて前記画像オブジェクト記述の画像オブジェクト階層記述を生成する、請求項１記載のシステム。
【請求項１１】
前記オブジェクト階層構成・抽出処理が、前記画像オブジェクト記述によって表現される画像オブジェクトの関連に基づいて前記画像オブジェクト記述の画像オブジェクト階層記述を生成し、前記関連が、視覚特徴関連と意味特徴関連と記録媒体特徴関連とからなる群から選択される、請求項１記載のシステム。
【請求項１２】
前記オブジェクト階層構成・抽出処理が、前記画像オブジェクト記述によって表現される画像オブジェクトの関連に基づいて前記画像オブジェクト記述の画像オブジェクト階層記述を生成し、前記画像オブジェクト階層記述が複数の階層レベルを有する、請求項１記載のシステム。
【請求項１３】
複数の階層レベルを有する前記画像オブジェクト階層記述がクラスタリング階層を含む、請求項１２記載のシステム。
【請求項１４】
前記クラスタリング階層が、前記画像オブジェクト記述によって表現される画像オブジェクトの関連に基づいており、前記関連が、視覚特徴関連と意味特徴関連と記録媒体特徴関連とからなる群から選択される、請求項１３記載のシステム。
【請求項１５】
前記実体関係グラフ生成処理が、前記画像オブジェクト記述によって表現される画像オブジェクトの関連に基づいて前記画像オブジェクト記述の実体関係グラフ記述を生成し、前記関連が、視覚特徴関連と意味特徴関連と記録媒体特徴関連とからなる群から選択される、請求項１記載のシステム。
【請求項１６】
さらに、前記画像オブジェクト記述を受信して符号化記述情報に符号化するためのエンコーダを含み、前記データ蓄積システムが前記符号化記述情報を前記少なくとも１つの記述レコードとして蓄積するように作動する、請求項１記載のシステム。
【請求項１７】
前記画像オブジェクト記述と前記画像オブジェクト階層記述と前記実体関係グラフ記述が互いに組合わされて画像記述を形成し、さらに、前記画像記述を受信して符号化記述情報に符号化するためのエンコーダを含み、前記データ蓄積システムが前記符号化記述情報を前記少なくとも１つの記述レコードとして蓄積するように作動する、請求項１記載のシステム。
【請求項１８】
前記エンコーダが２進エンコーダを含む、請求項１７記載のシステム。
【請求項１９】
前記エンコーダがＸＭＬエンコーダを含む、請求項１７記載のシステム。
【請求項２０】
画像情報から記述コードを生成するための方法において、
前記画像情報を受信するステップと、
画像オブジェクト抽出処理を実行することによって前記画像情報を処理して前記画像情報から画像オブジェクト記述を生成するステップと、
オブジェクト階層構成・抽出処理によって前記生成された画像オブジェクト記述を処理して画像オブジェクト階層記述を生成するステップと、
実体関係グラフ生成処理によって前記生成された画像オブジェクト記述を処理して実体関係グラフ記述を生成し、前記画像オブジェクト記述と前記画像オブジェクト階層記述と前記実体関係グラフ記述とを含む少なくとも１つの記述レコードが、前記画像情報内に埋め込まれたコンテンツを表現するために生成されるステップと、
前記少なくとも１つの記述レコードを蓄積するステップと、
を備えることを特徴とする方法。
【請求項２１】
前記画像オブジェクト抽出処理ステップと前記オブジェクト階層構成・抽出処理ステップが並行して実行される、請求項２０記載の方法。
【請求項２２】
前記画像オブジェクト抽出処理ステップがさらに、
前記画像情報中の各画像を前記画像内の諸領域に分割する画像分割処理ステップと、
単数または複数の前記領域に関する単数または複数の特徴記述を生成する特徴抽出注釈処理ステップとを含み、
前記生成された画像オブジェクト記述が単数または複数の前記領域に関する前記単数または複数の特徴記述を含む、請求項２０記載の方法。
【請求項２３】
さらに、記録媒体特徴と視覚特徴と意味特徴とからなる群から前記画像オブジェクト記述を選択するステップを含む、請求項２０又は２２記載の方法。
【請求項２４】
前記意味特徴がさらに、誰、如何なるオブジェクト、如何なる行動、何処、何時、何故、コードダウンローディングおよびテキスト注釈からなる群から選択される少なくとも１つの特徴記述によって定義される、請求項２３記載の方法。
【請求項２５】
前記視覚特徴がさらに、色、表面模様、位置、サイズ、形状、動き、コードダウンローディングおよび方位からなる群から選択される少なくとも１つの特徴記述によって定義される、請求項２３記載の方法。
【請求項２６】
前記記録媒体特徴がさらに、ファイル形式、ファイルサイズ、色表現、解像度、データファイルロケーション、著者、作成、スケーラブルレイヤ、コードダウンローディングおよびモダリティトランスコーディングからなる群から選択される少なくとも１つの特徴記述によって定義される、請求項２３記載の方法。
【請求項２７】
前記オブジェクト階層構成・抽出処理ステップが、前記画像オブジェクト記述によって表現される画像オブジェクトの視覚特徴関連に基づいて前記画像オブジェクト記述の画像オブジェクト階層記述を生成する、請求項２０記載の方法。
【請求項２８】
前記オブジェクト階層構成・抽出処理ステップが、前記画像オブジェクト記述によって表現される画像オブジェクトの意味特徴関連に基づいて前記画像オブジェクト記述の画像オブジェクト階層記述を生成する、請求項２０記載の方法。
【請求項２９】
前記オブジェクト階層構成・抽出処理ステップが、前記画像オブジェクト記述によって表現される画像オブジェクトの記録媒体特徴関連に基づいて前記画像オブジェクト記述の画像オブジェクト階層記述を生成する、請求項２０記載の方法。
【請求項３０】
前記オブジェクト階層構成・抽出処理ステップが、前記画像オブジェクト記述によって表現される画像オブジェクトの関連に基づいて前記画像オブジェクト記述の画像オブジェクト階層記述を生成し、前記関連が、視覚特徴関連と意味特徴関連と記録媒体特徴関連とからなる群から選択される、請求項２０記載の方法。
【請求項３１】
前記オブジェクト階層構成・抽出処理ステップが、前記画像オブジェクト記述によって表現される画像オブジェクトの関連に基づいて前記画像オブジェクト記述の画像オブジェクト階層記述を生成し、前記画像オブジェクト階層記述が、複数の階層レベルを有するように構成される、請求項２０記載の方法。
【請求項３２】
複数の階層レベルを有する前記画像オブジェクト階層記述が、クラスタリング階層を含むように構成される、請求項３１記載の方法。
【請求項３３】
前記クラスタリング階層が、前記画像オブジェクト記述によって表現される画像オブジェクトの関連に基づくように構成され、前記関連が、視覚特徴関連と意味特徴関連と記録媒体特徴関連とからなる群から選択される、請求項３２記載の方法。
【請求項３４】
前記実体関係グラフ生成処理ステップが、前記画像オブジェクト記述によって表現される画像オブジェクトの関連に基づいて前記画像オブジェクト記述の実体関係グラフ記述を生成し、前記関連が、視覚特徴関連と意味特徴関連と記録媒体特徴関連とからなる群から選択される、請求項２０記載の方法。
【請求項３５】
さらに、前記画像オブジェクト記述を受信して符号化記述情報に符号化するステップと前記符号化記述情報を前記少なくとも１つの記述レコードとして蓄積するステップとを含む、請求項２０記載の方法。
【請求項３６】
さらに、前記画像オブジェクト記述と前記画像オブジェクト階層記述と前記実体関係グラフ記述とを組合わせて画像記述を形成するステップと、前記画像記述を受信して符号化記述情報に符号化するステップと、前記符号化記述情報を前記少なくとも１つの記述レコードとして蓄積するステップとを含む、請求項２０記載の方法。
【請求項３７】
前記符号化ステップが２進符号化ステップを含む、請求項３６記載の方法。
【請求項３８】
前記符号化ステップがＸＭＬ符号化ステップを含む、請求項３６記載の方法。
【請求項３９】
対応する画像情報内に埋め込まれた画像コンテンツを表現する少なくとも１つの記述レコードを生成するためのプログラムを記録したコンピュータ可読記録媒体において、前記プログラムが、
画像オブジェクト抽出処理を利用して前記画像情報から単数または複数の画像オブジェクト記述を生成するステップと、
オブジェクト階層構成・抽出処理を利用して前記生成された画像オブジェクト記述から単数または複数の画像オブジェクト階層記述を生成するステップと、
実体関係グラフ生成処理を利用して前記生成された画像オブジェクト記述から単数または複数の実体関係グラフ記述を生成するステップと、
をコンピュータに実行させるためのプログラムコードを含むことを特徴とするコンピュータ可読記録媒体。
【請求項４０】
前記画像オブジェクト記述と前記画像オブジェクト階層記述と前記実体関係グラフ記述がさらに単数または複数の特徴記述を含む、請求項３９記載のコンピュータ可読記録媒体。
【請求項４１】
前記単数または複数の特徴記述が、記録媒体特徴と視覚特徴と意味特徴とからなる群から選択される、請求項４０記載のコンピュータ可読記録媒体。
【請求項４２】
前記意味特徴がさらに、誰、如何なるオブジェクト、如何なる行動、何処、何時、何故、コードダウンローディングおよびテキスト注釈からなる群から選択される少なくとも１つの特徴記述によって定義される、請求項４１記載のコンピュータ可読記録媒体。
【請求項４３】
前記視覚特徴がさらに、色、表面模様、位置、サイズ、形状、動き、コードダウンローディングおよび方位からなる群から選択される少なくとも１つの特徴記述によって定義される、請求項４１記載のコンピュータ可読記録媒体。
【請求項４４】
前記記録媒体特徴がさらに、ファイル形式、ファイルサイズ、色表現、解像度、データファイルロケーション、著者、作成、スケーラブルレイヤ、コードダウンローディングおよびモダリティトランスコーディングからなる群から選択される少なくとも１つの特徴記述によって定義される、請求項４１記載のコンピュータ可読記録媒体。
【請求項４５】
前記オブジェクト階層記述が、前記画像オブジェクト記述によって表現される画像オブジェクトの視覚特徴関連に基づいている、請求項３９記載のコンピュータ可読記録媒体。
【請求項４６】
前記画像オブジェクト階層記述が、前記画像オブジェクト記述によって表現される画像オブジェクトの意味特徴関連に基づいている、請求項３９記載のコンピュータ可読記録媒体。
【請求項４７】
前記画像オブジェクト階層記述が、前記画像オブジェクト記述によって表現される画像オブジェクトの記録媒体特徴関連に基づいている、請求項３９記載のコンピュータ可読記録媒体。
【請求項４８】
前記画像オブジェクト階層記述が、前記画像オブジェクト記述によって表現される画像オブジェクトの関連に基づいており、前記画像オブジェクト階層記述が複数の階層レベルを有する、請求項３９記載のコンピュータ可読記録媒体。
【請求項４９】
複数の階層レベルを有する前記画像オブジェクト階層記述がクラスタリング階層を含む、請求項４８記載のコンピュータ可読記録媒体。
【請求項５０】
前記クラスタリング階層が、前記画像オブジェクト記述によって表現される画像オブジェクトの関連に基づいており、前記関連が、視覚特徴関連と意味特徴関連と記録媒体特徴関連とからなる群から選択される、請求項４９記載のコンピュータ可読記録媒体。
【請求項５１】
前記実体関係グラフ記述が、前記画像オブジェクト記述によって表現される画像オブジェクトの関連に基づいており、前記関連が、視覚特徴関連と意味特徴関連と記録媒体特徴関連とからなる群から選択される、請求項３９記載のコンピュータ可読記録媒体。
【請求項５２】
前記画像オブジェクト記述が符号化記述情報の態様である、請求項３９記載のコンピュータ可読記録媒体。
【請求項５３】
前記画像オブジェクト記述と前記画像オブジェクト階層記述と前記実体関係グラフ記述が、符号化記述情報の態様に互いに組合わされる、請求項３９記載のコンピュータ可読記録媒体。
【請求項５４】
前記符号化記述情報が２進符号化情報の態様である、請求項５３記載のコンピュータ可読記録媒体。
【請求項５５】
前記符号化記述情報がＸＭＬ符号化情報の態様である、請求項５３記載のコンピュータ可読記録媒体。
【請求項５６】
複数の階層レベルを有する前記画像オブジェクト階層記述が抽出階層の多重レベルを含むように構成される、請求項１２記載のシステム。
【請求項５７】
抽出階層の前記多重レベルが、前記画像オブジェクト記述によって表現される画像オブジェクトの関連に基づくように構成され、前記関連が、視覚特徴関連と意味特徴関連と記録媒体特徴関連とからなる群から選択される、請求項５６記載のシステム。
【請求項５８】
複数の階層レベルを有する前記画像オブジェクト階層記述が、抽出階層の多重レベルを含むように構成される、請求項３１記載の方法。
【請求項５９】
抽出階層の前記多重レベルが、前記画像オブジェクト記述によって表現される画像オブジェクトの関連に基づくように構成され、前記関連が、視覚特徴関連と意味特徴関連と記録媒体特徴関連とからなる群から選択される、請求項５８記載の方法。
【請求項６０】
複数の階層レベルを有する前記画像オブジェクト階層記述が、抽出階層の多重レベルを含むように構成される、請求項４８記載のコンピュータ可読記録媒体。
【請求項６１】
抽出階層の前記多重レベルが、前記画像オブジェクト記述によって表現される画像オブジェクトの関連に基づくように構成され、前記関連が、視覚特徴関連と意味特徴関連と記録媒体特徴関連とからなる群から選択される、請求項６０記載のコンピュータ可読記録媒体。
【請求項６２】
前記単数または複数の特徴記述が、コードダウンローディングを促進するために抽出コード、整合コードに対するポインタを含む、請求項３または４のいずれかに記載のシステム。
【請求項６３】
前記単数または複数の特徴記述が、コードダウンローディングを促進するために抽出コード、整合コードに対するポインタを含む、請求項２２または２３のいずれかに記載の方法。
【請求項６４】
前記単数または複数の特徴記述が、コードダウンローディングを促進するために抽出コード、整合コードに対するポインタを含む、請求項４０または４１のいずれかに記載のコンピュータ可読記録媒体。
【発明の詳細な説明】
【０００１】
関連出願のクロス・リファレンス
この出願は、１９９９年２月１日出願の米国仮特許出願第６０／１１８０２０号、１９９９年２月１日出願の米国仮特許出願第６０／１１８０２７号、１９９８年１１月６日出願の米国仮特許出願第６０／１０７４６３号を優先権として請求する。
【０００２】
発明の分野
本発明は、マルチ記録媒体情報を記述するための技術、より詳細には映像情報を記述する技術、およびそのような情報のコンテンツに関する。
【０００３】
発明の背景
グローバルインターネットの成熟と、広域ネットワークおよびローカルネットワークの広範囲の利用とに伴い、ディジタルマルチ記録媒体情報はますます消費者およびビジネスに身近なものとなってきている。従って、増大する大量の生情報から有用な情報を選ぶことができるように、ディジタルマルチ記録媒体情報を処理しフィルタリングし探索し編成するシステムの開発がますます重要になってきている。
【０００４】
本願の出願時に、消費者およびビジネスがテキスト情報を探索することができる解決策は存在する。実際、yahoo.com、goto.com、excite.com等によって提供されるような多数のテキストに基づく探索エンジンがワールド・ワイド・ウェブ上で利用可能であり、それらは最もアクセスされるウェブサイトであり、そのような情報検索技術に対する需要を表している。
【０００５】
残念なことに、同じことはマルチ記録媒体コンテンツには当てはまらず、この素材の一般に認知された記述は存在しない。この点に関して、画像内に埋め込まれた映像オブジェクトの色、表面模様、形状情報等の特性を利用してユーザが画像を探索できるマルチ記録媒体データベースを提供することが過去に試みられた。しかし、２０世紀の終わりでは、インターネットもしくは大抵の広域ネットワークまたはローカルネットワークのマルチ記録媒体コンテンツの一般的探索を実行することはまだできず、この素材の広く認知された記述は存在しない。その上、マルチ記録媒体コンテンツを探索する要求はデータベースに限られているのでなく、ディジタル放送テレビおよびマルチ記録媒体電話等のその他のアプリケーションにも及ぶ。
【０００６】
標準マルチ記録媒体記述フレイムワークの開発を広く試みているある企業は、モーション・ピクチャーズ・エキスパート・グループス（“ＭＰＥＧ”）ＭＰＥＧ‐７の標準化努力を続けている。１９９６年１０月に始まるＭＰＥＧ‐７は、マルチ記録媒体サーチング、マルチ記録媒体フィルタリング、マルチ記録媒体ブラウジングおよびマルチ記録媒体サマライゼイションのようなコンテンツに焦点を当てたアプリケーションを促進するために、マルチ記録媒体データのコンテンツ記述の標準化を目指している。ＭＰＥＧ‐７標準の目的の一層完全な記述は国際標準化機構の文書ISO/IEC JTC1/SC29/WG11 N2460(Oct.1998)に含まれており、その内容は参照することによって本願に組み入れられる。
【０００７】
ＭＰＥＧ‐７標準は、記述子の標準集合だけでなく、記述子とマルチ記録媒体情報のさまざまな型を記述する記述子の関連とに関する（“記述スキーマ”と呼ばれる）構造を指定することも目的とする。ＭＰＥＧ‐７はまた、その他の記述子だけでなく、記述子とそれらの関連とに関する“記述スキーマ”も定義する方法の標準化を提案する。この記述、すなわち記述子と記述スキーマとの組合せは、ユーザの関心のある素材を迅速効果的に探索しフィルタリングできるようにするためにコンテンツ自体に関連付けられねばならない。ＭＰＥＧ−７はまた、記述スキーマを指定する言語（“ＤＤＬ”）と、マルチ記録媒体コンテンツの記述を２進符号化するためのスキーマとの標準化も提案する。
【０００８】
本願の出願時に、ＭＰＥＧは、ＭＰＥＧ‐７標準への将来的統合のために必要な記述スキーマを最適に実行することになる技術の提案を求めている。そのような最適化された記述スキーマを提供するために、３つの異なるマルチ記録媒体アプリケーションアレンジメントを検討することができる。これらは分散処理シナリオと、コンテンツ交換シナリオと、マルチ記録媒体コンテンツの個人的閲覧を可能とするフォーマットである。
【０００９】
分散処理に関して、あらゆるプラットフォームとあらゆるベンダとあらゆるアプリケーションとにかかわりなく、記述スキーマはマルチ記録媒体素材の記述を交換する能力を提供しなければならず、それはマルチ記録媒体コンテンツの分散処理を可能にするであろう。相互運用可能なコンテンツ記述の標準化は、さまざまなソースからのデータをマルチ記録媒体プロセッサ、マルチ記録媒体エディタ、マルチ記録媒体検索システム、マルチ記録媒体フィルタリングエージェント等のさまざまな分散アプリケーションにプラグインできることを意味することになる。それらのアプリケーションの幾つかは第三者によって提供され、マルチ記録媒体データの標準化された記述と一緒に作動することのできるマルチ記録媒体ツールのプロバイダの副産業を生み出すことができる。
【００１０】
ユーザは、幾つかの低レベルまたは高レベル処理によって得られるコンテンツおよび関連するインデクシングデータをダウンロードするためにさまざまなコンテンツプロバイダのウェブサイトにアクセスすることを可能とされ、ユーザの個人的関心にしたがって、ツール（例えばJava applets）をダウンロードして特別な方法で異種型データ記述を操作するために、幾つかのツールのプロバイダのウェブサイトにアクセスし続けることを可能とされるべきである。そのようなマルチ記録媒体ツールの１例が映像エディタであろう。各映像に関連付けられた記述がＭＰＥＧ‐７に準拠している場合、ＭＰＥＧ‐７準拠映像エディタはさまざまなソースからの映像コンテンツを操作し処理できるであろう。各映像は、カメラの動き、シーンカット、注釈およびオブジェクト分割等の記述の細部の度合いを変化させるのがつきものである。
【００１１】
相互運用可能なコンテンツ記述標準から大きな利益を得ることになる第２シナリオは、異種型マルチ記録媒体データベースの間でマルチ記録媒体コンテンツを交換することにある。ＭＰＥＧ‐７はマルチ記録媒体素材の現行の記述を表現し交換し変換し再利用する手段を提供することを目指している。
【００１２】
現在、ＴＶ放送局、ラジオ放送局およびその他のコンテンツプロバイダは、膨大な量のマルチ記録媒体素材を管理し蓄積している。この素材は、現在のところテキスト情報と所有権を主張できるデータベースとを利用して手操作で記述される。相互運用可能なコンテンツ記述なしに、コンテンツユーザは各放送局によって使用される記述を手操作でユーザ自身の所有権を主張できるスキーマに変換する人員に投資する必要がある。マルチ記録媒体コンテンツ記述の交換は、すべてのコンテンツプロバイダが同じコンテンツ記述スキーマを受け入れた場合に可能となるであろう。これがＭＰＥＧ‐７の目的の１つである。
【００１３】
最後に、記述スキーマを採用するマルチ記録媒体プレーヤとマルチ記録媒体ビューアは、ユーザによって構成されるデータの多重ビュー等の革新的能力をユーザに提供しなければならない。ユーザは、データをコンテンツ放送局から異なるフォーマットで再びダウンロードする必要なしに、ディスプレイの構成を変更できなければならない。
【００１４】
上記例は、ＭＰＥＧ‐７を基にした標準化方法で提供される十分に構成されたデータを利用する可能性を示唆するものにすぎない。残念なことに、分散処理シナリオ、コンテンツ交換シナリオまたは個人化された閲覧シナリオを全体的に満足することができる現在利用可能な先行技術はない。特に、先行技術は包括的特性または意味関連のどちらかを基にしたマルチ記録媒体情報内に埋め込まれたコンテンツを捕らえるための技術を提供することができず、またはそのようなコンテンツを編成するための技術を提供することができない。従って、包括的マルチ記録媒体情報に関する効果的コンテンツ記述スキーマ技術に対する要求が存在する。
【００１５】
発明の要約
本発明の目的は、画像コンテンツ用の記述システムを提供することである。
【００１６】
本発明の他の目的は、拡張可能な画像コンテンツ用の記述システムを提供することである。
【００１７】
本発明の別の目的は、スケーラブルな画像コンテンツに関する記述システムを提供することである。
【００１８】
本発明のさらに別の目的は、ＭＰＥＧ‐７標準等の特定の提案された記録媒体標準の要求を満足する画像コンテンツ用の記述システムを提供することである。
【００１９】
本発明の目的は、画像コンテンツを記述するための方法を提供することである。
【００２０】
本発明の他の目的は、拡張可能な画像コンテンツを記述するための方法を提供することである。
【００２１】
本発明の別の目的は、スケ−ラブルな画像コンテンツを記述するための方法を提供することである。
【００２２】
本発明のさらに別の目的は、ＭＰＥＧ‐７標準等の特定の提案された記録媒体標準の要求を満足する画像コンテンツを記述するための方法を提供することである。
【００２３】
図面の簡単な説明
本発明のその他の目的、特徴および利点は、本発明の図解的実施形態を示す添付図に関連した以下の詳細な説明から明らかとなる。
【００２４】
図１Ａは、本発明の画像記述システム用の例示的画像である。
【００２５】
図１Ｂは、本発明の画像記述システム用の例示的オブジェクト階層である。
【００２６】
図１Ｃは、本発明の画像記述システム用の例示的実体関係グラフである。
【００２７】
図２は、本発明の画像記述システムの例示的ブロック図である。
【００２８】
図３Ａは、本発明の画像記述システム用の例示的オブジェクト階層である。
【００２９】
図３Ｂは、本発明の画像記述システム用の別の例示的オブジェクト階層である。
【００３０】
図４Ａは、本発明の画像記述システム用の例示的画像の表現である。
【００３１】
図４Ｂは、本発明の画像記述システム用の例示的クラスタリング階層である。
【００３２】
図５は、本発明の画像記述システムの例示的ブロック図である。
【００３３】
図６は、本発明の画像記述システムの例示的プロセス流れ図である。
【００３４】
図７は、本発明の画像記述システムの例示的ブロック図である。
【００３５】
図８は、本発明の画像記述システムの別の例示的ブロック図である。
【００３６】
図全体にわたって、同じ参照番号および文字は、特段明記されない限り、図解的実施形態の特徴、要素、構成要素または部分等を表すのに使用される。さらに、従属発明が図に関連して詳細に説明されるが、それは図解的実施形態に関連してなされる。変更および変更態様は、追加請求項によって定義された従属発明の真実の範囲と精神に反することなく、記述された実施形態とすることができる。
【００３７】
好ましい実施形態の詳細な説明
本発明は、包括的画像データを表現する単純だが力強い構造が利用される画像用記述スキーマ（ＤＳ）を構成する。本発明の記述スキーマは画像コンテンツを記述するあらゆる種類の標準で使用することができるが、本発明の好ましい実施形態はＭＰＥＧ‐７標準で使用される。本発明のＤＳを実行するためにあらゆる記述定義言語（ＤＤＬ）が使用されるであろうが、好ましい実施形態は、特にワールド・ワイド・ウェブ・アプリケーション用に開発されたＳＧＭＬ（汎用マークアップ言語、ISO8879）の簡素化部分集合である拡張マークアップ言語（ＸＭＬ）を利用する。ＳＧＭＬは、文書が文書内で使用されるタグ集合とそれらのタグを表現する構造関連とを指定することによって文書自体の文法を記述するという意味で文書に自己記述することを可能にする。ＸＭＬは、習得し使用し実行することが完全ＳＧＭＬよりもごく容易となるように設計された言語において重要なＳＧＭＬ利点を維持している。ＸＭＬの完全な記述はＸＭＬによるワールド・ワイド・ウェブ・コンソーシアムのウェブページhttp://www.w3.ore/XML/.で見ることができ、その内容は参照することによって本願に組み入れられる。
【００３８】
本発明の記述スキーマを使用する画像の特徴付けの第１構成要素は、オブジェクトと特徴分類とオブジェクト階層と実体関係グラフと抽出の多重レベルとコードダウンローディングとモダリティトランスコーディングであり、それらはすべて以下で付加的に詳細に記述される。本発明の記述スキーマにおいて、画像文書はオブジェクトとオブジェクト間の関連との集合によって表現される。各オブジェクトは以下のカテゴリに一般的にグループ化される単数または複数の関連した特徴を有することができる：記録媒体特徴、視覚特徴、意味特徴。各特徴は、外部抽出コード、類似度整合コードを指示することによってコードダウンローディングを促進することができる記述子を含むことができる。オブジェクト間の関連はオブジェクト階層と実体関係グラフとによって記述することができる。オブジェクト階層はまた抽出の多重レベルの概念を含むこともできる。モダリティトランスコーディングは、種々の能力を有するユーザターミナル（例えば、パームパイロット、携帯電話またはパーソナルコンピュータ(PC’s)の種々のタイプ等）が同一の画像コンテンツを種々の解像度および／または種々のモダリティで受信することを可能にする。
【００３９】
上記のように、本発明の画像記述システムの好ましい実施形態は、ＭＰＥＧ‐７標準で使用される。この標準と一致して、この好ましい実施形態はオブジェクトを画像コンテンツのさまざまなレベルを記述するさいの基本実体として使用し、それは種々のディメンションにそって定義される。例えば、オブジェクトは画像領域または画像領域の郡を記述するのに使用することができる。高レベルオブジェクトは順に意味特徴または視覚特徴を基にした最初のオブジェクトの群を記述するのに使用することができる。さらに、特徴の種々の型はオブジェクトの種々のレベルと関連して使用することができる。例えば、視覚特徴は画像コンテンツ内の物理的な構成要素に対応するオブジェクトに適用することができるのに対して、意味特徴はオブジェクトのあらゆるレベルに適用することができる。
【００４０】
さらに、本発明の画像記述システムは、使用することの柔軟性と拡張性とスケーラビリティと利便性とを提供する。強化された柔軟性の利益において、本発明は、画像記述システムの部分が例示されることを可能にし、クラスタリング階層を介しての効率的特徴分類とオブジェクトのクラスタリングとを使用し、外部特徴記述子と実行コードの効果的なリンキングと埋め込みとダウンローディングとをサポートもする。本発明はまた記述スキーマ内に定義された要素がさまざまなドメイン用の新しい要素を導き出すことに使用されることを許可することによって拡張性を提供する。スケーラビリティはオブジェクト階層を使用する規準のあらゆる任意の集合を基にした多重抽出レベルを定義する本発明の能力によって提供される。それらの規準は、視覚特徴（例えば、サイズと色）、意味妥当性（例えば、ユーザの利益差の妥当性）および／またはサービスクオリティ（例えば、記録媒体特徴）の項で指定することができる。本発明は、構成要素、すなわちオブジェクト、特徴クラス、オブジェクト階層および実体関係グラフの最小集合を指定するので、利用するのに便利である。付加的オブジェクトと特徴はモジュラー形式、フレキシブル形式で付け加えることができる。さらに、オブジェクト階層および実体関係グラフのさまざまな型は、類似した仕方でそれぞれ定義することができる。
【００４１】
本発明の画像記述システムにおいて画像は、オブジェクト階層と実体関係グラフとによって互いに関係する画像オブジェクトの集合として表現される。それらのオブジェクトは外部抽出コード、類似度整合コードにリンクすることができる多重特徴を有することができる。それらの特徴は、例えば、記録媒体特徴、視覚特徴および意味特徴に分類される。画像オブジェクトは多重の種々のオブジェクト階層内に編成することができる。２つまたは複数のオブジェクト間の非階層関連は、単数または複数の種々の実体関係グラフを使用して記述することができる。大きな画像内に含まれるオブジェクトのために、そのようなオブジェクトをクラスタリングして見ることにおける抽出の多重レベルは、オブジェクト階層を使用して実行することができる。そのような画像をクラスタリングして見ることにおける抽出のそれらの多重レベルは、例えば、記録媒体特徴、視覚特徴および／または意味特徴を基にすることができる。記録媒体特徴の１つの例は、モダリティトランスコーディングを含み、種々のターミナル仕様を有するユーザが十分なモダリティと解像度とで同一の画像コンテンツへアクセスすることを許可する。
【００４２】
本発明の画像記述システムの特性と操作がいまやさらに詳細に表現される。図１Ａ、図１Ｂ、図１Ｃは、本発明の画像記述システムに従った例示的画像の例示的記述を示す。図１Ａは、画像オブジェクトとこれらオブジェクトに関する例示的対応するオブジェクト特徴との例示的集合を示す。より詳細には、図１Ａは、Ｏ０８（すなわち例示的写真全体）に含まれた画像オブジェクト１（すなわち、Ｏ１）２(“Person A”)、Ｏ２６(“Person  B”)、Ｏ３４(“People”)も、図示された例示的写真に関する例示的特徴１０も示す。図１Ｂは図１Ａに示した画像オブジェクトに関する例示的空間オブジェクト階層を示しており、そこではＯ０８（写真全体）がＯ１２(“Person  A”)とＯ２６(“Person  B”)とを含むように示してある。図１Ｃは図１Ａに示した画像オブジェクトに関する例示的実体関係(E-R)を示しており、そこではＯ１２(“Person  A”)がＯ２６(“Person  B”)の左に位置して握手をしていると特徴付けられている。
【００４３】
図２は、従来の統一モデル化言語（ＵＭＬ）フォーマットおよび表記法を利用した本発明の画像記述システムの例示的図形表現を示す。特に、図２に示した菱形記号は構成要素関連を表現する。各要素と関連する範囲はその構成要素関連内の頻度を表現する。特に、用語”0…*”は“０以上”を示し、用語”1…*”は“１以上”を示す。
【００４４】
以下の議論において、文字”<”and”>”の間に現れているテキストは、以下で現れるＸＭＬの好ましい実施形態内の参照される要素の特徴付けを示す。図２に示すような本発明の画像記述システムにおいて、画像要素２２(<image>)は、画像記述を表現する画像オブジェクト集合要素２４(<image_object_set>)を含み、また単数または複数のオブジェクト階層要素２６(<object_hierarchy>)と単数または複数の実体関係グラフ２８(<entity_relation_graph>)も含むことができる。各画像オブジェクト集合要素２４は単数または複数の画像オブジェクト要素３０を含む。各画像オブジェクト要素３０は、記録媒体特徴要素３６、視覚特徴要素３８および／または意味特徴要素４０等の単数または複数の特徴を含むことができる。各オブジェクト階層要素２６はオブジェクトノード要素３２を含み、各々が順に単数または複数の付加的なオブジェクトノード要素３２を含むことができる。各実体関係グラフ２８は単数または複数の実体関係要素３４を含む。各実体関係要素３４は順に関係要素４４を含み、また単数または複数の実体ノード要素４２も含むことができる。
【００４５】
オブジェクト階層要素２６は実体関係グラフ２８の特別な場合であり、実体は閉じ込め関連によって関係される。本発明の画像記述システムの好ましい実施形態は、実体関係グラフ２８に加えてオブジェクト階層要素２６を含む。なぜならば、オブジェクト階層要素２６は実体関係グラフ２８よりも効果的な検索用構造であるからである。さらに、オブジェクト階層要素２６は合成オブジェクトを定義する最も自然な方法であり、ＭＰＥＧ‐４オブジェクトは階層構造を使用するように構成されている。
【００４６】
柔軟性と一般性を最大にするため、本発明の画像記述システムはオブジェクト間の関連を記述する構造からオブジェクトの定義を切り離す。従って、同一のオブジェクトは種々のオブジェクト階層２６と実体関係グラフ２８とに現れることができる。このことで、１つ以上のオブジェクト階層２６および／または実体関係グラフ２８内に現れるオブジェクトに関する特徴の好ましくない重複は避けられる。さらに、オブジェクトはオブジェクト階層２６または実体関係グラフ２８等のあらゆる関連構造内に含まれるべき必要性なしに定義することができるので、オブジェクトとオブジェクト間の関係との抽出は種々のステージで実行され、それによって画像コンテンツの分散処理を許可する。
【００４７】
図１Ａ、図１Ｂ、図１Ｃ、図２を参照すると、画像オブジェクト３０は画像の単数または複数の任意の領域を参照し、その結果空間内で連続または不連続のどちらかになることができる。図１Ａ、図１Ｂ、図１Ｃにおいて、Ｏ１２(“Person A”)とＯ２６(“Person B”)とＯ０８（すなわち、写真）は、唯一の関連する連続領域を伴うオブジェクトである。他方、Ｏ３４(“People”)は空間内の互いから切り離された多重領域で構成されたオブジェクトの例である。大域的オブジェクトは画像全体に共通する特徴を含むのに対して、局所的オブジェクトはこの画像の特定部分の特徴のみを含む。従って、図１Ａ、図１Ｂ、図１Ｃにおいて、Ｏ０８は図示画像全体を表現する大域的オブジェクトであり、それに対して、Ｏ１２とＯ２４とＯ３４は画像全体内に含まれた１名または複数の人物を表現する各局所的オブジェクトである。
【００４８】
本発明と関連して使用することができるオブジェクトのさまざまな型は、色または表面模様等の視覚特徴によって定義されるオブジェクトである視覚オブジェクトと、記録媒体特徴と、意味特徴と、意味特徴と視覚特徴と記録媒体特徴との組合せによって定義されるオブジェクトとを含む。従って、オブジェクトの型はそのオブジェクトを記述するのに使用される特徴によって決定される。結果として、オブジェクトの新しい型は必要に応じて加えられることができる。さらに、オブジェクトの種々の型は、階層関連を利用することによってそれらの一般のオブジェクトから導き出すことができＭＰＥＧ‐７標準によってサポートされる。
【００４９】
図２に示したように、画像内に記述された全画像オブジェクト要素３０(<image_object>)の集合は画像オブジェクト集合要素２４(<image_object_set>)内に含まれる。各画像オブジェクト要素３０は画像記述内に一意名を有することができる。一意名とオブジェクト型（例えば、局所的または大域的）は、それぞれオブジェクト要素ＩＤの属性とオブジェクト型の属性として表現される。図１Ａ、図１Ｂ、図１Ｃに図示された画像を記述するオブジェクトの例示的集合の例示的実施は、以下でＸＭＬで記載されて示される。以下に示す全ＸＭＬリストにおいて、文字”<!_”and”_>”との間に現れるテキストは、ＸＭＬコードへのコメントを示す。
【００５０】
0004382288.tif 000002
【００５１】
図２に表されたように、画像オブジェクト３０は、例えば３つの特徴によって運ばれた情報に従って集められた群特徴である３つの特徴クラス要素を含むことができる。そのような特徴クラス要素の例は、記録媒体特徴３６(<img_obj_media_features>)と視覚特徴３８(<img_obj_visual_features>)と意味特徴４０(<img_obj_media_features>)とを含む。表１は以下でそれら各特徴クラスのための例示的特徴のリストを表す。
【００５２】
表１：例示的特徴クラスおよび特徴
特徴クラス      特徴
意味            テキスト注釈、誰、如何なるオブジェクト、如何なる行動、何故、何時、何処
視覚            色、表面模様、位置、サイズ、形状、方位
記録媒体        ファイル形式、ファイルサイズ、色表現、解像度、データファ
イルロケーション、モダリティトランスコーディング、作成日
【００５３】
画像オブジェクトエレメント３０内の特徴クラスに含まれた各特徴要素は、ＭＰＥＧ‐７標準に従った記述子を含む。表２は以下で表１に示した例示的視覚特徴と幾つか関連することのある例示的記述子を表す。表２に示したような特定の記述子は、外部抽出コード、類似度整合コードへのリンクも含むことができる。表１、表２は例示的特徴と例示的記述子とを表しているが、本発明の画像記述システムは、拡張形式およびモジュラー形式で、各オブジェクト用のあらゆる数の特徴と記述子とを含むことができる。
【００５４】
表２：例示的視覚特徴および関連する記述子
特徴        記述子
色          色ヒストグラム、主色、色干渉ベクトル、ビジュアルスプライトカ
ラー
表面模様    タムラ、ＭＳＡＲ、エッジディレクションヒストグラム、ＤＣＴ係
数エネルギー、ビジュアルスプライトテクスチャ
形状        バウンディングボックス、２進マスク、クロマキー、多角形形状、
フーリエ形状、境界、サイズ、対称、方位
【００５５】
以下で示されるＸＭＬの例は、どのように特徴と記述子とが画像オブジェクト３０内に含まれるように定義することができるかの例を示している。特に、以下の例は図１Ａ、図１Ｂ、図１Ｃに示した大域的オブジェクトＯ０、すなわち２つの意味特徴(“where”と”when”)と１つの記録媒体特徴(“file format”)と１つの視覚特徴(“color histogram”記述子を備えた”color”)とに関連された例示的特徴１０を定義する。オブジェクトは、以下の例で示されたような意味カテゴリの各々において、種々な概念(<concept>)によって記述することができる。
【００５６】
0004382288.tif 000003
0004382288.tif 000004
【００５７】
図２に示したように、本発明の画像記述システムにおいて、オブジェクト階層要素２６は画像オブジェクト集合２４内の画像オブジェクト３０を編成するのに使用することができ、記録媒体特徴３６、視覚特徴３８、意味特徴４０またはそれらのあらゆる組合せ等の種々の規準を基にする。各オブジェクト階層要素２６は、リンク３３を介して画像オブジェクト集合２４内の画像オブジェクト要素３０を参照するオブジェクトノード３２の枝を組成する。
【００５８】
オブジェクト階層２６は単数または複数の子ノードから親ノードへの閉じ込め関係を含む。この閉じ込め関係は多数の種々の型となることができ、例えば記録媒体特徴３６、視覚特徴３８および／または意味特徴４０等の利用されている特定のオブジェクト特徴に依存することができる。例えば、図１Ｂに示した空間オブジェクト階層は視覚閉じ込めを記述するが、何故ならそれは視覚特徴、すなわち空間位置と関連して作成されるからである。図３Ａと図３Ｂは２つの付加的な例示的オブジェクト階層を示す。特に図３Ａは、図１Ａに示した画像オブジェクトのための例示的階層を示しており、表１に表したように”who”意味特徴を基にしている。従って、図３Ａにおいて、Ｏ３４(“People”)はＯ１２(“Person A”)とＯ２６(“Person B”)とを含むように示されている。図３Ｂは、表１に表したような例示的色視覚特徴と例示的形状視覚特徴とを基にして例示的階層を示している。図３Ｂにおいて、Ｏ７４６は例えば特定の指定された色および形状抑制を満足するオブジェクトの対応する領域であると定義することができる。従って、図３ＢはＯ４４８(“Face Region 1”)とＯ６５０(“Face Region 2”)とを含むようにＯ７４６(“Skin Tone & Shape”)を示す。さまざまな特徴を組合せたオブジェクト階層２６もアプリケーションシステムのブロードレンジの要求を満足するように構成することができる。
【００５９】
図２にさらに示したように、各オブジェクト階層要素２６(<object_hierarchy>)は、オブジェクトノード(ONｓ)３２の枝を含む。オブジェクト階層はまたオプションの文字列属性型を含む。そのような文字列属性型が表れた場合、シソーラスはそれら文字列属性型の値を提供でき、アプリケーションは存在している階層の型を決定できる。各オブジェクトノード３２(<object_node>)は、リンク３３を介して画像オブジェクト集合２４内の画像オブジェクト３０を参照する。画像オブジェクト３０はまたリンク３３を介してそれらを参照するオブジェクトノード３２に戻って参照できる。この双方向リンキング機構は、画像オブジェクト集合２４内の画像オブジェクト３０からオブジェクト階層２６内の対応するオブジェクトノード３２への効果的な横断を許可し、逆もまた同様である。各オブジェクトノード３２は画像オブジェクトの一意名を使用することによって属性(object_ref)を通って画像オブジェクト３０を参照する。各オブジェクトノード３２も属性の形体で一意名を含むことができる。オブジェクトノード３２のためのそれらの一意名はオブジェクト３０がもう１つの属性(object_node_ref)を使用するそれらを参照するオブジェクトノードに戻って参照することを可能にする。図１Ｂに示した例示的空間オブジェクト階層の例示的ＸＭＬ実行文が以下に表現される。
【００６０】
0004382288.tif 000005
【００６１】
オブジェクト階層２６はまたクラスタリング階層を構成し抽出の多重レベルを生成するのに使用することもできる。例えば衛星写真等の比較的大きな画像を記述することにおいて、そのような画像内に普通に含まれる多数のオブジェクトを、効果的でスケーラブルな仕方で、記述し取り出すことにおいて問題が普通に生じる。クラスタリング階層はこの問題の解決を提供するため本発明の画像記述システムに関連して使用することができる。
【００６２】
図４Ａと図４Ｂはクラスタリング階層スキーマの例示的使用を示しており、オブジェクトがそれらの各サイズ(<size>)に基づいて階層的にクラスタリングされる。特に図４Ａは、例えば衛星写真画像等の比較的大きな画像の表現を示しており、オブジェクトＯ１１５２、Ｏ１２５４、Ｏ１３５６、Ｏ１４５８、Ｏ１５６０は大きな画像に含まれる例えば地表の湖等のサイズが変化する画像オブジェクトを表現する。図４Ｂは図４Ａに示したオブジェクトに関して例示的サイズを基にしたクラスタリング階層を表現しており、オブジェクトＯ１１５２、Ｏ１２５４、Ｏ１３５６、Ｏ１４５８、Ｏ１５６０は図４Ａに示したオブジェクトを表現し、付加的オブジェクトＯ１６６２、Ｏ１７６４、Ｏ１８５６は図４Ｂに示したクラスタリング階層のためのサイズを基にした規準を指定するオブジェクトを表現している。特にオブジェクトＯ１６６２、Ｏ１７６４、Ｏ１８５６は、例えばオブジェクト階層２６の中間ノード３２を表現することができ、中間ノードは画像オブジェクト３０として表現される。これらのオブジェクトは、図示したクラスタリング階層内でオブジェクトを互いにグループ化するために使用されるサイズ特徴に関係した規準、条件および制約を含む。図４Ｂに示した特定例において、オブジェクトＯ１６６２、Ｏ１７６４、Ｏ１８５６は、サイズを基にした３つの階層レベルを有するクラスタリング階層を形成するために使用される。オブジェクトＯ１６６２はクラスタリング階層を形成するサイズ規準を表現する。オブジェクトＯ１７６４は５０ユニット以下のサイズ規準の第２レベルを表現し、このようなユニットが例えば画素を表現することができ、オブジェクトＯ１８５６は１０ユニット以下のサイズ規準の第３レベルを表現する。従って、図４Ｂに示したように、オブジェクトＯ１１５２、Ｏ１２５４、Ｏ１３５６、Ｏ１４５８、Ｏ１５６０は、特定ユニット数の指定サイズを有するようにそれぞれ特徴付けられる。同様に、オブジェクトＯ１３５６、Ｏ１４５８、Ｏ１５６０は、５０ユニット以下の指定サイズを有するようにそれぞれ特徴付けられ，オブジェクトＯ１５６０は１０ユニット以下の指定サイズを有するように特徴付けられる。
【００６３】
図４Ａと図４Ｂは規準、すなわちサイズ、の単一集合だけを基にした単一のクラスタリング階層の例を示しているが、多重特徴を含むさまざまなクラスタリングを使用する多重クラスタリング階層はまた、あらゆる画像用に使用することができる。例えば、このようなクラスタリング階層は記録媒体特徴、視覚特徴および／または意味特徴のあらゆる組合せを基にしてオブジェクトを互いにグループ化することができる。この手順は、画像を視覚情報検索エンジン内に互いにクラスタリングするのに使用される手順に類似している。大きな画像全体に含まれる各オブジェクトはオブジェクト集合２４内の画像オブジェクト３０に割当てられ、また記録媒体特徴３６、視覚特徴３８または意味特徴４０等の特定の関連した特徴にも割当てることができる。オブジェクト階層２６の中間ノード３２は画像オブジェクト３０として表現され、またオブジェクトをその特定レベルで互いにグループ化するのに使用される単数または複数の特徴に関係した規準と条件と抑制と含む。画像記述はあらゆる数のクラスタリング階層を含むことができる。図４Ａと図４Ｂに示した例示的クラスタリング階層は以下の例示的ＸＭＬ実行文内に表現される。
【００６４】
0004382288.tif 000006
【００６５】
図４Ａと図４Ｂの多重クラスタリング階層例に示したように、また以下の表３に示すように、図示オブジェクトのサイズを基に定義された３つの抽出レベルが存在する。この多重レベル抽出スキーマは、図４Ａに示した画像内のオブジェクトを検索し見るためのスケーラブル方法を提供する。そのようなアプローチは、例えばさまざまな意味クラス等の他の特徴を基に多重抽出レベルを表現するのに利用することができる。
【００６６】
表３：各抽出レベル内のオブジェクト
抽出レベル          オブジェクト
１          Ｏ１１、Ｏ１２
２          Ｏ１１、Ｏ１２、Ｏ１３、Ｏ１４
３          Ｏ１１、Ｏ１２、Ｏ１３、Ｏ１４、Ｏ１５
【００６７】
図４Ａと図４Ｂに示した例示的クラスタリング階層と抽出多重レベルとの付加的ＸＭＬ実施形態が付録Ａに含まれる。
【００６８】
このような階層構造は画像を検索するという目的に適しているが、オブジェクト間の特定の関連はそのような構造を使用することに十分に表現することができない。従って、図１Ｃと図２に示したように、本発明の画像記述システムはまた、オブジェクト間のさらに複雑な関連を指定するために実体関係(E-R)グラフ２８も利用する。実体関係グラフ２８は単数または複数の実体ノード４２とそれらの間の関連とのグラフである。表４は以下で各特定例と同様に、そのような関連の幾つか異なる例示的型も示す。
【００６９】
表４：関係型と関係の例
関係型        関係
空間
方向    の上端、の下端、の右、の左、の左上、の右上、の左下、の右下
位相    に隣接、に近接、の近傍、の内部、に含有、
意味            に相関、に属す、の一部、に関係、と同一、である、を構成、
【００７０】
実体関係グラフはあらゆる一般的構造とすることができ、さまざまな継承関連を利用して、あらゆる特定アプリケーション用にカスタマイズもできる。図１Ｃに示した例示的実体関係グラフは、図１Ａに示したオブジェクト〇１２、〇２６間の例示的空間関連、すなわち“の左”と、例示的意味関連、すなわち“と握手している”とを記述している。
【００７１】
図２に示したように、本発明の画像記述システムはゼロ以上の実体関係グラフ２８(<entity_relation_graph>)を指定することを可能とする。実体関係グラフ２８は実体関係要素３４(<entity_relation>)の１つ以上の集合を含み、また２つの任意の属性、すなわち実体関係グラフ２８によって表現される統合を記述するための一意名IDと文字列型とをも含んでいる。そのような型の値は例えばシソーラスによって提供することができる。各実体関係要素３４は１つの関係要素４４(<relation>)を含み、さらに１つ以上の実体ノード要素４２(<entity_node>)と１つ以上の実体関係要素３４とを含むこともできる。関係要素４４は記述される特定の関連を含む。各実体ノード要素４２は属性、すなわちobject_ref、を利用してリンク４３を介して画像オブジェクト集合２４内の画像オブジェクト３０を参照する。リンク４３を介して、画像オブジェクト３０は属性(<event_code_refs>)を利用して画像オブジェクト３０を参照する実体ノード４２に戻って参照することもできる
図１Ｃの例示的実体関係グラフ２８に示したように、実体関係グラフ２８はオブジェクト〇１２(“Person A”)とオブジェクト〇２６(“Person B”)との間の２つの実体関係３４を含む。そのような第１実体関係３４はオブジェクト〇１２がオブジェクト〇２６（すなわち“の左”へ）に関してどのように配置されているかについての空間関係４４を記述する。図１Ｃに示したような第２実体関係３４は如何にしてオブジェクト〇１２がオブジェクト〇２６”握手をしている“であるかの意味関係４４を記述する。図１Ｃに示した実体関係グラフ例の例示的ＸＭＬ実行文を以下に示す。
【００７２】
0004382288.tif 000007
【００７３】
効率アップのために、実体関係要素３４は図２に示したように１つ以上の他の実体関係要素３４を含むこともできる。これによって同期化マルチ記録媒体統合言語（ＳＭＩＬ）で利用されるような実体関連の効果的な入れ子型グラフを作成することができ、それは入れ子型並行シーケンシャル関連の連続を使用することによってさまざまな記録媒体文書を同期させる。
【００７４】
オブジェクト階層２６は実体関係グラフ２８の特定の型であり、従って実体関係グラフ２８を使用して実行でき、実体は閉じ込め関連によって関係する。閉じ込め関連は表４に表したような位相関連である。オブジェクト階層２６が実体関係グラフ２８の特定の型であることを説明するために、図１Ｂで示した例示的オブジェクト階層２６は実体関係グラフ２８としてＸＭＬの中で下記のように表現される。
【００７５】
0004382288.tif 000008
【００７６】
図１Ｂで示した例示的階層は、オブジェクト〇０８（全体写真）がオブジェクト〇１２(“Person Ａ”)と〇２６(“Person B”)とをどのように空間的に含むかを記述している。従って、このように特定の要求に基づき、アプリケーションが、実体関係グラフ２８の広範囲の構造の利便性か、あるいはオブジェクト階層２６の効率性を利用することのどちらかを利用する階層を実行することができる。
【００７７】
例えば記録媒体特徴３６、視覚特徴３８、意味特徴４０等の特徴のあらゆる型と関連する画像記述子のため、本発明の画像記述システムは、以下のＸＭＬ例で説明するように、コードダウンローディングを促進するため抽出コード、類似度整合コードへのリンクを含むこともできる。これらのリンクは所有記述子を使用する種々のソースからの画像コンテンツを効果的に探索しフィルタリングする機構を提供する。本発明の画像記述システム内の各画像記述子は、記述子値とコード要素とを含むことができ、これらはその特定の記述子用の抽出コード、類似度整合コードに関する情報を含む。コード要素(<code>)は実行ファイル(<location>)のポインターも、コードを実行するための入力パラメータ(<input_parameters>)と出力パラメータ(<output_parameters>)の記述のポインターも含むこともできる。コード（すなわち、抽出コードまたは類似度整合コード）の型とコード言語（例えばJavaまたはＣ等）とコードバージョンとについての情報はコード要素の特定の属性として定義される。
【００７８】
以下に述べる例示的ＸＭＬ実行文は、H. Tamura, S. Mori, T. Yamawaki, ”Textual Features Corresponding to Visual Perception”, IEEE Transactions on Systems, Ｍan and Cybernetics, Vol.８, Ｎo.6, June 1978で述べられているように、いわゆるTamura表面模様特徴の記述を提供するが、その全内容は参照することによって本願に組み入れられる。 Tamura表面模様特徴は特定の特徴値（すなわち粗雑とコントラストと方向性）と、また特徴抽出・類似度整合用外部コードへのリンクも提供する。下に示した特徴抽出例において、入力パラメータと出力パラメータについての付加的な情報も提供される。そのような記述は例えば、メタ探索エンジンからの表面模様質問に応じて探索エンジンによって生成される。メタ探索エンジンはつぎに、ユーザ用に結果の同種型リストを生成するために、他の探索エンジンから受信した結果から同一の特徴記述子を抽出するコードを使用することができた。他の場合では、特定の特徴値ではなく抽出コードと類似度整合コードだけが含まれる。そのような場合に必要があれば、ファルタリングエージェントは処理のための特徴値の抽出に使用できる。
【００７９】
以下に示す例示的ＸＭＬ実行文はまた、ＸＭＬ言語が記述子のための外部で定義された記述スキーマが輸入されて本発明の画像記述システム内へ組み合わされることを可能にする方法を説明する。下の例において、クロマキー形状特徴のための外部記述子はＸＭＬネーム空間を使用することによって画像記述内へ輸入される。このフレームワークを使用して、新しい特徴と特徴の型と画像記述子とは、拡張形式およびモジュラー形式で便利に含むことができる。
【００８０】
0004382288.tif 000009
0004382288.tif 000010
【００８１】
本発明の画像記述システムはモダリティトランスコーディングもサポートする。コンテンツ放送局が様々なユーザへ画像コンテンツを伝送しなければならない典型例において、ユーザの様々なターミナル要求と帯域幅制限とを調整するため、放送局は画像コンテンツを種々の記録媒体モダリティと解像度とにトランスコードしなければならない。本発明の画像記述システムは局所的オブジェクトと大域的オブジェクトの両方に関連してモダリティトランスコーディングを提供する。このモダリティトランスコーディングは、問題内の画像オブジェクトのトランスコードされたバージョンの記録媒体モダリティと解像度と位置とをトランスコードするかあるいは、外部トランスコーディングコードへリンクする。問題内の画像記述子はまた、画像オブジェクトを種々のモダリティと解像度とへトランスコードするためのコードを指すこともでき、種々のユーザターミナルの要求を満足させる。以下に示す例示的ＸＭＬ実行文は画像オブジェクトのためのオーディオのトランスコードされたバージョンを提供することを説明する。
【００８２】
0004382288.tif 000011
0004382288.tif 000012
【００８３】
本発明の画像記述システムの付加的な例示的文書型定義（ＤＴＤ）実行文が付録Ａに示してある。
【００８４】
図５は本発明の画像記述システムを実動化するための例示的コンピュータシステムのブロック図を示している。図示したコンピュータシステムは例えば画像入力インタフェース４０４を介して画像コンテンツを表現するディジタルデータを受信するコンピュータプロセッサセクション４０２を含む。あるいは、ディジタル画像データは双方向通信入力／出力（Ｉ／O）ポート４０６を介して遠隔ソースからプロセッサセクション４０２に転送できる。画像コンテンツも技術上周知なあらゆる光学データ記憶装置または磁気記憶装置等の不揮発性コンピュータ記録媒体４０８からプロセッサセクション４０２へ転送できる。プロセッサセクション４０２は画像表示システム４１０へデータを提供するが、それは一般的に、例えば従来のパーソナルコンピュータシステムとワークステーションとで普通用いられる標準SVGAモニタおよびビデオカード等の適当なインタフェース回路と高解像度モニタとを含む。キーボードおよびディジタル位置入力装置（例えば、マウス、トラックボール、ライトペンまたはタッチスクリーン）等のユーザ入力装置は、ユーザとコンピュータシステムとの相互作用をもたらすため、プロセッサセクション４０２へ接続されている。図５の例示的コンピュータシステムも揮発性および不揮発性コンピュータメモリ４１４を普通含み、それは処理操作中にプロセッサセクション４０２によってアクセスできる。
【００８５】
図６は本発明の画像記述システムを実動化するために図５に図示したコンピュータシステムによって行われる処理操作をさらに説明する流れ図を示す。ディジタル画像データ３１０はリンク３１１を介してコンピュータシステムへ適用される。コンピュータシステムは、適切なアプリケーションソフトウェアの制御下で、ブロック３２０での画像オブジェクト抽出を実行し、そこで画像オブジェクト３０と例えば記録媒体特徴３６、視覚特徴３８および意味特徴４０等の関連する特徴とが生成される。画像オブジェクト抽出３２０は、オブジェクトが、例えばユーザ入力装置４１２を介するなどして、主としてユーザ相互作用を通して定義される完全自動処理操作、半自動処理操作または実質的に手動の操作の形体をとることができる。
【００８６】
好ましい実施形態において、画像オブジェクト抽出３２０は２つの補足的操作、すなわちブロック３２５で示した画像分割とブロック３２６で示した特徴抽出・注釈とからなる。画像分割３２５ステップには、ディジタル画像を単数または複数の共通の特性を共有する領域に分割するあらゆる領域トラッキング技術が用いられる。同様に、特徴抽出・注釈ステップ３２６には、分割された領域から特徴を生成するあらゆる方法が用いられる。領域に基づくクラスタリング・探索サブシステムは、自動化された画像分割と特徴抽出とに適している。画像オブジェクト分割システムは半自動化された画像分割・特徴抽出システムの一例である。手動分割および特徴抽出は選択的に用いることができる。例示的システムでは、画像分割３２５は例えば画像オブジェクト３０を生成でき、特徴抽出・注釈３２６は例えば画像オブジェクト３０に関連した特徴、例えば記録媒体特徴３６、視覚特徴３８および意味特徴４０等を生成できる。
【００８７】
オブジェクト抽出処置３２０は画像オブジェクト集合２４を生成するが、これは単数または複数の画像オブジェクト３０を含む。画像オブジェクト集合２４の画像オブジェクト３０は次に、ブロック３３０に示したようなオブジェクト階層構成・抽出処理および／またはブロック３３６に示したような実体関係グラフ生成処理の形体でさらに処理されるために、リンク３２１、３２２、３２４を介して提供される。好ましくはオブジェクト階層構成・抽出３３０と実体関係グラフ生成３３６とはリンク３２７を介して並行して行われる。あるいは、画像オブジェクト集合２４の画像オブジェクト３０は、リンク３２３を介してオブジェクト階層構成・抽出３３０と実体関係グラフ生成３３６とを回避するように仕向けることができる。このようにしてオブジェクト階層構成・抽出３３０は単数または複数のオブジェクト階層２６を生成し、実体関係グラフ生成３３６は単数または複数の実体関係グラフ２８を生成する。
【００８８】
プロセッサセクション４０２は次に画像オブジェクト集合２４とオブジェクト階層２６と実体関係グラフ２８とを問題内の画像コンテンツのための画像記述レコード内へマージする。画像記述レコードは次にデータベース記憶装置３４０へ直接蓄積されるか、あるいは最初にリンク３４２とリンク３６１とを介して2進エンコーダ３６０によって圧縮されるかまたはリンク３４１とリンク３５１とを介してXMLエンコーダ３５０による（例えばXMLを使用した）記述定義言語符号化によって符号化される。いったん画像記述レコードがデータベース記憶装置３４０に蓄積されると、画像記述レコードは、双方向リンク３７１を介して他のアプリケーション３７０、例えば探索アプリケーション、フィルターアプリケーションおよびアーカイビングアプリケーション等よるアクセスおよび使用にとって便利なフォーマットでの利用が可能なままである。
【００８９】
図７を参照すると、本発明の画像記述システムを実行できるクライアントサーバコンピュータシステムの例示的実施形態が提供される。システム１００のアーキテクチャはクライアントコンピュータ１１０とサーバコンピュータ１２０とを含む。サーバコンピュータ１２０はディスプレイインタフェース１３０と、質問ディスパッチャ１４０と、性能データベース１５０と、質問トランスレータ１６０、１６１、１６５と、目的探索エンジン１７０、１７１、１７５と、マルチ記録媒体コンテンツ記述システム２００、２０１、２０５とを含み、それらは下でさらに詳細に記述される。
【００９０】
付随する開示がこの例示的クライアントサーバ実施形態を参照するのに対して、当業者は、多数の周知の局所的アーキテクチャまたは分散アーキテクチャを含むために特定のシステムアレンジメントが本発明の範囲内で修正されることを理解すべきである。例えば、クライアントサーバーシステムの全機能性は、単一のコンピュータ内に含めることができるか、または複数のサーバコンピュータは、共有されるか分離される機能性を伴って利用できる。
【００９１】
商業的に利用可能なメタサーチエンジンは、ユーザを多重でテキストに基づく探索エンジンへ自動的にユーザが気付くことなくリンクさせるゲートウェイとして活動する。図７のシステムはそのようなメタサーチエンジンのアーキテクチャにおいて成長しており、ユーザの質問の種々のクラスに応じてそれらの性能をランキングすることによって、多重オンラインマルチ記録媒体探索エンジンを理知的に選択しインタフェースをとるように設計されている。従って商業的に利用可能なメタサーチエンジンの質問ディスパッチャ１４０と質問トランスレータ１６０、１６１、１６５とディスプレイインタフェース１３０は、本発明で用いられる。
【００９２】
ディスパッチャ１４０はユーザ質問の受信において性能データベース１５０を調べることによって質問されるべき目的探索エンジンを選択する。このデータベース１５０は各サポートされた探索オプションのために過去の質問の成否についての性能スコアを含む。質問ディスパッチャはユーザの質問を満足することのできる探索エンジン１７０、１７１、１７５だけを選択し、例えば色情報を捜索する質問は色使用可能探索エンジンをトリガーする。探索エンジン１７０、１７１、１７５は例えば、探索エンジン１７０と関連クライアント１７２等のクライアントサーバ関連内に配置できる。
【００９３】
質問トランスレータ１６０、１６１、１６５はユーザ質問を選択された探索エンジンのインタフェースに一致する適当なスクリプトへ変換する。ディスプレイコンポーネント１３０は性能スコアを使用して各探索エンジンからの結果をマージしそれらをユーザに提示する。
【００９４】
本発明に従って、ユーザがインターネットか広域ネットワークかローカルネットワークで理知的に視覚コンテンツを探索することを許可するため、探索質問は本発明か例またはスケッチによって生成されるマルチ記録媒体コンテンツの記述によって形成できる。各探索エンジン１７０、１７１、１７５は、探索エンジンによってアクセス可能なマルチ記録媒体情報のコンテンツを記述し探索を実行するため、記述スキーマ例えば下で記述される記述スキーマを用いる。
【００９５】
マルチ記録媒体情報のためのコンテンツに基づく探索質問を実行するために、ディスパッチャ１４０は、質問内のユーザ参照の満足感を保証するためにマルチ記録媒体コンテンツ記述システム２００を通して各探索エンジン１７０、１７１、１７５によって用いられる質問記述をマッチさせる。次にそれは性能データベース１５０を調べることによって質問されるべき目的探索エンジン１７０、１７１、１７５を選択する。例えばユーザが色によって探索することを望み、ある探索エンジンがいずれの色記述子もサポートしない場合、その特定の探索エンジンは質問するのに便利にはならない。
【００９６】
次に、質問トランスレータ１６０、１６１、１６５は選択された各探索エンジンに一致する記述へと質問記述を適合させる。このトランスレイションは各探索エンジンから利用可能な記述スキーマに基づくことになる。このタスクは標準記述子用の抽出コードまたは記述子を変換するために特定の探索エンジンからダウンロードされる抽出コードを実行する必要があることがある。例えば、ユーザが１６６ビンの色コヒーレンスを使用するオブジェクトの色特徴を指定する場合、質問トランスレータはそれを各探索エンジンによって使用される特定の色記述子、例えばｘビンの色コヒーレンスと色ヒストグラムに変換される。
【００９７】
結果をユーザに表示する前に、質問トランスレータはすべての結果記述を変換することによって各探索オプションから生じる結果を比較とランキング用の同種型物に変換する。再び、標準記述子用の類似度コードまたは探索エンジンからダウンロードされる類似度コードは、実行する必要があることがある。ユーザ選択は結果がどのようにユーザに表示されるかを決定することができる。
【００９８】
次に図８を参照すると、本発明に従って各探索エンジン１７０、１７１、１７５によって採用される記述システム２００はいまや記述される。この中へ開示される好ましい実施形態において、ＸＭＬはマルチ記録媒体コンテンツを記述するのに使用される。
【００９９】
記述システム２００はマルチ記録媒体項目２０５の収集のため大変に様々な記述子を生成するため、幾つかのマルチ記録媒体処理、分析および注釈サブシステム２１０、２２０、２３０、２４０、２５０、２６０、２７０、２８０を有利に含む。拡幅システムは順に記述される。
【０１００】
第１サブシステム２１０は、映像シーケンスの自動的に分割された領域のための色、表面模様、動き、形状およびサイズ等の視覚特徴を抽出する領域を基にしたクラスタリング・探索システムである。システム２１０は映像をシーン変化検出によって分離されたショットに分解し、それは不意または推移（例えば、分解、フェードイン／フェードアウト、ワイプ）のどちらかとすることができる。各ショットに関して、システム２１０は大域的動き（すなわち、主背景の動き）とカメラの動きの両方、そして分割、検出、および各領域に関するさまざまな視覚特徴を算出するショット内のフレームを横断するトラック領域を評価する。各ショットに関して、このシステムによって生成される記述は視覚および動き特徴とカメラの動きとを備える領域の集合である。領域を基にしたクラスタリング・探索システム２１０の完全な記述は1998年５月５日に出願された”An Algorithm and System Architecture for Object-Oriented Content-Based Video Search”を名称とするＰＣＴ同時係属出願第PCT/US98/09124号に含まれており、その内容は参照することによって本願に組み入れられる。
【０１０１】
この中で使用されるように、“映像クリップ”は、１例であり限定するものではないが、バットを振る野球選手、海を横断して移動するサーフボードまたは大草原を横断して走る馬等の同一視できる属性を有する単数または複数の映像オブジェクトを有する映像情報のフレームのシーケンスを参照すべきである。“映像オブジェクト”はインタレスト、例えば、表面模様、動きまたは形状の単数または複数の特徴内で同種型である画素の隣接集合である。従って、映像オブジェクトは少なくとも１つの特徴内の一貫性を提示する単数または複数の映像領域によって形成される。例えば歩行中の人物（人物がここでは”object”）のショットは、形状、色および表面模様等の規準の点で異なる隣接領域のコレクションに分割されるであろうが、全領域がそれらの動き属性内に一貫性を示すことができる。
【０１０２】
第２サブシステム２２０はＭＰＥＧドメインフェイス検出システムであり、それはＭＰＥＧ圧縮ドメインの直接内部のフェイスを効果的におよび自動的に検出する。ヒューマンフェイスは画像および映像内の重要なサブジェクトである。それはニュース、ドキュメンタリ、映画等の至るところにあり、映像コンテンツの理解のためにビューアにとって重要な情報を提供する。このシステムはフェイスラベルを備えた領域の集合を提供する。システム２２０の完全な記述は1997年11月４日に出願された”A Highly Efficient System for Automatic Face Region Detection in MPEG Video”を名称とするＰＣＴ出願第PCT/US97/20024号に含まれており、その内容は参照することによって本願に組み入れられる。
【０１０３】
第３サブシステム２３０は映像シーケンス内の意味オブジェクトを追跡するため自動分割がユーザ入力と一体化した映像オブジェクト分割システムである。一般映像ソースのために、システムは捜索インタフェースを使用することによってユーザがおおよそのオブジェクト境界を定義することを可能にする。おおよそのオブジェクト境界が与えられたと仮定すると、システムは自動的に境界を定義し映像のその後のフレーム内のオブジェクトの運動を追跡する。システムは現行のアプローチを使用するモデルには困難な多数の実環境状態を対処するのに十分にロバストであり、複雑なオブジェクト、早くて断続する動き、複雑な背景、多重ムービングオブジェクトおよび部分閉鎖を含む。このシステムによって生成された記述は、手動でテキスト注釈を付けることができる関連した領域と特徴とを備えた意味オブジェクトの集合である。システム２３０の完全な記述は、1998年９月24日に出願された”An Active System and Algorithm for Semantic Video Object Segmentation”を名称とする米国特許出願第０９／４０５５５５号に含まれており、その内容は参照することによって本願に組み入れられる。
【０１０４】
第４サブシステム２４０はショット境界とムービングオブジェクトとオブジェクト特徴とカメラの動きとを抽出するため圧縮ＭＰＥＧ映像ストリームを解析する階層映像ブラウジングシステムである。それはまた映像の直観的視覚化と編集のため階層ショットベーストブラウジングインタフェースも生成する。システム２４０の完全な記述は、1997年５月16日に出願された”Efficient Query and Indexing Methods for Joint Spatial/Feature Based Image Search”を名称とするＰＣＴ出願第PCT/US97/08266号に含まれており、その内容は参照することによって本願に組み入れられる。
【０１０５】
第５サブシステム２５０は手動テキスト注釈のエントリーである。シーン分類のため視覚特徴とテキスト特徴とを統合することはしばしば望ましい。オンラインの新しいソースからの映像、例えばクラリネットからの映像のため、各映像と関連したキャプションまたはアーティクルの形体のテキスト情報がしばしば存在する。このテキスト情報は記述内に含まれることができる。
【０１０６】
第６サブシステム２６０は、低レベル視覚特徴を基にした画像と映像ショットの高レベル意味分類と、のためのシステムである。システムのコアはルールインダクション、クラスタリングおよび最も隣接した分類等の様々な機械学習技術からなる。システムは画像と映像シーンとを｛自然の景色｝、｛都市／郊外｝、｛屋内｝および｛屋外｝等の高レベル意味シーンクラスへ分類するのに使用されている。システムは機械学習技術に焦点を置いており、なぜなら１つのコーパスを伴い良く働くであろうルールの固定された集合はもう１つのコーパスとは、意味シーンクラスの同じ集合であっても、良く働かないであろうということを我々は発見しているからである。システムのコアは機械学習技術を基にしているので、システムは各コーパスからの例でシステムを訓練することによって種々のコーパスのためのハイパフォーマンスを成し遂げるように適合することができる。このシステムによって生成される記述は、映像シーケンスのショットと関連した各画像またはキーフレームのためのシーンクラスを指し示すテキスト注釈の集合である。システム２６０の完全な記述は、S.Paek etal., ”Integration of Visual and Text based Approaches for the Content Labeling and Classification of Photographs” ACM SIGIR’99 Workshop on Multimedia Indexing and Retrieval. Berkeley, C A (1999)に含まれており、その内容は参照することによって本願に組み入れられる。
【０１０７】
第７サブシステム２７０はモデルベース画像分類システムである。多数の自動画像分類システムは、クラス特定アルゴリズムが分類を実行するのに使用されるクラスの予め定義された集合を基にしている。システム２７０はユーザが彼ら自身のクラスを定義し視覚モデルを自動的に学習するのに使用される例を提供することを可能にする。視覚モデルは自動的に分割された領域と、それらの関連した視覚特徴と、それらの空間関連とを基にしている。例えば、ユーザは青いシャツを着た１名の人物が茶色のソファーに座っており、第２の人物が着座人物の右に立っているポートレイトの視覚モデルを構成することができる。システムは分類の間怠惰な学習と決定樹と展開プログラムとの組合せを使用する。このシステムによって生成される記述は各画像用のテキスト注釈、すなわちユーザ定義クラスの集合である。システム２７０の完全な記述は、A. James et al., “Model Based Classification of Visual Information for Content-Based Retrieval” Symp. Elec. Imaging: Multimedia Proc. And App.-Storage Retrieval and for Image and Video Databases VII, IS & T/SPIE ’99 (1999)に含まれており、その内容は参照することによって本願に組み入れられる。
【０１０８】
その他のサブシステム２８０は、例えば記述または記述の一部を生成するのに使用されるコラボレータからのサブシステム等の、マルチ記録媒体コンテンツ記述子ステム２００に加えることができる。
【０１０９】
操作において、画像および映像コンテンツ２０５は、静止画または動画、ブラウザインタフェース２０６からコンテンツを受信するバッファ、または、ライブ画像または映像送波用レセプタクルのデータベースとすることができる。サブシステム２１０、２２０、２３０、２４０、２５０、２６０、２７０、２８０は、上記のように、自動的に分割された領域と、ユーザ定義意味オブジェクトと、高レベルシーン属性と、分類と、関連したテキスト情報とによる低レベルの視覚特徴を含む記述２１１、２２１、２３１、２４１、２５１、２６１、２７１、２８１を生成するため、画像および映像コンテンツ２０５上で作動する。いったん画像または映像項目用の全記述が生成されブロック２９０内へ統合されると、記述はデータベース２９５に入力され、そこへ探索エンジン１７０がアクセスする。
【０１１０】
注目すべきは特定のサブシステム、すなわち領域を基にしたクラスタリング・探索サブシステム２１０と映像オブジェクト分割システム２３０とが、記述生成処理全体を実行することができるということであり、一方では、残ったサブシステムが処理の一部だけを実行し処理の間サブシステム２１０、２３０によって指名することができる。類似した仕方において、サブシステム２１０および２３０は処理内の特定のタスクのために互いに指名することができる。
【０１１１】
本発明は特定の例示的実施形態と関連して記述されているが、様々な変化と置換と変更とが、追加請求項で述べられたように発明の真実の範囲と精神に反することなく開示された実施形態と合うことができることが理解されるべきである。
【０１１２】
付録Ａ：画像記述スキーマの文書型定義
0004382288.tif 000013
0004382288.tif 000014
0004382288.tif 000015
0004382288.tif 000016
0004382288.tif 000017
0004382288.tif 000018
0004382288.tif 000019
0004382288.tif 000020
0004382288.tif 000021
0004382288.tif 000022
0004382288.tif 000023
0004382288.tif 000024
0004382288.tif 000025
0004382288.tif 000026
0004382288.tif 000027
0004382288.tif 000028
0004382288.tif 000029
0004382288.tif 000030
0004382288.tif 000031
0004382288.tif 000032
0004382288.tif 000033
付録B：図３における例示的インデクシング階層と抽出多重レベルのためのXML
0004382288.tif 000034
0004382288.tif 000035
【図面の簡単な説明】
【図１】本発明の画像記述システムを説明する図であり、図１Ａは本発明の画像記述システム用の例示的画像、図１Ｂは本発明の画像記述システム用の例示的オブジェクト階層、図１Ｃは本発明の画像記述システム用の例示的実体関係グラフである。
【図２】本発明の画像記述システムの例示的ブロック図。
【図３】本発明の画像記述システムを説明する図であり、図３Ａは本発明の画像記述システム用の例示的オブジェクト階層、図３Ｂは本発明の画像記述システム用の別の例示的オブジェクト階層である。
【図４】本発明の画像記述システムを説明する図であり、図４Ａは本発明の画像記述システム用の例示的画像の表現、図４Ｂは本発明の画像記述システム用の例示的クラスタリング階層である。
【図５】本発明の画像記述システムの例示的ブロック図。
【図６】本発明の画像記述システムの例示的プロセス流れ図。
【図７】本発明の画像記述システムの例示的ブロック図。
【図８】本発明の画像記述システムの別の例示的ブロック図。
【図１】
0004382288.tif 000036
【図２】
0004382288.tif 000037
【図３】
0004382288.tif 000038
【図４】
0004382288.tif 000039
【図５】
0004382288.tif 000040
【図６】
0004382288.tif 000041
【図７】
0004382288.tif 000042
【図８】
0004382288.tif 000043