(57)【要約】データファイルを視覚化し、検索する方法は、データファイルを表わす複数の画像を、それぞれのデータファイル間の第１の距離尺度を用いて表示装置上に表示すること（１１０）を含む。これらの画像の一部は、改善距離尺度を用いて表示装置上に再表示される（１２０）。オプション（任意選択）として、この方法は、この再表示するステップ（１２０）を、所望のデータファイルが識別可能になるまで、繰り返す（１３０）。次に、この所望のデータファイルを検索する（１４０）。
2005525606.tif 000002
【特許請求の範囲】
【請求項１】
一組のデータファイルから、１つのデータファイルを視覚化して、検索する方法であって、
対応するデータファイルを表わす複数の画像を、それぞれのデータファイル間の第１の距離尺度を用いて表示装置上に表示するステップと、
前記複数の画像の一部を、改善距離尺度を用いて前記表示装置上に再表示するステップと、
少なくとも１つの所望のデータファイルを検索するステップ、マーク付けするステップ、および、選択するステップのうちの少なくとも１つを実行するステップと、
を含む方法。
【請求項２】
前記所望のデータファイルが識別可能になるまで、前記再表示するステップを繰り返すステップをさらに含む、請求項１に記載の方法。
【請求項３】
前記第１の距離尺度が、
各データファイルに対して、特徴ベクトルを計算するステップと、
前記特徴ベクトルに含まれる第１のデータ・サブセットを用いて、各データファイル間の前記第１の距離尺度を計算するステップと、
を含む方法によって計算される、請求項１に記載の方法。
【請求項４】
前記改善距離尺度が、
前記第１のサブセットよりも大きい、前記特徴ベクトルに含まれる第２のデータ・サブセットを用いて、各データファイル間の第２の距離尺度を計算するステップ、
を含む方法によって計算される、請求項３に記載の方法。
【請求項５】
前記特徴ベクトルを計算する前記ステップが、
前記方法を開始する前に、各データファイルに対して、前記特徴ベクトルを計算するステップと、
各データファイルに対して、前記特徴ベクトルを格納するステップと、
各データファイルに対して、前記特徴ベクトルにアクセスするステップと、
を含む、請求項４に記載の方法。
【請求項６】
各特徴ベクトルが、少なくとも８の長さを持っている、請求項４に記載の方法。
【請求項７】
前記特徴ベクトルが、色特徴およびテクスチャ特徴のうちの少なくとも１つを含む、請求項４に記載の方法。
【請求項８】
前記特徴ベクトルが、色ヒストグラム、色モーメント、色コヒーレンス・ヒストグラム、多重解像度同時自己回帰（ＭＲＳＡＲ）モデル、粗さ、および、方向性のうちの少なくとも１つを含む、請求項４に記載の方法。
【請求項９】
前記第１の距離尺度が、表示のため、ＦａｓｔＭａｐを用いてＮ次元空間にマッピングされ、前記改善距離尺度が、再表示のため、ＦａｓｔＭａｐを用いてＮ次元空間にマッピングされる、請求項１に記載の方法。
【請求項１０】
Ｎが２または３である、請求項９に記載の方法。
【請求項１１】
前記データファイルが画像ファイルである、請求項１に記載の方法。
【請求項１２】
前記データファイルがビデオファイルである、請求項１に記載の方法。
【請求項１３】
前記複数のデータファイル間の最大距離にわたる固定目盛を確立するステップと、
前記画像の一部の再表示のために、前記固定目盛上に相対的位置を示し、それにより、基準フレームを前記ユーザに与えるステップと、
をさらに含む、請求項１に記載の方法。
【請求項１４】
前記固定目盛は、線形目盛、対数目盛、双曲線目盛のうちの少なくとも１つである、請求項１に記載の方法。
【請求項１５】
前記表示上の画像の重なり合い量を表わす表示深さ指標を与えるステップと、
スクロールして、前記画像の重なり合いにより以前には見ることができなかった画像を見るステップと、
をさらに含む、請求項１に記載の方法。
【請求項１６】
前記画像のうち再表示される部分が、前記ユーザにより、グラフィックを用いて選択される、請求項１に記載の方法。
【請求項１７】
リアルタイムにおいて、一組のデータファイルから１つのデータファイルを対話形式で検索する方法であって、
それぞれがデータファイルに対応する複数の画像を、それぞれのデータファイル間の第１の距離尺度を用いて、表示装置上に表示するステップと、
前記画像の一部を、ユーザに対話形式で選択させるステップと、
前記画像の一部を、改善距離尺度を用いて、リアルタイムで前記表示装置上に再表示するステップと、
所望のデータファイルを検索するステップと、
を含む方法。
【請求項１８】
前記第１の距離尺度が、
各データファイルに対して、特徴ベクトルを計算するステップと、
前記特徴ベクトルに含まれる第１のデータ・サブセットを用いて、各データファイル間の前記第１の距離尺度を計算するステップと、
を含む方法によって計算される、請求項１７に記載の方法。
【請求項１９】
前記改善距離尺度が、
前記第１のサブセットよりも大きい、前記特徴ベクトルに含まれる第２のデータ・サブセットを用いて、各データファイル間の第２の距離尺度を計算するステップを含む方法によって計算される、請求項１８に記載の方法。
【請求項２０】
前記第１の距離尺度が、表示のため、ＦａｓｔＭａｐを用いてＮ次元空間にマッピングされ、第２の距離尺度が、再表示のため、ＦａｓｔＭａｐを用いてＮ次元空間にマッピングされる、請求項１９に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチメディアのデータベースと分類システムに関し、特に、マルチメディア・ファイルの特徴に基づくマルチメディア・ファイルの自動的な分類および検索に関する。
【背景技術】
【０００２】
自動画像分類には、多くの重要な用途がある。大規模な画像のデータベースまたは集まりは、画像を効果的に分類し、効率的にブラウズし、高速に検索できるように、優れたインデックス機構を必要としている。従来のシステムは、例えば、ファイル作成日、ファイル名、ファイル拡張子などのような、画像ファイルに関する記述情報を用いて、データベースとの間で特定の情報を格納および検索する。このような形式の画像分類は、他の任意のデジタル情報の分類とはたいして違わない。
【０００３】
ファイル情報を当てにすることで、ファイルに関して、大まかな情報しか得ることができず、特に画像に関するものは、まったく何も得られない。例えば、画像ファイルは、白黒画像が「ｃｏｌｏｒ＿ｉｍａｇｅ」というファイル名を持つ場合があるように、この画像の特徴または内容とはまったく関係のない名前を持つこともある。他のシステムは、花、犬などのような画像の内容に基づいて、分類を行う。実際には、これは、たいてい、面倒な仕事であるキーワード注釈によって行われる。
【０００４】
インターネット、マルチメディア・コンテンツを生成する安価な装置（例えば、デジタルビデオカメラ、デジタルカメラ、ビデオ・キャプチャ・カード、スキャナなど）、および、安価な記憶装置（例えば、ハードディスク、ＣＤなど）の発展により、今日、利用できるマルチメディア情報の量から、関連マルチメディア・データを効率的に分類し、検索する必要性が増している。キーワードをうまく使用して、文書中にインデックスを付けるテキスト・ベースの検索とは違って、マルチメディア・データの検索は、インデックス機構を容易に利用できることはない。
【０００５】
画像検索の目的で一群の画像の中をナビゲートする一つの手法は、参照によって、その全体が本明細書中に組み込まれるＹｏｓｓｉ，Ｒ．の、「画像データベースのナビゲーション用の知覚メトリックス（Ｐｅｒｃｅｐｔｕａｌ  Ｍｅｔｒｉｃｓ  ｆｏｒ  Ｉｍａｇｅ  Ｄａｔａｂａｓｅ  Ｎａｖｉｇａｔｉｏｎ）」、ＰＨＤ  Ｄｉｓｓｅｒｔａｔｉｏｎ，Ｓｔａｎｆｏｒｄ  Ｕｎｉｖｅｒｓｉｔｙ（スタンフォード大学学位論文）、１９９９年５月、によって開示されている。画像の外観は、色特徴またはテクスチャ特徴の分布により要約され、また、このような分布のうちの任意の２つの間に、尺度（metric）が定められる。この尺度は、「アース・ムーバの距離（ＥＭＤ）」と呼ばれ、分布ごとに画像を並べ替えるのに必要な最小作業量を表わしている。ＥＭＤは、画像検索に望ましい知覚的非類似性の尺度となる。多次元スケーリング（ＭＤＳ）は、一群の画像を、二次元または三次元（２Ｄまたは３Ｄ）のユークリッド空間内の点として埋め込むために用いられ、これらの点の距離は、画像非類似度を反映する。このような構造により、ユーザは、データベース・クエリー（問合せ）の結果をより良く理解して、そのクエリーを改善することができる。ユーザは、このプロセスを反復的に繰り返して、この画像空間のうち、関係する部分をクローズアップすることができる。
【０００６】
特徴抽出は、マルチメディア・ファイルをそれらのコンテンツに基づいて編成できるシステムを生成する主要構成要素である。画像特徴抽出を扱う引用文献には、以下の論文がある。画像距離測定に対して色ヒストグラムを用いることを述べた、参照によって本明細書中に組み込まれるＮｉｂｌａｃｋその他の、「ＱＢＩＣプロジェクト：色、テクスチャ、形状を用いて、コンテンツにより画像を問い合せる（Ｔｈｅ  ＱＢＩＣ  Ｐｒｏｊｅｃｔ：Ｑｕｅｒｙｉｎｇ  Ｉｍａｇｅｓ  ｂｙ  Ｃｏｎｔｅｎｔ  Ｕｓｉｎｇ  Ｃｏｌｏｒ，Ｔｅｘｔｕｒｅ，ａｎｄ  Ｓｈａｐｅ）」、ＳＰＩＥ会報（Ｐｒｏｃ．ｏｆ  ＳＰＩＥ）、Ｓｔｏｒａｇｅ  ａｎｄ  Ｒｅｔｒｉｅｖａｌ  ｆｏｒ  Ｉｍａｇｅ  ａｎｄ  Ｖｉｄｅｏ  Ｄａｔａｂａｓｅｓ、第１９０８巻、１９９３年２月、サンノゼ、ｐｐ．１７３−１８７。ヒストグラム交差技法を述べた、参照によって本明細書中に組み込まれるＭ．Ｊ．ＳｗａｉｎおよびＤ．Ｈ．Ｂａｌｌａｒｄの、「カラー・インデキシング（Ｃｏｌｏｒ  Ｉｎｄｅｘｉｎｇ）」、Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ、第７巻、第１号、ｐｐ．１１−３２、１９９１年。カラー・コヒーレンス・ベクトルを述べた、参照によって本明細書中に組み込まれるＧ．ＰａｓｓおよびＲ．Ｚａｂｉｈの、「コンテンツ・ベースの画像検索用のヒストグラム改善（Ｈｉｓｔｏｇｒａｍ  Ｒｅｆｉｎｅｍｅｎｔ  ｆｏｒ  Ｃｏｎｔｅｎｔ−ｂａｓｅｄ  Ｉｍａｇｅ  Ｒｅｔｒｉｅｖａｌ）」、ＩＥＥＥ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ａｐｐｌｉｃａｔｉｏｎｓ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ、ｐｐ．９６−１０２、１９９６年。画像のインデキシングにおいて特徴としてカラー・コレログラムを用いることを述べた、参照によって本明細書中に組み込まれるＪ．Ｈｕａｎｇその他の、「カラー・コレログラムを用いた画像インデキシング（Ｉｍａｇｅ  Ｉｎｄｅｘｉｎｇ  Ｕｓｉｎｇ  Ｃｏｌｏｒ  Ｃｏｒｒｅｌｏｇｒａｍ）」、ＩＥＥＥ  Ｉｎｔ．Ｃｏｎｆ．ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ、ｐｐ．７６２−７６８、プエルトリコ、１９９７年６月。画像処理において特徴としてテクスチャを用いることを述べた、参照によって本明細書中に組み込まれるＨ．Ｔａｍｕｒａ、Ｓ．Ｍｏｒｉ、および、Ｔ．Ｙａｍａｗａｋｉの、「視覚認識に対応するテクスチャ特徴（Ｔｅｘｔｕｒｅ  Ｆｅａｔｕｒｅｓ  Ｃｏｒｒｅｓｐｏｎｄｉｎｇ  ｔｏ  Ｖｉｓｕａｌ  Ｐｅｒｃｅｐｔｉｏｎ）」、ＩＥＥＥ  Ｔｒａｎｓ．Ｏｎ  Ｓｙｓｔｅｍｓ，Ｍａｎ，ａｎｄ  Ｃｙｂｅｒｎｅｔｉｃｓ、第８巻、第６号、１９７８年６月。画像処理において特徴量としてモーメント不変量を用いることを述べた、参照によって本明細書中に組み込まれるＭ．Ｋ．Ｈｕ著、「モーメント不変量による視覚パターン認識（Ｖｉｓｕａｌ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  ｂｙ  Ｍｏｍｅｎｔ  Ｉｎｖａｒｉａｎｔｓ）」、ＩＥＥＥ  ｃｏｍｐｕｔｅｒ  Ｓｏｃｉｅｔｙ、カリフォルニア州ロサンゼルス、１９７７年。多重解像度同時自己回帰（ＭＲＳＡＲ）モデルのテクスチャ特徴を述べた、参照によって本明細書中に組み込まれるＪ．ＭａｏおよびＡ．Ｋ．Ｊａｉｎの、「多重解像度同時自己回帰モデルを用いたテクスチャの分類および分割（Ｔｅｘｔｕｒｅ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ａｎｄ  Ｓｅｇｍｅｎｔａｔｉｏｎ  Ｕｓｉｎｇ  Ｍｕｌｔｉｒｅｓｏｌｕｔｉｏｎ  Ｓｉｍｕｌｔａｎｅｏｕｓ  Ａｕｔｏｒｅｇｒｅｓｓｉｖｅ  Ｍｏｄｅｌｓ）」、Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ、第２５巻、第２号、ｐｐ．１７３−１８８、１９９２年。
【０００７】
マルチメディア・ファイルの大規模データベースを視覚化して検索することは複雑な作業であるから、表示されるデータファイルの数が少なくなるに従って、特徴差の粗いレベルから開始して、特徴差の細かいレベルまで漸次に増加する距離計算を行う、データファイルを視覚化して検索する方法を持つことが望ましい。さらに、大規模データベースからデータファイルを探索、検索するために、これらの表示データファイルの一部をユーザが対話形式で選択できるようにする対話形式のリアルタイム・システムを持つことが望ましい。
【発明の開示】
【０００８】
本発明は、データファイルを視覚化して、検察する方法およびシステムを対象としている。模範的な方法は、データファイルを表わす複数の画像を、それぞれのデータファイル間の第１の距離尺度（distance metric）を用いて、表示装置上に表示すること、これらの画像の一部を、改善距離尺度を用いて、表示装置上に再表示すること、および、所望のデータファイルを検索することを含む。
【０００９】
リアルタイムにおいて、データファイルを対話形式で検索する模範的な方法は、それぞれがデータファイルに対応している複数の画像を、それぞれのデータファイル間の第１の距離尺度を用いて、表示装置上に表示すること、これらの画像の一部を、ユーザに、対話形式で選択させること、これらの画像の一部を、改善距離尺度を用いて、リアルタイムで表示装置上に再表示すること、および、所望のデータファイルを検索することを含む。
【発明を実施するための最良の形態】
【００１０】
本発明の上記の特徴と利点、および、本発明の追加的な特徴と利点は、本発明の以下の詳細な説明を、図面を参照して読めば、より良く理解されよう。
図１は、データファイルを視覚化して検索する模範的な方法の流れ図である。この方法は、ステップ１１０において、データファイルを表わす複数の画像を、それぞれのデータファイル間の第１の（すなわち、粗い）距離尺度を用いて、表示装置上に表示することから始まる。模範的な代替実施形態によれば、このデータファイルは、大規模データファイルの１セグメントであってもよい。ステップ１２０において、これらの画像の一部を、改善距離尺度を用いて、表示装置上に再表示することができる。オプションとして、ステップ１３０において、この再表示するステップは、所望のデータファイルが識別できるまで、繰り返すことができる。この距離尺度は、所望のデータファイルが見出されるか、あるいは、最大改善距離尺度（例えば、画像特徴データをすべて利用して、この距離尺度を計算する）に達するまで、それぞれの再表示において、さらに改善される。ステップ１４０において、所望のデータファイルを検索する。代替として、所望のデータファイルは、当業者によって理解されるように、マークを付け、選択等され得る。例えば、所望のデータファイルにマークを付けて、後で、別のプログラムで処理する。さらに、本発明の範囲内に保ちながら、多くの追加や変更を上記の処理ステップに加えることができることも、当業者には理解されよう。以下の本文において、これらの代替実施形態の一部を述べる。
【００１１】
図２Ａ〜図２Ｅは、本発明により生成されたグラフィカル表現の表示を示している。これらの図では、後続する図で示されるように、再表示される画像の各部分は、ユーザにより、グラフィカルに選択され得る。図２Ａは、データファイルを表わす画像の第１のレベルを二次元表示で示す模範的な表示の画面キャプチャである。図２Ａに表示されている画像は、１０００よりも多い。図２Ａに見られるように、これらの画像は、たいして区別できず、画像の重なり合いにより不鮮明になる画像が多数ある。それゆえ、画像間の正確な距離を生成することは得策ではない。なぜなら、画像を区別するさらに細かい細部は、この解像度では見分けがつかないからである。それゆえ、第１の（すなわち、粗い）距離尺度が計算されてよい。しかしながら、第１の距離尺度により、ユーザは、表示上の画像の編成に関して、有用な情報をなお受け取ることができる。例えば、左から右へ、暗い色から淡い色に移る明確な傾向が存在する。もう１つの目に見える傾向として、上から下へ、画像が、さらにぼんやりした画像から、エッジ・ラインが区別できるような画像に移る傾向がある。
【００１２】
所望の画像の知覚される性質に基づいて、ユーザは、画面のうち、この所望の画像がある可能性がもっとも高いエリア２０２を選択することができる。このような選択プロセスは、例えばマウス、タッチ・スクリーン、スタイラス、画面座標、キー入力の組合せ、などを用いて、当技術分野において知られている任意の技法により達成され得ることが、当業者には理解されよう。さらに、これらの画像のうち、再表示された部分は、この表示のうちの不連続領域から選択された画像を表わすことができる。例えば、これらの画像は、エリア２０２、およびこの表示の下部にある別の領域２０４から選択され得る。別法として、個々の画像を選択することができる。しかしながら、いずれの場合にも、目に見える画像が選択されるだけでなく、この空間内にマッピングされているあらゆる画像（例えば、重ね合わされた画像）も選択される。
【００１３】
この表示の中心部の重なり合いは、数百枚の画像の重なり深さであることもある。それゆえ、代替実施形態では、この表示上の画像の重なり合いの量を表わす表示深さ指標が与えられ得る。この深さ表示と組み合わせて、ユーザは、この表示の内外にスクロールして、画像の重なり合いにより、以前には見ることができなかった画像を見ることができる。例えば、マウスのスクロール・ホイールを用いて、画像の深み部分をナビゲートする。しかしながら、表示上でスクロールする公知の技法であれば何でも利用できることが、当業者には理解されよう。さらに、これらの画像は、三次元以上の空間にマッピングされて、当技術分野において知られているバーチャル・リアリティのソフトウェアおよびハードウェアを用いてナビゲートされてもよい。
【００１４】
さらに、複数のデータファイル間の最大距離にわたる固定目盛を設定することができる。相対的位置標識はまた、選択された部分の再表示ごとに、固定目盛上に付けられ、それにより、各再表示レベルにおける基準フレームをユーザに与える。したがって、再表示レベルが高まり、またこれらの画像の相対的な分離が高まると（例えば、図２Ｂ〜図２Ｄを参照のこと）、ユーザは、この表示の第１のレベルに戻る基準を持つことができる。この固定目盛は、線形目盛、対数目盛、あるいは、双曲線目盛であってよい。例えば、これらの画像間の距離尺度が大きい場合には、非線形の尺度が用いられ得る。
【００１５】
連続する表示ステップにおいて、Ｘ軸に沿って表示される寸法とＹ軸に沿って表示される寸法は異なってもよい。なぜなら、この次元縮退プロセスが、２つの異なる組のデータ・ベクトル（例えば、画像）上で実行され得るからである。しかしながら、Ｘ軸に沿って表示される寸法とＹ軸に沿って表示される寸法の一方または両方を固定して、前の表示とのコヒーレンスを高めることができ、その結果、画像の移動は低減される。例えば、双方の寸法を、同一となるように固定することは、単純な幾何学的ズーム動作を実行することと同等であると見なされる。
【００１６】
図２Ｂは、エリア２０２によって選択されたときの再表示画像の一部を示している。改善距離尺度を用いるこの再表示には、７８枚の画像が含まれている。この距離尺度は、第１の距離計算において用いられたものよりも多くの画像情報（すなわち、特徴データ）を用いて、再計算することができる。したがって、これらの選択された画像の再クラスタリングおよび再表示は、単なる「ズーム（拡大・縮小）」機能以上のものである。ここでもやはり、ユーザは、このレベルで、画像の一部２１０を選択して、さらに再表示することができる。このようなプロセスは、図２Ｃと図２Ｄに示されるように繰り返され得る。具体的に言えば、部分２１０に基づく図２Ｃには、５１枚の画像が含まれている。このレベルにおいて、これらの画像間の距離尺度は、前に図２Ｂに関して用いられたものよりもさらに多くの画像特徴データを用いて、もう一度、再計算することができる。このレベルにおいて表示された画像の一部２２０を選択する。部分２２０に基づく図２Ｄには、２３枚の画像が含まれている。このレベルにおいて、これらの画像間の距離尺度は、前に図２Ｃに関して用いられたものよりもさらに多くの画像特徴データを用いて、もう一度、再計算することができる。このレベルにおいて表示の一部２３０がさらに選択可能である。しかしながら、このレベルでは、所望のデータファイル（すなわち、下部の画像２４０）が識別可能である。したがって、所望のデータファイルは、図２Ｅに示されるように、選択され、検索され得る。この例では、所望のデータファイルは、画像ファイルである。しかしながら、これらのデータファイルはまた、ビデオファイルであってもよい。いずれの場合も、表示される画像は、この表示を生成するためのデータ処理の必要性を少なくするアンダーラインデータファイル（例えば、サムネイル画像、または１つのビデオ・セグメント全体の３Ｄ画像）を表わしたものであってよい。
【００１７】
前の説明は、本発明が対話形式であることを理解する根拠を与える。図３は、リアルタイムにおいて、データファイルを対話形式で検索する方法の流れ図を示している。ステップ３１０において、このプロセスは、それぞれがデータファイルに対応している複数の画像を、それぞれのデータファイル間の第１の（すなわち、粗い）距離尺度を用いて、表示装置上に表示することにより、開始する。ステップ３２０において、ユーザは、表示された画像の一部を対話形式で選択する。ステップ３３０において、これらの選択された画像は、改善距離尺度を用いて、表示装置上にリアルタイムで再表示され得る。オプションとして、ステップ３４０において、この選択し、再表示するステップを、所望のデータファイルが識別可能になるまで、繰り返すことができる。この距離尺度は、この距離尺度の最高改善に達するか、あるいは、所望のデータファイルが識別されるまで、それぞれの再表示レベルにおいて、さらに改善されることが、当業者には理解されよう。しかしながら、本発明の対話形式のプロセスは、この距離尺度の最高改善レベルには限定されない。例えば、この改善が、いくつかのレベルしかサポートしていない場合には、ユーザは、サポートされているもの以外の追加レベルをなおもブラウズすることができる。しかしながら、これらの追加レベルは、この距離尺度の最高改善レベルにてサポートされるものと同一の距離尺度を使用する。
【００１８】
ステップ３５０において、所望のデータファイルが検索され得る。別法として、所望のデータファイルをマーク付け、選択等することができる。大規模マルチメディア・データベースをリアルタイムで処理するには、大きな処理能力を費やすことが、当業者には理解されよう。前述のＹｏｓｓｉシステムなどの先行技術システムは、画像特徴ベクトルを２Ｄ空間にマッピングするために、多次元尺度構成法などの複雑なアルゴリズムに頼っている。このようなシステムおよびアルゴリズムは、本発明などのリアルタイム対話型システムで働くには遅すぎる。
【００１９】
図４は、図１と図３に関して述べられた方法に関連して利用できる、粗い距離尺度を改善する模範的な方法の流れ図を示している。このプロセスは、ステップ４１０において、各データファイルに対して、特徴ベクトルを計算することによって開始する。この特徴ベクトルは、距離尺度を改善するプロセスを始める前に、計算され得る。例えば、大規模画像データベース中の各画像の特徴ベクトルは、一度、計算されて、関連するデータベースに格納される。それゆえ、ステップ４１０では、この「コンピューティング」機能は、適切な画像特徴ベクトルを検索するのに必要な計算作業になるであろう。オプションとして、ステップ４１５において、各画像ファイル間の距離をｋ×ｋの行列（以下の表１を参照のこと）に格納する距離行列を計算することができる。ここで、ｋは、データファイルの数である。ステップ４２０において、この特徴ベクトルに含まれている第１のデータ・サブセットを用いて、各データファイル間の第１の（すなわち、粗い）距離尺度を計算する。この距離行列を計算する場合には、Ｎ次元空間マッピングは、以下に述べられるように、距離行列に格納された距離から、直接的に計算され得る。
【００２０】
ステップ４３０において、特徴ベクトルからの、第１のデータ・サブセットよりも大きい第２のデータ・サブセットを設定することができる。ここでもやはり、再表示される各画像ファイル間の距離を行列に格納する距離行列が、ステップ４３５において、オプションとして計算される。ステップ４４０において、各データファイル間の第２の距離尺度を、第２のデータ・サブセットを用いて計算する。オプションとして、追加の再表示ごとに、ステップ４３０、ステップ４３５、ステップ４４０を繰り返すことができる（すなわち、この距離尺度は、第３、第４などのサブセットに対して改善されることになり、ここでは、次のデータ・サブセットはそれぞれ、前のデータ・サブセットよりも大きい）。各再表示レベルにおいて、画像の一部は、この特徴ベクトルに含まれているデータ・サブセット（前のデータ・サブセットよりも大きい）から計算された改善距離尺度を用いて再表示され得る。ステップ４５０において、粗い距離〜細かい距離の計算プロセスは、所望のデータファイルを識別する（すなわち、もう画像の再表示はない）か、あるいは、最大データ・サブセットに達する（すなわち、この距離計算に対して、最も細かい解像度）まで、続く。しかしながら、本発明の対話形式のプロセスは、この距離尺度の最高改善レベルには限定されない。例えば、この改善が、いくつかのレベルしかサポートしない場合には、ユーザは、サポートされているもの以外の追加のレベルをなおもブラウズすることができる。しかしながら、これらの追加レベルは、この距離尺度の最高改善レベルにてサポートされるものと同一の距離尺度を使用する。
【００２１】
特徴ベクトルの長さは、この特徴ベクトルに含まれているデータによって決まることが、当業者に理解されよう。それゆえ、特徴ベクトルの長さは、データファイルを区別するのに用いられる特徴データのタイプおよび数量に左右され得る。例えば、単純な画像は、８つの別々の値域（bin）に分けられた色ヒストグラムによって区別される。画像を区別する能力は、各画像の色ヒストグラムの比較に限定されよう。したがって、各画像間の距離は、画像ごとに、色ヒストグラムの８つの値を用いて計算され得る。同様に、Ｎ次元空間への各データファイル間の距離のマッピングは、任意のＮ値であり得る。例えば、Ｎは、２Ｄ表示システムと３Ｄ表示システムに対して、それぞれ、２または３である。
【００２２】
前記の通り、特徴ベクトルの長さは、この特徴ベクトルに含まれている特徴データのタイプおよび数量によって決まる。特徴ベクトルは、データファイルに関連した様々な特徴データ、例えば色とテクスチャを含むことができる。特徴ベクトルに含まれている特徴データの選択は、これらのデータファイルと、システム設計者の好みに基づく。例えば、画像データベースが、同様な色成分（例えば、月面の画像）を含む場合には、このシステムは、テクスチャなどの、色以外の特徴データを用いて、画像を見分けることができる（すなわち、画像の各々の間の距離尺度を確立する）。しかしながら、汎用システムは、色ヒストグラム、色モーメント、色コヒーレンス・ヒストグラム、多重解像度同時自己回帰（ＭＲＳＡＲ）モデル、粗さ、および、方向性のうちの少なくとも１つを含む特徴ベクトルのような複数の特徴を使用することができる。
【００２３】
これらの特徴のそれぞれの知覚は一様ではないことが当業者に理解されよう。例えば、人々は、通常、テクスチャよりも、色やコントラストの変化にさらに感じやすい。それゆえ、この特徴により示される相対的な知覚可能性を反映するように、特徴データに重みが付けられてもよい。例えば、色距離値には、テクスチャ距離値よりも大きな重みが付けられよう。
【００２４】
図５Ａと図５Ｂを参照すると、同様な岩層の画像が示されている。これらの画像に関連するものは、各画像に対する模範的な特徴ベクトルの記述と値とを含む付録Ａである。各特徴ベクトルは、各画像を記述する２３１個の値と６個の特徴を含んでいる。例えば、最初の６４個のデータ値は、６４の値域の色ヒストグラムで表わされる色相・彩度・輝度（ＨＳＶ）色空間に対応する。次の６個の値は、Ｌａｂ色空間内の一次色モーメントと二次色モーメントに関わる（すなわち、２つの次数×３つの色チャネル）。次の１２８個の値は、ＬＵＶ空間内の６４個のコヒーレンス値域とともに、６４の値域のヒストグラムを含む色コヒーレンス・ベクトルである。次の１５個の値は、ＭＲＳＡＲテクスチャ特徴量である。この画像のＭＲＳＡＲテクスチャ特徴は、重なり合う２１×２１のサブウィンドウ上で計算され得る（解像度レベル２、３、４を用いて）。Ｔａｍｕｒａの粗さ特徴は、ヒストグラムの形式を取る次の１０個の値である。粗さ値の１０の値域のヒストグラムは、１×１、３×３、５×５、９×９、１３×１３、１７×１７、２１×２１、２５×２５、２９×２９、および、３３×３３のウィンドウ・サイズにて計算される。最後に、Ｔａｍｕｒａの方向性特徴量は、最後の８個の値である。Ｔａｍｕｒａの方向性特徴量は、１６の方向で計算されて、８つの値域のヒストグラムとして表わされる。しかしながら、これらの特徴および関連データは、本発明を限定するつもりはなく、模範的な特徴ベクトルに含まれている特徴および関連特徴データの一例としてのみ与えられている。
【００２５】
この特徴ベクトルは、各データファイルに関する大量の詳細データを含むことができる。しかしながら、この特徴ベクトルの目的は、各データファイルを、他のデータファイルと区別するように、データファイルを表わすことである。さらに、この特徴ベクトルを用いて、このデータファイルの人の知覚に対応する各データファイル間の距離を計算することができる（例えば、濃い画像は、他の濃い画像にさらに近く、かつ淡い画像からさらに遠い）。したがって、ｋ枚の画像では、ｋ×ｋの距離行列が形成される。この行列中の各セルは、対応する画像間の距離を表わしている。単一の行列は、データベース中のすべての画像間の距離値を含むことができる。画像距離行列の一例は、以下で表１に与えられている。この行列の上半分または下半分の値だけが、他方の半分において同じ値が繰り返されるので、計算される必要がある（すなわち、画像１から画像２までの距離であるｄ1-2は、双方の半分において同一である）。
【００２６】
【表１】
2005525606.tif 000003
【００２７】
第１の（すなわち、粗い）距離測定値は、各画像特徴ベクトルで利用できる総データ量よりも少ないデータ（すなわち、この特徴ベクトルに含まれている第１のデータ・サブセット）を用いて計算できることが当業者には理解されよう。第１のレベルにおいて、画像データベース中の画像のすべてが、図２Ａに示されるように、表示され得る。このレベルでは、表示解像度とユーザの知覚能力がともに距離測定値の細かい分解能を受け入れないので、このような詳細な距離計算を行うことは、有益ではない。例えば、図２Ａにおいて、１０００枚を超える画像を表示しているときに、これらの画像の総体傾向（例えば、濃い色から淡い色へ、支配的な色など）だけが、この表示で知覚できるにすぎない。それゆえ、第１の粗いサブセットは、距離尺度を計算するときに、２０％のもっとも支配的な色のみを含むことができる。再表示のレベルが高まるにつれて、この距離尺度を計算するのに利用されるデータの割合が増す（すなわち、この距離尺度を改善する）。例えば、５段階の体系では、利用される色ヒストグラム・データの割合が、表２に示されるように増加し得る。
【００２８】
【表２】
2005525606.tif 000004
【００２９】
上記の例では、各画像間の距離尺度を計算するのに利用される色ヒストグラム・データの量は、９０％にとどまる。なぜなら、この色ヒストグラムの最低１０％は、この距離計算の質をたいして上げないからである。さらに、異なる特徴には、異なる重みが割り当てられ得るので、特徴行列中の異なる特徴に合わせて、利用されるデータの割合を調整することができる。別法として、一部の特徴は、粗いレベルの距離計算では除外され、また、さらに細かいレベルでは含められる（例えば、ＭＲＳＡＲテクスチャ特徴は、第１の表示レベルには用いられないが、ただし、後続する再表示レベルでは用いられる）。本発明は、このような技法には限定されないことが、当業者には理解されよう。再表示レベルが高まるにつれて、距離の計算用に、特徴ベクトルから利用されるデータ・サブセットを漸次に増やすために、他の多くの技法が用いられ得る。
【００３０】
付録Ａの特徴ベクトルに関して、様々な特徴用の重み係数の一例が、表３に与えられている。
【００３１】
【表３】
2005525606.tif 000005
【００３２】
以下の表４は、付録Ａに与えられる特徴値、表２の割合、および、表３の重み係数を用いて、図５Ａに示される画像１と、図５Ｂに示される画像２との間の距離計算の結果を示している。
【００３３】
【表４】
2005525606.tif 000006
【００３４】
表４と付録Ａを参照すると、色ヒストグラムの距離は、各レベルで比較するために、指定した百分率のピクセル（例えば、表２）だけを用いて計算することができる。所与のレベルに２０％が指定されるとすれば、上位２０％のもっとも支配的なピクセルで満たされるヒストグラム値域だけを使用する。例えば、色ヒストグラムの距離を計算するときに、マルチレベルの距離測度（distance measure）が、最初の数レベルに用いられ得る（すなわち、指定した百分率（例えば、２０％）のピクセルを使用して比較するとすれば、上位２０％のもっとも支配的な色で満たされるヒストグラム値域だけを使用する）。これは、双方のヒストグラムの値域を降順にソートすることで行われ得る。次に、各画像特徴ベクトルにおけるヒストグラム（例えば、付録Ａを参照のこと）では、最大値を持つ値域から開始して、ピクセルの指定した割合を超えるまで、値域にマークを付け続ける。マークを付けていない値域は、これ以上、使用しない。次に、これらのヒストグラム中のマークを付けたすべての値域を、「合っていない」ステータスにリセットする。第１のヒストグラム中の各値域に関し、その値域と、第２のヒストグラム中の合っていないすべての値域を比較する。その値域を、第２のヒストグラム中のもっともよく合った値域（例えば、色特徴においてもっとも近いもの）に合わせる。「合った」ものとして、双方にマークを付ける。この手順は、第１のヒストグラム中の値域がすべて合うか、あるいは、第２のヒストグラム中に、合っていない値域がなくなるまで、繰り返すことができる。
【００３５】
ヒストグラムに対して、マルチレベルの距離測度を実施する方法が他にもあることが当業者には理解されよう。例えば、累積ヒストグラムを用いることができる。さらに、共通値域の数を単に数えてもよい（例えば、共通の支配的な色は、これら２つのヒストグラムの上位２０％の値域に現れる）。
【００３６】
さらに進んだレベルでは、さらに改善された色ヒストグラム距離計算が、以下の擬似コードで表わされる通りに、行われ得る。
【００３７】
ｆｏｒ  （ｉ＝０；ｉ＜ｎ；ｉ＋＋）｛
ｒｅｓｕｌｔ＋＝（（ｄｏｕｂｌｅ）（ａ［ｉ］−ｂ［ｉ］）＊（（ｄｏｕｂｌｅ）（ａ［ｉ］−ｂ［ｉ］）））；
｝
ｒｅｓｕｌｔ＝ｓｑｒｔ（ｒｅｓｕｌｔ）；
【００３８】
上記の擬似コードにおいて、ｎは、色ヒストグラム中の値域の数であり、ａ［ｉ］は、第１の特徴ベクトル中のｉ番目の値域の値であり、また、ｂ［ｉ］は、第２の特徴ベクトル中のｉ番目の値域の値である。したがって、第１の特徴ベクトルと第２の特徴ベクトルの色ヒストグラム間のユークリッド距離値が計算され得る。
【００３９】
この色モーメントの距離は、６要素のモーメント・ベクトルに用いられる加重距離計算によって求めることができる。この色モーメントは、以下の擬似コードで例示される通りに計算することができる。
【００４０】
ｄｏｕｂｌｅ  ｗｅｉｇｈｔ［６］＝｛１０．２９９４，５．０８１４，６．８９６８，４．２７８８，１１．２８４５，４．９１３３｝；
ｒｅｓｕｌｔ＝０．０；
ｆｏｒ（ｉ＝０；ｉ＜ｎ；ｉ＋＋）｛
ｒｅｓｕｌｔ＋＝ｆａｂｓ（（ｄｏｕｂｌｅ）（ａ［ｉ］−ｂ［ｉ］））／ｗｅｉｇｈｔ［ｉ］；
｝
ｒｅｓｕｌｔ／＝（ｄｏｕｂｌｅ）ｎ；
【００４１】
上記の擬似コードにおいて、ｎは、色モーメント・ベクトル中の要素の数であり、ａ［ｉ］は、第１の特徴ベクトル中のｉ番目の色モーメント要素の値であり、ｂ［ｉ］は、第２の特徴ベクトル中のｉ番目の色モーメント要素の値であり、また、ｗｅｉｇｈｔ［ｉ］は、各要素に対する重み係数である。したがって、第１の特徴ベクトルと第２の特徴ベクトルの色モーメント間の加重絶対距離値が計算される。
【００４２】
この色コヒーレンスの距離は、以下の擬似コードで例示される通りに、計算することができる。
【００４３】
ｆｏｒ（ｉ＝０；ｉ＜ｎ；ｉ＋＋）｛
ｒｅｓｕｌｔ＋＝ＡＢＳ（（ｄｏｕｂｌｅ）（ａ［ｉ］−ｂ［ｉ］））；
｝
ｒｅｓｕｌｔ／＝（ｄｏｕｂｌｅ）ｎ；
【００４４】
上記の擬似コードにおいて、ｎは、色コヒーレンス・ベクトル中の要素の数であり、ａ［ｉ］は、第１の特徴ベクトル中のｉ番目の色コヒーレンス要素の値であり、また、ｂ［ｉ］は、第２の特徴ベクトル中のｉ番目の色コヒーレンス要素の値である。したがって、第１の特徴ベクトルと第２の特徴ベクトルの色コヒーレンス要素間の絶対距離値が計算される。
【００４５】
ＭＲＳＡＲテクスチャの距離は、加重距離として計算することができる。この計算を達成する擬似コードの一例が、以下に与えられる。
【００４６】
ｄｏｕｂｌｅ  ｗｅｉｇｈｔ［１５］＝｛４．９０２７，４．９０３０，０．０４５８，０．０４５８，６．４９４０，３．５６３８，５．６８８１，４．４３２２，０．０３８０，７．１００９，０．０７１３，０．０７７２，０．０３４２，０．０３４４，７．５０１６｝；
ｒｅｓｕｌｔ＝０．０；
ｆｏｒ（ｉ＝０；ｉ＜ｎ；ｉ＋＋）｛
ｒｅｓｕｌｔ＋＝ｆａｂｓ（（ｄｏｕｂｌｅ）（ａ［ｉ］−ｂ［ｉ］））／ｗｅｉｇｈｔ［ｉ］；
｝
ｒｅｓｕｌｔ／＝（ｄｏｕｂｌｅ）ｎ；
【００４７】
上記の擬似コードにおいて、ｎは、特徴ベクトル中のＭＲＳＡＲテクスチャ要素の数であり、ａ［ｉ］は、第１の特徴ベクトル中のｉ番目のＭＲＳＡＲテクスチャ要素の値であり、ｂ［ｉ］は、第２の特徴ベクトル中のｉ番目のＭＲＳＡＲテクスチャ要素の値であり、また、ｗｅｉｇｈｔ［ｉ］は、各要素に対する重み係数である。したがって、第１の特徴ベクトルと第２の特徴ベクトルの色モーメント間の加重絶対距離値が計算される。
【００４８】
粗さの距離は、以下の擬似コードで例示される通りに、計算することができる。
【００４９】
ｆｏｒ（ｉ＝０；ｉ＜ｎ；ｉ＋＋）｛
ｒｅｓｕｌｔ＋＝ＡＢＳ（（ｄｏｕｂｌｅ）（ａ［ｉ］−ｂ［ｉ］））；
｝
ｒｅｓｕｌｔ／＝（ｄｏｕｂｌｅ）ｎ；
【００５０】
上記の擬似コードにおいて、ｎは、粗さベクトル中の要素の数であり、ａ［ｉ］は、第１の特徴ベクトル中のｉ番目の粗さ要素の値であり、また、ｂ［ｉ］は、第２の特徴ベクトル中のｉ番目の粗さ要素の値である。したがって、第１の特徴ベクトルと第２の特徴ベクトルの粗さ要素間の絶対距離値が計算される。
【００５１】
同様に、方向性の距離は、以下の擬似コードで例示される通りに、計算することができる。
【００５２】
ｆｏｒ（ｉ＝０；ｉ＜ｎ；ｉ＋＋）｛
ｒｅｓｕｌｔ＋＝ＡＢＳ（（ｄｏｕｂｌｅ）（ａ［ｉ］−ｂ［ｉ］））；
｝
ｒｅｓｕｌｔ／＝（ｄｏｕｂｌｅ）ｎ；
【００５３】
上記の擬似コードにおいて、ｎは、方向性ベクトル中の要素の数であり、ａ［ｉ］は、第１の特徴ベクトル中のｉ番目の方向性要素の値であり、また、ｂ［ｉ］は、第２の特徴ベクトル中のｉ番目の方向性要素の値である。したがって、第１の特徴ベクトルと第２の特徴ベクトルの方向性要素間の絶対距離値が計算される。
【００５４】
ここでもやはり、これらの値は、例示にすぎず、限定するものではない。多くの要因が、変数の重み付けなどの特定の距離計算技法に影響を及ぼし得ることが、当業者には理解されよう。例えば、ユーザは、この重み付けを強めて、所望の画像特徴（例えば、粗さ）を強調することができる。模範的な代替実施形態では、この距離行列は、例えば、対応する重みとともに、それぞれの特徴タイプ（色、テクスチャ、粗さなど）に対して１つ、すなわち６つの異なる行列として維持される。このような代替実施形態では、ユーザは、相対的な重み付けを動的に変更することができる。
【００５５】
表４に与えられる合計特徴距離値は、各レベルに対して、表１の距離行列を埋める（populate）ために、用いることができる（すなわち、距離ｄ1-2は、第１のレベルでは１０４２４１８３５２．０、第２のレベルでは１１５０６２７０７２．０などである）。上記の計算は、あらゆる画像間の距離を計算して、画像距離行列を完成するために、繰り返すことができる。
【００５６】
上述の粗い距離尺度〜細かい距離尺度を計算するプロセスは、低い方のレベルで必要な処理能力を小さくする。なぜなら、低い方（すなわち、粗い）レベルにおいて、より少ないデータを含む特徴ベクトルのサブセットについて、この距離計算が行われるからである。この距離尺度を計算するのに用いられる特徴ベクトルからのデータ・サブセットは、それぞれの後続のレベルでは大きくなるが、画像の枚数は、それぞれの後続のレベルでは減少する。それゆえ、このプロセスは、各レベルにおいて、特徴ベクトル全体を使用する場合よりもさらに効率的である。
【００５７】
特にリアルタイムの対話型システムに対して、処理時間をさらに改善するために、これらの距離をＮ次元空間（例えば、２Ｄ空間）にマッピングする処理は、ＦａｓｔＭａｐを用いて計算することができる。ＦａｓｔＭａｐは、マルチメディアのデータファイルのインデキシングおよび視覚化のためのアルゴリズムである。特に、ＦａｓｔＭａｐは、相対的な距離関係を保ちながら、高次元空間（例えば、Ｎ次元ベクトルの距離行列）から、低次元空間（例えば、２Ｄ空間用の距離行列）に、距離を計算する効率的なアルゴリズムである。計算当初の距離行列には、各一対の高次元ベクトル間で計算された距離が含まれている。この距離行列のサイズは、この基底データの次元数には一致しない。例えば、各ベクトルは、１０の長さ（すなわち、１０の次元）を持つことができる。このようなベクトルを２００用いると、この行列は、２００×２００となろう。ＦａｓｔＭａｐは、この距離行列を、さらに低次元の空間（例えば、２Ｄ空間または３Ｄ空間）において計算された距離が含まれている同一サイズ（この例では、２００×２００）の距離行列に減らす。この場合、これらの捨てられる次元は、剰余として捨てられる。
【００５８】
ＦａｓｔＭａｐは、Ｃ．ＦａｌｏｕｔｓｏｓおよびＬ．Ｋｉｎｇ−Ｉｐによる論文、「ＦａｓｔＭａｐ：伝統的なデータセットとマルチメディア・データセットのインデキシング、データ・マイニング、および、視覚化のための高速アルゴリズム（Ａ  Ｆａｓｔ  Ａｌｇｏｒｉｔｈｍ  ｆｏｒ  Ｉｎｄｅｘｉｎｇ，Ｄａｔａ−Ｍｉｎｉｎｇ  ａｎｄ  Ｖｉｓｕａｌｉｚａｔｉｏｎ  ｏｆ  Ｔｒａｄｉｔｉｏｎａｌ  ａｎｄ  Ｍｕｌｔｉｍｅｄｉａ  Ｄａｔａｓｅｔｓ）」、１９９５年国際データ管理会議の会議報告書、１９９５年、ｐｐ．１６３−１７４、に記述されている。この論文は、参照によって、その全体が本明細書に組み込まれる。ＦａｓｔＭａｐアルゴリズムは、各再表示レベルにおいて、本発明に適用することができる。例えば、第１の距離尺度は、第１の表示に対して、Ｎ次元空間（例えば、２Ｄ空間）にマッピングされ得る。次に、これらの改善された距離尺度は、それぞれの後続のレベルにおいて再表示するために、Ｎ次元空間にマッピングされる。
【００５９】
上の説明は、本発明の原理、好ましい実施形態、動作の諸方式を述べてきた。しかしながら、本発明は、上に論じられた特定の実施形態には限定されない。例えば、上述の例は、画像ファイルに関連して、本発明を述べた。しかしながら、ビデオファイルにも本発明を使用することができることが当業者に理解されよう。例えば、ビデオファイルのフレームごとの分析を行って、この特徴ベクトルを生成することができる。それゆえ、上述の実施形態は、限定するものではなく、例示するものと見なされるべきである。変更は、併記の特許請求の範囲によって定義される本発明の範囲から逸脱することなく、当業者により、これらの実施形態になされるものと理解されよう。
【図面の簡単な説明】
【００６０】
【図１】本発明の模範的な方法の流れ図である。
【図２Ａ】本発明により生成された表示の漸進レベルの画面キャプチャを示す図である。
【図２Ｂ】本発明により生成された表示の漸進レベルの画面キャプチャを示す図である。
【図２Ｃ】本発明により生成された表示の漸進レベルの画面キャプチャを示す図である。
【図２Ｄ】本発明により生成された表示の漸進レベルの画面キャプチャを示す図である。
【図２Ｅ】本発明により生成された表示の漸進レベルの画面キャプチャを示す図である。
【図３】本発明の他の模範的な方法の流れ図である。
【図４】本発明の粗い距離〜細かい距離の計算を行う流れ図である。
【図５Ａ】付録Ａの特徴ベクトルに対応するサンプル画像を示す図である。
【図５Ｂ】付録Ａの特徴ベクトルに対応するサンプル画像を示す図である。
【符号の説明】
【００６１】
２４０：所望のデータファイル
【図１】
2005525606.tif 000007
【図２Ａ】
2005525606.tif 000008
【図２Ｂ】
2005525606.tif 000009
【図２Ｃ】
2005525606.tif 000010
【図２Ｄ】
2005525606.tif 000011
【図２Ｅ】
2005525606.tif 000012
【図３】
2005525606.tif 000013
【図４】
2005525606.tif 000014
【図５Ａ】
2005525606.tif 000015
【図５Ｂ】
2005525606.tif 000016
【国際調査報告】
2005525606.tif 000017
2005525606.tif 000018