(57)【特許請求の範囲】
【請求項１】
ａ１）ユーザによって選択された少なくとも一つのサーチしようとするマルチメディアデータを示す参照マルチメディアデータを受信する段階と、
ｂ１）前記少なくとも一つの参照マルチメディアデータからサーチに使用するためのフィーチャーとフィーチャー要素を選び出し、前記参照マルチメディアデータに含まれたフィーチャーとフィーチャー要素の加重値を各々反映させてマルチメディアデータをサーチする段階と、
ａ１）では参照マルチメディアデータはユーザにより選択され、
ｂ１）では、
ａ２）複数の参照マルチメディアデータに含まれたフィーチャーの類似性を測定する段階と、
ｂ２）ａ２）で測定されたフィーチャーの類似性に応じて各フィーチャーの加重値を決定し更新する段階と、
ｃ２）複数の参照マルチメディアデータに含まれた各フィーチャーのフィーチャー要素の類似性を測定する段階と、
ｄ２）ｃ２）で測定されたフィーチャー要素の類似性に応じて各フィーチャーの各フィーチャー要素の加重値を決定し更新する段階と、
ｅ２）更新されたフィーチャーの加重値及びフィーチャー要素の加重値を利用することにより、複数の参照マルチメディアデータに含まれたフィーチャー及びフィーチャー要素を利用してユーザが所望するマルチメディアデータをサーチする段階と
を備えることを特徴とするマルチメディアデータのサーチ方法。
【請求項２】
ユーザの追加的なサーチ要求がないとサーチを終了する段階を更に備え、ユーザの追加的なサーチ要求があると、
ｆ１）サーチの結果、画像の中で選択された少なくとも一つの他の参照マルチメディアデータを受信する段階と、
ｇ１）複数の参照マルチメディアデータ及び前記少なくとも一つの他の参照マルチメディアデータに含まれたフィーチャーの類似性を測定する段階と、
ｈ１）ｇ１）で測定されたフィーチャーの類似性に応じて各フィーチャーの加重値を決定し更新する段階と、
ｉ１）複数の参照マルチメディアデータ及び前記少なくとも一つの他の参照マルチメディアデータに含まれた各フィーチャーのフィーチャー要素の類似性を測定する段階と、
ｊ１）ｉ１）で測定されたフィーチャー要素の類似性に応じて各フィーチャーで各フィーチャー要素の加重値を決定し更新する段階と、
ｋ１）ｈ１）で更新されたフィーチャーの加重値及びｊ１）で更新されたフィーチャー要素の加重値を利用することにより、複数の参照マルチメディアデータ及び前記少なくとも一つの他の参照マルチメディアデータに含まれたフィーチャー及びフィーチャー要素を利用してユーザが所望するマルチメディアデータを再サーチする段階と
をさらに備え、
前記少なくとも一つの他の参照マルチメディアデータはユーザが所望するマルチメディアデータと類似すると判断することを特徴とする請求項１記載のマルチメディアデータのサーチ方法。
【請求項３】
ｌ１）サーチの結果、画像の中で選択された少なくとも一つの非類似マルチメディアデータを受信する段階と、
ｍ１）複数の参照マルチメディアデータ及び前記少なくとも一つの非類似マルチメディアデータに含まれたフィーチャーの非類似性を測定する段階と、
ｎ１）複数の参照マルチメディアデータ及び前記少なくとも一つの非類似マルチメディアデータに含まれた各フィーチャーでフィーチャー要素の非類似性を測定する段階とを更に備え、
ここで、前記少なくとも一つの非類似マルチメディアデータはユーザが所望するマルチメディアデータと非類似すると判断し、
ｈ１）では、ｇ１）及びｍ１）で測定されたフィーチャー要素の非類似性に応じて各フィーチャーで各フィーチャー要素の加重値を決定し更新し、
ｊ１）では、ｉ１）及びｎ１）で測定されたフィーチャー要素の非類似性に応じて各フィーチャーで各フィーチャー要素の加重値を決定し更新し、
ｋ１）では、ｈ１）で更新されたフィーチャーの加重値及びｊ１）で更新されたフィーチャー要素の加重値を利用することにより、複数の参照マルチメディアデータ、前記少なくとも一つの他の参照マルチメディアデータ、及び前記少なくとも一つの非類似データに含まれたフィーチャー及びフィーチャー要素を利用してユーザが所望するマルチメディアデータを再サーチすることを特徴とする請求項２記載のマルチメディアデータのサーチ方法。
【請求項４】
ユーザの追加的なサーチ要求がないと、サーチを終了する段階をさらに備え、ユーザの追加的なサーチ要求があると、
ｆ２）サーチの結果、画像の中で選択された少なくとも一つの非類似マルチメディアデータを受信する段階と、
ｇ２）複数の参照マルチメディアデータ及び前記少なくとも一つの非類似マルチメディアデータに含まれたフィーチャーの非類似性を測定する段階と、
ｈ２）ｇ２）で測定されたフィーチャーの非類似性に応じて各フィーチャーの加重値を決定し更新する段階と、
ｉ２）複数の参照マルチメディアデータ及び前記少なくとも一つの非類似マルチメディアデータに含まれた各フィーチャーのフィーチャー要素の非類似性を測定する段階と、
ｊ２）ｉ２）で測定されたフィーチャー要素の非類似性に応じて各フィーチャーで各フィーチャー要素の加重値を決定し更新する段階と、
ｋ２）ｈ２）で更新されたフィーチャーの加重値及びｊ２）で更新されたフィーチャー要素の加重値を利用することにより、複数の参照マルチメディアデータ及び前記少なくとも一つの非類似マルチメディアデータに含まれたフィーチャー及びフィーチャー要素を利用してユーザが所望するマルチメディアデータを再サーチする段階と
をさらに備え、
前記少なくとも一つの非類似マルチメディアデータはユーザが所望するマルチメディアデータと非類似すると判断することを特徴とする請求項１記載のマルチメディアデータのサーチ方法。
【請求項５】
ａ１）ユーザによって選択された少なくとも一つのサーチしようとするマルチメディアデータを示す参照マルチメディアデータを受信する段階と、
ｂ１）前記少なくとも一つの参照マルチメディアデータからサーチに使用するためのフィーチャーとフィーチャー要素を選び出し、前記参照マルチメディアデータに含まれたフィーチャーとフィーチャー要素の加重値を各々反映させてマルチメディアデータをサーチする段階と、
ｂ１）で前記少なくとも一つの参照マルチメディアデータに含まれた各フィーチャーのフィーチャー要素とフィーチャーの組合せを利用してマルチメディアデータをサーチし、
ａ１）で一つの参照マルチメディアデータはユーザにより選択され、
ｂ１）段階は前記参照マルチメディアデータに含まれたフィーチャー及び各フィーチャーのフィーチャー要素を利用してユーザが所望するマルチメディアデータをサーチする段階を含み、
各フィーチャーはフィーチャーの加重値を有し、
各フィーチャー要素はフィーチャー要素の加重値を有し、
ユーザの追加的なサーチ要求がないと、サーチを終了する段階をさらに備え、
ユーザの追加的なサーチ要求があると、
ａ３）サーチの結果、画像の中で選択された少なくとも一つの他の参照マルチメディアデータを受信する段階と、
ｂ３）前記参照マルチメディアデータ及び前記少なくとも一つの他の参照マルチメディアデータに含まれたフィーチャーの類似性を測定する段階と、
ｃ３）ｂ３）で測定されたフィーチャーの類似性に応じて各フィーチャーの加重値を決定し更新する段階と、
ｄ３）前記参照マルチメディアデータ及び前記少なくとも一つの他の参照マルチメディアデータに含まれた各フィーチャーのフィーチャー要素の類似性を測定する段階と、
ｅ３）ｄ３）で測定されたフィーチャー要素の類似性に応じて各フィーチャーで各フィーチャー要素の加重値を決定し更新する段階と、
ｆ３）ｃ３）で更新されたフィーチャーの加重値及びｅ３）で更新されたフィーチャー要素の加重値を利用することにより、前記参照マルチメディアデータ及び前記少なくとも一つの他の参照マルチメディアデータに含まれたフィーチャー及びフィーチャー要素を利用してユーザが所望するマルチメディアデータを再サーチする段階と
をさらに備え、
前記少なくとも一つの他の参照マルチメディアデータはユーザが所望するマルチメディアデータと類似すると判断することを特徴とするマルチメディアデータのサーチ方法。
【請求項６】
ｇ３）サーチの結果、画像の中で選択された少なくとも一つの非類似マルチメディアデータを受信する段階と、
ｈ３）前記参照マルチメディアデータ及び前記少なくとも一つの非類似マルチメディアデータに含まれたフィーチャーの非類似性を測定する段階と、
ｉ３）前記参照マルチメディアデータ及び前記少なくとも一つの非類似マルチメディアデータに含まれた各フィーチャーでフィーチャー要素の非類似性を測定する段階と
を更に備え、
前記少なくとも一つの非類似マルチメディアデータはユーザが所望するマルチメディアデータと非類似すると判断し、
ｃ３）では、ｂ３）、ｈ３）で測定されたフィーチャー要素の非類似性に応じて各フィーチャーで各フィーチャー要素の加重値を決定し更新し、
ｅ３）では、ｄ３）、ｉ３）で測定されたフィーチャー要素の非類似性に応じて各フィーチャーで各フィーチャー要素の加重値を決定し更新し、
ｆ３）では、ｃ３）で更新されたフィーチャーの加重値及びｅ３）で更新されたフィーチャー要素の加重値を利用することにより、複数の参照マルチメディアデータ、前記少なくとも一つの他の参照マルチメディアデータ、及び前記少なくとも一つの非類似データに含まれたフィーチャー及びフィーチャー要素を利用してユーザが所望するマルチメディアデータを再サーチすることを特徴とする請求項６記載のマルチメディアデータのサーチ方法。
【請求項７】
ａ１）ユーザによって選択された少なくとも一つのサーチしようとするマルチメディアデータを示す参照マルチメディアデータを受信する段階と、
ｂ１）前記少なくとも一つの参照マルチメディアデータからサーチに使用するためのフィーチャーとフィーチャー要素を選び出し、前記参照マルチメディアデータに含まれたフィーチャーとフィーチャー要素の加重値を各々反映させてマルチメディアデータをサーチする段階と、
ｂ１）で前記少なくとも一つの参照マルチメディアデータに含まれた各フィーチャーのフィーチャー要素とフィーチャーの組合せを利用してマルチメディアデータをサーチし、
ａ１）で一つの参照マルチメディアデータはユーザにより選択され、ｂ１）段階は前記参照マルチメディアデータに含まれたフィーチャー及び各フィーチャーのフィーチャー要素を利用してユーザが所望するマルチメディアデータをサーチする段階を含み、各フィーチャーはフィーチャーの加重値を有し、各フィーチャー要素はフィーチャー要素の加重値を有し、
ユーザの追加的なサーチ要求がないと、サーチを終了する段階をさらに備え、
ユーザの追加的なサーチ要求があると、
ａ４）サーチの結果、画像の中で選択された少なくとも一つの非類似マルチメディアデータを受信する段階と、
ｂ４）前記参照マルチメディアデータ及び前記少なくとも一つの非類似マルチメディアデータに含まれたフィーチャーの非類似性を測定する段階と、
ｃ４）ｂ４）で測定されたフィーチャーの非類似性に応じて各フィーチャーの加重値を決定し更新する段階と、
ｄ４）前記参照マルチメディアデータ及び前記少なくとも一つの非類似マルチメディアデータに含まれた各フィーチャーのフィーチャー要素の非類似性を測定する段階と、
ｅ４）ｄ４）で測定されたフィーチャー要素の非類似性に応じて各フィーチャーで各フィーチャー要素の加重値を決定し更新する段階と、
ｆ４）ｃ４）で更新されたフィーチャーの加重値及びｅ４）で更新されたフィーチャー要素の加重値を利用することにより、前記参照マルチメディアデータ及び前記少なくとも一つの非類似マルチメディアデータに含まれたフィーチャー及びフィーチャー要素を利用してユーザが所望するマルチメディアデータを再サーチする段階と
を更に備え、
前記少なくとも一つの非類似マルチメディアデータはユーザが所望するマルチメディアデータと非類似すると判断することを特徴とするマルチメディアデータのサーチ方法。
【請求項８】
フィーチャーはカラーであり、フィーチャー要素の加重値はフィーチャー要素だけのｎ個のカラー要素を有するカラーヒストグラムにより決定するか、マルチメディアデータをｎ×ｍグリッド領域に分けてカラーヒストグラム又はグリッド領域を示すカラーをフィーチャー要素だけ利用して決定する
ことを特徴とする請求項１、５および７の何れか１項に記載のマルチメディアデータのサーチ方法。
【請求項９】
特定のしきい値よりも大きなフィーチャー要素の加重値を有するフィーチャー要素をサーチに利用することを特徴とする請求項８記載のマルチメディアデータのサーチ方法。
【発明の詳細な説明】
【０００１】
技術分野
本発明は画像又はビデオ等のマルチメディアデータのサーチ方法に関し、特にユーザのフィードバックを使用してより正確にマルチメディアデータをサーチすることのできるマルチメディアデータのサーチ方法に関する。
【０００２】
背景技術
最近、デジタル画像信号処理技術は驚くべき水準に発展しており、この技術は様々な分野で使用されている。デジタル画像信号処理技術は、例えば映画、ドラマ等の動画像ファイルで特定の人物の顔だけを自動的に編集するための検出システム、システムに登録された人にだけ特定の領域の出入あるいは特定の装備の使用を可能にする保安システム、又は検出システムで検出された画像又はビデオで所望する画像をサーチするシステム等で使用される。このようなシステムの性能は、基本的に所望する検出またはサーチの対象を正確且つ迅速に処理する特性を必要とする。従って、従来では様々な画像サーチ方法を提示している。
【０００３】
関連する技術の画像サーチ方式は次の通りである。
まず、米国特許第号の“５、５７９、４７１Ｉｍａｇｅ  Ｑｕｅｒｙ  Ｓｙｓｔｅｍ  ａｎｄ  Ｍｅｔｈｏｄ”に記載したように、サーチシステムは、サーチする画像のカラー、テクスチャー、形状等のフィーチャーを利用して類似度をサーチする。この際、各々のフィーチャーの重要度はサーチする画像の特性に応じて異なり、又その重要度は１フィーチャーでもフィーチャー内に存する部分的な要素（例えば、カラーフィーチャー内における赤色、緑色等の部分要素）に応じて異なる。しかし、前記サーチシステムでは画像毎に異なる重要度の特性が分からなかった。
【０００４】
このような問題点を改善してサーチできるようにユーザがフィーチャー（カラー、テクスチャー、形状）別の重要度を直接表示する方式をＶｉｒａｇｅ  Ｉｍａｇｅ  Ｓｅａｒｃｈ  Ｅｎｇｉｎｅ（ｗｗｗ．ｖｉｒａｇｅ．ｃｏｍ）に記載している。しかし、このような方式では、画像をサーチする際、ユーザがその重要度を直接表示する場合、フィーチャー別の重要度を直接決定し難いという問題点があった。
【０００５】
この問題点を改善するため、画像のサーチ時に参照画像に類似な画像と類似でない画像をシステムに登録させ、その登録された画像間の類似度を計算して自動的にフィーチャーのタイプ別に加重値を計算する方法を“Ｒｅｌｅｖａｎｃｅ  Ｆｅｅｄｂａｃｋ  Ｔｅｃｈｎｉｑｕｅｓ  ｉｎ  Ｉｎｔｅｒａｃｔｉｖｅ、Ｙｏｕｎｇ  Ｒｕｉ、ＳＰＩＥ  Ｖｏｌ．３３１２”に記載した。しかし、この方式では、特定の画像に対するサーチを一回終えると加重値情報を維持しない。このため、同一の画像を参照画像として選択して画像を探す度に加重値を又計算しなければならない。
【０００６】
又、関連した技術の画像サーチ及びブラウジングシステム或いはビデオ（動画像）サーチ及びブラウジングシステムでは、画像又はビデオ等の画像サーチを一層効果的に行うために該当画像又はビデオデータのフィーチャーを述べた情報を利用する。例えば、画像サーチシステムでは、画像を所定の複数の領域に分けて各領域別の代表カラー値を表現する等の方式を用いて画像のフィーチャー情報を記述するか、画像の全体のカラーヒストグラムをフィーチャー情報として活用することができる。連続した２つの画像間のフィーチャー情報を相互に比較して所定の類似度を計算し、その類似度を利用して２つの画像の類否を判定する。
【０００７】
しかし、上述した画像サーチ方法では、一つの画像のフィーチャーに含まれた要素別の加重値は考慮せずにフィーチャーのタイプ別（カラー、テクスチャー、形状など）の加重値だけを考慮して画像サーチを行う。これにより、サーチ結果に対する加重値を知能的に学習及び発展させることに限界あるため、該当画像のサーチ速度が相対的に遅くなり、さらにサーチ結果に対する信頼性が落ちる。
【０００８】
発明の開示
本発明の目的は、特定の画像に含まれたフィーチャーの加重値及び／又はフィーチャー内の要素別の加重値を自動的に更新し、この更新された加重値を適用して所望の画像を再サーチすることができるマルチメディアデータのサーチ方法を提供することにある。
本発明の他の目的は、ユーザが特定の画像をサーチするに際して適用する全ての判断基準を分析及び分類して特定の画像に含まれたフィーチャーの類型に対応する画像特性を構成し、次の画像のサーチ時にフィーチャーの加重値とフィーチャー要素別の加重値を考慮してフィーチャー情報を調整することができるマルチメディアデータのサーチ方法を提供することにある。
本発明のさらに他の目的は、画像を効果的にサーチすることができるマルチメディアデータに含まれたフィーチャー構造を提供することにある。
【０００９】
本発明の目的を達するための本発明のマルチメディアデータのサーチシステムによれば、マルチメディアデータのサーチ方法は、ユーザによって選択された参照マルチメディアデータをサーチする段階と、ユーザがサーチされたマルチメディアデータに対する妥当性情報をフィードバックする段階と、前記妥当性情報に基づいて前記マルチメディアデータに含まれたフィーチャーの各々の要素の重要度を決定する段階と、前記ユーザの追加的なサーチ要求があれば前記各要素の重要度を更新して前記参照マルチメディアデータのサーチを再実行する段階と、以前の重要度が新たな重要度に更新及び維持される段階とを備える。
【００１０】
本発明の他の目的を達するための本発明のマルチメディアデータのサーチシステムによれば、マルチメディアデータのサーチ方法は、以前の段階でサーチされたマルチメディアデータに対する問合せを実施する段階と、前記問合せ時に前記サーチされたマルチメディアデータに対する判断基準を分析する段階と、前記判断基準の分析結果を利用して前記マルチメディアデータに含まれた１つ以上のフィーチャーを利用して画像特性を構成する段階と、前記ユーザの追加的なサーチ要求があれば前記画像特性の重要度を調整し、前記マルチメディアデータのサーチを再実行する段階とを備える。
【００１１】
本発明の又他の目的を達するための本発明のマルチメディアデータの特徴構造は、マルチメディアデータのフィーチャーを示す第１情報と、前記マルチメディアデータの部分的な領域に対するフィーチャーを示す第２情報と、前記第１情報及び第２情報の重要度を示す第３情報とから構成される。
【００１２】
発明を実行するベストモード
以下、本発明の好ましい実施形態を添付図面を参照して説明する。
図１は一般的な画像に含まれたフィーチャーをヒストグラム状に示した図である。一般的な画像サーチシステムでは、カラー、テクスチャー、形状等の画像のフィーチャーを図１に示すようなヒストグラムを用いて表示することができる。図１では一つの画像に含まれたカラーフィーチャーを２４個の要素からなるヒストグラムで表示した。この際、各カラー要素に対する加重値を調整して各カラー要素の重要度またはサーチに影響を及ぼすカラー要素の範囲を表現することができる。
【００１３】
又、図２は一般的な画像をグリッド状に示した図である。すなわち、一つの画像をｎ×ｍのグリッド領域に分け、各グリッド領域をカラーヒストグラム又はグリッド領域を示す一つのカラーで表示することができる。このとき、各ｎ×ｍのグリッド領域に加重値を割り当てることにより、各グリッド領域の重要度又はグリッド領域がサーチに影響を及ぼす範囲を表示することができる。又、あるグリッド領域がサーチに影響を与えないようにシステムにより設定された所定のしきい値をキャップとして利用することができる。すなわち、グリッド領域が所定のしきい値を超過する加重値を有する場合、グリッド領域はサーチに利用される。しかし、そうでない場合にはグリッド領域が画像のサーチに影響を及ぼさない“ｄｏｎ’ｔ  ｃａｒｅ”として処理される。
【００１４】
以下、図３〜図５を参照して画像をサーチする手続きを説明する。
図３は本発明の第１実施形態によるマルチメディアデータのサーチ手続きを示すフローチャートであって、複数の参照画像が選択されて特定の画像に含まれたフィーチャーのタイプ別／要素別の加重値が割当又は更新される。図３に示すように、ユーザはサーチされる特定の画像を示す複数の参照画像を選択する（Ｓ３０１）。次いで、システムは参照画像に含まれたフィーチャーの各々の部分的な要素の重要度を判断して決定する。例えば、システムは参照画像に含まれたフィーチャーの類似性を測定し（Ｓ３０２）、測定されたフィーチャーの類似性にしたがってフィーチャーの加重値を決定する（Ｓ３０３）。又、参照画像に含まれた各フィーチャー内の要素別の類似性を測定し（Ｓ３０４）、測定された要素別の類似性による各フィーチャー内の各要素別の加重値を決定する（Ｓ３０５）。この際、ユーザの追加的なサーチ要求があれば、システムは重要度、つまり決定されたフィーチャーの加重値と各フィーチャー内の各要素別の加重値を更新して画像のサーチを再実行する（Ｓ３０６）。その際、システムはフィーチャーのタイプ別の加重値と各フィーチャー内の各要素別の加重値ともを利用してもよく、個別的に一つだけを単独に利用してもよい。
【００１５】
ここで、各画像に含まれたフィーチャーのタイプ別／要素別の加重値は次のような方法で決定される。図３に示すように、ユーザが最初に複数の参照画像を選択すると、サーチシステムは選択された参照画像リストのフィーチャーのタイプ別の類似性及び各フィーチャー内の要素別の類似性を測定して各フィーチャーのタイプ別／要素別の加重値を決定する。
【００１６】
この際、フィーチャーのタイプ別の類似性の測定によるフィーチャーのタイプ別の加重値は次の式１ａ、１ｂ、１ｃを利用して計算する。
【数１】
0003564068.tif 000002
【００１７】
ここで、ｎは参照数、ｍは類似度の測定に使用されたフィーチャーの数、ｗｅｉｇｈｔ ｋはｋ番目のフィーチャーの加重値、Ｓｉｍ（ｉ、ｊ、ｋ）はｋ番目のフィーチャーの使用時にｉ番目の参照画像とｊ番目の参照画像との類似度、Ｃｏｎｔ（ｋ）はｋ番目のフィーチャーの寄与度であって類似すると決定するのに影響を与えるフィーチャーの級数をそれぞれ示す。すなわち、フィーチャーのタイプ別の加重値ｗｅｉｇｈｔ ｋは参照画像間の類似度をフィーチャー別に計算して類似度の大きな要素を最も重要な要素とするので、類似性が高いほどフィーチャーのタイプ別の加重値も相対的に高くなる。
【００１８】
一方、参照画像の各フィーチャー内の要素別の類似度を測定して要素別の加重値を決定する方式は次の式２ａ、式２ｂを利用して計算する。
【数２】
0003564068.tif 000003
ここで、ａ、ｐ、ｑは定数、ｍｉは参照画像リスト内での要素ｉの平均、ｖｉは参照画像リスト内での要素ｉの分散である。式２ａ、式２ｂによれば、フィーチャー内の各要素別の加重値ｗｉは該当要素成分の分散に反比例し、要素成分の平均値に比例する。従って、該当要素の分散が広くても、大きい平均値を有するフィーチャー要素が重要な要素として作用する。
【００１９】
図４は複数の参照画像が選択されない場合のマルチメディアデータのサーチ手続きを示すフローチャートである。一般に、参照画像の数が複数でない場合、画像のサーチは対応する加重値を有するフィーチャーを利用して行う。しかし、所望の画像がサーチされない場合、サーチされる特定の画像と類似する他の参照画像が選択されて参照画像リストに追加される。この後、参照画像リストを利用して各フィーチャー及び／又はフィーチャー要素の加重値を更新する。図４を参照すると、ユーザが複数の参照画像を選択した場合（Ｓ４０１、Ｓ４０２）、Ｓ４０４〜Ｓ４０８の手続きは図３のＳ３０２〜Ｓ３０６の動作と同様である。従って、Ｓ４０４〜Ｓ４０８の手続きに対する説明は省略する。ユーザは、図４のＳ４０８段階の画像のサーチに対する結果に対して満足すれば全てのサーチ動作を終了する。しかし、もしもサーチの結果に満足しなければ、ユーザはサーチされた画像の中でサーチしようとする画像と類似の他の参照画像を選択する（Ｓ４１１）。反面、ユーザが一つの参照画像だけを選択する場合、画像のサーチは割り当てられた加重値を有するフィーチャーを利用して行う（Ｓ４０３）。一般に、最初に参照画像が選択される場合、割り当てられた同一の加重値を利用してサーチを行う。ユーザがサーチ結果に満足しなければ、ユーザはサーチされた画像の中でサーチしようとする画像と類似する他の参照画像を選択する（Ｓ４１１）。従って、システムは自分の管理する初期参照画像リストに選択された参照画像を追加する（Ｓ４１２）。ここで、初期の参照画像リストはＳ４０１で選択された参照画像を含む。次いで、システムは選択された参照画像に含まれたフィーチャー及び／又はフィーチャー要素の類似性をそれぞれ測定し（Ｓ４１３）、選択された参照画像に含まれたフィーチャー及び／又はフィーチャー要素の加重値を前述した式１、式２を利用して決定する（Ｓ４１４）。次いで、システムは前記各フィーチャー及び／又はフィーチャー要素の加重値を更新して画像のサーチを再実行する（Ｓ４１５）。
【００２０】
図５はユーザが複数の参照画像を選択しない場合に対するマルチメディアデータのサーチ手続きを示すフローチャートである。一般に、参照画像の数が複数でない場合、画像のサーチは対応する加重値を有するフィーチャーを利用して行う。しかし、所望の画像がサーチされない場合、サーチしようとする特定の画像と類似する他の参照画像及び非類似の他の参照画像が選択されて参照画像リスト又は非類似画像リストにそれぞれ追加される。この後、参照画像リスト及び非類似画像リストを利用して各フィーチャー及び／又はフィーチャーの加重値を更新する。図５を参照すると、ユーザが複数の参照画像を選択する場合（Ｓ５０１、Ｓ５０２）、Ｓ５０４〜Ｓ５０８の手続きは図３のＳ３０２〜Ｓ３０６の手続きと同様である。従って、その説明は省略する。
【００２１】
ユーザは、図５のＳ５０９段階の画像のサーチに対する結果に対して満足すれば全てのサーチ動作を終了する。しかし、もしもサーチ結果に満足しなければ、ユーザはサーチされた画像の中でサーチしようとする画像と類似する他の参照画像及び非類似の他の参照画像を選択する。反面、ユーザが一つの参照画像だけを選択する場合、画像サーチは割り当てられた加重値を有するフィーチャーを利用して行う（Ｓ５０３）。最初に参照画像が選択される場合、割り当てられた同一の加重値を利用してサーチを行う。ユーザがサーチの結果に満足しなければ、ユーザはサーチされた画像の中でサーチしようとする画像と類似する他の参照画像及び非類似の他の参照画像を選択する。従って、システムは自分の管理する参照画像リストに選択された参照画像を追加し（Ｓ５１１）、又非類似の画像を初期の非類似画像リストに追加する（Ｓ５１２）。ここで、初期の参照画像リストはＳ５０１で選択された参照画像を含む。次いで、参照画像リストに含まれた画像のフィーチャー及び／又はフィーチャー要素の類似性をそれぞれ測定し（Ｓ５１３）、又非類似画像リストに含まれた画像の各フィーチャー及び／又はフィーチャー要素の類似性をそれぞれ測定する（Ｓ５１４）。次いで、システムは参照画像リスト及び非類似画像リストに含まれた各画像を使用して各フィーチャー及び／又はフィーチャー要素の加重値を前述した式１、式２を用いてそれぞれ決定及び更新する（Ｓ５１５）。次いで、システムは前記各フィーチャー及び／又はフィーチャー要素のタイプ別／要素別の加重値を更新して画像のサーチを再実行する（Ｓ５１６）。
【００２２】
この際、参照／非類似画像リストのフィーチャー及び／又はフィーチャー要素の類似性の測定によるフィーチャーの加重値は次の式３ａ〜式３ｄを利用して計算する。
【数３】
0003564068.tif 000004
【００２３】
ここで、ｎは参照画像リスト又は非類似画像リストでの参照数、ｍは類似度の測定に使用されたフィーチャーの数、ｗｅｉｇｈｔ ｋはｋ番目のフィーチャーの最終加重値、Ｓｉｍ（ｉ、ｊ、ｋ）はｋ番目のフィーチャーの使用時にｉ番目の参照画像とｊ番目の参照画像との類似度、Ｃｏｎｔ（ｋ）はｋ番目のフィーチャーの寄与度、ＷｅｉｇｈｔＩ ｋは参照画像リストでのｋ番目のフィーチャーの加重値、ＷｅｉｇｈｔＲ ｋは非類似画像リストでのｋ番目のフィーチャーの加重値をそれぞれ示す。
【００２４】
一般に、参照画像リスト及び非類似画像リストに含まれた画像の類似性はそれぞれ計算される。その結果、参照画像リストに含まれた画像の類似性が高いほど各フィーチャーのｗｅｉｇｈｔ ｋの加重値が増加し、非類似画像リストに含まれた画像の類似性が高いほど前記加重値が減少する。又、参照／非類似画像リストに含まれた画像の各フィーチャーのフィーチャー要素の類似度を測定した後、フィーチャーのフィーチャー要素の加重値は次の式４ａ、式４ｂを利用して計算する。
【数４】
0003564068.tif 000005
ここで、ｆｌ（ｉ）＝ｐｍｉ×ｑｖｉは非類似画像リストに含まれた画像の非類似性、ａ、ｂ、ｐ、ｑは定数、ｍｉは該当画像リスト（参照及び非類似画像）に含まれた画像において要素ｉの平均、ｖｉは該当画像リスト（参照及び非類似画像）内での要素ｉの分散をそれぞれ意味する。
【００２５】
一般に、参照画像リスト及び非類似画像リストに含まれた画像の類似性はそれぞれ計算される。その結果、参照画像リストに含まれた画像の類似性が高いほど各フィーチャーのｗｅｉｇｈｔ ｋの加重値が増加し、非類似画像リストに含まれた画像の類似性が高いほど前記加重値が減少する。このように、フィーチャーの加重値及びフィーチャー要素の加重値が決定されると、画像のサーチ時に類似度は次の式５を利用して計算する。
【数５】
0003564068.tif 000006
【００２６】
ここで、Ｄｉｆｆ（Ｆｋ ｉ、ｐ、ｑ）はｐ画像及びｑ画像のｋ番目のフィーチャーのｉ番目のフィーチャー要素間の差、ｗｋ ｉはｋ番目のフィーチャーのｉ番目のフィーチャー要素の加重値、ｗｋはｋ番目のフィーチャーの加重値、ｎはフィーチャーの数、ｋｍはｋ番目のフィーチャーの要素数をそれぞれ意味する。従って、各画像のフィーチャーの差値と、各フィーチャーのフィーチャー要素の加重値と、各フィーチャーの加重値とを掛けて差を求める。又、定数から前記差をひいて類似度を求める。
【００２７】
図３〜図５を参照して説明したように、ユーザが画像をサーチする際、システムは各フィーチャーのフィーチャー要素の加重値及びサーチしようとする画像のフィーチャーの加重値を自動的に決定し更新する。従って、迅速且つ効果的なサーチを行うことができる。
【００２８】
それにもかかわらず、以前のサーチ結果をみた後、ユーザが特定の画像の追加的なサーチを行いたいと思う場合、ユーザはサーチシステムに種々の問合せを実施する。この時、ユーザの主に利用する問合せの類型は表１の通りであり、画像の基本的なフィーチャーの種類としてカラーとテクスチャーを使用する場合に問合せの類型に応ずる必要なフィーチャー情報は表２の通りである。
【００２９】
【表１】
0003564068.tif 000007
【００３０】
【表２】
0003564068.tif 000008
【００３１】
表２において、問合せのタイプは１２個の類型に分類される。このような問合せに対する特性を全て満たすためにはサーチシステムは次の８つの画像フィーチャー情報を少なくとも備えなければならない。１．画像フィーチャー情報は画像全体に対するカラーの特徴を表現する広域カラー情報である。広域カラー情報の実施形態としてカラーヒストグラムを挙げることができる。２．画像フィーチャー情報は画像全体に対するテクスチャーの特徴を表現する広域テクスチャー情報である。広域テクスチャー情報の実施形態としてテクスチャーヒストグラムを挙げることができる。この際、画像全体に対するカラー及びテクスチャーのフィーチャー情報は広域カラー情報及び広域テクスチャー情報の組合せで表現されてもよい。３．画像フィーチャー情報は画像内の領域（グリッド領域）に対するカラーの特徴を表現するローカルカラー情報である。各グリッドに対する代表的なカラーの実施形態としてローカルカラー情報を挙げることができる。又は広域カラー情報から得られたカラー要素の加重値をローカルカラー情報として使用することもできる。４．画像フィーチャー情報は画像のグリッド領域に対するテクスチャーの特徴を表現するローカルテクスチャー情報である。ローカルテクスチャー情報の実施形態としてテクスチャー画像グリッドに表現された代表テクスチャーを挙げることができる。又は、広域テクスチャー情報から得られたテクスチャー要素の加重値をローカルテクスチャー情報として使用することもできる。
【００３２】
５．画像フィーチャー情報は画像のグリッド領域に対するカラー及びテクスチャーの特徴を表現するローカルカラー及びテクスチャー情報である。ローカルカラー及びテクスチャー情報の実施形態として各グリッドに対する代表カラー及びテクスチャーを挙げることができる。又は、広域カラー情報又は広域テクスチャー情報からそれぞれ得られたカラー及びテクスチャー要素の加重値をローカルカラー及びテクスチャー情報として使用することもできる。６．画像フィーチャー情報は画像の特定の位置の領域でカラーの特徴を表現するローカルカラーポジション（位置）情報である。ローカルカラー位置情報の実施形態としてカラーグリッドフィーチャーを挙げることができる。７．画像フィーチャー情報は画像の特定の位置の領域でテクスチャーの特徴を表現するローカルテクスチャー位置情報である。ローカルテクスチャー位置情報の実施形態としてテクスチャーグリッドフィーチャーを挙げることができる。又、画像の特定の位置の領域において特定のカラー及びテクスチャーの特徴は上述した６と７の組合せで表現することができる。８．画像フィーチャー情報は画像の特定の位置の領域で特定のカラー及びテクスチャーの特徴を表現するローカルカラー及びテクスチャー位置情報である。ローカルカラー及びテクスチャー位置情報の実施形態としてカラー及びテクスチャーグリッドフィーチャーを挙げることができる。
【００３３】
このように、問合せの内容に基づいて分析された結果を使用してフィーチャー情報セットつまり画像特性を構成し、構成されたフィーチャーに要素加重値を付与することにより、システムは効果的なサーチを行うことができる。システムは、ユーザのサーチ要求があれば、画像特性の重要度、つまりフィーチャーのタイプ別の加重値及び／又はフィーチャー要素の加重値を調整し、画像のサーチを行う。
【００３４】
参照マルチメディアデータを利用してサーチする方式は、マルチメディアデータに含まれた各フィーチャーの特徴及び／又は要素の加重値を調整して、参照マルチメディアデータの中でユーザの所望するマルチメディアデータと最も類似度の高いマルチメディアデータを決定する。この際、それぞれのフィーチャーのフィーチャー及び／又はフィーチャー要素の加重値の調整は、ユーザの直接調整する方式、システムで自動調整する方式、又はユーザにより前記システムにフィードバックする妥当性情報を利用して調整する方式のうち選択された一つを用いて行うことができる。
【００３５】
以下、上述した類型別のフィーチャーの意味を詳しく説明する。
まず、カラーヒストグラムは画像全体において特定のカラーの範囲内に存するカラーの比重がどのくらいなのかを示す情報である。テクスチャーヒストグラムは画像全体において特定の範囲内に存するテクスチャーの比重がどのくらいなのかを示す。
カラー画像グリッドは画像をｎ×ｍのグリッド領域に等分して発生したグリッド領域のカラー情報を示す。テクスチャー画像グリッドは画像をｎ×ｍのグリッド領域に等分して発生したグリッド領域のテクスチャー情報を示す。カラーテクスチャージョイントローカルグリッドは画像をｎ×ｍのグリッド領域に等分して発生したグリッド領域のカラーテクスチャー情報を示す。
【００３６】
図６はユーザの問合せの類型及び妥当性フィードバックを考慮して構成することのできるテクスチャー説明構造を示す。上記構造は、該当画像の全体に対するフィーチャーを示す広域情報６０２と、画像領域のフィーチャーを示す空間情報６０３と、構成されたフィーチャー６０２、６０３の重要度を示す加重値情報６０４とから構成される。この際、広域情報は画像全体に対する広域フィーチャー記述子６０５と画像全体に対するフィーチャー情報のフィーチャー要素に対する要素加重値記述子６０６とを含む。これに対して、フィーチャー情報６０３は画像領域の空間フィーチャ記述子６０７と、画像領域の位置加重値記述子６０８とを含む。
【００３７】
図６に示す画像全体に対するフィーチャー情報６０２及び画像領域の部分的な領域に対するフィーチャー情報６０３はカラー、テクスチャー、形状等の画像に含まれたフィーチャーの選択的な組合せで構成されることができる。ここで、基本フィーチャーの可能な組合せは式６を利用して求めることができる。ｎは基本フィーチャーの数である。
【数６】
0003564068.tif 000009
上記式６で求められたフィーチャーの種類の数はローカル位置及び広域情報に適用される。ｎの基本フィーチャーの数が発生するので、必要なフィーチャーの種類の数は式７を利用して求めることができる。
【数７】
0003564068.tif 000010
本発明はカラー、テクスチャーの２つの基本フィーチャーを使用して説明することができる。この場合、システムにより要求されるあらゆる必要なフィーチャーの種類の数は３＋２×２＝７であるが、形状を加えて３つの基本フィーチャーを使用する場合には必要なフィーチャーの種類の数は７＋２×３＝１３となる。
【００３８】
図７はカラー、テクスチャーのフィーチャーを利用して構成した画像特性を示す図である。図７を参照すると、ユーザのフィードバックに応じて画像フィーチャーの加重値を調整するに利用する妥当性フィードバック画像７０１は、画像全体に対する広域カラー情報７０２ａ、画像全体に対する広域テクスチャー情報７０２ｂ、画像の部分的な領域に対する空間情報７０３ａ、画像の部分的な領域に対する空間カラー情報７０３ｂ、前記広域フィーチャー情報７０２ａ、７０２ｂ及び画像に対する空間情報７０３ａ、７０３ｂの加重値記述子７０４を含む。
【００３９】
図７では、全体的に４つのフィーチャー情報７０２ａ、７０２ｂ、７０３ａ、７０３ｂがそれぞれ使用されるので、４つの加重値要素が含まれる。特に、広域カラー情報７０２ａは画像全体に対するカラーフィーチャー情報を示す広域カラーヒストグラム７０５と、広域カラーヒストグラムの各ビンに対する要素加重値記述子３０６とを含む。広域テクスチャーフィーチャー情報７０２ｂは画像全体に対するテクスチャー情報を示す広域テクスチャーヒストグラム７０７と、広域テクスチャーヒストグラムの各ビンに対する要素加重値記述子７０８とを含む。又、画像の部分的な領域に対する空間カラー情報７０３ａはカラー画像グリッド７０９と、カラー画像グリッド情報の位置加重値記述子７１０とを含み、画像の部分的な領域に対する空間テクスチャー情報７０３ｂはテクスチャー画像グリッド情報７１１と、テクスチャー画像グリッド情報の位置加重値記述子７１２とを含む。
【００４０】
画像全体に対するフィーチャー情報としてカラーヒストグラム７０５を使用し、カラーヒストグラム７０５の各カラー要素の加重値が要素加重値記述子７０６により表される。又、画像全体に対する他のフィーチャー情報として広域テクスチャーヒストグラム７０７を使用し、広域テクスチャーヒストグラム７０７の各テクスチャー要素に対する加重値が要素加重値記述子７０８により表される。
【００４１】
さらに、画像領域に対するフィーチャー情報としてカラー画像グリッド７０９を使用し、カラー画像グリッド７０９における各グリッド位置の加重値を位置加重値記述子７１０により表される。そして、画像領域に対する又他のフィーチャー情報としてテクスチャー画像グリッド７１１を使用し、テクスチャー画像グリッド７１１の各グリッド位置の加重値が加重値記述子７１２により表される。
【００４２】
しかし、図７では表２の１２個の問合せの類型を全て満たすべく４つのフィーチャー情報を有する画像特性構造を説明したが、このように１２個の問合せの類型のために９種類のフィーチャーを全部有する必要はない。例えば、実際に画像の有すべきフィーチャーとしてカラーテクスチャージョイントローカルグリッドを使用する場合、この情報から自然とローカルカラー、ローカルテクスチャー、ローカルカラー及びテクスチャー、ローカル位置カラー、ローカル位置テクスチャー、ローカル位置カラー及びテクスチャー情報を求めることができるからである。
【００４３】
又、図７の画像特性構造では、フィーチャーの加重値がフィーチャー情報と同じレベルで表現され、フィーチャー要素の加重値が各フィーチャー情報の下位レベルで表現される。しかし、画像特性は図８に示すような各フィーチャー情報の下位レベルでフィーチャーの加重値を有して構成することもできる。例えば、広域カラー情報８０１がフィーチャー情報であれば、広域カラー情報８０１は広域カラーフィーチャー８０２と加重値８０３とを含む。ここで、加重値８０３は広域カラーフィーチャー及びフィーチャー要素の加重値８０５に該当するフィーチャーの加重値８０４から構成される。
【００４４】
図９はユーザのフィードバックに応じて画像フィーチャーの加重値を調整するのに利用する画像特性のさらに他の実施形態を示す図である。図９では、加重値特性に係るあらゆる情報を集めてセットとして構成して別に表示した。
図９を参照すると、画像９０１のサーチ時に画像フィーチャーの加重値を調整する画像フィーチャー構造９０２つまり参照フィードバックは、大きく画像特性９０３と加重値特性９０４とから構成される。ここで、画像特性９０３は広域情報９０５とローカル情報９０６とローカル位置情報９０７とからなり、加重値情報９０４はフィーチャー加重値９０８と要素別加重値９０９とからなる。この際、広域情報セット９０５はｎ個のフィーチャーユニット９１０からなり、ローカル情報セット９０６はフィーチャーの数及びフィーチャーの可能な組合せの合計に対応する数だけのフィーチャーユニット９１１からなり、ローカル位置情報９０７はｎ個のフィーチャーユニット９１２からなる。
【００４５】
図１０は画像情報セットがカラー及びテクスチャーの２つの基本フィーチャーを含む時の図９の画像データ構造の又他の実施形態を示す。すなわち、画像特性情報１００１は広域カラーフィーチャーユニット１００５と広域テクスチャーフィーチャーユニット１００７とを含む広域情報１００２と、ローカルカラーフィーチャーユニット１００９とローカルテクスチャーフィーチャーユニット１０１０とローカルカラー及びテクスチャーフィーチャーユニット１０１１を含むローカル情報１００３と、ローカル位置カラーフィーチャーユニット１０１３とローカル位置テクスチャーフィーチャーユニット１０１４とを含むローカル位置情報１００４とから構成される。ここで、広域カラーフィーチャーユニット１００５は広域カラーヒストグラム１００６で表現され、広域テクスチャーフィーチャーユニット１００７は広域テクスチャーヒストグラム１００８で表現され、ローカルカラーフィーチャーユニット１００９及びローカル位置カラーフィーチャーユニット１０１３はカラー画像グリッド１０１２で表現され、ローカルテクスチャーフィーチャーユニット１０１０及びローカル位置テクスチャーフィーチャーユニット１０１４はテクスチャー画像グリッド１０１５でそれぞれ表現される。更に、ローカルカラー及びテクスチャーフィーチャーユニット１０１１はカラー画像グリッド１０１２とテクスチャー画像グリッド１０１５で表現される。上述した７つの類型のフィーチャーの画像特性を構成することによって表２の問合せの種類を満たすことができ、図１１に示すようにフィーチャーの加重値及びフィーチャー要素の加重値で加重値を調整して加重値を更新する。
【００４６】
図１１を参照すると、画像１１０１をサーチする際に画像フィーチャーの加重値を調整する画像フィーチャー構造１１０２、つまり参照フィードバックは、広域情報１１０５とローカル情報１１０６とローカル位置情報１１０７とを含む画像特性情報１１０３と、タイプ別の加重値１１０８とフィーチャ要素別の加重値１１０９とを含む加重値特性１１０４とから構成される。ここで、広域情報セット１１０５は広域カラーフィーチャーユニット１１１０と広域テクスチャーフィーチャーユニット１１１１とから構成される。又、ローカル情報１１０６は、ローカルカラーフィーチャーユニット１１１２と、ローカルテクスチャーフィーチャーユニット１１１３と、ローカルカラー及びテクスチャーフィーチャーユニット１１１４とから構成される。また、ローカル位置情報１１０７は、ローカル位置カラーフィーチャーユニット１１１５とローカル位置テクスチャーフィーチャーユニット１１１６とから構成される。
【００４７】
【発明の効果】
上記したように、本発明によれば、システムはユーザのあらゆる問合せを分析し、画像のサーチ時にあらゆる判断基準を満たすことができる最小の画像特性情報を提供することができる。従って、ユーザのフィードバックを反映するためにフィーチャー及びフィーチャー要素の加重値を調整することにより特定の画像を迅速且つ効果的にサーチすることができる。
【図面の簡単な説明】
【図１】一般的な画像に含まれたフィーチャー等をヒストグラム状に示す図、
【図２】一般的な画像をグリッド（ｌｏｃａｌ ｇｒｉｄ）状に示す図、
【図３】本発明の第１実施形態によるマルチメディアデータのサーチ手続きを示すフローチャート、
【図４】初期サーチの結果、所望の画像が存しない場合に該当する図２のマルチメディアデータのサーチ手続きを示すフローチャート、
【図５】初期サーチの結果、所望の画像が存しない場合に該当する図２のマルチメディアデータのサーチ手続きを示すフローチャート、
【図６】本発明の第２実施形態による画像サーチのための画像特性の基本的な構成を示す図、
【図７】図６に示す画像特性のフィーチャー情報をカラー及びテクスチャーを利用して構成する場合を示す図、
【図８】前記画像特性の他の実施形態を示す図。
【図９】前記画像特性の他の実施形態を示す図。
【図１０】前記画像特性の他の実施形態を示す図。
【図１１】前記画像特性の他の実施形態を示す図。
【図１】
0003564068.tif 000011
【図２】
0003564068.tif 000012
【図３】
0003564068.tif 000013
【図４】
0003564068.tif 000014
【図５】
0003564068.tif 000015
【図６】
0003564068.tif 000016
【図７】
0003564068.tif 000017
【図８】
0003564068.tif 000018
【図９】
0003564068.tif 000019
【図１０】
0003564068.tif 000020
【図１１】
0003564068.tif 000021