(57)【特許請求の範囲】
【請求項１】
参照マルチメディアデータのフューチャ及び前記フューチャの加重値情報を含むデータ構造を有する参照マルチメディアデータを受信する段階と、
前記フューチャと加重値情報を利用して前記参照マルチメディアデータを検索する段階と、
前記検索段階で得た結果としてのマルチメディアデータに対する妥当性情報が入力されるユーザフィードバック段階と、
前記結果としてのマルチメディアデータと前記参照マルチメディアデータに対する類似度を測定し、前記測定値を利用してフューチャの新たな加重値を計算する段階と、
前記計算された加重値を利用して参照マルチメディアデータのデータ構造に含まれたフューチャの以前の加重値を更新し、維持する段階と
を備え、
前記参照マルチメディアデータのデータ構造は、加重値に対する信頼性を直接または間接的に示す信頼度情報を更に含み、
前記参照マルチメディアデータのデータ構造は、前記妥当性情報の入力による加重値の更新を制限する権限情報を更に含む
ことを特徴とするマルチメディアデータの検索方法。
【請求項２】
前記ユーザフィードバック段階において、前記妥当性情報が正しい妥当性情報であれば、参照マルチメディアデータと結果としてのマルチメディアデータとの間の類似度を増加させるフューチャの加重値を増加させることを特徴とする請求項１記載のマルチメディアデータの検索方法。
【請求項３】
前記ユーザフィードバック段階において、前記妥当性情報が正しくない妥当性情報であれば、参照マルチメディアデータと結果としてのマルチメディアデータとの間の非類似度を増加させるフューチャの加重値を増加させることを特徴とする請求項２記載のマルチメディアデータの検索方法。
【請求項４】
前記フューチャに割当てられた加重値の信頼度は前記妥当性情報の入力による学習量に比例することを特徴とする請求項１記載のマルチメディアデータの検索方法。
【請求項５】
前記権限情報は、前記更新段階で加重値情報の更新の程度に影響を及ぼす程度値を有することを特徴とする請求項１記載のマルチメディアデータの検索方法。
【請求項６】
高い権限レベルのユーザからの前記妥当性情報の入力に更に高い信頼度が与えられることを特徴とする請求項１記載のマルチメディアデータの検索方法。
【請求項７】
前記維持する段階において、信頼度情報及び権限情報に基づいて参照マルチメディアデータのデータ構造内のフューチャの加重値情報を更新することを特徴とする請求項１記載のマルチメディアデータの検索方法。
【請求項８】
前記参照マルチメディアデータのデータ構造は、前記妥当性情報の入力による加重値情報の更新を制限する権限情報を更に含むことを特徴とする請求項１記載のマルチメディアデータの検索方法。
【請求項９】
前記権限情報は多数の権限レベルを含み、各権限レベルは前記更新段階で加重値情報の更新の程度に影響を及ぼす程度値を有することを特徴とする請求項８記載のマルチメディアデータの検索方法。
【請求項１０】
ユーザの権限レベルを決定するようにユーザよりパスワードを受信することを特徴とする請求項９記載のマルチメディアデータの検索方法。
【請求項１１】
システムに入力された参照マルチメディアデータのフューチャの重要性を示す可変情報を利用して参照マルチメディアデータを検索する段階と、
ユーザで前記検索されたマルチメディアデータに対する妥当性情報をフィードバックする段階と、
システムで前記妥当性情報のフィードバックされた情報又は前記システムに蓄積されたユーザパターン情報を利用して新たな可変情報を算出する段階と、
前記システムで前記算出された可変情報及び／又はこの可変情報の信頼度を示す信頼度情報を利用して可変情報を更新し、前記更新された可変情報を維持する段階と
を備え、
前記参照マルチメディアデータのデータ構造は、前記妥当性情報の入力による前記可変情報の更新を制限する権限情報を更に含む
ことを特徴とするマルチメディアデータの検索方法。
【請求項１２】
前記可変情報は、
前記マルチメディアデータの検索に使用されたフューチャの加重値と、
特定のビデオの検索又はブラウジングに使用されたフレーム又はセグメントの加重値と、
ユーザの検索選好度又は検索習慣を示すユーザの依存的情報と前記マルチメディアデータの主要領域又は主要対象の検索又はブラウジングに使用されるデータの一部分に対する加重値と、
類似イメージリスト情報の中で選択された一つ以上の組合せ
であることを特徴とする請求項１１記載のマルチメディアデータの検索方法。
【請求項１３】
前記新たな可変情報を算出する場合、検索又はブラウジングされたマルチメディアデータに対する互いに異なる可変情報の値を有する２つ以上の同一のマルチメディアデータが発生すると、前記可変情報の値に対する信頼度が相対的に高いものを選択することを特徴とする請求項１１記載のマルチメディアデータの検索方法。
【請求項１４】
前記新たな可変情報を算出する場合、検索又はブラウジングされたマルチメディアデータに対する互いに異なる可変情報の値を有する２つ以上の同一のマルチメディアデータが発生すると、前記マルチメディアデータを前記可変情報の値の信頼度に比例するように組み合わせることを特徴とする請求項１１記載のマルチメディアデータの検索方法。
【請求項１５】
システムに入力された参照マルチメディアデータのフューチャの重要性を示す可変情報を利用して参照マルチメディアデータを検索する段階と、
システムで前記検索されたマルチメディアデータに対する妥当性情報をフィードバックする段階と、
学習情報等の妥当性情報を利用、或いは既蓄積されたユーザパターン情報及び／又はこの可変情報の信頼度を示す信頼度情報を利用して前記可変情報を更新し、前記更新された可変情報を維持する段階と
を備え、
前記参照マルチメディアデータのデータ構造は、前記妥当性情報の入力による前記可変情報の更新を制限する権限情報を更に含む
ことを特徴とするマルチメディアデータの検索方法。
【請求項１６】
マルチメディアデータの検索システムに用いるため、
前記マルチメディアデータのフューチャ情報を選び出し、
前記マルチメディアデータのフューチャの重要度を示す可変情報を割り当て、
前記可変情報の信頼度を示す信頼度情報を含み、
権限コードをさらに含む
ことを特徴とするマルチメディアデータの生成方法。
【請求項１７】
前記信頼度情報は特定のレベルのユーザによって更新された回数情報を含むことを特徴とする請求項１６記載のマルチメディアデータの生成方法。
【請求項１８】
前記信頼度情報は可変的であり、権限レベルの数、各権限レベルに対する可変情報の更新程度、及び各権限レベルのユーザによる可変情報の更新回数を含むことを特徴とする請求項１７記載のマルチメディアデータの生成方法。
【請求項１９】
前記信頼度情報は固定的であり、固定された権限レベルのユーザによる可変情報の更新回数を含むことを特徴とする請求項１７記載のマルチメディアデータの生成方法。
【発明の詳細な説明】
【０００１】
技術分野
本発明はデータの検索又はブラウジング方法に関し、更に詳細にはイメージ又はビデオ等のマルチメディアデータの検索又はブラウジング方法に関する。
【０００２】
背景技術
最近、デジタル映像信号処理技術は驚くべき水準に発展しており、この技術は様々な分野で利用されている。例えば、映画、ドラマ等の動映像ファイルで特定の人物の顔だけを自動的に編集するための検出システム、システムに登録された人にだけアクセスさせるセキュリティシステム、又は検出システムで検出されたイメージ又はビデオで特定のデータを検索するシステム等で使用される。このようなシステムの性能は、基本的に所望する検出または検索の対象を正確且つ迅速に処理する特性を必要とする。従って、従来様々なイメージ検索方法が提案されている。
【０００３】
関連する技術のイメージ検索方式は次の通りである。
まず、米国特許第５，５７９，４７１号の“Ｉｍａｇｅ  Ｑｕｅｒｙ  Ｓｙｓｔｅｍ  ａｎｄ  Ｍｅｔｈｏｄ”の検索システムは、検索するイメージのカラー、テクスチャー、形状等のフューチャ（特徴）を利用して類似度を検索する。この際、各々のフューチャの重要度は検索するイメージのフューチャに応じて異なり、又その重要度は一フューチャでもそのフューチャ内に存する部分的な要素（例えば、カラーにおいて赤色、緑色等の部分要素）に応じて異なる。しかし、この検索システムではイメージ毎に異なる重要度の特性が分からなかった。
【０００４】
このような問題点を改善してよく検索できるようにユーザがカラー、テクスチャ、形状のようなフューチャ別の重要度を直接表示する方式を、Ｖｉｒａｇｅ  Ｉｍａｇｅ  Ｓｅａｒｃｈ  Ｅｎｇｉｎｅ（ｗｗｗ．ｖｉｒａｇｅ．ｃｏｍ）に記載している。しかし、このような方式では、イメージを検索する際、ユーザがその重要度を直接表示する場合、フューチャ別の重要度を直接決定し難いという問題点があった。
【０００５】
この問題点を改善するべく、イメージの検索時に参照イメージと類似しているイメージ並びに類似していないイメージをシステムに登録させ、その登録されたイメージ間の類似度を計算して自動的にフューチャのタイプ別に加重値を計算する方法を“Ｒｅｌｅｖａｎｃｅ  Ｆｅｅｄｂａｃｋ  Ｔｅｃｈｎｉｑｕｅ  ｉｎ  Ｉｎｔｅｒａｃｔｉｖｅ、Ｙｏｎｇ  Ｒｕｉ，ＳＰＩＥ  Ｖｏｌ．３３１２”に記載した。しかし、この方式では、特定のイメージに対する検索を一回終えると加重値情報を維持しない。このため、同一のイメージを参照イメージとして選択してイメージを探す度に加重値を又計算しなければならない。
【０００６】
又、ビデオ（動映像資源）検索及びブラウジングシステム或いはイメージ検索及びブラウジングシステムでは、マルチメディアデータの検索又はブラウジングを一層効果的に行うために該当イメージ又はビデオデータの特徴を記述した情報を利用する。例えば、イメージ検索システムでは、イメージの全体カラーヒストグラム、又はイメージを所定の複数の領域に分けて各領域別のカラー値を表現する等の方式を用いてイメージのフューチャ情報を記述し、連続した２つのイメージ間のフューチャ情報を相互比較して所定の類似度を計算し、その類似度を利用して２つのイメージの類否を判定する。
【０００７】
ユーザは、特定の人物の登場或いは特定の事件の発生のビデオの区間を検索して上映したいと思う。その際、特定の事件を代表するキーフレームを示す方式でビデオの検索及びブラウジング検索を行う。また、最近ではキーフレーム、キーセグメント等を下位レベルのフューチャ情報と上位レベルのフューチャ情報と定義して使用する。このようなフューチャ情報を利用したマルチメディアデータの検索及びブラウジング方式は、どの情報が更に重要でありどの情報が重要でないかを示す加重値情報を使用するか、或いは類似のマルチメディアデータ同士にグループ化して得たグループ情報を検索に直接又は間接的に利用することもある。この加重値情報又はグループ情報などは専門家によって前もって定義、またはユーザのフィードバックによって学習されてその値が更新される可変的なフューチャ情報である。
【０００８】
さらに、イメージ又は動映像等のマルチメディアデータをブラウジングする際、ユーザの要求またはハードウェア等の資源条件を考慮して本来のマルチメディアデータの全部または一部を表示することができる。その際、特定の部分だけを示す場合、全体のデータの中で重要な部分を優先的にディスプレイするためにデータの各部分の重要度を表現する。この重要度はユーザのフィードバックにより更新、又は専門家により前もって定義することのできる可変的な値となる。
【０００９】
また、米国特許第５，０２０，０１９号、米国特許第５，２９７，０４２号に記載したように、ユーザ毎にそのユーザに合うサービスを提供するためユーザの選好度（例えば、アクション物、ドラマ、又はスポーツ等を含む）を含む情報を使用することもある。又他の例をとると、キーワードの検索の場合、ユーザ毎に使用するキーワードの選好度及びその意味が異なる。従って、ユーザの選好度に基づいて使用されるキーワードの加重値を割り当てると、各ユーザは一層効果的な検索を行うことができる。ユーザの選好度はユーザの事前検索の検索条件及びヒストリを使用して得ることができる。上述したユーザの選好度による情報もやはり主に学習により更新可能な可変的フューチャ情報である。
【００１０】
このような可変的フューチャ情報はマルチメディアデータの検索及びブラウジングに効果的に使用されるが、次のような問題点があった。
まず、マルチメディアの特徴を記述した可変的情報が専門家によって前もって定義される場合、どのくらい信じうる専門家により定義されたか、又はどのくらい多い専門家の意見が反映されて定義されたかによりその値の信頼性が変わる。すなわち、マルチメディアデータの特徴を記述した可変的情報を前もって専門家集団により定義するとしても、専門家の熟練度に応じて同一のイメージに対するフューチャ情報の信頼度が一定でないこともある。また、このようなフューチャ情報がユーザのフィードバックによって学習される場合には、フィードバックの数及び正確度に応じて信頼性が変わる。例えば、検索後にユーザが２つのイメージの類否を不正確に判断すると、前記情報はフィードバックされ、フューチャ情報の学習に逆に影響を及ぼす。
【００１１】
更に、新たなユーザにより入力されたユーザの選好度はサーバーから勧められたフューチャ情報と異なることもある。この場合、システムはユーザの信頼度に応じてユーザの選好度の情報に適宜な加重値を割り当てなければならない。結局、ユーザ毎に異なるフィードバックをシステムに与えるので、フューチャ情報の信頼度が相対的に高ければ、新たなユーザの個別フィードバックがフューチャ情報の更新に及ぼす影響が小さくなり、逆に信頼度が低ければ新たなユーザによりフィードバックされる可変的フューチャ情報値に及ぼす影響が大きくなる。このような関連技術はは、上述した点を考慮することができないため、マルチメディアの検索又はブラウジング時に信頼度情報が要求される。
【００１２】
【発明が解決しようとする課題】
本発明の目的は、上記の問題点を改善して一層正確且つ効果的なマルチメディアデータの検索又はブラウジング方法を提供することにある。
本発明の他の目的は、フューチャ情報の更新のために情報の信頼度及び権限コードを考慮した検索又はブラウジングする方法を提供することにある。
本発明の又他の目的は、マルチメディアデータの検索又はブラウジング時に利用されるデータ構造を提供することにある。
【００１３】
発明の開示
上記目的を達するための本発明のマルチメディアデータの検索又はブラウジング方法は、参照マルチメディアデータを選択又は入力する段階と、前記マルチメディアデータのフューチャ及び／又は部分的なフューチャに割り当てられた加重値を利用して前記参照マルチメディアデータを検索する段階と、その検索又はブラウジングされたマルチメディアデータの妥当性に対してユーザフィードバックを入力する段階と、検索の結果的なイメージに対して前記参照マルチメディアデータの類似度を測定し、その測定された値を利用して新たな加重値を計算する段階と、以前の加重値を更新し、更新された加重値を維持する段階とを備える。
【００１４】
本発明の他の目的を達するための本発明のマルチメディアデータの検索又はブラウジング方法は、マルチメディアデータの特徴の重要性を示す可変情報と前記可変情報の信頼性を示す信頼性情報を利用して参照マルチメディアデータを検索する段階と、検索又はブラウジングされたマルチメディアデータの妥当性に対してユーザフィードバックを入力する段階と、システムに蓄積されたユーザ又はユーザパターン情報によりフィードバックされた学習情報を使用して新たな可変情報を計算する段階と、前記計算された可変情報及び／又は信頼度情報を利用して以前の可変情報を更新し、前記更新された情報を維持する段階とを備え、前記可変情報はマルチメディアデータの構造に含まれる。
【００１５】
本発明のさらに他のマルチメディアデータの検索又はブラウジング方法は、参照マルチメディアデータを入力又は選択する段階と、マルチメディアデータの特徴の重要性を示す可変情報を利用して参照マルチメディアを検索する段階と、前記検索又はブラウジングされたマルチメディアデータの妥当性に対してユーザフィードバックを入力する段階と、検索の結果的なイメージに対する参照マルチメディアデータの類似度を測定し、その測定された値を利用して新たな可変情報を計算する段階と、信頼度情報と権限コードを選択的に組み合わせて以前の可変情報を更新し、その更新された情報を維持する段階とを備え、前記マルチメディアデータの構造は前記可変情報、前記可変情報の信頼性情報、及びユーザに対する権限を制限する権限コードを含む。
【００１６】
本発明のマルチメディアデータの検索又はブラウジングシステムに対するデータ構造は、マルチメディアデータと、前記マルチメディアデータのフューチャ情報と、そして前記マルチメディアデータの特徴の加重値を示す加重値情報とから構成される。
【００１７】
発明を実施するベストモード
以下、本発明の好ましい実施形態を添付図面を参照して説明する。
図１は本発明の検索又はブラウジングシステムで使用されるマルチメディアデータの構造を説明する図である。データ構造はユーザのフィードバックを反映するためのイメージ特性情報１０１を含む。そのユーザフィードバックを反映するためのイメージ特性情報１０１は、ユーザのフィードバックにより学習されたフューチャ或いは部分的なフューチャ（本明細書では“フューチャ”という）の重要性を示す情報であり、イメージ特性情報１０２、権限コード１０４、及び信頼度コード１０７を含む。特に、イメージ特性情報１０２は、実際に検索に使用されるイメージフューチャ１０３ａと、イメージフューチャの重要性を示す加重値１０３ｂとを含む。信頼度コード１０７は加重値の信頼度を示す。好ましい実施形態において、前記信頼度コードはレベルｉのユーザによる加重値の更新の回数１０８で示される。前記権限コード１０４は権限レベル１０６と前記権限レベルの数１０５を示す。
【００１８】
本発明は、権限コード１０４を利用して加重値の更新可否を決定し、更新の程度を決定する。更に、信頼度コード１０７及び権限コード１０４は必要に応じてデータ構造に選択的に含まれてもよく、全部含まれてもよい。例えば、データ構造は信頼度コード１０７とイメージ特性情報１０２だけを含むこともできる。その場合、システムは権限コード１０４を与える。この際、只一つの権限レベルがシステムに要求されると、権限コード１０４が省略されてもよい。イメージ特性情報１０２の加重値１０３ｂはユーザにフィードバックされる度に更新される、イメージのフューチャに与えられた加重値である。更に、権限コード１０４の権限レベルｉ  １０６はイメージフューチャ及び／又は更新の程度に与えられた加重値を更新するか否か決定する。レベルの数はシステムの必要に応じて決定され、権限レベルの数１０５で示される。例えば、５つのレベルが存する場合、１、２等級に分類されたユーザにだけ加重値に対する更新を許し、１等級ユーザの更新の程度は０．９５の比重、２等級ユーザの更新の程度は０．８５の比重に更新する。
【００１９】
図２は本発明の検索又はブラウジングシステムで使用されるデータ構造を示す図である。図２に示すように、データ構造は、マルチメディアデータ２０１、マルチメディアデータのフューチャ情報２０２、マルチメディアデータのフューチャの重要性を示す加重値情報（又は可変情報）２０３、加重値情報の信頼度を示す信頼度情報２０６、２０８、及びユーザに対する権限レベルを示す権限コード２０７を含む。
【００２０】
図１を参照して説明すると、権限レベルは加重値情報の更新可否及び更新の程度を決定するために使用される。従って、データ構造における権限コードは権限レベルの数２０４、権限レベルに対する権限レベルのパスワード２０５、２０７を含む。権限コードに基づいてデータを変更するためのアクセス、つまり適切なイメージのアクセスを許容又は制限する権限レベルに基づいてユーザに異なるパスワードを与えることができる。従って、特定のレベルよりも低い権限レベルのユーザにはイメージのアクセスを許容しない。
【００２１】
好ましい実施形態において、イメージ制作者（生成者）はユーザの権限をｎレベルに分け、権限レベルに基づいてユーザに適宜のパスワードを与える。従って、ユーザはイメージを検索又はブラウジングすることができ、所与の権限レベルに基づいてイメージ特性情報を変化させることができる。
【００２２】
更に、イメージ特性情報は他の権限レベルのユーザによって更新されるので、各々の権限レベルのユーザによるフィードバックの数は信頼度情報の計算のために記録される。詳しくは、ｋ番目のレベルのユーザフィードバックによるイメージ特性情報に対する加重値の更新の回数Ｎｋにｋ番目のレベルに与えられた加重値係数を掛ける。各々の権限レベル（１〜ｎ）に対する生成値（ａｋ×Ｎｋ）を合算し、和に所定の係数ａを掛けてイメージ特性情報の信頼度を得る。２つの入力データが同一のマルチメディアデータであるが異なるヒストリにより学習された異なるイメージ特性情報を有する場合、ユーザは、各々のイメージ特性情報における信頼度情報に基づいてどのイメージを使用するかを決定することができる。ここで、権限レベルがただ一つであれば、イメージは権限情報無しに信頼度値を有する。
【００２３】
本発明の第１実施形態のマルチメディアデータの検索又はブラウジング方法は、イメージのフューチャを説明する可変情報及び／又は権限コードを入力されたマルチメディアデータに含む。図３は本発明の第１実施形態の検索又はブラウジング方法のフローチャートである。説明の便宜上マルチメディアデータをイメージとする。
【００２４】
図３に示すように、まずユーザによりマルチメディアデータを検索又はブラウジングするシステムで参照イメージを選択または入力する（Ｓ３０１）。次いで、システムはイメージフューチャに割り当てられた加重値及びイメージ特徴を利用して類似のイメージを検索する（Ｓ３０２）。システムは、参照イメージが最初に選択又は入力されると、加重値の初期値を設定する。加重値はカラー、テクスチャー、又は形状等のイメージフューチャに対して与えられてもよく、及び／又はＩ番目のカラー要素等のイメージ特徴要素に対して与えられてもよい。
【００２５】
ユーザは、検索又はブラウジングの結果を見て妥当性情報つまり検索又はブラウジング結果が妥当なのか否かを入力することによりフィードバックすることができる。特に、ユーザは結果が自分の所望するものであれば正しい情報としてフィードバックし、所望しないものであれば正しくない情報としてフィードバックする。例えば、ユーザにより決定されたイメージが参照イメージと類似すれば正しい情報としてフィードバックし、参照イメージと違えば正しくない情報としてフィードバックする。従って、システムは、ユーザが妥当性情報を入力したか否かを判断する（Ｓ３０３）。もしもユーザからフィードバックされない場合にはシステムはＳ３０１に戻り、フィードバックされた場合にはシステムはユーザがフューチャの加重値を更新するための権限レベルを有しているか否かを決定する（Ｓ３０４）。ここで、システムは、ユーザがパスワードを入力することによりユーザの権限レベルを決定することができる。権限レベルの詳細な説明は第３実施形態を参考として後述する。一般に、Ｓ３０４は権限レベルに基づいた更新の程度を含めて加重値の更新を制限する。しかし、この段階は省略可能であり、この場合に加重値は各々のユーザのフィードバックに対して更新される。
【００２６】
図３に示すように、ユーザの権限レベルが更新を許すと、システムは検索されたイメージの間で参照イメージとフィードバックされたイメージとの類似度を測定して新たな加重値を計算する（Ｓ３０５、Ｓ３０６）。すなわち、システムは、妥当性情報が正しいという情報であれば、フィードバックされたイメージと参照イメージとの間の類似度を増加させるフューチャの加重値を増加させる。逆に、妥当性情報が正しくないという情報であれば、システムは参照イメージとフィードバックされたイメージとの間の非類似度を増加させるフューチャの加重値を増加させる。
【００２７】
次いで、システムは計算された加重値を利用してイメージフューチャ情報の以前の加重値情報を更新し、次の検索又はブラウジングのために更新された加重値を維持する（Ｓ３０７）。特に、加重値は更新前のｋ番目のフューチャの加重値、現在イメージ検索で得られたｋ番目のフューチャの新たな加重値、及びあらゆるフューチャの新たな加重値の平均を考慮して更新する。ここで、以前の加重値による更新された加重値、つまり更新前のｋ番目のフューチャの加重値に及ぼす影響は以前の加重値の信頼度に反比例する。
【００２８】
好ましい実施形態において、加重値は式１を用いて更新することができる。この時、Ｗｋ（ｔ）はｋ番目のフューチャの更新された加重値であり、Ｗｋ（ｔ−１）は更新前のｋ番目のフューチャの加重値であり、Ｗｎｅｗ ｋは現在イメージ検索により得られたｋ番目のフューチャの計算された加重値であり、Ｍ（Ｗｎｅｗ）は現在イメージ検索により得られたあらゆるフューチャに対して計算された加重値の平均であり、ａはユーザの権限レベルに応ずる更新の程度を決定する加重値係数である。
［１］Ｗｋ（ｔ）＝Ｗｋ（ｔ−１）＋ΔＷｋ、（ΔＷｋ＝ａ（Ｗｎｅｗ＿ｋ
−Ｍ（Ｗｎｅｗ））
【００２９】
又、加重値は、検索過程の間に得られた非類似度イメージリスト又は類似イメージリストを利用して更新することもできる。例えば、システムは類似イメージリストのイメージ間の類似度を測定し、類似度の判断に寄与するフューチャの加重値を増加させる。逆に、システムは非類似イメージリストのイメージ間の非類似度を測定し、非類似度の判断に寄与するフューチャの加重値を増加させる。
【００３０】
本発明の第１実施形態によれば、検索に利用されたフューチャの加重値情報はシステムに入力されたマルチメディアデータ構造内に含まれる。従って、システムは、イメージを検索又はブラウジングする度にイメージの特徴を示す加重値を正しい方向に学習させることにより適切な加重値を開発してゆく。結果的に、システムは場所、応用プログラム、イメージ検索エンジンに係わらずにフューチャの加重値情報を利用してより一層効果的な検索又はブラウジングを行うことができる。又、検索又はブラウジングに加重値を利用する度にユーザは主観的、客観的な質疑に対して効果的な応答を実行することにより、ユーザの希望するイメージを検索又はブラウジングすることができるように本実施形態を適用して使用することができる。従って、本発明の第１実施形態はユーザのフィードバックに応じて加重値を調整する“Ｒｅｌｅｖａｎｃｅ  ｆｅｅｄｂａｃｋ”概念を使用することのできるイメージフォーマットで使用するのに適切である。
【００３１】
本発明の第２実施形態において、検索又はブラウジングのために選択又は入力された参照データは、マルチメディアの特徴の重要性を示す可変情報とその可変情報の信頼度を示す信頼度情報とを含む。第２実施形態において、可変情報と信頼度情報とを含むマルチメディアデータ構造はシステムに入力され、システムは参照データを検索する。説明の便宜上、マルチメディアデータをイメージと見する。
【００３２】
第１実施形態において、ユーザは検索又はブラウジングされた結果としてのイメージの妥当性情報をフィードバックした。次いで、システムはユーザにより入力された妥当性情報又はシステムに蓄積されたユーザのパターン情報を利用して新たな可変情報を計算する。例えば、ユーザのパターン情報はユーザのヒストリ又は使用ヒストリになる。従って、システムは新たな可変情報及び／又は信頼度情報を利用して可変情報を更新し、更新された可変情報を維持する。ここで、可変情報は図３で説明した加重値の更新と同様な方式で更新される。
【００３３】
可変情報は、マルチメディアデータのカラー、テクスチャー、又はキーワードの検索に使用されるフューチャの加重値、特定のビデオの検索又はブラウジングに使用されるフレーム又はセグメントの加重値、ユーザの選好度又はユーザの習慣を示し、マルチメディアデータの主要領域又は主要対象の検索又はブラウジング時に使用されるデータの一部を示すユーザ依存的情報の加重値、類似リスト又はクラスターモデルのマルチメディアグルーピングのための情報、又は説明した２つ以上の加重値の組合せである。
【００３４】
一般に、信頼度情報は可変情報に対する信頼性を直接又は間接的に示し、入力された妥当性情報に基づいて可変情報に対するユーザの学習量に比例する特性を有する。又、信頼度情報はシステムの性能により決定される。信頼度の程度に対する詳細な説明は第３実施形態を参照して説明する。
【００３５】
従って、２つのデータが同一のマルチメディアデータを持つが、異なる可変情報値を有するとすると、システムは更に高い信頼度を有する可変情報を選択することができ、又は新たな可変情報を計算するに際して可変情報の信頼度に比例して可変情報を組み合わせることができる。可変情報の計算は本発明の第２実施形態に係わらずに独立的に利用することができる。
【００３６】
例えば、１つのイメージが生成された後、他のユーザにより多数のイメージに複写された後、複写されたイメージが互いに異なる応用プログラムを経る間に各々の可変情報により特性化されたと仮定する。特に、互いに異なる応用プログラムにより特性化されたイメージは可変情報の互いに異なる信頼度情報及び可変情報を有する。その際、システムは、他の応用プログラムで上述したイメージを呼んできてイメージ検索に使用しようとする際、どれを利用するかを決定しなければならない。もしも異なって特性化された各イメージが可変情報（加重値）に対する信頼度を共に有していると、システムは信頼度の高いイメージを選択して検索に利用すればよい。又、システムは信頼度に比例して多数の複写されたイメージに該当する他の特性化されたイメージの加重値を組み合わせて新たな加重値を得ることができる。
【００３７】
上述した本発明の第２実施形態によれば、可変情報だけでなく可変情報の信頼度情報もシステムに入力されたイメージに含まれるため、イメージが検索される度に加重値が更新される。したがって、一層正確な検索要素となるように学習される。結果的に、システムは最適の状態で知能的に発展する。
【００３８】
本発明の第３実施形態の検索又はブラウジングシステムに入力されるマルチメディアデータのデータ構造は、フューチャの重要性を示す可変情報、その可変情報の信頼度を示す信頼度情報、及びユーザに対する権限を制限する権限コードから構成される。ここで、権限コードはマルチメディアデータに含まれてもよく、又はマルチメディアデータの検索又はブラウジングに対する判断がフィードバックされる時にシステムから提供されてもよい。
【００３９】
本発明の第３実施形態のマルチメディアデータの検索及びブラウジングシステムは、ユーザの調整信号に応じて参照マルチメディアデータを選択又は入力する。従って、システムは可変情報、可変情報の信頼度情報、及び権限コードを利用してマルチメディアデータを検索する。権限コードはあらゆるユーザのフィードバックに応答してフィードバックの信頼度に係わらずに更新により可変情報の不適切な学習を制限するために使用する。
【００４０】
例えば、経験ないユーザが全く異なる２つのイメージを互いに同じイメージだと見ると、このユーザにより検索に利用されたイメージに対するフューチャの加重値が全く異なる方向に更新される。従って、該当イメージの学習結果は信頼性が落ちる。しかし、又他の方法として、入力されるイメージが権限コードを含んでない場合には、代わりに、システムで権限情報を提供することにより、ユーザが所定のイメージを加重値更新できる権限の有無、又は加重値の更新に及ぼす影響の程度を制限又は異なった扱いをすることもできる。例えば、ユーザのＬｏｇ−Ｉｎ  ＩＤを権限レベルの決定のために使用することができる。
【００４１】
更に、第１、第２実施形態に示すように、ユーザは検索又はブラウジングされたマルチメディアデータに対する妥当性情報をフィードバックする。従って、システムはフィードバックされたイメージと参照イメージとの類似度を測定し、測定された値を利用して新たな可変情報を計算する。次いで、システムで算出された可変情報、信頼度情報、権限コードを利用して参照イメージに含まれた以前の可変情報を更新し、更新された可変情報を維持する。この際、マルチメディアデータを更新するシステムで算出されたマルチメディアデータに対する可変情報の値の互いに異なる２つ以上の同一のマルチメディアデータが発生すると、システムは可変情報の値に対する信頼度が相対的に高いものを選択する。
【００４２】
特に、新たな加重値を式１又は検索過程の間に得られた類似リスト又は非類似リストにより第１実施形態に示すように計算し更新することができる。更に、加重値は加重値の信頼度に基づいて更新することができる。加重値は式２により更新することができ、この際にＲｃは現在学習されたイメージの信頼度、Ｗｃは信頼度に対して既設定された加重値であり、Ｒｔは現在フィードバックされたユーザの権限レベルに該当する加重値を更新する程度であり、Ｗｔはユーザの権限レベルに対する加重値である。
［２］更新された加重値＝（ＲｃＷｃ＋ＲｔＷｔ）／（Ｒｃ＋Ｒｔ）
ここで、Ｒｃの値は各権限レベルのユーザによる以前の加重値の更新回数である。
【００４３】
図４は本発明の第３実施形態によるマルチメディアデータの検索又はブラウジングシステムにおいて可変的な信頼度情報のデータ構造を示す図である。図４に示すように、本発明による可変的な信頼度情報４０１はレベルの数４０２、レベルｉが加重値の更新に及ぼす影響の程度４０３、レベルｉのユーザにより更新された回数４０４から構成される。
【００４４】
一方、図６は本発明の第３実施形態によるマルチメディアデータの検索又はブラウジングシステムで固定的な信頼度情報のデータ構造を示す図である。図６を参照すると、固定的な信頼度情報６０１はレベルｉのユーザにより更新された回数６０２だけを含む。このような信頼度は下記のような方式で求めることができる。
【００４５】
一つ、信頼度は等級レベルの高いユーザが多く使用して学習させたイメージであるほど更に高い信頼度を付与する方式を使用する。すなわち、信頼度はフィードバック及び権限レベルを付与するユーザの数に比例する。従って、システムの立場では、等級レベルの高いユーザによりフィードバックされた妥当性情報の学習量が相対的に多いイメージに相対的に高い信頼度を付与する。
二つ、システムは既設定の等級レベルから上位等級レベルまでのユーザが学習させたイメージに信頼度を付与する。すなわち、システムは、設定された権限レベルに基づいて等級レベルの中で上位等級レベルに該当するユーザによってフィードバックされた妥当性情報の学習量が相対的に多いイメージに相対的に高い信頼度を付与する。
三つ、システムの性能に基づいて信頼度を決定する。
四つ、システムはユーザレベルの数を一致する更新の程度に可変的に設定して使用することにより、図４に示すような信頼度情報を使用することもでき、図６に示すような固定的な信頼度情報を使用することもできる。この場合、ユーザのフィードバックによる更新の数とフィードバックを付与するユーザの権限レベルが高いほど相対的に高い信頼度を付与する。
【００４６】
図５は図４の可変信頼度情報の例を示す。図５では、ユーザが全体的に５つの権限レベルに分類される。図５において、第１等級は１．０の加重値更新程度を有し、第１等級のユーザにより８回の更新回数を記録し、第２等級は０．７の加重値更新程度を有し、第２等級のユーザにより１４回の更新回数を記録し、第３等級は０．５の加重値更新程度を有し、第３等級のユーザにより３０回の更新回数を記録し、第４等級は０．３の加重値更新程度を有し、第４等級のユーザにより２３回の更新回数を記録し、第５等級は０．１の加重値更新程度を有し第５等級のユーザにより４回の更新回数を記録している。すなわち、各権限レベルの数と各々の権限レベルのユーザにより更新される程度の値が可変的に設定される。
【００４７】
図７は図６の固定的な加重値情報の例を示す図である。図７では、ユーザに対する権限を１０レベルに固定し、各レベルに対して該当する加重値更新程度を０．１〜１の間の値で予め割り当てる。図７では、第１等級は１．０の更新程度で８回の更新回数を記録し、第４等級は０．７の更新程度で１４回の更新回数を記録し、第６等級は０．５の更新程度で３０回の更新回数を記録し、第８等級は０．３の更新程度で２３回の更新回数を記録し、第１０等級は０．１の更新程度で４回の更新回数を記録している。
【００４８】
このような方式は権限をシステムで検索してそのイメージのアクセス（加重値の更新の許容／禁止或いは更新の程度）をコントロールするに効果的である。また、図７に示されたシステムでは１０のレベルの全部に対して使用してもよく、この中で必要な個数だけを部分的に使用してもよい。例えば、システムは、１０のレベルをユーザに付与しないで図５に示すように５つのレベルを利用することができる。この場合、図５の第１レベルに該当する図７の第１レベルは第１レベルであり、図５の第２レベルに該当する図７の第４レベルは第２レベルであり、図５の第３レベルに該当する図７の第６レベルは第３レベルであり、図５の第４レベルに該当する図７の第８レベルは第４レベルであり、図５の第５レベルに該当する図７の第１０レベルは第５レベルである。従って、１０の固定的な等級レベルの中で５つの等級レベルだけを使用するので、システムは各々の等級レベルに対する更新の許容可否を決定することができる。
【００４９】
【発明の効果】
上述した本発明の実施形態によれば、次のような効果を奏する。
一つ、システムに入力されるイメージ内にイメージフューチャの加重値（又は可変情報）が含まれ、イメージが検索として使用されるほど該当イメージがより良い検索結果を与えるために学習（又は特性化）されるので、同一のイメージに対して検索する時により効果的且つ正確に検索又はブラウジングを行うことができる。
二つ、同一のイメージが互いに異なる環境で学習された後更新される際、どのイメージがより効果的に学習されたかが分かるようにイメージに対する加重値または可変情報の信頼性を示す信頼度情報をイメージ内に含めることにより、現在イメージの検索又はブラウジングを効果的且つ正確に行うことができる。
【００５０】
三つ、入力されたイメージ内に権限コードを含めるか、或いはシステムにより権限コードを提供することにより、ユーザの等級レベルに基づいて更新の可否及び更新の程度を制限する。従って、ユーザの無分別又は非専門的な更新により該当イメージが正しくない方向に学習されることを防止することができる。
四つ、システムの特性に応じてイメージの特徴に対する加重値（又は可変情報）に信頼性情報、権限情報を選択的に組み合わせて使用するか、全て組み合わせて使用することにより、該当イメージに対する正しい検索を行うように知能的に学習及び自己発展する方向にマルチメディアデータの検索又はブラウジングを行うことができる。
【図面の簡単な説明】
【図１】本発明の検索又はブラウジングシステムにおいてマルチメディアデータの構造を説明する図、
【図２】本発明の検索又はブラウジングシステムで利用されるデータの構造を示す図、
【図３】本発明の第１実施形態によるマルチメディアデータの検索又はブラウジングの手続きを示すフローチャート、
【図４】本発明の第３実施形態によるマルチメディアデータの検索又はブラウジングシステムにおいて可変的な信頼度情報のデータ構造を示す図、
【図５】図４のデータ構造に応じてマルチメディアデータ内の可変的な加重値情報の例を示す図、
【図６】本発明の第３実施形態によるマルチメディアデータの検索又はブラウジングシステムにおいて固定的な信頼度情報のデータ構造を示す図、
【図７】図５によるマルチメディアデータ内の固定的な加重値情報の例を示す図。
【図１】
0003585844.tif 000002
【図２】
0003585844.tif 000003
【図３】
0003585844.tif 000004
【図４】
0003585844.tif 000005
【図５】
0003585844.tif 000006
【図６】
0003585844.tif 000007
【図７】
0003585844.tif 000008