(57)【特許請求の範囲】
【請求項１】
マルチメディア客体を検索するための複数の特徴情報の中から、照会に使われる特徴情報の組合せがユーザにより選択されると、この選択された特徴情報の組合せを入力し、入力した前記組合せによる特徴情報の重みを学習して、この学習結果の重みをマルチメディア特徴情報に加える段階と、
マルチメディア検索時に照会に使われる特徴情報の組合せと一致する組合せに含まれる前記学習結果に基づく各特徴情報の重みを選択し、選択した各特徴情報の重みに基づいて前記マルチメディアを検索する段階と
を備え、
前記マルチメディア検索時に使われる特徴情報の組合せと一致する組合せに含まれる前記学習結果に基づく各特徴情報の重みを選択して前記マルチメディアを検索する段階は、
前記マルチメディアの検索時に照会に使われる特徴情報が選択されると、前記マルチメディア特徴情報に含まれた多数の重みの中から、前記選択された特徴情報だけで学習された重みを選択し、選択した特徴情報の重みに基づいて前記マルチメディアの検索を行う段階を含むことを特徴とするマルチメディア検索方法。
【請求項２】
前記マルチメディア検索時に照会に使われる特徴情報の組合せと一致する組合せに含まれる前記学習結果に基づく各特徴情報の重みを選択して前記マルチメディアを検索する段階は、
照会客体と検索対象とが設定されると、設定された検索対象の種類と照会客体の種類によって予め設定された特徴情報だけで学習された重みを選択して前記検索に使うことを特徴とする請求項１に記載したマルチメディア検索方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は複数の特徴情報を利用してマルチメディアを検索する技術分野に関する。特にユーザが希望する形態の照会に使用される特徴情報の組合せに応じて自動的に選択された最適な重み情報を用いてマルチメディア検索をすることで、より高い検索性能を得ることができるマルチメディア検索方法に関する。
【０００２】
【従来の技術】
イメージ検索などマルチメディア検索では主にカラー、テクスチャ、形状の情報などを組み合わせて使われる。しかし、各マルチメディアデータごとに類似データを最もよく検索することができる特徴情報が異なる。したがって、マルチメディア検索のためにユーザが特定の照会を行う時、そのデータを検索するのに必要な特徴情報に関する重要度情報を利用することで、より高い性能を期待することができる。
【０００３】
従来のマルチメディア検索技術の中には、マルチメディアを検索するごとにユーザから各特徴情報をどの程度検索に利用するのかを指定することができるユーザインタフェースを利用する技術がある。
【０００４】
例えばカラーは５０％、テクスチャ３０％などとそれぞれの特徴情報に対する重要度をユーザが指定して、各特徴要素の比を変えて検索に利用することができる。
【０００５】
一方、従来のマルチメディア検索技術の中には、マルチメディア検索のためにユーザが照会するたびにユーザが求めようとするイメージに似ているイメージに対するフィードバック情報を与えることで、このような特徴要素に対する重みを自動的に計算して検索に使う技術も提案されている。しかしこの方法は照会があるごとにユーザがフィードバックを与えなければ重みを利用することができないという短所がある。
【０００６】
また、最近ではＭＰＥＧ−７と一緒に、検索に必要なデータを標準化しようとする試みが行われている。したがって特徴情報に対する重み情報も標準化されたデータ情報としてマルチメディアデータに含まれる。特徴情報に対する重み情報が標準化されたデータ情報としてマルチメディアデータに含まれる場合、各データの重み情報は照会のたびにユーザの要求と関係なく適用されて高い検索性能が期待できる。
【０００７】
このような標準化されたデータでは利用可能な対象の必要なすべての類型の特徴情報を規定しているから、非常に多くの特徴情報を規定している。しかし、多数の特徴情報の中で実際に照会や検索に使用される特徴情報はその中の一部だけである。
【０００８】
例えばビデオセグメントを説明するための特徴情報は、テキスト情報と同じく多様な意味情報も含み、カラーヒストグラムのような低レベルの特徴情報も含むことになる。
【０００９】
低レベルの特徴情報の中には、マルチメディアがビデオという特性のためモーション情報なども含まれるはずで、またビデオ映像は静止映像の集合ということができるので、カラー、テクスチャ、形状情報などの静止映像も含まれる。
【００１０】
もしマルチメディア検索がビデオのセグメントとセグメント間の比較を行う例である場合なら、モーション、カラー、テクスチャ、形状情報などを皆使用することができる。ところがマルチメディア検索がビデオセグメントと静止映像の比較検索である場合なら静止映像では必要ではないモーション情報は使われないであろう。
【００１１】
このようにマルチメディア検索が各対象によって含んでいる特徴情報の中で実際に使う特徴情報はそれぞれ異なっている。その場合、特徴要素の間の相対的な重みは変えることができる。
【００１２】
次の例をよく検討する。ビデオセグメントが含んでいる特徴情報がカラーヒストグラム、代表カラー情報、テクスチャヒストグラムである時、対象１ではこれら３個の特徴情報をすべて使用し、対象２では代表カラー情報とテクスチャヒストグラムのみを使うと仮定する。
【００１３】
もし対象１において、３個の特徴情報（カラーヒストグラム、代表カラー情報、テクスチャヒストグラム）をすべて使う時、特定のマルチメディアデータの加重値、すなわち重みの値がそれぞれの特徴情報に対して０．５、０．３、０．２だと仮定すれば、対象２では同じデータに対して、カラーヒストグラムは使わないので残り２個の特徴情報である代表カラー情報とテクスチャヒストグラムの相対的加重値０．３、０．２を２個の特徴情報（代表カラー情報とテクスチャヒストグラム）に対して換算してそれぞれ０．６、０．４と指定して使うことができるはずである。
【００１４】
ところが実際にはこのような方法は適用されない。何故ならばビデオセグメントが含んでいるすべての特徴情報がお互いに全然関係がない独立的な関係なら上の方法のように再配分することができるが実際ではそうではないからである。
【００１５】
すなわち、上の例でカラーヒストグラムと代表カラー情報は共にカラーと係った情報としてテクスチャヒストグラムよりは互いに密接な関係を持っている。
【００１６】
したがって３個の特徴情報（カラーヒストグラム、代表カラー情報、テクスチャヒストグラム）を使う場合、カラーに係わる情報が２個（カラーヒストグラム、代表カラー情報）でテクスチャ情報が１個であるので、結局３個の特徴情報を使う場合（対象１）が、そうではない対象２より実際にはカラー情報をより多く使うことになる。
【００１７】
すなわち、前で説明した例の場合、３個の特徴情報それぞれの加重値を０．５、０．３，０．２とした時、この３個の特徴情報を使うということは実際にカラー類似情報（２個）とテクスチャ類似情報（１個）をそれぞれ０．８、０．２（カラー、テクスチャ）の割合で使うことと似ている。
【００１８】
したがって、代表カラー情報とテクスチャヒストグラムを対象２と同じく０．６：０．４の重要度として組み合わせて使う場合には、３個の情報を使う場合（カラー：テクスチャ＝０．８：０．２）よりカラー情報を減らして使うことになる。
【００１９】
このような理由で、２個の特徴情報（代表カラー情報及びテクスチャヒストグラム）のみを使った場合より、３つの特徴情報すべてを使用した方がよい。
【００２０】
このように複数の特徴情報を組み合わせて使う場合には、各特徴情報の組合せによって互いに違う割合に最適化された加重値を適用することができる。
【００２１】
したがって、互いに違う特徴情報の組合せを使う対象が利用可能なマルチメディアデータの重み情報は、各利用可能な特徴情報の組合せにしたがった重み情報を別々に持っているとより高い性能の検索結果を期待することができる。
【００２２】
前の例に適用して見ると、カラーヒストグラム、代表カラー情報、テクスチャヒストグラムの中で代表カラー情報とテクスチャヒストグラムの組合せでマルチメディア検索を行う時には、特徴情報の組合せの重みは代表カラー情報とテクスチャヒストグラムにあり、カラー情報の重みは０．８：０．２，または０．７：０．３などのように相対的に高くされる。したがって、特徴情報の各組合せに対して適切な重みの情報を持っていると、より高い性能を期待することができる。
【００２３】
一方、同じマルチメディアデータであっても検索をした時、照会の意図によって検索結果が変わることがある。
【００２４】
例えば、海の風景に船が見えるイメージを参照イメージとして検索を行った場合、この参照の意図は、船が含まれたイメージを探す照会または海の風景が見えるイメージを探す照会である。
【００２５】
したがって、照会意図が船が含まれたイメージを探すことである場合には、海の風景がないイメージの中でも船が入っているイメージを探してきて検索結果として出すはずで、照会意図が海の風景が見えるイメージを探すことである場合には、船がないイメージの中でも海の風景が入っているイメージを探して検索結果として出すはずである。またはこの二つの組合せの場合も可能だろう。
【００２６】
このように同じデータを特定の照会条件で検索する場合、その照会の種類（意図、観点）によって所望の結果が変わることがある。その時このような照会、観点を互いに違う重みで表現することで所望の結果を探すことができる。
【００２７】
【発明が解決しようとする課題】
本の発明の目的は、マルチメディアデータに検索照会に適切な検索結果を得ることができる複数の重み構造を含めて、検索時にユーザの所望の照会を把握してその照会の観点に対応した重みを自動的に選択することができる方法と、そういう複数の加重値を抽出することができる方法を提供することである。
【００２８】
【課題を解決するための手段】
このような目的を果たすための本発明によるマルチメディア検索方法は、マルチメディア客体を検索するために複数の特徴情報を使う方法であって、複数の特徴情報の中で照会に使われた特徴情報の組合せによる特徴情報の重みを学習してその重みをマルチメディア特徴情報に加える段階と、マルチメディア検索時に照会に使われる特徴情報の組合せによってその特徴情報の組合せに一致する重みを選択して検索する段階を含むことを特徴とする。
【００２９】
前記特徴情報の組合せによる重みの学習が、該当の特徴情報の組合せを使ってイメージを検索した検索結果や、あらかじめ定義された類似客体に対するグループ情報に関するユーザからの類似客体に対するフィードバックを受けて行われることを特徴とする。
【００３０】
前記特徴情報の組合せに含まれる特徴情報の中で類似客体間の類似度が高い特徴情報であればあるほど高い加重値を持つように学習する点を特徴とする。
【００３１】
前記マルチメディア検索時に照会に使われる特徴情報の組合せに一致する重みを選択して検索する段階は、前記検索結果や類似客体に対するグループ情報からユーザが選択してフィードバックした類似客体に対して、前記マルチメディア特徴情報に含まれた多数の重みそれぞれを使って類似度を測定する段階と、前記測定された類似度の中で一番高い類似度値とされた重みを選択して検索に利用する段階を含むことを特徴とする。
【００３２】
前記マルチメディア検索時に照会に使われる特徴情報の組合せに一致する重みを選択して検索する段階は、ユーザが検索時に使う特徴情報を選択すると、そのマルチメディア特徴情報に含まれた多数の重みの中で選択された特徴情報だけで学習した重みを選択して検索に使うことを特徴とする。
【００３３】
前記マルチメディア検索時に照会に使われる特徴情報の組合せに一致する重みを選択して検索する段階で、ユーザが照会客体と検索対象を設定すれば、設定された客体の種類と照会客体の種類によって予め設定された特徴情報だけで学習した重みを選択して検索に使う点を特徴とする。
【００３４】
また、本発明は複数の特徴情報を使ってマルチメディア客体を検索するために、検索のための各照会の観点による特徴情報重みを学習してマルチメディア特徴情報に付加する段階と、マルチメディア検索時に照会の観点を判断して前記マルチメディア特徴情報に含まれた特徴情報の重みの中で前記照会の観点にあたる重みを選択して検索する段階を有することを特徴とする。
【００３５】
さらに、本発明によるマルチメディア検索媒体は、マルチメディア客体検索のための複数の特徴情報と、前記複数の特徴情報の中で照会に使われる特徴情報の組合せそれぞれによる最適の重み情報を含むデータ構造を備えていることを特徴とする。
【００３６】
前記特徴情報は各照会の観点によって違うように組み合されて、各照会の観点によって重みを違うようにすることを特徴とする。
【００３７】
【発明の実施の形態】
前記したように成り立つ本発明のマルチメディア検索及び重み学習方法の理解を助けるために本発明を（１）特徴情報の組合せによる多重重みの学習方法、（２）特徴情報の組合せによる多重重みの適用方法、（３）照会の観点による多重重み学習方法、（４）照会の観点による多重重みの適用方法でそれぞれ分けて説明する。
【００３８】
（１）特徴情報の組合せによる多重重み学習方法。
マルチメディア検索のための全体の特徴情報が集合Ａ＝［Ｃ１、Ｃ２、Ｃ３．．．ＣＮ］と仮定して、現在の特徴情報の組合せに使われる特徴情報は集合Ｂ＝［Ｃｉ１、Ｃｉ２、Ｃｉ３．．．ＣＭ］⊆集合Ａだと仮定しよう。この時集合Ｂのための重みを抽出するアルゴリズムをイメージ検索を例として説明すれば図１のようになる。
【００３９】
最初、集合Ｂに属した特徴情報［Ｃｉ１、Ｃｉ２、Ｃｉ３．．．ＣＭ］を皆同じ重要度に設定した後、類似度を測定して整列させる（段階１０１）。
【００４０】
その次段階１０２は、整列された検索結果内の間違いを検索して間違いの数をＥとして設定する段階である。この時、間違いと言うのは、正解イメージの数がＫであるとき、正解イメージであっても順位が上位からＫ番目より下のランクになったイメージを意味し、このようなイメージの数をＥと設定する。
【００４１】
正解イメージに対する情報は二つの方法によって求めることができる。最初の方法は段階１０１で求めた１次検索結果で正解イメージに対する情報をユーザがフィードバックして与える方法で、二番目の方法はあらかじめデータベースから同じクラスに属するイメージを集め、それらをグルーピングし、同じグループを使用して正解イメージデータを求める方法である。
【００４２】
段階１０３は間違いＥ（またはＥ／Ｋ：Ｅは間違いイメージ数基準、Ｅ／Ｋは正確度の側面での間違いの程度、すなわちパーセント（％）基準）が特定しきい値Ｔｈ１以下ならば完了し、そうではなければ段階１０４に移動する段階である。段階１０４は間違いＥを用いてフィードバックに必要なイメージの数（ｎ＝２×Ｅ）を決める段階である。
【００４３】
段階１０５は決められたフィードバックイメージ数（ｎ）だけフィードバックを与える段階である。フィードバックを与える方法は前の段階１０２で使った間違いページ中の間違いが大きい順にｎを選定して自動的にフィードバックイメージとして設定する。イメージのランクがより低いと、より多くの間違いが存在している。
【００４４】
段階１０６は与えられたフィードバックを使って各特徴要素の重みを更新する段階である。
【００４５】
段階１０７は更新された重みを使って再びイメージを検索して整列させる段階で、段階１０８は検索結果リストに現われた間違いを検索してこれをＥ’として設定する。段階１０９は間違いＥ’（またはＥ’／Ｋ）が特定のしきい値Ｔｈ１以下ならば完了し、そうではなければ段階１１０に移動する段階である。
【００４６】
段階１１０は間違いの減少の程度が特定しきい値以上かどうか検査する段階である。すなわち、Ｅ−Ｅ’が特定しきい値（Ｔｈ２）以上ならば（またはＥ×Ｔｈ２’＞Ｅなら）次の段階でのフィードバックイメージ数（ｎ）を現在の間違いＥ’を利用してフィードバックで使うイメージの数をｎ＝Ｅ’×２と決めて（段階１１１）、そうではなければフィードバックで使うイメージの数を以前のフィードバック数より小さな数（ｎ＝ｎ×ｂ，０＜ｂ＜１）と決める（段階１１２）。
【００４７】
この時フィードバックで使うイメージの数が最小値（本実施形態では２：類似イメージ１＋非類似イメージ１）より小さくなる場合フィードバックイメージ数は２と設定する。
段階１１３は現在の間違いＥ’をまたＥと設定して段階１０５に移動する。
【００４８】
このようにして特徴情報の組合せによる重みすなわち、集合Ｂのための重みを抽出する。重み抽出方法の段階１０６ではフィードバックされたイメージを使って重みを更新しているが、この時重みを更新する方法は次通りである。
【００４９】
すなわち、更新される新しい重み（ＮＥＷＷ）を、
ＮＥＷＷ＝（Ｒｅｌｉｂｌｉｔｙ×ＯＬＤＷ＋ＣｕｒＷ）／（Ｒｅｌｉｂｌｉｔｙ＋１）で求める。
ここで、ＣｕｒＷは現在与えられたフィードバックに基づいて計算された相対的加重値で、ＯＬＤＷは更新される前の加重値で、Ｒｅｌｉｂｌｉｔｙは現在の重みの信頼度の値である。
【００５０】
もちろん信頼度（Ｒｅｌｉｂｌｉｔｙ）はその加重値がいくら信頼的なのかを現わす値（Ｒ）であって、更新された新しい信頼度（ｎｅｗＲ）は次のように計算される。
ｎｅｗＲ＝ｏｌｄＲ（１＋ＩｎｃｒｅａｓｅＲ）＋ａ
ＩｎｃｒｅａｓｅＲ＝ｆ（＃ｆｅｅｄｂａｃｋ）×（Ｐｅｃｉｓｉｏｎ（ｔ）−Ｐｅｃｉｓｉｏｎ（ｔ−１））
ここで、＃ｆｅｅｄｂａｃｋは一度で与えられたフィードバックの数で、ｏｌｄＲは以前の信頼度である。
【００５１】
そして、ｆ（＃ｆｅｅｄｂａｃｋ）はフィードバック数が少ない時には０値を戻し、大きいほど増加分を戻す関数である。この関数を図２に示す。シグモイド関数を修正して使うことができる。
【００５２】
前で説明したように、現在与えられたフィードバックに基づいて計算された相対的加重値は次のように計算することができる。
ＦＩが類似イメージの場合      ：ＣｕｒＷ＝αＳｉｍ（ＲＩ、ＦＩ）
ＦＩが類似しないイメージの場合：ＣｕｒＷ＝αＤｉｓｔ（ＲＩ、ＦＩ）
ここでＦＩはフィードバックイメージで、ＲＩは参照イメージで、Ｗはタイプ重み（Ｗｋ）か、要素重み（Ｗｅ）か、または位置重み（Ｗｐ）で、αはＷｋ、Ｗｅ、Ｗｐに対する正規化係数である。
【００５３】
そして、Ｓｉｍ（ＦＩ、ＲＩ）は特徴情報ｋ、ｅ、ｐを使った場合の参照イメージとフィードバックイメージの間の類似度であり、Ｄｉｓｔ（ＦＩ、ＲＩ）は特徴要素ｋ、ｅ、ｐを使った場合の参照イメージとフィードバックイメージの間の非類似度である。
【００５４】
このような方法で集合Ｂの特徴情報の組合せで検索する場合、該当のイメージの重みを学習することができる。
【００５５】
同じくまた他の特徴情報の組合せ集合Ｃが存在すると、集合Ｃに属した特徴情報を使って適切な重みを検索し、学習することができる。この時各特徴情報に対する重みの次元数は集合の要素数になる。
【００５６】
（２）特徴情報の組合せによる多重重みの適用方法。
前で説明したように、各特徴情報の組合せによってそれぞれ異なるように学習された多重重みは他の例にも応用される。
最初に、図３に示されるユーザインタフェースを利用してユーザがマルチメディアを検索する時に使う特徴情報を選択する。
図３の例では５個の特徴情報（カラーヒストグラム、テクスチャヒストグラム、代表カラー、モーションヒストグラム、形状情報）中から、カラーヒストグラム、代表カラー、モーションヒストグラムを選択した例を示している。
【００５７】
ユーザが図３のようなユーザインタフェースを利用してマルチメディア検索に使われる特徴情報を選択すれば，選択された特徴情報の組合せによって図１で説明した方法で抽出された重みを自動的に選択して検索に使う。
【００５８】
この時存在する多数の重みの中から選択された特徴情報にだけ学習した重みを選択する方法は次のような方法を使うことができる。
【００５９】
重み構造には各加重値とデータがどんな特徴情報の重みを現わすかどうかに対する情報が含まれている。
この情報で現在の重みがどんな特徴情報の重みを含むのか分かるので、含まれた加重値の現わす特徴情報が選択された特徴情報と一致する重みを選択すれば良い。
【００６０】
多重の重みを選択するさらに他の方法はユーザが初期検索結果の中から実際に探そうとする客体と類似の客体を選択することである。
選択された類似客体を、特徴情報の組合せによって学習されて存在する多数の重みそれぞれを使って類似度を測定し、その中で一番高い類似度値であると出力された重みを選択すれば良い。
【００６１】
もし、マルチメディア客体が類似のクラスに属する客体の例に関する情報を含んでいる場合、検索システムは、図４に示すように、照会客体（ここでは、イメージ）に同一のクラスの客体をディスプレーして、ユーザが探そうとする客体を選択できるようにしている。
【００６２】
すなわち、照会イメージと同一クラスのイメージを類似イメージとしてディスプレーして、ユーザがその中で求めようとするイメージを選択できるようにしている。
【００６３】
図４で太い四角形で表示された類似イメージはユーザが類似イメージとして選択した客体である。客体が選択された後には、前で説明したように、特徴情報の組合せによって学習して、存在する多数の重みそれぞれを使ってユーザが類似イメージとして選択したイメージと照会イメージとの類似度を測定した後、その中で一番高い類似度値を示している重みを選択する。
【００６４】
一方、照会の種類を予め決めてその種類によって重みを選択することもできる。
例えばビデオとビデオ検索、ビデオと静止映像の検索など、照会の種類をいくつかに分けることができるので、各場合ごとに使われる特徴情報を決め、対応する重みを指定することで、ユーザの照会の種類に対応した重みを選択することができる。
【００６５】
ユーザの照会の種類は照会客体を決め、検索客体を決めれば決まることができる。例えば照会の種類がビデオセグメントで、かつ検索対象がイメージデータベースである場合、ビデオと静止映像を検索する。
【００６６】
（３）照会の観点による多重重み学習方法。
特定の照会の観点から重みを抽出するアルゴリズムをイメージ検索を例にして説明すれば図５の通りである。
【００６７】
最初に、含んでいる特徴情報をすべて同じ重要度に設定した後、類似度を測定して整列させる（段階５００）。
【００６８】
次の段階５０１は初期検索結果で現在の照会の観点に一致する類似イメージに対するフィードバックをユーザが与える段階である。その後の段階ではこの段階でフィードバックされた類似イメージを正解として学習を行う。
【００６９】
段階５００及び段階５０１では初期検索結果からユーザのフィードバックによって特定照会の観点に一致する正解に対する情報を求めたが、もしすべての客体が同じクラスに属するイメージ例に関する情報を含んでいる場合には、段階５００の初期検索代わり、同じクラスに属するイメージ例をディスプレーした後、そのディスプレーされたイメージの中からユーザが類似イメージを選択することもできる。
【００７０】
段階５０２から後は，図１での段階１０２から後の段階と等しい。
すなわち、整列された検索結果で間違いを検索して間違いの数をＥとして（段階５０２）、間違いＥ（またはＥ／ｋ）が特定しきい値Ｔｈ１以下ならば完了して、そうではなければ段階５０４に移動して間違いＥを利用してフィードバックで使うイメージの数（ｎ＝２×Ｅ）を決めて（段階５０３，段階５０４）、決まったフィードバックのイメージ数（ｎ）だけ前述した方法でフィードバックを与える（段階５０５）。
【００７１】
与えられたフィードバックを使って各特徴要素の重みを更新して（段階５０６）、更新された重みを使って再びイメージを検索して整列させ（段階５０７）、検索結果リストに現われた間違いを検索してこれをＥ’とし（段階５０８）、間違いＥ’（またはＥ’／ｋ）が特定しきい値Ｔｈ１以下ならば完了し、そうではなければ段階５１０に移動する（段階５０９）。
【００７２】
間違いの減少の程度が特定しきい値以上か否かを検査する（段階５１０）。その検査が以上であればフィードバックするために必要なイメージ数（ｎ）を現在の間違いＥ’を利用して決める（ｎ＝Ｅ’×２）（段階５１１）。そうではなければ段階５１２に行ってフィードバックで使うイメージの数を以前のフィードバック数より小さな数（ｎ＝ｎ×ｂ，０＜ｂ＜１）に決めた後、現在の間違いＥ’を再びＥに設定して段階５０５に移動する（段階５１３）。
【００７３】
（４）照会の観点による多重重みの適用方法。
前記したように、それぞれの照会の観点によって異なるように学習された多重重みを選択して適用する他の例を以下に示す。
【００７４】
最初に、ユーザが初期検索結果の中から実際に探そうとする客体と類似の客体を選択する。
【００７５】
選択された類似客体に対して、特徴情報に従って学習したそれぞれの重みを使って類似度を測定し、その中で一番高い類似度とされた重みを照会の観点に一致する重みと選択すれば良い。
【００７６】
もしマルチメディア客体が類似のクラスに属する客体の例に関する情報がすでに含まれている場合、検索システムは前述した図４のように、照会客体と同一のクラス客体をディスプレーして、ユーザが探そうとする客体を選択できるようにする。
【００７７】
客体が選択された後は、前に説明したように、存在する多数の重みそれぞれを使って類似度測定をし、その中で一番高い類似度値とされた重みを該当の照会の観点に一致する重みとして選択する。
【００７８】
図６は照会の観点に対する描写情報を含む重み構造の例を示している。
図６によれば、重み描写情報６００は、重み６０１を記述する特徴情報ＩＤ６０２と対応する加重値６０３、そして照会観点描写情報６０４を備えている。
【００７９】
重み構造内の対応する照会の観点が図６のようにテキストに描写されている場合、このことを利用することができる。
【００８０】
すなわち、存在する重みの照会の観点（テキストに描写された照会の観点）を図７のように並べてこの中からユーザが照会の観点を選択できるようにする。図７では家が含まれた風景イメージ（ａ）を例にして記述している。この時の照会の観点（ｂ）は家、青い空、野原などであろう。
【００８１】
一方、図８は特徴情報の組合せに対する情報を含む重み構造を示している。図８で重み描写情報８００は重み８０１を記述する特徴情報ＩＤ８０２と該当の加重値８０３、そして類似特徴情報ＩＤのリスト８０４で構成されている。
【００８２】
このように特徴情報の組合せに対する情報を含む重み構造を利用すればこの情報を直接使ってより手軽に重みを選択することができる。
【００８３】
今まで特徴情報の組合せによる多重重み構造と照会の観点による多重重み構造に対して説明した。
【００８４】
前で説明したように特徴情報の組合せによる多重重み構造や照会の観点による多重重み構造を使う場合、各重み構造に特徴情報の組合せや照会の観点自体に対する情報がなくても自動的に該当の重みを選択して使うことができる。
【００８５】
ところが、図８に示すように、各重み構造に現在その重みを使う特徴情報の組合せに対する情報が含まれているとか、図６のように、各重み構造に照会の観点が描写されている場合、その情報をすぐ使って手軽に重みを選択することもできる。
【００８６】
この場合にはより手軽に適用できるが、追加的な情報が必要なので情報の大きさ側面では短所として作用する。
【００８７】
【発明の効果】
本発明はマルチメディア検索において、多様な形態の対象に適用できる最適の特徴情報重みを各客体ごとに提供することができ、非常に高い検索性能が可能になる。また、同じ客体でもユーザごとに他の観点から検索を行うことができるので、この時各照会の観点に適する最適の重みを抽出して、選択して使うことで、ユーザ中心的な最適の検索が可能になる。
【図面の簡単な説明】
【図１】本発明の特徴情報の組合せによる重み学習方法で重み抽出アルゴリズムを現わしたフローチャート。
【図２】本発明に適用された信頼度を求めるために修正されたシグモイド関数を表現した図面。
【図３】本発明で特徴情報の組合せによって違うように学習された多重重みを選択して適用する例を説明するための図面。
【図４】本発明で照会客体及び応答結果のディスプレー例を現わした図面。
【図５】本発明で照会の観点による重み抽出アルゴリズムを現わしたフローチャート。
【図６】本発明で照会の観点描写情報を含む重み構造を現わした図面。
【図７】本発明で照会イメージの例と照会の観点の例を現わした図面。
【図８】本発明で照会の類似特徴情報を含む重み構造を現わした図面。
【符号の説明】
６００、８００：重み描写情報
６０１、８０１：重み
６０２、８０２：特徴情報ＩＤ６０３、８０３
：該当のがズングチガブ
６０４：照会の観点描写情報
８０４：類似特徴情報ＩＤのリスト
【図１】
0004209104.tif 000002
【図２】
0004209104.tif 000003
【図３】
0004209104.tif 000004
【図４】
0004209104.tif 000005
【図５】
0004209104.tif 000006
【図６】
0004209104.tif 000007
【図７】
0004209104.tif 000008
【図８】
0004209104.tif 000009