(57)【要約】      （修正有）【課題】マルチメディアアイテムを示す信号の記述子を決定する方法及び装置を提供する。【解決手段】第１係数を得るために、方向フィルタの第１バンクをマルチメディアアイテムを示す信号に適用するステップＳ１、低域通過フィルタで処理された信号を示す第２係数を得るためにフィルタの第２バンクを前記信号に適用するステップＳ２、前記第１係数と前記第２係数との差を作り出すことによって前記マルチメディア要素を示す記述子を計算するステップＳ３、前記差の関連パワーを計算するステップＳ４、を含む。【選択図】図１
2008052707.tif 000002
【特許請求の範囲】
【請求項１】
マルチメディアアイテム（ｍｕｌｔｉｍｅｄｉａ  ｉｔｅｍ）を示す信号の記述子を決定する方法であって、第１組の係数を得るために前記信号に方向フィルタの第１のバンクを適用するステップ（Ｓ１）を含み、
低域通過フィルタで処理された信号を示す第２組の係数を得るために、フィルタの第２バンクを前記信号に適用し（Ｓ２）、
前記第１組の係数と前記第２組の係数との差を作り出すことによって前記マルチメディア要素を示す記述子を計算し（Ｓ３）、
前記差の関連パワー（ｐｏｗｅｒ）を計算する（Ｓ４）ステップを含むことを特徴とする方法。
【請求項２】
前記方向フィルタはガボール（Ｇａｂｏｒ）型フィルタであることを特徴とする、請求項１に記載の方法。
【請求項３】
前記フィルタの第２バンクは、低域通過フィルタであることを特徴とする、請求項１に記載の方法。
【請求項４】
前記フィルタの第２のバンクは、前記ガボールフィルタの検出感度の方向に垂直な線にそって平均値を計算する方位フィルタであることを特徴とする、請求項２に記載の方法。
【請求項５】
前記差の関連パワーの前記計算は係数の二次のグループについてなされ、前記得られた記述子は一組の値であって、それぞれの値はそれぞれのグループに対して得られた値に対応することを特徴とする、請求項１〜４のいずれか１項に記載の方法。
【請求項６】
前記差の関連パワーの前記計算は全体の記述子についてなされ、前記得られた記述子はユニークな値であることを特徴とする、請求項１または２に記載の方法。
【請求項７】
前記第１組の係数および第２組の係数における係数は、前記フィルタの一方向と一スケールのそれぞれに対応することを特徴とする、請求項１〜６のいずれか１項に記載の方法。
【請求項８】
マルチメディアアイテムを示す信号の記述子を決定する装置であって、
第１組の係数を得るために方向フィルタの第１バンクを前記信号に適応する手段（２）と、
前記信号の平均値を示す第２組の係数を得るために、フィルタの第２バンクを前記信号に適用する手段（３）と、
前記第１組の係数と前記第２組の係数との差を作り出すことよって前記マルチメディア要素を示す記述子を計算し、前記差の関連パワーを計算する手段（４）と、
を含む装置。
【請求項９】
データベース（１）内のマルチメディアアイテムを検索する装置であって、
請求項８に記載の記述子を決定する装置と、
サンプル画像の記述子と前記データベース（１）の画像の記述子とを比較する手段（５）と、
前記サンプル画像の記述子と前記データベースの記述子との差が所定の閾値より小さい前記データベース内の画像を検索する手段（６）と、
を含むことを特徴とする装置。
【請求項１０】
データベース（１）内のマルチメディアアイテムを分類する装置であって、
請求項８に記載の記述子を決定する装置と、
前記記述子の分類のためのクラスタリング手段（７）と、
を含むことを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチメディアアイテム（ｍｕｌｔｉｍｅｄｉａ  ｉｔｅｍ）の記述子を決定する方法及び装置に関する。本発明はまた、データベース内のマルチメディアアイテムを検索する装置及びデータベース内のマルチメディアアイテムを分類する装置に関する。
【背景技術】
【０００２】
例えばマルチメディア資産管理など、信号処理及びデータ処理の多様な分野において、２つのアイテムを比較したり、あるアイテムと類似するデータベース内のアイテムを検索したりするために、マルチメディアアイテムのための小さなサイズであってコンパクトな記述子の算出が行われている。
【０００３】
一例を挙げると、データベースの画像、例えば個人の写真やビデオの画像は、データベース内の類似する画像をグループ化し、ある画像と類似する画像を検索することを簡単にする関連記述子を有することができる。
【０００４】
記述子はたとえ小さいサイズであっても、２つのアイテムの類似性を最大に反映していなければならないところに、記述子の課題がある。
【０００５】
周知で一般的に用いられる記述子の一つのタイプは、マルチメディアアイテムの信号の周波数分解に基づいている。従って、周波数帯域に対応しフィルタ処理された各信号を生成するためにフィルタバンクが用いられる。この時、各帯域でフィルタ処理された信号のパワー（ｐｏｗｅｒ）がしばしば計算される。パワー値の総計によって記述子が構築される。フィルタバンクの使用は、例えばオーディオ処理において一般的である。また画像に関して言えば、ウェーブレットフィルタやガボールフィルタ（Ｇａｂｏｒ  ｆｉｌｔｅｒ）などのフィルタバンクが、画像解析や画像検索において広く用いられている。
【０００６】
画像の特徴や画像の類似性を反映する記述子の能力を高めるために、下記の手段のうちのひとつが一般的に適用される。
１．フィルタの数を増やす。
２．フィルタの配置及び種類を最適化する。
３．各フィルタの精度を高める。
【０００７】
第１の手段は、例えば８つのフィルタの代わりに１２のフィルタを用いることで実現できる。これによって、信号周波数スペクトルはより良く表される。
【０００８】
第２の手段は、画像の場合は、ウェーブレットフィルタをガボールフィルタに取り替えることで実現できる。ウェーブレットフィルタは、水平周波数、垂直周波数及びダイアゴナル（ｄｉａｇｏｎａｌ）周波数を考慮することによって、２次元周波数スペクトルの範囲をカバーする一方、ガボールフィルタは、より適応性があって、より多くの方向の周波数を表現することができる。これによって、画像や特に画像のテクスチャをより良く表現することができる。
【０００９】
第３の手段は、フィルタ、とりわけディジタルフィルタを改良し、フィルタカーネルを示すために用いられるサンプルの数を増やすことによって実現できる。例えば、１６×１６カーネルを３２×３２カーネルに置き換えると、ガボールフィルタの精度を高めることができる。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
フィルタバンクにおいては、フィルタのスペクトルが重なり合い、従って周波数帯域が適切に計算されないという問題がたびたび生じる。例えば、ガボールフィルタはガウス分布スペクトルを有する。これらのスペクトルは、本質的に互いに重なり合う。この重なり合いによって、特に一つあるいはいくつかのフィルタが周波数ゼロの部分を多数含む場合において画像検索の性能が落ちる。
【００１１】
縞を表す２つの画像を例に挙げる。２つの画像における縞の方向と周波数は同一である。２つの画像の唯一の差異点は、空間的に一定なオフセットにある。各画像の記述子は、ガボールのサブバンドのパワーに基づいて計算される。たとえ画像が同じ種類のテクスチャを表していても、記述子の差が大きくなるにつれて、オフセットも大きくなる。
【００１２】
日中の異なる時間において同じ場面を表す２つの画像を別の例として挙げる。照度の違いが大きいほど、記述子の差も大きくなる。例えば、日中の車を表すある画像を用いて、車を表す画像をデータベースにおいて検索する。そのとき、夕方のようにより微光なレベルにおける車を表す画像を検出することはできない。
【００１３】
この効果は、特に意味的に類似するアイテムを検索する場合、データベースにおける検索の実行をより難しいものにする。例えば、あるオーディオクリップと類似するリズムを有するオーディオクリップを検索する。オーディオクリップが技術的な理由から異なる信号オフセットを有する場合、同一のリズムを有するが異なるオフセットを有するオーディオクリップのうち検出できないものもある。
【００１４】
また、マルチメディアアイテムを分類するためにフィルタバンクに基づく記述子を用いる場合、マイナスの影響が生じ得る。これにより、記述子は、画像にひとつあるいはいくつかのラベルを属性付けるクラシファイア（ｃｌａｓｓｉｆｉｅｒ）に組み込まれる。例えば、画像における屋外場面のクラシファイアは、ある画像の屋外場面を検出し、この画像に対して「屋外」というラベルを作成することができる。クラシファイアは、典型的な画像によって通常トレーニングされている。これらの画像が日中の画像のみを含む場合は、クラシファイアは例えば午前中など微光レベルにおける屋外場面を検出できない。
【００１５】
本発明は、前述の不利益のうち少なくとも一つを回避し、バンクフィルタを用いてマルチメディアアイテムの記述子を計算する方法を提案する。
【課題を解決するための手段】
【００１６】
この課題を達成するために、本発明は、マルチメディアアイテムを示す信号の記述子を決定する方法であって、第１組の係数を得るために方向フィルタの第１のバンクを前記信号に適用するステップを含む方法を提案する。
【００１７】
本発明によると、この方法は、低域通過フィルタで処理された信号を示す第２組の係数を得るために、フィルタの第２バンクを前記信号に適用し、前記第１組の係数と前記第２組の係数との差を作り出すことによって前記マルチメディア要素を示す記述子を計算し、前記差の関連パワーを計算するステップを含む。
【００１８】
好適な実施形態によると、前記方向フィルタはガボール（Ｇａｂｏｒ）型フィルタである。
【００１９】
好適な実施形態によると、前記フィルタの第２バンクは、低域通過フィルタである。
【００２０】
第２実施形態によると、前記フィルタの第２のバンクは、前記ガボールフィルタの検出感度の方向に垂直な線にそって平均値を計算する方位フィルタである。
【００２１】
好ましくは、前記差の関連パワーの前記計算は係数の二次のグループについてなされ、前記得られた記述子は一組の値であって、それぞれの値はそれぞれのグループに対して得られた値に対応する。
【００２２】
他の実施形態によると、前記差の関連パワーの前記計算は全体の記述子についてなされ、前記得られた記述子はユニークな値である。
【００２３】
好ましくは、前記第１組および第２組の係数は、前記フィルタの一方向と一スケールのそれぞれに対応する。
【００２４】
本発明はまた、マルチメディアアイテムを示す信号の記述子を決定する装置であって、第１組の係数を得るために方向フィルタの第１バンクを前記信号に適応する手段を含む装置に関する。本発明によると、装置は、前記信号の平均値を示す第２組の係数を得るために、フィルタの第２バンクを前記信号に適用する手段と、前記第１組の係数と前記第２組の係数との差を作り出すことによって前記マルチメディア要素を示す記述子を計算し、前記差の関連パワーを計算する手段と、を含む。
【００２５】
第２の態様によると、本発明は、データベース内のマルチメディアアイテムを検索する装置に関する。本態様によると、装置は、本発明による記述子を決定する装置と、サンプル画像の記述子と前記データベースの画像の記述子とを比較する手段と、前記サンプル画像の記述子と前記データベースの記述子との差が所定の閾値より小さい前記データベース内の画像を検索する手段と、を含む。
【００２６】
第３の態様によると、本発明はまた、データベース内のマルチメディアアイテムを分類する装置に関する。本第３態様によると、装置はまた、本発明による記述子を決定する装置と、前記記述子の分類のためのクラスタリング手段と、を含む。
【００２７】
本発明の他の特徴及び利点は、本発明の限定されない実施形態の説明を通して表され、添付の図面を用いて明らかにされるであろう。
【発明を実施するための最良の形態】
【００２８】
本発明の実施形態は、ソフトウェア、ファームウェア、ハードウェアにおいて、または多様な技術の組み合わせによって実施されることができる。例えばある実施形態において、本発明は、コンピュータプログラム製品またはソフトウェアとして提供されることができる。コンピュータプログラム製品またはソフトウェアは、本発明に応じて処理を実行するコンピュータ（または他の電子装置）をプログラミングするために用いられ命令を記憶している機械またはコンピュータ読み取り可能な媒体を含む。他の実施形態では、本発明のステップは、ステップを実行するための配線回路を含む特別なハードウェアコンポーネントによって、またはプログラムによるコンピュータコンポーネント及びカスタムハードウェアコンポーネントの任意の組み合わせによって、実行されることができる。
【００２９】
従って、機械読み取り可能な媒体は、機械（例えばコンピュータ）により読み取り可能な媒体構造において情報を記憶または送信するための任意のメカニズムを含んでいてもよい。これらのメカニズムは、フロッピー（登録商標）ディスク、光ディスク、ハードディスクドライブ、ホログラフィックディスク、コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭｓ）、光磁気ディスク、読み出し専用メモリ（ＲＯＭｓ）、ランダムアクセスメモリ（ＲＡＭ）、電気的消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、磁気または光カード、フラッシュメモリ、インターネットを利用した伝送、電気、光、音響信号または伝搬信号のその他の構成（例えば、搬送波、赤外線信号、ディジタル信号など）などを含むが、これらに限定されるものではない。
【００３０】
以下の議論から明らかであって具体的に記載されていない限り、「処理」、「コンピューティング」、「計算」、「決定」などの用語を用いた議論は、コンピュータシステムまたは類似のエレクトロニックコンピュータデバイスの動作及び処理に言及していて、これはコンピュータシステムメモリやレジスタ、その他の情報記憶装置、情報伝送装置またはディスプレイ装置などの内部において物理量として示されるデータを操作し変換すると理解される。
【００３１】
下記の実施形態の詳細な説明において、本発明が実施され得る具体的な実施形態を表す添付図面が参照される。図面では、いくつかの図を通して同様の番号は実質的に類似の構成要素を示す。実施形態は、当業者が本発明を実施できるように十分に詳細に記載される。その他の実施形態は活用され、構造的、論理的及び電気的な変更は本発明の範囲から逸脱することなくなされることができる。また、本発明の多様な実施形態は、たとえ異なっていても、必ずしも相互排他的ではないことを理解されたい。例えば、ある実施形態で記載された特定の特徴、構成または特性は、その他の実施形態においても含まれることができる。
【００３２】
図１は、本発明の実施形態のフローチャートを示す図である。
【００３３】
ステップＳ１において、マルチメディアアイテムを示す信号にフィルタバンクが適用される。
【００３４】
データベースにおけるインデックス付け及び画像検索を目的として画像のテクスチャを得るために、例えば垂直方向や水平方向などいくつかの方向における詳細な度数を表すステアード（ｓｔｅｅｒｅｄ）（または方向）フィルタがしばしば用いられる。ステアードフィルタの中でも、ガボールフィルタは、インデックス付けの効率がよいものとして知られている。  
【００３５】
本願明細書に記載の好適な実施形態によると、フィルタバンクは、ガボール型のフィルタに基づく。エルミートフィルタ（Ｈｅｒｍｉｔｅ  ｆｉｌｔｅｒ）や一般的なガウスフィルタのようなその他のフィルタが用いられてもよい。ガボールフィルタは、次式によって定義される。
【数１】
2008052707.tif 000003
σｘ、σｙはガボールフィルタにおけるガウスカーネルのｘ及びｙ方向の標準偏差、Ｗｘはｘ方向における周波数偏移、ｘ及びｙはピクセル座標を示す。この方程式のフーリエ変換は、次式である。
【数２】
2008052707.tif 000004
ここで、σｕ及びσｖは次式であって、Ｗはフィルタの中心周波数である。
【数３】
2008052707.tif 000005
ガボールフィルタの実部は、次式である。
【数４】
2008052707.tif 000006
ガボールフィルタバンクは、ｇｍｎ（ｘ，ｙ）＝ａ−ｍｇ（ｘ’，ｙ’）により生成される。ここで、ａ＞１、ｍ及びｎは整数である。ｍ及びｎは、それぞれ具体的なスケール（ｓｃａｌｅ）と具体的な方向を表す。ここで、ｘ’＝ａ−ｍ（ｘｃｏｓθ＋ｙｓｉｎθ）、ｙ’＝ａ−ｍ（−ｘｓｉｎθ＋ｙｃｏｓθ）、θは次式、Ｋは方向の総数であって、０≦ｎ≦Ｋである。
【数５】
2008052707.tif 000007
【００３６】
スケールは、ｍ（０≦ｍ＜Ｓ）によって表され、ｍ＝０は基本周波数帯域であって、Ｓはスケールの数である。スケールは、フィルタによって絞り込まれた詳細な度数を示す。画像に関して言うと、低いスケールは全体の画像レイアウトを捕らえ、細かいスケールは草や葉を捕らえることができる。
【００３７】
フィルタバンクの実部は、ｇＲｍｎ（ｘ，ｙ）＝ａ−ｍｇＲ（ｘ’，ｙ’）である。
【００３８】
本実施形態によると、Ｓ＝４、Ｋ＝６、Ｕｈ＝０．４、Ｕｌ＝０．０５である。
【００３９】
Ｕｈは一番大きい中央周波数であり、Ｕｌは一番小さい中央周波数である。
【００４０】
ａは、次式によって計算される。
【数６】
2008052707.tif 000008
【００４１】
ステップＳ１の間では、ガボールフィルタの実部からなるフィルタバンクが信号に適用される。それぞれのスケール及び方位に対して、Ｓ×Ｋ出力信号を得る。
【００４２】
ステップＳ２では、Ｋ方向の一つにおけるＳスケールの一つに応じた信号の平均値を得るために、Ｋ×Ｓ低域通過フィルタが入力信号に適用される。
【００４３】
適用される低域通過フィルタは、次式である。
【数７】
2008052707.tif 000009
【００４４】
そして、適用される低域通過フィルタのバンクは、ｑｍｎ（ｘ，ｙ）＝ａ−ｍｑ（ｘ’，ｙ’）である。ここでａ＞１であって、ｍ、ｎは整数である。
【００４５】
ｍ及びｎは、対応するガボールフィルタのｍ及びｎに相当する。このことは、平均フィルタがガボールフィルタと同一の方向及び同一のスケールを有することを意味する。より簡素な改良型においては、スケールは一定であることができる。この場合、最も細かいスケール、すなわちｍ＝Ｓ−１が選択されるべきである。
【００４６】
ステップＳ２の改良型では、ガボールフィルタの検出感度の方向に垂直な線にそって平均値を計算する一組の方位フィルタが用いられる。  
【００４７】
ステップ３では、記述子が各信号に対して計算される。
【００４８】
記述子を計算するために、ガボールフィルタバンクで処理された信号と、低域通過フィルタによって計算された信号との差分が、マルチメディアアイテムの各ピクセルに対して計算される。Ｓ×Ｋ差分画像はこのようにして得られる。
【００４９】
ステップＳ４では、記述子を得るために、Ｓ．Ｋ差分信号のそれぞれにおけるパワーが求められる。
【００５０】
このため、いくつかのピクセルを含んだ二次の画像ブロックにおいて、パワーは信号値の二乗の平均によって推定される。この場合、記述子は全てのブロックのパワー値を含む。
【００５１】
他の実施例では、または組み合わせでは、他の統計学的モーメント、中心モーメントまたはアンセンタード（ｕｎｃｅｎｔｒｅｄ）モーメントを用いることができる。
【００５２】
ブロックのパワー値を計算するために、Ｓ×Ｋ差分画像は、１６の二次の画像ブロックに分割される。各差分画像のＬピクセルを有する各ブロックｋでは、下記の方程式に従って、画像ピクセル値は二乗の総和をブロック当たりのピクセルの数によって分割される。
【数８】
2008052707.tif 000010
ここで、Ｄはピクセルの差分値であって、Ｐはブロックに対して得られたパワー値である。その結果得られた記述子｛Ｐｋ／０≦ｋ＜１６ＳＫ｝は、１６×Ｓ×Ｋの係数を有する。
【００５３】
他の実施形態によると、全画像に対するパワー値を推定し、または任意の形状の画像領域に対するパワー値を計算する。
【００５４】
図２は、本発明の好適な実施形態による装置を示す図である。この装置は、本発明による方法を優先的に実施する。
【００５５】
このため、好適な実施形態による装置は、ガボールフィルタ２、低域通過フィルタ３及び微分器４を含み、データベース１からマルチメディアデータを受け取る。
【００５６】
ガボールフィルタ２及び低域通過フィルタ３は、データベース１のマルチメディアデータを入力として受け取る。これらは、マルチメディアアイテムのそれぞれに対して、図１を参照して前述した一組のＫ＊Ｓ係数を計算する。微分器４は、ガボールフィルタによって計算された係数と、図１を参照して説明したように低域通過フィルタによって計算された係数との差を計算する。
【００５７】
図３に表されたクエリーのように、サンプル画像を用いたデータベース１内の画像検索に典型的に適用することができる。この場合、サンプル画像やデータベースの画像に対して係数が求められる。モジュール５は、入力としてサンプル画像の記述子とデータベース１の画像の記述子とを受け取り、サンプル画像に対して得られた記述子と、データベースの画像それぞれまたはデータベースの画像のサブセットの記述子との差を計算する。記述子は一組のＳ＊Ｋ係数からなり、各係数ｉの差Ｄｉはモジュール５によって計算される。その後、サンプル画像と所定の画像との間における次の差が計算される。
【数９】
2008052707.tif 000011
【００５８】
最小の差を有する多数のデータベースからの画像は、画像検索のモジュール６によってサンプル画像と比べて最も近い画像としてユーザに返送される。これは所定の閾値より小さい差を有する多数の画像であることができる。最先端の画像検索に応じて他の異なる式を用いることができる。
【００５９】
図４では、図３に記載されたモジュール４は、画像分類モジュール７に接続される。  
【００６０】
画像分類７のようなモジュールが、画像の分類を構築する。画像は、記述子の値によって分類される。極めて近い記述子の値を有する画像が、同一のカテゴリに属するように分類される。分類は、所定のクラスタ数を用いたＫ平均などのクラスタリング手法によることができる。
【図面の簡単な説明】
【００６１】
【図１】本発明の実施形態のフローチャートを示す図である。
【図２】本発明の実施形態による装置を示す図である。
【図３】本発明の画像検索への適用を示す図である。
【図４】マルチメディア要素の分類についての本発明の実施形態を示す図である。
【図１】
2008052707.tif 000012
【図２】
2008052707.tif 000013
【図３】
2008052707.tif 000014
【図４】
2008052707.tif 000015
【外国語明細書】
2008052707000001.pdf