(57)【要約】【課題】  映像内に存在するテキスチャー構造を直観的に把握できる映像のテキスチャー特徴を記述する方法を提供する【解決手段】  （ａ）異なる方向性係数を有する所定のフィルターを使って入力映像をフィルタリングする段階と、（ｂ）方向のピクセル値の平均よりなるデータグループを得るために、各々所定方向の軸上にフィルタリングされた映像のピクセル値を合計するとともに、正規化する段階と、（ｃ）データグループのうち所定の分類方法により候補データグループを選択する段階と、（ｄ）候補データグループをフィルタリングするのに使用された前記フィルターの方向性係数に基づき複数の表示子を決定する段階と、（ｅ）複数の表示子を映像のテキスチャー記述子として決定する段階とを含む。【選択図】  図２
2004158042.tif 000002
【特許請求の範囲】
【請求項１】
（ａ）異なる方向性係数を有する所定のフィルターを使って入力映像をフィルタリングする段階と、
（ｂ）方向のピクセル値の平均よりなるデータグループを得るために、各々所定方向の軸上にフィルタリングされた映像のピクセル値を合計するとともに、正規化する段階と、
（ｃ）前記データグループのうち所定の分類方法により候補データグループを選択する段階と、
（ｄ）前記候補データグループをフィルタリングするのに使用された前記フィルターの方向性係数に基づき複数の表示子を決定する段階と、
（ｅ）前記複数の表示子を前記映像のテキスチャー記述子として決定する段階とを含むことを特徴とする映像のテキスチャー特徴を記述する方法。
【請求項２】
前記（ａ）段階は、（ａ−１）異なるスケール係数を有する所定のフィルターを使って入力映像をフィルタリングする段階をさらに含み、前記（ｄ）段階は、（ｄ−１）候補データグループをフィルタリングするのに使用された前記フィルターのスケール係数に基づき複数の表示子を決定する段階をさらに含むことを特徴とする請求項１に記載の映像のテキスチャー特徴を記述する方法。
【請求項３】
（ｆ）前記選択された候補データグループをフィルタリングするのに使用されたフィルターのスケール係数または方向性係数に近似したか、または同一のスケール係数または方向性係数を有するフィルターによりフィルタリングされたデータグループの存在に基づきもう一つの表示子を決定する段階をさらに含むことを特徴とする請求項２に記載の映像のテキスチャー特徴を記述する方法。
【請求項４】
（ｇ）前記フィルタリングされた映像の各々に対してピクセルの平均及び分散を計算し、前記計算された平均及び分散を使って所定のベクターを得る段階をさらに含むことを特徴とする請求項３に記載の映像のテキスチャー特徴を記述する方法。
【請求項５】
（ａ）前記映像の規則性を表示する規則性表示子を生成する段階と、
（ｂ）前記映像の方向性を表示する方向性表示子を生成する段階と、
（ｃ）前記映像のテキスチャー要素のスケールを表示するスケール表示子を生成する段階と、
（ｄ）前記規則性表示子、方向性表示子及びスケール表示子を用いて映像のテキスチャー記述子を表示する段階とを含むことを特徴とする映像のテキスチャー特徴を記述する方法。
【請求項６】
前記（ａ）段階は、所定の複数個の値のうちいずれか一つで前記映像の規則性が表示される前記規則性表示子を生成する段階であることを特徴とする請求項５に記載の方法。
【請求項７】
前記（ａ）段階は、不規則、やや不規則、規則、極めて規則をそれぞれ示す値のうちいずれか一つで前記映像の規則性が表示される前記規則性表示子を生成する段階であることを特徴とする請求項５に記載の方法。
【請求項８】
前記（ａ）段階は、量子化された整数である前記規則性表示子を生成する段階であることを特徴とする請求項５に記載の方法。
【請求項９】
前記（ｂ）段階は、所定の複数個の値のうちいずれか一つで前記方向性が表示される方向性表示子を生成する段階であることを特徴とする請求項５に記載の方法。
【請求項１０】
前記（ｂ）段階は、方向性無し、０°、３０°、６０°、９０°、１２０°、１５０°をそれぞれ示す値のうちいずれか一つで前記方向性が表示される前記方向性表示子を生成する段階であることを特徴とする請求項５に記載の方法。
【請求項１１】
前記（ｂ）段階は、量子化された整数である前記方向性表示子を生成する段階であることを特徴とする請求項５に記載の方法。
【請求項１２】
前記（ｃ）段階は、所定の複数個の値のうちいずれか一つで前記スケールが表示される前記スケール表示子を生成する段階であることを特徴とする請求項５に記載の方法。
【請求項１３】
前記（ｃ）段階は、緻密、中間、粗、極めて粗をそれぞれ示す値のうちいずれか一つで前記スケールが表示される前記スケール表示子を生成する段階であることを特徴とする請求項５に記載の方法。
【請求項１４】
前記（ｃ）段階は、量子化された整数である前記スケール表示子を生成する段階であることを特徴とする請求項５に記載の方法。
【請求項１５】
前記（ｄ）段階は、前記規則性表示子、前記方向性表示子、及び前記スケール表示子をその構成成分として持つベクターで前記映像のテキスチャー記述子を表示する段階であることを特徴とする請求項５に記載の方法。
【請求項１６】
前記（ｂ）段階は、前記映像の主方向を特徴づける前記方向性表示子を生成する段階であることを特徴とする請求項５に記載の方法。
【請求項１７】
前記（ｃ）段階は、前記映像の主方向に対するスケールを特徴づける前記スケール表示子を生成する段階であることを特徴とする請求項１６に記載の方法。
【請求項１８】
前記（ｂ）段階は、前記映像の第１主方向及び前記映像の第２主方向をそれぞれ特徴づける第１方向性表示子及び第２方向性表示子を生成する段階であることを特徴とする請求項１６に記載の方法。
【請求項１９】
前記（ｃ）段階は、前記映像の第１主方向に対応するスケールを特徴づける第１スケール表示子、及び前記映像の第２主方向に対するスケールを特徴づける第２スケール表示子を生成する段階であることを特徴とする請求項１８に記載の方法。
【請求項２０】
前記（ｄ）段階は、前記規則性表示子、前記第１方向性表示子、第２方向性表示子、前記第１スケール表示子、及び第２スケール表示子をその構成成分として持つベクターで前記映像のテキスチャー記述子を表示する段階であることを特徴とする請求項１９に記載の方法。
【請求項２１】
（ａ）前記映像の規則性を表示する規則性表示子を生成する段階と、
（ｂ）前記映像の方向性を表示する方向性表示子を生成する段階と、
（ｃ）前記映像のテキスチャー要素のスケールを表示するスケール表示子を生成する段階と、
（ｄ）前記規則性表示子、方向性表示子及びスケール表示子を用いて映像のテキスチャー記述子を表示する段階とを含む映像のテキスチャー特徴を記述する方法をコンピュータに実行させるためのプログラムコードを記憶したコンピュータ読み取り可能な媒体。
【請求項２２】
前記（ａ）段階は、所定の複数個の値のうちいずれか一つで前記映像の規則性が表示される前記規則性表示子を生成する段階であることを特徴とする請求項２１に記載のコンピュータ読み取り可能な媒体。
【請求項２３】
前記（ａ）段階は、不規則、やや不規則、規則、極めて規則をそれぞれ示す値のうちいずれか一つで前記映像の規則性が表示される前記規則性表示子を生成する段階であることを特徴とする請求項２１に記載のコンピュータ読み取り可能な媒体。
【請求項２４】
前記（ａ）段階は、量子化された整数である前記規則性表示子を生成する段階であることを特徴とする請求項２１に記載のコンピュータ読み取り可能な媒体。
【請求項２５】
前記（ｂ）段階は、所定の複数個の値のうちいずれか一つで前記方向性が表示される方向性表示子を生成する段階であることを特徴とする請求項２１に記載のコンピュータ読み取り可能な媒体。
【請求項２６】
前記（ｂ）段階は、方向性無し、０°、３０°、６０°、９０°、１２０°、１５０°をそれぞれ示す値のうちいずれか一つで前記方向性が表示される前記方向性表示子を生成する段階であることを特徴とする請求項２１に記載のコンピュータ読み取り可能な媒体。
【請求項２７】
前記（ｂ）段階は、量子化された整数である前記方向性表示子を生成する段階であることを特徴とする請求項２１に記載のコンピュータ読み取り可能な媒体。
【請求項２８】
前記（ｃ）段階は、所定の複数個の値のうちいずれか一つで前記スケールが表示される前記スケール表示子を生成する段階であることを特徴とする請求項２１に記載のコンピュータ読み取り可能な媒体。
【請求項２９】
前記（ｃ）段階は、緻密、中間、粗、極めて粗をそれぞれ示す値のうちいずれか一つで前記スケールが表示される前記スケール表示子を生成する段階であることを特徴とする請求項２１に記載のコンピュータ読み取り可能な媒体。
【請求項３０】
前記（ｃ）段階は、量子化された整数である前記スケール表示子を生成する段階であることを特徴とする請求項２１に記載のコンピュータ読み取り可能な媒体。
【請求項３１】
前記（ｄ）段階は、前記規則性表示子、前記方向性表示子、及び前記スケール表示子をその構成成分として持つベクターで前記映像のテキスチャー記述子を表示する段階であることを特徴とする請求項２１に記載のコンピュータ読み取り可能な媒体。
【請求項３２】
前記（ｂ）段階は、前記映像の主方向を特徴づける前記方向性表示子を生成する段階であることを特徴とする請求項２１に記載のコンピュータ読み取り可能な媒体。
【請求項３３】
前記（ｃ）段階は、前記映像の主方向に対するスケールを特徴づける前記スケール表示子を生成する段階であることを特徴とする請求項３２に記載のコンピュータ読み取り可能な媒体。
【請求項３４】
前記（ｂ）段階は、前記映像の第１主方向及び前記映像の第２主方向をそれぞれ特徴づける第１方向性表示子及び第２方向性表示子を生成する段階であることを特徴とする請求項３３に記載のコンピュータ読み取り可能な媒体。
【請求項３５】
前記（ｃ）段階は、前記映像の第１主方向に対応するスケールを特徴づける第１スケール表示子、及び前記映像の第２主方向に対するスケールを特徴づける第２スケール表示子を生成する段階であることを特徴とする請求項３４に記載のコンピュータ読み取り可能な媒体。
【請求項３６】
前記（ｄ）段階は、前記規則性表示子、前記第１方向性表示子、第２方向性表示子、前記第１スケール表示子、及び第２スケール表示子をその構成成分として持つベクターで前記映像のテキスチャー記述子を表示する段階であることを特徴とする請求項３５に記載の方法。
【請求項３７】
前記映像の規則性を表示する規則性表示子と、前記映像の方向性を表示する方向性表示子と、前記映像のテキスチャー要素のスケールを表示するスケール表示子とを生成する生成部と、
前記規則性表示子、方向性表示子及びスケール表示子を用いて映像のテキスチャー記述子を表示する表示部とを含むことを特徴とする映像のテキスチャー特徴を記述するための装置。
【請求項３８】
前記生成部は、所定の複数個の値のうちいずれか一つで前記映像の規則性が表示される前記規則性表示子を生成することを特徴とする請求項３７に記載の装置。
【請求項３９】
前記生成部は、不規則、やや不規則、規則、極めて規則をそれぞれ示す値のうちいずれか一つで前記映像の規則性が表示される前記規則性表示子を生成することを特徴とする請求項３７に記載の装置。
【請求項４０】
前記生成部は、量子化された整数である前記規則性表示子を生成することを特徴とする請求項３７に記載の装置。
【請求項４１】
前記生成部は、所定の複数個の値のうちいずれか一つで前記方向性が表示される方向性表示子を生成することを特徴とする請求項３７に記載の装置。
【請求項４２】
前記生成部は、方向性無し、０°、３０°、６０°、９０°、１２０°、１５０°をそれぞれ示す値のうちいずれか一つで前記方向性が表示される前記方向性表示子を生成することを特徴とする請求項３７に記載の装置。
【請求項４３】
前記生成部は、量子化された整数である前記方向性表示子を生成することを特徴とする請求項３７に記載の装置。
【請求項４４】
前記生成部は、所定の複数個の値のうちいずれか一つで前記スケールが表示される前記スケール表示子を生成する段階であることを特徴とする請求項３７に記載の装置。
【請求項４５】
前記生成部は、緻密、中間、粗、極めて粗をそれぞれ示す値のうちいずれか一つで前記スケールが表示される前記スケール表示子を生成することを特徴とする請求項３７に記載の装置。
【請求項４６】
前記生成部は、量子化された整数である前記スケール表示子を生成することを特徴とする請求項３７に記載の装置。
【請求項４７】
前記表示部は、前記規則性表示子、前記方向性表示子、及び前記スケール表示子をその構成成分として持つベクターで前記映像のテキスチャー記述子を表示することを特徴とする請求項３７に記載の装置。
【請求項４８】
前記生成部は、前記映像の主方向を特徴づける前記方向性表示子を生成することを特徴とする請求項３７に記載の装置。
【請求項４９】
前記生成部は、前記映像の主方向に対するスケールを特徴づける前記スケール表示子を生成することを特徴とする請求項３７に記載の装置。
【請求項５０】
前記生成部は、前記映像の第１主方向及び前記映像の第２主方向をそれぞれ特徴づける第１方向性表示子及び第２方向性表示子を生成することを特徴とする請求項３７に記載の装置。
【請求項５１】
前記生成部は、前記映像の第１主方向に対応するスケールを特徴づける第１スケール表示子、及び前記映像の第２主方向に対するスケールを特徴づける第２スケール表示子を生成することを特徴とする請求項５０に記載の装置。
【請求項５２】
前記表示部は、前記規則性表示子、前記第１方向性表示子、第２方向性表示子、前記第１スケール表示子、及び第２スケール表示子をその構成成分として持つベクターで前記映像のテキスチャー記述子を表示することを特徴とする請求項５１に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像テキスチャー記述子(image texture descriptor)抽出方法及びその装置に係り、より詳細には、映像を探索しかつブラウジングするのに使用され、前記映像のテキスチャー特性を記述するテキスチャー記述子を抽出する映像テキスチャー記述子抽出方法及びその装置に関する。
【背景技術】
【０００２】
最近、映像テキスチャーは、数多くの類似した映像パターンを探索しかつブラウジングする重要な視覚的な特性として注目されている。例えば、ガボールフィルターによりテキスチャー記述子をフィルタリングする従来のテキスチャー記述子は、ガボールフィルタリングにより得られた係数よりなるテキスチャー記述子を抽出する。しかし、たとえ、従来の映像テキスチャー記述子が多くのベクターよりなるにも拘わらず、前記テキスチャー記述子からテキスチャー構造を視覚的に認知するのは極めて難しい。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
本発明の目的は、映像内に存在するテキスチャー構造を直観的に把握できる映像テキスチャー記述子を抽出する方法を提供することである。
【０００４】
本発明の他の目的は、コンピュータが前記映像テキスチャー記述子抽出方法を実行するように配列されたコンピュータプログラムが貯蔵されたコンピュータにて読取り可能な貯蔵媒体を提供することである。
【０００５】
本発明のさらに他の目的は、前記映像テキスチャー記述子抽出方法を行う映像テキスチャー記述子抽出装置を提供することである。
【課題を解決するための手段】
【０００６】
前記目的を達成するために、映像のテキスチャー特徴を記述する映像テキスチャー記述子を抽出する方法において、（ａ）異なる方向性係数を有する所定のフィルターを使って入力映像をフィルタリングする段階、（ｂ）前記フィルタリングされた映像を各々所定方向の軸上に投影させて各方向のピクセル値の平均からなるデータグループを得る段階、（ｃ）前記データグループから所定の分類方法により候補データグループを選択する段階、（ｄ）前記候補データグループをフィルタリングするのに使用された前記フィルターの方向性係数に基づき複数の表示子を決定する段階、及び（ｅ）前記複数の表示子を前記映像のテキスチャー記述子として決定する段階を含むことを特徴とする映像テキスチャー記述子抽出方法が提供される。
【０００７】
前記（ａ）段階は、異なるスケール係数を有する所定のフィルターを使って入力映像をフィルタリングする（ａ−１）段階をさらに含み、前記（ｄ）段階は、前記候補データグループをフィルタリングするのに使用された前記フィルターのスケール係数に基づき複数の表示子を決定する（ｄ−１）段階をさらに含みうる。
【０００８】
前記映像テキスチャー記述子抽出方法は、前記選択された候補データグループをフィルタリングするのに使用されたフィルターのスケール係数又は方向性係数に近づいたか、あるいは同一のスケール係数又は方向性係数を有するフィルターによりフィルタリングされたデータグループの存在に基づきもう一つの表示子を決定する段階をさらに含みうる。
【０００９】
前記映像テキスチャー記述子抽出方法は、前記フィルタリングされた映像に対しピクセルの平均及び分散を計算し、前記計算された平均及び分散を使って所定のベクターを得る段階をさらに含みうる。
【００１０】
本発明の他の態様により、映像のテキスチャー特徴を記述する映像テキスチャー記述子を抽出する方法において、（ａ）異なるスケール係数を有する所定のフィルターを使って入力映像をフィルタリングする段階、（ｂ）前記フィルタリングされた映像を各々所定方向の軸上に投影させて各方向のピクセル値の平均よりなるデータグループを得る段階、（ｃ）前記データグループから所定の選択方法により選択されたデータグループをフィルタリングするのに使用された前記フィルターのスケール係数に基づき複数の表示子を決定する段階、及び（ｄ）前記複数の表示子を前記映像のテキスチャー記述子として決定する段階を含むことを特徴とする映像テキスチャー記述子抽出方法が提供される。
【００１１】
本発明のさらに他の態様により、映像のテキスチャー特徴を記述する映像テキスチャー記述子を抽出する方法において、（ａ）異なる方向性係数及び異なるスケール係数を有する所定のフィルターを使って入力映像をフィルタリングする段階、（ｂ）前記フィルタリングされた映像を水平及び垂直軸上に投影させて水平-軸投影グラフ及び垂直-軸投影グラフを得る段階、（ｃ）各グラフに対して正規化した自己-相関値を計算する段階、（ｄ）前記計算された正規化した自己-相関値が所定区間で局部的なピーク及び局部的な谷を形成し、各正規化した自己-相関値に対する局部的な最大値及び局部的な最小値を得る段階、（ｅ）前記局部的な最大値の平均及び前記局部的な最小値の平均をコントラストとして定義する段階、（ｆ）前記局部的な最大値の平均に対する標準偏差の割合が所定の臨界値以下であるグラフを第１候補グラフとして選択する段階、（ｇ）前記選択された第２候補グラフをフィルタリングするのに使用されるフィルターのスケール係数又は方向性係数に近づいたか、又は同一のスケール係数、或いは方向性係数を有するフィルターによりフィルタリングされたグラフの数により第２候補グラフの類型を決定する段階、（ｈ）第２候補グラフの各類型に属するグラフの数をカウントし、各類型の第２候補グラフに対する所定の加重値を決定する段階、（ｉ）前記カウントされたグラフの数及び前記決定された加重値の積の合計を計算し、前記計算結果値をテキスチャー記述子を構成する第１表示子として決定する段階、（ｊ）最大のコントラストを有する第２候補グラフの方向性係数及びスケール係数を第２ないし第５表示子として決定する段階、及び（ｋ）前記第１表示子及び前記第２ないし第５表示子を含む表示子を該当映像のテキスチャー記述子として決定する段階を含むことを特徴とする映像テキスチャー記述子抽出方法が提供される。
【００１２】
前記映像テキスチャー記述子抽出方法は、前記フィルタリングされた映像に対しピクセルの平均及び分散を計算し、前記計算された平均及び分散を使って所定のベクターを得る段階をさらに含みえ、（ｋ）段階は前記第１表示子、前記第２ないし第５表示子及び前記所定のベクターを含む表示子を該当映像のテキスチャー記述子として決定する段階を含む。
【００１３】
望ましくは、Ｎは所定の正数であり、入力映像はＮ×Ｎピクセルよりなり、ピクセル位置はｉで表記され、ｉは１からＮまでの数であり、ピクセル位置ｉのピクセルで表わされる投影グラフはＰ（ｉ）で表記され、ｋは１からＮまでの数であるとしたとき、前記正規化した自己-相関はＮＡＣ（ｋ）で表記され、下記式(1)により計算される。
【００１４】
【数１】
2004158042.tif 000003
【００１５】
Ｐ_ｍａｇｎ（ｉ）及びＶ_ｍａｇｎ（ｉ）を前記（ｄ）段階において決定された局部的な最大値及び局部的な最小値であるとしたとき、前記コントラストは下記のように決定される。
【００１６】
【数２】
2004158042.tif 000004
【００１７】
前記（ｆ）段階において、ｄ及びＳは前記局部的な最大値の平均及び標準偏差であり、αは所定の臨界値であるとしたとき、下記式(3)を満足するグラフが第１候補グラフとして選択される。
【００１８】
【数３】
2004158042.tif 000005
【００１９】
前記（ｇ）段階は、（ｇ-１）該当候補グラフのスケールまたは方向性係数と同一のスケールまたは方向性係数を有する一つ以上のグラフがあり、前記該当候補グラフのスケールまたは方向性係数に近づいたスケールまたは方向性係数を有する一つ以上のグラフがある場合、前記該当候補グラフを第１類型グラフとして分類する段階、（ｇ-２）該当候補グラフのスケールまたは方向性係数と同一のスケールまたは方向性係数を有する一つ以上のグラフがあるが、前記該当候補グラフのスケールまたは方向性係数に近づいたスケールまたは方向性係数を有するグラフがない場合、前記該当候補グラフを第２類型グラフとして分類する段階、及び（ｇ-３）該当候補グラフのスケールまたは方向性係数と同一であるか、或いはこれに近づいたスケールまたは方向性係数を有するグラフがない場合、前記該当候補グラフを第３類型グラフとして分類する段階を含む。
【００２０】
前記（ｈ）段階は、前記第１ないし第３類型のグラフの各々に属するグラフの数をカウントし、前記類型のグラフの各々に所定の加重値を決定する段階を含む。
【００２１】
前記（ｆ）段階後に、前記第１候補グラフに所定のクラスタリングアルゴリズムを適用して第２候補グラフを選択する段階がさらに含まれうる。
【００２２】
望ましくは、前記所定のクラスタリングアルゴリズムは変形された凝集クラスタリングである。
【００２３】
望ましくは、前記（ｊ）段階において、前記水平-軸投影グラフのうち最大のコントラストを有するグラフの方向性係数が第２表示子として決定され、前記垂直-軸投影グラフのうち最大のコントラストを有するグラフの方向性係数が第３表示子として決定され、前記水平-軸投影グラフのうち最大のコントラストを有するグラフのスケール係数が第４表示子として決定され、前記垂直-軸投影グラフのうち最大のコントラストを有するグラフのスケール係数が第５表示子として決定される。
【００２４】
前記（ｊ）段階は第１表示子、第２ないし第５表示子及び前記所定のベクターを含む表示子を該当映像のテキスチャー記述子として決定する段階を含みうる。
【００２５】
望ましくは、前記所定のフィルターはガボールフィルターを含む。
【００２６】
本発明の第２目的を達成するために、映像のテキスチャー特徴を記述する映像テキスチャー記述子を抽出する方法を行うためのコンピュータにより実行可能なプログラムコードを有するコンピュータにて読取り可能な媒体において、（ａ）異なる方向性係数及び異なるスケール係数を有する所定のフィルターを使って入力映像をフィルタリングする段階、（ｂ）前記フィルタリングされた映像を水平及び垂直軸上に投影させて水平-軸投影グラフ及び垂直-軸投影グラフを得る段階、（ｃ）各グラフに対して正規化した自己-相関値を計算する段階、（ｄ）前記計算された正規化した自己-相関値が所定区間で局部的なピーク及び局部的な谷を形成する、各正規化した自己-相関値に対する局部的な最大値及び局部的な最小値を得る段階、（ｅ）前記局部的な最大値の平均及び前記局部的な最小値の平均をコントラストとして定義する段階、（ｆ）前記局部的な最大値の平均に対する標準偏差の割合が所定の臨界値以下であるグラフを第１候補グラフとして選択する段階、（ｇ）前記選択された第２候補グラフをフィルタリングするのに使用されるフィルターのスケール係数または方向性係数に近づいたかまたは同一のスケール係数または方向性係数を有するフィルターによりフィルタリングされたグラフの数により第２候補グラフの類型を決定する段階、（ｈ）第２候補グラフの各類型に属するグラフの数をカウントし、各類型の第２候補グラフに対する所定の加重値を決定する段階、（ｉ）前記カウントされたグラフの数及び前記決定された加重値の積の合計を計算し、前記計算結果値をテキスチャー記述子を構成する第１表示子として決定する段階、（ｊ）最大のコントラストを有する第２候補グラフの方向性係数及びスケール係数を第２ないし第５表示子として決定する段階、及び（ｋ）前記第１表示子及び前記第２ないし第５表示子を含む表示子を該当映像のテキスチャー記述子として決定する段階を含む映像のテキスチャー特徴を記述する映像テキスチャー記述子を抽出する方法を行うためのコンピュータにより実行可能なプログラムコードを有するコンピュータにて読取り可能な媒体が提供される。
【００２７】
本発明の第３目的を達成するために、映像のテキスチャー特徴を記述する映像テキスチャー記述子を抽出する装置において、異なる方向性係数を有する所定のフィルターを使って入力映像をフィルタリングするフィルタリング手段、前記フィルタリングされた映像を各々所定方向の軸上に投影させて各方向のピクセル値の平均よりなるデータグループを得る投影手段、前記データグループのうひ所定の分類方法により候補データグループを選択する分類手段、前記選択された候補グラフをフィルタリングするのに使用されたフィルターのスケール係数または方向性係数に近づいたか、または同一のスケール係数または方向性係数を有するフィルターによりフィルタリングされたグラフの数に基づきもう一つの表示子を決定する第１表示子決定手段、及び前記決定された候補グラフをフィルタリングするのに使用された前記フィルターのスケール係数及び方向性係数に基づき複数の表示子を決定する第２表示子決定手段を含むことを特徴とする映像テキスチャー記述子抽出装置が提供される。
【００２８】
代案として、映像のテキスチャー特徴を記述する映像テキスチャー記述子を抽出する装置において、異なる方向性係数及び異なるスケール係数を有する所定のフィルターを使って入力映像をフィルタリングするフィルタリング部、前記フィルタリングされた映像の各々に対してピクセルの平均及び分散を計算し、前記計算された平均及び分散を使って所定のベクターを得る映像平均／分散計算部、前記フィルタリングされた映像を水平及び垂直軸上に投影させて水平-軸投影グラフ及び垂直-軸投影グラフを得る投影部、各グラフに対して正規化した自己-相関値を計算する計算部、前記計算された正規化した自己-相関値が所定区間で局部的なピーク及び局部的な谷を形成し、各自己-相関値に対する局部的な最大値及び局部的な最小値を検出するピーク検出／分析部、前記局部的な最大値の平均及び前記局部的な最小値の平均を計算する平均／分散計算部、前記局部的な最大値の平均に対する標準偏差の割合が所定の臨界値以下である要件を満足するグラフを第１候補グラフとして選択する第１候補グラフ選択／貯蔵部、前記第１候補グラフに所定のクラスタリングアルゴリズムを適用して第２候補グラフとして選択する第２候補グラフ選択／貯蔵部、前記第２候補グラフの各類型の各々に属するグラフの数をカウントし、各類型のグラフの数を表わすデータ信号を出力し、前記各類型に属するグラフに対する所定の加重値を決定し、各類型に適用される加重値を表わすデータ信号を出力する分類部、各類型に属するグラフの数を表わすデータ及び各類型に適用される前記加重値を表わすデータの積の合計を計算し、前記計算結果をテキスチャー記述子を構成する第１表示子として決定して出力する第１表示子決定部、前記平均／分散計算部から出力される平均を使って前式（２）により前記コントラストを計算し、前記計算されたコントラストが最大であることを表示する信号を出力するコントラスト計算部、前記計算されたコントラストが最大であることを表示する前記信号に応答し、貯蔵された第２候補グラフのうち最大のコントラストを有する候補グラフを出力する第２候補グラフ選択／貯蔵部、前記水平-軸投影グラフのうち最大のコントラストを有するグラフの方向性係数が第２表示子として決定され、前記垂直-軸投影グラフのうち最大のコントラストを有するグラフの方向性係数が第３表示子として決定され、前記水平-軸投影グラフのうち最大のコントラストを有するグラフのスケール係数が第４表示子として決定され、前記垂直-軸投影グラフのうち最大のコントラストを有するグラフのスケール係数が第５表示子として決定される第２ないし第５表示子決定部、及び前記第１表示子、前記第２ないし第５表示子及び前記所定のベクターを結合し、前記結合結果を該当映像のテキスチャー記述子として出力するテキスチャー記述子出力部を含むことを特徴とする映像テキスチャー記述子抽出装置が提供される。
【発明を実施するための最良の形態】
【００２９】
本発明の前記目的及び長所は添付した図面を参照して望ましい実施形態を詳細に説明することにより一層明らかになる。
【００３０】
以下、添付した図面を参照して本発明の実施形態を詳細に説明する。
【００３１】
図１Ａは、本発明による映像テキスチャー記述子抽出方法を示している。図１Ａを参照すれば、Ｎを所定の正数としたとき、Ｎ×Ｎピクセル、例えば１２８×１２８ピクセルよりなる入力映像がガボールフィルターを使ってフィルタリングされる（段階１００）。前記ガボールフィルターは異なる方向性係数及び異なるスケール係数を有するフィルターよりなる。Ｃ１及びＣ２を正数としたとき、前記入力映像はＣ１類の方向性係数及びＣ２類のスケール係数を有するフィルターによりフィルタリングされ、前記フィルターはＣ１×Ｃ２類のフィルタリングされた映像を出力する。
【００３２】
次に、ピクセルの平均及び分散はＣ１×Ｃ２類のフィルタリングされた映像の各々に対して計算され、次に、前記平均及び分散を使ってベクターＺが得られる（段階１０２）。
【００３３】
次に、前記フィルタリングされた映像はｘ-軸及びｙ-軸上に投影され、ｘ-投影グラフ及びｙ-投影グラフを得る（段階１０４）。
【００３４】
各グラフＰ（ｉ）（ｉは１からＮまでの数）に対する正規化した自己-相関（Ｎｏｒｍａｌｉｚｅｄ ａｕｔｏ−ｃｏｒｒｅｌａｔｉｏｎ：ＮＡＣ）値はＮＡＣ（ｋ）で表記され、下記式(4)により計算される。
【００３５】
【数４】
2004158042.tif 000006
【００３６】
ここで、ピクセル位置はｉで表記され、ピクセル位置ｉのピクセルで表現される投影グラフはＰ（ｉ）で表記され、ｋは１からＮ（Ｎは正数）までの数である。
【００３７】
次に、前記計算された自己-相関値ＮＡＣ（ｋ）が所定の区間で局部的にピークを形成して局部的な最大値Ｐ_ｍａｇｎ（ｉ）が求められ、前記計算されたＮＡＣ値が所定の区間で局部的に谷を形成して局部的な最小値Ｖ_ｍａｇｎ（ｉ）が求められる（段階１０８）。
【００３８】
一方、コントラストは下記式(5)のように定義される（段階１１０）。
【００３９】
【数５】
2004158042.tif 000007
【００４０】
また、ｄ及びＳは前記局部的な最大値の平均及び標準偏差であり、αは所定の臨界値であるとしたとき、下記式(6)を満足するグラフが第１候補グラフらとして選択される（段階１１２）。
【００４１】
【数６】
2004158042.tif 000008
【００４２】
図１Ｂを参照すれば、変形された凝集クラスタリングを前記第１候補グラフに適用して第２候補グラフを選択する（段階１１４）。変形された凝集クラスタリングアルゴリズムは、アール．オー．ドゥダ（Ｒ．Ｏ．Ｄｕｄａ）及びピー．イー．ハート（Ｐ．Ｅ．Ｈａｒｔ）により“類型分類及び場面分析、ゾーンウィリ及び息子ら、ニューヨーク、１９７３（Ｐａｔｔｅｒｎ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ Ｓｃｅｎｅ Ａｎａｌｙｓｉｓ， Ｊｏｈｎ ｗｉｌｅｙ ａｎｄ Ｓｏｎｓ， ＮｅｗＹｏｒｋ，１９７３）”に開示された凝集クラスタリングを適宜に変形したアルゴリズムであり、以下、簡略に説明する。先ず、Ｎ個のグラフＰ1，．．．，ＰNにおいて、ピーク間の距離の平均及び標準偏差をｄi及びＳiとし、各グラフは（ｄi，Ｓi）に該当する２次元ベクターを有するとする。今度、（ｄi，Ｓi）に該当する２次元ベクターを使って次のようにＰiをクラスタリングする。所望のクラスターの数をＭcとしたとき、初期のクラスターの数Ｎに対し、各々のクラスターＣiはＣ1={Ｐ1}、Ｃ2={Ｐ2}，．．．，ＣN={ＰN}のように表現できる。クラスターの数がＭcよりも小さい場合、クラスタリングは停止する。次に、互いに最も距離が遠い２つのクラスターＣi及びＣjが得られる。Ｃ1及びＣj間の距離が所定の臨界値よりも大きい場合、クラスタリングは停止する。そうでなければ、Ｃi及びＣjを結合して２つのクラスターのうちいずれか一つのクラスターを除去する。このような過程は、クラスターの数が所定の数に達するまで繰り返し行う。次に、前記クラスタリングされたクラスターのうち、最大のグラフを有するクラスターが選択され、前記選択されたクラスター内にあるグラフは候補グラフとして選択される。
【００４３】
今度、第２候補グラフは３種類の類型に分類される（段階１１６）。前記分類は第２候補グラフをフィルタリングするのに使用されるフィルターのスケールまたは方向性係数と類似したまたは同一のスケールまたは方向性係数を有するフィルターによりフィルタリングされるグラフの数により行われる。以下では、説明の便宜上、一定のスケール係数または一定の方向性係数を有するフィルターによりフィルタリングされたグラフは一定-スケール-係数グラフまたは一定-方向性-係数グラフと称する。
【００４４】
より詳細に説明すれば、第一に、該当候補グラフのスケールまたは方向性係数と同一のスケールまたは方向性係数を有する一つ以上のグラフがあり、前記該当候補グラフのスケールまたは方向性係数に近づいたスケールまたは方向性係数を有する一つ以上のグラフがある場合、前記該当候補グラフはＣ1類のグラフとして分類される。第二に、該当候補グラフのスケールまたは方向性係数と同一のスケールまたは方向性係数を有する一つ以上のグラフがあるが、前記該当候補グラフのスケールまたは方向性係数に近づいたスケールまたは方向性係数を有するグラフがない場合、前記該当候補グラフはＣ2類のグラフとして分類される。第三に、該当候補グラフのスケールまたは方向性係数と同一のまたはそれに近づいたスケールまたは方向性係数を有するグラフがない場合、前記該当候補グラフはＣ3類のグラフとして分類される。次に、前記Ｃ1、Ｃ2及びＣ3類型の各々に属するグラフの数をカウントして各々Ｎ1、Ｎ2及びＮ3で表記し、前記Ｃ1、Ｃ2及びＣ3類型の各々に属するグラフの加重値をカウントして各々Ｗ1、Ｗ2及びＷ3で表記する。これについては、以下で説明する。
【００４５】
今度、決定された数Ｎ1，Ｎ2及びＮ3及び加重値Ｗ1，Ｗ2及びＷ3を使って次の計算が行われる
【００４６】
【数７】
2004158042.tif 000009
【００４７】
ここで、結果Ｍはテキスチャー記述子を構成する第１表示子Ｖ1として決定される（段階１１８）。
【００４８】
第２候補グラフに対し、最大のコントラストを有するグラフの方向性係数及びスケール係数は第２ないし第５表示子として決定される（段階１２０）。より詳細には、ｘ-投影グラフのうち、最大のコントラストを有するグラフの方向性係数が第２表示子Ｖ2として決定される。また、ｙ-投影グラフのうち、最大のコントラストを有するグラフの方向性係数が第３表示子Ｖ3として決定される。ｘ-投影グラフのうち、最大のコントラストを有するグラフのスケール係数が第４表示子Ｖ4として決定される。また、ｙ-投影グラフのうち、最大のコントラストを有するグラフのスケール係数が第５表示子Ｖ5として決定される。
【００４９】
段階１１８で決定された第１表示子Ｖ1、第２ないし第５表示子Ｖ2，Ｖ3，Ｖ4及びＶ5、及び段階１０２で決定されたベクターＺを使って、テキスチャー記述子、すなわち、テキスチャー特徴ベクターは{[Ｖ1，Ｖ2，Ｖ3，Ｖ4，Ｖ5]，Ｚ}として設定される（段階１２２）。
【００５０】
大きい第１表示子Ｖ1は映像のテキスチャーが高いレベルに構造化されていることを表わす。第１表示子Ｖ1は映像のテキスチャーの構造化度を極めてよく表現するということが実験的に確認された。第２及び第３表示子Ｖ2及びＶ3は構造化度が最もよくキャプチャーされた２つの量子化した方向性を表示する。第４及び第５表示子Ｖ4及びＶ5は構造化度が最もよくキャプチャーされた２つの量子化したスケールを表示する。
【００５１】
前記テキスチャー記述子はブラウジングまたは検索-抽出アプリケーションにおいて映像のインデックスとして使用される。特に、本発明による映像テキスチャー記述子抽出方法により抽出された映像テキスチャー記述子はブラウジングパターンが規則的なチェッカーマークまたは構造指向的なブラウジング、すなわち、刺しゅうパターンに好適に使用される。したがって、構造的に類似したパターンを探索する場合、構造指向的なブラウジングに基づくアプリケーションに本発明による映像テキスチャー記述子抽出方法を適用することにより、肉眼-認知により好適な映像探索が許容される。したがって、本発明による映像テキスチャー記述子抽出方法により抽出されたテキスチャー記述子を構成する表示子のうち、第１ないし第５表示子Ｖ1，Ｖ2，Ｖ3，Ｖ4，Ｖ5は認知的なブラウジング成分（ＰＢＣ）として称しうる。
【００５２】
また、各フィルタリングされた映像に対し、ピクセル値の平均及び分散が計算される。前記平均及び分散を使って求めたベクターＺは類似度抽出成分（ＳＲＣ）として称しうる。
【００５３】
換言すれば、本発明による映像テキスチャー記述子抽出方法において、テキスチャー記述子は映像内にどのような種類のテキスチャー構造が存在するかが直観的に把握可能に許容する。
【００５４】
映像のテキスチャーの構造化度に対する極めて優れた表示子である第１表示子Ｖ1、構造化度が最もよくキャプチャーされた２つの量子化した方向性を表示する第２及び第３表示子Ｖ2及びＶ3、構造化度が最もよくキャプチャーされた２つの量子化したスケールを表示する第４及び第５表示子Ｖ4及びＶ5は前記映像のテキスチャー記述子として使用されると述べた。しかし、前述した実施形態は説明のために使用されたものであり、制限する目的ではない。映像の特性に最も好適な単一表示子及び任意に選択された複数個の表示子は、また映像のテキスチャー記述子として使用されうる。したがって、前述した実施形態は本発明の範囲を制限するものではない。
【００５５】
また、前記映像テキスチャー記述子抽出方法はコンピュータプログラムにて作成できる。前記コンピュータプログラムを構成するコード及びコードセグメントは当該分野のコンピュータプログラマーにより容易に推論できる。また、前記プログラムはコンピュータにて読取り可能な媒体に貯蔵され、コンピュータにより読み取られかつ実行されることにより、前記映像テキスチャー記述子抽出方法を具現する。前記媒体は磁気記録媒体、光記録媒体、搬送波媒体などを含む。
【００５６】
また、前記映像テキスチャー記述子抽出方法は映像テキスチャー記述子抽出装置で具現できる。図２は、本発明による映像テキスチャー記述子抽出装置を示すブロック図である。図２を参照すれば、前記映像テキスチャー記述子抽出装置はガボールフィルター２００、映像平均／分散計算部２０２、ｘ-軸投影部２０４、ｙ-軸投影部２０５、ＮＡＣ計算部２０６及びピーク検出／分析部２０８を含む。また、前記映像テキスチャー記述子抽出装置は平均／分散計算部２１０、第１候補グラフ選択／貯蔵部２１２、第２候補グラフ選択／貯蔵部２１４、分類部２１６、第１表示子決定部２１８、コントラスト計算部２２０、第２ないし第５表示子決定部２２２及びテキスチャー記述子出力部２２４を含む。
【００５７】
以下、前記映像テキスチャー記述子抽出装置の動作を説明する。Ｎを所定の正数としたとき、前記ガボールフィルター２００はＮ×Ｎピクセル、例えば、１２８×１２８ピクセルよりなる入力映像を異なる方向性係数及び異なるスケール係数を有するフィルター（図示せず）を使ってフィルタリングし、フィルタリングされた映像ｉｍａｇｅ_ｆｉｌｔｅｒｅｄを出力する。Ｃ1及びＣ2を所定の正数としたとき、前記入力映像はＣ1類の方向性係数及びＣ2類のスケール係数を有するフィルターによりフィルタリングされ、前記フィルターはＣ1×Ｃ2類のフィルタリングされた映像を出力する。
【００５８】
前記映像平均／分散計算部２０２は前記Ｃ1×Ｃ2類のフィルタリングされた映像の各々に対してピクセルの平均及び分散を計算し、次に、前記平均及び分散を使ってベクターＺを求め、前記求めたベクターＺを出力する。
【００５９】
前記ｘ-軸投影部２０４及び前記ｙ-軸投影部２０５は前記フィルタリングされた映像をｘ-軸及びｙ-軸上に投影させてｘ-投影グラフ及びｙ-投影グラフを得る。換言すれば、ピクセル位置をｉ（ｉは１からＮまでの数）で表現すれば、前記ｘ-軸投影部２０４及び前記ｙ-軸投影部２０５は前記ピクセル位置ｉ（ｉ=１，．．．，Ｎ）のピクセルにより表現される投影グラフＰｉを出力する。
【００６０】
前記ＮＡＣ計算部２０６は各グラフＰｉに対してＮＡＣ（ｋ）で表記される正規化したＮＡＣ値を前式(4)を使って計算する。
【００６１】
前記ピーク検出／分析部２０８は、計算されたＮＡＣ（ｋ）が所定の区間で局部的なピークを形成する局部的な最大値Ｐ_ｍａｇｎ（ｉ）及び計算されたＮＡＣ （ｋ）が所定の区間で局部的な谷を形成する局部的な最小値Ｖ_ｍａｇｎ（ｉ）を検出する。
【００６２】
前記平均／分散計算部２１０は局部的な最大値Ｐ_ｍａｇｎ（ｉ）の平均ｄ及び標準偏差Ｓを計算しかつ出力する。前記第１候補グラフ選択／貯蔵部２１２は平均ｄ及び標準偏差Ｓを受信し、所定の臨界値をαとしたとき、前式（９）を満足するグラフを第１候補グラフ１ｓｔ_ＣＡＮＤとして選択し、前記選択された第１候補グラフを貯蔵する。
【００６３】
前記第２候補グラフ選択／貯蔵部２１４は前記第１候補グラフに変形された凝集クラスタリングを適用して第２候補グラフ２ｎｄ_ＣＡＮＤとして選択する。
【００６４】
前記分類部２１６は、図１Ｂを参照して説明したように、前記第２候補グラフに対して、Ｃ1、Ｃ2及びＣ3類型の各々に属するグラフの数をカウントして各々Ｎ1、Ｎ2及びＮ3で表記し、各類型のグラフの数を表わすデータ信号Ｎiを出力する。また、前記分類部２１６は、Ｃ1、Ｃ2及びＣ3類型の各々に属するグラフの所定の加重値を決定し、各々Ｗ1、Ｗ2及びＷ3で表記し、各類型に適用される加重値を表わすデータ信号Ｗiを出力する。
【００６５】
前記第１表示子決定部２１８は、前記決定された数Ｎ1、Ｎ2及びＮ3及び加重値Ｗ1、Ｗ2及びＷ3を使って前式（１０）により結果Ｍを計算し、前記計算結果をテキスチャー記述子を構成する第１表示子Ｖ1として決定しかつ出力する。
【００６６】
前記コントラスト計算部２２０は前式（８）によりコントラストを計算し、前記計算されたコントラストが最大であることを表示する信号Ｃｏｎｔ_ｍａｘを出力する。
【００６７】
前記第２候補グラフ選択／貯蔵部２１４は貯蔵された第２候補グラフのうち最大のコントラストを有する候補グラフを前記第２ないし第５表示子決定部２２２に出力する。
【００６８】
前記第２ないし第５表示子決定部２２２は最大のコントラストを有するグラフの方向性係数及びスケール係数を第２ないし第５表示子として決定する。換言すれば、ｘ-投影グラフのうち、最大のコントラストを有するグラフの方向性係数が第２表示子Ｖ2として決定される。また、ｙ-投影グラフのうち、最大のコントラストを有するグラフの方向性係数が第３表示子Ｖ3として決定される。ｘ-投影グラフのうち、最大のコントラストを有するグラフのスケール係数が第４表示子Ｖ4として決定される。また、ｙ-投影グラフのうち、最大のコントラストを有するグラフのスケール係数が第５表示子Ｖ5として決定される。
【００６９】
前記テキスチャー記述子出力部２２４は、前記第１表示子決定部２１８から出力された第１表示子Ｖ1、前記第２ないし第５表示子決定部２２２から出力された第２ないし第５表示子Ｖ2、Ｖ3、Ｖ4及びＶ5、及び前記映像平均／分散計算部２０２から出力されたベクターＺを使って、テキスチャー記述子、すなわち、テキスチャー特徴ベクターを{[Ｖ1、Ｖ2、Ｖ3、Ｖ4、Ｖ5]、Ｚ}として設定しかつ出力する。
【００７０】
図３は、本発明による映像テキスチャー記述子抽出方法に基づくシミュレーションによりブロダッツテキスチャー映像から抽出された認知的なブラウジング成分（ＰＢＣ）を示す。
【００７１】
前述したように、本発明の映像テキスチャー記述子抽出方法により、映像内にいかなる種類のテキスチャー構造が存在するかが直観的に把握可能に許容するテキスチャー記述子を抽出できる。
【００７２】
＜産業上の利用可能性＞
本発明は映像ブラウジングまたは探索-抽出アプリケーション分野に適用できる。
【図面の簡単な説明】
【００７３】
【図１Ａ】本発明による映像テキスチャー記述子抽出方法を示すフローチャートである。
【図１Ｂ】本発明による映像テキスチャー記述子抽出方法を示すフローチャートである。
【図２】本発明による映像テキスチャー記述子抽出装置を示すブロック図である。
【図３】本発明による前記映像テキスチャー記述子抽出方法に基づくシミュレーションによりブロダッツテキスチャー映像から抽出された認知的なブラウジング成分（ＰＢＣ）を示す。
【符号の説明】
【００７４】
２００  ガボールフィルター
２０２  映像平均／分散計算部
２０４  ｘ-軸投影部
２０５  ｙ-軸投影部
２０６  ＮＡＣ計算部
２０８  ピーク検出／分析部
２１０  平均／分散計算部
２１２  第１候補グラフ選択／貯蔵部
２１４  第２候補グラフ選択／貯蔵部
２１６  分類部
２１８  第１表示子決定部
２２０  コントラスト計算部
２２２  第２ないし第５表示子決定部
２２４  テキスチャー記述子出力部
【図１Ａ】
2004158042.tif 000010
【図１Ｂ】
2004158042.tif 000011
【図２】
2004158042.tif 000012
【図３】
2004158042.tif 000013