(57)【特許請求の範囲】
【請求項１】
映像間のテクスチャ特徴の類似度を評価する方法において、
(ａ)類似度を評価する映像の統計的差異度を計算する段階、
(ｂ)類似度を評価する映像の認知的差異度を計算する段階、及び
(ｃ)統計的差異度と認知的差異度とを基礎に、前記統計的差異度が前記映像のテクスチャ特徴の類似度に反映される程度を前記認知的差異度に基づき決定して、映像のテクスチャ特徴の差異度を計算する段階を含み、
前記(ｃ)段階は、
認知的差異度が所定の臨界値より小さければテクスチャ特徴の差異度を統計的差異度に比例する値に決定する段階と、
認知的差異度が所定の臨界値より大きければテクスチャ特徴の差異度を統計的差異度の認知的差異度に該当する指数乗を基礎に決定する段階とを含むことを特徴とする映像の類似度評価方法。
【請求項２】
前記(ｂ)段階は、
(ｂ−１)映像のテクスチャの規則性を計算する段階、及び
(ｂ−２)計算されたテクスチャの規則性の差異を計算する段階を含むことを特徴とする請求項１に記載の映像の類似度評価方法。
【請求項３】
映像間のテクスチャ特徴の類似度を評価する方法において、
(ａ)統計を基盤にするテクスチャ記述子を用いて２映像ｉとｊの統計的差異度ｄ（ｉ，ｊ）を計算する段階、
(ｂ)２映像ｉとｊのテクスチャパターンに対する規則性の定量的評価値Ｐ(i)及びＰ(j)を求める段階、
(ｃ)ｄ＾（以後、“ｄ＾”は、“ｄ”の上に“＾”を付した記号を表すものとする）は認知的差異度の大きさの範囲によって値が決定される所定の関数とする時、２映像ｉとｊのテクスチャパターンに対する規則性の差異ｄ＾（|Ｐ(i)−Ｐ(j)|）を計算することによってテクスチャ特徴の差異度を求める段階を含み、
前記(ｃ)段階は、
(ｃ−１)αは所定のスケーリング係数(ｓｃａｌｉｎｇ ｆａｃｔｏｒ)として、ｄ＾は
【数１】
0003636674.tif 000006
で定義される関数とする時、統計的差異度データと規則性差異度データとを用いて２映像ｉとｊのテクスチャ特徴の差異度Ｄ（ｉ，ｊ）を、
【数２】
0003636674.tif 000007
によって計算する段階を含むことを特徴とする映像の類似度評価方法。
【請求項４】
映像間のテクスチャ特徴の類似度を評価する方法を遂行するコンピュータプログラムを貯蔵するコンピュータ読取り可能記録媒体において、
(ａ)統計を基盤にするテクスチャ記述子を用いて２映像ｉとｊの統計的差異度ｄ（ｉ，ｊ）を計算する段階、
(ｂ)２映像ｉとｊのテクスチャパターンに対する規則性の定量的評価値Ｐ(i)及びＰ(j)を求める段階、及び
(ｃ)ｄ＾は認知的差異度の大きさの範囲によって値が決定される所定の関数とする時、２映像ｉとｊのテクスチャパターンに対する規則性の差異ｄ＾（|Ｐ(i)−Ｐ(j)|）を計算することによってテクスチャ特徴の差異度を求める段階を含み、
前記映像の類似度評価方法は、(ｄ)αは所定のスケーリング係数として、ｄ＾は
【数３】
0003636674.tif 000008
で定義される関数とする時、統計的差異度データと規則性差異度データとを用いて２映像
ｉとｊのテクスチャ特徴の差異度Ｄ（ｉ，ｊ）を、
【数４】
0003636674.tif 000009
によって計算する段階をさらに含む映像の類似度評価方法を遂行するコンピュータプログラムを貯蔵することを特徴とするコンピュータ読取り可能記録媒体。
【請求項５】
映像間のテクスチャ特徴の類似度を評価する装置において、
類似度を評価する映像の統計的差異度を計算する統計的差異度計算部、
類似度を評価する映像の認知的差異度を計算する認知的差異度計算部、
及び統計的差異度と認知的差異度とを基礎に、前記統計的差異度が前記映像のテクスチャ特徴の類似度に反映される程度を前記認知的差異度に基づき決定して、映像のテクスチャ特徴の差異度を計算するテクスチャ特徴差異度計算部を含み、
前記テクスチャ特徴差異度計算部は、αは所定のスケーリング係数として、ｄ＾は
【数５】
0003636674.tif 000010
で定義される関数とする時、統計的差異度データと規則性差異度データとを用いて２映像ｉとｊのテクスチャ特徴の差異度Ｄ（ｉ，ｊ）を
【数６】
0003636674.tif 000011
によって計算することを特徴とする映像のテクスチャ特徴類似度評価装置。
【請求項６】
前記認知的差異度計算部は、
類似度を評価する映像のテクスチャの認知的属性を定量的に計算することを特徴とする請求項５に記載の映像のテクスチャ類似度評価装置。
【請求項７】
前記認知的差異度計算部は、
テクスチャの認知的属性としてテクスチャの規則性を定量的に評価するテクスチャ規則性評価部、及びテクスチャパターンに対する規則性の差異を計算する規則性差異計算部を含むことを特徴とする請求項５に記載の映像のテクスチャ特徴類似度評価装置。
【請求項８】
前記テクスチャ規則性評価部は、
２映像ｉとｊのテクスチャパターンに対する規則性の定量的評価値Ｐ(i)及びＰ(j)を求めて、前記規則性差異計算部はｄ＾は認知的差異度の大きさの範囲によって値が決定される所定の関数とする時、２映像ｉとｊのテクスチャパターンに対する規則性の差異ｄ＾（|Ｐ(i)−Ｐ(j)|）を計算することによってテクスチャ特徴の差異度を求めることを特徴とする請求項７に記載の映像のテクスチャ特徴類似度評価装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は映像の類似度評価方法及びその装置に係り、さらに詳細には正確に類似度を評価する映像の類似度評価方法及びその装置に関する。
【０００２】
【従来の技術】
映像の検索(ｓｅａｒｃｈ)及び呼入れ(ｒｅｔｒｉｅｖａｌ)のためにテクスチャの統計的な属性(ａｔｔｒｉｂｕｔｅ)を用いた技術(ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ）が広く用いられている。このような技術によってテクスチャ記述子(ｔｅｘｔｕｒｅ  ｄｅｓｃｒｉｐｔｏｒ)が求められる。テクスチャ記述子は統計を基盤にする類似度抽出成分(Ｓｉｍｉｌａｒｉｔｙ  Ｒｉｔｒｉｅｖａｌ  Ｃｏｍｐｏｎｅｎｔ:ＳＲＣ)と、例を挙げれば、方向性、テクスチャ規則性の強度等のようなテクスチャの認知的属性を記述するために開発された認知的ブラウジング成分(Ｐｅｒｃｅｐｔｕａｌ  Ｂｒｏｗｓｉｎｇ  Ｃｏｍｐｏｎｅｎｔ:ＰＢＣ）の２種成分でなっており、このようなテクスチャ記述子は映像のブラウジング及び分類を目的に用いられる。映像のブラウジング及び分類は差異評価(ｄｉｓｔａｎｃｅ  ｍｅａｓｕｒｅ)を基盤にする。差異評価は特徴ベクトルを基礎に定義され、映像の類似度(ｓｉｍｉｌａｒｉｔｙ)／差異度(ｄｉｓｉｍｉｌａｒｉｔｙ)を提供する。
【０００３】
従来の類似度評価方法は、統計を基盤にするテクスチャ記述子を用いる。前記方法によると、特徴ベクトル空間内で照会映像の特徴ベクトルを中心にする円の半径を拡張してその円内に他の特徴ベクトルが存在するならば照会映像と前記他の特徴ベクトルに該当する映像のテクスチャ特徴は照会映像と認知的に似ている確率が非常に高いことに決定される。
【０００４】
しかし、このような従来の類似度評価方法によると、円の半径を増加させることによって半径が増加された円内で新しく通過する特徴ベクトルに該当する映像は認知的に照会映像と似ている確率が非常に急激に低下する。したがって、統計を基盤にするテクスチャ記述子を用いる従来の類似度評価方法によって照会映像と認知的に類似の映像として検索された映像は照会映像と認知的な類似性を有しない場合があるという問題点がある。
【０００５】
【発明が解決しようとする課題】
本発明が解決しようとする技術的課題は正確に２映像の類似度を評価する映像の類似度評価方法を提供することにある。
【０００６】
本発明が解決しようとする技術的課題は、前記映像の類似度評価方法を遂行するコンピュータプログラムを貯蔵するコンピュータ読取り可能記録媒体を提供することにある。
【０００７】
本発明が解決しようとするまた他の技術的課題は、前記映像の類似度評価方法を遂行する映像の類似度評価装置を提供することにある。
【０００８】
【課題を解決するための手段】
前記課題を解決するために本発明の一側面による映像の類似度評価方法は、(ａ)類似度を評価する映像の統計的差異度を計算する段階、(ｂ)類似度を評価する映像の認知的差異度を計算する段階、及び(ｃ)統計的差異度と認知的差異度とを基礎に映像のテクスチャ特徴の差異度を計算する段階を含むことを特徴とする。
【０００９】
また、前記(ｂ)段階は、(ｂ−１)映像のテクスチャの規則性を計算する段階、及び(ｂ−２)計算されたテクスチャの規則性の差異を計算する段階を含むことが望ましい。
【００１０】
また、前記(ｃ)段階は、(ｃ−１)認知的差異度が所定の臨界値より小さければテクスチャ特徴の差異度を統計的差異度に比例する値に決定する段階を含むことが望ましい。
【００１１】
また、前記(ｃ)段階は、(ｃ−１)認知的差異度が所定の臨界値より小さければテクスチャ特徴の差異度を統計的差異度の認知的差異度に該当する指数乗を基礎に決定する段階を含むことが望ましい。
【００１２】
また、前記課題を解決するために本発明の他側面による映像の類似度評価方法は、(ａ)統計を基盤にするテクスチャ記述子を用いて２映像ｉとｊの統計的差異度ｄ（ｉ，ｊ）を計算する段階、(ｂ)２映像ｉとｊのテクスチャパターンに対する規則性の定量的評価値Ｐ(i)及びＰ(j)を求める段階、及び(ｃ)ｄ＾は認知的差異度の大きさの範囲によって値が決定される所定の関数とする時、２映像ｉとｊのテクスチャパターンに対する規則性の差異(ｄｉｓｓｉｍｉｌａｒｉｔｙ)ｄ＾（|Ｐ(i)−Ｐ(j)|）を計算することによってテクスチャ特徴の差異度を求める段階を含むことが望ましい。
【００１３】
また、前記他の課題を解決するために本発明の他側面によるコンピュータ読取り可能記録媒体は、(ａ)統計を基盤にするテクスチャ記述子を用いて２映像ｉとｊの統計的差異度ｄ（ｉ，ｊ）を計算する段階、(ｂ)２映像ｉとｊのテクスチャパターンに対する規則性の定量的評価値Ｐ(i)及びＰ(j)を求める段階、及び(ｃ)ｄ＾は認知的差異度の大きさの範囲によって値が決定される所定の関数とする時、２映像ｉとｊのテクスチャパターンに対する規則性の差異ｄ＾（|Ｐ(i)−Ｐ(j)|）を計算することによってテクスチャ特徴の差異度を求める段階を含む映像の類似度評価方法を遂行するコンピュータプログラムを貯蔵することを特徴とする。
【００１４】
また、前記また他の課題を解決するために本発明の他側面による映像のテクスチャ類似度評価装置は、類似度を評価する映像の統計的差異度を計算する統計的差異度計算部、類似度を評価する映像の認知的差異度を計算する認知的差異度計算部、及び統計的差異度と認知的差異度とを基礎に映像のテクスチャ特徴の差異度を計算するテクスチャ特徴差異度計算部を含むことを特徴とする。
【００１５】
【発明の実施の形態】
以下、添付した図面を参照しながら本発明の望ましい実施形態を詳細に説明する。
【００１６】
図１には本発明の実施形態による映像の類似度評価装置をブロック図で示した。図１を参照すると、本発明の実施形態による映像の類似度評価装置は統計的差異度計算部１０２、認知的差異度計算部１０４、及びテクスチャ特徴差異度計算部１０６を備える。認知的差異度計算部１０４はテクスチャ規則性評価部１０４ａ１と規則性差異計算部１０４ａ２とを備える。図２には図１の装置内で遂行される本発明の実施形態による映像の類似度評価方法の主要段階を流れ図で示した。図２は以下で随時参照される。
【００１７】
図１を参照して本発明の実施形態による映像の類似度評価装置の動作を説明すると、まず、統計的差異度計算部１０２は統計を基盤にするテクスチャ記述子を用いて２映像ｉとｊの統計的差異度を計算する(段階２０２)。計算された差異度はｄ（ｉ，ｊ）で示す。
【００１８】
次に、認知的差異度計算部１０４内のテクスチャ規則性評価部１０４ａ１は、テクスチャの認知的属性を定量的に評価する。本実施形態で、テクスチャ規則性評価部１０４ａ１はテクスチャの認知的属性としてテクスチャの規則性を定量的に評価する。すなわち、テクスチャ規則性評価部１０４ａ１は２映像ｉとｊのテクスチャパターンに対する規則性の定量的評価値Ｐ(i)及びＰ(j)を求める(段階２０４)。定量的評価値Ｐ(i)及びＰ(j)は一定な範囲の定数である。前記定量的評価値が大きければ大きいほどテクスチャの規則性が大きい。２映像ｉとｊの規則性はテクスチャの認知的属性に対する定量的評価を用いて計算できる。テクスチャの認知的属性に対する定量的評価を基礎に認知的ブラウジング成分を抽出することによって認知的ブラウジング成分を含むテクスチャ記述子を求める方法は本明細書に参照として統合されて本出願人によって１９９９．３．１９日付に出願された米国特許出願０９／２７２、３２１号に開示されている。したがって、本明細書では認知的ブラウジング成分を含むテクスチャ記述子に対してこれ以上説明しない。
【００１９】
次に、規則性差異計算部１０４ａ２は、２映像ｉとｊのテクスチャパターンに対する規則性の差異を計算する(段階２０６)ことにより規則性差異データ|Ｐ(i)−Ｐ(j)|を出力する。図３には２映像の類似度評価のためのフレーム・ワークを説明するための図面を示した。図３を参照すると、映像ｉとｊに対して各々統計的成分と認知的成分を求めて、求めた統計的成分と認知的成分とを用いて２映像ｉとｊの統計的差異度ｄ（ｉ，ｊ）と認知的差異度ｄ＾（Ｐ(i)，Ｐ(j)）とを求める。前記実施形態では認知的差異度ｄ＾（Ｐ(i)，Ｐ(j)）はテクスチャ特徴の規則性から求められる。
【００２０】
これから、テクスチャ特徴差異度計算部１０６は、統計的差異度計算部１０２から出力された統計的差異度データと規則性差異計算部１０４ａ２から出力された規則性差異度データを用いて２映像のテクスチャ特徴の差異度を求める。本実施形態ではαは所定のスケーリング係数とする時、２映像ｉとｊのテクスチャ特徴の差異度Ｄ（ｉ，ｊ）を、
【数７】
0003636674.tif 000002
によって計算する(段階２０８)。参考に、ｄ（ｉ，ｊ）は統計を基盤にするテクスチャ記述子を用いて計算された差異度を示して、ｄ＾は認知的差異度の大きさの範囲によって値が決定される所定の関数を示し、本実施形態でｄ＾（Ｐ(i)，Ｐ(j)）は２映像ｉとｊのテクスチャパターンに対する規則性差の評価結果を示し、一例としてｄ＾の計算は、
【数８】
0003636674.tif 000003
で定義される。
【００２１】
以下では上述した映像の類似度評価方法を用いてそれぞれ他の状況別に前記数７による類似度を評価した結果を説明する。
【００２２】
最初に、本発明によると、統計的差異度と認知的差異度とが所定の臨界値より大きければテクスチャ特徴の差異度は統計的差異度と認知的差異度との少なくとも合計で決定される。本実施形態では映像ｊが検査される映像で映像ｉが照会映像であると仮定する時、もしも２映像ｉとｊに対する統計的差異度ｄ（ｉ，ｊ）が大きくて認知的差異度が大きければ、すなわち、|Ｐ(i)−Ｐ(j)|＞１であれば、
【数９】
0003636674.tif 000004
は指数的に増加する。したがって、２映像ｉとｊのテクスチャ特徴の差異度Ｄ（ｉ，ｊ）は急激に増加する。このような場合は映像ｊのテクスチャ特徴の規則性側面で映像ｉと非常に異なるケースに該当する。
【００２３】
第二、本発明によると、認知的差異度が所定の臨界値より小さければテクスチャ特徴の差異度は統計的差異度に比例する値で決定される。本実施形態ではもしも２映像ｉとｊの認知的差異度が小さければ、すなわち、|Ｐ(i)−Ｐ(j)|≦１であれば、
【数１０】
0003636674.tif 000005
で示される指数項の大きさは急激に減少して０に近くなる。したがって、テクスチャパターンの差異度Ｄ（ｉ，ｊ）は統計的差異度ｄ（ｉ，ｊ）に近接する。
【００２４】
第三、本発明によると、統計的差異度は所定の臨界値より小さいが認知的差異度は所定の臨界値以上であれば、テクスチャ特徴の差異度は認知的差異度にある程度影響を受けて決定される。本実施形態では、統計的差異度ｄ（ｉ，ｊ）は小さいが認知的差異度が大きければ、すなわち、|Ｐ(i)−Ｐ(j)|＞１であれば、テクスチャパターンの差異度Ｄ（ｉ，ｊ）は統計的差異度の認知的差異度に該当する指数乗として決定されるが統計的差異度が相対的に小さい値であるのでテクスチャ特徴の差異度は認知的差異度にある程度影響を受けるがそれほど大きい影響を受けない。
【００２５】
前記映像の類似度評価方法は、テクスチャ特徴の統計的差異と認知的差異とをすべて用いてテクスチャ特徴の差異を決定する。上述した映像の類似度評価方法によって照会映像と認知的に類似の映像を検索すると、検索された映像が照会映像と認知的な類似性を有しない場合が少ない。したがって、本発明による映像の類似度評価方法を用いて照会映像とテクスチャ特徴が類似の映像を検索する時映像の検索性能を改善できる。前記のような映像の類似度評価方法はコンテンツ基盤の映像検索に適用することが適している。
【００２６】
一方、差異度が大きければ類似度が小さくて、差異度が小さければ類似度が大きいので、差異度の評価は類似度の評価と同一な意味を有する。したがって、本願発明の方法では差異度を評価するが類似度を測定する方法であると称する。
【００２７】
また、前記のような本発明による映像の類似度評価方法は個人用またはサーバー級のコンピュータ内で実行されるプログラムで作成可能である。前記プログラムを構成するプログラムコード及びコードセグメントは該分野のコンピュータプログラマーによって容易に推論できる。また、前記プログラムはコンピュータ読取り可能記録媒体に貯蔵できる。前記記録媒体は磁気記録媒体、光記録媒体、及び電波媒体を含む。
【００２８】
以上の実施形態ではテクスチャ特徴の差異度を統計的差異度の認知度差異度に該当する指数乗を用いることを例として説明したが添付された請求項によって定義される本発明の範囲内で当業者によって適切に変更または修正することが可能である。したがって、添付された請求項によって定義される本発明の範囲は上述した実施形態に限定されない。
【００２９】
【発明の効果】
上述したように本発明による映像の類似度評価方法によって照会映像と認知的に類似の映像を検索すると、検索された映像が照会映像と認知的な類似性を有しない場合が少ない。したがって、本発明による映像の類似度評価方法を用いて照会映像とテクスチャ特徴が類似の映像を検索する時映像の検索性能を改善できる。
【図面の簡単な説明】
【図１】  本発明の実施形態による映像の類似度評価装置の構造を図示したブロック図である。
【図２】  図１の装置内で遂行される本発明の実施形態による映像の類似度評価方法の主要段階を示した流れ図である。
【図３】  ２映像の類似度評価のためのフレーム・ワークを説明するための図面である。
【符号の説明】
２０２：２映像ｉとｊの統計的差異度を計算する段階
２０４：テクスチャパターンに対する規則性の定量的評価値Ｐ(i)及びＰ(j)を求める段階
２０６：２映像ｉとｊのテクスチャパターンに対する規則性の差異を計算する段階
２０８：２映像ｉとｊのテクスチャ特徴の差異度Ｄ（ｉ，ｊ）を計算する段階
【図１】
0003636674.tif 000012
【図２】
0003636674.tif 000013
【図３】
0003636674.tif 000014