(57)【要約】【課題】　複雑な計算及び処理時間を減少させうるカラー映像処理方法を提供する。【解決手段】　映像のカラー特徴を記述するカラー特徴記述子を抽出するカラー映像処理方法が提供される。カラー映像処理方法は、(a) 入力映像のカラーベクトルを獲得する段階と、(b) 所定の基準に基づいて、前記カラーベクトルを分類する段階と、(c) 前記入力映像の主要なカラー及び前記主要なカラーの比率を前記入力映像のカラー特徴記述子として用いるために、前記分類されたカラーベクトルに基づいて、前記主要なカラー及び前記主要なカラーの比率を獲得する段階とを含む。従って、客体-基盤映像処理方法に適用され、これによってマルチ-メディアコンテンツを迅速に探索して抽出しうる。【選択図】　図３
2004078995.tif 000002
【特許請求の範囲】
【請求項１】
　映像のカラー特徴を記述するカラー特徴記述子を抽出するカラー映像処理方法において、
　(a) 入力映像のカラーベクトルを獲得する段階と、
　(b) 所定の基準に基づいて、前記カラーベクトルを分類する段階と、
　(c) 前記入力映像の主要なカラー及び前記主要なカラーの比率を前記入力映像のカラー特徴記述子として用いるために、前記分類されたカラーベクトルに基づいて、前記主要なカラー及び前記主要なカラーの比率を獲得する段階と
を含むことを特徴とする方法。
【請求項２】
　前記段階(a)は、前記入力映像の量子化されたカラーベクトルを獲得する段階を含むことを特徴とする請求項１に記載の方法。
【請求項３】
　前記段階(b)は、クラスタリングを用いて、前記カラーベクトルを分類する段階を含むことを特徴とする請求項１に記載の方法。
【請求項４】
　前記段階(b)は、カラー間隔を用いて、前記カラーベクトルを分類する段階を含むことを特徴とする請求項１に記載の方法。
【請求項５】
　前記段階(c)は、前記主要なカラー及び前記主要なカラーの比率を、前記入力映像のカラー特徴記述子として結合する段階を含むことを特徴とする請求項１に記載の方法。
【請求項６】
　映像のカラー特徴を記述するカラー特徴記述子を抽出するカラー映像処理方法において、
　(a) 入力映像のカラーベクトルを獲得する段階と、
　(b) 前記カラーベクトルを分類することにより、前記入力映像の主要なカラー及び前記主要なカラーの比率を獲得する段階と、
　(c) 前記主要なカラー及び前記主要なカラーの比率を用いて、前記入力映像のカラー特徴記述子を表現する段階と
を含むことを特徴とする方法。
【請求項７】
　前記段階(a)は、前記入力映像の量子化されたカラーベクトルを獲得する段階を含むことを特徴とする請求項６に記載の方法。
【請求項８】
　前記段階(b)は、クラスタリングを用いて、前記カラーベクトルを分類する段階を含むことを特徴とする請求項６に記載の方法。
【請求項９】
　映像のカラー特徴を記述するカラー特徴記述子を抽出するカラー映像処理方法において、
　(a) 入力映像のカラーベクトルを獲得する段階と、
　(b) 前記入力映像の主要なカラー及び前記主要なカラーの比率を得るために前記カラーベクトルを分類する段階と、
　(c) 前記主要なカラー及び前記主要なカラーの比率を用いて、前記入力映像のカラー特徴記述子を表現する段階と
を含むことを特徴とするカラー映像処理方法。
【請求項１０】
　前記段階(b)は、カラー間隔を用いて、前記カラーベクトルを分類する段階を含むことを特徴とする請求項９に記載の方法。
【請求項１１】
　前記段階(c)は、前記主要なカラー及び前記主要なカラーの比率を、前記入力映像のカラー特徴記述子として結合する段階を含むことを特徴とする請求項９に記載の方法。
【請求項１２】
　映像のカラー特徴を記述するカラー特徴記述子を抽出するカラー映像処理方法を行うためのコンピュータにより実行可能なプログラムコードを含むコンピュータ読出可能媒体において、
　(a) 入力映像のカラーベクトルを獲得する段階と、
　(b) 所定の基準に基づいて、前記カラーベクトルを分類する段階と、
　(c) 前記入力映像の主要なカラー及び前記主要なカラーの比率を前記入力映像のカラー特徴記述子として用いるために、前記分類されたカラーベクトルに基づいて、前記主要なカラー及び前記主要なカラーの比率を獲得する段階と
を含むカラー映像処理方法を行うためのコンピュータにより実行可能なプログラムコードを含むコンピュータ読出可能媒体。
【請求項１３】
　前記段階(a)は、前記入力映像の量子化されたカラーベクトルを獲得する段階を含むことを特徴とする請求項１２に記載のコンピュータ読出可能媒体。
【請求項１４】
　前記段階(b)は、クラスタリングを用いて、前記カラーベクトルを分類する段階を含むことを特徴とする請求項１２に記載のコンピュータ読出可能媒体。
【請求項１５】
　前記段階(b)は、カラー間隔を用いて、前記カラーベクトルを分類する段階を含むことを特徴とする請求項１２に記載のコンピュータ読出可能媒体。
【請求項１６】
　前記段階(c)は、前記主要なカラー及び前記主要なカラーの比率を、前記入力映像のカラー特徴記述子として結合する段階を含むことを特徴とする請求項１２に記載のコンピュータ読出可能媒体。
【請求項１７】
　映像のカラー特徴を記述するカラー特徴記述子を抽出するカラー映像処理装置において、
　入力映像のカラーベクトルを獲得する第１獲得部と、
　所定の基準に基づいて、前記カラーベクトルを分類する分類部と、
　前記入力映像の主要なカラー及び前記主要なカラーの比率を前記入力映像のカラー特徴記述子として用いるために、前記分類されたカラーベクトルに基づいて、前記主要なカラー及び前記主要なカラーの比率を獲得する第２獲得部と
を含むことを特徴とする装置。
【請求項１８】
　前記第１獲得部は、前記入力映像の量子化されたカラーベクトルを獲得することを特徴とする請求項１７に記載の装置。
【請求項１９】
　前記分類部は、クラスタリングを用いて、前記カラーベクトルを分類することを特徴とする請求項１７に記載の装置。
【請求項２０】
　前記分類部は、カラー間隔を用いて、前記カラーベクトルを分類することを特徴とする請求項１７に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
　本発明はカラー映像処理方法及び装置に係り、特にカラー映像のインデックス及び探索に用いられるカラー特徴記述子を抽出するカラー映像処理方法に関する。
【背景技術】
【０００２】
　マルチ-メディアコンテンツを描写するビジュアル特徴のうち、カラーは最も主要な(dominant)特徴である。従来のカラー映像処理方法によって、映像のカラー情報を表現するためにカラーヒストグラムが用いられる。しかし、１０２４ビン(bins)で構成されたカラーヒストグラムを用いた従来のカラー映像処理方法は映像を描写する映像処理過程の計算が非常に複雑で、長時間がかかるという短所がある。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
　前記問題点を解決するための本発明の目的は、複雑な計算及び処理時間を減少させうるカラー映像処理方法を提供することである。
【０００４】
　本発明の他の目的は、前記カラー映像処理方法を行うためにコンピュータで実行しうるプログラムを有するコンピュータ読出可能媒体を提供することである。
【０００５】
　本発明のさらに他の目的は、前記カラー映像処理方法を行うためのカラー映像処理装置を提供することである。
【課題を解決するための手段】
【０００６】
　本発明の特徴はカラー映像処理方法により具体化される。前記カラー映像処理方法は、(a) 入力映像のカラーベクトルを獲得する段階と、(b) 前記入力映像の主要なカラー及び前記主要なカラーの比率を得るために前記カラーベクトルを分類する段階と、(c) 前記主要なカラー及び前記主要なカラーの比率を前記入力映像のカラー特徴記述子として表現する段階とを含む。
【０００７】
　望ましくは、前記カラーベクトルは量子化されたカラーベクトルである。
【０００８】
　前記カラー映像処理方法は、(e) 前記量子化されたカラーベクトル及び前記カラー特徴記述子を結合し、前記結合の結果を全体映像として表現する段階をさらに含められる。
【０００９】
　また、段階(b)の前に、前記入力映像をスムーズにする所定のフィルタリング過程を行う段階をさらに含んでも、前記入力映像のノイズを除去する所定のフィルタリング過程を行う段階をさらに含んでも良い。
【００１０】
　また、段階(b)の前に、フィルタリングされた映像の画素がノイズ性画素である確率を分析し、前記画素に適切な加重値を付与する段階と、カラー量子化を行うために前記加重値の付与された画素に該当するカラーベクトルに一般のロイド(Lloyd)アルゴリズムを適用する段階とをさらに含められる。
【００１１】
　本発明の他の態様によって映像のカラー特徴を記述するカラー特徴記述子を抽出するカラー映像処理方法において、(a) 入力映像を複数の領域に分割する段階と、(b) 前記分割された領域に対するカラーベクトルを獲得する段階と、(c) 前記入力映像の主要なカラー及び前記主要なカラーの比率を得るために前記カラーベクトルを分類する段階と、(d) 前記主要なカラー及び前記主要なカラーの比率を前記入力映像のカラー特徴記述子として表現する段階とを含むことを特徴とするカラー映像処理方法が提供される。
【００１２】
　また、本発明は映像のカラー特徴を記述するカラー特徴記述子を抽出するカラー映像処理方法を行うためのコンピュータにより実行可能なプログラムコードを含むコンピュータ読出可能媒体において、(a) 入力映像を複数の領域に分割する段階と、(b) 前記分割された領域に対するカラーベクトルを獲得する段階と、(c) 前記入力映像の主要なカラー及び前記主要なカラーの比率を得るために前記カラーベクトルを分類する段階と、(d) 前記主要なカラー及び前記主要なカラーの比率を前記入力映像のカラー特徴記述子として表現する段階を含むカラー映像処理方法を行うためのコンピュータにより実行可能なプログラムコードを含むコンピュータ読出可能媒体を提供する。
【００１３】
　本発明の他の態様によって映像のカラー特徴を記述するカラー特徴記述子を抽出するカラー映像処理装置において、入力映像の画素値データを受信して所定のカラー座標系でカラーベクトルを抽出するカラーベクトル抽出部と、前記カラーベクトルが全て受信される場合、前記カラーベクトルにより表現される主要なカラーの百分位数を獲得し、前記主要なカラー及び前記主要なカラーの百分位数に関する情報を含むカラー特徴記述子データを生成して出力するカラー特徴記述子生成部とを含むことを特徴とするカラー映像処理装置が提供される。
【００１４】
　また、本発明は、映像のカラー特徴を記述するカラー特徴記述子を抽出するカラー映像処理装置において、入力映像をk個の領域に分割し、ここで、kは任意の正の整数であり、k番目の領域に対応する画素値データを順次に出力する分割部と、入力映像の画素値データを受信し、所定のカラー座標系でカラーベクトルを抽出するカラーベクトル抽出部と、前記カラーベクトルが全て受信される場合、前記カラーベクトルにより表現される主要なカラーの百分位数を獲得し、前記主要なカラー及び前記主要なカラーの百分位数に関する情報を含むカラー特徴記述子データを生成して出力するカラー特徴記述子生成部とを含むことを特徴とするカラー映像処理装置を提供する。
【発明を実施するための最良の形態】
【００１５】
　前記本発明の目的及び長所は添付した図面に基づいて望ましい実施形態を詳しく説明することによってさらに明白になる。
【００１６】
　以下、添付した図面に基づいて本発明の実施形態を詳しく説明する。
【００１７】
　図１は本発明によってカラー映像処理方法を示す。図１を参照すれば、カラー映像Aが入力される(段階１００)。前記映像は複数の領域F１、F２、F３、F４に分割される(段階１０２)。前記分割は、例えば、エッジフローに基づいて行われる。次いで、各領域F１、F２、F３、F４に対する量子化されたカラーベクトルが獲得される(段階１０４)。
【００１８】
　前記量子化されたカラーベクトルの獲得段階は望ましくは次の段階を含む。まず、映像をスムーズにし、ノイズを除去する所定のフィルタリング段階が前-処理段階として行われる。次いで、フィルタリングされた映像の画素がノイズ性画素である確率が分析され、引き続き、前記映像に適切な加重値が付与される。フィルタリングされた映像の画素がノイズ性画素である確率は隣接する画素からカラー間隔により獲得される。例えば、任意の整数iにおいて、中央画素からカラー間隔によって整列された画素中の１つの画素から最小カラー間隔を有するように分布されたI個の画素が選択され、前記選択された画素のうち、最大のカラー間隔を有する画素値を最大のカラー間隔にセットし、T(n)と表する。次いで、各画素のカラーベクトルはexp(-T(n))だけ加重値が適用される。exp(-T(n))はv(n)と定義される。次いで、全ての画素に対するT(n)値の平均をTavgとすれば、量子化に使われる初期クラスタの数NはTavg×任意定数(例えば、２)と同一である。次いで、一般のロイドアルゴリズムがカラーベクトルを量子化するために加重値の適用された画素に対応してカラーベクトルに適用される。まず、クラスタ中心(centroid)ciは数式１で表現される。
【００１９】
【数１】
2004078995.tif 000003
【００２０】
　ここで、X(n)は整列された画素のうちn番目の画素の画素値である。
　そして、数式２により表現されるDｉ値が計算される。
【００２１】
【数２】
2004078995.tif 000004
【００２２】
　次いで、Dｉの最大値を有するクラスタを分離する。このような過程はN個のクラスタが生成されるまで反復される。N個のクラスタが生成された後、一般のロイドアルゴリズムが行われる。一般のロイドアルゴリズムが行われる場合、クラスタの中心が数式１により計算されて更新される。
【００２３】
　次いで、類似したカラーベクトルを有するクラスタは凝集化クラスタリングを行って凝集される。凝集化クラスタリングはR.O.Duda及びP.E.Hartにより“類型分類及び場面分析(Pattern Classification and Scene Analysis)、John wiley and Sons、New York、１９７３”に開示されていために、本明細書ではその詳細な説明は略す。
【００２４】
　次いで、カラーベクトルが分類され、カラーベクトル[cLｉ、cUｉ、cVｉ]及びカラーベクトルの百分位数Pｉで表現される主要なカラーが得られる(段階１０６)。ここで、iは第１領域において１からNまでの任意の連続する数字であり、L、U及びVはCIE LUVカラー座標系の座標を示す。百分位数Pｉは十進数で表示される。数式３に表現されたようにi領域に対する百分位数Pｉの和は１である。
【００２５】
【数３】
2004078995.tif 000005
【００２６】
　次いで、カラーベクトル[cLｉ、cUｉ、cVｉ]及びカラーベクトルの百分位数Pｉで表現される主要なカラーは関連領域のカラー特徴記述子として表示されて得られる(段階１０８)。換言すれば、カラー特徴記述子Fは数式４で表現されうる。
【００２７】
【数４】
2004078995.tif 000006
【００２８】
　ここで、Nは所定の正の整数である。前記カラー特徴記述子は可変ビンカラーヒストグラムと称しうる。
【００２９】
　k番目の領域内の画素値データ、すなわち領域ｋ(Regionｋ)及び前記k番目の領域のカラー特徴記述子データ、すなわちFｋを結合することによって、全体映像A'が数式５で表現される。
【００３０】
【数５】
2004078995.tif 000007
【００３１】
　ここで、kは映像Aの分割された領域の数を示す所定の正の整数である(段階１１０)。
【００３２】
　本発明によってカラー映像処理方法により抽出されるカラー特徴記述子は一つの領域に対する数のうち小さい数により縮少して表現される。カラー特徴記述子の縮少表現は複雑な計算を著しく減少させうる。これにより、マルチメディア基盤コンテンツを迅速に探索/抽出しうる。本発明に係るカラー映像処理方法はMPEG-７のような客体-基盤映像処理方法に適用されうる。
【００３３】
　カラー映像処理方法はコンピュータプログラムによってプログラムしうる。コンピュータプログラムを構成するコード及びコードセグメントは本技術のコンピュータプログラマーに容易に誘導されうる。また、前記プログラムはコンピュータ読出可能媒体に貯蔵され、コンピュータにより読出及び実行可能で、これによってカラー映像処理方法を具現する。前記媒体は磁気記録媒体、光学記録媒体、搬送波媒体などを含む。
【００３４】
　また、カラー映像処理方法は、カラー映像処理装置として具現されうる。図３は本発明によってカラー映像処理装置を示すブロック図である。図３を参照すれば、カラー映像処理装置は分割部３００、カラーベクトル抽出部３０２、カラー特徴記述子生成部３０４及び結合部３０６を含む。
【００３５】
　カラー映像処理装置の動作において、前記分割部３００は入力映像Aをkの領域に分割し、k番目の領域の画素値データRegionｋを順次に出力する。前記カラーベクトル抽出部３０２はk番目の領域の画素値データRegionｋを受信し、カラーベクトル[cLｉ、cUｉ、cVｉ]を抽出する。iのカラーベクトル[cLｉ、cUｉ、cVｉ]が全て受信される場合、前記カラー特徴記述子生成部３０４はカラーベクトル[cLｉ、cUｉ、cVｉ]により表現される主要なカラーの百分位数Pｉを獲得し、カラー特徴記述子データFｋを生成して出力する。前記カラー特徴記述子データFｋはカラーベクトル[cLｉ、cUｉ、cVｉ]及びカラーベクトルの百分位数Pｉで表現される主要なカラーについての情報を含む。
【００３６】
　各カラーの百分位数Pｉを得るためにカラー量子化は、各分割領域内で行われることが望ましい。したがって、前記カラー映像処理装置は、望ましくは量子化部(図示せず)をさらに含む。入力映像をスムーズにしてノイズを除去する所定のフィルタリング過程を行うために、前記カラー映像処理装置は望ましくはフィルタリング部(図示せず)をさらに含む。前記量子化部はフィルタリングされた映像の画素がノイズ性画素である確率を分析し、前記画素に適切な加重値を付与し、加重値の付与された画素に該当するカラーベクトルを一般のロイドアルゴリズムにより量子化する。
【００３７】
　前記結合部３０６はk番目の領域内の画素値データ、すなわちRegionｋ及び前記k番目の領域のカラー特徴記述子データ、すなわちFｋを結合し、処理された映像A'を出力する。本発明に係るカラー映像処理装置はMPEG-７のような客体-基盤映像処理方法に適用されうる。また、本発明に係るカラー映像処理装置において、映像の主要なカラーを使用し、カラー映像を表現するのはカラー映像処理分野以外に多様な他の分野にもさらに適用されうる。
【００３８】
　前述したように、本発明に係るカラー映像処理方法は客体-基盤映像処理方法に適用され、これにより、マルチメディアコンテンツを迅速に探索して抽出しうる。
【産業上の利用可能性】
【００３９】
　本発明は客体基盤映像処理分野に適用されうる。
【図面の簡単な説明】
【００４０】
【図１】本発明に係るカラー映像処理方法を示すフローチャートである。
【図２】図１の段階１０６で行われる映像分割を示す図面である。
【図３】本発明に係るカラー映像処理装置を示すブロック図である。
【図４Ａ】本発明に係るカラー映像処理方法に基づいてコンピュータプログラムによりインデックスされた映像に対して領域-基盤探索を行って得た結果を示す。
【図４Ｂ】図４Ａと同様の図である。
【符号の説明】
【００４１】
　３００　分割部
　３０２　カラーベクトル抽出部
　３０４　カラー特徴記述子生成部
　３０６　結合部
【図１】
2004078995.tif 000008
【図２】
2004078995.tif 000009
【図３】
2004078995.tif 000010
【図４Ａ】
2004078995.tif 000011
【図４Ｂ】
2004078995.tif 000012