(57)【特許請求の範囲】
【請求項１】
映像のカラー特徴を記述するカラー特徴記述子を抽出するカラー映像処理方法において、
(a) 入力映像のカラーベクトルを獲得する段階と、
(b) 前記入力映像の主要なカラー及び前記主要なカラーの比率を得るために前記カラーベクトルを分類する段階と、
(c) 前記主要なカラー及び前記主要なカラーの比率を前記入力映像のカラー特徴記述子で表現する段階とを含み、
段階(b)の前に、
前記入力映像の各ピクセルについてノイズ性ピクセルである確率を求め、前記ノイズ性ピクセルである確率に基づき前記入力映像の各ピクセルのカラーベクトルに加重値を付与する段階をさらに含むことを特徴とするカラー映像処理方法。
【請求項２】
前記カラーベクトルは量子化されたカラーベクトルであることを特徴とする請求項１に記載のカラー映像処理方法。
【請求項３】
前記比率は百分位数であることを特徴とする請求項１に記載のカラー映像処理方法。
【請求項４】
(d) 前記カラーベクトル及び前記カラー特徴記述子を結合し、前記結合の結果を全体映像として表現する段階をさらに含むことを特徴とする請求項１に記載のカラー映像処理方法。
【請求項５】
前記カラーベクトルは量子化されたカラーベクトルであることを特徴とする請求項４に記載のカラー映像処理方法。
【請求項６】
前記比率は百分位数であることを特徴とする請求項４に記載のカラー映像処理方法。
【請求項７】
(e) 前記量子化されたカラーベクトル及び前記カラー特徴記述子を結合し、前記結合の結果を全体映像として表現する段階をさらに含むことを特徴とする請求項５に記載のカラー映像処理方法。
【請求項８】
段階(b)の前に、前記入力映像をスムーズにする所定のフィルタリング過程を行う段階をさらに含むことを特徴とする請求項１に記載のカラー映像処理方法。
【請求項９】
段階(b)の前に、前記入力映像のノイズを除去する所定のフィルタリング過程を行う段階をさらに含むことを特徴とする請求項１に記載のカラー映像処理方法。
【請求項１０】
段階(b)の前に、前記入力映像をスムーズにしてノイズを除去する所定のフィルタリング過程を行う段階をさらに含むことを特徴とする請求項１に記載のカラー映像処理方法。
【請求項１１】
段階(b)の前に、
カラー量子化を行うために前記加重値の付与された画素に該当するカラーベクトルに一般のロイドアルゴリズムを適用する段階をさらに含むことを特徴とする請求項１乃至１０のうち何れか１項に記載のカラー映像処理方法。
【請求項１２】
映像のカラー特徴を記述するカラー特徴記述子を抽出するカラー映像処理方法において、
(a) 入力映像を複数の領域に分割する段階と、
(b) 前記分割された領域に対するカラーベクトルを獲得する段階と、
(c) 前記入力映像の主要なカラー及び前記主要なカラーの比率を得るために前記カラーベクトルを分類する段階と、
(d) 前記主要なカラー及び前記主要なカラーの比率を前記入力映像のカラー特徴記述子として表現する段階とを含み、
段階(b)の前に、
前記入力映像の各ピクセルについてノイズ性ピクセルである確率を求め、前記ノイズ性ピクセルである確率に基づき前記入力映像の各ピクセルのカラーベクトルに加重値を付与する段階をさらに含むことを特徴とするカラー映像処理方法。
【請求項１３】
前記カラーベクトルは量子化されたカラーベクトルであることを特徴とする請求項１２に記載のカラー映像処理方法。
【請求項１４】
前記比率は百分位数であることを特徴とする請求項１２に記載のカラー映像処理方法。
【請求項１５】
(e) 前記分割された領域の前記量子化されたカラーベクトル及び前記カラー特徴記述子を結合し、前記結合の結果を全体映像として表現する段階をさらに含むことを特徴とする請求項１３に記載のカラー映像処理方法。
【請求項１６】
段階(b)の前に、前記入力映像をスムーズにする所定のフィルタリング過程を行う段階をさらに含むことを特徴とする請求項１２に記載のカラー映像処理方法。
【請求項１７】
段階(b)の前に、前記入力映像のノイズを除去する所定のフィルタリング過程を行う段階をさらに含むことを特徴とする請求項１２に記載のカラー映像処理方法。
【請求項１８】
段階(b)の前に、前記入力映像をスムーズにしてノイズを除去する所定のフィルタリング過程を行う段階をさらに含むことを特徴とする請求項１２に記載のカラー映像処理方法。
【請求項１９】
段階(b)の前に、前記分割された領域をスムーズにする所定のフィルタリング過程を行う段階をさらに含むことを特徴とする請求項１２に記載のカラー映像処理方法。
【請求項２０】
段階(b)の前に、前記分割された領域のノイズを除去する所定のフィルタリング過程を行う段階をさらに含むことを特徴とする請求項１２に記載のカラー映像処理方法。
【請求項２１】
段階(b)の前に、前記分割された領域をスムーズにし、ノイズを除去する所定のフィルタリング過程を行う段階をさらに含むことを特徴とする請求項１２に記載のカラー映像処理方法。
【請求項２２】
段階(b)の前に、
カラー量子化を行うために前記加重値の付与された画素に該当するカラーベクトルに一般のロイドアルゴリズムを適用する段階をさらに含むことを特徴とする請求項１２乃至２１のうち何れか１項に記載のカラー映像処理方法。
【請求項２３】
映像のカラー特徴を記述するカラー特徴記述子を抽出するカラー映像処理装置において、
入力映像をk個の領域に分割し、ここで、kは任意の正の整数であり、k番目の領域に対応する画素値データを順次に出力する分割部と、
入力映像の画素値データを受信し、所定のカラー座標系でカラーベクトルを抽出するカラーベクトル抽出部と、
前記カラーベクトルが全て受信される場合、前記カラーベクトルにより表現される主要なカラーの百分位数を獲得し、前記主要なカラー及び前記主要なカラーの百分位数に関する情報を含むカラー特徴記述子データを生成して出力するカラー特徴記述子生成部とを含み、
前記分割された領域においてカラー量子化を行う量子化部をさらに含み、
前記量子化部は前記入力映像の各ピクセルについてノイズ性ピクセルである確率を求め、前記ノイズ性ピクセルである確率に基づき前記入力映像の各ピクセルのカラーベクトルに加重値を付与することを特徴とするカラー映像処理装置。
【請求項２４】
映像のカラー特徴を記述するカラー特徴記述子を抽出するカラー映像処理装置において、
入力映像をk個の領域に分割し、ここで、kは任意の正の整数であり、k番目の領域に対応する画素値データを順次に出力する分割部と、
入力映像の画素値データを受信し、所定のカラー座標系でカラーベクトルを抽出するカラーベクトル抽出部と、
前記カラーベクトルが全て受信される場合、前記カラーベクトルにより表現される主要なカラーの百分位数を獲得し、前記主要なカラー及び前記主要なカラーの百分位数に関する情報を含むカラー特徴記述子データを生成して出力するカラー特徴記述子生成部とを含み、
前記分割された領域においてカラー量子化を行う量子化部をさらに含み、
前記量子化部は前記入力映像の各ピクセルについてノイズ性ピクセルである確率を求め、前記ノイズ性ピクセルである確率に基づき前記入力映像の各ピクセルのカラーベクトルに加重値を付与し、
全てのk個の分割された領域に対し、k番目の領域に対応する画素値データ及び対応領域のカラー特徴記述子データを結合させ、処理された映像を出力する結合部をさらに含むことを特徴とするカラー映像処理装置。
【請求項２５】
カラー量子化を行うために前記加重値の付与された画素に該当するカラーベクトルに一般のロイドアルゴリズムを適用することを特徴とする請求項２３または請求項２４に記載のカラー映像処理装置。
【請求項２６】
入力映像をスムーズにする所定のフィルタリング過程を行うフィルタリング部をさらに含むことを特徴とする請求項２３または請求項２４に記載のカラー映像処理装置。
【請求項２７】
入力映像のノイズを除去する所定のフィルタリング過程を行うフィルタリング部をさらに含むことを特徴とする請求項２３または請求項２４に記載のカラー映像処理装置。
【請求項２８】
入力映像をスムーズにし、ノイズを除去する所定のフィルタリング過程を行うフィルタリング部をさらに含むことを特徴とする請求項２３または請求項２４に記載のカラー映像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はカラー映像処理方法及び装置に係り、特にカラー映像のインデックス及び探索に用いられるカラー特徴記述子を抽出するカラー映像処理方法に関する。
【０００２】
【従来の技術】
マルチ−メディアコンテンツを描写するビジュアル特徴のうち、カラーは最も主要な（ｄｏｍｉｎａｎｔ）特徴である。従来のカラー映像処理方法によって、映像のカラー情報を表現するためにカラーヒストグラムが用いられる。しかし、１０２４ビン（ｂｉｎｓ）で構成されたカラーヒストグラムを用いた従来のカラー映像処理方法は映像を描写する映像処理過程の計算が非常に複雑で、長時間がかかるという短所がある。
【０００３】
【発明が解決しようとする課題】
前記問題点を解決するための本発明の目的は、複雑な計算及び処理時間を減少させうるカラー映像処理方法を提供することである。
【０００４】
本発明の他の目的は、前記カラー映像処理方法を行うためにコンピュータで実行しうるプログラムを有するコンピュータ読出可能媒体を提供することである。
【０００５】
本発明のさらに他の目的は、前記カラー映像処理方法を行うためのカラー映像処理装置を提供することである。
【０００６】
【課題を解決するための手段】
本発明の特徴はカラー映像処理方法により具体化される。前記カラー映像処理方法は、（ａ） 入力映像のカラーベクトルを獲得する段階と、（ｂ） 前記入力映像の主要なカラー及び前記主要なカラーの比率を得るために前記カラーベクトルを分類する段階と、（ｃ） 前記主要なカラー及び前記主要なカラーの比率を前記入力映像のカラー特徴記述子として表現する段階とを含む。
【０００７】
望ましくは、前記カラーベクトルは量子化されたカラーベクトルである。
【０００８】
前記カラー映像処理方法は、（ｅ） 前記量子化されたカラーベクトル及び前記カラー特徴記述子を結合し、前記結合の結果を全体映像として表現する段階をさらに含められる。
【０００９】
また、段階（ｂ）の前に、前記入力映像をスムーズにする所定のフィルタリング過程を行う段階をさらに含んでも、前記入力映像のノイズを除去する所定のフィルタリング過程を行う段階をさらに含んでも良い。
【００１０】
また、段階（ｂ）の前に、フィルタリングされた映像の画素がノイズ性画素である確率を分析し、前記画素に適切な加重値を付与する段階と、カラー量子化を行うために前記加重値の付与された画素に該当するカラーベクトルに一般のロイド（Ｌｌｏｙｄ）アルゴリズムを適用する段階とをさらに含められる。
【００１１】
本発明の他の態様によって映像のカラー特徴を記述するカラー特徴記述子を抽出するカラー映像処理方法において、（ａ） 入力映像を複数の領域に分割する段階と、（ｂ） 前記分割された領域に対するカラーベクトルを獲得する段階と、（ｃ） 前記入力映像の主要なカラー及び前記主要なカラーの比率を得るために前記カラーベクトルを分類する段階と、（ｄ） 前記主要なカラー及び前記主要なカラーの比率を前記入力映像のカラー特徴記述子として表現する段階とを含むことを特徴とするカラー映像処理方法が提供される。
【００１２】
また、本発明は映像のカラー特徴を記述するカラー特徴記述子を抽出するカラー映像処理方法を行うためのコンピュータにより実行可能なプログラムコードを含むコンピュータ読出可能媒体において、（ａ） 入力映像を複数の領域に分割する段階と、（ｂ） 前記分割された領域に対するカラーベクトルを獲得する段階と、（ｃ） 前記入力映像の主要なカラー及び前記主要なカラーの比率を得るために前記カラーベクトルを分類する段階と、（ｄ） 前記主要なカラー及び前記主要なカラーの比率を前記入力映像のカラー特徴記述子として表現する段階を含むカラー映像処理方法を行うためのコンピュータにより実行可能なプログラムコードを含むコンピュータ読出可能媒体を提供する。
【００１３】
本発明の他の態様によって映像のカラー特徴を記述するカラー特徴記述子を抽出するカラー映像処理装置において、入力映像の画素値データを受信して所定のカラー座標系でカラーベクトルを抽出するカラーベクトル抽出部と、前記カラーベクトルが全て受信される場合、前記カラーベクトルにより表現される主要なカラーの百分位数を獲得し、前記主要なカラー及び前記主要なカラーの百分位数に関する情報を含むカラー特徴記述子データを生成して出力するカラー特徴記述子生成部とを含むことを特徴とするカラー映像処理装置が提供される。
【００１４】
また、本発明は、映像のカラー特徴を記述するカラー特徴記述子を抽出するカラー映像処理装置において、入力映像をｋ個の領域に分割し、ここで、ｋは任意の正の整数であり、ｋ番目の領域に対応する画素値データを順次に出力する分割部と、入力映像の画素値データを受信し、所定のカラー座標系でカラーベクトルを抽出するカラーベクトル抽出部と、前記カラーベクトルが全て受信される場合、前記カラーベクトルにより表現される主要なカラーの百分位数を獲得し、前記主要なカラー及び前記主要なカラーの百分位数に関する情報を含むカラー特徴記述子データを生成して出力するカラー特徴記述子生成部とを含むことを特徴とするカラー映像処理装置を提供する。
【００１５】
【発明の実施の形態】
前記本発明の目的及び長所は添付した図面に基づいて望ましい実施形態を詳しく説明することによってさらに明白になる。
【００１６】
以下、添付した図面に基づいて本発明の実施形態を詳しく説明する。
【００１７】
図１は本発明によってカラー映像処理方法を示す。図１を参照すれば、カラー映像Ａが入力される（段階１００）。前記映像は複数の領域Ｆ１、Ｆ２、Ｆ３、Ｆ４に分割される（段階１０２）。前記分割は、例えば、エッジフローに基づいて行われる。次いで、各領域Ｆ１、Ｆ２、Ｆ３、Ｆ４に対する量子化されたカラーベクトルが獲得される（段階１０４）。
【００１８】
前記量子化されたカラーベクトルの獲得段階は望ましくは次の段階を含む。まず、映像をスムーズにし、ノイズを除去する所定のフィルタリング段階が前−処理段階として行われる。次いで、フィルタリングされた映像の画素がノイズ性画素である確率が分析され、引き続き、前記映像に適切な加重値が付与される。フィルタリングされた映像の画素がノイズ性画素である確率は隣接する画素からカラー間隔により獲得される。例えば、任意の整数ｉにおいて、中央画素からカラー間隔によって整列された画素中の１つの画素から最小カラー間隔を有するように分布されたＩ個の画素が選択され、前記選択された画素のうち、最大のカラー間隔を有する画素値を最大のカラー間隔にセットし、Ｔ（ｎ）と表する。次いで、各画素のカラーベクトルはｅｘｐ（−Ｔ（ｎ））だけ加重値が適用される。ｅｘｐ（−Ｔ（ｎ））はｖ（ｎ）と定義される。次いで、全ての画素に対するＴ（ｎ）値の平均をＴａｖｇとすれば、量子化に使われる初期クラスタの数ＮはＴａｖｇ×任意定数（例えば、２）と同一である。次いで、一般のロイドアルゴリズムがカラーベクトルを量子化するために加重値の適用された画素に対応してカラーベクトルに適用される。まず、クラスタ中心（ｃｅｎｔｒｏｉｄ）ｃｉは数式１で表現される。
【数１】
0003634266.tif 000002
ここで、Ｘ（ｎ）は整列された画素のうちｎ番目の画素の画素値である。
そして、数式２により表現されるＤｉ値が計算される。
【数２】
0003634266.tif 000003
次いで、Ｄｉの最大値を有するクラスタを分離する。このような過程はＮ個のクラスタが生成されるまで反復される。Ｎ個のクラスタが生成された後、一般のロイドアルゴリズムが行われる。一般のロイドアルゴリズムが行われる場合、クラスタの中心が数式１により計算されて更新される。
【００１９】
次いで、類似したカラーベクトルを有するクラスタは凝集化クラスタリングを行って凝集される。凝集化クラスタリングはＲ．Ｏ．Ｄｕｄａ及びＰ．Ｅ．Ｈａｒｔにより“類型分類及び場面分析（Ｐａｔｔｅｒｎ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ Ｓｃｅｎｅ Ａｎａｌｙｓｉｓ）、Ｊｏｈｎ ｗｉｌｅｙ ａｎｄ Ｓｏｎｓ、Ｎｅｗ Ｙｏｒｋ、１９７３”に開示されていために、本明細書ではその詳細な説明は略す。
【００２０】
次いで、カラーベクトルが分類され、カラーベクトル［ｃＬｉ、ｃＵｉ、ｃＶｉ］及びカラーベクトルの百分位数Ｐｉで表現される主要なカラーが得られる（段階１０６）。ここで、ｉは第１領域において１からＮまでの任意の連続する数字であり、Ｌ、Ｕ及びＶはＣＩＥ ＬＵＶカラー座標系の座標を示す。百分位数Ｐｉは十進数で表示される。数式３に表現されたようにｉ領域に対する百分位数Ｐｉの和は１である。
【数３】
0003634266.tif 000004
【００２１】
次いで、カラーベクトル［ｃＬｉ、ｃＵｉ、ｃＶｉ］及びカラーベクトルの百分位数Ｐｉで表現される主要なカラーは関連領域のカラー特徴記述子として表示されて得られる（段階１０８）。換言すれば、カラー特徴記述子Ｆは数式４で表現されうる。
【数４】
0003634266.tif 000005
ここで、Ｎは所定の正の整数である。前記カラー特徴記述子は可変ビンカラーヒストグラムと称しうる。
【００２２】
ｋ番目の領域内の画素値データ、すなわち領域ｋ（Ｒｅｇｉｏｎｋ）及び前記ｋ番目の領域のカラー特徴記述子データ、すなわちＦｋを結合することによって、全体映像Ａ’が数式５で表現される。
【数５】
0003634266.tif 000006
ここで、ｋは映像Ａの分割された領域の数を示す所定の正の整数である（段階１１０）。
【００２３】
本発明によってカラー映像処理方法により抽出されるカラー特徴記述子は一つの領域に対する数のうち小さい数により縮少して表現される。カラー特徴記述子の縮少表現は複雑な計算を著しく減少させうる。これにより、マルチメディア基盤コンテンツを迅速に探索／抽出しうる。本発明に係るカラー映像処理方法はＭＰＥＧ−７のような客体−基盤映像処理方法に適用されうる。
【００２４】
カラー映像処理方法はコンピュータプログラムによってプログラムしうる。コンピュータプログラムを構成するコード及びコードセグメントは本技術のコンピュータプログラマーに容易に誘導されうる。また、前記プログラムはコンピュータ読出可能媒体に貯蔵され、コンピュータにより読出及び実行可能で、これによってカラー映像処理方法を具現する。前記媒体は磁気記録媒体、光学記録媒体、搬送波媒体などを含む。
【００２５】
また、カラー映像処理方法は、カラー映像処理装置として具現されうる。図３は本発明によってカラー映像処理装置を示すブロック図である。図３を参照すれば、カラー映像処理装置は分割部３００、カラーベクトル抽出部３０２、カラー特徴記述子生成部３０４及び結合部３０６を含む。
【００２６】
カラー映像処理装置の動作において、前記分割部３００は入力映像Ａをｋの領域に分割し、ｋ番目の領域の画素値データＲｅｇｉｏｎｋを順次に出力する。前記カラーベクトル抽出部３０２はｋ番目の領域の画素値データＲｅｇｉｏｎｋを受信し、カラーベクトル［ｃＬｉ、ｃＵｉ、ｃＶｉ］を抽出する。ｉのカラーベクトル［ｃＬｉ、ｃＵｉ、ｃＶｉ］が全て受信される場合、前記カラー特徴記述子生成部３０４はカラーベクトル［ｃＬｉ、ｃＵｉ、ｃＶｉ］により表現される主要なカラーの百分位数Ｐｉを獲得し、カラー特徴記述子データＦｋを生成して出力する。前記カラー特徴記述子データＦｋはカラーベクトル［ｃＬｉ、ｃＵｉ、ｃＶｉ］及びカラーベクトルの百分位数Ｐｉで表現される主要なカラーについての情報を含む。
【００２７】
各カラーの百分位数Ｐｉを得るためにカラー量子化は、各分割領域内で行われることが望ましい。したがって、前記カラー映像処理装置は、望ましくは量子化部（図示せず）をさらに含む。入力映像をスムーズにしてノイズを除去する所定のフィルタリング過程を行うために、前記カラー映像処理装置は望ましくはフィルタリング部（図示せず）をさらに含む。前記量子化部はフィルタリングされた映像の画素がノイズ性画素である確率を分析し、前記画素に適切な加重値を付与し、加重値の付与された画素に該当するカラーベクトルを一般のロイドアルゴリズムにより量子化する。
【００２８】
前記結合部３０６はｋ番目の領域内の画素値データ、すなわちＲｅｇｉｏｎｋ及び前記ｋ番目の領域のカラー特徴記述子データ、すなわちＦｋを結合し、処理された映像Ａ’を出力する。本発明に係るカラー映像処理装置はＭＰＥＧ−７のような客体−基盤映像処理方法に適用されうる。また、本発明に係るカラー映像処理装置において、映像の主要なカラーを使用し、カラー映像を表現するのはカラー映像処理分野以外に多様な他の分野にもさらに適用されうる。
【００２９】
前述したように、本発明に係るカラー映像処理方法は客体−基盤映像処理方法に適用され、これにより、マルチメディアコンテンツを迅速に探索して抽出しうる。
【００３０】
＜産業上の利用分野＞
本発明は客体基盤映像処理分野に適用されうる。
【図面の簡単な説明】
【図１】本発明に係るカラー映像処理方法を示すフローチャートである。
【図２】図１の段階１０６で行われる映像分割を示す図面である。
【図３】本発明に係るカラー映像処理装置を示すブロック図である。
【図４Ａ】本発明に係るカラー映像処理方法に基づいてコンピュータプログラムによりインデックスされた映像に対して領域−基盤探索を行って得た結果を示す。
【図４Ｂ】図４Ａと同様の図である。
【符号の説明】
３００  分割部
３０２  カラーベクトル抽出部
３０４  カラー特徴記述子生成部
３０６  結合部
【図１】
0003634266.tif 000007
【図２】
0003634266.tif 000008
【図３】
0003634266.tif 000009
【図４Ａ】
0003634266.tif 000010
【図４Ｂ】
0003634266.tif 000011