(57)【要約】【課題】  GoF/GoPの質感表現方法と、これを用いたGoF/GoP検索方法及び装置を提供する。【解決手段】  GoF/GoPを構成するフレームの全てまたはピクチャーの全てについて前記フレームまたはピクチャーを記述する均一質感記述子（HTDと略称する）を求める段階と、GoF/GoPを記述するHTDを、所定の代表値で代表させて１つのフレームまたはピクチャーに相応するHTDで表現する段階と、を含むGoF/GoPの質感表現方法である。更に前記HTDを所定の代表値で代表させて表現したフレーム/ピクチャーを用いてデータベースを構築する段階と、GoF/GoPがクエリとして入力する段階と、前記クエリに係るGoF/GoPのGoF/GoPを記述するHTDを相応するHTDに変換する段階と、データベースでクエリに係るGoF/GoPのHTDと類似したHTDを検索する段階と、検索されたHTDに相応するGoF/GoPを類似度順に並べて検索結果値を決定する段階と、を含むGoF/GoPの検索方法である。【選択図】      図４
2005063418.tif 000002
【特許請求の範囲】
【請求項１】
GoF（Group of Frames）またはGoP (Group of Picture) の質感を表現する方法において、
(a) 前記GoFを構成するフレームの全てまたはGoPを構成するピクチャーの全てに対して前記フレームまたはピクチャーを記述する均一質感記述子を求める段階と、
(b) 前記GoFまたはGoPを記述する均一質感記述子を、所定の代表値で代表させて１つのフレームまたはピクチャーに相応する均一質感記述子で表現する段階と、を含むことを特徴とするGoFまたはGoPの質感表現方法。
【請求項２】
前記均一質感記述子は、
ガーバーフィルタリングされた（Garbour-filtered）映像の周波数領域のエネルギー平均値、エネルギー分散値、DCチャンネルのエネルギー及び前記映像の全画素の分散値をその構成要素として含むことを特徴とする請求項１に記載のGoFまたはGoPの質感表現方法。
【請求項３】
前記均一質感記述子は、
【数１】
2005063418.tif 000013
(ここで、fSTDは映像の全画素の分散値を、fDCはDCチャンネルのエネルギーを、e(i)(i=1, CDOTS, 30)はガーバーフィルタリングされたチャンネルでのエネルギー平均値を、d(i)(i=1, CDOTS, 30)はガーバーフィルタリングされたチャンネルでのエネルギー分散値を示す)のように表現されることを特徴とする請求項２に記載のGoFまたはGoPの質感表現方法。
【請求項４】
前記(b)段階の所定の代表値で代表させる簡素化は、
前記均一質感記述子の各構成要素について、全てのフレームまたはピクチャーの構成要素値の平均値を代表値とすることを特徴とする請求項１に記載のGoFまたはGoPの質感表現方法。
【請求項５】
前記(b)段階の所定の代表値で代表させる簡素化は、
前記均一質感記述子の各構成要素に対して、全てのフレームまたはピクチャーの構成要素値を大きさ順に整列してその中間値を代表値とすることを特徴とする請求項１に記載のGoFまたはGoPの質感表現方法。
【請求項６】
前記(b)段階の所定の代表値で代表させる簡素化は、
前記均一質感記述子の各構成要素に対して、あらゆるフレームまたはピクチャーの構成要素値を大きさ順に並べて最小値を代表値とすることを特徴とする請求項１に記載のGoFまたはGoPの質感表現方法。
【請求項７】
クエリ（query）に係るGoFまたGoPと類似したGoFまたGoPを検索する方法において、
データベースに保存する複数のGoFまたGoPについて、前記GoFまたGoPを記述する均一質感記述子を所定の代表値により簡素化させて１つのフレーム/ピクチャーに相応する均一質感記述子で表現してデータベースを構築する段階と、
GoFまたはGoPがクエリとして入力されれば、前記クエリに係るGoFまたはGoPのGoFまたはGoPを記述する均一質感記述子を１つのフレームまたはピクチャーに相応する均一質感記述子に変換する段階と、
前記データベースで前記クエリに係るGoFまたはGoPの均一質感記述子と類似した均一質感記述子を検索する段階と、
前記検索された均一質感記述子に相応するGoFまたはGoPを類似度順に並べて検索結果値を決定する段階と、を含むことを特徴とする均一質感記述子を用いたGoFまたはGoPの検索方法。
【請求項８】
データベースの所定の代表値で代表させる簡素化は、
前記均一質感記述子の各構成要素に対して、全てのフレームまたはピクチャーの構成要素値の平均値を代表値とすることを特徴とする請求項７に記載の均一質感記述子を用いたGoFまたはGoPの検索方法。
【請求項９】
前記データベースの所定の代表値で代表させる簡素化は、
前記均一質感記述子の各構成要素に対して、全てのフレームまたはピクチャーの構成要素値を大きさ順に並べてその中間値を代表値とすることを特徴とする請求項７に記載の均一質感記述子を用いたGoFまたはGoPの検索方法。
【請求項１０】
前記データベースの所定の代表値で代表させる簡素化は、
前記均一質感記述子の各構成要素に対して、全てのフレームまたはピクチャーの構成要素値を大きさ順に並べて最小値を代表値とすることを特徴とする請求項７に記載の均一質感記述子を用いたGoFまたはGoPの検索方法。
【請求項１１】
クエリに係るGoFまたはGoPと類似したGoFまたはGoPを検索する装置において、
データベースに保存する複数のGoFまたはGoPに対して、前記GoFまたはGoPを記述する均一質感記述子を所定の代表値により簡素化させて１つのフレームまたはピクチャーに相応する均一質感記述子で表現して保存している均一質感記述子データベース（Homogeneous Texture Descriptor Data Base）と、
GoFまたはGoPがクエリとして入力されれば、前記クエリに係るGoFまたはGoPに対して所定の均一質感記述子を生成するクエリに係る均一質感記述子生成部と、
前記データベースで前記クエリに係るGoFまたはGoPの均一質感記述子と類似した均一質感記述子を検索する均一質感記述子（Homogeneous Texture Descriptor；HTD）サーチ部と、
前記検索された均一質感記述子（Homogeneous Texture Descriptor；HTD）に相応するGoFまたはGoPを類似度順に並べて検索結果値を決定するGoFまたはGoP獲得部と、を含むことを特徴とする均一質感記述子を用いたGoFまたはGoPの検索装置。
【請求項１２】
請求項1ないし10のうち何れか１項に記載の発明をコンピュータで実行させるためのプログラムを記録したコンピュータ可読記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像処理に係り、特にGoF/GoP(Group of Frames/Group of Picturesの略表記であって、以下では「Group of FramesまたはGroup of Pictures」の意味)の質感表現方法と、これを用いたGoF/GoPの検索方法及び装置に関する。
【背景技術】
【０００２】
映像において質感(texture)情報はその映像の特徴として表す重要な視覚的特徴の１つとして研究されつつある。このような映像の質感情報は映像の索引の付記(indexing)と要約化（summarizing）または内容を基準としたビデオデータ化に当って主要な下位レベル記述子(descriptor)として用いられる。また、前記映像の質感情報は電子アルバムから特定の写真を検索するか、タイルまたは織物のデータベースの内容に基づくデータの検索に有用な情報でもある。
【０００３】
ところで、ビデオシーケンスに該当するGoF(Group of Frames)や映像群に該当するGoP(Group of Pictures)を映像データベースで検索（retrieve）するためには前記GoFまたはGoPを構成するそれぞれのフレームまたはピクチャーを記述する記述子を何れもクエリ(query：問い合わせ要求)として前記映像データベースを検索（サーチ）せねばならない。例えば、100個のフレームよりなるGoFがあると仮定して前記GoFを映像データベースから検索（retrieve）するためには、前記GoFを構成するフレーム全てについてそれぞれの記述子を何れもクエリとして前記データベースがサーチされる。その結果、前記クエリに対するデータが非常に大きくなり、よって前記クエリを通じてデータベースが検索（retrieve）されるので長時間がかかる。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明が解決しようとする技術的課題は、前記問題点を解決するために、均一質感記述子(Homogeneous Texture Descriptor；以下ではHTDと表記する)を用いてGoFやGoPを記述するGoF/GoPの質感表現方法を提供することである。
【０００５】
本発明が解決しようとする他の技術的課題は、前記HTDを基本としたGoF/GoP検索方法を用いて、映像データベースからGoF/GoPを検索する方法及び装置を提供することである。
【課題を解決するための手段】
【０００６】
前記技術的課題を達成するために本発明によるGoF/GoPの質感表現方法は、(a) 前記GoFを構成する全てのフレームまたはGoPを構成する全てのピクチャーに対して前記フレームまたはピクチャーを記述するHTDを求める段階と、(b) 前記GoFまたはGoPを記述するHTDを、１つのフレームまたはピクチャーに相応する所定の代表値を用いてHTDを表現する段階と、を含むことを特徴とする。
【０００７】
前記HTDは、ガーバーフィルタリングされた（Garbour-filtered）映像の周波数領域のエネルギー平均値、エネルギー分散値、DCチャンネルのエネルギー及び前記映像の全体画素の分散値をその構成要素として含ませることができる。
【０００８】
前記(b)段階のGoFまたはGoPを所定のHTDで代表値する方法には、全てのフレームまたはピクチャーに対して、HTDの各構成要素の平均値を利用するか、HTDの各構成要素の中間値を利用するか、HTDの各構成要素の最小値を利用するか、の方法がある。
【０００９】
前記技術的課題を達成するための本発明による均一質感を用いたGoF/GoP検索方法は、クエリに係るGoF/GoPに類似したGoF/GoPを検索する方法において、データベースに保存する複数のGoF/GoPについて、前記GoF/GoPを記述するHTDを所定の代表値によって１つのフレームまたはピクチャーに相応するHTDを表現してデータベースを構築する段階と、クエリに係るGoF/GoPが入力されれば、前記クエリに係るGoF/GoPのGoF/GoPを記述するHTDを１つのフレームまたはピクチャーに相応するHTDに変換する段階と、前記データベースで前記クエリに係るGoF/GoPのHTDと類似したHTDを探す段階と、前記サーチされた（searched）HTDに相応するGoF/GoPを類似度順に並べて検索結果値を決定する段階と、を含むことを特徴とする。
【００１０】
前記データベースの所定の代表値として利用する値は、前記HTDの各構成要素に対して、あらゆるフレーム/ピクチャーの構成要素値の平均値を、あらゆるフレームまたはピクチャーの構成要素値を大きさ順に並べてその中間値を、あらゆるフレームまたはピクチャーの構成要素値を大きさ順に整列して最小値を、代表値とすることが望ましい。
【００１１】
前記技術的課題を達成するための本発明による均一質感を用いたGoF/GoP検索装置は、クエリに係るGoF/GoPに類似したGoF/GoPを検索する装置であって、複数のGoF/GoPに対して、前記GoF/GoPを記述するHTDを所定の代表値で代表させて１つのフレームまたはピクチャーに対応するHTDで表現して保存したHTDのデータベースと、クエリに係るGoF/GoPが入力されると、前記クエリに係るGoF/GoPに対して所定のHTDを生成するクエリに係るHTD生成部と、前記データベースで前記クエリに係るGoF/GoPのHTDと類似したHTDをサーチするHTDサーチ部と、前記検索されたHTDに相応するGoF/GoPを類似度順に並べて検索結果値を決定するGoF/GoP獲得部と、を含むことを特徴とする。
【００１２】
そして、前記に記載の発明の方法を実施するため、コンピュータで実行させるためのプログラムを記録したコンピュータ可読記録媒体を提供することも本発明に含まれる。
【発明の効果】
【００１３】
本発明によるGoF/GoPの質感表現方法と、これを用いたGoF/GoP検索方法及び装置によれば、映像の質感をさらに正確に表現し、効率的かつ迅速な検索が可能である。
【発明を実施するための最良の形態】
【００１４】
以下、添付された図面を参照して本発明に係るGoF/GoPの質感表現方法と、これを用いたGoF/GoP検索方法及び装置について詳細に説明する。
【００１５】
図1は、本発明によるGoF/GoPの質感表現方法を示すフローチャートである。まず、任意のGoFまたはGoPが入力されれば、前記GoFまたはGoPを構成しているフレームまたはピクチャー各々に対してHTDを求める(付番100の段階)。例えば、GoFが100個のフレームより構成されていれば、前記GoFは100個のHTDが生成される。
【００１６】
前記HTDを生成する一例を説明すれば次の通りである。まず、任意の映像が入力されれば前記映像をフーリエ変換して入力された映像を直交座標系または極座標系を周波数領域に変換する。次いで，ラドン変換(Radon Transform)した後、1次元フーリエ変換すれば極座標系が周波数領域に変換される。ここで、前記ラドン変換とは、2次元映像または多次元マルチメディアデータを角度によって線積分しつつ１次元投影データを得る一連の過程をいう。すなわち、物体は見る角度によって見かけの形状が異なり、１つの物体を全ての角度から見ればその物体の輪郭を推定できる。ラドン変換はこのような原理を用いたものである。
【００１７】
次いで、前記極座標系映像から周波数領域に変換された映像をガーバーフィルター(Garbor Filter)を用いて所定の周波数分割領域でフィルタリングする。前記ガーバーフィルターは、一例として放射方向に5領域、角度方向に6つに分割された5x6フィルター数を有するガーバーフィルターが使われうる。
【００１８】
次いで、直交座標系映像から周波数領域に変換された映像または極座標系映像から周波数領域に変換された映像から前記ガーバーフィルタリングされた映像の質感特徴を抽出する。この際、上記の直交座標系から変換された周波数領域または極座標系から変換された周波数領域はいずれも人間視覚認知システムに基づいて細分されうるが、前記細分された各周波数領域を特徴チャンネルという。
【００１９】
前記映像の質感特徴はガーバーフィルタリングされた各周波数領域のエネルギー平均値とエネルギー分散値、DCチャンネルのエネルギー及び前記映像の全画素の分散値をその構成要素として含む。
【００２０】
前記各周波数領域、すなわち各チャンネルに対して、エネルギー平均値とエネルギー分散値とを求めると、HTDは数式（1）のように表現される。
【００２１】
【数２】
2005063418.tif 000003
【００２２】
ここで、fSTDは映像の全画素の分散値を、fDCはDCチャンネルのエネルギーを、e(i)(i=1, CDOTS, 30)はガーバーフィルタリングされたチャンネルでのエネルギー平均値を、d(i)(i=1, CDOTS, 30)はガーバーフィルタリングされたチャンネルでのエネルギー分散値を示す。
【００２３】
従って、本発明の実施例で前記各フレームまたはピクチャーに対するHTDの構成は数式1により表1に示されたように62個の値よりなる。
【００２４】
【表１】
2005063418.tif 000004
【００２５】
GoFまたはGoPを構成している全てのフレームまたは全てのピクチャーに対してHTDが求められれば、GoF/GoPのHTDを所定の代表値を用いて１つのフレーム、ピクチャーに相応するHTDで表現する(150段階)。
【００２６】
図2は、前記所定の代表値を利用する簡素化に関する概略図を示す図面である。前記所定の代表値で代表させる簡素化には本発明においては次の３つの方法がある。
【００２７】
第1の方法は、前記HTDの各構成要素に対して、全てのフレームまたはピクチャーの構成要素値から求めた平均値を代表値とするものである。これを式で示せば数式（２）のようである。
【００２８】
【数３】
2005063418.tif 000005
【００２９】
ここで、AvgHTk(j)はk番目ビデオショットに対するj番目の構成要素の平均を、HTi(j)はi番目のフレームで均一質感Dのj番目の構成要素を、bkはショットの最初のフレームを、ekはショットの最後のフレームを、Mはショットでのフレーム数を、各々示す。
【００３０】
第2の方法は、前記HTDの各構成要素に対して、全てのフレームまたはピクチャーの構成要素値を大きさ順に並べてその中間値を代表値とするものである。これを式で示せば数式（３）のようである。
【００３１】
【数４】
2005063418.tif 000006
【００３２】
ここで、MedianHTk(j)はk番目のビデオショットに対するj番目の中間値を、HTi(j)はi番目のフレームで均一質感Dのj番目の構成要素を、bkはショットの最初のフレームを、ekはショットの最後のフレームを、各々示す。
【００３３】
第3の方法は、前記HTDの各構成要素に対して、全てのフレームまたはピクチャーの構成要素値を大きさ順に並べて最小値を代表値とするものである。これを式で示せば数式（４）のようになる。
【００３４】
【数５】
2005063418.tif 000007
【００３５】
ここで、IntHTk(j)はk番目のビデオショットに対するj番目のintersection値を、HTi(j)はi番目のフレームで均一質感Dのj番目の構成要素を、bkはショットの最初のフレームを、ekはショットの最後のフレームを、各々示す。
【００３６】
前記HTDを用いたGoF/GoPの質感表現方法についてのDDL(Description Definition Language)表現方式によるsyntax（構文）を示せば次のようである。
【００３７】
2005063418.tif 000008
【００３８】
また前記HTDを用いたGoF/GoPの質感表現方法についての2進表現方式によるsyntaxは表2に示す。
【００３９】
【表２】
2005063418.tif 000009
【００４０】
前記記述子（descriptor）のsemantics（語義）を簡略に説明すれば次のようなものである。
【００４１】
DescriptorIDフィールドはdescriptor identifierを２進表現であると規定する。前記descriptorとしては、Color Layout（色配置）、Dominant Color（優勢色）、Edge Histogram（エッジ・ヒストグラム）、Homogeneous Texture（均一質感）などがある。例えば、前記Color Layoutは2、前記Dominant Colorは7、前記Edge Histogramは8、前記Homogeneous Textureに対するIDは12となりうる。
【００４２】
SizeOfDescriptorフィールドはdescriptorの大きさを規定し、２進表現を使用する。
【００４３】
DescriptorフィールドはISO/IEC 15938-3において定義されたdescription toolを使用して構成要素の特徴を示す。Descriptorフィールドには8ビットが割当てられ、SizeOfDescriptorと同じビット数である。
【００４４】
AggregationFlagフィールドはaggregationの属性の存在を表現している。前記aggregationの属性としてはAverage、Median、SplitMergeがある。
【００４５】
図3は、本発明によるHTDを用いたGoF/GoP検索装置の構成を示すブロック図であって、前記GoF/GoP検索装置はHTDデータベース300、クエリに係るHTD生成部320、HTD検索部340及びGoF/GoP獲得部360を含んでなる。
【００４６】
前記HTDデータベース300はデータベースに保存する複数のGoF/GoPに対して、前記GoF/GoPを記述するHTDを所定の代表値で代表させて１つのフレーム/ピクチャーに相応するHTDで表現して保存している。前記クエリに係るHTD生成部320はGoF/GoPがクエリとして入力されれば、前記クエリに係るGoF/GoPに対して所定のHTDを生成する。
【００４７】
前記HTDデータベース300及びクエリに係るHTD生成部320でのHTDを所定の代表値で代表させる方法は前述した本発明によるGoF/GoPの質感表現方法で説明した方法と同一である。
【００４８】
前記HTD検索部340は前記HTDデータベース300で前記クエリに係るGoF/GoPのHTDと類似したHTDを検索する。前記GoF/GoP獲得部360は前記検索された類似したHTDに相応するGoF/GoPを類似度順に並べて検索結果値を決定する。
【００４９】
図4は、本発明によるHTDを用いたGoF/GoP検索方法を示すフローチャートであって、前記図3を参照して本発明による前記HTDを用いたGoF/GoP検索装置の動作を説明する。
【００５０】
まず、複数のGoFまたはGoPに対してHTDデータベースが構築され、前記GoFまたはGoPの各々は１つのHTDによって表現される(400段階)。GoFまたはGoPをクエリとして入力する(420段階)。前記GoF/GoPがクエリとして入力されれば、クエリに係るHTD生成部320により前記クエリに係るGoF/GoPのGoF/GoPを記述するHTDを１つのフレームまたはピクチャーに相応するHTDに変換する(440段階)。次いで、前記HTD検索部340は前記HTDデータベース300で前記クエリに係るGoF/GoPのHTDと類似したHTDを探す(460段階)。最後に前記GoF/GoP獲得部360により前記類似したHTDに相応するGoF/GoPを類似度順に並べて検索結果値を決定する(480段階)。Incorrect translation as have mentioned.
【００５１】
一方、本発明によるHTDを用いたGoF/GoP検索方法及び装置について、データセットを用いて実験した結果は次の結果が得られた。
【００５２】
まず、前記データセットはM5124（ISO/IEC JTC1/SC29/WG11 M5124 "Core Experiment on Group-of-Frames/Pictures Histogram Descriptors (CT7)"）で定義されたデータセットと クエリとを含み、M9811（ISO/IEC JTC1/SC29/WG11 M9811 "Dataset and Ground Truth set for VCE-3 (Definition and use of a new "TimeSequence data" container)"）で定義された33個のクエリを有する1822のショットで構成される。
【００５３】
次のようなビデオシーケンスが使われた。
【００５４】
2005063418.tif 000010
【００５５】
そして、前記データセットについて質感分布特性を示す次のようなビデオシーケンスが加えられた。
【００５６】
2005063418.tif 000011
【００５７】
前記HTDを使用したANMRR（Averaged Normalized Modified Retrieval Rate）の結果は表3のようである。
【００５８】
【表３】
2005063418.tif 000012
【００５９】
前記表3に示されたように前記第1の方法である平均値と第2の方法の中間値が特に優れた検索性能を示すことが分かる。
【００６０】
本発明はコンピュータ可読記録媒体に記録されたコンピュータ(情報処理機能を有するあらゆる装置を含む)可読コードとして具現化できる。コンピュータ可読記録媒体はコンピュータシステムによって読取られるデータが保存されるあらゆる種類の記録装置を含む。コンピュータ可読記録装置の例としては、ROM、RAM、CD-ROM、磁気テープ、フロッピーディスク、光データ蓄積装置などがある。
【００６１】
本発明は図面に示された実施例を参考に説明された。しかし、これらは例示的なものに過ぎず、本発明の特許請求の範囲に開示された技術的思想の範囲を超えることなければ、本発明の基礎的技術的思想の範囲において当業者ならばなし得る多様な変形及び均等な他の実施が形式、形態を問わず本発明に含まれるという点を理解できるであろう。
【産業上の利用可能性】
【００６２】
本発明は映像検索システムに適用される。特に、映像の質感を効率よく表現し、膨大な映像データから特定のビデオシーケンスや複数のピクチャーを迅速に検索するのに用いられる。
【図面の簡単な説明】
【００６３】
【図１】本発明によるGoF/GoPの質感表現方法を示すフローチャートである。
【図２】前記所定の代表値で代表させる簡素化に関する概略図を示す図面である。
【図３】本発明によるHTDを用いたGoF/GoP検索装置の構成を示すブロック図である。
【図４】本発明によるHTDを用いたGoF/GoP検索方法を示すフローチャートである。
【図１】
2005063418.tif 000014
【図２】
2005063418.tif 000015
【図３】
2005063418.tif 000016
【図４】
2005063418.tif 000017