(57)【要約】【課題】基準映像及び画像と検索対象映像及び画像を比較して適切な特徴量に変換し、人間の類似感覚と一致した検索結果を得る。【解決手段】復号化映像に基づいて輝度と色相とに分解し、輝度について、時空間フィルタに基づく補正を行った後に明暗の対比による分類を行う。色相について、必要に応じて時空間フィルタによる補正を行った後に色彩トーンの分類を行う。これらの分類の結果により特徴量を算出し、特徴量の一致に基づいて類似映像を検索する。【選択図】図３
2008199136.tif 000002
【特許請求の範囲】
【請求項１】
蓄積された映像の中から入力された映像と類似する映像を検索する類似映像検索装置であって、
前記入力された映像に対して人間の生理学的な視覚特性に基づく補正を行う映像補正部と、
該補正部において補正された後の映像において、明暗対比に基づいて映像を分類する第１分類部と、
前記補正後の映像において、色彩トーンに基づいて映像を分類する第２分類部と、を備え、
前記第１分類部による分類結果と前記第２分類部による分類結果とに基づいて映像特徴量を生成する特徴量生成部と、
前記映像特徴量に基づいて類似する映像を検索する検索部と
を有することを特徴とする類似映像検索装置。 
【請求項２】
前記映像補正部は、
入力映像を輝度・色相に分解し、輝度と色相とのそれぞれに関する時間周波数特性及び空間周波数特性の両方の視覚特性により輝度と色相とを補正することを特徴とする請求項１に記載の類似映像検索装置。
【請求項３】
輝度と色相とのそれぞれについて、前記時間周波数特性及び前記空間周波数特性のテ‐ブルを参照することにより補正を行うことを特徴とする請求項２に記載の類似映像検索装置。
【請求項４】
前記時空間特性で補正された前記輝度情報については、明暗対比の分類を行い、色相については、色彩トーンによる分類を行った後に、映像特徴量としてベクトル化し、他の入力映像と比較することにより映像の類似度を演算することを特徴とする請求項３に記載の類似映像検索装置。
【請求項５】
前記人間の生理学的な視覚特性による補正を行った後に、明暗対比による分類、色彩トーンによる分類を行うことを特徴とする請求項１から４までのいずれか１項に記載の類似映像検索装置。
【請求項６】
入力された符号化映像を復号する途中の過程で、動きベクトル及びＤＣＴ係数を取り出し、動きベクトルを時間周波数特性による補正に利用し、ＤＣＴ係数を空間周波数特性による補正に利用することを特徴とする請求項１に記載の類似映像検索装置。
【請求項７】
前記人間の生理学的な視覚特性による補正を行う補正手段であって、入力映像を、輝度、色相（赤-緑）と色相（黄-青）とに分解し、時間周波数特性又は空間周波数特性の少なくとも一方の視覚特性による補正手段を備える請求項１に記載の類似映像検索装置。
【請求項８】
映像に関して、人間の生理的な視覚特性を反映した映像特徴量を算出する映像特徴量算出部と、
予め記録されている映像の特徴量と新たに入力された映像の特徴量とを比較する映像特徴量比較手段と、
前記特徴量の比較に基づいて類似する映像を検索する類似映像検索部と、を備え、
前記映像特徴量算出部は、
映像に含まれる画像の輝度成分と色相成分に分解する輝度・色相分解部と、
人間の生理的視覚特性のうち、輝度に対する時間的な視覚特性を用いて、映像に含まれる画像の輝度成分の補正を行う輝度時間周波数フィルタ部と、
人間の生理的視覚特性のうち、輝度に対する空間的な視覚特性を用いて、映像に含まれる画像の輝度成分の補正を行う輝度空間周波数フィルタ部と、
人間の生理的視覚特性のうち、赤-緑の色相に対する時間周波数の視覚特性を用いて、映像に含まれる画像の色相（赤-緑）成分の補正を行う色相（赤-緑）時間周波数フィルタ部と、
人間の生理的視覚特性のうち、赤-緑の色相に対する空間周波数の視覚特性を用いて、映像に含まれる画像の色相（赤-緑）成分の補正を行う色相（赤-緑）空間周波数フィルタ部と、
人間の生理的視覚特性のうち、黄-青の色相に対する時間周波数の視覚特性を用いて、映像に含まれる画像の色相（黄-青）成分の補正を行う色相（黄-青）時間周波数フィルタ部と、
人間の生理的視覚特性のうち、黄-青の色相に対する空間周波数の視覚特性を用いて、映像に含まれる画像の色相（黄-青）成分の補正を行う色相（黄-青）空間周波数フィルタ部と、
輝度に関する人間の生理学的視覚特性を用いて補正された画像を、輝度の割合により、複数のトーンに分類する明暗対比分類部と、
色相に関する人間の生理学的視覚特性を用いて補正された画像を明度と彩度の割合により、複数のトーンに分類する色彩トーン分類部と、を備え、
前記明暗対比分類部による分類結果と色彩トーン分類部による分類の結果とを合わせて、映像特徴量比較のための特徴量とすることを特徴とする類似映像検索装置。
【請求項９】
前記映像特徴量算出部は、圧縮動画を復号する符号化映像復号部からの、ＤＣＴ係数（空間周波数特性）、動きベクトル（時間周波数特性）及び復号映像を入力とすることを特徴とする請求項８に記載の類似映像検索装置。
【請求項１０】
前記映像特徴量に基づいてシーンを分割する手段を有することを特徴とする請求項８又は９に記載の類似映像検索装置。
【請求項１１】
前記映像特徴量の連続性に基づいて、明暗対比及び色彩のトーンの組み合わせ自体が類似した複数シーンをまとめる手段を有することを特徴とする請求項８又は９に記載の類似映像検索装置。
【請求項１２】
蓄積された映像の中から入力された映像と類似する映像を検索する類似映像検索方法であって、
人間の生理学的な視覚特性による補正を行うステップと、
明暗対比により入力映像を分類するステップと、
色彩トーンにより入力映像を分類するステップと、を備え、
前記明暗対比の分類結果と色彩トーンの分類結果とに基づいて映像特徴量を生成するステップを有することを特徴とする類似映像検索方法。 
【請求項１３】
前記人間の生理学的な視覚特性による補正は、
入力映像を輝度・色相に分解し、時間周波数特性もしくは空間周波数特性の少なくとも一つ以上の視覚特性により補正することを特徴とする請求項１２に記載の類似映像検索方法。
【請求項１４】
人間の生理学的な視覚特性による補正を行った後に、明暗対比による分類、色彩トーンによる分類を行うことを特徴とする請求項１２又は１３に記載の類似映像検索方法。
【請求項１５】
入力された符号化映像を復号する途中の過程で、動きベクトル及びＤＣＴ係数を取り出し、動きベクトルを時間周波数特性による補正に利用し、ＤＣＴ係数を空間周波数特性による補正に利用し、人間の生理学的な視覚特性の補正を行うステップを有することを特徴とする請求項１２に記載の類似映像検索方法。
【請求項１６】
人間の生理学的な視覚特性による補正を行う際に、入力映像を輝度、色相（赤-緑）、色相（黄-青）に分解し、時間周波数特性もしくは、空間周波数特性の少なくとも一つ以上の視覚特性により補正することを特徴とする請求項１２に記載の類似映像検索方法。
【請求項１７】
請求項１２から１６までのいずれか１項に記載のステップをコンピュータに実行させるためのプログラム。
【請求項１８】
請求項１７に記載のプログラムを記録するコンピュータ読みとり可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像検索技術に関し、特に、複数の映像の中から類似するシーンを検索する類似映像検索装置及び類似映像検索方法に関する。
【背景技術】
【０００２】
近年、ネットワーク技術の発達やデータストレージの大容量化に伴って、大量の映像コンテンツを保持し、それに基づいてコンテンツを視聴することが可能になってきている。放送局や制作会社などのコンテンツホルダーが保持する大量の映像のみではなく、ハードディスクレコーダ等の普及による保存された大量のコンテンツ、インターネット上の膨大な映像コンテンツなど、今後さらに映像コンテンツが増えていくことが予想されおり、効率的な映像検索技術がより求められてくる。
【０００３】
現在、映像検索手段の最も一般的な形態として、キーワード検索がある。例えば、検索対象の映像のシーン毎に予めキーワードを付与しておき、所望の映像シーンを検索する際には、この付与されたキーワードを手がかりに検索を行う方法である。しかながら、この方法では、映像シーンにキーワードを予め付与する必要があるが、その作業は人手によるのが一般的である。ところで、大量の映像データに対してキーワードを付与する作業に膨大な労力が必要となることに加え、たとえ自動的にキーワードを付与しようとしても、シーン中のどの情報に着目するかにより、付与するキーワードが異なってくるため、一貫した基準に従ってキーワードを付与することが困難である。
【０００４】
別の映像検索手段として、映像に含まれるシーン、もしくは、そのシーンに含まれる画像自体を検索の手がかりとして、検索を行う方法がある。この方法では、検索対象となる映像に含まれるシーンの個々の画像データから特徴量を抽出し、その特徴量を比較することによって類似する類似シーンやそのシーンに含まれる画像を検索結果として抽出する。
【０００５】
一般的に、検索対象となる映像に含まれるシーンもしくは、そのシーンに含まれる画像の濃淡、色、テクスチャ、画像要素となるオブジェクトの形状、配置、内容等の情報は、その画像が持つシーンや、そのシーンに含まれる画像により特徴的なパターンを示す。したがって、濃淡、色、テクスチャ、画像要素となるオブジェクトの形状、配置、内容等色彩やエッジに関する情報は、シーンやそのシーンに含まれる画像及び、物体等を検索、分類及び識別等をするための重要な手がかりとなる。
【０００６】
このような映像のシーンに含まれる画像の濃淡、色、テクスチャ、画像要素となるオブジェクトの形状、配置、内容等色彩やエッジに関する情報を利用した従来の映像検索方法として、ＲＧＢ（色の三原色としての赤・緑・青）やＨＳＶ（マンセル表色系における色相・彩度・輝度）等の表色系において、各画像の濃淡レイアウト情報、エッジパターン情報、色情報のヒストグラム等を利用し、基準画像に類似する類似画像を検索する手法が種々提案されている。
【０００７】
例えば、特許文献１（特開2000-48181号公報）では、画像が持つ複数の特徴量それぞれについて重み付けを自動的に行い、重み付けされた特徴量に基づいて画像間の類似性を比較する方法が開示されている。この方法は、基準画像および検索対象となる画像データの各々から複数の特徴量を抽出するものである。当該方法では、特徴量として、基準画像の彩度の平均値Ｃ０、スペクトラム画像のピーク値Ｐ０、エッジの強さＥ０が例示されており、基準画像から抽出した特徴量に基づいて、各特長量に適用される重み付けが決められる。例えば、色に関する特徴量の重み付けＷｃ、テクスチャに関する重み付けＷｔが決定される。ここで、基準画像の彩度の平均値Ｃ０が大きいほど色の重み付けＷＣを大きくし、基準画像のスペクトラム画像のピーク値Ｐ０およびエッジの強さＥ０が大きいほどテクスチャの重み付けＷｔを大きく設定する。
【０００８】
色の類似度ＲＣとテクスチャの類似度Ｒｔは、類似度は公知の手法により、それぞれ別個に求められる。例えば、色の類似度ＲＣはキー画像の彩度の平均値Ｃ０と検索対象の画像の彩度の平均値Ｃｊとから求められ、テクスチャの類似度Ｒｔはキー画像のスペクトラム画像のピーク値Ｐ０  、エッジの強さＥ０と検索対象の画像のスペクトラム画像のピーク値Ｐｊ、エッジの強さＥｊとから求められる。そして、総合類似度Ｒａは、
【数１】
2008199136.tif 000003
として定義される。ここで、Ｗｋはキー画像についての第ｋの特徴量についての重みを、Ｒｋはキー画像と検索対象の画像との第ｋの特徴量についての類似度を表し、Σはパラメータｋについての総和を表している。 
【０００９】
当該方法では、色のウェイトＷｃ  、テクスチャのウェイトＷｔ  、色の類似度ＲＣ  、テクスチャの類似度Ｒｔから、総合類似度Ｒａを（ＷＣＲＣ＋ＷｔＲｔ）/（ＷＣ＋Ｗｔ）として求め、 総合類似度が所定のしきい値よりも大きいか否かの判断を行い、大きい場合にはキー画像と検索対象の画像とが類似していると判断している。
【００１０】
このように、基準画像の特徴に従って算出される重み付けされた特徴量を利用することによって、テクスチャの周期性やエッジの強度が弱く、彩度が高い基準画像では色を重視し、逆に、彩度が低く、テクスチャの周期性やエッジが強い基準画像ではテクスチャを重視して画像を検索することができる。
【００１１】
さらに、特許文献２（特開平5-174072号公報）及び特許文献３（特開平7-46517号公報）では、映像コンテンツのショットの長さ情報、もしくは、シーン長を特徴量として用いた類似映像検索手法が提案されている。これらの方法では、映像シーンの切り替わり（カット点）で区切ることができる部分映像を１つのショットとして定義し、その時間長を特徴量とする方法である。特徴量の照合は、ショット長のシーケンスをそれぞれ逐一比較することにより実現される。
【００１２】
さらに、特許文献４（特開2000-123173号公報）に開示の技術では、画像データを複数の小領域に分割して各小領域における画像濃淡情報を検出するとともに、検出した画像濃淡情報に基づく濃淡レイアウトを定量化し、この定量化された濃淡レイアウトを画像データの全体または小領域単位の画像特徴として抽出することを特徴としている。そして、この定量化された濃淡レイアウトである画像特徴量を用いて、画像データベースに蓄積された画像データと比較対象となる画像データとの類否判定を行う手法を提案し、類似画像をより多くの基準で検索できるようにするための様々なサービスメニューを設け、利便性の向上を行っている。
【００１３】
さらに、特許文献５（特開平2002-63208号公報）では、人の視覚特性に基づいて、基準画像に類似する類似画像を効率よく検索することができる画像検索装置、画像検索手法が提案されている。この手法は、互いに異なる色相に反応する色相フィルタをもうけ、基準画像に対する色相フィルタの各応答出力の平均値及び標準偏差と比較画像に対する色相フィルタの各応答出力の平均値及び標準偏差との差をそれぞれ加算して、類似度を求める手法である。この手法は、以下のような理由を考慮して考案されている。
【００１４】
ＤＣＴ等を用いた画像符号化方法は、信号処理的な観点から画像データを圧縮符号化するものであり、人の視覚特性のうち空間周波数感度のみが考慮されていること、ＲＧＢ及びＨＳＶ等の色空間に基づく画像検索方法では、信号処理的な観点から見た類似度により基準画像に類似する類似画像を検索しているため、実際に画像を見た時の人間の視覚的な印象とは異なることが多く、人の視覚特性に基づいて基準画像に類似する類似画像を抽出することができないという理由による。
【００１５】
さらに、特許文献６（特開平8-194714号公報）では、圧縮動画像の検索を行なう際に、圧縮動画像から、動き情報を抽出する処理を軽減することによって、検索装置に圧縮動画像を入力してから検索可能となるまでの時間を短縮し、検索装置の利便性を向上させる手法、及び、動画中に出現する物体の動きだけでなく、動いた物体の大きさ、形状を自動抽出し、検索の情報として用いる手法が提案されている。
【００１６】
これは、時系列の圧縮率を向上させるために公知の動き補償アルゴリズムで生成された動きベクトルのデータを圧縮動画像の内部に持っているＭＰＥＧ１、ＭＰＥＧ２と呼ばれる圧縮方式の圧縮動画像を対象としている。通常、動き情報を求めるには、圧縮動画像に復号処理し、非圧縮動画像に変換した後に、動き情報を抽出する。圧縮動画像を非圧縮動画像に復号する処理には、多くの計算が必要であり、非圧縮動画像から動き情報を抽出する処理も、フレームを分割したブロック単位で行われるため、多くの計算が必要となる。したがって、圧縮動画像から動き情報を抽出するには、多大な処理が必要となり、圧縮動画像を入力してから、動き情報による検索が可能になるまでに処理時間がかかり、即座に検索可能とはならないという問題がある。特許文献６に記載の発明では、動き情報による検索を行なうために、圧縮動画像に復号処理を施し、非圧縮動画像に変換した後に動き情報を抽出するという過程を行わず、圧縮動画像から直接動きベクトルを抽出し、形状データの生成及び検索情報の生成を行うことで計算量の軽減及び計算時間の短縮を行い圧縮動画の検索装置の利便性を向上させている。
【００１７】
【特許文献１】特開2000-48181号公報
【特許文献２】特開平5-174072号公報
【特許文献３】特開平7-46517号公報
【特許文献４】特開2000-123173号公報
【特許文献５】特開2002-63208号公報
【特許文献６】特開平8-194714号公報
【非特許文献１】池田光男、視覚の心理物理学、森北出版、1975
【非特許文献２】日本視覚学会（編）、視覚情報処理ハンドブック、朝倉出版、2000
【非特許文献３】堀田裕弘、ディジタル画像の評価法と国際標準、トリケップス、2006
【非特許文献４】大山正  他（編）、新編  感覚・知覚心理学ハンドブック、誠信書房、1994
【非特許文献５】松島洋之（編）、テレビ番組制作技術の基礎、社団法人日本映画テレビ技術協会、1996
【非特許文献６】森田敏夫  他（監）、テレビ番組の制作技術-基礎からノウハウまで、兼六館出版、1991
【発明の開示】
【発明が解決しようとする課題】
【００１８】
しかしながら、前述の如く、映像中の類似シーン及びそのシーンに含まれる類似画像の検索においては、人間の類似感覚と一致したものを検索するという観点ではなく、本来、映像及び画像が持っている特徴量同士が数学理論的な立場から一致するかどうかという観点で技術開発がなされている。そのため、上記特許文献に記載の技術では、映像及び画像が持つ特徴量同士を数学的に比較するという点では厳密に一致した映像及び画像が検索されることになるが、人間がその映像を比較した場合、必ずしも人間の類似感覚と一致した検索結果が得られるとは限らないという問題があった。すなわち、従来の類似画像検索で得られる類似度は、実際の人間の類似感覚とは異なるという問題がある。
【００１９】
例えば、台風の中継映像など、激しい雨の中で傘をさしながらアナウンサーがその状況を説明している場面と、雨の日の街頭インタビューなど、激しい雨ではないが、同じように傘をさしながら一般の人がインタビューに答えている場面とでは、映像及び画像が本来持っている特徴量の数学的な比較という観点、すなわち、映像もしくは画像全体が一致しているかという観点からは、一致度は低い。
【００２０】
しかしながら、人間の類似感覚という観点からみると両者の一致度は高いと考えられる。なぜなら、人間が視覚情報的に類似していると判断している際に着目しているのは、傘をさしている人が映っているという点であり、人間が着目している類似部分として、一致度が高いと考えられるためである。
【００２１】
さらに細かく言えば、雨が強いか弱いかに関しては、人間の類似感覚からいうとさほど大きな問題ではない。これに対し、数学的な比較という点では、雨の降り具合、傘をさしている人が映っているかどうか、傘をさしている人の回りの様子などが映像及び画像の特徴量という観点から比較することとなる。
【００２２】
さらに、別の具体例として、台風の中継映像など、激しい雨の中で傘をさしながら、アナウンサーが状況を説明している場面において、アナウンサーが大きな岩の横で状況を説明している映像の場合、大きな岩がある／ないという条件で、映像及び画像が本来持つ画像特徴量の数学的な比較という観点では、類似しない映像と判断される。これは、映像及び画像が本来持つ特徴量の数学的な比較という観点では、大きな岩の横かどうかが類似性判断の一つの大きな要素となってしまい、異なる映像と判断されるためである。
【００２３】
一方、人間の類似感覚からは類似した映像と判断される。これは、上記の問題と同様に、人間の類似感覚は、傘をさしている人の回りの様子の違い、すなわち、大きな岩の横かどうかというよりも、傘をさしている人その自身に注目していることが理由に挙げられる。
【００２４】
上記の例からわかることは、映像及び画像が本来持つ画像特徴量の数学的な比較という観点を重視すると、映像及び画像が持つ全ての特徴量を考慮してしまうため、人間の類似感覚と一致しない場合があるという問題点が生じているということが分かる。
【００２５】
この問題の解決するためには、映像及び画像が持つ全ての特徴量と、人間の視覚特性を考慮した類似感覚と、を結びつける必要がある。静止画では考慮する必要のなかった動画の類似検索という課題特有の問題、すなわち、人間の視覚特性では、動きの早い映像、遅い映像、静止した映像を同じような比率で重視しているわけではなく、生理学的な視覚特性の知見を反映した映像及び画像特徴量に変換した後に、この特徴量を数学的に比較する必要がある。もちろん、この生理学的な視覚特性は、映像の動きの早さに関してだけでなく、映像中に映っている物体の色や大きさに関しても同様である。
【００２６】
このことは、人間の視覚特性を生理学的に考察した結果の知見である空間周波数特性及び時間周波数特性を、映像及び画像が本来持つ画像特徴量の空間周波数特性及び時間周波数特性に反映することと等価である。
【００２７】
このように、映像及び画像が本来持つ画像特徴量を数学的に比較するというだけでは、人間の類似性判断と一致した映像及び画像を精度良く検索することは難かしい。そこで、人間の生理的な視覚特性を考慮した適切な特徴量に変換して、類似映像・画像を抽出する手段が必要となる。
【００２８】
ここで、人間の生理的な視覚特性を考慮した類似映像・画像を抽出する方法・装置について検討するために、まず、人間の視覚特性という観点を考慮し、視覚の明るさ知覚特性、空間周波数特性、時間周波数特性、について説明する。人間の生理的な視覚特性は、空間的な広がり（空間周波数特性）と、時間的な変化（時間周波数特性）と、に関連している。さらに、その時の照明光に対する明るさ知覚特性もこの二つの周波数特性に関係する。
【００２９】
照明の明るさ知覚感覚に関する人間の生理的視覚特性としては、ブロッカ・ザルツァー（Broca-Sulzer）効果がよく知られている。ブロッカ・ザルツァー効果とは、刺激光の持続時間によってその明るさ知覚が変わる（増幅もしくは減少される）現象をいう。例えば、200トロランド（td）の刺激光は、30ミリ秒のあたりで最も明るさ知覚が増大される。これは、同じ明るさでも、最も効率よく明るさが知覚できる継続時間があるということを示している。さらに、ブロッカ・ザルツァー効果は、刺激光が強くなると増大し、そのときの最も効果の高い刺激光の持続時間は短くなる。刺激光が弱くなると、効果は小さくなり、そのときのもっとも効果の高い刺激光の持続時間も長くなる。この現象は、両眼視の場合さらに顕著に効果が現れることが確認されている。しかし、あまりに強い刺激光の場合には、この効果が弱まることも示唆されている。言い換えると、人間の視覚特性は、映っている映像に対して、最もよく映像を知覚できる明るさがあり、それよりも暗すぎても明るすぎても効果が弱まるということが言える（非特許文献１：ブロッカ・ザルツァー効果；166ページ、非特許文献３：視覚の時間周波数特性；15ページ、非特許文献４：338ページ）。
【００３０】
視覚の空間周波数特性については、その特性を表現するために、光刺激を正弦波（明るい暗いの波の刺激）として与えた時のコントラスト閾値から求めたコントラスト感度関数（Contrast Sensitivity Function; CSF）を用いることが多い。閾値を測定する際のコントラストとしては、光刺激の正弦波の振幅の平均輝度に対する比率（マイケルソンコントラスト）が用いられる。このコントラスト閾値は、刺激光の振幅を変化させた時の被験者が知覚できる最小のコントラストである。
【００３１】
コントラスト感度は、9td（トロランド）以上では、３〜５cycle/°付近に感度の最大を持つ帯域通過型（バンドパス）の特性を示すが、それより低い照度では、コントラスト感度は低下するとともに、帯域通過型（バンドパス）から低域通過型（ローパス）の特性に変化する。明るい環境の帯域通過型（バンドパス）の特性は、画像のエッジを強調する効果（３〜５cycle/°付近の周波数成分の強調）があることを意味する。それに対し、暗い環境の低域通過型（ローパス）の特性は、広い範囲から信号を集めることに対応し、感度を上げることを重要視したメカニズムとなっている。（非特許文献２：コントラスト閾値；193ページ、非特許文献３：視覚の空間周波数特性；12ページ、非特許文献４：時空間相互作用；579ページ）
【００３２】
人間の視覚系の時間周波数特性は、フリッカー（ちらつき；flicker）実験によってもこれまで盛んに行われてきた。それによれば、刺激光全体の平均輝度が小さい場合は、ローパスフィルタの特性を持つ。交照測光（flicker photometry;１８０°位相を反転させた刺激光）の時間周波数が５Hzくらいからコントラストは急激に減少しはじめ、２０Hzになると、コントラストをいくら大きくしてもちらつきは見えなくなる。次に、刺激光全体の平均輝度を段々大きな値にしていくと、中間周波数特性領域で感度が上昇しはじめ、ピークを持ってからやがて減少し、バンドパスフィルタの特性となる。コントラスト感度のピーク周波数は、刺激光全体の平均輝度の値によって異なるが、約１０から３０Hz程度の間にある。
【００３３】
さらに、フリッカー閾（フリッカーを感じる閾値）は、刺激光全体の平均輝度のいかんに関わらず、常に平均輝度からの差分輝度によって決定される。すなわち、平均輝度の大きさによって、フリッカー閾は変わるのではなく、刺激光と平均輝度との差の絶対値の大きさによって変わるということを示している。言い換えれば、フリッカー閾は、画面全体の明るさではなく、画面中の明暗対比の状態（組み合わせ）によって変わるということを示している。さらには、映像の中のオブジェクトの動きは、知覚にもっとも適した動き速度があり、遅すぎる動きや早すぎる動きの映像もしくは、映像の中のオブジェクトは知覚しにくいことを示している。（もちろん、人間が映像中のどのオブジェクトに興味を抱き、注視しているかという問題もある。）（非特許文献１：時間周波数特性；180ページ、非特許文献２：コントラスト感度特性；220ページ、非特許文献３：視覚の時間周波数特性；15ページ、非特許文献４：視覚系の時間特性；551ページ）
【００３４】
次に、色覚の時空間周波数について説明する。色覚のコントラスト感度関数は、輝度のコントラスト感度関数と次の２つの点で異なっている。１つは、色のコントラスト感度関数は高空間周波数側での感度減衰とカットオフが輝度のコントラスト感度関数より低空間周波数で起こること、２つ目は、色のコントラスト感度関数は低空間周波数での感度の低下が見られないということである。つまり、輝度のコントラスト感度関数が帯域通過型（バンドパス）の特性を持つものに対し、色のコントラスト感度関数は低域通過型（ローパス）である。例えば、Mullenらによれば、０．５cycle/°以下の低周波数帯域では色コントラストの方が感度が良く、それ以上の周波数帯域では輝度コントラストの方が感度がよい。そして、青−黄のコントラスト感度関数が赤−緑の場合に比べ、高空間周波数での感度減衰とカットオフとが、より低空間周波数で起こる。
【００３５】
また、時間周波数特性においても、色のコントラスト感度関数は輝度のコントラスト感度関数と同様に異なっており、低い時間周波数での感度の低下は存在せず、空間周波数特性のものと類似する（非特許文献２：色覚の時空間周波数特性；232ページ、非特許文献４：色度情報に対する視覚系の時空間特性；592ページ）。
【００３６】
次に、視覚特性をそのまま適用することの問題点について説明する。映像及び画像が本来持つ画像特徴量に対して、時間周波数特性、空間周波数特性、色知覚特性など人間の生理的な視覚特性を考慮した変換を行った場合について説明する。この場合、例えば、映像及び画像が本来持つ画像特徴量に対して、各画像の濃淡レイアウト情報、エッジパターン情報、色情報のヒストグラム等を利用し、基準画像に類似する類似画像を検索する手法を適用した場合、人間の生理的な視覚特性は、時間周波数特性、空間周波数特性に関しては、単純なバンドパスフィルタの適用になり、色知覚特性に関しては、単純なローパスフィルタの適用になってしまい、映像及び画像が本来持つ画像特徴量の一部を抽出しただけの画像特徴量と等しくなる。そのため、かえって類似映像・画像検索性能が悪くなってしまうという問題が生じる。
【００３７】
つまり、映像及び画像中に映っている、ある程度の大きさのオブジェクトが、ある程度の早さで動いているものだけが画像特徴量として抽出されることとなってしまい、視覚特性を反映することでかえって類似度検索の精度が悪くなる。尚、「ある程度の大きさ」とは、空間周波数が高すぎず、かつ、低すぎない大きさという意味であり、映像及び画像としては、画面を覆うような大きなオブジェクトではなく、かつ、近づいて見ないと見えないような小さなオブジェクトではないという意味である。また、「ある程度の早さ」とは、動いているかどうか分からないくらいの早さのオブジェクトではなく、かつ、動きが早すぎてわからないようなオブジェクトではないという意味である。
【００３８】
以上のように、人間の視覚特性という観点から、一般的な類似映像及び、類似画像検索の問題点を述べる。
【００３９】
特許文献２（特開平5-174072号公報）及び特許文献３（特開平7-46517号公報）では、 映像コンテンツのショットの長さ、もしくは、シーンの長さを特徴量とするため、人の視覚特性を適応する方法が明示されていないため、視覚特性の適用方法が不明である。
【００４０】
特許文献１（特開2000-48181号公報）に記載の方法は、色とテクスチャ（スペクトラム画像のピーク値及びエッジの強さ）の重みを可変にするという手法であるが、静止画を対象としていることに加え、人の視覚特性を適応する方法が明示されていないため、動画像への適用方法が不明である。
【００４１】
特許文献４（特開2000-123173号公報）は、画像の濃淡情報に基づく濃淡レイアウトを特徴量として、類似画像の検索を行う手法であるが、静止画を対象としていることに加え、人の視覚特性を適応する方法が明示されていないため、動画像への適用方法が不明である。
【００４２】
特許文献５（特開2002-63208号公報）は、人の視覚特性に基づいて基準画像に類似する類似画像を検索する手法であり、基準画像に対する色相フィルタの出力値の平均値及び標準偏差をそのまま利用している。この手法は、静止画を対象としていることに加え、基準画像の輝度分布は利用していない。さらに、動画像に適応した場合の適用方法が不明である。
【００４３】
また、圧縮動画像の種類には、ＭＰＥＧと呼ばれる時系列の圧縮率を向上させるために公知の動き補償アルゴリズムで生成された動きベクトルのデータを、圧縮動画像の内部に持っているものがある。この動きベクトルのデータを類似映像検索に利用した例として、特許文献６（特開平8-194714号公報）がある。この手法は、圧縮動画から直接動きベクトルを抽出し、形状データの生成及び検索を行う手法であり、動きベクトルは形状データの生成を目的としているが、人の視覚特性を動画検索に適応する方法が明示されておらず、動画像への適用際の方法が不明である。
【００４４】
以上に説明したように、人間の視覚特性を考慮した類似映像及び類似画像を検索する方法及び装置を実現する場合に、類似映像及び類似画像検索方法及び装置に、単純に人間の視覚特性を反映したフィルタを実装した視覚特性補正手段を用いただけでは、映像及び画像が、本来持つ画像特徴量の一部を抽出しただけの画像特徴量と等しくなり、かえって類似映像・画像検索性能が悪化してしまうという問題が発生する場合が多い。
【００４５】
本発明は、上記従来技術の問題を鑑みて、基準映像及び画像と検索対象映像及び画像を比較して適切な特徴量に変換し、人間の類似感覚と一致した検索結果を得ることができる映像及び画像検索装置、映像及び画像検索方法、映像及び画像検索プログラムを提供することを目的とする。
【課題を解決するための手段】
【００４６】
上記の課題を解決するため、人間が視聴する映像とは、どのようなものであるのかという観点から映像について考察する。この考察は、映像及び画像がどのように製作されているかという観点からの考察であり、ドラマやバラエティなど、制作者及び編集者がどのようにして、シーンやショットを構成し映像を作成しているかという観点からの考察である。
【００４７】
画面を構成する要素としては、１）シャッターチャンス、２）構図、３）カメラアングルという３要素がある。優れた映像は、１）シャッターチャンス、２）構図、３）カメラアングルの３要素のバランスがとれているものであるとされている。これらの要素のうち、１）のシャッターチャンスは、画面に対して迫力や力を与える要素となり、２）の構図や３）のカメラアングルは、テーマ（物語の主題）そのものを与える要素となる。
【００４８】
ここで、テーマには、コミカル、シリアス、サスペンス、ドキュメンタリーなどがあり、そのテーマに即した映像表現により、光と影との変化を利用して、その場面の雰囲気、登場人物の心理描写などを印象づけることができる。従って、映像の各シーンの内容により照明の構成の仕方は、作り手側からも視聴者側からも、自然と同じようにイメージされるものとなる。それは、日々放送される映像を視聴することにより、ドラマを視る目、映像を視る目が、制作者と視聴者とで同じになり、テーマに対する映像の作り方に関する暗黙のルールが形成されてきたためと考えることができる。つまり、制作者と視聴者とのコミュニケーションには、絶対的なものではないが、ある一定の法則の沿ったルールがあり、このルールがあることにより制作者の意図を視聴者に伝えることができる。例えば、明るい内容のドラマが、暗い映像であれば視聴者が違和感を持つ可能性が高い。シリアスで緊迫した場面が、和やかな映像もしくは、さわやかな映像を持つと、緊迫した状況が視聴者に伝わらない可能性が高い。
【００４９】
さらに、自然環境（実際の光の当たり方）を映像で再現することだけが、リアルな表現の追求であるか否かという問題もある。テレビ映像でいう「リアル」とは、照明で創りだした映像が画面を通して“らしく”視えることである。言い換えれば、視聴者が視たい情報が不自然さを感じさせない範囲で表現されているか否かということである。ドラマの照明は、場面の雰囲気“らしさ”の中で演技、顔の表情を的確に捕らえ、伝えることが重要であり、場面の内容によっては照明を強調したドラマティックな映像を創ることもある。つまり、視聴者にインパクトを与え象徴的に見せることも欠かせない要素の一つである。
【００５０】
このような制作者側と視聴者側とが暗黙のルールとして形成してきた映像の印象を決定付けるものとして、映像の調子（トーン）がある。
【００５１】
映像の調子は、明暗対比によるトーンと色彩によるトーンとがある。明暗対比によるトーンは、映像に占める明暗の面積比率によるものであり、大きく分けて以下のように分類できる。
【００５２】
・ ローキー（暗い調子）
１）映像の暗い部分が大半を占め、明るい部分でアクセントを付ける表現方法
２）画面の大部分を暗くした調子で、ナイトシーンやシリアスなドラマに多く見られる。
陰惨、神秘、恐怖などの感情が得やすい
・ ミディアムキー（平均した調子）
１）明暗の部分と中間の部分の面積比率が平均した、ローキーとハイキーの中間的な表現方法
・ フラットキー（平板な調子）
１）明暗の部分の占める面積比率が少なく、中間部分が多い影の少ない表現方法
・ ハイキー（明るい調子）
２）全体的に明るい部分が多く、暗い部分を付加することで明るさを調整する方法
３）画面全体に明部が多く、明るいホームドラマ、クイズ番組などに見られる
・ ソフトキー（柔らかい調子）
１）明暗の部分の占める面積比率が少なく、中間部分を強調し明暗の境界を柔らかく変化させる表現方法
２）ハードキーの逆で、中間部が多く、明部と暗部の境が柔らかく変化している調子
・ ハードキー（硬い調子）
１）中間の部分が少なく、明部と暗部のはっきりした明暗の対比を強調した表現方法
一方、色彩によるカラートーンは次のように分類される
・ ペールトーン
高明度の彩度の低い色彩で統一されたトーンである。明るく甘い雰囲気にあるトーン
・ ブライトトーン
はっきりした色調でペールトーンより明度が低く、彩度が高い。明るく快活なトーンである。同色系で構成すると非常にソフトな感じになるがアクセントが不足しやすい
・ ビビットトーン
彩度の高い色を中心としたトーン。強い緊張感が生まれるが、配色のバランスを間違えるとどぎつく泥臭くなる
・ ダルトーン
色調を抑えた渋いトーン。静かな重厚なトーンとなるが色光のみでこのトーンを創るのは難しい
・ ダークトーン
ダルトーンより色調を抑えた暗いトーン
・ モノトーン
ほとんど無彩色に近いトーンで白黒映像に近くなる
【００５３】
ドラマにおいては、この明暗対比によって、映像の調子が設計される。例えば、同じ調子で通す方法では、単調で印象に残りにくい映像になってしまう。コミカルなドラマ（ハイキー）にシリアス（ハードキー）な調子を取り入れることで、映像の流れに変化をもたらし、印象的な効果が得られることもある。このように、個々の持つ調子を組み合わせることで、違った流れを創りだすことができる。（非特許文献５：ドラマ照明とは；５３ページ、非特許文献６：映像のトーン；９２ページ）
【００５４】
上記のように、映像の制作という観点、すなわち、どのように映像は創られているのかということを考慮することが不可欠であり、制作者が意図するものを視覚特性により補正することにより、映像の表現の中から視聴する人が受ける映像の印象を映像特徴量として抽出することが可能になる。
【００５５】
本発明によれば、人間の視覚特性として、視覚の時間周波数特性、空間周波数、明るさ知覚特性、色覚の時空間特性を考慮した処理手段を設けることにより、人間の類似感覚に一致した類似映像及び類似画像の検索を行う。より具体的には、ＭＰＥＧなど圧縮動画を復号する符号化映像復号部と、人間の生理的な視覚特性を反映した映像特徴量算出部と、予め記録されている映像の特徴量と入力された映像の特徴量とを比較する映像特徴量比較部と、を備えることを特徴とする。
【００５６】
上記映像特徴量算出部は、人間の生理的な視覚特性を用いるために、
１）映像に含まれる画像の輝度成分と色相成分に分解する輝度・色相分解部、
２）人間の生理的視覚特性のうち、輝度に対する時間的な視覚特性を用いて、映像に含まれる画像の輝度成分の補正を行う輝度時間周波数フィルタ部、
３）人間の生理的視覚特性のうち、輝度に対する空間的な視覚特性を用いて、映像に含まれる画像の輝度成分の補正を行う輝度空間周波数フィルタ部、
４）人間の生理的視覚特性のうち、赤-緑の色相に対する時間周波数の視覚特性を用いて、映像に含まれる画像の色相（赤-緑）成分の補正を行う色相（赤-緑）時間周波数フィルタ部、
５）人間の生理的視覚特性のうち、赤-緑の色相に対する空間周波数の視覚特性を用いて、映像に含まれる画像の色相（赤-緑）成分の補正を行う色相（赤-緑）空間周波数フィルタ部、
６）人間の生理的視覚特性のうち、黄-青の色相に対する時間周波数の視覚特性を用いて、映像に含まれる画像の色相（黄-青）成分の補正を行う色相（黄-青）時間周波数フィルタ部、
７）人間の生理的視覚特性のうち、黄-青の色相に対する空間周波数の視覚特性を用いて、映像に含まれる画像の色相（黄-青）成分の補正を行う色相（黄-青）空間周波数フィルタ部、
８）輝度に関する人間の生理学的視覚特性を用いて補正された画像を、輝度の割合により、複数のトーンに分類する明暗対比分類部、
９）色相に関する人間の生理学的視覚特性を用いて補正された画像を明度と彩度の割合により、複数のトーンに分類する色彩トーン分類部
を備え、
１０）明暗対比分類部の結果と色彩トーン分類部の結果を合わせて、映像特徴量比較のための特徴量とすることを特徴とする。
【００５７】
さらに、前記映像特徴量算出部は、圧縮動画を復号する符号化映像復号部から、ＤＣＴ係数（空間周波数特性）、動きベクトル（時間周波数特性）、及び復号映像を入力することを特徴とする。
【００５８】
これにより、人間の生理学的な視覚特性を考慮した映像特徴量の算出が可能になり、視聴者が受ける映像の印象に基づいた映像検索が可能になる。
【００５９】
さらに、符号化映像復号部から、ＤＣＴ係数（空間周波数特性）及び、動きベクトル（時間周波数特性）を入力とすることにより計算量の削減を計ることができ、大量の映像データの中から短時間で検索結果を入手できるといった作用が得られる。
【００６０】
尚、本発明は各部に基づくステップをコンピュータに実行させるためのプログラムであっても良く、そのプログラムを記録するコンピュータ読みとり可能な記録媒体であっても良い。
【発明の効果】
【００６１】
以上に、説明したように、本発明による類似画像検索技術によれば、人間の生理学的な視覚特性を反映した類似画像の検索が行えるという優れた効果を奏する。
【００６２】
さらに、明暗対比及び色彩のトーンにより映像特徴量を算出し、この特徴量を基準に類似映像識別を行うため、明暗対比及び色彩のトーンの異なるショットの分割を自動的に行うことができる。
【００６３】
また、連続した明暗対比及び色彩のトーンの組み合わせ自体が類似した複数ショット（シーン）も自動的に分割することができる。
【００６４】
さらに、高速再生した動画に対しては、通常の再生速度の動きベクトルに高速再生速度の値を加え、この再生速度に対応した動きベクトルに対して、視覚特性を本手法に適用することで、高速再生時の類似映像検索を実現することができる。
【発明を実施するための最良の形態】
【００６５】
以下、本発明の実施の形態による類似映像検索技術について、図面を参照しながら説明を行う。図１から図８までは、本発明の一実施の形態による類似映像検索技術に関連する図面であって、それぞれの図面において、同じの符号を付した部分は同一の構成を示すものである。尚、図２の基本的な構成は、図９に示す一般的な構成と同様であるが、図２に示すように、符号化映像復号部から、DCT係数（空間周波数特性）及び、動きベクトル（時間周波数特性）を入力とする点及び、映像特徴量算出部で、人間の生理学的な視覚特性を反映した映像特徴量を算出する点にある。なお、図9は、MPEGなどの圧縮動画の符号化処理のブロック図であり、公知の技術である。
【００６６】
図１は、本実施の形態による類似画像検索装置の一構成例を示す機能ブロック図である。 図１に示す構成において、ハードディスクＨＤ１０１に記録された映像、もしくは、ＭＯ、ＣＤ、ＤＶＤなどの光記録媒体１０２に記録された映像は、Ｉ／ＯインターフェイスＩＦ１０３から読み込まれ、類似映像抽出処理部１０７で類似映像が抽出され、抽出された映像は、ディスプレイインターフェイスＩＦ１０９に接続されたディスプレイ１１０に表示される。この際、映像に音声が含まれている場合は、ＡＶインターフェイスＩＦ１０８に繋がれたスピーカで出力される。また、映像は通信ポートから通信用インターフェイスＩＦ１０６を介しての入力、ＡＶインターフェイスＩＦ１０８に繋がれたＶｉｄｅｏ，Ｍｉｃなど１１３等により、直接入力することもできる。入力された映像及び類似映像抽出処理のためのプログラムは、例えばメモリ１０４に記録されており、ＣＰＵ１０５によりプログラムに基づく処理がなされる。この処理はハードウェア処理でも良い。図１では、類似映像抽出処理をハードウェア処理により行う例として類似映像抽出処理部１０７を設けている。また、類似映像抽出処理部１０７により、抽出された映像は、メモリ１０４に一旦格納され、ディスプレイインターフェイスＩＦ１０９を介して、ディスプレイ１１０に出力される。
【００６７】
次に、本実施の形態による類似映像抽出処理部１０７の処理内容に関して、ソフトウェア処理・ハードウェア処理を問わず処理内容に関する機能ブロック図として、図２に示す。図２に示す構成は、基本的には図９に示す従来の類似映像処理部と同様である。図２との違いを明確にするために、図９についてまず説明を行う。
【００６８】
図９では、ＭＰＥＧなどの符号化された圧縮動画（符号化映像）が入力される。ＭＰＥＧは、エントロピー符号化という公知の技術で符号化されており、可変長復号化部９０１において、公知の技術により復号される。この際、復号された信号のうち、符号化モード及び動きベクトルは、動き補償部９０４に入力され、公知の技術により動き補償処理が行われる。一方、逆量子化部９０２では、符号化処理の時に量子化されたＤＣＴ係数が入力されるため、ここで逆量子処理が公知の技術により行われる。その後、ＩＤＣＴ部９０３において逆コサイン変換処理（公知の技術）で、映像に含まれる画像が生成される。但し、この時に得られる画像は、動きの補償が施されていない画像である。次に、動き補償部９０４において、動きベクトルによる動き補償処理が公知の技術により行われ、ピクチャ蓄積部９０５に送られる。先の動き補償部９０４は、過去にピクチャ蓄積部９０５に蓄積した画像も用いて、動きの補償を行う。そして、補償された画像は、ピクチャ並び替え部９０６に送られるとともに、ピクチャ蓄積部９０５にも送られる。ＭＰＥＧなどの符号化処理された映像は、フレーム内符号化、フレーム間符号化と呼ばれる公知の圧縮方式を用いて圧縮率が高められており、ＭＰＥＧでは３つのピクチャタイプが存在する。それぞれ、イントラピクチャ（Ｉピクチャ）、予測符号化ピクチャ（Ｐピクチャ）、双方向予測符号化ピクチャ（Ｂピクチャ）と呼ばれ、３つのピクチャを用いて、圧縮率の向上と画質の向上とを計っている。ピクチャ並び替え部９０６では、この３つのピクチャを並び変えて、圧縮する前の順番に戻す処理が行われる。
【００６９】
映像特徴量算出部９１１には、圧縮する前の映像が復号化映像が入力される。一般的な類似映像検索システムでは、ここで映像特徴の算出が行われる。例えば、特許文献２（特開平5−174072号公報）では、ショットの長さ情報もしくはシーン長が特徴量として算出される。その後、映像特徴量ＤＢ９１３に蓄積された特徴量と、入力された映像の特徴量と、が、映像特徴量比較部９１２において比較される。比較の結果、類似と判断された方の映像が類似映像として出力される。尚、ここで符号９００は、映像復号処理部を示し、符号９１０は類似映像抽出処理部の全体を示す。
【００７０】
次に、図２と図９とを比較しながらその相違点について説明する。図２に示す構成では、可変長復号化部２０１は図９の可変長復号化部９０１に対応し、公知の技術によって同様の処理が行われる。さらに、逆量子化部２０２は逆量子化部９０２に、ＩＤＣＴ部２０３はＩＤＣＴ部９０３に、動き補償部２０５は動き補償部９０４に、ピクチャ蓄積部２０４はピクチャ蓄積部９０５に、ピクチャ並び替え部２０６はピクチャ並び替え部９０６に対応し、公知の技術によって同様の処理が行われる。
【００７１】
図２に示す本実施の形態による類似映像検索処理部が、図９に示す類似映像検索処理部と異なる点は、可変長復号化部２０１の動きベクトル（時間周波数特性）及び逆量子化部２０２のＤＣＴ係数（空間周波数特性）が映像特徴量算出部２１１に送られる点である。そして、映像特徴量算出部２１１では、ＤＣＴ係数（空間周波数特性）、動きベクトル（時間周波数特性）及び復号映像を用いて、人間の生理学的な視覚特性を反映した映像特徴量の算出が行われ、映像特徴量ＤＢ２１３に蓄積された特徴量と、入力された映像の特徴量と、が映像特徴量比較部２１２において比較され、類似と判断された映像が出力される。
【００７２】
尚、ここで、符号２００は映像復号処理部を示し、符号２１０は類似映像抽出処理部を示す。
【００７３】
次に、図３を参照しながら、映像特徴量算出部２１１における映像の特徴量算出方法について説明する。映像特徴量算出部２１１には、復号映像、及び、DCT係数、動きベクトルが入力され、映像特徴量比較部２１２に算出された特徴量が送られる。この際、ピクチャ並び替え部２０６から送られた復号映像は、輝度・色相分解部３０１で輝度及び色相（赤-緑）、色相（黄-青）に分解され、輝度は時間周波数フィルタ３０３へ、色相（赤-緑）は時間周波数フィルタ３０４へ、色相（黄-青）は時間周波数フィルタ３０５へと送られる。
【００７４】
例えば、復号映像の色空間がＲＧＢであれば、ＲＧＢからＸＹＺ表色系を経て、Ｌ＊ａ＊ｂ＊表色系への変換処理が行われる。また、復号映像の色空間がＹＵＶであれば、ＹＵＶからＲＧＢに変換した後、ＸＹＺ表色系を経て、Ｌ＊ａ＊ｂ＊表色系への変換が行われる。もちろん、ＹＵＶから直接Ｌ＊ａ＊ｂ＊表色系への変換を行ってもよい。色空間の変換式は、例えば、以下のようになる。
【００７５】
ＹＵＶからＲＧＢへの変換式：
【００７６】
【数２】
2008199136.tif 000004
【００７７】
ＲＧＢからＸＹＺへの変換式：
【００７８】
【数３】
2008199136.tif 000005
【００７９】
ＸＹＺからＬ＊ａ＊ｂ＊への変換式：
【００８０】
【数４】
2008199136.tif 000006
【００８１】
ＸＹＺ表色系は、色差知覚と表色系内での距離との相関が低く、人が知覚する色の違いである色差を表すには不適当であることから、色差を評価するための等色関数としてＬ＊ａ＊ｂ＊表色系が定義されており、変換式は以下のようになる。
【００８２】
尚、Ｘｎ、Ｙｎ、Ｚｎは、照明光（Ｄ６５光源下における完全拡散反射面）の三刺激値である。また、Ｘ／Ｘｎ、Ｙ／Ｙｎ、Ｚ／Ｚｎは、０．００８８５６以上の値をとる。なお、Ｘ／Ｘｎ、Ｙ／Ｙｎ、Ｚ／Ｚｎが、０．００８８５６以下の場合は、下記のような式となる。
【００８３】
【数５】
2008199136.tif 000007
【００８４】
Ｌ＊ａ＊ｂ＊表色系は、ＣＩＥが１９７６年に定めた均等色空間（等しい大きさに知覚される色差が、空間内の等しい距離に対応するよう意図した色空間）の１つであり、知覚と装置の違いによる色差とを測定することができる。この表色系は、１９７６年に勧告され、日本ではＪＩＳ  Ｚ８７２９に規定されている。このＣＩＥ１９７６Ｌ＊ａ＊ｂ＊は、ＣＩＥ  ＸＹＺを基礎としており、Ｌ＊ａ＊ｂ＊の非直線関係は、目の対数的な感応性の模倣を目的としている。Ｌ＊はLuminance（輝度）を意味し、ａ＊、ｂ＊は色相と彩度を表す色度を意味する。つまり、ａ＊、ｂ＊は色の方向を示しており、ａ＊は赤方向、−ａ＊は緑方向、ｂ＊は黄方向、−ｂ＊は青方向を示している。
【００８５】
時間周波数フィルタ３０３では、可変長復号化部２０１から送られた動きベクトル（時間周波数特性）を元に、人間の生理学的な視覚特性のうち、時間周波数特性に関する補正が行われる。さらに、空間周波数フィルタ３０６では、逆量子化部２０２から送られたＤＣＴ係数（空間周波数特性）を元に、人間の生理学的な視覚特性のうち、空間周波数特性に関する補正が行われる。その後、人間の生理学的な視覚特性により補正された輝度情報は、明暗対比分類部３０９へ送られる。
【００８６】
明暗対比分類部３０９において、輝度のヒストグラムが作成され、図４に示す明暗対比のトーン分類（ａ）〜（ｅ）に基づいて、Ｌｏｗ  Ｋｅｙ、Ｍｅｄｉｕｍ  Ｋｅｙ、Ｓｏｆｔ／Ｆｌａｔ  Ｋｅｙ、Ｈｉｇｈ  Ｋｅｙ、Ｈａｒｄ  Ｋｅｙのそれぞれのキーに分類される。この際に分類する手法としては、公知の技術であるk-means法によるクラスタリングや、公知の技術であるニューラルネットワークを使った自己組織化アルゴリズムであるＳＯＭなどを用いることができる。また、公知の技術であるサポートベクタマシンによる非線識別によるクラスタリング手法や、白、灰、黒に相当する輝度の比率をルール化し、そのルールに従って分類するという方法を用いることも可能である。
【００８７】
時間周波数フィルタ３０４においては、可変長復号化部２０１から送られた動きベクトル（時間周波数特性）に基づいて、人間の生理学的な視覚特性のうち、時間周波数特性に関する補正が行われる。さらに、空間周波数フィルタ３０７では、逆量子化部２０２から送られたＤＣＴ係数（空間周波数特性）に基づいて、人間の生理学的な視覚特性のうち、空間周波数特性に関する補正が行われる。その後、人間の生理学的な視覚特性により補正された輝度情報は、色彩トーン分類部３１０に送られる。
【００８８】
時間周波数フィルタ３０５では、可変長復号化部２０１から送られた動きベクトル（時間周波数特性）を元に、人間の生理学的な視覚特性のうち時間周波数特性に関する補正が行われる。さらに、空間周波数フィルタ３０８では、逆量子化部２０２から送られたＤＣＴ係数（空間周波数特性）を元に、人間の生理学的な視覚特性のうち、空間周波数特性に関する補正が行われる。その後、人間の生理学的な視覚特性により補正された輝度情報は、色彩トーン分類部３１０に送られる。
【００８９】
時間周波数特性及び空間周波数特性の補正を行うためには、それぞれの特性値をテーブル化する方法を用いることができる。時間周波数特性による補正を行う場合には、動きベクトルの値を時間周波数の値として、輝度と時間周波数の値から補正値を選択し、重み係数として掛け合わせるなどの方法により補正する。また、空間周波数特性による補正を行う場合には、ＤＣＴ係数の値を空間周波数の値として、輝度と時間周波数の値から補正値を選択し、重み係数として掛け合わせるなどの方法により補正する。尚、通常、ＭＰＥＧなどの符号化された圧縮動画は、８×８画素や１６×１６画素などのブロック毎に、輝度及びＤＣＴ係数が得られる。その場合、そのブロック毎に時間周波数及び空間周波数の補正を行えば良い。
【００９０】
色彩トーン分類部３１０では、明度及び彩度による分類を行うために、Ｌ*ａ*ｂ*表色系からＨＳＶ表色系に変換を行った後に、明度及び彩度の値を元に、例えば図５に示す色彩のトーン分類に従って、各トーンに分類される。トーン分類の手法としては、公知の技術であるk-means法によるクラスタリングや、公知の技術であるニューラルネットワークを使った自己組織化アルゴリズムであるＳＯＭなどを用いることができる。さらに、公知の技術であるサポートベクタマシンを用いた非線識別によるクラスタリング手法を利用することも可能である。また、当該技術者なら容易に推測され実現可能である方法、例えば、明度及び彩度の値の組み合わせをテーブル化し、その時のトーン分類値に従って分類することも可能である。尚、ＨＳＶ色空間は、色をＨ（Ｈｕｅ /色相）、Ｓ（Ｓａｔｕｒａｔｉｏｎ /彩度）、Ｖ（Ｖａｌｕｅ/明度）で表す公知の記述方式である。
【００９１】
以上のようにして、明暗対比分類部３０９及び色彩トーン分類部３１０から得られた映像特徴量は、図２の映像特徴量比較部２１２に送られ、映像特徴量ＤＢ２１３内の映像特徴量と比較され、まず、類似度が高い画像が出力される。一般的に、この際に用いられる特徴量は、映像特徴量比較部２１２中の比較部により決定される。例えば、比較部を特徴ベクトル間の距離と定義し、公知の技術であるベクトル間のユークリッド距離や方向余弦距離、さらには、公知の技術であるベクトル間の分散を考慮したマハラノビス距離などを用いることができる。
【００９２】
具体例として、例えば、特徴量フォーマットを以下のように定義し、明暗対比分類部３０９において Low Key に分類され、色彩トーン分類部３１０でモノトーンと分類された場合は、以下のような特徴量ベクトルとなる。
【００９３】
特徴量フォーマット＝｛明暗対比特徴量ベクトル、色彩トーン特徴量ベクトル｝
＝｛ “Low Key”、 “Medium Key”、 “Soft/Flat Key”、 “High Key”、 “Hard Key”、 “モノトーン”、 “ペールトーン”、 “ダークトーン”、 “ブライトトーン”、 “ダルトーン”、 “ビビットトーン” ｝
特徴量ベクトル＝｛明暗対比特徴量ベクトル、色彩トーン特徴量ベクトル｝
＝｛ 1、 0、 0、 0、 0、 1、 0、 0、 0、 0、 0 ｝
【００９４】
上記は、明暗対比分類をLow Key = 1、それ以外は0とし、色彩トーン分類をモノトーン＝１、それ以外は０とした場合の例である。次に、ベクトル化された上記特徴量と、図２に示す映像特徴量ＤＢ２１３に記録されている映像の中のある画像の特徴ベクトルとの距離を、公知の技術により算出すればよい。尚、アプリケーションの目的によっては、明暗対比分類の結果と色彩トーン分類の結果とをベクトル化する際に、重み係数を用いて、いずれを重視するかに関する重みを付加することも可能である。例えば、明暗対比分類の結果と色彩トーンの結果とを２対１の比率にする場合には、明暗対比分類の特徴ベクトルをそのような比率で作成（明暗対比分類の特徴量を２倍したベクトル）することも考えることができる。そのような場合、以下のような特徴量ベクトルとなる。
【００９５】
特徴量ベクトル＝｛２＊（明暗対比特徴量ベクトル）、色彩トーン特徴量ベクトル｝
＝｛ ２、０、 ０、 ０、 ０、 １、 ０、 ０、 ０、 ０、 ０ ｝
【００９６】
上記特徴量を、例えばベクトル間のユークリッド距離では、入力映像の特徴ベクトルをａベクトル、映像特徴量ＤＢに記録されているある一つの映像の特徴ベクトルをｂベクトルとすると、ユークリッド距離rは以下のように計算される。
【００９７】
【数６】
2008199136.tif 000008
【００９８】
ここで、ａｋ、ｂｋは、ベクトルの第ｋ番目の要素を表す。すなわち、それぞれのベクトルの要素間の差の自乗の和が大きさに関連する。また、方向余弦距離ｒは、以下のように計算される。 
【００９９】
【数７】
2008199136.tif 000009
【０１００】
ここで、ａ・ｂは内積を表し、|ａ|及び|ｂ|は、それぞれベクトルａ及びベクトルｂの大きさを表す。すなわち、ベクトルａとベクトルｂとのなす角度が距離として表現される。   次に、画像に対して求められた類似度を、映像の類似度として利用するためには、その映像を構成する全ての画像についての類似度を加算すればよい。すなわち、映像特徴量ＤＢに記録された一つの映像が持つi番目（ｉは１以上の整数）の画像の類似度をｒｉとすると、入力映像とｉ番目の画像との類似度Ｒは、以下のように計算することができる。
【０１０１】
【数８】
2008199136.tif 000010
【０１０２】
ここでは、映像特徴量ＤＢに記録された一つの映像全体と入力映像全体との類似度を表している。
【０１０３】
さらに、映像特徴量ＤＢに記録された一つの映像の一部が入力映像と類似しているか否かを算出する場合には、例えば、公知の技術である動的計画法（数理計画法のうちの１つであって、時間の経過とともに多段階にわたってなされる決定過程の効果を、数式にモデル化し、最適条件を求める方法）を用いることができる。入力映像が持つ画像の特徴ベクトルと映像特徴量ＤＢに記録された一つの映像が持つ画像の特徴ベクトルとに対して、始端フリーの動的計画法を用いることで、映像特徴量ＤＢに記録された一つの映像の部分映像を類似映像として算出することができる。通常、この場合、類似性の判断には、閾値が用いられる。すなわち、算出された類似度が閾値より小さければ類似性が高いと判断し、算出された類似度が閾値より大きければ類似性が低い判断することができる。この公知の技術は、パターン認識技術として広く知られている。
【０１０４】
次に、フローチャート図を用いて映像特徴量算出部２１１における処理の流れについて説明する。なお、図２の２００及び２１２、２１３は、本発明の特徴的な部分ではないため省略する。また、図２の符号２００は、図９の符号９００と同様の構成であり、ＭＰＥＧなどの圧縮動画の符号化処理を行う機能ブロック図である。公知の技術と異なる点は、図２の可変長復号部２０１から動きベクトルを抽出する部分、逆量子化部２０２からＤＣＴ係数を抽出する部分である。これらは、図９においては、可変長復号化部９０１及び逆量子化部９０２において抽出される情報であるため、図２の映像特徴量算出部２１１に単に入力するだけでよい。当該技術に知識を持つものならば、抽出の仕方は容易に想像がつく。
【０１０５】
ＭＰＥＧビットストリームのデータ構造は、シーケンスヘッダ部及びシーケンス拡張、GOPヘッダ、ピクチャヘッダ、ピクチャデータ、拡張・ユーザデータから構成され、ピクチャデータには、各ピクチャの復号を行うための具体的な符号化パラメータが含まれている。この復号には、ブロック内のDCT係数の復号、動きベクトルの復号などの処理が含まれる。このデータは可変長の符号されており、図２の可変長復号化部２０１で復号される。このとき、動きベクトルが求められ動き補償部２０５へと送られる。また、逆量子化部２０２で求められたDCT係数は、映像特徴量算出部２１１へと送られる。
【０１０６】
図２及び図８を参照し、図２の映像特徴量算出部２１１における処理の流れについて説明する。図８に示すように、まずステップＳ８０１において、符号化映像の復号処理の出力である復号映像の入力が行われる。また、ステップＳ８０２においては、図２の可変長復号化部２０１の動きベクトルが読み込まれる。さらに、ステップＳ８０３においては、図２の逆量子化部２０２のＤＣＴ係数が読み込まれる。
【０１０７】
次に、ステップＳ８０４で入力された復号映像の表色系の判断が行われ、ＲＧＢ表色系の場合はステップＳ８０５へと処理が進み、ＲＧＢ表色系からＬ：ａ＊ｂ＊表色系への映像信号の表色系変換が行われる。ステップＳ８０４で入力された復号映像がＲＧＢ表色系でない場合には、ステップＳ８０６において、さらに、ＹＵＶ表色系か否かを判断する。ＹＵＶ表色系であれば（Ｙｅｓ）、ステップＳ８０７に処理が進み、ＹＵＶ表色系からＬ＊ａ＊ｂ＊表色系への映像信号の表色系間変換が行われる。
【０１０８】
ステップＳ８０６において、ＹＵＶ表色系ではないと判断された場合は（Ｎｏ）、ステップＳ８０１に戻る。
【０１０９】
尚、これらステップＳ８０４及びステップＳ８０６では、ＲＧＢ表色系及びＹＵＶ表色系の判断が行われているが、このような処理に限らず、ＹＣｒＣｂ表色系などの表色系をも対象にする場合には、ステップＳ８０６でＹＵＶ表色系ではないと判断された場合は、ステップＳ８０１へと処理が戻らず、ＹＣｒＣｂ表色系の判断が行われ、Ｙｅｓと判断された場合には、ＹＣｒＣｂ表色系からＬ＊ａ＊ｂ＊表色系への映像信号の表色系変換が行われる。
【０１１０】
以上のように、ステップＳ８０５及びステップＳ８０７の処理を行うことにより、ステップＳ８０１で入力された復号映像は、どのような入力であってもＬ＊ａ＊ｂ＊表色系へと変換することができる。  次に、Ｌ＊ａ＊ｂ＊表色系へと変換された復号映像のうち輝度に関する信号は、ステップＳ８０８において、ステップＳ８０２で入力された動きベクトルの情報を利用して、時間周波数特性による補正が行われる。そして、ステップＳ８０９において、ステップＳ８０３で入力されたＤＣＴ係数の情報を利用して、周波数特性による補正が行われる。その後、ステップＳ８１０において、例えば図４を基準にして、明暗対比によるトーンの分類を行なう。
【０１１１】
また、Ｌ＊ａ＊ｂ＊表色系に変換された復号映像のうち、色相（赤-緑）に関する信号は、ステップＳ８１１において、ステップＳ８０２で入力された動きベクトルの情報を利用して、時間周波数特性による補正が行われる。そして、ステップＳ８１２において、ステップＳ８０３で入力されたＤＣＴ係数の情報を利用して、周波数特性による補正を行う。
【０１１２】
さらに、Ｌ＊ａ＊ｂ＊表色系へと変換された復号映像のうち、色相（黄-青）に関する信号は、ステップＳ８１５において、ステップＳ８０２で入力された動きベクトルの情報を利用して、時間周波数特性による補正が行われる。そして、ステップＳ８１６において、ステップＳ８０３で入力されたＤＣＴ係数の情報を利用して、周波数特性による補正が行われる。
【０１１３】
その後、ステップＳ８１２において補正された色相（赤-緑）及び、ステップＳ８１６で補正された色相（黄―青）の情報は、ステップＳ８１３において、Ｌ＊ａ＊ｂ＊表色系からＨＳＶ表色系へと表色系変換が行われ、明度と彩度との情報を得る。ステップＳ８１４では、ステップＳ８１３の変換で得られた明度と彩度の情報を利用し、図５を基準にして、色彩トーンによる分類が行われる。
【０１１４】
その後、ステップＳ８１０による明暗対比分類結果とステップＳ８１４による色彩トーン分類結果とを用いて、特徴量の生成がステップＳ８１７で行われる。
【０１１５】
以上の処理により、図２の映像特徴量算出部２１１に入力された復号映像は、特徴量として算出され、図２の映像特徴量比較部２１２の入力となる。
【０１１６】
このように、図２で入力となった符号化映像を、映像特徴量比較部２１２で映像特徴量ＤＢ２１３に記録されている映像の特徴量と比較することにより、類似映像が出力されることとなる。
【０１１７】
以下、図４〜７を参照しながら説明を行う。図４は、映像のトーンを構成する２つの要素のうち、明暗対比によるトーン分類を示した図である。この明暗対比のトーンとは、映像に占める明暗の面積比率によるものであり、番組制作時の指針となる公知の技術（文献５；５４ページ、文献６；９２ページ）である。尚、この面積比率によるトーンの分類は、精密に定義されたものではないため、白、灰、黒のそれぞれのおおよその面積比率の割合で定義されている。そのため、本実施の形態では、ソフトキーとフラットキーとは同一のものとして扱っている。
【０１１８】
図５は、映像のトーンを構成する２つの要素のうち、色彩によるトーン（色調）分類を示した図である。この色彩によるトーンは、明度と彩度によって決定され、PCCS（Practical Color Coordinate System; 日本色研配色体系）を応用した公知の技術（文献６；９３ページ）である。尚、色彩によるトーンは、図５に示した分類だけではなく、さらに細かく分類されている。例えば、モノトーンとブライトトーンとの境界はライトグレイッシュトーン、モノトーンとダルトーンとの境界はグレイッシュトーンと呼ばれる。本実施の形態では、印刷物などのトーンではなく、テレビなどの表示デバイスを対象とするため、図５に示すような分類をそのまま利用することができる。  
【０１１９】
図６は、輝度に関する人間の生理学的な視覚特性を図示したものであり、横軸に空間周波数νを、縦軸に時間周波数fを示している。コントラスト感度最大値を基準にして等コントラスト感度の点を結んだものであり、公知の特性（非特許文献３：視覚の時空間周波数特性；１７ページ）である。空間周波数において、fが小さいときは帯域通過特性であるが、fが大きくなる（約２０Ｈｚ以上）と低域通過特性になる。また、時間周波数特性において、νが小さいときは帯域通過特性であるが、νが大きくなる（約５ＣＰＤ以上）と低域通過特性になる。
【０１２０】
尚、コントラスト感度最大値ではなく、それより小さい値の等コントラスト感度の場合は、空間周波数特性及び時間周波数特性の両方において、低域通過特性となることは公知の知見（文献１：時間周波数特性；１８０ページ、文献２：コントラスト閾値；１９３、２２０ページ、文献３：視覚の空間周波数特性；１２、１５ページ、文献４：時空間相互作用；５５１、５７９ページ）である。本実施の形態では、公知の知見である輝度に関する人間の生理学的な視覚特性を利用する。例えば、上記図６に示すような輝度の時空間特性を例えばテーブル化して記憶しておき、これを用いて輝度補正を行うことができる。
【０１２１】
図７は、空間周波数における色覚の相対コントラスト感度を示す図である。尚、白―黒の特性は輝度特性となり、色覚の特性と対比するために記してある。色覚のコントラスト感度関数は、輝度のコントラスト感度関数と次の２つの点で異なっていることがこれまでの実験により分かっている。１つは、色のコントラスト感度関数は高空間周波数側での感度減衰とカットオフとが輝度のコントラスト感度関数より低空間周波数で起こることである。２つ目は、色のコントラスト感度関数は低空間周波数での感度の低下が見られないということである。つまり、輝度のコントラスト感度関数が帯域通過型（バンドパス）の特性を持つものに対し、色のコントラスト感度関数は低域通過型（ローパス）である。また、低周波数帯域では色コントラストの方が、それ以上の周波数帯域では輝度コントラストの方が感度がよい。そして、青-黄のコントラスト感度関数が赤-緑の場合に比べ、高空間周波数での感度減衰とカットオフがより低空間周波数で起こる。
【０１２２】
また、時間周波数特性においても、色のコントラスト感度関数は輝度のコントラスト感度関数と同様に異なっており、低い時間周波数での感度の低下は存在せず、空間周波数特性のものと類似する。（文献２：色覚の時空間周波数特性；２３２ページ、文献４：色度情報に対する視覚系の時空間特性；５９２ページ）
例えば、上記図７に示すような色相（黄−青、赤−緑）の空間特性を例えばテーブル化して記憶しておき、これを用いて色相補正を行うことができる。
【０１２３】
尚、本実施の形態による類似映像検索装置及び方法は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【０１２４】
例えば、図３では、時間周波数フィルタ３０３の後段において空間周波数フィルタ３０６を行っているが、この順番である必要は必ずしもなく、先に空間周波数フィルタ３０６を行った後、時間周波数フィルタ３０３を行っても良い。また、時間周波数フィルタ３０３と空間周波数フィルタ３０６との二段階に必ずしも分ける必要はなく、一度に行っても良い。その場合、時間周波数フィルタ３０３の特性と空間周波数フィルタ３０６の特性との両方を併せ持つ時空間周波数特性による補正となる。尚、この処理は、時間周波数フィルタ３０４及び空間周波数フィルタ３０７、時間周波数フィルタ３０５及び空間周波数フィルタ３０８にも同様のことが言える。
【０１２５】
さらに、図８においても、ステップＳ８０８の時間周波数特性による補正の後に、ステップＳ８０９の空間周波数による補正を行っているが、この順番を変えても良く、先にステップＳ８０９の空間周波数による補正の後に、ステップＳ８０８の時間周波数特性による補正を行っても良い。また、必ずしもステップＳ８０８及びステップＳ８０９の二段階に分ける必要はなく、一度に行っても良い。その場合、ステップＳ８０８の時間周波数特性とステップＳ８０９の空間周波数特性との両方の特性を併せ持つ時空間周波数特性による補正となる。なお、この処理は、ステップＳ８１１及びステップＳ８１２、また、ステップＳ８１５及びステップＳ８１６に関しても同様である。
【０１２６】
また、本実施の形態では、人間の生理学的な視覚特性を用いて映像の特徴量を算出している。この人間の生理学的な視覚特性は、実験者によって多少異なる結果が得られる場合がある。例えば、色知覚の時間周波数特性において、低い時間周波数で、高空間周波数側のカットオフが起こるという結果を提示している研究結果例もある。本実施の形態は、人間の生理学的な視覚特性を応用するものであり、生理学的な視覚特性そのものを特徴とするものではない。そのため、実施する者が、適宜、利用するアプリケーションに適した形で人間の生理学的な視覚特性による補正を行えばよい。 
【０１２７】
また、本実施の形態は、ＭＰＥＧなどにより符号された圧縮映像を入力として、類似映像を検索する装置及び方法について説明しているが、入力される映像は、必ずしも符号化された圧縮映像である必要はない。通常、ＭＰＥＧなどの符号化処理は、符号化されていない映像を入力として、符号化された圧縮動画を生成する処理である。その圧縮動画の生成過程で、図２の動きベクトル及びＤＣＴ係数が求められ、符号化映像の信号の中に埋め込まれる。つまり、符号化されていない映像の場合は、公知の技術であるＭＰＥＧなどの符号化処理と同じ処理を行い、動きベクトル及びＤＣＴ係数を求めることが可能である。従って、本実施の形態において、符号化されていない映像が入力された場合には、公知の技術であるＭＰＥＧなどの符号化処理と同様の処理を行い、動きベクトル及びＤＣＴ係数を求めた後に、図２の映像特徴量算出部２１１による処理を行えばよい。ＭＰＥＧなどの符号化処理は、公知の技術であるため、多くの文献において説明されている。
【０１２８】
まとめ
本実施の形態による類似映像検索技術は、時空間特性（時間周波数特性及び空間周波数特性）のテーブル等をメモリに記憶し（或いは、ネットワーク上のデータベースに格納されてものを）、これを参照して補正を行う。テーブルを参照するために、入力映像を、輝度と色相とのそれぞれの成分に分解する。次いで、輝度情報に対してテーブルの補正値を適用させる。時空間特性で補正された輝度情報については明暗対比の分類を行い、色相については色彩トーンによる分類を行う。その後、映像特徴量としてベクトル化し、他の入力映像（同様の特徴ベクトル）と比較して、一致するか否かを判定する。
【０１２９】
従って、(a)輝度の時空間特性のテーブル
(b)輝度の時空間特性による補正手段
(c)補正された輝度情報を用いた明暗対比分類テーブルによる分類手段
(d)色相を用いた色彩トーン分類テーブルによる分類手段
(e)入力映像の特徴量化（明暗対比，色彩トーン）の手段
(f)映像特徴量同士の比較による一致度算出手段
を有することが好ましい。
【０１３０】
輝度と同様に色相に関しても補正する。そのための補正手段の一例として、輝度と同様に図６、図７のような特性をテーブル化しておくようにしても良い。
【０１３１】
以上、説明したように本実施の形態による類似画像検索技術によれば、人間の生理学的な視覚特性を反映した類似画像の検索を行うことができるという優れた効果を奏する。さらに、明暗対比及び色彩のトーンにより映像特徴量を算出し、この特徴量を基準に類似映像識別を行うため、明暗対比及び色彩のトーンの異なるシーン毎にシーン分割を自動的に行うことができる。また、明暗対比及び色彩のトーンの組み合わせ自体が連続的に類似する複数ショット（シーン）を自動的に分割することができる。例えば、ニュース番組などでは、スタジオ映像と現場中継の映像とを自動的に分割することができる。また、ドラマでは、回想シーンとそれ以外のシーンとに分割できるという効果を発揮する。また、通常用いられる動画は、記録した時と同じ速度で再生されることを前提としているが、本手法では、高速再生した動画に対しては、通常の再生速度の動きベクトルに高速再生速度の値を加え、この再生速度に対応した動きベクトルに対して、視覚特性に基づく類似度判定を行う本手法を適用することで、高速再生時の類似映像検索を実現できる。
【０１３２】
尚、通常の再生速度時の特性（図６）は、例えば２倍速の再生（早送り）では，時間周波数の値も２倍になる。従って、２倍速再生時には、該当する時間周波数の値を用いて補正を行うことにより、高速再生時に人間が感じる映像の類似性を実現でき、高速再生類似映像検索が可能になる（通常再生時と高速再生時では、類似映像検索結果が異なる）。
【産業上の利用可能性】
【０１３３】
本発明は、類似映像検索装置として利用可能である。
【図面の簡単な説明】
【０１３４】
【図１】本発明の一実施の形態による類似画像検索装置に一構成例を示す機能ブロック図である。
【図２】本実施の形態による類似映像抽出処理部の機能ブロック図である。
【図３】本実施の形態による映像特徴量算出処理部の機能ブロック図である。
【図４】本実施の形態において用いられる明暗対比分類の一例を示す図である。
【図５】本実施の形態において用いられる色彩トーン分類の一例を示す図である。
【図６】本実施の形態において用いられる輝度に関する視覚の生理学的な時間空間周波数特性を示す図である。
【図７】本実施の形態で用いられる色に関する空間周波数特性の一例を示す図である。
【図８】本実施の形態による映像特徴量算出処理の流れを示すフローチャート図である。
【図９】一般的な類似映像抽出処理部の機能ブロック図である。
【符号の説明】
【０１３５】
101…HD、102…MO、 CD、 DVD、104…メモリ、105…CPU、106…通信用IF部、107…類似映像抽出処理部、108…AV IF部、109…ディスプレイIF部、200…符号化映像復号部、201…可変長復号化部、202…逆量子化部、203…IDCT部、204…ピクチャ蓄積部、205…動き補償部、206…ピクチャ並び替え部、210…類似映像検出部、211…映像特徴量算出部、212…映像特徴量比較部、213…映像特徴量DB、301…輝度・色相分解部、303…輝度情報時間周波数特性フィルタ部、304…色相（赤―緑）情報時間周波数特性フィルタ部、305…色相（黄―青）情報時間周波数特性フィルタ部、306…輝度情報空間周波数特性フィルタ部、307…色相（赤―緑）空間時間周波数特性フィルタ部、308…色相（黄―青）空間時間周波数特性フィルタ部、309…明暗対比分類部、310…色彩トーン分類部、900…符号化映像復号部、901…可変長復号化部、902…逆量子化部、903…IDCT部、904…動き補償部、905…ピクチャ蓄積部、906…ピクチャ並び替え部、910…類似映像検出部、911…映像特徴量算出部、912…映像特徴量比較部、913…映像特徴量DB。
【図１】
2008199136.tif 000011
【図２】
2008199136.tif 000012
【図３】
2008199136.tif 000013
【図４】
2008199136.tif 000014
【図５】
2008199136.tif 000015
【図６】
2008199136.tif 000016
【図７】
2008199136.tif 000017
【図８】
2008199136.tif 000018
【図９】
2008199136.tif 000019