(57)【要約】【課題】動きベクトル検出における動きベクトル探索範囲の精度を向上できるようにする。【解決手段】入力された符号化対象画像及び参照画像のそれぞれにおいて、画像の重要領域を順次検出する重要領域検出手段と、前記重要領域検出手段により検出された前記重要領域の動き量を検出する重要領域動き量検出手段と、前記符号化対象画像と参照画像より画像全体の動き量であるグローバルベクトルを算出するグローバルベクトル検出手段と、前記重要領域動き量検出手段により算出された前記重要領域の動き量と、前記グローバルベクトル検出手段により算出された画像全体の動き量とを基に、前記符号化対象画像を複数画素に分割した符号化対象ブロックにおける、参照画像内の動きベクトル探索エリアを所定の条件に基いて決定する探索エリア決定手段とを設ける。【選択図】  図３
2010109917.tif 000002
【特許請求の範囲】
【請求項１】
入力された符号化対象画像及び参照画像のそれぞれにおいて、画像の重要領域を順次検出する重要領域検出手段と、
前記重要領域検出手段により検出された前記重要領域の動き量を検出する重要領域動き量検出手段と、
前記符号化対象画像と参照画像より画像間の全体的な動き量を示すグローバルベクトルを算出するグローバルベクトル検出手段と、
前記重要領域動き量検出手段により算出された前記重要領域の動き量と、前記グローバルベクトル検出手段により算出されたグローバルベクトルとを基に、前記符号化対象画像を複数画素に分割した符号化対象ブロックにおける、参照画像内の動きベクトル探索エリアを所定の条件に基いて決定する探索エリア決定手段とを有することを特徴とする動きベクトル検出装置。
【請求項２】
前記探索エリア決定手段は、前記符号化対象ブロックの全部もしくは一部が前記重要領域に含まれる場合に、前記重要領域動き量検出手段により算出された前記重要領域の動き量により動きベクトル探索領域を決定することを特徴とする請求項１に記載の動きベクトル検出装置。
【請求項３】
前記重要領域検出手段における検出結果の精度または信頼度を検出する信頼度検出手段を有し、
前記探索エリア決定手段は、前記重要領域検出手段により検出された精度または信頼度が予め設定された閾値以上である場合に、前記重要領域動き量検出手段により算出された前記重要領域の動き量により動きベクトル探索領域を決定することを特徴とする請求項１に記載の動きベクトル検出装置。
【請求項４】
前記重要領域の動き量と前記グローバルベクトルの差分値を算出する差分算出手段を有し、
前記探索エリア決定手段は、前記重要領域の動き量と前記グローバルベクトルの差分値が予め設定された閾値以上である場合に、前記重要領域動き量検出手段により算出された前記重要領域の動き量により動きベクトル探索領域を決定することを特徴とする請求項１に記載の動きベクトル検出装置。
【請求項５】
前記重要領域の占める割合を分割エリア毎に判定する判定手段を有し、
前記探索エリア決定手段は、前記重要領域の占める割合が予め設定された所定の閾値以上である場合に、前記重要領域動き量検出手段により算出された前記重要領域の動き量により動きベクトル探索領域を決定することを特徴とする請求項１に記載の動きベクトル検出装置。
【請求項６】
入力された符号化対象画像及び参照画像のそれぞれにおいて、画像の重要領域を順次検出する重要領域検出工程と、
前記重要領域検出工程において検出された前記重要領域の動き量を検出する重要領域動き量検出工程と、
前記符号化対象画像と参照画像より画像間の全体的な動き量を示すグローバルベクトルを算出するグローバルベクトル検出工程と、
前記重要領域動き量検出工程において算出された前記重要領域の動き量と、前記グローバルベクトル検出工程において算出されたグローバルベクトルとを基に、前記符号化対象画像を複数画素に分割した符号化対象ブロックにおける、参照画像内の動きベクトル探索エリアを所定の条件に基いて決定する探索エリア決定工程とを有することを特徴とする動きベクトル検出方法。
【請求項７】
前記探索エリア決定工程は、前記符号化対象ブロックの全部もしくは一部が前記重要領域に含まれる場合に、前記重要領域動き量検出工程において算出された前記重要領域の動き量により動きベクトル探索領域を決定することを特徴とする請求項６に記載の動きベクトル検出方法。
【請求項８】
前記重要領域検出工程における検出結果の精度または信頼度を検出する信頼度検出工程を有し、
前記探索エリア決定工程は、前記重要領域検出工程において検出された精度または信頼度が予め設定された閾値以上である場合に、前記重要領域動き量検出工程において算出された前記重要領域の動き量により動きベクトル探索領域を決定することを特徴とする請求項６に記載の動きベクトル検出方法。
【請求項９】
前記重要領域の動き量と前記グローバルベクトルの差分値を算出する差分算出工程を有し、
前記探索エリア決定工程は、前記重要領域の動き量と前記グローバルベクトルの差分値が予め設定された閾値以上である場合に、前記重要領域動き量検出工程において算出された前記重要領域の動き量により動きベクトル探索領域を決定することを特徴とする請求項６に記載の動きベクトル検出方法。
【請求項１０】
前記重要領域の占める割合を分割エリア毎に判定する判定工程を有し、
前記探索エリア決定工程は、前記重要領域の占める割合が予め設定された所定の閾値以上である場合に、前記重要領域動き量検出工程において算出された前記重要領域の動き量により動きベクトル探索領域を決定することを特徴とする請求項６に記載の動きベクトル検出方法。
【請求項１１】
入力された符号化対象画像及び参照画像のそれぞれにおいて、画像の重要領域を順次検出する重要領域検出工程と、
前記重要領域検出工程において検出された前記重要領域の動き量を検出する重要領域動き量検出工程と、
前記符号化対象画像と参照画像より画像間の全体的な動き量を示すグローバルベクトルを算出するグローバルベクトル検出工程と、
前記重要領域動き量検出工程において算出された前記重要領域の動き量と、前記グローバルベクトル検出工程において算出されたグローバルベクトルとを基に、前記符号化対象画像を複数画素に分割した符号化対象ブロックにおける、参照画像内の動きベクトル探索エリアを所定の条件に基いて決定する探索エリア決定工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１２】
請求項１１に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動きベクトル検出装置及び動きベクトル検出方法に関し、特に、映像データの符号化処理において動きベクトルを検出するために用いて好適な技術に関する。
【背景技術】
【０００２】
動画像信号を高能率で符号化する方法として、符号化対象画像と時間軸上で前後する画像を参照画像として画像間の動き量（動きベクトル）を利用することにより、冗長な情報を除いて伝送符号量を低減する方法が知られている。
【０００３】
例えば、ＭＰＥＧ２やＨ.２６４といった符号化方式では、画像を複数の画素からなるブロックに分割して、これらのブロック毎に画像の動きベクトルを検出する方法が用いられている。
【０００４】
前述した動きベクトルを検出する方法として、ブロックマッチング方法が知られている。図８に示すように、ブロックマッチング方法は、符号化対象画像８０１を複数画素単位に分割した符号化対象ブロック８０２と、参照画像８０３において、符号化対象ブロック８０２と同一座標となるブロック８０４を決定する。
【０００５】
さらに、符号化対象ブロック８０２と最も類似度の高いブロック８０６を、参照画像８０３内の所定の動きベクトル探索エリア８０５から探索する。最後に、前述したブロック８０４と前述したブロック８０６との間の動き量８０７を動きベクトルとして検出する方法である。
【０００６】
ここで、前述した所定の動きベクトル探索エリア８０５として、参照画像８０３全体を指定することが、符号量の観点から見た場合には最良である。しかしながら、近年の画像サイズの増加により参照画像全体を探索することは演算量が莫大になり、処理時間及び消費電力の面から見て現実的ではない。
【０００７】
そこで、演算量を削減する方法として、初めに粗く探索を行い、その探索結果に基づき、次段の探索を行う手法が知られている（例えば、特許文献１参照）。特許文献１に記載の手法では、演算量の削減を見込むことが可能であるが、始めの探索における探索エリアの設定を誤った場合には、後段にも結果が影響する。このために、最終的に誤った動きベクトルを検出してしまい、高い圧縮効果を見込めない場合が生じるという問題もある。
【０００８】
前述の動きベクトル探索エリア決定方法として、画像全体もしくは、複数に分割したエリアごとに動き量（グローバルベクトル）を算出して、グローバルベクトルの結果を基に探索エリアを決定する方法が知られている。
【０００９】
【特許文献１】特開平１０−１６４５８６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、前記のようにグローバルベクトルを用いた探索エリア決定方法においては、被写体の動き方向と背景の動き方向とが異なる場合に、所望の値と異なるという問題が生じる。前記問題が発生する場合の例を、図５を用いて説明する。
【００１１】
図５（Ａ）は、符号化対象画像５０１と符号化対象画像の直前の画像である参照画像５０２を示す。さらに、図５（Ｂ）は、符号化対象画像５０１と参照画像５０２の画像全体における移動量であるグローバルベクトル５０３を示す図である。
【００１２】
図５のように、参照画像５０２と符号化対象画像５０１との間において、被写体（人物）は画面内の左から右へ移動しているが、背景は右から左へ移動している。このような場合に探索エリアを誤る可能性が生じる。
【００１３】
図５で示すような場合には、画面全体の中で右から左へ移動する背景の占める割合が、背景とは逆方向の左から右へ移動する人物の領域より大きいために、画面全体の動き量であるグローバルベクトルは、矢印５０３のようになる。
【００１４】
ここで、図５（Ｃ）で示すように、符号化対象画像内の人物を示す領域のブロック５０４を符号化対象ブロックとした場合に、符号化対象ブロック５０４の位置を原点とする。そして、グローバルベクトル５０３が指し示す位置を中心に水平・垂直方向にそれぞれ所定画素分の位置を示す領域を動きベクトルの探索エリアとする。
【００１５】
図５（Ｃ）の場合には、本来の人物の移動方向とは逆を示すことにより、誤った位置を探索することとなる。したがって、前記探索エリア内において最も誤差の小さいブロックを算出したとしても、本来の探索エリアとは異なるために、動きベクトルの誤検出となり、高い圧縮効果を見込むことができないという問題が生じる。
【００１６】
本発明は前述の問題点に鑑み、目的とする探索エリア動きベクトル検出における動きベクトル探索範囲の精度を向上できるようにすることを目的としている。
【課題を解決するための手段】
【００１７】
本発明の動きベクトル検出装置は、入力された符号化対象画像及び参照画像のそれぞれにおいて、画像の重要領域を順次検出する重要領域検出手段と、前記重要領域検出手段により検出された前記重要領域の動き量を検出する重要領域動き量検出手段と、前記符号化対象画像と参照画像より画像間の全体的な動き量を示すグローバルベクトルを算出するグローバルベクトル検出手段と、前記重要領域動き量検出手段により算出された前記重要領域の動き量と、前記グローバルベクトル検出手段により算出されたグローバルベクトルとを基に、前記符号化対象画像を複数画素に分割した符号化対象ブロックにおける、参照画像内の動きベクトル探索エリアを所定の条件に基いて決定する探索エリア決定手段とを有することを特徴とする。
【００１８】
本発明の動きベクトル検出方法は、入力された符号化対象画像及び参照画像のそれぞれにおいて、画像の重要領域を順次検出する重要領域検出工程と、前記重要領域検出工程において検出された前記重要領域の動き量を検出する重要領域動き量検出工程と、前記符号化対象画像と参照画像より画像間の全体的な動き量を示すグローバルベクトルを算出するグローバルベクトル検出工程と、前記重要領域動き量検出工程において算出された前記重要領域の動き量と、前記グローバルベクトル検出工程において算出されたグローバルベクトルとを基に、前記符号化対象画像を複数画素に分割した符号化対象ブロックにおける、参照画像内の動きベクトル探索エリアを所定の条件に基いて決定する探索エリア決定工程とを有することを特徴とする。
【００１９】
本発明のプログラムは、入力された符号化対象画像及び参照画像のそれぞれにおいて、画像の重要領域を順次検出する重要領域検出工程と、前記重要領域検出工程において検出された前記重要領域の動き量を検出する重要領域動き量検出工程と、
前記符号化対象画像と参照画像より画像間の全体的な動き量を示すグローバルベクトルを算出するグローバルベクトル検出工程と、前記重要領域動き量検出工程において算出された前記重要領域の動き量と、前記グローバルベクトル検出工程において算出されたグローバルベクトルとを基に、前記符号化対象画像を複数画素に分割した符号化対象ブロックにおける、参照画像内の動きベクトル探索エリアを所定の条件に基いて決定する探索エリア決定工程とをコンピュータに実行させることを特徴とする。
【発明の効果】
【００２０】
本発明によれば、重要領域の動きベクトル検出における動きベクトル探索範囲の精度を向上させることにより予測精度の向上を実現することができ、これにより、画質向上を実現することができる。
【発明を実施するための最良の形態】
【００２１】
（第１の実施形態）
以下に、本発明の好適な実施形態を用いる映像符号化装置の構成について、図１のブロック図を参照しながら説明する。
図１に示すように、本実施形態の映像符号化装置１００は、差分計算部１０１において、入力画像と、予測画像生成部１０９により生成された予測画像との差分値を算出する。なお、予測画像生成部１０９における予測画像生成方法については後述する。
【００２２】
次に、直交変換部量子化部１０２において、差分計算部１０１から出力された入力画像と予測画像との差分値データを、画素ブロック単位に整数精度離散コサイン変換、及び離散アダマール変換による直交変換処理を行う。さらに、直交変換後のデータに対して量子化処理を行う。画素ブロック単位として、８×８画素、または４×４画素ブロック単位とする。
【００２３】
次に、エントロピー符号化部１０３において、入力された量子化後のデータに対して、ＣＡＶＬＣ、もしくはＣＡＢＡＣなどのエントロピー符号化処理を行い、符号化データを出力する。ＣＡＶＬＣは、Context−based Adaptive Variable Length Codingである。また、ＣＡＢＡＣは、Context−based Adaptive Binary Arithmetic Codingである。
【００２４】
次に、予測画像生成に係る処理について説明する。
直交変換部量子化部１０２から出力された量子化後のデータに対して、逆量子化部逆直交変換部１０４において、逆量子化処理、逆直交変換処理を行う。さらに、予測画像生成部１０９から出力される予測画像を加算部１１０で加算したデータをデブロッキングフィルタ(Deblocking Filter)処理部１０５及びメモリＡ１０６へ出力する。
【００２５】
また、デブロッキングフィルタ処理部１０５においてデブロッキングフィルタ処理を施したデータをメモリＢ１０７へ格納する。ここで、メモリＡ１０６にはデブロッキング処理前のデータが格納され、メモリＢ１０７にはデブロッキングフィルタ後のデータが格納されることとなる。デブロッキングフィルタ処理部１０５は、整数変換のブロック境界のみを平滑化してブロックノイズの発生を抑制する。
【００２６】
次に、予測方法決定部１０８において、入力画像とメモリＡ１０６及びメモリＢ１０７に格納されているデータを用いて、予測画像の予測方法を決定する。画面内符号化については、メモリＡ１０６に格納されているデブロッキングフィルタ処理前のデータを用いて、所定の画素ブロック単位（例えば、１６×１６画素ブロック単位、８×８画素ブロック単位、４×４画素ブロック単位）で行う。さらに、所定の予測モードごとに、符号化効率を求める。
【００２７】
一方、画面間符号化については、入力画像とメモリＢ１０７に格納されているデブロッキングフィルタ処理後のデータを用いて、符号化効率を求め、符号化効率の最適となる予測方法を決定する。本実施形態においては、入力画像がＩスライスの場合には画面内符号化のみを採用し、Ｐスライス及びＢスライスの場合には、画面内符号化及び画面間符号化より最適な符号化効率となる予測方法を選択する。
【００２８】
前述のような処理を行うことにより、最適な符号化効率が得られる予測方式及び符号化パラメータを出力することができる。予測画像生成部１０９では、予測方法決定部１０８により決定した予測方法に従って予測画像を生成する。そして、予測画像生成部１０９で生成した予測画像を加算部１１０に出力する。
【００２９】
次に、図２を用いて、図１の予測方法決定部１０８の構成例についてより詳細な説明を行う。
図２において、２０１は図１に示す予測方法決定部１０８と等しい。また、図１のメモリＡ１０６及びメモリＢ１０７と図２のメモリＡ２０７とメモリＢ２００は同等であるものとする。
【００３０】
まず、図２の画面間予測探索エリア決定部２０２について説明する。
画面間予測探索エリア決定部２０２においては、画面間予測における参照画像内の探索エリア（動きベクトル探索領域）を決定する。
【００３１】
重要部検出部２０３では、現画像である入力画像とメモリＢ２００から読み出した参照画像のそれぞれにおいて、所望の重要部を検出する。入力画像及び参照画像のそれぞれにおいて重要部を検出した場合には、その重要部の画面内における座標位置の情報についても重要部動き量検出部２０４へ送る。さらに、重要部が検出された場合には、検出した重要部の検出精度、または信頼度検出を行い、これらの情報についても重要部動き量検出部２０４へ送る。
【００３２】
次に、重要部動き量検出部２０４において、重要部検出部２０３より重要部未検出信号を受けた場合には、同様に重要部未検出信号を探索エリア決定部２０５へ送る。また、重要部検出信号を受信した場合には、同信号と同様に重要部検出部２０３より受信した入力画像及び参照画像の重要部の座標位置情報を用いて、画像間の差分値より重要部の動き量を算出する。前述した重要部の動き量及び重要部検出信号を探索エリア決定部２０５へ送る。
【００３３】
次に、グローバルベクトル検出部２０６においては、入力画像とメモリＢ２００より読み出した参照画像より、画像全体の動き量を算出して、結果を探索エリア決定部２０５へ送る。なお、画像全体に限らず、画像を数個の領域に分割したときの分割領域ごとにグローバルベクトルを算出してもよい。グローバルベクトルとは、符号化対象画像と参照画像との画像間の全体的な動き量を示す値であって、画像の全体又は広範囲部分の比較によって算出される。
【００３４】
探索エリア決定部２０５においては、重要部動き量検出部２０４より受信した重要部の有無を示す信号により、重要部がないと判断された場合には、グローバルベクトル検出部２０６より受信したグローバルベクトルを基に探索エリアを決定する。そして、決定した探索エリア情報を予測方法決定部２０９へ送る。また、重要部動き量検出部２０４より受信した重要部の有無を示す信号において、重要部があると判断された場合には、予測方法決定部２０１へ入力された入力画像が重要部検出エリア内であるか否かを判定する。
【００３５】
ここで、入力された入力画像が重要部検出エリア外である場合には、グローバルベクトル検出部２０６より受信したグローバルベクトルを基に、探索エリアを決定する。また、入力された入力画像が重要部検出エリア内である場合には、重要部動き量検出部２０４より受信した重要部動き量情報を基に探索エリアを決定し、決定した探索エリア情報を予測方法決定部２０９へ送る。
【００３６】
次に、画面内予測符号化モード決定部２０８において、入力画像とメモリＡ２０７から読み出した参照画像より画面内符号化の予測モードを決定し、予測方法決定部２０９へ送る。画面内予測符号化モード決定部２０８の詳細な構成については、本実施形態の映像符号化装置１００で対象としている技術とは直接関連しないために、詳細な説明は省略する。予測方法決定部２０９では、画面内予測の情報と、画面間予測の情報を基に、最適な予測方法を選択して出力する。
【００３７】
前述した実施形態では、グローバルベクトルを用いた動きベクトル探索エリア（動きベクトル探索エリア）決定方法より動きベクトルを検出する方法について説明した。例えば、符号化対象ブロック周辺の符号化済みブロックの動きベクトルより、該符号化対象ブロックの動きベクトルを予測して、該予測動きベクトルを用いて動きベクトル探索エリアを決定する方法を用いてもよい。
【００３８】
（第２の実施形態）
以下に、図３のブロック図を参照しながら本発明の動きベクトル検出装置の構成例について説明する。
まず、顔領域検出部３０１において、画像の重要領域を順次検出する重要領域検出を行う。本実施形態においては、符号化対象画像及び参照画像における重要領域（重要部）として顔検出を行う。そして、検出結果として、顔検出有無信号、顔検出領域の画像内における座標位置情報及び顔検出における信頼度を示す情報を、重要領域動き量検出部として設けられている顔領域動き量検出部３０２へ送る。
【００３９】
顔領域動き量検出部３０２では、顔領域検出部３０１より受信した顔検出有無信号より、符号化対象画像及び参照画像において顔が検出された場合に、それぞれの座標位置情報により、画像間の顔領域の動き量を算出する。この顔領域の動き量は座標位置の差分により算出する。そして、顔領域の動き量と、顔検出有無信号及び顔検出における信頼度を示す情報を探索エリア決定部３０４へ送る。また、グローバルベクトル検出部３０３では、符号化対象画像と参照画像より画像全体の動き量であるグローバルベクトルを算出して探索エリア決定部３０４へ出力する。
【００４０】
次に、探索エリア決定部３０４にて、符号化対象画像を複数画素に分割した符号化対象ブロックにおける、参照画像内の動きベクトル探索エリアを決定する。探索エリア決定部３０４の詳細な処理については後述する。
【００４１】
次に、参照ブロック生成部３０５では、参照画像を複数画素単位に分割した参照ブロックを生成する。ここで、探索エリア決定部３０４にて決定した探索エリア内より参照ブロックを生成する。
【００４２】
次に、差分算出部３０６では、符号化対象ブロックと、参照ブロック生成部３０５において生成した参照ブロックとの画素単位の差分値を算出する。最後に、動きベクトル算出部３０７において、探索エリア内の参照ブロック毎に差分値を算出した結果を用いて、差分値が最小となる参照ブロックを決定して、該参照ブロックとの差分値を動きベクトルとして決定して出力する。
【００４３】
次に、図４のフローチャートを用いて、前述した探索エリア決定部３０４で行われる処理を詳細に説明する。
図４に示すように、先ず、ステップＳ４０１において、図３の顔領域動き量検出部３０２により入力される顔検出の有無を示す信号が、符号化対象画像及び参照画像において、顔が検出されたことを示す信号が入力されたか否かを判断する。この判断の結果、顔検出信号が入力された場合には、処理をステップＳ４０２へ移行する。また、顔検出信号が入力されなかった場合には、処理をステップＳ４０３へ移行する。
【００４４】
ステップＳ４０２では、符号化対象ブロックの全部または一部が顔検出領域内にあるか否かを判定する。この判定の結果、符号化対象ブロックの全部または一部が顔検出領域内にあると判定された場合には、処理をステップＳ４０４へ移行する。また、前述した判定において、顔検出領域内にはないと判定された場合、つまり、符号化対象ブロックが顔検出領域内に含まれない場合には、処理をステップＳ４０３へ移行する。
【００４５】
ステップＳ４０３では、図３のグローバルベクトル検出部３０３より入力されるグローバルベクトルを用いて、動きベクトルの探索エリアを決定する。また、ステップＳ４０４では、図３で示す顔検出動き量検出部３０２より入力される顔検出領域の動き量を用いて、動きベクトルの探索エリアを決定して出力する。
【００４６】
次に、図４のフローチャートにおけるステップＳ４０３及びステップＳ４０４の探索エリアの決定処理について、図６及び図７を用いて説明する。
まず、図６を参照しながら、図４のフローチャートにおけるステップＳ４０３で行われる処理である、グローバルベクトルを用いた動きベクトル探索エリアの決定処理について説明する。
【００４７】
図６（Ａ）では、符号化対象画像６０１と参照画像６０２において、画像全体の移動量であるグローバルベクトル６０３を示す図である。さらに、図６（Ｂ）では、符号化対象ブロック６０４を原点として、グローバルベクトル６０３が指し示す位置を中心とした動きベクトル探索エリア６０５を示す図である。
【００４８】
図６（Ａ）、（Ｂ）で示すように、顔検出領域外の符号化対象ブロックの動きベクトル探索エリア決定方法については、グローバルベクトルを用いた方法により決定する。
【００４９】
次に、図４のフローチャートにおけるステップＳ４０４で行われる、顔検出領域の動き量を用いた動きベクトル探索エリアの決定処理について、図７を参照しながら説明する。
図７（Ａ）では、符号化対象画像７０１と参照画像７０２について、顔検出領域７０３、７０４をそれぞれで示す。
【００５０】
さらに、図７（Ｂ）では、符号化対象画像７０１と参照画像７０２における顔検出領域動き量７０５を示す。この顔検出領域動き量７０５は、各画像における顔検出領域７０３、７０４の座標の差分値により算出する。
【００５１】
次に、図７（Ｃ）では、顔検出領域内の符号化対象ブロック７０６において、符号化対象ブロック７０６を原点にして、顔検出領域動き量７０５が指し示す位置７０７を中心とした動きベクトル探索エリア７０４を示す。前述したように、顔検出領域内の符号化対象ブロックについては、顔検出領域動き量７０５を用いて動きベクトル探索エリア７０４を決定する。
【００５２】
次に、顔検出における信頼度を用いた動きベクトル探索エリア決定方法の制御について、図９のフローチャートを用いて説明する。
図９のステップＳ９０１において、図３の顔領域動き量検出部３０２により入力される顔検出の有無を示す信号が、符号化対象画像及び参照画像において、顔が検出されたことを示す信号が入力されたか否かを判定する。この判定の結果、入力された場合には、処理をステップＳ９０２へ移行する。また、符号化対象画像または参照画像において、顔検出を行った結果、顔が検出されなかった場合には、処理をステップＳ９０４へ移行する。
【００５３】
ステップＳ９０２では、符号化対象ブロックの全部または一部が顔検出領域内にあるか否かを判定する。この判定の結果、符号化対象ブロックの全部または一部が顔検出領域内にあると判定された場合には、処理をステップＳ９０３へ移行する。また、ステップＳ９０２の判定において否と判定された場合、つまり符号化対象ブロックが顔検出領域内に含まれない場合には、処理をステップＳ９０４へ移行する。
【００５４】
ステップＳ９０３では、入力される顔検出における信頼度が予め設定された所定の閾値以上であるか否かを判定する。この判定の結果、顔検出の信頼度が予め設定された所定の閾値以上であれば、処理をステップＳ９０５へ移行する。また、顔検出の信頼度が予め設定された所定の閾値未満の場合には、処理をステップＳ９０４へ移行する。
【００５５】
次に、ステップＳ９０４では、図３のグローバルベクトル検出部３０３より入力されるグローバルベクトルを用いて、動きベクトルの探索エリアを決定する。また、ステップＳ９０５では、図３で示す顔検出動き量検出部３０２より入力される顔検出領域の動き量を用いて、動きベクトルの探索エリアを決定して出力する。
【００５６】
次に、顔検出領域の動き量とグローバルベクトルとの比較結果を用いた動きベクトル探索エリア決定方法の制御について、図１０のフローチャートを用いて説明する。
図１０に示すように、ステップＳ１００１において、図３の顔領域動き量検出部３０２により入力される顔検出の有無を示す信号が、符号化対象画像及び参照画像において、顔が検出されたことを示す信号が入力されたか否かを判定する。この判定の結果、入力された場合には、処理をステップＳ１００２へ移行する。また、符号化対象画像または参照画像において、顔検出を行った結果、顔が検出されなかった場合には、処理をステップＳ１００４へ移行する。
【００５７】
ステップＳ１００２においては、符号化対象ブロックの全部または一部が顔検出領域内にあるか否かを判定する。この判定の結果、符号化対象ブロックの全部または一部が顔検出領域内にあると判定された場合には、処理をステップＳ１００３へ移行する。また、前記判定において否と判定された場合、つまり、符号化対象ブロックが顔検出領域内に含まれない場合には、処理をステップＳ１００４へ移行する。
【００５８】
ステップＳ１００３においては、顔検出領域の動き量とグローバルベクトルの差分値を算出し、差分値が予め設定された所定の閾値以上であるか否かを判定する。この判定の結果、差分値が予め設定された所定の閾値以上であれば、処理をステップＳ１００５へ移行する。また、該差分値が予め設定された所定の閾値未満の場合には、処理をステップＳ１００４へ移行する。
【００５９】
次に、ステップＳ１００４においては、図３のグローバルベクトル検出部３０３より入力されるグローバルベクトルを用いて、動きベクトルの探索エリアを決定する。また、ステップＳ１００５では、図３で示す顔検出動き量検出部３０２より入力される顔検出領域の動き量を用いて、動きベクトルの探索エリアを決定して出力する。
【００６０】
次に、符号化対象画像を所定数に分割し、分割した画像毎に動きベクトルの探索エリアを決定する際の制御方法について説明する。
本実施形態においては、顔検出領域の占める割合を分割エリア毎（分割ブロック毎）に判定し、顔検出領域の占める割合が予め設定された所定の閾値以上であれば、その分割エリアについては、顔検出領域の動き量を用いた動きベクトル探索エリア決定方法を用いる。
【００６１】
また、該分割エリアにおいて、顔検出領域の占める割合が予め設定された所定の閾値未満の場合には、該分割エリアについては、グローバルベクトルを用いた動きベクトル探索エリア決定方法を用いる。エリア毎に、前記動きベクトル探索エリア決定方法より求めた探索エリアについて、最適な参照ブロックを選定して動きベクトルを検出する。
【００６２】
次に、図３の顔領域検出部３０１において、複数の顔領域を検出した場合の処理について説明する。
前記のように複数の顔領域を検出した場合には、図３の顔領域動き量検出部３０２において、符号化対象画像内の顔検出領域毎に、複数ある参照画像内の顔検出領域毎に顔検出領域の動き量を算出する。そして、算出した複数の顔検出領域の動き量の中で、最小値のみを割り当てる。
【００６３】
次に、図３の探索エリア決定部３０４において、符号化対象ブロックが、顔検出領域内に全部または一部が含まれる場合には、該顔検出領域に割り当てられた顔検出領域の動き量を用いて、動きベクトル探索エリアを求めるものとする。前記手段により、顔領域検出において、複数の顔が検出された場合においても、効果的な動きベクトル検出を実現する。
【００６４】
（本発明に係る他の実施の形態）
前述した本発明の実施の形態における動きベクトル検出装置を構成する各手段は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【００６５】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施の形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００６６】
なお、本発明は、前述した動きベクトル検出方法における各工程を実行するソフトウェアのプログラム（実施の形態では図４、図９及び図１０に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００６７】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００６８】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【００６９】
プログラムを供給するための記録媒体としては種々の記録媒体を使用することができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【００７０】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【００７１】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００７２】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００７３】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施の形態の機能が実現される他、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行うことによっても前述した実施の形態の機能が実現され得る。
【００７４】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施の形態の機能が実現される。
【図面の簡単な説明】
【００７５】
【図１】第１の実施形態を示し、映像符号化装置のブロック図である。
【図２】第１の実施形態を示し、予測方法決定部の構成例を説明するブロック図である。
【図３】第２の実施形態を示し、顔検出を用いた動きベクトル検出部の構成例を示すブロック図である。
【図４】第２の実施形態を示し、動きベクトル探索エリア決定処理の手順を説明するフローチャートである。
【図５】従来例を示し、被写体と背景の動き方向とが異なる場合を説明する図である。
【図６】第２の実施形態を示し、グローバルベクトルを用いた動きベクトル探索エリアの決定処理について説明する図である。
【図７】第２の実施形態を示し、動きベクトル探索エリア決定処理について説明する図である。
【図８】動きベクトルを検出する方法として用いられるブロックマッチング方法を説明する図である。
【図９】第２の実施形態を示し、顔検出における信頼度を用いた動きベクトル探索エリア決定方法の制御手順を説明するフローチャートである。
【図１０】第２の実施形態を示し、顔検出領域の動き量とグローバルベクトルとの比較結果を用いた動きベクトル探索エリア決定方法の制御手順を説明するフローチャートである。
【符号の説明】
【００７６】
１００  映像符号化装置
１０１  差分計算部
１０２  直交変換部量子化部
１０３  エントロピー符号化部
１０４  逆量子化部逆直交変換部
１０５  デブロッキングフィルタ処理部
１０６  メモリＡ
１０７  メモリＢ
１０８  予測方法決定部
１０９  予測画像生成部
１１０  加算部
２００  メモリＢ
２０１  予測方法決定部
２０２  画面間予測探索エリア決定部
２０３  重要部検出部
２０４  重要部動き量検出部
２０５  探索エリア決定部
２０６  グローバルベクトル検出部
２０７  メモリＡ
２０８  画面内予測符号化モード決定部
２０９  予測方法決定部
３０１  顔領域検出部
３０２  顔領域動き量検出部
３０３  グローバルベクトル検出部
３０４  探索エリア決定部
３０５  参照ブロック生成部
３０６  差分算出部
３０７  動きベクトル算出部
【図１】
2010109917.tif 000003
【図２】
2010109917.tif 000004
【図３】
2010109917.tif 000005
【図４】
2010109917.tif 000006
【図５】
2010109917.tif 000007
【図６】
2010109917.tif 000008
【図７】
2010109917.tif 000009
【図８】
2010109917.tif 000010
【図９】
2010109917.tif 000011
【図１０】
2010109917.tif 000012