(57)【要約】【課題】フレーム間予測符号化する際、高精度な動き補償を行う。【解決手段】記憶部２０は、フレーム画像を保持する。伝送路７０は、記憶部２０と各種アクセス主体との間でフレーム画像を伝送する。動き探索部１５１は、対象フレーム画像内の符号化すべきブロック領域と最も誤差が小さい、参照フレーム画像内のブロック領域を探索して動き補償すべく、参照フレーム画像内に複数の探索領域を設定して、符号化すべきブロック領域とそれぞれの探索領域との誤差を算出する。探索領域決定部４０は、記憶部２０からフレーム画像を動き探索部１５１に伝送する伝送路７０の混雑度に応じて、動き探索部１５１により設定されるべき探索領域の数を決定する。【選択図】図１
2010246005.tif 000002
【特許請求の範囲】
【請求項１】
フレーム間予測符号化を用いて動画像を符号化する画像処理装置であって、
フレーム画像を保持する記憶部と、
前記記憶部と各種アクセス主体との間で前記フレーム画像を伝送するための伝送路と、
対象フレーム画像内の符号化すべきブロック領域と最も誤差が小さい、参照フレーム画像内のブロック領域を探索して動き補償すべく、前記参照フレーム画像内に複数の探索領域を設定して、前記符号化すべきブロック領域とそれぞれの探索領域との誤差を算出する動き探索部と、
前記伝送路の混雑度に応じて、前記動き探索部により設定されるべき探索領域の数を決定する探索領域決定部と、
を備えることを特徴とする画像処理装置。
【請求項２】
各種アクセス主体から、前記記憶部に保持されるフレーム画像の取得要求を受け付けるメモリ管理部と、
前記探索領域決定部は、前記メモリ管理部により受け付けられた取得要求の待ち行列数が多いほど、前記探索領域の数を少なくすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
フレーム間予測符号化を用いて動画像を符号化する画像処理装置であって、
対象フレーム画像内の符号化すべきブロック領域と最も誤差が小さい、参照フレーム画像内のブロック領域を探索して動き補償すべく、前記参照フレーム画像内に複数の探索領域を設定して、前記符号化すべきブロック領域とそれぞれの探索領域との誤差を算出する動き探索部と、
指定されたサイズまたはフレームレートに応じて、前記動き探索部により設定されるべき探索領域の数を決定する探索領域決定部と、
を備えることを特徴とする画像処理装置。
【請求項４】
前記探索領域決定部は、前記探索領域の数を現在の数から少なくする際、残すべき複数の探索領域間のバラツキが大きくなるよう、不採用とする探索領域を決定することを特徴とする請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
撮像部と、
前記撮像部により撮像された動画像を処理する請求項１から４のいずれかに記載の画像処理装置と、
を備えることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を処理する画像処理装置、およびそれを搭載した撮像装置に関する。
【背景技術】
【０００２】
近年、デジタルムービーカメラが普及してきている。このようなカメラでは、撮像した動画像をＭＰＥＧ−４やＨ．２６４／ＡＶＣに準拠したフォーマットで記録することが一般的である。
【０００３】
ＭＰＥＧシリーズを始めたとした動画像圧縮符号化では、圧縮率を向上させるための様々な手法が採用されている。その手法の一つにフレーム間予測符号化がある。フレーム間予測符号化は、異なる時刻のフレームに基づいて予測画像を生成し、入力画像と予測画像との差分画像を符号化する方式である。
【０００４】
フレーム間予測符号化をする際の圧縮率をより高めるための手法に、動き補償が使用されている。動き補償は、現在のフレームを予測する際に、被写体やカメラの動きの分だけずらした位置の画像を用いることにより、それらの動きを補うものである。動き補償を行うためには、画像の動き量を推定する動きベクトル探索が必要になる。高精度な動きベクトルを探索するには、できるだけ多くの探索領域から最も誤差の小さい領域を選択することが有効である。動きベクトルを探索する際の探索領域の数は、あらかじめ設定された数に固定されていることが一般的である（たとえば、非特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【非特許文献１】大久保榮監修「改訂版Ｈ．２６４／ＡＶＣ教科書」株式会社インプレスＲ＆Ｄ、２００６年１月１日、ｐ．２０６−２０８
【発明の概要】
【発明が解決しようとする課題】
【０００６】
内部バスの伝送量が増大することにより、メモリから符号化ユニットへの画像データの伝送に遅延が発生した場合、規定の時間内に、設定されたすべての探索領域を演算しきれない場合が発生する。この場合、演算エラーとなるか、演算が終了した探索領域のなかから、予測誤差信号を生成するための探索領域を選択しなければならない。前者の場合、画質の低下につながり、後者の場合、演算できなかった探索領域のなかに最適な探索領域が存在した可能性があり、最適な動きベクトルを探索できていない可能性がある。
【０００７】
また、撮影モードの変更などにより、サイズが大きくなったり、またはフレームレートが高くなった場合も、規定の時間内に、設定されたすべての探索領域を演算しきれない場合が発生する。
【０００８】
本発明はこうした状況に鑑みなされたものであり、その目的は、フレーム間予測符号化する際、高精度な動き補償を行うことができる技術を提供することにある。
【課題を解決するための手段】
【０００９】
本発明のある態様の画像処理装置は、フレーム間予測符号化を用いて動画像を符号化する画像処理装置であって、フレーム画像を保持する記憶部と、記憶部と各種アクセス主体との間でフレーム画像を伝送するための伝送路と、対象フレーム画像内の符号化すべきブロック領域と最も誤差が小さい、参照フレーム画像内のブロック領域を探索して動き補償すべく、参照フレーム画像内に複数の探索領域を設定して、符号化すべきブロック領域とそれぞれの探索領域との誤差を算出する動き探索部と、伝送路の混雑度に応じて、動き探索部により設定されるべき探索領域の数を決定する探索領域決定部と、を備える。
【００１０】
本発明の別の態様もまた、画像処理装置である。この装置は、フレーム間予測符号化を用いて動画像を符号化する画像処理装置であって、対象フレーム画像内の符号化すべきブロック領域と最も誤差が小さい、参照フレーム画像内のブロック領域を探索して動き補償すべく、参照フレーム画像内に複数の探索領域を設定して、符号化すべきブロック領域とそれぞれの探索領域との誤差を算出する動き探索部と、指定されたサイズまたはフレームレートに応じて、動き探索部により設定されるべき探索領域の数を決定する探索領域決定部と、を備える。
【００１１】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１２】
本発明によれば、フレーム間予測符号化する際、高精度な動き補償を行うことができる。
【図面の簡単な説明】
【００１３】
【図１】実施の形態に係る画像処理装置を搭載した撮像装置の構成を示す図である。
【図２】実施の形態に係る符号化部の構成を示すブロック図である。
【図３】実施の形態に係る動き探索部により、参照フレーム画像に設定される第１階層の探索領域（１４個）の一例を示す図である。
【図４】実施の形態に係る動き探索部により、参照フレーム画像に設定される第２階層の探索領域の一例を示す図である。
【図５】実施の形態に係る動き探索部により、参照フレーム画像に設定される第３階層の探索領域の一例を示す図である。
【図６】実施の形態に係る動き探索部により、参照フレーム画像に設定される第１階層の探索領域（１２個）の一例を示す図である。
【図７】実施の形態に係る動き探索部により、参照フレーム画像に設定される第１階層の探索領域（１０個）の一例を示す図である。
【図８】メモリ管理部により受け付けられたデータ取得要求の待ち行列数と、探索領域数を関連づけて記述した変換テーブルの一例を示す図である。
【図９】動き探索部からメモリ管理部にデータ取得要求が出されて動き探索部がそのデータを取得するまでの待ち時間と、探索領域数を関連づけて記述した変換テーブルの一例を示す図である。
【図１０】撮影モードと、探索領域数を関連づけて記述した変換テーブルの一例を示す図である。
【発明を実施するための形態】
【００１４】
図１は、実施の形態に係る画像処理装置１００を搭載した撮像装置５００の構成を示す図である。撮像装置５００は、撮像部２００、画像処理装置１００および表示部３００を備える。
【００１５】
撮像部２００は、動画像を取得し画像処理装置１００に供給する。撮像部２００は、撮像素子２１０および信号処理部２２０を含む。撮像素子２１０には、ＣＣＤ（Charge Coupled Devices）センサまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを採用することができる。撮像素子２１０は、入射光を電気信号に変換して信号処理部２２０に出力する。信号処理部２２０は、撮像素子２１０から入力される信号を処理する。ここでは、アナログの三原色信号Ｒ、Ｇ、Ｂを、デジタルの輝度信号Ｙおよび色差信号Ｃｒ、Ｃｂに変換する。
【００１６】
表示部３００は、画像処理装置１００から供給される動画像を表示する。より具体的には、表示部３００は、記憶部２０に記憶されたフレーム画像をメモリ管理部３０および伝送路７０を介して取得して、表示する。
【００１７】
画像処理装置１００は、撮像部２００により撮像された動画像を処理する。たとえば、フレーム内予測符号化およびフレーム間予測符号化を用いて動画像を圧縮符号化する。
【００１８】
画像処理装置１００は、符号化部１０、記憶部２０、メモリ管理部３０、探索領域決定部４０、主制御部５０、顔検出部６０を備える。画像処理装置１００内には伝送路７０（すなわち、内部バス）が設けられ、伝送路７０には、各種アクセス主体（ここでは、信号処理部２２０、符号化部１０、メモリ管理部３０、探索領域決定部４０、主制御部５０、顔検出部６０および表示部３００）が接続される。記憶部１０と各種アクセス主体とは、伝送路７０を利用して、フレーム画像をやりとりすることができる。
【００１９】
記憶部２０は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）で構成することができる。本実施の形態では、記憶部２０は動画像、すなわち複数のフレーム画像を一時保持する。当該フレーム画像は、信号処理部２２０から伝送路７０およびメモリ管理部３０を介して記憶部２０に伝送され、記憶される。
【００２０】
主制御部５０は、撮像装置５００全体を制御する。本実施の形態では、撮影モードを設定する制御に注目する。主制御部５０は、図示しない操作部に対するユーザ操作に起因して、撮影モードを決定し、撮像部２００および符号化部１０に設定する。なお、主制御部５０は、信号処理部２２０の負荷、符号化部１０の負荷、伝送路７０の伝送状況および記憶部２０の空き容量の少なくとも一つを参酌して、撮影モードを決定してもよい。ここで、当該撮影モードの決定とは、フルＨＤモード、ＨＤモードおよびノーマルモードのいずれかを選択する処理であってもよい。
【００２１】
顔検出部６０は、フレーム画像内から顔を検出する。一般的な顔検出アルゴリズムを採用することができる。当該フレーム画像は、記憶部２０からメモリ管理部３０および伝送路７０を介して取得される。
【００２２】
メモリ管理部３０は、伝送路７０に接続された各種アクセス主体から、記憶部２０に保持されるフレーム画像の取得要求を受け付ける。複数の取得要求を受け付けた場合、メモリ管理部３０は、受付順に取得要求の待ち行列を生成する。メモリ管理部３０は、当該待ち行列にもとづき、各種アクセス主体に伝送路７０を介して記憶部２０に保持されるフレーム画像を伝送する。
【００２３】
符号化部１０は、所定の規格（たとえば、Ｈ．２６４／ＡＶＣ、ＭＰＥＧ−２、またはＭＰＥＧ−４）にしたがい、動画像を圧縮符号化する。
【００２４】
図２は、実施の形態に係る符号化部１０の構成を示すブロック図である。符号化部１０は、分割部１１、直交変換部１２、量子化部１３、フレーム内予測符号化部１４、フレーム間予測符号化部１５、可変長符号化部１６およびストリーム生成部１７を有する。
【００２５】
符号化部１０の構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされた画像符号化プログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
【００２６】
分割部１１は、入力されるフレーム画像を複数の領域に分割する。ここでは、マクロブロックに分割する。直交変換部１２は、各フレーム画像をマクロブロック単位で直交変換する。ＭＰＥＧシリーズでは、輝度信号Ｙおよび色差信号Ｃｒ、ＣｂをＤＣＴ変換し、ＤＣＴ係数を生成する。
【００２７】
量子化部１３は、直交変換部１２で生成されたＤＣＴ係数を、所定の量子化テーブルを参照してマクロブロック単位で量子化する。量子化部１３は、量子化したＤＣＴ係数をフレーム内予測符号化部１４またはフレーム間予測符号化部１５に供給する。具体的には、Ｉピクチャとして符号化されるべきＤＣＴ係数をフレーム内予測符号化部１４に、ＰピクチャまたはＢピクチャとして符号化されるべきＤＣＴ係数をフレーム間予測符号化部１５に供給する。
【００２８】
フレーム内予測符号化部１４は、ＩピクチャのＤＣＴ係数をフレーム内予測符号化する。ここでは、ＭＰＥＧシリーズで規定されたフレーム内予測符号化を用いることができる。
【００２９】
フレーム間予測符号化部１５は、ＰピクチャまたはＢピクチャのＤＣＴ係数をフレーム間予測符号化する。ここでも、ＭＰＥＧシリーズで規定されたフレーム間予測符号化を用いることができる。
【００３０】
以下、より詳細に説明する。フレーム間予測符号化部１５は、動き探索部１５１を含む。動き探索部１５１は、対象フレーム画像内の符号化すべきブロック領域（以下、対象ブロック領域という）と最も誤差が小さい、過去または未来の参照フレーム画像内のブロック領域を探索して動き補償すべく、当該参照フレーム画像内に複数の探索領域を設定して、当該対象ブロック領域とそれぞれの探索領域との誤差を算出する。ここでの誤差は後述する代表値間の誤差であってもよい。動き探索部１５１は、誤差が最も小さい探索領域を予測領域に決定する。
【００３１】
ここで、動き探索部１５１は、当該対象フレーム画像および当該参照フレーム画像を、記憶部２０からメモリ管理部３０および伝送路７０を介して取得する。動き探索部１５１は、探索領域決定部４０からの指示にしたがい、上記参照フレーム画像内に上記探索領域を設定する。
【００３２】
フレーム間予測符号化部１５は、上記対象ブロック領域と、動き探索部１５１により決定された予測領域とのずれを示す動きベクトルを求めるとともに、上記対象ブロック領域と動き補償後の予測領域との誤差を示す予測誤差信号を生成する。なお、Ｈ．２６４／ＡＶＣでは、上記対象ブロック領域のサイズを、１６×１６、１６×８、８×１６、８×８、８×４、４×８、４×４のなかから適宜選択することができる。なお、動き補償処理はＤＣＴ係数ではなく画素値に対して施されるが、ここでは説明を簡略化するため、図２では逆量子化および逆直交変換する系を省略して描いている。
【００３３】
可変長符号化部１６は、フレーム内予測符号化部１４およびフレーム間予測符号化部１５により生成された、ＤＣＴ係数、予測誤差信号、動きベクトルおよびその他のパラメータをエントロピー符号化する。ストリーム生成部１７は、エントロピー符号化されたデータをストリーム化する。ストリーム生成部１７は、ストリーム化した符号化データを、メモリカードやハードディスクや光ディスクなどの、図示しない記録媒体に記録するか、ネットワークに送出する。
【００３４】
図１に戻り、探索領域決定部４０は、伝送路７０の混雑度に応じて、動き探索部１５１により設定されるべき探索領域の数を決定する。当該探索領域の数を適応的に変更してもよい。たとえば、探索領域決定部４０は、メモリ管理部３０により受け付けられた取得要求の待ち行列数が多いほど、当該探索領域の数を少なくする。探索領域決定部４０は、メモリ管理部３０から当該取得要求の待ち行列数を取得することができる。
【００３５】
ここで、当該取得要求の待ち行列数を説明変数とし、当該探索領域の数を目的変数とする関数を用いて、当該探索領域の数を決定してもよいし、当該取得要求の待ち行列数と当該探索領域の数とが関連付けられている変換テーブルを参照して、決定してもよい。当該取得要求の待ち行列数を参照することにより、伝送路７０の混雑度を推測することができる。
【００３６】
また、探索領域決定部４０は、動き探索部１５１がメモリ管理部３０に画像データ（より具体的にはフレーム画像）の取得要求を出してから、動き探索部１５１が当該画像データを取得するまでの待ち時間に応じて、動き探索部１５１により設定されるべき探索領域の数を決定してもよい。たとえば、探索領域決定部４０は、当該待ち時間が長いほど、当該探索領域の数を少なくする。探索領域決定部４０は、動き探索部１５１から当該待ち時間を取得することができる。当該待ち時間は、動き探索部１５１がメモリ管理部３０に画像データの取得要求を出してから、伝送路７０の使用権を取得するまでの時間であってもよい。
【００３７】
ここで、当該待ち時間を説明変数とし、当該探索領域の数を目的変数とする関数を用いて、当該探索領域の数を決定してもよいし、当該待ち時間と当該探索領域の数とが関連付けられている変換テーブルを参照して、決定してもよい。当該待ち時間を参照することによっても、伝送路７０の混雑度を推測することができる。
【００３８】
また、探索領域決定部４０は、指定されたサイズ（解像度と考えてもよい）またはフレームレートに応じて、動き探索部１５１により設定されるべき探索領域の数を決定してもよい。たとえば、探索領域決定部４０は、当該サイズが大きいほど、またはフレームレートが高いほど、探索領域の数を少なくする。探索領域決定部４０は、主制御部５０から当該サイズまたはフレームレートを取得することができる。
【００３９】
ここで、当該サイズまたはフレームレートを説明変数とし、当該探索領域の数を目的変数とする関数を用いて、当該探索領域の数を決定してもよいし、当該サイズまたはフレームレートと、当該探索領域の数とが関連付けられている変換テーブルを参照して、決定してもよい。当該サイズまたはフレームレートを参照することによって、信号処理部２２０の負荷および符号化部１０の負荷を推測することができる。
【００４０】
なお、探索領域決定部４０は専用のハードウェアで構成されてもよいし、主制御部５０によるソフトウェア処理で構成されてもよい。
【００４１】
図３は、実施の形態に係る動き探索部１５１により、参照フレーム画像に設定される第１階層の探索領域（１４個）の一例を示す図である。ここでは、参照フレーム画像内に１４個の探索領域（図３では、太線枠で囲まれたブロック領域）が設定される例を示している。また、探索領域の大きさは１６×１６画素とする。また、各探索領域内の数字は、探索される順番を示す。
【００４２】
ここでは、動き探索部１５１は、階層的に動き探索する。動き探索部１５１は、第１階層の処理として、各探索領域の代表値を算出する。この代表値は、各探索領域に含まれる画素の値の、中央値であってもよいし、平均値であってもよい。動き探索部１５１は、上記対象ブロック領域の代表値と、各探索領域の代表値とを比較し、最も誤差が小さい探索領域を特定する。ここでは、４番の探索領域が最も誤差が小さい探索領域とする。
【００４３】
なお、各探索領域の大きさは、１６×１６画素に限らず、８０×６０画素など、マクロブロックの大きさより大きなサイズであってもよい。その場合、演算量は増大するが、探索精度が向上する。
【００４４】
図４は、実施の形態に係る動き探索部１５１により、参照フレーム画像に設定される第２階層の探索領域の一例を示す図である。ここでは、第１階層で特定された４番の探索領域の周囲に、８個の探索領域（Ａ〜Ｈ）が設定される。これらの探索領域のそれぞれと、４番の探索領域との間には、一ブロック分の空白が設定される。
【００４５】
動き探索部１５１は、第２階層の処理として第１階層の処理と同様に、各探索領域の代表値を算出する。動き探索部１５１は、上記対象ブロック領域の代表値と、各探索領域の代表値とを比較し、最も誤差が小さい探索領域を特定する。ここでは、Ｈの探索領域が最も誤差が小さい探索領域とする。
【００４６】
図５は、実施の形態に係る動き探索部１５１により、参照フレーム画像に設定される第３階層の探索領域の一例を示す図である。ここでは、第２階層で特定されたＨの探索領域の周囲に隣接して、８個の探索領域（ａ〜ｈ）が設定される。
【００４７】
動き探索部１５１は、第３階層の処理として、上記対象ブロック領域に含まれる画素の値と、当該探索領域に含まれる対応する画素の値との差分を全画素について求め、それらの絶対値和または二乗和を算出する。この絶対値和または二乗和をすべての探索領域（ａ〜ｈ）について求め、最も小さい探索領域を特定する。この探索領域が予測領域として採用される。
【００４８】
図６は、実施の形態に係る動き探索部１５１により、参照フレーム画像に設定される第１階層の探索領域（１２個）の一例を示す図である。探索領域決定部４０は、伝送路７０の混雑度が上がったり、画像のサイズが大きくなったり、またはフレームレートが高くなると、参照フレーム画像に設定されるべき探索領域の数を減少させる。ここでは、１４個から１２個に減少させている。
【００４９】
図７は、実施の形態に係る動き探索部１５１により、参照フレーム画像に設定される第１階層の探索領域（１０個）の一例を示す図である。探索領域決定部４０は、伝送路７０の混雑度がさらに上がったり、サイズがさらに大きくなったり、またはフレームレートがさらに高くなると、参照フレーム画像に設定されるべき探索領域の数をさらに減少させる。ここでは、１２個から１０個に減少させている。
【００５０】
図６、７に示したように、探索領域決定部４０は、探索領域の数を現在の数から少なくする際、残すべき複数の探索領域間のバラツキが大きくなるよう、不採用とする探索領域を決定するとよい。すなわち、現在の複数の探索領域から、一部の探索領域を間引く。これにより、探索領域の数が減少することによる、探索精度の低下をできるだけ抑えることができる。
【００５１】
図８は、メモリ管理部３０により受け付けられたデータ取得要求の待ち行列数と、探索領域数を関連づけて記述した変換テーブル４１ａの一例を示す。当該変換テーブル４１ａは、項目として、データ取得要求の待ち行列数４１１ａおよび探索領域数４１２ａを含む。ここでは、当該待ち行列数ｍ（ｍは０以上の整数）が０の場合、当該探索領域数が１４に決定され、当該待ち行列数ｍが０を超え、３以下の場合、当該探索領域数が１２に決定され、当該待ち行列数ｍが３を超える場合、当該探索領域数が１０に決定される。
【００５２】
図９は、動き探索部１５１からメモリ管理部３０にデータ取得要求が出されて動き探索部１５１がそのデータを取得するまでの待ち時間と、探索領域数を関連づけて記述した変換テーブル４１ｂの一例を示す。当該変換テーブル４１ｂは、項目として、当該待ち時間４１１ｂおよび探索領域数４１２ｂを含む。ここでは、待ち時間はシステムクロックのクロック数で規定される。当該クロック数ｎ（ｎは自然数）が１００以下の場合、当該探索領域数が１４に決定され、当該クロック数ｎが１００を超え、２００以下の場合、当該探索領域数が１２に決定され、当該クロック数ｎが２００を超える場合、当該探索領域数が１０に決定される。
【００５３】
図１０は、撮影モードと、探索領域数を関連づけて記述した変換テーブル４１ｃの一例を示す。当該変換テーブル４１ｃは、項目として、撮影モード４１１ｃおよび探索領域数４１２ｃを含む。ここでは、撮影モード４１１ｃとして、フルＨＤモード、ＨＤモードおよびノーマルモードが規定される。フルＨＤモードは、記録サイズが１９２０×１０８０画素、フレームレートが毎秒６０フレームである。ＨＤモードは、記録サイズが１２８０×７２０画素、フレームレートが毎秒３０フレームである。ノーマルモードは、記録サイズが６４０×４８０画素、フレームレートが毎秒３０フレームである。図１０では、フルＨＤモードの場合、当該探索領域数が１４に決定され、ＨＤモードの場合、当該探索領域数が１２に決定され、ノーマルモードの場合、当該探索領域数が１０に決定される。
【００５４】
以上説明したように実施の形態によれば、フレーム間予測符号化する際、伝送路の混雑度や符号化ユニットの負荷などに応じて、探索領域の数を変更することにより、高精度な動き補償を実現することができる。すなわち、演算エラーや演算落ちが発生しない範囲内で、上記対象ブロック領域と誤差ができるだけ小さいブロック領域を探索することができる。
【００５５】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００５６】
動き探索部１５１により、参照フレーム画像内に設定されるべき複数の探索領域の位置は、あらかじめ設定された固定（ここでは、数の変動は除いて考えている）のものであってもよいし、適応的に変化するものであってもよい。少なくとも初期の位置については、設計者が実験やシミュレーションにもとづく統計データから最適な位置を決定することができる。図３に示した例では、カメラがチルトされる頻度よりパンされる頻度のほうが高いことに着目して、水平方向に比較的多くの探索領域を設定している。
【００５７】
探索領域決定部４０は、上記対象ブロック領域に隣接するブロック領域の動きベクトル（隣接する複数のブロック領域の動きベクトルの平均値であってもよい）を参照して、参照フレーム画像内に設定されるべき複数の探索領域の位置を決定してもよい。たとえば、動きベクトルの方向に比較的多くの探索領域が設定されるようにそれらの配置を決定する。この配置決定は適応的に実行されてもよい。これにより、動き探索精度を向上させることができる。
【００５８】
また、上述した実施の形態では、動き探索部１５１が階層的に動き探索する例を説明したが、それに限るものではなく、一階層における動き探索により予測領域を決定してもよい。その場合にも、探索領域決定部４０による探索領域数の可変処理が適用可能である。
【符号の説明】
【００５９】
１０  符号化部、  １１  分割部、  １２  直交変換部、  １３  量子化部、  １４  フレーム内予測符号化部、  １５  フレーム間予測符号化部、  １６  可変長符号化部、  １７  ストリーム生成部、  ２０  記憶部、  ３０  メモリ管理部、  ４０  探索領域決定部、  ５０  主制御部、  ６０  顔検出部、  ７０  伝送路、  １００  画像処理装置、  １５１  動き探索部、  ２００  撮像部、  ２１０  撮像素子、  ２２０  信号処理部、  ３００  表示部、  ５００  撮像装置。
【図１】
2010246005.tif 000003
【図２】
2010246005.tif 000004
【図３】
2010246005.tif 000005
【図４】
2010246005.tif 000006
【図５】
2010246005.tif 000007
【図６】
2010246005.tif 000008
【図７】
2010246005.tif 000009
【図８】
2010246005.tif 000010
【図９】
2010246005.tif 000011
【図１０】
2010246005.tif 000012