(57)【要約】【課題】  圧縮効率を損なうことなく、処理負荷を軽減させた動きベクトルの検出処理を行うための技術を提供すること。【解決手段】  現処理対象ブロックから、撮像装置の動き量情報と露光時間情報とから求まるテンプレートでもって規定される間引きパターンに従って画素を間引いた画像、参照ブロックから撮像装置の動き量情報と露光時間情報とから求まるテンプレートでもって規定される間引きパターンに従って画素を間引いた画像を用いて評価値を求める（Ｓ４０７）。そして、最適な評価値を得た参照ブロックの参照画像における位置と、符号化対象画像における現処理対象ブロックの位置とを結ぶベクトルを動きベクトルとして求める（Ｓ４０９）。【選択図】  図４
2005204076.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置により撮像された動画像を構成する各フレームの画像を画素ブロック毎に符号化する符号化装置であって、
符号化対象画像中の符号化対象画素ブロックを保持する第１の保持手段と、
前記符号化対象画像を符号化するために参照する参照画像を保持する第２の保持手段と、
前記動画像を撮影中の前記撮像装置の撮像状態に基づいて画素の間引きパターンを決定する決定手段と、
前記参照画像を構成する各画素ブロックから前記間引きパターンに従って画素を間引くことで得られる画素ブロック群のうち、前記間引きパターンに従って前記符号化対象画素ブロックから画素を間引くことで得られる画素ブロックと最も類似する画素ブロックを特定する特定手段と、
前記特定手段が特定した画素ブロックの前記参照画像上における位置と、前記符号化対象画像上における前記符号化対象画素ブロックの位置との相対関係に基づいて、前記符号化対象画素ブロックを符号化する符号化手段と
を備えることを特徴とする符号化装置。
【請求項２】
前記撮影状態とは、前記動画像を撮影中の前記撮像装置の動き量及び前記動画像を撮影中の前記撮像装置の露光時間を示すことを特徴とする請求項１に記載の符号化装置。
【請求項３】
前記決定手段は前記間引きパターンとして、前記動き量が大きいほど、画素の間引き量を多くした間引きパターンに決定し、前記露光時間が長いほど、画素の間引き量を多くした間引きパターンに決定することを特徴とする請求項２に記載の符号化装置。
【請求項４】
前記特定手段は、前記間引きパターンに従って前記符号化対象画素ブロックから画素を間引くことで得られる画素ブロックと最も類似する画素ブロックを、前記参照画像を構成する各画素ブロックのうち、所定の範囲に含まれる画素ブロック群から前記間引きパターンに従って画素を間引くことで得られる画素ブロック群から特定することを特徴とする請求項２又は３に記載の符号化装置。
【請求項５】
前記参照画像は、前記符号化対象画像よりも過去のフレームの画像であることを特徴とする請求項１ないし４のいずれか１項に記載の符号化装置。
【請求項６】
撮像装置により撮像された動画像を構成する各フレームの画像を画素ブロック毎に符号化する符号化方法であって、
符号化対象画像中の符号化対象画素ブロックを第１の保持手段に保持する第１の保持工程と、
前記符号化対象画像を符号化するために参照する参照画像を第２の保持手段に保持する第２の保持工程と、
前記動画像を撮影中の前記撮像装置の撮像状態に基づいて画素の間引きパターンを決定する決定工程と、
前記参照画像を構成する各画素ブロックから前記間引きパターンに従って画素を間引くことで得られる画素ブロック群のうち、前記間引きパターンに従って前記符号化対象画素ブロックから画素を間引くことで得られる画素ブロックと最も類似する画素ブロックを特定する特定工程と、
前記特定工程で特定した画素ブロックの前記参照画像上における位置と、前記符号化対象画像上における前記符号化対象画素ブロックの位置との相対関係に基づいて、前記符号化対象画素ブロックを符号化する符号化工程と
を備えることを特徴とする符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置により撮像された動画像を構成する各フレームの画像を画素ブロック毎に符号化する、特に動き補償予測符号化方式に従って符号化するための技術に関するものである。
【背景技術】
【０００２】
一般にデジタルビデオカメラ、デジタルカメラ等の撮像装置で動画像を撮影する場合、撮像装置を手で保持して撮影を行なうケースが多い。また、移動体からの撮影等、振動が生ずる状況下での撮影も頻度が高い。こうした状況における撮影では撮像装置本体が動いてしまうため、撮像した動画像を構成する各フレームの画像を符号化しようとしても、その符号化に影響を与えてしまう。
【０００３】
また、MPEG（Moving Picture Experts Group）国際標準動画像符号化方式に代表されるように、動画像圧縮符号化方式においては、現フレームの入力信号ブロックと、動き補償により得られた予測対象フレームの局部復号信号ブロックと、のフレーム間差分信号を符号化する方法が一般的となっている。この動き補償予測符号化方式における動きベクトルの検出は、通常ブロックマッチング法と呼ばれる方式により行なわれる。例えば、符号化対象画像を１６画素×１６ラインのブロックに分割し、このブロック毎に動きベクトルを検索する。すなわち、現処理対象画像のブロックと過去の参照画像内におけるこのブロックと同サイズの領域とをずらしながら比較していき、最も一致していた参照画像内のブロックの、現処理対象画像ブロックの位置に対する相対位置を動きベクトルとして検出する。
【０００４】
現処理対象画像ブロックと参照画像ブロックとの比較は、例えばブロック内におけるお互いに対応する位置の画素の差分絶対値和がその評価値として用いられることが多い。従って、一回の比較動作につき、１６×１６＝２５６回ぶんの差分演算及び加算等の演算処理が必要となり、これを比較動作の回数分行なうため、処理負荷が非常に大きい。一方、この比較動作の処理負荷を低減させるために、従来よりいくつかの方法が提案されている。
【０００５】
例えばその１つに、ブロックの比較に使用する画素数を間引いて差分演算及び加算等の演算処理の低減を図る方法がある。この場合、一回の比較動作に要する評価値演算処理は、画素数を間引いた分だけ低減させることができる（例えば、特許文献１参照）。
【０００６】
図３はこのような処理により、差分演算及び加算等の演算処理の低減を図る、従来例における符号化装置の構成図である。
【０００７】
この符号化装置は、動画像を構成する各フレームを所定のサイズの画素ブロック毎に符号化するものである。よって符号化装置には、符号化しようとするフレームの画像を構成する画素ブロックが順次入力される。入力された画素ブロックのデータはブロックバッファ３０１に入力される。
【０００８】
ブロックバッファ３０１は、動きベクトルを検出する単位となるブロックサイズである、１６画素×１６ラインの容量を有している。すなわちブロックバッファ３０１は１６画素×１６ラインのサイズの画素ブロックのデータを保持する。以下、ブロックバッファ３０１が保持する画素ブロックを、現処理対象ブロックと呼称する場合がある。
【０００９】
またブロックバッファ３０１は、現処理対象画像画素間引き部３０４ａ、及び動きベクトル決定部３０６による制御のもとに、要求された画像データを評価値算出部３０５、及び符号化部３０７に出力する。
【００１０】
現処理対象画像画素間引き部３０４ａはブロックバッファ３０１に対し、予め決められた所定の間引き率に基いて画像データを出力させるように制御する。また、参照画像画素間引き部３０４ｂは、フレームメモリ３０３より過去のフレームの画像データ（参照画像データ）における、動きベクトル検索のための検索範囲に含まれる画像データのうち、予め決められた所定の間引き率に基いて画素を間引いてＳＷバッファ３０２へ出力する。
【００１１】
ＳＷバッファ３０２は、参照画像画素間引き部３０４ｂがフレームメモリ３０３から読み出した「間引かれた検索範囲に含まれる画像データ」を格納し、動きベクトル決定部３０６による制御のもとに、評価値算出部３０５ へと画像データを送出する。
【００１２】
評価値算出部３０５は、ブロックバッファ３０１より出力された「所定の間引き率に従って間引かれた画像データ」と、ＳＷバッファ３０２より出力された「所定の間引き率に従って間引かれた画像データ」とを入力し、それぞれのブロック間の、動き検出に必要な評価値を算出し、動きベクトル決定部３０６へと送出する。
【００１３】
動きベクトル決定部３０６は、ＳＷバッファ３０２が保持する画像データの読み出し起点位置をＳＷバッファ３０２に対して指示し、また、ブロックバッファ３０１を制御して現処理対象ブロックのデータを出力させる。
【００１４】
そして上記起点位置におけるブロックと、現処理対象ブロックとの間の評価値を受け取り、動きベクトルを決定する。また、動きベクトル決定部３０６は、この動きベクトルの決定後、ブロックバッファ３０１に対して間引きなしの画素ブロックのデータ（間引かれていない現処理対象ブロックの画像データ）を符号化部３０７へ送出するよう、制御信号を出力し、また、フレームメモリ３０３に対しては、決定された動きベクトルに対応する位置のブロックを間引きなしで符号化部３０７へ送出するよう、制御信号を出力する。
【００１５】
符号化部３０７は、ブロックバッファ３０１より出力された現処理対象ブロック及び、フレームメモリ３０３より出力されたブロック、及び動きベクトルを動きベクトル決定部３０６より受け取り、動き補償予測符号化処理を行ない、適宜符号化データとして排出する。また、符号化部３０７は、符号化され、局所復号化された画像データをフレームメモリ３０３に対して出力する。
【００１６】
フレームメモリ３０３においては、局所復号化された画像データを参照ブロックの画像データとして格納し、適宜ＳＷバッファ３０２へと送出する。また、動きベクトル決定部３０６の読み出し制御信号に従って、この決定された動きベクトルに対応する位置の参照ブロックを、符号化部３０７に対して出力する。
【００１７】
次に、上記各部による従来の符号化処理について説明する。
【００１８】
まず、不図示の撮像系により撮像された映像信号がディジタル信号化され、適宜必要な画像処理を経て画像入力データとしてブロックバッファ３０１へと入力される。この画像入力データは上記画素ブロックのデータであり、１６画素×１６ラインに分割されたブロックである。
【００１９】
その際、参照画像画素間引き部３０４ｂは、既に以前に処理済みの過去の参照画像が格納されているフレームメモリ３０３より、現処理対象ブロックの動きベクトル検索のために参照され得る検索範囲に含まれる画像データを読み出し、予め決められた所定の間引き率に基いて画素を間引き、ＳＷバッファ３０２へと入力する。
【００２０】
ブロックバッファ３０１及びＳＷバッファ３０２それぞれへの画像データ格納が終了すると、動きベクトル探索シーケンスが開始され、動きベクトル決定部３０６よりブロックバッファ３０１及びＳＷバッファ３０２へと、読み出し制御信号が出力される。また、その際、ＳＷバッファ３０２への読み出し制御には、探索シーケンスに従って決定された、動きベクトル検索範囲の中から参照ブロックを切り出すための、読み出し起点情報が含まれる。
【００２１】
また同時に、ブロックバッファ３０１における符号化対象ブロック内の画素の出力を、現処理対象画像画素間引き部３０４ａにおいて予め定められている所定の間引き率に従って間引いて行なうよう制御信号を出力し、ＳＷバッファ３０２においては間引かれた参照ブロックデータの画素を出力するよう、制御信号を出力する。
【００２２】
ここで、図２を用いて、ブロックバッファ３０１及びＳＷバッファ３０２において入出力される画像データについて、詳述する。
【００２３】
図２（ａ）は、動きベクトル検出の単位となるブロックサイズ１６×１６に対し、水平及び垂直方向にそれぞれ１／２の間引き率で間引く場合の概念図である。マスのひとつひとつが画素を表しており、斜線の入ったマスに対応する画素が間引かれずに残る画素を意味している。ブロックバッファ３０１へは、これら１６×１６個の画素が全て格納される。そして、現処理対象画像画素間引き部３０４ａによって間引き制御されて、図２（ａ）右側に示す８×８個の画素を評価値算出部３０５に対して出力する。
【００２４】
また、図２（ｂ）は、現処理対象ブロックの動きベクトル検索のために参照され得る検索範囲に含まれる画像データ４８×４８画素に対し、水平及び垂直方向にそれぞれ１／２の間引き率で間引く場合の概念図である。参照画像画素間引き部３０４ｂにおいて、フレームメモリ３０３より読み出された図２（ｂ）左側に示されるサイズの画素群は、図２（ａ）同様、水平・垂直方向ともに１画素おきに画素が残され、結果として図２（ｂ）右側に示されるように、２４×２４個の画素群としてＳＷバッファ３０２へ格納される。ブロックマッチングは、この２４×２４個の画素群の中の８×８個の画素群に対して行なわれる。
【００２５】
図２（ｂ）右側の点線に囲まれた領域は探索中の参照ブロックを表しており、この領域の検索範囲内における位置は、動きベクトル決定部３０６が出力するＳＷバッファ３０２への読み出し制御信号に含まれる、読み出し起点情報により決定される。この参照ブロック内の８×８個の画素群が、評価値算出部３０５へと出力される。
【００２６】
評価値算出部３０５においては、ブロックバッファ３０１より出力される間引かれた現処理対象ブロックの画素データ及び、ＳＷバッファ３０２より出力される間引かれた参照ブロックデータを順次受け取り、それぞれのデータ間の評価値を計算する。一般的に、評価値としてそれぞれのブロックの画素値同士の差分絶対値和が用いられる場合が多い。それぞれの間引かれたブロック内における全ての要素を用いて評価値を算出し終えると、動きベクトル決定部３０６によって指示された、動きベクトル検索範囲内の起点位置に対応する評価値として、動きベクトル決定部３０６へ出力する。
【００２７】
動きベクトル決定部３０６は、上記起点位置をずらしながら各起点位置における評価値を求める。そして最適な評価値を求めた起点位置に応じた動きベクトルを処理ブロックにおける動きベクトルとして符号化部３０７へ出力する。
【００２８】
上記現処理対象ブロックにおける動きベクトル検出が終了すると、動きベクトル決定部３０６はブロックバッファ３０１に対して間引きなしのブロックデータを符号化部３０７へ送出するよう、制御信号を出力し、また、及びフレームメモリ３０３に対しては、この決定された動きベクトルに対応する参照ブロックを間引きなしで符号化部３０７へ送出するよう、制御信号を出力する。
【００２９】
符号化部３０７は、ブロックバッファ３０１より出力された現処理対象ブロック及び、フレームメモリ３０３より出力された動きベクトルが示す値に対応する参照ブロックデータ及び、動きベクトル決定部３０６より出力される動きベクトルを受け取り、動き補償予測符号化処理を行なう。また、符号化部３０７は、符号化処理を行なう際に、符号化処理対象ブロックの、局所復号化された画像データをフレームメモリ３０３に対して出力する。局所復号化された画像データは、後に異なるフレームにおいて参照画像として利用される。
【００３０】
以上のブロックを単位とした動作は、処理対象画像内におけるそれぞれのブロックの位置を変えて、最後のブロックを処理するまで繰り返される。また、その後続く異なる画像の符号化処理が開始され、最後の画像の処理の処理が終了するまで繰り返される。
【００３１】
以上説明したような従来の構成によれば、動き検出のために繰り返される評価値演算処理の回数は、例えば間引き率を水平、垂直方向ともに２画素につき１画素ずつ間引くようにした場合、１回の比較動作につき、１６×１６×０．５×０．５＝６４回でよいことになり、間引きを行なわない場合に比べて演算処理負荷が低減される。
【特許文献１】特開平０４−１０４６８１号公報
【発明の開示】
【発明が解決しようとする課題】
【００３２】
しかしながら、従来の構成においては入力画像データの如何にかかわらず、間引き率を変更せずに動き検出を行なうため、画像によっては動き検出の精度が低下し、結果として符号化効率に悪影響を及ぼすという問題があった。
【００３３】
また、ＳＷバッファ３０２には、既に間引き処理が行なわれた参照画像が格納されるため、原理的に動きベクトルの探索精度は２画素単位で行なわれることになる。そのため、画像によっては動き検出の精度が低下し、結果的として符号化効率に悪影響を及ぼすという問題があった。
【００３４】
本発明は以上の問題に鑑みてなされたものであり、圧縮効率を損なうことなく、処理負荷を軽減させた動きベクトルの検出処理を行うための技術を提供することを目的とする。
【課題を解決するための手段】
【００３５】
本発明の目的を達成するために、例えば本発明の符号化装置は以下の構成を備える。
【００３６】
即ち、撮像装置により撮像された動画像を構成する各フレームの画像を画素ブロック毎に符号化する符号化装置であって、
符号化対象画像中の符号化対象画素ブロックを保持する第１の保持手段と、
前記符号化対象画像を符号化するために参照する参照画像を保持する第２の保持手段と、
前記動画像を撮影中の前記撮像装置の撮像状態に基づいて画素の間引きパターンを決定する決定手段と、
前記参照画像を構成する各画素ブロックから前記間引きパターンに従って画素を間引くことで得られる画素ブロック群のうち、前記間引きパターンに従って前記符号化対象画素ブロックから画素を間引くことで得られる画素ブロックと最も類似する画素ブロックを特定する特定手段と、
前記特定手段が特定した画素ブロックの前記参照画像上における位置と、前記符号化対象画像上における前記符号化対象画素ブロックの位置との相対関係に基づいて、前記符号化対象画素ブロックを符号化する符号化手段と
を備えることを特徴とする。
【００３７】
本発明の目的を達成するために、例えば本発明の符号化方法は以下の構成を備える。
【００３８】
即ち、撮像装置により撮像された動画像を構成する各フレームの画像を画素ブロック毎に符号化する符号化方法であって、
符号化対象画像中の符号化対象画素ブロックを第１の保持手段に保持する第１の保持工程と、
前記符号化対象画像を符号化するために参照する参照画像を第２の保持手段に保持する第２の保持工程と、
前記動画像を撮影中の前記撮像装置の撮像状態に基づいて画素の間引きパターンを決定する決定工程と、
前記参照画像を構成する各画素ブロックから前記間引きパターンに従って画素を間引くことで得られる画素ブロック群のうち、前記間引きパターンに従って前記符号化対象画素ブロックから画素を間引くことで得られる画素ブロックと最も類似する画素ブロックを特定する特定工程と、
前記特定工程で特定した画素ブロックの前記参照画像上における位置と、前記符号化対象画像上における前記符号化対象画素ブロックの位置との相対関係に基づいて、前記符号化対象画素ブロックを符号化する符号化工程と
を備えることを特徴とする。
【発明の効果】
【００３９】
本発明の構成により、圧縮効率を損なうことなく、処理負荷を軽減させた動きベクトルの検出処理を行うことができる。
【発明を実施するための最良の形態】
【００４０】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
【００４１】
［第１の実施形態］
図１は、本実施形態にかかる符号化装置の基本構成を示すブロック図である。なお、本実施形態では、この符号化装置は、動画像を撮像可能な撮像装置内に設けられたものであり、撮像された動画像を構成する各フレームの画像を符号化するための装置として機能する。なお、図１では、撮像系の構成は以下の説明に関係ないので省略している。
【００４２】
本実施形態にかかる符号化装置は、動画像を構成する各フレームを所定のサイズの画素ブロック毎に符号化するものである。よって符号化装置には、符号化しようとするフレームの画像（符号化対象画像）を構成する画素ブロックが順次入力される。入力された画素ブロックのデータはブロックバッファ１０１に入力される。
【００４３】
ブロックバッファ１０１は図３に示したブロックバッファ３０１と同様に、動きベクトルを検出する単位となるブロックサイズ（本実施形態では１６画素×１６ラインとする）の容量を有している。すなわち、ブロックバッファ１０１には、これから符号化しようとする画素ブロック（以下、現処理対象画素ブロックと呼称する）が保持される。そして保持された画素ブロックの符号化が完了すると、次に符号化すべき画素ブロックを保持する。そしてこれに対して同様に符号化処理を行う。このように、ブロックバッファ１０１には、これから符号化しようとする画素ブロック（すなわち現処理対象ブロック）を保持する。
【００４４】
またブロックバッファ１０１が保持する現処理対象ブロックの画像データは、現処理対象画像画素間引き部１０４ａ、及び動きベクトル決定部１０６による制御に従ったタイミング、形態で評価値算出部１０５、及び符号化部１０７に出力される。
【００４５】
ＳＷバッファ１０２は、フレームメモリ１０３より読み出された、過去の参照画像データにおける、動きベクトル検出のための検索範囲に含まれる画像データを格納する。ここで「過去の参照画像」とは、本実施形態では、符号化しようとするフレームよりも１つ前の（過去の）フレームの画像とするが、これに限定するものではなく、２フレーム以上前の（過去の）フレームの画像であっても良いし、また単数に限定するものではなく、複数であっても良い。
【００４６】
また、「動きベクトル検出のための検索範囲」とは、例えば、「符号化対象画像上における現処理対象ブロックと位置的に対応する参照画像上のブロックを中心とした３画素ブロック×３画素ブロックの範囲」のように、符号化対象画像上の現処理対象ブロックの位置と位置的に対応する参照画像上のブロックを含む近傍領域である。なお、この検索範囲を参照画像全体としても良い。
【００４７】
そしてＳＷバッファ１０２は、参照画像画素間引き部１０４ｂ、及び動きベクトル決定部１０６の制御により、評価値算出部１０５及び符号化部１０７へと画像データを送出する。
【００４８】
フレームメモリ１０３には、参照画像のデータが保持されており、動きベクトル決定部１０６からの制御信号に応じて、参照画像における検索範囲部分の画像データをＳＷバッファ１０２に出力する。
【００４９】
画像動き量演算部１０８は、後述のセンサにより出力された撮像装置の動き量情報、及び後述の制御系により計測された露光時間情報に基づいて、後述の画像動き量情報を算出し、テンプレート決定部１０９へと出力する。
【００５０】
テンプレート決定部１０９は、画像動き量演算部１０８の出力する画像動き量情報に応じて、間引く画素のパターンを規定するパターンテンプレートを決定する。より具体的にはテンプレートは、上記動き量が大きく、且つ上記露光時間が長いほど間引く画素の数を多くするように決定され、逆に上記動き量が小さく、且つ上記露光時間が短いほど間引く画素の数を少なくする（もしくは間引かない）ように決定される。
【００５１】
そして、上述のようにして決定したテンプレートを示す情報を現処理対象画像画素間引き部１０４ａ及び参照画像画素間引き部１０４ｂへと出力する。
【００５２】
現処理対象画像画素間引き部１０４ａはブロックバッファ１０１に対し、テンプレート決定部１０９の出力するテンプレート情報に基いたパターンでもって画素を間引きながら出力させるように制御する。
【００５３】
参照画像画素間引き部１０４ｂはＳＷバッファ１０２に対し、テンプレート決定部１０９の出力するテンプレート情報に基いたパターンでもって画素を間引きながら出力させるように制御する。
【００５４】
動きベクトル決定部１０６はフレームメモリ１０３に対し、ＳＷバッファ１０２へと動きベクトル探索範囲の画像データを出力するよう制御する読み出し制御信号を出力する。また、ＳＷバッファ１０２に動きベクトル検索範囲内の読み出し起点位置を指示するとともに、読み出しを行わせる読み出し制御信号を出力する。また、ブロックバッファ１０１へ読み出しを制御する読み出し制御信号を出力する。そして、評価値算出部１０５から出力される評価値を受け取り、それをもとに動きベクトルを決定する。
【００５５】
評価値算出部１０５は、ブロックバッファ１０１より出力された「間引かれた画像データ」（間引かれた現処理対象ブロック）と、ＳＷバッファ１０２より出力された「間引かれた画像データ」（上記起点位置から、間引きながら読み出されるブロック）とを入力し、それぞれのブロック間の、動き検出に必要な評価値を算出し、動きベクトル決定部１０６へと送出する。
【００５６】
また、動きベクトル決定部１０６は、動きベクトル決定後、ブロックバッファ１０１に対して間引きなしのブロックデータを符号化部１０７へ送出するよう、制御信号を出力し、また、ＳＷバッファ１０２に対しては、決定された動きベクトルに対応するブロック（参照ブロック）を、間引きなしで符号化部１０７へ送出するよう、制御信号を出力する。
【００５７】
符号化部１０７は、ブロックバッファ１０１より出力された現処理対象ブロック、及びＳＷバッファ１０２より出力された参照ブロック、及び動きベクトルを受け取り、動き補償予測符号化処理を行なう。また、符号化部１０７は、符号化され、局所復号化された画像データをフレームメモリ１０３に対して出力する。フレームメモリ１０３においては、局所復号化された画像データを参照データとして格納し、動きベクトル決定部１０６の出力する読み出し制御信号に従ってＳＷバッファ１０２へと送出する。
【００５８】
評価値算出部１０５は、ブロックバッファ１０１より出力された「間引かれた画像データ」（間引かれた現処理対象ブロック）と、ＳＷバッファ１０２より出力された「間引かれた画像データ」（上記起点位置から、間引きながら読み出されるブロック）とを入力し、それぞれのブロック間の、動き検出に必要な評価値を算出し、動きベクトル決定部１０６へと送出する。
【００５９】
以上の構成を有する本実施形態にかかる符号化装置が行う符号化処理について詳細に説明する。
【００６０】
まず、不図示の撮像系により撮像された映像信号がディジタル信号化され、適宜必要な画像処理を経て画像入力データとしてブロックバッファ３０１へと入力される。この画像入力データは現処理対象ブロックのデータであり、１６画素×１６ラインに分割されたブロックである。
【００６１】
また、撮像装置に装着されたセンサにより計測された「撮像装置の動き量情報」が画像動き量演算部１０８に入力される。このセンサとしては、例えばジャイロなどの、撮像装置の位置や姿勢の動き量を計測可能なセンサが適用可能である。
【００６２】
また、撮像装置の制御系により計測されている「露光時間情報」が画像動き量演算部１０８に入力される。この露光時間の計測については周知の技術であるので、ここでの説明は省略する。なお、「撮像装置の動き量情報」、「露光時間情報」の取得方法については上記方法に限定するものではない。
【００６３】
画像動き量演算部１０８は、「撮像装置の動き量情報」、「露光時間情報」を用いて、画像動き量情報を算出し、これをテンプレート決定部１０９に出力する。
【００６４】
テンプレート決定部１０９は、画像動き量演算部１０８の出力する画像動き量情報に応じて、間引く画素のパターンを規定するパターンテンプレートを決定する。上述の通りテンプレートは、上記動き量が大きく、且つ上記露光時間が長いほど間引く画素の数を多くするように決定され、逆に上記動き量が大きく小さく、且つ上記露光時間が短いほど間引く画素の数を少なくする（もしくは間引かない）ように決定される。例えばテンプレート決定部１０９は、様々な動き量情報に応じたテンプレートを複数保持しておき、画像動き量演算部１０８から出力された動き量情報に応じたテンプレートを１つ特定して出力するようにしても良い。
【００６５】
そして、上述のようにして決定したテンプレートを示す情報を現処理対象画像画素間引き部１０４ａ及び参照画像画素間引き部１０４ｂへと出力する。
【００６６】
また、以上の処理と並行して、動きベクトル決定部１０６は、フレームメモリ１０３に格納されている参照画像のうち、現処理対象ブロックの動きベクトルを検出するために参照され得る検索範囲に含まれる画像部分を読み出してＳＷバッファ１０２に出力する。
【００６７】
ブロックバッファ１０１、及びＳＷバッファ１０２それぞれへの画像データ格納が終了すると、動きベクトル探索シーケンスが開始され、動きベクトル決定部１０６からブロックバッファ１０１、及びＳＷバッファ１０２に読み出し制御信号が出力される。
【００６８】
この読み出し信号に従って現処理対象画像画素間引き部１０４ａは、ブロックバッファ１０１に格納されている現処理対象ブロックを構成する画素群のうち、テンプレート決定部１０９から出力されたテンプレートが規定する間引きパターン（例えば４画素置きに２画素間引く）に従って画素を間引きながら評価値算出部１０５に出力する。
【００６９】
同様に、この読み出し信号に従って参照画像画素間引き部１０４ｂは、ＳＷバッファ１０２に格納されている「現処理対象ブロックの動きベクトルを検出するために参照され得る検索範囲に含まれる画像部分」のうち、読み出し信号に含まれる「読み出し起点位置」のブロックサイズ分の画像データ（参照ブロック）を読み出し、更に、読み出した参照ブロックを構成する画素群のうち、テンプレート決定部１０９から出力されたテンプレートが規定する間引きパターンに従って画素を間引きながら評価値算出部１０５に出力する。
【００７０】
評価値算出部１０５は、ブロックバッファ１０１より出力される間引かれた現処理対象ブロックデータ、及びＳＷバッファ１０２より出力される間引かれた参照ブロックデータを受け取り、それぞれのデータ間の評価値を計算する。一般的に、評価値としてそれぞれのブロックの画素値同士の差分絶対値和が用いられる場合が多い。それぞれの間引かれたブロック内における全ての要素を用いて評価値を算出し終えると、この評価値を上記起点位置に対する評価値として動きベクトル決定部１０６へ出力する。
【００７１】
上記起点位置に対する評価値が得られると、動きベクトル決定部１０６は、上記読み出し起点位置を「現処理対象ブロックの動きベクトルを検出するために参照され得る検索範囲に含まれる画像部分」内で１つずらす。すなわち、「現処理対象ブロックの動きベクトルを検出するために参照され得る検索範囲に含まれる画像部分」内で参照ブロックとして読み出す位置を変更する。そして変更した位置における参照ブロックのデータをＳＷバッファ１０２から評価値算出部１０５に出力させる。ブロックバッファ１０１から出力させるデータは変更しない。そして評価値算出部１０５は、同様の処理を行い、変更した起点位置に対する評価値を求め、動きベクトル決定部１０６に出力する。
【００７２】
このようにして、「現処理対象ブロックの動きベクトルを検出するために参照され得る検索範囲に含まれる画像部分」内の各起点位置に対する評価値を求める。
【００７３】
そして「現処理対象ブロックの動きベクトルを検出するために参照され得る検索範囲に含まれる画像部分」内の各起点位置に対する評価値が得られると、動きベクトル決定部１０６は、得られた評価値のうち、最適な評価値が得られた起点位置を得る。
【００７４】
「最適な評価値」とは、例えば評価値として、間引かれた参照ブロックと間引かれた現処理対象ブロックとで互いに位置的に対応する画素同士の画素値の差分の絶対値の総和を用いる場合に、最も小さい総和値を指す。よってこの場合、動きベクトル決定部１０６は、各起点位置における総和値を参照することにより、最も小さい総和値が得られた起点位置を得る。
【００７５】
そして、最適な評価値が得られた起点位置と現処理対象ブロックの位置とを結ぶベクトルを、この現処理対象ブロックに対する動きベクトルとして求め、後段の符号株１０７に出力する。動きベクトルの求め方については周知の技術であるので、ここでは簡単に説明すると、例えば上記検索範囲を「符号化対象画像上における現処理対象ブロックと位置的に対応する参照画像上のブロックを中心とした３画素ブロック×３画素ブロックの範囲」とした場合に、検索範囲の中心位置（すなわち現処理対象ブロックの位置）と、最適な評価値が得られた起点位置とを結ぶベクトルを求めることによりなされる。
【００７６】
ここで、図２を用いて、ブロックバッファ１０１及びＳＷバッファ１０２において入出力される画像データについて、詳述する。図２（ａ）は、動きベクトル検出の単位となる１６×１６個の画素群により構成されたブロックに対し、水平及び垂直方向にそれぞれ１／２の間引き率で間引く場合の概念図である。図中で、マスのひとつひとつは画素を表しており、斜線の入ったマスに対応する画素が間引かれずに残る画素を意味している。
【００７７】
ブロックバッファ１０１へは、これら１６×１６個の画素が全て格納される。そして、現処理対象画像画素間引き部１０４ａによって間引き制御されて、図２（ａ）右側に示す８×８個の画素を評価値算出部１０５に対して出力する。
【００７８】
また、図２（ｃ）は、現処理対象ブロックの動きベクトル検索のために参照され得る検索範囲に含まれる４８×４８個の画素群に対し、水平及び垂直方向にそれぞれ１／２の間引き率で間引く場合の概念図である。
【００７９】
ＳＷバッファ１０２へは、フレームメモリ１０３より読み出された図２（ｃ）左側に示されるサイズの画素群が間引かれずに格納される。図２（ｃ）左側の点線に囲まれた領域は参照ブロックを表しており、参照ブロックの検索範囲内における位置（例えば検索範囲内における参照ブロックの左上隅の位置）は、動きベクトル決定部１０６が出力するＳＷバッファ１０２への読み出し制御信号に含まれる、読み出し起点位置でもって決定される。
【００８０】
ＳＷバッファ１０２は、参照画像画素間引き部１０４ｂによって間引き制御され、参照ブロックを構成する１６×１６個の画素群のうち、図２（ｃ）右側に示される８×８個の画素群により構成される参照ブロックが、評価値算出部１０５へと出力される。ブロックマッチングは、この８×８個の画素群に対して行なわれる。
【００８１】
本実施形態にかかる符号化装置は、この画素を間引くパターン、すなわち、どの間隔でどの程度の数の画素を間引くのかといった情報を、撮像装置の動き量情報、露光時間情報に基づいて決定する点が、従来とは異なる。
【００８２】
図１に戻って、動きベクトル決定部１０６は動きベクトルを求めると、次に、ブロックバッファ１０１に対して、間引きなしの現処理対象ブロックデータを符号化部１０７へ送出するよう、制御信号を出力し、また、ＳＷバッファ１０２に対しては、最適な評価値が得られた起点位置における参照ブロックを、間引きなしで符号化部１０７へ送出するよう、制御信号を出力する。
【００８３】
符号化部１０７は、ブロックバッファ１０１より出力された現処理対象ブロック、ＳＷバッファ１０２より出力された参照ブロック、及び動きベクトルを受け取り、動き補償予測符号化処理を行なう。また、符号化部１０７は、符号化処理を行なう際に、符号化処理対象ブロックの、局所復号化された画像データをフレームメモリ１０３に対して出力する。局所復号化された画像データは、後に異なるフレームを処理する際に参照画像として利用される。
【００８４】
以上の符号化処理を、符号化対象画像を構成するすべての現処理対象ブロックに対して行うことで、符号化対象画像を符号化することができる。当然、各フレームの画像について上記符号化処理を行えば、この各フレームの画像を符号化することができる。
【００８５】
図４は、以上説明した一連の符号化処理のフローチャートである。なお各ステップにおける処理については上述の通りであるので、簡単に説明する。
【００８６】
先ずブロックバッファ１０１に現処理対象ブロックのデータを入力する（ステップＳ４０１）。そしてフレームメモリ１０３から、参照画像中の動きベクトル探索範囲の画像データをＳＷバッファ１０２に入力する（ステップＳ４０２）。次に、センサ、制御系からそれぞれ撮像装置の動き量情報、露光時間情報を入力する（ステップＳ４０３）。そして上述の処理により、撮像装置の動き量情報と露光時間情報とから、テンプレートを決定し、決定したテンプレートを示す情報を参照画像画素間引き部１０４ａ、１０４ｂに出力する（ステップＳ４０４）。
【００８７】
なお、以上のステップＳ４０１からステップＳ４０４までの各ステップにおける処理はこの順序で行われなくても良い。
【００８８】
次に、参照画像画素間引き部１０４ａは、ブロックバッファ１０１が保持する現処理対象ブロックから、テンプレートでもって規定される間引きパターンに従って画素を間引いた画像を評価値算出部１０５に出力する（ステップＳ４０５）。
【００８９】
同様に、参照画像画素間引き部１０４ｂは、ＳＷバッファ１０２が保持する参照画像中の動きベクトル探索範囲の画像データから参照ブロックを読み出すとともに、読み出した参照ブロックからテンプレートでもって規定される間引きパターンに従って画素を間引いた画像を評価値算出部１０５に出力する（ステップＳ４０６）。
【００９０】
そして評価値算出部１０５は、入力された画素ブロックを用いて上述の評価値を求める（ステップＳ４０７）。このステップＳ４０６，ステップＳ４０７における処理を、参照画像中の動きベクトル探索範囲の画像データ中のすべての全ての参照ブロックについて行う。すなわち、参照画像中の動きベクトル探索範囲の画像データ中の各参照ブロックについて、画素を間引いた現処理対象ブロックとの評価値を求める。
【００９１】
そして、最適な評価値を得た参照ブロックの参照画像における位置と、符号化対象画像における現処理対象ブロックの位置とを結ぶベクトルを動きベクトルとして求め（ステップＳ４０９）、求めた動きベクトル、現処理対象ブロック、参照ブロックを用い符号化部１０７は現処理対象ブロックを符号化する（ステップＳ４１０）。
【００９２】
そして現処理対象ブロックに対する符号化が完了すると、ブロックバッファ１０１には次に符号化すべき現処理対象ブロックを入力し（ステップＳ４１１）、ステップＳ４０３以降の処理を行う。
【００９３】
以上の処理を全ての現処理対象ブロックに対して行うことで、符号化対象画像を符号化することができる。
【００９４】
以上の説明により、本実施形態によって、動き検出のために繰り返される評価値演算処理の回数は、例えば間引き率を水平、垂直方向ともに２画素につき１画素ずつ間引くようにした場合、１回の比較動作につき、１６×１６×０．５×０．５＝６４回でよいことになり、間引きを行なわない場合に比べて演算処理負荷が低減され、処理全体の高速化及び装置の消費電力の低減の効果がある。
【００９５】
また、上記演算処理負荷の低減にもかかわらず、撮像装置の動き情報に応じてブロックマッチングに用いる画素の間引き処理を行なうことにより、従来に比べ動きベクトル検出の精度がよくなり、符号化効率が向上する。
【００９６】
これは例えば従来であれば撮像装置の動き量が小さくても一定の間引き量でもって間引いていたので、場合によっては間引きすぎて動きベクトルの検出精度が悪くなっていたが、本実施形態によれば、動き量が小さい場合にはそれに応じて間引き量を少なくする（もしくは間引かない）ので、動きベクトルの検出精度を悪くすることはない。
【００９７】
また、撮像素子の露光時間情報に応じてブロックマッチングに用いる画素の間引き処理を行なうことにより、従来に比べ動きベクトル検出の精度がよくなり、符号化効率が向上する。
【００９８】
これは例えば従来であれば露光時間が短くても一定の間引き量でもって間引いていたので、場合によっては間引きすぎて動きベクトルの検出精度が悪くなっていたが、本実施形態によれば、露光時間が短い場合にはそれに応じて間引き量を少なくする（もしくは間引かない）ので、動きベクトルの検出精度を悪くすることはない。
【００９９】
また、ブロックマッチングする際の参照ブロックを動きベクトル探索範囲から切り出した後に、間引き処理を行なうことにより、動きベクトルの検出の精度がよくなり、符号化効率が向上する。
【０１００】
なお、以上の説明では、画素ブロックの足図を１６×１６としたが、以上の符号化処理はこのサイズに限定するものではない。
【０１０１】
［第２の実施形態］
第１の実施形態では間引きパターンを決定するために、画像動き量演算部１０８は撮像装置の動き量情報と、露光時間情報とから画像動き量情報を算出し、この画像動き量情報に基づいてテンプレート決定部１０９はテンプレートを決定し、このテンプレートにより間引きパターンを決定していたが、これに限定するものではなく、例えば画像動き量演算部１０８、テンプレート決定部１０９の代わりに間引きパターン決定部を設け、撮像装置の動き量情報と、露光時間情報とから間引きパターンを決定するようにしても良い。その場合、間引きパターン決定部は、様々な撮像装置の動き量情報、露光時間情報に対応する間引きパターンを保持しており、センサ、制御系から入力される撮像装置の動き量情報、露光時間情報でもって１つの間引きパターンを決定し、参照画像画素間引き部１０４ａ、１０４ｂに決定した間引きパターンを示す情報を出力する。
【０１０２】
そして参照画像画素間引き部１０４ａ、１０４ｂは入力された情報に従った間引きパターンでもって間引いた画像を出力する。
【０１０３】
また、この間引きパターンは所定の演算式により求めてもよく、その場合、この演算式は、撮像装置の動き量が大きければ大きいほど、また露光時間が長いほど間引く画素の数を多し、逆に上記動き量が小さいほど、また露光時間が短いほど間引く画素の数を少なくするような演算式となる。
【０１０４】
このように、画素の間引きパターンの決定方法については特に限定するものではない。
【図面の簡単な説明】
【０１０５】
【図１】本発明の第１の実施形態にかかる符号化装置の基本構成を示すブロック図である。
【図２】（ａ）は、動きベクトル検出の単位となるブロックサイズ１６×１６に対し、水平及び垂直方向にそれぞれ１／２の間引き率で間引く場合の概念図、（ｂ）は、現処理対象ブロックの動きベクトル検索のために参照され得る検索範囲に含まれる画像データ４８×４８画素に対し、水平及び垂直方向にそれぞれ１／２の間引き率で間引く場合の概念図、（ｃ）は、現処理対象ブロックの動きベクトル検索のために参照され得る検索範囲に含まれる４８×４８個の画素群に対し、水平及び垂直方向にそれぞれ１／２の間引き率で間引く場合の概念図である。
【図３】従来例における符号化装置の構成図である。
【図４】本発明の第１の実施形態にかかる符号化処理のフローチャートである。
【図１】
2005204076.tif 000003
【図２】
2005204076.tif 000004
【図３】
2005204076.tif 000005
【図４】
2005204076.tif 000006