(57)【要約】本発明は、画像復号装置における動き補償処理の際の、参照画像のデータ転送量を低減できる符号化画像を生成する画像符号化装置を提供することを目的とする。本発明の画像符号化装置は、動き予測における探索範囲（８００２）が設定された場合には、符号化された画像の復号時の動き補償処理において生じるデータの転送の転送量が、少ない転送量である探索範囲（８０１３ｘ）を設定し、設定された前記探索範囲の画素データを、当該画素データの画素が含まれる参照画像を記憶した画素記憶部から取得し、動き予測を行う。本発明の画像符号化装置によれば、生成された符号化画像を復号する際の動き補償における参照画像の転送量を削減できるため、画像復号装置の外部メモリのコストを削減することができる。
2010140338.tif 000002
【特許請求の範囲】
【請求項１】
動き予測を行って、画像を符号化する画像符号化装置であって、
前記動き予測における探索範囲として、当該探索範囲が設定された場合には、符号化された前記画像の復号時の動き補償処理において生じる、データの転送の転送量が、閾値よりも少ない転送量である探索範囲を設定する探索範囲制御部と、
前記動き予測がされる際に、設定された前記探索範囲の画素データを、当該画素データの画素が含まれる参照画像を記憶した画像記憶部から取得する取得部と、
取得された前記画素データと、符号化対象の画素データとを用いて前記動き予測を行う動き予測部とを備える画像符号化装置。
【請求項２】
前記探索範囲制御部は、前記動き予測における探索範囲として、当該探索範囲制御部の外部からの設定により、第２の転送量よりも小さい第１の前記転送量の転送が生じる第１の前記探索範囲と、大きい第２の前記転送量の転送が生じる第２の探索範囲とのうちから指定された方の探索範囲を設定し、大きい第２の前記転送量の第２の前記探索範囲が指定される場合には、第２の当該探索範囲を設定する請求項１に記載の画像符号化装置。
【請求項３】
前記探索範囲制御部は、前記動き予測の探索範囲の設定をするのに際して、計算された、復号時の前記動き補償処理での、データの転送量が、第２の閾値よりも大きい場合にのみ、小さい第１の前記転送量での転送が生じる第１の前記探索範囲を設定し、前記第２の閾値よりも小さい場合には、大きい第２の前記転送量の転送が生じる第２の前記探索範囲を設定する請求項１に記載の画像符号化装置。
【請求項４】
前記探索範囲制御部は、復号時の前記動き補償処理での、データの転送量を、復号時において、前記参照画像を記憶するために用いられる復号側画像記憶部のアクセス単位の仕様と、当該参照画像の位置とにより算出する請求項１に記載の画像符号化装置。
【請求項５】
符号化される前記画像は、複数のブロックを含み、
それぞれのブロックは、複数の前記画素を含み、
設定される前記探索範囲は、全体の範囲から、予め定められた範囲が除外された範囲であり、
設定される前記探索範囲における第１のブロックは、復号時における、第１の当該ブロックの読み出しで、小さい第１のサイズの第１のアクセス領域でのアクセスがされて、小さい第１の転送量の転送が生じるブロックであり、
除外される前記範囲における第２のブロックは、第２の当該ブロックの読み出しで、大きい第２のサイズの第２のアクセス領域でのアクセスがされて、大きい第２の転送量の転送が生じるブロックである請求項１に記載の画像符号化装置。
【請求項６】
請求項１記載の画像符号化装置と、
当該画像符号化装置により符号化された前記画像の復号を行う画像復号装置と、
小さい前記転送量の前記探索範囲が設定された場合には、復号がされるのに際して、前記画像復号装置に対して、小さい当該転送量のデータを転送する、転送される当該データを記憶するＲＡＭ（Random Access Memory）である復号側画像記憶部とを備えるカムコーダ。
【請求項７】
請求項１に記載の画像符号化装置であって、
前記取得部は、
符号化がされる前記画像に含まれるブロックが、
第１の当該ブロックが、当該画像の符号化において参照された場合には、符号化された当該画像が復号される際に、第１の当該ブロックが復号側画像記憶部から読み出されるのに際して、小さい第１の前記転送量の転送が生じる第１のブロックであるか、
第１の前記転送量よりも大きい第２の転送量の転送が生じる第２のブロックであるかを判定し、
前記動き予測部は、
第１の前記ブロックであると判定された場合にのみ、判定がされた当該ブロックを参照させ、当該ブロックへの動きベクトルを生成し、
第２の前記ブロックと判定された場合には、当該ブロックを参照させず、当該ブロックへの動きベクトルを生成せず、
前記取得部は、ブロックが、設定される前記探索範囲内の第１の前記ブロックか、当該探索範囲外の第２の前記ブロックかを判定する画像符号化装置。
【請求項８】
請求項７に記載の画像符号化装置であって、
前記取得部は、第１の前記ブロックと判定されたブロックの第１の前記画素データのみを取得し、第２の前記ブロックと判定されたブロックの第２の前記画素データを取得しない画像符号化装置。
【請求項９】
動き予測を行って、画像を符号化する画像符号化装置であって、
前記動き予測がされる際に、当該動き予測における探索範囲の画素データを、当該画素データの画素が含まれる参照画像を記憶した画像記憶部から取得する取得部と、
取得された前記画素データが、符号化における、差分画像の生成に用いられる予測画像となった場合に、当該画素データが前記予測画像となった符号化がされた前記画像の復号時の動き補償で生じる、データの転送の転送量を計算するデータ転送量計算部と、
計算された前記転送量と、取得された前記画素データと、符号化対象画素データとを用いて前記動き予測を行う動き予測部とを備える画像符号化装置。
【請求項１０】
前記データ転送量計算部は、計算された前記転送量を、前記復号時に、前記参照画像を記憶するために用いられる復号側画像記憶部のアクセス単位の仕様と、前記参照画像の位置とにより算出する請求項９に記載の画像符号化装置。
【請求項１１】
動き予測を行って、画像を符号化する画像符号化方法であって、
前記動き予測における探索範囲として、当該探索範囲が設定された場合には、符号化された前記画像の復号時の動き補償処理において生じる、データの転送の転送量が、閾値よりも少ない転送量である探索範囲を設定する探索範囲制御工程と、
前記動き予測がされる際に、設定された前記探索範囲の画素データを、当該画素データの画素が含まれる参照画像を記憶した画像記憶部から取得する取得工程と、
取得された前記画素データと、符号化対象の画素データとを用いて前記動き予測を行う動き予測工程とを含む画像符号化方法。
【請求項１２】
動き予測を行って、画像を符号化する画像符号化方法であって、
前記動き予測がされる際に、当該動き予測における探索範囲の画素データを、当該画素データの画素が含まれる参照画像を記憶した画像記憶部から取得する取得工程と、
取得された前記画素データが、符号化における、差分画像の生成に用いられる予測画像となった場合に、当該画素データが前記予測画像となった符号化がされた前記画像の復号時の動き補償で生じる、データの転送の転送量を計算するデータ転送量計算工程と、
計算された前記転送量と、取得された前記画素データと、符号化対象画素データとを用いて前記動き予測を行う動き予測工程とを含む画像符号化方法。
【請求項１３】
動き予測を行って、画像を符号化する集積回路であって、
前記動き予測における探索範囲として、当該探索範囲が設定された場合には、符号化された前記画像の復号時の動き補償処理において生じる、データの転送の転送量が、閾値よりも少ない転送量である探索範囲を設定する探索範囲制御部と、
前記動き予測がされる際に、設定された前記探索範囲の画素データを、当該画素データの画素が含まれる参照画像を記憶した画像記憶部から取得する取得部と、
取得された前記画素データと、符号化対象の画素データとを用いて前記動き予測を行う動き予測部とを備える集積回路。
【請求項１４】
動き予測を行って、画像を符号化する集積回路であって、
前記動き予測がされる際に、当該動き予測における探索範囲の画素データを、当該画素データの画素が含まれる参照画像を記憶した画像記憶部から取得する取得部と、
取得された前記画素データが、符号化における、差分画像の生成に用いられる予測画像となった場合に、当該画素データが前記予測画像となった符号化がされた前記画像の復号時の動き補償で生じる、データの転送の転送量を計算するデータ転送量計算部と、
計算された前記転送量と、取得された前記画素データと、符号化対象画素データとを用いて前記動き予測を行う動き予測部とを備える集積回路。
【請求項１５】
コンピュータに、動き予測を行わせて、画像を符号化させるためのコンピュータプログラムであって、
前記動き予測における探索範囲として、当該探索範囲が設定された場合には、符号化された前記画像の復号時の動き補償処理において生じる、データの転送の転送量が、閾値よりも少ない転送量である探索範囲を設定する探索範囲制御工程と、
前記動き予測がされる際に、設定された前記探索範囲の画素データを、当該画素データの画素が含まれる参照画像を記憶した画像記憶部から取得する取得工程と、
取得された前記画素データと、符号化対象の画素データとを用いて前記動き予測を行う動き予測工程とを前記コンピュータに実行させるためのコンピュータプログラム。
【請求項１６】
コンピュータに、動き予測を行わせて、画像を符号化させるためのコンピュータプログラムであって、
前記動き予測がされる際に、当該動き予測における探索範囲の画素データを、当該画素データの画素が含まれる参照画像を記憶した画像記憶部から取得する取得工程と、
取得された前記画素データが、符号化における、差分画像の生成に用いられる予測画像となった場合に、当該画素データが前記予測画像となった符号化がされた前記画像の復号時の動き補償で生じる、データの転送の転送量を計算するデータ転送量計算工程と、
計算された前記転送量と、取得された前記画素データと、符号化対象画素データとを用いて前記動き予測を行う動き予測工程とを前記コンピュータに実行させるためのコンピュータプログラム。
【請求項１７】
動き予測を行って画像を符号化することで得られた符号化画像を記録し、当該符号化画像を復号することで得られた復号画像を再生する記録再生装置であって、
前記動き予測の参照画像を記憶する画像記憶部と、
前記動き予測における探索範囲として、当該探索範囲が設定された場合には、符号化された前記符号化画像の復号時の動き補償処理において生じる、データの転送の転送量が、閾値よりも少ない転送量である探索範囲を設定する探索範囲制御部と、
前記動き予測がされる際に、設定された前記探索範囲の画素データを、当該画素データの画素が含まれる参照画像を記憶した前記画像記憶部から取得する取得部と、
取得された前記画素データと、符号化対象の画素データとを用いて前記動き予測を行う動き予測部とを備える記録再生装置。
【請求項１８】
動き予測を行って画像を符号化することで得られた符号化画像を記録し、当該符号化画像を復号することで得られた復号画像を再生する記録再生装置であって、
前記動き予測の参照画像を記憶する画像記憶部と、
前記動き予測がされる際に、当該動き予測における探索範囲の画素データを、当該画素データの画素が含まれる参照画像を記憶した前記画像記憶部から取得する取得部と、
取得された前記画素データが、符号化における、差分画像の生成に用いられる予測画像となった場合に、当該画素データが前記予測画像となった符号化がされた前記符号化画像の復号時の動き補償で生じる、データの転送の転送量を計算するデータ転送量計算部と、
計算された前記転送量と、取得された前記画素データと、符号化対象画素データとを用いて前記動き予測を行う動き予測部とを備える記録再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像間の動き予測を用いる動画像符号化方式に対応した画像符号化装置および画像符号化方法に関するものである。
【背景技術】
【０００２】
近年、動画像データを圧縮符号化（以下、符号化と記載）するための技術として、ＭＰＥＧ２（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ  ２）（非特許文献１）や、Ｈ．２６４（非特許文献２）が広く用いられている。これらの画像符号化技術では、動画像中の各画像（以後、ピクチャと記載）について、時間的に前または後のピクチャからの動き予測を行う。そして、予測した動き情報（予測元ピクチャの指定、動きベクトルを含む）や、予測結果との差分などの情報を符号化する。符号化は、規定された画素数の矩形領域（以下、ブロックと記載）にピクチャを分割し、そのブロックを処理単位として行う。【０００３】
図１は、一般的な動き予測の処理を表す図である。【０００４】
画像を符号化する際の動き情報の予測方法について説明する。図１の１００１は、符号化対象のピクチャ、１００２は、符号化対象のブロック（符号化対象ブロック）、１００３は、予測元ピクチャ、１００４は、予測元ピクチャ１００３内で、符号化対象のブロック１００２と同じ位置にあるブロック、１００５は、探索範囲、１００６は、参照ブロック、１００７は、動きベクトルをそれぞれ表す。【０００５】
動き情報の予測は、ブロックごとに行う。まず、符号化対象のブロック１００２を固定し、既に符号化したピクチャで、時間的に前または後のピクチャを、予測元ピクチャ１００３とする。そして、予測元ピクチャ１００３の中で、符号化対象のブロック１００２と同じ位置にあるブロック１００４の周辺を、探索範囲１００５に設定する。そして、設定された探索範囲１００５の中で、符号化対象のブロック１００２と同じ大きさのブロックを移動させながら、符号化対象のブロック１００２と、最も類似のブロックを見つけ、そのブロックを、参照ブロック１００６とする。そして、符号化対象のブロック１００２と同じ位置にあるブロック１００４を基点としたときの、参照ブロック１００６の相対的な位置を、動きベクトル１００７とする。【０００６】
なお、図１右欄のピクチャ１００１における、楕円のハッチング領域は、ピクチャ１００１等に写された対象物（例えば車など）の領域を示す。また、左欄のピクチャ１００３のハッチング領域は、例えば、この対象物の、ピクチャ１００３における領域を示す。図示されるように、例えば、左欄でのハッチング領域の位置は、車の移動などのために、右欄での位置とは違ってもよい。【０００７】
図２は、従来の画像符号化装置の構成の一例を表す図である。【０００８】
動き予測を行う画像符号化装置の構成としては、様々な構成が開示されている（特許文献１など）。図２において、２００１は動き予測部、２００２は画像メモリ、２００３は動き補償部、２００４はフレーム内予測部、２００５は予測方法選択部、２００６は差分画像生成部、２００７は直交変換／量子化部、２００８は符号化部、２００９は逆直交変換／逆量子化部、２０１０は画像再構成部、２０１１はループフィルタ部、２０１２はブロック読み出し部、２０１３は相似度計算部、２０１４は評価部、２０１５は動きベクトル生成部をそれぞれ表す。図２を用いて、画像符号化装置２ｘの動作を説明する。【０００９】
入力画像は、ブロック単位で符号化処理が行われる。符号化対象ブロック（符号化対象ブロック１００２（図１））は、動き予測部２００１に入力される。動き予測部２００１では、入力された符号化対象ブロックの位置情報を基に、探索範囲（探索範囲１００５）を設定し、探索範囲内の画像を、画像メモリ２００２から順次読み出して、評価し、符号化対象ブロックと、最も相関が高いブロック（参照ブロック１００６）を検出する。画像メモリ２００２には、既に符号化した画像が格納されている。そして、検出したブロックの、符号化対象ブロックからの相対位置を表す動きベクトル（動きベクトル１００７）を、動き補償部２００３に出力する。【００１０】
動き補償部２００３は、入力された動きベクトルが指し示す参照画像を、画像メモリ２００２から読み出して、参照画像を生成し、フレーム間予測の予測画像として、予測方法選択部２００５に出力する。【００１１】
これとは別に、入力画像は、フレーム内予測部２００４に入力される。フレーム内予測部２００４では、フレーム内予測画像およびフレーム内予測情報を生成し、予測方法選択部２００５に出力する。【００１２】
予測方法選択部２００５は、フレーム内予測と、フレーム間予測とのうちのどちらかを選択し、差分画像生成部２００６に、選択された方の予測画像を出力する。【００１３】
差分画像生成部２００６は、入力画像と、予測方法選択部２００５により出力された方の予測画像との間の差分画像を生成し、直交変換／量子化部２００７に出力する。【００１４】
直交変換／量子化部２００７は、入力された差分画像に対し、直交変換および量子化を行ったデータを、符号化部２００８および逆直交変換／逆量子化部２００９にそれぞれ出力する。【００１５】
符号化部２００８は、入力されたデータに対して可変長符号化を行い、可変長符号化されたデータを、符号化画像として出力する。【００１６】
逆直交変換／逆量子化部２００９は、入力された、直交変換および量子化がされたデータに対し、逆量子化および逆直交変換を行い、差分画像を生成し、画像再構成部２０１０に出力する。【００１７】
画像再構成部２０１０は、予測方法選択部２００５が生成した予測画像と、逆直交変換／逆量子化部２００９が生成した差分画像を足し合わせ、画像を再構成し、ループフィルタ部２０１１に出力する。【００１８】
ループフィルタ部２０１１は、再構成された画像に対し、ループフィルタ処理を行い、画像メモリ２００２に格納する。【００１９】
動き予測部２００１の構成について説明する。【００２０】
動き予測部２００１（図２）は、ブロック読み出し部２０１２、相似度計算部２０１３、評価部２０１４、動きベクトル生成部２０１５から構成される。【００２１】
ブロック読み出し部２０１２は、符号化対象ブロックの位置情報から、探索範囲（探索範囲１００５）を設定し、設定された探索範囲内の画像を、ブロックの形状で、画像メモリ２００２から順次読み出す。読み出したブロックを、予測画像候補ブロックとする。【００２２】
ブロック読み出し部２０１２は、予測画像候補ブロックの画像データと、ピクチャ内の位置を、相似度計算部２０１３に出力する。【００２３】
相似度計算部２０１３は、ブロック読み出し部２０１２から入力された予測画像候補ブロックの画像データと、符号化対象ブロックとの間の相似度を算出し、評価部２０１４に出力する。【００２４】
評価部２０１４は、探索範囲内の、これまで相似度を計算した各予測画像候補ブロックの中で、計算された相似度が最も高いブロックと、入力された予測画像候補ブロックの相似度とを比較する。探索範囲内の全てのブロックについて、相似度の比較が完了すると、探索範囲内で、最も相関の高いブロックの位置を、動きベクトル生成部２０１５に出力する。【００２５】
動きベクトル生成部２０１５は、符号化対象ブロックの位置情報と、評価部２０１４から入力された、探索範囲内で最も相関の高いブロックの位置情報とから動きベクトルを生成し、動き補償部２００３に出力する。【００２６】
図３は、一般的な動画像復号装置の構成を示した図である。【００２７】
次に、符号化された画像を復号する処理について説明する。復号処理では、符号化された動き情報を基に、指定された予測元ピクチャ（図１の予測元ピクチャ１００３参照）と、動きベクトル（動きベクトル１００７参照）とから、予測結果（先述の予測画像を参照）を生成(以降、この処理を動き補償と記載)する。この予測結果と、別に符号化されている、予測結果との間の差分情報（先述の差分画像を参照）とを足し合わせることで、画像（図１のブロック１００２参照）を復元する。【００２８】
図３において、３００１は可変長復号部、３００２は動き補償部、３００３は動きベクトル計算部、３００４は参照画像取得部、３００５は画像メモリ、３００６は予測画像生成部、３００７はフレーム内予測部、３００８は予測方法選択部、３００９は逆量子化／逆直交変換部、３０１０は画像再構成部、３０１１はループフィルタ部をそれぞれ表す。【００２９】
図３を用いて、動画像復号装置の動作を説明する。【００３０】
動画像復号装置（画像復号装置）３ｘに入力された符号化画像（先述された、画像符号化装置２ｘの符号化部２００８により出力される符号化画像の説明を参照）は、可変長復号部３００１に入力される。【００３１】
可変長復号部３００１では、可変長復号処理を行い、復号結果のうち、動きベクトル計算に必要な情報を、動き補償部３００２へ、フレーム内予測に必要な情報を、フレーム内予測部３００７へ、差分画像の生成に必要なデータを、逆量子化／逆直交変換部３００９に、それぞれ出力する。【００３２】
動き補償部３００２は、フレーム間予測処理を行い、予測画像を生成する。【００３３】
動き補償部３００２は、更に、動きベクトル計算部３００３、参照画像取得部３００４、予測画像生成部３００６から構成される。【００３４】
可変長復号部３００１から動き補償部３００２に入力された情報は、まず、動きベクトル計算部３００３に入力される。【００３５】
動きベクトル計算部３００３では、動きベクトルを計算し、参照画像取得部３００４に出力する。【００３６】
参照画像取得部３００４は、既に復号した画像から、動きベクトルが指し示す矩形領域（図１に示される、動きベクトル１００７により指し示される参照ブロック１００６を参照）を参照画像として取得し、予測画像生成部３００６に出力する。【００３７】
予測画像生成部３００６は、入力された参照画像から予測画像を生成し、予測方法選択部３００８に出力する。【００３８】
フレーム内予測部３００７は、可変長復号部３００１から出力された、フレーム内予測に必要な情報を用いて、フレーム内予測を行い、予測画像を、予測方法選択部３００８に出力する。【００３９】
予測方法選択部３００８は、動き補償部３００２が出力するフレーム間予測と、フレーム内予測部３００７が出力するフレーム内予測とから選択をして、選択された方での予測画像を、用いられるべき予測画像として、画像再構成部３０１０に出力する。【００４０】
逆量子化／逆直交変換部３００９は、可変長復号部３００１が出力したデータに対し、逆直交変換処理、および逆量子化処理を行い、差分画像を生成し、画像再構成部３０１０に出力する。【００４１】
画像再構成部３０１０は、予測方法選択部３００８から出力された予測画像と、逆量子化／逆直交変換部３００９から出力された差分画像とを足し合わせて、画像を再構成し、ループフィルタ部３０１１に出力する。【００４２】
ループフィルタ部３０１１は、入力された画像に対し、ループフィルタ処理を行い、復号画像として出力する。また、出力された画像を、後のピクチャの復号の際に、参照画像として用いるために、画像メモリ３００５に格納する。
【先行技術文献】
【特許文献】
【００４３】
【特許文献１】特開平８−７９７６７号公報
【非特許文献】
【００４４】
【非特許文献１】ＭＰＥＧ２  ＩＳＯ／ＩＥＣ１３８１８−２規格，ＩＴＵ−Ｔ  Ｈ．２６２規格
【非特許文献２】Ｈ．２６４  ＩＳＯ／ＩＥＣ１４４９６−１０規格，ＩＴＵ−Ｔ  Ｈ．２６４規格
【発明の概要】
【発明が解決しようとする課題】
【００４５】
前記一般的な、従来の画像復号装置（動画像復号装置３ｘ）における画像メモリ（画像メモリ３００５）としては、高いデータ転送能力を必要とする。そのため、ビット幅を広げたり、連続したデータを高速に転送するバースト転送と呼ぶ手法を用いることで、データ転送能力を高めたメモリが一般的に用いられる。バースト転送を行う際の連続データの長さを、バースト長と呼ぶ。【００４６】
このようなメモリでは、一度のアクセスで読み出すことのできるデータの最小量（以降、メモリアクセス単位と呼ぶ）が、メモリのビット幅と、バースト長により決まる。一般的に用いられる、１６ビット（＝２バイト）幅で、バースト長が４のメモリでは、メモリアクセス単位は、２バイト×４＝８バイトとなる。従って、画像復号装置の画像メモリとして、このメモリを用いた場合、動き補償処理において、８バイトごとの取得開始座標から、８バイトの倍数の取得サイズで、データ転送を行う。【００４７】
Ｈ．２６４において、画像符号化装置で行う動き予測の処理単位は、１６×１６、１６×８、８×１６、８×８、８×４、４×８、４×４の７種類のブロックサイズから選択できる。小さいブロックサイズ、例えば４×４単位で動き予測を行った場合、画像復号装置における動き補償処理では、画像メモリのメモリアクセス単位に従ってデータ転送を行うことで、画像メモリからのデータ転送量が大幅に増加する。【００４８】
図４は、画像復号装置の動き補償処理におけるデータ転送の一例を示す図である。【００４９】
図４において、動き予測の処理単位は、４×４（矩形領域４００２）であり、１６ビット幅で、バースト長が４のメモリを画像メモリとして用いている。また、画像を構成する画素は、１バイトのデータで表現されるものとする。【００５０】
図４の４００１は、１６×１６画素の画像メモリ（上述の画像メモリ３００５の一部）、４００２は、動き補償処理に必要な矩形領域（４×４画素）、４００３は、８バイトのメモリアクセス単位に従って、４００２の矩形領域を転送する場合に必要な、最小のデータ転送領域である。【００５１】
前記従来の動き予測部（画像符号化装置２ｘの動き予測部２００１）が出力した動きベクトル（図１の動きベクトル１００７参照）が指示する参照画像（参照ブロック１００６）の位置は、４００２の矩形領域の左上端画素４００２ａの位置であり、（７，７）である。しかし、水平方向（図４の方向ｘ）の取得開始座標は、８の倍数（８×ｎ＝０、８、１６…）であるため、４００３のアクセス領域の、左上端画素４００３ａの位置は、（０，７）となる。また、４００２の矩形領域の水平方向のサイズ４Ｓ１は４であるが、水平方向の取得サイズ（取得サイズ４Ｓ２）は、８バイトの倍数となるため、４００３のアクセス領域の取得サイズ４Ｓ２は、１６となる。このように、４００２の、４×４画素の矩形領域（サイズ４Ｓ１）をアクセスするためには、４００３の、１６×４画素のブロック（取得サイズ４Ｓ２）を取得しなければならない。【００５２】
つまり、前記従来の画像符号化装置の動き予測部（動き予測部２００１）の構成では、動き予測部が出力した動きベクトルを基に、一般的な画像復号装置において動き補償を行う際に、参照画像として必要な画素以外のデータ４ｒＤ（縦線のハッチングの領域のデータ）を、余分に転送することになり、処理の効率が低下するという課題を有していた。【００５３】
本発明は、前記従来の課題を解決するもので、画像復号装置における動き補償処理の際の、参照画像のデータ転送量を低減できる符号化画像を生成する画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００５４】
前記従来の課題を解決するために、本発明の画像符号化装置は、動き予測を行って、画像を符号化する画像符号化装置であって、前記動き予測における探索範囲として、当該探索範囲（第１の探索範囲）が設定された場合には、符号化された前記画像の復号時の動き補償処理において生じる、データの転送の転送量が、閾値（後述される第２の転送量など）よりも少ない（小さい）転送量（第１の転送量）である探索範囲（第１の探索範囲）を設定する探索範囲制御部と、前記動き予測がされる際に、設定された（、小さい第１の転送量の）前記探索範囲の画素データ（第１の転送量の第１の画素データ）を、当該画素データの画素が含まれる参照画像を記憶した画像記憶部から取得する（従って、大きい第２の転送量の第２の画素データを取得しない）取得部（図１６の判定部５００３ｂｘを参照）と、取得された前記画素データ（第１の画素データ）と、符号化対象の画素データとを用いて前記動き予測を行う動き予測部（図１６の予測処理部２０１５ｘを参照）とを備える。【００５５】
これにより、画像符号化装置が生成した符号化画像を復号する際の動き補償処理において、動き補償処理に必要な画像の転送量が増加しない領域だけを探索すべく、探索領域選択部が動き予測の探索範囲を限定することにより、生成された符号化画像を復号する際の動き補償においての、参照画像の転送量を削減することができる。【００５６】
つまり、例えば、画素データが、小さい第１の転送量の転送の生じる第１の画素データか、大きい第２の転送量の転送が生じる第２の画素データかが判定され、具体的には、上記のように、適切な探索範囲（第１の探索範囲）が設定されて、設定された適切な探索範囲が用いられることにより、この判定がされる。そして、第１の画素データ（と判定された画素データ）のみが取得され、第２の画素データ（と判定された画素データ）が取得されず、第１の画素データのみが動き予測で用いられ、第２の画素データが用いられないことにより、第１の転送量の転送のみが生じ、第２の転送量の転送が生じず、転送量が小さくできる。【００５７】
また、前記探索範囲制御部は、前記動き予測における探索範囲として、当該探索範囲制御部の外部からの設定により、第２の転送量（例えば、上記の閾値と同じ量）よりも小さい第１の前記転送量の転送が生じる第１の前記探索範囲と、大きい第２の前記転送量の転送が生じる第２の探索範囲とのうちから指定された方の探索範囲を設定し、大きい第２の前記転送量の第２の前記探索範囲が指定される場合には、第２の当該探索範囲を設定してもよい。【００５８】
こうして、複数の探索範囲のうちで、外部からの設定により指定される方の探索範囲が設定されてもよい。【００５９】
これにより、符号化画像を復号する際の動き補償の参照画像の転送量を、外部から制御することができる。【００６０】
つまり、例えば、外部からの設定に応じて、小さい第１の転送量の第１の探索範囲が設定されて、探索範囲が、大きい第２の転送量の第２の探索範囲から、小さい第１の転送量の第１の探索範囲に切り替えられてもよい。【００６１】
これにより、切り替えの後には、第１の探索範囲が設定されて、転送量が小さくされる一方で、切り替えの前には、第２の探索範囲が設定されて、第１の探索範囲が設定された際に生じる、符号化効率の低下などの弊害が回避され、小さい転送量と、高い符号化効率等とが両立できる。【００６２】
また、前記探索範囲制御部は、前記動き予測の探索範囲の設定をするのに際して、計算された、復号時の前記動き補償処理での、データの転送量が（Ｓ１２００４参照）、第２の閾値よりも大きい場合にのみ（Ｓ１２００５：Ｙｅｓ参照）、小さい第１の前記転送量での転送が生じる第１の前記探索範囲（８０１３ｘ参照）を設定し、前記第２の閾値よりも小さい場合には（Ｓ１２００５：Ｎｏ参照）、大きい第２の前記転送量の転送が生じる第２の前記探索範囲を設定してもよい。【００６３】
これにより、第１の探索範囲だけでなく、第２の探索範囲も適宜設定される。これにより、第１の探索範囲を設定することで、符号化画像を復号する際の動き補償の参照画像の転送量を削減するのに際して、第１の探索範囲を設定することから生じる、符号化効率の低下の影響を小さくすることができる。【００６４】
また、前記探索範囲制御部は、復号時の前記動き補償処理での、データの転送量を、復号時において、前記参照画像を記憶するために用いられる復号側画像記憶部のアクセス単位の仕様と、当該参照画像の位置とにより算出してもよい。【００６５】
なお、例えば、上記の位置とは、復号側画像記憶部の記憶領域における、当該参照画像の記憶される位置をいう。【００６６】
これにより、画像メモリの仕様が互いに異なる複数の画像復号装置のうちで、用いられる画像復号装置が何れであるかに関わらず、用いられる画像復号装置の仕様に基づいた処理がされることにより、適切な処理がされて、より確実に、動き補償における参照画像の転送量を削減することができる。【００６７】
また、本発明の画像符号化装置の別の構成では、動き予測を行って、画像を符号化する画像符号化装置であって、前記動き予測がされる際に、当該動き予測における探索範囲の画素データを、当該画素データの画素が含まれる参照画像を記憶した画像記憶部から取得する取得部と、取得された前記画素データが、符号化における、差分画像の生成に用いられる予測画像となった場合に、当該画素データが前記予測画像となった符号化がされた前記画像の復号時の動き補償で生じる、データの転送の転送量を計算するデータ転送量計算部（図１７の判定部５００３ｂｘを参照）と、計算された前記転送量と、取得された前記画素データと、符号化対象画素データとを用いて前記動き予測を行う動き予測部（図１７の予測処理部２０１５ｘを参照）とを備える。【００６８】
これにより、探索範囲は限定せずに、復号時のメモリ転送量削減と、符号化効率優先を動的に切り替えながら、復号時の動き補償における参照画像の、画像メモリからの転送量を削減することができる。【００６９】
つまり、例えば、小さい第１の転送量が計算されることにより、計算がされた画素データが、第１の画素データと判定されると共に、大きい第２の転送量が計算されることにより、第２の画素データと判定される。そして、第１の画素データ（と判定された画素データ）のみが用いられ、第２の画素データ（と判定された画素データ）が用いられず、転送量が小さくできる。【００７０】
また、前記データ転送量計算部は、計算された前記転送量を、前記復号時に、前記参照画像を記憶するために用いられる復号側画像記憶部のアクセス単位の仕様と、（当該復号側画像記憶部の記憶領域における、）前記参照画像の（記憶される）位置とにより算出してもよい。【００７１】
これにより、画像メモリの仕様が互いに異なる複数の画像復号装置のうちで、用いられる画像復号装置が何れであるのかに関わらず、用いられる画像復号装置の仕様に基づいた処理がされることにより、適切な処理されて、より確実に、動き補償における参照画像の転送量を削減することができる。【００７２】
こうして、例えば、判定部（判定部５００３ｂｘ（図１６、図１７）参照）と、判定部による判定の結果に対応する処理を行う予測処理部（予測処理部２０１５ｘ（図１６、図１７）とを備える画像符号化装置（第１の画像符号化装置（図１６参照）、第２の画像符号化装置（図１７参照））が構築されることにより、小さい第１の転送量での転送のみがされ、大きい第２の転送量での転送がされず、転送量が小さくできる。【００７３】
なお、このようにして、これら判定部および予測処理部により、先述された課題、つまり、余分に転送することになり、転送量が大きくなってしまう課題が解決され、上記された第１、第２の画像復号装置では、何れにおいても、この課題が解決される。
【発明の効果】
【００７４】
本発明の画像符号化装置によれば、生成された符号化画像を復号する際の動き補償においての、参照画像の転送量を削減できるため、画像復号装置の外部メモリのコストを削減することができる。
【図面の簡単な説明】
【００７５】
【図１】図１は、一般的な動き予測の処理を表す図である。
【図２】図２は、従来の画像符号化装置の一例を表す構成図である。
【図３】図３は、従来の画像復号装置の一例を表す構成図である。
【図４】図４は、画像復号装置の動き補償処理におけるデータ転送の一例を示す図である。
【図５】図５は、本発明の実施の形態１における画像符号化装置の一例を示す構成図である。
【図６】図６は、画像復号装置の動き補償処理におけるデータ転送量を示す図である。
【図７】図７は、本発明の実施の形態１における符号化効率優先モードの場合の探索範囲を示す図である。
【図８】図８は、本発明の実施の形態１における復号時転送量削減モードの場合の探索範囲を示す図である。
【図９】図９は、本発明の実施の形態１におけるブロック読み出し部で行う処理を示すフロー図である。
【図１０】図１０は、本発明の実施の形態２における画像符号化装置の一例を示す構成図である。
【図１１】図１１は、本発明の実施の形態２における探索領域選択部の一例を示す構成図である。
【図１２】図１２は、本発明の実施の形態２におけるモード切り替え制御処理のフロー図である。
【図１３】図１３は、本発明の実施の形態３における画像符号化装置の一例を示す構成図である。
【図１４】図１４は、本発明の実施の形態３における予測画像決定処理の符号化対象ブロックごとのフロー図である。
【図１５】図１５は、カムコーダの構成図である。
【図１６】図１６は、画像符号化装置および画像復号化装置を示す図である。
【図１７】図１７は、画像符号化装置および画像復号化装置を示す図である。
【発明を実施するための形態】
【００７６】
以下、図面を参照して、実施形態が説明される。
【００７７】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００７８】
実施形態の第１の画像符号化装置は、動き予測を行って、画像（図１の符号化対象ピクチャ１００１を参照）を符号化する画像符号化装置（画像符号化装置５ｘ（図５、図１６等））であって、前記動き予測における探索範囲（図８に示される、第２の探索範囲８００２と、第１の探索範囲８０１３ｘ）として、当該探索範囲（第１の探索範囲８０１３ｘ）が設定された場合には、符号化された前記画像（符号化対象ピクチャ１００１）の復号時の動き補償処理において生じる、データの転送の転送量が、閾値（例えば、図８の第２のサイズ８Ｓ２での転送量）よりも少ない（小さい）転送量（第１のサイズ８Ｓ１での第１の転送量）である探索範囲（第１の探索範囲８０１３ｘ）を設定する探索範囲制御部（図１６の探索範囲制御部５００３ａ）と、前記動き予測がされる際に、設定された前記探索範囲（第１の探索範囲８０１３ｘ）の画素データ（第１の画素データ８００７ｐ：図１６）を、当該画素データの画素が含まれる参照画像（第１のブロック８００７、参照ピクチャ８００１）を記憶した画像記憶部（画像メモリ２００２（５ｘＭ））から取得する取得部（取得部５００３ｂ）と、取得された前記画素データ（第１の画素データ８００７ｐ）と、符号化対象の画素データ（画素データ１００２ｐ）とを用いて前記動き予測を行う動き予測部（予測処理部２０１５ｘ）とを備える画像符号化装置である。
【００７９】
つまり、例えば、取得部により、画素データ（ブロック８Ｒ参照）が、設定された探索範囲（図８の第１の探索範囲１０１３ｘを参照）の第１の画素データ（第１のブロック８００７）か、他の第２の画素データ（第１の探索範囲の上記第１の転送量よりも大きい第２の転送量（閾値）の転送（例えば、サイズ８Ｓ１より大きいサイズ８Ｓ２での転送）が生じる第２の探索範囲内の第２の画素データ（第２のブロック８００９））かが判定されてもよい。
【００８０】
そして、取得部により、第１の探索範囲の第１の画素データ（と判定された画素データ）のみが取得され、第２の画素データ（と判定された画素データ）が取得されなくてもよい。
【００８１】
そして、動き予測部により、取得された第１の画素データのみが用いられ、他の第２の画素データが用いられず、小さい第１の転送量の転送のみが生じ、大きい第２の転送量の転送が生じなくてもよい。
【００８２】
これにより、小さい第１の転送量の転送のみが生じて、転送量が小さくできる。
【００８３】
なお、こうして、判定を行う判定部（取得部（図１６の判定部５００３ｂｘを参照））と、判定の結果に基づいた処理をする予測処理部（動き予測部、予測処理部２０１５ｘ）とが設けられてもよい。
【００８４】
なお、こうして、探索範囲制御部により、小さい第１の転送量の第１の探索範囲が設定され、閾値以上の、大きい第２の転送量の第２の探索範囲は設定されず、転送量が小さくできる。
【００８５】
そして、第１の探索範囲が設定されることにより、設定される第１の探索範囲内のブロックが、第１のブロックと判定され、第１の探索範囲外のブロックが、第２のブロックと判定されると捉えられてもよい。
【００８６】
また、実施形態の第２の画像符号化装置は、動き予測を行って、画像を符号化する画像符号化装置（画像符号化装置１０ｘ：図１３、図１７）であって、前記動き予測がされる際に、当該動き予測における探索範囲（探索範囲Ｒを参照）の画素データを、当該画素データの画素が含まれる参照画像（ブロック８Ｒ、参照ピクチャ８００１）を記憶した画像記憶部（画像メモリ２００２（５ｘＭ））から取得する取得部（ブロック読み出し部２０１２）と、取得された前記画素データが、符号化における、差分画像の生成（図２の差分画像生成部２００６を参照）に用いられる予測画像となった（図２の予測方法選択部２００５を参照）場合に、当該画素データが前記予測画像となった符号化がされた前記画像（符号化対象ピクチャ１００１）の復号時の動き補償で生じる、データの転送の転送量（例えば、サイズ８Ｓ１の量、サイズ８Ｓ２の量など）を計算するデータ転送量計算部（復号時メモリ転送量計算部１３００２）と、計算された前記転送量と、取得された前記画素データと、符号化対象画素データとを用いて前記動き予測を行う動き予測部（予測処理部２０１５ｘ）とを備える画像符号化装置である。
【００８７】
つまり、データ転送量計算部により、データ量が計算されることにより、画素データ（ブロック）が、小さい第１の転送量が計算される第１の画素データ（第１のブロック）か、大きい第２の転送量が計算される第２の画素データ（第２のブロック）かが判定されてもよい（図１７の判定部５００３ｂｘ）。
【００８８】
そして、動き予測部により、小さい第１の転送量の第１の画素データ（第１のブロック）のみが用いられ、大きい第２の転送量の第２の画素データ（第２のブロック）が用いられなくてもよい（図１７の予測処理部２０１５ｘ）。
【００８９】
これにより、小さい第１の転送量の転送のみが生じて、転送量が小さくできる。
【００９０】
こうして、例えば、実施形態の画像符号化装置（第１、第２の画像符号化装置）において、小さい第１の転送量（例えば、サイズＳ１の転送量）での転送を生じさせる第１のブロック（ブロック８００７）を参照した符号化のみがされ、大きい第２の転送量（サイズ８Ｓ２での転送量）の転送を生じさせる第２のブロック（ブロック８００９）を参照した符号化がされず、復号において、大きい第２の転送量（サイズ８Ｓ２）での転送がされるのが回避され、小さい第１の転送量（サイズ８Ｓ１）での転送のみがされて、復号における転送量が小さくできてもよい。
【００９１】
なお、具体的には、例えば、単に、ある局面で、こうして転送量が小さくされる一方で、他の局面では、小さくされなくてもよい。
【００９２】
こうして、例えば、判定部（第１の探索範囲の第１の画素データを取得する取得部（図１６の判定部５００３ｂｘ）、転送量を計算するデータ転送量計算部（図１７の判定部５００３ｂｘ））、および、この判定の判定結果に対応する処理を行う符号化処理部（動き予測部：予測処理部２０１５ｘ（図１６、図１７））とを備える画像符号化装置（第１の画像符号化装置５ｘ（図１６）、第２の画像符号化装置１３ｘ（図１７））が構築されて、転送量が小さくできる。
【００９３】
こうして、例えば、上述された第１の画像符号化装置で解決される課題と同一の課題が、第２の画像符号化装置でも解決される。
【００９４】
なお、こうして、本技術では、小さい第１の転送量の転送が生じる第１のブロックのみが用いられ、大きい第２の転送量の転送が生じる第２のブロックが用いられないことにより、メリットが生じてもよい。これに対して、知られた従来例においては、この動作を欠き、メリットが生じない。本技術は、この点で、従来例に対して相違する。
【００９５】
つまり、復号時においての、画像メモリ６ｘＭ（図８）における、ブロック８Ｒの位置（左上端画素８ｐＬ）が、大きい第２の転送量の転送を生じさせる第２の位置（左上端画素８００９Ｌ）か、小さい第１の転送量の転送を生じさせる第１の位置（左上端画素８００７Ｌ）かに関わらず、当該ブロック８Ｒの参照がされると、大きい第２の転送量の転送がされて、転送量が大きくなってしまう。
【００９６】
そこで、ブロック８Ｒの、復号時の位置が、第１の位置（左上端画素８００７Ｌ）であるか（第１のブロック８００７か）、第２の位置（左上端画素８００９Ｌ）であるか（第２のブロック８００９か）が判定されてもよい（判定部５００３ｂｘ）。
【００９７】
そして、第１の位置と判定された場合にのみ、当該ブロック８Ｒの参照がされ、第２のブロック８００９と判定された場合には、参照がされなくてもよい（予測処理部２０１５ｘ）。
【００９８】
これにより、大きい第２の転送量での転送がされず、転送量が小さくできる。
【００９９】
なお、第１位置は、当該第１の位置の第１のブロック８００７の読み出しで、少ない第１の個数（１個）のアクセス単位８Ｕ（８バイトのサイズ）での第１のアクセス領域８００８のアクセスがされる位置でもよい。
【０１００】
また、第２の位置は、多い第２の個数（２個）のアクセス単位８Ｕでの第２のアクセス領域８０１０でのアクセスがされる位置でもよい。
【０１０１】
そして、第１の位置、第２の位置をそれぞれ特定する情報（探索範囲８０１３ｘの情報）が保持されて、上記の判定では、当該情報により特定される第１の位置か、第２の位置かの判定がされてもよい。
【０１０２】
そして、例えば、第２のブロック８００９は、第１のブロック８００７のサイズ（４×４）と同じサイズ（４×４）を有するものの、第１の位置とは異なる第２の位置を有することにより、第１の転送量よりも大きい第２の転送量での転送を生じさせてもよい。
【０１０３】
つまり、第２のブロック８００９は、サイズが４×４であるにも関わらず、大きい第２の転送量の第２の位置を有するために、参照がされなくてもよい。
【０１０４】
例えば、ピクチャにおける、互いに同一のサイズの複数のブロックのうちで、閾値より小さい第１の転送量の第１のブロックのみが参照され、閾値以上の第２の転送量の第２のブロックが参照されなくてもよい。
【０１０５】
（実施の形態１）
図５は、本発明の実施の形態１における画像符号化装置５ｘの動き予測部５００１の構成図である。図５において、図２と同じ構成要素については同じ符号を用い、適宜、説明を省略する。
【０１０６】
なお、後で詳述されるように、画像符号化装置５ｘは、具体的には、例えば、図１５に示される、カムコーダ１５００１に設けられた画像符号化装置１５０１０でもよい。
【０１０７】
図５において、５００１は、動き予測部であり、この動き予測部５００１は、探索領域選択部５００２、画像メモリ２００２、ブロック読み出し部５００３、相似度計算部２０１３、評価部２０１４、動きベクトル生成部２０１５から構成される。以下、図５を用いて、実施の形態１における画像符号化装置５ｘの動作について説明する。
【０１０８】
動き予測部５００１には、符号化対象ブロック（図１の符号化対象ブロック１００２を参照）の画素データおよび位置情報が入力される。
【０１０９】
探索領域選択部５００２は、外部から設定される、動き予測の探索領域（後述される、図８に示される、除外範囲８００３ｘが除外された探索範囲８０１３ｘ、および、除外範囲８００３ｘが除外されず、除外範囲８００３ｘも含まれた探索範囲８００２を参照）を切り替えるモード信号を、ブロック読み出し部５００３に出力する。
【０１１０】
ブロック読み出し部５００３は、出力された、探索領域を切り替えるモード信号、および、外部から設定される、画像復号装置６ｘのメモリ仕様（の情報）によって、探索領域を切り替え、探索領域内のブロックを順に読み出し、相似度計算部２０１３に出力する。
【０１１１】
次に、上述された、探索領域選択部５００２に設定する、探索領域を切り替えるモード信号について説明する。探索領域選択部５００２は、下記の２種類のモードを、外部からの設定により、切り替えて出力する。
【０１１２】
・符号化効率優先モード
・復号時メモリ転送量削減モード
【０１１３】
ここで、２種類のモードについて説明する前に、画像符号化装置５ｘが生成した符号化画像を、画像復号装置６ｘ（図６、図８等（例えば、図１５のカムコーダ１５００１の画像復号装置１５０１１））で復号する際の、動き補償処理における、データ転送量について、図６を用いて説明する。
【０１１４】
図６は、画像復号装置６ｘの動き補償処理におけるデータ転送量を示す図である。
【０１１５】
なお、後で詳述されるように、画像復号装置６ｘは、具体的には、例えば、図１５の画像復号装置１５０１１でもよい。
【０１１６】
図６において、画像メモリ（画像メモリ６００４）としては、１６ビット幅で、バースト長４のメモリを用いるものとし、メモリアクセス単位は、８バイトである。また、画像を構成する画素は、１バイトのデータで表現されるものとする。
【０１１７】
図６の６００１は、参照ピクチャ（図１の予測元ピクチャ１００３を参照）であり、６００２および６００３のそれぞれは、参照画像のブロック（ブロック１００４、１００６等を参照）である。６００４は、画像符号化装置５ｘが生成した符号化画像を復号する画像復号装置６ｘが持つ、１６×１６画素の画像メモリである。
【０１１８】
なお、画像メモリ６００４は、例えば、具体的には、画像復号装置６ｘに用いられる画像メモリ６ｘＭのうちの一部でもよい。
【０１１９】
そして、６００５は、参照画像ブロック６００２を、メモリアクセス単位に従って読み出す場合のアクセス領域、６００６は、参照画像のブロック６００３を、メモリアクセス単位に従って読み出す場合のアクセス領域である。
【０１２０】
まず、画像符号化装置５ｘ（図５）における動き予測処理で、参照画像ブロック６００２の位置にあるブロックを、参照画像とした場合について説明する。参照画像ブロック６００２の左上端画素６００２Ｌの位置は、（１，２）であり、当該ブロック６００２の大きさは、４×４である。ここで、画像メモリ６００４のメモリアクセス単位が、８バイトであるため、アクセス領域６００５（サイズ６Ｓ１）を、画像メモリ６００４から読み出すことになる。このアクセス領域６００５の左上端画素６００５ａの位置は、（０，２）となる。また、アクセス領域６００５の水平方向のサイズ６Ｓ１は、８画素となる。
【０１２１】
次に、画像符号化装置５ｘにおける動き予測処理で、参照画像ブロック６００３の位置にあるブロックを、参照画像とした場合について説明する。参照画像ブロック６００３の左上端画素６００３Ｌの位置は、（７，７）であり、ブロックの大きさは４×４である。ここで、画像メモリ６００４のメモリアクセス単位が８バイトであるため、アクセス領域６００６を画像メモリ６００４から読み出すことになる。アクセス領域６００６の左上端画素６００６ａの位置は、（０，７）となる。また、参照画像ブロック６００３は、アクセス領域６００６の左上端画素６００６ａから水平方向に８画素の位置である（８，７）（画素６ｐ）をまたいでおり、つまり、境界６ｐＢをまたいでいるため、アクセス領域６００６の水平方向のサイズ６Ｓ２は、８画素×２＝１６画素となる。
【０１２２】
このように、画像復号装置６ｘの動き補償処理における、画像メモリ（画像メモリ６００４（画像メモリ６ｘＭ））から取得をする際における、参照画像転送量は、参照画像（ブロック６００２、６００３）の位置（左上端画素６００２Ｌ、６００３Ｌを参照）と、参照画像の大きさ（例えば、上述された４×４）により、算出することができる。また、参照画像の位置は、画像符号化装置５ｘの動き予測処理において算出する動きベクトル（動きベクトル１００７参照）の値によって定まるという特徴がある。２種類のモードは、これらの特徴を利用したものである。以下、２種類のモードを順に説明する。
【０１２３】
図７は、本発明の実施の形態１における符号化効率優先モードの場合の探索範囲７００２を示す図である。
【０１２４】
まず、符号化効率優先モードについて説明する。
【０１２５】
符号化効率優先モードでは、画像符号化装置５ｘにおける動き予測処理において、符号化効率が、最も高くなる参照画像を見つける処理を行う。符号化効率を高めるためには、符号化対象ブロック（図１の符号化対象ブロック１００２を参照）と、参照画像ブロック（ブロック１００４、１００６を参照）の相関性が高くなければならない。従って、ブロック読み出し部５００３（図５）は、図７に示すように、参照ピクチャ７００１内の探索範囲７００２の中の、全てのブロック（ブロック７Ｂを参照）を読み出す。相似度計算部２０１３以降では、探索範囲７００２の中の全てのブロックと、符号化対象ブロックとの相似度計算および評価を行い、最も相似度が高いブロックを、参照画像として、動きベクトルを生成する。なお、後で詳述されるように、このような探索範囲７００２は、例えば、図８に示される、除外範囲８００３ｘが除外されず、除外範囲８００３ｘが含まれる探索範囲８００２でもよい。
【０１２６】
次に、復号時メモリ転送量削減モードについて説明する。
【０１２７】
復号時メモリ転送量削減モードでは、ブロック読み出し部５００３が、外部から設定された、画像復号装置６ｘの画像メモリ（画像メモリ６００４）の仕様（の情報）を基に、動き補償の参照画像転送量が小さくなるように（図６に示される、アクセス領域６００６のサイズ６Ｓ２よりも小さいサイズ６Ｓ１の、転送量が比較的小さいアクセス領域６００５を参照）、画像符号化装置５ｘにおける動き予測処理の探索範囲（図１の探索範囲１００５、図７の探索範囲７００２、図８の探索範囲８００２を参照）を限定する。画像復号装置６ｘの動き補償の参照画像転送量の計算方法、および、画像符号化装置５ｘの動き予測における探索範囲の限定方法を、図８を用いて、より具体的に説明する。
【０１２８】
図８は、本発明の実施の形態１における復号時転送量削減モードの場合の探索範囲（探索範囲８０１３ｘ）を示す図である。
【０１２９】
図８において、８００１は、参照ピクチャ（図１の予測元ピクチャ１００３を参照）、８００２は、符号化効率優先モードにおける探索範囲（図７の探索範囲７００２）、８００３、８００４、８００５は、それぞれ、探索範囲８００２のうちの、復号時メモリ転送量削減モードにおいては、探索を行わない範囲である。なお、除外範囲８００３ｘにより、これら８００４、８００４、８００５の範囲の全体が示される。
【０１３０】
また、８００６は、画像符号化装置５ｘが生成した符号化画像を復号する画像復号装置６ｘが持つ、１６×１６画素の画像メモリである。８００７は、復号時メモリ転送量削減モードにおいて発生し得る参照画像ブロックの一例、８００８は、参照画像ブロックの一例である８００７を、メモリ仕様に従って読み出す場合のアクセス領域（サイズ８Ｓ１のサイズの領域）である。８００９は、復号時メモリ転送量削減モードにおいて発生しない参照画像ブロックの一例、８０１０は、ブロック８００９を、メモリ仕様に従って読み出す場合のアクセス領域（サイズ８Ｓ２）である。
【０１３１】
なお、画像メモリ８００６は、具体的には、例えば、画像復号装置６ｘに用いられる画像メモリ６ｘＭ（先述）のうちの一部でもよく、例えば、図６に示される画像メモリ６００４と同一でもよい。
【０１３２】
動き補償の参照画像転送量は、外部から設定された、画像復号装置６ｘの画像メモリの仕様と、参照画像ブロックの左上端画素（図６の左上端画素６００２Ｌ、６００３Ｌを参照）の位置、および大きさ（例えば、上述された４×４）から算出する。図８において、画像メモリ８００６は、１６ビット幅で、バースト長４のメモリで、メモリアクセス単位は、８バイトであるものとする。
【０１３３】
このとき、領域８００３（図８の上欄、下欄をそれぞれ参照）の範囲に、４×４の参照画像ブロックの左上端画素（例えば、ブロック８００９の左上端画素８００９Ｌ）が存在する場合、メモリアクセス単位の境界をまたいだ領域にアクセスするため、参照画像転送量が増加する（比較的大きいサイズ８Ｓ２を参照）。
【０１３４】
例えば、参照画像ブロック８００７の左上端画素８００７Ｌは、アクセスがされるアクセス領域８００８における、（０，０）であり、大きさは４×４である。そのため、参照画像ブロック８００７の右上端画素８００７Ｒの位置は（３，０）であり、メモリアクセス単位の境界である８バイト（境界６ｐＢ（図８、図６）を参照）を越えない。そのため、アクセス領域８００８の水平方向（方向ｘ）の大きさ（サイズ８Ｓ１）は、比較的小さい８バイトとなる。
【０１３５】
一方、参照画像ブロック８００９の左上端画素８００９Ｌは、（７，７）であり、大きさは４×４である。そのため、参照画像ブロック８００９の右上端画素８００９Ｒの位置は、（１０，７）であり、メモリアクセス単位の境界である８バイトを越える（境界６ｐＢを超える）。そのため、アクセス領域８０１０の水平方向の大きさ（サイズ８Ｓ２）は、比較的大きい１６バイトとなる。
【０１３６】
メモリアクセス領域（アクセス領域８００８、８０１０（アクセス領域８ａＲ））の水平方向（方向ｘの向き）の大きさ（サイズ８Ｓ（サイズ８Ｓ１、８Ｓ２））が、比較的大きい１６バイトとなるのは、領域８００３（除外範囲８００３ｘ（図８の上欄））の範囲に、ブロック（ブロック８００９）の左上端画素８ｐＬ（左上端画素８００９Ｌ）が存在するときである。このような、除外範囲８００３ｘに、左上端画素８ｐＬが含まれるブロック（ブロック８００９）を、利用される参照画像とした場合、行われる転送におけるアクセス領域８ａＲ（アクセス領域８０１０）のサイズ（サイズ８Ｓ２）が、比較的大きく、参照画像転送量が増加するため、領域８００３の範囲（除外範囲８００３ｘ）に、左上端画素８ｐＬ（左上端画素８００９Ｌ）が存在するブロック８Ｒ（ブロック８００９）については、動き予測処理の探索範囲から除外する。同じように、領域８００４、８００５（図８上欄）の範囲のブロックについても、動き予測処理の探索範囲から除外する。これにより、動き補償処理時の参照画像のメモリ転送量を削減することができる。
【０１３７】
図９は、ブロック読み出し部２０１２で行う処理を示すフロー図である。
【０１３８】
探索領域選択部５００２から入力されたデータに対して、ブロック読み出し部５００３で行うブロック読み出し位置の制御について、図９のフロー図を用いて説明する。
【０１３９】
まず、ブロック読み出し部２０１２は、入力された符号化対象ブロック（図１の符号化対象ブロック１００２を参照）の位置情報を基に、探索領域（先述された、探索範囲８０１３ｘ、１００５を参照）を設定し、設定された探索領域の中における、最初のブロックを処理対象ブロック（図８のブロック８Ｒ）とし、その処理対象ブロックの左上端画素８ｐＬの位置と、処理対象ブロックの大きさ（例えば４×４）を設定する（ステップＳ９００１）。
【０１４０】
次に、探索領域選択部５００２から入力されたモードが、符号化効率優先モードか否かを判定する（ステップＳ９００２）。
【０１４１】
符号化効率優先モードの場合（ステップＳ９００２におけるＹｅｓ）には、探索範囲の全てのブロック（除外範囲８００３ｘのブロックを含む、探索範囲８００２の全てのブロック）を、動きベクトル生成部２０１５に出力するため、ステップＳ９００４に進む。
【０１４２】
他方、復号時メモリ転送量削減モードの場合（ステップＳ９００２におけるＮｏ）には、ステップＳ９００３に進む。
【０１４３】
ステップＳ９００３では、処理対象ブロック（ブロック８Ｒ）の左上端画素８ｐＬの位置と、処理対象ブロックの大きさ（４×４）とから、処理対象ブロック（ブロック８Ｒ）が、メモリアクセス単位（例えば８バイト）の境界（境界６ｐＢ）を越えて存在するか否かを判定する。
【０１４４】
そして、処理対象ブロックが、メモリアクセス単位の境界（境界６ｐＢ）を越えて存在しない場合（ブロック８００７、ステップＳ９００３におけるＮｏ）には、その処理対象ブロック（ブロック８００７）の位置が、転送量が少ない位置であり、ステップＳ９００４に進む。
【０１４５】
他方、処理対象ブロックが、メモリアクセス単位の境界をまたぐ（境界を超えて存在する）場合（ブロック８００９、ステップＳ９００３におけるＹｅｓ）には、転送量が多い位置であるため、その位置のブロックを、動き予測に用いない。そのため、画像メモリ読み出しを行うことなく、ステップＳ９００６に進む。
【０１４６】
ステップＳ９００４では、設定されたアドレス位置の画像データ（ブロック８００７のデータ）を、画像メモリ２００２から読み出す処理を行う。
【０１４７】
次に、画像メモリ２００２から読み出された画像データを、動きベクトル生成部２０１５に出力する（ステップＳ９００５）。
【０１４８】
これにより、１つのブロックに対する、ブロック読み出し処理が完了するため、読み出し対象（上述の処理対象ブロック）を、次のブロックに移すために、アドレス加算を行う（ステップＳ９００６）。
【０１４９】
次に、加算したアドレスが、先述された、設定された探索範囲内のアドレスであるか否かを判定し（ステップＳ９００７）、探索範囲外である場合（ステップＳ９００７におけるＹｅｓ）には、処理を完了する。また、探索範囲内である場合（ステップＳ９００７におけるＮｏ）には、Ｓ９００２に進み、一連の操作を繰り返す。
【０１５０】
なお、こうして、例えば、設定された探索範囲（探索範囲８００２または８０１３ｘ）のそれぞれのブロックについて、そのブロックを処理対象ブロックとした、上述のＳ９００２〜Ｓ９００６の処理が行われてもよい。
【０１５１】
このように、画像符号化装置５ｘにおける動き予測において、探索領域内のブロックの位置に制限を設けることなく、探索する（除外範囲８００３ｘの除外されない、除外範囲８００３ｘを含んだ探索範囲８００２を参照）のではなく、画像メモリからのブロック読み出し部（ブロック読み出し部５００３）に、２種類のモードを設け、探索領域選択部（探索領域選択部５００２）によって、モードを切り替える（除外範囲８００３ｘの除外された、除外範囲８００３ｘが含まれない探索範囲８０１３ｘを参照）。これにより、画像符号化装置５ｘの動き予測処理において、復号時の動き補償における参照画像の転送量が増加しない範囲に探索（相似度計算部２０１３等以降の処理）を限定可能となり（図９のＳ９００２：Ｎｏ）、画像復号装置６ｘに接続する画像メモリ（画像メモリ６ｘＭ）で行われる、データの転送での転送量を削減して、コストを削減することができる。
【０１５２】
なお、本実施の形態において、画像復号装置のメモリ（画像メモリ６ｘＭ）は、１６ビット幅で、バースト長４のメモリとしたが、これに限るものではない。例えば、３２ビット（＝４バイト）幅で、バースト長４のメモリの場合では、メモリアクセス単位は、４×４＝１６バイトとなる。復号時メモリ転送量削減モードの場合に、探索範囲から除外する領域（除外範囲８００３ｘを参照）は、メモリの仕様に合わせて変化するものである。
【０１５３】
また、本実施の形態では、画像符号化装置の動き予測処理において、探索範囲を限定する方法を、４×４の大きさの参照画像ブロック（例えば、図８の８００７など）の場合を用いて説明したが、これに限らない。その他の、参照画像ブロックの大きさにおいても、同様に、参照画像ブロックを転送するために、転送しなければならないメモリアクセス単位の個数により探索範囲を限定するものである。
【０１５４】
また、画像を構成する画素は、１バイトのデータで表現されるものとして説明したが、この限りでなくてもよく、参照画像ブロックを転送するために、転送しなければならないメモリアクセス単位の個数により、探索範囲を限定するものである。
【０１５５】
また、本実施の形態の、符号化効率優先モードにおいて、参照ピクチャ７００１内の探索範囲７００２の中の、全てのブロック（ブロック７Ｂを参照）を読み出し、相似度計算部２０１３以降では、探索範囲７００２の中の全てのブロックと、符号化対象ブロックとの相似度計算および評価を行うものとしたが、この限りでなくてもよい。例えば、画像符号化装置５ｘにおける、動き予測処理の演算量を削減するために、符号化対象ブロックとの相似度を計算するブロックの数を少なくする目的で、探索範囲７００２の中のブロックの数を限定してもよい。
【０１５６】
また、本実施の形態において、画像符号化規格として、Ｈ．２６４について説明したが、これに限るものではなく、ＭＰＥＧ２など、他の画像符号化規格が用いられてもよい。
【０１５７】
また、本実施の形態において、画像符号化装置を構成する各機能ブロックは、典型的には、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）やメモリを要した情報機器上で動作するプログラムとして実現される。しかし、その機能の一部または全部を、集積回路であるＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）として実現してもよい。これらのＬＳＩは、個別に１チップ化されても良いし、一部または全てを含むように１チップ化されても良い。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１５８】
また、集積回路化の手法は、ＬＳＩによる手法に限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（ＦＩＥＬＤ  ＰＲＯＧＲＡＭＭＡＢＬＥ  ＧＡＴＥ  ＡＲＲＡＹ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能な、リコンフィギュラブル・プロセッサを利用しても良い。
【０１５９】
更には、半導体技術の進歩、または、派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。例えば、具体的には、バイオ技術の適応等が可能性としてあり得る。
【０１６０】
（実施の形態２）
上述のように、実施の形態１の画像符号化装置において、探索領域選択部５００２は、外部から設定された、２種類のモードによって、動き予測における探索範囲を切り替えている（探索範囲８００２、８０１３ｘを参照）。そして、復号時メモリ転送量削減モードに設定することで、生成された符号化画像を復号する際に、画像メモリ２００２から転送する、動き補償の参照画像のデータ量は削減することができる。
【０１６１】
しかし、復号時メモリ転送量削減モードにおいては、符号化効率優先モードに比べて、探索範囲が狭くなるため（除外範囲８００３ｘを参照）、符号化効率が悪化する可能性がある。
【０１６２】
そのため、復号時メモリ転送量削減モードを用いる範囲が、できるだけ狭くなるように限定し、動き補償のメモリ転送量を、一定の範囲に抑えながら、符号化効率を向上させ、小さい転送量（転送がされるデータ量）と、高い符号化効率とを両立したいという要求がある。本発明の実施の形態２の画像符号化装置は、前記の要求に対応するための画像符号化装置である。
【０１６３】
図１０は、画像符号化装置１０ｘを示す図である。
【０１６４】
本発明の実施の形態２における画像符号化装置（画像符号化装置１０ｘ）は、図５の構成における動き予測部５００１の構成が、図１０の動き予測部１０００１のように置き換わった構成となっている。図１０における動き予測部１０００１は、図５の動き予測部５００１と比較して、探索領域選択部５００２が、探索領域選択部１０００２に置き換わり、また、復号時メモリ転送量計算部１０００３が追加されている。図１０において、図５の実施の形態１の構成図における動作と同じ動作をする部分には、同じ番号を付し、適宜、説明を省略する。
【０１６５】
探索領域選択部１０００２は、ブロック読み出し部５００３に対し、下記の二種類のモードを出力する。
【０１６６】
・符号化効率優先モード
・復号時メモリ転送量削減モード
【０１６７】
そして、まず、符号化開始時には、符号化効率優先モードに設定されると共に、復号時メモリ転送量計算部１０００３から入力される、復号時の動き補償における参照画像の転送量を基に、復号時メモリ転送量削減モードと、符号化効率優先モードとの間の切り替えを行う。
【０１６８】
復号時メモリ転送量計算部１０００３には、動きベクトル生成部２０１５が生成した動きベクトルの値が入力される。外部から設定された、画像復号装置における画像メモリ（図３の画像メモリ３００５、図６の画像メモリ６ｘＭ等を参照）の仕様と、入力された動きベクトルが指す参照画像位置とから、生成したストリームを復号する際の動き補償における、参照画像転送量（以下、復号時メモリ転送量と呼ぶ）を計算する。なお、復号時メモリ転送量の計算方法は、実施の形態１の説明において、図６および図８を用いて説明したため、ここでは省略する。
【０１６９】
より具体的には、復号時メモリ転送量計算部１０００３には、例えば、メモリの仕様として、ビット幅およびバースト長が設定され、これらの値から決まるメモリアクセス単位を用いて、復号時メモリ転送量を計算する。算出した動きベクトルごとの復号時メモリ転送量は、探索領域選択部１０００２に出力される。
【０１７０】
図１１は、探索領域選択部１０００２（図１０）の構成図である。
【０１７１】
探索領域選択部１０００２における、モードの切り替えについて、図１１を用いて説明する。探索領域選択部１０００２は、転送量更新部１１００１、モード選択部１１００２から構成される。
【０１７２】
復号時メモリ転送量計算部１０００３から探索領域選択部１０００２に出力された、上述された、動きベクトルごとの復号時メモリ転送量の値は、まず転送量更新部１１００１に入力される。
【０１７３】
転送量更新部１１００１では、現在符号化しているピクチャにおいて、これまで符号化したブロックの復号時メモリ転送量を累積した値（以下、復号時累積メモリ転送量と呼ぶ）を計算する。計算された復号時累積メモリ転送量は、モード選択部１１００２に出力される。
【０１７４】
なお、現在符号化しているピクチャにおける、復号時メモリ転送量の算出方法については、例えば、具体的には、以下で説明する通りでもよい。つまり、転送量更新部１１００１では、ピクチャ先頭のブロックの符号化を開始する際に、保持している参照画像の転送量の値を、０に初期化する。そして、符号化処理中は、動きベクトルあたりの転送量の値が、転送量更新部１１００１に入力される度に累積し、そのピクチャにおける、復号時累積メモリ転送量を更新して、保持する。
【０１７５】
モード選択部１１００２では、転送量更新部１１００１から入力された、復号時累積メモリ転送量と、現在符号化しているブロックの位置情報とを基に、符号化効率優先モードと、復号時メモリ転送量削減モードとのうちの、どちらかのモードを選択する。そして、ブロック読み出し部５００３に、選択されたモードのモード信号を出力する。
【０１７６】
次に、モードの選択方法について具体的に説明する。ピクチャ先頭ブロックの符号化開始時に、生成した符号化画像を復号する画像復号装置（例えば画像復号装置６ｘ）について想定している、１ピクチャの復号における、動き補償の参照画像転送量（以下、復号時想定転送量）を、モード選択部１１００２に閾値として設定する。設定される復号時想定転送量（閾値）は、画像復号装置の画像メモリの仕様、および、１ピクチャのサイズで決まる。
【０１７７】
モード選択部１１００２では、まず、現在符号化している１ピクチャを復号する際の、動き補償の参照画像の予想転送量（以下、復号時予想転送量と呼ぶ）を計算する。算出した予想転送量と、先述された復号時想定転送量の値（閾値）との間の大小を比較し、復号時予想転送量の値が、先述された復号時想定転送量の値（閾値）を上回る場合、復号時メモリ転送量削減モードを出力する。一方、復号時予想転送量の値が、復号時想定転送量の値（閾値）を下回る場合、符号化効率優先モードを出力する。
【０１７８】
ここで、復号時予想転送量の算出方法の一例について説明する。モード選択部１１００２（図１１）は、現在符号化しているブロックの位置情報が入力されると、これまでに、符号化が完了しているブロックの数を算出する。これまで符号化したブロックの、復号時メモリ転送量を累積した値（先述）を、既に符号化が完了しているブロックの数で除し、これまで符号化した各ブロックにおける、ブロック当たりの復号時メモリ転送量（平均量）を算出する。この、これまで符号化した各ブロックについての、ブロック当たりの復号時メモリ転送量（平均量）に、現在符号化しているピクチャのブロックの合計数を積算し、復号時予想転送量とする。なお、例えば、復号時予想転送量とともに用いられる、上述された復号時想定転送量（閾値）が、ブロック当たりの量である場合などにおいて、上述された、ブロック当たりの平均の復号時メモリ転送量（平均量）が、直接、復号時予想転送量として用いられてもよい。
【０１７９】
図１２は、探索領域選択部１０００２で行う、モード切り替え制御処理のフロー図である。
【０１８０】
探索領域選択部１０００２で行う、モードの切り替え制御について、図１２を用いて説明する。モードの切り替え制御は、１ピクチャの符号化を通して、動き予測処理で生成した動きベクトルごとに行う。
【０１８１】
まず、探索領域選択部１０００２（図１０、１１）は、現在符号化する、最初のブロックの動き予測が行われる際に、復号時累積メモリ転送量を初期化する（ステップＳ１２００１）。次に、入力された、動きベクトルごとの、復号時メモリ転送量を基に、復号時累積メモリ転送量の計算を行う（ステップＳ１２００２）。次に、入力された、現在符号化しているブロックの位置情報から、既に符号化が完了したブロックの数を計算する（ステップＳ１２００３）。
【０１８２】
ステップＳ１２００４では、ステップＳ１２００２で算出した復号時累積メモリ転送量の値と、ステップＳ１２００３で算出した、既に符号化が完了したブロックの数を用いて、復号時予想転送量を計算する。
【０１８３】
ステップＳ１２００５では、設定された復号時想定転送量（閾値）と、ステップＳ１２００４で計算した復号時予想転送量との間の大小を比較する。
【０１８４】
復号時想定転送量が、復号時予想転送量よりも小さく、つまり、復号時予想転送量が大きい場合には（Ｓ１２００５：Ｙｅｓ）、ステップＳ１２００６へ進み、復号時想定転送量が復号時予想転送量と等しい、または復号時予想転送量よりも大きく、つまり、復号時予想転送量が小さい場合には（Ｓ１２００５：Ｎｏ）、ステップＳ１２００７に進む。
【０１８５】
復号時予想転送量が大きい場合（Ｓ１２００５：Ｙｅｓ）の処理である、ステップＳ１２００６では、後段のブロック読み出し部５００３（図１０）に対して、転送量が削減される復号時メモリ転送量削減モードを出力し、ステップＳ１２００８に進む。また、復号時予想転送量が小さい場合（Ｓ１２００５：Ｎｏ）の処理である、ステップＳ１２００７では、後段のブロック読み出し部５００３に対して、符号化効率優先モードを出力し、ステップＳ１２００８に進む。
【０１８６】
ステップＳ１２００８では、現在動き予測を行っているブロックが、現在符号化しているピクチャの中で、最後の矩形であるか否かを判定し、最後の矩形であれば（Ｓ１２００８：Ｙｅｓ）、処理を終了する。最後の矩形でなければ（Ｓ１２００８：Ｎｏ）、ステップＳ１２００２に進み、次の、動きベクトルごとの復号時メモリ転送量の入力に対して、一連の処理を行う。
【０１８７】
かかる構成によれば、符号化効率優先モードに比べて探索範囲が狭くなるため（除外範囲８００３ｘが除外された探索範囲８０１３ｘを参照）、符号化効率が悪化する可能性がある復号時メモリ転送量削減モードを用いるブロックを、符号化対象ピクチャの中で、できるだけ少なくなるように限定する（Ｓ１２００５：Ｎｏを参照）。よって、動き補償における転送量を、一定の範囲に抑えながら（Ｓ１２００５：Ｙｅｓを参照）、符号化効率を向上させることが可能になる（Ｓ１２００５：Ｎｏを参照）。
【０１８８】
なお、本実施の形態において、画像復号装置のメモリは１６ビット幅でバースト長４のメモリとしたが、これに限るものではない。復号時メモリ転送量削減モードの場合に、探索範囲から除外する領域は、メモリの仕様に合わせて変化するものである。
【０１８９】
また、復号時予想転送量の計算方法として、既に符号化したブロック数と、ピクチャ全体のブロック数、および、復号時累積メモリ転送量から、比例計算により求めるものとしたが、これに限るものではなく、他の方法で算出してもよい。
【０１９０】
また、モード選択部１１００２は、生成した符号化画像を復号する画像復号装置が想定している、１ピクチャの復号における、動き補償の参照画像転送量を、復号時想定転送量として設定するものとしたが、これに限らない。復号時想定転送量は、全てのピクチャで同じ値にしてもよいし、ピクチャごとに異なる値を設定してもよい。
【０１９１】
また、モード選択部１１００２は、動きベクトルごとに、復号時想定転送量と復号時予想転送量との間の大小を比較して、モード選択を行うものとした。しかし、一度、復号時予想転送量が復号時想定転送量を上回った場合、それ以降、復号時予想転送量の計算と、復号時想定転送量との大小比較とをそれぞれ行わず、１ピクチャの符号化終了まで、復号時メモリ転送量削減モードを選択し続けてもよい。これにより、復号時予想転送量の計算および大小比較の処理を省略でき、演算量および消費電力が削減できる。
【０１９２】
また、本実施の形態において、画像符号化規格として、Ｈ．２６４について説明したが、これに限るものではなく、ＭＰＥＧ２など、他の画像符号化規格でもよい。
【０１９３】
なお、本実施の形態において、画像符号化装置を構成する各機能ブロックは、典型的には、ＣＰＵやメモリを要した情報機器上で動作するプログラムとして実現される。しかし、その機能の一部または全部を、集積回路であるＬＳＩとして実現してもよい。これらのＬＳＩは、個別に１チップ化されても良いし、一部または全てを含むように１チップ化されても良い。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１９４】
また、集積回路化の手法は、ＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡや、ＬＳＩ内部の回路セルの接続や設定を再構成可能な、リコンフィギュラブル・プロセッサを利用しても良い。
【０１９５】
更には、半導体技術の進歩、または、派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて、機能ブロックの集積化を行ってもよい。例えば、具体的には、バイオ技術の適応等が、可能性としてあり得る。
【０１９６】
（実施の形態３）
上述のように、実施の形態１および２の画像符号化装置においては、動き予測における探索範囲を限定するモード（先述の、復号時メモリ転送量削減モードを参照）を設けることで、生成された符号化画像を復号する際に、画像メモリ（図２の画像メモリ２００２、図６の画像メモリ６ｘＭ等を参照）から転送する、動き補償の参照画像のデータ量を削減することができる。
【０１９７】
しかし、符号化対象ブロックとの相関性を考えた場合、符号化効率の悪化を招くことがある。復号時メモリ転送量削減モードにおける探索範囲（図８の探索範囲８０１３ｘを参照）内で、最も相関性が高いブロックが、符号化効率優先モードにおける探索範囲（探索範囲８００２）内で、最も相関性が高いブロックと比べて、著しく相関性が低い場合、符号化効率の著しい悪化を招く。これは、符号化画像のデータサイズの増加や、復号後の画像の（画質の）劣化などの悪影響をもたらす。
【０１９８】
そのため、探索範囲は常には限定せずに、復号時のメモリ転送量削減と、符号化効率優先とを動的に切り替えながら、復号時の、動き補償における参照画像の、画像メモリからの転送量を削減して、画質の劣化が小さいことと、転送量が小さいこととを両立したいという要求がある。本発明の実施の形態３の画像符号化装置は、前記の要求に対応するための画像符号化装置である。
【０１９９】
図１３は、画像符号化装置１３ｘを示す図である。
【０２００】
本発明の実施の形態３における画像符号化装置１３ｘは、図２の構成における、動き予測部２００１の構成が、図１３の動き予測部１３００１のように置き換わった構成となっている。図１３における動き予測部１３００１は、図２の動き予測部２００１と比較して、復号時メモリ転送量計算部１３００２が追加され、また、評価部２０１４が、評価部１３００３に置き換わった構成となっている。図１３において、図２の、従来の画像符号化装置の一例を表す構成図での動作と同じ動作をする部分については、同じ番号を付し、適宜、説明を省略する。
【０２０１】
復号時メモリ転送量計算部１３００２は、ブロック読み出し部２０１２が読み出したブロックの位置情報と、予め設定された、画像復号装置の画像メモリ仕様（の情報）とから、そのブロックが、動き予測結果として選ばれた場合での、復号時メモリ転送量を計算する。ブロックの位置情報と、算出した復号時メモリ転送量とは、評価部１３００３に出力する。
【０２０２】
評価部１３００３には、相似度計算部２０１３から、符号化対象ブロックと、ブロック読み出し部２０１２が読み出したブロックとの相似度が入力され、また、復号時メモリ転送量計算部１３００２から、復号時メモリ転送量が入力される。そして、これらに基づいて、評価部１３００３は、探索範囲内における、動き予測の結果画像の位置を決定し、動きベクトル生成部２０１４Ａに出力する。
【０２０３】
なお、動き予測の結果画像の位置の決定の方法には、様々な方法が考えられる。
【０２０４】
例えば、一例としては、相似度と、復号時メモリ転送量とのそれぞれに、係数αおよび係数βを設定し、係数αに相似度をかけた値と、係数βに復号時メモリ転送量をかけた値とを加算する評価関数の値が、最大となるブロックを、動き予測の結果画像とする方法がある。
【０２０５】
なお、この場合、係数αを正数、係数βを負数とすることにより、評価関数の値が最大となるブロックは、相似度が高く、かつ、復号時メモリ転送量が小さいブロックとなる。また、係数αと係数βの絶対値を変化させることにより、相似度と、復号時メモリ転送量とのどちらを優先するかを制御することができる。
【０２０６】
つまり、例えば、「評価関数の値」＝「α×相似度＋β×復号時メモリ転送量」でもよいし、「評価関数の値」＝「｜α｜×相似度−｜β｜×復号時メモリ転送量」でもよい。
【０２０７】
図１４は、予測画像決定処理における、符号化対象ブロックごとに行われる処理のフロー図である。
【０２０８】
相似度計算部２０１３、復号時メモリ転送量計算部１３００２および評価部１３００３で行う予測画像決定処理について、図１４を用いて説明する。
【０２０９】
まず、最初に、評価部１３００３が、記憶している予測画像候補を初期化する（ステップＳ１４００１）。
【０２１０】
次に、ブロック読み出し部２０１２が読み出したブロックの、画像データおよび位置情報が入力される（ステップＳ１４００２）。
【０２１１】
入力されたブロックの画像データと、符号化対象ブロックとの間の相似度を計算する（ステップＳ１４００３）。
【０２１２】
その後、入力されたブロックの位置と、設定された、画像復号装置のメモリ仕様とを基に、復号時メモリ転送量を計算する（ステップＳ１４００４）。
【０２１３】
ステップＳ１４００５では、ステップＳ１４００３で算出された相似度と、ステップＳ１４００４で算出された復号時メモリ転送量とを用いて、評価関数（の値）を計算する。
【０２１４】
ステップＳ１４００６では、評価部１３００４で記憶している、予測画像候補の評価関数の値と、ステップＳ１４００５で算出した、評価関数の値との間の大小を比較する。
【０２１５】
評価部１３００４で記憶している、予測画像候補の評価関数の値の方が大きい場合には（Ｓ１４００６：Ｎｏ）、ステップＳ１４００８に進む。
【０２１６】
ステップＳ１４００５で算出した評価関数の値の方が大きい場合には（Ｓ１４００６：Ｙｅｓ）、ステップＳ１４００７に進む。そして、ステップＳ１４００７では、より大きい、評価関数の値が算出された、現在のブロックを、予測画像候補とし、評価部１３００４は、そのブロックの、評価関数の値を記憶する。その後、ステップＳ１４００８に進む。
【０２１７】
ステップＳ１４００８では、ブロック読み出し部２０１２から入力されたブロックが、探索範囲内で最後のブロックか否かを判定し、最後のブロックでないと判定されれば（Ｓ１４００８：Ｎｏ）、次に入力されたブロックに対して、ステップＳ１４００２からの処理を行う。
【０２１８】
他方、最後のブロックであると判定されれば（Ｓ１４００８：Ｙｅｓ）、ステップＳ１４００９に進む。そして、ステップＳ１４００９では、評価部１３００４が記憶している予測画像候補を、予測画像として決定し、その位置を、動きベクトル生成（計算）部２０１４Ａに出力する。
【０２１９】
こうして、例えば、探索範囲の複数のブロックのうちで、算出される評価関数の値が最大であるブロックが選択されてもよい。
【０２２０】
かかる構成によれば、探索範囲を限定しないことで、符号化効率を向上させながら、復号時の動き補償における、参照画像の画像メモリからの転送量を削減することが可能となる。
【０２２１】
なお、本実施の形態において、画像符号化装置を構成する各機能ブロックは、例えば、ＣＰＵやメモリを要した情報機器上で動作するプログラムとして実現されてもよい。しかし、その機能の一部または全部を、集積回路であるＬＳＩとして実現してもよい。これらのＬＳＩは、個別に１チップ化されても良いし、一部または全てを含むように、１チップ化されても良い。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０２２２】
また、集積回路化の手法は、ＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能な、ＦＰＧＡや、ＬＳＩ内部の回路セルの、接続や設定を再構成可能な、リコンフィギュラブル・プロセッサを利用しても良い。
【０２２３】
更には、半導体技術の進歩、または、派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて、機能ブロックの集積化を行ってもよい。バイオ技術の適応等が、可能性としてあり得る。
【０２２４】
本発明の画像符号化装置および画像復号装置は、Ｈ．２６４やＭＰＥＧ−２のように、動画像符号化規格で、動画像を符号化および復号する、様々な装置に適用できる。そういった装置の例として、ディジタル放送の記録再生装置、カムコーダ、テレビ会議システムなどの通信装置、パーソナルコンピュータ等がある。
【０２２５】
図１５は、本発明が適用された画像符号化装置および画像復号装置を、カムコーダに適用した場合の構成図である。
【０２２６】
カムコーダ１５００１は、システムＬＳＩ１５００２、プログラムやデータを収めたＲＯＭ１５００３、画像メモリや各種データの記憶領域として利用されるＲＡＭ１５００４を含む。
【０２２７】
システムＬＳＩ１５００２は、カメラおよびマイクからの入力信号を符号化し、外部ドライブやＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）から、符号化画像を出力する。
【０２２８】
また、システムＬＳＩ１５００２は、カメラを制御するカメラ制御部１５００５、マイクを制御するマイク制御部１５００６、外部ドライブを制御する外部ドライブ制御部１５００７を含む。また、全体制御などを行うＣＰＵ１５００８、音声および画像の同期や出力を行うＡＶ出力制御部１５００９を含む。
【０２２９】
また、システムＬＳＩ１５００２は、本発明を適用した画像符号化装置１５０１０と、画像復号装置１５０１１、ＵＳＢの入出力制御を行うＵＳＢ制御部１５０１２、各モジュール間と、ＲＯＭ１５００３やＲＡＭ１５００４の間でデータ転送するシステムバス１５０１３を含む。
【０２３０】
なお、上述された本変形例の構成では、上述の画像符号化装置１５０１０および画像復号装置１５０１１は、システムＬＳＩ１５００２に集積され、ＲＡＭ１５００４を画像メモリとして用いるようになっているが、集積化の方法はこれに限らない。例えば、各機能が個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。更には、ＬＳＩに置き換わる集積回路化の技術があれば、当然、その技術を用いて集積化を行ってもよい。また、カムコーダを例に説明したが、ディジタル放送の記録再生装置、テレビ会議システムなどの通信装置、パーソナルコンピュータ等に対する本発明の適用も可能である。
【０２３１】
なお、こうして、例えば、画像復号時の動き補償で、参照画像を転送するために、メモリから転送するデータ量が多いことが回避できてもよい。つまり、画像符号化装置の動き予測部５００１は、探索領域選択部５００２、画像メモリ２００２、ブロック読み出し部５００３、相似度計算部２０１３、評価部２０１４、動きベクトル生成部２０１５を備え、画像符号化装置が生成した符号化画像を復号する際の動き補償処理において、必要な画像の転送量が増加しない領域を、ブロック読み出し部５００３が読み出さずに、動き予測処理を行うように、探索領域選択部５００２が制御信号を生成することにより、画像符号化装置により生成された符号化画像を復号する際の動き補償においての、参照画像のメモリ転送量が削減されてもよい。
【０２３２】
なお、例えば、具体的には、先述された画像メモリ６ｘＭ（図６等）は、画像復号装置６ｘの外部に設けられてもよいし（図１５のＲＡＭ１５００４を参照）、内部に設けられてもよい。
【０２３３】
また、上述のように、画像メモリ６ｘＭの仕様の情報が用いられてもよい。
【０２３４】
そして、複数の画像復号装置のうちの、本画像符号化装置により符号化された画像の復号を行う画像復号装置の仕様の情報が用いられてもよい。
【０２３５】
そして、画像復号装置は、具体的には、例えば、本画像符号化装置（例えば、画像符号化装置１５０１０）が含まれるシステム（例えば、図１５のカムコーダ１５００１）に、本画像符号化装置と共に含まれる、本画像符号化装置により符号化された画像を復号する画像復号装置（画像復号装置１５０１１）でもよい。
【０２３６】
また、仕様の情報が用いられる画像復号装置は、複数の画像復号装置のうちの、本画像符号化装置のメーカーにより使用が推奨された、そのメーカーによる画像復号装置などでもよい。
【０２３７】
なお、ユーザなどにより、複数の画像復号装置から、当該画像復号装置を特定する情報（型番、仕様の情報そのものなど）が入力され、入力された情報が用いられてもよい。
【０２３８】
なお、本システムは、テレビ電話、ビデオ会議システムなどのシステムのように、符号化した画像が通信されて、通信された画像を復号するシステムでもよい。
【０２３９】
また、本システムは、カムコーダ、およびデジタルカメラなどのシステムのように、符号化した画像が記憶部により記憶され、記憶された画像の復号をするシステムでもよい。
【０２４０】
なお、より具体的には、例えば、符号化される画像が、インターホンに設けられたカメラにより撮像された画像でもよく、留守の間に撮像された画像が符号化されて、符号化された画像が、上述の記憶部により記憶されてもよい。
【０２４１】
また、本システムは、例えば、画像符号化装置と、画像復号装置との機能の少なくとも一部が実現されたパーソナルコンピュータなどのコンピュータを含んでもよい。
【０２４２】
上記された仕様の情報の一部または全部は、当該パーソナルコンピュータを、画像復号装置として動作させるソフトウェアの情報でもよい。
【０２４３】
なお、図８に示される除外範囲８００３ｘは、第１の種類の画像復号装置での第１の除外範囲と、当該第１の除外範囲よりも広い、当該第１の除外範囲を包含する、第２の種類の画像復号装置での第２の除外範囲とのうちの、第２の除外範囲でもよい。そして、あるケースでは、このような除外範囲８００３ｘに基づいた処理で符号化された画像が、第１の種類の画像復号装置で復号される一方、別のケースでは、同じ画像が、第２の種類の画像復号装置で復号されてもよい。
【０２４４】
また、動きベクトル生成部２０１５（図５）を含む予測処理部２０１５ｘがあってもよい。より具体的には、例えば、予測処理部２０１５ｘが、更に、相似度計算部２０１３、評価部２０１４および符号化処理部５Ｍ（図５：図２の動き補償部２００３などを参照）等を含んでもよい。そして、例えば、予測処理部２０１５ｘは、動きベクトル生成部２０１５により動きベクトルを生成して、動き予測を行い、生成された動きベクトルを用いて、符号化を行ってもよい。
【０２４５】
また、本画像符号化装置（画像符号化装置５ｘ、１３ｘなど）において、例えば、次の動作がされてもよい。
【０２４６】
つまり、符号化がされる画像（例えば、図８の参照ピクチャ８００１）に含まれるブロック（ブロック８Ｒ）が、第１の当該ブロック（例えばブロック８００７）が、当該画像の符号化において参照された場合には、符号化された当該画像が復号（復号化）される際に、第１の当該ブロックが復号側画像記憶部（画像メモリ６ｘＭ）から読み出されるのに際して、（第２の転送量（閾値）よりも）小さい第１の転送量（サイズ８Ｓ１の転送量）の転送が生じる第１のブロックであるか、第１の前記転送量（サイズ８Ｓ１の転送量）よりも大きい第２の転送量（サイズ８Ｓ２の転送量）の転送が生じる第２のブロック（ブロック８００９）であるかが判定されてもよい（判定部５００３ｂｘ：図１６、図１７）。
【０２４７】
そして、第１のブロックであると判定された場合にのみ、判定がされた当該ブロック（ブロック８Ｒ）を参照した符号化（参照される当該ブロック（図１の参照ブロック１００６を参照）への動きベクトル（動きベクトル１００７を参照）の生成など）がされ、第２のブロックと判定された場合には、当該ブロックを参照した符号化（動きベクトルの生成など）がされなくてもよい（予測処理部２０１５ｘ：図１６、図１７、図５など）。
【０２４８】
これにより、大きい第２の転送量での転送が回避されて、小さい第１の転送量での転送のみがされて、転送量が小さくできる。
【０２４９】
なお、このような動作における、単なる細部については、如何なる形態を有しでもよい。
【０２５０】
例えば、具体的には、小さい第１の転送量の第１のブロック（ブロック８００７）は、第１の当該ブロックの読み出しに際して、少ない第１の個数（例えば１個）分のアクセス単位８Ｕ（図８）でのサイズの、小さい第１のアクセス領域８００８（図６）のアクセスがされるブロックでもよい。
【０２５１】
そして、大きい第２の転送量の第２のブロック（ブロック８００９）は、第２の当該ブロックの読み出しに際して、多い第２の個数（例えば２個）のアクセス単位８Ｕ（図８）のサイズでの、大きい第２のアクセス領域８０１０（図６）のアクセスがされるブロックでもよい。
【０２５２】
より具体的には、第１のアクセス領域（アクセス領域８００８）は、比較的少ない第１の個数（１個）のアクセス単位８Ｕ（ｘ＝０〜７のみ）のみでの領域でもよい。そして、第２のアクセス領域（アクセス領域８０１０）は、多い第２の個数（２個）のアクセス単位８Ｕ（ｘ＝０〜７、ｘ＝８〜１５）での領域でもよい。そして、第１のブロック（ブロック８００７）は、第１のアクセス領域の、少ない第１の個数（１個）のそれぞれのアクセス単位８Ｕ（ｘ＝０〜７のみ）での画素（ｘ＝１〜４）を含み、第２のブロックは、多い第２の個数のそれぞれのアクセス単位８Ｕ（ｘ＝０〜７、ｘ＝８〜１５）での画素（ｘ＝７、ｘ＝８〜１０）を含んでもよい。
【０２５３】
そして、例えば、第１の個数は、１個でもよい。そして、例えば、第１のブロックが存在する範囲（ｘ＝０〜３）は、アクセス単位８Ｕの境界（境界６ｐＢ、ｘ＝７からｘ＝８の間）を超えず、境界を挟んだ２つ（以上）の部分にまたがらない一方で、第２のブロックの範囲（ｘ＝７〜１０）は、境界を越え、２つ（以上）の部分にまたがってもよい。
【０２５４】
また、例えば、具体的には、細部の動作が、実施の形態１での動作と同様の動作でもよいし、実施の形態２の動作と同様でもよいし、実施の形態３と同様でもよいし、その他の動作でもよい。
【０２５５】
例えば、前記判定部５００３ｂｘ（取得部５００３ｂ）は、ブロックが、設定される前記探索範囲（第１の探索範囲８０１３ｘ）内の第１の前記ブロック（第１のブロック８００７）か、当該探索範囲外の第２の前記ブロック（第のブロック８００９）かを判定してもよい。
【０２５６】
そして、例えば、前記判定部５００３ｂｘ（取得部５００３ｂ）は、第１の前記ブロックと判定されたブロック（第１のブロック８００７）の第１の前記画素データ（第１の画素データ８００７ｐ）のみを取得し、第２の前記ブロック（第２のブロック８００９）と判定されたブロックの第２の前記画素データ（第２の画素データ８００９ｐ）を取得しなくてもよい（実施の形態１を参照）。
【０２５７】
また、例えば、前記判定部５００３ｂｘ（復号時メモリ転送量計算部１３００２）は、小さい第１の転送量を計算することにより、取得された画素データのブロックが、第１の転送量が生じる第１のブロックであると判定するとともに、大きい第２の転送量を計算することにより、第２の転送量が生じる第２のブロックであるとの判定をしてもよい。
【０２５８】
そして、予測処理部２０１５ｘ（動きベクトル生成部２０１４Ａ）は、計算された転送量が、第１の転送量である場合に、計算された当該転送量により、ブロックが、第１のブロックと判定されたことが示され、第２の転送量である場合に、第２のブロックと判定されたことが示されてもよい。
【０２５９】
なお、第２のブロックは、例えば、第１のブロックの相似度と同じ相似度のブロックでもよい（Ｓ１４００３を参照）。なお、第２のブロックは、参照に用いられない複数のブロックのうちの一部（例えば１つ）でもよい。また、判定部５００３ｂｘは、例えば、評価部１３００ｒなどを含むと考えられてもよい。
【０２６０】
また、上記のようにして、小さい第１の転送量の第１の探索範囲が設定されて、探索範囲が、大きい第２の転送量の第２の探索範囲から、第１の探索範囲に切り替えられるなどして、行われる動作のモードが、第２のブロックを用いるモード（符号化効率優先モード）から、第２のブロックを用いないモード（復号時転送量削減モード）に切り替えられてもよい（探索領域選択部５００２、評価部２０１４）。これにより、切り替えの後には、転送量が小さくできる一方で、切り替えの前には、高い符号化効率などのメリットが得られて、小さい転送量と共に、高い符号化効率などのメリットが両立できる。
【０２６１】
こうして、本技術においては、複数の構成が組み合わされて、組み合わせによる相乗効果が生じてもよい。これに対して、知られた従来例においては、これらの複数の構成のうちの全部または一部を欠き、相乗効果は生じない。この点で、本技術は、従来例とは相違する。
【０２６２】
なお、上述の機能を実現するコンピュータプログラムが構築されてもよいし、そのコンピュータプログラムが記憶された記憶媒体が構築されてもよいし、上述の機能が実現された集積回路が構築されてもよいし、他の種類の物が構築されてもよい。また、上述の工程が含まれる方法、上述のコンピュータプログラムを生成する方法、通信する方法などの各種の方法が構築されてもよいし、上述のコンピュータプログラムが有するデータ構造などの、その他の種類のものが構築されてもよい。
【０２６３】
以上、本発明について、実施の形態および変形例に基づいて説明したが、本発明は、このような実施の形態および変形例に限定されるものではない。このような実施の形態および変形例に対して当業者が思いつく各種変形を施したものや、実施の形態および変形例における構成要素を任意に組み合わせて実現される形態も、本発明に含まれる。
【産業上の利用可能性】
【０２６４】
本発明にかかる画像符号化装置および画像復号装置は、例えば、ディジタル放送の記録再生装置、カムコーダ、テレビ会議システムなどの通信装置、パーソナルコンピュータ等で符号化した動画像の復号処理を効率的に行うのに有用である。
【符号の説明】
【０２６５】
１００１    符号化対象のピクチャ
１００２    符号化対象のブロック
１００３    予測元ピクチャ
１００４    予測元ピクチャ内で符号化対象のブロックと同じ位置にあるブロック
１００５    探索範囲
１００６    参照ブロック
１００７    動きベクトル
２００１    動き予測部
２００２    画像メモリ
２００３    動き補償部
２００４    フレーム内予測部
２００５    予測方法選択部
２００６    差分画像生成部
２００７    直交変換／量子化部
２００８    符号化部
２００９    逆直交変換／逆量子化部
２０１０    画像再構成部
２０１１    ループフィルタ部
２０１２    ブロック読み出し部
２０１３    相似度計算部
２０１４    評価部
２０１５    動きベクトル生成部
３００１    可変長復号部
３００２    動き補償部
３００３    動きベクトル計算部
３００４    参照画像取得部
３００５    画像メモリ
３００６    予測画像生成部
３００７    フレーム内予測部
３００８    予測方法選択部
３００９    逆量子化／逆直交変換部
３０１０    画像再構成部
３０１１    ループフィルタ部
４００１    １６×１６画素の画像メモリ
４００２    アクセスしたい矩形領域（４×４画素）
４００３    メモリの仕様を守って４００２の矩形領域をアクセスする場合に必要な最小のアクセス領域
５００１    動き予測部
５００２    探索領域選択部
５００３    ブロック読み出し部
６００１    参照ピクチャ
６００２    参照画像のブロック
６００２Ｐ  取得ブロック  
６００３    参照画像のブロック
６００４    画像符号化装置が生成した符号化画像を復号する画像復号装置が持つ１６×１６画素の画像メモリ
６００５    参照画像ブロック６００２をメモリ仕様に従って読み出す場合のアクセス領域
６００６    参照画像ブロック６００３をメモリ仕様に従って読み出す場合のアクセス領域
７００１    参照ピクチャ
７００２    探索範囲
８００１    参照ピクチャ
８００２    符号化効率優先モードにおける探索範囲
８００３    復号時メモリ転送量削減モードにおいて探索を行わない範囲
８００４    復号時メモリ転送量削減モードにおいて探索を行わない範囲
８００５    復号時メモリ転送量削減モードにおいて探索を行わない範囲
８００６    画像符号化装置が生成した符号化画像を復号する画像復号装置が持つ１６×１６画素の画像メモリ
８００７    復号時メモリ転送量削減モードにおいて発生しうる参照画像ブロックの一例
８００８    参照画像ブロックの一例である８００７をメモリ仕様に従って読み出す場合のアクセス領域
８００９    復号時メモリ転送量削減モードにおいて発生しない参照画像ブロックの一例
８０１０    ブロック８００９をメモリ仕様に従って読み出す場合のアクセス領域
１０００１    動き予測部
１０００２    探索領域選択部
１０００３    復号時メモリ転送量計算部
１１００１    転送量更新部
１１００２    モード選択部
１３００１    動き予測部
１３００２    復号時メモリ転送量計算部
１３００３    評価部
１５００１    カムコーダ
１５００２    システムＬＳＩ
１５００３    ＲＯＭ
１５００４    ＲＡＭ
１５００５    カメラ制御部
１５００６    マイク制御部
１５００７    外部ドライブ制御部
１５００８    ＣＰＵ
１５００９    ＡＶ出力制御部
１５０１０    画像符号化装置
１５０１１    画像復号装置
１５０１２    ＵＳＢ制御部
１５０１３    システムバス
Ｒ  探索範囲
８ｐＬ  左上端画素
８ｐＲ  右上端画素
【図１】
2010140338.tif 000003
【図２】
2010140338.tif 000004
【図３】
2010140338.tif 000005
【図４】
2010140338.tif 000006
【図５】
2010140338.tif 000007
【図６】
2010140338.tif 000008
【図７】
2010140338.tif 000009
【図８】
2010140338.tif 000010
【図９】
2010140338.tif 000011
【図１０】
2010140338.tif 000012
【図１１】
2010140338.tif 000013
【図１２】
2010140338.tif 000014
【図１３】
2010140338.tif 000015
【図１４】
2010140338.tif 000016
【図１５】
2010140338.tif 000017
【図１６】
2010140338.tif 000018
【図１７】
2010140338.tif 000019
【手続補正書】
【提出日】平成23年1月20日(2011.1.20)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像間の動き予測を用いる動画像符号化方式に対応した画像符号化装置および画像符号化方法に関するものである。
【背景技術】
【０００２】
近年、動画像データを圧縮符号化（以下、符号化と記載）するための技術として、ＭＰＥＧ２（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ  ２）（非特許文献１）や、Ｈ．２６４（非特許文献２）が広く用いられている。これらの画像符号化技術では、動画像中の各画像（以後、ピクチャと記載）について、時間的に前または後のピクチャからの動き予測を行う。そして、予測した動き情報（予測元ピクチャの指定、動きベクトルを含む）や、予測結果との差分などの情報を符号化する。符号化は、規定された画素数の矩形領域（以下、ブロックと記載）にピクチャを分割し、そのブロックを処理単位として行う。
【０００３】
図１は、一般的な動き予測の処理を表す図である。
【０００４】
画像を符号化する際の動き情報の予測方法について説明する。図１の１００１は、符号化対象のピクチャ、１００２は、符号化対象のブロック（符号化対象ブロック）、１００３は、予測元ピクチャ、１００４は、予測元ピクチャ１００３内で、符号化対象のブロック１００２と同じ位置にあるブロック、１００５は、探索範囲、１００６は、参照ブロック、１００７は、動きベクトルをそれぞれ表す。
【０００５】
動き情報の予測は、ブロックごとに行う。まず、符号化対象のブロック１００２を固定し、既に符号化したピクチャで、時間的に前または後のピクチャを、予測元ピクチャ１００３とする。そして、予測元ピクチャ１００３の中で、符号化対象のブロック１００２と同じ位置にあるブロック１００４の周辺を、探索範囲１００５に設定する。そして、設定された探索範囲１００５の中で、符号化対象のブロック１００２と同じ大きさのブロックを移動させながら、符号化対象のブロック１００２と、最も類似のブロックを見つけ、そのブロックを、参照ブロック１００６とする。そして、符号化対象のブロック１００２と同じ位置にあるブロック１００４を基点としたときの、参照ブロック１００６の相対的な位置を、動きベクトル１００７とする。
【０００６】
なお、図１右欄のピクチャ１００１における、楕円のハッチング領域は、ピクチャ１００１等に写された対象物（例えば車など）の領域を示す。また、左欄のピクチャ１００３のハッチング領域は、例えば、この対象物の、ピクチャ１００３における領域を示す。図示されるように、例えば、左欄でのハッチング領域の位置は、車の移動などのために、右欄での位置とは違ってもよい。
【０００７】
図２は、従来の画像符号化装置の構成の一例を表す図である。
【０００８】
動き予測を行う画像符号化装置の構成としては、様々な構成が開示されている（特許文献１など）。図２において、２００１は動き予測部、２００２は画像メモリ、２００３は動き補償部、２００４はフレーム内予測部、２００５は予測方法選択部、２００６は差分画像生成部、２００７は直交変換／量子化部、２００８は符号化部、２００９は逆直交変換／逆量子化部、２０１０は画像再構成部、２０１１はループフィルタ部、２０１２はブロック読み出し部、２０１３は相似度計算部、２０１４は評価部、２０１５は動きベクトル生成部をそれぞれ表す。図２を用いて、画像符号化装置２ｘの動作を説明する。
【０００９】
入力画像は、ブロック単位で符号化処理が行われる。符号化対象ブロック（符号化対象ブロック１００２（図１））は、動き予測部２００１に入力される。動き予測部２００１では、入力された符号化対象ブロックの位置情報を基に、探索範囲（探索範囲１００５）を設定し、探索範囲内の画像を、画像メモリ２００２から順次読み出して、評価し、符号化対象ブロックと、最も相関が高いブロック（参照ブロック１００６）を検出する。画像メモリ２００２には、既に符号化した画像が格納されている。そして、検出したブロックの、符号化対象ブロックからの相対位置を表す動きベクトル（動きベクトル１００７）を、動き補償部２００３に出力する。
【００１０】
動き補償部２００３は、入力された動きベクトルが指し示す参照画像を、画像メモリ２００２から読み出して、参照画像を生成し、フレーム間予測の予測画像として、予測方法選択部２００５に出力する。
【００１１】
これとは別に、入力画像は、フレーム内予測部２００４に入力される。フレーム内予測部２００４では、フレーム内予測画像およびフレーム内予測情報を生成し、予測方法選択部２００５に出力する。
【００１２】
予測方法選択部２００５は、フレーム内予測と、フレーム間予測とのうちのどちらかを選択し、差分画像生成部２００６に、選択された方の予測画像を出力する。
【００１３】
差分画像生成部２００６は、入力画像と、予測方法選択部２００５により出力された方の予測画像との間の差分画像を生成し、直交変換／量子化部２００７に出力する。
【００１４】
直交変換／量子化部２００７は、入力された差分画像に対し、直交変換および量子化を行ったデータを、符号化部２００８および逆直交変換／逆量子化部２００９にそれぞれ出力する。
【００１５】
符号化部２００８は、入力されたデータに対して可変長符号化を行い、可変長符号化されたデータを、符号化画像として出力する。
【００１６】
逆直交変換／逆量子化部２００９は、入力された、直交変換および量子化がされたデータに対し、逆量子化および逆直交変換を行い、差分画像を生成し、画像再構成部２０１０に出力する。
【００１７】
画像再構成部２０１０は、予測方法選択部２００５が生成した予測画像と、逆直交変換／逆量子化部２００９が生成した差分画像を足し合わせ、画像を再構成し、ループフィルタ部２０１１に出力する。
【００１８】
ループフィルタ部２０１１は、再構成された画像に対し、ループフィルタ処理を行い、画像メモリ２００２に格納する。
【００１９】
動き予測部２００１の構成について説明する。
【００２０】
動き予測部２００１（図２）は、ブロック読み出し部２０１２、相似度計算部２０１３、評価部２０１４、動きベクトル生成部２０１５から構成される。
【００２１】
ブロック読み出し部２０１２は、符号化対象ブロックの位置情報から、探索範囲（探索範囲１００５）を設定し、設定された探索範囲内の画像を、ブロックの形状で、画像メモリ２００２から順次読み出す。読み出したブロックを、予測画像候補ブロックとする。
【００２２】
ブロック読み出し部２０１２は、予測画像候補ブロックの画像データと、ピクチャ内の位置を、相似度計算部２０１３に出力する。
【００２３】
相似度計算部２０１３は、ブロック読み出し部２０１２から入力された予測画像候補ブロックの画像データと、符号化対象ブロックとの間の相似度を算出し、評価部２０１４に出力する。
【００２４】
評価部２０１４は、探索範囲内の、これまで相似度を計算した各予測画像候補ブロックの中で、計算された相似度が最も高いブロックと、入力された予測画像候補ブロックの相似度とを比較する。探索範囲内の全てのブロックについて、相似度の比較が完了すると、探索範囲内で、最も相関の高いブロックの位置を、動きベクトル生成部２０１５に出力する。
【００２５】
動きベクトル生成部２０１５は、符号化対象ブロックの位置情報と、評価部２０１４から入力された、探索範囲内で最も相関の高いブロックの位置情報とから動きベクトルを生成し、動き補償部２００３に出力する。
【００２６】
図３は、一般的な動画像復号装置の構成を示した図である。
【００２７】
次に、符号化された画像を復号する処理について説明する。復号処理では、符号化された動き情報を基に、指定された予測元ピクチャ（図１の予測元ピクチャ１００３参照）と、動きベクトル（動きベクトル１００７参照）とから、予測結果（先述の予測画像を参照）を生成(以降、この処理を動き補償と記載)する。この予測結果と、別に符号化されている、予測結果との間の差分情報（先述の差分画像を参照）とを足し合わせることで、画像（図１のブロック１００２参照）を復元する。
【００２８】
図３において、３００１は可変長復号部、３００２は動き補償部、３００３は動きベクトル計算部、３００４は参照画像取得部、３００５は画像メモリ、３００６は予測画像生成部、３００７はフレーム内予測部、３００８は予測方法選択部、３００９は逆量子化／逆直交変換部、３０１０は画像再構成部、３０１１はループフィルタ部をそれぞれ表す。
【００２９】
図３を用いて、動画像復号装置の動作を説明する。
【００３０】
動画像復号装置（画像復号装置）３ｘに入力された符号化画像（先述された、画像符号化装置２ｘの符号化部２００８により出力される符号化画像の説明を参照）は、可変長復号部３００１に入力される。
【００３１】
可変長復号部３００１では、可変長復号処理を行い、復号結果のうち、動きベクトル計算に必要な情報を、動き補償部３００２へ、フレーム内予測に必要な情報を、フレーム内予測部３００７へ、差分画像の生成に必要なデータを、逆量子化／逆直交変換部３００９に、それぞれ出力する。
【００３２】
動き補償部３００２は、フレーム間予測処理を行い、予測画像を生成する。
【００３３】
動き補償部３００２は、更に、動きベクトル計算部３００３、参照画像取得部３００４、予測画像生成部３００６から構成される。
【００３４】
可変長復号部３００１から動き補償部３００２に入力された情報は、まず、動きベクトル計算部３００３に入力される。
【００３５】
動きベクトル計算部３００３では、動きベクトルを計算し、参照画像取得部３００４に出力する。
【００３６】
参照画像取得部３００４は、既に復号した画像から、動きベクトルが指し示す矩形領域（図１に示される、動きベクトル１００７により指し示される参照ブロック１００６を参照）を参照画像として取得し、予測画像生成部３００６に出力する。
【００３７】
予測画像生成部３００６は、入力された参照画像から予測画像を生成し、予測方法選択部３００８に出力する。
【００３８】
フレーム内予測部３００７は、可変長復号部３００１から出力された、フレーム内予測に必要な情報を用いて、フレーム内予測を行い、予測画像を、予測方法選択部３００８に出力する。
【００３９】
予測方法選択部３００８は、動き補償部３００２が出力するフレーム間予測と、フレーム内予測部３００７が出力するフレーム内予測とから選択をして、選択された方での予測画像を、用いられるべき予測画像として、画像再構成部３０１０に出力する。
【００４０】
逆量子化／逆直交変換部３００９は、可変長復号部３００１が出力したデータに対し、逆直交変換処理、および逆量子化処理を行い、差分画像を生成し、画像再構成部３０１０に出力する。
【００４１】
画像再構成部３０１０は、予測方法選択部３００８から出力された予測画像と、逆量子化／逆直交変換部３００９から出力された差分画像とを足し合わせて、画像を再構成し、ループフィルタ部３０１１に出力する。
【００４２】
ループフィルタ部３０１１は、入力された画像に対し、ループフィルタ処理を行い、復号画像として出力する。また、出力された画像を、後のピクチャの復号の際に、参照画像として用いるために、画像メモリ３００５に格納する。
【先行技術文献】
【特許文献】
【００４３】
【特許文献１】特開平８−７９７６７号公報
【非特許文献】
【００４４】
【非特許文献１】ＭＰＥＧ２  ＩＳＯ／ＩＥＣ１３８１８−２規格，ＩＴＵ−Ｔ  Ｈ．２６２規格
【非特許文献２】Ｈ．２６４  ＩＳＯ／ＩＥＣ１４４９６−１０規格，ＩＴＵ−Ｔ  Ｈ．２６４規格
【発明の概要】
【発明が解決しようとする課題】
【００４５】
前記一般的な、従来の画像復号装置（動画像復号装置３ｘ）における画像メモリ（画像メモリ３００５）としては、高いデータ転送能力を必要とする。そのため、ビット幅を広げたり、連続したデータを高速に転送するバースト転送と呼ぶ手法を用いることで、データ転送能力を高めたメモリが一般的に用いられる。バースト転送を行う際の連続データの長さを、バースト長と呼ぶ。
【００４６】
このようなメモリでは、一度のアクセスで読み出すことのできるデータの最小量（以降、メモリアクセス単位と呼ぶ）が、メモリのビット幅と、バースト長により決まる。一般的に用いられる、１６ビット（＝２バイト）幅で、バースト長が４のメモリでは、メモリアクセス単位は、２バイト×４＝８バイトとなる。従って、画像復号装置の画像メモリとして、このメモリを用いた場合、動き補償処理において、８バイトごとの取得開始座標から、８バイトの倍数の取得サイズで、データ転送を行う。
【００４７】
Ｈ．２６４において、画像符号化装置で行う動き予測の処理単位は、１６×１６、１６×８、８×１６、８×８、８×４、４×８、４×４の７種類のブロックサイズから選択できる。小さいブロックサイズ、例えば４×４単位で動き予測を行った場合、画像復号装置における動き補償処理では、画像メモリのメモリアクセス単位に従ってデータ転送を行うことで、画像メモリからのデータ転送量が大幅に増加する。
【００４８】
図４は、画像復号装置の動き補償処理におけるデータ転送の一例を示す図である。
【００４９】
図４において、動き予測の処理単位は、４×４（矩形領域４００２）であり、１６ビット幅で、バースト長が４のメモリを画像メモリとして用いている。また、画像を構成する画素は、１バイトのデータで表現されるものとする。
【００５０】
図４の４００１は、１６×１６画素の画像メモリ（上述の画像メモリ３００５の一部）、４００２は、動き補償処理に必要な矩形領域（４×４画素）、４００３は、８バイトのメモリアクセス単位に従って、４００２の矩形領域を転送する場合に必要な、最小のデータ転送領域である。
【００５１】
前記従来の動き予測部（画像符号化装置２ｘの動き予測部２００１）が出力した動きベクトル（図１の動きベクトル１００７参照）が指示する参照画像（参照ブロック１００６）の位置は、４００２の矩形領域の左上端画素４００２ａの位置であり、（７，７）である。しかし、水平方向（図４の方向ｘ）の取得開始座標は、８の倍数（８×ｎ＝０、８、１６…）であるため、４００３のアクセス領域の、左上端画素４００３ａの位置は、（０，７）となる。また、４００２の矩形領域の水平方向のサイズ４Ｓ１は４であるが、水平方向の取得サイズ（取得サイズ４Ｓ２）は、８バイトの倍数となるため、４００３のアクセス領域の取得サイズ４Ｓ２は、１６となる。このように、４００２の、４×４画素の矩形領域（サイズ４Ｓ１）をアクセスするためには、４００３の、１６×４画素のブロック（取得サイズ４Ｓ２）を取得しなければならない。
【００５２】
つまり、前記従来の画像符号化装置の動き予測部（動き予測部２００１）の構成では、動き予測部が出力した動きベクトルを基に、一般的な画像復号装置において動き補償を行う際に、参照画像として必要な画素以外のデータ４ｒＤ（縦線のハッチングの領域のデータ）を、余分に転送することになり、処理の効率が低下するという課題を有していた。
【００５３】
本発明は、前記従来の課題を解決するもので、画像復号装置における動き補償処理の際の、参照画像のデータ転送量を低減できる符号化画像を生成する画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００５４】
前記従来の課題を解決するために、本発明の画像符号化装置は、動き予測を行って、画像を符号化する画像符号化装置であって、前記動き予測における探索範囲として、当該探索範囲（第１の探索範囲）が設定された場合には、符号化された前記画像の復号時の動き補償処理において生じる、データの転送の転送量が、閾値（後述される第２の転送量など）よりも少ない（小さい）転送量（第１の転送量）である探索範囲（第１の探索範囲）を設定する探索範囲制御部と、前記動き予測がされる際に、設定された（、小さい第１の転送量の）前記探索範囲の画素データ（第１の転送量の第１の画素データ）を、当該画素データの画素が含まれる参照画像を記憶した画像記憶部から取得する（従って、大きい第２の転送量の第２の画素データを取得しない）取得部（図１６の判定部５００３ｂｘを参照）と、取得された前記画素データ（第１の画素データ）と、符号化対象の画素データとを用いて前記動き予測を行う動き予測部（図１６の予測処理部２０１５ｘを参照）とを備える。
【００５５】
これにより、画像符号化装置が生成した符号化画像を復号する際の動き補償処理において、動き補償処理に必要な画像の転送量が増加しない領域だけを探索すべく、探索領域選択部が動き予測の探索範囲を限定することにより、生成された符号化画像を復号する際の動き補償においての、参照画像の転送量を削減することができる。
【００５６】
つまり、例えば、画素データが、小さい第１の転送量の転送の生じる第１の画素データか、大きい第２の転送量の転送が生じる第２の画素データかが判定され、具体的には、上記のように、適切な探索範囲（第１の探索範囲）が設定されて、設定された適切な探索範囲が用いられることにより、この判定がされる。そして、第１の画素データ（と判定された画素データ）のみが取得され、第２の画素データ（と判定された画素データ）が取得されず、第１の画素データのみが動き予測で用いられ、第２の画素データが用いられないことにより、第１の転送量の転送のみが生じ、第２の転送量の転送が生じず、転送量が小さくできる。
【００５７】
また、前記探索範囲制御部は、前記動き予測における探索範囲として、当該探索範囲制御部の外部からの設定により、第２の転送量（例えば、上記の閾値と同じ量）よりも小さい第１の前記転送量の転送が生じる第１の前記探索範囲と、大きい第２の前記転送量の転送が生じる第２の探索範囲とのうちから指定された方の探索範囲を設定し、大きい第２の前記転送量の第２の前記探索範囲が指定される場合には、第２の当該探索範囲を設定してもよい。
【００５８】
こうして、複数の探索範囲のうちで、外部からの設定により指定される方の探索範囲が設定されてもよい。
【００５９】
これにより、符号化画像を復号する際の動き補償の参照画像の転送量を、外部から制御することができる。
【００６０】
つまり、例えば、外部からの設定に応じて、小さい第１の転送量の第１の探索範囲が設定されて、探索範囲が、大きい第２の転送量の第２の探索範囲から、小さい第１の転送量の第１の探索範囲に切り替えられてもよい。
【００６１】
これにより、切り替えの後には、第１の探索範囲が設定されて、転送量が小さくされる一方で、切り替えの前には、第２の探索範囲が設定されて、第１の探索範囲が設定された際に生じる、符号化効率の低下などの弊害が回避され、小さい転送量と、高い符号化効率等とが両立できる。
【００６２】
また、前記探索範囲制御部は、前記動き予測の探索範囲の設定をするのに際して、計算された、復号時の前記動き補償処理での、データの転送量が（Ｓ１２００４参照）、第２の閾値よりも大きい場合にのみ（Ｓ１２００５：Ｙｅｓ参照）、小さい第１の前記転送量での転送が生じる第１の前記探索範囲（８０１３ｘ参照）を設定し、前記第２の閾値よりも小さい場合には（Ｓ１２００５：Ｎｏ参照）、大きい第２の前記転送量の転送が生じる第２の前記探索範囲を設定してもよい。
【００６３】
これにより、第１の探索範囲だけでなく、第２の探索範囲も適宜設定される。これにより、第１の探索範囲を設定することで、符号化画像を復号する際の動き補償の参照画像の転送量を削減するのに際して、第１の探索範囲を設定することから生じる、符号化効率の低下の影響を小さくすることができる。
【００６４】
また、前記探索範囲制御部は、復号時の前記動き補償処理での、データの転送量を、復号時において、前記参照画像を記憶するために用いられる復号側画像記憶部のアクセス単位の仕様と、当該参照画像の位置とにより算出してもよい。
【００６５】
なお、例えば、上記の位置とは、復号側画像記憶部の記憶領域における、当該参照画像の記憶される位置をいう。
【００６６】
これにより、画像メモリの仕様が互いに異なる複数の画像復号装置のうちで、用いられる画像復号装置が何れであるかに関わらず、用いられる画像復号装置の仕様に基づいた処理がされることにより、適切な処理がされて、より確実に、動き補償における参照画像の転送量を削減することができる。
【００６７】
また、本発明の画像符号化装置の別の構成では、動き予測を行って、画像を符号化する画像符号化装置であって、前記動き予測がされる際に、当該動き予測における探索範囲の画素データを、当該画素データの画素が含まれる参照画像を記憶した画像記憶部から取得する取得部と、取得された前記画素データが、符号化における、差分画像の生成に用いられる予測画像となった場合に、当該画素データが前記予測画像となった符号化がされた前記画像の復号時の動き補償で生じる、データの転送の転送量を計算するデータ転送量計算部（図１７の判定部５００３ｂｘを参照）と、計算された前記転送量と、取得された前記画素データと、符号化対象画素データとを用いて前記動き予測を行う動き予測部（図１７の予測処理部２０１５ｘを参照）とを備える。
【００６８】
これにより、探索範囲は限定せずに、復号時のメモリ転送量削減と、符号化効率優先を動的に切り替えながら、復号時の動き補償における参照画像の、画像メモリからの転送量を削減することができる。
【００６９】
つまり、例えば、小さい第１の転送量が計算されることにより、計算がされた画素データが、第１の画素データと判定されると共に、大きい第２の転送量が計算されることにより、第２の画素データと判定される。そして、第１の画素データ（と判定された画素データ）のみが用いられ、第２の画素データ（と判定された画素データ）が用いられず、転送量が小さくできる。
【００７０】
また、前記データ転送量計算部は、計算された前記転送量を、前記復号時に、前記参照画像を記憶するために用いられる復号側画像記憶部のアクセス単位の仕様と、（当該復号側画像記憶部の記憶領域における、）前記参照画像の（記憶される）位置とにより算出してもよい。
【００７１】
これにより、画像メモリの仕様が互いに異なる複数の画像復号装置のうちで、用いられる画像復号装置が何れであるのかに関わらず、用いられる画像復号装置の仕様に基づいた処理がされることにより、適切な処理されて、より確実に、動き補償における参照画像の転送量を削減することができる。
【００７２】
こうして、例えば、判定部（判定部５００３ｂｘ（図１６、図１７）参照）と、判定部による判定の結果に対応する処理を行う予測処理部（予測処理部２０１５ｘ（図１６、図１７）とを備える画像符号化装置（第１の画像符号化装置（図１６参照）、第２の画像符号化装置（図１７参照））が構築されることにより、小さい第１の転送量での転送のみがされ、大きい第２の転送量での転送がされず、転送量が小さくできる。
【００７３】
なお、このようにして、これら判定部および予測処理部により、先述された課題、つまり、余分に転送することになり、転送量が大きくなってしまう課題が解決され、上記された第１、第２の画像復号装置では、何れにおいても、この課題が解決される。
【発明の効果】
【００７４】
本発明の画像符号化装置によれば、生成された符号化画像を復号する際の動き補償においての、参照画像の転送量を削減できるため、画像復号装置の外部メモリのコストを削減することができる。
【図面の簡単な説明】
【００７５】
【図１】図１は、一般的な動き予測の処理を表す図である。
【図２】図２は、従来の画像符号化装置の一例を表す構成図である。
【図３】図３は、従来の画像復号装置の一例を表す構成図である。
【図４】図４は、画像復号装置の動き補償処理におけるデータ転送の一例を示す図である。
【図５】図５は、本発明の実施の形態１における画像符号化装置の一例を示す構成図である。
【図６】図６は、画像復号装置の動き補償処理におけるデータ転送量を示す図である。
【図７】図７は、本発明の実施の形態１における符号化効率優先モードの場合の探索範囲を示す図である。
【図８】図８は、本発明の実施の形態１における復号時転送量削減モードの場合の探索範囲を示す図である。
【図９】図９は、本発明の実施の形態１におけるブロック読み出し部で行う処理を示すフロー図である。
【図１０】図１０は、本発明の実施の形態２における画像符号化装置の一例を示す構成図である。
【図１１】図１１は、本発明の実施の形態２における探索領域選択部の一例を示す構成図である。
【図１２】図１２は、本発明の実施の形態２におけるモード切り替え制御処理のフロー図である。
【図１３】図１３は、本発明の実施の形態３における画像符号化装置の一例を示す構成図である。
【図１４】図１４は、本発明の実施の形態３における予測画像決定処理の符号化対象ブロックごとのフロー図である。
【図１５】図１５は、カムコーダの構成図である。
【図１６】図１６は、画像符号化装置および画像復号化装置を示す図である。
【図１７】図１７は、画像符号化装置および画像復号化装置を示す図である。
【発明を実施するための形態】
【００７６】
以下、図面を参照して、実施形態が説明される。
【００７７】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００７８】
実施形態の第１の画像符号化装置は、動き予測を行って、画像（図１の符号化対象ピクチャ１００１を参照）を符号化する画像符号化装置（画像符号化装置５ｘ（図５、図１６等））であって、前記動き予測における探索範囲（図８に示される、第２の探索範囲８００２と、第１の探索範囲８０１３ｘ）として、当該探索範囲（第１の探索範囲８０１３ｘ）が設定された場合には、符号化された前記画像（符号化対象ピクチャ１００１）の復号時の動き補償処理において生じる、データの転送の転送量が、閾値（例えば、図８の第２のサイズ８Ｓ２での転送量）よりも少ない（小さい）転送量（第１のサイズ８Ｓ１での第１の転送量）である探索範囲（第１の探索範囲８０１３ｘ）を設定する探索範囲制御部（図１６の探索範囲制御部５００３ａ）と、前記動き予測がされる際に、設定された前記探索範囲（第１の探索範囲８０１３ｘ）の画素データ（第１の画素データ８００７ｐ：図１６）を、当該画素データの画素が含まれる参照画像（第１のブロック８００７、参照ピクチャ８００１）を記憶した画像記憶部（画像メモリ２００２（５ｘＭ））から取得する取得部（取得部５００３ｂ）と、取得された前記画素データ（第１の画素データ８００７ｐ）と、符号化対象の画素データ（画素データ１００２ｐ）とを用いて前記動き予測を行う動き予測部（予測処理部２０１５ｘ）とを備える画像符号化装置である。
【００７９】
つまり、例えば、取得部により、画素データ（ブロック８Ｒ参照）が、設定された探索範囲（図８の第１の探索範囲１０１３ｘを参照）の第１の画素データ（第１のブロック８００７）か、他の第２の画素データ（第１の探索範囲の上記第１の転送量よりも大きい第２の転送量（閾値）の転送（例えば、サイズ８Ｓ１より大きいサイズ８Ｓ２での転送）が生じる第２の探索範囲内の第２の画素データ（第２のブロック８００９））かが判定されてもよい。
【００８０】
そして、取得部により、第１の探索範囲の第１の画素データ（と判定された画素データ）のみが取得され、第２の画素データ（と判定された画素データ）が取得されなくてもよい。
【００８１】
そして、動き予測部により、取得された第１の画素データのみが用いられ、他の第２の画素データが用いられず、小さい第１の転送量の転送のみが生じ、大きい第２の転送量の転送が生じなくてもよい。
【００８２】
これにより、小さい第１の転送量の転送のみが生じて、転送量が小さくできる。
【００８３】
なお、こうして、判定を行う判定部（取得部（図１６の判定部５００３ｂｘを参照））と、判定の結果に基づいた処理をする予測処理部（動き予測部、予測処理部２０１５ｘ）とが設けられてもよい。
【００８４】
なお、こうして、探索範囲制御部により、小さい第１の転送量の第１の探索範囲が設定され、閾値以上の、大きい第２の転送量の第２の探索範囲は設定されず、転送量が小さくできる。
【００８５】
そして、第１の探索範囲が設定されることにより、設定される第１の探索範囲内のブロックが、第１のブロックと判定され、第１の探索範囲外のブロックが、第２のブロックと判定されると捉えられてもよい。
【００８６】
また、実施形態の第２の画像符号化装置は、動き予測を行って、画像を符号化する画像符号化装置（画像符号化装置１０ｘ：図１３、図１７）であって、前記動き予測がされる際に、当該動き予測における探索範囲（探索範囲Ｒを参照）の画素データを、当該画素データの画素が含まれる参照画像（ブロック８Ｒ、参照ピクチャ８００１）を記憶した画像記憶部（画像メモリ２００２（５ｘＭ））から取得する取得部（ブロック読み出し部２０１２）と、取得された前記画素データが、符号化における、差分画像の生成（図２の差分画像生成部２００６を参照）に用いられる予測画像となった（図２の予測方法選択部２００５を参照）場合に、当該画素データが前記予測画像となった符号化がされた前記画像（符号化対象ピクチャ１００１）の復号時の動き補償で生じる、データの転送の転送量（例えば、サイズ８Ｓ１の量、サイズ８Ｓ２の量など）を計算するデータ転送量計算部（復号時メモリ転送量計算部１３００２）と、計算された前記転送量と、取得された前記画素データと、符号化対象画素データとを用いて前記動き予測を行う動き予測部（予測処理部２０１５ｘ）とを備える画像符号化装置である。
【００８７】
つまり、データ転送量計算部により、データ量が計算されることにより、画素データ（ブロック）が、小さい第１の転送量が計算される第１の画素データ（第１のブロック）か、大きい第２の転送量が計算される第２の画素データ（第２のブロック）かが判定されてもよい（図１７の判定部５００３ｂｘ）。
【００８８】
そして、動き予測部により、小さい第１の転送量の第１の画素データ（第１のブロック）のみが用いられ、大きい第２の転送量の第２の画素データ（第２のブロック）が用いられなくてもよい（図１７の予測処理部２０１５ｘ）。
【００８９】
これにより、小さい第１の転送量の転送のみが生じて、転送量が小さくできる。
【００９０】
こうして、例えば、実施形態の画像符号化装置（第１、第２の画像符号化装置）において、小さい第１の転送量（例えば、サイズＳ１の転送量）での転送を生じさせる第１のブロック（ブロック８００７）を参照した符号化のみがされ、大きい第２の転送量（サイズ８Ｓ２での転送量）の転送を生じさせる第２のブロック（ブロック８００９）を参照した符号化がされず、復号において、大きい第２の転送量（サイズ８Ｓ２）での転送がされるのが回避され、小さい第１の転送量（サイズ８Ｓ１）での転送のみがされて、復号における転送量が小さくできてもよい。
【００９１】
なお、具体的には、例えば、単に、ある局面で、こうして転送量が小さくされる一方で、他の局面では、小さくされなくてもよい。
【００９２】
こうして、例えば、判定部（第１の探索範囲の第１の画素データを取得する取得部（図１６の判定部５００３ｂｘ）、転送量を計算するデータ転送量計算部（図１７の判定部５００３ｂｘ））、および、この判定の判定結果に対応する処理を行う符号化処理部（動き予測部：予測処理部２０１５ｘ（図１６、図１７））とを備える画像符号化装置（第１の画像符号化装置５ｘ（図１６）、第２の画像符号化装置１３ｘ（図１７））が構築されて、転送量が小さくできる。
【００９３】
こうして、例えば、上述された第１の画像符号化装置で解決される課題と同一の課題が、第２の画像符号化装置でも解決される。
【００９４】
なお、こうして、本技術では、小さい第１の転送量の転送が生じる第１のブロックのみが用いられ、大きい第２の転送量の転送が生じる第２のブロックが用いられないことにより、メリットが生じてもよい。これに対して、知られた従来例においては、この動作を欠き、メリットが生じない。本技術は、この点で、従来例に対して相違する。
【００９５】
つまり、復号時においての、画像メモリ６ｘＭ（図８）における、ブロック８Ｒの位置（左上端画素８ｐＬ）が、大きい第２の転送量の転送を生じさせる第２の位置（左上端画素８００９Ｌ）か、小さい第１の転送量の転送を生じさせる第１の位置（左上端画素８００７Ｌ）かに関わらず、当該ブロック８Ｒの参照がされると、大きい第２の転送量の転送がされて、転送量が大きくなってしまう。
【００９６】
そこで、ブロック８Ｒの、復号時の位置が、第１の位置（左上端画素８００７Ｌ）であるか（第１のブロック８００７か）、第２の位置（左上端画素８００９Ｌ）であるか（第２のブロック８００９か）が判定されてもよい（判定部５００３ｂｘ）。
【００９７】
そして、第１の位置と判定された場合にのみ、当該ブロック８Ｒの参照がされ、第２のブロック８００９と判定された場合には、参照がされなくてもよい（予測処理部２０１５ｘ）。
【００９８】
これにより、大きい第２の転送量での転送がされず、転送量が小さくできる。
【００９９】
なお、第１位置は、当該第１の位置の第１のブロック８００７の読み出しで、少ない第１の個数（１個）のアクセス単位８Ｕ（８バイトのサイズ）での第１のアクセス領域８００８のアクセスがされる位置でもよい。
【０１００】
また、第２の位置は、多い第２の個数（２個）のアクセス単位８Ｕでの第２のアクセス領域８０１０でのアクセスがされる位置でもよい。
【０１０１】
そして、第１の位置、第２の位置をそれぞれ特定する情報（探索範囲８０１３ｘの情報）が保持されて、上記の判定では、当該情報により特定される第１の位置か、第２の位置かの判定がされてもよい。
【０１０２】
そして、例えば、第２のブロック８００９は、第１のブロック８００７のサイズ（４×４）と同じサイズ（４×４）を有するものの、第１の位置とは異なる第２の位置を有することにより、第１の転送量よりも大きい第２の転送量での転送を生じさせてもよい。
【０１０３】
つまり、第２のブロック８００９は、サイズが４×４であるにも関わらず、大きい第２の転送量の第２の位置を有するために、参照がされなくてもよい。
【０１０４】
例えば、ピクチャにおける、互いに同一のサイズの複数のブロックのうちで、閾値より小さい第１の転送量の第１のブロックのみが参照され、閾値以上の第２の転送量の第２のブロックが参照されなくてもよい。
【０１０５】
（実施の形態１）
図５は、本発明の実施の形態１における画像符号化装置５ｘの動き予測部５００１の構成図である。図５において、図２と同じ構成要素については同じ符号を用い、適宜、説明を省略する。
【０１０６】
なお、後で詳述されるように、画像符号化装置５ｘは、具体的には、例えば、図１５に示される、カムコーダ１５００１に設けられた画像符号化装置１５０１０でもよい。
【０１０７】
図５において、５００１は、動き予測部であり、この動き予測部５００１は、探索領域選択部５００２、画像メモリ２００２、ブロック読み出し部５００３、相似度計算部２０１３、評価部２０１４、動きベクトル生成部２０１５から構成される。以下、図５を用いて、実施の形態１における画像符号化装置５ｘの動作について説明する。
【０１０８】
動き予測部５００１には、符号化対象ブロック（図１の符号化対象ブロック１００２を参照）の画素データおよび位置情報が入力される。
【０１０９】
探索領域選択部５００２は、外部から設定される、動き予測の探索領域（後述される、図８に示される、除外範囲８００３ｘが除外された探索範囲８０１３ｘ、および、除外範囲８００３ｘが除外されず、除外範囲８００３ｘも含まれた探索範囲８００２を参照）を切り替えるモード信号を、ブロック読み出し部５００３に出力する。
【０１１０】
ブロック読み出し部５００３は、出力された、探索領域を切り替えるモード信号、および、外部から設定される、画像復号装置６ｘのメモリ仕様（の情報）によって、探索領域を切り替え、探索領域内のブロックを順に読み出し、相似度計算部２０１３に出力する。
【０１１１】
次に、上述された、探索領域選択部５００２に設定する、探索領域を切り替えるモード信号について説明する。探索領域選択部５００２は、下記の２種類のモードを、外部からの設定により、切り替えて出力する。
【０１１２】
・符号化効率優先モード
・復号時メモリ転送量削減モード
【０１１３】
ここで、２種類のモードについて説明する前に、画像符号化装置５ｘが生成した符号化画像を、画像復号装置６ｘ（図６、図８等（例えば、図１５のカムコーダ１５００１の画像復号装置１５０１１））で復号する際の、動き補償処理における、データ転送量について、図６を用いて説明する。
【０１１４】
図６は、画像復号装置６ｘの動き補償処理におけるデータ転送量を示す図である。
【０１１５】
なお、後で詳述されるように、画像復号装置６ｘは、具体的には、例えば、図１５の画像復号装置１５０１１でもよい。
【０１１６】
図６において、画像メモリ（画像メモリ６００４）としては、１６ビット幅で、バースト長４のメモリを用いるものとし、メモリアクセス単位は、８バイトである。また、画像を構成する画素は、１バイトのデータで表現されるものとする。
【０１１７】
図６の６００１は、参照ピクチャ（図１の予測元ピクチャ１００３を参照）であり、６００２および６００３のそれぞれは、参照画像のブロック（ブロック１００４、１００６等を参照）である。６００４は、画像符号化装置５ｘが生成した符号化画像を復号する画像復号装置６ｘが持つ、１６×１６画素の画像メモリである。
【０１１８】
なお、画像メモリ６００４は、例えば、具体的には、画像復号装置６ｘに用いられる画像メモリ６ｘＭのうちの一部でもよい。
【０１１９】
そして、６００５は、参照画像ブロック６００２を、メモリアクセス単位に従って読み出す場合のアクセス領域、６００６は、参照画像のブロック６００３を、メモリアクセス単位に従って読み出す場合のアクセス領域である。
【０１２０】
まず、画像符号化装置５ｘ（図５）における動き予測処理で、参照画像ブロック６００２の位置にあるブロックを、参照画像とした場合について説明する。参照画像ブロック６００２の左上端画素６００２Ｌの位置は、（１，２）であり、当該ブロック６００２の大きさは、４×４である。ここで、画像メモリ６００４のメモリアクセス単位が、８バイトであるため、アクセス領域６００５（サイズ６Ｓ１）を、画像メモリ６００４から読み出すことになる。このアクセス領域６００５の左上端画素６００５ａの位置は、（０，２）となる。また、アクセス領域６００５の水平方向のサイズ６Ｓ１は、８画素となる。
【０１２１】
次に、画像符号化装置５ｘにおける動き予測処理で、参照画像ブロック６００３の位置にあるブロックを、参照画像とした場合について説明する。参照画像ブロック６００３の左上端画素６００３Ｌの位置は、（７，７）であり、ブロックの大きさは４×４である。ここで、画像メモリ６００４のメモリアクセス単位が８バイトであるため、アクセス領域６００６を画像メモリ６００４から読み出すことになる。アクセス領域６００６の左上端画素６００６ａの位置は、（０，７）となる。また、参照画像ブロック６００３は、アクセス領域６００６の左上端画素６００６ａから水平方向に８画素の位置である（８，７）（画素６ｐ）をまたいでおり、つまり、境界６ｐＢをまたいでいるため、アクセス領域６００６の水平方向のサイズ６Ｓ２は、８画素×２＝１６画素となる。
【０１２２】
このように、画像復号装置６ｘの動き補償処理における、画像メモリ（画像メモリ６００４（画像メモリ６ｘＭ））から取得をする際における、参照画像転送量は、参照画像（ブロック６００２、６００３）の位置（左上端画素６００２Ｌ、６００３Ｌを参照）と、参照画像の大きさ（例えば、上述された４×４）により、算出することができる。また、参照画像の位置は、画像符号化装置５ｘの動き予測処理において算出する動きベクトル（動きベクトル１００７参照）の値によって定まるという特徴がある。２種類のモードは、これらの特徴を利用したものである。以下、２種類のモードを順に説明する。
【０１２３】
図７は、本発明の実施の形態１における符号化効率優先モードの場合の探索範囲７００２を示す図である。
【０１２４】
まず、符号化効率優先モードについて説明する。
【０１２５】
符号化効率優先モードでは、画像符号化装置５ｘにおける動き予測処理において、符号化効率が、最も高くなる参照画像を見つける処理を行う。符号化効率を高めるためには、符号化対象ブロック（図１の符号化対象ブロック１００２を参照）と、参照画像ブロック（ブロック１００４、１００６を参照）の相関性が高くなければならない。従って、ブロック読み出し部５００３（図５）は、図７に示すように、参照ピクチャ７００１内の探索範囲７００２の中の、全てのブロック（ブロック７Ｂを参照）を読み出す。相似度計算部２０１３以降では、探索範囲７００２の中の全てのブロックと、符号化対象ブロックとの相似度計算および評価を行い、最も相似度が高いブロックを、参照画像として、動きベクトルを生成する。なお、後で詳述されるように、このような探索範囲７００２は、例えば、図８に示される、除外範囲８００３ｘが除外されず、除外範囲８００３ｘが含まれる探索範囲８００２でもよい。
【０１２６】
次に、復号時メモリ転送量削減モードについて説明する。
【０１２７】
復号時メモリ転送量削減モードでは、ブロック読み出し部５００３が、外部から設定された、画像復号装置６ｘの画像メモリ（画像メモリ６００４）の仕様（の情報）を基に、動き補償の参照画像転送量が小さくなるように（図６に示される、アクセス領域６００６のサイズ６Ｓ２よりも小さいサイズ６Ｓ１の、転送量が比較的小さいアクセス領域６００５を参照）、画像符号化装置５ｘにおける動き予測処理の探索範囲（図１の探索範囲１００５、図７の探索範囲７００２、図８の探索範囲８００２を参照）を限定する。画像復号装置６ｘの動き補償の参照画像転送量の計算方法、および、画像符号化装置５ｘの動き予測における探索範囲の限定方法を、図８を用いて、より具体的に説明する。
【０１２８】
図８は、本発明の実施の形態１における復号時転送量削減モードの場合の探索範囲（探索範囲８０１３ｘ）を示す図である。
【０１２９】
図８において、８００１は、参照ピクチャ（図１の予測元ピクチャ１００３を参照）、８００２は、符号化効率優先モードにおける探索範囲（図７の探索範囲７００２）、８００３、８００４、８００５は、それぞれ、探索範囲８００２のうちの、復号時メモリ転送量削減モードにおいては、探索を行わない範囲である。なお、除外範囲８００３ｘにより、これら８００４、８００４、８００５の範囲の全体が示される。
【０１３０】
また、８００６は、画像符号化装置５ｘが生成した符号化画像を復号する画像復号装置６ｘが持つ、１６×１６画素の画像メモリである。８００７は、復号時メモリ転送量削減モードにおいて発生し得る参照画像ブロックの一例、８００８は、参照画像ブロックの一例である８００７を、メモリ仕様に従って読み出す場合のアクセス領域（サイズ８Ｓ１のサイズの領域）である。８００９は、復号時メモリ転送量削減モードにおいて発生しない参照画像ブロックの一例、８０１０は、ブロック８００９を、メモリ仕様に従って読み出す場合のアクセス領域（サイズ８Ｓ２）である。
【０１３１】
なお、画像メモリ８００６は、具体的には、例えば、画像復号装置６ｘに用いられる画像メモリ６ｘＭ（先述）のうちの一部でもよく、例えば、図６に示される画像メモリ６００４と同一でもよい。
【０１３２】
動き補償の参照画像転送量は、外部から設定された、画像復号装置６ｘの画像メモリの仕様と、参照画像ブロックの左上端画素（図６の左上端画素６００２Ｌ、６００３Ｌを参照）の位置、および大きさ（例えば、上述された４×４）から算出する。図８において、画像メモリ８００６は、１６ビット幅で、バースト長４のメモリで、メモリアクセス単位は、８バイトであるものとする。
【０１３３】
このとき、領域８００３（図８の上欄、下欄をそれぞれ参照）の範囲に、４×４の参照画像ブロックの左上端画素（例えば、ブロック８００９の左上端画素８００９Ｌ）が存在する場合、メモリアクセス単位の境界をまたいだ領域にアクセスするため、参照画像転送量が増加する（比較的大きいサイズ８Ｓ２を参照）。
【０１３４】
例えば、参照画像ブロック８００７の左上端画素８００７Ｌは、アクセスがされるアクセス領域８００８における、（０，０）であり、大きさは４×４である。そのため、参照画像ブロック８００７の右上端画素８００７Ｒの位置は（３，０）であり、メモリアクセス単位の境界である８バイト（境界６ｐＢ（図８、図６）を参照）を越えない。そのため、アクセス領域８００８の水平方向（方向ｘ）の大きさ（サイズ８Ｓ１）は、比較的小さい８バイトとなる。
【０１３５】
一方、参照画像ブロック８００９の左上端画素８００９Ｌは、（７，７）であり、大きさは４×４である。そのため、参照画像ブロック８００９の右上端画素８００９Ｒの位置は、（１０，７）であり、メモリアクセス単位の境界である８バイトを越える（境界６ｐＢを超える）。そのため、アクセス領域８０１０の水平方向の大きさ（サイズ８Ｓ２）は、比較的大きい１６バイトとなる。
【０１３６】
メモリアクセス領域（アクセス領域８００８、８０１０（アクセス領域８ａＲ））の水平方向（方向ｘの向き）の大きさ（サイズ８Ｓ（サイズ８Ｓ１、８Ｓ２））が、比較的大きい１６バイトとなるのは、領域８００３（除外範囲８００３ｘ（図８の上欄））の範囲に、ブロック（ブロック８００９）の左上端画素８ｐＬ（左上端画素８００９Ｌ）が存在するときである。このような、除外範囲８００３ｘに、左上端画素８ｐＬが含まれるブロック（ブロック８００９）を、利用される参照画像とした場合、行われる転送におけるアクセス領域８ａＲ（アクセス領域８０１０）のサイズ（サイズ８Ｓ２）が、比較的大きく、参照画像転送量が増加するため、領域８００３の範囲（除外範囲８００３ｘ）に、左上端画素８ｐＬ（左上端画素８００９Ｌ）が存在するブロック８Ｒ（ブロック８００９）については、動き予測処理の探索範囲から除外する。同じように、領域８００４、８００５（図８上欄）の範囲のブロックについても、動き予測処理の探索範囲から除外する。これにより、動き補償処理時の参照画像のメモリ転送量を削減することができる。
【０１３７】
図９は、ブロック読み出し部２０１２で行う処理を示すフロー図である。
【０１３８】
探索領域選択部５００２から入力されたデータに対して、ブロック読み出し部５００３で行うブロック読み出し位置の制御について、図９のフロー図を用いて説明する。
【０１３９】
まず、ブロック読み出し部２０１２は、入力された符号化対象ブロック（図１の符号化対象ブロック１００２を参照）の位置情報を基に、探索領域（先述された、探索範囲８０１３ｘ、１００５を参照）を設定し、設定された探索領域の中における、最初のブロックを処理対象ブロック（図８のブロック８Ｒ）とし、その処理対象ブロックの左上端画素８ｐＬの位置と、処理対象ブロックの大きさ（例えば４×４）を設定する（ステップＳ９００１）。
【０１４０】
次に、探索領域選択部５００２から入力されたモードが、符号化効率優先モードか否かを判定する（ステップＳ９００２）。
【０１４１】
符号化効率優先モードの場合（ステップＳ９００２におけるＹｅｓ）には、探索範囲の全てのブロック（除外範囲８００３ｘのブロックを含む、探索範囲８００２の全てのブロック）を、動きベクトル生成部２０１５に出力するため、ステップＳ９００４に進む。
【０１４２】
他方、復号時メモリ転送量削減モードの場合（ステップＳ９００２におけるＮｏ）には、ステップＳ９００３に進む。
【０１４３】
ステップＳ９００３では、処理対象ブロック（ブロック８Ｒ）の左上端画素８ｐＬの位置と、処理対象ブロックの大きさ（４×４）とから、処理対象ブロック（ブロック８Ｒ）が、メモリアクセス単位（例えば８バイト）の境界（境界６ｐＢ）を越えて存在するか否かを判定する。
【０１４４】
そして、処理対象ブロックが、メモリアクセス単位の境界（境界６ｐＢ）を越えて存在しない場合（ブロック８００７、ステップＳ９００３におけるＮｏ）には、その処理対象ブロック（ブロック８００７）の位置が、転送量が少ない位置であり、ステップＳ９００４に進む。
【０１４５】
他方、処理対象ブロックが、メモリアクセス単位の境界をまたぐ（境界を超えて存在する）場合（ブロック８００９、ステップＳ９００３におけるＹｅｓ）には、転送量が多い位置であるため、その位置のブロックを、動き予測に用いない。そのため、画像メモリ読み出しを行うことなく、ステップＳ９００６に進む。
【０１４６】
ステップＳ９００４では、設定されたアドレス位置の画像データ（ブロック８００７のデータ）を、画像メモリ２００２から読み出す処理を行う。
【０１４７】
次に、画像メモリ２００２から読み出された画像データを、動きベクトル生成部２０１５に出力する（ステップＳ９００５）。
【０１４８】
これにより、１つのブロックに対する、ブロック読み出し処理が完了するため、読み出し対象（上述の処理対象ブロック）を、次のブロックに移すために、アドレス加算を行う（ステップＳ９００６）。
【０１４９】
次に、加算したアドレスが、先述された、設定された探索範囲内のアドレスであるか否かを判定し（ステップＳ９００７）、探索範囲外である場合（ステップＳ９００７におけるＹｅｓ）には、処理を完了する。また、探索範囲内である場合（ステップＳ９００７におけるＮｏ）には、Ｓ９００２に進み、一連の操作を繰り返す。
【０１５０】
なお、こうして、例えば、設定された探索範囲（探索範囲８００２または８０１３ｘ）のそれぞれのブロックについて、そのブロックを処理対象ブロックとした、上述のＳ９００２〜Ｓ９００６の処理が行われてもよい。
【０１５１】
このように、画像符号化装置５ｘにおける動き予測において、探索領域内のブロックの位置に制限を設けることなく、探索する（除外範囲８００３ｘの除外されない、除外範囲８００３ｘを含んだ探索範囲８００２を参照）のではなく、画像メモリからのブロック読み出し部（ブロック読み出し部５００３）に、２種類のモードを設け、探索領域選択部（探索領域選択部５００２）によって、モードを切り替える（除外範囲８００３ｘの除外された、除外範囲８００３ｘが含まれない探索範囲８０１３ｘを参照）。これにより、画像符号化装置５ｘの動き予測処理において、復号時の動き補償における参照画像の転送量が増加しない範囲に探索（相似度計算部２０１３等以降の処理）を限定可能となり（図９のＳ９００２：Ｎｏ）、画像復号装置６ｘに接続する画像メモリ（画像メモリ６ｘＭ）で行われる、データの転送での転送量を削減して、コストを削減することができる。
【０１５２】
なお、本実施の形態において、画像復号装置のメモリ（画像メモリ６ｘＭ）は、１６ビット幅で、バースト長４のメモリとしたが、これに限るものではない。例えば、３２ビット（＝４バイト）幅で、バースト長４のメモリの場合では、メモリアクセス単位は、４×４＝１６バイトとなる。復号時メモリ転送量削減モードの場合に、探索範囲から除外する領域（除外範囲８００３ｘを参照）は、メモリの仕様に合わせて変化するものである。
【０１５３】
また、本実施の形態では、画像符号化装置の動き予測処理において、探索範囲を限定する方法を、４×４の大きさの参照画像ブロック（例えば、図８の８００７など）の場合を用いて説明したが、これに限らない。その他の、参照画像ブロックの大きさにおいても、同様に、参照画像ブロックを転送するために、転送しなければならないメモリアクセス単位の個数により探索範囲を限定するものである。
【０１５４】
また、画像を構成する画素は、１バイトのデータで表現されるものとして説明したが、この限りでなくてもよく、参照画像ブロックを転送するために、転送しなければならないメモリアクセス単位の個数により、探索範囲を限定するものである。
【０１５５】
また、本実施の形態の、符号化効率優先モードにおいて、参照ピクチャ７００１内の探索範囲７００２の中の、全てのブロック（ブロック７Ｂを参照）を読み出し、相似度計算部２０１３以降では、探索範囲７００２の中の全てのブロックと、符号化対象ブロックとの相似度計算および評価を行うものとしたが、この限りでなくてもよい。例えば、画像符号化装置５ｘにおける、動き予測処理の演算量を削減するために、符号化対象ブロックとの相似度を計算するブロックの数を少なくする目的で、探索範囲７００２の中のブロックの数を限定してもよい。
【０１５６】
また、本実施の形態において、画像符号化規格として、Ｈ．２６４について説明したが、これに限るものではなく、ＭＰＥＧ２など、他の画像符号化規格が用いられてもよい。
【０１５７】
また、本実施の形態において、画像符号化装置を構成する各機能ブロックは、典型的には、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）やメモリを要した情報機器上で動作するプログラムとして実現される。しかし、その機能の一部または全部を、集積回路であるＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）として実現してもよい。これらのＬＳＩは、個別に１チップ化されても良いし、一部または全てを含むように１チップ化されても良い。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１５８】
また、集積回路化の手法は、ＬＳＩによる手法に限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（ＦＩＥＬＤ  ＰＲＯＧＲＡＭＭＡＢＬＥ  ＧＡＴＥ  ＡＲＲＡＹ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能な、リコンフィギュラブル・プロセッサを利用しても良い。
【０１５９】
更には、半導体技術の進歩、または、派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。例えば、具体的には、バイオ技術の適応等が可能性としてあり得る。
【０１６０】
（実施の形態２）
上述のように、実施の形態１の画像符号化装置において、探索領域選択部５００２は、外部から設定された、２種類のモードによって、動き予測における探索範囲を切り替えている（探索範囲８００２、８０１３ｘを参照）。そして、復号時メモリ転送量削減モードに設定することで、生成された符号化画像を復号する際に、画像メモリ２００２から転送する、動き補償の参照画像のデータ量は削減することができる。
【０１６１】
しかし、復号時メモリ転送量削減モードにおいては、符号化効率優先モードに比べて、探索範囲が狭くなるため（除外範囲８００３ｘを参照）、符号化効率が悪化する可能性がある。
【０１６２】
そのため、復号時メモリ転送量削減モードを用いる範囲が、できるだけ狭くなるように限定し、動き補償のメモリ転送量を、一定の範囲に抑えながら、符号化効率を向上させ、小さい転送量（転送がされるデータ量）と、高い符号化効率とを両立したいという要求がある。本発明の実施の形態２の画像符号化装置は、前記の要求に対応するための画像符号化装置である。
【０１６３】
図１０は、画像符号化装置１０ｘを示す図である。
【０１６４】
本発明の実施の形態２における画像符号化装置（画像符号化装置１０ｘ）は、図５の構成における動き予測部５００１の構成が、図１０の動き予測部１０００１のように置き換わった構成となっている。図１０における動き予測部１０００１は、図５の動き予測部５００１と比較して、探索領域選択部５００２が、探索領域選択部１０００２に置き換わり、また、復号時メモリ転送量計算部１０００３が追加されている。図１０において、図５の実施の形態１の構成図における動作と同じ動作をする部分には、同じ番号を付し、適宜、説明を省略する。
【０１６５】
探索領域選択部１０００２は、ブロック読み出し部５００３に対し、下記の二種類のモードを出力する。
【０１６６】
・符号化効率優先モード
・復号時メモリ転送量削減モード
【０１６７】
そして、まず、符号化開始時には、符号化効率優先モードに設定されると共に、復号時メモリ転送量計算部１０００３から入力される、復号時の動き補償における参照画像の転送量を基に、復号時メモリ転送量削減モードと、符号化効率優先モードとの間の切り替えを行う。
【０１６８】
復号時メモリ転送量計算部１０００３には、動きベクトル生成部２０１５が生成した動きベクトルの値が入力される。外部から設定された、画像復号装置における画像メモリ（図３の画像メモリ３００５、図６の画像メモリ６ｘＭ等を参照）の仕様と、入力された動きベクトルが指す参照画像位置とから、生成したストリームを復号する際の動き補償における、参照画像転送量（以下、復号時メモリ転送量と呼ぶ）を計算する。なお、復号時メモリ転送量の計算方法は、実施の形態１の説明において、図６および図８を用いて説明したため、ここでは省略する。
【０１６９】
より具体的には、復号時メモリ転送量計算部１０００３には、例えば、メモリの仕様として、ビット幅およびバースト長が設定され、これらの値から決まるメモリアクセス単位を用いて、復号時メモリ転送量を計算する。算出した動きベクトルごとの復号時メモリ転送量は、探索領域選択部１０００２に出力される。
【０１７０】
図１１は、探索領域選択部１０００２（図１０）の構成図である。
【０１７１】
探索領域選択部１０００２における、モードの切り替えについて、図１１を用いて説明する。探索領域選択部１０００２は、転送量更新部１１００１、モード選択部１１００２から構成される。
【０１７２】
復号時メモリ転送量計算部１０００３から探索領域選択部１０００２に出力された、上述された、動きベクトルごとの復号時メモリ転送量の値は、まず転送量更新部１１００１に入力される。
【０１７３】
転送量更新部１１００１では、現在符号化しているピクチャにおいて、これまで符号化したブロックの復号時メモリ転送量を累積した値（以下、復号時累積メモリ転送量と呼ぶ）を計算する。計算された復号時累積メモリ転送量は、モード選択部１１００２に出力される。
【０１７４】
なお、現在符号化しているピクチャにおける、復号時メモリ転送量の算出方法については、例えば、具体的には、以下で説明する通りでもよい。つまり、転送量更新部１１００１では、ピクチャ先頭のブロックの符号化を開始する際に、保持している参照画像の転送量の値を、０に初期化する。そして、符号化処理中は、動きベクトルあたりの転送量の値が、転送量更新部１１００１に入力される度に累積し、そのピクチャにおける、復号時累積メモリ転送量を更新して、保持する。
【０１７５】
モード選択部１１００２では、転送量更新部１１００１から入力された、復号時累積メモリ転送量と、現在符号化しているブロックの位置情報とを基に、符号化効率優先モードと、復号時メモリ転送量削減モードとのうちの、どちらかのモードを選択する。そして、ブロック読み出し部５００３に、選択されたモードのモード信号を出力する。
【０１７６】
次に、モードの選択方法について具体的に説明する。ピクチャ先頭ブロックの符号化開始時に、生成した符号化画像を復号する画像復号装置（例えば画像復号装置６ｘ）について想定している、１ピクチャの復号における、動き補償の参照画像転送量（以下、復号時想定転送量）を、モード選択部１１００２に閾値として設定する。設定される復号時想定転送量（閾値）は、画像復号装置の画像メモリの仕様、および、１ピクチャのサイズで決まる。
【０１７７】
モード選択部１１００２では、まず、現在符号化している１ピクチャを復号する際の、動き補償の参照画像の予想転送量（以下、復号時予想転送量と呼ぶ）を計算する。算出した予想転送量と、先述された復号時想定転送量の値（閾値）との間の大小を比較し、復号時予想転送量の値が、先述された復号時想定転送量の値（閾値）を上回る場合、復号時メモリ転送量削減モードを出力する。一方、復号時予想転送量の値が、復号時想定転送量の値（閾値）を下回る場合、符号化効率優先モードを出力する。
【０１７８】
ここで、復号時予想転送量の算出方法の一例について説明する。モード選択部１１００２（図１１）は、現在符号化しているブロックの位置情報が入力されると、これまでに、符号化が完了しているブロックの数を算出する。これまで符号化したブロックの、復号時メモリ転送量を累積した値（先述）を、既に符号化が完了しているブロックの数で除し、これまで符号化した各ブロックにおける、ブロック当たりの復号時メモリ転送量（平均量）を算出する。この、これまで符号化した各ブロックについての、ブロック当たりの復号時メモリ転送量（平均量）に、現在符号化しているピクチャのブロックの合計数を積算し、復号時予想転送量とする。なお、例えば、復号時予想転送量とともに用いられる、上述された復号時想定転送量（閾値）が、ブロック当たりの量である場合などにおいて、上述された、ブロック当たりの平均の復号時メモリ転送量（平均量）が、直接、復号時予想転送量として用いられてもよい。
【０１７９】
図１２は、探索領域選択部１０００２で行う、モード切り替え制御処理のフロー図である。
【０１８０】
探索領域選択部１０００２で行う、モードの切り替え制御について、図１２を用いて説明する。モードの切り替え制御は、１ピクチャの符号化を通して、動き予測処理で生成した動きベクトルごとに行う。
【０１８１】
まず、探索領域選択部１０００２（図１０、１１）は、現在符号化する、最初のブロックの動き予測が行われる際に、復号時累積メモリ転送量を初期化する（ステップＳ１２００１）。次に、入力された、動きベクトルごとの、復号時メモリ転送量を基に、復号時累積メモリ転送量の計算を行う（ステップＳ１２００２）。次に、入力された、現在符号化しているブロックの位置情報から、既に符号化が完了したブロックの数を計算する（ステップＳ１２００３）。
【０１８２】
ステップＳ１２００４では、ステップＳ１２００２で算出した復号時累積メモリ転送量の値と、ステップＳ１２００３で算出した、既に符号化が完了したブロックの数を用いて、復号時予想転送量を計算する。
【０１８３】
ステップＳ１２００５では、設定された復号時想定転送量（閾値）と、ステップＳ１２００４で計算した復号時予想転送量との間の大小を比較する。
【０１８４】
復号時想定転送量が、復号時予想転送量よりも小さく、つまり、復号時予想転送量が大きい場合には（Ｓ１２００５：Ｙｅｓ）、ステップＳ１２００６へ進み、復号時想定転送量が復号時予想転送量と等しい、または復号時予想転送量よりも大きく、つまり、復号時予想転送量が小さい場合には（Ｓ１２００５：Ｎｏ）、ステップＳ１２００７に進む。
【０１８５】
復号時予想転送量が大きい場合（Ｓ１２００５：Ｙｅｓ）の処理である、ステップＳ１２００６では、後段のブロック読み出し部５００３（図１０）に対して、転送量が削減される復号時メモリ転送量削減モードを出力し、ステップＳ１２００８に進む。また、復号時予想転送量が小さい場合（Ｓ１２００５：Ｎｏ）の処理である、ステップＳ１２００７では、後段のブロック読み出し部５００３に対して、符号化効率優先モードを出力し、ステップＳ１２００８に進む。
【０１８６】
ステップＳ１２００８では、現在動き予測を行っているブロックが、現在符号化しているピクチャの中で、最後の矩形であるか否かを判定し、最後の矩形であれば（Ｓ１２００８：Ｙｅｓ）、処理を終了する。最後の矩形でなければ（Ｓ１２００８：Ｎｏ）、ステップＳ１２００２に進み、次の、動きベクトルごとの復号時メモリ転送量の入力に対して、一連の処理を行う。
【０１８７】
かかる構成によれば、符号化効率優先モードに比べて探索範囲が狭くなるため（除外範囲８００３ｘが除外された探索範囲８０１３ｘを参照）、符号化効率が悪化する可能性がある復号時メモリ転送量削減モードを用いるブロックを、符号化対象ピクチャの中で、できるだけ少なくなるように限定する（Ｓ１２００５：Ｎｏを参照）。よって、動き補償における転送量を、一定の範囲に抑えながら（Ｓ１２００５：Ｙｅｓを参照）、符号化効率を向上させることが可能になる（Ｓ１２００５：Ｎｏを参照）。
【０１８８】
なお、本実施の形態において、画像復号装置のメモリは１６ビット幅でバースト長４のメモリとしたが、これに限るものではない。復号時メモリ転送量削減モードの場合に、探索範囲から除外する領域は、メモリの仕様に合わせて変化するものである。
【０１８９】
また、復号時予想転送量の計算方法として、既に符号化したブロック数と、ピクチャ全体のブロック数、および、復号時累積メモリ転送量から、比例計算により求めるものとしたが、これに限るものではなく、他の方法で算出してもよい。
【０１９０】
また、モード選択部１１００２は、生成した符号化画像を復号する画像復号装置が想定している、１ピクチャの復号における、動き補償の参照画像転送量を、復号時想定転送量として設定するものとしたが、これに限らない。復号時想定転送量は、全てのピクチャで同じ値にしてもよいし、ピクチャごとに異なる値を設定してもよい。
【０１９１】
また、モード選択部１１００２は、動きベクトルごとに、復号時想定転送量と復号時予想転送量との間の大小を比較して、モード選択を行うものとした。しかし、一度、復号時予想転送量が復号時想定転送量を上回った場合、それ以降、復号時予想転送量の計算と、復号時想定転送量との大小比較とをそれぞれ行わず、１ピクチャの符号化終了まで、復号時メモリ転送量削減モードを選択し続けてもよい。これにより、復号時予想転送量の計算および大小比較の処理を省略でき、演算量および消費電力が削減できる。
【０１９２】
また、本実施の形態において、画像符号化規格として、Ｈ．２６４について説明したが、これに限るものではなく、ＭＰＥＧ２など、他の画像符号化規格でもよい。
【０１９３】
なお、本実施の形態において、画像符号化装置を構成する各機能ブロックは、典型的には、ＣＰＵやメモリを要した情報機器上で動作するプログラムとして実現される。しかし、その機能の一部または全部を、集積回路であるＬＳＩとして実現してもよい。これらのＬＳＩは、個別に１チップ化されても良いし、一部または全てを含むように１チップ化されても良い。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１９４】
また、集積回路化の手法は、ＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡや、ＬＳＩ内部の回路セルの接続や設定を再構成可能な、リコンフィギュラブル・プロセッサを利用しても良い。
【０１９５】
更には、半導体技術の進歩、または、派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて、機能ブロックの集積化を行ってもよい。例えば、具体的には、バイオ技術の適応等が、可能性としてあり得る。
【０１９６】
（実施の形態３）
上述のように、実施の形態１および２の画像符号化装置においては、動き予測における探索範囲を限定するモード（先述の、復号時メモリ転送量削減モードを参照）を設けることで、生成された符号化画像を復号する際に、画像メモリ（図２の画像メモリ２００２、図６の画像メモリ６ｘＭ等を参照）から転送する、動き補償の参照画像のデータ量を削減することができる。
【０１９７】
しかし、符号化対象ブロックとの相関性を考えた場合、符号化効率の悪化を招くことがある。復号時メモリ転送量削減モードにおける探索範囲（図８の探索範囲８０１３ｘを参照）内で、最も相関性が高いブロックが、符号化効率優先モードにおける探索範囲（探索範囲８００２）内で、最も相関性が高いブロックと比べて、著しく相関性が低い場合、符号化効率の著しい悪化を招く。これは、符号化画像のデータサイズの増加や、復号後の画像の（画質の）劣化などの悪影響をもたらす。
【０１９８】
そのため、探索範囲は常には限定せずに、復号時のメモリ転送量削減と、符号化効率優先とを動的に切り替えながら、復号時の、動き補償における参照画像の、画像メモリからの転送量を削減して、画質の劣化が小さいことと、転送量が小さいこととを両立したいという要求がある。本発明の実施の形態３の画像符号化装置は、前記の要求に対応するための画像符号化装置である。
【０１９９】
図１３は、画像符号化装置１３ｘを示す図である。
【０２００】
本発明の実施の形態３における画像符号化装置１３ｘは、図２の構成における、動き予測部２００１の構成が、図１３の動き予測部１３００１のように置き換わった構成となっている。図１３における動き予測部１３００１は、図２の動き予測部２００１と比較して、復号時メモリ転送量計算部１３００２が追加され、また、評価部２０１４が、評価部１３００３に置き換わった構成となっている。図１３において、図２の、従来の画像符号化装置の一例を表す構成図での動作と同じ動作をする部分については、同じ番号を付し、適宜、説明を省略する。
【０２０１】
復号時メモリ転送量計算部１３００２は、ブロック読み出し部２０１２が読み出したブロックの位置情報と、予め設定された、画像復号装置の画像メモリ仕様（の情報）とから、そのブロックが、動き予測結果として選ばれた場合での、復号時メモリ転送量を計算する。ブロックの位置情報と、算出した復号時メモリ転送量とは、評価部１３００３に出力する。
【０２０２】
評価部１３００３には、相似度計算部２０１３から、符号化対象ブロックと、ブロック読み出し部２０１２が読み出したブロックとの相似度が入力され、また、復号時メモリ転送量計算部１３００２から、復号時メモリ転送量が入力される。そして、これらに基づいて、評価部１３００３は、探索範囲内における、動き予測の結果画像の位置を決定し、動きベクトル生成部２０１４Ａに出力する。
【０２０３】
なお、動き予測の結果画像の位置の決定の方法には、様々な方法が考えられる。
【０２０４】
例えば、一例としては、相似度と、復号時メモリ転送量とのそれぞれに、係数αおよび係数βを設定し、係数αに相似度をかけた値と、係数βに復号時メモリ転送量をかけた値とを加算する評価関数の値が、最大となるブロックを、動き予測の結果画像とする方法がある。
【０２０５】
なお、この場合、係数αを正数、係数βを負数とすることにより、評価関数の値が最大となるブロックは、相似度が高く、かつ、復号時メモリ転送量が小さいブロックとなる。また、係数αと係数βの絶対値を変化させることにより、相似度と、復号時メモリ転送量とのどちらを優先するかを制御することができる。
【０２０６】
つまり、例えば、「評価関数の値」＝「α×相似度＋β×復号時メモリ転送量」でもよいし、「評価関数の値」＝「｜α｜×相似度−｜β｜×復号時メモリ転送量」でもよい。
【０２０７】
図１４は、予測画像決定処理における、符号化対象ブロックごとに行われる処理のフロー図である。
【０２０８】
相似度計算部２０１３、復号時メモリ転送量計算部１３００２および評価部１３００３で行う予測画像決定処理について、図１４を用いて説明する。
【０２０９】
まず、最初に、評価部１３００３が、記憶している予測画像候補を初期化する（ステップＳ１４００１）。
【０２１０】
次に、ブロック読み出し部２０１２が読み出したブロックの、画像データおよび位置情報が入力される（ステップＳ１４００２）。
【０２１１】
入力されたブロックの画像データと、符号化対象ブロックとの間の相似度を計算する（ステップＳ１４００３）。
【０２１２】
その後、入力されたブロックの位置と、設定された、画像復号装置のメモリ仕様とを基に、復号時メモリ転送量を計算する（ステップＳ１４００４）。
【０２１３】
ステップＳ１４００５では、ステップＳ１４００３で算出された相似度と、ステップＳ１４００４で算出された復号時メモリ転送量とを用いて、評価関数（の値）を計算する。
【０２１４】
ステップＳ１４００６では、評価部１３００４で記憶している、予測画像候補の評価関数の値と、ステップＳ１４００５で算出した、評価関数の値との間の大小を比較する。
【０２１５】
評価部１３００４で記憶している、予測画像候補の評価関数の値の方が大きい場合には（Ｓ１４００６：Ｎｏ）、ステップＳ１４００８に進む。
【０２１６】
ステップＳ１４００５で算出した評価関数の値の方が大きい場合には（Ｓ１４００６：Ｙｅｓ）、ステップＳ１４００７に進む。そして、ステップＳ１４００７では、より大きい、評価関数の値が算出された、現在のブロックを、予測画像候補とし、評価部１３００４は、そのブロックの、評価関数の値を記憶する。その後、ステップＳ１４００８に進む。
【０２１７】
ステップＳ１４００８では、ブロック読み出し部２０１２から入力されたブロックが、探索範囲内で最後のブロックか否かを判定し、最後のブロックでないと判定されれば（Ｓ１４００８：Ｎｏ）、次に入力されたブロックに対して、ステップＳ１４００２からの処理を行う。
【０２１８】
他方、最後のブロックであると判定されれば（Ｓ１４００８：Ｙｅｓ）、ステップＳ１４００９に進む。そして、ステップＳ１４００９では、評価部１３００４が記憶している予測画像候補を、予測画像として決定し、その位置を、動きベクトル生成（計算）部２０１４Ａに出力する。
【０２１９】
こうして、例えば、探索範囲の複数のブロックのうちで、算出される評価関数の値が最大であるブロックが選択されてもよい。
【０２２０】
かかる構成によれば、探索範囲を限定しないことで、符号化効率を向上させながら、復号時の動き補償における、参照画像の画像メモリからの転送量を削減することが可能となる。
【０２２１】
なお、本実施の形態において、画像符号化装置を構成する各機能ブロックは、例えば、ＣＰＵやメモリを要した情報機器上で動作するプログラムとして実現されてもよい。しかし、その機能の一部または全部を、集積回路であるＬＳＩとして実現してもよい。これらのＬＳＩは、個別に１チップ化されても良いし、一部または全てを含むように、１チップ化されても良い。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０２２２】
また、集積回路化の手法は、ＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能な、ＦＰＧＡや、ＬＳＩ内部の回路セルの、接続や設定を再構成可能な、リコンフィギュラブル・プロセッサを利用しても良い。
【０２２３】
更には、半導体技術の進歩、または、派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて、機能ブロックの集積化を行ってもよい。バイオ技術の適応等が、可能性としてあり得る。
【０２２４】
本発明の画像符号化装置および画像復号装置は、Ｈ．２６４やＭＰＥＧ−２のように、動画像符号化規格で、動画像を符号化および復号する、様々な装置に適用できる。そういった装置の例として、ディジタル放送の記録再生装置、カムコーダ、テレビ会議システムなどの通信装置、パーソナルコンピュータ等がある。
【０２２５】
図１５は、本発明が適用された画像符号化装置および画像復号装置を、カムコーダに適用した場合の構成図である。
【０２２６】
カムコーダ１５００１は、システムＬＳＩ１５００２、プログラムやデータを収めたＲＯＭ１５００３、画像メモリや各種データの記憶領域として利用されるＲＡＭ１５００４を含む。
【０２２７】
システムＬＳＩ１５００２は、カメラおよびマイクからの入力信号を符号化し、外部ドライブやＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）から、符号化画像を出力する。
【０２２８】
また、システムＬＳＩ１５００２は、カメラを制御するカメラ制御部１５００５、マイクを制御するマイク制御部１５００６、外部ドライブを制御する外部ドライブ制御部１５００７を含む。また、全体制御などを行うＣＰＵ１５００８、音声および画像の同期や出力を行うＡＶ出力制御部１５００９を含む。
【０２２９】
また、システムＬＳＩ１５００２は、本発明を適用した画像符号化装置１５０１０と、画像復号装置１５０１１、ＵＳＢの入出力制御を行うＵＳＢ制御部１５０１２、各モジュール間と、ＲＯＭ１５００３やＲＡＭ１５００４の間でデータ転送するシステムバス１５０１３を含む。
【０２３０】
なお、上述された本変形例の構成では、上述の画像符号化装置１５０１０および画像復号装置１５０１１は、システムＬＳＩ１５００２に集積され、ＲＡＭ１５００４を画像メモリとして用いるようになっているが、集積化の方法はこれに限らない。例えば、各機能が個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。更には、ＬＳＩに置き換わる集積回路化の技術があれば、当然、その技術を用いて集積化を行ってもよい。また、カムコーダを例に説明したが、ディジタル放送の記録再生装置、テレビ会議システムなどの通信装置、パーソナルコンピュータ等に対する本発明の適用も可能である。
【０２３１】
なお、こうして、例えば、画像復号時の動き補償で、参照画像を転送するために、メモリから転送するデータ量が多いことが回避できてもよい。つまり、画像符号化装置の動き予測部５００１は、探索領域選択部５００２、画像メモリ２００２、ブロック読み出し部５００３、相似度計算部２０１３、評価部２０１４、動きベクトル生成部２０１５を備え、画像符号化装置が生成した符号化画像を復号する際の動き補償処理において、必要な画像の転送量が増加しない領域を、ブロック読み出し部５００３が読み出さずに、動き予測処理を行うように、探索領域選択部５００２が制御信号を生成することにより、画像符号化装置により生成された符号化画像を復号する際の動き補償においての、参照画像のメモリ転送量が削減されてもよい。
【０２３２】
なお、例えば、具体的には、先述された画像メモリ６ｘＭ（図６等）は、画像復号装置６ｘの外部に設けられてもよいし（図１５のＲＡＭ１５００４を参照）、内部に設けられてもよい。
【０２３３】
また、上述のように、画像メモリ６ｘＭの仕様の情報が用いられてもよい。
【０２３４】
そして、複数の画像復号装置のうちの、本画像符号化装置により符号化された画像の復号を行う画像復号装置の仕様の情報が用いられてもよい。
【０２３５】
そして、画像復号装置は、具体的には、例えば、本画像符号化装置（例えば、画像符号化装置１５０１０）が含まれるシステム（例えば、図１５のカムコーダ１５００１）に、本画像符号化装置と共に含まれる、本画像符号化装置により符号化された画像を復号する画像復号装置（画像復号装置１５０１１）でもよい。
【０２３６】
また、仕様の情報が用いられる画像復号装置は、複数の画像復号装置のうちの、本画像符号化装置のメーカーにより使用が推奨された、そのメーカーによる画像復号装置などでもよい。
【０２３７】
なお、ユーザなどにより、複数の画像復号装置から、当該画像復号装置を特定する情報（型番、仕様の情報そのものなど）が入力され、入力された情報が用いられてもよい。
【０２３８】
なお、本システムは、テレビ電話、ビデオ会議システムなどのシステムのように、符号化した画像が通信されて、通信された画像を復号するシステムでもよい。
【０２３９】
また、本システムは、カムコーダ、およびデジタルカメラなどのシステムのように、符号化した画像が記憶部により記憶され、記憶された画像の復号をするシステムでもよい。
【０２４０】
なお、より具体的には、例えば、符号化される画像が、インターホンに設けられたカメラにより撮像された画像でもよく、留守の間に撮像された画像が符号化されて、符号化された画像が、上述の記憶部により記憶されてもよい。
【０２４１】
また、本システムは、例えば、画像符号化装置と、画像復号装置との機能の少なくとも一部が実現されたパーソナルコンピュータなどのコンピュータを含んでもよい。
【０２４２】
上記された仕様の情報の一部または全部は、当該パーソナルコンピュータを、画像復号装置として動作させるソフトウェアの情報でもよい。
【０２４３】
なお、図８に示される除外範囲８００３ｘは、第１の種類の画像復号装置での第１の除外範囲と、当該第１の除外範囲よりも広い、当該第１の除外範囲を包含する、第２の種類の画像復号装置での第２の除外範囲とのうちの、第２の除外範囲でもよい。そして、あるケースでは、このような除外範囲８００３ｘに基づいた処理で符号化された画像が、第１の種類の画像復号装置で復号される一方、別のケースでは、同じ画像が、第２の種類の画像復号装置で復号されてもよい。
【０２４４】
また、動きベクトル生成部２０１５（図５）を含む予測処理部２０１５ｘがあってもよい。より具体的には、例えば、予測処理部２０１５ｘが、更に、相似度計算部２０１３、評価部２０１４および符号化処理部５Ｍ（図５：図２の動き補償部２００３などを参照）等を含んでもよい。そして、例えば、予測処理部２０１５ｘは、動きベクトル生成部２０１５により動きベクトルを生成して、動き予測を行い、生成された動きベクトルを用いて、符号化を行ってもよい。
【０２４５】
また、本画像符号化装置（画像符号化装置５ｘ、１３ｘなど）において、例えば、次の動作がされてもよい。
【０２４６】
つまり、符号化がされる画像（例えば、図８の参照ピクチャ８００１）に含まれるブロック（ブロック８Ｒ）が、第１の当該ブロック（例えばブロック８００７）が、当該画像の符号化において参照された場合には、符号化された当該画像が復号（復号化）される際に、第１の当該ブロックが復号側画像記憶部（画像メモリ６ｘＭ）から読み出されるのに際して、（第２の転送量（閾値）よりも）小さい第１の転送量（サイズ８Ｓ１の転送量）の転送が生じる第１のブロックであるか、第１の前記転送量（サイズ８Ｓ１の転送量）よりも大きい第２の転送量（サイズ８Ｓ２の転送量）の転送が生じる第２のブロック（ブロック８００９）であるかが判定されてもよい（判定部５００３ｂｘ：図１６、図１７）。
【０２４７】
そして、第１のブロックであると判定された場合にのみ、判定がされた当該ブロック（ブロック８Ｒ）を参照した符号化（参照される当該ブロック（図１の参照ブロック１００６を参照）への動きベクトル（動きベクトル１００７を参照）の生成など）がされ、第２のブロックと判定された場合には、当該ブロックを参照した符号化（動きベクトルの生成など）がされなくてもよい（予測処理部２０１５ｘ：図１６、図１７、図５など）。
【０２４８】
これにより、大きい第２の転送量での転送が回避されて、小さい第１の転送量での転送のみがされて、転送量が小さくできる。
【０２４９】
なお、このような動作における、単なる細部については、如何なる形態を有しでもよい。
【０２５０】
例えば、具体的には、小さい第１の転送量の第１のブロック（ブロック８００７）は、第１の当該ブロックの読み出しに際して、少ない第１の個数（例えば１個）分のアクセス単位８Ｕ（図８）でのサイズの、小さい第１のアクセス領域８００８（図６）のアクセスがされるブロックでもよい。
【０２５１】
そして、大きい第２の転送量の第２のブロック（ブロック８００９）は、第２の当該ブロックの読み出しに際して、多い第２の個数（例えば２個）のアクセス単位８Ｕ（図８）のサイズでの、大きい第２のアクセス領域８０１０（図６）のアクセスがされるブロックでもよい。
【０２５２】
より具体的には、第１のアクセス領域（アクセス領域８００８）は、比較的少ない第１の個数（１個）のアクセス単位８Ｕ（ｘ＝０〜７のみ）のみでの領域でもよい。そして、第２のアクセス領域（アクセス領域８０１０）は、多い第２の個数（２個）のアクセス単位８Ｕ（ｘ＝０〜７、ｘ＝８〜１５）での領域でもよい。そして、第１のブロック（ブロック８００７）は、第１のアクセス領域の、少ない第１の個数（１個）のそれぞれのアクセス単位８Ｕ（ｘ＝０〜７のみ）での画素（ｘ＝１〜４）を含み、第２のブロックは、多い第２の個数のそれぞれのアクセス単位８Ｕ（ｘ＝０〜７、ｘ＝８〜１５）での画素（ｘ＝７、ｘ＝８〜１０）を含んでもよい。
【０２５３】
そして、例えば、第１の個数は、１個でもよい。そして、例えば、第１のブロックが存在する範囲（ｘ＝０〜３）は、アクセス単位８Ｕの境界（境界６ｐＢ、ｘ＝７からｘ＝８の間）を超えず、境界を挟んだ２つ（以上）の部分にまたがらない一方で、第２のブロックの範囲（ｘ＝７〜１０）は、境界を越え、２つ（以上）の部分にまたがってもよい。
【０２５４】
また、例えば、具体的には、細部の動作が、実施の形態１での動作と同様の動作でもよいし、実施の形態２の動作と同様でもよいし、実施の形態３と同様でもよいし、その他の動作でもよい。
【０２５５】
例えば、前記判定部５００３ｂｘ（取得部５００３ｂ）は、ブロックが、設定される前記探索範囲（第１の探索範囲８０１３ｘ）内の第１の前記ブロック（第１のブロック８００７）か、当該探索範囲外の第２の前記ブロック（第のブロック８００９）かを判定してもよい。
【０２５６】
そして、例えば、前記判定部５００３ｂｘ（取得部５００３ｂ）は、第１の前記ブロックと判定されたブロック（第１のブロック８００７）の第１の前記画素データ（第１の画素データ８００７ｐ）のみを取得し、第２の前記ブロック（第２のブロック８００９）と判定されたブロックの第２の前記画素データ（第２の画素データ８００９ｐ）を取得しなくてもよい（実施の形態１を参照）。
【０２５７】
また、例えば、前記判定部５００３ｂｘ（復号時メモリ転送量計算部１３００２）は、小さい第１の転送量を計算することにより、取得された画素データのブロックが、第１の転送量が生じる第１のブロックであると判定するとともに、大きい第２の転送量を計算することにより、第２の転送量が生じる第２のブロックであるとの判定をしてもよい。
【０２５８】
そして、予測処理部２０１５ｘ（動きベクトル生成部２０１４Ａ）は、計算された転送量が、第１の転送量である場合に、計算された当該転送量により、ブロックが、第１のブロックと判定されたことが示され、第２の転送量である場合に、第２のブロックと判定されたことが示されてもよい。
【０２５９】
なお、第２のブロックは、例えば、第１のブロックの相似度と同じ相似度のブロックでもよい（Ｓ１４００３を参照）。なお、第２のブロックは、参照に用いられない複数のブロックのうちの一部（例えば１つ）でもよい。また、判定部５００３ｂｘは、例えば、評価部１３００ｒなどを含むと考えられてもよい。
【０２６０】
また、上記のようにして、小さい第１の転送量の第１の探索範囲が設定されて、探索範囲が、大きい第２の転送量の第２の探索範囲から、第１の探索範囲に切り替えられるなどして、行われる動作のモードが、第２のブロックを用いるモード（符号化効率優先モード）から、第２のブロックを用いないモード（復号時転送量削減モード）に切り替えられてもよい（探索領域選択部５００２、評価部２０１４）。これにより、切り替えの後には、転送量が小さくできる一方で、切り替えの前には、高い符号化効率などのメリットが得られて、小さい転送量と共に、高い符号化効率などのメリットが両立できる。
【０２６１】
こうして、本技術においては、複数の構成が組み合わされて、組み合わせによる相乗効果が生じてもよい。これに対して、知られた従来例においては、これらの複数の構成のうちの全部または一部を欠き、相乗効果は生じない。この点で、本技術は、従来例とは相違する。
【０２６２】
なお、上述の機能を実現するコンピュータプログラムが構築されてもよいし、そのコンピュータプログラムが記憶された記憶媒体が構築されてもよいし、上述の機能が実現された集積回路が構築されてもよいし、他の種類の物が構築されてもよい。また、上述の工程が含まれる方法、上述のコンピュータプログラムを生成する方法、通信する方法などの各種の方法が構築されてもよいし、上述のコンピュータプログラムが有するデータ構造などの、その他の種類のものが構築されてもよい。
【０２６３】
以上、本発明について、実施の形態および変形例に基づいて説明したが、本発明は、このような実施の形態および変形例に限定されるものではない。このような実施の形態および変形例に対して当業者が思いつく各種変形を施したものや、実施の形態および変形例における構成要素を任意に組み合わせて実現される形態も、本発明に含まれる。
【産業上の利用可能性】
【０２６４】
本発明にかかる画像符号化装置および画像復号装置は、例えば、ディジタル放送の記録再生装置、カムコーダ、テレビ会議システムなどの通信装置、パーソナルコンピュータ等で符号化した動画像の復号処理を効率的に行うのに有用である。
【符号の説明】
【０２６５】
１００１    符号化対象のピクチャ
１００２    符号化対象のブロック
１００３    予測元ピクチャ
１００４    予測元ピクチャ内で符号化対象のブロックと同じ位置にあるブロック
１００５    探索範囲
１００６    参照ブロック
１００７    動きベクトル
２００１    動き予測部
２００２    画像メモリ
２００３    動き補償部
２００４    フレーム内予測部
２００５    予測方法選択部
２００６    差分画像生成部
２００７    直交変換／量子化部
２００８    符号化部
２００９    逆直交変換／逆量子化部
２０１０    画像再構成部
２０１１    ループフィルタ部
２０１２    ブロック読み出し部
２０１３    相似度計算部
２０１４    評価部
２０１５    動きベクトル生成部
３００１    可変長復号部
３００２    動き補償部
３００３    動きベクトル計算部
３００４    参照画像取得部
３００５    画像メモリ
３００６    予測画像生成部
３００７    フレーム内予測部
３００８    予測方法選択部
３００９    逆量子化／逆直交変換部
３０１０    画像再構成部
３０１１    ループフィルタ部
４００１    １６×１６画素の画像メモリ
４００２    アクセスしたい矩形領域（４×４画素）
４００３    メモリの仕様を守って４００２の矩形領域をアクセスする場合に必要な最小のアクセス領域
５００１    動き予測部
５００２    探索領域選択部
５００３    ブロック読み出し部
６００１    参照ピクチャ
６００２    参照画像のブロック
６００２Ｐ  取得ブロック  
６００３    参照画像のブロック
６００４    画像符号化装置が生成した符号化画像を復号する画像復号装置が持つ１６×１６画素の画像メモリ
６００５    参照画像ブロック６００２をメモリ仕様に従って読み出す場合のアクセス領域
６００６    参照画像ブロック６００３をメモリ仕様に従って読み出す場合のアクセス領域
７００１    参照ピクチャ
７００２    探索範囲
８００１    参照ピクチャ
８００２    符号化効率優先モードにおける探索範囲
８００３    復号時メモリ転送量削減モードにおいて探索を行わない範囲
８００４    復号時メモリ転送量削減モードにおいて探索を行わない範囲
８００５    復号時メモリ転送量削減モードにおいて探索を行わない範囲
８００６    画像符号化装置が生成した符号化画像を復号する画像復号装置が持つ１６×１６画素の画像メモリ
８００７    復号時メモリ転送量削減モードにおいて発生しうる参照画像ブロックの一例
８００８    参照画像ブロックの一例である８００７をメモリ仕様に従って読み出す場合のアクセス領域
８００９    復号時メモリ転送量削減モードにおいて発生しない参照画像ブロックの一例
８０１０    ブロック８００９をメモリ仕様に従って読み出す場合のアクセス領域
１０００１    動き予測部
１０００２    探索領域選択部
１０００３    復号時メモリ転送量計算部
１１００１    転送量更新部
１１００２    モード選択部
１３００１    動き予測部
１３００２    復号時メモリ転送量計算部
１３００３    評価部
１５００１    カムコーダ
１５００２    システムＬＳＩ
１５００３    ＲＯＭ
１５００４    ＲＡＭ
１５００５    カメラ制御部
１５００６    マイク制御部
１５００７    外部ドライブ制御部
１５００８    ＣＰＵ
１５００９    ＡＶ出力制御部
１５０１０    画像符号化装置
１５０１１    画像復号装置
１５０１２    ＵＳＢ制御部
１５０１３    システムバス
Ｒ  探索範囲
８ｐＬ  左上端画素
８ｐＲ  右上端画素
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
動き予測を行って、画像を符号化する画像符号化装置であって、
前記動き予測における探索範囲として、当該探索範囲が設定された場合には、符号化された前記画像の復号時の動き補償処理において生じる、データの転送の転送量が、閾値よりも少ない転送量である探索範囲を設定する探索範囲制御部と、
前記動き予測がされる際に、設定された前記探索範囲の画素データを、当該画素データの画素が含まれる参照画像を記憶した画像記憶部から取得する取得部と、
取得された前記画素データと、符号化対象の画素データとを用いて前記動き予測を行う動き予測部とを備える画像符号化装置。
【請求項２】
前記探索範囲制御部は、前記動き予測における探索範囲として、当該探索範囲制御部の外部からの設定により、第２の転送量よりも小さい第１の前記転送量の転送が生じる第１の前記探索範囲と、大きい第２の前記転送量の転送が生じる第２の探索範囲とのうちから指定された方の探索範囲を設定し、大きい第２の前記転送量の第２の前記探索範囲が指定される場合には、第２の当該探索範囲を設定する請求項１に記載の画像符号化装置。
【請求項３】
前記探索範囲制御部は、前記動き予測の探索範囲の設定をするのに際して、計算された、復号時の前記動き補償処理での、データの転送量が、第２の閾値よりも大きい場合にのみ、小さい第１の前記転送量での転送が生じる第１の前記探索範囲を設定し、前記第２の閾値よりも小さい場合には、大きい第２の前記転送量の転送が生じる第２の前記探索範囲を設定する請求項１に記載の画像符号化装置。
【請求項４】
前記探索範囲制御部は、復号時の前記動き補償処理での、データの転送量を、復号時において、前記参照画像を記憶するために用いられる復号側画像記憶部のアクセス単位の仕様と、当該参照画像の位置とにより算出する請求項１に記載の画像符号化装置。
【請求項５】
符号化される前記画像は、複数のブロックを含み、
それぞれのブロックは、複数の前記画素を含み、
設定される前記探索範囲は、全体の範囲から、予め定められた範囲が除外された範囲であり、
設定される前記探索範囲における第１のブロックは、復号時における、第１の当該ブロックの読み出しで、小さい第１のサイズの第１のアクセス領域でのアクセスがされて、小さい第１の転送量の転送が生じるブロックであり、
除外される前記範囲における第２のブロックは、第２の当該ブロックの読み出しで、大きい第２のサイズの第２のアクセス領域でのアクセスがされて、大きい第２の転送量の転送が生じるブロックである請求項１に記載の画像符号化装置。
【請求項６】
請求項１記載の画像符号化装置と、
当該画像符号化装置により符号化された前記画像の復号を行う画像復号装置と、
小さい前記転送量の前記探索範囲が設定された場合には、復号がされるのに際して、前記画像復号装置に対して、小さい当該転送量のデータを転送する、転送される当該データを記憶するＲＡＭ（Random Access Memory）である復号側画像記憶部とを備えるカムコーダ。
【請求項７】
請求項１に記載の画像符号化装置であって、
前記取得部は、
符号化がされる前記画像に含まれるブロックが、
第１の当該ブロックが、当該画像の符号化において参照された場合には、符号化された当該画像が復号される際に、第１の当該ブロックが復号側画像記憶部から読み出されるのに際して、小さい第１の前記転送量の転送が生じる第１のブロックであるか、
第１の前記転送量よりも大きい第２の転送量の転送が生じる第２のブロックであるかを判定し、
前記動き予測部は、
第１の前記ブロックであると判定された場合にのみ、判定がされた当該ブロックを参照させ、当該ブロックへの動きベクトルを生成し、
第２の前記ブロックと判定された場合には、当該ブロックを参照させず、当該ブロックへの動きベクトルを生成せず、
前記取得部は、ブロックが、設定される前記探索範囲内の第１の前記ブロックか、当該探索範囲外の第２の前記ブロックかを判定する画像符号化装置。
【請求項８】
請求項７に記載の画像符号化装置であって、
前記取得部は、第１の前記ブロックと判定されたブロックの第１の前記画素データのみを取得し、第２の前記ブロックと判定されたブロックの第２の前記画素データを取得しない画像符号化装置。
【請求項９】
動き予測を行って、画像を符号化する画像符号化装置であって、
前記動き予測がされる際に、当該動き予測における探索範囲の画素データを、当該画素データの画素が含まれる参照画像を記憶した画像記憶部から取得する取得部と、
取得された前記画素データが、符号化における、差分画像の生成に用いられる予測画像となった場合に、当該画素データが前記予測画像となった符号化がされた前記画像の復号時の動き補償で生じる、データの転送の転送量を計算するデータ転送量計算部と、
計算された前記転送量と、取得された前記画素データと、符号化対象画素データとを用いて前記動き予測を行う動き予測部とを備える画像符号化装置。
【請求項１０】
前記データ転送量計算部は、計算された前記転送量を、前記復号時に、前記参照画像を記憶するために用いられる復号側画像記憶部のアクセス単位の仕様と、前記参照画像の位置とにより算出する請求項９に記載の画像符号化装置。
【請求項１１】
動き予測を行って、画像を符号化する画像符号化方法であって、
前記動き予測における探索範囲として、当該探索範囲が設定された場合には、符号化された前記画像の復号時の動き補償処理において生じる、データの転送の転送量が、閾値よりも少ない転送量である探索範囲を設定する探索範囲制御工程と、
前記動き予測がされる際に、設定された前記探索範囲の画素データを、当該画素データの画素が含まれる参照画像を記憶した画像記憶部から取得する取得工程と、
取得された前記画素データと、符号化対象の画素データとを用いて前記動き予測を行う動き予測工程とを含む画像符号化方法。
【請求項１２】
動き予測を行って、画像を符号化する画像符号化方法であって、
前記動き予測がされる際に、当該動き予測における探索範囲の画素データを、当該画素データの画素が含まれる参照画像を記憶した画像記憶部から取得する取得工程と、
取得された前記画素データが、符号化における、差分画像の生成に用いられる予測画像となった場合に、当該画素データが前記予測画像となった符号化がされた前記画像の復号時の動き補償で生じる、データの転送の転送量を計算するデータ転送量計算工程と、
計算された前記転送量と、取得された前記画素データと、符号化対象画素データとを用いて前記動き予測を行う動き予測工程とを含む画像符号化方法。
【請求項１３】
動き予測を行って、画像を符号化する集積回路であって、
前記動き予測における探索範囲として、当該探索範囲が設定された場合には、符号化された前記画像の復号時の動き補償処理において生じる、データの転送の転送量が、閾値よりも少ない転送量である探索範囲を設定する探索範囲制御部と、
前記動き予測がされる際に、設定された前記探索範囲の画素データを、当該画素データの画素が含まれる参照画像を記憶した画像記憶部から取得する取得部と、
取得された前記画素データと、符号化対象の画素データとを用いて前記動き予測を行う動き予測部とを備える集積回路。
【請求項１４】
動き予測を行って、画像を符号化する集積回路であって、
前記動き予測がされる際に、当該動き予測における探索範囲の画素データを、当該画素データの画素が含まれる参照画像を記憶した画像記憶部から取得する取得部と、
取得された前記画素データが、符号化における、差分画像の生成に用いられる予測画像となった場合に、当該画素データが前記予測画像となった符号化がされた前記画像の復号時の動き補償で生じる、データの転送の転送量を計算するデータ転送量計算部と、
計算された前記転送量と、取得された前記画素データと、符号化対象画素データとを用いて前記動き予測を行う動き予測部とを備える集積回路。
【請求項１５】
コンピュータに、動き予測を行わせて、画像を符号化させるためのコンピュータプログラムであって、
前記動き予測における探索範囲として、当該探索範囲が設定された場合には、符号化された前記画像の復号時の動き補償処理において生じる、データの転送の転送量が、閾値よりも少ない転送量である探索範囲を設定する探索範囲制御工程と、
前記動き予測がされる際に、設定された前記探索範囲の画素データを、当該画素データの画素が含まれる参照画像を記憶した画像記憶部から取得する取得工程と、
取得された前記画素データと、符号化対象の画素データとを用いて前記動き予測を行う動き予測工程とを前記コンピュータに実行させるためのコンピュータプログラム。
【請求項１６】
コンピュータに、動き予測を行わせて、画像を符号化させるためのコンピュータプログラムであって、
前記動き予測がされる際に、当該動き予測における探索範囲の画素データを、当該画素データの画素が含まれる参照画像を記憶した画像記憶部から取得する取得工程と、
取得された前記画素データが、符号化における、差分画像の生成に用いられる予測画像となった場合に、当該画素データが前記予測画像となった符号化がされた前記画像の復号時の動き補償で生じる、データの転送の転送量を計算するデータ転送量計算工程と、
計算された前記転送量と、取得された前記画素データと、符号化対象画素データとを用いて前記動き予測を行う動き予測工程とを前記コンピュータに実行させるためのコンピュータプログラム。
【請求項１７】
動き予測を行って画像を符号化することで得られた符号化画像を記録し、当該符号化画像を復号することで得られた復号画像を再生する記録再生装置であって、
前記動き予測の参照画像を記憶する画像記憶部と、
前記動き予測における探索範囲として、当該探索範囲が設定された場合には、符号化された前記符号化画像の復号時の動き補償処理において生じる、データの転送の転送量が、閾値よりも少ない転送量である探索範囲を設定する探索範囲制御部と、
前記動き予測がされる際に、設定された前記探索範囲の画素データを、当該画素データの画素が含まれる参照画像を記憶した前記画像記憶部から取得する取得部と、
取得された前記画素データと、符号化対象の画素データとを用いて前記動き予測を行う動き予測部とを備える記録再生装置。
【請求項１８】
動き予測を行って画像を符号化することで得られた符号化画像を記録し、当該符号化画像を復号することで得られた復号画像を再生する記録再生装置であって、
前記動き予測の参照画像を記憶する画像記憶部と、
前記動き予測がされる際に、当該動き予測における探索範囲の画素データを、当該画素データの画素が含まれる参照画像を記憶した前記画像記憶部から取得する取得部と、
取得された前記画素データが、符号化における、差分画像の生成に用いられる予測画像となった場合に、当該画素データが前記予測画像となった符号化がされた前記符号化画像の復号時の動き補償で生じる、データの転送の転送量を計算するデータ転送量計算部と、
計算された前記転送量と、取得された前記画素データと、符号化対象画素データとを用いて前記動き予測を行う動き予測部とを備える記録再生装置。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2010140338.tif 000020
【図２】
2010140338.tif 000021
【図３】
2010140338.tif 000022
【図４】
2010140338.tif 000023
【図５】
2010140338.tif 000024
【図６】
2010140338.tif 000025
【図７】
2010140338.tif 000026
【図８】
2010140338.tif 000027
【図９】
2010140338.tif 000028
【図１０】
2010140338.tif 000029
【図１１】
2010140338.tif 000030
【図１２】
2010140338.tif 000031
【図１３】
2010140338.tif 000032
【図１４】
2010140338.tif 000033
【図１５】
2010140338.tif 000034
【図１６】
2010140338.tif 000035
【図１７】
2010140338.tif 000036
【国際調査報告】
2010140338.tif 000037
2010140338.tif 000038