(57)【要約】  コストの増大等を抑えながら、よりサイズが大きな画像の記録等を行う。参照ピクチャを用いて、入力ピクチャを構成するブロック毎に動きを検出する動き検出装置であって、当該動き検出装置の外部から転送された前記参照ピクチャを記憶する内部参照メモリと、前記内部参照メモリに記憶されている、前記参照ピクチャの画素データを用いて、前記入力ピクチャのブロックであって動き検出の対象となる対象ブロックの動き情報を検出する動き検出部と、前記動き検出部によって検出された動き情報を用いて、前記対象ブロックに動き補償を行う動き補償部と、前記内部参照メモリを制御する参照メモリ管理部とを有する。前記参照メモリ管理部は、前記内部参照メモリに、前記参照ピクチャとして、輝度成分の参照ピクチャ及び色差成分の参照ピクチャを記憶させることが可能である。
2010021153.tif 000002
【特許請求の範囲】
【請求項１】
参照ピクチャを用いて、入力ピクチャを構成するブロック毎に動きを検出する動き検出装置であって、
当該動き検出装置の外部から転送された前記参照ピクチャを記憶する内部参照メモリと、
前記内部参照メモリに記憶されている、前記参照ピクチャの画素データを用いて、前記入力ピクチャのブロックであって動き検出の対象となる対象ブロックの動き情報を検出する動き検出部と、
前記動き検出部によって検出された動き情報を用いて、前記対象ブロックに動き補償を行う動き補償部と、
前記内部参照メモリを制御する参照メモリ管理部とを備え、
前記参照メモリ管理部は、
前記内部参照メモリに、前記参照ピクチャとして、輝度成分の参照ピクチャ及び色差成分の参照ピクチャを記憶させることが可能である
動き検出装置。
【請求項２】
請求項１に記載の動き検出装置において、
前記参照メモリ管理部は、
前記内部参照メモリに、所定の枚数及び所定の大きさの領域の輝度成分の参照ピクチャを記憶させ、色差成分の参照ピクチャを記憶させない第１の動作、又は、前記内部参照メモリに、前記第１の動作の場合より少ない容量の輝度成分の参照ピクチャと、前記第１の動作の場合より少ない容量の輝度成分の参照ピクチャに対応する色差成分の参照ピクチャとを記憶させる第２の動作のいずれかを行う
ことを特徴とする動き検出装置。
【請求項３】
請求項２に記載の動き検出装置において、
前記内部参照メモリは、
前記参照メモリ管理部が前記第２の動作を行う場合には、前記所定の大きさの領域より小さい領域の輝度成分の参照ピクチャを記憶する
ことを特徴とする動き検出装置。
【請求項４】
請求項２に記載の動き検出装置において、
前記内部参照メモリは、
前記参照メモリ管理部が前記第２の動作を行う場合には、前記所定の枚数より少ない枚数の輝度成分の参照ピクチャを記憶する
ことを特徴とする動き検出装置。
【請求項５】
請求項２に記載の動き検出装置において、
前記動き補償部は、
動き補償に必要であるが、前記内部参照メモリに格納されない色差成分の参照ピクチャを、当該動き検出装置の外部から読み出す
ことを特徴とする動き検出装置。
【請求項６】
請求項２に記載の動き検出装置において、
前記動き補償部は、
前記参照メモリ管理部が前記第１の動作を行う場合には、前記動き検出部で検出された動き情報に対応する位置の輝度成分の参照ピクチャを前記内部参照メモリから読み出し、読み出された輝度成分の参照ピクチャを用いて輝度成分についての動き補償を行い、前記位置の色差成分の参照ピクチャを当該動き検出装置の外部から受け取り、受け取った色差成分の参照ピクチャを用いて色差成分についての動き補償を行う
ことを特徴とする動き検出装置。
【請求項７】
請求項６に記載の動き検出装置において、
前記内部参照メモリは、
前記参照メモリ管理部が前記第１の動作を行う場合には、輝度成分の参照ピクチャのみを記憶するようにマッピングされている
ことを特徴とする動き検出装置。
【請求項８】
請求項２に記載の動き検出装置において、
前記動き補償部は、
前記参照メモリ管理部が前記第２の動作を行う場合には、前記動き検出部で検出された動き情報に対応する位置の輝度成分の参照ピクチャ及び色差成分の参照ピクチャを前記内部参照メモリから読み出し、読み出された輝度成分の参照ピクチャ及び色差成分の参照ピクチャをそれぞれ用いて輝度成分及び色差成分についての動き補償を行う
ことを特徴とする動き検出装置。
【請求項９】
請求項８に記載の動き検出装置において、
前記内部参照メモリは、
前記参照メモリ管理部が前記第２の動作を行う場合には、輝度成分の参照ピクチャ及び色差成分の参照ピクチャを記憶するようにマッピングされている
ことを特徴とする動き検出装置。
【請求項１０】
請求項２に記載の動き検出装置において、
前記参照メモリ管理部は、
前記入力ピクチャのフォーマットに従って、前記第１の動作又は前記第２の動作のいずれかを行う
ことを特徴とする動き検出装置。
【請求項１１】
請求項１０に記載の動き検出装置において、
前記入力ピクチャのフォーマットは、前記入力ピクチャがフレームピクチャ又はフィールドピクチャのいずれであるかを示す
ことを特徴とする動き検出装置。
【請求項１２】
請求項１０に記載の動き検出装置において、
前記入力ピクチャのフォーマットは、前記入力ピクチャの表示レートである
ことを特徴とする動き検出装置。
【請求項１３】
請求項１０に記載の動き検出装置において、
前記入力ピクチャのフォーマットは、前記入力ピクチャのサイズである
ことを特徴とする動き検出装置。
【請求項１４】
請求項１０に記載の動き検出装置において、
前記入力ピクチャのフォーマットは、前記入力ピクチャの色差信号フォーマットである
ことを特徴とする動き検出装置。
【請求項１５】
請求項２に記載の動き検出装置において、
前記参照メモリ管理部は、
フラグに従って、前記第１の動作又は前記第２の動作のいずれかを行う
ことを特徴とする動き検出装置。
【請求項１６】
請求項１５に記載の動き検出装置において、
前記フラグは、当該動き検出装置の外部から設定される
ことを特徴とする動き検出装置。
【請求項１７】
請求項１５に記載の動き検出装置において、
前記参照メモリ管理部は、
前記入力ピクチャに従って前記フラグを求める
ことを特徴とする動き検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ピクチャを構成するブロックの動き検出を行う動き検出装置に関する。
【背景技術】
【０００２】
動き検出のために、複数の参照ピクチャを格納するマルチフレームメモリが用いられてきた。マルチフレームメモリは、動き検出装置の外部に接続された外部メモリと、動き検出装置の内部にあってブロックマッチング時にアクセスされる内部メモリとに分けて実装される（例えば特許文献１参照）。【０００３】
ところで、ＭＰＥＧ（Moving Picture Experts Group）やＩＴＵ（International Telecommunications Union）等の国際標準化団体によって標準化された多くの画像符号化方式は、人間の視覚特性を活かし、画像を構成する個々の画素を輝度成分と色差成分とに分けて符号化を行う。特に動き検出を行う場合には、参照ピクチャを格納するメモリの容量、及び動き検出の処理に必要となる演算量を抑えるために、一般的には輝度成分のみを用いる（例えば、特許文献２参照）。【０００４】
このような輝度成分のみを用いて動き検出を行う動き検出装置では、まず、参照ピクチャ内の探索対象となる領域の輝度成分の画素が、外部メモリから外部接続バスを経由して内部メモリに転送され、格納される。動き検出の際には、この内部メモリに格納された参照ピクチャが読み出され、用いられる。【０００５】
その後、動き補償が行われる。この際、輝度成分については、内部メモリに格納されているデータが利用される。しかし、色差成分については、外部メモリから外部接続バスを経由して読み出す必要がある。このため、外部接続バスのデータ転送量が大きくなってしまう。【０００６】
このような構成であっても、符号化される画像のサイズがＳＤ（standard definition）画像のように小さい場合には問題はない。符号化される画像のサイズがＨＤ（high definition）画像のように大きい場合であっても、単位時間当たりの画像の数、すなわちピクチャレートが比較的低ければ、必要となるデータ転送レートは、外部接続バスにおいて許容される単位時間当たりの最大転送量を超過せず、問題はない。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平５−２６０４６１号公報
【特許文献２】国際公開第９８／０４２１３５号
【非特許文献】
【０００８】
【非特許文献１】"Advanced video coding for generic audiovisual services"（§8.4 Inter prediction process），ITU-T Recommendation H.264，2007年11月，pp.143-169
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、近年、ＨＤ画像の記録が可能な民生ビデオカメラが普及しつつあり、近い将来、記録される画像のサイズがより大きくなることや、ピクチャレートがより高くなることも予想される。【００１０】
これに対処するためには、外部メモリをより高性能なものに置き換えることや、外付けするメモリの数を増やすことにより、外部接続バスにおいて許容される単位時間当たりの転送量を増大させることが１つの方法である。しかし、外部メモリをより高性能なものに置き換える場合には、外部メモリとして高価なメモリが必要となる他、バスの動作速度が上がるので、動き検出装置を含む製品全体の消費電力も増大してしまう。外付けするメモリの数を増やす場合にも、コスト及び消費電力が増大してしまう。【００１１】
また、参照ピクチャの数を減らしたり、動きを探索できる範囲を縮小する方法もあるが、安易にこのようなことを行うと、記録される画像の質が大きく劣化してしまう。【００１２】
本発明は、コストの増大や画質の劣化を抑えながら、よりサイズが大きな画像の符号化や、より高いピクチャレートでの画像の符号化を実現することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の実施形態による動き検出装置は、参照ピクチャを用いて、入力ピクチャを構成するブロック毎に動きを検出する動き検出装置であって、当該動き検出装置の外部から転送された前記参照ピクチャを記憶する内部参照メモリと、前記内部参照メモリに記憶されている、前記参照ピクチャの画素データを用いて、前記入力ピクチャのブロックであって動き検出の対象となる対象ブロックの動き情報を検出する動き検出部と、前記動き検出部によって検出された動き情報を用いて、前記対象ブロックに動き補償を行う動き補償部と、前記内部参照メモリを制御する参照メモリ管理部とを有する。前記参照メモリ管理部は、前記内部参照メモリに、前記参照ピクチャとして、輝度成分の参照ピクチャ及び色差成分の参照ピクチャを記憶させることが可能である。【００１４】
これによると、外部からのデータ転送頻度を減少させることができ、外部から転送される単位時間当たりのデータ量を減少させることができる。このため、より高いピクチャレートでの符号化等が可能になる。
【発明の効果】
【００１５】
本発明によれば、動き補償に用いられる、色差成分の参照ピクチャの外部メモリからの転送を減少させることができるので、より高いピクチャレートでの画像の符号化や、よりサイズが大きな画像の符号化を、例えば外部メモリ及び内部メモリのコスト、装置の消費電力の増加、並びに画質の劣化を抑えながら行うことができる。
【図面の簡単な説明】
【００１６】
【図１】図１は、本発明の実施形態に係る画像符号化装置の構成を示すブロック図である。
【図２】図２は、図１の動き検出装置の構成例を示すブロック図である。
【図３】図３（ａ）は、図２のバススイッチが外部メモリからの直接の経路を選択する場合について、キャッシュメモリにおけるマッピングの例を示す模式図である。図３（ｂ）は、図２のバススイッチがキャッシュメモリからの経路を選択する場合について、キャッシュメモリにおけるマッピングの例を示す模式図である。
【図４】図４は、キャッシュメモリに格納される参照ピクチャが対応する領域の例を画面上で示す説明図である。
【図５】図５は、図１の画像符号化装置を有するＡＶ処理装置の構成例を示すブロック図である。
【図６】図６は、図１の画像符号化装置の変形例の構成を示すブロック図である。
【図７】図７は、図６の画像符号化装置における処理の流れを示すフローチャートである。
【図８】図８（ａ）は、図３（ａ）の第１の変形例を示す模式図である。図８（ｂ）は、図３（ｂ）の第１の変形例を示す模式図である。
【図９】図９（ａ）は、図８（ａ）の場合にキャッシュメモリに格納される参照ピクチャが対応する領域の例を画面上で示す説明図である。図９（ｂ）は、図８（ｂ）の場合にキャッシュメモリに格納される参照ピクチャが対応する領域の例を画面上で示す説明図である。
【図１０】図１０（ａ）は、図３（ａ）の第２の変形例を示す模式図である。図１０（ｂ）は、図３（ｂ）の第２の変形例を示す模式図である。
【図１１】図１１（ａ）は、図１０（ａ）の場合にキャッシュメモリに格納される参照ピクチャが対応する領域の例を画面上で示す説明図である。図１１（ｂ）は、図１０（ｂ）の場合にキャッシュメモリに格納される参照ピクチャが対応する領域の例を画面上で示す説明図である。
【図１２】図１２（ａ）は、図３（ａ）の第３の変形例を示す模式図である。図１２（ｂ）は、図３（ｂ）の第３の変形例を示す模式図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００１８】
図１は、本発明の実施形態に係る画像符号化装置の構成を示すブロック図である。図１の画像符号化装置１００は、画面間予測符号化を行う画像符号化装置であって、動き検出装置１０と、動きベクトルメモリ２４と、動きベクトル予測部２６と、減算器２８，３４と、符号化部３２と、加算器３６とを有している。動き検出装置１０は、参照メモリ管理部１２と、内部参照メモリ１４と、動き検出部１６と、動き補償部１８とを有している。ここでは例として、動き検出装置１０は１チップ化され、１つのＬＳＩ（large-scale integration）を構成しているとする。
【００１９】
動き検出装置１０には、外部メモリ３８が外部接続バスを介して接続されている。外部メモリ３８は、ＳＤＲＡＭ（synchronous dynamic random-access memory）等の大容量メモリであって、画面間予測に必要となる複数の動き検出用参照ピクチャを格納するマルチフレームメモリとして用いられる。参照メモリ管理部１２は、外部メモリ３８から内部参照メモリ１４へのデータ転送を制御する。参照メモリ管理部１２は、動き補償予測で用いられる領域の画素データを、外部メモリ３８から内部参照メモリ１４に転送させる。
【００２０】
動き検出部１６には、符号化の対象とされる入力ピクチャが画像信号ＶＩＮとして入力されている。動き検出部１６は、外部メモリ３８から読み出された動き検出用参照ピクチャを、内部参照メモリ１４を経由して受け取り、入力ピクチャを構成するブロック毎に、動きベクトルＭＶと参照フレーム番号ＲＦＮを求めて出力する。参照フレーム番号ＲＦＮは、複数の参照ピクチャのうち、入力ピクチャの符号化の際に参照される参照ピクチャを特定するための番号である。動きベクトルＭＶは、動きベクトルメモリ２４に一時的に記憶された後、近傍動きベクトルＰＶＭとして出力される。動きベクトル予測部２６は、近傍動きベクトルＰＶＭを参照して、予測動きベクトルＰＤＭを予測する。
【００２１】
減算器２８は、動きベクトルＭＶから予測動きベクトルＰＤＭを減算し、得られた差を動きベクトル予測差分ＤＭＶとして出力する。一方、内部参照メモリ１４は、参照フレーム番号ＲＦＮ及び動きベクトルＭＶで示される画素を動き補償参照画素ＭＣＰとして出力する。動き補償部１８は、動きベクトルＭＶ及び動き補償参照画素ＭＣＰに従って小数画素精度の参照画素を生成し、参照画面画素ＭＣＰ２として出力する。減算器３４は、入力ピクチャから参照画面画素ＭＣＰ２を減算し、得られた差を画面予測誤差ＤＰとして出力する。
【００２２】
符号化部３２は、画面予測誤差ＤＰに離散コサイン変換（ＤＣＴ）及び量子化を行い、量子化されたＤＣＴ係数、動きベクトル予測差分ＤＭＶ及び参照フレーム番号ＲＦＮを可変長符号化し、得られた符号化された画像データを画像ストリームＳＴＲとして出力する。また、符号化部３２は、符号化された画面予測誤差を復号化し、その結果を復号画面予測誤差ＲＤＰとして出力する。復号画面予測誤差ＲＤＰは、画面予測誤差ＤＰに符号化誤差が重畳された誤差であり、画像ストリームＳＴＲを復号化して得られる画面間予測誤差と一致する。
【００２３】
加算器３６は、参照画面画素ＭＣＰ２に復号画面予測誤差ＲＤＰを加算し、その結果を復号画面ＲＰとして外部マルチフレームメモリ３８に記憶される。但し、外部メモリ３８及び内部参照メモリ１４の容量を有効に利用するため、これらのメモリに記憶されている画面が不要な場合にはその画面が記憶されていた領域は開放され、これらのメモリに記憶する必要がない画面の復号画面ＲＰは記憶されない。
【００２４】
図２は、図１の動き検出装置１０の構成例を示すブロック図である。内部参照メモリ１４は、キャッシュメモリ４２と、バススイッチ４４と、参照用ローカルメモリ４６，４８を有している。動き補償部１８は、色差用動き補償部５２と、輝度用動き補償部５４とを有している。
【００２５】
キャッシュメモリ４２は、外部メモリ３８から転送された画素を記憶し、参照用ローカルメモリ４８及びバススイッチ４４に出力する。参照用ローカルメモリ４８は、動き検出部１６が実際に画素探索を行う際に参照される。このように階層的に構成されているのは、外部メモリ３８から転送される画素の転送量を削減するためである。すなわち、一度に大量の参照ピクチャをキャッシュメモリ４２に格納することによって外部メモリ３８へのアクセス頻度を低く抑え、参照ピクチャへのアクセス頻度が高くなる動き検出実行時には、キャッシュメモリ４２から参照用ローカルメモリ４８に参照ピクチャデータを随時転送させる。
【００２６】
バススイッチ４４は、色差成分の参照ピクチャを格納する参照用ローカルメモリ４６への入力経路を切り替える。つまり、バススイッチ４４は、参照メモリ管理部１２の指示に従って、外部メモリ３８に格納されている色差成分の参照ピクチャデータを、直接、参照用ローカルメモリ４６に転送、又は、キャッシュメモリ４２に格納させてから参照用ローカルメモリ４６に転送する。
【００２７】
バススイッチ４４が、外部メモリ３８からの直接の経路を選択する場合には、次のような動作が行われる。まず、参照メモリ管理部１２は、動き検出部１６が探索のために必要とする輝度成分の参照ピクチャを外部メモリ３８からキャッシュメモリ４２に転送して記憶させ、キャッシュメモリ４２に格納された参照ピクチャのうち、動き検出部１６が探索に必要とする参照ピクチャデータを参照用ローカルメモリ４８に転送し、動き検出部１６がこれを参照して探索を行う。この場合、参照メモリ管理部１２は、色差成分の参照ピクチャをキャッシュメモリ４２に記憶させない。次に、参照メモリ管理部１２は、動き検出部１６が探索して得られた動き情報（動きベクトル）が示す位置の色差成分の参照ピクチャデータを外部メモリ３８から直接、参照用ローカルメモリ４６に転送し、これを動き補償部５２が参照して色差成分の動き補償を行う。
【００２８】
一方、バススイッチ４４が、キャッシュメモリ４２からの経路を選択する場合には、次のような動作が行われる。まず、参照メモリ管理部１２は、動き検出部１６が探索のために必要とする輝度成分の参照ピクチャを外部メモリ３８からキャッシュメモリ４２に転送して記憶させる。この際、参照メモリ管理部１２は、輝度成分と同じ位置の対応する色差成分の参照ピクチャもキャッシュメモリ４２に転送して記憶させ、キャッシュメモリ４２に格納された参照ピクチャのうち、動き検出部１６が探索のために必要とする輝度成分の参照ピクチャデータを参照用ローカルメモリ４８に転送し、動き検出部１６がこれを参照して探索を行う。次に、参照メモリ管理部１２は、動き検出部１６が探索して求めた動き情報が示す位置の色差成分の参照ピクチャデータをキャッシュメモリ４２から参照用ローカルメモリ４６に転送し、これを動き補償部５２が参照して色差成分の動き補償を行う。
【００２９】
図３（ａ）は、図２のバススイッチ４４が外部メモリ３８からの直接の経路を選択する場合について、キャッシュメモリ４２におけるマッピングの例を示す模式図である。図３（ｂ）は、図２のバススイッチ４４がキャッシュメモリ４２からの経路を選択する場合について、キャッシュメモリ４２におけるマッピングの例を示す模式図である。図４は、キャッシュメモリ４２に格納される参照ピクチャが対応する領域の例を画面上で示す説明図である。
【００３０】
ここでは説明を簡単にするために、論理的なマッピングについて説明する。実際には、図４のように矩形領域が組み合わされた参照領域をキャッシュメモリ４２上にマッピングすることから、キャッシュメモリ４２上の物理的なマッピングを容易化するための工夫がなされることが多い。このような場合には、この論理的なマッピングが物理的なマッピングに変換されて用いられる。
【００３１】
キャッシュメモリ４２における参照ピクチャのうち、図４の参照対象領域ＲＦＡに該当する参照ピクチャデータが、動き検出部１６によって参照されるように、輝度成分の参照用ローカルメモリ４８に転送される。動き検出部１６によって使用された参照ピクチャのうち、次の符号化対象ブロックの参照ピクチャとして用いられない領域は、図４における次回開放領域ＲＥＬとして扱われる。
【００３２】
この領域は、以降の動き検出においても不要となることから、キャッシュメモリ４２において次の符号化対象ブロックの参照ピクチャとして用いる領域として活用するために、次回取得領域ＮＸＴのために予約される。また、これらの領域以外は、動き検出を行う上で符号化対象ブロックの参照ピクチャとしては用いないが、以降の動き検出を行う際に符号化対象ブロックの参照ピクチャとして用いる予備記憶領域ＳＵＢとしてマッピングされる。
【００３３】
すなわち、キャッシュメモリ４２上の参照ピクチャは、ＦＩＦＯ（first in, first out）的にマッピングされており、次回開放領域ＲＥＬが解放された直後に次回取得領域ＮＸＴのために予約され、参照対象領域ＲＦＡが参照用ローカルメモリ４８に転送されて動き検出部１６がこれを参照する。この動作を繰り返すことで、ピクチャ全体の動き検出を可能としている。また、このようなキャッシュメモリ４２の管理は、全て参照メモリ管理部１２によって行われる。
【００３４】
図２のバススイッチ４４が外部メモリ３８からの直接の経路を選択する場合には、図３（ａ）のように、キャッシュメモリ４２は、全て輝度成分の参照ピクチャデータを格納する領域ＡＬＲとして確保される。この領域の中に、参照対象領域ＲＦＡ、次回開放領域ＲＥＬ、次回取得領域ＮＸＴ、及び予備記憶領域ＳＵＢがマッピングされる。
【００３５】
一方、図２のバススイッチ４４がキャッシュメモリ４２からの経路を選択する場合には、図３（ｂ）のように、キャッシュメモリ４２は、輝度成分の参照ピクチャデータを格納する領域ＡＬＲの他、色差成分の参照ピクチャデータを格納する領域ＡＣＲとしても確保される。それぞれの領域に、参照対象領域ＲＦＡ、次回開放領域ＲＥＬ、次回取得領域ＮＸＴ、及び予備記憶領域ＳＵＢがマッピングされる。この場合、キャッシュメモリ４２は、例えば輝度成分の参照ピクチャの枚数を減らすことによって、領域ＡＬＲを図３（ａ）の場合より小さくし、空いた領域を色差成分のための領域ＡＣＲとして用いる。キャッシュメモリ４２には、輝度成分の参照ピクチャが記憶されないアドレス空間（領域ＡＣＲ）に格納可能な色差成分の参照ピクチャが記憶される。
【００３６】
ここで、図２の参照メモリ管理部１２は、符号化される入力ピクチャのフォーマットに従ってバススイッチ４４を切り替える。参照メモリ管理部１２は、例えばレジスタを有しており、入力ピクチャのフォーマットに応じて転送フラグを求めてこのレジスタに格納し、この転送フラグに従ってバススイッチ４４を切り替える。
【００３７】
例えば、参照メモリ管理部１２は、ピクチャ構造に従って転送フラグを求め、バススイッチ４４を切り替える。すなわち、入力ピクチャが、ラインが順次垂直方向に並んだフレーム構造である場合には、バススイッチ４４は、キャッシュメモリ４２からの経路を選択する。入力ピクチャが、奇数ラインのみが順次垂直方向に並んだ第１フィールドと、偶数ラインのみが順次垂直方向に並んだ第２フィールドとが交互に表示されるフィールド構造である場合には、バススイッチ４４は、外部メモリ３８からの直接の経路を選択する。
【００３８】
また、参照メモリ管理部１２は、入力ピクチャのレート（１秒間に表示されるピクチャの枚数や、１秒間に符号化処理が行われるピクチャの枚数）に従って転送フラグを求め、バススイッチ４４を切り替えてもよい。すなわち、入力ピクチャのレートが所定値以上の場合には、バススイッチ４４は、キャッシュメモリ４２からの経路を選択する。入力ピクチャのレートが所定値より小さい場合には、バススイッチ４４は、外部メモリ３８からの直接の経路を選択する。
【００３９】
また、参照メモリ管理部１２は、入力ピクチャのサイズ（１ライン当たりに表示される画素の数×ラインの数）に従って転送フラグを求め、バススイッチ４４を切り替えてもよい。すなわち、入力ピクチャのサイズが所定値以上の場合には、バススイッチ４４は、キャッシュメモリ４２からの経路を選択する。入力ピクチャのサイズが所定値より小さい場合には、バススイッチ４４は、外部メモリ３８からの直接の経路を選択する。
【００４０】
また、参照メモリ管理部１２は、入力ピクチャの色差信号フォーマット（ピクチャにおける輝度成分の画素及び２つの色差成分の画素の数に関する比であって、４：２：０、４：２：２、４：４：４のいずれか）又は１画素を表現するビットの数に従って転送フラグを求め、バススイッチ４４を切り替えてもよい。例えば、色差信号フォーマットが４：４：４である場合には、バススイッチ４４は、キャッシュメモリ４２からの経路を選択し、その他の場合には、バススイッチ４４は、外部メモリ３８からの直接の経路を選択する。
【００４１】
また、このような符号化される入力ピクチャのフォーマットの組合せに従って、参照メモリ管理部１２が転送フラグを求め、バススイッチ４４を切り替えるようにしてもよい。
【００４２】
図５は、図１の画像符号化装置１００を有するＡＶ（audiovisual）処理装置の構成例を示すブロック図である。図５のＡＶ処理装置１４０は、ＤＶＤ（Digital Versatile Disc）レコーダやハードディスクレコーダなど用いられ、ディジタル圧縮された音声及び画像の再生、並びに音声及び画像のディジタル圧縮を行う。ＡＶ処理装置１４０は、例えばITU-T Recommendation H.264に従って画像の符号化及び復号化を行う。
【００４３】
ＡＶ処理装置１４０は、図１の画像符号化装置１００と、画像復号化部１０２と、音声符号化部１０４と、音声復号化部１０６と、画像入出力部１１２と、画像処理部１１４と、音声入出力部１１６と、音声処理部１１８と、ストリーム入出力部１２２と、メモリ入出力部１２４と、ＡＶ制御部１２６と、システム制御部１２８と、バス１３２とを有している。また、外部制御部１３６がバス１３２に接続されている。
【００４４】
ストリーム入出力部１２２は、バス１３２に接続され、音声と画像のストリームデータＥＳＴＲを入出力する。画像符号化装置１００は、画像の符号化を行い、画像復号化部１０２は、画像の復号化を行う。音声符号化部１０４は、音声の符号化を行い、音声復号化部１０６は、音声の復号化を行う。メモリ入出力部１２４は、メモリ１３８のデータ信号の入出力インターフェースである。ここで、メモリ１３８は、図１の外部メモリ３８を含んでおり、ストリームデータ、符号化データ、復号化データ等のデータを格納する。
【００４５】
画像処理部１１４は、画像信号に対してプレ処理及びポスト処理を行う。画像入出力部１１２は、画像処理部１１４で処理した画像データ信号、又は画像処理部１１４で処理をせずに通過だけさせた画像データ信号を外部に画像信号ＥＶＳとして出力する。また、画像入出力部１１２は、外部からの画像信号ＥＶＳを受信する。
【００４６】
音声処理部１１８は、音声信号に対してプレ処理及びポスト処理を行う。音声入出力部１１６は、音声処理部１１８で処理した音声データ信号、又は音声処理部１１８で処理をせずに通過だけさせた音声データ信号を外部に音声信号ＥＡＳとして出力する。また、音声入出力部１１６は、外部からの音声信号ＥＡＳを受信する。ＡＶ制御部１２６は、ＡＶ処理装置１４０の全体制御を行う。バス１３２は、ストリームデータや音声・画像の復号データ等のデータを転送する。
【００４７】
ここでは、図５を参照して符号化動作のみを説明する。まず、画像信号ＥＶＳが画像入出力部１１２に入力され、音声信号ＥＡＳが音声入出力部１１６に入力される。次に、画像処理部１１４が、画像入出力部１１２に入力された画像信号ＥＶＳを用いて、フィルタ処理や符号化のための特徴量抽出等を行い、その結果を、メモリ入出力部１２４を介してメモリ１３８に原画像データとして格納する。次に、再びメモリ入出力部１２４を介してメモリ１３８から画像符号化装置１００に原画像データと参照ピクチャデータの転送を行う。画像符号化装置１００は、原画像データを符号化し、得られた画像ストリーム及び局所復元データをメモリ１３８に格納させる。
【００４８】
一方、音声処理部１１８が、音声入出力部１１６に入力された音声信号ＥＡＳを用いて、フィルタ処理や符号化のための特徴量抽出等を行い、その結果を、メモリ入出力部１２４を介してメモリ１３８に原音声データとして格納する。次に、再びメモリ入出力部１２４を介してメモリ１３８から音声符号化部１０４に原音声データの転送を行う。音声符号化部１０４は、原音声データを符号化し、得られた音声ストリームをメモリ１３８に格納させる。
【００４９】
最後に、ストリーム入出力部１２２は、画像ストリーム、音声ストリーム、及びその他のストリーム情報を１つのストリームに統合してストリームデータＥＳＴＲとして出力する。ストリームデータＥＳＴＲは、光ディスクやハードディスク等の蓄積メディアに書き込まれる。
【００５０】
図２の参照メモリ管理部１２が、符号化される入力ピクチャのフォーマットに従ってバススイッチ４４を切り替えることを説明したが、入力ピクチャのフォーマットは、例えば図５の画像入出力部１１２によって検出してもよいし、図５のシステム制御部１２８で実行されるシステムを制御するプログラムによって予め決められていてもよいし、外部制御部１３６によって決められていてもよい。
【００５１】
また、図２の参照メモリ管理部１２が、ストリーム入出力部１２２から出力されるストリームの符号化ビットレート（１秒間に出力されるストリームのビット数）に従ってバススイッチ４４を切り替えてもよい。ストリームの符号化ビットレートは、例えば図５のストリーム入出力部１２２によって検出してもよいし、システム制御部１２８で実行されるシステムを制御するプログラムによって予め決められていてもよいし、外部制御部１３６によって決められていてもよい。
【００５２】
また、図２の参照メモリ管理部１２が、メモリ入出力部１２４が制御するメモリ１３８の転送帯域（１秒間にメモリ１３８とメモリ入出力部１２４との間で転送されるデータ量）に従ってバススイッチ４４を切り替えてもよい。転送帯域は、例えばメモリ入出力部１２４によって検出してもよいし、システム制御部１２８で実行されるシステムを制御するプログラムによって予め決められていてもよいし、外部制御部１３６によって決められていてもよい。
【００５３】
また、これらの入力ピクチャのフォーマット、ストリームの符号化ビットレート、及びメモリの転送帯域の組合せに従って、参照メモリ管理部１２がバススイッチ４４を切り替えるようにしてもよい。
【００５４】
参照メモリ管理部１２は、動き検出装置１０の外部から設定された記録モードに従って転送フラグを求めてもよい。例えば、参照メモリ管理部１２への記録モードの設定は、画像入出力部１１２が直接実行してもよいし、ＡＶ制御部１２６が画像入出力部１１２から検出情報を抽出し、抽出された情報に従って実行してもよい。又は、ストリーム入出力部１２２やメモリ入出力部１２４が記録モードを設定してもよい。更には、ＡＶ処理装置１４０の全体を制御するシステム制御部１２８で実行されるシステムを制御するプログラムによって予め決められた記録モードに設定してもよいし、画像入出力部１１２、ストリーム入出力部１２２、又はメモリ入出力部１２４が検出した情報をシステム制御部１２８が抽出し、抽出された情報に従って記録モードを設定してもよい。また、外部制御部１３６から記録モードを設定してもよい。
【００５５】
また、記録モードに代えて転送フラグを参照メモリ管理部１２に直接設定するようにしてもよい。このように、参照メモリ管理部１２が実装される画像符号化装置１００に接続されているブロックであれば、転送フラグを直接又は間接的に設定してバススイッチ４４を切り替えることができる。
【００５６】
図６は、図１の画像符号化装置の変形例の構成を示すブロック図である。図６の画像符号化装置２００は、動き検出装置２１０と、動きベクトルメモリ２４と、動きベクトル予測部２６と、減算器２８，３４と、符号化部２３２と、加算器３６とを有している。動き検出装置２１０は、参照メモリ管理部１２、動き検出部１６及び動き補償部１８に代えて参照メモリ管理部２１２、動き検出部２１６、動き補償部２１８を有し、画像符号化制御部２１１を更に有している点が、図１の動き検出装置１０とは異なっている。参照メモリ管理部２１２、動き検出部２１６、動き補償部２１８、及び符号化部２３２は、画像符号化制御部２１１による制御を受ける点の他は、図１の参照メモリ管理部１２、動き検出部１６、動き補償部１８、及び符号化部３２と同様である。
【００５７】
画像符号化制御部２１１は、参照メモリ管理部２１２を動作させ、外部メモリ３８から内部参照メモリ１４に、動き検出部２１６、及び動き補償部２１８が参照する参照ピクチャを転送させる。内部参照メモリ１４に参照ピクチャデータが格納されると、画像符号化制御部２１１は動き検出部２１６を動作させ、参照ピクチャを探索する。動き検出部２１６が動きを探索すると、画像符号化制御部２１１は再び参照メモリ管理部２１２を動作させ、動き補償部２１８が必要とする参照ピクチャデータを転送させ、更に動き補償部２１８に動き補償を行わせる。
【００５８】
動き補償部２１８が動き補償を行うと、画像符号化制御部２１１は、符号化部２３２を動作させる。符号化部２３２は、動き補償部２１８が生成した予測画像と入力画像との差分を符号化してストリームＳＴＲとして出力すると同時に、差分画像データを出力する。次の画面間予測に必要となる参照ピクチャを外部メモリ３８に格納するために、差分画像データと動き補償部２１８が生成した予測画像とによって再構成画像が生成され、外部メモリ３８に転送される。
【００５９】
図７は、図６の画像符号化装置２００における処理の流れを示すフローチャートである。記録モード設定ステップＳ１２では、入力される画像の構成や出力するストリームの符号化ビットレート等が記録モードとして設定される。記録条件変換ステップＳ１４において、画像符号化制御部２１１は、記録モード設定ステップＳ１２で設定された記録モードを、所定の時間内に全ての処理を行うことが可能かを判断するために必要な情報（記録条件）に変換する。例えば、記録モード設定ステップＳ１２で設定された情報が、画像サイズ、表示レート、画像の組成、又は符号化ビットレートであったとすると、変換後の記録条件は、外部メモリ３８との間で単位時間当たりに転送するデータ量（データ転送帯域）、キャッシュメモリ４２の容量、又は画面間予測符号化処理を行う周波数である。
【００６０】
転送判定ステップＳ１６では、画像符号化制御部２１１は、変換後の記録条件が、従来の処理手順により画像符号化装置２００が発揮する最大性能を超過するか否かを判定する。必要とされる性能が最大性能を超過しないと判断された場合には、画像符号化制御部２１１は、転送フラグ設定ステップＳ１８で転送フラグを０に設定する。一方、必要とされる性能が最大性能を超過すると判断された場合には、画像符号化制御部２１１は、転送フラグ設定ステップＳ２０で転送フラグを１に設定する。このように、転送フラグは、設定された記録モードに従って設定される。参照メモリ管理部２１２は、例えばそのレジスタに転送フラグを格納する。
【００６１】
ステップＳ１８，Ｓ２０で設定された転送フラグの情報から、転送モード判定ステップＳ２２によって参照ピクチャの転送手順が切り替えられる。すなわち、転送フラグが０である場合には参照ピクチャ転送ステップＳ２４に進み、転送フラグが１である場合には参照ピクチャ転送ステップＳ２６に進むことにより、参照メモリ管理部２１２は、キャッシュメモリ４２に記憶させる内容を切り替える。
【００６２】
参照ピクチャ転送ステップＳ２４では、参照メモリ管理部２１２は、キャッシュメモリ４２を図３（ａ）のようなマッピングにした上で、外部メモリ３８から輝度成分の参照ピクチャデータをキャッシュメモリ４２に転送する。一方、参照ピクチャ転送ステップＳ２６では、参照メモリ管理部２１２は、キャッシュメモリ４２を輝度成分の参照ピクチャデータの他に色差成分の参照ピクチャデータをも格納することが可能な図３（ｂ）のようなマッピングにした上で、外部メモリ３８から輝度成分の参照ピクチャデータと共に色差成分の参照ピクチャデータもキャッシュメモリ４２に転送する。
【００６３】
参照ピクチャ転送ステップＳ２８では、画像符号化制御部２１１は、動き検出部１６が探索に必要とする参照ピクチャデータをキャッシュメモリ４２から参照用ローカルメモリ４８に転送させる。参照ピクチャ転送ステップＳ２８で、参照用ローカルメモリ４８に動き検出部１６が探索に必要とする参照ピクチャデータが格納されると、動き検出ステップＳ３０では、画像符号化制御部２１１は動き検出部１６に探索させる。
【００６４】
動き検出部１６による探索が行われると、再び、ステップＳ１８，Ｓ２０で設定された転送フラグの情報から、転送モード判定ステップＳ３２によって参照ピクチャの転送手順が切り替えられる。すなわち、転送フラグが０である場合には参照ピクチャ転送ステップＳ３４に進み、転送フラグが１である場合には参照ピクチャ転送ステップＳ３６に進む。
【００６５】
参照ピクチャ転送ステップＳ３４では、参照メモリ管理部２１２は、動き検出ステップＳ３０によって検出された動き情報から求められた動き補償に必要な参照ピクチャデータのうち、色差成分の参照ピクチャデータが外部メモリ３８から参照用ローカルメモリ４６に転送されるようにバススイッチ４４を切り替える。一方、参照ピクチャ転送ステップＳ３６では、参照メモリ管理部２１２は、動き補償に必要な参照ピクチャデータのうち、色差成分の参照ピクチャデータがキャッシュメモリ４２から参照用ローカルメモリ４６に転送されるようにバススイッチ４４を切り替える。
【００６６】
動き補償ステップＳ３８では、動き補償部２１８は、動き検出ステップＳ３０で検出された動き情報と、参照用ローカルメモリ４８に格納されている輝度成分の参照ピクチャデータとを用いて動き補償を行う。ここでは、参照ピクチャ転送ステップＳ３４，Ｓ３６の後に動き補償ステップＳ３８を行う場合について説明したが、動き補償ステップＳ３８の後に参照ピクチャ転送ステップＳ３４，Ｓ３６を行ってもよいし、動き補償ステップＳ３８を参照ピクチャ転送ステップＳ３４，Ｓ３６と同時に行ってもよい。参照ピクチャ転送ステップＳ３４で参照用ローカルメモリ４６に動き補償に必要な参照ピクチャが格納されると、動き補償ステップＳ４０では、動き補償部２１８は、動き検出ステップＳ３０で検出された動き情報と、参照用ローカルメモリ４６に格納されている色差成分の参照ピクチャデータとを用いて動き補償を行う。
【００６７】
動き補償ステップＳ３８，Ｓ４０で動き補償部２１８が予測画像を生成すると、符号化／ストリーム出力ステップＳ４２では、符号化部２３２は、入力画像と予測画像との差分を符号化してストリームＳＴＲを出力すると同時に、符号化データを復号化して、再構成画像を生成するための差分画像を生成する。加算器３６は、動き補償ステップＳ３８，Ｓ４０で生成された予測画像を用いて再構成画像を生成し、これを次の画面間予測に用いる参照ピクチャとして外部メモリ３８に転送する。
【００６８】
これら一連の処理は、記録終了判定ステップＳ４４で記録が終了と判定されるまで、再び記録モード設定ステップＳ１２の直後に戻って繰り返される。記録終了判定ステップＳ４４で記録が終了と判定されなかった場合には、記録状況監視ステップＳ４６で画像符号化装置２００の最大処理性能を超過していないかを監視した上で、再び記録モード設定ステップＳ１２の直後に戻る。記録条件変換ステップＳ１４では、ステップＳ４６で得られた監視情報も含めて、記録条件に変換される。記録終了判定ステップＳ４４で記録が終了と判定されると、画像符号化処理は終了する。
【００６９】
なお、ここに説明した一連の処理を制御する画像符号化制御部２１１は、プログラムを実行することによって動作するプロセッサであってもよいし、組合せ回路と順序回路とで構成されたシーケンサであってもよい。また、画像符号化制御部２１１は、画像符号化装置２００に実装される専用の制御部であるとして説明したが、図５におけるシステム制御部１２８や外部制御部１３６が画像符号化制御部２１１の機能を担うようにしてもよい。
【００７０】
以下では図１の画像符号化装置１００について説明するが、図６の画像符号化装置２００においても同様である。図８（ａ）は、図３（ａ）の第１の変形例を示す模式図である。図８（ｂ）は、図３（ｂ）の第１の変形例を示す模式図である。図９（ａ）は、図８（ａ）の場合にキャッシュメモリ４２に格納される参照ピクチャが対応する領域の例を画面上で示す説明図である。図９（ｂ）は、図８（ｂ）の場合にキャッシュメモリ４２に格納される参照ピクチャが対応する領域の例を画面上で示す説明図である。この例では、動き検出部１６において使用する参照ピクチャの数に応じて、キャッシュメモリ４２の領域を分割する。
【００７１】
ここでは、符号化対象となる単位ブロックの画面間予測の際に、複数の参照ピクチャを動き検出部１６が参照するために、図９（ａ），（ｂ）に示す様な参照対象領域ＲＦＡ、次回開放領域ＲＥＬ、次回取得領域ＮＸＴ、及び予備記憶領域ＳＵＢを、参照ピクチャの数だけ格納することが可能となるように、図８（ａ），（ｂ）のようにキャッシュメモリ４２にマッピングされ、図４と同様の動作が全ての参照ピクチャに対して実行される。
【００７２】
図２のバススイッチ４４が外部メモリ３８からの直接の経路を選択する場合には、図８（ａ）のように、キャッシュメモリ４２は、全て輝度成分の参照ピクチャデータを格納する領域ＡＬＲとして確保される。この領域の中に、動き検出部１６が参照するピクチャの数ｎだけ、参照対象領域ＲＦＡ、次回開放領域ＲＥＬ、次回取得領域ＮＸＴ、及び予備記憶領域ＳＵＢがマッピングされる。
【００７３】
一方、図２のバススイッチ４４がキャッシュメモリ４２からの経路を選択する場合には、図８（ｂ）のように、キャッシュメモリ４２は、輝度成分の参照ピクチャデータを格納する領域ＡＬＲの他、色差成分の参照ピクチャデータを格納する領域ＡＣＲとしても確保される。領域ＡＬＲにはｍ枚の輝度成分の参照ピクチャのための領域が、領域ＡＣＲにはｍ枚の色差成分の参照ピクチャのための領域がマッピングされ、各参照ピクチャの領域に対して参照対象領域ＲＦＡ、次回開放領域ＲＥＬ、次回取得領域ＮＸＴ、及び予備記憶領域ＳＵＢがマッピングされる。この場合、キャッシュメモリ４２は、例えば輝度成分の参照ピクチャの枚数を減らすことによって、領域ＡＬＲを図８（ａ）の場合より小さくし、空いた領域を色差成分のための領域ＡＣＲとして用いる。
【００７４】
この時、図８（ａ）において領域ＡＬＲのアドレス領域Ｒｅｆ（１）〜Ｒｅｆ（ｎ）にマッピングされた総容量は勿論のこと、図８（ｂ）における領域ＡＬＲと領域ＡＣＲのＲｅｆ（１）〜Ｒｅｆ（ｍ）のアドレス領域にマッピングされた総容量も、キャッシュメモリ４２の容量を超えない。動き検出部１６が探索する参照ピクチャの領域がバススイッチ４４の切り替えに依存することなく常に一定である場合には、キャッシュメモリ４２に全ての参照ピクチャを格納する必要があることから、参照ピクチャの数ｍは、参照ピクチャの数ｎより必ず小さくなる。
【００７５】
すなわち、バススイッチ４４を記録モードに従って静的に制御する場合、動き検出部１６に参照可能となるピクチャの数を、図９（ａ），（ｂ）に示すように変化させる。バススイッチ４４により色差成分の参照ピクチャデータを外部メモリ３８から直接参照用ローカルメモリ４６に転送する場合には、図９（ａ）に示すように、動き検出部１６はｎ枚のピクチャを参照ピクチャとして参照し、探索する。一方、バススイッチ４４により輝度成分の参照ピクチャデータと共に色差成分の参照ピクチャデータも外部メモリ３８からキャッシュメモリ４２に転送した後、キャッシュメモリ４２に格納された参照ピクチャのうち、特に色差成分の参照ピクチャデータを参照用ローカルメモリ４６に転送する場合には、図９（ｂ）に示すように、動き検出部１６はｎ枚より少ないｍ枚のピクチャを参照ピクチャとして参照し、探索することとなる。
【００７６】
なお、入力ピクチャの色差信号フォーマットが、４：２：０の場合には領域ＡＬＲと領域ＡＣＲの比を２対１、４：２：２の場合には領域ＡＬＲと領域ＡＣＲの比を１対１、４：４：４の場合には領域ＡＬＲと領域ＡＣＲの比を１対２となるようにマッピングすると、例えば、参照メモリ管理部１２により常に色差成分の参照ピクチャデータをキャッシュメモリ４２から参照用ローカルメモリ４６に転送するようにバススイッチ４４が制御されている場合には、最も効率よくキャッシュメモリ４２を活用することになる。
【００７７】
図１０（ａ）は、図３（ａ）の第２の変形例を示す模式図である。図１０（ｂ）は、図３（ｂ）の第２の変形例を示す模式図である。図１１（ａ）は、図１０（ａ）の場合にキャッシュメモリ４２に格納される参照ピクチャが対応する領域の例を画面上で示す説明図である。図１１（ｂ）は、図１０（ｂ）の場合にキャッシュメモリ４２に格納される参照ピクチャが対応する領域の例を画面上で示す説明図である。この例では、動き検出部１６において使用する参照ピクチャの数に応じて、キャッシュメモリ４２の領域を分割する。
【００７８】
図８（ｂ）の場合には、参照ピクチャの枚数をｍ（ｎ＜ｍ）としたが、図１０（ｂ）の場合には、参照ピクチャの枚数はｎのままである。このため、図１０（ｂ）に示す参照ピクチャの参照対象領域ＲＦＡは、図１０（ａ）に示す参照ピクチャの参照対象領域ＲＦＡより必ず小さくする。
【００７９】
バススイッチ４４により色差成分の参照ピクチャデータを外部メモリ３８から直接参照用ローカルメモリ４６に転送する場合には、図１１（ａ）に示すように、動き検出部１６はｎ枚の参照ピクチャにおいて例えば高さｈの参照領域を探索する。一方、バススイッチ４４により輝度成分の参照ピクチャデータと共に色差成分の参照ピクチャデータも外部メモリ３８からキャッシュメモリ４２に転送した後、キャッシュメモリ４２に格納された参照ピクチャのうち、特に色差成分の参照ピクチャデータを参照用ローカルメモリ４６に転送する場合には、図１１（ｂ）に示す様に、動き検出部１６は同じくｎ枚の参照ピクチャにおいて高さｉ（ｉ＜ｈ）の参照領域を探索する。
【００８０】
なお、ピクチャ構造に従って、すなわち、入力ピクチャがフレーム構造であるかフィールド構造であるかに従って、バススイッチ４４を切り替える場合には、フレーム構造では参照領域を狭くし、フィールド構造では参照領域を広くするようにすると、効率よくキャッシュメモリ４２を活用することができる。また、ピクチャを処理するレートに従ってバススイッチ４４を切り替える場合には、ピクチャの処理レートが低いときには参照領域を狭くし、ピクチャの処理レートが高いときには参照領域を広くするようにすると、効率よくキャッシュメモリ４２を活用することができる。
【００８１】
図１２（ａ）は、図３（ａ）の第３の変形例を示す模式図である。図１２（ｂ）は、図３（ｂ）の第３の変形例を示す模式図である。輝度成分の参照ピクチャは動き検出部１６によって参照されるので、参照ピクチャの数や探索領域を大きく制限することは画質を劣化させる原因にもなる。このような影響を極力抑えるために、図１２（ｂ）では、領域ＡＬＲにはｍ枚の輝度成分の参照ピクチャのための領域が、領域ＡＣＲにはｋ枚の色差成分の参照ピクチャのための領域がマッピングされ（ｍ＞ｋ）、各参照ピクチャの領域に対して参照対象領域ＲＦＡ、次回開放領域ＲＥＬ、次回取得領域ＮＸＴ、及び予備記憶領域ＳＵＢがマッピングされる。
【００８２】
この時、図１２（ａ）において領域ＡＬＲ（Ｒｅｆ（１）〜Ｒｅｆ（ｎ））にマッピングされた参照ピクチャの総容量は勿論のこと、図１２（ｂ）における領域ＡＬＲ（Ｒｅｆ（１）〜Ｒｅｆ（ｍ））と領域ＡＣＲ（Ｒｅｆ（１）〜Ｒｅｆ（ｋ））にマッピングされた参照ピクチャの総容量も、キャッシュメモリ４２の容量を超えないようにする。
【００８３】
キャシュメモリ４２に格納される色差成分の参照ピクチャの枚数が輝度成分の参照ピクチャの枚数より少ないので、参照用ローカルメモリ４６に転送する必要がある参照ピクチャデータがキャシュメモリ４２に格納されているか否かに応じて、バススイッチ４４を動的に制御する必要がある。このような制御は、全て参照メモリ管理部１２が行う。
【００８４】
参照メモリ管理部１２は、まず輝度成分の参照ピクチャデータと共に色差成分の参照ピクチャデータも外部メモリ３８からキャッシュメモリ４２に転送する。その後、動き検出部１６が、キャッシュメモリ４２に転送された色差成分の参照ピクチャに対応する輝度成分の参照ピクチャを、符号化に最適な参照ピクチャとして用いた場合には、参照メモリ管理部１２は、キャッシュメモリ４２から色差成分の参照ピクチャデータを参照用ローカルメモリ４６に転送するようにバススイッチ４４を切り替える。
【００８５】
一方、参照メモリ管理部１２が参照ピクチャデータを転送後、動き検出部１６が、キャッシュメモリ４２に転送されていない色差成分の参照ピクチャに対応する輝度成分の参照ピクチャを、符号化に最適な参照ピクチャとして用いた場合には、参照メモリ管理部１２は、色差成分の参照ピクチャデータを外部メモリ３８から直接、参照用ローカルメモリ４６に転送するようにバススイッチ４４を切り替える。
【００８６】
なお、図１２（ａ）のような輝度成分の参照ピクチャデータのみをキャッシュメモリに格納する場合において、動き検出部１６が参照するピクチャ全ての参照ピクチャデータを格納しても、まだキャッシュメモリ４２に空き領域が存在する場合には、この空き領域に色差成分の参照ピクチャデータを格納してもよい。上述のような制御を行うことによって、無駄なくキャッシュメモリ４２を活用することができる。
【００８７】
以上の図１、図２、図５、図６等のブロック図における各機能ブロックは、典型的にはＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部、又は全てを含むように１チップ化されてもよい。例えば、外部メモリ３８やメモリ１３８以外の機能ブロックが１チップ化されていてもよい。
【００８８】
図１の外部メモリ３８や図５のメモリ１３８は、大量のデータを保持する必要があるため、一般的にはＬＳＩに外付けされる大容量のＤＲＡＭ等で実装されるが、これらのメモリも含めて１パッケージ化や１チップ化してもよい。
【００８９】
ここでは、ＬＳＩと称したが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
【００９０】
本発明の多くの特徴及び優位性は、記載された説明から明らかであり、よって添付の特許請求の範囲によって、本発明のそのような特徴及び優位性の全てをカバーすることが意図される。更に、多くの変更及び改変が当業者には容易に可能であるので、本発明は、図示され記載されたものと全く同じ構成及び動作に限定されるべきではない。したがって、全ての適切な改変物及び等価物は本発明の範囲に入るものとされる。
【産業上の利用可能性】
【００９１】
以上説明したように、本発明の実施形態によると、外部メモリからのデータ転送を減少させることができるので、本発明は、動き検出装置等について有用である。
【符号の説明】
【００９２】
１０，２１０  動き検出装置
１２，２１２  参照メモリ管理部
１４  内部参照メモリ
１６，２１６  動き検出部
１８，２１８  動き補償部
３８  外部メモリ
【図１】
2010021153.tif 000003
【図２】
2010021153.tif 000004
【図３】
2010021153.tif 000005
【図４】
2010021153.tif 000006
【図５】
2010021153.tif 000007
【図６】
2010021153.tif 000008
【図７】
2010021153.tif 000009
【図８】
2010021153.tif 000010
【図９】
2010021153.tif 000011
【図１０】
2010021153.tif 000012
【図１１】
2010021153.tif 000013
【図１２】
2010021153.tif 000014
【手続補正書】
【提出日】平成22年11月30日(2010.11.30)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ピクチャを構成するブロックの動き検出を行う動き検出装置に関する。
【背景技術】
【０００２】
動き検出のために、複数の参照ピクチャを格納するマルチフレームメモリが用いられてきた。マルチフレームメモリは、動き検出装置の外部に接続された外部メモリと、動き検出装置の内部にあってブロックマッチング時にアクセスされる内部メモリとに分けて実装される（例えば特許文献１参照）。
【０００３】
ところで、ＭＰＥＧ（Moving Picture Experts Group）やＩＴＵ（International Telecommunications Union）等の国際標準化団体によって標準化された多くの画像符号化方式は、人間の視覚特性を活かし、画像を構成する個々の画素を輝度成分と色差成分とに分けて符号化を行う。特に動き検出を行う場合には、参照ピクチャを格納するメモリの容量、及び動き検出の処理に必要となる演算量を抑えるために、一般的には輝度成分のみを用いる（例えば、特許文献２参照）。
【０００４】
このような輝度成分のみを用いて動き検出を行う動き検出装置では、まず、参照ピクチャ内の探索対象となる領域の輝度成分の画素が、外部メモリから外部接続バスを経由して内部メモリに転送され、格納される。動き検出の際には、この内部メモリに格納された参照ピクチャが読み出され、用いられる。
【０００５】
その後、動き補償が行われる。この際、輝度成分については、内部メモリに格納されているデータが利用される。しかし、色差成分については、外部メモリから外部接続バスを経由して読み出す必要がある。このため、外部接続バスのデータ転送量が大きくなってしまう。
【０００６】
このような構成であっても、符号化される画像のサイズがＳＤ（standard definition）画像のように小さい場合には問題はない。符号化される画像のサイズがＨＤ（high definition）画像のように大きい場合であっても、単位時間当たりの画像の数、すなわちピクチャレートが比較的低ければ、必要となるデータ転送レートは、外部接続バスにおいて許容される単位時間当たりの最大転送量を超過せず、問題はない。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平５−２６０４６１号公報
【特許文献２】国際公開第９８／０４２１３５号
【非特許文献】
【０００８】
【非特許文献１】"Advanced video coding for generic audiovisual services"（§8.4 Inter prediction process），ITU-T Recommendation H.264，2007年11月，pp.143-169
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、近年、ＨＤ画像の記録が可能な民生ビデオカメラが普及しつつあり、近い将来、記録される画像のサイズがより大きくなることや、ピクチャレートがより高くなることも予想される。
【００１０】
これに対処するためには、外部メモリをより高性能なものに置き換えることや、外付けするメモリの数を増やすことにより、外部接続バスにおいて許容される単位時間当たりの転送量を増大させることが１つの方法である。しかし、外部メモリをより高性能なものに置き換える場合には、外部メモリとして高価なメモリが必要となる他、バスの動作速度が上がるので、動き検出装置を含む製品全体の消費電力も増大してしまう。外付けするメモリの数を増やす場合にも、コスト及び消費電力が増大してしまう。
【００１１】
また、参照ピクチャの数を減らしたり、動きを探索できる範囲を縮小する方法もあるが、安易にこのようなことを行うと、記録される画像の質が大きく劣化してしまう。
【００１２】
本発明は、コストの増大や画質の劣化を抑えながら、よりサイズが大きな画像の符号化や、より高いピクチャレートでの画像の符号化を実現することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の実施形態による動き検出装置は、参照ピクチャを用いて、入力ピクチャを構成するブロック毎に動きを検出する動き検出装置であって、当該動き検出装置の外部から転送された前記参照ピクチャを記憶する内部参照メモリと、前記内部参照メモリに記憶されている、前記参照ピクチャの画素データを用いて、前記入力ピクチャのブロックであって動き検出の対象となる対象ブロックの動き情報を検出する動き検出部と、前記動き検出部によって検出された動き情報を用いて、前記対象ブロックに動き補償を行う動き補償部と、前記内部参照メモリを制御する参照メモリ管理部とを有する。前記参照メモリ管理部は、前記内部参照メモリに、前記参照ピクチャとして、輝度成分の参照ピクチャ及び色差成分の参照ピクチャを記憶させることが可能である。
【００１４】
これによると、外部からのデータ転送頻度を減少させることができ、外部から転送される単位時間当たりのデータ量を減少させることができる。このため、より高いピクチャレートでの符号化等が可能になる。
【発明の効果】
【００１５】
本発明によれば、動き補償に用いられる、色差成分の参照ピクチャの外部メモリからの転送を減少させることができるので、より高いピクチャレートでの画像の符号化や、よりサイズが大きな画像の符号化を、例えば外部メモリ及び内部メモリのコスト、装置の消費電力の増加、並びに画質の劣化を抑えながら行うことができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態に係る画像符号化装置の構成を示すブロック図である。
【図２】図１の動き検出装置の構成例を示すブロック図である。
【図３】図３（ａ）は、図２のバススイッチが外部メモリからの直接の経路を選択する場合について、キャッシュメモリにおけるマッピングの例を示す模式図である。図３（ｂ）は、図２のバススイッチがキャッシュメモリからの経路を選択する場合について、キャッシュメモリにおけるマッピングの例を示す模式図である。
【図４】キャッシュメモリに格納される参照ピクチャが対応する領域の例を画面上で示す説明図である。
【図５】図１の画像符号化装置を有するＡＶ処理装置の構成例を示すブロック図である。
【図６】図１の画像符号化装置の変形例の構成を示すブロック図である。
【図７】図６の画像符号化装置における処理の流れを示すフローチャートである。
【図８】図８（ａ）は、図３（ａ）の第１の変形例を示す模式図である。図８（ｂ）は、図３（ｂ）の第１の変形例を示す模式図である。
【図９】図９（ａ）は、図８（ａ）の場合にキャッシュメモリに格納される参照ピクチャが対応する領域の例を画面上で示す説明図である。図９（ｂ）は、図８（ｂ）の場合にキャッシュメモリに格納される参照ピクチャが対応する領域の例を画面上で示す説明図である。
【図１０】図１０（ａ）は、図３（ａ）の第２の変形例を示す模式図である。図１０（ｂ）は、図３（ｂ）の第２の変形例を示す模式図である。
【図１１】図１１（ａ）は、図１０（ａ）の場合にキャッシュメモリに格納される参照ピクチャが対応する領域の例を画面上で示す説明図である。図１１（ｂ）は、図１０（ｂ）の場合にキャッシュメモリに格納される参照ピクチャが対応する領域の例を画面上で示す説明図である。
【図１２】図１２（ａ）は、図３（ａ）の第３の変形例を示す模式図である。図１２（ｂ）は、図３（ｂ）の第３の変形例を示す模式図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００１８】
図１は、本発明の実施形態に係る画像符号化装置の構成を示すブロック図である。図１の画像符号化装置１００は、画面間予測符号化を行う画像符号化装置であって、動き検出装置１０と、動きベクトルメモリ２４と、動きベクトル予測部２６と、減算器２８，３４と、符号化部３２と、加算器３６とを有している。動き検出装置１０は、参照メモリ管理部１２と、内部参照メモリ１４と、動き検出部１６と、動き補償部１８とを有している。ここでは例として、動き検出装置１０は１チップ化され、１つのＬＳＩ（large-scale integration）を構成しているとする。
【００１９】
動き検出装置１０には、外部メモリ３８が外部接続バスを介して接続されている。外部メモリ３８は、ＳＤＲＡＭ（synchronous dynamic random-access memory）等の大容量メモリであって、画面間予測に必要となる複数の動き検出用参照ピクチャを格納するマルチフレームメモリとして用いられる。参照メモリ管理部１２は、外部メモリ３８から内部参照メモリ１４へのデータ転送を制御する。参照メモリ管理部１２は、動き補償予測で用いられる領域の画素データを、外部メモリ３８から内部参照メモリ１４に転送させる。
【００２０】
動き検出部１６には、符号化の対象とされる入力ピクチャが画像信号ＶＩＮとして入力されている。動き検出部１６は、外部メモリ３８から読み出された動き検出用参照ピクチャを、内部参照メモリ１４を経由して受け取り、入力ピクチャを構成するブロック毎に、動きベクトルＭＶと参照フレーム番号ＲＦＮを求めて出力する。参照フレーム番号ＲＦＮは、複数の参照ピクチャのうち、入力ピクチャの符号化の際に参照される参照ピクチャを特定するための番号である。動きベクトルＭＶは、動きベクトルメモリ２４に一時的に記憶された後、近傍動きベクトルＰＶＭとして出力される。動きベクトル予測部２６は、近傍動きベクトルＰＶＭを参照して、予測動きベクトルＰＤＭを予測する。
【００２１】
減算器２８は、動きベクトルＭＶから予測動きベクトルＰＤＭを減算し、得られた差を動きベクトル予測差分ＤＭＶとして出力する。一方、内部参照メモリ１４は、参照フレーム番号ＲＦＮ及び動きベクトルＭＶで示される画素を動き補償参照画素ＭＣＰとして出力する。動き補償部１８は、動きベクトルＭＶ及び動き補償参照画素ＭＣＰに従って小数画素精度の参照画素を生成し、参照画面画素ＭＣＰ２として出力する。減算器３４は、入力ピクチャから参照画面画素ＭＣＰ２を減算し、得られた差を画面予測誤差ＤＰとして出力する。
【００２２】
符号化部３２は、画面予測誤差ＤＰに離散コサイン変換（ＤＣＴ）及び量子化を行い、量子化されたＤＣＴ係数、動きベクトル予測差分ＤＭＶ及び参照フレーム番号ＲＦＮを可変長符号化し、得られた符号化された画像データを画像ストリームＳＴＲとして出力する。また、符号化部３２は、符号化された画面予測誤差を復号化し、その結果を復号画面予測誤差ＲＤＰとして出力する。復号画面予測誤差ＲＤＰは、画面予測誤差ＤＰに符号化誤差が重畳された誤差であり、画像ストリームＳＴＲを復号化して得られる画面間予測誤差と一致する。
【００２３】
加算器３６は、参照画面画素ＭＣＰ２に復号画面予測誤差ＲＤＰを加算し、その結果を復号画面ＲＰとして外部マルチフレームメモリ３８に記憶される。但し、外部メモリ３８及び内部参照メモリ１４の容量を有効に利用するため、これらのメモリに記憶されている画面が不要な場合にはその画面が記憶されていた領域は開放され、これらのメモリに記憶する必要がない画面の復号画面ＲＰは記憶されない。
【００２４】
図２は、図１の動き検出装置１０の構成例を示すブロック図である。内部参照メモリ１４は、キャッシュメモリ４２と、バススイッチ４４と、参照用ローカルメモリ４６，４８を有している。動き補償部１８は、色差用動き補償部５２と、輝度用動き補償部５４とを有している。
【００２５】
キャッシュメモリ４２は、外部メモリ３８から転送された画素を記憶し、参照用ローカルメモリ４８及びバススイッチ４４に出力する。参照用ローカルメモリ４８は、動き検出部１６が実際に画素探索を行う際に参照される。このように階層的に構成されているのは、外部メモリ３８から転送される画素の転送量を削減するためである。すなわち、一度に大量の参照ピクチャをキャッシュメモリ４２に格納することによって外部メモリ３８へのアクセス頻度を低く抑え、参照ピクチャへのアクセス頻度が高くなる動き検出実行時には、キャッシュメモリ４２から参照用ローカルメモリ４８に参照ピクチャデータを随時転送させる。
【００２６】
バススイッチ４４は、色差成分の参照ピクチャを格納する参照用ローカルメモリ４６への入力経路を切り替える。つまり、バススイッチ４４は、参照メモリ管理部１２の指示に従って、外部メモリ３８に格納されている色差成分の参照ピクチャデータを、直接、参照用ローカルメモリ４６に転送、又は、キャッシュメモリ４２に格納させてから参照用ローカルメモリ４６に転送する。
【００２７】
バススイッチ４４が、外部メモリ３８からの直接の経路を選択する場合には、次のような動作が行われる。まず、参照メモリ管理部１２は、動き検出部１６が探索のために必要とする輝度成分の参照ピクチャを外部メモリ３８からキャッシュメモリ４２に転送して記憶させ、キャッシュメモリ４２に格納された参照ピクチャのうち、動き検出部１６が探索に必要とする参照ピクチャデータを参照用ローカルメモリ４８に転送し、動き検出部１６がこれを参照して探索を行う。この場合、参照メモリ管理部１２は、色差成分の参照ピクチャをキャッシュメモリ４２に記憶させない。次に、参照メモリ管理部１２は、動き検出部１６が探索して得られた動き情報（動きベクトル）が示す位置の色差成分の参照ピクチャデータを外部メモリ３８から直接、参照用ローカルメモリ４６に転送し、これを動き補償部５２が参照して色差成分の動き補償を行う。
【００２８】
一方、バススイッチ４４が、キャッシュメモリ４２からの経路を選択する場合には、次のような動作が行われる。まず、参照メモリ管理部１２は、動き検出部１６が探索のために必要とする輝度成分の参照ピクチャを外部メモリ３８からキャッシュメモリ４２に転送して記憶させる。この際、参照メモリ管理部１２は、輝度成分と同じ位置の対応する色差成分の参照ピクチャもキャッシュメモリ４２に転送して記憶させ、キャッシュメモリ４２に格納された参照ピクチャのうち、動き検出部１６が探索のために必要とする輝度成分の参照ピクチャデータを参照用ローカルメモリ４８に転送し、動き検出部１６がこれを参照して探索を行う。次に、参照メモリ管理部１２は、動き検出部１６が探索して求めた動き情報が示す位置の色差成分の参照ピクチャデータをキャッシュメモリ４２から参照用ローカルメモリ４６に転送し、これを動き補償部５２が参照して色差成分の動き補償を行う。
【００２９】
図３（ａ）は、図２のバススイッチ４４が外部メモリ３８からの直接の経路を選択する場合について、キャッシュメモリ４２におけるマッピングの例を示す模式図である。図３（ｂ）は、図２のバススイッチ４４がキャッシュメモリ４２からの経路を選択する場合について、キャッシュメモリ４２におけるマッピングの例を示す模式図である。図４は、キャッシュメモリ４２に格納される参照ピクチャが対応する領域の例を画面上で示す説明図である。
【００３０】
ここでは説明を簡単にするために、論理的なマッピングについて説明する。実際には、図４のように矩形領域が組み合わされた参照領域をキャッシュメモリ４２上にマッピングすることから、キャッシュメモリ４２上の物理的なマッピングを容易化するための工夫がなされることが多い。このような場合には、この論理的なマッピングが物理的なマッピングに変換されて用いられる。
【００３１】
キャッシュメモリ４２における参照ピクチャのうち、図４の参照対象領域ＲＦＡに該当する参照ピクチャデータが、動き検出部１６によって参照されるように、輝度成分の参照用ローカルメモリ４８に転送される。動き検出部１６によって使用された参照ピクチャのうち、次の符号化対象ブロックの参照ピクチャとして用いられない領域は、図４における次回開放領域ＲＥＬとして扱われる。
【００３２】
この領域は、以降の動き検出においても不要となることから、キャッシュメモリ４２において次の符号化対象ブロックの参照ピクチャとして用いる領域として活用するために、次回取得領域ＮＸＴのために予約される。また、これらの領域以外は、動き検出を行う上で符号化対象ブロックの参照ピクチャとしては用いないが、以降の動き検出を行う際に符号化対象ブロックの参照ピクチャとして用いる予備記憶領域ＳＵＢとしてマッピングされる。
【００３３】
すなわち、キャッシュメモリ４２上の参照ピクチャは、ＦＩＦＯ（first in, first out）的にマッピングされており、次回開放領域ＲＥＬが解放された直後に次回取得領域ＮＸＴのために予約され、参照対象領域ＲＦＡが参照用ローカルメモリ４８に転送されて動き検出部１６がこれを参照する。この動作を繰り返すことで、ピクチャ全体の動き検出を可能としている。また、このようなキャッシュメモリ４２の管理は、全て参照メモリ管理部１２によって行われる。
【００３４】
図２のバススイッチ４４が外部メモリ３８からの直接の経路を選択する場合には、図３（ａ）のように、キャッシュメモリ４２は、全て輝度成分の参照ピクチャデータを格納する領域ＡＬＲとして確保される。この領域の中に、参照対象領域ＲＦＡ、次回開放領域ＲＥＬ、次回取得領域ＮＸＴ、及び予備記憶領域ＳＵＢがマッピングされる。
【００３５】
一方、図２のバススイッチ４４がキャッシュメモリ４２からの経路を選択する場合には、図３（ｂ）のように、キャッシュメモリ４２は、輝度成分の参照ピクチャデータを格納する領域ＡＬＲの他、色差成分の参照ピクチャデータを格納する領域ＡＣＲとしても確保される。それぞれの領域に、参照対象領域ＲＦＡ、次回開放領域ＲＥＬ、次回取得領域ＮＸＴ、及び予備記憶領域ＳＵＢがマッピングされる。この場合、キャッシュメモリ４２は、例えば輝度成分の参照ピクチャの枚数を減らすことによって、領域ＡＬＲを図３（ａ）の場合より小さくし、空いた領域を色差成分のための領域ＡＣＲとして用いる。キャッシュメモリ４２には、輝度成分の参照ピクチャが記憶されないアドレス空間（領域ＡＣＲ）に格納可能な色差成分の参照ピクチャが記憶される。
【００３６】
ここで、図２の参照メモリ管理部１２は、符号化される入力ピクチャのフォーマットに従ってバススイッチ４４を切り替える。参照メモリ管理部１２は、例えばレジスタを有しており、入力ピクチャのフォーマットに応じて転送フラグを求めてこのレジスタに格納し、この転送フラグに従ってバススイッチ４４を切り替える。
【００３７】
例えば、参照メモリ管理部１２は、ピクチャ構造に従って転送フラグを求め、バススイッチ４４を切り替える。すなわち、入力ピクチャが、ラインが順次垂直方向に並んだフレーム構造である場合には、バススイッチ４４は、キャッシュメモリ４２からの経路を選択する。入力ピクチャが、奇数ラインのみが順次垂直方向に並んだ第１フィールドと、偶数ラインのみが順次垂直方向に並んだ第２フィールドとが交互に表示されるフィールド構造である場合には、バススイッチ４４は、外部メモリ３８からの直接の経路を選択する。
【００３８】
また、参照メモリ管理部１２は、入力ピクチャのレート（１秒間に表示されるピクチャの枚数や、１秒間に符号化処理が行われるピクチャの枚数）に従って転送フラグを求め、バススイッチ４４を切り替えてもよい。すなわち、入力ピクチャのレートが所定値以上の場合には、バススイッチ４４は、キャッシュメモリ４２からの経路を選択する。入力ピクチャのレートが所定値より小さい場合には、バススイッチ４４は、外部メモリ３８からの直接の経路を選択する。
【００３９】
また、参照メモリ管理部１２は、入力ピクチャのサイズ（１ライン当たりに表示される画素の数×ラインの数）に従って転送フラグを求め、バススイッチ４４を切り替えてもよい。すなわち、入力ピクチャのサイズが所定値以上の場合には、バススイッチ４４は、キャッシュメモリ４２からの経路を選択する。入力ピクチャのサイズが所定値より小さい場合には、バススイッチ４４は、外部メモリ３８からの直接の経路を選択する。
【００４０】
また、参照メモリ管理部１２は、入力ピクチャの色差信号フォーマット（ピクチャにおける輝度成分の画素及び２つの色差成分の画素の数に関する比であって、４：２：０、４：２：２、４：４：４のいずれか）又は１画素を表現するビットの数に従って転送フラグを求め、バススイッチ４４を切り替えてもよい。例えば、色差信号フォーマットが４：４：４である場合には、バススイッチ４４は、キャッシュメモリ４２からの経路を選択し、その他の場合には、バススイッチ４４は、外部メモリ３８からの直接の経路を選択する。
【００４１】
また、このような符号化される入力ピクチャのフォーマットの組合せに従って、参照メモリ管理部１２が転送フラグを求め、バススイッチ４４を切り替えるようにしてもよい。
【００４２】
図５は、図１の画像符号化装置１００を有するＡＶ（audiovisual）処理装置の構成例を示すブロック図である。図５のＡＶ処理装置１４０は、ＤＶＤ（Digital Versatile Disc）レコーダやハードディスクレコーダなど用いられ、ディジタル圧縮された音声及び画像の再生、並びに音声及び画像のディジタル圧縮を行う。ＡＶ処理装置１４０は、例えばITU-T Recommendation H.264に従って画像の符号化及び復号化を行う。
【００４３】
ＡＶ処理装置１４０は、図１の画像符号化装置１００と、画像復号化部１０２と、音声符号化部１０４と、音声復号化部１０６と、画像入出力部１１２と、画像処理部１１４と、音声入出力部１１６と、音声処理部１１８と、ストリーム入出力部１２２と、メモリ入出力部１２４と、ＡＶ制御部１２６と、システム制御部１２８と、バス１３２とを有している。また、外部制御部１３６がバス１３２に接続されている。
【００４４】
ストリーム入出力部１２２は、バス１３２に接続され、音声と画像のストリームデータＥＳＴＲを入出力する。画像符号化装置１００は、画像の符号化を行い、画像復号化部１０２は、画像の復号化を行う。音声符号化部１０４は、音声の符号化を行い、音声復号化部１０６は、音声の復号化を行う。メモリ入出力部１２４は、メモリ１３８のデータ信号の入出力インターフェースである。ここで、メモリ１３８は、図１の外部メモリ３８を含んでおり、ストリームデータ、符号化データ、復号化データ等のデータを格納する。
【００４５】
画像処理部１１４は、画像信号に対してプレ処理及びポスト処理を行う。画像入出力部１１２は、画像処理部１１４で処理した画像データ信号、又は画像処理部１１４で処理をせずに通過だけさせた画像データ信号を外部に画像信号ＥＶＳとして出力する。また、画像入出力部１１２は、外部からの画像信号ＥＶＳを受信する。
【００４６】
音声処理部１１８は、音声信号に対してプレ処理及びポスト処理を行う。音声入出力部１１６は、音声処理部１１８で処理した音声データ信号、又は音声処理部１１８で処理をせずに通過だけさせた音声データ信号を外部に音声信号ＥＡＳとして出力する。また、音声入出力部１１６は、外部からの音声信号ＥＡＳを受信する。ＡＶ制御部１２６は、ＡＶ処理装置１４０の全体制御を行う。バス１３２は、ストリームデータや音声・画像の復号データ等のデータを転送する。
【００４７】
ここでは、図５を参照して符号化動作のみを説明する。まず、画像信号ＥＶＳが画像入出力部１１２に入力され、音声信号ＥＡＳが音声入出力部１１６に入力される。次に、画像処理部１１４が、画像入出力部１１２に入力された画像信号ＥＶＳを用いて、フィルタ処理や符号化のための特徴量抽出等を行い、その結果を、メモリ入出力部１２４を介してメモリ１３８に原画像データとして格納する。次に、再びメモリ入出力部１２４を介してメモリ１３８から画像符号化装置１００に原画像データと参照ピクチャデータの転送を行う。画像符号化装置１００は、原画像データを符号化し、得られた画像ストリーム及び局所復元データをメモリ１３８に格納させる。
【００４８】
一方、音声処理部１１８が、音声入出力部１１６に入力された音声信号ＥＡＳを用いて、フィルタ処理や符号化のための特徴量抽出等を行い、その結果を、メモリ入出力部１２４を介してメモリ１３８に原音声データとして格納する。次に、再びメモリ入出力部１２４を介してメモリ１３８から音声符号化部１０４に原音声データの転送を行う。音声符号化部１０４は、原音声データを符号化し、得られた音声ストリームをメモリ１３８に格納させる。
【００４９】
最後に、ストリーム入出力部１２２は、画像ストリーム、音声ストリーム、及びその他のストリーム情報を１つのストリームに統合してストリームデータＥＳＴＲとして出力する。ストリームデータＥＳＴＲは、光ディスクやハードディスク等の蓄積メディアに書き込まれる。
【００５０】
図２の参照メモリ管理部１２が、符号化される入力ピクチャのフォーマットに従ってバススイッチ４４を切り替えることを説明したが、入力ピクチャのフォーマットは、例えば図５の画像入出力部１１２によって検出してもよいし、図５のシステム制御部１２８で実行されるシステムを制御するプログラムによって予め決められていてもよいし、外部制御部１３６によって決められていてもよい。
【００５１】
また、図２の参照メモリ管理部１２が、ストリーム入出力部１２２から出力されるストリームの符号化ビットレート（１秒間に出力されるストリームのビット数）に従ってバススイッチ４４を切り替えてもよい。ストリームの符号化ビットレートは、例えば図５のストリーム入出力部１２２によって検出してもよいし、システム制御部１２８で実行されるシステムを制御するプログラムによって予め決められていてもよいし、外部制御部１３６によって決められていてもよい。
【００５２】
また、図２の参照メモリ管理部１２が、メモリ入出力部１２４が制御するメモリ１３８の転送帯域（１秒間にメモリ１３８とメモリ入出力部１２４との間で転送されるデータ量）に従ってバススイッチ４４を切り替えてもよい。転送帯域は、例えばメモリ入出力部１２４によって検出してもよいし、システム制御部１２８で実行されるシステムを制御するプログラムによって予め決められていてもよいし、外部制御部１３６によって決められていてもよい。
【００５３】
また、これらの入力ピクチャのフォーマット、ストリームの符号化ビットレート、及びメモリの転送帯域の組合せに従って、参照メモリ管理部１２がバススイッチ４４を切り替えるようにしてもよい。
【００５４】
参照メモリ管理部１２は、動き検出装置１０の外部から設定された記録モードに従って転送フラグを求めてもよい。例えば、参照メモリ管理部１２への記録モードの設定は、画像入出力部１１２が直接実行してもよいし、ＡＶ制御部１２６が画像入出力部１１２から検出情報を抽出し、抽出された情報に従って実行してもよい。又は、ストリーム入出力部１２２やメモリ入出力部１２４が記録モードを設定してもよい。更には、ＡＶ処理装置１４０の全体を制御するシステム制御部１２８で実行されるシステムを制御するプログラムによって予め決められた記録モードに設定してもよいし、画像入出力部１１２、ストリーム入出力部１２２、又はメモリ入出力部１２４が検出した情報をシステム制御部１２８が抽出し、抽出された情報に従って記録モードを設定してもよい。また、外部制御部１３６から記録モードを設定してもよい。
【００５５】
また、記録モードに代えて転送フラグを参照メモリ管理部１２に直接設定するようにしてもよい。このように、参照メモリ管理部１２が実装される画像符号化装置１００に接続されているブロックであれば、転送フラグを直接又は間接的に設定してバススイッチ４４を切り替えることができる。
【００５６】
図６は、図１の画像符号化装置の変形例の構成を示すブロック図である。図６の画像符号化装置２００は、動き検出装置２１０と、動きベクトルメモリ２４と、動きベクトル予測部２６と、減算器２８，３４と、符号化部２３２と、加算器３６とを有している。動き検出装置２１０は、参照メモリ管理部１２、動き検出部１６及び動き補償部１８に代えて参照メモリ管理部２１２、動き検出部２１６、動き補償部２１８を有し、画像符号化制御部２１１を更に有している点が、図１の動き検出装置１０とは異なっている。参照メモリ管理部２１２、動き検出部２１６、動き補償部２１８、及び符号化部２３２は、画像符号化制御部２１１による制御を受ける点の他は、図１の参照メモリ管理部１２、動き検出部１６、動き補償部１８、及び符号化部３２と同様である。
【００５７】
画像符号化制御部２１１は、参照メモリ管理部２１２を動作させ、外部メモリ３８から内部参照メモリ１４に、動き検出部２１６、及び動き補償部２１８が参照する参照ピクチャを転送させる。内部参照メモリ１４に参照ピクチャデータが格納されると、画像符号化制御部２１１は動き検出部２１６を動作させ、参照ピクチャを探索する。動き検出部２１６が動きを探索すると、画像符号化制御部２１１は再び参照メモリ管理部２１２を動作させ、動き補償部２１８が必要とする参照ピクチャデータを転送させ、更に動き補償部２１８に動き補償を行わせる。
【００５８】
動き補償部２１８が動き補償を行うと、画像符号化制御部２１１は、符号化部２３２を動作させる。符号化部２３２は、動き補償部２１８が生成した予測画像と入力画像との差分を符号化してストリームＳＴＲとして出力すると同時に、差分画像データを出力する。次の画面間予測に必要となる参照ピクチャを外部メモリ３８に格納するために、差分画像データと動き補償部２１８が生成した予測画像とによって再構成画像が生成され、外部メモリ３８に転送される。
【００５９】
図７は、図６の画像符号化装置２００における処理の流れを示すフローチャートである。記録モード設定ステップＳ１２では、入力される画像の構成や出力するストリームの符号化ビットレート等が記録モードとして設定される。記録条件変換ステップＳ１４において、画像符号化制御部２１１は、記録モード設定ステップＳ１２で設定された記録モードを、所定の時間内に全ての処理を行うことが可能かを判断するために必要な情報（記録条件）に変換する。例えば、記録モード設定ステップＳ１２で設定された情報が、画像サイズ、表示レート、画像の組成、又は符号化ビットレートであったとすると、変換後の記録条件は、外部メモリ３８との間で単位時間当たりに転送するデータ量（データ転送帯域）、キャッシュメモリ４２の容量、又は画面間予測符号化処理を行う周波数である。
【００６０】
転送判定ステップＳ１６では、画像符号化制御部２１１は、変換後の記録条件が、従来の処理手順により画像符号化装置２００が発揮する最大性能を超過するか否かを判定する。必要とされる性能が最大性能を超過しないと判断された場合には、画像符号化制御部２１１は、転送フラグ設定ステップＳ１８で転送フラグを０に設定する。一方、必要とされる性能が最大性能を超過すると判断された場合には、画像符号化制御部２１１は、転送フラグ設定ステップＳ２０で転送フラグを１に設定する。このように、転送フラグは、設定された記録モードに従って設定される。参照メモリ管理部２１２は、例えばそのレジスタに転送フラグを格納する。
【００６１】
ステップＳ１８，Ｓ２０で設定された転送フラグの情報から、転送モード判定ステップＳ２２によって参照ピクチャの転送手順が切り替えられる。すなわち、転送フラグが０である場合には参照ピクチャ転送ステップＳ２４に進み、転送フラグが１である場合には参照ピクチャ転送ステップＳ２６に進むことにより、参照メモリ管理部２１２は、キャッシュメモリ４２に記憶させる内容を切り替える。
【００６２】
参照ピクチャ転送ステップＳ２４では、参照メモリ管理部２１２は、キャッシュメモリ４２を図３（ａ）のようなマッピングにした上で、外部メモリ３８から輝度成分の参照ピクチャデータをキャッシュメモリ４２に転送する。一方、参照ピクチャ転送ステップＳ２６では、参照メモリ管理部２１２は、キャッシュメモリ４２を輝度成分の参照ピクチャデータの他に色差成分の参照ピクチャデータをも格納することが可能な図３（ｂ）のようなマッピングにした上で、外部メモリ３８から輝度成分の参照ピクチャデータと共に色差成分の参照ピクチャデータもキャッシュメモリ４２に転送する。
【００６３】
参照ピクチャ転送ステップＳ２８では、画像符号化制御部２１１は、動き検出部１６が探索に必要とする参照ピクチャデータをキャッシュメモリ４２から参照用ローカルメモリ４８に転送させる。参照ピクチャ転送ステップＳ２８で、参照用ローカルメモリ４８に動き検出部１６が探索に必要とする参照ピクチャデータが格納されると、動き検出ステップＳ３０では、画像符号化制御部２１１は動き検出部１６に探索させる。
【００６４】
動き検出部１６による探索が行われると、再び、ステップＳ１８，Ｓ２０で設定された転送フラグの情報から、転送モード判定ステップＳ３２によって参照ピクチャの転送手順が切り替えられる。すなわち、転送フラグが０である場合には参照ピクチャ転送ステップＳ３４に進み、転送フラグが１である場合には参照ピクチャ転送ステップＳ３６に進む。
【００６５】
参照ピクチャ転送ステップＳ３４では、参照メモリ管理部２１２は、動き検出ステップＳ３０によって検出された動き情報から求められた動き補償に必要な参照ピクチャデータのうち、色差成分の参照ピクチャデータが外部メモリ３８から参照用ローカルメモリ４６に転送されるようにバススイッチ４４を切り替える。一方、参照ピクチャ転送ステップＳ３６では、参照メモリ管理部２１２は、動き補償に必要な参照ピクチャデータのうち、色差成分の参照ピクチャデータがキャッシュメモリ４２から参照用ローカルメモリ４６に転送されるようにバススイッチ４４を切り替える。
【００６６】
動き補償ステップＳ３８では、動き補償部２１８は、動き検出ステップＳ３０で検出された動き情報と、参照用ローカルメモリ４８に格納されている輝度成分の参照ピクチャデータとを用いて動き補償を行う。ここでは、参照ピクチャ転送ステップＳ３４，Ｓ３６の後に動き補償ステップＳ３８を行う場合について説明したが、動き補償ステップＳ３８の後に参照ピクチャ転送ステップＳ３４，Ｓ３６を行ってもよいし、動き補償ステップＳ３８を参照ピクチャ転送ステップＳ３４，Ｓ３６と同時に行ってもよい。参照ピクチャ転送ステップＳ３４で参照用ローカルメモリ４６に動き補償に必要な参照ピクチャが格納されると、動き補償ステップＳ４０では、動き補償部２１８は、動き検出ステップＳ３０で検出された動き情報と、参照用ローカルメモリ４６に格納されている色差成分の参照ピクチャデータとを用いて動き補償を行う。
【００６７】
動き補償ステップＳ３８，Ｓ４０で動き補償部２１８が予測画像を生成すると、符号化／ストリーム出力ステップＳ４２では、符号化部２３２は、入力画像と予測画像との差分を符号化してストリームＳＴＲを出力すると同時に、符号化データを復号化して、再構成画像を生成するための差分画像を生成する。加算器３６は、動き補償ステップＳ３８，Ｓ４０で生成された予測画像を用いて再構成画像を生成し、これを次の画面間予測に用いる参照ピクチャとして外部メモリ３８に転送する。
【００６８】
これら一連の処理は、記録終了判定ステップＳ４４で記録が終了と判定されるまで、再び記録モード設定ステップＳ１２の直後に戻って繰り返される。記録終了判定ステップＳ４４で記録が終了と判定されなかった場合には、記録状況監視ステップＳ４６で画像符号化装置２００の最大処理性能を超過していないかを監視した上で、再び記録モード設定ステップＳ１２の直後に戻る。記録条件変換ステップＳ１４では、ステップＳ４６で得られた監視情報も含めて、記録条件に変換される。記録終了判定ステップＳ４４で記録が終了と判定されると、画像符号化処理は終了する。
【００６９】
なお、ここに説明した一連の処理を制御する画像符号化制御部２１１は、プログラムを実行することによって動作するプロセッサであってもよいし、組合せ回路と順序回路とで構成されたシーケンサであってもよい。また、画像符号化制御部２１１は、画像符号化装置２００に実装される専用の制御部であるとして説明したが、図５におけるシステム制御部１２８や外部制御部１３６が画像符号化制御部２１１の機能を担うようにしてもよい。
【００７０】
以下では図１の画像符号化装置１００について説明するが、図６の画像符号化装置２００においても同様である。図８（ａ）は、図３（ａ）の第１の変形例を示す模式図である。図８（ｂ）は、図３（ｂ）の第１の変形例を示す模式図である。図９（ａ）は、図８（ａ）の場合にキャッシュメモリ４２に格納される参照ピクチャが対応する領域の例を画面上で示す説明図である。図９（ｂ）は、図８（ｂ）の場合にキャッシュメモリ４２に格納される参照ピクチャが対応する領域の例を画面上で示す説明図である。この例では、動き検出部１６において使用する参照ピクチャの数に応じて、キャッシュメモリ４２の領域を分割する。
【００７１】
ここでは、符号化対象となる単位ブロックの画面間予測の際に、複数の参照ピクチャを動き検出部１６が参照するために、図９（ａ），（ｂ）に示す様な参照対象領域ＲＦＡ、次回開放領域ＲＥＬ、次回取得領域ＮＸＴ、及び予備記憶領域ＳＵＢを、参照ピクチャの数だけ格納することが可能となるように、図８（ａ），（ｂ）のようにキャッシュメモリ４２にマッピングされ、図４と同様の動作が全ての参照ピクチャに対して実行される。
【００７２】
図２のバススイッチ４４が外部メモリ３８からの直接の経路を選択する場合には、図８（ａ）のように、キャッシュメモリ４２は、全て輝度成分の参照ピクチャデータを格納する領域ＡＬＲとして確保される。この領域の中に、動き検出部１６が参照するピクチャの数ｎだけ、参照対象領域ＲＦＡ、次回開放領域ＲＥＬ、次回取得領域ＮＸＴ、及び予備記憶領域ＳＵＢがマッピングされる。
【００７３】
一方、図２のバススイッチ４４がキャッシュメモリ４２からの経路を選択する場合には、図８（ｂ）のように、キャッシュメモリ４２は、輝度成分の参照ピクチャデータを格納する領域ＡＬＲの他、色差成分の参照ピクチャデータを格納する領域ＡＣＲとしても確保される。領域ＡＬＲにはｍ枚の輝度成分の参照ピクチャのための領域が、領域ＡＣＲにはｍ枚の色差成分の参照ピクチャのための領域がマッピングされ、各参照ピクチャの領域に対して参照対象領域ＲＦＡ、次回開放領域ＲＥＬ、次回取得領域ＮＸＴ、及び予備記憶領域ＳＵＢがマッピングされる。この場合、キャッシュメモリ４２は、例えば輝度成分の参照ピクチャの枚数を減らすことによって、領域ＡＬＲを図８（ａ）の場合より小さくし、空いた領域を色差成分のための領域ＡＣＲとして用いる。
【００７４】
この時、図８（ａ）において領域ＡＬＲのアドレス領域Ｒｅｆ（１）〜Ｒｅｆ（ｎ）にマッピングされた総容量は勿論のこと、図８（ｂ）における領域ＡＬＲと領域ＡＣＲのＲｅｆ（１）〜Ｒｅｆ（ｍ）のアドレス領域にマッピングされた総容量も、キャッシュメモリ４２の容量を超えない。動き検出部１６が探索する参照ピクチャの領域がバススイッチ４４の切り替えに依存することなく常に一定である場合には、キャッシュメモリ４２に全ての参照ピクチャを格納する必要があることから、参照ピクチャの数ｍは、参照ピクチャの数ｎより必ず小さくなる。
【００７５】
すなわち、バススイッチ４４を記録モードに従って静的に制御する場合、動き検出部１６に参照可能となるピクチャの数を、図９（ａ），（ｂ）に示すように変化させる。バススイッチ４４により色差成分の参照ピクチャデータを外部メモリ３８から直接参照用ローカルメモリ４６に転送する場合には、図９（ａ）に示すように、動き検出部１６はｎ枚のピクチャを参照ピクチャとして参照し、探索する。一方、バススイッチ４４により輝度成分の参照ピクチャデータと共に色差成分の参照ピクチャデータも外部メモリ３８からキャッシュメモリ４２に転送した後、キャッシュメモリ４２に格納された参照ピクチャのうち、特に色差成分の参照ピクチャデータを参照用ローカルメモリ４６に転送する場合には、図９（ｂ）に示すように、動き検出部１６はｎ枚より少ないｍ枚のピクチャを参照ピクチャとして参照し、探索することとなる。
【００７６】
なお、入力ピクチャの色差信号フォーマットが、４：２：０の場合には領域ＡＬＲと領域ＡＣＲの比を２対１、４：２：２の場合には領域ＡＬＲと領域ＡＣＲの比を１対１、４：４：４の場合には領域ＡＬＲと領域ＡＣＲの比を１対２となるようにマッピングすると、例えば、参照メモリ管理部１２により常に色差成分の参照ピクチャデータをキャッシュメモリ４２から参照用ローカルメモリ４６に転送するようにバススイッチ４４が制御されている場合には、最も効率よくキャッシュメモリ４２を活用することになる。
【００７７】
図１０（ａ）は、図３（ａ）の第２の変形例を示す模式図である。図１０（ｂ）は、図３（ｂ）の第２の変形例を示す模式図である。図１１（ａ）は、図１０（ａ）の場合にキャッシュメモリ４２に格納される参照ピクチャが対応する領域の例を画面上で示す説明図である。図１１（ｂ）は、図１０（ｂ）の場合にキャッシュメモリ４２に格納される参照ピクチャが対応する領域の例を画面上で示す説明図である。この例では、動き検出部１６において使用する参照ピクチャの数に応じて、キャッシュメモリ４２の領域を分割する。
【００７８】
図８（ｂ）の場合には、参照ピクチャの枚数をｍ（ｎ＜ｍ）としたが、図１０（ｂ）の場合には、参照ピクチャの枚数はｎのままである。このため、図１０（ｂ）に示す参照ピクチャの参照対象領域ＲＦＡは、図１０（ａ）に示す参照ピクチャの参照対象領域ＲＦＡより必ず小さくする。
【００７９】
バススイッチ４４により色差成分の参照ピクチャデータを外部メモリ３８から直接参照用ローカルメモリ４６に転送する場合には、図１１（ａ）に示すように、動き検出部１６はｎ枚の参照ピクチャにおいて例えば高さｈの参照領域を探索する。一方、バススイッチ４４により輝度成分の参照ピクチャデータと共に色差成分の参照ピクチャデータも外部メモリ３８からキャッシュメモリ４２に転送した後、キャッシュメモリ４２に格納された参照ピクチャのうち、特に色差成分の参照ピクチャデータを参照用ローカルメモリ４６に転送する場合には、図１１（ｂ）に示す様に、動き検出部１６は同じくｎ枚の参照ピクチャにおいて高さｉ（ｉ＜ｈ）の参照領域を探索する。
【００８０】
なお、ピクチャ構造に従って、すなわち、入力ピクチャがフレーム構造であるかフィールド構造であるかに従って、バススイッチ４４を切り替える場合には、フレーム構造では参照領域を狭くし、フィールド構造では参照領域を広くするようにすると、効率よくキャッシュメモリ４２を活用することができる。また、ピクチャを処理するレートに従ってバススイッチ４４を切り替える場合には、ピクチャの処理レートが低いときには参照領域を狭くし、ピクチャの処理レートが高いときには参照領域を広くするようにすると、効率よくキャッシュメモリ４２を活用することができる。
【００８１】
図１２（ａ）は、図３（ａ）の第３の変形例を示す模式図である。図１２（ｂ）は、図３（ｂ）の第３の変形例を示す模式図である。輝度成分の参照ピクチャは動き検出部１６によって参照されるので、参照ピクチャの数や探索領域を大きく制限することは画質を劣化させる原因にもなる。このような影響を極力抑えるために、図１２（ｂ）では、領域ＡＬＲにはｍ枚の輝度成分の参照ピクチャのための領域が、領域ＡＣＲにはｋ枚の色差成分の参照ピクチャのための領域がマッピングされ（ｍ＞ｋ）、各参照ピクチャの領域に対して参照対象領域ＲＦＡ、次回開放領域ＲＥＬ、次回取得領域ＮＸＴ、及び予備記憶領域ＳＵＢがマッピングされる。
【００８２】
この時、図１２（ａ）において領域ＡＬＲ（Ｒｅｆ（１）〜Ｒｅｆ（ｎ））にマッピングされた参照ピクチャの総容量は勿論のこと、図１２（ｂ）における領域ＡＬＲ（Ｒｅｆ（１）〜Ｒｅｆ（ｍ））と領域ＡＣＲ（Ｒｅｆ（１）〜Ｒｅｆ（ｋ））にマッピングされた参照ピクチャの総容量も、キャッシュメモリ４２の容量を超えないようにする。
【００８３】
キャシュメモリ４２に格納される色差成分の参照ピクチャの枚数が輝度成分の参照ピクチャの枚数より少ないので、参照用ローカルメモリ４６に転送する必要がある参照ピクチャデータがキャシュメモリ４２に格納されているか否かに応じて、バススイッチ４４を動的に制御する必要がある。このような制御は、全て参照メモリ管理部１２が行う。
【００８４】
参照メモリ管理部１２は、まず輝度成分の参照ピクチャデータと共に色差成分の参照ピクチャデータも外部メモリ３８からキャッシュメモリ４２に転送する。その後、動き検出部１６が、キャッシュメモリ４２に転送された色差成分の参照ピクチャに対応する輝度成分の参照ピクチャを、符号化に最適な参照ピクチャとして用いた場合には、参照メモリ管理部１２は、キャッシュメモリ４２から色差成分の参照ピクチャデータを参照用ローカルメモリ４６に転送するようにバススイッチ４４を切り替える。
【００８５】
一方、参照メモリ管理部１２が参照ピクチャデータを転送後、動き検出部１６が、キャッシュメモリ４２に転送されていない色差成分の参照ピクチャに対応する輝度成分の参照ピクチャを、符号化に最適な参照ピクチャとして用いた場合には、参照メモリ管理部１２は、色差成分の参照ピクチャデータを外部メモリ３８から直接、参照用ローカルメモリ４６に転送するようにバススイッチ４４を切り替える。
【００８６】
なお、図１２（ａ）のような輝度成分の参照ピクチャデータのみをキャッシュメモリに格納する場合において、動き検出部１６が参照するピクチャ全ての参照ピクチャデータを格納しても、まだキャッシュメモリ４２に空き領域が存在する場合には、この空き領域に色差成分の参照ピクチャデータを格納してもよい。上述のような制御を行うことによって、無駄なくキャッシュメモリ４２を活用することができる。
【００８７】
以上の図１、図２、図５、図６等のブロック図における各機能ブロックは、典型的にはＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部、又は全てを含むように１チップ化されてもよい。例えば、外部メモリ３８やメモリ１３８以外の機能ブロックが１チップ化されていてもよい。
【００８８】
図１の外部メモリ３８や図５のメモリ１３８は、大量のデータを保持する必要があるため、一般的にはＬＳＩに外付けされる大容量のＤＲＡＭ等で実装されるが、これらのメモリも含めて１パッケージ化や１チップ化してもよい。
【００８９】
ここでは、ＬＳＩと称したが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
【００９０】
本発明の多くの特徴及び優位性は、記載された説明から明らかであり、よって添付の特許請求の範囲によって、本発明のそのような特徴及び優位性の全てをカバーすることが意図される。更に、多くの変更及び改変が当業者には容易に可能であるので、本発明は、図示され記載されたものと全く同じ構成及び動作に限定されるべきではない。したがって、全ての適切な改変物及び等価物は本発明の範囲に入るものとされる。
【産業上の利用可能性】
【００９１】
以上説明したように、本発明の実施形態によると、外部メモリからのデータ転送を減少させることができるので、本発明は、動き検出装置等について有用である。
【符号の説明】
【００９２】
１０，２１０  動き検出装置
１２，２１２  参照メモリ管理部
１４  内部参照メモリ
１６，２１６  動き検出部
１８，２１８  動き補償部
３８  外部メモリ
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
参照ピクチャを用いて、入力ピクチャを構成するブロック毎に動きを検出する動き検出装置であって、
当該動き検出装置の外部から転送された前記参照ピクチャを記憶する内部参照メモリと、
前記内部参照メモリに記憶されている、前記参照ピクチャの画素データを用いて、前記入力ピクチャのブロックであって動き検出の対象となる対象ブロックの動き情報を検出する動き検出部と、
前記動き検出部によって検出された動き情報を用いて、前記対象ブロックに動き補償を行う動き補償部と、
前記内部参照メモリを制御する参照メモリ管理部とを備え、
前記参照メモリ管理部は、
前記内部参照メモリに、前記参照ピクチャとして、輝度成分の参照ピクチャ及び色差成分の参照ピクチャを記憶させることが可能である
動き検出装置。
【請求項２】
請求項１に記載の動き検出装置において、
前記参照メモリ管理部は、
前記内部参照メモリに、所定の枚数及び所定の大きさの領域の輝度成分の参照ピクチャを記憶させ、色差成分の参照ピクチャを記憶させない第１の動作、又は、前記内部参照メモリに、前記第１の動作の場合より少ない容量の輝度成分の参照ピクチャと、前記第１の動作の場合より少ない容量の輝度成分の参照ピクチャに対応する色差成分の参照ピクチャとを記憶させる第２の動作のいずれかを行う
ことを特徴とする動き検出装置。
【請求項３】
請求項２に記載の動き検出装置において、
前記内部参照メモリは、
前記参照メモリ管理部が前記第２の動作を行う場合には、前記所定の大きさの領域より小さい領域の輝度成分の参照ピクチャを記憶する
ことを特徴とする動き検出装置。
【請求項４】
請求項２に記載の動き検出装置において、
前記内部参照メモリは、
前記参照メモリ管理部が前記第２の動作を行う場合には、前記所定の枚数より少ない枚数の輝度成分の参照ピクチャを記憶する
ことを特徴とする動き検出装置。
【請求項５】
請求項２に記載の動き検出装置において、
前記動き補償部は、
動き補償に必要であるが、前記内部参照メモリに格納されない色差成分の参照ピクチャを、当該動き検出装置の外部から読み出す
ことを特徴とする動き検出装置。
【請求項６】
請求項２に記載の動き検出装置において、
前記動き補償部は、
前記参照メモリ管理部が前記第１の動作を行う場合には、前記動き検出部で検出された動き情報に対応する位置の輝度成分の参照ピクチャを前記内部参照メモリから読み出し、読み出された輝度成分の参照ピクチャを用いて輝度成分についての動き補償を行い、前記位置の色差成分の参照ピクチャを当該動き検出装置の外部から受け取り、受け取った色差成分の参照ピクチャを用いて色差成分についての動き補償を行う
ことを特徴とする動き検出装置。
【請求項７】
請求項６に記載の動き検出装置において、
前記内部参照メモリは、
前記参照メモリ管理部が前記第１の動作を行う場合には、輝度成分の参照ピクチャのみを記憶するようにマッピングされている
ことを特徴とする動き検出装置。
【請求項８】
請求項２に記載の動き検出装置において、
前記動き補償部は、
前記参照メモリ管理部が前記第２の動作を行う場合には、前記動き検出部で検出された動き情報に対応する位置の輝度成分の参照ピクチャ及び色差成分の参照ピクチャを前記内部参照メモリから読み出し、読み出された輝度成分の参照ピクチャ及び色差成分の参照ピクチャをそれぞれ用いて輝度成分及び色差成分についての動き補償を行う
ことを特徴とする動き検出装置。
【請求項９】
請求項８に記載の動き検出装置において、
前記内部参照メモリは、
前記参照メモリ管理部が前記第２の動作を行う場合には、輝度成分の参照ピクチャ及び色差成分の参照ピクチャを記憶するようにマッピングされている
ことを特徴とする動き検出装置。
【請求項１０】
請求項２に記載の動き検出装置において、
前記参照メモリ管理部は、
前記入力ピクチャのフォーマットに従って、前記第１の動作又は前記第２の動作のいずれかを行う
ことを特徴とする動き検出装置。
【請求項１１】
請求項１０に記載の動き検出装置において、
前記入力ピクチャのフォーマットは、前記入力ピクチャがフレームピクチャ又はフィールドピクチャのいずれであるかを示す
ことを特徴とする動き検出装置。
【請求項１２】
請求項１０に記載の動き検出装置において、
前記入力ピクチャのフォーマットは、前記入力ピクチャの表示レートである
ことを特徴とする動き検出装置。
【請求項１３】
請求項１０に記載の動き検出装置において、
前記入力ピクチャのフォーマットは、前記入力ピクチャのサイズである
ことを特徴とする動き検出装置。
【請求項１４】
請求項１０に記載の動き検出装置において、
前記入力ピクチャのフォーマットは、前記入力ピクチャの色差信号フォーマットである
ことを特徴とする動き検出装置。
【請求項１５】
請求項２に記載の動き検出装置において、
前記参照メモリ管理部は、
フラグに従って、前記第１の動作又は前記第２の動作のいずれかを行う
ことを特徴とする動き検出装置。
【請求項１６】
請求項１５に記載の動き検出装置において、
前記フラグは、当該動き検出装置の外部から設定される
ことを特徴とする動き検出装置。
【請求項１７】
請求項１５に記載の動き検出装置において、
前記参照メモリ管理部は、
前記入力ピクチャに従って前記フラグを求める
ことを特徴とする動き検出装置。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2010021153.tif 000015
【図２】
2010021153.tif 000016
【図３】
2010021153.tif 000017
【図４】
2010021153.tif 000018
【図５】
2010021153.tif 000019
【図６】
2010021153.tif 000020
【図７】
2010021153.tif 000021
【図８】
2010021153.tif 000022
【図９】
2010021153.tif 000023
【図１０】
2010021153.tif 000024
【図１１】
2010021153.tif 000025
【図１２】
2010021153.tif 000026
【国際調査報告】
2010021153.tif 000027
2010021153.tif 000028