(57)【要約】【課題】  画像符号化処理における複数の符号化対象ピクチャでみたローカルメモリへのデータ転送量を削減する動き検出装置、動き検出方法を提供する。【解決手段】  動き検出装置は、（ａ）第１の符号化対象ピクチャに属する第１の符号化対象画像領域の画素データが格納される符号化対象ブロックローカルメモリ１１１、（ｂ）第２の符号化対象ピクチャに属する第２の符号化対象画像領域の画素データが格納される符号化対象ブロックローカルメモリ１１２、（ｃ）第１の符号化対象ピクチャと第２の符号化対象ピクチャとの動き検出に使用される参照ピクチャに属する参照対象画像領域の画素データが格納される参照用ローカルメモリ５２、（ｄ）参照対象画像領域の画素データと、第１の符号化対象画像領域の画素データおよび第２の符号化対象画像領域の画素データのそれぞれに対してブロックマッチングしてピクチャ間の動きを検出する動き検出器１１３を備える。【選択図】  図１
2007020123.tif 000002
【特許請求の範囲】
【請求項１】
フレームメモリに蓄積されている符号化済みの参照ピクチャを用いて、ピクチャの間の動きを所定の画像領域単位で検出する動き検出装置であって、
第１の符号化対象ピクチャに属する第１の符号化対象画像領域の画素データが蓄積される第１の記憶手段と、
前記第１の符号化対象ピクチャとは異なる第２の符号化対象ピクチャに属する第２の符号化対象画像領域の画素データが蓄積される第２の記憶手段と、
前記参照ピクチャに属する参照対象画像領域の画素データが蓄積される第３の記憶手段と、
前記参照対象画像領域の画素データと、前記第１の符号化対象画像領域の画素データおよび前記第２の符号化対象画像領域の画素データのそれぞれに対してブロックマッチングしてピクチャ間の動きを検出する動き検出手段と
を備えることを特徴とする動き検出装置。
【請求項２】
前記動き検出手段は、
前記参照対象画像領域の画素データに対して、前記第１の符号化対象画像領域の画素データおよび前記第２の符号化対象画像領域の画素データを、逐次処理および並列処理のいずれかでブロックマッチングする
ことを特徴とする請求項１に記載の動き検出装置。
【請求項３】
前記第１の記憶手段は、
前記第１の符号化対象画像領域が前記所定の画像領域のＮ（Ｎは自然数。）倍である
ことを特徴とする請求項１に記載の動き検出装置。
【請求項４】
前記第３の記憶手段は、
前記第１の符号化対象画像領域の画素データおよび前記第２の符号化対象画像領域の画素データのＭ（Ｍは自然数。）組単位で、前記参照対象画像領域の画素データが更新される
ことを特徴とする請求項１に記載の動き検出装置。
【請求項５】
前記動き検出手段は、複数の演算資源によって並列に動作する
ことを特徴とする請求項１に記載の動き検出装置。
【請求項６】
前記第１の符号化対象画像領域の画素データに対して復号化処理を施して生成した復号画素データを局所復号画素データとした場合において、
前記動き検出手段は、
前記第２の符号化対象画像領域に対する動き検出を行うときに、前記局所復号画素データ、および前記局所復号画素データの周辺の復号画素データも参照して動き検出を行う
ことを特徴とする請求項１に記載の動き検出装置。
【請求項７】
請求項１〜６のいずれかに記載の動き検出装置と、
前記動き検出装置で検出して得られた結果を用いて復号化した画素データに基づいて、動画像の画素データを符号化する符号化手段と
を備えることを特徴とする画面間予測符号化装置。
【請求項８】
前記画面間予測符号化装置は、さらに、
前記符号化手段による符号化の前半処理後のビット情報を前記所定の画像領域単位で蓄積するビット情報メモリを備え、
前記符号化手段は、後半処理では前記ビット情報を用いて符号化を行なう
ことを特徴とする請求項７に記載の画面間予測符号化装置。
【請求項９】
フレームメモリに蓄積されている符号化済みの参照ピクチャを用いて、ピクチャの間の動きを所定の画像領域単位で検出する動き検出方法であって、
第１の符号化対象ピクチャに属する第１の符号化対象画像領域の画素データを第１の記憶手段に蓄積する第１の蓄積ステップと、
前記第１の符号化対象ピクチャとは異なる第２の符号化対象ピクチャに属する第２の符号化対象画像領域の画素データを第２の記憶手段に蓄積する第２の蓄積ステップと、
前記参照ピクチャに属する参照対象画像領域の画素データを第３の記憶手段に蓄積する第３の蓄積ステップと、
前記参照対象画像領域の画素データと、前記第１の符号化対象画像領域の画素データおよび前記第２の符号化対象画像領域の画素データのそれぞれに対してブロックマッチングしてピクチャ間の動きを検出する動き検出ステップと
を含むことを特徴とする動き検出方法。
【請求項１０】
フレームメモリに蓄積されている符号化済みの参照ピクチャを用いて、ピクチャの間の動きを所定の画像領域単位で検出する動き検出集積回路であって、
第１の符号化対象ピクチャに属する第１の符号化対象画像領域の画素データが蓄積される第１の記憶手段と、
前記第１の符号化対象ピクチャとは異なる第２の符号化対象ピクチャに属する第２の符号化対象画像領域の画素データが蓄積される第２の記憶手段と、
前記参照ピクチャに属する参照対象画像領域の画素データが蓄積される第３の記憶手段と、
前記参照対象画像領域の画素データと、前記第１の符号化対象画像領域の画素データおよび前記第２の符号化対象画像領域の画素データのそれぞれに対してブロックマッチングしてピクチャ間の動きを検出する動き検出手段と
を備えることを特徴とする動き検出集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化対象ピクチャに属する符号化対象画像領域の画素データと参照ピクチャに属する参照対象画像領域の画素データとに対してブロックマッチング演算を行い、ピクチャ間の動きを検出する動き検出装置に関する。
【背景技術】
【０００２】
近年、音声、画像、その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり、新聞、雑誌、テレビ、ラジオ、電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきている。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、これらの情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。
【０００３】
ところが、各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合は、１文字当たりの情報量が１〜２バイトであるのに対し、音声の場合は、１秒当たり６４Ｋｂｉｔ（電話品質）が必要となる。さらに、動画については、１秒当たり１００Ｍｂｉｔ（現行テレビ受信品質）以上の情報量が必要となる。このように、これらの情報メディアに対して、その膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、６４Ｋｂｉｔ／ｓ〜１．５Ｍｂｉｔ／ｓの伝送速度を持つサービス総合ディジタル網（ＩＳＤＮ：Ｉｎｔｅｇｒａｔｅｄ  Ｓｅｒｖｉｃｅｓ  Ｄｉｇｉｔａｌ  Ｎｅｔｗｏｒｋ）によってすでに実用化されている。しかし、テレビ・カメラの映像をそのままＩＳＤＮで送ることは不可能である。
【０００４】
そこで、必要となってくるのが情報の圧縮技術である。例えば、テレビ電話の場合、ＩＴＵ−Ｔ（国際電気通信連合  電気通信標準化部門）で勧告されたＨ．２６１やＨ．２６３規格の動画圧縮技術が用いられている。また、ＭＰＥＧ−１規格の情報圧縮技術によると、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。
【０００５】
ここで、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）とは、ＩＳＯ／ＩＥＣ（国際標準化機構  国際電気標準会議）で標準化された動画像信号圧縮の国際規格であり、ＭＰＥＧ−１は、動画像信号を１．５Ｍｂｐｓまで、つまり、テレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ−１規格では対象とする品質を中程度の品質、具体的には、主として約１．５Ｍｂｐｓの伝送速度で実現できる程度の品質としている。これに対して、さらなる高画質化の要求をみたすべく規格化されたＭＰＥＧ−２では、動画像信号を２〜１５ＭｂｐｓでＴＶ放送品質を実現する。さらに、現状では、ＭＰＥＧ−１、ＭＰＥＧ−２と標準化を進めてきた作業グループ（ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１）  によって、ＭＰＥＧ−１、ＭＰＥＧ−２を上回る圧縮率を達成し、更に物体単位で符号化・復号化・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するＭＰＥＧ−４が規格化されている。ＭＰＥＧ−４では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、現在はインタレース画像も含む高ビットレートも含む、より汎用的な符号化に拡張されている。
【０００６】
さらに、２００３年に、ＩＳＯ／ＩＥＣとＩＴＵ−Ｔが共同でより高圧縮率の画像符号化方式として、ＭＰＥＧ−４  ＡＶＣおよびＩＴＵ  Ｈ．２６４  が標準化されている（例えば、非特許文献１参照。）。Ｈ．２６４規格は、現在ＨＤ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）画像などに適したＨｉｇｈ  Ｐｒｏｆｉｌｅ対応の改正規格案を策定中である。Ｈ．２６４規格のアプリケーションとしては、ＭＰＥＧ−２やＭＰＥＧ−４と同様にディジタル放送、ＤＶＤプレーヤ／レコーダ、ハードディスクプレーヤ／レコーダ、カムコーダ、テレビ電話などに広がることが予想されている。
【０００７】
一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで、時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは１枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。
【０００８】
参照画像を持たず画面内予測符号化を行うものをＩピクチャと呼ぶ。また、１枚の参照画像のみを参照し画面間予測符号化を行うものをＰピクチャと呼ぶ。また、同時に２枚の参照画像を参照して画面間予測符号化を行うことのできるものをＢピクチャと呼ぶ。Ｂピクチャは表示時間が前方もしくは後方から任意の組み合わせとして２枚のピクチャを参照することが可能である。参照画像（参照ピクチャ）は符号化の基本単位であるマクロブロックごとに指定することができるが、符号化を行ったビットストリーム中に先に記述される方の参照ピクチャを第１参照ピクチャ、後に記述される方を第２参照ピクチャとして区別する。ただし、これらのピクチャを符号化する場合の条件として、参照するピクチャが既に符号化されている必要がある。なお、ＰピクチャとＢピクチャにおいては、その中の符号化単位ブロックが画面内予測符号化を行なうものと画面間予測符号化を行なうものとを選択することができる。
【０００９】
Ｐピクチャ又はＢピクチャの符号化には、動き補償画面間予測符号化が用いられている。動き補償画面間予測符号化とは、画面間予測符号化に動き補償を適用した符号化方式である。動き補償とは、単純に参照フレームの画素値から予測するのではなく、ピクチャ内の各部の動き量（以下、これを動きベクトルと呼ぶ）を検出し、当該動き量を考慮した予測を行うことにより予測精度を向上すると共に、データ量を減らす方式である。例えば、符号化対象ピクチャの動きベクトルを検出し、その動きベクトルの分だけシフトした予測値と符号化対象ピクチャとの予測残差を符号化することによりデータ量を減している。この方式の場合には、復号化の際に動きベクトルの情報が必要になるため、動きベクトルも符号化されて記録又は伝送される。
【００１０】
動きベクトルはマクロブロック単位で検出されており、具体的には、符号化対象ピクチャ側のマクロブロックを固定しておき、参照ピクチャ側のマクロブロックを探索範囲内で移動させ、基準ブロックと最も似通った参照ブロックの位置を見つけることにより、動きベクトルが検出される。
【００１１】
図９は、従来の画面間予測符号化装置の構成を示すブロック図である。同図に示されるように、画面間予測符号化装置１０は、入力メモリ１１、マルチフレームメモリ１２、動き検出部１３、動き補償部１４、動きベクトル予測・ＤｉｆＭＶ算出部１５、動きベクトルメモリ１６、周波数変換・量子化部１７、逆周波数変換・逆量子化部１８、再生成部１９、および符号化処理部２０などを備える。
【００１２】
動き検出部１３は、マルチフレームメモリ１２から出力される動き検出参照画素３１と、入力メモリ１１に蓄積されている原画像画素３２とを比較し、動きベクトル３３と参照フレーム番号３４とを出力する。参照フレーム番号３４は、複数の参照画像の中から選択された、対象画像で参照する参照画像を特定する識別信号である。動きベクトルＭＶは、動きベクトルメモリ１６に一時的に記憶されたのち近傍動きベクトル３５として出力され、動きベクトル予測・ＤｉｆＭＶ算出部１５にて予測動きベクトルを予測するために参照される近傍動きベクトルとして使用される。動きベクトル予測・ＤｉｆＭＶ算出部１５では動きベクトル３３から予測動きベクトルを減算し、その差を動きベクトル予測差分３６として出力する。
【００１３】
一方、マルチフレームメモリ１２は、参照フレーム番号３４および動きベクトル３３で示される画素を動き補償参照画素３７として出力する。動き補償部１４は、小数画素精度の参照画素を生成して入力メモリ１１からの原画像３２との画面予測誤差３８を出力する。
【００１４】
画面予測誤差３８は、周波数変換・量子化部１７で周波数変換および量子化処理され、量子化後の係数３９は、符号化処理部２０へ出力されると同時に、逆周波数変換・逆量子化部１８で逆量子化処理および逆周波数変換される。周波数変換・量子化部１７から出力された量子化後係数３９と動きベクトル予測差分３６、参照フレーム番号３４は、符号化処理部２０で可変長符号化し、符号化信号４２を出力する。また、逆周波数変換・逆量子化部１８から出力された符号画面予測誤差４０は、再生成部１９において、画面予測誤差３８と加算され、符号画素４１としてマルチフレームメモリ１２に記憶される。ただし、マルチフレームメモリ１２の容量を有効に利用するため、マルチフレームメモリ１２に記憶されている画面の領域は不要な場合は開放され、またマルチフレームメモリ１２に記憶する必要が無い画面の復号画面４１はマルチフレームメモリ１２に記憶されない。
【００１５】
ところで、図９で示される画面間予測符号化装置を実装するための構成は、一例として、例えば、特許文献１などに示されている。この特許文献１において示されているように、画面間予測符号化装置１０をＬＳＩなどで実装する場合には、図９に示されているマルチフレームメモリ１２は、ＬＳＩ外に接続する外部フレームメモリと動き検出部１３でブロックマッチング探索時に直接アクセスするＬＳＩ内部のローカルメモリとに分割されて実装される。また、入力メモリ１１も外部入力メモリとＬＳＩ内部の符号化対象ブロックローカルメモリとに分割されて実装される。
【００１６】
図１０は、上記画面間予測符号化装置とフレームメモリの接続構成を説明するための図である。同図において、図９と同一符号は同一の機能を持つものとし、その説明を省略する。外部フレームメモリ５１は、ＬＳＩ外に実現するフレームメモリである。参照用ローカルメモリ５２は、ＬＳＩ内部のローカルメモリであり、動き検出器１３でのブロックマッチング探索時および、動き補償器１４での動き補償予測画素生成時に直接アクセスされる。また、外部入力メモリ５３は、ＬＳＩ外に実現するフレームメモリであり、入力画像が格納される。符号化対象ブロックローカルメモリ５４は、ＬＳＩ内部のローカルメモリであり、動き検出器１３、動き補償器１４でブロックマッチング時、画面予測誤差生成時に直接アクセスされる。なお、動き検出装置５０は、画面間予測符号化装置１０のＬＳＩに実装する部分を表している。
【００１７】
図１０において動き検出を行う場合は、まず、探索対象となる画像領域が外部フレームメモリ５１から外部バス６１を介して参照用ローカルメモリ５２に転送される。また、符号化対象の原画像が外部入力メモリ５３から外部バス６２を介して符号化対象ブロックローカルメモリ５４に転送される。次に、参照用ローカルメモリ５２と符号化対象ブロックローカルメモリ５４とから内部バス６３、６４を介してそれぞれデータが読み出され、動き検出器１３によって動き検出が行われる。また、動き補償を行なう場合は、外部フレームメモリ５１から動き検出で決定された位置の画像領域が外部バス６１を介して参照用ローカルメモリ５２に転送され、これを用いて動き補償器１４では動き補償予測画素を生成し、符号化対象ブロックローカルメモリ５４からの原画像との画面予測誤差を生成する。このような構成をとることによって、ＬＳＩの内部メモリの容量を削減している。
【００１８】
図１１は、参照用ローカルメモリ５２のデータ構成を示す一例である。図１１（ａ）は、ＭＰＥＧ−２のＳＤ（Ｓｔａｎｄａｒｄ  Ｄｅｆｉｎｉｔｉｏｎ）サイズ画像、図１１（ｂ）は、Ｈ．２６４のＳＤサイズ画像、図１１（ｃ）は、ＭＰＥＧ−２のＨＤサイズ画像、および図１１（ｄ）は、Ｈ．２６４のＨＤサイズ画像を想定した場合における参照用ローカルメモリの状態をそれぞれ表している。
【００１９】
また、図１２は、１画面あたりで転送する参照画素の状態を示す模式図である。同図において、１ＭＢ（Ｍａｃｒｏ  Ｂｌｏｃｋ）単位（＝１６画素×１６画素）で動き検出処理を行う場合、１ＭＢ行分の動き検出を行うためには、（探索範囲の縦の長さ）×（１画面の横幅）分のメモリ転送が必要となることを表しており、１画面分の動き検出を行う時には、さらに１画面の縦のＭＢ数をかける分のメモリ転送量が必要であることを示している。
【００２０】
例えば、図１１（ａ）に示されるように、一般的に、外部フレームメモリ５１から参照用ローカルメモリ５２への転送処理と、参照用ローカルメモリ５２と動き検出器１３を用いて行う動き検出処理とは、並列動作をさせるようにし、全体的な動作速度の向上を図るため、斜線部で示される更新領域も必要となる。つまり、ＭＰＥＧ−２などのＳＤサイズ画像（７２０画素×４８０画素、４５ＭＢ×３０ＭＢ）で、縦横−１６から＋１６の探索範囲とした場合は、（１６＋１６×２）×７２０×３０＝１，０３６，８００の画素が１画面あたりの動き検出で転送されることになる。
【００２１】
図１１（ｂ）に示されるように、Ｈ．２６４のＳＤサイズ画像を想定した参照用ローカルメモリの管理状態では、Ｈ．２６４では小数画素精度の動き補償には６タップのフィルタを用いるため、従来のＭＰＥＧ−２などより周辺画素が多く必要となる。つまり、ＭＰＥＧ−２などでは小数精度画素位置を囲む４つの整数画素から小数精度画素を作る。しかし、６タップフィルタの場合は、３６の整数画素から小数精度画素を作るため、同じ領域で探索を行う場合でも、ＭＰＥＧ−２と比べ、上２行、下２行、左２列、右２列の画素が必要となる。従って、Ｈ．２６４などのＳＤサイズ画像で、縦横−１６から＋１６の探索範囲とした場合、（１６＋１６×２＋４）×７２０×３０＝１，１２３，２００の画素が１画面あたりの動き検出で転送されることになる。
【００２２】
また、図１１（ｃ）に示されるように、ＭＰＥＧ−２のＨＤサイズ画像を想定した参照用ローカルメモリの管理状態では、ＨＤサイズの画像はＳＤサイズの画像に対して約６倍の画素数を持つため、ここでは簡単のため上下、左右それぞれ２．５倍の参照領域を探索するものとしている。従って、縦横の探索範囲は−４０〜＋３９の画素となり、同様に、（１６＋４０×２）×１，９２０×６８＝１２，５３３，７６０の画素が１画面あたりの動き検出で転送されることになる。
【００２３】
さらに、図１１（ｄ）に示されるように、Ｈ．２６４のＨＤサイズ画像を想定した参照用ローカルメモリの管理状態では、同様に、（１６＋４０×２＋４）×１，９２０×６８＝１３，０５６，０００の画素が１画面あたりの動き検出で転送されることになる。結果、ＭＰＥＧ−２のＳＤサイズとは桁違いに多い転送量となり、電力消費量も大きくなってしまう。
【００２４】
すなわち、ＨＤサイズ（１９２０画素×１０８８画素、１２０ＭＢ×６８ＭＢ）の画像を扱う場合、特にＨ．２６４による符号化を行う場合には、１画面あたりの画素転送量が大幅に増加してしまい、図１０に示される外部バス６１の転送能力を超えてしまう可能性がある。
【００２５】
これに対して、複数の符号化ブロックで動きベクトルの探索領域を共用することにより外部のフレームメモリから内部参照用ローカルメモリへのデータ転送を削減する技術が提案されている（例えば、特許文献２参照。）。
【非特許文献１】ＩＳＯ／ＩＥＣ  １４４９６−１０，  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｔａｎｄａｒｄ：  “Ｉｎｆｏｒｍａｔｉｏｎ  ｔｅｃｈｎｏｌｏｇｙ  −  Ｃｏｄｉｎｇ  ｏｆ  ａｕｄｉｏ−ｖｉｓｕａｌ  ｏｂｊｅｃｔｓ  −  Ｐａｒｔ  １０  ：  Ａｄｖａｎｃｅｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ”（２００３−１２−０１）
【特許文献１】特許番号第２９６３２６９号公報
【特許文献２】特開２００３−１３４５１８号公報
【発明の開示】
【発明が解決しようとする課題】
【００２６】
しかしながら、前記従来の技術において、ＨＤ画像サイズなど大きいサイズの画像を画面間予測符号化する場合や、Ｈ．２６４等による画面間予測符号化を行なう場合、複数や広範囲の参照領域を動き検出することで圧縮率向上が得られるが、参照する画素を外部メモリから内部ロジックへ転送する際のメモリ転送量が莫大なものとなり、バス転送能力に課題が生じる。
【００２７】
これに対して、例えば、特許文献２で示される技術では、符号化対象となっているピクチャの単位で見ればローカルメモリへのデータ転送量を削減することが可能となる。しかし、これはあくまでピクチャ単位でのデータ転送量の削減であり、言い換えれば、複数の符号化対象ピクチャでみれば、さらなるデータ転送量を削減することができる余地がある。
【００２８】
そこで、本発明は、かかる問題に鑑みてなされたものであり、画像符号化処理における複数の符号化対象ピクチャでみたローカルメモリへのデータ転送量を削減する動き検出装置、動き検出方法を提供することを目的とする。
【課題を解決するための手段】
【００２９】
前記目的を達成するために、本発明に係わる動き検出装置は、（ａ）フレームメモリに蓄積されている符号化済みの参照ピクチャを用いて、ピクチャの間の動きを所定の画像領域単位で検出する動き検出装置であって、（ｂ）第１の符号化対象ピクチャに属する第１の符号化対象画像領域の画素データが蓄積される第１の記憶手段と、（ｃ）前記第１の符号化対象ピクチャとは異なる第２の符号化対象ピクチャに属する第２の符号化対象画像領域の画素データが蓄積される第２の記憶手段と、（ｄ）前記参照ピクチャに属する参照対象画像領域の画素データが蓄積される第３の記憶手段と、（ｅ）前記参照対象画像領域の画素データと、前記第１の符号化対象画像領域の画素データおよび前記第２の符号化対象画像領域の画素データのそれぞれに対してブロックマッチングしてピクチャ間の動きを検出する動き検出手段とを備えることとする。
【００３０】
これによって、参照対象画像領域の画素データをフレームメモリから第３の記憶手段へ転送されるが、同じ参照対象画像領域が参照される複数の符号化対象画像領域について動き検出を行うため、参照対象画像領域の画素データのデータ転送量を削減することができ、消費電力も削減することが可能となる。
【００３１】
なお、本発明は、動き検出装置として実現されるだけではなく、動き検出装置を制御する動き検出方法、動き検出装置に実装される動き検出集積回路などとしても実現されるとしてもよい。また、動き検出装置を備える画面間予測符号化装置としても実現されるとしてもよい。
【発明の効果】
【００３２】
以上、本発明に係わる動き検出装置によれば、画面間予測を用いて符号化しようとする符号化対象画像領域に対して、参照対象画像領域の画素データを外部のフレームメモリから内部のローカルメモリへ転送されるが、同じ参照対象画像領域が参照される複数の符号化対象画像領域について動き検出を行うため、参照対象画像領域の画素データのデータ転送量を削減することができ、消費電力も削減することができる。
【００３３】
また、複数の符号化対象画像領域に対する予測誤差生成において、参照対象画像領域の画素データを外部のフレームメモリから内部のローカルメモリへ転送する必要がなく、参照対象画像領域の画素データの転送量を削減することができる。さらに、符号化手段における後段処理において、復号化処理に影響を及ぼさずに従来の符号化技術と同様の順序で符号化したビットストリームを生成することが可能となる。
【００３４】
また、本発明に係る動き検出方法によれば、画面間予測を用いて符号化しようとする符号化対象画像領域に対して、参照対象画像領域の画素データを外部のフレームメモリから内部のローカルメモリへ転送されるが、同じ参照対象画像領域が参照される複数の符号化対象画像領域について動き検出を行うため、参照対象画像領域の画素データのデータ転送量を削減することができ、消費電力も削減することができる。
【００３５】
また、本発明に係る動き検出集積回路によれば、画面間予測を用いて符号化しようとする符号化対象画像領域に対して、参照対象画像領域の画素データを外部のフレームメモリから内部のローカルメモリへ転送されるが、同じ参照対象画像領域が参照される複数の符号化対象画像領域について動き検出を行うため、参照対象画像領域の画素データのデータ転送量を削減することができ、消費電力も削減することができる。
【発明を実施するための最良の形態】
【００３６】
（実施の形態１）
以下、本発明に係わる実施の形態１について、図面を参照しながら説明する。
【００３７】
本実施の形態１における動き検出装置は、（ａ）フレームメモリに蓄積されている符号化済みの参照ピクチャを用いて、ピクチャの間の動きを所定の画像領域単位で検出する動き検出装置であって、（ｂ）第１の符号化対象ピクチャに属する第１の符号化対象画像領域の画素データが蓄積される第１のローカルメモリと、（ｃ）第１の符号化対象ピクチャとは異なる第２の符号化対象ピクチャに属する第２の符号化対象画像領域の画素データが蓄積される第２のローカルメモリと、（ｄ）参照ピクチャに属する参照対象画像領域の画素データが蓄積される第３のローカルメモリと、（ｅ）参照対象画像領域の画素データと、第１の符号化対象画像領域の画素データおよび第２の符号化対象画像領域の画素データのそれぞれに対してブロックマッチングしてピクチャ間の動きを検出する動き検出器とを備えることを特徴とする。
【００３８】
さらに、これ以外にも、本実施の形態における動き検出装置は、以下（１）〜（３）に示される特徴を有する。
【００３９】
（１）動き検出器は、参照対象画像領域の画素データに対して、第１の符号化対象画像領域の画素データおよび第２の符号化対象画像領域の画素データを、逐次処理および並列処理のいずれかでブロックマッチングする。
【００４０】
（２）第１のローカルメモリは、第１の符号化対象画像領域が所定の画像領域のＮ（Ｎは自然数。）倍であることを特徴とする。
【００４１】
（３）第３のローカルメモリは、第１の符号化対象画像領域の画素データおよび第２の符号化対象画像領域の画素データのＭ（Ｍは自然数。）組単位で、参照対象画像領域の画素データが更新されることを特徴とする。
【００４２】
以上の点を踏まえて、本実施の形態１における動き検出装置について説明する。なお、ここでは、一例として、動き検出装置に、予測誤差画像生成、周波数変換、量子化、逆量子化、逆周波数、逆周波数変換、復元画像などの一連の符号化機能および復号化機能を追加した画面間予測符号化装置について説明する。また、画面間予測符号化装置は、従来の画面間予測符号化装置１０（図１０参照。）と比べ、符号化対象の原画像をＬＳＩ内部に蓄積する符号化対象ブロックローカルメモリ５４、動き検出器１３、動き補償器１４、および動きベクトルメモリ１６が異なるのみであり、その他の構成については同様である。従って、異なる構成についてのみ説明し、その他の構成については説明を省略する。
【００４３】
図１は、本発明に係わる実施の形態１における画面間予測符号化装置の構成を示すブロック図である。同図に示されるように、画面間予測符号化装置１００は、画面間予測符号化装置１０と比べて（図１０参照。）、符号化対象ブロックローカルメモリ５４、動き検出器１３、動き補償器１４、動きベクトルメモリ１６の代わりに、符号化対象ブロックローカルメモリ１１１、１１２、動き検出器１１３、動き補償器１１４、動きベクトルメモリ１１５を備える点が異なる。
【００４４】
ここで、外部入力メモリ５３、外部フレームメモリ５１は、ＬＳＩ実装部分１１０の外部のフレームメモリであり、符号化対象ピクチャが蓄積されている。符号化対象ブロックローカルメモリ１１１、１１２、参照用ローカルメモリ５２は、ＬＳＩ実装部分５０の内部のローカルメモリであり、動き検出器１１３でブロックマッチング探索時と、動き補償器１１４で動き補償予測処理時に直接アクセスされる。そして、画面間予測符号化装置１００のうち、参照符号１１０で示される部分がＬＳＩに実装される。
【００４５】
そして、画面間予測符号化装置１００では、動き検出器１１３において、第１の符号化対象画像領域の画素データ、第２の符号化対象画像領域の画素データ、および参照対象画像領域の画素データを用いて、第１の符号化対象ピクチャおよび第２の符号化対象ピクチャのそれぞれに対する動き検出を行う。
【００４６】
動き検出を行う場合は、参照対象画像領域の画素データが外部フレームメモリ５１から外部バス６１を介して参照用ローカルメモリ５２に転送される。また、第１の符号化対象画像領域の画素データが外部入力メモリ５３から外部バス６２を介して符号化対象ブロックローカルメモリ１１１に転送される。第２の符号化対象画像領域の画素データが符号化対象ブロックローカルメモリ１１２に転送される。
【００４７】
このとき、図２に示されるように、参照対象画像領域とは、参照領域１５１で示されるように、ピクチャ１２０に属するある時点での参照対象の領域であり、第１の符号化対象画像領域の画素データおよび第２の符号化対象画像領域の画素データが符号化されるときに共通に参照される領域である。また、第１の符号化対象画像領域とは、マクロブロック１４１で示されるように、ピクチャ１２１に属するある時点での符号化対象の１６ｘ１６画素ブロック領域である。第２の符号化対象画像領域とは、マクロブロック１４２で示されるように、ピクチャ１２１に属するある時点での符号化対象の１６ｘ１６画素ブロック領域である。
【００４８】
すなわち、第１の符号化対象ピクチャに属する第１の符号化対象画像領域の画素データが符号化対象ブロックローカルメモリ１１１に格納される。第１の符号化対象ピクチャとは異なる第２の符号化対象ピクチャに属する第２の符号化対象画像領域の画素データが符号化対象ブロックローカルメモリ１１２に格納される。第１の符号化対象画像領域の画素データおよび第２の符号化対象画像領域の画素データのそれぞれが符号化されるときに共通に参照される参照ピクチャに属する参照対象画像領域の画素データが参照用ローカルメモリ５２に格納される。
【００４９】
なお、ピクチャ１２０〜１２３は、表示時刻ｔの順に図示されている。ピクチャ１２０、１２３は、符号化済みのピクチャであり、ピクチャ１２１、１２２の差分符号化時に参照されるピクチャである。また、ピクチャ１２１、１２２は、未だ符号化されていない符号化対象のピクチャであり、ピクチャ１２１、ピクチャ１２２も、ピクチャ１２０を参照ピクチャとして画面間差分符号化が行われる（処理１３１、１３２）。
【００５０】
次に、参照用ローカルメモリ５２から内部バス６３を介して参照対象画像領域の画素データが読み出される。また、符号化対象ブロックローカルメモリ１１１から内部バス１１６を介して第１の符号化対象画像領域の画素データが読み出される。符号化対象ブロックローカルメモリ１１２から内部バス１１７を介して第２の符号化対象画像領域の画素データが読み出される。これらの画素データを用いて動き検出器１１３によって動き検出が行われ、結果得られた動きベクトル情報が動きベクトルメモリ１１５に蓄積される。
【００５１】
さらに、画面間予測符号化装置１００では、動き補償器１１４において、動き検出器１１３で動き検出を行って得られた動きベクトル、符号化ブロックローカルメモリ１１１に格納されている第１の符号化対象画像領域の画素データ、符号化ブロックローカルメモリ１１２に格納されている第２の符号化対象画像領域の画素データ、および参照対象画像領域の一部の画素データである動き補償用参照画素データを用いて、動き補償と画面予測誤差を生成する処理を行なう。これに対して、従来の画面間予測符号化装置１０では、動き補償を行うときに参照される画像領域の画素データも外部フレームメモリ５１から参照用ローカルメモリ５２へ転送される。すなわち、本実施の形態１における画面間予測符号化装置１００では、動き検出を行ったときに参照された参照対象画像領域の画素データの一部を用いて、動き補償を行う。
【００５２】
なお、第１の符号化対象画像領域は、一般的な画像符号化処理で用いられるマクロブロックの単位に限定するものではなく、例えば、マクロブロックを複数個含む単位であってもよい。また、第２の符号化対象画像領域についても同様である。また、第１の符号化対象画像領域および第２の符号化対象画像領域は、符号化されるときに同一の符号化済みピクチャの参照領域が参照される領域であれば、同一の符号化対象ピクチャに属する領域であってもよい。また、第１の符号化対象画像領域の画素データが符号化されるときに、参照対象画像領域の全部が参照される必要はなく、その一部だけでも参照されるとしてもよい。第２の符号化対象画像領域の画素データが符号化されるときについても同様である。さらに、図１に示されるように、符号化対象ブロックローカルメモリ１１１、１１２、参照用ローカルメモリ５２などを個別の機能ブロックとする代わりに、これらのうち、複数または全部が１つのメモリ上の別領域として実現されていてもよい。
【００５３】
さらに、ＰピクチャやＢピクチャといった画面間予測を行なうピクチャにおける画面内予測ブロックの符号化処理について、符号化対象ブロックローカルメモリ１１１、１１２に個別に蓄積されている符号化対象画像領域の画素データを用いて画面内予測処理、およびそれ以降の一連の符号化処理を、並列、または逐次に処理するとしてもよい。また、並列に処理する場合は、画面間予測符号化の一部である動き検出処理と、画面内予測符号化の一部である画面内予測処理とを並列に行い、両処理が参照する符号化対象ブロックローカルメモリ１１１、１１２を交互に参照するとしてもよい。
【００５４】
また、第１の符号化対象画像領域、第２の符号化対象画像領域、および参照対象画像領域の各領域の画素データを用いて動き検出器１１３で動き検出を行うが、動き検出を行って得られたそれぞれの動きベクトルが動きベクトルメモリ１１５に格納されれば、第１の符号化対象画像領域および第２の符号化対象画像領域に対する動き検出を並列で処理してもいいし、１つ目の符号化対象画像領域に対する動き検出が完了した後に、２つ目の符号化対象画像領域に対する動き検出を行うとしてもよい。
【００５５】
次に、参照用ローカルメモリ５２、符号化対象ブロックローカルメモリ１１１、１１２の更新方法について説明する。ここでは、参照用ローカルメモリ５２、符号化対象ブロックローカルメモリ１１１、１１２をそれぞれ符号化対象のマクロブロック（１６ｘ１６画素）単位で更新する場合を例に説明する。なお、図３（ａ）、図３（ｂ）、図３（ｃ）に示されるように、順に複数の符号化対象ピクチャの符号化対象画像領域（マクロブロック）が右に遷移しており、それに伴い参照ピクチャの参照対象画像領域（参照領域）が遷移している。
【００５６】
まず、図３（ａ）に示されるように、第１の符号化対象画像領域（マクロブロック１３１ａ）と第２の符号化対象画像領域（マクロブロック１３１ｂ）は、同じ参照ピクチャ内の同じ参照対象画像領域（参照領域１５１ａ）を参照範囲とし動き検出処理を行う。このとき、参照領域１５１ａの画素データが参照用ローカルメモリ５２に転送されている。また、マクロブロック１４１ａの画素データが符号化対象ブロックローカルメモリ１１１に転送されており、マクロブロック１４１ｂの画素データが符号化対象ブロックローカルメモリ１１２に転送されている。
【００５７】
次に、図３（ｂ）に示されるように、符号化対象画像領域（マクロブロック１４１ａ、１４２ａ）が右に１つ移動する時点で、参照用ローカルメモリ５２、符号化対象ブロックローカルメモリ１１１、１１２が更新される。このとき、次の参照対象画像領域（参照領域１５１ｂ）の画素データが参照用ローカルメモリ５２に転送される。次の第１の符号化対象画像領域（マクロブロック１４１ｂ）の画素データが符号化対象ブロックローカルメモリ１１１に上書きされ、次の第２の符号化対象画像領域（マクロブロック１４２ｂ）の画素データが符号化対象ブロックローカルメモリ１１２に上書きされる。さらに、図３（ｃ）に示されるように、次（右隣）のマクロブロックにおいても同様に参照用ローカルメモリ５２、符号化対象ブロックローカルメモリ１１１、１１２が更新される。
【００５８】
ここで、従来の画面間予測符号化装置１０によれば、第１の符号化対象画像領域（マクロブロック１４１ａ）および第２の符号化対象画像領域（マクロブロック１４２ａ）に対する動き検出を行なう場合は、それぞれの符号化対象画像領域に対してデータ転送が発生し、参照対象画像領域（参照領域１５１ａ）の画素データが、外部フレームメモリ５１から参照用ローカルメモリ５２へ転送される。しかし、実施の形態１における画面間予測符号化装置１００によれば、図３を用いて説明した更新方法によって、第１の符号化対象画像領域（マクロブロック１４１ａ）および第２の符号化対象画像領域（マクロブロック１４２ａ）に対する動き検出を行う直前に、１度、参照対象画像領域（参照領域１５１ａ）の画素データが外部フレームメモリ５１から参照用ローカルメモリ５２へ転送されればよいため、データ転送量を１／２に削減でき、消費電力を削減することができる。
【００５９】
また、図３を用いて説明した更新方法とは異なる更新方法について説明する。なお、図４（ａ）、図４（ｂ）に示されるように、参照ピクチャ１６１ａ、１６１ｂは、符号化対象画像領域（マクロブロック）の水平位置が互いに１マクロブロック分上下にずれており、マクロブロックライン（符号化対象マクロブロックの水平位置）が更新される時点で参照用ローカルメモリ５２が更新されるとする。
【００６０】
図４（ａ）に示されるように、図３を用いて説明した更新方法と同様に、第１の符号化対象ピクチャに属するマクロブロックライン（同一水平位置のマクロブロックｘ１〜ｘ７）に対して、符号化対象画像領域（マクロブロック）が右に遷移する時点で、その都度、符号化対象画像領域（マクロブロック）の画素データが符号化対象ブロックローカルメモリ１１１へ転送される。同様に、第２の符号化対象ピクチャに属するマクロブロックライン（同一水平位置のマクロブロックｙ１〜ｙ７）に対して、マクロブロックが右に遷移する時点で、その都度、マクロブロックの画素データが符号化対象ブロックローカルメモリ１１２へ転送される。しかし、マクロブロックラインが更新されるまで、参照領域１６１ａの画素データが転送されず、参照用ローカルメモリ５２が更新されない。
【００６１】
次に、図４（ｂ）に示されるように、符号化対象のマクロブロック水平位置が１マクロブロック分遷移した時点で、参照ピクチャ内の参照対象画像領域が参照領域１６１ａから参照領域１６１ｂに移動するため、参照用ローカルメモリ５２は、参照領域１６１ａの画素データから参照領域１６１ｂの画素データに更新される。
【００６２】
なお、図４を用いて説明した参照用ローカルメモリ５２、符号化対象ブロックローカルメモリ１１１、１１２の更新方法では、マクロブロック毎に符号化対象ブロックローカルメモリ１１１、１１２の更新を行なっているが、複数のマクロブロックの単位で更新を行うとしてもよい。また、マクロブロックの水平位置が更新された時点、すなわち、１マクロブロックライン毎に参照用ローカルメモリ５２の更新を行うとしたが、複数のマクロブロックライン毎に更新するとしてもよい。例えば、Ｈ．２６４規格では、ＭＢＡＦＦ（Ｍａｃｒｏｂｌｏｃｋ−Ａｄａｐｔｉｖｅ  Ｆｒａｍｅ−Ｆｉｅｌｄ  Ｃｏｄｉｎｇ）の符号化ツールが規格化されている。
【００６３】
ＭＢＡＦＦでは、縦に２つのマクロブロックをペア（マクロブロックペア）として符号化処理を行う。この場合において、異なるマクロブロックペアに対して参照される同一の参照領域の画素データが、一度に、参照用ローカルメモリ５２に転送され、マクロブロックペアが遷移するタイミングで参照用ローカルメモリ５２が更新されるとしてもよい。なお、参照用ローカルメモリ５２に１マクロブロックライン分の符号化対象画像領域（マクロブロック）に対して参照される参照領域の画素データが蓄積されている。しかし、この場合は、図３を用いて説明した場合と比べれば、参照用ローカルメモリの容量が多く必要になる。そこで、外部フレームメモリ５１と参照用ローカルメモリ５２との間のＬＳＩ内部に中間バッファとなる一時キャッシュメモリを設け、図４を用いて説明した場合における参照領域の全域を一旦この一時キャッシュメモリに蓄積し、符号化対象ブロックに対して参照される領域の画素データが一時キャッシュから参照用ローカルメモリ５２に転送されるとしてもよい。
【００６４】
また、図４を用いて説明した参照用ローカルメモリ５２の更新方法を用いれば、図３を用いて説明した場合と同様に、２つの符号化対象ピクチャ分の動き検出処理を行う場合において、外部フレームメモリ５１から参照用ローカルメモリ５２への画素データ転送量を、１／２に削減することができる。
【００６５】
なお、画面間予測符号化装置１００は、２つの符号化対象画像領域（符号化対象ブロックローカルメモリ１１１、１１２）で説明したが、これに限定するものではなく、複数であれば、その数の分だけ、従来の画面間予測符号化装置１０（図１０参照。）に比べて、参照対象画像領域の画素データが重複して転送されることを抑止して、外部フレームメモリ５１から参照用ローカルメモリ５２へのデータ転送量の削減が可能となる。
【００６６】
なお、動き検出以降の予測誤差画像生成、周波数変換、量子化、逆量子化、逆周波数変換、復元画像生成などの一連の符号化・復号化処理は、動きベクトルメモリ１１５に蓄積されている動きベクトルの情報を用いて、従来の復号化装置で復号化可能な、すなわち従来技術と同様の符号化方法および順序で符号化する。これにより、本実施の形態１における画面間予測符号化装置１００を用いた場合でも、従来の画面間予測符号化装置１０で得られるビットストリームと同一のものを得ることができる。
【００６７】
（実施の形態２）
次に、本発明に係わる実施の形態２について、図面を参照しながら説明する。
【００６８】
本実施の形態２における画面間予測符号化装置では、動き補償処理における予測画素生成時に参照される画像領域の画素データと、量子化後の係数や動きベクトル差分などを符号化する処理において、可変長符号化のある時点での情報を蓄積するビット情報メモリを持つ。
【００６９】
また、動き検出器は、複数の演算資源によって並列に動作するとしてもよい。
図５は、本発明に係わる実施の形態２における画面間予測符号化装置の構成を示すブロック図である。同図に示されるように、画面間予測符号化装置２００は、実施の形態１における画面間予測符号化装置１００（図１参照。）の構成とほぼ同様である。画面間予測符号化装置１００と比べて、、符号化前段処理器２１１、ビット情報メモリ２１２、および符号化後段処理器２１３を備える点が異なる。また、実施の形態１における画面間予測符号化装置１００（図１参照。）のように、動き検出において得られた動きベクトルを以降の符号化処理のために動きベクトルメモリ１１５に蓄積する代わりに、従来の画面間予測符号化装置１０（図１０参照。）のように、周辺情報として参照するためだけのものを動きベクトルメモリ１６に蓄積する。それ以外については、図１において同一の参照符号で示されるものと同様の機能をもつため、その説明を省略する。
【００７０】
なお、画面間予測符号化装置２００でも、実施の形態１における画面間予測符号化装置１００のように、動き検出器１１３において、第１の符号化対象画像領域の画素データ、第２の符号化対象画像領域の画素データ、および参照対象画像領域の画素データを用いて、第１の符号化対象ピクチャおよび第２の符号化対象ピクチャのそれぞれに対する動き検出を行う。さらに、動き補償器１１４において、動き検出器１１３で動き検出を行って得られた動きベクトル、符号化ブロックローカルメモリ１１１に蓄積されている第１の符号化対象画像領域の画素データ、符号化ブロックローカルメモリ１１２に蓄積されている第２の符号化対象画像領域の画素データ、および参照対象画像領域の一部の画素データである動き補償用参照画素データを用いて、動き補償と画面予測誤差を生成する処理を行なう。これに対して、従来の画面間予測符号化装置１０では、動き補償を行うときに参照される画像領域の画素データが外部フレームメモリ５１から参照用ローカルメモリ５２へ転送される。
【００７１】
すなわち、本実施の形態２における画面間予測符号化装置２００では、動き検出を行ったときに参照された参照対象画像領域の画素データの一部を用いて、動き補償を行う。
そして、従来の画面間予測符号化装置１０と同様、動きベクトル予測・ＤｉｆＭＶ算出器１５において、動きベクトル予測差分を得る処理を行い、さらに、周波数変換・量子化器１７、逆周波数変換・逆量子化器１８、再生成器１９での各処理を行なうととともに、符号化前段処理器２１１において、符号化処理の前段処理を行なう。なお、再生成器１９で再生成された画素は以降の符号化対象ブロックの参照画素とするため、外部フレームメモリ５１に蓄積されることは従来技術と同様である。
【００７２】
例えば、Ｈ．２６４符号化規格のＣｏｎｔｅｘｔ−ｂａｓｅｄ  Ａｄａｐｔｉｖｅ  Ｂｉｎａｒｙ  Ａｒｉｔｈｍｅｔｉｃ  Ｃｏｄｉｎｇ（ＣＡＢＡＣ：  適応型算術符号化）では、符号化前段処理器２１１は、２値化処理（Ｂｉｎａｒｉｚａｔｉｏｎ  ｐｒｏｃｅｓｓ）の機能を有し、符号化後段処理器２１３は、算術符号化処理（Ａｒｉｔｈｍｅｔｉｃ  ｅｎｃｏｄｉｎｇ  ｐｒｏｃｅｓｓ）の機能を有することとする。
【００７３】
次に、マクロブロック単位で前記符号化の一連処理を行った符号化前段処理器２１１後のビット情報はビット情報メモリ２１２に蓄積される。このとき、動き検出器１１３において処理する符号化対象ブロックは実施の形態１で示すような複数のマクロブロックであるが、動き検出後の処理は逐次的に行なわれ、ビット情報メモリ２１２には、それぞれのマクロブロックのビット情報が符号化後段処理２１３への入力順序に従った構造で格納される。
【００７４】
ビット情報メモリ２１２に蓄積された符号化前段処理後のビット情報は、符号化対象の１ピクチャの符号化処理が完了した後、従来と同様の符号化信号４２として外部に出力される。または、符号化後段処理において、Ｈ．２６４規格に則った符号化順序で算術符号化処理が行なえるだけのビット情報が蓄積された時点で、符号化後段処理器２１３に入力され、算術符号化した後、従来と同様の符号化信号４２として外部に出力される。
【００７５】
なお、ここでは、動き検出処理後の一連の符号化処理を逐次的に行なうとしたが、こうすれば、動き検出器以外の一連の符号化処理器を従来と同様にすることができ、回路の増加がなく実現できる。しかし、複数の動き検出を並列に行なう場合など、その後の一連の符号化処理も並列に行なうとしてもよい。この場合、各処理器の演算器を増加させれば処理速度の向上が可能となる。
【００７６】
また、図５において、ビット情報メモリ２１２は、動き検出装置２１０の内部ローカルメモリとして図示されているが、これを外部フレームメモリ５１５１と同様に、動き検出装置２１０に接続する外部メモリとした構成にしてもよい。
【００７７】
本実施の形態２によれば、複数の符号化対象画像領域に対する予測誤差生成において、参照対象画像領域の画素データを外部のフレームメモリから内部のローカルメモリへ転送する必要がなく、参照対象画像領域の画素データの転送量を削減することができる。さらに、動き検出後の動きベクトルを蓄積することもなく、符号化手段における後段処理において、復号化処理に影響を及ぼさずに従来の符号化技術と同様の順序で符号化したビットストリームを生成することが可能となる。
【００７８】
（実施の形態３）
次に、本発明に係わる実施の形態３について、図面を参集しながら説明する。
【００７９】
本実施の形態３における画面間予測符号化装置では、複数の符号化対象ピクチャが複数の参照ピクチャを参照する。このとき、第１の符号化対象画像領域の画素データに対して復号化処理を施して生成した復号画素データを局所復号画素データとした場合において、動き検出器は、第２の符号化対象画像領域に対する動き検出を行うときに、局所復号画素データ、および局所復号画素データの周辺の復号画素データも参照して動き検出を行う。すなわち、ある符号化対象ピクチャに属するマクロブロックが、一方の符号化対象ブロックが属する符号化済みの領域を参照領域とする。
【００８０】
図６は、本発明に係わる実施の形態３における画面間予測符号化装置の構成を示すブロック図である。同図に示されるように、画面間予測符号化装置３００は、実施の形態２における画面間予測符号化装置２００（図５参照。）の構成とほぼ同様である。画面間予測符号化装置２００と比べて、再生成器３１１からの出力である再生成画素が参照用ローカルメモリ３１２へ入力される点のみが異なる。
【００８１】
これによって、図７に示されるように、参照用ローカルメモリ３１２には、参照領域３５１、参照領域３５２、および参照領域３５３の画素データが格納され、符号化対象ブロックローカルメモリ１１１、１１２には、マクロブロック３４３、３４４の画素データが格納される。このとき、再生成器３１１は、再生成画素を外部フレームメモリ５１に出力するだけでなく、参照用ローカルメモリ３１２にも出力する。これは、符号化対象ブロック３４３の再生成画像（ローカルデコード画像）をマクロブロック３４４の後続の符号化対象マクロブロック３４５が参照領域として使用するためである。
【００８２】
なお、ピクチャ３２０〜３２３は、表示順かつ符号化順に並んでいる。ピクチャ３２０は、符号化済みのピクチャであり、ピクチャ３２１およびピクチャ３２２から参照されるピクチャである。また、ピクチャ３２１は、ピクチャ３２２から参照されるピクチャである。そして、実施の形態２で説明したように、複数の符号化対象マクロブロックを動き検出器１１３でブロックマッチングするときに、同じ参照領域、または同じ参照領域の一部が使用される。例えば、符号化対象のマクロブロック３４３が動き検出で参照する領域を、ピクチャ３２０の参照領域３５１および参照領域３５２、またはそれらの一部とする。また、符号化対象のマクロブロック３４４が動き検出で参照する領域を、ピクチャ３２０の参照領域３５１およびピクチャ３２１の参照領域３５３、またはそれらの一部とする。
【００８３】
なお、ピクチャ３２１がピクチャ３２０を参照するピクチャ、すなわち、画面間予測ピクチャ（ＰピクチャまたはＢピクチャ）とする代わりに、例えば、ピクチャ３２１が画面内予測符号化するピクチャ（Ｉピクチャ）であるとしても、同様の構成をとることができる。この場合においては、ピクチャ３２２に属する符号化対象のマクロブロックが、ピクチャ３２１の符号化済み領域を参照する。
【００８４】
なお、ここでは、再生成器３１２から参照用ローカルメモリ３１２と外部フレームメモリ５１とへ再生成画素を出力する例について説明した。しかし、再生成画素を記憶する必要がない場合、すなわち、後続の符号化対象のマクロブロックから参照されない場合は、従来技術と同様に、外部フレームメモリ５１への出力を行なわない。また、図７に示されるように、同時期に二つの符号化対象のマクロブロックに対して動き検出を行う場合において、一方の符号化対象ブロックが、他方の符号化対象ブロックが属するピクチャの既に符号化済みの領域を参照領域とする場合、すなわち、符号化対象ブロックの再生成画像が、その処理後一定処理以内に動き検出対象として参照される場合以外は、参照用ローカルメモリ３１２への出力を行なわなくてもよい。ここでの一定処理以内とは、参照用ローカルメモリ３１２の容量に依存し、この容量が多ければこの処理区間は多くすることができる。これは、その後参照される領域を一旦外部フレームメモリへ出力し、その後、参照用ローカルメモリ３１２へ転送する必要がなくなるため、外部からのＬＳＩ内部へのデータ転送量を削減することができ、消費電力削減に効果がある。
【００８５】
また、実施の形態３で図７を用いて説明した内容において、参照用ローカルメモリ３１２に蓄積された参照対象画像領域の画素データは、実施の形態１の図３、図４の例のように、後続の符号化において参照領域とされない領域は順次上書きされ更新される。これによって、内部ローカルメモリの容量を一定量に制限することができる。
【００８６】
以上のように本実施の形態３のような実施例をとれば、同じ参照領域もしくはその一部を参照領域として動き検出する複数の符号化対象ブロックに対して、参照領域の外部フレームメモリから参照用ローカルメモリへのデータ転送量を抑制し（実施の形態２と同様の特徴）、かつ前記複数の符号化対象ブロックの一方が属する符号化対象ピクチャの符号化済み領域を他方の符号化対象ブロックが参照領域とすることができると共に、さらなるデータ転送量の抑制が可能となる。
【００８７】
（実施の形態４）
次に、本発明に係わる実施の形態４について、図面を参照しながら説明する。
【００８８】
本実施の形態４では、実施の形態１〜３で示された画面間予測符号化装置の応用例について説明する。図８は、Ｈ．２６４レコーダを実現するＡＶ処理部のブロック図である。同図に示されるように、ＡＶ処理部４００は、ディジタル圧縮された音声及び画像を再生するＤＶＤレコーダやハードディスクレコーダなどのＡＶ処理部を示している。
【００８９】
ストリームデータ４０１は、音声と画像のストリームデータを、画像信号４０２は、画像データを、音声信号４０３は音声データをそれぞれ表している。バス４１０は、ストリームデータ、音声・画像を復号したデータなどを転送する。ストリーム入出力部４１１は、バス４１０に接続し、ストリームデータ４０１を入出力する。画像符号化復号化部４１２は、バス４１０に接続し、画像の符号化及び復号化を行う。
【００９０】
音声符号化復号化部４１３は、バス４１０に接続し、音声の符号化及び復号化を行う。メモリ４１４は、ストリームデータ、符号化データ、復号化データなどが格納され、外部フレームメモリ５１（図１参照。）の領域を含むものである。メモリ入出力部４１５は、バス４１０に接続され、メモリ４１４のデータ信号の入出力インターフェースである。
【００９１】
画像処理部４１６は、バス４１０に接続し、画像信号に対してプレ処理及びポスト処理を行う。画像入出力部４１７は、画像処理部４１６で処理した画像データ信号、または画像処理部４１６で処理をせずに通過だけさせた画像データ信号を外部に画像信号４０２として出力する。また、外部からの画像信号４０２を取り込む。
【００９２】
音声処理部４１８は、バス４１０に接続し、音声信号に対してプレ処理及びポスト処理を行う。音声入出力部４１９は、音声処理部４１８で処理した音声データ信号、または音声処理部４１８で処理をせずに通過だけさせた音声データ信号を外部に音声信号４０３として出力する。また、外部からの音声信号４０３を取り込む。そして、ＡＶ制御部４２０は、ＡＶ処理部４００の全体機能の制御を行う。
【００９３】
ここで、図８を用いて符号化動作のみを説明する。最初に、画像信号４０２が画像入出力部４１７に入力され、音声信号４０３が音声入出力部４１９に入力される。
【００９４】
これに伴い、ＡＶ制御部４２０は、画像処理部４１６を制御して、画像入出力部４１７に入力された画像信号４０２を用いて、フィルタ処理や符号化のための特徴量抽出などの処理を行わせ、処理を行わせて得られたデータを原画像データとして、メモリ入出力部４１５を介してメモリ４１４に格納させる。次に、画像符号化復号化部４１２を制御して、メモリ４１４からメモリ入出力部４１５を介して画像符号化復号化部４１２に、原画像データと参照画像データを転送させ、逆に、画像符号化復号化部４１２からメモリ４１４に、画像符号化復号化部４１２で符号化された画像ストリームデータと局所復元データを転送させる。
【００９５】
なお、画像符号化復号化部４１２は、画面間予測符号化装置１００（図１参照。）のほぼ全体に相当し、画像ストリームは、信号４２に相当し、さらに、メモリ４１４は、外部フレームメモリ５１の領域が含まれる。
【００９６】
一方、ＡＶ制御部４２０は、音声処理部４１８を制御して、音声入出力部４１９に入力された音声信号４０３を用いて、フィルタ処理や符号化のための特徴量抽出などの処理を行わせ、処理を行わせて得られたデータを原音声データとして、メモリ入出力部４１５を介してメモリ４１４に格納させる。次に、再びメモリ入出力部４１５を介してメモリ４１４から原音声データを取り出させて符号化させ、再度、音声ストリームデータとしてメモリ４１４に格納させる。
【００９７】
そして、ＡＶ制御部４２０は、画像ストリームデータと音声ストリームデータ、及びその他のストリーム情報を一つのストリームデータとして処理し、ストリーム入出力部４１１を介してストリームデータ４０１を出力し、光ディスクやハードディスクなどの蓄積メディアに書き込む処理を行う。
【００９８】
なお、実施の形態において１ピクチャについての動作を示したが、１ピクチャを複数の領域に分割し、分割した領域を１ピクチャとして処理することによって、複数の画面間予測符号化装置をＬＳＩ内に実装し並列処理を行う、またはＬＳＩを複数実装して並列処理を行うなどの方法で実現してもよい。
【００９９】
なお、ブロック図（図１や図５など）の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。例えばメモリ以外の機能ブロックが１チップ化されていてもよい。しかし、外部フレームメモリ５１（図１参照。）やメモリ４１４（図８参照。）は、大量のデータを保持する必要があるため、ＬＳＩに外付けする大容量のＤＲＡＭなどで実装するのが一般的である。ただし、技術の向上により１パッケージ化や１チップ化されることも有り得る。
【０１００】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【産業上の利用可能性】
【０１０１】
本発明の画面間予測符号化装置は、参照用ローカルメモリの実装増加量を抑えつつ、動き補償予測に用いる参照画素の転送量を大幅に削減できるので、例えばＨ．２６４規格を用いた大きい画像サイズを扱うＤＶＤレコーダやハードディスクレコーダやカムコーダ等を実現するために有効である。
【図面の簡単な説明】
【０１０２】
【図１】本発明を実現する動き検出装置のブロック図
【図２】動き検出における符号化ブロックと参照ピクチャの関係を示す模式図
【図３】参照用ローカルメモリにおける探索領域と更新領域を示す模式図
【図４】参照用ローカルメモリにおける探索領域と更新領域を示す模式図
【図５】実施の形態２の画面間予測符号可装置の構成を示すブロック図
【図６】実施の形態３の画面間予測符号可装置の構成を示すブロック図
【図７】動き検出における符号化ブロックと参照領域の関係を示す模式図
【図８】Ｈ．２６４レコーダを実現するＡＶ処理部のブロック図
【図９】従来の画面間予測符号化処理の構成を示すブロック図
【図１０】従来の画面間予測復号化装置の構成を示すブロック図
【図１１】参照用ローカルメモリの構成を示す模式図
【図１２】１画面あたりで転送する参照画素を示す模式図
【符号の説明】
【０１０３】
１０，１００，２００，３００  画面間予測符号化装置
１１  入力メモリ
１２  マルチフレームメモリ
１３  動き検出部
１４  動き補償部
１５  動きベクトル予測・ＤｉｆＭＶ算出部
１６，１１５  動きベクトルメモリ
１７  周波数変換・量子化部
１８  逆周波数変換・逆量子化部
１９  再生成部
２０  符号化処理部
５０，１１０，２１０，３１０  ＬＳＩ実装部分
５１  外部フレームメモリ
５２  参照用ローカルメモリ
５３  外部入力メモリ
５４，１１１，１１２  符号化対象ブロックローカルメモリ
６１，６２  外部バス
６３，６４  内部バス
１１３  動き検出器
１１４  動き補償器
１１６，１１７  内部バス
２１１  符号化前段処理器
２１２  ビット情報メモリ
２１３  符号化後段処理器
３１１  再生成器
３１２  参照用ローカルメモリ
【図１】
2007020123.tif 000003
【図２】
2007020123.tif 000004
【図３】
2007020123.tif 000005
【図４】
2007020123.tif 000006
【図５】
2007020123.tif 000007
【図６】
2007020123.tif 000008
【図７】
2007020123.tif 000009
【図８】
2007020123.tif 000010
【図９】
2007020123.tif 000011
【図１０】
2007020123.tif 000012
【図１１】
2007020123.tif 000013
【図１２】
2007020123.tif 000014