(57)【要約】【課題】動き補償を用いる画像処理を、より効率的に実行する。【解決手段】メモリコントローラ１０１は、ＩＤＣＴ処理部１８より供給された局所復号画像データを外部メモリ２１に蓄積させる。また、メモリコントローラ１０１は、動き予測部１２または動き補償部１３より要求されたサーチ画像データを含む局所復号画像データを、内部メモリ１０２より検索し、取得して保持する。また、必要な局所画像データが内部メモリ１０２に存在しない場合、メモリコントローラ１０１は、外部メモリ２１からその局所復号画像データを取得して保持するとともに、内部メモリ１０２に記憶させる。そして、メモリコントローラ１０１は、保持している局所画像データを用いて、要求されたサーチ画像データを生成し、要求元に供給する。本発明は、画像情報符号化装置または画像情報復号装置に適用することができる。【選択図】      図５
2004215049.tif 000002
【特許請求の範囲】
【請求項１】
入力された第１の画像情報を、動き補償を用いて符号化する符号化装置において、
入力された前記第１の画像情報に対応するサーチ画像情報を用いて、前記第１の画像情報の動き補償を行う動き補償手段と、
前記動き補償手段により前記動き補償が行われた前記第１の画像情報を符号化する符号化手段と、
前記サーチ画像情報を生成するための第２の画像情報を生成する第１の生成手段と、
前記第１の生成手段により生成された前記第２の画像情報を記憶する第１の記憶手段と、
前記第１の記憶手段により記憶されている前記第２の画像情報を取得する第１の取得手段と、
前記第１の記憶手段より高速に動作し、前記第１の取得手段により取得された前記第２の画像情報を記憶する第２の記憶手段と、
前記第２の記憶手段により記憶されている前記第２の画像情報を取得する第２の取得手段と、
前記第１の取得手段または前記第２の取得手段により取得された前記第２の画像情報を用いて前記サーチ画像情報を生成する第２の生成手段と、
前記第２の生成手段による前記サーチ画像情報の生成に必要な前記第２の画像情報を、前記第１の記憶手段および前記第２の記憶手段より検索する検索手段と
を備え、
前記第２の取得手段は、前記検索手段による検索結果に基づいて、前記第２の画像情報が前記第２の記憶手段により記憶されている場合、前記第２の記憶手段より前記第２の画像情報を取得し、
前記第１の取得手段は、前記検索手段による検索結果に基づいて、前記第２の画像情報が前記第２の記憶手段により記憶されておらず、前記第１の記憶手段により記憶されている場合、前記第１の記憶手段より前記第２の画像情報を取得する
ことを特徴とする符号化装置。
【請求項２】
前記動き補償手段は、前記第２の生成手段により生成された前記サーチ画像情報を用いて、前記第１の画像情報の動き補償を行う
ことを特徴とする請求項１に記載の符号化装置。
【請求項３】
入力された前記第１の画像情報に付加されている付加情報に基づいて、注目領域の動き補償用ベクトルを算出する算出手段をさらに備え、
前記算出手段は、前記第２の生成手段により生成された前記サーチ画像情報を用いて、前記動き補償用ベクトルを算出する
ことを特徴とする請求項１に記載の符号化装置。
【請求項４】
前記符号化手段は、前記第１の画像情報を直行変換し、量子化処理を施したデータを符号化する
ことを特徴とする請求項１に記載の符号化装置。
【請求項５】
前記第１の生成手段は、前記第１の画像情報を直行変換し、量子化処理を施したデータに、逆量子化処理を施し、逆直行変換処理を行って、前記第２の画像情報を生成する
ことを特徴とする請求項１に記載の符号化装置。
【請求項６】
前記第１の記憶手段は、前記第２の記憶手段と比較して、大容量の情報を記憶することができる
ことを特徴とする請求項１に記載の符号化装置。
【請求項７】
前記第１の取得手段は、前記第２の取得手段と比較して、低速で前記第２の画像情報を取得する
ことを特徴とする請求項１に記載の符号化装置。
【請求項８】
前記第１の取得手段により取得された前記第２の画像情報を圧縮する圧縮手段と、
前記圧縮手段により圧縮された前記第２の画像情報を伸張する伸張手段と
をさらに備え、
前記第２の記憶手段は、前記圧縮手段により圧縮された前記第２の画像情報を記憶し、
前記伸張手段は、前記第２の取得手段により前記第２の記憶手段より取得された、前記圧縮手段により圧縮された前記第２の画像情報を伸張する
ことを特徴とする請求項１に記載の符号化装置。
【請求項９】
並列に動作し、互いに異なる前記サーチ画像情報を用いて、互いに異なる前記第１の画像情報の動き補償を行う複数の前記動き補償手段と、
並列に動作し、複数の前記動き補償手段により前記動き補償が行われた、互いに異なる複数の前記第１の画像情報を符号化する複数の前記符号化手段と、
それぞれ対応する前記動き補償手段により用いられる前記サーチ画像情報を生成するための第２の画像情報を生成する、複数の前記第１の生成手段と
を備え、
前記第１の記憶手段は、複数の前記第１の生成手段により生成された前記第２の画像情報を記憶し、
前記第２の生成手段は、前記第１の取得手段または前記第２の取得手段により取得された前記第２の画像情報を用いて、複数の前記動き補償手段により用いられる前記サーチ画像情報を生成する
ことを特徴とする請求項１に記載の符号化装置。
【請求項１０】
前記第１の取得手段により取得された前記第２の画像情報を圧縮する圧縮手段と、
前記圧縮手段により圧縮された前記第２の画像情報を伸張する伸張手段と
をさらに備え、
前記第２の記憶手段は、前記圧縮手段により圧縮された前記第２の画像情報を記憶し、
前記伸張手段は、前記第２の取得手段により前記第２の記憶手段より取得された、前記圧縮手段により圧縮された前記第２の画像情報を伸張する
ことを特徴とする請求項９に記載の符号化装置。
【請求項１１】
入力された第１の画像情報の動き補償に用いられるサーチ画像情報を生成するための第２の画像情報を記憶する第１の記憶部と、前記第１の記憶部より転送速度が高速な第２の記憶部を有し、前記第１の画像情報を、動き補償を用いて符号化する符号化装置の符号化方法であって、
入力された前記第１の画像情報の動き補償に用いられるサーチ画像情報を生成するための第２の画像情報を、前記第１の記憶部および前記第２の記憶部より検索する検索ステップと、
前記検索ステップの処理による検索結果に基づいて、前記第２の記憶部に目的の前記第２の画像情報が記憶されている場合、前記第２の記憶部より目的の前記第２の画像情報を取得し、目的の前記第２の画像情報が前記第２の記憶部により記憶されておらず、前記第１の記憶部に記憶されている場合、前記第１の記憶部より目的の前記第２の画像情報を取得するように制御する取得制御ステップと、
前記取得制御ステップの処理により制御され、目的の前記第２の画像情報が前記第１の記憶部より取得された場合、前記第２の記憶部を制御して、取得された前記第２の画像情報を記憶させる記憶制御ステップと、
前記取得制御ステップの処理により制御され、取得された前記第２の画像情報を用いて前記サーチ画像情報を生成する生成ステップと
を含むことを特徴とする符号化方法。
【請求項１２】
入力された第１の画像情報を、動き補償を用いて符号化する処理を、第１の記憶部と、前記第１の記憶部より転送速度が高速な第２の記憶部を有するコンピュータに行わせるプログラムにおいて、
入力された前記第１の画像情報の動き補償に用いられるサーチ画像情報を生成するための第２の画像情報を、前記第１の記憶部および前記第２の記憶部より検索する検索ステップと、
前記検索ステップの処理による検索結果に基づいて、前記第２の記憶部に目的の前記第２の画像情報が記憶されている場合、前記第２の記憶部より目的の前記第２の画像情報を取得し、目的の前記第２の画像情報が前記第２の記憶部により記憶されておらず、前記第１の記憶部に記憶されている場合、前記第１の記憶部より目的の前記第２の画像情報を取得するように制御する取得制御ステップと、
前記取得制御ステップの処理により制御され、目的の前記第２の画像情報が前記第１の記憶部より取得された場合、前記第２の記憶部を制御して、取得された前記第２の画像情報を記憶させる記憶制御ステップと、
前記取得制御ステップの処理により制御され、取得された前記第２の画像情報を用いて前記サーチ画像情報を生成する生成ステップと
を含むことを特徴とするプログラム。
【請求項１３】
符号化された画像情報であるビットストリームを、動き補償を用いて復号する復号装置において、
入力された前記ビットストリームを復号する復号手段と、
前記復号手段により復号された前記ビットストリームである第１の画像情報の動き補償を、前記第１の画像情報に対応するサーチ画像情報を用いて行う動き補償手段と、
前記動き補償手段により動き補償が行われた前記第１の画像情報である第２の画像情報を記憶する第１の記憶手段と、
前記第１の記憶手段により記憶されている前記第２の画像情報を取得する第１の取得手段と、
前記第１の記憶手段より高速に動作し、前記第１の取得手段により取得された前記第２の画像情報を記憶する第２の記憶手段と、
前記第２の記憶手段により記憶されている前記第２の画像情報を取得する第２の取得手段と、
前記第１の取得手段または前記第２の取得手段により取得された前記第２の画像情報を用いて前記サーチ画像情報を生成する生成手段と、
前記生成手段による前記サーチ画像情報の生成に必要な前記第２の画像情報を、前記第１の記憶手段および前記第２の記憶手段より検索する検索手段と
を備え、
前記第２の取得手段は、前記検索手段による検索結果に基づいて、前記第２の画像情報が前記第２の記憶手段により記憶されている場合、前記第２の記憶手段より前記第２の画像情報を取得し、
前記第１の取得手段は、前記検索手段による検索結果に基づいて、前記第２の画像情報が前記第２の記憶手段により記憶されておらず、前記第１の記憶手段により記憶されている場合、前記第１の記憶手段より前記第２の画像情報を取得する
ことを特徴とする復号装置。
【請求項１４】
前記動き補償手段は、前記生成手段により生成された前記サーチ画像情報を用いて、前記第１の画像情報の動き補償を行う
ことを特徴とする請求項１３に記載の復号装置。
【請求項１５】
前記復号手段は、前記ビットストリームを復号し、逆直行変換し、逆量子化処理を施す
ことを特徴とする請求項１３に記載の復号装置。
【請求項１６】
前記第１の記憶手段は、前記第２の記憶手段と比較して、大容量の情報を記憶することができる
ことを特徴とする請求項１３に記載の復号装置。
【請求項１７】
前記第１の取得手段は、前記第２の取得手段と比較して、低速で前記第２の画像情報を取得する
ことを特徴とする請求項１３に記載の復号装置。
【請求項１８】
前記第１の取得手段により取得された前記第２の画像情報を圧縮する圧縮手段と、
前記圧縮手段により圧縮された前記第２の画像情報を伸張する伸張手段と
をさらに備え、
前記第２の記憶手段は、前記圧縮手段により圧縮された前記第２の画像情報を記憶し、
前記伸張手段は、前記第２の取得手段により前記第２の記憶手段より取得された、前記圧縮手段により圧縮された前記第２の画像情報を伸張する
ことを特徴とする請求項１３に記載の復号装置。
【請求項１９】
並列に動作し、互いに異なる複数の前記ビットストリームを復号する複数の前記復号手段と、
並列に動作し、互いに異なる前記サーチ画像情報を用いて、互いに異なる前記第１の画像情報の動き補償を行う複数の前記動き補償手段と
を備え、
前記第１の記憶手段は、複数の前記動き補償手段により動き補償が行われた前記第２の画像情報を記憶し、
前記生成手段は、前記第１の取得手段または前記第２の取得手段により取得された前記第２の画像情報を用いて、複数の前記動き補償手段により用いられる前記サーチ画像情報を生成する
ことを特徴とする請求項１３に記載の復号装置。
【請求項２０】
前記第１の取得手段により取得された前記第２の画像情報を圧縮する圧縮手段と、
前記圧縮手段により圧縮された前記第２の画像情報を伸張する伸張手段と
をさらに備え、
前記第２の記憶手段は、前記圧縮手段により圧縮された前記第２の画像情報を記憶し、
前記伸張手段は、前記第２の取得手段により前記第２の記憶手段より取得された、前記圧縮手段により圧縮された前記第２の画像情報を伸張する
ことを特徴とする請求項１９に記載の復号装置。
【請求項２１】
第１の記憶部と、前記第１の記憶部より転送速度が高速な第２の記憶部を有し、符号化された画像情報であるビットストリームを、動き補償を用いて復号する復号装置の復号方法であって、
復号された前記ビットストリームである第１の画像情報に動き補償が行われた第２の画像情報を、前記第１の記憶部および前記第２の記憶部より検索する検索ステップと、
前記検索ステップの処理による検索結果に基づいて、前記第２の記憶部に目的の前記第２の画像情報が記憶されている場合、前記第２の記憶部より目的の前記第２の画像情報を取得し、目的の前記第２の画像情報が前記第２の記憶部により記憶されておらず、前記第１の記憶部に記憶されている場合、前記第１の記憶部より目的の前記第２の画像情報を取得するように制御する取得制御ステップと、
前記取得制御ステップの処理により制御され、目的の前記第２の画像情報が前記第１の記憶部より取得された場合、前記第２の記憶部を制御して、取得された前記第２の画像情報を記憶させる第２の記憶制御ステップと、
前記取得制御ステップの処理により制御され、取得された前記第２の画像情報を用いて、前記第１の画像情報の動き補償に用いられるサーチ画像データを生成する生成ステップと
を含むことを特徴とする復号方法。
【請求項２２】
符号化された画像情報であるビットストリームを、動き補償を用いて復号する処理を、第１の記憶部と、前記第１の記憶部より転送速度が高速な第２の記憶部を有するコンピュータに行わせるプログラムにおいて、
復号された前記ビットストリームである第１の画像情報に動き補償が行われた第２の画像情報を、前記第１の記憶部および前記第２の記憶部より検索する検索ステップと、
前記検索ステップの処理による検索結果に基づいて、前記第２の記憶部に目的の前記第２の画像情報が記憶されている場合、前記第２の記憶部より目的の前記第２の画像情報を取得し、目的の前記第２の画像情報が前記第２の記憶部により記憶されておらず、前記第１の記憶部に記憶されている場合、前記第１の記憶部より目的の前記第２の画像情報を取得するように制御する取得制御ステップと、
前記取得制御ステップの処理により制御され、目的の前記第２の画像情報が前記第１の記憶部より取得された場合、前記第２の記憶部を制御して、取得された前記第２の画像情報を記憶させる第２の記憶制御ステップと、
前記取得制御ステップの処理により制御され、取得された前記第２の画像情報を用いて、前記第１の画像情報の動き補償に用いられるサーチ画像データを生成する生成ステップと
を含むことを特徴とするプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は符号化装置および方法、復号装置および方法、並びにプログラムに関し、特に、動き補償を用いる画像処理を、より効率的に実行することができるようにした符号化装置および方法、復号装置および方法、並びにプログラムに関する。
【０００２】
【従来の技術】
近年、映像データおよび音声データを圧縮して情報量を減らす方法として、種々の圧縮符号化方法が提案されており、その代表的なものにＭＰＥＧ２（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  Ｐｈａｓｅ  ２）がある。
【０００３】
図１を参照して、このＭＰＥＧ２方式によって映像データを圧縮符号化する場合の処理について説明する。
【０００４】
図１において、画像情報符号化装置１０は、入力画像データをＭＰＥＧ方式で符号化して、ビットストリーム出力するものである。画像情報符号化装置１０に入力された入力画像データは、画像並び替え処理部１１に供給され、フレーム画像毎に並べ替えられて、動き予測部１２に供給される。
【０００５】
動き予測部１２は、入力された入力画像データと、メモリコントローラ１９より供給された参照用の画像データであるサーチ画像データとを用いて、動きベクトルを算出し、動き補償部１３は、メモリコントローラ１９より供給されたサーチ画像データと、動き予測部１２より供給された動きベクトルに応じて、入力画像データの動き補償を行い、ＤＣＴ処理部１４は、動き補償部１３より供給された予測残差としての差分データに離散コサイン変換処理を施し、続く量子化部１５は、ＤＣＴ処理１４より供給された変換係数に量子化処理を施し、ＶＬＣ（Ｖａｒｉａｂｌｅ  Ｌｅｎｇｔｈ  Ｃｏｄｅ：可変長符号化）部１６は、量子化された変換係数を可変長符号化し、ビットストリームとして、画像情報符号化装置１０より出力する。
【０００６】
また、量子化処理部１５は、量子化された変換係数を逆量子化処理部１７にも供給する。逆量子化処理部１７は、その量子化された変換係数に逆量子化処理を施し、ＩＤＣＴ（Ｉｎｖｅｒｓｅ  Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ：逆離散コサイン変換）処理部１８は、逆量子化処理部１７より供給された変換係数に逆離散コサイン変換処理を施し、局所復号画像データとして、メモリコントローラ１９に供給する。
【０００７】
メモリコントローラ１９は、供給された局所復号画像データを外部メモリ２１に蓄積するとともに、続く符号化処理のために局所復号画像データを外部メモリ２１より読み出し、サーチ画像データを動き予測部１２または動き補償部１３に供給する。
【０００８】
以上のような、画像情報符号化装置１０において、メモリコントローラ１９は、動き予測部１２または動き補償部１３の要求に基づいて、サーチ画像データを外部メモリ２１に蓄積されている局所復号画像データより生成し、要求元である動き予測部１２または動き補償部１３に供給する。
【０００９】
外部メモリ２１においては、そのアクセス効率を向上させるために、通常、バースト的にデータの転送が行われる。そのため、メモリコントローラ１９は、例えば、マクロブロック単位のようにある程度まとまった単位でしか外部メモリ２１のデータ転送を制御することができず、例えば１画素単位のように、小さい単位で外部メモリ２１のデータ転送を制御し、必要最低限のサーチ画像データのみを転送させるようにすることができない。
【００１０】
例えば、図２Ａに示されるように、４×４に配列されたマクロブロックからなるフレーム画像３１において、マクロブロック３２に対応するサーチ画像データを要求する場合、動き予測部１２は、フレーム画像３１と、図２Ｂに示されるような、図２Ａのフレーム画像３１の前フレーム画像であるフレーム画像３５に基づいて、オブジェクト３３の動きを示す動きベクトル３７を算出し、動き補償部１３は、その動きベクトル３７に基づいて、マクロブロック３２に対応するサーチ画像データ３６をメモリコントローラ１９に要求する。
【００１１】
メモリコントローラ１９は、その要求に基づいて、図３に示されるように、要求されたサーチ画像データ３６を含むマクロブロック４１乃至４４を外部メモリ２１より読み出す。そして、読み出したマクロブロック４１乃至４４を用いて、サーチ画像データ３６を生成し、動き補償部１３に供給する。
【００１２】
この場合、図３に示されるように、メモリコントローラ１９は、１つのマクロブロックに対応するサーチ画像データ（マクロブロック１個分の大きさの画像データ）を生成するために、外部メモリ２１よりマクロブロック４１乃至４４、すなわち、マクロブロック４個分の画像データを読み出す必要がある。
【００１３】
このとき、読み出されたマクロブロック４個分の画像データのうち、サーチ画像データとして用いられないデータは、そのまま破棄されてしまう。従って、以上のような場合において、メモリコントローラ１９および外部メモリ２１間におけるデータの転送が非効率なものとなってしまい、処理時間にも多大な影響を与えてしまう場合があった。
【００１４】
これに対して、動き検出（動き予測）の処理において使用された参照画像データ（サーチ画像データ）を、動き補償の処理において再利用することにより、外部メモリから参照画像データを読み出す回数を１回に減らし、データ転送の効率化を図るという方法が考えられる（例えば、特許文献１参照）。
【００１５】
【特許文献１】
特開平９−０５５９４０号公報（第６−８ページ、図１）
【００１６】
【発明が解決しようとする課題】
一般的に、画像データにおいては、隣り合うマクロブロックで類似した動きベクトルが選ばれやすく、あるマクロブロックにおいて不要とされるデータが近傍のマクロブロックのサーチ画像データとして必要であるという場合が多い。
【００１７】
しかしながら、以上のような方法においては、あるマクロブロックの処理に対して外部メモリ２１からマクロブロック単位でデータを取得しても、不要な部分は未使用のまま廃棄されてしまう。従って、メモリコントローラ１９は、近傍のマクロブロックに対する処理において、外部メモリ２１より同じデータを再度読み出さなければならないという課題があった。
【００１８】
また、以上の方法においては、動き検出（動き予測）の処理において使用された参照画像データ（サーチ画像データ、すなわち、局所復号画像データ）を動き補償の処理において再利用する。しかしながら、動き予測の処理においては、局所復号画像データを使用するよりも、入力画像データを用いる方が、得られる画像の画質が向上する場合もあり、動き予測の処理と、動き補償の処理において異なる画像データをサーチ画像データとして用いることができるようにするのが望ましい。
【００１９】
さらに、以上の方法は、動き検出の処理が含まれない、復号処理には適用できないという課題もあった。
【００２０】
図４は、図１の画像符号化装置により符号化された画像データを復号する、従来の画像情報復号装置の構成例を示すブロック図である。
【００２１】
図４において、画像情報復号装置５０は、入力されたビットストリームを復号し、復号画像データを出力する。画像情報復号装置５０に入力されたビットストリームは、フレームメモリ５１に供給され、フレーム毎に、ＶＬＤ（Ｖａｒｉａｂｌｅ  Ｌｅｎｇｔｈ  Ｄｅｃｏｄｅ：可変長復号）部５２に供給され、復号処理が行われる。
【００２２】
ＶＬＤ部５２において、復号されたビットストリームは、逆量子化部５３において、逆量子化処理が施された後、ＩＤＣＴ部５４において、逆離散コサイン変換処理が行われ、動き補償部５５に供給される。
【００２３】
動き補償部５５は、メモリコントローラ５７より供給されるサーチ画像データに基づいて、動き補償を行い、画像並び替え処理部５６は、供給された画像データを元の順番に並び替えて、復号画像データとして、画像情報復号装置５０の外部に出力する。
【００２４】
また、メモリコントローラ５７は、動き補償部５５より供給された復号画像データを外部メモリ６１に蓄積するとともに、続く復号処理のために復号画像データを外部メモリ６１より読み出し、サーチ画像データを動き補償部５５に供給する。
【００２５】
以上のように、図１の画像情報符号化装置１０に対応する、図７の画像情報復号装置５０において、メモリコントローラ５７は、動き補償部５５に対して、図１のメモリコントローラ１９が動き補償部１３に対して行う場合と同様の処理を行い、要求されたサーチ画像データを供給する。
【００２６】
すなわち、画像情報復号装置５０においても、画像情報符号化装置１０の場合と同様に、外部メモリ６１からのデータ転送の効率が悪くなってしまうという課題があった。従って、画像情報符号化装置１０および画像情報復号装置５０の両方において、上述した課題を解決することが望ましい。
【００２７】
本発明はこのような状況に鑑みてなされたものであり、動き補償を用いる画像処理を、より効率的に実行することができるようにしたものである。
【００２８】
【課題を解決するための手段】
本発明の符号化装置は、入力された第１の画像情報に対応するサーチ画像情報を用いて、第１の画像情報の動き補償を行う動き補償手段と、動き補償手段により動き補償が行われた第１の画像情報を符号化する符号化手段と、サーチ画像情報を生成するための第２の画像情報を生成する第１の生成手段と、第１の生成手段により生成された第２の画像情報を記憶する第１の記憶手段と、第１の記憶手段により記憶されている第２の画像情報を取得する第１の取得手段と、第１の記憶手段より高速に動作し、第１の取得手段により取得された第２の画像情報を記憶する第２の記憶手段と、第２の記憶手段により記憶されている第２の画像情報を取得する第２の取得手段と、第１の取得手段または第２の取得手段により取得された第２の画像情報を用いてサーチ画像情報を生成する第２の生成手段と、第２の生成手段によるサーチ画像情報の生成に必要な第２の画像情報を、第１の記憶手段および第２の記憶手段より検索する検索手段とを備え、第２の取得手段は、検索手段による検索結果に基づいて、第２の画像情報が第２の記憶手段により記憶されている場合、第２の記憶手段より第２の画像情報を取得し、第１の取得手段は、検索手段による検索結果に基づいて、第２の画像情報が第２の記憶手段により記憶されておらず、第１の記憶手段により記憶されている場合、第１の記憶手段より第２の画像情報を取得することを特徴とする。
【００２９】
前記動き補償手段は、第２の生成手段により生成されたサーチ画像情報を用いて、第１の画像情報の動き補償を行うようにすることができる。
【００３０】
入力された第１の画像情報に付加されている付加情報に基づいて、注目領域の動き補償用ベクトルを算出する算出手段をさらに備え、算出手段は、第２の生成手段により生成されたサーチ画像情報を用いて、動き補償用ベクトルを算出するようにすることができる。
【００３１】
前記符号化手段は、第１の画像情報を直行変換し、量子化処理を施したデータを符号化するようにすることができる。
【００３２】
前記第１の生成手段は、第１の画像情報を直行変換し、量子化処理を施したデータに、逆量子化処理を施し、逆直行変換処理を行って、第２の画像情報を生成するようにすることができる。
【００３３】
前記第１の記憶手段は、第２の記憶手段と比較して、大容量の情報を記憶することができるようにすることができる。
【００３４】
前記第１の取得手段は、第２の取得手段と比較して、低速で第２の画像情報を取得するようにすることができる。
【００３５】
前記第１の取得手段により取得された第２の画像情報を圧縮する圧縮手段と、圧縮手段により圧縮された第２の画像情報を伸張する伸張手段とをさらに備え、第２の記憶手段は、圧縮手段により圧縮された第２の画像情報を記憶し、伸張手段は、第２の取得手段により、第２の記憶手段より取得された、圧縮手段により圧縮された第２の画像情報を伸張するようにすることができる。
【００３６】
並列に動作し、互いに異なるサーチ画像情報を用いて、互いに異なる第１の画像情報の動き補償を行う複数の動き補償手段と、並列に動作し、複数の動き補償手段により動き補償が行われた、互いに異なる複数の第１の画像情報を符号化する複数の符号化手段と、それぞれ対応する動き補償手段により用いられるサーチ画像情報を生成するための第２の画像情報を生成する、複数の第１の生成手段とを備え、第１の記憶手段は、複数の第１の生成手段により生成された第２の画像情報を記憶し、第２の生成手段は、第１の取得手段または第２の取得手段により取得された第２の画像情報を用いて、複数の動き補償手段により用いられるサーチ画像情報を生成するようにすることができる。
【００３７】
前記第１の取得手段により取得された第２の画像情報を圧縮する圧縮手段と、圧縮手段により圧縮された第２の画像情報を伸張する伸張手段とをさらに備え、第２の記憶手段は、圧縮手段により圧縮された第２の画像情報を記憶し、伸張手段は、第２の取得手段により、第２の記憶手段より取得された、圧縮手段により圧縮された第２の画像情報を伸張するようにすることができる。
【００３８】
本発明の符号化方法は、入力された第１の画像情報の動き補償に用いられるサーチ画像情報を生成するための第２の画像情報を、第１の記憶部および第２の記憶部より検索する検索ステップと、検索ステップの処理による検索結果に基づいて、第２の記憶部に目的の第２の画像情報が記憶されている場合、第２の記憶部より目的の第２の画像情報を取得し、目的の第２の画像情報が第２の記憶部により記憶されておらず、第１の記憶部に記憶されている場合、第１の記憶部より目的の第２の画像情報を取得するように制御する取得制御ステップと、取得制御ステップの処理により制御され、目的の第２の画像情報が第１の記憶部より取得された場合、第２の記憶部を制御して、取得された第２の画像情報を記憶させる記憶制御ステップと、取得制御ステップの処理により制御され、取得された第２の画像情報を用いてサーチ画像情報を生成する生成ステップとを含むことを特徴とする。
【００３９】
本発明の第１のプログラムは、入力された第１の画像情報の動き補償に用いられるサーチ画像情報を生成するための第２の画像情報を、第１の記憶部および第２の記憶部より検索する検索ステップと、検索ステップの処理による検索結果に基づいて、第２の記憶部に目的の第２の画像情報が記憶されている場合、第２の記憶部より目的の第２の画像情報を取得し、目的の第２の画像情報が第２の記憶部により記憶されておらず、第１の記憶部に記憶されている場合、第１の記憶部より目的の第２の画像情報を取得するように制御する取得制御ステップと、取得制御ステップの処理により制御され、目的の第２の画像情報が第１の記憶部より取得された場合、第２の記憶部を制御して、取得された第２の画像情報を記憶させる記憶制御ステップと、取得制御ステップの処理により制御され、取得された第２の画像情報を用いてサーチ画像情報を生成する生成ステップとをコンピュータに実現させることを特徴とする。
【００４０】
本発明の復号装置は、入力されたビットストリームを復号する復号手段と、復号手段により復号されたビットストリームである第１の画像情報の動き補償を、第１の画像情報に対応するサーチ画像情報を用いて行う動き補償手段と、動き補償手段により動き補償が行われた第１の画像情報である第２の画像情報を記憶する第１の記憶手段と、第１の記憶手段により記憶されている第２の画像情報を取得する第１の取得手段と、第１の記憶手段より高速に動作し、第１の取得手段により取得された第２の画像情報を記憶する第２の記憶手段と、第２の記憶手段により記憶されている第２の画像情報を取得する第２の取得手段と、第１の取得手段または第２の取得手段により取得された第２の画像情報を用いてサーチ画像情報を生成する生成手段と、生成手段によるサーチ画像情報の生成に必要な第２の画像情報を、第１の記憶手段および第２の記憶手段より検索する検索手段とを備え、第２の取得手段は、検索手段による検索結果に基づいて、第２の画像情報が第２の記憶手段により記憶されている場合、第２の記憶手段より第２の画像情報を取得し、第１の取得手段は、検索手段による検索結果に基づいて、第２の画像情報が第２の記憶手段により記憶されておらず、第１の記憶手段により記憶されている場合、第１の記憶手段より第２の画像情報を取得することを特徴とする。
【００４１】
前記動き補償手段は、生成手段により生成されたサーチ画像情報を用いて、第１の画像情報の動き補償を行うようにすることができる。
【００４２】
前記復号手段は、ビットストリームを復号し、逆直行変換し、逆量子化処理を施すようにすることができる。
【００４３】
前記第１の記憶手段は、第２の記憶手段と比較して、大容量の情報を記憶することができるようにすることができる。
【００４４】
前記第１の取得手段は、第２の取得手段と比較して、低速で第２の画像情報を取得するようにすることができる。
【００４５】
前記第１の取得手段により取得された第２の画像情報を圧縮する圧縮手段と、圧縮手段により圧縮された第２の画像情報を伸張する伸張手段とをさらに備え、第２の記憶手段は、圧縮手段により圧縮された第２の画像情報を記憶し、伸張手段は、第２の取得手段により第２の記憶手段より取得された、圧縮手段により圧縮された第２の画像情報を伸張するようにすることができる。
【００４６】
並列に動作し、互いに異なる複数のビットストリームを復号する複数の復号手段と、並列に動作し、互いに異なるサーチ画像情報を用いて、互いに異なる第１の画像情報の動き補償を行う複数の動き補償手段とを備え、第１の記憶手段は、複数の動き補償手段により動き補償が行われた第２の画像情報を記憶し、生成手段は、第１の取得手段または第２の取得手段により取得された第２の画像情報を用いて、複数の動き補償手段により用いられるサーチ画像情報を生成するようにすることができる。
【００４７】
前記第１の取得手段により取得された第２の画像情報を圧縮する圧縮手段と、圧縮手段により圧縮された第２の画像情報を伸張する伸張手段とをさらに備え、第２の記憶手段は、圧縮手段により圧縮された第２の画像情報を記憶し、伸張手段は、第２の取得手段により第２の記憶手段より取得された、圧縮手段により圧縮された第２の画像情報を伸張するようにすることができる。
【００４８】
本発明の復号方法は、復号されたビットストリームである第１の画像情報に動き補償が行われた第２の画像情報を、第１の記憶部および第２の記憶部より検索する検索ステップと、検索ステップの処理による検索結果に基づいて、第２の記憶部に目的の第２の画像情報が記憶されている場合、第２の記憶部より目的の第２の画像情報を取得し、目的の第２の画像情報が第２の記憶部により記憶されておらず、第１の記憶部に記憶されている場合、第１の記憶部より目的の第２の画像情報を取得するように制御する取得制御ステップと、取得制御ステップの処理により制御され、目的の第２の画像情報が第１の記憶部より取得された場合、第２の記憶部を制御して、取得された第２の画像情報を記憶させる第２の記憶制御ステップと、取得制御ステップの処理により制御され、取得された第２の画像情報を用いて、第１の画像情報の動き補償に用いられるサーチ画像データを生成する生成ステップとを含むことを特徴とする。
【００４９】
本発明の第２のプログラムは、復号されたビットストリームである第１の画像情報に動き補償が行われた第２の画像情報を、第１の記憶部および第２の記憶部より検索する検索ステップと、検索ステップの処理による検索結果に基づいて、第２の記憶部に目的の第２の画像情報が記憶されている場合、第２の記憶部より目的の第２の画像情報を取得し、目的の第２の画像情報が第２の記憶部により記憶されておらず、第１の記憶部に記憶されている場合、第１の記憶部より目的の第２の画像情報を取得するように制御する取得制御ステップと、取得制御ステップの処理により制御され、目的の第２の画像情報が第１の記憶部より取得された場合、第２の記憶部を制御して、取得された第２の画像情報を記憶させる第２の記憶制御ステップと、取得制御ステップの処理により制御され、取得された第２の画像情報を用いて、第１の画像情報の動き補償に用いられるサーチ画像データを生成する生成ステップとをコンピュータに実現させることを特徴とする。
【００５０】
本発明の符号化装置および方法、並びに第１のプログラムにおいては、入力された第１の画像情報に対応するサーチ画像情報を用いて、第１の画像情報の動き補償が行われ、動き補償が行われた第１の画像情報が符号化され、サーチ画像情報を生成するための第２の画像情報が生成されて第１の記憶部に記憶され、第１の記憶部に記憶されている第２の画像情報が取得されて、第２の記憶部に記憶され、第２の記憶部に記憶されている第２の画像情報が取得され、第１の記憶部または第２の記憶部より取得された第２の画像情報を用いてサーチ画像情報が生成され、サーチ画像情報の生成に必要な第２の画像情報が、第１の記憶部または第２の記憶部から検索され、その検索結果に基づいて、第２の画像情報が第２の記憶部に記憶されている場合、第２の記憶部に記憶されている第２の画像情報が取得され、また、第２の画像情報が第２の記憶部に記憶されておらず、第１の記憶部に記憶されている場合、第１の記憶部から第２の画像情報が取得される。
【００５１】
本発明の復号装置および方法、並びに第２のプログラムにおいては、入力されたビットストリームが復号され、復号されたビットストリームである第１の画像情報の動き補償が、第１の画像情報に対応するサーチ画像情報を用いて行われ、動き補償が行われた第１の画像情報である第２の画像情報が第１の記憶部に記憶され、第１の記憶部に記憶されている第２の画像情報が取得され、取得された第２の画像情報が第２の記憶部に記憶され、第２の記憶部に記憶されている第２の画像情報が取得され、第１の記憶部または第２の記憶部より取得された第２の画像情報を用いてサーチ画像情報が生成され、サーチ画像情報の生成に必要な第２の画像情報が、第１の記憶部および第２の記憶部より検索され、その検索結果に基づいて、第２の画像情報が第２の記憶部に記憶されている場合、第２の記憶部より第２の画像情報が取得され、また、第２の画像情報が第２の記憶部に記憶されておらず、第１の記憶部に記憶されている場合、第１の記憶部から第２の画像情報が取得される。
【００５２】
【発明の実施の形態】
図５は、本発明を適用した画像情報符号化装置の構成例を表すブロック図である。
【００５３】
図５において、画像情報符号化装置１００は、入力された入力画像データを符号化し、ビットストリームとして出力する装置である。画像情報符号化装置１００は、ＭＰＥＧ２圧縮方式により、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により入力画像データを圧縮する。
【００５４】
ＭＰＥＧ２（ＩＳＯ／ＩＥＣ  １３８１８−２）圧縮方式は、汎用性がある画像圧縮方式として定義された規格であり、飛び越し走査画像および順次走査画像の双方、並びに標準解像度画像および高精細画像を網羅する標準であって、例えばＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）規格に代表されるように、プロフェッショナル用途およびコンシューマー用途の広範なアプリケーションに現在広く用いられている。
【００５５】
ＭＰＥＧ２圧縮方式を用いることにより、例えば、７２０×４８０画素を持つ標準解像度の飛び越し走査画像に対しては４乃至８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像に対しては１８乃至２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【００５６】
図１の画像情報符号化装置１０の場合と同様に、画像情報符号化装置１００に入力された、非圧縮の入力画像データは画像並び替え処理部１１に供給される。
【００５７】
画像並び替え処理部１１は、入力画像データを、フレーム内符号化画像（以下、Ｉピクチャ（Ｉｎｔｒａ−Ｐｉｃｔｕｒｅ）と称する）、フレーム間順方向予測符号化画像（以下、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）と称する）、もしくは、双方向予測符号化画像（以下、Ｂピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ  ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）と称する）の３つの画像タイプのうち、いずれの画像タイプとして処理するかを指定し、指定されたフレーム画像の画像タイプ（Ｉピクチャ、Ｐピクチャ、あるいは、Ｂピクチャ）に応じて、ＩピクチャおよびＰピクチャを、それらの間のＢピクチャに優先させるように、フレーム画像を符号化する順番に並び替えるリオーダリングを実行し、その順番で動き予測部１２に供給する。
【００５８】
動き予測部１２は、画像並び替え処理部１１よりマクロブロック毎に供給された入力画像データとメモリコントローラ１０１より供給されたサーチ画像データとに基づいて、各マクロブロックについて動きベクトルを算出し、入力画像データと、算出した動きベクトルに関する動きベクトル情報を動き補償部１３に供給する。
【００５９】
なお、動き予測部１２は、画像並び替え処理部１１よりフレーム毎に供給される画像データを複数フレーム保持することができるようにし、画像並び替え処理部１１より供給される入力画像データのみに基づいて、動きベクトルを算出するようにしても良い。
【００６０】
動き補償部１３は、動き予測部１２より供給された入力画像データおよび動きベクトル情報、並びに、メモリコントローラ１０１より供給されたサーチ画像データに基づいて、マクロブロック単位の入力画像データについて、各マクロブロックの画像タイプに基づいて、Ｉピクチャに対してはイントラモードで、Ｐピクチャに対しては順方向予測モードで、動き補償を行う。
【００６１】
すなわち、動き補償部１３は、イントラモードの場合、入力されたマクロブロック単位の入力画像データを、そのまま演算データとしてＤＣＴ処理部１４に送出し、順方向予測モードの場合、入力されたマクロブロック単位の入力画像データから、サーチ画像データを減算して、算出された予測残差としての差分データをＤＣＴ処理部１４に送出する。
【００６２】
ＤＣＴ処理部１４は、入力された画像データを、８画素×８画素のブロック単位で２次元離散コサイン変換し、得られたＤＣＴ係数を量子化部１５に供給する。
【００６３】
量子化部１５は、ＤＣＴ処理部１４より供給されたＤＣＴ係数を、内部に保持している所定の量子化テーブルに基づいて、ＤＣ（Ｄｉｒｅｃｔ  Ｃｕｒｒｅｎｔ，直流）成分とＡＣ（Ａｌｔｅｒｎａｔｅ  Ｃｕｒｒｅｎｔ，交流）成分とで独立に量子化し、量子化されたＤＣＴ係数を、さらに圧縮するためにＶＬＣ部１６に供給するとともに、入力画像データを復元するために逆量子化部１７に供給する。
【００６４】
ＶＬＣ部１６は、量子化されたＤＣＴ係数に対して、ハフマン符号化または算術符号化等のエントロピー符号化を行い、情報量を圧縮し、ビットストリームとして、画像情報符号化装置１００の外部に出力する。
【００６５】
逆量子化部１７は、量子化されたＤＣＴ係数を逆量子化し、近似的に復元されたＤＣＴ係数をＩＤＣＴ処理部１８に供給し、ＩＤＣＴ処理部１８は、復元されたＤＣＴ係数に逆２次元離散コサイン変換処理を行い、復元した入力画像データを、局所復号画像データとしてメモリコントローラ１０１に供給する。
【００６６】
メモリコントローラ１０１は、供給された局所復号画像データを、外部メモリ２１に供給し、蓄積させる。また、メモリコントローラ１０１は、動き予測部１２または動き補償部１３よりサーチ画像データの要求を取得すると、その要求に基づいて、内部メモリ１０２にアクセスし、要求されたサーチ画像データを含む局所復号画像データが存在しない場合、外部メモリ２１にアクセスし、要求されたサーチ画像データを含む局所復号画像データをマクロブロック単位で転送させ、内蔵するキャッシュ（図示せず）等に保持するとともに、内部メモリ１０２に記憶させる。
【００６７】
外部メモリ２１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成される半導体メモリであり、所定のメモリバスによってメモリコントローラ１０１と接続されており、メモリコントローラ１０１に制御されて、供給された局所復号画像データを蓄積したり、要求された局所復号画像データを供給したりする。
【００６８】
外部メモリ２１は、画像情報符号化装置１００の外部に設けられているため、外部メモリ２１とメモリコントローラ１０１とを接続するメモリバスの構造がある程度限定されてしまう。従って、メモリバスの帯域幅が制限されるため、データ転送速度も限界が生じる。
【００６９】
また、外部メモリ２１の構造上、外部メモリ２１に蓄積された局所復号画像データを転送する場合、メモリコントローラ１０１は、マクロブロック単位で復元画像データをバースト転送させて、データ転送の高速化を図る必要がある。
【００７０】
これに対して内部メモリ１０２は、画像情報符号化装置１００内に設けられた、ＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成される半導体メモリであり、外部メモリ２１と比較して高速に動作することができるが、集積度やコストの面等から、記憶容量は、外部メモリ２１と比較して小さい。
【００７１】
また、画像情報符号化装置１００内に設けられるため、内部メモリ１０２とメモリコントローラ１０１を接続するメモリバスの帯域幅を自由に設定することができ、転送速度の高速化を容易に図ることができる。
【００７２】
以上のような外部メモリ２１または内部メモリ１０２から必要な局所復号画像データを全て読み出したメモリコントローラ１０１は、それらの局所復号画像データを用いてサーチ画像データを生成し、要求元である、動き予測部１２または動き補償部１３に供給する。
【００７３】
なお、要求されたサーチ画像データを含む局所復号画像データが内部メモリ１０２に存在する場合、メモリコントローラ１０１は、外部メモリ２１へのアクセスは行わずに、内部メモリ１０２より局所復号画像データを読み出し、要求されたサーチ画像データを生成し、供給する。
【００７４】
以上のように、メモリコントローラ１０１は、内部メモリ１０２と比較して記憶容量の大きい外部メモリ２１に局所復号画像データを蓄積し、外部メモリ２１より転送され、サーチ画像データの生成に用いられた局所復号画像データを、外部メモリ２１と比較して高速に動作する内部メモリ１０２に記憶させる。
【００７５】
このようにすることにより、メモリコントローラ１０１は、一度外部メモリ２１より転送させたマクロブロック単位の局所復号画像データを、廃棄することなく、内部メモリ１０２に記憶させ、近傍のマクロブロックに対する処理に利用することができ、外部メモリ２１との転送処理の効率化を図ることができる。
【００７６】
以上のような画像情報符号化装置１００におけるメモリ制御処理を図６および図７のフローチャートを参照して説明する。
【００７７】
最初に、ステップＳ１において、画像情報符号化装置１００のメモリコントローラ１０１は、メモリ制御処理を終了するか否かを判定し、終了しないと判定した場合、ステップＳ２に処理を進める。
【００７８】
ステップＳ２において、メモリコントローラ１０１は、内部メモリ１０２をリセットするか否かを判定し、リセットすると判定した場合、ステップＳ３に処理を進め、メモリコントローラ１０１の内部のキャッシュ等に保持している、内部メモリ１０２が保持しているデータのリストである内部メモリタグを全て初期化し、ステップＳ４に処理を進める。
【００７９】
また、ステップＳ２において、内部メモリ１０２をリセットしないと判定した場合、メモリコントローラ１０１は、処理をステップＳ４に進める。
【００８０】
ステップＳ４において、メモリコントローラ１０１は、動き予測部１２または動き補償部１３より、サーチ画像データの転送要求を取得したか否かを判定し、取得していないと判定した場合、ステップＳ１に処理を戻し、それ以降の処理を繰り返す。
【００８１】
ステップＳ４において、サーチ画像データの転送要求を取得したと判定した場合、メモリコントローラ１０１は、ステップＳ５に処理を進め、外部メモリ２１に局所復号画像データをマクロブロック単位で要求できるように、取得した転送要求の内容をマクロブロック単位に分割し、図７のステップＳ７に処理を進める。
【００８２】
図７のステップＳ７において、メモリコントローラ１０１は、分割した、マクロブロック単位の転送要求を全て処理したか否かを判定し、未処理の転送要求が存在すると判定した場合、ステップＳ８に処理を進める。
【００８３】
メモリコントローラ１０１は、ステップＳ８において、処理を行うマクロブロック単位の転送要求を選択し、ステップＳ９において、選択した転送要求に対応するマクロブロックの局所復号画像データを、メモリコントローラ１０１が保持している内部メモリタグのリストより検索する。
【００８４】
そして、ステップＳ１０において、その検索結果より、転送要求に対応する局所復号画像データが内部メモリ１０２に存在するか否かを判定し、存在しないと判定した場合、ステップＳ１１に処理を進め、外部メモリ２１より、対象のマクロブロックの局所復号画像データを読み出し、保持する。
【００８５】
局所復号画像データを取得したメモリコントローラ１０１は、ステップＳ１２において、内部メモリ１０２に空き容量が存在するか否かを判定し、存在しないと判定した場合、ステップＳ１３において、内部メモリタグの情報を古い方から必要なだけ削除し、空き容量を確保してからステップＳ１４に処理を進める。
【００８６】
ステップＳ１２において、内部メモリ１０２に空き容量が存在すると判定した場合、メモリコントローラ１０１は、ステップＳ１３の処理を省略し、ステップＳ１４に処理を進める。
【００８７】
メモリコントローラ１０１は、ステップＳ１４において、保持している局所復号画像データを内部メモリ１０２に書き込み、ステップＳ１５において、内部メモリタグを更新すると、ステップＳ７に処理を戻し、それ以降の処理を繰り返す。
【００８８】
ステップＳ１０において、転送要求に対応する局所復号画像データが内部メモリ１０２に存在すると判定した場合、メモリコントローラ１０１は、ステップＳ１７に処理を進め、内部メモリ１０２より、その局所復号画像データを読み出し、保持し、ステップＳ７に処理を戻し、それ以降の処理を繰り返す。
【００８９】
ステップＳ７において、マクロブロック単位の転送要求を全て処理したと判定した場合、メモリコントローラ１０１は、ステップＳ１６に処理を進め、保持している局所復号画像データを用いて、要求されたサーチ画像データを生成し、要求元である動き予測部１２または動き補償部１３に供給し、処理を図６のステップＳ１に戻し、それ以降の処理を繰り返す。
【００９０】
図６のステップＳ１において、メモリ制御処理を終了すると判定した場合、メモリコントローラ１０１は、ステップＳ６において、終了処理を行った後、メモリ制御処理を終了する。
【００９１】
以上のように内部メモリ１０２を利用して、サーチ画像データを生成し供給することにより、メモリコントローラ１０１が外部メモリ２１より局所復号画像データを転送するデータ量を抑制することができ、動き補償を用いる画像処理を、より効率的に実行することができる。
【００９２】
図８は、メモリコントローラ１０１が、上述したメモリ制御処理により、要求されたサーチ画像データを生成する様子を示す図である。
【００９３】
図８において、フレーム１１０は、外部メモリ２１または内部メモリ１０２に記憶されている局所復号画像データで構成される１フレーム分の画像データである。最初の段階で、フレーム１１０の画像データは、全て外部メモリ２１に記憶されているものとする。
【００９４】
動き予測部１２または動き補償部１３により、オブジェクト３３についてのサーチ画像データ１２１が要求されると、メモリコントローラ１０１は、サーチ画像データ１２１が含まれる局所復号画像データ１１１および１１２、並びに、局所復号画像データ１１４および１１５を転送させ、それらを内部メモリ１０２に記憶させるとともに、それらから、要求されたサーチ画像データ１２１を生成し、要求元の動き予測部１２または動き補償部１３に供給する。
【００９５】
次に、動き予測部１２または動き補償部１３により、オブジェクト３３についてのサーチ画像データ１２２が要求されると、メモリコントローラ１０１は、内部メモリ１０２より、サーチ画像データ１２２が含まれる局所復号画像データ１１２および１１５を取得するとともに、外部メモリ２１より、サーチ画像データ１２２が含まれる局所復号画像データ１１３および１１６を取得する。
【００９６】
そして、メモリコントローラ１０１は、局所復号画像データ１１３および１１６を内部メモリ１０２に記憶させるとともに、要求されたサーチ画像データ１２２を生成し、要求元の動き予測部１２または動き補償部１３に供給する。
【００９７】
さらに、動き予測部１２または動き補償部１３により、オブジェクト３３についてのサーチ画像データ１２３が要求されると、メモリコントローラ１０１は、内部メモリ１０２より、サーチ画像データ１２３が含まれる局所復号画像データ１１５および１１６を取得するとともに、外部メモリ２１より、サーチ画像データ１２３が含まれる局所復号画像データ１１７および１１８を取得する。
【００９８】
そして、メモリコントローラ１０１は、局所復号画像データ１１７および１１８を内部メモリ１０２に記憶させるとともに、要求されたサーチ画像データ１２３を生成し、要求元の動き予測部１２または動き補償部１３に供給する。
【００９９】
以上のように、内部メモリ１０２を利用することにより、メモリコントローラ１０１は、局所復号画像データ１１２、１１５、および１１６のような複数のサーチ画像データが含まれる局所復号画像データの、外部メモリ２１からの転送回数に対する利用効率を向上させることができ、サーチ画像データを要求されてから供給するまでの処理時間を短縮させることができる。これにより、画像情報複合化装置１００は、動き補償を用いる画像処理を、より効率的に実行することができる。
【０１００】
以上においては、画像データを符号化する場合について説明したが、これに限らず、本発明は、例えば、符号化された画像データを復号する場合にも適用可能である。
【０１０１】
図９は、本発明を適用した画像情報復号装置の内部の構成例を示すブロック図である。
【０１０２】
図９において、画像情報復号装置１５０は、図５の画像情報符号化装置１００に対応する復号装置であり、画像情報符号化装置１００により画像データをＭＰＥＧ２圧縮方式で圧縮して生成されたビットストリームを復号し、画像データを復元する。
【０１０３】
画像情報復号装置１５０に入力されたビットストリームはフレームメモリ５１に供給され、蓄積された後、フレームごとにＶＬＤ部５２に供給される。
【０１０４】
ＶＬＤ部５２は、予め定められている画像圧縮情報のフォーマットに基づき、画像圧縮情報に対して可逆復号（可変長復号、または算術復号等）を施し、ヘッダ部に格納された符号化モード情報を取得して逆量子化部５３に供給する。また同様に、ＶＬＤ部５２は、量子化されている変換係数を取得して逆量子化部５３に供給する。さらに、ＶＬＤ部５２は、復号するフレームがインター符号化されたものである場合には、画像圧縮情報のヘッダ部に格納された動きベクトル情報についても復号し、その情報を動き補償部５５に供給する。
【０１０５】
逆量子化部５３は、ＶＬＤ部５２から供給された量子化されている変換係数を逆量子化し、得られる変換係数をＩＤＣＴ部５４に供給する。ＩＤＣＴ部５４は、その変換係数に対して逆離散コサイン変換を施す。
【０１０６】
ここで、対象となる画像データのフレームがイントラモードで符号化されたものである場合には、逆離散コサイン変換が施された画像データは、動き補償部５５を介してそのまま画面並べ替え処理部５６に格納されるとともに、復号画像データとしてメモリコントローラ１５１に供給される。
【０１０７】
また、対象となるフレームがインターモードで符号化されたものである場合には、動き補償部５５は、メモリコントローラ１５１よりサーチ画像データを取得し、そのサーチ画像データとＶＬＤ部５２より供給された動きベクトル情報に基づいて、参照画像データを生成する。そして、動き補償部５５は、その参照画像データと、ＩＤＣＴ処理部５４より供給された画像データ（差分データ）とを合成し、イントラモードの画像データと同様の画像データを生成し、画面並べ替え処理部５６に格納するとともに、復号画像データとしてメモリコントローラ１５１に供給する。
【０１０８】
画面並び替え処理部５６は、格納しているフレーム毎の画像データの順番を元の順番に並び替え、復号画像データとして、画像情報復号装置１５０の外部に出力する。
【０１０９】
復号画像データを供給されたメモリコントローラ１５１は、その復号画像データを外部メモリ６１に供給し、蓄積させる。また、メモリコントローラ１５１は、動き補償部５５よりサーチ画像データの要求を取得すると、その要求に基づいて、内部メモリ１５２にアクセスし、要求されたサーチ画像データを含む復号画像データのマクロブロックが存在しない場合、外部メモリ６１にアクセスし、要求されたサーチ画像データを含む復号画像データのマクロブロックを転送させ、内蔵するキャッシュ（図示せず）等に保持するとともに、内部メモリ１５２に記憶させる。
【０１１０】
外部メモリ６１は、ＤＲＡＭ等で構成される半導体メモリであり、所定のメモリバスによってメモリコントローラ１５１と接続されており、メモリコントローラ１５１に制御されて、マクロブロック単位で供給された復号画像データを蓄積したり、要求された復号画像データをマクロブロック単位で供給したりする。
【０１１１】
外部メモリ６１は、画像情報復号装置１５０の外部に設けられているため、外部メモリ６１とメモリコントローラ１５１とを接続するメモリバスの構造がある程度限定されてしまう。従って、メモリバスの帯域幅が制限されるため、データ転送速度も限界が生じる。
【０１１２】
また、外部メモリ６１の構造上、外部メモリ６１に蓄積された復号画像データを転送する場合、メモリコントローラ１５１は、マクロブロック単位で復号画像データをバースト転送させて、データ転送の高速化を図る必要がある。
【０１１３】
これに対して内部メモリ１５２は、画像情報復号装置１５０内に設けられた、ＳＲＡＭ等で構成される半導体メモリであり、外部メモリ６１と比較して高速に動作することができるが、集積度やコストの面等から、記憶容量は、外部メモリ６１と比較して小さい。
【０１１４】
また、画像情報復号装置１５０内に設けられるため、内部メモリ１５２とメモリコントローラ１５１を接続するメモリバスの帯域幅を自由に設定することができ、転送速度の高速化を容易に図ることができる。
【０１１５】
以上のような外部メモリ６１または内部メモリ１５２から必要な復号画像データのマクロブロックを全て読み出したメモリコントローラ１５１は、それらの復号画像データを用いてサーチ画像データを生成し、要求元である動き補償部５５に供給する。
【０１１６】
なお、要求されたサーチ画像データを含む復号画像データのマクロブロックが内部メモリ１５２に存在する場合、メモリコントローラ１５１は、外部メモリ６１へのアクセスは行わずに、内部メモリ１５２より復号画像データを読み出し、要求されたサーチ画像データを生成し、供給する。
【０１１７】
以上のように、メモリコントローラ１５１は、図５に示される画像情報符号化装置１００のメモリコントローラ１０１の場合と同様に、内部メモリ１５２と比較して記憶容量の大きい外部メモリ６１に復号画像データを蓄積し、外部メモリ６１より転送され、サーチ画像データの生成に用いられた復号画像データを、外部メモリ６１と比較して高速に動作する内部メモリ１５２に記憶させる。
【０１１８】
このようにすることにより、メモリコントローラ１５１は、一度外部メモリ６１より転送させたマクロブロック単位の復号画像データを、廃棄することなく、内部メモリ１５２に記憶させ、近傍のマクロブロックに対する処理に利用することができ、外部メモリ６１との転送処理の効率化を図ることができる。
【０１１９】
以上のような画像情報復号装置１５０によるメモリ制御処理は、図６および図７のフローチャートを参照して説明した、図５の画像情報符号化装置によるメモリ制御処理の場合の処理と基本的に同様の処理が行われ、図６および図７のフローチャートを適用することができるので、その説明を省略する。
【０１２０】
以上において、図５の画像情報符号化装置１００のメモリコントローラ１０１は、外部メモリ２１より読み出した復号画像データを内部メモリ１０２にそのまま記憶するように説明した。また、同様に、図９の画像情報復号装置１５０のメモリコントローラ１５１も外部メモリ６１より読み出した復号画像データを内部メモリ１５２にそのまま記憶するように説明した。
【０１２１】
しかしながら、これに限らず、外部メモリ２１（外部メモリ６１）より読み出された復号画像データは、メモリコントローラ１０１（メモリコントローラ１５１）において圧縮されてから、内部メモリ１０２（内部メモリ１５２）に記憶されるようにしてもよい。
【０１２２】
上述したように、内部メモリ１０２（内部メモリ１５２）は、外部メモリ２１（外部メモリ６１）と比較して、集積度が低く、製造コストも高いので、一般的に、外部メモリ２１（外部メモリ６１）より記憶容量が少ない。従って、例えば、復元画像データが外部メモリ２１（外部メモリ６１）より１度読み出され、内部メモリ１０２（内部メモリ１５２）に記憶されても、その後の内部メモリ１０２（内部メモリ１５２）の更新により、その復元画像データが消去されてしまう場合がある。
【０１２３】
そのような場合に、その復元画像データが再度必要になると、メモリコントローラ１０１（メモリコントローラ１５１）は、再び外部メモリ２１（外部メモリ６１）から、その復元画像データを読み出さなければなければならない。
【０１２４】
しかしながら、内部メモリ１０２（内部メモリ１５２）の方が、外部メモリ２１（外部メモリ６１）より高速に動作し、転送効率もよいので、できるだけ内部メモリ１０２（内部メモリ１５２）に記憶されている復元画像データのデータ量を増やし、メモリコントローラ１０１（メモリコントローラ１５１）が内部メモリ１０２（内部メモリ１５２）に記憶されている復元画像データを利用する（外部メモリ２１（外部メモリ６１）から読み出す復元画像データのデータ量を少なくする）ようにし、上述したようなケースの発生頻度を最小限に抑えることが望ましい。
【０１２５】
このような効果を得るために、メインコントローラ１０１（メインコントローラ１５１）は、外部メモリ２１（外部メモリ６１）より読み出した復元画像データを可逆的に圧縮してから、内部メモリ１０２（内部メモリ１５２）に記憶させる。
【０１２６】
図５の画像情報符号化装置１００による、このような場合のメモリ制御処理について、図１０および図１１のフローチャートを参照して説明する。必要に応じて図１２を参照して説明する。
【０１２７】
画像情報符号化装置１００のメモリコントローラ１０１は、図６のステップＳ１乃至Ｓ６の場合と同様に、ステップＳ３１乃至Ｓ３６の処理を実行する。
【０１２８】
すなわち、メモリコントローラ１０１は、ステップＳ３１において、メモリ制御処理を終了するか否かを判定し、終了しない場合、ステップＳ３２において、内部メモリ１０２をリセットするか否かを判定し、リセットすると判定した場合、ステップＳ３３において全ての内部メモリタグを初期化し、ステップＳ３４において、動き予測部１２または動き補償部１３より、画像データの転送要求を取得したか否かを判定し、取得したと判定した場合、ステップＳ３５において、転送要求をマクロブロック単位に分割し、図１１のステップＳ３７に処理を進める。
【０１２９】
なお、ステップＳ３２において、内部メモリ１０２のリセットをしないと判定した場合、メモリコントローラ１０１は、ステップＳ３３の処理を省略し、ステップＳ３４に処理を進める。
【０１３０】
また、ステップＳ３１において、終了すると判定した場合、メモリコントローラ１０１は、ステップＳ３６に処理を進め、終了処理を行った後、メモリ制御処理を終了する。
【０１３１】
図１１のステップＳ３７に処理を進めたメモリコントローラ１０１は、図７のステップＳ７乃至Ｓ１１の場合と同様に、ステップＳ３７乃至Ｓ４１の処理を実行する。
【０１３２】
すなわち、メモリコントローラ１０１は、ステップＳ３７において、マクロブロック単位の転送要求を全て処理したか否かを判定し、未処理の転送要求が存在すると判定した場合、ステップＳ３８において、処理を行う転送要求を選択し、ステップＳ３９において、選択した転送要求に対応する局所復号画像データを内部メモリタグより検索し、ステップＳ４０において、転送要求に対応する局所復号画像データが内部メモリ１０２に存在するか否かを判定し、存在しないと判定した場合、ステップＳ４１において、外部メモリ２１にアクセスし、対象の局所復号画像データを読み出し、保持する。
【０１３３】
そして、ステップＳ４２において、メモリコントローラ１０１は、取得した局所復号画像データを圧縮する。
【０１３４】
図１２は、外部メモリ２１より取得された局所復号画像データを圧縮する様子を示す図である。
【０１３５】
図１２Ａにおいて、ブロック１６１は、外部メモリ２１より読み出され、マイクロコンピュータ１０１が保持している局所復号画像データを構成する、８画素×８画素（Ｐ（０，０）乃至Ｐ（７，７））の１つのブロックである。
【０１３６】
マイクロコンピュータ１０１は、以上のようなブロック１６１に対して以下のような圧縮処理を行う。
【０１３７】
【数１】
2004215049.tif 000003
【０１３８】
すなわち、メモリコントローラ１０１は、ブロック１６１の左上端の画素Ｐ（０，０）の画素値をそのまま残し（式（１））、ブロック１６１の左端の画素Ｐ（０，１）乃至Ｐ（０，７）のそれぞれの画素値から、１つ上の画素Ｐ（０，０）乃至Ｐ（０，６）の画素値を減算し（式（２））、その他の画素Ｐ（１，０）乃至Ｐ（７，０），Ｐ（１，１）乃至Ｐ（７，１），Ｐ（１，２）乃至Ｐ（７，２），Ｐ（１，３）乃至Ｐ（７，３），Ｐ（１，４）乃至Ｐ（７，４），Ｐ（１，５）乃至Ｐ（７，５），Ｐ（１，６）乃至Ｐ（７，６），Ｐ（１，７）乃至Ｐ（７，７）のそれぞれの画素値から、１つ左の画素Ｐ（０，０）乃至Ｐ（６，０），Ｐ（０，１）乃至Ｐ（６，１），Ｐ（０，２）乃至Ｐ（６，２），Ｐ（０，３）乃至Ｐ（６，３），Ｐ（０，４）乃至Ｐ（６，４），Ｐ（０，５）乃至Ｐ（６，５），Ｐ（０，６）乃至Ｐ（６，６），Ｐ（０，７）乃至Ｐ（６，７）の画素値を減算し（式（３））、図１２Ｂに示されるブロック１６２を生成する。
【０１３９】
ブロック１６２は、上述したように、元のブロック１６１の左上端の画素Ｐ（０，０）と画素値が等しい画素Ｑ（０，０）、並びに、隣り合う画素の画素値の差分値を画素値とする画素Ｑ（１，０）乃至Ｑ（７，０），Ｑ（０，１）乃至Ｑ（７，１），Ｑ（０，２）乃至Ｑ（７，２），Ｑ（０，３）乃至Ｑ（７，３），Ｑ（０，４）乃至Ｑ（７，４），Ｑ（０，５）乃至Ｑ（７，５），Ｑ（０，６）乃至Ｑ（７，６），Ｑ（０，７）乃至Ｑ（７，７）により構成される８画素×８画素のブロックである。
【０１４０】
以上のようにして、メモリコントローラ１０１は、図１１のステップＳ４２において、例えば、ブロック１６１の各画素Ｐ（ｉ，ｊ）の画素値が８ビットで構成され、ブロック１６１のデータ量が５１２ビットとなる場合、圧縮後のブロック１６２のデータ量がその半分の２５６ビット以下となることを目標として、ブロック１６１を圧縮する。
【０１４１】
そして、ステップＳ４３において、メモリコントローラ１０１は、上述した圧縮処理により、目標の圧縮率で局所復号画像データを可逆圧縮できたか否かを判定する。
【０１４２】
ステップＳ４２の圧縮処理の結果、圧縮後のデータ量が予め定めた所定のデータ量より小さくなり、目標の圧縮率で局所復号画像データを可逆圧縮できたと判定した場合、メモリコントローラ１０１は、ステップＳ４４に処理を進め、図７のステップＳ１２の場合と同様に、内部メモリ１０２に空き容量が存在するか否かを判定し、存在しないと判定した場合、ステップＳ４５において、図７のステップＳ１３の場合と同様に、内部メモリタグの情報を古い方から削除し、ステップＳ４６において、ステップＳ４２の処理により圧縮した局所復号画像データを内部メモリ１０２に書き込み、ステップＳ４７において、図１７のステップＳ１５の場合と同様に、内部メモリタグを更新した後、ステップＳ３７に処理を戻し、それ以降の処理を繰り返す。
【０１４３】
なお、ステップＳ４４において、内部メモリ１０２に空き容量が存在すると判定した場合、メモリコントローラ１０１は、ステップＳ４５の処理を省略し、ステップＳ４６に処理を進め、圧縮した局所復号画像データを内部メモリ１０２に書き込む。
【０１４４】
また、ステップＳ４３において、目標の圧縮率で可逆圧縮できなかったと判定した場合、メモリコントローラ１０１は、ステップＳ４４乃至Ｓ４７の処理を省略し、ステップＳ３７に処理を戻して、それ以降の処理を繰り返す。
【０１４５】
また、ステップＳ４０において、転送要求に対応する局所復号画像データが内部メモリ１０２に存在すると判定した場合、メモリコントローラ１０１は、処理をステップＳ４９に進め、図７のステップＳ１７の場合と同様に、内部メモリ１０２より、転送要求に対応する、圧縮された局所復号画像データを読み出す。
【０１４６】
そして、ステップＳ５０において、メモリコントローラ１０１は、内部メモリ１０２より取得した、圧縮された局所復号画像データを、図１２を参照して説明した方法の逆を行って伸張し、元の局所復号画像データを復元して保持する。
【０１４７】
すなわち、メモリコントローラ１０２は、内部メモリ１０２より取得した局所復号画像データの各ブロック（図１２Ｂのブロック１６２）に対して、以下の演算を行って、元の局所復号画像データの各ブロック（図１２Ａのブロック１６１）を復元する。
【０１４８】
【数２】
2004215049.tif 000004
【０１４９】
以上の式（４）乃至式（６）の演算を行い、ブロック１６２よりブロック１６１を復元したメモリコントローラ１０１は、処理をステップＳ３７に戻し、それ以降の処理を繰り返す。
【０１５０】
そして、ステップＳ３７において、マクロブロック単位の転送要求を全て処理したと判定した場合、メモリコントローラ１０１は、ステップＳ４８に処理を進め、要求されたサーチ画像データを生成し、要求元である動き予測部１２または動き補償部１３に供給する。
【０１５１】
以上のようにして、メモリ制御処理を行うことにより、メモリコントローラ１０１は、内部メモリ１０２により多くの局所復号画像データを記憶させることができるので、より効果的に内部メモリ１０２を利用することができる。
【０１５２】
以上において、メモリコントローラ１０１による局所復号画像データの圧縮方法の１つの例を説明したが、圧縮方法はこれに限らずどのような方法であってもよい。なお、この場合、画像データの画質劣化を抑制するためには、可逆方式の圧縮方法を用いる方がよい。
【０１５３】
また、上述したように、外部メモリより取得した復号画像データを圧縮して内部メモリに記憶させる方法は、図９の画像情報復号装置１５０においても適用できる。
【０１５４】
図９の画像情報復号装置１５０のメモリコントローラ１５１は、上述した図５の画像情報復号装置１０１のメモリコントローラ１０１によるメモリ制御処理の場合と基本的に同様の処理を行うので、メモリコントローラ１５１によるメモリ制御処理にも、図１０および図１１のフローチャートを適用することができる。従って、その説明は省略する。
【０１５５】
以上においては、１つのメモリコントローラに対して、１つの動き予測部または動き補償部がサーチ画像データを要求する場合について説明したが、これに限らず、本発明は、図１３および図１４に示されるように、１つのメモリコントローラに対して複数の動き予測部または動き補償部がサーチ画像データを要求する場合においても適用できる。
【０１５６】
図１３は、それぞれ入力画像データを符号化する２つの符号化処理部を有する画像情報符号化装置の構成例を示すブロック図である。
【０１５７】
図１３において、画像情報符号化装置２００は、図５を参照して説明した画像情報符号化装置１００の動き予測部１２と同様の構成であり、かつ、同様に動作する動き予測部２１２Ａおよび２１２Ｂ、動き補償部１３と同様の構成であり、かつ、同様に動作する動き補償部２１３Ａおよび２１３Ｂ、ＤＣＴ処理部１４と同様の構成であり、かつ、同様に動作するＤＣＴ処理部２１４Ａおよび２１４Ｂ、量子化部１５と同様の構成であり、かつ、同様に動作する量子化部２１５Ａおよび２１５Ｂ、ＶＬＣ部１６と同様の構成であり、かつ、同様に動作するＶＬＣ部２１６Ａおよび２１６Ｂ、逆量子化部１７と同様の構成であり、かつ、同様に動作する逆量子化部２１７Ａおよび２１７Ｂ、並びに、ＩＤＣＴ処理部１８と同様の構成であり、かつ、同様に動作するＩＤＣＴ処理部２１８Ａおよび２１８Ｂを有している。
【０１５８】
すなわち、画像情報符号化装置２００は、動き予測部２１２Ａ、動き補償部２１３Ａ、ＤＣＴ処理部２１４Ａ、量子化部２１５Ａ、ＶＬＣ部２１６Ａ、逆量子化部２１７Ａ、およびＩＤＣＴ部２１８Ａからなる符号化処理部２０３Ａと、動き予測部２１２Ｂ、動き補償部２１３Ｂ、ＤＣＴ処理部２１４Ｂ、量子化部２１５Ｂ、ＶＬＣ部２１６Ｂ、逆量子化部２１７Ｂ、およびＩＤＣＴ部２１８Ｂからなる符号化処理部２０３Ｂとの、２つの符号化処理部を有しており、画像並び替え処理部２１１は、画像情報符号化装置２００の外部より入力された入力画像データを、フレーム毎に所定の順番に並び替え、ブロック、マクロブロック、フレーム、スライス、またはＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ）等、所定の単位毎に符号化部２０３Ａまたは２０３Ｂに振り分けて供給する。
【０１５９】
符号化部２０３Ａおよび２０３Ｂは、互いに並列的に動作し、それぞれ、図５を参照して説明した場合と同様に、供給された入力画像データをＭＰＥＧ方式で圧縮し、ビットストリームとして画像情報符号化装置２００の外部に出力する。
【０１６０】
また、画像情報符号化装置２００は、メモリコントローラ２０１および内部メモリ２０２を有している。メモリコントローラ２０１は、上述した場合と同様に、符号化処理部２０３Ａの符号化処理に対して、ＩＤＣＴ処理部２１８Ａより局所復号画像データを取得し、外部メモリ２１に蓄積するとともに、動き予測部２１２Ａまたは動き補償部２１３Ａの要求に基づいて、外部メモリ２１または内部メモリ２０２より復号画像データを取得し、サーチ画像データを生成し、要求元の動き予測部２１２Ａまたは動き補償部２１３Ａに供給する。
【０１６１】
また、メモリコントローラ２０１は、外部メモリ２１より復号画像データを取得した場合、その復号画像データを内部メモリ２０２に記憶させる。
【０１６２】
同様に、メモリコントローラ２０１は、符号化処理部２０３Ｂの符号化処理に対しても、ＩＤＣＴ処理部２１８Ｂより局所復号画像データを取得し、外部メモリ２１に蓄積するとともに、動き予測部２１２Ｂまたは動き補償部２１３Ｂの要求に基づいて、外部メモリ２１または内部メモリ２０２より復号画像データを取得し、サーチ画像データを生成し、要求元の動き予測部２１２Ｂまたは動き補償部２１３Ｂに供給する。そして、外部メモリ２１より復号画像データを取得した場合、メモリコントローラ２０１は、その復号画像データを内部メモリ２０２に記憶させる。
【０１６３】
すなわち、メモリコントローラ２０１は、符号化処理部２０３Ａおよび２０３Ｂのそれぞれに対して、図６および図７のフローチャートを参照して説明した場合と同様のメモリ制御処理を実行する。従って、メモリコントローラ２０１によるメモリ制御処理の詳細についての説明は省略する。
【０１６４】
画像情報符号化装置２００は、以上のように、並列的に動作する複数の符号化処理部を有することにより、より高速に入力画像データの圧縮処理を行うことができ、例えば、ＨＤＴＶ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  ＴｅｌｅＶｉｓｉｏｎ）用の画像データのように、データ量の多い入力画像データをリアルタイムに処理する場合であっても、コマ落ち等のエラーを発生させることなく、圧縮することができる。
【０１６５】
このような、符号化処理部が複数存在する画像情報符号化装置２００の場合（動き予測部、動き補償部、またはＩＤＣＴ処理部が複数存在する場合）、図５の画像情報符号化装置１００の場合と比較して、局所復号画像データを取得する回数、または、サーチ画像データを要求される回数が増加するので、メモリコントローラ２０１が外部メモリ２１と行う局所復号画像データの転送量も増加し、オーバーフローが発生しやすくなる。
【０１６６】
従って、このような場合に、上述したように内部メモリ２０２を利用することにより、メモリコントローラ２０１は、外部メモリ２１との画像データの転送量の増加を抑制し、オーバーフロー等の発生頻度を抑えることもでき、符号化処理部が１つである図５の画像情報符号化装置１００の場合と比較して、その効果はより大きなものとなる。
【０１６７】
なお、以上においては、２つの符号化処理部を有する画像情報符号化装置について説明したが、これに限らず、画像情報符号化装置が有する、互いに並列的に画像処理を実行する符号化処理部の数はいくつであってもよい。
【０１６８】
また、画像情報符号化装置２００のメインコントローラ２０１は、図１０および図１１のフローチャートを参照して説明したメモリ制御処理を実行することにより、外部メモリ２１より取得した局所復号画像データを所定の方式で圧縮してから内部メモリ２０２に記憶させるようにしてもよい。
【０１６９】
その場合、メモリコントローラ２０１は、符号化処理部２０３Ａおよび２０３Ｂのそれぞれに対して、図１０および図１１のフローチャートを参照して説明した場合と同様のメモリ制御処理を実行する。従って、メモリコントローラ２０１による、外部メモリ２１より取得した局所復号画像データを圧縮してから内部メモリ２０２に記憶させる場合の、メモリ制御処理の詳細についての説明は省略する。
【０１７０】
図１４は、それぞれ入力されたビットストリームを復号する２つの復号処理部を有する画像情報復号装置の構成例を示すブロック図である。
【０１７１】
図１４において、画像情報復号装置２５０は、図９を参照して説明した画像情報復号装置１５０のＶＬＤ部５２と同様の構成であり、かつ、同様に動作するＶＬＤ部２６２Ａおよび２６２Ｂ、逆量子化部５３と同様の構成であり、かつ、同様に動作する逆量子化部２６３Ａおよび２６３Ｂ、ＩＤＣＴ処理部５４と同様の構成であり、かつ、同様に動作するＩＤＣＴ処理部２６４Ａおよび２６４Ｂ、並びに、動き補償部５５と同様の構成であり、かつ、同様に動作する動き補償部２６５Ａおよび２６５Ｂを有している。
【０１７２】
すなわち、画像情報復号装置２５０は、ＶＬＤ部２６２Ａ、逆量子化部２６３Ａ、ＩＤＣＴ処理部２６４Ａ、および、動き補償部２６５Ａからなる復号処理部２５３Ａと、ＶＬＤ部２６２Ｂ、逆量子化部２６３Ｂ、ＩＤＣＴ処理部２６４Ｂ、および、動き補償部２６５Ｂからなる復号処理部２５３Ｂとからなる復号処理部２５３Ｂとの、２つの符号化処理部を有しており、フレームメモリ２６１は、画像情報復号装置２００の外部より入力されたビットストリームを、フレーム毎に、復号処理部２５３Ａまたは２５３Ｂに振り分けて供給する。
【０１７３】
復号処理部２５３Ａおよび２５３Ｂは、互いに並列的に動作し、それぞれ、図９を参照して説明した場合と同様に、図１３の画像情報符号化装置２００より供給された、画像情報符号化装置２００が圧縮したビットストリームをＭＰＥＧ方式で伸張し、画像並び替え処理部２６６に供給する。画像並び替え処理部２６６は、供給された画像並び替え処理部２６６は、供給された画像データを、フレーム毎に所定の順番に並び替え、復号画像データとして画像情報復号装置２５０の外部に出力する。
【０１７４】
また、画像情報復号装置２５０は、メモリコントローラ２５１および内部メモリ２５２を有している。メモリコントローラ２５１は、上述した場合と同様に、復号処理部２５３Ａの符号化処理に対して、動き補償部２６５Ａより局所復号画像データを取得し、外部メモリ６１に蓄積するとともに、動き補償部２６５Ａの要求に基づいて、外部メモリ６１または内部メモリ２５２より復号画像データを取得し、サーチ画像データを生成し、要求元の動き補償部２６５Ａに供給する。
【０１７５】
また、メモリコントローラ２５１は、外部メモリ６１より復号画像データを取得した場合、その復号画像データを内部メモリ２５２に記憶させる。
【０１７６】
同様に、メモリコントローラ２５１は、復号処理部２５３Ｂの符号化処理に対しても、動き補償部２６５Ｂより局所復号画像データを取得し、外部メモリ６１に蓄積するとともに、動き補償部２６５Ｂの要求に基づいて、外部メモリ６１または内部メモリ２５２より復号画像データを取得し、サーチ画像データを生成し、要求元の動き補償部２６５Ｂに供給する。そして、外部メモリ６１より復号画像データを取得した場合、メモリコントローラ２５１は、その復号画像データを内部メモリ２５２に記憶させる。
【０１７７】
すなわち、メモリコントローラ２５１は、復号処理部２５３Ａおよび２５３Ｂのそれぞれに対して、図６および図７のフローチャートを参照して説明した場合と同様のメモリ制御処理を実行する。従って、メモリコントローラ２５１によるメモリ制御処理の詳細についての説明は省略する。
【０１７８】
画像情報復号装置２５０は、画像情報符号化装置２００の場合と同様に、並列的に動作する複数の符号化処理部を有することにより、より高速に入力画像データの圧縮処理を行うことができ、例えば、ＨＤＴＶ用の画像データのように、データ量の多い入力画像データをリアルタイムに処理する場合であっても、コマ落ち等のエラーを発生させることなく、伸張することができる。
【０１７９】
このような、復号処理部が複数存在する画像情報復号装置２５０の場合（動き補償部が複数存在する場合）、図９の画像情報復号装置１５０の場合と比較して、局所復号画像データを取得する回数、または、サーチ画像データを要求される回数が増加するので、メモリコントローラ２５１が外部メモリ６１と行う復号画像データの転送量も増加し、オーバーフローが発生しやすくなる。
【０１８０】
従って、このような場合に、上述したように内部メモリ２５２を利用することにより、メモリコントローラ２５１は、外部メモリ６１との画像データの転送量の増加を抑制し、オーバーフロー等の発生頻度を抑えることもでき、復号処理部が１つである図９の画像情報復号装置１５０の場合と比較して、その効果はより大きなものとなる。
【０１８１】
なお、以上においては、２つの復号処理部を有する画像情報復号装置について説明したが、これに限らず、画像情報復号装置が有する、互いに並列的に画像処理を実行する復号処理部の数はいくつであってもよい。
【０１８２】
また、画像情報復号装置２５０のメインコントローラ２５１は、図１０および図１１のフローチャートを参照して説明したメモリ制御処理を実行することにより、外部メモリ６１より取得した復号画像データを所定の方式で圧縮してから内部メモリ２５２に記憶させるようにしてもよい。
【０１８３】
その場合、メモリコントローラ２５１は、復号処理部２５３Ａおよび２５３Ｂのそれぞれに対して、図１０および図１１のフローチャートを参照して説明した場合と同様のメモリ制御処理を実行する。従って、メモリコントローラ２５１による、外部メモリ６１より取得した復号画像データを圧縮してから内部メモリ２５２に記憶させる場合の、メモリ制御処理の詳細についての説明は省略する。
【０１８４】
以上において、画像情報符号化装置１００および２００、並びに、画像情報復号装置１５０および２５０は、それぞれ、１つの装置として構成されるように説明したが、これに限らず、上述した全ての機能を有する１つの装置として構成されるようにしてもよいし、それぞれが複数の装置により構成されるシステムとして実現するようにしてもよい。
【０１８５】
また、画像情報符号化装置１００および２００、並びに、画像情報復号装置１５０および２５０は、それぞれ、モジュールとして構成されるようにし、外部メモリ２１または６１を含めた１つの装置として構成されるようにしてもよい。
【０１８６】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。この場合、例えば、図５の画像情報符号化装置１００、図９の画像情報復号装置１５０、図１３の画像情報符号化装置２００、または図１４の画像情報復号装置２５０は、図１５に示されるようなパーソナルコンピュータ３００により構成される。
【０１８７】
図１５において、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３０１は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）３０２に記憶されているプログラム、または、記憶部３１３からＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）３０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ３０３にはまた、ＣＰＵ３０１が各種の処理を実行する上において必要なデータなどが適宜記憶される。
【０１８８】
ＣＰＵ３０１、ＲＯＭ３０２、およびＲＡＭ３０３は、バス３０４を介して相互に接続されている。このバス３０４にはまた、入出力インタフェース３１０も接続されている。
【０１８９】
入出力インタフェース３１０には、キーボード、マウスなどよりなる入力部３１１、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ），ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）などよりなるディスプレイ、並びにスピーカなどよりなる出力部３１２、ハードディスクなどより構成される記憶部３１３、モデム、ターミナルアダプタなどより構成される通信部３１４が接続されている。通信部３１４は、図示しないネットワークを介しての通信処理を行う。
【０１９０】
入出力インタフェース３１０にはまた、必要に応じてドライブ３１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等により構成されるリムーバブルディスク３１６が適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部３１３にインストールされる。
【０１９１】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１９２】
この記録媒体は、図１５に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）を含む）、光磁気ディスク（ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）を含む）、もしくは半導体メモリなどよりなるリムーバブルディスク３１６により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭ３０２や、記憶部３１３に含まれるハードディスクなどで構成される。
【０１９３】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１９４】
【発明の効果】
以上のように、本発明によれば、画像処理を行うことができる。特に、動き補償を用いる画像処理を、より効率的に実行することができることができる。
【図面の簡単な説明】
【図１】従来の画像情報符号化装置の構成例を示すブロック図である。
【図２】動きベクトルを算出する様子を示す模式図である。
【図３】サーチ画像データを生成する様子を示す模式図である。
【図４】従来の画像情報復号装置の構成例を示すブロック図である。
【図５】本発明を適用した画像情報符号化装置の構成例を示すブロック図である。
【図６】メモリ制御処理の例を説明するフローチャートである。
【図７】メモリ制御処理の例を説明する、図６に続くフローチャートである。
【図８】図５のメモリコントローラによるサーチ画像データの生成の様子を示す模式図である。
【図９】本発明を適用した画像情報復号装置の構成例を示すブロック図である。
【図１０】メモリ制御処理の他の例を説明するフローチャートである。
【図１１】メモリ制御処理の他の例を説明するフローチャートである。
【図１２】圧縮される復号画像データのブロックの様子を示す模式図である。
【図１３】本発明を適用した画像情報符号化装置の他の構成例を示すブロック図である。
【図１４】本発明を適用した画像情報復号装置の他の構成例を示すブロック図である。
【図１５】本発明を適用したパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
２１  外部メモリ，  ６１  外部メモリ，  １００  画像情報符号化装置，  １０１  メモリコントローラ，  １０２  内部メモリ，  １１０  フレーム，  １１１乃至１１８  局所復号画像データ，  １２１乃至１２３  サーチ画像データ，  １５０  画像情報復号装置，  １５１  メモリコントローラ，  １５２  内部メモリ，  １６１および１６２  ブロック，  ２００  画像情報符号化装置，  ２０１  メモリコントローラ，  ２０２  内部メモリ，  ２０３Ａおよび２０３Ｂ  符号化処理部，  ２５０  画像情報復号装置，  ２５１  メモリコントローラ，  ２５２  内部メモリ，  ２５３Ａおよび２５３Ｂ  復号処理部
【図１】
2004215049.tif 000005
【図２】
2004215049.tif 000006
【図３】
2004215049.tif 000007
【図４】
2004215049.tif 000008
【図５】
2004215049.tif 000009
【図６】
2004215049.tif 000010
【図７】
2004215049.tif 000011
【図８】
2004215049.tif 000012
【図９】
2004215049.tif 000013
【図１０】
2004215049.tif 000014
【図１１】
2004215049.tif 000015
【図１２】
2004215049.tif 000016
【図１３】
2004215049.tif 000017
【図１４】
2004215049.tif 000018
【図１５】
2004215049.tif 000019