(57)【要約】【課題】最小限のメモリと処理量で、複数系列の動画の符号化・複号処理を実現する画像処理装置を提供する。【解決手段】複数系列の動画を処理する場合において、各系列における１フレーム分の全ての画像データを格納できるリングバッファ構造のフレームメモリ１０に全ての画像データを格納し、格納した画像データ上の動きベクトルが示す可能性のある領域を上書きしないために、次のフレームに対する画像データを一時的に格納するためのバッファメモリ１２を使用して、そのバッファメモリ１２に次フレームの画像データを格納し、バッファメモリ１２が一杯になれば、残りの画像データをフレームメモリ１０の先頭から格納して行き、１フレームの画像データの格納処理が完了すると、バッファメモリ１２に格納した画像データをフレームメモリ１０上の空き領域へ転送する。【選択図】      図１
2004253988.tif 000002
【特許請求の範囲】
【請求項１】
複数系列の動画を処理可能な画像処理装置であって、各系列毎に設けられ１フレーム分の画像データを格納可能な容量を持つリングバッファ構造のフレームメモリと、前記フレームメモリに格納された画像データ上の動きベクトルが示す可能性のある領域を次のフレームの画像データが上書きしないようにするために一時的に前記次フレーム画像データの一部を格納するバッファメモリと、現在の処理の位置アドレスを管理することで前記次フレーム画像データの前記フレームメモリと前記バッファメモリへの格納位置を指示するアドレス管理手段と、前記アドレス管理手段の指示に従い前記バッファメモリと前記フレームメモリへの前記次フレーム画像データの格納が完了した場合に、前記バッファメモリに一時的に格納された前記次フレーム画像データの一部を前記フレームメモリに転送するデータ転送手段と、時分割で入力画像及びフレームメモリの系列切り替えを行うとともに、前記データ転送手段に対する系列の切り替えを制御する経路制御手段と、を具備することを特徴とする画像処理装置。
【請求項２】
複数系列の動画を処理可能な画像処理装置であって、１系列に対し１フレーム分の画像データを格納可能な容量を持つとともに、動きベクトルが示す可能性のある領域を上書きしないようにするために次のフレームに対する画像データの一部を格納可能な空き容量を持つリングバッファ構造の１系列フレームメモリと、他の系列夫々に対し１フレーム分の画像データを格納可能な容量を持つリングバッファ構造の他系列フレームメモリと、現在の処理の位置アドレスを管理することで前記１系列に対しては前記次フレーム画像データの前記１系列フレームメモリへの格納位置を指示し、前記他の系列夫々に対しては前記次フレーム画像データの前記１系列フレームメモリの空き容量領域と前記他系列フレームへの格納位置を指示するアドレス管理手段と、前記他系列夫々において前記アドレス管理手段の指示に従い前記１系列フレームメモリと前記他系列フレームメモリへの前記次フレーム画像データの格納が完了した場合には前記１系列フレームメモリの空き領域に一時的に格納された前記次フレーム画像データの一部を前記他系列フレームメモリに転送するデータ転送手段と、時分割で入力画像並びに１系列及び他系列のフレームメモリの系列切り替えを制御する経路制御手段と、を具備することを特徴とする画像処理装置。
【請求項３】
請求項１又は請求項２のいずれかに記載の画像処理装置を具備することを特徴とする携帯端末。
【請求項４】
１フレーム分の画像データを格納可能な容量を持つリングバッファ構造のフレームメモリと、次フレームの画像データの一部を格納可能な容量を持つバッファメモリとを用いて複数系列の動画を処理する画像処理方法であって、前記フレームメモリと前記バッファメモリに対するアドレスを管理して、画像データの前記フレームメモリへの格納後、次フレーム画像データの格納時には、動きベクトルが示す可能性のある領域を上書きしないようにするために一時的に前記次フレーム画像データの一部をバッファメモリに格納し、残りの次フレーム画像データについては、前記フレームメモリの動きベクトルが示す可能性のある領域を除く領域に格納し、次フレーム画像データの格納が完了したときには、前記バッファメモリに一時的に格納した前記次フレーム画像データの一部を前記フレームメモリに転送することを特徴とする画像処理方法。
【請求項５】
１フレーム分の画像データを格納可能な容量を持つとともに、動きベクトルが示す可能性のある領域を上書きしないようにするために次のフレームに対する画像データの一部を格納可能な空き容量を持つリングバッファ構造の１系列フレームメモリと、１フレーム分の画像データを格納可能な容量を持つリングバッファ構造の他系列フレームメモリとを用いて複数系列の動画を処理する画像処理方法であって、現在の処理の位置アドレスを管理して、前記１系列に対しては前記次フレーム画像データの前記１系列フレームメモリへの格納位置を指示し、前記他の系列夫々に対しては前記次フレーム画像データの前記１系列フレームメモリの空き容量領域と前記他系列フレームへの格納位置を指示し、前記他系列夫々において前記１系列フレームメモリと前記他系列フレームメモリへの前記次フレーム画像データの格納が完了したときに前記１系列フレームメモリの空き領域に一時的に格納した前記次フレーム画像データの一部を前記他系列フレームメモリに転送することを特徴とする画像処理方法。
【請求項６】
１フレーム分の画像データを格納可能な容量を持つリングバッファ構造のフレームメモリと次フレームの画像データの一部を格納可能な容量を持つバッファメモリ夫々に対するアドレスを管理するアドレス管理手順と、前記フレームメモリに画像データを格納する画像データ格納手順と、次フレーム画像データの格納時には、動きベクトルが示す可能性のある領域を上書きしないようにするために一時的に前記次フレーム画像データの一部を前記バッファメモリに格納し、残りの次フレーム画像データを前記フレームメモリの動きベクトルが示す可能性のある領域を除く領域に格納する次フレームデータ格納手順と、次フレーム画像データの格納が完了すると、前記バッファメモリに一時的に格納した前記次フレーム画像データの一部を前記フレームメモリに転送するデータ転送手順と、を具備することを特徴とする画像処理プログラム。
【請求項７】
１フレーム分の画像データを格納可能な容量を持つとともに、動きベクトルが示す可能性のある領域を上書きしないようにするために次のフレームに対する画像データの一部を格納可能な空き容量を持つリングバッファ構造の１系列フレームメモリと１フレーム分の画像データを格納可能な容量を持つリングバッファ構造の他系列フレームメモリ夫々に対するアドレスを管理し、前記１系列に対して前記次フレーム画像データの前記１系列フレームメモリへの格納位置を指示し、前記他の系列夫々に対しては前記次フレーム画像データの前記１系列フレームメモリの空き容量領域と前記他系列フレームへの格納位置を指示するするアドレス管理手順と、前記他系列夫々において、前記次フレーム画像データを前記１系列フレームメモリと前記他系列フレームメモリに亘って格納する画像データ格納手順と、前記他系列夫々において、前記次フレーム画像データの前記１系列フレームメモリと前記他系列フレームメモリへの格納が完了すると、前記１系列フレームメモリの空き領域に一時的に格納した前記次フレーム画像データの一部を前記他系列フレームメモリに転送するデータ転送手順と、を具備することを特徴とする画像処理プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画データを符号化又は複号化する画像処理装置及び画像処理方法に関する。
【０００２】
【従来の技術】
従来、国際標準化機構（ＩＳＯ）、国際電気標準会議（ＩＥＣ）並びに国際電気通信標準化部門（ＩＴＵ−Ｔ）によって勧告されている動画像の符号化アルゴリズムを用いた画像符号化装置及び画像複号化装置の提案がなされている。
【０００３】
このような画像圧縮技術を使用した様々なアプリケーションが考えられ、効率的に処理を行うために、単一の装置で複数系列の動画を処理可能な、多入力・多出力の画像処理装置が注目されている。さらに携帯電話等の移動端末への搭載を考慮すると、小型、低コスト、低消費電力が求められることから、本分野に対する注目度は大きく、非常に重要な技術となる。特に大量のメモリを使用する画像データ処理においては、メモリ容量の削減は効果が大きいことが知られている。
【０００４】
従来の動画処理におけるメモリ削減技術としては、１フレーム分の予測参照画像のみをフレームメモリに格納しておき、また動きベクトルの探索対象となる部分を書き潰さないだけのＦＩＦＯ（Ｆｉｒｓｔ  Ｉｎ  Ｆｉｒｓｔ  Ｏｕｔ）構造のバッファメモリを用意しておいて、処理が完了した領域（ブロック）から順にブロックデータをフレームメモリに書き戻すようにしたものがある（例えば特許文献１参照）。なお、この方法では、使用メモリを削減する代償として、データ転送を行うために処理が増加する欠点がある。
【０００５】
図１０は、上記技術を図示したものである。
まず、通常は現在の処理フレームと時間的に１つ前の処理フレームの差分情報が必要であり、フレームメモリ上の予測参照画像（１つ前のフレームデータ）は現在のフレームの処理が完了するまで保持しておく必要がある。ただし、動きベクトルの範囲すなわち予測参照となる範囲はフレームの全領域ではなく、処理対象のブロックの周囲に限られていることが多いことを利用し、動きベクトルの範囲外の領域は不要なので書き潰すことが可能である。従来技術はこの点を利用している。
【０００６】
フレームの先頭は、次のフレームの予測参照画像をフレームメモリ１００に格納することができないので（即ち書き潰すことができないので）、ＦＩＦＯ構造のバッファメモリ１０１に格納する（図１０−（ａ））。このバッファメモリ１０１の容量がｆｕｌｌ（即ち一杯）になれば、先頭のデータからフレームメモリ１００へ上書きしながら格納する（図１０−（ｂ））。１フレームの処理が完了すれば、バッファメモリ１０１上のデータがフレームメモリ１００へ全て排出されることになる（図１０−（ｃ））。したがって、バッファメモリ１０１に一時的に格納し、容量がｆｕｌｌなれば、押し出して格納することにより、動きベクトルの示す範囲を書き潰さずに、かつ不要な領域から上書きしてメモリを削減することができる。
【０００７】
【特許文献１】
特開平６−２０５３９５号公報（第４頁、図２）
【０００８】
【発明が解決しようとする課題】
しかしながら、従来の画像符号化装置においては、以下のような問題がある。
すなわち、複数系列の動画処理と組み合わせた場合に、扱う系列分のフレームメモリおよびバッファメモリが必要である。また、バッファメモリからフレームメモリに転送する処理（コピー）が、１フレームのサイズ分発生するので、複数系列の動画を扱うと転送処理だけでも処理量が膨大になる。
【０００９】
本発明は係る点に鑑みてなされたものであり、最小限のメモリ容量と処理量で、複数系列の動画の符号化を行うことができる画像処理装置及び画像処理方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
請求項１に係る発明の画像処理装置は、複数系列の動画を処理可能な画像処理装置であって、各系列毎に設けられ１フレーム分の画像データを格納可能な容量を持つリングバッファ構造のフレームメモリと、前記フレームメモリに格納された画像データ上の動きベクトルが示す可能性のある領域を次のフレームの画像データが上書きしないようにするために一時的に前記次フレーム画像データの一部を格納するバッファメモリと、現在の処理の位置アドレスを管理することで前記次フレーム画像データの前記フレームメモリと前記バッファメモリへの格納位置を指示するアドレス管理手段と、前記アドレス管理手段の指示に従い前記バッファメモリと前記フレームメモリへの前記次フレーム画像データの格納が完了した場合に、前記バッファメモリに一時的に格納された前記次フレーム画像データの一部を前記フレームメモリに転送するデータ転送手段と、時分割で入力画像及びフレームメモリの系列切り替えを行うとともに、前記データ転送手段に対する系列の切り替えを制御する経路制御手段と、を具備する構成を採る。
【００１１】
この構成によれば、バッファメモリを複数の系列で共通利用することができるので、バッファメモリを系列分用意する必要がなく、少ないメモリで画像処理を行うことが可能となる。また、バッファメモリからフレームメモリに書き戻す処理がバッファメモリ分のみでよいので、転送処理が最小限で済む。
【００１２】
請求項２に係る発明の画像処理装置は、複数系列の動画を処理可能な画像処理装置であって、１系列に対し１フレーム分の画像データを格納可能な容量を持つとともに、動きベクトルが示す可能性のある領域を上書きしないようにするために次のフレームに対する画像データの一部を格納可能な空き容量を持つリングバッファ構造の１系列フレームメモリと、他の系列夫々に対し１フレーム分の画像データを格納可能な容量を持つリングバッファ構造の他系列フレームメモリと、現在の処理の位置アドレスを管理することで前記１系列に対しては前記次フレーム画像データの前記１系列フレームメモリへの格納位置を指示し、前記他の系列夫々に対しては前記次フレーム画像データの前記１系列フレームメモリの空き容量領域と前記他系列フレームへの格納位置を指示するアドレス管理手段と、前記他系列夫々において前記アドレス管理手段の指示に従い前記１系列フレームメモリと前記他系列フレームメモリへの前記次フレーム画像データの格納が完了した場合には前記１系列フレームメモリの空き領域に一時的に格納された前記次フレーム画像データの一部を前記他系列フレームメモリに転送するデータ転送手段と、時分割で入力画像並びに１系列及び他系列のフレームメモリの系列切り替えを制御する経路制御手段と、を具備する構成を採る。
【００１３】
この構成によれば、フレームメモリの一部を複数の系列で共通利用することが可能となるので、少ないメモリで画像処理を行うことが可能となる。さらに、共通利用可能なフレームメモリから書き戻す処理においては、共通利用可能なサイズ分のみでよいので転送処理が最小限で済み、特に１系列においては転送処理が不要となる。
【００１４】
請求項３に係る発明の携帯端末は、請求項１又は請求項２のいずれかに係る発明の画像処理装置を具備する構成を採る。
【００１５】
この構成によれば、画像処理に使用するメモリを少なくできるので、小型且つ電力消費の少ない移動端末を提供できる。
【００１６】
請求項４に係る発明の画像処理方法は、１フレーム分の画像データを格納可能な容量を持つリングバッファ構造のフレームメモリと、次フレームの画像データの一部を格納可能な容量を持つバッファメモリとを用いて複数系列の動画を処理する画像処理方法であって、前記フレームメモリと前記バッファメモリに対するアドレスを管理して、画像データの前記フレームメモリへの格納後、次フレーム画像データの格納時には、動きベクトルが示す可能性のある領域を上書きしないようにするために一時的に前記次フレーム画像データの一部をバッファメモリに格納し、残りの次フレーム画像データについては、前記フレームメモリの動きベクトルが示す可能性のある領域を除く領域に格納し、次フレーム画像データの格納が完了したときには、前記バッファメモリに一時的に格納した前記次フレーム画像データの一部を前記フレームメモリに転送する。
【００１７】
この方法によれば、バッファメモリを複数の系列で共通利用することができるので、バッファメモリを系列分用意する必要がなく、少ないメモリで画像処理を行うことが可能となる。さらに、バッファメモリからフレームメモリに書き戻す処理がバッファメモリ分でよいので、転送処理が最小限で済む。
【００１８】
請求項５に係る発明の画像処理方法は、１フレーム分の画像データを格納可能な容量を持つとともに、動きベクトルが示す可能性のある領域を上書きしないようにするために次のフレームに対する画像データの一部を格納可能な空き容量を持つリングバッファ構造の１系列フレームメモリと、１フレーム分の画像データを格納可能な容量を持つリングバッファ構造の他系列フレームメモリとを用いて複数系列の動画を処理する画像処理方法であって、現在の処理の位置アドレスを管理して、前記１系列に対しては前記次フレーム画像データの前記１系列フレームメモリへの格納位置を指示し、前記他の系列夫々に対しては前記次フレーム画像データの前記１系列フレームメモリの空き容量領域と前記他系列フレームへの格納位置を指示し、前記他系列夫々において前記１系列フレームメモリと前記他系列フレームメモリへの前記次フレーム画像データの格納が完了したときに前記１系列フレームメモリの空き領域に一時的に格納した前記次フレーム画像データの一部を前記他系列フレームメモリに転送する。
【００１９】
この方法によれば、フレームメモリの一部を複数の系列で共通利用することができるので、少ないメモリで画像処理を行うことが可能となる。さらに共通利用可能なフレームメモリから書き戻す処理においては、共通利用可能なサイズ分のみでよいので転送処理が最小限で済み、特に１系列においては転送処理が不要となる。
【００２０】
請求項６に係る発明の画像処理プログラムは、１フレーム分の画像データを格納可能な容量を持つリングバッファ構造のフレームメモリと次フレームの画像データの一部を格納可能な容量を持つバッファメモリ夫々に対するアドレスを管理するアドレス管理手順と、前記フレームメモリに画像データを格納する画像データ格納手順と、次フレーム画像データの格納時には、動きベクトルが示す可能性のある領域を上書きしないようにするために一時的に前記次フレーム画像データの一部を前記バッファメモリに格納し、残りの次フレーム画像データを前記フレームメモリの動きベクトルが示す可能性のある領域を除く領域に格納する次フレームデータ格納手順と、次フレーム画像データの格納が完了すると、前記バッファメモリに一時的に格納した前記次フレーム画像データの一部を前記フレームメモリに転送するデータ転送手順と、を具備する。
【００２１】
このプログラムによれば、バッファメモリを複数の系列で共通利用することができるので、バッファメモリを系列分用意する必要がなく、少ないメモリで画像処理を行うことが可能となる。さらに、バッファメモリからフレームメモリに書き戻す処理がバッファメモリ分でよいので、転送処理が最小限で済む。
【００２２】
請求項７に係る発明の画像処理プログラムは、１フレーム分の画像データを格納可能な容量を持つとともに、動きベクトルが示す可能性のある領域を上書きしないようにするために次のフレームに対する画像データの一部を格納可能な空き容量を持つリングバッファ構造の１系列フレームメモリと１フレーム分の画像データを格納可能な容量を持つリングバッファ構造の他系列フレームメモリ夫々に対するアドレスを管理し、前記１系列に対して前記次フレーム画像データの前記１系列フレームメモリへの格納位置を指示し、前記他の系列夫々に対しては前記次フレーム画像データの前記１系列フレームメモリの空き容量領域と前記他系列フレームへの格納位置を指示するするアドレス管理手順と、前記他系列夫々において、前記次フレーム画像データを前記１系列フレームメモリと前記他系列フレームメモリに亘って格納する画像データ格納手順と、前記他系列夫々において、前記次フレーム画像データの前記１系列フレームメモリと前記他系列フレームメモリへの格納が完了すると、前記１系列フレームメモリの空き領域に一時的に格納した前記次フレーム画像データの一部を前記他系列フレームメモリに転送するデータ転送手順と、を具備する。
【００２３】
このプログラムによれば、フレームメモリの一部を複数の系列で共通利用することができるので、少ないメモリで画像処理を行うことが可能となる。さらに共通利用可能なフレームメモリから書き戻す処理においては、共通利用可能なサイズ分のみでよいので転送処理が最小限で済み、特に１系列においては転送処理が不要となる。
【００２４】
【発明の実施の形態】
本発明の骨子は、複数系列の動画を処理する場合において、各系列における１フレーム分の全ての画像データを格納できるリングバッファ構造のフレームメモリに全ての画像データを格納し、格納した画像データ上の動きベクトルが示す可能性のある領域を上書きしないために、次のフレームに対する画像データを一時的に格納するためのバッファメモリを使用することで、そのバッファメモリに次フレームの画像データを格納し、バッファメモリが一杯になれば、残りの画像データをフレームメモリの先頭から格納して行き、１フレームの画像データの格納処理が完了すると、バッファメモリに格納した画像データをフレームメモリ上の空き領域へ転送することである。
【００２５】
フレームメモリはリングバッファ構造なので、実データの先頭位置によらず、１フレームの画像データがフレームメモリ上に連続して存在するかのように扱うことができる。各系列の動画処理を時分割で行うので、一時格納領域であるバッファメモリは系列数に関わらず１個で済み、メモリ容量の削減が可能となる。また、バッファメモリからフレームメモリへの転送は、系列ごとにバッファメモリのサイズ分であるので、必要な処理量を最小限に抑えることができる。一般的に動画像処理の負荷は大きく、無駄な処理の増加はパフォーマンスの低下を招く。高品質な符号化・復号処理を実現するためには無駄な処理を削減することが不可欠であり、本発明による効果は大きい。
【００２６】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００２７】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。本実施の形態においては、簡単のため符号化処理として説明を行う。
この図において、フレームメモリ１０は、第１系列の予測参照画像（画像データ）を格納するためのメモリであり、そのサイズは１フレームの画像データを格納できる大きさとなっている。
【００２８】
フレームメモリ１０は、図２に示すようなリングバッファ構造となっている。すなわち、メモリ領域の開始アドレスをＳＡ、終端アドレスをＥＡとすると、そのメモリ領域のサイズは（ＥＡ−ＳＡ＋１）となる。終端アドレスの次のアドレスはＳＡとなり、ＥＡ＋１＝ＳＡとなる。仮想的にＥＡとＳＡは連続なアドレスとして扱うことができ、メモリ領域の範囲内であれば、データ格納開始位置に依らず、たとえ領域の終端アドレスを跨いでいても、あたかも連続した領域に格納されたデータと同様に扱うことができる。
【００２９】
図１に戻り、フレームメモリ１１は、第２系列の予測参照画像を格納するためのメモリであり、そのサイズは１フレームの画像データを格納できる大きさとなっている。このフレームメモリ１１は、フレームメモリ１０と同様にリングバッファ構造となっている。
【００３０】
バッファメモリ１２は、動きベクトルが示す可能性のあるフレームメモリの領域を上書きしないために、一時的に次のフレームに対する予測参照画像を格納するためのメモリである。一般に使用されている画像符号化方式では、現在の処理フレームと時間的に１フレーム前の処理フレーム（これを予測参照画像と呼ぶ）の差分情報を利用している。したがって、通常は１系列あたり現在の処理フレームと予測参照画像の２フレーム分のフレームメモリが必要となる（図３−（ａ）参照）。
【００３１】
但し、動きベクトルの範囲すなわち予測参照となる範囲はフレームの全領域ではなく、処理対象のブロックの周囲に限られていることが多い。したがって、予測参照画像の全ての範囲を最後まで残しておく必要はない。例えば、動きベクトルの範囲が処理対象ブロックの周囲のブロックのみ（例えば９ブロック分）に限られている場合で、図３−（ｂ）に示すように３ライン目のブロックラインを処理する場合には、１ライン目のブロックラインの予測参照画像の領域は範囲対象外となって不要となる。バッファメモリ１２に必要なサイズは、動きベクトルの示す範囲に依存し、本実施の形態に示すような周囲９ブロックの場合には、２ブロックライン分のサイズがあればよい。以下、動きベクトルの範囲を２ブロックライン分として説明を行う。
【００３２】
アドレス管理部１３は、現在の処理の位置アドレスを管理するものである。動きベクトルの示す範囲が上記の場合、即ちフレームの先頭２ブロックラインの処理を行う場合は、バッファメモリ１２に、次のフレームの先頭２ブロックライン目まで予測参照画像（現フレーム）を格納するように制御を行い、３ブロックライン目からはフレームメモリ１０（又はフレームメモリ１１）に対して、予測参照画像の先頭から次のフレームの予測参照画像（現フレーム）を上書きして格納するように制御を行う。
【００３３】
データ転送部１４は、各系列において１フレームの処理が完了したときに、バッファメモリ１２のデータに対し、フレームメモリ１０またはフレームメモリ１１の空き領域へ転送する。系列制御部１５は、処理対象の動画系列の選択を行う。画像符号化部１６は実際の画像符号化処理を行う。符号化方法に関しては、一般的に知られている動きベクトルによって予測参照画像との差分をとる方式であれば、特にその方式は問わない。
【００３４】
次に、本実施の形態に係る画像処理装置の動作を説明する。
図４は、本実施の形態に係る画像処理装置における１フレーム目のメモリ格納処理を説明するための図であり、図５は２フレーム目のメモリ格納処理を説明するための図である。
【００３５】
系列制御部１５が現在の処理系列を制御し入力画像の選択を行う。ここでは第１系列が選択されているものとする。画像符号化部１６が入力画像の符号化処理を行う。先頭２ブロックラインにおける次のフレームの予測参照画像（現フレーム）は、アドレス管理部１３によってバッファメモリ１２に格納される。３ブロックライン目の先頭ブロックからは、アドレス管理部１３によって、フレームメモリ１０の先頭から順に次のフレームの予測参照画像が上書きされる（図４−（ａ））。
【００３６】
１フレームの処理が完了すると、データ転送部１４によって、バッファメモリ１２に格納されている先頭２ブロックラインのデータを、フレームメモリ１０の空き領域、すなわちリングバッファ構造を考慮して１フレームのデータが連続して見えるようにフレームメモリ１０へ転送する（図４−（ｂ））。転送直後のデータは図４−（ｃ）のように見えるが、フレームメモリ１０はリングバッファ構造となっているので、実際には図４−（ｄ）のように、あたかも連続アドレスに格納されているかのように扱うことができる。
【００３７】
第１系列の２フレーム目は、１フレーム目と同様に先頭２ブロックラインがバッファメモリ１２に格納され、３ブロックライン目からはフレームメモリ１０の予測参照画像の先頭から上書きされる（図５−（ａ））。２フレーム目の処理が完了すれば、バッファメモリ１２の内容がフレームメモリ１０へ転送される（図５−（ｂ））。転送直後のデータは図５−（ｃ）のように見えるが、フレームメモリ１０はリングバッファ構造となっているので、実際には図５−（ｄ）のように、あたかも連続アドレスに格納されているかのように扱うことができる。
【００３８】
以上、第１系列について説明を行ったが、第２系列に関しても同様で、先頭２ブロックラインのデータをバッファメモリ１２に格納し、３ブロックライン目からのデータをフレームメモリ１１に格納すればよい。
【００３９】
図６は、本実施の形態に係る画像処理装置の動作を示すフローチャートである。ただし、この図では、１フレームの符号化処理のフローとして示したものであり、必要なバッファメモリは上述したように２ブロックラインの前提で説明を行う。
【００４０】
最初に処理を行う系列の選択を行う。第１系列の場合を説明する。第１系列の処理かどうか判定する（ステップＳ１０）。第１系列の処理の場合、第１系列の符号化処理を行う（ステップＳ１１）。そして、１ブロックラインの符号化に対する次のフレームの予測参照画像（現フレーム）をバッファメモリ１２に格納する（ステップＳ１２）。１ブロックラインの符号化に対する次のフレームの予測参照画像（現フレーム）をバッファメモリ１２に格納した後、２ブロックラインの符号化が完了したかどうか判定し（ステップＳ１３）、２ブロックラインの符号化が完了していなければステップＳ１１とステップＳ１２を繰り返す。
【００４１】
最初の２ブロックラインの符号化に対する処理が完了すると、３ブロックライン目からは、次のフレームの予測参照画像（現フレーム）をフレームメモリ１０に格納する（ステップＳ１４、ステップＳ１５）。この処理を１フレームまで行うが、１フレームまで行ったかどうかを判定し（ステップＳ１６）、１フレームの処理が完了すると、バッファメモリ１２に格納したデータをフレームメモリ１０へ転送する（ステップＳ１７）。第２系列の場合も上記説明と同様で、フレームメモリ１０をフレームメモリ１１に置き換えればよい（ステップＳ１８〜ステップＳ２４）。
【００４２】
このように、本実施の形態に係る画像処理装置によれば、従来のメモリを削減した技術と比較して、バッファメモリ１２を複数の系列で共通利用することが可能で系列分用意する必要がなく、少ないメモリで実現可能という点において優れた効果を有する。さらにバッファメモリ１２からフレームメモリに書き戻す処理がバッファメモリ１２分のみでよいので、転送処理が最小限で済むという点においても優れた効果を有する。
【００４３】
なお、本実施の形態では、画像系列が２つとして説明を行ったが、系列数は２である必要はなく、フレームメモリを系列数用意すれば任意でよい。
【００４４】
また、本実施の形態では符号化として説明を行ったが、複号処理においても本実施の形態を同様に適用することができる。フレームメモリはリングバッファ構造として説明を行ったが、代わりにアドレスを変換する手段を設けた構成を採ってもよい。
【００４５】
また、本実施の形態では、画像系列によって画像サイズが異なる場合について述べていないが、バッファメモリ１２のサイズを最も画像の大きい方の系列に合わせることによって、異なる画像サイズの系列に対応することも可能である。
【００４６】
また、本実施の形態はソフトウェアにより実現することも可能であり、このソフトウェアを収めた記録媒体から読み出して本実施の形態を実現することも可能である。
【００４７】
また、本発明は、例えば携帯端末として組み込むことが可能であり、携帯端末装置を具備した移動体通信システムとして実現することも可能である。
【００４８】
（実施の形態２）
図７は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。
この図において、フレームメモリ２０は、第１系列の予測参照画像と、動きベクトルが示す可能性のある後述するフレームメモリ２１の領域を上書きしないために次のフレームに対する予測参照画像の一部を格納するためのメモリであり、本実施の形態では仮に２ブロックライン分であるとする（詳細な説明は実施の形態１と同様であるとする）。したがって、画像サイズは第１系列の１フレームの画像データを格納できる大きさと、２ブロックライン分の画像データを格納できるサイズとなる。
【００４９】
フレームメモリ２１は、第２系列の予測参照画像を格納するためのメモリであり、サイズは第２系列の１フレームの画像データを格納できる大きさを持っている。フレームメモリ２０およびフレームメモリ２１は共にリングバッファ構造となっている。
【００５０】
アドレス管理部２２は、現在の処理の位置アドレスを管理するためのアドレス管理を行う。第１系列の処理の場合には、フレームメモリ２０にのみ次のフレームに対する予測参照画像（現フレーム）を格納する。フレームメモリ２０の空き領域（第１系列に対する予測参照画像が格納されていない領域）から格納を始める。第２系列の処理の場合には、先頭２ブロックラインの処理を行う場合、フレームメモリ２０の空き領域、即ち第１系列に対する予測参照画像が格納されていない領域に格納する。そして、３ブロックライン目からは、フレームメモリ２１上に次のフレームの予測参照画像（現フレーム）を上書きして格納する。
【００５１】
データ転送部２３は、第２系列において、１フレームの処理が完了したときにフレームメモリ２０上の第２系列のデータに対し、フレームメモリ２１の空き領域への転送を行う。系列制御部２４および画像符号化部２５は実施の形態１の系列制御部１５および画像符号化部１６と同様の処理を行うので説明を省略する。
【００５２】
次に、本実施の形態に係る画像処理装置の動作を説明する。
図８は、本実施の形態に係る画像処理装置におけるメモリ格納処理を説明するための図である。
【００５３】
系列制御部２４が現在の処理系列を制御し、入力画像の選択を行う。ここでは第１系列が選択されているものとする。画像符号化部２５が入力画像の符号化処理を行う。第１系列における次のフレームの予測参照画像（現フレーム）は、アドレス管理部２２により、フレームメモリ２０の空き領域の先頭から格納される（図８−（ａ））。この場合、上述した実施の形態１とは異なり、フレームメモリ２０に全てのデータを格納することができるので、１フレームの処理が完了しても第１系列に関してはデータの転送が不要である。２フレーム目の処理の場合は、フレームメモリ２０の空き領域から格納される（図８−（ｂ））。この場合、メモリ領域の終端を跨いでも、あたかも連続アドレスに書き込まれているように見えることは実施の形態１の説明と同様である。
【００５４】
第２系列の場合、先頭２ブロックラインにおける次のフレームの予測参照画像（現フレーム）は、アドレス管理部２２によってフレームメモリ２０の空き領域の先頭から格納される。３ブロックライン目の先頭ブロックからは、アドレス管理部２２によって、フレームメモリ２１の先頭から順に次のフレームの予測参照画像が上書きされる（図８−（ｃ）：本図では図８−（ａ）の状態から遷移した場合である）。
【００５５】
１フレームの処理が完了すると、データ転送部２３によって、フレームメモリ２０に格納されている先頭２ブロックラインのデータを、フレームメモリ２１の空き領域、すなわちリングバッファ構造を考慮して１フレームのデータが連続して見えるようにフレームメモリ２１へ転送を行う（図８−（ｄ））。第１系列の２フレーム目以降に関しても同様で、実施の形態１においてバッファメモリ１２がフレームメモリ２０上に存在するイメージとなる。
【００５６】
図９は、本実施の形態に係る画像処理装置の動作を示すフローチャートである。ただし、この図は１フレームの符号化処理のフローとして示したものである。
【００５７】
最初に処理を行う系列の選択を行う。第１系列の場合を説明すると、次のフレームの予測参照画像（現フレーム）を、常にフレームメモリ２０に格納する（ステップＳ３０〜ステップＳ３３）。第２系列の場合は、最初の２ブロックラインの符号化に対する次のフレームの予測参照画像（現フレーム）を、フレームメモリ２０に格納する（ステップＳ３４〜ステップＳ３６）。そして、３ブロックライン目からは、次のフレームの予測参照画像（現フレーム）をフレームメモリ２１に格納する（ステップＳ３７、ステップＳ３８）。１フレームの処理が完了した場合は、フレームメモリ２０に格納したデータをフレームメモリ２１へ転送する（ステップＳ３９、ステップＳ４０）。メモリへの詳細な格納方法に関しては上述した実施の形態２で説明済みなので省略する。
【００５８】
このように、本実施の形態に係る画像処理装置によれば、従来のメモリを削減した技術と比較して、フレームメモリ２０の一部を複数の系列で共通利用することが可能で、少ないメモリで実現可能という点において優れた効果を有する。さらに、共通利用可能なフレームメモリ２０から書き戻す処理においては、共通利用可能なサイズ分のみでよいので転送処理が最小限で済み、特に１系列においては転送処理が不要となるという点においても優れた効果を有する。
【００５９】
なお、本実施の形態では画像系列が２つとして説明を行ったが、系列数は２である必要はなく、フレームメモリを系列数用意すれば任意でよい。
【００６０】
また、本実施の形態では、符号化として説明を行ったが、複号処理においても本実施の形態を同様に適用することができる。フレームメモリはリングバッファ構造として説明を行ったが、代わりにアドレスを変換する手段を設けた構成を採ってもよい。
【００６１】
また、本実施の形態では、画像系列によって画像サイズが異なる場合について述べていないが、フレームメモリ２０のサイズを最も画像の大きい方の系列に合わせることによって、異なる画像サイズの系列に対応することも可能である。
【００６２】
また、本実施の形態は、ソフトウェアにより実現することも可能であり、このソフトウェアを収めた記録媒体から読み出して本実施の形態を実現することも可能である。
【００６３】
また、本発明は、例えば携帯端末として組み込むことが可能であり、携帯端末装置を具備した移動体通信システムとして実現することも可能である。
【００６４】
【発明の効果】
以上説明したように、本発明によれば、従来のメモリを削減した技術と比較して、バッファメモリを複数の系列で共通利用することが可能で系列分用意する必要がなく、少ないメモリで実現可能という点において優れた効果を有する。さらに、バッファメモリからフレームメモリに書き戻す処理がバッファメモリの分のみでよいので、転送処理が最小限で済む。一般的に動画像処理の負荷は大きく、無駄な処理の増加はパフォーマンスの低下を招く。高品質な符号化・復号処理を実現するためには無駄な処理を削減することが不可欠であり、本発明による効果は大きい。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る画像処理装置の構成を示すブロック図
【図２】本発明の実施の形態１に係る画像処理装置に用いられるリングバッファを説明するための図
【図３】本発明の実施の形態１に係る画像処理装置における予測参照と動きベクトルを説明するための図
【図４】本発明の実施の形態１に係る画像処理装置における１フレーム目のメモリ格納処理を説明するための図
【図５】本発明の実施の形態１に係る画像処理装置における２フレーム目のメモリ格納処理を説明するための図
【図６】本発明の実施の形態１に係る画像処理装置における画像処理を示すフロー図
【図７】本発明の実施の形態２に係る画像処理装置の構成を示すブロック図
【図８】本発明の実施の形態２に係る画像処理装置におけるメモリ格納処理を説明するための図
【図９】本発明の実施の形態２に係る画像処理装置における画像処理を示すフロー図
【図１０】従来のメモリ削減の技術を説明するための図
【符号の説明】
１０、１１、２０、２１  フレームメモリ
１２  バッファメモリ
１３、２２  アドレス管理部
１４、２３  データ転送部
１５、２４  系列制御部
１６、２５  画像符号化部
【図１】
2004253988.tif 000003
【図２】
2004253988.tif 000004
【図３】
2004253988.tif 000005
【図４】
2004253988.tif 000006
【図５】
2004253988.tif 000007
【図６】
2004253988.tif 000008
【図７】
2004253988.tif 000009
【図８】
2004253988.tif 000010
【図９】
2004253988.tif 000011
【図１０】
2004253988.tif 000012