(57)【要約】【課題】高解像度、高フレームレートの動画像のエンコード処理及び、デコード処理を行う場合、参照メモリに対するアクセスが増加する。そのため、使用するメモリデバイスの数の増加や、デバイスの動作周波数の高速化が必要となってしまい、回路規模及び、消費電力が増加してしまう。【解決手段】異なる第１の入力フレームと第２の入力フレームと第３の入力フレームで、共通の探索範囲分の画像データを参照する処理において、参照メモリから読み出した探索範囲分の画像データを用いて、前記第１の入力フレームのマクロブロックと前記第２の入力フレームのマクロブロックと前記第３の入力フレームのマクロブロックを、マクロブロック単位で切り替えて処理することにより、参照メモリへのアクセスを低減することが可能となり、回路規模及び、消費電力の増加を抑制しつつ、高速な処理を実現するエンコーダ、デコーダ及び、記録再生装置を提供する。【選択図】  図５
2009290387.tif 000002
【特許請求の範囲】
【請求項１】
異なる第１の入力フレームと第２の入力フレームと第３の入力フレームで、共通の探索範囲分の画像データを参照するエンコード処理について、
参照メモリから読み出した探索範囲分の画像データを用いて、前記第１の入力フレームと前記第２の入力フレームと前記第３の入力フレームを処理する際に、
処理対象のマクロブロックについて、前記第１の入力フレームのマクロブロックと前記第２の入力フレームのマクロブロックと前記第３の入力フレームのマクロブロックを、
マクロブロック単位で切り替えて処理することを特徴とするエンコーダ。
【請求項２】
請求項１に記載のエンコーダであって、
３フレームのエンコードに要する処理時間を、３フレームの処理時間以内に完了することを特徴とするエンコーダ。
【請求項３】
請求項１に記載のエンコーダであって、
第１の入力フレームと第２の入力フレームと第３の入力フレームを処理する際に、前記参照メモリから読み出した探索範囲分の画像データを、中間メモリに格納し、前記中間メモリから読み出した画像データを用いて、前記第１の入力フレームと前記第２の入力フレームと前記第３の入力フレームを処理する構成とし、
参照メモリからの画像データの読み出し回数を低減したことを特徴とするエンコーダ。
【請求項４】
請求項１に記載のエンコーダであって、
第１の入力フレームF0と第２の入力フレームF1を参照対象として、双方向予測符号化を行う第３の入力フレームF2と、第４の入力フレームF3と、前記入力フレームF0 若しくは、前記入力フレームF1どちらかを一方のみを参照対象として、片方向予測符号化を行う第５の入力フレームF4について、
探索範囲分の画像データをマクロブロック単位で切り替え、前記入力フレームF2と前記入力フレームF3と前記入力フレームF4を処理することを特徴としたエンコーダ。
【請求項５】
請求項１に記載のエンコーダであって、
第１の入力フレームF0を参照対象として、片方向予測符号化を行う第３の入力フレームF2と、第４の入力フレームF3と、第５の入力フレームF4について、
探索範囲分の画像データを前記参照メモリからの画像データを用いて、マクロブロック単位で切り替え、前記入力フレームF2と前記入力フレームF3と前記入力フレームF4を処理することを特徴としたエンコーダ。
【請求項６】
請求項３に記載のエンコーダであって、
前記中間メモリ部は、前記参照メモリ部とは独立に配置し、前記参照メモリ部と前記中間メモリ以外のメモリを共用することを特徴とするエンコーダ。
【請求項７】
請求項１に記載のエンコーダであって、
異なる３つのフレームを符号化生成した画像ストリームを、３フレームをエンコードする期間以内で、時系列に出力することを特徴とするエンコーダ。
【請求項８】
請求項１に記載のエンコーダであって、
動画像データを入力する画像入力インターフェース部と、
前記画像入力インターフェース部から出力する画像データを入力画像として蓄えるバッファ部と、
前記バッファ部が出力する入力画像と既にエンコード済みの参照画像との間で、動き補償処理を行い、入力画像と予測画像の差分データを生成する動き補償部と、
前記動き補償部が出力する誤差データを周波数変換及び、量子化する周波数変換部と、
前記周波数変換部が出力するデータをマクロブロック単位で格納するための中間データ保存部と、
前記中間データ保存部が出力するデータを、規格に準拠したシンタックスに符号化を行う符号部と、
前記符号部から出力されるビットストリームを出力するビットストリーム出力部と、
エンコード済みの画像を後の動き補償処理の参照画像とするための参照画保存部である参照メモリ部と、
動き補償処理に必要な範囲の参照画像を格納するための中間メモリ部と、
を備えたことを特徴とするエンコーダ。
【請求項９】
記録媒体インターフェースを有し、動画像または静止画像を取り込む画像入力インターフェースから出力された画像データを、請求項１に記載のエンコーダにより符号化し、前記エンコーダの出力である符号化された画像ストリームを、前記記録媒体インタフェースを介して記録媒体に記録することを特徴とする記録再生装置。
【請求項１０】
異なる第１の入力フレームと第２の入力フレームと第３の入力フレームで、共通の参照範囲分の画像データを参照するデコード処理について、
参照メモリから読み出した参照範囲分の画像データを用いて、前記第１の入力フレームと前記第２の入力フレームと前記第３の入力フレームを処理する際に、
処理対象のマクロブロックについて、前記第１の入力フレームのマクロブロックと前記第２の入力フレームのマクロブロックと前記第３の入力フレームのマクロブロックを、
マクロブロック単位で切り替えることを特徴とするデコーダ。
【請求項１１】
請求項１０に記載のデコーダであって、３フレームのデコードに要する処理時間を、３フレームの処理時間以内に完了することを特徴とするデコーダ。
【請求項１２】
請求項１０に記載のデコーダであって、
第１の入力フレームと第２の入力フレームと第３の入力フレームを処理する際に、前記参照メモリから読み出した参照範囲分の画像データを、中間メモリに格納し、前記中間メモリから読み出した画像データを用いて、前記第１の入力フレームと前記第２の入力フレームと前記第３の入力フレームを処理する構成とし、
参照メモリからの画像データの読み出し回数を低減したことを特徴とするデコーダ。
【請求項１３】
請求項１０に記載のデコーダであって、
第１の入力フレームF0と第２の入力フレームF1を参照対象として、双方向予測復号化を行う第３の入力フレームF2と、第４の入力フレームF3と、前記入力フレームF0 若しくは、前記入力フレームF1どちらかを一方のみを参照対象として、片方向予測復号化を行う第５の入力フレームF4について、
探索範囲分の画像データをマクロブロック単位で切り替え、前記入力フレームF2と前記入力フレームF3と前記入力フレームF4を処理することを特徴としたデコーダ。
【請求項１４】
請求項１０に記載のデコーダであって、
第１の入力フレームF0を参照対象として、片方向予測復号化を行う第３の入力フレームF2と、第４の入力フレームF3と、第５の入力フレームF4について、
探索範囲分の画像データをマクロブロック単位で切り替え、前記入力フレームF2と前記入力フレームF3と前記入力フレームF4を処理することを特徴としたデコーダ。
【請求項１５】
請求項１２に記載のデコーダであって、
前記中間メモリ部は、前記参照メモリ部とは独立に配置し、前記参照メモリ部と前記中間メモリ以外のメモリを共用することを特徴とするデコーダ。
【請求項１６】
請求項１０に記載のデコーダであって、
異なる３つのフレームを復号化生成した画像データを、３フレームをデコードする期間以内で、時系列に出力することを特徴とするデコーダ。
【請求項１７】
請求項１０に記載のデコーダであって、
入力する画像ストリームは、請求項１に記載のエンコーダによって符号化された画像ストリームであることを特徴とするデコーダ。
【請求項１８】
請求項１０に記載のデコーダであって、
ビットストリームを入力するビットストリーム入力部と、
前記ビットストリーム入力部から出力するビットストリームを規格に準拠して復号化を行う復号部と、
復号されたデータをマクロブロック単位で格納する中間データ保存部と、
前記中間データ保存部から出力するマクロブロック単位のデータに逆量子化及び、逆周波数変換する逆周波数変換部と、
前記逆周波数変換部から出力する差分データと既に復号化済みの参照画像との間で動き補償を行い、画像データを復号する動き補償部と、
前記動き補償から出力する画像データを蓄えるバッファ部と、
前記バッファ部に蓄えられた画像データを出力する画像出力インターフェース部と、
復号済みの画像を後の動き補償の参照画像とするための参照画保存部である参照メモリ部と、
動き補償処理に必要な範囲の参照画像を格納するための中間メモリ部と、
を備えたことを特徴とするデコーダ。
【請求項１９】
請求項９に記載の記録再生装置であって、
画像表示部を有し、
入力する画像ストリームを、請求項１０に記載のデコーダにより復号化した画像データを、前記画像表示部へ出力することを特徴とする記録再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、エンコーダ、デコーダ、及び記録再生装置に関する。例えば、画像を符号化しビットストリームに変換するエンコーダ、符号化されたビットストリームを復号化するデコーダ及びこれらを用いた記録再生装置に関する。
【背景技術】
【０００２】
本技術分野の背景技術として、例えば、特開２００７−１０４２３１号公報（特許文献１）がある。該公報には、「［課題］変換前のストリームに付加されている符号化情報のＩｎｔｅｒかＩｎｔｒａのどちらのモードで符号化されているかの情報を用いて、使い勝手を向上したトランスコードするトランスコーダ、記録装置及びトランスコード方法を提供する。［解決手段］トランスコーダは、フレーム内符号化及びフレーム間予測符号化を行う第１の符号化方式で符号化された動画像ストリームをデコードし、第２の符号化方式でエンコードし、入力された動画像ストリームをデコードし、フレーム内符号化で符号化されたのかフレーム間予測符号化で符号化されたのかを示すサブ情報を検出するデコーダと、前記サブ情報がフレーム内符号化されたことを示す情報である場合と、フレーム間予測符号化されたことを示す情報である場合とで、符号化するときに参照するフレームを変えるエンコーダと、を有する。」（要約）と記載されている。
【０００３】
また、本技術分野の背景技術として、例えば、特開２００６−２７０６８３号公報（特許文献２）がある。該公報には、「[課題]動き検出の際、フレームメモリから頻繁にデータを転送するため、バス帯域が圧迫され、処理性能が悪化する。[解決手段]動き補償部６０は、フレームメモリ８０から転送した画素データを保持するために、ＳＲＡＭ６６とは別に、先読み用ＳＲＡＭ６４を有する。動きベクトル検出部６２は、フレームメモリ８０に保持された参照画像の所定探索範囲内、参照頻度の高い画素領域のデータをあらかじめフレームメモリ８０から先読み用ＳＲＡＭ６４に転送する。一方、動きベクトル検出部６２は、動きベクトルの探索の際に参照する必要のある画素データを探索の都度、フレームメモリ８０からＳＲＡＭ６６に転送する。動きベクトル検出部６２は、先読み用ＳＲＡＭ６４と通常のＳＲＡＭ６６とを切り替えて参照し、動き探索を進める。」（要約）と記載されている。
【０００４】
【特許文献１】特開２００７−１０４２３１号公報
【特許文献２】特開２００６−２７０６８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
動画像の符号化技術については、MPEG2（ISO/IEC 13813-2, International Standard）が放送用途や記録媒体への記録時の方式に採用されている。また、さらに高圧縮化に対応した、H.264（ITE/ISO 14496-10/H.264AVC）／AVC（Advanced Video Coding）も、記録媒体への記録方式として採用され始めている。
【０００６】
これらの符号化方式では、動画像を構成する各フレームが、１６画素×１６画素のマクロブロック単位に分割され、マクロブロック単位での処理が行われる。
【０００７】
また、フレーム内情報に基づいて符号化されるフレーム内予測画像（以下、Iピクチャと記す）、時間的に前方向のフレームを参照画像として符号化される前方向予測画像（以下Pピクチャと記す）、及び時間的に前方向および後方向のフレームをそれぞれ参照画像として符号化される双方向予測画像（以下、Bピクチャと記す）の３種類のピクチャタイプが規定されている。符号化時の参照フレーム構成については、上記特許文献１に開示されている。
【０００８】
Pピクチャ及びBピクチャについては、マクロブロック単位に、所定の参照画像から、符号化対象となる現マクロブロックに類似したマクロブロックが探索され、探索されたマクロブロックとの空間的な距離及び方位を表す動きベクトル及び探索されたマクロブロックとの差分情報を算出する。次いで、これらの情報がＤＣＴ変換（Discrete Cosine Transform；離散コサイン変換）、量子化および可変長符号化により圧縮される。これらの符号化方式は、上記のとおり、時間的に前方向及び、後ろ方向の参照画像との差分情報を圧縮することにより、圧縮率の向上を特徴とした方式である。
【０００９】
しかしながら、Pピクチャ及びBピクチャの符号化及び、復号化を行う際には、参照画像を使用する為に、参照画像を格納する参照メモリが必要となり、前記参照メモリは例えば、SDRAMなどで実現できる。
【００１０】
高解像度、高フレームレートの動画像のエンコード処理及び、デコード処理を行う場合、参照メモリに対するアクセスが増加する。
【００１１】
また、装置にエンコーダ及び、デコーダを搭載する場合において、コストパフォーマンス向上や、装置の小型化を実現する目的のため、参照メモリは、グラフィック処理を行う為のメモリや、外部デバイスとの処理に使用する為のメモリ等と共用して使用することが考えられる。しかし、参照メモリを共用した場合に、エンコード及び、デコード処理の参照メモリアクセスに対してのデータバンド幅を確保する必要が生じる。
【００１２】
そのため、使用するメモリデバイスの数の増加や、デバイスの動作周波数の高速化が必要となってしまい、消費電力が増加してしまうという課題がある。
【００１３】
また、特許文献２の方法のように、中間メモリを増加することによって、参照メモリに対するアクセスを低減し、データバンド幅を確保する手法では、高解像度、高フレームレートの動画像の符号化及び、復号化を行う場合は、中間メモリの回路規模が増加してしまうという課題がある。
【００１４】
本発明の目的は、高速な処理を実現するエンコーダ、デコーダ及び、記録再生装置を提供することである。例えば、回路規模の増加を抑制しつつ、エンコード及び、デコード処理時の、参照メモリへのアクセスを減少し、参照メモリの為のデバイス数の増加や、デバイスの動作周波数の高速化を行わずとも、高速な処理を実現するエンコーダ、デコーダの提供すること及び、前記エンコーダ及び、前記デコーダを搭載した記録再生装置を提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記目的は、特許請求の範囲に記載の発明により達成される。
【発明の効果】
【００１６】
本発明により、高速な処理を実現するエンコーダ、デコーダ及び、記録再生装置が提供できる。
【００１７】
上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施形態を図面により説明する。
【実施例１】
【００１９】
本発明の好適な一実施例として、エンコーダの構成及び動作を説明する。
【００２０】
本実施例では、H.264方式を利用して説明する。しかしながら、これに限らず符号化方式としては、上記MPEG2方式や、MPEG4、H.261、H263、SMTPEのVC1などがある。
【００２１】
尚、H.264方式などでは、動き補償の際の参照フレームを既に符号化済みのフレームから任意に選択できるマルチフレーム補償が可能である。
【００２２】
図１を用いて実施例の構成を説明する。エンコードする画像データを入力する画像入力インターフェース部001、前記入力インターフェース部001から出力する画像データを入力画像として蓄えるバッファ部002、前記バッファ部から出力する入力画像と、既に符号化済みの複数枚の参照画像との間で、動き補償処理を行い、入力画像と予測画像との差分データを作成する動き補償部003、前記動き補償部から出力する差分データを周波数変換及び、量子化する周波数変換部004、前期周波数変換部から出力する中間データをマクロブロック単位で格納するための中間データ保存部005、前記中間データ部から出力される中間データを、規格に準拠したシンタックスで符号化する符号化部006、前記符号化部から出力するビットストリームを出力するビットストリーム出力部007、符号化済みの画像を後の動き補償の参照画像とするための参照画保存部である参照メモリ部008、動き補償処理に必要な範囲の参照画像を格納するための中間メモリ部009を備えたエンコーダ100を示している。
【００２３】
前記バッファ部002と、前記参照メモリ部008は、例えば共通のSDRAM上の異なるアドレスに割り付けて使用することが考えられる。
【００２４】
図２に、本実施例における、動き補償部に使用する参照画像フレーム構成を示す。
【００２５】
図中のI、P、Bはそれぞれピクチャタイプを示し、Iはフレーム内情報に基づいて符号化されるフレーム内予測画像（intra-coded）、Pは時間的に前方向のフレームを参照画像として符号化される前方向予測画像（predictive-codec）、Bは時間的に前方向および後方向のフレームをそれぞれ参照画像として符号化される双方向予測画像（bidirectionally -predictive-codec）を行うタイプを示している。
【００２６】
P3フレームをエンコードする場合は、符号化処理を行うP3フレームのマクロブロックと、時間的に前方向であるI0フレームのハッチングされた該当マクロブロック近傍から類似のマクロブロックを探索し、決定されたマクロブロックとの差分を演算する。
【００２７】
B1フレームについては、符号化処理を行うB1フレームのマクロブロックと、時間的に前方向であるI0フレーム及び、時間的に後方向であるP3フレームのハッチングされた該当マクロブロック近傍から類似のマクロブロックを探索し、決定されたマクロブロックとの差分を演算する。B2フレームについては、参照画像はB1フレームと同様に、I0フレーム及び、 P3フレームを参照画像として、B1フレームと同様の処理となる。
【００２８】
P6フレームをエンコードする場合は、符号化処理を行うP6フレームのマクロブロックと、時間的に前方向であるP3フレームのハッチングされた該当マクロブロック近傍から類似のマクロブロックを探索し、決定されたマクロブロックとの差分を演算する。
【００２９】
また、エンコード処理では、既に符号化したフレームを参照画像として用いる為、符号化したフレームを参照メモリ008に蓄えておく必要がある。参照メモリ008を参照画像保存枚数３面として、参照メモリ008に保存されている参照画像を用いてエンコードを行う例を図３に示す。
【００３０】
図３中のB3フレームをエンコードする場合、参照メモリ部008から時間的に前方向であるフレームI2と、時間的に後方向であるフレームP5について、該当マクロブロック周辺の画素データを読み出し、動き補償部003にて類似マクロブロックを探索し、決定した類似マクロブロックの画素データとの差分の演算を行う。
【００３１】
B4フレームをエンコードする場合も、B3フレームと同様に、参照メモリ部008から時間的に前方向であるフレームI2と、時間的に後方向であるフレームP5について、該当マクロブロック周辺の画素データを読み出し、動き補償部003にて類似マクロブロックを探索し、決定した類似マクロブロックの画素データとの差分の演算を行う。
【００３２】
P8フレームをエンコードする場合は、B3フレーム及び、B4フレームにて時間的に後方向の参照画像として使用したP5フレームを、時間的に前方向であるフレームとして、該当マクロブロック周辺の画素データを読み出し、動き補償部003にて類似マクロブロックを探索し、決定した類似マクロブロックの画素データとの差分の演算を行う。
【００３３】
上記のとおり、B3、B4、P8の3フレームをエンコードする期間に、参照メモリ部008からI2フレームを2回、P5フレームを3回、合計5面の参照画像を繰り返し読み出している。
【００３４】
図４は、参照メモリ部008から読み出した参照画像データを中間メモリ009に、一旦保存し、参照メモリ部008への読み出し回数の低減を実現したエンコード処理の概念図である。
【００３５】
図３から異なり、B3フレームをエンコードする際に、参照メモリ部008より参照画像の該当マクロブロック周辺の画素データを読み出し、中間メモリ部009に保存し、B3フレーム、B4フレーム及び、P8フレームを同時に処理する。このとき動き補償部003、周波数変換部004は、エンコードの処理速度を通常の1/3倍として、3倍の時間をかけて、3フレームのエンコード処理を行う。
【００３６】
図５に、B3フレーム、B4フレーム及び、P8フレームをエンコードする場合の、マクロブロック単位の処理順序概念図を示す。図中のMB0は、各フレーム左上のマクロブロックを示し、MBnは各フレーム中n番目のマクロブロックを示し、MBn+1はMBnの次に処理されるマクロブロックを示し、MBxは各フレーム右下のマクロブロックを示す。エンコード処理開始時には、中間メモリ部009に格納されているI2フレーム及び、P5フレームを参照して、B3フレームのMB0のエンコード処理を行う。B3フレームのMB0のエンコード処理が完了後、B3フレームのMB0と同様のフレームを参照して、B4フレームのMB0のエンコード処理を行う。B4フレームのMB0のエンコード処理が完了後、中間メモリ部009に格納されているP5フレームを参照して、P8フレームのMB0のエンコード処理を行う。各フレームのMB0のエンコード処理が完了後、MBｎ、MBn+1、・・・ 、MBxと画面右下のマクロブロックのエンコード処理が完了するまで、B3フレーム、B4フレーム及び、P8フレームのマクロブロック単位でのエンコード処理を継続して行う。
【００３７】
図６に、類似マクロブロックの探索範囲の概念図を示す。処理対象マクロブロック位置から、左右にH画素、上下にV画素の範囲を探索する範囲と定めた場合、中間メモリ部009には、I2フレーム及び、P5フレームの処理対象マクロブロック位置から、左右にH画素、上下にV画素の範囲の画像データ（図中でハッチングされた範囲）を格納する。動き補償部003は、中間メモリ部009に格納されたI2フレーム及び、P5フレームの画像データを用いて、B3フレームのMBｎに類似のマクロブロックの探索を行い、類似マクロブロックの決定後、エンコード処理を行う。B3フレームのMBｎのエンコード処理が完了後、同様にB4フレームのMBｎに類似のマクロブロックの探索及び、エンコード処理を行う。B4フレームのMBｎのエンコード処理が完了後、中間メモリ部009に格納されたP5フレームの画像データのみを用いて、P8フレームのMBｎに類似のマクロブロックの探索及び、エンコード処理を行う。
【００３８】
前記の処理手順を実施することにより、1フレーム期間の3倍の時間をかけて、3フレームのエンコード処理が実現できる。
【００３９】
また、リアルタイムエンコードではない場合は、1フレーム期間の3倍以上の時間をかけて処理しても構わない。
【００４０】
また、図７に示すとおり、エンコード部を3個有する構成として、B3フレーム、B4フレーム及び、P8フレームを同時にエンコード処理することとしてもよい。
【００４１】
符号部006は、中間データ保存部005から、マクロブロック単位で時系列にデータを受け取る。生成したビットストリームは、符号部006からビットストリーム出力部007へ出力される。この構成により、参照メモリ部008から読み出す参照画像データ量を、３フレームの処理期間においてI2フレームを１回、P5フレームを１回、合計２面の参照画像を読み出すこととなり、従来構成と比較し、2/5倍に低減することが可能である。
【００４２】
本実施例により、エンコード処理時の参照メモリへのアクセス回数が低減するため、回路規模及び、消費電力の増加を抑制しつつ、高速な処理を実現するエンコーダが構成される。
【００４３】
尚、本実施例においてはリアルタイム処理を実現するH.264エンコーダを対象として説明しているが、リアルタイム処理に限定するものではない。マルチフレームエンコードを実現するために複数枚の参照画像に対して実際に探索を試みて、効率のよい参照画像を選択する手法は、回路規模及び、消費電力の増大を招き実現的でなく、回路規模や消費電力を削減するため、H.264エンコーダであっても動き補償を行う参照画像のフレームを固定する構成としているが、本発明は上記参照フレーム構成に限るものではない。
【００４４】
また、本実施例における類似マクロブロックの探索アルゴリズムについては、中間メモリ部009に格納されている範囲の全探索を想定しているが、本発明においては、階層探索や、中間メモリの一部のみを探索するアルゴリズムを採用した場合も、同等に有効である。
また、本発明は上記した実施の形態に限定されるものではなく、この外その趣旨を逸脱しない範囲で、変形して実施することが出来る。
【実施例２】
【００４５】
本発明の好適な一実施例として、デコーダの構成を説明する。
【００４６】
本実施例では、H.264方式を利用して説明する。しかしながら、これに限らず符号化方式としては、上記MPEG2方式や、MPEG4、H.261、H263、SMTPEのVC1などがある。
【００４７】
図８を用いて実施例の構成を説明する。デコードするビットストリームを入力するビットストリーム入力部101、前記入力部101から出力するビットストリームを規格に準拠して復号化を行う復号部102、前記復号部から出力されたデータをマクロブロック単位に格納する中間データ保存部103、前記中間データ保存部から出力するマクロブロック単位の中間データを逆量子化及び、逆周波数変換する逆周波数変換部104、前記逆周波数変換部から出力する差分データと既に復号化済みの複数枚の参照画像との間で動き補償を行い、画像データを生成する動き補償部105、前記動き補償部から出力する画像データを蓄えるバッファ部106、前記バッファ部106に蓄えられた画像データを出力する画像出力インターフェース107、復号化済みの画像を後の動き補償の参照画像とするための参照画保存部である参照メモリ部108、動き補償処理に必要な範囲の参照画像を格納するための中間メモリ部109を備えたデコーダ200を示している。
【００４８】
前記バッファ部106と、前記参照メモリ部108は、例えば共通のSDRAM上の異なるアドレスに割り付けて使用することが考えられる。
【００４９】
本デコーダ200でデコードするビットストリームは、実施例１のエンコーダ100でエンコードされたものを想定している。そのため、参照画像フレーム構成及び、参照メモリ部108のリード回数低減の原理については、実施例１のエンコーダ100と同様である。
【実施例３】
【００５０】
次に本発明の他の好適な一実施例として、製品への適用例を説明する。本実施例では、第１の製品実用例として、記録再生装置（例えばカムコーダや、カメラ付き携帯電話など）への適用例について説明する。
【００５１】
本実施例は、例えばカメラなどの撮像素子からの画像データや、外部からデジタル画像コンテンツを入力し、ハードディスク（以下 HDDと略す），光磁気ディスクや、フラッシュメモリなどの記録媒体に符号化フォーマット，符号化レートを変えて保存する場合に有効である。
【００５２】
図９にカメラからの撮像画像データを記録媒体に保存する際のブロック図を示す。画像入力インターフェース部709から入力された画像データをエンコード装置100で符号化を行いストリームの生成を行う。生成されたストリームは記録媒体インターフェース部706により、例えばHDDなどの記録媒体部707に記録される。
【００５３】
記録されたストリームを再生するには、前記HDDからストリームを読み出し、デコード装置200でデコード処理が行われ、画像をディスプレイに出力するのであればデコード画像は，表示部708に送る処理とする。
【００５４】
また、デコーダ装置200がデコードした再生画像について、ビットレート変換，フォーマット変換を行う為に、エンコード装置100にて再度エンコードを行っても構わない。
【００５５】
本実施例により、エンコーダ及び、デコーダの参照メモリに対してのアクセス頻度を下げることが可能となるため、エンコード装置100及び、デコード装置200以外で使用するメモリと、参照メモリを含むエンコーダ及び、デコーダのメモリを、共通のメモリ上に配置でき、使い勝手が向上した記録再生装置が提供できる。
【００５６】
また、本実施例により、高速な動画像のビットレート変換，フォーマット変換の高画質化を実現できる。
【実施例４】
【００５７】
次に本実施例を用いた第２の製品実用例（例えばレコーダ）を示す。
【００５８】
本実施例は、アナログやデジタルのテレビ放送を、また既に記録してある番組をHDDやDVDなどの記録媒体に符号化フォーマット，符号化レートを変えて保存する場合に有効である。
【００５９】
図１０にデジタル放送を記録媒体に保存する際のブロック図を示す。
【００６０】
チューナー部701で受信したデジタル放送は、復調部702にて復号処理が行われ、デマルチプレクサ部703にて動画像情報と音声情報等に分解される。動画像情報は、デコード装置200でデコード処理が行われ、画像をディスプレイに出力するのであればデコード画像は、表示部708に送られる。また、デコード装置がデコードした再生画像をエンコード装置100で、符号化を行いストリームの生成を行う。
【００６１】
本実施例により、エンコーダ及び、デコーダの参照メモリに対してのアクセス頻度を下げることが可能となるため、エンコード装置100及び、デコード装置200以外で使用するメモリと、参照メモリを含むエンコーダ及び、デコーダのメモリを、共通のメモリ上に配置でき、使い勝手が向上した記録再生装置が提供できる。
【図面の簡単な説明】
【００６２】
【図１】本発明におけるエンコーダの実施例１を示す図である。
【図２】本発明におけるエンコーダの実施例１におけるフレーム構成図である。
【図３】従来のエンコード処理の概念図である。
【図４】本発明における第１のエンコード処理の概念図である。
【図５】本発明における第１のエンコード処理における、マクロブロック単位の処理を示す概念図である。
【図６】本発明における第１のエンコード処理における、類似マクロブロックの探索範囲の概念図である。
【図７】本発明におけるエンコード処理の第２の概念図である。
【図８】本発明におけるデコーダの実施例２を示す構成図である。
【図９】本発明における製品実施例３の構成を示す図である。
【図１０】本発明における製品実施例４の構成を示す図である。
【符号の説明】
【００６３】
００１ 画像入力インターフェース部
００２ バッファ部
００３ 動き補償部
００４ 周波数変換部
００５ 中間データ保存部
００６ 符号部
００７ ビットストリーム出力部
００８ 参照メモリ部
００９ 中間メモリ部
１００ エンコード装置
１０１ ビットストリーム入力部
１０２ 復号部
１０３ 中間データ保存部
１０４ 逆周波数変換部
１０５ 動き補償部
１０６ バッファ部
１０７ 画像出力インターフェース出力部
１０８ 参照メモリ部
１０９ 中間メモリ部
２００ デコード装置
７０１ チューナー部
７０２ 復号部
７０３ マルチプレクサ部
７０４ ユーザーインタフェース部
７０５ CPU部
７０６ 記録媒体インターフェース部
７０７ 記録媒体
７０８ 表示部
７０９ 画像表示部
【図１】
2009290387.tif 000003
【図２】
2009290387.tif 000004
【図３】
2009290387.tif 000005
【図４】
2009290387.tif 000006
【図５】
2009290387.tif 000007
【図６】
2009290387.tif 000008
【図７】
2009290387.tif 000009
【図８】
2009290387.tif 000010
【図９】
2009290387.tif 000011
【図１０】
2009290387.tif 000012