(57)【要約】【課題】エンコーダで使用する、参照メモリは例えばSDRAMなどで実現できるが、記録装置としては、コストや、小型化を実現するためエンコーダに使用するメモリ、描画処理用メモリ、外部デバイスとの処理に使用するメモリを共通に使用することが考えられる。SDRAMを共用した場合、各処理に対してのバンド幅を確保するために、デバイスを高速処理版のものにする必要や、バンド幅が収まるように機能に制限をかける必要が生じる。【解決手段】上記課題を解決するため、参照メモリから読み出した画像を中間メモリに格納し、中間メモリから動き補償部に供給する構成とし、異なるフレームで共通の参照データを用いてエンコードする時に、参照メモリへのアクセスを半減することが可能となり、使い勝手を向上したエンコードを行うエンコーダ、及び記録装置を提供する。【選択図】  図１
2009111797.tif 000002
【特許請求の範囲】
【請求項１】
異なる第1の入力フレームと第２の入力フレームで、共通の探索範囲分の画像データを参照するエンコード処理について、
参照メモリから読み出した探索範囲分の画像データを、中間メモリに格納し、
前記中間メモリから読み出した画像データを、前記第1の入力フレームと前記第2の入力フレーム各々につきエンコードで用いる構成とし、
参照メモリから画像データを読み出す回数を低減したことを特徴とするエンコーダ。
【請求項２】
請求項１に記載のエンコーダであって、
第1の入力フレームF0と第2の入力フレームF1を参照対象として双方向予測符号化を行う第3の入力フレームF2と第４の入力フレームF3について、
探索範囲分の画像データを前記参照メモリから前記中間メモリに保存し、
前記中間メモリに保存された画像データをもとに前記入力フレームF2と前記入力フレームF3を同時に符号化し、
符号化に要する処理時間を2フレームの処理時間以内に完了することを特徴としたエンコーダ。
【請求項３】
請求項１に記載のエンコーダであって、
第1の入力フレームF0を参照対象としてフレーム間予測符号化を行う第2の入力フレームF2と第3の入力フレームF3について、
探索範囲分の画像データを前記参照メモリから前記中間メモリに保存し、
前記中間メモリに保存された画像データをもとに前記入力フレームF2と前記入力フレームF3を同時に符号化し、
符号化に要する処理時間を2フレームの処理時間以内に完了することを特徴としたエンコーダ。
【請求項４】
請求項１に記載のエンコーダであって、
前記中間メモリに格納するフレーム間予測符号化もしくは、双方向予測符号化する際のベクトル情報検出時の探索範囲を、
探索対象位置の周辺数画素とする事を特徴とするエンコーダ。
【請求項５】
請求項１に記載のエンコーダであって、
前記中間メモリは、前記参照メモリとは独立に配置し、
前記参照メモリと前記中間メモリ以外のメモリを共用することを特徴とするエンコーダ。
【請求項６】
請求項１に記載のエンコーダであって、
異なる２つのフレームを符号化生成した画像ストリームを、２フレームをエンコードする期間以内で、時系列に出力することを特徴とするエンコーダ。
【請求項７】
記録媒体インタフェースを有し、動画像または静止画像を取り込む画像入力インタフェースから出力された画像データを、請求項１に記載のエンコーダにより符号化し、前記エンコーダから出力され、符号化された画像ストリームを記録媒体に記録することを特徴とする記録装置。
【請求項８】
記録媒体に記録され、前記第１の符号化方式で符号化された画像ストリームを読み出す記録媒体インタフェースと、前記記録媒体インタフェースで読み出された画像ストリームが入力されるデコーダと、前記デコーダにてデコードされた画像データが入力される請求項１に記載のエンコーダとを有し、
前記記録媒体インタフェースは、前記デコーダから出力され、前記第２の符号化方式で符号化された画像ストリームを記録媒体に記録することを特徴とする記録装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像若しくは静止画像を圧縮し、ビットストリームに変換するエンコーダに関する。
【背景技術】
【０００２】
画像データのエンコード技術は、画像情報特有の冗長性を利用して、
離散コサイン変換等の直交変換と動き補償により圧縮するMPEG2（ISO/IEC 13813-2, International Standard）が放送用途や記録媒体への記録時のエンコード方式に採用されている。
また、更に高圧縮化に対応したH.264（ITE/ISO 14496-10/H.264AVC）／AVC（Advanced Video Coding）と呼ばれるエンコード方式も、記録媒体への記録時のエンコード方式に採用が開始され始めている。前記MPEG2方式と、H.264方式の双方のエンコードには、動き探索結果である動きベクトルを、エンコード情報として用いる。
この動き検索情報の生成は、フレーム内符号化(intra-coded)及び、フレーム間予測符号化(predictive-codec)、双方向予測符号化(bidirectionally-predictive-codec)などエンコード実行時に、参照フレームと当該フレームとの差分を処理する。このエンコード時の参照フレームの構成について、特許文献１に開示されている。
【０００３】
【特許文献１】特開2007-104231号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、双方向予測符号化のエンコード時には異なるフレームで共通の参照データを使用する為、参照メモリの同じ面に格納された画像を毎回読み出す構成となる。
【０００５】
参照メモリは例えばSDRAMなどで実現できるが、記録装置にエンコーダを組み込む場合には、コストや、小型化を実現するためエンコーダに使用するメモリ、描画処理用メモリ、外部デバイスとの処理に使用するメモリを共通に使用することが考えられる。SDRAMを共用した場合、各処理に対してのバンド幅を確保するために、デバイスを高速処理版のものにする必要や、バンド幅が収まるように機能に制限をかける必要が生じてしまう。
【０００６】
本発明では、上記課題を解決するため、参照メモリから読み出した画像を中間メモリに格納し、中間メモリから動き補償部に供給する構成とし、異なるフレームで共通の参照データを用いてエンコードする時に、参照メモリへのアクセスを半減することが可能となり、使い勝手を向上したエンコードを行うエンコーダ、及び記録装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的は、特許請求の範囲に記載の発明により解決される。
【発明の効果】
【０００８】
本発明により、使い勝手を向上したエンコーダ及び記録装置が提供できる。
【発明を実施するための最良の形態】
【０００９】
以下の実施例では、H.264方式を利用してエンコードする例として説明する。
しかしながら、これに限らず、符号化方式としては、上記MPEG2方式やH.264方式以外に、MPEG4、H.261、H.263，SMPTEのVC1などがある。
【００１０】
なお、H.264方式などでは，動き補償の際の参照フレームを既に復号済みのフレームから任意に選択できるマルチフレーム動き補償が可能である。
【実施例１】
【００１１】
本発明の好適な一実施例として、エンコーダの構成及び動作の説明をする。
【００１２】
図１を用いて実施例の構成を説明する。エンコードする画像データを入力する入力部001、前記入力部001から供給される画像データを入力画像としてバッファに蓄えるバッファ部002、入力画像と既に符号化済みの複数枚の参照画像との間で動き補償を行う事が可能な動き補償部003、動き補償後の誤差画像を周波数変換する周波数変換部004、規格に準拠したシンタックスで符号化を行うVLC部005,006、２つのVLC部から生成されたストリームを時系列に切り替える制御を行う切り替え部007、前記切り替え部から供給される画像ストリームを出力する出力部008、符号化画像の探索範囲の一部を後述参照メモリ部010から読み出し保存する為の中間メモリ009、符号化画像を後の動き補償の参照画像とする参照画像保存部である参照メモリ部010を備えたエンコーダ（エンコード装置）100を示している。
【００１３】
前記バッファ部002と前記参照メモリ部010は、例えば共通のSDRAM上の異なるアドレスに割り付けて使用することが考えられる。
【００１４】
図２に、本実施例の概要を示す。
図中のI,B,Pはそれぞれピクチャの符号化タイプ(picture_coding_type)を示し、Iは画面内の情報のみを利用した符号化(intra-coded)、Pは過去の情報も利用可能な符号化(predictive-codec)、Bは過去と未来の情報を利用した符号化(bidirectionally-predictive-codec)を行うタイプを表している。
【００１５】
上段は双方向予測符号化を示し、B1をエンコードするときは、ハッチングされた該当マクロブロック周辺と、Iフレーム：I0とPフレーム：P3の該当マクロブロック近傍の探索範囲との差分を演算する。B2についても同様にI0とP3を参照するため、B1とB2はそれぞれ同じIとPの画像データを参照することになる。
【００１６】
またエンコードでは、図３の様に符号化した画像を後の参照画像として用いる為、参照メモリに蓄えて置く必要がある。参照メモリを３面用いて、前記参照メモリに保存されている画像を用いてエンコードを行う例を示す。
【００１７】
図3中B3を双方向予測符号化する場合、参照メモリ部010から過去のフレームI2と、未来のフレームP5について、該当マクロブロック周辺の画像データを読み出し、動き補償部003で演算を行うが、同じくB4を双方向予測する場合においても、B3と同じくI2,P5の画像データを参照するため、参照メモリ部010の同じデータを繰り返し読み出している。
【００１８】
図４は、この参照メモリ部010から読み出した画像データを中間メモリ009に一旦保存し、参照メモリへのアクセスを低減した概念図である。
【００１９】
図3から異なり、B3をエンコードする際に、前記参照メモリ部010から読み出した画像データを前記中間メモリ009に保存し、B2とB3を同時に処理する。
このときの動き補償部003、周波数変換部004は、エンコーダの処理速度を通常の１／２倍として、倍の時間を掛けて２フレームをエンコードしてもよいし、
図５に示すように各々2個ずつの構成としてもよい。
【００２０】
生成したストリームは、第１のVLC部005と第２のVLC部006から時系列に出力される。この構成により、前記参照メモリ部010から読み出す参照画像データを半減できる。
【００２１】
本実施例により、エンコード時の参照メモリへのアクセス回数を低減し、参照メモリと他のバッファを共通のメモリで構成でき、使い勝手のよいエンコーダを構成できる。
【実施例２】
【００２２】
次に本発明の他の好適な一実施例として、他の製品への適用例を説明する。本実施例では、第１の製品実用例として、記録装置（例えばカムコーダ）への適用例について説明する。
【００２３】
本実施例は、例えばカメラなどの撮像素子からの画像データや、外部からデジタル画像コンテンツを入力し、ハードディスク（以下 HDDと略す）や光磁気ディスクなどの記録媒体に符号化フォーマット，符号化レートを変えて保存する場合に有効である。
【００２４】
図６にカメラからの撮像画像データを記録媒体に保存する際のブロック図を示す。画像入力インタフェース部711から入力された画像データをエンコード装置707で符号化を行いストリームの生成を行う。生成されたストリームは記録媒体インタフェース部708により、例えばHDDなどの記録媒体部709に記録される。
【００２５】
記録されたストリームを再生するには、前記HDDからストリームを読み出し、デコーダ705でデコード処理が行われ、画像をディスプレイに出力するのであればデコード画像は，表示部710に送る処理とする。
【００２６】
デコーダがデコードした再生画像を動画像のビットレート変換，フォーマット変換を行う為に再度エンコードを行っても構わない。
【００２７】
本構成により、エンコーダのメモリに対してのアクセス頻度を下げることが可能となるため、エンコード装置707以外で使用するメモリと、参照メモリを含むエンコーダのメモリを、共通のメモリ上に配置でき、使い勝手を向上した記録装置が提供できる。
【実施例３】
【００２８】
次に本実施例を用いた第２の製品実用例（例えばレコーダ）を示す。
【００２９】
本実施例は、アナログやデジタルのテレビ放送を、また既に記録してある番組をHDDやDVDなどの記録媒体に符号化フォーマット，符号化レートを変えて保存する場合に有効である。
【００３０】
図７にデジタル放送を記録媒体に保存する際のブロック図を示す。
チューナ部701で受信したデジタル放送は、復調部702にて復号処理が行われ、デマルチプレクサ部703にて動画像情報と音声情報等に分解される。動画像情報は、デコーダ705でデコード処理が行われ、画像をディスプレイに出力するのであればデコード画像は、表示部710に送られる。また、デコーダがデコードした再生画像をエンコーダで、符号化を行いストリームの生成を行う。
【００３１】
以上の実施例により、動画像のビットレート変換，フォーマット変換の高画質化を実現でき、使い勝手が向上する。
【図面の簡単な説明】
【００３２】
【図１】実施例１のブロック図
【図２】実施例１の概念図
【図３】従来例の参照メモリ構成例
【図４】参照メモリ構成例
【図５】参照メモリ構成例
【図６】実施例１を適用した製品例
【図７】実施例１を適用した製品例
【符号の説明】
【００３３】
１００  エンコード装置
【図１】
2009111797.tif 000003
【図２】
2009111797.tif 000004
【図３】
2009111797.tif 000005
【図４】
2009111797.tif 000006
【図５】
2009111797.tif 000007
【図６】
2009111797.tif 000008
【図７】
2009111797.tif 000009