(57)【特許請求の範囲】
【請求項１】
原画像データを符号化し、第１の圧縮符号化データを生成する第１の符号化部と、
前記第１の圧縮符号化データを復号して参照画像データを生成する第１の復号化部と、
前記原画像データをフレーム内符号化して第２の圧縮符号化データをメモリに出力する第２の符号化部と、
前記第２の圧縮符号化データを復号して疑似参照画像データを生成する第２の復号化部と、
前記参照画像データと前記疑似参照画像データとの誤差データを生成し、前記メモリに出力する誤差計算部と、
を有することを特徴とする動画像符号化装置。
【請求項２】
前記第２の符号化部は、前記第１の符号化部における量子化で用いられる第１の量子化パラメータ値をもとに、前記フレーム内符号化時に用いる第２の量子化パラメータ値を決定することを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
前記第２の符号化部は、大きさの異なる複数の前記第２の量子化パラメータ値をもとに、複数の前記第２の圧縮符号化データを生成し、
前記第２の復号化部は、複数の前記第２の圧縮符号化データを復号して複数の前記疑似参照画像データを生成し、
前記誤差計算部は、前記参照画像データとの前記誤差データが最小となる前記疑似参照画像データを選択し、最小の前記誤差データを前記メモリに出力することを特徴とする請求項２記載の動画像符号化装置。
【請求項４】
前記第２の符号化部は、複数の前記第２の量子化パラメータ値を用いた複数の量子化結果のうち、前記誤差データが最小となる前記疑似参照画像データを生成する際に用いられた前記第２の量子化パラメータ値による前記量子化結果に対してエントロピー符号化を行い、前記メモリに出力する前記第２の圧縮符号化データを生成することを特徴とする請求項３記載の動画像符号化装置。
【請求項５】
前記第２の符号化部は、前記第１の量子化パラメータから前記第２の量子化パラメータを求める変換テーブルを有し、前記誤差計算部での前記疑似参照画像の選択結果に応じて、前記変換テーブルを更新することを特徴とする請求項３または４に記載の動画像符号化装置。
【請求項６】
第１の符号化部が、原画像データを符号化して第１の圧縮符号化データを生成し、
第１の復号化部が、前記第１の圧縮符号化データを復号して参照画像データを生成し、
第２の符号化部が、前記原画像データをフレーム内符号化して第２の圧縮符号化データをメモリに出力し、
第２の復号化部が、前記第２の圧縮符号化データを復号して疑似参照画像データを生成し、
誤差計算部が、前記参照画像データと前記疑似参照画像データとの誤差データを生成し、前記メモリに出力することを特徴とする動画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置及び動画像符号化方法に関する。
【背景技術】
【０００２】
動画像情報をデジタル信号として取り扱う際の符号フォーマットとして、国際標準規格であるＭＰＥＧ（Moving Picture Experts Group）−２、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）などが用いられている。
【０００３】
近年、Ｈ．２６４／ＡＶＣにより、フルＨＤ（High Definition）映像データを圧縮符号化する技術が、デジタルビデオカメラからデジタルスチルカメラまで普及し、さらに携帯電話のムービー撮影機能にまで及んでいる。また、据え置き型の装置では、Ｈ．２６４／ＡＶＣ圧縮方式により、Ｂｌｕ−ｒａｙ（登録商標）ディスクレコーダなど高密度大容量の記憶媒体にフルＨＤ映像データを録画する装置も登場している。
【０００４】
ＭＰＥＧ−２やＨ．２６４／ＡＶＣなどの動画像圧縮処理では、各フレーム画像において、圧縮の処理単位となる矩形領域（マクロブロック）に対して、参照画像と呼ばれる時間的に近接した画像から絵柄の似た矩形領域が探索される。そして、２つの矩形領域間の空間的な位置の差分が動きベクトルデータとして、また、これらの画像の残差データが係数データとして圧縮符号化される。
【０００５】
この圧縮符号化の過程において、動画像圧縮符号化装置は、参照画像などの画像データをメモリとやり取りするため、フルＨＤ画像など高精細でフレーム画像単位のデータ量が大きくなると動画像符号化装置とメモリ間のデータ転送量が増大する。
【０００６】
そこで、従来、原画像入力をバッファリングしながら動画像符号化処理部に原画像を供給するとともに、参照画像のメモリへの書き込み時に縮小処理を行い、縮小画像とそれに伴う誤差データをメモリに記憶させる技術が用いられてきている。
【０００７】
この技術によれば、動き検出で用いるために生成した参照画像をメモリに書き込む前に縮小処理を行うことで、書き込みと読み出し時における動画像符号化装置とメモリ間のデータ転送量が低減される。メモリから読み出された参照画像は拡大され、メモリから読み出される誤差データが加算されることにより、元の参照画像に復元され、動き検出で用いられる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００７−２２１６９７号公報
【特許文献２】特開２００７−０３６７３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかし、参照画像を縮小してメモリに記憶する技術では、データ転送量を削減するために参照画像の縮小率を大きくすればするほど、誤差データが大きくなる。誤差データも参照画像を復元するためにメモリに書き込むため、誤差データが大きくなるとデータ転送量の削減に限界が生じ、十分にデータ転送量を低減できないという問題があった。
【課題を解決するための手段】
【００１０】
発明の一観点によれば、原画像データを符号化し、第１の圧縮符号化データを生成する第１の符号化部と、前記第１の圧縮符号化データを復号して参照画像データを生成する第１の復号化部と、前記原画像データをフレーム内符号化して第２の圧縮符号化データをメモリに出力する第２の符号化部と、前記第２の圧縮符号化データを復号して疑似参照画像データを生成する第２の復号化部と、前記参照画像データと前記疑似参照画像データとの誤差データを生成し、前記メモリに出力する誤差計算部と、を備えた動画像符号化装置が提供される。
【発明の効果】
【００１１】
開示の動画像符号化装置及び動画像符号化方法によれば、動画像符号化装置とメモリとの間のデータ転送量を低減できる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施の形態の動画像符号化装置の一例を示す図である。
【図２】動画像符号化装置の処理の流れを示すフローチャートである。
【図３】第２の実施の形態の動画像符号化装置の一例を示す図である。
【図４】参照画像圧縮符号化部の量子化パラメータ値を調整する例を示す図である。
【図５】符号化処理部の一例を示す図である。
【図６】更新された変換テーブルの一例を示す図である。
【図７】評価式を用いて、参照画像圧縮符号化部の量子化パラメータ値を調整する例を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明の動画像符号化装置及び動画像符号化方法の実施の形態を、図面を参照しつつ説明する。
（第１の実施の形態）
図１は、第１の実施の形態の動画像符号化装置の一例を示す図である。
【００１４】
第１の実施の形態の動画像符号化装置１０は、符号化部１１、復号化部１２、符号化部１３、復号化部１４、誤差計算部１５、参照画像復元部１６を有している。
符号化部１１は、入力される原画像データを符号化し、圧縮符号化データを生成する。符号化部１１は、原画像データのうち、フレーム間符号化処理を行わない基準となるフレーム画像に対してはフレーム内符号化処理を行い、それ以外のフレーム画像に対してはフレーム間符号化処理を行う。符号化部１１は、生成した圧縮符号化データを、参照画像データを生成するために復号化部１２に入力する。また、符号化部１１は、生成した圧縮符号化データを動画像符号化装置１０から出力する。
【００１５】
なお、復号化部１２に入力する圧縮符号化データは、たとえば、エントロピー符号化前の量子化係数であるが、エントロピー符号化されたデータとしてもよい。
復号化部１２は、圧縮符号化データを復号して参照画像データを生成する。
【００１６】
符号化部１３は、原画像データに対してフレーム内符号化処理を行って圧縮符号化データを生成し、メモリ２０に出力する。さらに、符号化部１３は、圧縮符号化データを復号化部１４に入力する。
【００１７】
なお、復号化部１４に入力する圧縮符号化データは、たとえば、エントロピー符号化前の量子化係数であるが、エントロピー符号化されたデータとしてもよい。メモリ２０に出力するデータについても同様である。
【００１８】
復号化部１４は、符号化部１３より入力された圧縮符号化データを復号して疑似参照画像データを生成する。
誤差計算部１５は、復号化部１２で生成された参照画像データと、復号化部１４で生成された疑似参照画像データとの誤差データを生成し、メモリ２０に出力する。
【００１９】
参照画像復元部１６は、メモリ２０から圧縮符号化データと誤差データとを読み出す。そして、参照画像復元部１６は、圧縮符号化データを復号し、復号結果に対して誤差データの加算処理を行って、参照画像データを復元し、復元した参照画像データを符号化部１１に入力する。
【００２０】
なお、メモリ２０は、動画像符号化装置１０内にあってもよい。
以下、動画像符号化装置１０の動作を説明する。
図２は、動画像符号化装置の処理の流れを示すフローチャートである。
【００２１】
ステップＳ１：符号化部１１，１３は、原画像データを入力する。
ステップＳ２：符号化部１１は、入力された原画像データに対して、フレーム内符号化処理またはフレーム間符号化処理を行い、圧縮符号化データを生成する。生成された圧縮符号化データは復号化部１２に入力される。フレーム間符号化処理においては、参照画像復元部１６において、メモリ２０から、圧縮符号化データと誤差データとを読み出し、圧縮符号化データの復号及び、誤差データの加算処理を行うことで、参照画像データを復元する。
【００２２】
ステップＳ３：復号化部１２は、符号化部１１で生成された圧縮符号化データを復号して参照画像データを生成する。
ステップＳ４：一方、符号化部１３は、入力された原画像データに対してフレーム内符号化処理を行って圧縮符号化データを生成する。生成された圧縮符号化データは、メモリ２０に書き込まれる。また、圧縮符号化データは、復号化部１４に入力される。
【００２３】
ステップＳ５：復号化部１４は、符号化部１３より入力された圧縮符号化データを復号して疑似参照画像データを生成する。
ステップＳ６：誤差計算部１５は、復号化部１２で生成された参照画像データと、復号化部１４で生成された疑似参照画像データとの誤差を計算する。計算によって得られた誤差データは、メモリ２０に書き込まれる。
【００２４】
符号化部１１では、量子化による非可逆圧縮処理が実施されるため、復号された参照画像データは、原画像データに比べて画質劣化が生じる。本実施の形態の動画像符号化装置１０では、参照画像データを生成する経路とは別経路で、原画像データに対してフレーム内符号化処理を行い、得られた圧縮符号化データをメモリ２０に書き込むとともに、復号して疑似参照画像データを生成している。
【００２５】
ここで生成される疑似参照画像データは、参照画像データと同様に、原画像データに対して符号化と復号を行うことによって生成されるので、参照画像データと同様の劣化品質となり、誤差計算部１５で計算される誤差データを小さくすることができる。
【００２６】
これにより、動画像符号化装置１０とメモリ２０との間のデータ転送量を低減することができる。
（第２の実施の形態）
以下、第２の実施の形態として、メモリとの間のデータ転送量を低減可能な動画像符号化装置を、より詳細に説明する。
【００２７】
図３は、第２の実施の形態の動画像符号化装置の一例を示す図である。
動画像符号化装置１００は、入力画像バッファ１１０、フレーム間符号化部１２０、フレーム内符号化部１３０、参照画像生成部１４０、参照画像復元部１５０を有している。
【００２８】
入力画像バッファ１１０は、原画像データを保持し、保持した原画像データをフレーム間符号化部１２０、フレーム内符号化部１３０、参照画像生成部１４０に供給する。
原画像データにおいて、フレーム画像のフォーマットとして、たとえば、４：２：０ＹＵＶフォーマットが用いられる。フルＨＤの映像データ（１９２０×１０８０ピクセル、３０ｆｐｓ）の場合、１秒間あたりのデータ転送量は、１９２０×１０８０［ピクセル］×１．５［バイト／ピクセル］×３０［ｆｐｓ］＝約９０ＭＢ／ｓである。
【００２９】
フレーム画像には、他の画像を参照せずに圧縮符号化処理が行われるイントラ画像と、他の画像を参照して符号化が行われるインター画像とがある。さらに、フレーム画像内の各マクロブロックにおいては、フレーム内の情報のみで圧縮可能なイントラマクロブロックと、他のフレーム画像のブロックとの差分を圧縮するインターマクロブロックとがある。
【００３０】
フレーム間符号化部１２０とフレーム内符号化部１３０は、図１で示した第１の実施の形態の動画像符号化装置１０における符号化部１１の機能を有する。
フレーム間符号化部１２０は、動きベクトル探索メモリ１２１、動きベクトル探索部１２２、差分画像生成部１２３を有している。
【００３１】
動きベクトル探索メモリ１２１は、参照画像復元部１５０で復元された参照画像データのうち、動きベクトル探索の対象となる部分を一時的かつ局所的に保持する。
動きベクトル探索部１２２は、入力画像バッファ１１０に保持された原画像データにおける符号化対象のマクロブロックに対して、動きベクトル探索メモリ１２１に保持された参照画像データを用いて動きベクトルの検出を行う。そして、動きベクトル探索部１２２は、検出した動きベクトルを用いて動きベクトル探索メモリ１２１から適切な参照画像データを読み出し、予測画像ブロックを生成し、出力する。
【００３２】
差分画像生成部１２３は、処理対象のマクロブロックと、動きベクトル探索部１２２で生成された予測画像ブロックとの画素データの差分を求め差分画像ブロックデータとして出力する。
【００３３】
フレーム内符号化部１３０は、周波数変換部１３１、量子化部１３２、エントロピー符号化部１３３を有する。
周波数変換部１３１は、処理対象のマクロブロックが、前述のインターマクロブロックの場合には、フレーム間符号化部１２０の差分画像生成部１２３から出力される差分画像ブロックデータに対して周波数変換を行う。また、周波数変換部１３１は、処理対象のマクロブロックがイントラマクロブロックの場合には、入力画像バッファ１１０に保持された原画像データにおける処理対象のマクロブロックに対して、周波数変換を行う。量子化部１３２は、周波数変換部１３１の出力に対して量子化を行う。エントロピー符号化部１３３は、量子化部１３２からの圧縮符号化データに対してエントロピー符号化を行い、出力する。
【００３４】
なお、フレーム内符号化部１３０での処理の際に用いられる量子化パラメータ値などのパラメータは、圧縮規格に応じて、イントラマクロブロックを処理するときと、インターマクロブロックを処理するときとでは異なるものが設定される。
【００３５】
参照画像生成部１４０は、局所復号化部１４１、参照画像圧縮符号化部１４２、参照画像局所復号化部１４３、誤差計算部１４４を有する。
局所復号化部１４１は、図１で示した第１の実施の形態の動画像符号化装置１０における復号化部１２の機能を有する。局所復号化部１４１は、インターマクロブロックの処理の際、量子化部１３２から出力される圧縮符号化データに対し、周波数変換部１３１、量子化部１３２での圧縮符号化規格に応じた逆量子化、逆周波数変換を実施して差分画像ブロックデータを再構成する。そして、局所復号化部１４１は、動きベクトル探索部１２２より出力される予測画像ブロックの画素データと、差分画像ブロックデータとを足し合わせることで、局所復号画像データを生成する。
【００３６】
イントラマクロブロックの処理の際には、局所復号化部１４１は、量子化部１３２からの圧縮符号化データに対して、逆量子化、逆周波数変換を実施して局所復号画像データを生成する。
【００３７】
なお、局所復号画像データは、第１の実施の形態で説明した、参照画像データに対応している。
参照画像圧縮符号化部１４２は、図１で示した第１の実施の形態の動画像符号化装置１０における符号化部１３の機能を有する。参照画像圧縮符号化部１４２は、入力画像バッファ１１０で保持されている原画像データに対して、フレーム内符号化処理を行う。参照画像圧縮符号化部１４２は、フレーム内符号化処理における量子化結果である圧縮符号化データを参照画像局所復号化部１４３に入力する。また、参照画像圧縮符号化部１４２は、量子化結果をさらにエントロピー符号化して得られた圧縮符号化データを、メモリ２００の参照画像メモリ領域２０１に書き込む。
【００３８】
参照画像局所復号化部１４３は、図１で示した第１の実施の形態の動画像符号化装置１０における復号化部１４の機能を有する。参照画像局所復号化部１４３は、参照画像圧縮符号化部１４２で生成された圧縮符号化データに対して、参照画像圧縮符号化部１４２で適用されている圧縮規格にしたがって復号を行い、疑似参照画像データを生成する。
【００３９】
誤差計算部１４４は、図１で示した第１の実施の形態の動画像符号化装置１０における誤差計算部１５の機能を有する。誤差計算部１４４は、局所復号化部１４１から出力される局所復号画像データと、疑似参照画像データとの誤差を計算する。そして、誤差計算部１４４は、計算で得られた誤差データをメモリ２００の誤差メモリ領域２０２に書き込む。
【００４０】
参照画像復元部１５０は、図１で示した第１の実施の形態の動画像符号化装置１０における参照画像復元部１６の機能を有し、参照画像復号化部１５１、誤差加算部１５２を備えている。
【００４１】
参照画像復号化部１５１は、メモリ２００の参照画像メモリ領域２０１に格納されている圧縮符号化データを読み出して復号する。
誤差加算部１５２は、メモリ２００の誤差メモリ領域２０２に格納されている誤差データを読み出し、参照画像復号化部１５１の出力に対して加算し、参照画像データを復元する。復元された参照画像データは、動きベクトル探索メモリ１２１に書き込まれる。
【００４２】
以下、動画像符号化装置１００の一例の動作を説明する。
入力画像バッファ１１０に原画像データが取り込まれると、図示しない制御部によって、処理対象のマクロブロックがインターマクロブロックであるかイントラマクロブロックであるかの判定が行われる。
【００４３】
イントラマクロブロックの場合には、フレーム間符号化部１２０と参照画像復元部１５０は動作せず、フレーム内符号化部１３０にてフレーム内符号化処理が行われる。このとき、処理対象のマクロブロックが、周波数変換部１３１にて周波数変換され、量子化部１３２にて量子化され、エントロピー符号化部１３３にてエントロピー符号化が実施され、圧縮されたビットストリームとして動画像符号化装置１００から出力される。
【００４４】
またこのとき、参照画像圧縮符号化部１４２にて、原画像データの処理対象のマクロブロックに対してフレーム内符号化処理が行われ、生成された圧縮符号化データがメモリ２００の参照画像メモリ領域２０１に書き込まれる。
【００４５】
また、フレーム内符号化部１３０の量子化部１３２からの圧縮符号化データは局所復号化部１４１にて復号され、局所復号画像データとして誤差計算部１４４に入力される。参照画像圧縮符号化部１４２で生成された圧縮符号化データは、参照画像局所復号化部１４３にて復号され、疑似参照画像データとして誤差計算部１４４に入力される。誤差計算部１４４は、参照画像データである局所復号画像データと、疑似参照画像データとの誤差を計算し、誤差データをメモリ２００の誤差メモリ領域２０２に記憶する。
【００４６】
このようなイントラマクロブロックの処理では、参照画像圧縮符号化部１４２において、フレーム内符号化部１３０と同じイントラ予測モードと量子化パラメータ値を用いることで、誤差計算部１４４での誤差データを小さくすることができる。特にフレーム内の全てのマクロブロックがイントラマクロブロックであるイントラフレームでは、誤差データを０とすることができる。なお、イントラ予測とは、処理中のマクロブロックより前に処理された同じフレーム画像内の周辺のマクロブロックの処理結果を予測データとして使うことを意味する。どの周辺マクロブロックのデータをどのように加工して使うかが、イントラ予測モードとして圧縮規格に定められている。
【００４７】
一方、インターマクロブロックを処理する場合、参照画像復号化部１５１は、メモリ２００の参照画像メモリ領域２０１に格納されている圧縮符号化データを読み出して復号する。さらに、誤差加算部１５２は、メモリ２００の誤差メモリ領域２０２に格納されている誤差データを読み出し、参照画像復号化部１５１の出力に対して加算し、参照画像データを復元する。
【００４８】
復元された参照画像データは、動きベクトル探索メモリに保持され、動きベクトル探索部１２２により読み出される。動きベクトル探索部１２２は、処理対象のマクロブロックに対して、動きベクトル探索メモリ１２１に保持された参照画像データを用いて動きベクトルの検出を行う。
【００４９】
そして、動きベクトル探索部１２２は、検出した動きベクトルを用いて動きベクトル探索メモリ１２１から適切な参照画像データを読み出し、予測画像ブロックを生成し、出力する。差分画像生成部１２３は、処理対象のマクロブロックと、動きベクトル探索部１２２で生成された予測画像ブロックとの画素データの差分を求め差分画像ブロックデータとして出力する。差分画像ブロックデータは、周波数変換部１３１にて周波数変換され、量子化部１３２にて量子化され、エントロピー符号化部１３３にてエントロピー符号化が実施され、圧縮されたビットストリームとして動画像符号化装置１００から出力される。
【００５０】
このとき、参照画像圧縮符号化部１４２においても、処理対象のインターマクロブロックに対してフレーム内符号化処理が行われ、生成された圧縮符号化データがメモリ２００の参照画像メモリ領域２０１に書き込まれる。
【００５１】
また、フレーム内符号化部１３０の量子化部１３２からの圧縮符号化データは局所復号化部１４１にて復号され、差分画像ブロックデータとして再構成される。さらに、局所復号化部１４１は、動きベクトル探索部１２２より出力される予測画像ブロックの画素データと、差分画像ブロックデータとを足し合わせることで、局所復号画像データを生成し、誤差計算部１４４に入力する。参照画像圧縮符号化部１４２で生成された圧縮符号化データは参照画像局所復号化部１４３にて復号され、疑似参照画像データとして誤差計算部１４４に入力される。誤差計算部１４４は、参照画像データである局所復号画像データと、疑似参照画像データとの誤差データを計算し、その誤差データをメモリ２００の誤差メモリ領域２０２に記憶する。
【００５２】
以上のように、動画像符号化装置１００は、参照画像データを生成する経路とは別経路で、原画像データに対してフレーム内符号化処理を行い、得られた圧縮符号化データをメモリ２００に書き込む。このとき、Ｈ．２６４／ＡＶＣで規定されているフレーム内符号化処理（イントラ圧縮ともいう）を適用すれば、９０ＭＢ／ｓの原画像データ入力に対して、５ＭＢ／ｓ程度にデータ量を圧縮することが可能である。
【００５３】
また、動画像符号化装置１００は、参照画像圧縮符号化部１４２から出力される圧縮符号化データを復号して疑似参照画像データを生成している。ここで生成される疑似参照画像データは、参照画像データと同様に、原画像データに対して符号化と復号を行うことによって生成されるので、参照画像データと同様の劣化品質となり、誤差計算部１４４にて算出される誤差データを小さくすることができる。これにより、動画像符号化装置１００とメモリ２００との間のデータ転送量を低減することができ、メモリコストを削減できる。
【００５４】
ところで、インターマクロブロックを処理する場合、前述のようにフレーム間符号化処理が行われる。このときでも、参照画像圧縮符号化部１４２はフレーム内符号化処理を実施するため、局所復号化部１４１と、参照画像局所復号化部１４３の局所復号結果との間には、異なる符号化処理に起因した誤差が生じる。
【００５５】
以下ではこの誤差を小さくすることで、誤差計算部１４４からメモリ２００に書き込まれる誤差データをより小さくする方法を説明する。
図４は、参照画像圧縮符号化部の量子化パラメータ値を調整する例を示す図である。
【００５６】
図４では、図３で示した局所復号化部１４１、参照画像圧縮符号化部１４２、参照画像局所復号化部１４３、誤差計算部１４４と、参照画像圧縮符号化部１４２内に設けられたインター・イントラＱ値変換用の変換テーブル３００を示している。
【００５７】
変換テーブル３００では、インデックスとして、フレーム内符号化部１３０の量子化部１３２でインターマクロブロックを量子化する際に用いられるインター量子化パラメータ値ＱＰ１が設定されている。そして、インター量子化パラメータ値ＱＰ１に対応して、参照画像圧縮符号化部１４２で用いるイントラ量子化パラメータ値ＱＰ２が設定されている。変換テーブル３００は、動画像符号化装置１００が扱う画像サイズ、ターゲットビットレートに応じて動画像符号化処理前に、図示しない制御部によって初期化される。
【００５８】
また、図４では、参照画像圧縮符号化部１４２内において、原画像データの処理対象のマクロブロックに対してフレーム内符号化処理を行う符号化処理部１４２ａを図示している。
【００５９】
図５は、符号化処理部の一例を示す図である。
符号化処理部１４２ａは、参照画像周波数変換部１４２−１、参照画像量子化部１４２−２、セレクタ１４２−３、参照画像エントロピー符号化部１４２−４を有している。
【００６０】
参照画像周波数変換部１４２−１は、入力画像バッファ１１０から処理対象のマクロブロックを入力して周波数変換を行う。
参照画像量子化部１４２−２は、変換テーブル３００から供給された大きさの異なる３つの量子化パラメータ値ＱＬ，ＱＭ，ＱＨを用いて、周波数変換結果に対して量子化を行う。
【００６１】
セレクタ１４２−３は、各量子化パラメータ値ＱＬ，ＱＭ，ＱＨを用いた量子化によって得られた圧縮符号化データ（量子化係数ＣＬ，ＣＭ，ＣＨ）の何れかを、誤差計算部１４４での選択結果に応じて選択し、出力する。
【００６２】
参照画像エントロピー符号化部１４２−４は、セレクタ１４２−３で選択された量子化係数に対してエントロピー符号化を施し、圧縮符号化データを生成し、メモリ２００の参照画像メモリ領域２０１に出力する。
【００６３】
以下、図４、図５で示す各部による量子化パラメータ値の調整方法を説明する。
図３で示したフレーム内符号化部１３０にてインターマクロブロックが符号化される場合、参照画像圧縮符号化部１４２は、量子化部１３２で用いられたインター量子化パラメータ値ＱＰ１を取得する。そして、符号化処理部１４２ａは、変換テーブル３００のイントラ量子化パラメータ値ＱＰ２から、取得したインター量子化パラメータ値ＱＰ１に対応する値を、使用する量子化パラメータ値ＱＭとして入力する。
【００６４】
図４の例では、ＱＰ１（Ｉｎｄｅｘ）＝１２に対して、ＱＭ＝１０が使用されている。
また、符号化処理部１４２ａは、ＱＭのほかに、ＱＭより大きい量子化パラメータ値ＱＨ、ＱＭより小さい量子化パラメータ値ＱＬを用いて、量子化を行い、図５に示すように、３種類の量子化係数ＣＬ，ＣＭ，ＣＨを生成する。
【００６５】
参照画像局所復号化部１４３は、３種類の量子化係数ＣＬ，ＣＭ，ＣＨで与えられる圧縮符号化データを復号し、３種類の復号画像データＬ，Ｍ，Ｈを疑似参照画像データとして生成する。
【００６６】
誤差計算部１４４は、比較部１４４ａによって、復号画像データＬ，Ｍ，Ｈを、局所復号化部１４１から出力される局所復号画像データと比較する。そして、誤差計算部１４４は、差分が最小となる復号画像データＬ，Ｍ，Ｈを最適な疑似参照画像であるとして選択し、その差分を誤差データとしてメモリ２００に出力する。また、比較部１４４ａは、選択結果を符号化処理部１４２ａに通知する。
【００６７】
符号化処理部１４２ａのセレクタ１４２−３は、選択結果に応じて、３種類の量子化係数ＣＬ，ＣＭ，ＣＨの何れかを選択して、出力する。参照画像エントロピー符号化部１４２−４は、選択された量子化係数に対してエントロピー符号化を施し、圧縮符号化データを生成し、メモリ２０に出力する。
【００６８】
たとえば、復号画像データＨと局所復号画像データとの差分が最小の場合、符号化処理部１４２ａは、量子化パラメータ値ＱＨを用いた符号化によって生成された量子化係数ＣＭに対して、エントロピー符号化処理を行い、出力する。
【００６９】
また、比較部１４４ａは、選択結果をもとに、変換テーブル３００を更新する旨のテーブル更新指示信号を参照画像圧縮符号化部１４２に通知する。参照画像圧縮符号化部１４２は、テーブル更新指示信号をもとに、変換テーブル３００を更新する。
【００７０】
図６は、更新された変換テーブルの一例を示す図である。
図６に示す例では、インター量子化パラメータ値ＱＰ１＝１２に対して、ＱＨ＝１１が最適であった場合に更新された変換テーブル３００ａを示している。Ｉｎｄｅｘ＝１２に対して、イントラ量子化パラメータ値ＱＰ２＝１１が割り当てられている。
【００７１】
なお、上記の例では、大きさの異なる３種類の量子化パラメータ値を候補として用いたが、２種類、または４種類以上の量子化パラメータ値を候補として用いてもよい。
以上のように、参照画像圧縮符号化部１４２は、フレーム内符号化部１３０の量子化部１３２で用いられるインター量子化パラメータ値ＱＰ１を利用して、量子化パラメータ値を決定することで誤差計算部１４４での誤差データを小さくすることができる。
【００７２】
また、大きさの異なる複数の量子化パラメータ値を用いて符号化及び復号を行い、複数の復号画像データを生成してその中から最適なものを選択することで、誤差計算部１４４で生成される誤差データをさらに小さくすることができる。
【００７３】
また、誤差計算部１４４での選択結果に応じて変換テーブル３００を更新していくことで、変換テーブル３００を最適化でき、インター量子化パラメータ値ＧＰ１に対して、参照画像圧縮符号化部１４２で用いる最適な量子化パラメータ値を得ることができる。
【００７４】
また、参照画像圧縮符号化部１４２は、複数の量子化係数の中から、選択された最適な量子化係数に対してエントロピー符号化処理を行うことで、符号化におけるハードウェアの負荷を低減することができる。
【００７５】
図７は、評価式を用いて、参照画像圧縮符号化部の量子化パラメータ値を調整する例を示す図である。
図５に示したものと同様の要素については同一符号を付している。
【００７６】
符号化処理部１４２ｂの参照画像エントロピー符号化部１４２−５は、図５に示した参照画像エントロピー符号化部１４２−４と異なり、複数の量子化係数ＣＬ，ＣＭ，ＣＨに対して、エントロピー符号化を行い、符号化ストリームＳＬ，ＳＭ，ＳＨを生成する。
【００７７】
また、誤差計算部１４４ｂは、複数の復号画像データＬ，Ｍ，Ｈと、局所復号画像データとの誤差データＹＬ，ＹＭ，ＹＨを生成、出力する。
さらに、図７の例では、評価部３１０とセレクタ３１１が設けられている。
【００７８】
評価部３１０は、ストリーム量（符号化データ量）ＸＬ，ＸＭ，ＸＨと、誤差データＹＬ，ＹＭ，ＹＨを入力して、（ＸＬ，ＹＬ）、（ＸＭ，ＹＭ）、（ＸＨ，ＹＨ）の３組に対して、データ転送コスト（＝ストリーム量×重み係数＋誤差データ）を求める。評価部３１０は、データ転送コストが最小となる組を評価結果として出力する。また、評価部３１０は、その組が示す符号化ストリームを生成したときに用いた量子化パラメータ値で、変換テーブル３００を最適化させる旨のテーブル更新指示信号を出力する。
【００７９】
セレクタ３１１は、評価結果で指定された組の誤差データを選択して出力する。
上記のような方法によれば、たとえば、符号化ストリームＳＨについてのストリーム量ＸＨと誤差データＹＨの組が、データ転送コストが最小となった場合には、セレクタ１４２−６は、符号化ストリームＳＨを圧縮符号化データとしてメモリ２００に出力する。また、セレクタ３１１は、誤差データＹＨを誤差データとしてメモリ２００に出力する。また、テーブル更新指示信号によって、ＱＨ＝１１が、インター量子化パラメータ値ＱＰ１＝１２に対して最適なものであるとして、図６に示すように変換テーブル３００ａが更新される。
【００８０】
以上のような方法によっても、メモリ２００に出力される誤差データを小さくできるとともに、メモリ２００の参照画像メモリ領域２０１に書き込む圧縮符号化データを含めたトータルなデータ転送コストを削減できる。
【００８１】
以上、実施の形態に基づき、本発明の動画像符号化装置及び動画像符号化方法の一観点について説明してきたが、これらは一例にすぎず、上記の記載に限定されるものではない。
【００８２】
以上説明した複数の実施の形態に関し、さらに以下の付記を開示する。
（付記１）  原画像データを符号化し、第１の圧縮符号化データを生成する第１の符号化部と、
前記第１の圧縮符号化データを復号して参照画像データを生成する第１の復号化部と、
前記原画像データをフレーム内符号化して第２の圧縮符号化データをメモリに出力する第２の符号化部と、
前記第２の圧縮符号化データを復号して疑似参照画像データを生成する第２の復号化部と、
前記参照画像データと前記疑似参照画像データとの誤差データを生成し、前記メモリに出力する誤差計算部と、
を有することを特徴とする動画像符号化装置。
【００８３】
（付記２）  前記メモリから前記第２の圧縮符号化データと前記誤差データを読み出し、前記第２の圧縮符号化データを復号して、復号結果に前記誤差データを加算することで、前記参照画像データを復元する参照画像復元部を、有することを特徴とする付記１記載の動画像符号化装置。
【００８４】
（付記３）  前記第２の符号化部は、前記第１の符号化部における量子化で用いられる第１の量子化パラメータ値をもとに、前記フレーム内符号化時に用いる第２の量子化パラメータ値を決定することを特徴とする付記１または２に記載の動画像符号化装置。
【００８５】
（付記４）  前記第２の符号化部は、大きさの異なる複数の前記第２の量子化パラメータ値をもとに、複数の前記第２の圧縮符号化データを生成し、
前記第２の復号化部は、複数の前記第２の圧縮符号化データを復号して複数の前記疑似参照画像データを生成し、
前記誤差計算部は、前記参照画像データとの前記誤差データが最小となる前記疑似参照画像データを選択し、最小の前記誤差データを前記メモリに出力することを特徴とする付記３記載の動画像符号化装置。
【００８６】
（付記５）  前記第２の符号化部は、複数の前記第２の量子化パラメータ値を用いた複数の量子化結果のうち、前記誤差データが最小となる前記疑似参照画像データを生成する際に用いられた前記第２の量子化パラメータ値による前記量子化結果に対してエントロピー符号化を行い、前記メモリに出力する前記第２の圧縮符号化データを生成することを特徴とする付記４記載の動画像符号化装置。
【００８７】
（付記６）  前記第２の符号化部は、前記第１の量子化パラメータから前記第２の量子化パラメータを求める変換テーブルを有し、前記誤差計算部での前記疑似参照画像の選択結果に応じて、前記変換テーブルを更新することを特徴とする付記４または５に記載の動画像符号化装置。
【００８８】
（付記７）  大きさの異なる複数の前記第２の量子化パラメータ値をもとに生成された複数の前記圧縮符号化データの符号化データ量と前記誤差データとをもとに、データ転送コストが最小となる前記圧縮符号化データを求め、前記第２の符号化部から前記メモリに出力させる評価部を有することを特徴とする付記３記載の動画像符号化装置。
【００８９】
（付記８）  第１の符号化部が、原画像データを符号化して第１の圧縮符号化データを生成し、
第１の復号化部が、前記第１の圧縮符号化データを復号して参照画像データを生成し、
第２の符号化部が、前記原画像データをフレーム内符号化して第２の圧縮符号化データをメモリに出力し、
第２の復号化部が、前記第２の圧縮符号化データを復号して疑似参照画像データを生成し、
誤差計算部が、前記参照画像データと前記疑似参照画像データとの誤差データを生成し、前記メモリに出力することを特徴とする動画像符号化方法。
【符号の説明】
【００９０】
１０  動画像符号化装置
１１，１３  符号化部
１２，１４  復号化部
１５  誤差計算部
１６  参照画像復元部
２０  メモリ
【図１】
0005447239.tif 000002
【図２】
0005447239.tif 000003
【図３】
0005447239.tif 000004
【図４】
0005447239.tif 000005
【図５】
0005447239.tif 000006
【図６】
0005447239.tif 000007
【図７】
0005447239.tif 000008