(57)【要約】【課題】画像データの色成分毎の符号化に関し、処理量を増加させることなく良好な画質を得られるようにする。【解決手段】複数の色成分から構成される画像データの色成分毎の特徴量に応じて各色成分の符号化順序を決定する符号化順決定回路と、決定された符号化順序に従って、画像データを色成分毎に符号化を行う符号化回路とを有し、先に符号化が行われた色成分の符号化結果を用いて、後に行われる他の色成分の符号化を行うようにし、処理量を増加させることなく良好な画質を得られるようにする。【選択図】図１
2017005634.tif 000002
【特許請求の範囲】
【請求項１】
複数の色成分から構成される画像データの色成分毎の特徴量に応じて各色成分の符号化順序を決定する符号化順決定手段と、
前記符号化順決定手段により決定された符号化順序に従って、前記画像データを色成分毎に符号化を行う符号化手段とを有し、
前記符号化手段は、先に符号化が行われた色成分の符号化結果を用いて、後に行われる他の色成分の符号化を行うことを特徴とする符号化装置。
【請求項２】
前記符号化手段は、色成分毎に１マクロブロック分ずつ処理時間をずらして前記画像データを並列に符号化を行い、符号化が行われた色成分の符号化結果を用いて、同じ位置のマクロブロックにおける次の色成分の符号化を行うことを特徴とする請求項１記載の符号化装置。
【請求項３】
前記符号化手段は、先に符号化が行われた色成分の符号化での動きベクトル探索の結果を用いて、後に行われる他の色成分の符号化での動きベクトルの探索範囲を決定することを特徴とする請求項１又は２記載の符号化装置。
【請求項４】
前記符号化手段は、先に符号化が行われた色成分の符号化での動きベクトル探索で選択された位置での前記画像データと参照画像データとの画素値の差分絶対値の総和が所定の閾値より小さい場合、同じ範囲を前記探索範囲に決定し、所定の閾値以上である場合、異なる範囲を前記探索範囲に決定することを特徴とする請求項３記載の符号化装置。
【請求項５】
前記符号化手段は、先に符号化が行われた色成分の符号化での発生符号量と目標符号量との符号量誤差を用いて、後に行われる他の色成分の符号化での量子化制御を行うことを特徴とする請求項１又は２記載の符号化装置。
【請求項６】
前記符号化手段は、前記符号量誤差が、第１の閾値より小さい場合、量子化処理における量子化係数を小さくし、第２の閾値より大きい場合、前記量子化係数を大きくすることを特徴とする請求項５記載の符号化装置。
【請求項７】
前記符号化順決定手段は、画像データの色成分毎に分散値を算出し、算出した分散値に応じて各色成分の符号化順序を決定することを特徴とする請求項１〜５の何れか１項に記載の符号化装置。
【請求項８】
前記符号化順決定手段は、画像データの色成分毎に分散値を算出し、算出した分散値が小さい順に符号化を行うよう各色成分の符号化順序を決定し、
前記符号化手段は、符号化が行われた色成分の符号化での発生符号量を用いて、次に符号化を行う色成分の符号化での量子化処理における量子化係数を制御することを特徴とする請求項１記載の符号化装置。
【請求項９】
前記符号化手段は、先に符号化が行われた色成分の符号化での発生符号量と目標符号量との符号量誤差に応じて前記量子化係数を制御することを特徴とする請求項８記載の符号化装置。
【請求項１０】
複数の色成分から構成される画像データの色成分毎の特徴量に応じて各色成分の符号化順序を決定する工程と、
決定された前記符号化順序に従って、前記画像データを色成分毎に符号化を行う工程とを有し、
前記画像データの符号化は、先に符号化が行われた色成分の符号化結果を用いて、後に行われる他の色成分の符号化を行うことを特徴とする符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化装置及び符号化方法に関する。
【背景技術】
【０００２】
被写体を撮影し、撮影により得られた動画像データを圧縮符号化して記録するカメラ一体型動画像記録装置として、デジタルビデオカメラが知られている。近年では、圧縮方式として、フレーム間で動き予測を用いて高い圧縮率で圧縮可能なＭＰＥＧ２方式が一般的に用いられており、さらに近年では、より高い圧縮率で圧縮可能なＨ．２６４方式なども用いられている。
【０００３】
このような圧縮方式の動画像符号化装置に関し、画像データの各色成分を独立で符号化するか否かを判定し、独立で無い符号化では予測モードを各色成分で共通にして符号化を効率よく行うものがある。例えば、特許文献１には、予測モードを各色成分で個別にするか共通にするかを判断し、選択的に切り替えて画像データの符号化を行う技術が提案されている。また、量子化係数を変更し複数回符号化を行うことで画面内の符号化難易度を測定し、適切な符号量を推定して画像データの符号化を行うことで、量子化歪による画質劣化の発生を抑制する動画像符号化装置がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１１０００６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、前述した技術では、予測モードを各色成分で個別にして画像データの符号化を行う場合には処理量が増加してしまう。また、量子化係数を複数回変更し符号化を行う場合には処理量が増加してしまう。本発明は、このような問題に鑑み、画像データの色成分毎の符号化に関し、処理量を増加させることなく良好な画質を得られるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る符号化装置は、複数の色成分から構成される画像データの色成分毎の特徴量に応じて各色成分の符号化順序を決定する符号化順決定手段と、前記符号化順決定手段により決定された符号化順序に従って、前記画像データを色成分毎に符号化を行う符号化手段とを有し、前記符号化手段は、先に符号化が行われた色成分の符号化結果を用いて、後に行われる他の色成分の符号化を行うことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、先に符号化が行われた色成分の符号化結果を用いて、後に行われる他の色成分の符号化を行うことで、処理量を増加させることなく良好な画質を得ることが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態における符号化装置の構成例を示す図である。
【図２】第１の実施形態における符号化回路の構成例を示す図である。
【図３】符号化回路の処理遅延量を示す図である。
【図４】動きベクトル探索における探索範囲の例を示す図である。
【図５】第１の実施形態における動きベクトル探索の探索範囲を決定する処理の例を示すフローチャートである。
【図６】第２の実施形態における符号化回路の構成例を示す図である。
【図７】第２の実施形態における量子化制御の例を示すフローチャートである。
【図８】第３の実施形態における符号化回路の構成例を示す図である。
【図９】マクロブロック位置と積算符号量との関係の例を示す図である。
【図１０】第３の実施形態における符号化難易度を決定する処理の例を示すフローチャートである。
【図１１】ブロック難易度メモリに記憶される符号化難易度を示す図である。
【図１２】第３の実施形態における符号量配分及び発生符号量の例を示す図である。
【図１３】第４の実施形態における符号化難易度を決定する処理の例を示すフローチャートである。
【図１４】本実施形態における符号化装置を実現可能なコンピュータ機能を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を図面に基づいて説明する。
【００１０】
（第１の実施形態）
本発明の第１の実施形態について説明する。
図１は、本実施形態における符号化装置１００の構成例を示すブロック図である。符号化装置１００は、撮像部１０１、符号化順決定回路１０２、符号化回路１０３、１０４、１０５、ストリーム多重化回路１０６、及び記録回路１０７を有する。
【００１１】
撮像部１０１は、レンズやＣＣＤ等のカメラ部を含み、被写体像を撮影して得られる動画像データを出力する。本実施形態において撮影で得られる動画像データは、複数の色成分から構成される動画像データである。本実施形態では、一例としてＲ（赤）、Ｇ（緑）、及びＢ（青）の色成分から構成される４：４：４フォーマットの動画像データとするが、これに限定されるものではない。
【００１２】
符号化順決定回路１０２は、複数の色成分から構成される動画像データから色成分毎に特徴量を算出して、算出した特徴量を基に色成分の符号化順序を決定する。本実施形態では、符号化順決定回路１０２は、撮像部１０１より入力されるＲＧＢの動画像データからＲ、Ｇ、及びＢの色成分毎に分散値を算出して、分散値の小さい順に符号化を行うように色成分の符号化順を決定する。
【００１３】
符号化回路１０３、１０４、１０５は、符号化順決定回路１０２で決定した符号化順序に従って、複数の色成分から構成される動画像データを色成分毎にそれぞれ独立して符号化する。本実施形態では、４：４：４フォーマットのＲＧＢの動画像データにおけるＲプレーン、Ｇプレーン、及びＢプレーンを別々に３つの符号化回路１０３、１０４、１０５において並列に符号化する。
【００１４】
本実施形態においては、符号化順決定回路１０２が色成分の符号化順を決定し、決定した符号化順で符号化回路１０３、１０４、１０５が動画像データを色成分毎に独立して符号化する。これは、先に符号化が行われた色成分の符号化結果（符号化情報）を、後に行われる他の色成分（未符号化の色成分）の符号化時に用いることができるようフィードフォワードするためである。フィードフォワードする符号化結果（符号化情報）は、同一時刻の画像の情報であるため、各色成分の符号化において相関が高く、符号化における処理を効率よく行うことが可能となる。
【００１５】
ストリーム多重化回路１０６は、３つの符号化回路１０３、１０４、１０５より出力されたストリームを多重化する。記録回路１０７は、多重化されたストリームを記録媒体１０８に記録する。記録媒体１０８は、例えば符号化装置１００に装着可能に構成されている。
【００１６】
図２は、第１の実施形態における符号化回路１０３、１０４、１０５の構成例を示すブロック図である。図２に示すように符号化回路１０３、１０４、１０５の各々は、動画像データを入力する画像入力部２０１と、フレームメモリ２０２とを有する。また、ピクチャ間の差分より動きベクトルを探索するインター予測回路２０３と、インター予測とイントラ予測とのどちらかの予測方法を選択する予測方法選択回路２０４と、イントラ予測方法を選択するイントラ予測回路２０５とを有する。
【００１７】
また、予測画像生成回路２０６と、減算器２０７と、整数変換回路２０８と、量子化回路２０９と、逆量子化回路２１０と、逆整数変換回路２１１と、加算器２１２と、ループ内フィルタ２１３とを有する。さらに、エントロピー符号化回路２１５と、量子化制御回路２１６と、符号量制御回路２１７と、画素差分値評価回路２１８と、ストリーム出力回路２１９とを有する。また、フレームメモリ２０２は、インター予測に用いる参照画像を記憶する参照画像メモリ２１４を有する。
【００１８】
動画像データは、第１フレーム、第２フレーム、第３フレーム、・・・の順で、画像入力部２０１よりフレームメモリ２０２に順次格納される。フレームメモリ２０２からは、例えば、第３フレーム、第１フレーム、第２フレーム、・・・と、符号化を行う順序（符号化順）にフレーム単位で動画像データは読み出されていく。読み出されたフレーム（画像データ）は、符号化方法に従って、Ｉピクチャ、Ｐピクチャ、又はＢピクチャと呼ばれる。
【００１９】
符号化方法には、フレーム内の画像データのみで符号化するイントラ符号化と、フレーム間での予測も含めて符号化するインター符号化とがある。インター符号化を行うピクチャは、動き補償の単位（ＭＣブロックと称す）に対して１枚の参照フレームとの間で動き予測を行うＰピクチャと、ＭＣブロックに対して２枚までの参照フレームとの間で動き予測を行うＢピクチャとがある。一方、イントラ符号化を行うピクチャは、Ｉピクチャである。なお、符号化するフレームの順番が入力されたフレームの順番と異なるのは、過去のフレームだけではなく、時間的に未来のフレームとの予測（後方予測）を可能にするためである。
【００２０】
イントラ符号化を行う場合、最大符号化単位となる符号化対象ブロックの画像データがフレームメモリ２０２から読み出されて、イントラ予測回路２０５へ入力される。また、読み出された符号化対象ブロックに隣接する画素のデータもフレームメモリ２０２から読み出されて、イントラ予測回路２０５へ入力される。
【００２１】
イントラ予測回路２０５は、符号化対象ブロックと、その符号化対象ブロックに隣接する画素のデータから生成される複数のイントラ予測画像データのそれぞれとのブロックマッチングを行う。そして、最も相関の高いイントラ予測画像データを選択して予測方法選択回路２０４へ出力する。
【００２２】
イントラ符号化を行うフレームの場合、予測方法選択回路２０４は、常にイントラ予測を選択し、予測画像生成回路２０６へ選択結果を通知する。予測画像生成回路２０６は、予測方法選択回路２０４が選択した予測方法に従って、後述する加算器２１２から出力される再構成画像データからイントラ予測画像データを生成する。
【００２３】
減算器２０７は、前述のイントラ予測画像データとフレームメモリ２０２から読み出される符号化対象ブロックの画像データとが入力され、符号化対象ブロックの画像とイントラ予測画像との画素値の差分画像データを整数変換回路２０８へ出力する。整数変換回路２０８は、入力された画素値の差分画像データに整数変換を施す。
【００２４】
量子化回路２０９は、整数変換回路２０８により整数変換された信号に対して量子化処理を行い、量子化された変換係数をエントロピー符号化回路２１５及び逆量子化回路２１０へ出力する。量子化回路２０９における量子化係数は、初期量子化係数又は前ブロックで用いた量子化係数、及びエントロピー符号化回路２１５で発生した符号量や、符号量制御回路２１７から設定される目標符号量などから量子化制御回路２１６が算出する。
【００２５】
一方、インター符号化を行うフレームの場合、符号化対象ブロックの画像データがフレームメモリ２０２より読み出されて、インター予測回路２０３に入力される。インター予測回路２０３は、参照画像データを参照画像メモリ２１４から読み出し、符号化対象の画像データと参照画像データとのブロックマッチングを行い、差分値が最小となる動きベクトルを決定して予測方法選択回路２０４へ通知する。
【００２６】
なお、フレームによっては、符号化対象ブロックごとにインター予測かイントラ予測かを選択することができる。この場合も、イントラ予測回路２０５は前述のように動作し、イントラ予測の結果を予測方法選択回路２０４へ通知する。予測方法選択回路２０４は、インター予測回路２０３の結果とイントラ予測回路２０５の結果とを入力し、例えば、差分値が小さい方の予測方法を選択して予測画像生成回路２０６へ通知する。減算器２０７では、符号化対象の画像と予測画像との画素値の差分を計算し、差分画像データが生成される。差分画像データは整数変換回路２０８に出力され、その後の処理は前述したイントラ符号化の場合と同様である。
【００２７】
画素差分値評価回路２１８は、画素値の差分絶対値の総和により動き探索の評価を行い、画素値の差分絶対値の総和が所定の値以上となった場合には動きベクトルの符号化効果が低いと判定する。エントロピー符号化回路２１５は、量子化回路２０９により量子化された変換係数をエントロピー符号化し、ストリームとしてストリーム出力回路２１９に出力する。ストリーム出力回路２１９は、エントロピー符号化回路２１５から出力されたストリームをストリーム多重化回路１０６に出力する。
【００２８】
逆量子化回路２１０は、量子化回路２０９により量子化された変換係数を逆量子化し、逆整数変換回路２１１は、逆量子化された信号に対して逆整数変換処理を施す。加算器２１２には、逆整数変換されたデータと、予測画像生成回路２０６により生成されたイントラ予測画像データとが入力されて加算される。加算後のデータは復号された再構成画像データとなり、前述した予測画像生成回路２０６に入力されてイントラ予測画像データの生成に用いられる。また、再構成画像データは、ループ内フィルタ２１３によって符号化歪の軽減処理が施され、インター符号化の際に用いる参照画像データとして参照画像メモリ２１４に記憶される。
【００２９】
図１に戻り、本実施形態における動作を説明する。
撮影で得られた動画像データは、符号化順決定回路１０２によって決定した順に符号化を行う。例えば、１番目に符号化回路１０３が符号化を行い、２番目に符号化回路１０４が符号化を行い、３番目に符号化回路１０５が符号化を行うとする。
【００３０】
本実施形態では、符号化回路１０３と符号化回路１０４、及び符号化回路１０４と符号化回路１０５では、図３に一例を示すように、符号化の最小単位である１マクロブロック分の処理時間を遅延させて動作させる。図３は、各符号化回路の処理遅延量を示す図である。図３に示すようにマクロブロック分の処理遅延を行い、各符号化回路が並列に符号化を行う。このように、符号化回路１０３、１０４、１０５での処理開始に遅延を持たせることにより、遅く開始した符号化において、先に符号化が行われた同位置の符号化情報を用いて符号化を行うことができる。
【００３１】
以下の説明では、符号化回路１０３、１０４、１０５が符号化を行う順番は、前述のように符号化回路１０３、１０４、１０５の順とし、符号化回路１０３から符号化回路１０４へ符号化情報をフィードフォワードする部分を説明する。
【００３２】
各符号化回路１０３、１０４、１０５のインター予測回路２０３は、前述したように符号化対象ブロックの画像データと参照画像データとのブロックマッチングを行うが、参照画像の全範囲をブロックマッチング処理するには処理量が膨大となる。このため、予め探索範囲を決定し、その探索範囲内でのブロックマッチング処理を行い、動きベクトル探索を行う。探索範囲を決定する方法は、縮小画像による簡易ブロックマッチングであったり、周辺ベクトルからの予測位置周辺であったり、符号化対象ブロック位置周辺であったりと複数の候補がある。その探索範囲の１つもしくは複数を選択する。本実施形態では、探索範囲を１つとして説明する。
【００３３】
図４は、動きベクトル探索における探索範囲の例を示す図である。図４では、参照画像内のうち、探索範囲１（Ｓｗ１）を選択し、その探索範囲においてブロックマッチング処理により動きベクトル探索を行う。例えば、位置Ａで符号化対象の画像データと参照画像データとの差分絶対値の総和が最小となり動きベクトルが決定する。
【００３４】
図１に示した符号化装置１００における１番目の符号化を行う符号化回路１０３で動きベクトルが決定したとき、符号化回路１０３内の画素差分値評価回路２１８によって動きベクトルの評価が行われる。符号化回路１０３内の画素差分値評価回路２１８によって行われた動きベクトルの評価結果により、符号化回路１０４内のインター予測回路２０３で動きベクトル探索を行う探索範囲が決定される。
【００３５】
図５は、第１の実施形態における符号化情報のフィードフォワードによる動きベクトル探索の探索範囲を決定する処理の例を示すフローチャートである。符号化回路１０３内の画素差分値評価回路２１８で行われた評価により、符号化回路１０４内のインター予測回路２０３が動きベクトル探索を行う探索範囲を決定する場合を例に説明する。
【００３６】
動きベクトル探索で選択された位置（探索範囲１）での画素値の差分絶対値の総和が第１の閾値（Ｔｈｒ０１）より小さいか否かを判定する（Ｓ５０１）。画素値の差分絶対値の総和が第１の閾値より小さい場合、動きベクトルが正解であるとし、次に同位置の別の色成分の符号化を行う符号化回路１０４でも、探索範囲１（Ｓｗ１）と同じ範囲を動きベクトル探索するよう決定する（Ｓ５０２）。
【００３７】
一方、画素値の差分絶対値の総和が第１の閾値以上である場合、動きベクトルが正しくないとする。そして、次に同位置の別の色成分の符号化を行う符号化回路１０４では、図４に一例を示すように、探索範囲１（Ｓｗ１）とは別の範囲である探索範囲２（Ｓｗ２）を動きベクトル探索するように決定する（Ｓ５０３）。なお、符号化回路１０４から符号化回路１０５への符号化情報のフィードフォワードにより動きベクトル探索の探索範囲を決定する場合も同様である。
【００３８】
以上のように、先に符号化が行われた色成分の符号化結果（符号化情報）を参照して、これから符号化を行う色成分の動きベクトル探索の探索範囲を決定することで、ピクチャの動きベクトル探索に効果的な探索範囲を決定することができる。このように第１の実施形態によれば、相関の高い同一時刻の色成分の符号化結果をフィードフォワード情報として用いて未符号化の色成分の符号化を行うことにより、動きベクトル探索を効率よく行え、処理量を増加させずに良好な画質を得ることが可能となる。
【００３９】
前述した説明では、分散値の大きさに応じて符号化を行う順序を決定するようにしているが、代表色である緑（Ｇ）の色成分の符号化を最も信頼のできる３番目の符号化回路で行うようにしても良い。また、前ピクチャの符号化結果でピークＳ／Ｎ比（ＰＳＮＲ：Peak Signal-to-Noise Ratio）が高かった色成分が動きによる差分が少ないと判断し、その順で各色成分の符号化を行うようにしても良い。
【００４０】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第２の実施形態における符号化装置の全体構成は、図１に示した第１の実施形態と同様であるので、その説明は省略する。
【００４１】
図６は、第２の実施形態における符号化回路１０３、１０４、１０５の構成例を示すブロック図である。図６において、図２に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。符号量誤差評価回路６０１は、目標符号量と発生符号量とから符号量誤差を算出し、算出された符号量誤差に基づいて符号化効率を評価する。
【００４２】
以下、第２の実施形態での符号化に係る制御動作において、第１の実施形態と異なる点について説明する。以下の説明では、符号化回路１０３、１０４、１０５が符号化を行う順番は、符号化回路１０３、符号化回路１０４、符号化回路１０５の順とし、符号化回路１０３から符号化回路１０４へ符号化情報をフィードフォワードする部分を説明する。
【００４３】
図７は、第２の実施形態における符号化情報のフィードフォワードによる量子化制御の例を示すフローチャートである。符号化回路１０３内の符号量誤差評価回路６０１で行われた評価により、符号化回路１０４での符号化における量子化係数を決定する場合を例に説明する。
【００４４】
まず、符号化回路１０３の符号量誤差評価回路６０１は、符号量制御回路２１７より現在、符号化の対象となっているマクロブロックの目標符号量と符号化による発生符号量とから符号量誤差を算出する。
符号量誤差＝目標符号量−発生符号量
【００４５】
そして、符号化回路１０３内で算出された符号量誤差が第２の閾値（Ｔｈｒ０２）より小さいか否かを判定する（Ｓ７０１）。符号量誤差が第２の閾値より小さい場合、目標符号量よりも符号化効率が良いと判断し、符号化回路１０４における同位置の符号化では量子化制御回路２１６で算出された量子化係数より１つ小さくするよう決定する（Ｓ７０３）。
【００４６】
一方、符号量誤差が第２の閾値より小さくない場合、符号量誤差が第３の閾値（Ｔｈｒ０３）より大きいか否かを判定する（Ｓ７０２）。符号量誤差が第３の閾値より大きい場合、目標符号量よりも符号化効率が低いと判断し、符号化回路１０４における同位置の符号化では量子化制御回路２１６で算出された量子化係数より１つ大きくするよう決定する（Ｓ７０５）。なお、符号量誤差が第３の閾値より大きくない場合、適した量子化係数で符号化を行ったと判断し、符号化回路１０４における同位置の符号化では量子化制御回路２１６で算出された量子化係数を用いると決定する（Ｓ７０４）。なお、符号化回路１０４から符号化回路１０５への符号化情報のフィードフォワードにより量子化制御を行う場合も同様である。
【００４７】
以上のように、先に符号化が行われた色成分の符号化結果（符号化情報）を参照して、これから符号化を行う色成分の量子化係数を制御することで、適切な量子化係数を決定することができる。このように、第２の実施形態によれば、相関の高い同一時刻の色成分の符号化結果をフィードフォワード情報として用いて未符号化の色成分の符号化を行うことにより、量子化係数の制御を効率よく行え、良好な画質を得ることができる。
【００４８】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
動画像符号化装置では、符号化におけるマクロブロック単位毎の量子化係数を大きく振幅させると量子化歪による画質劣化が発生してしまう。この量子化歪による画質劣化を抑制するためには、画像内の符号化難易度を測定し、量子化係数を大きく振幅させないことが重要である。そこで、第３の実施形態では、量子化係数を大きく振幅させないために、画像内の符号化難易度を測り、その難易度情報を用いて符号化を行う。
【００４９】
第３の実施形態における符号化装置の全体構成は、図１に示した第１の実施形態と同様であるので、その説明は省略する。図８は、第３の実施形態における符号化回路１０３、１０４、１０５の構成例を示すブロック図である。図８において、図２に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。ブロック難易度メモリ８０１は、符号化難易度（難易度情報）を記憶するメモリである。ブロック難易度メモリ８０１には、符号化順決定回路１０２でブロック毎に算出された分散値又はエントロピー符号化回路２１５による符号化結果が符号化難易度（難易度情報）として記憶される。
【００５０】
また、本実施形態では、量子化回路２０９における量子化係数は、初期量子化係数又は前ブロックでの量子化係数、発生符号量や、目標符号量、及びブロック難易度メモリ８０１の難易度情報などから量子化制御回路２１６が算出する。
【００５１】
ここで、各マクロブロックに同じ符号量を割り当てた場合、マクロブロック位置と積算符号量との関係は、図９（Ａ）に示すグラフのようになる。このような関係は、画像が一様の符号化難易度である場合、もしくは量子化制御により発生符号量を同じにできる場合には可能である。しかしながら、符号量を同じくするために量子化係数を大きく振幅させると画質劣化を起こすこととなる。したがって、画像内での符号化難易度の差が少ない場合にのみ各マクロブロックに同じ符号量を割り当てることができ、画像内で符号化難易度が異なる場合、各マクロブロックに同じ符号量を割り当てることは画質劣化を発生させてしまう。
【００５２】
それに対して、各マクロブロックを同じ量子化係数で符号化した場合、マクロブロック位置と積算符号量との関係は、図９（Ｂ）に示すグラフのようになる。このとき、マクロブロックによって発生符号量は異なるが、量子化係数が一定であるので画質劣化は抑制される。
【００５３】
以下、第２の実施形態における動作において説明する。なお、符号化回路における符号化に係る基本的な動作は前述した実施形態と同様である。以下では、本実施形態における先に符号化が行われた色成分の符号化結果（符号化情報）を用いた未符号化の色成分の符号化における量子化制御について説明する。なお、画像データの各色成分を別々に符号化するとき、符号化された色成分の符号化結果を用いて符号化を行うが、符号化結果がない場合には、以下に示す例のように他の情報を用いることも可能である。
【００５４】
図１０は、ブロック難易度メモリ８０１に記憶する符号化難易度を決定する処理の例を示すフローチャートである。最初に、同一時刻の画像での最初の符号化ピクチャであるか否かを判定する（Ｓ１００１）。判定の結果、最初の符号化ピクチャである場合、ブロック難易度メモリ８０１に記憶する符号化難易度を分散値と決定する（Ｓ１００２）。一方、最初の符号化ピクチャでない場合、ブロック難易度メモリ８０１に記憶する符号化難易度を先に符号化が行われた色成分の符号化情報とする（Ｓ１００３）。
【００５５】
図１１は、ブロック難易度メモリ８０１に記憶される符号化難易度を示す図である。このブロックはマクロブロック又は複数マクロブロック単位でも良い。符号化が行われた色成分の符号化情報を符号化難易度とする場合、符号化難易度Ｘは、ブロック平均の量子化
係数ＡＱとブロック合計の発生符号量ΣＳｂとを用いて、
Ｘ＝ＡＱ×ΣＳｂ
と表される。ただし、ブロックがマクロブロックである場合、ＡＱは量子化係数であり、ΣＳｂはマクロブロックでの発生符号量Ｓｂとなる。
【００５６】
本実施形態では、この符号化難易度を用いて量子化制御を行う。
まず、量子化制御回路２１６は、ブロック難易度メモリ８０１に記憶されている符号化難易度に基づいて、
Ｄ＝Ｘ／（ΣＸ／ブロック数）×β
より求められるブロック難易度係数Ｄを用いて、マクロブロックの目標符号量Ｔｂを以下のように算出する。
Ｔｂ＝（Ｔｐ−Ｓｐ)×Ｄ／Ｎｂ
ただし、Ｔｐはピクチャの目標符号量であり、Ｓｐは積算符号量であり、Ｎｂは未符号化マクロブロック数である。
【００５７】
さらに、量子化制御回路２１６は、マクロブロックの目標符号量Ｔｂとマクロブロックの発生符号量Ｓｂとの差分であるマクロブロックの符号量誤差ｅｒｒを以下のように算出する。
ｅｒｒ＝Ｔｂ−Ｓｂ
そして、量子化制御回路２１６は、量子化係数Ｑｐを
Ｑｐ＝Ｑ＋Σｅｒｒ×α
として求める。なお、αは任意の値である。
【００５８】
このようにして求められた量子化係数Ｑｐで量子化回路２０９は、整数変換回路２０８により整数変換された信号に対して量子化処理を行う。このような量子化制御を行うことにより、同一時刻の画像であり符号化における相関も高いため、符号化した色成分の符号化結果（発生符号量）を用いて未符号化の色成分の符号化へのフィードフォワードを行い、量子化係数の変動を抑制し、画質劣化を抑制する。
【００５９】
また、分散値は発生符号量と相関が高く、同じ量子化係数で符号化した場合、分散値と発生符号量とが比例することが多い。発生符号量の小さい方が目標符号量に対する発生符号量の差である符号量誤差が小さくなる。前述した量子化係数Ｑｐを決定する式からも分かるように、符号量誤差が小さければ、量子化係数の振幅は大きくなく画質劣化が発生しづらい。ただし、分散値は画像間及び画像内予測による符号量効率までは反映できないため、同一時刻の画像の符号化により得られた符号化結果の方がより量子化制御には適している。
【００６０】
図１２（Ａ）は、本実施形態による量子化制御を適用し、最初に符号化した符号量配分及び発生符号量の例を示すグラフである。分散値が小さい色成分であるため、一様の符号量もしくは分散値を用いたブロック目標符号量でも誤差が小さく量子化係数の変化も小さい。また、図１２（Ｂ）は、本実施形態による量子化制御を適用し、２番目に符号化した符号量配分及び発生符号量の例を示すグラフである。符号化が行われた色成分の符号化情報を符号化難易度として用いて符号化を行うため、量子化係数の変化も小さい。また、図１２（Ｃ）は、本実施形態による量子化制御を適用し、３番目に符号化した符号量配分及び発生符号量の例を示すグラフである。図１２（Ｂ）に示したものと同様、符号化が行われた色成分の符号化情報を符号化難易度として用いて符号化を行うため、量子化係数の変化も小さい。
【００６１】
第３の実施形態によれば、相関の高い同一時刻の色成分の符号化結果を用いて未符号化の色成分の符号化へのフィードフォワードを行うことにより、量子化係数の振幅が大きく変動することを抑制し、処理量を増加させずに良好な画質を得ることが可能となる。
【００６２】
（第４の実施形態）
次に、本発明の第４の実施形態について説明する。第４の実施形態における符号化装置の構成は、第３の実施形態と同様である。以下では、第４の実施形態における符号化装置の処理において、前述した第３の実施形態と異なる点についてのみ説明する。
【００６３】
図１３は、ブロック難易度メモリ８０１に記憶する符号化難易度を決定する処理の例を示すフローチャートである。最初に、符号化開始ピクチャであるか否かを判定する（Ｓ１３０１）。判定の結果、符号化開始ピクチャである場合、ブロック難易度メモリ８０１に記憶する符号化難易度を分散値と決定する（Ｓ１３０３）。
【００６４】
一方、符号化開始ピクチャでない場合、同一時刻の画像での最初の符号化ピクチャであるか否かを判定する（Ｓ１３０２）。判定の結果、最初の符号化ピクチャでない場合、ブロック難易度メモリ８０１に記憶する符号化難易度を先に符号化が行われた色成分の符号化情報とする（Ｓ１３０４）。一方、最初の符号化ピクチャである場合、ブロック難易度メモリ８０１に記憶する符号化難易度を前に符号化が行われたピクチャの符号化情報とする（Ｓ１３０５）。
【００６５】
このようにブロック難易度メモリ８０１に記憶する符号化難易度を決定し、その難易度を用いて符号化を行う。なお、ブロック難易度メモリ８０１に記憶された符号化難易度を用いた量子化制御は、前述した第３の実施形態と同様である。第４の実施形態によれば、第３の実施形態と同様に、量子化係数の振幅が大きく変動することを抑制し、処理量を増加させずに良好な画質を得ることが可能となる。
【００６６】
（本発明の他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００６７】
例えば、第１〜第４の実施形態に示した符号化装置は、図１４に示すようなコンピュータ機能１４００を有し、そのＣＰＵ１４０１により第１〜第４の実施形態での動作が実施される。コンピュータ機能１４００は、図１４に示すように、ＣＰＵ１４０１と、ＲＯＭ１４０２と、ＲＡＭ１４０３とを備える。また、操作部（ＣＯＮＳ）１４０９のコントローラ（ＣＯＮＳＣ）１４０５と、表示部としてのディスプレイ（ＤＩＳＰ）１４１０のディスプレイコントローラ（ＤＩＳＰＣ）１４０６とを備える。さらに、ハードディスク（ＨＤ）１４１１、及びフレキシブルディスク等の記憶デバイス（ＳＴＤ）１４１２のコントローラ（ＤＣＯＮＴ）１４０７と、ネットワークインタフェースカード（ＮＩＣ）１４０８とを備える。それら機能部１４０１、１４０２、１４０３、１４０５、１４０６、１４０７、１４０８は、システムバス１４０４を介して互いに通信可能に接続された構成としている。
【００６８】
ＣＰＵ１４０１は、ＲＯＭ１４０２又はＨＤ１４１１に記憶されたソフトウェア、又はＳＴＤ１４１２より供給されるソフトウェアを実行することで、システムバス１４０４に接続された各構成部を総括的に制御する。すなわち、ＣＰＵ１４０１は、前述したような動作を行うための処理プログラムを、ＲＯＭ１４０２、ＨＤ１４１１、又はＳＴＤ１４１２から読み出して実行することで、第１〜第４の実施形態での動作を実現するための制御を行う。ＲＡＭ１４０３は、ＣＰＵ１４０１の主メモリ又はワークエリア等として機能する。ＣＯＮＳＣ１４０５は、ＣＯＮＳ１４０９からの指示入力を制御する。ＤＩＳＰＣ１４０６は、ＤＩＳＰ１４１０の表示を制御する。ＤＣＯＮＴ１４０７は、ブートプログラム、種々のアプリケーション、ユーザファイル、ネットワーク管理プログラム、及び第１〜第４の実施形態における前記処理プログラム等を記憶するＨＤ１４１１及びＳＴＤ１４１２とのアクセスを制御する。ＮＩＣ１４０８はネットワーク１４１３上の他の装置と双方向にデータをやりとりする。
【００６９】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００７０】
１００：符号化装置  １０１：撮像部  １０２：符号化順決定回路  １０３、１０４、１０５：符号化回路  ２０１：画像入力部  ２０２：フレームメモリ  ２０３：インター予測回路  ２０４：予測方法選択回路  ２０５：イントラ予測回路  ２０６：予測画像生成回路  ２０７：減算器  ２０８：整数変換回路  ２０９：量子化回路  ２１５：エントロピー符号化回路  ２１６：量子化制御回路  ２１７：符号量制御回路  ２１８：画素差分値評価回路  ６０１：符号量誤差評価回路  ８０１：ブロック難易度メモリ
【図１】
2017005634.tif 000003
【図２】
2017005634.tif 000004
【図３】
2017005634.tif 000005
【図４】
2017005634.tif 000006
【図５】
2017005634.tif 000007
【図６】
2017005634.tif 000008
【図７】
2017005634.tif 000009
【図８】
2017005634.tif 000010
【図９】
2017005634.tif 000011
【図１０】
2017005634.tif 000012
【図１１】
2017005634.tif 000013
【図１２】
2017005634.tif 000014
【図１３】
2017005634.tif 000015
【図１４】
2017005634.tif 000016