(57)【要約】  装置全体の処理量を減らすとともに、安定した画質を実現するために、量子化制御パラメータを目標符号量に基づいて生成する量子化パラメータ制御手段と、量子化制御パラメータと変換係数とを用いて量子化係数を生成する量子化手段と、量子化手段によって生成される量子化係数が格納される量子化係数メモリと、符号化対象画像全体を量子化した量子化係数を用いて符号量モデルを構築する符号量モデル構築手段と、目標符号量と符号量モデルとに基づいて、量子化係数を打ち切るための打ち切りパラメータを決定する打ち切り制御手段と、打ち切りパラメータに従って量子化係数を打ち切る係数打ち切り手段とを有する量子化係数設定手段を備える符号化装置とする。
2018079444.tif 000002
【特許請求の範囲】
【請求項１】
符号化対象画像を構成する処理対象ブロックごとの目標符号量を入力とし、前記符号化対象画像全体の量子化係数を決定するための量子化制御パラメータを前記目標符号量に基づいて生成する量子化パラメータ制御手段と、
前記符号化対象画像に基づいて生成される変換係数を入力とするとともに、前記量子化パラメータ制御手段から前記量子化制御パラメータを入力とし、前記量子化制御パラメータと前記変換係数とを用いて量子化処理を行なうことによって前記量子化係数を生成する量子化手段と、
前記量子化手段によって生成される前記量子化係数が格納される量子化係数メモリと、
前記量子化係数メモリに格納された前記量子化係数を取得し、前記符号化対象画像全体を量子化した前記量子化係数を用いて符号量モデルを構築する符号量モデル構築手段と、
前記符号量モデル構築手段から前記符号量モデルを入力するとともに、前記目標符号量を入力とし、前記目標符号量と前記符号量モデルとに基づいて、前記量子化係数を打ち切るための打ち切りパラメータを決定する打ち切り制御手段と、
前記打ち切り制御手段から前記打ち切りパラメータを入力するとともに、前記量子化係数メモリに格納された前記量子化係数を取得し、前記打ち切りパラメータに従って前記量子化係数を打ち切る係数打ち切り手段とを有する量子化係数設定手段を備える符号化装置。
【請求項２】
前記符号化対象画像を符号化する際に用いる符号化済み画像が格納されるフレームバッファと、
前記符号化対象画像を入力とし、前記符号化対象画像に対応する前記符号化済み画像を前記フレームバッファから取得し、前記符号化対象画像と前記符号化済み画像とを用いて予測処理を行なうことによって予測画像を生成する予測手段と、
前記符号化対象画像を入力とし、前記符号化対象画像に対応する前記予測画像を前記予測手段から取得し、前記符号化対象画像から前記予測画像を減算して生成した予測誤差画像に直交変換処理を行って前記変換係数を生成する減算・変換手段と、
前記量子化係数設定手段から前記量子化係数を入力とし、前記量子化係数を逆量子化する逆量子化手段と、
前記逆量子化手段から逆量子化された前記量子化係数を入力とするとともに、前記予測手段から前記予測画像を入力とし、逆量子化された前記量子化係数と前記予測画像との加算を行って再構築画像を生成する逆変換・加算手段と、
前記逆変換・加算手段によって生成された前記再構築画像を入力とし、前記再構築画像にフィルタ処理を行い、フィルタ処理された前記再構築画像を前記フレームバッファに格納するフィルタと、
前記量子化係数設定手段から前記量子化係数を入力とし、前記量子化係数をエントロピー符号化した結果のビットストリームを出力する符号化手段とを備え、
前記量子化係数設定手段は、
前記減算・変換手段から前記変換係数を入力とするとともに、前記処理対象ブロックごとの前記目標符号量を入力とし、前記目標符号量に基づいて前記量子化制御パラメータを決定し、決定した前記量子化制御パラメータと前記変換係数とを用いて前記量子化係数を生成する請求項１に記載の符号化装置。
【請求項３】
前記量子化係数設定手段は、
前記量子化手段から前記量子化係数を入力とし、前記量子化係数を分析して前記処理対象ブロックにおいて量子化後に非ゼロとなる前記量子化係数が存在するかどうかを検証し、非ゼロとなる前記量子化係数が存在するかどうかに関する非ゼロ量子化係数有無情報を前記量子化係数に対応付けて前記量子化係数メモリに格納する量子化係数分析手段を有し、
前記係数打ち切り手段は、
前記処理対象ブロックに前記非ゼロ量子化係数有無情報がない場合には前記量子化係数を打ち切らず、
前記処理対象ブロックに前記非ゼロ量子化係数有無情報がある場合には前記量子化係数を打ち切る請求項２に記載の符号化装置。
【請求項４】
前記量子化係数分析手段は、
いずれかの前記処理対象ブロック内に非ゼロとなる前記量子化係数が存在する場合には、前記処理対象ブロックにおける非ゼロとなる前記量子化係数の分布状況を示す係数分布情報を生成し、
前記係数打ち切り手段は、
前記打ち切りパラメータと前記係数分布情報とを用いた判定結果に基づいて、
前記処理対象ブロックを構成する少なくともいずれかの対象サブブロックに非ゼロとなる前記量子化係数がない場合には前記量子化係数を打ち切らず、
少なくともいずれかの前記対象サブブロックに非ゼロとなる前記量子化係数がある場合には前記量子化係数を打ち切る請求項３に記載の符号化装置。
【請求項５】
前記量子化パラメータ制御手段は、
決定した前記量子化制御パラメータで決まる量子化ステップ幅を所定の比率だけ小さくするように前記量子化制御パラメータを修正する請求項３または４に記載の符号化装置。
【請求項６】
前記打ち切り制御手段は、
前記処理対象ブロックごとの前記量子化制御パラメータが異なる場合に、前記処理対象ブロックごとに異なる前記打ち切りパラメータを設定する請求項３乃至５のいずれか一項に記載の符号化装置。
【請求項７】
前記量子化係数設定手段は、
前記係数打ち切り手段によって係数が打ち切られた前記量子化係数を格納させる追加量子化係数メモリを有する請求項３乃至６のいずれか一項に記載の符号化装置。
【請求項８】
前記減算・変換手段、前記量子化手段および前記係数打ち切り手段のうち少なくともいずれかは、複数の前記処理対象ブロックに対する処理を並列で実行する請求項２乃至７のいずれか一項に記載の符号化装置。
【請求項９】
符号化対象画像を構成する処理対象ブロックごとの目標符号量を入力し、
前記符号化対象画像全体の量子化係数を決定するための量子化制御パラメータを前記目標符号量に基づいて生成し、
前記符号化対象画像に基づいて生成される変換係数を入力し、
前記量子化制御パラメータと前記変換係数とを用いて量子化処理を行なうことによって前記量子化係数を生成し、
生成した前記量子化係数を量子化係数メモリに格納し、
前記量子化係数メモリに格納された前記符号化対象画像全体を量子化した前記量子化係数を用いて符号量モデルを構築し、
前記目標符号量と前記符号量モデルとに基づいて、前記量子化係数を打ち切るための打ち切りパラメータを決定し、
前記量子化係数メモリに格納された前記量子化係数を前記打ち切りパラメータに従って打ち切る符号化方法。
【請求項１０】
符号化対象画像を構成する処理対象ブロックごとの目標符号量を入力する処理と、
前記符号化対象画像全体の量子化係数を決定するための量子化制御パラメータを前記目標符号量に基づいて生成する処理と、
前記符号化対象画像に基づいて生成される変換係数を入力する処理と、
前記量子化制御パラメータと前記変換係数とを用いて量子化処理を行なうことによって前記量子化係数を生成する処理と、
生成した前記量子化係数を量子化係数メモリに格納する処理と、
前記量子化係数メモリに格納された前記符号化対象画像全体を量子化した前記量子化係数を用いて符号量モデルを構築する処理と、
前記目標符号量と前記符号量モデルとに基づいて、前記量子化係数を打ち切るための打ち切りパラメータを決定する処理と、
前記量子化係数メモリに格納された前記量子化係数を前記打ち切りパラメータに従って打ち切る処理とをコンピュータに実行させるプログラムを記録するプログラム記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を符号化する符号化装置、符号化方法およびプログラムに関する。特に、符号化対象画像を複数の画像ブロックに分割し、画像ブロック単位で処理を行なう符号化装置、符号化方法およびプログラムに関する。
【背景技術】
【０００２】
動画像の圧縮符号化技術は、デジタル放送や、光学ディスクによる映像コンテンツ頒布、インターネット等を経由した映像配信など幅広い用途に利用されている。動画像信号を低ビットレート、高圧縮率かつ高画質で符号化したり、符号化された動画像を復号化したりする技術は、国際的な標準化団体によって国際標準規格が策定されている。代表的な標準化団体としては、国際電気通信連合や国際標準化機構、米国映画テレビ技術者協会などが挙げられる。【０００３】
国際電気通信連合（ＩＴＵ：International Telecommunication Union）の規格には、Ｈ．２６１やＨ．２６３がある。国際標準化機構（ＩＳＯ：International Organization for Standardization）の規格には、ＭＰＥＧ−１やＭＰＥＧ−２、ＭＰＥＧ−４などがある（ＭＰＥＧ：Moving Picture Experts Group）。米国映画テレビ技術者協会（ＳＭＰＴＥ：Society of Motion Picture and Television Engineers）の規格には、ＶＣ−１などがある。【０００４】
Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ（Advanced Video Coding）は、ＩＴＵとＩＳＯとが共同で規格化を行なったものである（非特許文献１）。２０１３年には、Ｈ．２６５／ＭＰＥＧ−Ｈ  ＨＥＶＣ（High Efficiency Video Coding）が標準化された（非特許文献２）。これ以降、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣをＨ．２６４と記載し、Ｈ．２６５／ＭＰＥＧ−Ｈ  ＨＥＶＣをＨ．２６５と記載する。Ｈ．２６５は、Ｈ．２６４と同等の映像品質でデータサイズを半分程度に圧縮可能である。【０００５】
上述の動画像符号化技術は、動き補償予測や、予測誤差画像の直交変換、直交変換係数の量子化、量子化した直交変換係数のエントロピー符号化といった複数の要素技術を組み合わせて構成されているため、ハイブリッド符号化と呼ばれている。具体的なエントロピー符号化の方法は、例えば、非特許文献３や非特許文献４に開示されている。【０００６】
上述の動画像符号化技術では、空間方向における画像の相関性を使用したフレーム内予測や、時間軸方向における画像の相関性を使用したフレーム間予測を行なうことによって高い圧縮効率を達成している。一般的なフレーム間予測においては、時間的に近接する画像間での被写体や背景等の動き、位置ずれを補正して予測画像を生成する動き補償が利用される。【０００７】
また、一般的な動画像符号化装置では、出力される符号量を所定のビットレート以下に抑えつつ、高い画質を実現するレート制御処理が行われる。【０００８】
レート制御の技術の一例として、ＭＰＥＧ−２ Ｔｅｓｔ Ｍｏｄｅｌ ５方式（以下、ＴＭ−５方式）が挙げられる。ＴＭ−５方式は、複数の制御の組合せで構成される。一つは、Ｉ／Ｐ／Ｂといったフレーム符号化タイプによって異なる複雑度推定に基づいたフレーム単位の符号量割り当て制御である。一つは、フレーム内でのマクロブロック（ＭＢ：Macroblock）単位での量子化パラメータ(ＱＰ:Quantization Parameter)制御である。一つは、主観画質を改善する適応量子化制御である。このうち、ＭＢ単位の制御では、符号化済みＭＢで実際に発生した符号量と目標符号量との関係に基づいて各ＭＢのＱＰをフィードバック制御する。【０００９】
また、特許文献１には、レート制御として係数打ち切り制御を行う画像符号化装置が開示されている。特許文献１の装置は、符号量の予測値や別途設定されたフレームや画像ブロックごとの目標符号量に基づいて打ち切りパラメータを決定する。そして、特許文献１の装置は、決定した打ち切りパラメータに従って量子化係数の一部を０で置換し（打ち切り）、量子化係数の分布状況などから発生符号量を予測する。【００１０】
ＴＭ−５方式や特許文献１の方式では、ブロック単位で実際に出力した符号量をフィードバックしてフレーム全体の発生符号量を制御するため、目標符号量への制御を精密に行うことができる。【００１１】
また、非特許文献５および特許文献２には、Ｒ−ρモデルと呼ばれるモデルに基づいたレート制御方式が開示されている（Ｒ：ビットレート、ρ：量子化後にゼロになる変換係数の比率）。Ｒ−ρモデルを利用した方式では、フレーム全体の変換係数の発生状況に鑑みて適切なＱＰを設定するため、フレーム内で安定した画質を達成できる。【００１２】
また、特許文献３には、入力データの符号化効率を評価し、評価結果に応じたデータ処理を行なうデータ処理装置が開示されている。特許文献３の装置は。入力された画像データに対して周波数変換を施して変換係数を生成する。そして、特許文献３の装置は、生成された変換係数に基づいて符号量を評価し、その評価結果に応じて量子化処理を行い、量子化が行われた変換係数をハフマン符号で符号化する。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２０１０−０８７７７１号公報
【特許文献２】特表２０１３−５３２４３９号公報
【特許文献３】特開２０１１−１４２６６０号公報
【非特許文献】
【００１４】
【非特許文献１】ITU-T Recommendation H.264 "Advanced video coding for generic audiovisual services"、 ２０１０年３月
【非特許文献２】ITU-T Recommendation H.265 "Advanced video coding for generic audiovisual services"、 ２０１３年４月
【非特許文献３】Joint Video Team (JVT) of ISO/IEC MPEG and ITU-T VCEG、Document JVT-O079、"Text Description of Joint Mode Reference Encoding Method and Decoding Concealment Method"、２００５年４月
【非特許文献４】Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11、 Document JCTVC-S1002、 「High Efficiency Video Coding (HEVC) Test Model 16 (HM 16) Improved Encoder Description」、 ２０１４年１０月
【非特許文献５】Yung-Lyul Lee他、 "Rate control using linear rate-ρ model for H.264"、 Signal Processing: Image Communication、 Volume 19、 Issue 4、 P.341-352、 April 2004
【発明の概要】
【発明が解決しようとする課題】
【００１５】
ＴＭ−５方式や特許文献１に記載の技術では、ブロック単位の局所的なフィードバックで制御を行なうため、フィードバックの強度によってはフレーム内でＱＰなどの制御パラメータが変動したり振動したりすることで画質が不安定になる場合がある。これは、１フレーム内に絵柄が複雑で符号化が難しい領域と、絵柄が単純で符号化が易しい領域とが混在する場合に顕著となる。また、ＴＭ−５方式や特許文献１に記載の技術には、ブロック単位でのフィードバック制御であるためにブロック単位での逐次処理となり、複数のブロックを並列処理することができず、高速化が難しいという課題がある。また、特許文献１の打ち切り処理を行なう方式は、制御が安定しない場合があるという問題点がある。【００１６】
非特許文献５や特許文献２の技術では、フレーム全体の変換係数を用いて符号量モデルを構築して種々のＱＰ設定に対応する符号量予測を行なってＱＰを修正する。非特許文献５や特許文献２の技術では、変換係数が画素数と同数の値が発生するために多数の変換係数値を分析することになり、処理量が大きくなる。また、非特許文献５や特許文献２の技術では、符号量モデルを用いたＱＰ決定に基づいて制御するため、符号量モデルに誤差が発生した場合の目標符号量との差異が大きくなる可能性がある。【００１７】
特許文献３の装置は、量子化処理を２回以上実行する。量子化処理は、個々の変換係数に乗算または除算を含む演算を行なう比較的負荷の大きな処理である。そのため、特許文献３の装置には、量子化処理を繰り返し実行すると装置全体の処理負荷が大きくなるという問題点がある。【００１８】
本発明の目的は、上述した課題を解決するために、装置全体の処理量を減らすとともに、安定した画質を実現できる符号化装置を提供することにある。
【課題を解決するための手段】
【００１９】
本発明の一態様において、符号化装置は、符号化対象画像を構成する処理対象ブロックごとの目標符号量を入力とし、符号化対象画像全体の量子化係数を決定するための量子化制御パラメータを目標符号量に基づいて生成する量子化パラメータ制御手段と、符号化対象画像に基づいて生成される変換係数を入力とするとともに、量子化パラメータ制御手段から量子化制御パラメータを入力とし、量子化制御パラメータと変換係数とを用いて量子化処理を行なうことによって量子化係数を生成する量子化手段と、量子化手段によって生成される量子化係数が格納される量子化係数メモリと、量子化係数メモリに格納された量子化係数を取得し、符号化対象画像全体を量子化した量子化係数を用いて符号量モデルを構築する符号量モデル構築手段と、符号量モデル構築手段から符号量モデルを入力するとともに、目標符号量を入力とし、目標符号量と符号量モデルとに基づいて、量子化係数を打ち切るための打ち切りパラメータを決定する打ち切り制御手段と、打ち切り制御手段から打ち切りパラメータを入力するとともに、量子化係数メモリに格納された量子化係数を取得し、打ち切りパラメータに従って量子化係数を打ち切る係数打ち切り手段とを有する量子化係数設定手段を備える。【００２０】
本発明の一態様において、符号化方法では、符号化対象画像を構成する処理対象ブロックごとの目標符号量を入力し、符号化対象画像全体の量子化係数を決定するための量子化制御パラメータを目標符号量に基づいて生成し、符号化対象画像に基づいて生成される変換係数を入力し、量子化制御パラメータと変換係数とを用いて量子化処理を行なうことによって量子化係数を生成し、生成した量子化係数を量子化係数メモリに格納し、量子化係数メモリに格納された符号化対象画像全体を量子化した量子化係数を用いて符号量モデルを構築し、目標符号量と符号量モデルとに基づいて、量子化係数を打ち切るための打ち切りパラメータを決定し、量子化係数メモリに格納された量子化係数を打ち切りパラメータに従って打ち切る。【００２１】
本発明の一態様において、プログラム記録媒体は、符号化対象画像を構成する処理対象ブロックごとの目標符号量を入力する処理と、符号化対象画像全体の量子化係数を決定するための量子化制御パラメータを目標符号量に基づいて生成する処理と、符号化対象画像に基づいて生成される変換係数を入力する処理と、量子化制御パラメータと変換係数とを用いて量子化処理を行なうことによって量子化係数を生成する処理と、生成した量子化係数を量子化係数メモリに格納する処理と、量子化係数メモリに格納された符号化対象画像全体を量子化した量子化係数を用いて符号量モデルを構築する処理と、目標符号量と符号量モデルとに基づいて、量子化係数を打ち切るための打ち切りパラメータを決定する処理と、量子化係数メモリに格納された量子化係数を打ち切りパラメータに従って打ち切る処理とをコンピュータに実行させるプログラムを記録する。
【発明の効果】
【００２２】
本発明によれば、装置全体の処理量を減らすとともに、安定した画質を実現できる符号化装置を提供することが可能になる。
【図面の簡単な説明】
【００２３】
【図１】本発明の第１の実施形態に係る動画像符号化装置の構成を示すブロック図である。
【図２】本発明の第１の実施形態に係る動画像符号化装置における信号の流れの一例を示す概念図である。
【図３】本発明の第１の実施形態に係る動画像符号化装置の量子化係数設定手段の構成を示すブロック図である。
【図４】本発明の第１の実施形態に係る動画像符号化装置の量子化係数設定手段における信号の流れの一例を示す概念図である。
【図５】本発明の第１の実施形態に係る動画像符号化装置の動作を示すフローチャートである。
【図６】本発明の第１の実施形態に係る動画像符号化装置における打ち切り対象について説明するための図である。
【図７】本発明の第２の実施形態に係る動画像符号化装置の構成を示すブロック図である。
【図８】本発明の第２の実施形態に係る動画像符号化装置における信号の流れの一例を示す概念図である。
【図９】本発明の第２の実施形態に係る動画像符号化装置の動作を示すフローチャートである。
【図１０】本発明の第３の実施形態に係る動画像符号化装置の動作を示すフローチャートである。
【図１１】本発明の第６の実施形態に係る動画像符号化装置の構成を示すブロック図である。
【図１２】本発明の第６の実施形態に係る動画像符号化装置における信号の流れの一例を示す概念図である。
【図１３】本発明の第６の実施形態に係る動画像符号化装置の動作を示すフローチャートである。
【図１４】本発明の各実施形態に係る動画像符号化装置を実現するハードウェアの構成例を示すブロック図である。
【図１５】本発明の各実施形態に係る動画像符号化装置を実現するハードウェアの別の構成例を示すブロック図である。
【図１６】本発明の各実施形態に係る動画像符号化装置を実現するハードウェアに含まれるＧＰＵ（Graphic Processing Unit）の構成例を示す概念図である。
【図１７】関連技術の動画像符号化装置の構成を示すブロック図である。
【図１８】関連技術の動画像符号化装置における信号の流れの一例を示す概念図である。
【図１９】ＴＭ−５方式を適用する動画像符号化装置の構成を示すブロック図である。
【図２０】ＴＭ−５方式を適用する動画像符号化装置における信号の流れの一例を示す概念図である。
【図２１】特許文献１の動画像符号化装置の構成を示すブロック図である。
【図２２】特許文献１の動画像符号化装置における信号の流れの一例を示す概念図である。
【図２３】特許文献１の動画像符号化装置の動作を示すフローチャートである。
【図２４】Ｒ−ρモデルを適用する動画像符号化装置の構成を示すブロック図である。
【図２５】Ｒ−ρモデルを適用する動画像符号化装置における信号の流れの一例を示す概念図である。
【図２６】Ｒ−ρモデルを適用する動画像符号化装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００２４】
以下に、本発明を実施するための形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。なお、以下の実施形態の説明に用いる全図においては、特に理由がない限り、同様箇所には同一符号を付す。また、以下の実施形態において、同様の構成・動作に関しては繰り返しの説明を省略する場合がある。また、図面中の矢印の向きは、一例を示すものであり、ブロック間の信号の向きを限定するものではない。
【００２５】
（第１の実施形態）
〔構成〕
まず、本発明の第１の実施形態に係る動画像符号化装置（符号化装置とも呼ぶ）の構成について図面を参照しながら説明する。
【００２６】
図１は、本実施形態に係る動画像符号化装置１の構成の一例である。図２は、本実施形態の動画像符号化装置１における信号の流れの一例を示す概念図である。
【００２７】
動画像符号化装置１は、新たな画像が入力されると、所定のサイズの画像ブロック単位で符号化処理を行なう。例えば、Ｈ．２６４方式では、マクロブロック（ＭＢ：Macroblock）と呼ばれる１６×１６画素のブロックが用いられる。また、Ｈ．２６５方式では、コーディングツリーユニット（ＣＴＵ：Coding Tree Unit）と呼ばれる１６×１６画素、３２×３２画素、６４×６４画素などのブロックが用いられる。なお、図１および図２においては、入力画像を取得する機能や分割する機能については省略している。
【００２８】
動画像符号化装置１は、予測手段１０、減算・変換手段１１、量子化係数設定手段１２、符号化手段１３、逆量子化手段１４、逆変換・加算手段１５、フィルタ１６、フレームバッファ１７を備える。
【００２９】
予測手段１０は、入力画像（符号化対象画像）を入力とし、入力画像に対応する符号化済み画像（過去において符号化済みのフレームの画像データ）をフレームバッファ１７から取得する。予測手段１０は、符号化済み画像と入力画像とを用いてフレーム内またはフレーム間の予測処理を行なうことによって予測画像を生成する。予測手段１０は、生成した予測画像を減算・変換手段１１および逆変換・加算手段１５に出力する。
【００３０】
減算・変換手段１１は、入力画像を入力とし、その入力画像に対応する予測画像を予測手段１０から取得する。減算・変換手段１１は、入力画像から予測画像を減算して予測誤差画像を生成する。減算・変換手段１１は、生成した予測誤差画像に対してＤＣＴ（Discrete Cosine Transform）と同様の直交変換処理を行ない、変換係数を出力する。
【００３１】
例えば、Ｈ．２６４方式の場合、減算・変換手段１１は、４×４画素または８×８画素のブロック単位で直交変換処理を行なう。また、例えば、Ｈ．２６５方式の場合、減算・変換手段１１は、４×４画素から３２×３２画素までの所定のサイズのブロック単位で直交変換処理を行う。
【００３２】
量子化係数設定手段１２は、減算・変換手段１１から変換係数を入力する。また、量子化係数設定手段１２は、上位システムなどの外部によって設定されるフレーム、画像ブロックごとの目標符号量を入力する。
【００３３】
量子化係数設定手段１２は、符号化結果の符号量や目標符号量に基づいて量子化制御パラメータ（ＱＰ:Quantization Parameter）を決定する。量子化係数設定手段１２は、動画像符号化装置１から出力される符号量を所定のビットレート以下に抑えつつ、高い画質を実現するレート制御処理を行なう。
【００３４】
また、量子化係数設定手段１２は、減算・変換手段１１から入力される変換係数と、決定した量子化制御パラメータとを用いて量子化処理を行ない、量子化された変換係数(以下、量子化係数)を出力する。
【００３５】
符号化手段１３は、量子化係数設定手段１２から量子化係数を入力する。符号化手段１３は、所定の規則で量子化係数をエントロピー符号化し、符号化結果のビットストリームを出力する。
【００３６】
例えば、符号化手段１３は、Ｈ．２６５方式では、コンテキスト適応型二値算術符号化（ＣＡＢＡＣ：Context-based Adaptive Binary Arithmetic Coding）を用いて量子化係数をエントロピー符号化する。また、符号化手段１３は、Ｈ．２６４方式では、コンテキスト適応可変長符号化（ＣＡＶＬＣ：Context-based Adaptive variable-length coding）およびＣＡＢＡＣを用いて量子化係数をエントロピー符号化する。
【００３７】
逆量子化手段１４は、量子化係数設定手段１２から量子化係数を入力する。逆量子化手段１０３は、量子化係数を逆量子化し、逆量子化した量子化係数を逆変換・加算手段１５に出力する。
【００３８】
逆変換・加算手段１５は、逆量子化された量子化係数を逆量子化手段１４から入力する。また、逆変換・加算手段１５は、予測手段１０から予測画像を入力する。逆変換・加算手段１５は、逆量子化された量子化係数と予測画像との加算を行なって再構築画像を生成する。逆変換・加算手段１５は、再構築画像をフィルタ１６に出力する。
【００３９】
フィルタ１６は、逆変換・加算手段１５から再構築画像を入力する。フィルタ１６は、再構築画像にフィルタ処理を行ない、フィルタ処理された再構築画像を出力する。フィルタ処理は、符号化によって画像に発生する歪みを軽減するものである。例えば、Ｈ．２６４方式の場合、フィルタ１６は、デブロックフィルタを用いて再構築画像のフィルタ処理を行う。また、Ｈ．２６５方式の場合、フィルタ１６は、ＳＡＯ（Sample Adaptive Offset）およびデブロックフィルタを用いて再構築画像のフィルタ処理を行う。
【００４０】
フレームバッファ１７は、フィルタ１６から出力されるフィルタ処理後の再構築画像を記憶する。フレームバッファ１７に記憶されるフィルタ処理後の再構築画像は、後続フレームの符号化において符号化済み画像として利用される。
【００４１】
〔量子化係数設定手段〕
次に、量子化係数設定手段１２の詳細構成について図面を用いて説明する。図３は、量子化係数設定手段１２の構成を示すブロック図である。図４は、量子化係数設定手段１２における信号の流れの一例を示す概念図である。
【００４２】
量子化係数設定手段１２は、ＱＰ制御手段２１、量子化手段２２、量子化係数メモリ２３、符号量モデル構築手段２４、打ち切り制御手段２５および係数打ち切り手段２６を備える。
【００４３】
ＱＰ制御手段２１（量子化パラメータ制御手段とも呼ぶ）は、外部の上位システムなどから目標符号量を入力する。ＱＰ制御手段２１は、符号化結果の符号量や別途設定されたフレームや画像ブロックごとの目標符号量に基づいて、フレーム全体の量子化係数（ＱＰとも呼ぶ）を決定するための量子化制御パラメータを生成する。ＱＰ制御手段２１は、生成した量子化制御パラメータを量子化手段２２に出力する。
【００４４】
例えば、ＱＰ制御手段２１は、ＭＰＥＧ−２のＴｅｓｔ Ｍｏｄｅｌ ５方式（以下、ＴＭ−５方式）のフレームレベル制御の手法を用いて量子化制御パラメータを生成する（ＭＰＥＧ：Moving Picture Experts Group）。ＴＭ−５方式を適用する場合、ＱＰ制御手段２１は、フレーム符号化タイプによって異なる複雑度推定に基づいたフレーム単位の符号量割り当てと、過去の符号化履歴とに基づいてＱＰを算出する。また、ＱＰ制御手段２１は、入力画像と予測画像との差分の統計的性質に基づいてＱＰを算出してもよい。
【００４５】
量子化手段２２は、減算・変換手段１１から変換係数を入力するとともに、ＱＰ制御手段２１から量子化制御パラメータを入力する。量子化手段２２は、量子化制御パラメータと変換係数を用いて量子化処理を行ない、量子化された変換係数（以下、量子化係数）を生成する。量子化手段２２は、生成した量子化係数メモリ２３に量子化係数を格納する。
【００４６】
量子化係数メモリ２３は、１フレーム分の量子化係数が格納される。
【００４７】
符号量モデル構築手段２４は、量子化係数メモリ２３に格納された量子化係数を取得し、フレーム全体を量子化した量子化係数を用いて符号量モデルを構築する。符号量モデル構築手段２４は、構築した符号量モデルを打ち切り制御手段２５に出力する。
【００４８】
打ち切り制御手段２５は、符号量モデル構築手段２４から符号量モデルを入力するとともに、目標符号量を入力する。打ち切り制御手段２５は、符号量の予測値や別途設定されたフレームや画像ブロックごとの目標符号量と符号量モデルに基づいて、量子化係数を打ち切るための打ち切りパラメータを決定する。打ち切り制御手段２５は、決定した打ち切りパラメータを係数打ち切り手段２６に出力する。なお、量子化係数を打ち切るとは、量子化係数の少なくとも一部を強制的に０で置換することである。
【００４９】
係数打ち切り手段２６は、打ち切り制御手段２５から打ち切りパラメータを入力するとともに、量子化係数メモリ２３に格納された量子化係数を取得する。係数打ち切り手段２６は、打ち切りパラメータに従って量子化係数を打ち切る。係数打ち切り手段２６は、処理を加えた量子化係数を符号化手段１３および逆量子化手段１４に出力する。
【００５０】
以上が、本実施形態の動画像符号化装置１の構成についての説明である。
【００５１】
〔動作〕
次に、本実施形態に係る動画像符号化装置１の動作について図面を参照しながら説明する。
【００５２】
図５は、本実施形態の動画像符号化装置１の動作を示すフローチャートである。なお、以下の図５のフローチャートに関する説明では、動画像符号化装置１の構成要素を各ステップの動作主体として記載しているが、全体的な動作主体は動画像符号化装置１である。
【００５３】
量子化係数設定手段１２は、フレーム全体に適用するＱＰを決定する（ステップＳ１０１）。
【００５４】
減算・変換手段１１は、ブロックに対して所定の直交変換処理を行ない、変換係数を量子化係数設定手段１２に出力する（ステップＳ１０２）。
【００５５】
量子化係数設定手段１２は、決定したＱＰに基づいて変換係数の量子化処理を行ない、量子化係数を符号化手段１３および逆量子化手段１４に出力し、フレーム全体の量子化係数を記憶しておく（ステップＳ１０３）。
【００５６】
動画像符号化装置１は、フレームを構成する全てのブロックの処理が完了したか判定する（ステップＳ１０４）。完了していないブロックがある場合（ステップＳ１０４でＮｏ）、ステップＳ１０２に戻る。
【００５７】
量子化係数設定手段１２は、フレームを構成する全てのブロックに関する量子化結果の量子化係数の発生状況に基づいてＲ−ρモデル等の符号量モデルを構築し、モデルパラメータを算出する（ステップＳ１０５）。
【００５８】
量子化係数設定手段１２は、符号量モデルを利用してフレームの発生符号量を目標符号量に合わせるように係数打ち切りパラメータを決定する（ステップＳ１０６）。
【００５９】
量子化係数設定手段１２は、係数打ち切りパラメータに基づいて量子化係数の打ち切り処理を行なう（ステップＳ１０７）。
【００６０】
符号化手段１３は、量子化係数に可変長符号化処理を行ない、符号を出力する（ステップＳ１０８）。
【００６１】
逆量子化手段１４は、量子化係数の逆量子化処理を行なう（ステップＳ１０９）。
【００６２】
逆変換・加算手段１５は、逆変換処理を行なって１ブロックの処理を完了する（ステップＳ１１０）。
【００６３】
動画像符号化装置１は、フレームを構成する全てのブロックの処理が完了したかを判定する（ステップＳ１１１）。全てのブロックの処理が完了している場合（ステップＳ１１０でＹｅｓ）、図５のフローチャートに沿った処理は終了である。処理が完了していないブロックがある場合（ステップＳ１１１でＮｏ）、ステップＳ１０７に戻る。
【００６４】
Ｒ−ρモデルを適用する一般的な動画像符号化装置では、量子化前の変換係数から構築された符号量モデルに基づいてＱＰを決定する。一方、本実施形態では、フレーム全体を量子化した量子化係数を用いて構築した符号量モデルに基づいて係数打ち切りパラメータを決定する。
【００６５】
〔係数打ち切りパラメータの決定〕
ここで、係数打ち切りパラメータの決定方法について一例を挙げて説明する。図６は、本実施形態における係数打ち切りパラメータを決定する一例について説明する図である。
【００６６】
図６は、量子化係数を次数によって分類し、非ゼロ係数の個数をＤＣ成分、ＡＣ低次成分からＡＣ高次成分に順番に並べたヒストグラムである（ＤＣ：Direct Current、ＡＣ：Alternating Current）。非ゼロ係数を並べる順番は、例えば、ＺｉｇＺａｇスキャンやＤｉａｇｏｎａｌスキャンなどの量子化係数の符号化順に従えばよい。
【００６７】
図６のヒストグラムを用いれば、ある次数を打ち切り閾値として設定し、その次数よりも高次の量子化係数を打ち切った際に、非ゼロの量子化係数のうちどれだけの割合の係数が削除されるかを求めることができる。図６のように打ち切り閾値を設定した場合における非ゼロの量子化係数をＲ−ρモデルのような符号量モデルに適用すれば、ビットレートがどの程度低減されるかを算出することができる。この関係を用いることによって、打ち切り閾値をどのように設定すれば目標符号量を達成できるのかを決定できる。
【００６８】
係数パラメータの決定方法には、上記の例だけでなく、種々の方式が考えられる。例えば、量子化係数を絶対値ごとに分類したヒストグラムを作成し、ある閾値より絶対値が小さい係数を打ち切った場合の非ゼロ係数削減率や、ビットレート削減率の関係から閾値を決定することもできる。さらに、係数の次数と絶対値の両方を組み合わせた係数打ち切り条件を用いることもできる。すなわち、係数絶対値での打ち切り閾値を係数の次数ごとに異なる値とし、次数が高い係数ほど打ち切り閾値を高くしたり、水平周波数と垂直周波数の両方が高い係数ほど打ち切り閾値を高くしたりする、といった制御を行なうことができる。また、次数と打ち切り閾値の関係を量子化マトリックスの性質に基づいて設定することもできる。また、直交変換を行なうブロックサイズに応じて係数打ち切りパラメータを異なる設定とすることもできる。
【００６９】
以上のように、本実施形態では、フレーム全体の量子化係数の発生状況に鑑みて適切な係数打ち切りパラメータを設定する。そのため、本実施形態によれば、フレーム内で安定した画質を達成できる。すなわち、本実施形態によれば、装置全体の処理量を減らすとともに、安定した画質を実現できる。
【００７０】
また、本実施形態では、初めに設定したＱＰでフレーム全体の量子化を行なって粗い精度のレート制御を行ない、次に実際の量子化結果に基づいて係数打ち切りを行なうことで、さらに詳細に目標符号量に合致させるレート制御を行なう。そのため、本実施形態によれば、ＱＰ制御や符号量モデルに誤差が発生した場合であっても、影響の大きさを抑制することができ、目標符号量との差異を小さく制御できる。
【００７１】
また、本実施形態では、量子化処理後の量子化係数を用いて符号量モデル構築、打ち切り制御を行なう．そのため、特許文献２（特表２０１３−５３２４３９号公報）に記載の技術よりも処理量が小さく、高速処理が可能である。なぜならば、通常の画像では、量子化処理によって変換係数の大部分はゼロとなるため、符号量モデル構築で処理する量子化係数の数が量子化前の変換係数の数よりもずっと少ないためである。
【００７２】
また、本実施形態によれば、ブロック単位で並列処理することによって、量子化処理や係数打ち切り処理をさらに高速化できる。
【００７３】
図５のフローチャートでは、ステップＳ１０２（変換処理）およびステップＳ１０３（量子化処理）をブロック単位で逐次処理しているが、変換処理および量子化処理を複数のブロックに対して並列処理できる。また、図５のフローチャートでは、ステップＳ１０７（係数打ち切り処理）、ステップＳ１０９（逆量子化処理）およびステップＳ１１０（逆変換処理）もブロック単位で逐次処理しているが、これらの処理も複数のブロックに対して並列処理できる。
【００７４】
（第２の実施形態）
〔構成〕
次に、本発明の第２の実施形態に係る動画像符号化装置について図面を参照しながら説明する。なお、本実施形態の動画像符号化装置の構成は、第１の実施形態（図１）の構成と同様であるが、量子化係数設定手段１２の機能が異なっている。
【００７５】
図７は、本実施形態の動画像符号化装置が備える量子化係数設定手段１２−２の構成を示すブロック図である。図８は、量子化係数設定手段１２−２における信号の流れの一例を示す概念図である。量子化係数設定手段１２−２は、第１の実施形態の量子化係数設定手段１２（図３）において、量子化手段２２と量子化係数メモリ２３との間に量子化係数分析手段２７が追加された構成を有する。量子化係数設定手段１２−２の量子化係数分析手段２７以外の構成は、第１の実施形態の量子化係数設定手段１２と同様であるため、詳細な説明は省略する。
【００７６】
本実施形態においては、量子化手段２２は、生成した量子化係数を、量子化係数メモリ２３ではなく、量子化係数分析手段２７に出力する。
【００７７】
量子化係数分析手段２７は、量子化手段２２から量子化係数を入力する。量子化係数分析手段２７は、量子化係数を分析し、処理対象のブロックにおいて量子化後に非ゼロとなる量子化係数が存在するかどうかを検証する（量子化係数分析）。量子化係数分析手段２７は、非ゼロとなる量子化係数が存在するかどうかに関する情報（非ゼロ量子化係数有無情報と呼ぶ）を量子化係数に対応付けて量子化係数メモリ２３に格納する。
【００７８】
本実施形態の動画像符号化装置は、処理対象のブロックの非ゼロ量子化係数有無情報に基づいて、後続処理のスキップ判定を行なう。処理対象のブロックの非ゼロ量子化係数が存在しない場合、係数打ち切り手段２６、符号化手段１３、逆量子化手段１４および逆変換・加算手段１５は処理を行わない。一方、処理対象のブロックの非ゼロ量子化係数が存在する場合、係数打ち切り手段２６、符号化手段１３、逆量子化手段１４および逆変換・加算手段１５は、処理を実行する。
【００７９】
以上が、本実施形態の動画像符号化装置の構成に関する説明である。
【００８０】
〔動作〕
次に、本実施形態の動画像符号化装置の動作について図面を参照しながら説明する。
【００８１】
図９は、本実施形態におけるデータ変換の動作を示すフローチャートである。なお、以下の図９のフローチャートに関する説明では、動画像符号化装置の構成要素を各ステップの動作主体として記載しているが、全体的な動作主体は動画像符号化装置である。以下においては、第１の実施形態と同様の動作については詳細な説明は省略し、異なる動作について説明する。
【００８２】
本実施形態のフローチャート（図９）は、第１の実施形態のフローチャート（図５）に量子化係数分析処理（ステップＳ２０４）と処理スキップ判定処理（ステップＳ２０８）とが追加されている。すなわち、図９のフローチャートでは、図５のフローチャートにおいて、ステップＳ１０３とステップＳ１０４との間に量子化係数分析処理が追加され、ステップＳ１０６とステップＳ１０７との間に処理スキップ判定処理が追加されている。
【００８３】
なお、図５のステップＳ１０１〜Ｓ１０３が図９のステップＳ２０１〜Ｓ２０３に対応し、図５のステップＳ１０４〜Ｓ１０６が図９のステップＳ２０５〜Ｓ２０７に対応し、図５のステップＳ１０７〜Ｓ１１１が図９のステップＳ２０９〜Ｓ２１３に対応する。
【００８４】
図５のフローチャートと、図９のフローチャートとの相違点は以下の通りである。
【００８５】
すなわち、ステップＳ２０５において、量子化係数分析手段２７は、量子化係数を分析し、処理対象のブロックにおいて量子化後に非ゼロとなる量子化係数が存在するかどうかの情報（非ゼロ量子化係数情報）を出力する。
【００８６】
ステップＳ２０８において、動画像符号化装置は、量子化係数分析手段２７が出力した非ゼロ量子化係数有無情報に基づいて、後続処理のスキップ判定を行なう。
【００８７】
すなわち、非ゼロ量子化係数有無情報が存在しない場合（ステップＳ２０８でＹｅｓ）、係数打ち切り手段２６、符号化手段１３、逆量子化手段１４および逆変換・加算手段１５は、そのブロックに関する処理を行わない（ステップＳ２１３に進む）。
【００８８】
一方、非ゼロ量子化係数有無情報が存在する場合（ステップＳ２０８でＮｏ）、係数打ち切り手段２６、符号化手段１３、逆量子化手段１４および逆変換・加算手段１５は、そのブロックに関する処理を行う（ステップＳ２０９に進む）。
【００８９】
本実施形態では、処理対象のブロックの非ゼロ量子化係数有無情報に基づいて処理をスキップする。そのため、本実施形態によれば、第１の実施系形態よりも処理量を削減でき、さらに高速な処理が可能である。なぜならば、通常の画像では、多くのブロックで量子化係数が全てゼロになるため、量子化係数が全てゼロとなるブロックにおける係数打ち切り以降の処理をスキップすれば処理量を削減できるためである。
【００９０】
（第３の実施形態）
次に、本発明の第３の実施形態について図面を参照しながら説明する。なお、本実施形態の構成は、第２の実施形態（図７）の構成と同様であるが、量子化係数分析手段２７の動作が異なっている。
【００９１】
図１０は、本実施形態におけるデータ変換の動作を示すフローチャートである。なお、以下の図１０のフローチャートに関する説明では、動画像符号化装置の構成要素を各ステップの動作主体として記載しているが、全体的な動作主体は動画像符号化装置である。以下においては、第２の実施形態と同様の動作については詳細な説明は省略し、異なる動作について説明する。
【００９２】
本実施形態のフローチャート（図１０）は、第２の実施形態のフローチャート（図９）とは、ステップＳ３０４（量子化係数分析）の動作と、ステップＳ３０９（打ち切りスキップ判定）を含む点とが異なる。
【００９３】
ステップＳ３０４において、量子化係数分析手段２７は、非ゼロ量子化係数有無の情報に加え、非ゼロ量子化係数が存在する場合には、処理対象ブロック内における非ゼロ係数の分布状況に関する係数分布情報を生成する。量子化係数分析手段２７は、生成した係数分布情報を出力する。
【００９４】
例えば、量子化係数分析手段２７は、ブロックを４×４などさらに細かいサブブロックに分割し、ブロックに含まれる各サブブロックのそれぞれに非ゼロ係数が含まれるか否かを示すフラグ列を出力する。
【００９５】
ステップＳ３０９において、動画像符号化装置は、係数打ち切りパラメータと係数分布情報とを用いて、係数打ち切り処理をスキップするかどうかを判定する。このとき、動画像符号化装置は、係数打ち切りパラメータとして、ある閾値以上の次数の係数を打ち切るよう決定された場合、処理対象ブロックのうち、該当する次数以上の位置に該当する対象サブブロックの非ゼロ係数有無のフラグを確認する。
【００９６】
全ての対象サブブロックに非ゼロ係数が存在しない場合（ステップＳ３０９でＹｅｓ）、係数打ち切り手段２６は、判定結果に基づいて、係数打ち切り処理をスキップする。一方、いずれかの対象サブブロックに非ゼロ係数が存在する場合（ステップＳ３０９でＮｏ）、係数打ち切り手段２６は、判定結果に基づいて、係数打ち切り処理を実行する（ステップＳ３１０）。
【００９７】
なお、係数分布情報は、上記の例以外にも種々の情報が考えられる。例えば、ブロック内で最も高次に位置する非ゼロ係数の次数情報や、所定の次数以上である非ゼロ係数の個数などを係数分布情報として用いることできる。
【００９８】
本実施形態によれば、第２の実施形態と比較して、処理量を削減してさらに高速な処理が可能である。なぜならば、ブロックに含まれる非ゼロの量子化の全てに対して係数打ち切り処理を行なうのではなく、係数分布情報を用いた判定によって打ち切り処理が不要なブロックでの打ち切り処理をスキップすることで処理量を削減できるためである。
【００９９】
（第４の実施形態）
次に、本発明の第４の実施形態について図面を参照しながら説明する。なお、本実施形態の構成および動作は、それぞれ図７および図１０と同様であり、ＱＰ制御手段２１の動作が異なる。
【０１００】
第１の実施形態において、ＱＰ制御手段２１は、例えば、ＴＭ―５のフレームレベル制御等の方法でＱＰを決定する。これに対し、本実施形態のＱＰ制御手段２１は、第１の実施形態のように決定したＱＰを所定の方法で修正し、より小さなＱＰとする。例えば、ＱＰ制御手段２１は、ＱＰで決まる量子化ステップ幅を所定の比率だけ小さくするようにＱＰを修正する。ＱＰ制御手段２１は、量子化ステップ幅の縮小比率をＩ／Ｐ／Ｂなどフレーム符号化タイプごとに異なるように設定してもよい。
【０１０１】
ＱＰ制御手段２１がＱＰを修正することによって、量子化後の発生符号量は目標符号量よりもやや大きくなる確率が高くなるが、その後に係数打ち切り処理を行なうことによって符号量を目標符号量へと制御できる。
【０１０２】
以上のように、本実施形態によれば、符号量を目標符号量により近づける制御が可能になる。第１の実施形態では、フレーム全体の量子化を行なう粗い精度のレート制御で符号量が目標符号量を下回っていた場合には、符号量をそれ以上目標符号量に近づけることはできない。一方、本実施形態では、フレーム全体の量子化を行なう粗い精度のレート制御でのＱＰを小さい値に修正することによって、この段階で目標符号量を下回る確率を低くすることができる。そのため、係数打ち切りでのレート削減による詳細なレート制御と組み合わせた動作によって、より目標符号量に近づけることができる。
【０１０３】
（第５の実施形態）
次に、本発明の第５の実施形態について図面を参照しながら説明する。なお、本実施形態の構成および動作は、それぞれ図７および図１０と同様であり、打ち切り制御手段２５の動作が異なる。本実施形態は、ブロックごとのＱＰが異なる場合に、ブロックごとに異なる打ち切りパラメータを設定する点が第１〜第３の実施形態とは異なる。
【０１０４】
例えば、ＱＰが小さいブロックでは、打ち切りを行なう次数の閾値を大きくして係数打ち切りを発生しにくくする。逆に、ＱＰが大きいブロックでは、より係数打ち切りをしやすいパラメータとする。
【０１０５】
例えば、フレーム全体のＱＰ分布から求まる量子化ステップをＱＳａｖｅ、あるブロックのＱＰに対応する量子化ステップをＱＳcurとした場合に、ＱＳｃｕｒ／ＱＳａｖｅの値に応じて、係数打ち切りを行なう次数の閾値を以下のように調整する。なお、以下の条件において、０．８３は１／１．２に相当する値であり、０．６７は１／１．５に相当する値である。
０．６７＞ＱＳｃｕｒ／ＱＳａｖｅならば閾値次数を−２とする。
０．８３＞ＱＳｃｕｒ／ＱＳａｖｅ≧０．６７ならば閾値次数を−１とする。
１．２≧ＱＳｃｕｒ／ＱＳａｖｅ≧０．８３ならば閾値次数を変化させない。
１．５≧ＱＳｃｕｒ／ＱＳａｖｅ＞１．２ならば閾値次数を＋１とする。
ＱＳｃｕｒ／ＱＳａｖｅ＞１．５ならば閾値次数を＋２とする。
【０１０６】
打ち切りパラメータの設定方法は、上記に限らず、例えば、ブロックのＱＰが特定の小さい値の範囲にある場合には打ち切りは行わないように設定することもできる。
【０１０７】
以上のように、本実施形態では、符号化結果の画質を向上させることができる。なぜならば、本実施形態によれば、適応量子化制御など主観画質向上のためにブロックごとに異なるＱＰを設定する場合に、係数打ち切りにおいてもＱＰ値の差を反映して処理することで、主観画質向上の目的に合致したレート制御が可能となるためである。
【０１０８】
（第６の実施形態）
〔構成〕
次に、本発明の第６の実施形態に係る動画像符号化装置について図面を参照しながら説明する。なお、本実施形態の動画像符号化装置の構成は、第１の実施形態（図１）の構成と同様であるが、量子化係数設定手段１２の機能が異なっている。
【０１０９】
図１１は、本実施形態の動画像符号化装置が備える量子化係数設定手段１２−６の構成を示すブロック図である。図１２は、量子化係数設定手段１２−６における信号の流れの一例を示す概念図である。量子化係数設定手段１２−６は、第２の実施形態の量子化係数設定手段１２−２（図８）において、係数打ち切り手段２６の後段に第２量子化係数メモリ２８（追加量子化係数メモリとも呼ぶ）が追加された構成を有する。量子化係数設定手段１２−６の第２量子化係数メモリ２８以外の構成は、第２の実施形態の量子化係数設定手段１２−２と同様であるため、詳細な説明は省略する。
【０１１０】
本実施形態においては、係数打ち切り手段２６は、処理を加えた量子化係数を第２量子化係数メモリ２８に格納する。
【０１１１】
量子化係数設定手段１２−６の後段の符号化手段１３および逆量子化手段１４は、第２量子化係数メモリ２８に格納された量子化係数を取得する。
【０１１２】
以上が、本実施形態の動画像符号化装置の構成に関する説明である。
【０１１３】
〔動作〕
次に、本実施形態の動画像符号化装置の動作について図面を参照しながら説明する。
【０１１４】
図１３は、本実施形態におけるデータ変換の動作を示すフローチャートである。なお、以下の図１３のフローチャートに関する説明では、動画像符号化装置の構成要素を各ステップの動作主体として記載しているが、全体的な動作主体は動画像符号化装置である。以下においては、第１〜第５の実施形態と同様の動作については詳細な説明は省略し、異なる動作について説明する。
【０１１５】
本実施形態のフローチャート（図１３）は、第３の実施形態のフローチャート（図１０）と異なる箇所が二点ある。一点は、ステップＳ６０９で出力される量子化係数を１フレーム分記憶する点である。もう一点は、全てのブロックについて係数打ち切り処理（ステップＳ６１０）、逆量子化処理（ステップＳ６１１）および逆変換処理（ステップＳ６１２）が完了した後に、可変長符号化処理（ステップＳ６１４）を実行する点である。すなわち、図１３のフローチャートでは、図１０のフローチャートにおける可変長符号化処理（ステップＳ３１１）をステップＳ３１４の後に回し、全てのブロックについて可変長符号化処理（ステップＳ６１４−Ｓ６１５）を行う。
【０１１６】
なお、図１０のステップＳ３０１〜Ｓ３１０が図１３のステップＳ６０１〜Ｓ６１１に対応し、図１０のステップＳ３１２〜Ｓ３１４が図１３のステップＳ６１０〜Ｓ６１３に対応する。
【０１１７】
図１０のフローチャートと、図１３のフローチャートとの相違点は以下の通りである。
【０１１８】
すなわち、全てのブロックの係数打ち切り処理（ステップＳ６１０）、逆量子化処理（ステップＳ６１１）および逆変換処理（ステップＳ６１２）が完了した後に、符号化手段１３は、いずれかのブロックについて可変長符号化処理を行う（ステップＳ６１４）。
【０１１９】
そして、全ブロックについて可変長符号化処理が終わっている場合（ステップＳ６１５でＹｅｓ）、図１３のフローチャートに沿った処理を終了とする。一方、全ブロックについて可変長符号化処理が終わっていない場合（ステップＳ６１５でＮｏ）、ステップＳ６１４に戻り、符号化手段１３は、別のブロックの可変長符号化処理を行う。
【０１２０】
以上のように、本実施形態では、処理グループ１（ステップＳ６０２〜Ｓ６０４）、処理グループ２（ステップＳ６０８〜ステップＳ６１３）の処理は、それぞれブロック単位で独立して処理することができる。そのため、図１３のフローチャートではブロック単位で逐次処理する例を示しているが、複数のブロックを並列処理することも可能である。
【０１２１】
また、処理グループ１、処理グループ２、処理グループ３（ステップＳ６１４〜ステップＳ６１５）は、量子化係数メモリ２３、第２量子化係数メモリ２８からデータを入出力して処理する。そのため、それぞれの処理グループを異なるプロセッサや演算回路で処理するように構成できる。例えば、処理グループ１と処理グループ２とは並列処理に適したプロセッサであるメニーコアプロセッサやＧＰＵで処理し、並列処理が難しい処理グループ３は汎用プロセッサで処理する、という構成を適用できる。なお、処理の構成は、上記には限らない。例えば、比較的固定的な処理である処理グループ１は専用設計の演算回路、制御内容の更新など、処理内容の変更の可能性がある処理グループ２はＧＰＵ、処理グループ３は汎用プロセッサで処理する、といった構成も適用できる。
【０１２２】
以上のように、本実施形態では、並列処理に適したプロセッサ等で処理するよう構成することによってより高速な処理が可能である。
【０１２３】
以上においては、本発明の実施形態をＨ．２６４やＨ．２６５などの符号化方式に則って説明してきたが、本発明の実施形態の手法は、これらの符号化方式への応用に限定されるものではない。例えば、本発明の実施形態の手法は、Ｈ．２６４やＨ．２６５とは異なるＶＣ−１等の符号化方式や、国際標準の動画像符号化方式等に含まれない符号化方式に適用することも可能である。また、本発明の実施形態が用いるレート制御については、ＴＭ−５方式を応用した動作について具体的な例を挙げて詳細に説明したが、例示した動作以外にも種々の方式に応用することができる。
【０１２４】
（ハードウェア）
ここで、図１４を用いて、本発明の実施形態に係る動画像符号化装置を実現するためのハードウェア９０について説明する。なお、ハードウェア９０は、本実施形態の動画像符号化装置を実現するための一例であって、本発明の範囲を限定するものではない。
【０１２５】
図１４のように、ハードウェア９０は、プロセッサ９１、主記憶装置９２、補助記憶装置９３、入出力インターフェース９５およびネットワークアダプター９６を備える。プロセッサ９１、主記憶装置９２、補助記憶装置９３、入出力インターフェース９５およびネットワークアダプター９６は、バス９９を介して互いに接続される。また、プロセッサ９１、主記憶装置９２、補助記憶装置９３および入出力インターフェース９５は、ネットワークアダプター９６を介して、イントラネットやインターネットなどのネットワークに接続される。なお、ハードウェア９０の構成要素のそれぞれは、単一であってもよいし、複数であってもよい。
【０１２６】
プロセッサ９１は、補助記憶装置９３等に格納されたプログラムを主記憶装置９２に展開し、展開されたプログラムを実行する演算装置である。本実施形態においては、ハードウェア９０にインストールされたソフトウェアプログラムを用いる構成とすればよい。プロセッサ９１は、種々の演算処理や制御処理を実行する。例えば、プロセッサ９１は、ＣＰＵ（Central Processing Unit）によって実現される。また、ＧＰＵ（Graphics Processing Unit）にプロセッサ９１の機能の一部を負わせてもよい。例えば、図１５のハードウェア９０−２のように、ＣＰＵ９１１とＧＰＵ９１２とを含む構成にすることができる。
【０１２７】
主記憶装置９２は、プログラムが展開される領域を有する。主記憶装置９２は、例えばＤＲＡＭ（Dynamic Random Access Memory）などの揮発性メモリとすればよい。また、ＭＲＡＭ（Magnetoresistive Random Access Memory）などの不揮発性メモリを主記憶装置９２として構成・追加してもよい。
【０１２８】
補助記憶装置９３は、種々のデータを記憶させるための記憶装置である。補助記憶装置９３は、ハードディスクやフラッシュメモリなどのローカルディスクとして構成される。
【０１２９】
入出力インターフェース９５は、ハードウェア９０と周辺機器とを接続規格に基づいて接続するインターフェース（Ｉ／Ｆ：Interface）である。
【０１３０】
ハードウェア９０には、必要に応じて、キーボードやマウス、タッチパネルなどの入力機器、ディスプレイや印刷機器などの出力機器を接続してもよい。それらの入力機器や出力機器は、情報や設定の入力や動画像情報の出力などに使用できる。プロセッサ９１と入力機器との間のデータ授受は、入出力インターフェース９５に仲介させればよい。
【０１３１】
ネットワークアダプター９６は、規格や仕様に基づいてネットワークに接続するためのインターフェースである。入出力インターフェース９５およびネットワークアダプター９６は、外部機器と接続するインターフェースとして共通化してもよい。
【０１３２】
また、ハードウェア９０には、必要に応じて、リーダライタを備え付けてもよい。リーダライタは、バス９９に接続される。リーダライタは、プロセッサ９１と図示しない記録媒体（プログラム記録媒体）との間で、記録媒体からのデータ・プログラムの読み出し、ハードウェア９０の処理結果の記録媒体への書き込みなどを仲介する。記録媒体は、例えばＳＤ（Secure Digital）カードやＵＳＢ（Universal Serial Bus）メモリなどの半導体記録媒体などで実現できる。また、記録媒体は、フレキシブルディスクなどの磁気記録媒体、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）などの光学記録媒体やその他の記録媒体によって実現してもよい。
【０１３３】
本発明の実施形態に係る動画像符号化装置は、並列処理を実行できることが好ましい。図１６は、本実施形態に係る動画像符号化装置によって並列処理を実行するＧＰＵ９１２の構成例である。
【０１３４】
図１６のＧＰＵ９１２は、インターフェース９２１、キャッシュ９２２および複数のストリーミングマルチプロセッサ９２３（以下、ＳＭ：Streaming Multiprocessor）を含む。なお、図１６の構成は概念的な構成例であり、実際のＧＰＵ９１２は、インターフェース９２１、キャッシュ９２２およびＳＭ９２３以外の構成要素を含む。
【０１３５】
インターフェース９２１は、ＤＲＡＭなどで実現される主記憶装置９２やＣＰＵ９１１などとデータをやり取りするための接続部である。
【０１３６】
キャッシュ９２２は、ＳＭ間で共有される高速のメモリである。
【０１３７】
ＳＭ９２３は、動画像符号化処理を処理するための演算部である。例えば、ＳＭ９２３は、ストリーミングプロセッサと呼ばれる複数のコア（演算装置）や、シェアードメモリ、レジスタなどのメモリを含む。
【０１３８】
以上が、本発明の実施形態に係る動画像符号化装置を実現するためのハードウェアの一例である。本発明の各実施形態の構成要素は、図１４〜図１６のハードウェアに含まれる構成要素のうち少なくともいずれかを含む回路として実現できる。また、本発明の各実施形態の構成要素は、図１４〜図１６のハードウェアの構成を有するコンピュータ上で動作するソフトウェアとして実現できる。
【０１３９】
なお、図１４〜図１６のハードウェア構成は、本実施形態の動画像符号化装置を可能とするためのハードウェア構成の一例であって、本発明の範囲を限定するものではない。また、本発明の各実施形態においては、メニーコアやＧＰＵを用いた並列処理により高速化する例を説明したが、複数のＣＰＵやＰＣクラスタを用いてもよい（ＰＣ：Personal Computer）。また、本発明の各実施形態に係る処理は、ＦＰＧＡ（Field-Programmable Gate Array）や専用ＬＳＩ（Large-Scale Integration）回路などを用いて実現してもよい。
【０１４０】
また、本実施形態の動画像符号化装置による処理をコンピュータに実行させるプログラムも本発明の範囲に含まれる。さらに、本発明の実施形態に係るプログラムを記録したプログラム記録媒体も本発明の範囲に含まれる。
【０１４１】
（関連技術）
ここで、本発明の各実施形態に係る動画像符号化装置の関連技術について説明する。
【０１４２】
〔動画像符号化装置〕
図１７は、フレーム内予測およびフレーム間予測を用いる動画像符号化装置１０００の構成の一例である。図１８は、動画像符号化装置１０００における信号の流れの一例を示す概念図である。
【０１４３】
動画像符号化装置１０００は、予測手段１００、減算・変換手段１０１、量子化手段１０２、逆量子化手段１０３、逆変換・加算手段１０４、フィルタ１０５、符号化手段１０６、レート制御手段１０７、フレームバッファ１０８を備える。
【０１４４】
予測手段１００は、フレームバッファ１０８に格納されている符号化済み画像（過去において符号化済みのフレームの画像データ）と入力画像とを用いて、フレーム内またはフレーム間の予測処理を行なうことによって予測画像を生成する。予測手段１００は、生成した予測画像を減算・変換手段１０１および逆変換・加算手段１０４に出力する。
【０１４５】
減算・変換手段１０１は、予測手段１００から入力される予測画像を入力画像から減算して予測誤差画像を作成する。減算・変換手段１０１は、作成した予測誤差画像に対してＤＣＴ（Discrete Cosine Transform）と同様の直交変換処理を行ない、変換係数を出力する。例えば、Ｈ．２６４方式では、４×４画素または８×８画素のブロック単位で直交変換処理が行われる。また、Ｈ．２６５方式では、４×４画素から３２×３２画素までの所定のサイズのブロック単位で直交変換処理行われる。
【０１４６】
量子化手段１０２は、減算・変換手段１０１から入力される変換係数と、レート制御手段１０７から入力される量子化制御パラメータとを用いて量子化処理を行ない、量子化された変換係数(以下、量子化係数)を生成する。量子化手段１０２は、生成した量子化係数を逆量子化手段１０３および符号化手段１０６に出力する。
【０１４７】
逆量子化手段１０３は、量子化手段１０２から量子化係数を入力し、入力した量子化係数を逆量子化する。逆量子化手段１０３は、逆量子化した量子化係数を逆変換・加算手段１０４に出力する。
【０１４８】
逆変換・加算手段１０４は、逆量子化手段１０３によって逆量子化された量子化係数と、予測手段１００によって生成された予測画像とを入力する。逆変換・加算手段１０４は、逆量子化された量子化係数と予測画像とを加算処理することによって再構築画像を生成する。逆変換・加算手段１０４は、生成した再構築画像をフィルタ１０５に出力する。
【０１４９】
フィルタ１０５は、逆変換・加算手段１０４によって生成された再構築画像を入力し、再構築画像にフィルタ処理を行なう。フィルタ１０５は、フィルタ処理された再構築画像をフレームバッファ１０８に出力する。フィルタ処理は、符号化によって画像に発生する歪みを軽減する処理である。例えば、Ｈ．２６４方式およびＨ．２６５方式ではデブロックフィルタが用いられる。また、Ｈ．２６５方式では、ＳＡＯ（Sample Adaptive Offset）が用いられる。
【０１５０】
フレームバッファ１０８は、フィルタ１０５から出力されるフィルタ処理後の再構築画像を記憶する。フレームバッファ１０８に記憶されるフィルタ処理後の再構築画像は、後続フレームの符号化において符号化済み画像として利用される。
【０１５１】
符号化手段１０６は、量子化手段１０２から量子化係数を入力する。符号化手段１０６は、所定の規則で量子化係数をエントロピー符号化し、符号化結果のビットストリームを出力する。例えば、Ｈ．２６４方式およびＨ．２６５方式を適用する場合、符号化手段１０６は、コンテキスト適応型二値算術符号化（ＣＡＢＡＣ：Context-based Adaptive Binary Arithmetic Coding）を用いて量子化係数をエントロピー符号化する。また、Ｈ．２６４方式を適用する場合、符号化手段１０６は、コンテキスト適応可変長符号化（ＣＡＶＬＣ：Context-based Adaptive variable-length coding）を用いて量子化係数をエントロピー符号化する。
【０１５２】
レート制御手段１０７は、符号化結果の符号量や別途設定されたフレーム、画像ブロックごとの目標符号量に基づいて量子化制御パラメータ（ＱＰ：Quantization Parameter）を決定する。レート制御手段１０７は、量子化手段１０２にＱＰを出力することによって、量子化手段１０２を制御する。レート制御手段１０７は、出力される符号量を所定のビットレート以下に抑えつつ、高い画質を実現するレート制御処理を行なう。
【０１５３】
〔ＱＰ制御〕
図１９は、ＴＭ−５方式でレート制御を行なう動画像符号化装置の構成を示すブロック図である。図２０は、図１９の構成における信号の流れの一例を示す概念図である。なお、図１９のブロック図では、図１７においてレート制御に関わる部分について詳細に示し、その周辺の構成については省略している。
【０１５４】
量子化手段２０２は、図示しない減算・変換手段から変換係数を入力する。量子化手段２０２は、レート制御手段１０７から入力されるＱＰに従って変換係数の量子化処理を行ない、量子化係数を生成する。量子化手段２０２は、生成した量子化係数を逆量子化手段２０３および符号化手段２０５に出力する。
【０１５５】
逆量子化手段２０３は、量子化手段２０２から量子化係数を入力する。逆量子化手段２０３は、量子化係数を逆量子化し、逆量子化された量子化係数を図示しない逆変換・加算手段に出力する。
【０１５６】
符号化手段２０５は、量子化手段２０２から量子化係数を入力する。符号化手段２０５は、量子化係数をエントロピー符号化し、符号化結果のビットストリームを出力するとともに、発生符号量の情報を出力する。
【０１５７】
ＱＰ制御手段２０６は、符号化結果の符号量や別途設定されたフレームや画像ブロックごとの目標符号量に基づいてＱＰを決定する。ＱＰ制御手段２０６は、決定したＱＰに基づいて量子化手段２０２を制御する。
【０１５８】
〔係数打ち切り制御〕
また、ＱＰの設定以外の方法でレート制御を実現する方式（係数打ち切り制御）が特許文献１（特開２０１０−０８７７７１号公報）に開示されている。特許文献１には、マクロブロック（ＭＢ：Macroblock）の量子化係数の分布状況から発生符号量を推定し、その推定符号量と目標符号量の関係から量子化係数を強制的にゼロにする係数位置や打ち切り閾値を制御する技術が開示されている。
【０１５９】
図２１は、特許文献１に開示された方式（係数打ち切り制御）でレート制御を行なう動画像符号化装置の構成を示すブロック図である。図２２は、図２１の構成における信号の流れの一例を示す概念図である。図２１において、量子化手段２０２、逆量子化手段２０３および符号化手段２０５は、図１９の構成と同様に動作する。
【０１６０】
係数打ち切り手段３０１は、打ち切り制御手段３０３から入力される打ち切りパラメータに従って量子化係数を打ち切る。
【０１６１】
符号量推定手段３０２は、量子化係数の分布状況などから発生符号量を予測する。
【０１６２】
打ち切り制御手段３０３は、符号量の予測値や別途設定されたフレームや画像ブロックごとの目標符号量に基づいて打ち切りパラメータを決定する。
【０１６３】
図２３は、ＴＭ−５方式および特許文献１のレート制御の動作を示すフローチャートである。これらの方式では、フレームを所定のサイズに分割した画像ブロック単位で、ラスタースキャンなど所定の順番で符号化処理を進め、ブロック単位でレート制御を行なう動作を共通とする。例えば、ＭＰＥＧ−２やＨ．２６４では、マクロブロック（ＭＢ：Macroblock）と呼ばれる１６×１６画素のブロックが用いられる。また、Ｈ．２６５方式では、コーディングツリーユニット（ＣＴＵ：Coding Tree Unit）と呼ばれる１６×１６画素、３２×３２画素、６４×６４画素などのブロックが用いられる。
【０１６４】
打ち切り制御手段３０３は、符号化済みブロックで実際に発生した符号量と目標符号量との関係に基づき、符号化対象ブロックの量子化に用いるＱＰや量子化係数打ち切り等の制御パラメータを決定する（ステップＳ１００１）。
【０１６５】
図示しない減算・変換手段は、ブロックに対して所定の直交変換処理を行ない、変換係数を出力する（ステップＳ１００２）。
【０１６６】
量子化手段２０２は、ＱＰに基づいて変換係数の量子化処理を行ない、量子化係数を出力する（ステップＳ１００３）。
【０１６７】
係数打ち切り手段３０１は、量子化係数の打ち切り処理を行なう（ステップＳ１００４）。
【０１６８】
符号化手段２０５は、量子化係数に可変長符号化処理を行ない、符号を出力する（ステップＳ１００５）。
【０１６９】
逆量子化手段２０３は、量子化係数の逆量子化処理を行なう（ステップＳ１００６）。
【０１７０】
図示しない逆変換・加算手段は、逆変換処理を行なって１ブロックに対する処理を完了する（ステップＳ１００７）。
【０１７１】
動画像符号化装置は、フレーム中の全てのブロックに対する処理が完了したかを判定する（ステップＳ１００８）。ステップＳ１００８において、符号化処理が完了していないブロックがある場合（ステップＳ１００８でＮｏ）、ステップＳ１００１に戻る。一方、ステップＳ１００８において、符号化処理が完了していないブロックがない場合（ステップＳ１００８でＹｅｓ）、図２３のフローチャートに沿った処理は終了である。
【０１７２】
そして、動画像符号化装置は、ステップＳ１００１に戻ると、直前に符号化したブロックで実際に発生した符号量を反映したうえで次のブロックの量子化制御パラメータを決定する。
【０１７３】
上記の方式（係数打ち切り制御）では、ブロック単位で実際に出力した符号量をフィードバックしてフレーム全体の発生符号量を制御するため、目標符号量への制御を精密に行うことができる。
【０１７４】
〔Ｒ−ρモデル〕
また、特許文献２（特表２０１３−５３２４３９号公報）には、Ｒ−ρモデルと呼ばれるモデルに基づいたレート制御方式が開示されている（Ｒ：ビットレート、ρ：量子化後にゼロになる変換係数の比率）。
【０１７５】
一般に、Ｒ−ρモデルでは、Ｒとρとが線形に近い関係にあり、式１のように定式化される（θは係数）。
Ｒ＝θ（１−ρ）・・・（１）
Ｒ−ρモデルに基づくレート制御では、まず、仮に設定したＱＰでフレーム全体の予測、変換、量子化まで処理し、量子化係数の発生状況からＲとρの関係を得る。このとき、係数θが求められる。次に、Ｒ−ρモデルを用い、目標符号量を実現するＱＰを算出する。そして、算出したＱＰで量子化を行ない、符号を生成する。
【０１７６】
図２４は、Ｒ−ρモデルに基づいてレート制御を行なう動画像符号化装置のブロック図である。図２５は、図２４の構成における信号の流れの一例を示す概念図である。図２４の量子化手段２０２、逆量子化手段２０３および符号化手段２０５は、図１９の構成と同様に動作する。
【０１７７】
符号量モデル構築手段５０１は、変換処理の結果に基づいてＲ−ρモデルを構築する。
【０１７８】
ＱＰ制御手段５０２は、Ｒ−ρモデルを利用してフレームの発生符号量を目標符号量に合わせるようにＱＰを決定する。
【０１７９】
変換係数メモリ５０３は、１フレーム分の変換係数を記憶する。
【０１８０】
図２６は、Ｒ−ρモデルに基づいたレート制御における動作を示すフローチャートである。
【０１８１】
ＱＰ制御手段５０２は、フレーム全体に適用するＱＰを決定する（ステップＳ２００１）。例えば、Ｒ−ρモデルに基づいたレート制御では、ＴＭ―５のフレームレベル制御のように、フレーム符号化タイプによって異なる複雑度推定に基づいたフレーム単位の符号量割り当てと、過去の符号化履歴に基づくＱＰ算出などで決定することができる。また、Ｒ−ρモデルに基づいたレート制御では、入力画像と予測画像との差分の統計的性質に基づいてＱＰ算出などを用いてもよい。
【０１８２】
図示しない減算・変換手段は、ブロックに対して所定の直交変換処理を行ない、変換係数を出力し、フレーム全体の変換係数を記憶する（ステップＳ２００２）。
【０１８３】
動画像符号化装置は、フレーム中の全てのブロックに関する処理が完了したかを判定する（ステップＳ２００３）。処理が完了していないブロックがある場合（ステップＳ２００３でＮｏ）、ステップＳ２００２に戻る。一方、ステップＳ２００３において、処理が完了していないブロックがない場合（ステップＳ２００３でＹｅｓ）、ステップＳ２００４に進む。
【０１８４】
符号量モデル構築手段５０１は、フレーム内の全てのブロックにおける変換結果の変換係数の発生状況に基づいて、Ｒ−ρモデル等の符号量モデルを構築しモデルパラメータを算出する（ステップＳ２００４）。
【０１８５】
ＱＰ制御手段５０２は、Ｒ−ρモデルを利用して、フレームの発生符号量を目標符号量に合わせるようにＱＰを更新する（ステップＳ２００５）。例えば、特許文献２の技術では、変換係数のヒストグラムを構築してＱＰの値と非ゼロ係数比の関係を計算し、計算値に基づいてＱＰを変更する。
【０１８６】
量子化手段２０２は、変更したＱＰに基づいて変換係数の量子化処理を行ない、量子化係数を出力する（ステップＳ２００６）。
【０１８７】
符号化手段２０５は、量子化係数に可変長符号化処理を行ない、符号を出力する（ステップＳ２００７）。
【０１８８】
逆量子化手段２０３は、量子化係数の逆量子化処理を行なう（ステップＳ２００８）。
【０１８９】
図示しない逆変換・加算手段は、逆変換処理を行なって１ブロックの処理を完了する（ステップＳ２００９）。
【０１９０】
動画像符号化装置は、フレーム中の全てのブロックに関する処理が完了したかを判定する（ステップＳ２０１０）。処理が完了していないブロックがある場合（ステップＳ２０１０でＮｏ）、ステップＳ２００６に戻る。一方、全てのブロックで処理が完了した場合（ステップＳ２０１０でＹｅｓ）、図２６のフローチャートに沿った処理は終了である。
【０１９１】
Ｒ−ρモデルを利用した方式では、フレーム全体の変換係数の発生状況に鑑みて適切なＱＰを設定するため、フレーム内で安定した画質を達成できる。
【０１９２】
ＴＭ−５方式や係数打ち切り制御では、ブロック単位の局所的なフィードバックで制御を行なうため、フィードバックの強度によってはフレーム内でＱＰなどの制御パラメータが変動したり振動したりすることによって画質が不安定になる場合がある。これは、１フレーム内に絵柄が複雑で符号化が難しい領域と、絵柄が単純で符号化が易しい領域とが混在する場合に顕著となる。また、ＴＭ−５方式や係数打ち切り制御には、ブロック単位でのフィードバック制御であるためにブロック単位での逐次処理となり、複数のブロックを並列処理することができず、高速化が難しいという問題点がある。また、特許文献１の係数打ち切り処理を行なう方式は、制御が安定しない場合があるという問題点がある。
【０１９３】
Ｒ−ρモデルでは、フレーム全体の変換係数を用いて符号量モデルを構築して種々のＱＰ設定に対応する符号量予測を行なってＱＰを修正する。Ｒ−ρモデルでは、変換係数が画素数と同数の値が発生するために多数の変換係数値を分析することになり、処理量が大きくなる。また、Ｒ−ρモデルでは、符号量モデルを用いたＱＰ決定に基づいて制御するため、符号量モデルに誤差が発生した場合の目標符号量との差異が大きくなる可能性がある。
【０１９４】
特許文献３（特開２０１１−１４２６６０号公報）の装置は、量子化処理を２回以上実行する。量子化処理は、個々の変換係数に乗算または除算を含む演算を行なう比較的負荷の大きな処理である。そのため、特許文献３の装置には、量子化処理を繰り返し実行すると装置全体の処理負荷が大きくなるという問題点がある。
【０１９５】
以上の関連技術に対して、本発明の各実施形態によれば、第１符号化処理では量子化処理、第２符号化処理では係数打ち切り処理を行なうように構成することで、処理負荷低減と安定制御を両立できる。さらに、本発明の各実施形態によれば、量子化結果の非ゼロ係数の有無や分布状況の情報に基づいて、ブロック単位で不必要な処理をスキップしてさらに処理負荷を軽減できる。
【０１９６】
以上、実施形態を参照して本発明を説明してきたが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１９７】
この出願は、２０１６年１０月２４日に出願された日本出願特願２０１６−２０７４６９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１９８】
１    動画像符号化装置
１０    予測手段
１１    減算・変換手段
１２    量子化係数設定手段
１３    符号化手段
１４    逆量子化手段
１５    逆変換・加算手段
１６    フィルタ
１７    フレームバッファ
２１    ＱＰ制御手段
２２    量子化手段
２３    量子化係数メモリ
２４    符号量モデル構築手段
２５    打ち切り制御手段
２６    係数打ち切り手段
２７    量子化係数分析手段
２８    第２量子化係数メモリ
【図１】
2018079444.tif 000003
【図２】
2018079444.tif 000004
【図３】
2018079444.tif 000005
【図４】
2018079444.tif 000006
【図５】
2018079444.tif 000007
【図６】
2018079444.tif 000008
【図７】
2018079444.tif 000009
【図８】
2018079444.tif 000010
【図９】
2018079444.tif 000011
【図１０】
2018079444.tif 000012
【図１１】
2018079444.tif 000013
【図１２】
2018079444.tif 000014
【図１３】
2018079444.tif 000015
【図１４】
2018079444.tif 000016
【図１５】
2018079444.tif 000017
【図１６】
2018079444.tif 000018
【図１７】
2018079444.tif 000019
【図１８】
2018079444.tif 000020
【図１９】
2018079444.tif 000021
【図２０】
2018079444.tif 000022
【図２１】
2018079444.tif 000023
【図２２】
2018079444.tif 000024
【図２３】
2018079444.tif 000025
【図２４】
2018079444.tif 000026
【図２５】
2018079444.tif 000027
【図２６】
2018079444.tif 000028
【国際調査報告】
2018079444.tif 000029
2018079444.tif 000030
2018079444.tif 000031
2018079444.tif 000032