(57)【要約】  動画像符号化装置は、入力映像を入力として符号化パラメータを出力する符号化パラメータ探索手段１０と、入力映像と符号化パラメータとを入力して符号化を行う符号化手段２０とを有し、目標符号量と符号化状況情報とに基づいて、少なくとも拡大の程度を示すブロックサイズ拡大パラメータを決定する符号量制御手段３０と、ブロックサイズ拡大パラメータに基づいて入力映像ブロックサイズを拡大するブロックサイズ拡大手段４０とを備える。
2016116984.tif 000002
【特許請求の範囲】
【請求項１】
入力映像を入力として符号化パラメータを出力する符号化パラメータ探索手段と、
前記入力映像と前記符号化パラメータとを入力して符号化を行う符号化手段とを有する動画像符号化装置であって、
目標符号量と符号化状況情報とに基づいて、少なくとも拡大の程度を示すブロックサイズ拡大パラメータを決定する符号量制御手段と、
前記ブロックサイズ拡大パラメータに基づいて入力映像ブロックサイズを拡大するブロックサイズ拡大手段とを備える
ことを特徴とする動画像符号化装置。
【請求項２】
符号化状況情報に関する閾値とブロックサイズ拡大パラメータとの組を複数記憶するパラメータテーブルを備え、
前記符号量制御手段は、入力された符号化状況情報が示す値と閾値との比較結果に応じた前記ブロックサイズ拡大パラメータを前記パラメータテーブルから選択する
請求項１記載の動画像符号化装置。
【請求項３】
前記符号量制御手段は、過去に入力された符号化状況情報の統計情報と入力された符号化状況情報が示す値との比較結果に応じた前記ブロックサイズ拡大パラメータを選択する
請求項１記載の動画像符号化装置。
【請求項４】
符号化データの符号量を符号化状況情報として出力する符号量出力手段を備える
請求項１から請求項３のうちのいずれか１項に記載の動画像符号化装置。
【請求項５】
入力映像を解析し、符号化後の符号量の予測に使用可能な特徴量を算出して符号化状況情報として出力する複雑度算出手段を備える
請求項１から請求項４のうちのいずれか１項に記載の動画像符号化装置。
【請求項６】
符号化データの符号量のうち動きベクトルの符号量が占める割合を算出して符号化状況情報として出力する占有率算出手段を備える
請求項１から請求項５のうちのいずれか１項に記載の動画像符号化装置。
【請求項７】
入力映像のシーンチェンジを検出すると、シーンチェンジ検出信号を符号化状況情報として出力するシーンチェンジ検出手段を備える
請求項１から請求項６のうちのいずれか１項に記載の動画像符号化装置。
【請求項８】
ＧＯＰが変更されるときに、変更後のＧＯＰ構造を示すデータを符号化状況情報として出力するＧＯＰ構造決定手段を備える
請求項１から請求項７のうちのいずれか１項に記載の動画像符号化装置。
【請求項９】
入力映像を入力として符号化パラメータを生成し、
前記入力映像と前記符号化パラメータとを入力して符号化を行う動画像符号化方法であって、
目標符号量と符号化状況情報とに基づいて、少なくとも拡大の程度を示すブロックサイズ拡大パラメータを決定し、
前記ブロックサイズ拡大パラメータに基づいて入力映像ブロックサイズを拡大する
ことを特徴とする動画像符号化方法。
【請求項１０】
入力映像を入力として符号化パラメータを生成し、前記入力映像と前記符号化パラメータとを入力して符号化を行うための動画像符号化プログラムであって、
コンピュータに、
目標符号量と符号化状況情報とに基づいて、少なくとも拡大の程度を示すブロックサイズ拡大パラメータを決定する処理と、
前記ブロックサイズ拡大パラメータに基づいて入力映像ブロックサイズを拡大する処理とを実行させる
ための動画像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、再帰的クアッドツリー構造に基づくユニットについて符号化処理を行う動画像符号化装置、動画像符号化方法および動画像符号化プログラムに関する。
【背景技術】
【０００２】
非特許文献１には、ITU-T 勧告H.265 規格に基づく映像符号化方式であるHEVC（High Efficiency Video Coding）が記載されている。【０００３】
HEVCでは、ディジタル化された映像の各フレームは符号化ツリーユニット（CTU:Coding Tree Unit）に分割され、ラスタスキャン順に各CTU が符号化される。各CTUは、クアッドツリー構造で、符号化ユニット（CU:Coding Unit）に分割されて符号化される。各CUは、予測ユニット（PU:Prediction Unit）に分割されて予測される。また、各CUの予測誤差は、クアッドツリー構造で、変換ユニット（TU: Transform Unit）に分割されて周波数変換される。最も大きなサイズのCUを最大CU（LCU: Largest Coding Unit）といい、最も小さなサイズのCUを最小CU（SCU: Smallest Coding Unit ）という。【０００４】
CUは、イントラ予測またはフレーム間予測（インター予測）によって予測符号化される。【０００５】
図１９は、CTU サイズが６４×６４（６４画素×６４画素）の場合のCU分割例を示す説明図である。図１９（Ａ）には、分割形状（以下、ブロック構造ともいう。）の一例が示され、図１９（Ｂ）には、図１９（Ａ）に示す分割形状に対応するCUクアッドツリー構造が示されている。【０００６】
また、CUは、クアッドツリー構造でTUに分割される。分割の仕方は、図１９（Ａ）に示すCU分割の場合と同様である。【０００７】
図２０は、CUのPU分割例を示す説明図である。ただし、図２０（Ａ）には、CTU のCU分割例が例示されている。【０００８】
図２０（Ｂ）において、上段には、インター予測のPU分割例が示され、下段には、イントラ予測のPU分割例が示されている。インター予測で符号化が行われる場合には、ＣＵサイズと同じサイズ（２Ｎ×２Ｎ）、２通りの対称な長方形分割（２Ｎ×Ｎ、Ｎ×２Ｎ）、および４通りの非対称な長方形分割（２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＲ×２Ｎ、ｎＬ×２Ｎ）の計７通りのいずれかを選択しうる。イントラ予測で符号化が行われる場合は、ＣＵサイズと同じサイズ（２Ｎ×２Ｎ）とＣＵサイズを４分割したサイズ（Ｎ×Ｎ）とのいずれかを選択しうる。ただし、Ｎ×ＮはＣＵが最小サイズの場合に選択可能である。【０００９】
インター予測で符号化が行われる場合、PU毎に動きベクトルを伝送できる。よって、CUクアッドツリー構造によって、CTU あたりの動きベクトルの数が変化する。分割が細かいほど動きベクトルの数は増え、動きベクトルの符号量が増大する。【００１０】
イントラ予測で符号化が行われる場合で分割がなされるときには、TUは、CUと同じサイズのブロックまたはCUが４分割されたブロックであるPUを起点にして逐次分割される。インター予測で符号化が行われる場合には、TUは、CUを起点にして逐次分割される。【００１１】
図２１を参照して、ディジタル化された映像の各フレームを入力画像としてビットストリームを出力する一般的な動画像符号化装置の構成と動作を説明する。【００１２】
図２１に示す動画像符号化装置は、符号化パラメータ探索器２１０と符号化器２２０とを備える。符号化器２２０は、変換器２２１、量子化器２２２、エントロピー符号化器２２７、逆量子化器２２３、逆変換器２２４、バッファ２２５、および予測器２２６を含む。【００１３】
符号化パラメータ探索器２１０は、CTU のCUクアッドツリー構造／PU分割形状／TUクアッドツリー構造、CUの予測モード、イントラPUのイントラ予測方向、およびインターPUの動きベクトルに関して、それぞれの符号化コストを計算し、それぞれの符号化コストを比較することによって、符号化パラメータを決定する。符号化コストには、符号量に関する値と符号化歪み（画質に相関する。）とが反映されている。符号化パラメータ探索器２１０は、一例として、以下のRD（Rate Distortion ）コストを使用する。【００１４】
Cost ＝ D ＋  λ・R【００１５】
D は符号化歪みであり、R は、変換係数まで加味した符号量であり、λはラグランジェ乗数である。【００１６】
符号化パラメータ探索器２１０は、CTU 毎に、画像の特徴に合わせて符号化効率が高くなるように、CUクアッドツリー構造／PU分割形状／TUクアッドツリー構造を決定する。【００１７】
予測器２２６は、符号化パラメータ探索器２１０が決定したCUクアッドツリー構造およびPU分割形状に基づいて、CUの入力画像信号に対する予測信号を生成する。予測信号は、イントラ予測またはインター予測に基づいて生成される。【００１８】
変換器２２１は、符号化パラメータ探索器２１０が決定したTUクアッドツリー構造に基づいて、入力画像信号から予測信号を減じた予測誤差画像（予測誤差信号）を周波数変換する。変換器２２１は、予測誤差信号の変換符号化において、周波数変換に基づいた４×４、８×８、１６×１６または３２×３２ブロックサイズの直交変換を使用する。具体的には、イントラ符号化またはインター符号化されるCUの輝度成分の４×４TUに対して、整数演算で近似した（整数精度の）DST （Discrete Sine Transform ：離散サイン変換）を使用する。その他のTUに対して、そのブロックサイズに対応する、整数演算で近似した（整数精度の）DCT （Discrete Cosine Transform ：離散コサイン変換）を使用する。【００１９】
量子化器２２２は、量子化パラメータQpと変換器２２１から供給される変換係数（直交変換係数）cij を入力として量子化処理を行い、量子化係数qij を得る。qij は以下の計算で得られる。【００２０】
qij = Int(cij / Qstep)
Qstep = (mij * 2qbit) / (Qscale(Qp%6))
qbit = 25 + (Qp / 6) - (BitDepth - log2(N)【００２１】
mij は量子化重み付け係数、Qscaleは量子化ステップ係数、BitDepthは入力画像の画素ビット精度、N は直交変換のサイズである。Qpが大きいほどQstep が大きくなり、結果として得られる値qij の符号量は小さくなる。【００２２】
逆量子化器２２３は、量子化係数を逆量子化する。さらに、逆変換器２２４は、逆量子化結果を逆変換する。逆変換により得られた予測誤差画像は、予測信号が加えられて、バッファ２２５に供給される。バッファ２２５は、画像を参照画像として格納する。【００２３】
動画像符号化装置は、符号量制御部（図示せず）を含む。符号量制御部は、現在符号化中のフレームを符号化した結果の符号量が、目標符号量となるように符号化処理を制御する。たとえば量子化パラメータQpを変化させることにより、量子化係数qij の符号量を制御する。なお、λをQpの関数とすることにより、Qpを介して符号化パラメータ探索器２１０の機能（CUクアッドツリー構造／PU分割形状／TUクアッドツリー構造の決定）を制御することもできる。【００２４】
特許文献１には、上記の符号量制御とは異なる技術であって、符号量が目標符号量を超過すると判断されたときの符号量制御技術が開示されている。具体的には、目標符号量を超過しないようにするために、符号化済みフレームのコピーであるとの情報のみを伝送することによって符号量を削減する。コピーであるとの情報は、スキップモードであることのみをシグナリングすることで実現される。【００２５】
スキップモードは、隣接ブロックの動きベクトルと同じであり、かつ、予測誤差信号の量子化係数がブロック中にないことを示すモードである。換言すれば、動画像符号化方式が提供する複数の符号化モードのうち、符号化対象ブロックの持つ動きベクトルが、空間的または時間的に隣接するブロックの持つ動きベクトルと同一であることのみを伝送する伝送モードである。【００２６】
図２２には、８個存在するブロックのうち、左上端のブロック以外の全てをスキップモードにする前後での動きベクトルの変化が例示されている。図２２（Ａ）に示す例では、スキップモードにする前では、それぞれのブロックが異なる動きベクトルを保持している。しかし、図２２（Ｂ）に示すように、スキップモードにした後では、全てのブロックが左上端のブロックと同じベクトルを持つ。さらに、左上端のブロックもスキップモードにすると、動きベクトルは０になる。よって、画面全体でスキップモードを使用することによって、動きがなく、かつ予測残差信号もないこと、すなわち参照画像をそのまま使用したコピー画像であることを伝送することができる。【００２７】
なお、特許文献１には、伝送レートが所定値を超える場合に、スキップモードを適用することが記載されている。
【先行技術文献】
【特許文献】
【００２８】
【特許文献１】特開平６−３０３０９６号公報
【非特許文献】
【００２９】
【非特許文献１】ITU-T 勧告 H.265 High efficiency video coding, April 2013
【発明の概要】
【発明が解決しようとする課題】
【００３０】
例えば、映像が大きく変化する場合（シーンチェンジ）や、符号化困難な映像が原画として入力された場合、さらには動きベクトルなどの符号化パラメータの選択が適切でなかった場合などに、画面間予測に用いる動きベクトルの符号量だけで、目標符号量を超過してしまう可能性がある。そのような場合には、量子化パラメータQpの制御による量子化係数の符号量制御だけでは目標符号量を達成することはできないので、動きベクトルの符号量を削減する必要がある。【００３１】
特許文献１に記載された動画像符号化装置は、動きベクトルの符号量を削減するために、伝送レートが所定値（目標符号量に相当）を超える場合にスキップモードを強制的に使用する。スキップモードを画面全体で強制的に用いることによって、全てのブロックの動きベクトルが０であること、すなわち、動きが全くないことのみを伝送し、伝送される符号量を少なくすることができる。【００３２】
しかし、動きがある映像に対して、画面全体へのスキップモードを適用する場合には、本来動きのある映像であるのに対して静止した映像が伝送されることになり、画質劣化が生ずる。【００３３】
本発明は、動きベクトルの符号量削減に伴う画質劣化を軽減できる動画像符号化装置、動画像符号化方法および動画像符号化プログラムを提供することを目的とする。
【課題を解決するための手段】
【００３４】
本発明による動画像符号化装置は、入力映像を入力として符号化パラメータを出力する符号化パラメータ探索手段と、入力映像と符号化パラメータとを入力して符号化を行う符号化手段とを有する動画像符号化装置であって、目標符号量と符号化状況情報とに基づいて、少なくとも拡大の程度を示すブロックサイズ拡大パラメータを決定する符号量制御手段と、ブロックサイズ拡大パラメータに基づいて入力映像ブロックサイズを拡大するブロックサイズ拡大手段とを備えることを特徴とする。【００３５】
本発明による動画像符号化方法は、入力映像を入力として符号化パラメータを生成し、入力映像と符号化パラメータとを入力して符号化を行う動画像符号化方法であって、目標符号量と符号化状況情報とに基づいて、少なくとも拡大の程度を示すブロックサイズ拡大パラメータを決定し、ブロックサイズ拡大パラメータに基づいて入力映像ブロックサイズを拡大することを特徴とする。【００３６】
本発明による動画像符号化プログラムは、入力映像を入力として符号化パラメータを生成し、入力映像と符号化パラメータとを入力して符号化を行うための動画像符号化プログラムであって、コンピュータに、目標符号量と符号化状況情報とに基づいて、少なくとも拡大の程度を示すブロックサイズ拡大パラメータを決定する処理と、ブロックサイズ拡大パラメータに基づいて入力映像ブロックサイズを拡大する処理とを実行させることを特徴とする。
【発明の効果】
【００３７】
本発明によれば、動きベクトルの符号量削減に伴う画質劣化を軽減できる。
【図面の簡単な説明】
【００３８】
【図１】動画像符号化装置の第１の実施形態を示すブロック図である。
【図２】動きベクトル選定方法を示す説明図である。
【図３】動きベクトルの平均ベクトルを説明するための説明図である。
【図４】動画像符号化装置の動作を示すフローチャートである。
【図５】第１の実施形態の動画像符号化装置の第１の例を示すブロック図である。
【図６】パラメータテーブルの記憶内容の一例を示す説明図である。
【図７】ブロックサイズ拡大パラメータの選択方法を示すフローチャートである。
【図８】第１の実施形態の動画像符号化装置の第２の例を示すブロック図である。
【図９】動画像符号化装置の第２の実施形態を示すブロック図である。
【図１０】第２の実施形態の動画像符号化装置の第１の例を示すブロック図である。
【図１１】第２の実施形態の動画像符号化装置の第２の例を示すブロック図である。
【図１２】第２の実施形態の動画像符号化装置の第３の例を示すブロック図である。
【図１３】第２の実施形態の動画像符号化装置の第４の例を示すブロック図である。
【図１４】第２の実施形態の動画像符号化装置の第５の例を示すブロック図である。
【図１５】動画像符号化装置の第３の実施形態を示すブロック図である。
【図１６】ブロック拡大の前後での動きベクトルの変化を示す説明図である。
【図１７】本発明による動画像符号化装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。
【図１８】本発明による動画像符号化装置の主要部を示すブロック図である。
【図１９】CTU サイズが６４×６４の場合のCU分割例を示す説明図である。
【図２０】CUのPU分割例を示す説明図である。
【図２１】一般的な動画像符号化装置を示すブロック図である。
【図２２】スキップモードにする前後での動きベクトルの変化を示す説明図である。
【発明を実施するための形態】
【００３９】
実施形態１．
図１は、動画像符号化装置の第１の実施形態を示すブロック図である。図１に示す動画像符号化装置は、入力映像を入力として符号化パラメータを生成して出力する符号化パラメータ探索器１１０と、符号化器１２０と、ブロック拡大器１４０と、符号量制御器１３０とを含む。符号化器１２０は、図２１に示された符号化器２２０と同様に構成される。
【００４０】
ブロック拡大器１４０は、符号化パラメータとブロックサイズ拡大パラメータとを入力として、符号化パラメータ中のブロック分割および動きベクトル情報を変更して出力する。変更の方法は、ブロックサイズ拡大パラメータに応じて変化する。出力された符号化パラメータは符号化器１２０に入力される。
【００４１】
ブロックサイズ拡大パラメータは大別すると以下の３つの情報に分けることができる。
（１）拡大可否判断条件
（２）拡大方針
（３）拡大時の動きベクトル選択方法
【００４２】
「拡大可否判断条件」は、例えば、以下のうちのいずれかである。
【００４３】
第１条件：４分木構造の子ノードに相当する４つのブロックがすべて同じサイズであり、かつ、それら４つ全てがインター予測ブロックであり、さらに、それら４つが２Ｎ×２ＮのPUである場合に拡大（複数ブロックを１つにマージ）。
第２条件：４分木構造の子ノードに相当する４つのブロックがすべて同じサイズであり、かつ、それら４つ全てがインター予測ブロックである場合に拡大。それら４つのPUサイズについては不問。
第３条件：４分木構造の子ノードに相当する４つのブロックがすべて同じサイズであり、かつ、全て２Ｎ×２ＮのPUであり、かつ、それら４つのうちｍ（予め定められている４未満の自然数）個以下がイントラ予測ブロックである場合に拡大。なお、この場合には、拡大後の１つのブロックは、インター予測ブロックとされる。
第４条件：４分木構造の子ノードに相当する４つのブロックがすべて同じサイズであり、かつ、それら４つのうちｍ個以下がイントラ予測ブロックである場合に拡大。このとき、４つのブロックのPUサイズについては不問。
【００４４】
なお、上記のｍは、任意に定められるが、一例として、符号量制御器１３０は、符号化器１２０が出力する単位時間当たりの符号量（ビットレート）が第１の閾値（目標符号量に基づいて決定されるが、目標符号量よりも少ない量）を超える場合、または、超えそうな場合に、ｍの値を最大（上記の例では、３）にし、第１の閾値よりも小さい第２の閾値を超える場合、または、超えそうな場合に、ｍの値を最大値よりも小さい値に設定する。
【００４５】
また、符号量制御器１３０は、拡大可否判断条件のブロックサイズ拡大パラメータとして、第１条件〜第４条件の全てを出力してもよいが、状況（例えば、符号化器１２０が出力する単位時間当たりの符号量）に応じて、拡大可否判断条件のブロックサイズ拡大パラメータを変更してもよい。例えば、符号量制御器１３０は、最初は第１条件のみを出力し、単位時間当たりの符号量が増えるに従って、他の条件を追加する。
【００４６】
第１条件〜第４条件の各々が選択された場合、以下のような状態が生ずる。
【００４７】
第１条件について：例えば、４つのブロックが１つのブロックにマージされるので、その場合、４つの動きベクトルが１つの動きベクトルで代表される。よって、画質が悪くなるが、動きベクトルを表現するための符号量が１／４程度に減ることが期待される。ただし、動画像が静止した映像になるというほどではないが、画質はやや劣化する。
【００４８】
第２条件について：例えば、４つのブロックの中に、２Ｎ×２Ｎのブロックではないブロック（図２０（Ｂ）の上段に示されたPU分割によれば、複数のPUに分割される。）がある場合には、拡大前に存在する５つ以上のPUについての動きベクトルが１つの動きベクトルで代表される。よって、動きベクトルを表現するための符号量は、第１条件が選択された場合に比べて減ることが期待される。ただし、動画像が静止した映像になるというほどではないが、画質は劣化する。
【００４９】
第３条件および第４条件について：拡大前にインター予測ブロックとイントラ予測ブロックとが混在している場合に、１つのインター予測ブロックにマージされるので、符号量削減効果が大きい。ただし、動画像が静止した映像になるというほどではないが、第１条件および第２条件の場合よりも画質は劣化する。
【００５０】
なお、符号量制御器１３０は、第１条件〜第４条件のうち一部のみを使用してもよい。
【００５１】
「拡大方針」は、例えば、以下のうちのいずれかである。すなわち、「拡大方針」は、拡大の程度を示す。
【００５２】
０：拡大しない
１：１段階大きいサイズへ拡大
２：２段階大きいサイズへ拡大
３：３段階大きいサイズへ拡大
４：１６×１６より小さいサイズのブロックをすべて１６×１６に拡大
５：３２×３２より小さいサイズのブロックをすべて３２×３２に拡大
６：６４×６４より小さいサイズのブロックをすべて６４×６４に拡大
【００５３】
以下、ブロックサイズを拡大しないことを、ブロックサイズ拡大パラメータが０であるということがある。
【００５４】
なお、符号量制御器１３０は、拡大方針のブロックサイズ拡大パラメータとして、上記の７つのパラメータを任意に出力できる。一例として、符号量制御器１３０は、符号化器１２０が出力する単位時間当たりの符号量が第１の閾値（目標符号量に基づいて決定されるが、目標符号量よりも少ない量）を超える場合、または、超えそうな場合に、上記の１〜３のうちの「３」のパラメータ、または、上記の４〜６のうちの「６」のパラメータを出力する。
【００５５】
なお、符号量制御器１３０は、上記の７つのパラメータのうち一部のみを使用してもよい。
【００５６】
「拡大時の動きベクトル選定方法」は、例えば、以下のうちのいずれかである。
【００５７】
０：左上位置ブロックの動きベクトルを、拡大後ブロックの動きベクトルとする（図２（Ａ）参照）。
１：右上位置ブロックの動きベクトルを、拡大後ブロックの動きベクトルとする（図２（Ｂ）参照）。
２：左下位置ブロックの動きベクトルを、拡大後ブロックの動きベクトルとする（図２（Ｃ）参照）。
３：右下位置ブロックの動きベクトルを、拡大後ブロックの動きベクトルとする（図２（Ｄ）参照）。
４：４ブロックの動きベクトルの平均ベクトルを、拡大後ブロックの動きベクトルとする（図３参照）。
【００５８】
なお、符号量制御器１３０は、上記の５つのパラメータのうちのいずれかのパラメータを常に出力するように構成されていてもよいし、状況（例えば、画像の内容）に応じて、使用するパラメータを切り替えるように構成されていてもよい。
【００５９】
また、符号量制御器１３０は、上記の５つのパラメータのうちの一部のみを使用してもよい。
【００６０】
符号量制御器１３０は、目標符号量と符号量情報（例えば、符号化器１２０が出力する単位時間当たりの符号量）とを入力として、現在符号化中の映像の符号量が目標符号量を超過しないようにブロックサイズ拡大パラメータを出力する。
【００６１】
次に、図４のフローチャートを参照して本実施形態の動画像符号化装置の動作を説明する。
【００６２】
入力画像の符号化が開始されると、まず、符号化パラメータ探索器１１０が、ブロック分割を行い、ブロック毎の符号化モードおよび予測モードを探索し符号化パラメータ＃１を決定する（ステップＳ１０１）。符号化パラメータ探索器１１０は、例えば、RDコストが高くなるように符号化パラメータを決定し、符号化パラメータ＃１として出力する。同時に、符号量制御器１３０は、目標符号量と符号化状況情報を基にしてブロックサイズ拡大パラメータを決定する（ステップＳ１０２）。なお、符号化状況情報は、例えば、符号化器１２０が出力する符号量のビットレートである。しかし、符号化状況情報は、ビットレートに限定されない。後述するように、符号化器１２０の動作状況（すなわち、例えば、ビットレートの増加状況）を認識可能な情報であれば、他の情報を用いてもよい（第２の実施形態参照）。
【００６３】
符号量制御器１３０は、上記の「拡大可否判断条件」、「拡大方針」および「拡大時の動きベクトル選定方法」のブロックサイズ拡大パラメータを出力する。
【００６４】
次に、ブロック拡大器１４０は、「拡大方針」によって、ブロックサイズ拡大パラメータが０であるかどうかを判断する（ステップＳ１０３）。ブロックサイズ拡大パラメータが０でない場合、ブロック拡大器１４０は、ブロックサイズ拡大パラメータに基づいて、ステップＳ１０２の処理で得られた符号化パラメータ＃１を修正し、符号化パラメータ＃２を出力する（ステップＳ１０４）。具体的には、ブロック拡大器１４０は、「拡大可否判断条件」に含まれる条件（第１条件〜第４条件のいずれか）に基づいてブロックを拡大すべきか否か決定し、ブロックを拡大すべきと決定した場合には、「拡大方針」に従って拡大の仕方を決定し、符号量制御器１３０から入力した「拡大時の動きベクトル選定方法」を動きベクトルの決定方法とする。
【００６５】
ブロック拡大器１４０は、ブロックサイズ拡大パラメータが０である場合には、符号化パラメータ＃１を修正せず、符号化パラメータ＃１を符号化パラメータ＃２とする。そして、符号化器１２０は、符号化パラメータ＃２を用いて、入力画像を符号化する（ステップＳ１０５）。なお、ブロック拡大器１４０は、「拡大方針」が「拡大しない」（＝０）でない場合であっても、「拡大可否判断条件」が満たされない場合には、符号化パラメータ＃１を修正しない。
【００６６】
次に、符号量制御器１３０の具体例を説明する。図５は、第１の実施形態の動画像符号化装置の第１の例を示すブロック図である。図５に示す符号量制御器１３０は、ブロックサイズ拡大パラメータを出力するために、パラメータテーブル１３１を記憶する。
【００６７】
図６は、パラメータテーブル１３１の記憶内容の一例を示す。図６に示す例では、パラメータテーブル１３１には、閾値とブロックサイズ拡大パラメータとの組（Ｔｈ１とｐａｒａｍ１、Ｔｈ２とｐａｒａｍ２、ＴｈＮとｐａｒａｍＮ）が複数記憶される。なお、ｐａｒａｍ１、ｐａｒａｍ２およびｐａｒａｍＮの各々は、上記の「拡大可否判断条件」、「拡大方針」および「拡大時の動きベクトル選定方法」のパラメータを含む。
【００６８】
図７は、ブロックサイズ拡大パラメータの選択方法を示すフローチャートである。図７に示すように、符号量制御器１３０は、符号化状況情報が各々の閾値を超えているか否かに応じたブロックサイズ拡大パラメータを出力する。
【００６９】
具体的には、符号量制御器１３０は、符号化状況情報が示す値が第１の閾値（Ｔｈ１）よりも小さいときには、「拡大しない」（＝０）を示すデータを出力する（ステップＳ１０１１）。符号化状況情報が示す値が第２の閾値（Ｔｈ２）よりも小さいときには、第１のブロックサイズ拡大パラメータ（ｐａｒａｍ１）を出力する（ステップＳ１０１２）。符号化状況情報が示す値が第３の閾値（ＴｈＮ）よりも小さいときには、第２のブロックサイズ拡大パラメータ（ｐａｒａｍ２）を出力する（ステップＳ１０１３）。また、符号化状況情報が示す値が第３の閾値（ＴｈＮ）以上であるときには、第Ｎのブロックサイズ拡大パラメータ（ｐａｒａｍＮ）を出力する。
【００７０】
なお、この例では、ｐａｒａｍＮは、最も符号量低減効果が高くなるブロックサイズ拡大パラメータを含む。符号量低減効果が高くなるパラメータは、例えば、より大きいサイズに拡大されたり（「拡大方針」に関して）、「拡大」が選択されやすいこと（「拡大可否判断条件」に関して）に対応するパラメータである。
【００７１】
次に、符号化状況情報の具体例について説明する。
【００７２】
図８は、第１の実施形態の動画像符号化装置の第２の例を示すブロック図である。図８に示す例では、符号量制御器１３０は、第１の例における閾値に代えて、過去統計情報１３２を使用する。過去統計情報１３２は、過去に入力された符号化状況情報の統計情報（例えば、ビットレートの平均値）である。符号量制御器１３０は、過去統計情報１３２と、現在の符号化状況情報とを用いて比較することによって符号量が目標符号量を超過するかどうか判断し、超過すると判断した場合には、０ではないブロックサイズ拡大パラメータを出力する。
【００７３】
なお、符号量制御器１３０は、過去統計情報１３２と第１の例におけるパラメータテーブル１３１とを併用してもよい。その場合、一例として、過去統計情報１３２に基づいて、符号量が目標符号量を超過しそうであると判断したときに、第１の例に基づいてブロックサイズ拡大パラメータを出力する。ただし、第１の例では、符号量制御器１３０は、「拡大しない」（＝０）を示すデータを出力することがあるが、第２の例では、「拡大しない」（＝０）を示すデータを出力しないようにする。第２の例では、符号量が目標符号量を超過すると判断した場合に、０ではないブロックサイズ拡大パラメータを出力するように制御されるからである。
【００７４】
実施形態２．
図９は、動画像符号化装置の第２の実施形態を示すブロック図である。図９には、符号化状況情報を出力する符号化状況情報出力器１５０が明示されている。
【００７５】
図１０は、第２の実施形態の動画像符号化装置の第１の例を示すブロック図である。図１０に示す符号化状況情報出力器１５０は、符号量出力器１５１を含む。
【００７６】
なお、符号化パラメータ探索器１１０、符号量制御器１３０、ブロック拡大器１４０および符号化器１２０の動作は第１の実施形態の場合と同様である。
【００７７】
符号量出力器１５１は、符号化器１２０がブロックまたはピクチャの符号化を完了するごとに、そのブロックまたはピクチャの符号化データの量（符号量）を入力し、符号量を符号化状況情報として出力する。
【００７８】
図１１は、第２の実施形態の動画像符号化装置の第２の例を示すブロック図である。図１１に示す符号化状況情報出力器１５０は、複雑度算出器１５２を含む。
【００７９】
なお、符号化パラメータ探索器１１０、符号量制御器１３０、ブロック拡大器１４０および符号化器１２０の動作は第１の実施形態の場合と同様である。
【００８０】
複雑度算出器１５２は、入力映像を解析し、符号化後の符号量の予測に使用可能な特徴量を出力する。複雑度算出器１５２は、一例として、１フレームを所定サイズのブロックに分割したときの各ブロック内の画素値の分散を算出したり、あるフレームとその前フレームとの差分フレームを所定のサイズのブロックに分割したときの各ブロック内の画素値の分散を算出し、算出した値を特徴量として出力する。従って、特徴量は、入力映像の符号化の困難さの度合い（符号化器１２０が発生する符号量の程度（多い／少ない））を示す。
【００８１】
符号化状況情報出力器１５０は、複雑度算出器１５２が出力した特徴量を符号化状況情報として出力する。
【００８２】
符号量制御器１３０は、符号化状況情報出力器１５０が出力した符号化状況情報（特徴量）に基づいて、符号化器１２０の符号化結果（具体的には、符号化されたデータ）の符号量を予測する。そして、符号量制御器１３０は、符号量が目標符号量を超過するかどうか判断し、超過すると判断した場合には、０ではないブロックサイズ拡大パラメータを出力する。
【００８３】
図１２は、第２の実施形態の動画像符号化装置の第３の例を示すブロック図である。図１２に示す符号化状況情報出力器１５０は、動きベクトルバッファ占有率算出器１５３を含む。動きベクトルバッファ占有率算出器１５３は、符号化結果バッファ１５３１と占有率算出器１５３２とを有する。
【００８４】
なお、符号化パラメータ探索器１１０、符号量制御器１３０、ブロック拡大器１４０および符号化器１２０の動作は第１の実施形態の場合と同様である。
【００８５】
動きベクトルバッファ占有率算出器１５３は、符号化器１２０の符号化結果（具体的には、符号化されたデータ）を一時記憶する。占有率算出器１５３２は、符号化結果バッファ１５３１に蓄積されたデータ量（符号量）のうち動きベクトルの符号量が占める割合を算出する。そして、符号化状況情報出力器１５０は、占有率算出器１５３２が算出した割合を符号化状況情報として出力する。
【００８６】
符号量制御器１３０は、符号化状況情報として割合に基づいて、第１の実施形態について説明された制御によって、ブロックサイズ拡大パラメータを出力する。この例では、符号化状況情報が示す値（すなわち、動きベクトルの符号量が占める割合）が大きいほど、符号量低減効果が高くなるブロックサイズ拡大パラメータを出力する。
【００８７】
図１３は、第２の実施形態の動画像符号化装置の第４の例を示すブロック図である。図１３に示す符号化状況情報出力器１５０は、シーンチェンジ検出器１５４を含む。
【００８８】
なお、符号化パラメータ探索器１１０、符号量制御器１３０、ブロック拡大器１４０および符号化器１２０の動作は第１の実施形態の場合と同様である。
【００８９】
シーンチェンジ検出器１５４は、入力映像の急峻な変化（シーンチェンジ）を検出すると、符号量制御器１３０に、シーンチェンジ検出信号を符号化状況情報として出力する。なお、シーンチェンジを検出する方法として種々の方法があるが、基本的には連続するフレームの特徴量を比較し、その変化が大きいフレームをシーンチェンジが発生したフレームとする。
【００９０】
符号量制御器１３０は、シーンチェンジ検出信号が入力されると、第１の実施形態について説明された制御によって、ブロックサイズ拡大パラメータを出力する。ただし、第１の実施形態では、符号量制御器１３０は、複数のブロックサイズ拡大パラメータから選択されたパラメータを出力可能であるが、この例では、シーンチェンジ検出信号が入力されないときには、符号量制御器１３０は、「拡大しない」（＝０）を示すデータを出力し、シーンチェンジ検出信号が入力されたときには、一例として、あらかじめ決められているブロックサイズ拡大パラメータを出力する。
【００９１】
図１４は、第２の実施形態の動画像符号化装置の第５の例を示すブロック図である。図１４に示す符号化状況情報出力器１５０は、ＧＯＰ（Group of Picture）構造決定器１５５を含む。ＧＯＰ構造決定器１５５は、符号化状況情報出力器１５０の外部に設けられていてもよい。
【００９２】
なお、符号化パラメータ探索器１１０、符号量制御器１３０、ブロック拡大器１４０および符号化器１２０の動作は第１の実施形態の場合と同様である。
【００９３】
ＧＯＰ構造決定器１５５は、映像符号化時のピクチャのグループ構成（ＧＯＰ構造）を決定する。そして、ＧＯＰ構造決定器１５５は、グループ構成を変更するときに、ＧＯＰ構造を変更することを示すデータと変更後のＧＯＰ構造を示すデータとを符号化状況情報として出力する。
【００９４】
符号量制御器１３０は、ＧＯＰ構造を変更することを示すデータと変更後のＧＯＰ構造を示すデータが入力されると、第１の実施形態について説明された制御によって、ブロックサイズ拡大パラメータを出力する。例えば、ＧＯＰ構造を変更することを示すデータが入力されると、「拡大しない」（＝０）を示すデータを出力することに決定し、変更後のＧＯＰ構造を示すデータを基に、いずれのブロックサイズ拡大パラメータを出力するのかを決定する。
【００９５】
なお、上記の第１の例〜第５の例として示された方法のうちのいずれか１つが用いられてもよいし、それらの方法のうちの任意の２つ以上の方法が併用されてもよい。
【００９６】
実施形態３．
図１５は、動画像符号化装置の第３の実施形態を示すブロック図である。図１５に示す動画像符号化装置において、符号化状況情報出力器１５０は、目標符号量決定器１５６を含む。
【００９７】
なお、符号化パラメータ探索器１１０、符号量制御器１３０、ブロック拡大器１４０および符号化器１２０の動作は第１の実施形態の場合と同様である。
【００９８】
また、符号化状況情報出力器１５０は、第２の実施形態における第１の例〜第５の例のいずれか１つ以上の方法を実行する機能（図１０〜図１４参照）を備えていてもよい。
【００９９】
目標符号量決定器１５６は、例えば、目標符号量が変更されたときに、変更後の目標符号量を符号量制御器１３０に供給する。なお、目標符号量が変更される契機は、例えば、動画像符号化装置の外部から入力される目標符号量が変化するときや、符号量制御器１３０における過去の符号量が設定済の目標符号量を超過しない期間が所定期間以上継続したときや、符号量制御器１３０における過去の符号量が設定済の目標符号量を超過する頻度が所定の閾値を超えたときなどである。
【０１００】
また、目標符号量決定器１５６は、目標符号量が変化することを示すデータを符号化状況情報として出力するように構成されていてもよい。その場合、符号量制御器１３０は、目標符号量が変化するときに、いずれのブロックサイズ拡大パラメータを出力するのかを決定する。
【０１０１】
本発明では、ブロック拡大器１４０および符号化器１２０が、符号量制御器１３０が出力するブロックサイズ拡大パラメータに従って動作することによって、符号量が急激に多くなりそのままでは目標符号量を超過するような状況においても、動きベクトルの数を削減し、目標符号量を超過しないような映像符号化を行うことができる。ブロックサイズが拡大されることによって動きベクトルの数が削減されるからである。
【０１０２】
スキップモードを使用する場合、スキップモードにした後では、全てのブロックの動きベクトルの向きが同じになり画質が劣化するが（図２２参照）、本発明によれば、ブロックサイズが拡大された後の動きベクトルの向きが常に同じということにはならず、動き情報がある程度保存される（図１６参照）。すなわち、画質劣化を軽減することができる。
【０１０３】
なお、上記の実施形態の動画像符号化装置を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
【０１０４】
図１７に示す情報処理システムは、プロセッサ１００１、プログラムメモリ１００２、映像データを格納するための記憶媒体１００３およびビットストリームを格納するための記憶媒体１００４を備えている。記憶媒体１００３と記憶媒体１００４とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。
【０１０５】
図１７に示された情報処理システムにおいて、プログラムメモリ１００２には、上記の実施形態の動画像符号化装置における各ブロック（バッファのブロックを除く）の機能を実現するためのプログラムが格納される。そして、プロセッサ１００１は、プログラムメモリ１００２に格納されているプログラムに従って処理を実行することによって、上記の実施形態の動画像符号化装置の機能を実現する。
【０１０６】
図１８は、本発明による動画像符号化装置の主要部を示すブロック図である。図１８に示すように、動画像符号化装置は、入力映像を入力として符号化パラメータを出力する符号化パラメータ探索手段１０（一例として、図１に示す符号化パラメータ探索器１１０で実現される。）と、入力映像と符号化パラメータとを入力して符号化を行う符号化手段２０（一例として、図１に示す符号化器１２０で実現される。）とを有する動画像符号化装置であって、目標符号量と符号化状況情報とに基づいて、少なくとも拡大の程度を示すブロックサイズ拡大パラメータを決定する符号量制御手段３０（一例として、図１に示す符号量制御器１３０で実現される。）と、ブロックサイズ拡大パラメータに基づいて入力映像ブロックサイズを拡大するブロックサイズ拡大手段４０（一例として、図１に示すブロック拡大器１４０で実現される。）とを備える。
【０１０７】
動画像符号化装置は、符号化状況情報に関する閾値とブロックサイズ拡大パラメータとの組を複数記憶するパラメータテーブル（図５に示すパラメータテーブル１３１に相当）を備え、符号量制御手段３０が、入力された符号化状況情報が示す値と閾値との比較結果に応じたブロックサイズ拡大パラメータをパラメータテーブルから選択するように構成されていてもよい。
【０１０８】
動画像符号化装置は、符号量制御手段３０が、過去に入力された符号化状況情報の統計情報と入力された符号化状況情報が示す値との比較結果に応じたブロックサイズ拡大パラメータを選択するように構成されていてもよい。
【０１０９】
動画像符号化装置は、符号化データの符号量を符号化状況情報として出力する符号量出力手段（図１０に示す符号量出力器１５１に相当）を備えていてもよい。
【０１１０】
動画像符号化装置は、入力映像を解析し、符号化後の符号量の予測に使用可能な特徴量を算出して符号化状況情報として出力する複雑度算出手段（図１１に示す複雑度算出器１５２に相当）を備えていてもよい。
【０１１１】
動画像符号化装置は、符号化データの符号量のうち動きベクトルの符号量が占める割合を算出して符号化状況情報として出力する占有率算出手段（図１２に示す占有率算出器１５３２に相当）を備えていてもよい。
【０１１２】
動画像符号化装置は、入力映像のシーンチェンジを検出すると、シーンチェンジ検出信号を符号化状況情報として出力するシーンチェンジ検出手段（図１３に示すシーンチェンジ検出器１５４に相当）を備えていてもよい。
【０１１３】
動画像符号化装置は、ＧＯＰが変更されるときに、変更後のＧＯＰ構造を示すデータを符号化状況情報として出力するＧＯＰ構造決定手段（図１４に示すＧＯＰ構造決定器１５５に相当）を備えていてもよい。
【０１１４】
なお、本発明は、固定ビットレートでの映像圧縮装置や、固定ビットレートでの映像圧縮をコンピュータ上で実現するためのプログラムに適用可能である。また、上限ビットレートが存在する変動ビットレートでの映像圧縮装置や、上限ビットレートが存在する変動ビットレートでの映像圧縮をコンピュータで実現するためのプログラムにも適用可能である。
【０１１５】
上記の実施形態の一部または全部は以下の付記のようにも記載されうるが、本発明の構成は以下の構成に限定されない。
【０１１６】
（付記１）入力映像を入力として符号化パラメータを出力する符号化パラメータ探索手段と、入力映像と符号化パラメータとを入力して符号化を行う符号化手段とを有する動画像符号化装置であって、目標符号量と符号化状況情報とに基づいて、少なくとも拡大の程度を示すブロックサイズ拡大パラメータを決定する符号量制御手段と、ブロックサイズ拡大パラメータに基づいて入力映像ブロックサイズを拡大するブロックサイズ拡大手段とを備え、符号化状況情報が、目標符号量信号が変化したことの通知である動画像符号化装置。
【０１１７】
（付記２）入力映像を入力として符号化パラメータを出力する符号化パラメータ探索手段と、入力映像と符号化パラメータとを入力して符号化を行う符号化手段とを有する動画像符号化装置であって、目標符号量と符号化状況情報とに基づいて、少なくとも拡大の程度を示すブロックサイズ拡大パラメータを決定する符号量制御手段と、ブロックサイズ拡大パラメータに基づいて入力映像ブロックサイズを拡大するブロックサイズ拡大手段とを備え、ブロックサイズ拡大手段が、ブロックサイズ拡大パラメータとして、ブロックサイズ拡大可能判断条件を供給する動画像符号化装置。
【０１１８】
（付記３）入力映像を入力として符号化パラメータを出力する符号化パラメータ探索手段と、入力映像と符号化パラメータとを入力して符号化を行う符号化手段とを有する動画像符号化装置であって、目標符号量と符号化状況情報とに基づいて、少なくとも拡大の程度を示すブロックサイズ拡大パラメータを決定する符号量制御手段と、ブロックサイズ拡大パラメータに基づいて入力映像ブロックサイズを拡大するブロックサイズ拡大手段とを備え、ブロックサイズ拡大手段が、ブロックサイズ拡大パラメータとして、ブロックサイズ拡大方針を供給する動画像符号化装置。
【０１１９】
（付記４）入力映像を入力として符号化パラメータを出力する符号化パラメータ探索手段と、入力映像と符号化パラメータとを入力して符号化を行う符号化手段とを有する動画像符号化装置であって、目標符号量と符号化状況情報とに基づいて、少なくとも拡大の程度を示すブロックサイズ拡大パラメータを決定する符号量制御手段と、ブロックサイズ拡大パラメータに基づいて入力映像ブロックサイズを拡大するブロックサイズ拡大手段とを備え、ブロックサイズ拡大手段が、ブロックサイズ拡大パラメータとして、ブロックサイズ拡大時の動きベクトル選択方法を供給する動画像符号化装置。
【０１２０】
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１２１】
この出願は、２０１５年１月１９日に出願された日本特許出願２０１５−００７５６２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１２２】
１０      符号化パラメータ探索手段
２０      符号化手段
３０      符号量制御手段
４０      ブロックサイズ拡大手段
１１０    符号化パラメータ探索器
１２０    符号化器
１３０    符号量制御器
１３１    パラメータテーブル
１３２    過去統計情報
１４０    ブロック拡大器
１５０    符号化状況情報出力器
１５１    符号量出力器
１５２    複雑度算出器
１５３    動きベクトルバッファ占有率算出器
１５３１  符号化結果バッファ
１５３２  占有率算出器
１５４    シーンチェンジ検出器
１５５    ＧＯＰ構造決定器
１５６    目標符号量決定器
２１０    符号化パラメータ探索器
２２０    符号化器
２２１    変換器
２２２    量子化器
２２３    逆量子化器
２２４    逆変換器
２２５    バッファ
２２６    予測器
２２７    エントロピー符号化器
１００１  プロセッサ
１００２  プログラムメモリ
１００３  記憶媒体
１００４  記憶媒体
【図１】
2016116984.tif 000003
【図２】
2016116984.tif 000004
【図３】
2016116984.tif 000005
【図４】
2016116984.tif 000006
【図５】
2016116984.tif 000007
【図６】
2016116984.tif 000008
【図７】
2016116984.tif 000009
【図８】
2016116984.tif 000010
【図９】
2016116984.tif 000011
【図１０】
2016116984.tif 000012
【図１１】
2016116984.tif 000013
【図１２】
2016116984.tif 000014
【図１３】
2016116984.tif 000015
【図１４】
2016116984.tif 000016
【図１５】
2016116984.tif 000017
【図１６】
2016116984.tif 000018
【図１７】
2016116984.tif 000019
【図１８】
2016116984.tif 000020
【図１９】
2016116984.tif 000021
【図２０】
2016116984.tif 000022
【図２１】
2016116984.tif 000023
【図２２】
2016116984.tif 000024
【国際調査報告】
2016116984.tif 000025
2016116984.tif 000026
2016116984.tif 000027
2016116984.tif 000028