(57)【要約】  映像符号化装置は、符号化統計情報を解析する解析手段と、解析手段の解析結果に基づいて、スライス境界付近で最適な動きベクトルを選択できるか否かを推定する推定手段と、推定手段の推定結果に基づいて符号化構造を、Temporal ID が０のピクチャだけで構成されるSOP 構造、Temporal ID が０のピクチャおよび１のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、および２のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、２のピクチャおよび３のピクチャで構成されるSOP 構造のいずれかに適応的に決定する符号化構造決定手段とを備える。
2017051493.tif 000002
【特許請求の範囲】
【請求項１】
映像を所定個のスライスに分割し、スライス境界付近の動きベクトル制限の下で符号化処理を行う映像符号化装置であって、
符号化統計情報を解析する解析手段と、
前記解析手段の解析結果に基づいて、スライス境界付近で最適な動きベクトルを選択できるか否かを推定する推定手段と、
前記推定手段の推定結果に基づいて符号化構造を、Temporal ID が０のピクチャだけで構成されるSOP 構造、Temporal ID が０のピクチャおよび１のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、および２のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、２のピクチャおよび３のピクチャで構成されるSOP 構造のいずれかに適応的に決定する符号化構造決定手段と
を備える映像符号化装置。
【請求項２】
符号化構造決定手段は、参照ピクチャ距離を決定する
請求項１記載の映像符号化装置。
【請求項３】
解析手段は、前記符号化統計情報として動きベクトルを解析する
請求項１または請求項２に記載の映像符号化装置。
【請求項４】
解析手段は、前記符号化統計情報としてスライス境界付近のブロックの予測モードを解析する
請求項１から請求項３のうちのいずれか１項に記載の映像符号化装置。
【請求項５】
解析手段は、前記符号化統計情報としてスライス境界付近のブロックの発生符号量を解析する
請求項１から請求項４のうちのいずれか１項に記載の映像符号化装置。
【請求項６】
Temporal ID が０のピクチャだけで構成されるSOP 構造、Temporal ID が０のピクチャおよび１のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、および２のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、２のピクチャ、および３のピクチャで構成されるSOP 構造のいずれかで符号化された映像を復号する復号手段
を備える映像復号装置。
【請求項７】
復号する映像は、所定個のスライスに分割されてスライス境界付近の動きベクトル制限の下で符号化され、動きベクトル制限の下でスライス境界付近で最適な動きベクトルを選択できるように設定されたSOP 構造で符号化されている
請求項６記載の映像復号装置。
【請求項８】
映像を所定個のスライスに分割し、スライス境界付近の動きベクトル制限の下で符号化処理を行う映像符号化方法であって、
符号化統計情報を解析し、
解析結果に基づいて、スライス境界付近で最適な動きベクトルを選択できるか否かを推定し、
推定結果に基づいて符号化構造を、Temporal ID が０のピクチャだけで構成されるSOP 構造、Temporal ID が０のピクチャおよび１のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、および２のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、２のピクチャおよび３のピクチャで構成されるSOP 構造のいずれかに適応的に決定する
映像符号化方法。
【請求項９】
前記符号化構造として参照ピクチャ距離を決定する
請求項８記載の映像符号化方法。
【請求項１０】
前記符号化統計情報として動きベクトルを解析する
請求項８または請求項９に記載の映像符号化方法。
【請求項１１】
前記符号化統計情報としてスライス境界付近のブロックの予測モードを解析する
請求項８から請求項１０のうちのいずれか１項に記載の映像符号化方法。
【請求項１２】
前記符号化統計情報としてスライス境界付近のブロックの発生符号量を解析する
請求項８から請求項１１のうちのいずれか１項に記載の映像符号化方法。
【請求項１３】
Temporal ID が０のピクチャだけで構成されるSOP 構造、Temporal ID が０のピクチャおよび１のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、および２のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、２のピクチャ、および３のピクチャで構成されるSOP 構造のいずれかで符号化された映像を復号する
映像復号方法。
【請求項１４】
所定個のスライスに分割されてスライス境界付近の動きベクトル制限の下で符号化され、動きベクトル制限の下でスライス境界付近で最適な動きベクトルを選択できるように設定されたSOP 構造で符号化されている映像を復号する
請求項１３記載の映像復号方法。
【請求項１５】
映像を所定個のスライスに分割し、スライス境界付近の動きベクトル制限の下で符号化処理を行う映像符号化方法を実行するためのプログラムであって、
コンピュータに、
符号化統計情報を解析する処理と、
解析結果に基づいて、スライス境界付近で最適な動きベクトルを選択できるか否かを推定する処理と、
推定結果に基づいて符号化構造を、Temporal ID が０のピクチャだけで構成されるSOP 構造、Temporal ID が０のピクチャおよび１のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、および２のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、２のピクチャおよび３のピクチャで構成されるSOP 構造のいずれかに適応的に決定する処理と
を実行させるための映像符号化プログラム。
【請求項１６】
コンピュータに、前記符号化構造として参照ピクチャ距離を決定する処理を実行させる  請求項１５記載の映像符号化プログラム。
【請求項１７】
コンピュータに、前記符号化統計情報としてスライス境界付近のブロックの予測モードを解析させる
請求項１５または請求項１６に記載の映像符号化プログラム。
【請求項１８】
コンピュータに、前記符号化統計情報としてスライス境界付近のブロックの発生符号量を解析させる
請求項１５から請求項１７のうちのいずれか１項に記載の映像符号化プログラム。
【請求項１９】
コンピュータに、
Temporal ID が０のピクチャだけで構成されるSOP 構造、Temporal ID が０のピクチャおよび１のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、および２のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、２のピクチャ、および３のピクチャで構成されるSOP 構造のいずれかで符号化された映像を復号する処理
を実行させるための映像復号プログラム。
【請求項２０】
コンピュータに、
所定個のスライスに分割されてスライス境界付近の動きベクトル制限の下で符号化され、動きベクトル制限の下でスライス境界付近で最適な動きベクトルを選択できるように設定されたSOP 構造で符号化されている映像を復号させる
請求項１９記載の映像復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像の画面を分割してから圧縮する符号化方法に基づく映像符号化装置、映像復号装置、映像システム、映像符号化方法、及び映像符号化プログラムに関する。
【背景技術】
【０００２】
映像の高精細化の要請に応じて、水平方向1920×垂直方向1080（画素）のフルHD（High Definition ）の映像コンテンツが供給されている。また、水平方向3840×垂直方向2160（画素）の高精細映像（以下、４Ｋという。）の試験放送や商用放送が開始されている。さらに、水平方向7680×垂直方向4320（画素）の高精細映像（以下、８Ｋという。）の商用放送が計画されている。【０００３】
映像コンテンツの配信システムにおいて、一般に、送信側では映像信号はH.264/AVC (Advanced Video Coding )規格やHEVC(High Efficiency Video Coding)規格に基づいて符号化され、受信側では復号処理を経て映像信号が再生されるが、８Ｋの場合には画素数が多いので、符号化処理及び復号処理における処理負荷が高くなる。【０００４】
８Ｋの場合の処理負荷を低減するための方法として、例えば非特許文献１に記載されたスライスを用いた画面４分割符号化がある（図１０参照）。図１１に示すように、非特許文献１では、画面４分割符号化が使用される場合、インター予測が行われるときに、スライス境界付近のブロックにおいて、動き補償（MC）のための動きベクトルの垂直方向（縦方向）の成分が１２８画素以下であるという制約が設けられている。なお、スライス境界付近に属さないブロックに対して、スライス境界を跨ぐ垂直方向の動きベクトル範囲の制約（以下、動きベクトル制約という。）はない。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】ARIB(Association of Radio Industries and Businesses)標準規格 STD-B32 3.0版  平成２６年７月３１日  電波産業会
【発明の概要】
【発明が解決しようとする課題】
【０００６】
動きベクトル制限がある場合、画面中の物体や画面全体が縦方向に速く動くシーンを符号化するときに、スライス境界では最適な動きベクトルが選択できないことがある。その結果、局所的な画質劣化を発生させる可能性がある。劣化の程度は、速い動きのときにＭ値が大きいほど大きくなる。Ｍ値は、参照ピクチャの間隔である。なお、「最適な動きベクトル」は、映像符号化装置における画面間予測（インター予測）処理を行う予測器で選択された本来の（正規の）動きベクトルを意味する。【０００７】
図１３に、Ｍ＝４の場合とＭ＝８の場合の参照ピクチャの間隔が例示されている。一般に、Ｍ値が小さい場合には、フレーム間距離が小さくなるので、動きベクトルの値は小さくなる傾向がある。しかし、特に定常的なシーンにおいて、時間方向階層が少なくなるため階層（レイヤ）に応じた符号量配分が制約されるため、符号化効率は低下する。一方、Ｍ値が大きい場合には、フレーム間距離が大きくなるので、動きベクトルの値は大きくなる傾向がある。しかし、特に定常的なシーンにおいて、時間方向階層が多くなるため階層（レイヤ）に応じた符号量配分の制約が緩和されるため、符号化効率は向上する。一例として、Ｍ値を８から４に変えると、動きベクトルの値は１／２になり、Ｍ値を４から８に変えると、動きベクトルの値は２倍になる。【０００８】
なお、非特許文献１においてＳＯＰ（Set of Pictures ）という概念が導入されている。SOP は、時間方向階層符号化を行う場合に、各AU（Access Unit ）の符号化順及び参照関係を記述する単位になる。時間方向階層符号化は、複数フレームの映像の中から、部分的にフレームを取り出せるようにする符号化である。【０００９】
ＳＯＰ構造は、Ｌ=０の構造、Ｌ=１の構造、Ｌ=２の構造及びL=３の構造を含む。図１４に示すように、Ｌｘ（ｘ＝０，１，２，３）は、以下のような構造である。
・Ｌ＝０の構造：Temporal ID が0のピクチャだけで構成されるSOP 構造（つまり、同SOPに含まれるピクチャの段数は１つである。最大Temporal ID を示すＬが０であるともいえる。）
・Ｌ=１の構造：Temporal ID が０のピクチャおよび１のピクチャで構成されるSOP 構造（つまり、同SOP に含まれるピクチャの段数は２つである。最大Temporal ID を示すＬが１であるともいえる。）
・Ｌ＝２の構造：Temporal ID が０のピクチャ、１のピクチャ、および、２のピクチャで構成されるSOP 構造（つまり、同SOP に含まれるピクチャの段数は３つである。最大Temporal ID を示すＬが２であるともいえる。）
・Ｌ＝３の構造：Temporal ID が０のピクチャ、１のピクチャ、２のピクチャ、および３のピクチャで構成されるSOP 構造（つまり、同SOP に含まれるピクチャの段数は４つである。最大Temporal ID を示すＬが３であるともいえる。）【００１０】
本明細書の記載では、Ｍ＝１はＬ＝０の構造のSOP に対応し、Ｍ＝２はＮ＝１の場合のＬ＝１の構造のSOP （図１４参照）に対応し、Ｍ＝３はＮ＝２の場合のＬ＝１の構造のSOP （図１４参照）に対応し、Ｍ＝４はＬ＝２の構造のSOP に対応し、Ｍ＝８はＬ＝３の構造のSOP に対応する。【００１１】
定常的なシーン（例えば、画面中の物体や画面全体が速く動かないシーン）については、上述したように参照ピクチャ間隔（Ｍ値）が大きいほど符号化効率がよい。よって、８Ｋなどの高精細映像を低レートで符号化するためには、映像符号化装置が基本的にＭ＝８で動作することが好ましい。【００１２】
しかし、上述したように、Ｍ値を大きくすると動きベクトルの値が大きくなる傾向があるので、特に、画面中の物体や画面全体が縦方向に速く動くシーンにおいて、動きベクトル制限に起因して画質が劣化する。動きベクトル制限によって、スライス境界において、最適な動きベクトルを選択できない場合があるためである。【００１３】
本発明は、映像の画面を分割してから圧縮する符号化方法であって、スライス境界付近において動きベクトルの選択の制約がある符号化方法を使用する場合に、画質劣化を抑制することを目的とする。
【課題を解決するための手段】
【００１４】
本発明による映像符号化装置は、映像を所定個のスライスに分割し、スライス境界付近の動きベクトル制限の下で符号化処理を行う映像符号化装置であって、符号化統計情報を解析する解析手段と、解析手段の解析結果に基づいて、スライス境界付近で最適な動きベクトルを選択できるか否かを推定する推定手段と、推定手段の推定結果に基づいて符号化構造を、Temporal ID が０のピクチャだけで構成されるSOP 構造、Temporal ID が０のピクチャおよび１のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、および２のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、２のピクチャおよび３のピクチャで構成されるSOP 構造のいずれかに適応的に決定する符号化構造決定手段とを備えることを特徴とする。【００１５】
本発明による映像復号装置は、Temporal ID が０のピクチャだけで構成されるSOP 構造、Temporal ID が０のピクチャおよび１のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、および２のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、２のピクチャ、および３のピクチャで構成されるSOP 構造のいずれかで符号化された映像を復号する復号手段を備えることを特徴とする。【００１６】
本発明による映像符号化方法は、映像を所定個のスライスに分割し、スライス境界付近の動きベクトル制限の下で符号化処理を行う映像符号化方法であって、符号化統計情報を解析し、解析結果に基づいて、スライス境界付近で最適な動きベクトルを選択できるか否かを推定し、推定結果に基づいて符号化構造を、Temporal ID が０のピクチャだけで構成されるSOP 構造、Temporal ID が０のピクチャおよび１のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、および２のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、２のピクチャおよび３のピクチャで構成されるSOP 構造のいずれかに適応的に決定することを特徴とする。【００１７】
本発明による映像復号方法は、Temporal ID が０のピクチャだけで構成されるSOP 構造、Temporal ID が０のピクチャおよび１のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、および２のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、２のピクチャ、および３のピクチャで構成されるSOP 構造のいずれかで符号化された映像を復号することを特徴とする。【００１８】
本発明による映像符号化プログラムは、コンピュータに、符号化統計情報を解析する処理と、解析結果に基づいて、スライス境界付近で最適な動きベクトルを選択できるか否かを推定する処理と、推定結果に基づいて符号化構造を、Temporal ID が０のピクチャだけで構成されるSOP 構造、Temporal ID が０のピクチャおよび１のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、および２のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、２のピクチャおよび３のピクチャで構成されるSOP 構造のいずれかに適応的に決定する処理とを実行させることを特徴とする。【００１９】
本発明による映像復号プログラムは、コンピュータに、Temporal ID が０のピクチャだけで構成されるSOP 構造、Temporal ID が０のピクチャおよび１のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、および２のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、２のピクチャ、および３のピクチャで構成されるSOP 構造のいずれかで符号化された映像を復号する処理を実行させることを特徴とする。
【発明の効果】
【００２０】
本発明によれば、画質劣化を抑制することができる。
【図面の簡単な説明】
【００２１】
【図１】映像符号化装置の実施形態の構成例を示すブロック図である。
【図２】映像復号装置の実施形態の構成例を示すブロック図である。
【図３】映像符号化装置の第１の実施形態の動作を示すフローチャートである。
【図４】映像符号化装置の第２の実施形態の動作を示すフローチャートである。
【図５】映像符号化装置の第３の実施形態の動作を示すフローチャートである。
【図６】映像システムの一例を示すブロック図である。
【図７】映像符号化装置及び映像復号装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。
【図８】映像符号化装置の主要部を示すブロック図である。
【図９】映像復号装置の主要部を示すブロック図である。
【図１０】画面分割の一例を示す説明図である。
【図１１】動きベクトル制限を説明するための説明図である。
【図１２】ＳＯＰ構造を示す説明図である。
【図１３】参照ピクチャの間隔の一例を示す説明図である。
【図１４】ＳＯＰ構造を示す説明図である。
【発明を実施するための形態】
【００２２】
以下、本発明の実施形態を図面を参照して説明する。
【００２３】
図１は、映像符号化装置の実施形態の構成例を示すブロック図である。図１に示す映像符号化装置１００は、符号化部１０１、解析部１１１、判定部１１２及びＭ値決定部１１３を含む。なお、映像符号化装置１００は、HEVC規格に基づいて符号化処理を実行するが、他の規格、例えば、H.264/AVC規格に基づいて符号化処理を実行してもよい。また、以下、８Ｋの映像が入力される場合を例にする。
【００２４】
符号化部１０１は、入力画像を複数の画面に分割する画面分割器１０２、周波数変換／量子化器１０３、逆量子化／逆周波数変換器１０４、バッファ１０５、予測器１０６、及びエントロピー符号化器１０７を含む。
【００２５】
画面分割器１０２は、入力映像の画面を４つの画面に分割する（図１０参照）。周波数変換／量子化器１０３は、入力映像信号から予測信号を減じた予測誤差画像を周波数変換する。周波数変換／量子化器１０３は、さらに、周波数変換された予測誤差画像（周波数変換係数）を量子化する。以下、量子化された周波数変換係数を変換量子化値という。
【００２６】
エントロピー符号化器１０７は、予測パラメータと変換量子化値をエントロピー符号化して、ビットストリームを出力する。予測パラメータは、予測モード（イントラ予測、インター予測）、イントラ予測ブロックサイズ、イントラ予測方向、インター予測ブロックサイズ、及び動きベクトルなど、ＣＴＵ（Coding Tree Unit）及びブロックの予測に関連した情報である。
【００２７】
予測器１０６は、入力映像信号に対する予測信号を生成する。予測信号は、イントラ予測またはフレーム間予測に基づいて生成される。
【００２８】
逆量子化／逆周波数変換器１０４は、変換量子化値を逆量子化する。さらに、逆量子化／逆周波数変換器１０４は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、バッファ１０５に供給される。バッファ１０５は、再構築画像を格納する。
【００２９】
解析部１１１は、符号化統計情報を解析する。判定部１１２は、上述した動きベクトル制限で、スライス境界付近で最適な動きベクトルを選択できるか否かを、解析部１１１の解析結果に基づいて判定する。なお、符号化統計情報は、過去のフレーム（例えば、現在の符号化対象のフレームの直前のフレーム）の符号化結果の情報であるが、符号化統計情報の具体例については後述する。
【００３０】
なお、スライス境界付近は、最適な動きベクトルを選択できなかった領域になるが、以下の制御を実現する際に、便宜的に、例えば、スライス境界から±１２８画素の範囲や±２５６画素の範囲を、スライス境界付近としてもよい。また、以下の制御を実現する際に、「スライス境界付近」の範囲を、映像の状況（動きが大きい／小さいなど）に応じて、適宜変更可能であるようにしてもよい。例えば、値が大きい動きベクトルの発生比率が高い場合に、「スライス境界付近」の範囲を広く設定するようにしてもよい。
【００３１】
Ｍ値決定部１１３は、判定部１１２の判定結果に基づいて、Ｍ値を適応的に決定する。なお、上述したように、Ｍ値を決定することは、ＳＯＰ構造におけるＬｘ（ｘ＝０，１，２，３）構造を決定することと等価である。また、符号化統計情報については、後述する。
【００３２】
図２は、映像復号装置の実施形態の構成例を示すブロック図である。図２に示す映像復号装置２００は、エントロピー復号器２０２、逆量子化／逆周波数変換器２０３、予測器２０４、及びバッファ２０５を含む。
【００３３】
エントロピー復号器２０２は、映像のビットストリームをエントロピー復号する。エントロピー復号器２０２は、エントロピー復号した変換量子化値を逆量子化／逆周波数変換器２０３に供給する。
【００３４】
逆量子化／逆周波数変換器２０３は、量子化ステップ幅で、輝度及び色差の変換量子化値を逆量子化して周波数変換係数を得る。さらに、逆量子化／逆周波数変換器２０３は、逆量子化した周波数変換係数を逆周波数変換する。
【００３５】
逆周波数変換後、予測器２０４は、バッファ２０５に格納された再構築ピクチャの画像を用いて予測信号を生成する（前記予測は、動き補償予測、または、ＭＣ参照とも呼ぶ）。逆量子化／逆周波数変換器２０３で逆周波数変換された再構築予測誤差画像は、予測器２０４から供給される予測信号が加えられて、再構築ピクチャとしてバッファ２０５に供給される。そして、バッファ２０５に格納された再構築ピクチャが復号映像として出力される。
【００３６】
次に、映像符号化装置１００における解析部１１１、判定部１１２及びＭ値決定部１１３の動作を説明する。
【００３７】
実施形態１．
図３は、図１に示された映像符号化装置１００の第１の実施形態の動作を示すフローチャートである。第１の実施形態では、８Ｋの映像は４分割され（図１０参照）、スライス境界付近において動きベクトル制限があるとする。また、動きベクトル制限として、±１２８を例にする。８Ｋの映像は４分割され、かつ、動きベクトル制限があることは、他の実施形態でも同様である。なお、Ｍ値の初期値は８（Ｍ＝８）である。
【００３８】
解析部１１１は、バッファ１０５に格納されている過去の符号化結果（例えば、直前フレームの符号化結果）を解析する。具体的には、解析部１１１は、スライス境界以外のブロックにおける動きベクトルの平均値又は中央値（以下、平均値又は中央値をＭａｖｇとする。）を算出する（ステップＳ１０１）。なお、第１の実施形態では、符号化統計情報は、動きベクトルの値であり、解析結果は、動きベクトルの平均値又は中央値である。
【００３９】
判定部１１２は、Ｍａｖｇが、動きベクトル制限としての±１２８を基準として、どの程度の大きさになっているかを判定する（ステップＳ１０２）。
【００４０】
そして、Ｍ値決定部１１３は、Ｍａｖｇがどの程度の大きさになっているかの判定結果に基づいて、Ｍ値を決定する（ステップＳ１０３）。
【００４１】
Ｍ値決定部１１３は、判定結果に基づいて、例えば、以下のようにＭ値を決定する。
【００４２】
（１）Ｍ＝８である場合：
｜Ｍａｖｇ｜≦１２８  →  Ｍ＝８を維持
１２８＜｜Ｍａｖｇ｜≦２５６  →  Ｍ＝４（Ｍ＝８の１／２）に決定
２５６＜｜Ｍａｖｇ｜≦５１２  →  Ｍ＝２（Ｍ＝８の１／４）に決定
５１２＜｜Ｍａｖｇ｜          →  Ｍ＝１（Ｍ＝８の１／８）に決定
【００４３】
（２）Ｍ＝４である場合：
｜Ｍａｖｇ｜≦６４    →  Ｍ＝８に決定
６４＜｜Ｍａｖｇ｜≦１２８  →  Ｍ＝４を維持
１２８＜｜Ｍａｖｇ｜≦２５６  →  Ｍ＝２に決定
２５６＜｜Ｍａｖｇ｜          →  Ｍ＝１に決定
【００４４】
Ｍ値決定部１１３は、Ｍ値がその他の値であるときにも、上記の（１），（２）の場合と同様に、Ｍ値を８にしたときに、動きベクトル制限の下で、スライス境界付近での動きベクトルの値が±１２８以内に収まると推定できたときには、Ｍ値を８に戻す。換言すれば、Ｍ値決定部１１３は、動きベクトル制限の下で、スライス境界付近で最適な動きベクトルを選択できると推定できた場合には、Ｍ値を８に戻す。その他の場合にも、Ｍａｖｇに応じて、スライス境界付近での動きベクトルの値が±１２８以内に収まるようにＭ値を決定する。
【００４５】
なお、上記の場合分け（閾値の設定）は一例であって、閾値を変えたり、より細かな場合分けをしてもよい。
【００４６】
第１の実施形態の映像符号化装置の制御は、以下のような考え方に基づく。
【００４７】
映像が、画面全体が速く動くシーンの映像であるときには、発生した全ての動きベクトルに対して、スライス境界付近でもスライス境界付近以外でも、値が大きい動きベクトルの数の比率が高い。しかし、動きベクトル制限があるので、スライス境界付近では、最適な動きベクトルが選択されていない可能性がある。そこで、判定部１１２は、スライス境界以外の領域において発生した符号化統計情報としての動きベクトル（動きベクトル制限はないので、正規の、換言すれば最適な動きベクトルである。）にもとづいて、符号化対象の画面が速く動くシーンの映像の画面であるか否かを推定する。Ｍ値決定部１１３は、速く動くシーンの映像であると判定部１１２が推定した場合には、スライス境界付近において最適な動きベクトルを選択可能になるようにＭ値を変える。
【００４８】
なお、速く動くシーンの映像である場合には、スライス境界付近において最適な動きベクトルが選択されていない可能性があるので、速く動くシーンの映像であると推定されたことは、動きベクトル制限の下で、スライス境界付近において最適な動きベクトルが選択されていないと推定されたことと等価である。
【００４９】
また、上述したように、Ｍ値とＳＯＰ構造とは相関している。よって、Ｍ値決定部１１３がＭ値を決定することは、ＳＯＰ構造（すなわち、Ｌｘ（ｘ＝０，１，２，３）構造）を決定することと等価である。
【００５０】
実施形態２．
図４は、図１に示された映像符号化装置１００の第２の実施形態の動作を示すフローチャートである。
【００５１】
解析部１１１は、バッファ１０５に格納されている過去の符号化結果（例えば、直前フレームの符号化結果）を解析する。具体的には、解析部１１１は、スライス境界以外の範囲における全てのブロック（例えば、PU：Prediction Unit ）に対して、画面内予測（イントラ予測）が用いられたブロックの割合Ｐ１を算出し（ステップＳ２０１）、スライス境界付近の全てのブロックに対して、画面内予測が用いられたブロックの割合Ｐ２を算出する（ステップＳ２０２）。なお、第２の実施形態では、符号化統計情報は、スライス境界付近のブロックの予測モード（具体的には、画面内予測のブロックの数）であり、解析結果は、割合Ｐ１及び割合Ｐ２である。
【００５２】
判定部１１２は、割合Ｐ１と割合Ｐ２とを比較し、それらの乖離の程度を判定する。具体的には、割合Ｐ１と比較して、割合Ｐ２がかなり大きいか否かを判定する。判定部１１２は、例えば、割合Ｐ２と割合Ｐ１との差が所定値を越えているか否か判定する（ステップＳ２０３）。
【００５３】
Ｍ値決定部１１３は、割合Ｐ２と割合Ｐ１との差が所定値を越えている場合には、Ｍ値を小さくする（ステップＳ２０４）。なお、複数の所定値を設け、例えば、差が第１の所定値を越えているときにはＭ値を複数段階小さくし、差が第２の所定値（＜第１の所定値）を越えているときにはＭ値を１段階小さくするようにしてもよい。
【００５４】
また、Ｍ値決定部１１３は、割合Ｐ２と割合Ｐ１との差が所定値以下である場合には、Ｍ値を維持するか、又は、Ｍ値を大きくする（ステップＳ２０５）。例えば、Ｍ値決定部１１３は、差が第３の所定値（＜第２の所定値）以下であるときにはＭ値を大きくし、差が第３の所定値を越えているときにはＭ値を維持する。
【００５５】
第２の実施形態の映像符号化装置の制御は、以下のような考え方に基づく。
【００５６】
符号化部１０１は、画面内の各ブロックを符号化する際に、予測モードとして画面内予測と画面間予測（インター予測）とのいずれかを使用できる。映像が、画面全体が速く動くシーンの映像であるときには、スライス境界付近においても、画面間予測が使用されるときに値が大きい動きベクトルの数の発生率が高いと考えられる（動きベクトル制限がない場合）。動きベクトル制限があるので、スライス境界付近では、最適な動きベクトル（大きな動きベクトル）を発生することができず、その結果、スライス境界付近では、画面内予測が使用されることが多いと考えられる。スライス境界付近以外では、動きベクトル制限はないので、スライス境界付近に比べて、画面内予測が使用されることは少ないと考えられる。
【００５７】
よって、割合Ｐ１と割合Ｐ２とが大きく乖離している場合には、速く動くシーンの映像の信号が符号化部１０１に入力されていると推定される。
【００５８】
なお、速く動くシーンの映像である場合には、スライス境界付近において最適な動きベクトルが選択されていない可能性があるので、速く動くシーンの映像であると推定されたことは、動きベクトル制限の下で、割合Ｐ１と割合Ｐ２とが大きく乖離していることと等価である。
【００５９】
大きく乖離しているか否か判定するための所定値として、一例として、経験的又は実験的に、そのような値を閾値として使用すれば、スライス境界付近において最適な動きベクトルが選択されていない可能性があることを推定可能な値が選択される。
【００６０】
実施形態３．
図５は、図１に示された映像符号化装置１００の第３の実施形態の動作を示すフローチャートである。
【００６１】
解析部１１１は、バッファ１０５に格納されている過去の符号化結果（例えば、直前フレームの符号化結果）を解析する。具体的には、解析部１１１は、以前のフレーム（例えば、現在の符号化対象のフレームの２フレーム前）のスライス境界付近のブロックにおける発生符号量Ｃ１を算出する（ステップＳ３０１）。また、解析部１１１は、直前のフレームのスライス境界付近のブロックにおける発生符号量Ｃ２を算出する（ステップＳ３０２）。なお、第３の実施形態では、符号化統計情報は、スライス境界付近のブロックの発生符号量であり、解析結果は、発生符号量Ｃ１及び発生符号量Ｃ２である。
【００６２】
判定部１１２は、発生符号量Ｃ１と発生符号量Ｃ２とを比較し、それらの乖離の程度を判定する。具体的には、発生符号量Ｃ１と比較して、発生符号量Ｃ２がかなり大きいか否かを判定する。判定部１１２は、例えば、発生符号量Ｃ２と発生符号量Ｃ１との差が所定量を越えているか否か判定する（ステップＳ３０３）。
【００６３】
Ｍ値決定部１１３は、発生符号量Ｃ２と発生符号量Ｃ１との差が所定量を越えている場合には、Ｍ値を小さくする（ステップＳ３０４）。なお、複数の所定量を設け、例えば、差が第１の所定量を越えているときにはＭ値を複数段階小さくし、差が第２の所定量（＜第１の所定量）を越えているときにはＭ値を１段階小さくするようにしてもよい。
【００６４】
また、Ｍ値決定部１１３は、発生符号量Ｃ２と発生符号量Ｃ１との差が所定量以下である場合には、Ｍ値を維持するか、又は、Ｍ値を大きくする（ステップＳ３０５）。例えば、Ｍ値決定部１１３は、差が第３の所定量（＜第２の所定量）以下であるときにはＭ値を大きくし、差が第３の所定量を越えているときにはＭ値を維持する。
【００６５】
第３の実施形態の映像符号化装置の制御は、以下のような考え方に基づく。
【００６６】
上述したように、画面全体が速く動くシーンの映像であるときには、スライス境界付近においても、画面間予測が使用されるときに値が大きい動きベクトルの数の比率が高いと考えられる（動きベクトル制限がない場合）。しかし、動きベクトル制限があるので、スライス境界付近では、最適な動きベクトル（大きな動きベクトル）を発生することができず、その結果、スライス境界付近では、画面内予測が使用されることが多いと考えられる。一般に、画面間予測が使用されるときに比べて、画面内予測が使用されるときには、発生符号量は多くなる。
【００６７】
よって、発生符号量Ｃ１と比較して、発生符号量Ｃ２がかなり多い場合には、速く動くシーンの映像の信号が符号化部１０１に入力される状況に変化したと推定される。
【００６８】
なお、速く動くシーンの映像になった場合には、スライス境界付近において最適な動きベクトルが選択されない可能性があるので、速く動くシーンの映像になったと推定されたことは、動きベクトル制限の下で、発生符号量Ｃ２が大きく増えたことと等価である。
【００６９】
大きく増えたか否か判定するための所定量として、一例として、経験的又は実験的に、そのような量を閾値として使用すれば、スライス境界付近において最適な動きベクトルが選択されない可能性があることを推定可能な値が選択される。
【００７０】
以上に説明したように、上記の各実施形態では、過去の符号化結果（符号化統計情報）に基づいてＭ値が適応的に切り替えられる。符号化統計情報に基づいて動きベクトル制限の下で、スライス境界付近で最適な動きベクトル（換言すれば、動きベクトル制限を外れる動きベクトル）を選択できるか否かが推定される。選択できないと推定された場合には、Ｍ値はより小さな値に変更される。選択できると判定された場合、そのときのＭ値でも動きベクトル制限の下でスライス境界付近で最適な動きベクトルを選択できると考えられるので、Ｍ値は、維持されるか、又は、より大きな値に変更される。
【００７１】
その結果、動きベクトル制限によってスライス境界付近で最適な動きベクトルを選択できない状態になることをできるだけ回避でき、局所的な画質劣化が生ずる可能性を低減できる。すなわち、動きの速さに応じてＭ値が適応的に切り替えられるので、好適な画質を得ることができる。
【００７２】
また、符号化結果（例えば、直前のフレームの符号化結果）に基づいてＭ値を切り替えることができるので、事前解析（現在のフレームを符号化する際に前処理として実行される解析処理）を行う必要がなく、事前解析を行う場合と比較して、符号化のための処理時間が延びてしまうことが防止される。
【００７３】
なお、映像符号化装置１００において、第１〜第３の実施形態のうちの任意の２つ又は全ての形態が組み込まれるように、解析部１１１、判定部１１２及びＭ値決定部１１３が構成されていてもよい。
【００７４】
また、図２に示された映像復号装置は、第１〜第３の実施形態において例示されたような、動きベクトル制限を満たす範囲で設定されたＭ値を用いて符号化されたビットストリームを復号する。
【００７５】
図６は、映像システムの一例を示すブロック図である。図６に示す映像システムは、上記の各実施形態の映像符号化装置１００と図２に示された映像復号装置２００とが、無線伝送路又は有線伝送路３００で接続されるシステムである。映像符号化装置１００は、上記の第１〜第３の実施形態のいずれかの映像符号化装置１００であるが、映像符号化装置１００において、第１〜第３の実施形態のうちの任意の２つ又は全ての処理を実行するように、解析部１１１、判定部１１２及びＭ値決定部１１３が構成されていてもよい。
【００７６】
また、上記の各実施形態を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
【００７７】
図７に示す情報処理システムは、プロセッサ１００１、プログラムメモリ１００２、映像データを格納するための記憶媒体１００３およびビットストリームを格納するための記憶媒体１００４を備える。記憶媒体１００３と記憶媒体１００４とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。
【００７８】
図７に示された情報処理システムにおいて、プログラムメモリ１００２には、図１，図２のそれぞれに示された各ブロック（バッファのブロックを除く）の機能を実現するためのプログラム（映像符号化プログラム又は映像復号プログラム）が格納される。そして、プロセッサ１００１は、プログラムメモリ１００２に格納されているプログラムに従って処理を実行することによって、図１，図２のそれぞれに示された映像符号化装置または映像復号装置の機能を実現する。
【００７９】
図８は、映像符号化装置の主要部を示すブロック図である。図８に示すように、映像符号化装置１０は、符号化統計情報を解析する解析部１１（実施形態における解析部１１１に相当）と、解析部１１の解析結果に基づいて、スライス境界付近で最適な動きベクトルを選択できるか否かを推定する推定部１２（実施形態では、判定部１１２で実現される。）と、推定部１２の推定結果に基づいて符号化構造を適応的に決定する符号化構造決定部１３（実施形態では、Ｍ値決定部１１３で実現される。）とを備える。
【００８０】
図９は、映像復号装置の主要部を示すブロック図である。図９に示すように、映像復号装置２０は、動きベクトル制限の下で、スライス境界付近で最適な動きベクトルを選択できるように設定された符号化構造に基づいて符号化されたビットストリームを復号する復号部２１（実施形態では、予測器２０４等で実現される。）を備える。
【００８１】
なお、復号部２１は、設定された符号化構造として、Temporal IDが0のピクチャだけで構成されるSOP 構造、Temporal ID が０のピクチャおよび１のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、および、２のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、２のピクチャ、および３のピクチャで構成されるSOP 構造のいずれかのSOP 構造に基づいて符号化されたビットストリームを復号することができる。
【００８２】
さらに、復号部２１は、図１０に示すような4個のスライスに分割されて、さらに、図１１に示すような、あるスライスのPUが別のスライスを動き補償（MC）参照する場合に、スライス境界を跨ぐ同PUのMC参照はスライス境界から１２８ライン以内の画素のみを参照するように制限されて、符号化されたビットストリームを復号できる。
【００８３】
なお、実施形態では、１２０Ｐの動画像を扱う場合、映像符号化および復号側で図１２に示すような、以下のSOP 構造を用いることができる。
【００８４】
・Ｌ＝０の構造：Temporal ID が0のピクチャだけで構成されるSOP 構造（つまり、同SOP に含まれるピクチャの段数は１つである。最大Temporal ID を示すＬが０であるともいえる。）
・Ｌ＝１の構造：Temporal ID が０のピクチャおよび１（またはＭ）のピクチャで構成されるSOP 構造（つまり、同SOP に含まれるピクチャの段数は２つである。最大Temporal ID を示すＬが１（またはＭ）であるともいえる。）
・Ｌ＝２の構造：Temporal ID が０のピクチャ、１のピクチャ、および、２（またはＭ）のピクチャで構成されるSOP 構造（つまり、同SOP に含まれるピクチャの段数は３つである。最大Temporal ID を示すＬが２（またはＭ）であるともいえる。）
・Ｌ＝３の構造：Temporal ID が０のピクチャ、１のピクチャ、２のピクチャ、および３（またはＭ）のピクチャで構成されるSOP 構造（つまり、同SOP に含まれるピクチャの段数は４つである。最大Temporal ID を示すＬが３（またはＭ）であるともいえる。）
・Ｌ＝４の構造：Temporal ID が０のピクチャ、１のピクチャ、２のピクチャ、３のピクチャ、および、４（またはＭ）のピクチャで構成されるSOP 構造（つまり、同SOP に含まれるピクチャの段数は４つである。最大Temporal ID を示すＬが４（またはＭ）であるともいえる。）
【００８５】
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【００８６】
この出願は、２０１５年９月２５日に出願された日本特許出願２０１５−１８８０４３を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【００８７】
１０      映像符号化装置
１１      解析部
１２      推定部
１３      符号化構造決定部
２０      映像復号装置
２１      復号部
１００    映像符号化装置
１０１    符号化部
１０２    画面分割器
１０３    周波数変換／量子化器
１０４    逆量子化／逆周波数変換器
１０５    バッファ
１０６    予測器
１０７    エントロピー符号化器
１１１    解析部
１１２    判定部
１１３    Ｍ値決定部
２００    映像復号装置
２０２    エントロピー復号器
２０３    逆量子化／逆周波数変換器
２０４    予測器
２０５    バッファ
１００１  プロセッサ
１００２  プログラムメモリ
１００３，１００４  記憶媒体
【図１】
2017051493.tif 000003
【図２】
2017051493.tif 000004
【図３】
2017051493.tif 000005
【図４】
2017051493.tif 000006
【図５】
2017051493.tif 000007
【図６】
2017051493.tif 000008
【図７】
2017051493.tif 000009
【図８】
2017051493.tif 000010
【図９】
2017051493.tif 000011
【図１０】
2017051493.tif 000012
【図１１】
2017051493.tif 000013
【図１２】
2017051493.tif 000014
【図１３】
2017051493.tif 000015
【図１４】
2017051493.tif 000016
【手続補正書】
【提出日】平成29年10月26日(2017.10.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
映像を所定個のスライスに分割し、スライス境界付近の動きベクトル制限の下で符号化処理を行う映像符号化装置であって、
符号化統計情報を解析する解析手段と、
前記解析手段の解析結果に基づいて、スライス境界付近で最適な動きベクトルを選択できるか否かを推定する推定手段と、
前記推定手段の推定結果に基づいて符号化構造を、Temporal ID が０のピクチャだけで構成されるSOP 構造、Temporal ID が０のピクチャおよび１のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、および２のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、２のピクチャおよび３のピクチャで構成されるSOP 構造のいずれかに適応的に決定する符号化構造決定手段と
を備える映像符号化装置。
【請求項２】
符号化構造決定手段は、参照ピクチャ距離を決定する
請求項１記載の映像符号化装置。
【請求項３】
解析手段は、前記符号化統計情報として動きベクトルを解析する
請求項１または請求項２に記載の映像符号化装置。
【請求項４】
解析手段は、前記符号化統計情報としてスライス境界付近のブロックの予測モードを解析する
請求項１から請求項３のうちのいずれか１項に記載の映像符号化装置。
【請求項５】
解析手段は、前記符号化統計情報としてスライス境界付近のブロックの発生符号量を解析する
請求項１から請求項４のうちのいずれか１項に記載の映像符号化装置。
【請求項６】
Temporal ID が０のピクチャだけで構成されるSOP 構造、Temporal ID が０のピクチャおよび１のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、および２のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、２のピクチャ、および３のピクチャで構成されるSOP 構造のいずれかで符号化された映像を復号する復号手段
を備える映像復号装置。
【請求項７】
復号する映像は、所定個のスライスに分割されてスライス境界付近の動きベクトル制限の下で符号化され、動きベクトル制限の下でスライス境界付近で最適な動きベクトルを選択できるように設定されたSOP 構造で符号化されている
請求項６記載の映像復号装置。
【請求項８】
映像を所定個のスライスに分割し、スライス境界付近の動きベクトル制限の下で符号化処理を行う映像符号化方法であって、
符号化統計情報を解析し、
解析結果に基づいて、スライス境界付近で最適な動きベクトルを選択できるか否かを推定し、
推定結果に基づいて符号化構造を、Temporal ID が０のピクチャだけで構成されるSOP 構造、Temporal ID が０のピクチャおよび１のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、および２のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、２のピクチャおよび３のピクチャで構成されるSOP 構造のいずれかに適応的に決定する
映像符号化方法。
【請求項９】
Temporal ID が０のピクチャだけで構成されるSOP 構造、Temporal ID が０のピクチャおよび１のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、および２のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、２のピクチャ、および３のピクチャで構成されるSOP 構造のいずれかで符号化された映像を復号する
映像復号方法。
【請求項１０】
映像を所定個のスライスに分割し、スライス境界付近の動きベクトル制限の下で符号化処理を行う映像符号化方法を実行するためのプログラムであって、
コンピュータに、
符号化統計情報を解析する処理と、
解析結果に基づいて、スライス境界付近で最適な動きベクトルを選択できるか否かを推定する処理と、
推定結果に基づいて符号化構造を、Temporal ID が０のピクチャだけで構成されるSOP 構造、Temporal ID が０のピクチャおよび１のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、および２のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、２のピクチャおよび３のピクチャで構成されるSOP 構造のいずれかに適応的に決定する処理と
を実行させるための映像符号化プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
映像復号プログラムが、コンピュータに、Temporal ID が０のピクチャだけで構成されるSOP 構造、Temporal ID が０のピクチャおよび１のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、および２のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、２のピクチャ、および３のピクチャで構成されるSOP 構造のいずれかで符号化された映像を復号する処理を実行させるように構成されていてもよい。
【国際調査報告】
2017051493.tif 000017
2017051493.tif 000018
2017051493.tif 000019
2017051493.tif 000020