(57)【要約】【課題】リフレッシュ周期を一定に保ちつつ、ピクチャ間でのイントラスライスの発生情報量の変動を抑制できる動画像符号化装置を提供する。【解決手段】動画像符号化装置は、所定長を持つリフレッシュ周期に含まれる、動画像データの各ピクチャに設定されるイントラスライスにおける発生情報量が各ピクチャ間で均等となるように、イントラスライスの巡回方向における、各ピクチャのイントラスライスの幅を設定するイントラスライス幅設定部１３と、各ピクチャについて、リフレッシュ済みの領域に含まれる各ブロックを、そのピクチャのリフレッシュ済みの領域内の符号化済みの画素またはそのピクチャよりも符号化順序が前の符号化済みピクチャのリフレッシュ済みの領域を参照し、かつ、そのピクチャのリフレッシュされていない領域及び符号化済みピクチャのリフレッシュされていない領域を参照せずに符号化する符号化部１４とを有する。【選択図】図２
2017069866.tif 000002
【特許請求の範囲】
【請求項１】
イントラリフレッシュ方式により動画像データを符号化する動画像符号化装置であって、
所定長を持つリフレッシュ周期に含まれる、前記動画像データの各ピクチャに設定されるイントラスライスにおける発生情報量が前記各ピクチャ間で均等となるように、前記イントラスライスの巡回方向における、前記各ピクチャの前記イントラスライスの幅を設定するイントラスライス幅設定部と、
前記各ピクチャについて、当該リフレッシュ周期において前記イントラスライスが通過したリフレッシュ済みの領域に含まれる各ブロックを、当該ピクチャの前記リフレッシュ済みの領域内の符号化済みの画素または当該ピクチャよりも符号化順序が前の符号化済みピクチャの前記リフレッシュ済みの領域を参照し、かつ、当該ピクチャのリフレッシュされていない領域及び前記符号化済みピクチャのリフレッシュされていない領域を参照せずに符号化する符号化部と、
を有する動画像符号化装置。
【請求項２】
前記リフレッシュ周期の先頭のピクチャ全体の発生情報量の推定値を算出する発生情報量推定部と、
前記先頭のピクチャ全体の発生情報量の推定値を前記リフレッシュ周期で除して得られる値を前記各ピクチャの前記イントラスライスについての目標情報量として算出する目標情報量設定部とをさらに有し、
前記イントラスライス幅設定部は、前記各ピクチャについて、前記巡回方向における当該ピクチャの前記イントラスライスの幅を、当該ピクチャの前記イントラスライスの発生情報量の推定値と前記目標情報量の差を最小化するように設定する、請求項１に記載の動画像符号化装置。
【請求項３】
前記発生情報量推定部は、前記先頭のピクチャを前記巡回方向に沿って所定幅を持ち、かつ、前記巡回方向と直交する方向に延伸される複数のブロックラインに分割し、前記複数のブロックラインのそれぞれについて発生情報量の推定値を算出し、かつ、前記複数のブロックラインのそれぞれの前記発生情報量の推定値の総和を前記先頭のピクチャ全体の発生情報量の推定値として算出する、請求項２に記載の動画像符号化装置。
【請求項４】
前記イントラスライス幅設定部は、前記各ピクチャについて、当該ピクチャに対して符号化順序が直前のピクチャにおける、前記リフレッシュ済みの領域と前記リフレッシュされていない領域間の境界に対応する当該ピクチャの位置から前記イントラスライスの巡回方向に向かって前記ブロックラインごとの発生情報量の推定値を順次累積して累積和を算出し、当該累積和と前記目標情報量の差が最小となるときの当該累積和に対応する各ブロックラインの集合領域を当該ピクチャについての前記イントラスライスに設定する、請求項３に記載の動画像符号化装置。
【請求項５】
前記リフレッシュ周期内の前記各ピクチャについて、当該ピクチャを縮小して縮小ピクチャを生成する縮小部と、
前記リフレッシュ周期内の前記各ピクチャに対応する前記縮小ピクチャを符号化する下位階層符号化部とをさらに有し、
前記発生情報量推定部は、前記複数のブロックラインのそれぞれについて、当該ブロックラインの発生情報量を、前記先頭ピクチャに対応する前記縮小ピクチャの当該ブロックラインに対応する領域の符号量に基づいて算出する、請求項３または４に記載の動画像符号化装置。
【請求項６】
前記リフレッシュ周期内の先頭から所定番目のピクチャについて、符号化順序が直前のピクチャにおける前記リフレッシュされていない領域に対応する当該ピクチャの対応領域の発生情報量の推定値を算出する発生情報量推定部と、
前記対応領域の発生情報量の推定値を前記リフレッシュ周期において前記所定番目のピクチャ以降のピクチャの枚数で除して得られる値を前記所定番目のピクチャの前記イントラスライスについての目標情報量として算出する目標情報量設定部とをさらに有し、
前記イントラスライス幅設定部は、前記所定番目のピクチャについて、前記巡回方向における当該ピクチャの前記イントラスライスの幅を、前記所定番目のピクチャの前記イントラスライスの発生情報量の推定値と前記目標情報量の差を最小化するように設定する、請求項１に記載の動画像符号化装置。
【請求項７】
イントラリフレッシュ方式により動画像データを符号化する動画像符号化方法であって、
所定長を持つリフレッシュ周期に含まれる、前記動画像データの各ピクチャに設定されるイントラスライスにおける発生情報量が前記各ピクチャ間で均等となるように、前記イントラスライスの巡回方向における、前記各ピクチャの前記イントラスライスの幅を設定し、
前記各ピクチャについて、当該リフレッシュ周期において前記イントラスライスが通過したリフレッシュ済みの領域に含まれる各ブロックを、当該ピクチャの前記リフレッシュ済みの領域内の符号化済みの画素または当該ピクチャよりも符号化順序が前の符号化済みピクチャの前記リフレッシュ済みの領域を参照し、かつ、当該ピクチャのリフレッシュされていない領域及び前記符号化済みピクチャのリフレッシュされていない領域を参照せずに符号化する、
ことを含む動画像符号化方法。
【請求項８】
イントラリフレッシュ方式により動画像データを符号化する動画像符号化方法であって、
所定長を持つリフレッシュ周期に含まれる、前記動画像データの各ピクチャに設定されるイントラスライスにおける発生情報量が前記各ピクチャ間で均等となるように、前記イントラスライスの巡回方向における、前記各ピクチャの前記イントラスライスの幅を設定し、
前記各ピクチャについて、当該リフレッシュ周期において前記イントラスライスが通過したリフレッシュ済みの領域に含まれる各ブロックを、当該ピクチャの前記リフレッシュ済みの領域内の符号化済みの画素または当該ピクチャよりも符号化順序が前の符号化済みピクチャの前記リフレッシュ済みの領域を参照し、かつ、当該ピクチャのリフレッシュされていない領域及び前記符号化済みピクチャのリフレッシュされていない領域を参照せずに符号化する、
ことをコンピュータに実行させるための動画像符号化用コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、イントラリフレッシュ方式を用いて動画像データを符号化する動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラムに関する。
【背景技術】
【０００２】
動画像データは、一般に非常に大きなデータ量を有する。そのため、動画像データを扱う装置は、動画像データを他の装置へ送信しようとする場合、あるいは、動画像データを記憶装置に記憶しようとする場合、動画像データを高能率符号化する。なお、「高能率符号化」とは、あるデータ列を他のデータ列に変換する符号化処理であって、そのデータ量を圧縮する処理をいう。
【０００３】
動画像データの高能率符号化方法として、ピクチャ内予測（イントラ予測）符号化方法が知られている。この符号化方法は、動画像データが空間方向に相関性が高いことを利用し、他のピクチャの符号化画像を用いない。ピクチャ内予測符号化方法で符号化されたピクチャは、そのピクチャ内の情報のみで復元できる。
【０００４】
また、高能率符号化方法で採用されている他の符号化方法として、ピクチャ間予測（インター予測）符号化方法が知られている。この符号化方法は、動画像データが時間方向に相関性が高いことを利用する。動画像データでは、一般に、あるタイミングのピクチャとそのピクチャに後続するピクチャ間の類似度が高いことが多い。そのため、インター予測符号化方法は、動画像データのその性質を使用する。一般に、動画像符号化装置は、符号化対象の原ピクチャを複数の符号化ブロックに分割する。動画像符号化装置は、ブロックごとに、符号化済みピクチャを復号して得られた参照ピクチャから、符号化ブロックと類似している領域を参照領域として選択し、参照領域と符号化ブロック間の差分を表す予測誤差画像を計算することで、時間的な冗長性を取り除く。そして動画像符号化装置は、参照領域を示す動きベクトル情報および予測誤差画像を符号化することにより、高い圧縮率が実現される。一般的に、イントラ予測符号化方法よりも、インター予測符号化方法の方が圧縮効率が高い。
【０００５】
これらの予測符号化方法を採用する代表的な動画像の符号化方式として、Moving Picture Experts Group phase 2（MPEG-2）、MPEG-4、あるいはH.264 MPEG-4 Advanced Video Coding（H.264 MPEG-4 AVC）が広く利用されている。これらの符号化方式では、例えば、ピクチャについて、イントラ予測符号化方法とインター予測符号化方法のいずれが選択されたかは、符号化された動画像データを含む映像ストリームに明示的に記載される。選択された予測符号化方法は符号化モードと呼ばれる。
【０００６】
このような符号化方式を用いて符号化された動画像データをリアルタイム通信する場合、動画像符号化装置および動画像復号装置において低遅延化が図られている。低遅延化を実現するための方法の一つとして、各ピクチャの情報量を均等化してバッファリング遅延を抑制することが考えられる。復号後における各ピクチャの画質を同等にするためには、ピクチャごとの符号量の変動は少ない方が好ましい。しかし、一般的に、イントラ予測符号化モードが適用されたピクチャの符号量は、インター予測符号化モードが適用されたピクチャの符号量よりも多くなる。そのため、イントラ予測符号化モードが適用されるイントラピクチャ（Iピクチャと呼ばれる）の符号量をインター予測符号化モードが適用されるピクチャの符号量と同程度にすると、イントラピクチャの画質が大幅に低下する。その結果、イントラピクチャを参照ピクチャとしてインター予測符号化されるピクチャの画質も大幅に低下し、結果として動画像データ全体の画質が大きく低下する。
【０００７】
復号された動画像データの画質を大きく低下させずに、各ピクチャの符号量をほぼ一定にするための方法として、イントラリフレッシュ方式（イントラスライス方式とも呼ばれる）が提案されている。イントラリフレッシュ方式では、符号化対象の動画像データの一番最初のピクチャ以外はイントラピクチャとせず、イントラ予測符号化されるブロック群が、所定周期でピクチャ内を巡回するように、各ピクチャに挿入される。このイントラ符号化されるブロック群はイントラスライスと呼ばれる。
【０００８】
図１を参照しつつ、このイントラリフレッシュ方式を説明する。図１は、垂直方向にイントラスライスが移動する例を示す。図１において、横軸は時間を表す。各ピクチャ１０１〜１０６は、一方向のみを参照するインター予測符号化モードが適用可能なPピクチャまたは過去のピクチャのみを参照する双方向のインター予測符号化モードが適用可能なBピクチャとして符号化される。動画像符号化装置は、イントラリフレッシュが適用されるイントラスライス１１０の位置を、ピクチャごとに、下方へと徐々にずらしていく。そして動画像符号化装置は、一定のリフレッシュ周期でピクチャ全体にイントラスライス１１０を巡回させる。例えば、図１では、時間経過とともに、イントラスライス１１０が通過した領域であるリフレッシュ済み領域１１１が下方に拡張される。リフレッシュ済み領域１１１、すなわち、イントラスライス１１０の下端であるリフレッシュ境界１１２よりも上側の領域では、各ブロックは、過去の符号化済みのピクチャのリフレッシュ済み領域、または現ピクチャのリフレッシュ済み領域を参照して符号化される。その結果、イントラスライスが一巡した後、ピクチャ全体がリフレッシュされるので、動画像復号装置は、伝送エラーなどでピクチャを復号不能なエラーが生じても、リフレッシュ後のピクチャから復号を再開できる。また、動画像復号装置は、動画像データを途中から復号できる。その際、動画像復号装置は、復号開始の時点から、最長でイントラスライスが一巡する期間（以下、リフレッシュ周期と呼ぶ）を経過した後のピクチャから正常に復号できる。さらに、動画像データ全体の一番最初のピクチャを除いて、符号量が多い、イントラピクチャが用いられないので、動画像符号化装置及び動画像復号装置のバッファのサイズが小さくて済む。その結果、バッファによる遅延も軽減できる。
【０００９】
しかしながら、ピクチャに写っている被写体によっては、ピクチャごとに発生する情報量（以下、単に発生情報量と呼ぶ）が異なることがある。一般に、復号されたピクチャの画質を同程度にするためには、発生情報量が多いピクチャほど、符号量も多くなる。そこで、発生情報量の変動による画質の劣化を抑制するために、映像信号の画像動きにより発生情報量を予測し、その予測結果に応じてリフレッシュをかける期間及びリフレッシュをかける領域の幅を可変にする技術が提案されている（例えば、特許文献１を参照）。また、動画像の特徴量と目標符号量からイントラ符号化ブロックを適用する領域の幅を設定することで、目標符号量を守りながら、イントラ符号化ブロックを適用する領域を広げる技術が提案されている（例えば、特許文献２を参照）。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開平５−３２８３３０号公報
【特許文献２】特開２０１１−２３３９９１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、特許文献１に開示された技術及び特許文献２に開示された技術では、各ピクチャの発生情報量が増えると、各ピクチャにおける、イントラスライスの巡回方向でのイントラスライスの幅が狭くなり、リフレッシュ周期が長くなる。そのため、動画像復号装置が動画像データの途中から再生しようとする場合、再生可能になるまでの期間が長くなる。
【００１２】
また、ピクチャに写っている被写体が静止している、すなわち、複数のピクチャにわたって被写体の位置及び形状が変化しない場合でも、被写体に複雑なパターンが含まれる場合のように発生情報量が多いこともある。このようなピクチャに対して、特許文献１に開示された技術では、イントラスライスの幅が広くなるので、イントラスライスにおける発生情報量が多くなる。その結果として、符号量を一定に抑えるためには、イントラスライス内の各ブロックに対して適用する量子化幅を広くすることとなり、画質が劣化してしまう。
【００１３】
一つの側面では、本発明は、リフレッシュ周期を一定に保ちつつ、ピクチャ間でのイントラスライスの発生情報量の変動を抑制できる動画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
一つの実施形態によれば、イントラリフレッシュ方式により動画像データを符号化する動画像符号化装置が提供される。この動画像符号化装置は、所定長を持つリフレッシュ周期に含まれる、動画像データの各ピクチャに設定されるイントラスライスにおける発生情報量が各ピクチャ間で均等となるように、イントラスライスの巡回方向における、各ピクチャのイントラスライスの幅を設定するイントラスライス幅設定部と、各ピクチャについて、そのリフレッシュ周期においてイントラスライスが通過したリフレッシュ済みの領域に含まれる各ブロックを、そのピクチャのリフレッシュ済みの領域内の符号化済みの画素またはそのピクチャよりも符号化順序が前の符号化済みピクチャのリフレッシュ済みの領域を参照し、かつ、そのピクチャのリフレッシュされていない領域及び符号化済みピクチャのリフレッシュされていない領域を参照せずに符号化する符号化部とを有する。
【発明の効果】
【００１５】
リフレッシュ周期を一定に保ちつつ、ピクチャ間でのイントラスライスの発生情報量の変動を抑制できる。
【図面の簡単な説明】
【００１６】
【図１】垂直方向にイントラスライスが移動する場合のイントラリフレッシュ方式によりリフレッシュ済み領域の時間変化の一例を示す図である。
【図２】第１の実施形態による動画像符号化装置の概略構成図である。
【図３】第１の実施形態による、発生情報量推定の説明図である。
【図４】イントラスライス幅設定処理の動作フローチャートである。
【図５】第１の実施形態による、一つのリフレッシュ周期内の各ピクチャに設定されるイントラスライスの一例を示す図である。
【図６】HEVCによる、ピクチャの分割構造の一例を示す図である。
【図７】第１の実施形態による、動画像符号化処理の動作フローチャートである。
【図８】第２の実施形態による、一つのリフレッシュ周期内の各ピクチャに設定されるイントラスライスの一例を示す図である。
【図９】第２の実施形態による、動画像符号化処理の動作フローチャートである。
【図１０】変形例による、一つのリフレッシュ周期内の各ピクチャに設定されるイントラスライスの一例を示す図である。
【図１１】第３の実施形態による動画像符号化装置の概略構成図である。
【図１２】変形例による、一つのリフレッシュ周期内の各ピクチャに設定されるイントラスライスの一例を示す図である。
【図１３】水平方向にイントラスライスが移動する場合のイントラリフレッシュ方式によりリフレッシュ済み領域の時間変化の一例を示す図である。
【図１４】各実施形態またはその変形例による動画像符号化装置の各部の機能を実現するコンピュータプログラムが動作することにより、動画像符号化装置として動作するコンピュータの構成図である。
【発明を実施するための形態】
【００１７】
以下、図を参照しつつ、動画像符号化装置について説明する。この動画像符号化装置は、イントラリフレッシュ方式を採用する。この動画像符号化装置は、リフレッシュ周期の先頭のピクチャに基づいて、イントラスライスが巡回する方向に沿って所定幅を持つブロックラインごとに、発生情報量の推定値を算出する。この動画像符号化装置は、ブロックラインごとの発生情報量の推定値の総和をリフレッシュ周期で除することで、各ピクチャにおけるイントラスライスの目標情報量を算出する。そしてこの動画像符号化装置は、リフレッシュ周期を一定に保ちつつ、リフレッシュ周期内の各ピクチャについて、イントラスライスの発生情報量がその目標情報量となるように、イントラスライスの巡回方向に沿った幅を設定する。
【００１８】
なお、以下では、便宜上、イントラスライスの巡回方向に沿ったイントラスライスの幅を、単にイントラスライスの幅と呼ぶ。また、イントラスライスの巡回方向、すなわち、リフレッシュ境界が移動する方向をリフレッシュ方向と呼ぶ。また本実施形態では、リフレッシュ方向は垂直方向である。
【００１９】
また、本実施形態では、動画像符号化装置は、動画像データに含まれる各ピクチャを、High Efficiency Video Coding(HEVC)に従って符号化する。しかし、動画像符号化装置は、イントラリフレッシュ方式が適用可能な他の動画像符号化規格に準拠してもよい。
【００２０】
なお、ピクチャは、フレームまたはフィールドの何れであってもよい。フレームは、動画像データ中の一つの静止画像であり、一方、フィールドは、フレームから奇数行のデータあるいは偶数行のデータのみを取り出すことにより得られる静止画像である。
【００２１】
図２は、第１の実施形態による動画像符号化装置の概略構成図である。動画像符号化装置１は、発生情報量推定部１１と、目標情報量設定部１２と、イントラスライス幅設定部１３と、符号化部１４とを有する。また、符号化部１４は、動き探索部２１と、符号化モード判定部２２と、予測ブロック生成部２３と、予測誤差算出部２４と、直交変換部２５と、量子化部２６と、復号部２７と、記憶部２８と、エントロピー符号化部２９とを有する。
【００２２】
動画像符号化装置１が有するこれらの各部は、それぞれ別個の回路として形成される。あるいは動画像符号化装置１が有するこれらの各部は、その各部に対応する回路が集積された一つまたは複数の集積回路として動画像符号化装置１に実装されてもよい。さらに、動画像符号化装置１が有するこれらの各部は、動画像符号化装置１が有するプロセッサ上で実行されるコンピュータプログラムにより実現される、機能モジュールであってもよい。
【００２３】
発生情報量推定部１１は、一定長を持つリフレッシュ周期の先頭のピクチャが動画像符号化装置１に入力される度に、その先頭のピクチャにおける発生情報量の推定値を算出する。以下では、リフレッシュ周期の先頭のピクチャを単に先頭ピクチャと呼ぶ。
【００２４】
本実施形態では、発生情報量推定部１１は、先頭ピクチャを、リフレッシュ方向に沿って所定幅を持ち、かつ、リフレッシュ境界と平行な方向に延伸される複数のブロックラインに分割する。所定幅は、例えば、符号化処理の単位となるのブロックの最小サイズに設定される。したがって、ピクチャの上端からリフレッシュ境界までの画素数は、その所定幅の整数倍となる。本実施形態では、動画像符号化装置１は、HEVCに準拠しているので、符号化モードの適用単位となるCoding Unit（CU）の最小サイズである8画素に設定される。ただし、ブロックラインの幅は、8画素に限定されず、例えば、16画素または32画素であってもよい。
【００２５】
発生情報量推定部１１は、ブロックラインごとに、そのブロックラインに含まれる各画素の輝度値の分散を、そのブロックラインの発生情報量の推定値として算出する。そして発生情報量推定部１１は、各ブロックラインの分散の総和を、先頭ピクチャの発生情報量の推定値として算出する。
【００２６】
図３は、第１の実施形態による、発生情報量推定の説明図である。先頭ピクチャ３００は、矢印で示されるリフレッシュ方向３０１に沿って所定幅（この例では、8画素）を持つブロックライン３１０−１〜３１０−ｎ（ｎは２以上の整数）に分割される。そしてブロックライン３１０−１〜３１０−ｎのそれぞれごとに、発生情報量の推定値である輝度の分散V1〜Vnが算出される。
【００２７】
発生情報量推定部１１は、先頭ピクチャの発生情報量の推定値を目標情報量設定部１２へ通知する。また発生情報量推定部１１は、ブロックラインごとの発生情報量の推定値をイントラスライス幅設定部１３へ通知する。
【００２８】
目標情報量設定部１２は、先頭ピクチャの発生情報量の推定値とリフレッシュ周期とに基づいて、リフレッシュ周期内の各ピクチャにおける、イントラスライスの発生情報量の目標値である目標情報量を設定する。
【００２９】
イントラリフレッシュ方式では、適用可能な符号化モード及び参照可能な領域の制限により、イントラスライスの符号量が、ピクチャ内の同サイズの他の領域の符号量と比較して相対的に多くなる。そのため、リフレッシュ周期内の各ピクチャについて、イントラスライスの発生情報量が均等となるように、各ピクチャでのイントラスライスの幅を設定することで、ピクチャごとの符号量の変動が抑制される。そこで、目標情報量設定部１２は、各ピクチャでのイントラスライスの発生情報量が均等となるように、先頭ピクチャの発生情報量の推定値をリフレッシュ周期で除すことで得られる値を目標情報量に設定する。
目標情報量設定部１２は、目標情報量をイントラスライス幅設定部１３へ通知する。
【００３０】
イントラスライス幅設定部１３は、リフレッシュ周期内の各ピクチャについて、そのピクチャのイントラスライスの発生情報量の推定値と目標情報量の差を最小化するように、イントラスライスの幅を設定する。その際、イントラスライス幅設定部１３は、先頭ピクチャの各ブロックラインの発生情報量の推定値を、同じリフレッシュ周期内の各ピクチャの同じ位置のブロックラインの発生情報量の推定値として利用する。これは、一般に、動画像データでは、時間的に連続するピクチャ間には相関性があり、先頭ピクチャの任意の位置に写っている被写体と、リフレッシュ周期内の他のピクチャの同じ位置に写ってい被写体とは類似している可能性が高いためである。そのため、先頭ピクチャの任意のブロックラインの発生情報量と、リフレッシュ周期内の他のピクチャの同じ位置にあるブロックラインの発生情報量との差は小さいと想定される。
【００３１】
図４は、イントラスライス幅設定部１３による、イントラスライス幅設定処理の動作フローチャートである。イントラスライス幅設定部１３は、ピクチャごとに、この動作フローチャートに従ってイントラスライス幅を設定する。ただし、リフレッシュ周期内で符号化順序が最後のピクチャについては、ピクチャの下端がリフレッシュ境界となるので、イントラスライス幅設定処理は省略されてもよい。
【００３２】
イントラスライス幅設定部１３は、符号化順序で直前のピクチャに設定されたリフレッシュ境界の下側に隣接するブロックラインを着目するブロックラインkに設定する（ステップＳ１０１）。イントラスライス幅設定部１３は、着目するブロックラインkの発生情報量の推定値LineQI(k)を、イントラスライスの発生情報量の累積和Sum(k-1)に加算して、更新後の累積和Sum(k)を算出する（ステップＳ１０２）。そしてイントラスライス幅設定部１３は、その累積和Sum(k)をイントラスライス幅設定部１３が有するメモリに保存する。さらに、イントラスライス幅設定部１３は、更新直前の累積和Sum(k-1)を過去累積和としてそのメモリに保存する。
【００３３】
イントラスライス幅設定部１３は、累積和Sum(k)が目標情報量TargetInfo以上か否か判定する（ステップＳ１０３）。累積和Sum(k)が目標情報量TargetInfo未満である場合（ステップＳ１０３−Ｎｏ）、イントラスライス幅設定部１３は、着目するブロックラインの下側に隣接するブロックラインを次の着目するブロックラインに設定する（ステップＳ１０４）。すなわち、直前のピクチャのリフレッシュ境界から着目するブロックラインまでのブロックラインの数kが1インクリメントされる。そしてイントラスライス幅設定部１３は、ステップＳ１０２以降の処理を繰り返す。
【００３４】
一方、累積和Sum(k)が目標情報量TargetInfo以上の場合（ステップＳ１０３−Ｙｅｓ）、イントラスライス幅設定部１３は、累積和Sum(k)と目標情報量TargetInfoの差の絶対値が、過去累積和Sum(k-1)と目標情報量TargetInfoの差の絶対値以下か否か判定する（ステップＳ１０５）。累積和Sum(k)と目標情報量TargetInfoの差の絶対値が、過去累積和Sum(k-1)と目標情報量TargetInfoの差の絶対値以下である場合（ステップＳ１０５−Ｙｅｓ）、イントラスライス幅設定部１３は、着目するブロックラインkの下端をリフレッシュ境界とする（ステップＳ１０６）。一方、累積和Sum(k)と目標情報量TargetInfoの差の絶対値が、過去累積和Sum(k-1)と目標情報量TargetInfoの差の絶対値より大きい場合（ステップＳ１０５−Ｎｏ）、イントラスライス幅設定部１３は、着目するブロックラインkの上端をリフレッシュ境界とする（ステップＳ１０７）。ステップＳ１０６またはＳ１０７の後、イントラスライス幅設定部１３は、イントラスライス幅設定処理を終了する。そして着目するピクチャについて設定されたリフレッシュ境界と、符号化順序で直前のピクチャのリフレッシュ境界の間に含まれる領域が、着目するピクチャについてのイントラスライスとなる。すなわち、着目するピクチャについて設定されたリフレッシュ境界と、符号化順序で直前のピクチャのリフレッシュ境界の間の画素数が、着目するピクチャのイントラスライスの幅となる。
【００３５】
図５は、本実施形態による、一つのリフレッシュ周期内の各ピクチャに設定されるイントラスライスの一例を示す図である。図５において、横軸は符号化順序を表す。この例では、リフレッシュ周期５００内に、符号化順に４枚のピクチャ５０１〜５０４が含まれる。すなわち、リフレッシュ周期は４である。そして各ピクチャには、それぞれ、イントラスライス５１１〜５１４が設定される。この例では、ピクチャ５０１に設定されるイントラスライス５１１の幅は、ピクチャ５０２に設定されるイントラスライス５１２の幅と等しくなっている。また、ピクチャ５０３に設定されるイントラスライス５１３の幅は、ピクチャ５０４に設定されるイントラスライス５１４の幅と等しくなっている。一方、イントラスライス５１１の幅及びイントラスライス５１２の幅は、イントラスライス５１３の幅及びイントラスライス５１４の幅よりも狭くなっている。
【００３６】
イントラスライス幅設定部１３は、現ピクチャについてのイントラスライスの上端（符号化順序で直前のピクチャのリフレッシュ境界）の座標とイントラスライスの下端（現ピクチャのリフレッシュ境界）の座標とを符号化部１４へ通知する。またイントラスライス幅設定部１３は、イントラスライスの下端の座標をイントラスライス幅設定部１３が有するメモリに保存する。
【００３７】
符号化部１４は、符号化対象のピクチャについて、イントラスライス幅設定部１３により設定されたイントラスライスの幅及び位置に基づいて、リフレッシュ済み領域か否かで参照範囲を設定する。そして符号化部１４は、その制限に従って、符号化対象のピクチャ内の各ブロックを符号化する。すなわち、符号化部１４は、符号化対象のピクチャのリフレッシュ済み領域内の各ブロックの参照範囲を、そのピクチャのリフレッシュ済み領域内の符号化済みの画素またはそのピクチャより符号化順序が前の符号化済みピクチャのリフレッシュ済み領域に制限する。さらに、符号化部１４は、符号化対象のピクチャのイントラスライスに含まれる各ブロックについては、その参照範囲を、そのピクチャのリフレッシュ済みの領域内の符号化済みの画素に制限してもよい。一方、符号化部１４は、符号化対象のピクチャの未リフレッシュ領域に含まれる各ブロックについては、その参照範囲をリフレッシュ済み領域及び未リフレッシュ領域に関わらずに設定してもよい。
【００３８】
本実施形態では、動画像符号化装置１は、HEVCに従って各ピクチャを符号化する。そのため、符号化対象のピクチャはブロックはCoding Tree Unit(CTU)単位で分割され、各CTUは、ラスタスキャン順に符号化される。そこで、CTUの構造について説明する。
【００３９】
図６は、HEVCによる、ピクチャの分割構造の一例を示す図である。図６に示されるように、ピクチャ６００は、CTU単位で分割される。CTU６０１のサイズは、64x64〜16x16画素の中から選択できる。ただし、CTU６０１のサイズは、シーケンス単位で一定とされる。
【００４０】
CTU６０１は、さらに、四分木構造で複数のCoding Unit（CU）６０２に分割される。一つのCTU６０１内の各CU６０２は、Zスキャン順に符号化される。CU６０２のサイズは可変であり、そのサイズは、CU分割モード8x8〜64x64画素の中から選択される。CU６０２は、イントラ予測符号化モードとインター予測符号化モードの中から適用する符号化モードを選択する単位となる。CU６０２は、Prediction Unit（PU）６０３単位またはTransform Unit（TU）６０４単位で個別に処理される。PU６０３は、符号化モードに応じた予測が行われる単位となる。例えば、PU６０３は、イントラ予測符号化モードでは、予測ブロックを生成する際に参照される画素及び予測ブロックの各画素の値の算出方法を規定する予測モードが適用される単位となり、一方、インター予測符号化モードでは、動き補償を行う単位となる。PU６０３のサイズは、例えば、インター予測符号化では、PU分割モードPartMode =2Nx2N, NxN, 2NxN, Nx2N, 2NxU, 2NxnD, nRx2N, nLx2Nの中から選択できる。一方、TU６０４は、直交変換の単位であり、TU６０４のサイズは、4x4画素〜32x32画素の中から選択される。TU６０４は、四分木構造で分割され、Zスキャン順に処理される。
【００４１】
符号化部１４は、CTUごとに符号化処理を実行する。そこで以下では、一つのCTUに対する符号化部１４の処理を説明する。
【００４２】
動き探索部２１は、CTU内の適用可能なPUごとに、そのPUと、一旦符号化されたピクチャを動画像符号化装置１が復号して得られる局所復号ピクチャの参照領域との間でブロックマッチングを実行する。そして動き探索部２１は、PUのそれぞれについて、そのPUと最も一致する局所復号ピクチャ及び局所復号ピクチャ上の位置を決定することにより、動きベクトルを求める。
【００４３】
その際、動き探索部２１は、リフレッシュ済み領域に含まれるPUについては、局所復号ピクチャ上のリフレッシュ済み領域内に参照領域を設定する。一方、未リフレッシュ済み領域に含まれるPUについては、動き探索部２１は、局所復号ピクチャのリフレッシュ済み領域だけでなく、未リフレッシュ領域にも参照領域を設定してもよい。
【００４４】
また、イントラスライスに含まれるPUについて、適用される符号化モードがイントラ予測符号化モードに限定される場合には、動き探索部２１は、そのPUについては動きベクトルを算出しなくてもよい。
【００４５】
動き探索部２１は、各PUの動きベクトルを記憶部２８に保存するとともに、符号化モード判定部２２へ出力する。
【００４６】
符号化モード判定部２２は、符号化対象CTUを分割するCU、PU及びTUの分割モード及びCUごとに適用される符号化モードを決定する。
【００４７】
符号化モード判定部２２は、適用可能な符号化モードについての符号化対象CTUの符号化されたデータ量の評価値である符号化コストをCU単位でそれぞれ算出する。例えば、符号化モード判定部２２は、インター予測符号化モードについては、CTUを分割するCU分割モード、PU分割モード及び動きベクトルの予測ベクトルの生成方法を規定するベクトルモードの組み合わせごとに符号化コストを算出する。なお、符号化モード判定部２２は、ベクトルモードとして、例えば、Adaptive Motion Vector Prediction(AMVP)モード、及び、Mergeモードの何れかを利用できる。ただし、符号化モード判定部２２は、リフレッシュ済み領域に含まれるPUの動きベクトルの予測ベクトルとして、未リフレッシュ領域に含まれる、符号化済みのPUの動きベクトルを使用しない。一方、符号化モード判定部２２は、未リフレッシュ領域に含まれるPUの動きベクトルの予測ベクトルとして、未リフレッシュ領域に含まれる、符号化済みのPUの動きベクトルを使用してもよい。
【００４８】
また、イントラ予測符号化モードについては、符号化モード判定部２２は、CTUを分割するCU分割モード、PU分割モード及び予測モードの組み合わせごとに符号化コストを算出する。なお、符号化モード判定部２２は、リフレッシュ済み領域に含まれるPUについては、未リフレッシュ領域内の画素を参照する予測モードの適用を禁止する。一方、符号化モード判定部２２は、未リフレッシュ領域に含まれるPUについては、未リフレッシュ領域内の画素を参照する予測モードを適用してもよい。
【００４９】
符号化モード判定部２２は、符号化コストを算出するために、例えば、着目するPUについて、次式に従って、予測誤差、すなわち画素差分絶対値和SADを算出する。
SAD=Σ|OrgPixel-PredPixel|
ここで、OrgPixelは着目するPUに含まれる画素の値であり、PredPixelは着目するブロックに対応する、符号化コストの算出対象となる符号化モードに従って生成された予測ブロックに含まれる画素の値である。
【００５０】
そして符号化モード判定部２２は、例えば、次式に従って、着目するCUについての符号化コストCostを算出する。
Cost=ΣSAD + λ*B
ここで、ΣSADは、着目するCUに含まれる各PUについて算出されたSADの総和である。またBは、動きベクトル、予測モードを表すフラグなど、予測誤差以外の項目についての符号量の推定値である。そしてλはラグランジュの未定乗数である。
【００５１】
なお、符号化モード判定部２２は、SADの代わりに、着目するPUと予測ブロックとの差分画像をアダマール変換した後の各画素の絶対値和SATDなどを算出してもよい。
【００５２】
符号化モード判定部２２は、符号化対象CTUについて、例えば、取り得るCUサイズの中でサイズが大きい方から順に着目するCUを設定する。そして符号化モード判定部２２は、着目するCUについて、イントラ予測符号化モードに関してそのCU内のPU分割モードごとにコストが最小となる予測モードを選択する。また、符号化モード判定部２２は、着目するCUについて、インター予測符号化モードに関してそのCU内のPU分割モードごとにコストが最小となるベクトルモードを選択する。さらに、符号化モード判定部２２は、同サイズのCUごとに、イントラ予測符号化モードとインター予測符号化モードのうちで、符号化コストが小さい方を、そのCUについて適用する符号化モードとして選択する。なお、符号化モード判定部２２は、イントラスライスに含まれるCUについては、インター予測符号化モードについての符号化コストを算出せず、適用する符号化モードとしてイントラ予測符号化モードを選択してもよい。
【００５３】
さらに、符号化モード判定部２２は、着目するCUを４分割したCUのそれぞれを、次に着目するCUとして、同様の処理を実行して、最小符号化コストを算出する。そして符号化モード判定部２２は、４分割したCUのそれぞれについて算出された、最小符号化コストの総和と、着目するCUについての最小符号化コストよりも小さければ、着目するCUを４分割する。符号化モード判定部２２は、各CUが分割されなくなるまで、上記の処理を繰り返すことで、符号化対象CTUに適用されるCU分割モード及びPU分割モードを決定する。
【００５４】
なお、符号化モード判定部２２は、リフレッシュ境界を跨ぐCUが設定されないようにCU分割モードを設定する。例えば、符号化モード判定部２２は、上記の符号化モードの判定処理において、リフレッシュ境界を跨ぐCUについての符号化コストを、そのCUが選択されないほど非常に大きな値とすればよい。あるいは、符号化モード判定部２２は、リフレッシュ境界を跨ぐCUについての符号化コストを算出せず、符号化コストが算出されなかったCUを含むCU分割モードを選択しないようにしてもよい。
【００５５】
さらに、符号化モード判定部２２は、上記のようにして決定したCU分割モードに従ったCUごとに、TU分割モードを決定する。その際、符号化モード判定部２２は、適用可能なTU分割モードごとに、次式に従ってRDコストCostを算出する。
【数１】
2017069866.tif 000003
ここで、org(i)は、着目するCUに含まれる画素の値であり、ldec(i)は、着目するTU分割モードを用いてそのCUを符号化し、さらに復号して得られる復号画素の値を表す。またbitは、そのCUを着目するTU分割モードを用いて符号化したときの符号量を表す。（１）式の右辺の第一項は、符号化歪みを表し、右辺の第二項は符号量を表す。そのため、RDコストが最小となるTU分割モードでは、符号化歪みと符号量が最適なバランスとなっている。
そこで、符号化モード判定部２２は、RDコストCostが最小となるTU分割モードを選択する。
【００５６】
符号化モード判定部２２は、符号化対象CTUについて選択したCU及びPUの分割モード及び符号化モードの組み合わせを予測ブロック生成部２３に通知する。また符号化モード判定部２２は、符号化対象CTUについて選択したCU、PU及びTUの分割モード及び符号化モードの組み合わせを記憶部２８に保存する。
【００５７】
予測ブロック生成部２３は、符号化対象CTUについて選択されたCU、PU及びTUのサイズ及び符号化モードの組み合わせに従ってPUごとに予測ブロックを生成する。予測ブロック生成部２３は、例えば、着目するCUがインター予測符号化される場合、そのCU内のPUごとに、記憶部２８から読み出した局所復号ピクチャを、そのPUについて算出された動きベクトルに基づいて動き補償することで予測ブロックを生成する。
【００５８】
また予測ブロック生成部２３は、着目するCUがイントラ予測符号化される場合、そのCU内のPUごとに選択された予測モードに従って参照される、そのPUの周囲の局所復号ブロック内の画素の値に基づいて予測ブロックを生成する。
予測ブロック生成部２３は、生成された予測ブロックを予測誤差算出部２４及び復号部２７へ渡す。
【００５９】
予測誤差算出部２４は、符号化対象CTU内の各画素について、予測ブロック生成部２３により生成された予測ブロックの対応画素との差分演算を実行する。そして予測誤差算出部２４は、各TUについて、その差分演算により得られたTU内の各画素に対応する差分値を、そのTUの予測誤差信号とする。予測誤差算出部２４は、各TUについての予測誤差信号を直交変換部２５へわたす。
【００６０】
直交変換部２５は、符号化対象CTU内の各TUについて、そのTUの予測誤差信号を直交変換することで予測誤差信号の水平方向の周波数成分及び垂直方向の周波数成分を表す直交変換係数を求める。例えば、直交変換部２５は、予測誤差信号に対して、直交変換処理として離散コサイン変換(Discrete Cosine Transform, DCT)を実行することにより、直交変換係数として、DCT係数の組を得る。
【００６１】
直交変換部２５は、各TUについての直交変換係数を量子化部２６へわたす。
【００６２】
量子化部２６は、TUごとの直交変換係数を、量子化幅を指定するqp値などを含む量子化パラメータに従って量子化することにより、量子化された直交変換係数を算出する。なお、以下では、量子化された直交変換係数を、単に量子化係数と呼ぶことがある。
量子化部２６は、量子化係数を復号部２７及びエントロピー符号化部２９へ出力する。
【００６３】
復号部２７は、符号化対象CTU内の各TUの量子化係数から、そのTUよりも後のCUなどを符号化するために参照される局所復号ブロックを生成し、その局所復号ブロックを記憶部２８に記憶する。
そのために、復号部２７は、各TUの量子化係数を逆量子化することで、量子化前の直交変換係数を復元する。
【００６４】
復号部２７は、TUごとに、復元された直交変換係数に対して逆直交変換を行う。例えば、直交変換部２５が直交変換としてDCTを用いている場合、復号部２７は、逆直交変換として逆DCT処理を実行する。これにより、復号部２７は、TUごとに、符号化前の予測誤差信号と同程度の情報を有する予測誤差信号を復元する。
【００６５】
復号部２７は、TUごとに、そのTUの予測ブロックの各画素値に、復元された予測誤差信号を加算することで、局所復号ブロックを生成する。
復号部２７は、局所復号ブロックを生成する度に、その局所復号ブロックを記憶部２８に保存する。
【００６６】
また、復号部２７は、記憶部２８に記憶されている各局所復号ブロックに対して、デブロッキングフィルタ処理、あるいは、sample adaptive offset処理といったループ内フィルタ処理を行ってもよい。ただし、復号部２７は、リフレッシュ境界を跨ぐループ内フィルタ処理を実行しない。
【００６７】
記憶部２８は、復号部２７から受け取った局所復号ブロックを一時的に記憶する。なお、局所復号ピクチャは、各CTUの符号化順序にしたがって、１枚のピクチャ分の局所復号ブロックを結合することで得られる。記憶部２８は、動き探索部２１、符号化モード判定部２２及び予測ブロック生成部２３に、局所復号ピクチャまたは局所復号ブロックを供給する。なお、記憶部２８は、符号化対象ピクチャが参照する可能性がある、予め定められた所定枚数分の局所復号ピクチャを記憶し、局所復号ピクチャの枚数がその所定枚数を超えると、符号化順序が古い局所復号ピクチャから順に破棄する。
さらに、記憶部２８は、インター予測符号化された局所復号ブロックのそれぞれについての動きベクトルを記憶する。さらにまた、記憶部２８は、各CTUについて選択したCU、PU及びTUの分割モード及び符号化モードの組み合わせを記憶する。
【００６８】
エントロピー符号化部２９は、符号化対象CTUの各TUの量子化係数及び各PUの動きベクトルの予測誤差信号及び予測ベクトルを特定するためのシンタックスなどをエントロピー符号化する。本実施形態では、エントロピー符号化部２９は、エントロピー符号化方式として、Context-based Adaptive Binary Arithmetic Coding(CABAC)といった算術符号化処理を用いる。そしてエントロピー符号化部２９は、エントロピー符号化により得られたビットストリームを所定の順序で結合し、HEVCで規定されるヘッダ情報などを付加することで、符号化された動画像データを含む符号化ビットストリームを求める。そしてエントロピー符号化部２９は、符号化ビットストリームを出力する。
【００６９】
図７は、動画像符号化装置１による動画像符号化処理の動作フローチャートである。動画像符号化装置１はリフレッシュ周期ごとに、下記の動作フローチャートに従ってそのリフレッシュ周期内の各ピクチャを符号化する。
【００７０】
発生情報量推定部１１は、リフレッシュ周期の先頭ピクチャのブロックラインごとに、発生情報量の推定値を算出する（ステップＳ２０１）。そして発生情報量推定部１１は、各ブロックラインの発生情報量の推定値の総和を、先頭ピクチャの発生情報量の推定値として算出する（ステップＳ２０２）。発生情報量推定部１１は、先頭ピクチャの発生情報量の推定値を目標情報量設定部１２へ通知する。また発生情報量推定部１１は、ブロックラインごとの発生情報量の推定値をイントラスライス幅設定部１３へ通知する。
【００７１】
目標情報量設定部１２は、先頭ピクチャの発生情報量の推定値をリフレッシュ周期で除することにより得られた値を目標情報量として設定する（ステップＳ２０３）。目標情報量設定部１２は、目標情報量をイントラスライス幅設定部１３へ通知する。
【００７２】
イントラスライス幅設定部１３は、リフレッシュ周期内の着目するピクチャについて、直前のピクチャのリフレッシュ境界からのブロックラインの発生情報量の総和と目標情報量の差が最小となるように、イントラスライスの幅を設定する（ステップＳ２０４）。なお、直前のピクチャのリフレッシュ境界は、着目するピクチャにおける、イントラスライスの上端となる。その際、イントラスライス幅設定部１３は、先頭ピクチャの各ブロックラインの発生情報量の推定値を、着目するピクチャの同じ位置のブロックラインの発生情報量の推定値として利用する。そしてイントラスライス幅設定部１３は、リフレッシュ周期内の各ピクチャについて、イントラスライスの幅及びイントラスライスの位置を符号化部１４に通知する。
【００７３】
符号化部１４は、着目するピクチャについて、リフレッシュ済み領域内の各CUを、リフレッシュ済み領域内の局所復号ブロックまたは局所復号ピクチャのリフレッシュ済み領域を参照して符号化する（ステップＳ２０５）。さらに、符号化部１４は、未リフレッシュ領域内の各CUを、参照される領域を制限せずに符号化する。
【００７４】
動画像符号化装置１の制御部（図示せず）は、着目するピクチャがリフレッシュ周期内で符号化順序が最後のピクチャか否か判定する（ステップＳ２０６）。着目するピクチャがリフレッシュ周期内で符号化順序が最後のピクチャでなければ（ステップＳ２０６−Ｎｏ）、制御部は、符号化順序で着目するピクチャの次のピクチャを、次に着目するピクチャに設定する（ステップＳ２０７）。そして動画像符号化装置１は、ステップＳ２０４以降の処理を繰り返す。
【００７５】
一方、着目するピクチャがリフレッシュ周期内で符号化順序が最後のピクチャであれば（ステップＳ２０６−Ｙｅｓ）、動画像符号化装置１は、動画像符号化処理を終了する。
【００７６】
以上に説明してきたように、この動画像符号化装置では、イントラリフレッシュ方式が適用される。そしてこの動画像符号化装置は、リフレッシュ周期内の各ピクチャについて、イントラスライスの発生情報量が均等となるように、各ピクチャのイントラスライスの幅を設定する。そのため、この動画像符号化装置は、動きの多いピクチャだけでなく、局所的に複雑なパターンを持つ静止した被写体を含むピクチャであっても、リフレッシュ周期を一定に保ちつつ、ピクチャ間でのイントラスライスの発生情報量の変動を抑制できる。したがって、この動画像符号化装置は、リフレッシュ周期内の各ピクチャの符号量の変動を抑制でき、その結果として、この動画像符号化装置は、動画像データの画質の劣化を抑制できる。さらに、この動画像符号化装置は、リフレッシュ周期を一定に保つので、符号化された動画像データが途中から復号される場合に、ピクチャが表示可能となるまでの期間が長くなることを防止できる。
【００７７】
次に、第２の実施形態による動画像符号化装置について説明する。第２の実施形態による動画像符号化装置は、リフレッシュ周期内のピクチャごとに、符号化順で直前のピクチャでの未リフレッシュ領域に対応する領域の発生情報量の推定値を求める。そしてこの動画像符号化装置は、その推定値をリフレッシュ周期の残りの期間で除することにより、イントラスライス幅を設定する。
【００７８】
第２の実施形態による動画像符号化装置は、第１の実施形態による動画像符号化装置と比較して、発生情報量推定部１１、目標情報量設定部１２の処理が異なる。そこで以下では、発生情報量推定部１１及び目標情報量設定部１２及びその関連部分について説明する。
【００７９】
発生情報量推定部１１は、リフレッシュ周期内の各ピクチャについて、符号化順で直前のピクチャでの未リフレッシュ領域に対応する領域の発生情報量の推定値を算出する。ただし、先頭ピクチャについては、先頭ピクチャ全体の発生情報量の推定値を算出する。
【００８０】
そのために、発生情報量推定部１１は、例えば、符号化順で直前のピクチャの未リフレッシュ領域について、所定幅を持つブロックラインごとに、そのブロックラインに含まれる各CUのSADの総和を、そのブロックラインの発生情報量の推定値として算出する。なお、ブロックラインに含まれる各CUのSADは、例えば、符号化モード判定部２２により算出された、そのCUのイントラ予測符号化モードでの符号化コストの最小値に対応する、そのCUに含まれる各PUのSADの和とすることができる。各CUのSADは、符号量の評価値の一例である。各CUのSADは、発生情報量推定部１１が利用できるように、例えば、符号化モード判定部２２により、バッファ（図示せず）に保存される。例えば、所定幅が8画素である場合、ブロックラインに含まれる、8x8画素サイズの各CUについて、イントラ予測符号化モードが適用される場合の符号化コストの最小値に対応するSADがそのブロックラインの発生情報量の推定値の算出に利用される。SADは、符号化モード判定部２２により既に算出されているので、発生情報量推定部１１は、ブロックラインごとの発生情報量の推定値の算出に要する演算量を削減できる。また、着目するピクチャとの相関性が高い、直前のピクチャについてのSADを発生情報量の算出に利用することで、発生情報量推定部１１は、ブロックラインごとの発生情報量の推定精度を向上できる。
なお、本実施形態でも、発生情報量推定部１１は、SADの代わりに、SATDを用いてもよい。
【００８１】
発生情報量推定部１１は、直前のピクチャの未リフレッシュ領域に含まれる各ブロックラインの発生情報量の推定値の総和を、その未リフレッシュ領域に対応する着目ピクチャの領域についての発生情報量の推定値として算出する。
【００８２】
変形例によれば、発生情報量推定部１１は、符号化順で直前のピクチャの未リフレッシュ領域に対応する、着目するピクチャの領域に含まれるブロックラインごとに輝度値の分散を算出し、その分散を、そのブロックラインの発生情報量の推定値としてもよい。
【００８３】
発生情報量推定部１１は、直前のピクチャの未リフレッシュ領域に対応する着目するピクチャの領域の発生情報量の推定値を目標情報量設定部１２へ通知する。また発生情報量推定部１１は、直前のピクチャの未リフレッシュ領域内のブロックラインごとの発生情報量の推定値をイントラスライス幅設定部１３へ通知する。
【００８４】
目標情報量設定部１２は、符号化順で直前のピクチャの未リフレッシュ領域に対応する着目するピクチャの領域の発生情報量の推定値と、リフレッシュ周期の残りの期間とに基づいて、着目するピクチャでのイントラスライスの発生情報量の目標情報量を設定する。
【００８５】
本実施形態では、目標情報量設定部１２は、符号化順で直前のピクチャの未リフレッシュ領域に対応する着目するピクチャの領域の発生情報量の推定値を、リフレッシュ周期の残りの期間に含まれるピクチャの枚数で除して得られた値を目標情報量に設定する。ただし、リフレッシュ周期内で符号化順序が最後のピクチャについては、ピクチャの下端がリフレッシュ境界となるので、目標情報量設定部１２の処理は省略されてもよい。
目標情報量設定部１２は、目標情報量をイントラスライス幅設定部１３へ通知する。
【００８６】
イントラスライス幅設定部１３は、リフレッシュ周期内の着目するピクチャについて、そのピクチャのイントラスライスの発生情報量の推定値と目標情報量の差が最小となるように、イントラスライスの幅を設定する。なお、イントラスライス幅設定部１３は、図４に示されたイントラスライス幅設定処理の動作フローチャートにしたがって、イントラスライスの幅を設定すればよい。
【００８７】
図８は、本実施形態による、一つのリフレッシュ周期内の各ピクチャに設定されるイントラスライスの一例を示す図である。図８において、横軸は符号化順序を表す。この例では、リフレッシュ周期８００内に、符号化順に４枚のピクチャ８０１〜８０４が含まれる。すなわち、リフレッシュ周期は４である。そして各ピクチャには、それぞれ、イントラスライス８１１〜８１４が設定される。この例では、ピクチャ８０１に設定されるイントラスライス８１１の目標情報量は、ピクチャ８０１全体の発生情報量の推定値をリフレッシュ周期である４で除して得られる値に設定される。そしてイントラスライス８１１の幅は、イントラスライス８１１全体の発生情報量の推定値が目標情報量に最も近くなるように設定される。
【００８８】
同様に、ピクチャ８０２に設定されるイントラスライス８１２の目標情報量は、ピクチャ８０１の未リフレッシュ領域（すなわち、イントラスライス８１１より下の領域）に対応するピクチャ８０２の領域の発生情報量の推定値を３で除して得られる値に設定される。そしてイントラスライス８１２の幅は、イントラスライス８１２全体の発生情報量の推定値が目標情報量に最も近くなるように設定される。また、ピクチャ８０３に設定されるイントラスライス８１３の目標情報量は、ピクチャ８０２の未リフレッシュ領域（すなわち、イントラスライス８１２より下の領域）に対応するピクチャ８０３の領域の発生情報量の推定値を２で除して得られる値に設定される。そしてイントラスライス８１３の幅は、イントラスライス８１３全体の発生情報量の推定値が目標情報量に最も近くなるように設定される。最後にピクチャ８０４のイントラスライス８１４は、イントラスライス８１３より下の全ての領域が含まれるように設定される。
【００８９】
図９は、本実施形態による、動画像符号化処理の動作フローチャートである。
動画像符号化装置１はリフレッシュ周期ごとに、下記の動作フローチャートに従ってそのリフレッシュ周期内の各ピクチャを符号化する。
【００９０】
動画像符号化装置１の制御部（図示せず）は、リフレッシュ周期の先頭ピクチャを着目するピクチャに設定する（ステップＳ３０１）。そして発生情報量推定部１１は、符号化順序で直前のピクチャの未リフレッシュ領域に含まれるブロックラインごとに、発生情報量の推定値を算出する（ステップＳ３０２）。発生情報量推定部１１は、未リフレッシュ領域に含まれる各ブロックラインの発生情報量の推定値の総和を、その未リフレッシュ領域に対応する着目するピクチャの領域の発生情報量の推定値として算出する（ステップＳ３０３）。発生情報量推定部１１は、その対応領域の発生情報量の推定値を目標情報量設定部１２へ通知する。また発生情報量推定部１１は、未リフレッシュ領域内のブロックラインごとの発生情報量の推定値をイントラスライス幅設定部１３へ通知する。
【００９１】
目標情報量設定部１２は、対応領域の発生情報量の推定値をリフレッシュ周期内の残りの期間に含まれるピクチャ数で除することにより得られた値を目標情報量として設定する（ステップＳ３０４）。目標情報量設定部１２は、目標情報量をイントラスライス幅設定部１３へ通知する。
【００９２】
イントラスライス幅設定部１３は、符号化順序で直前のピクチャのリフレッシュ境界であるイントラスライスの上端からのブロックラインの発生情報量の総和と目標情報量の差が最小となるように、イントラスライスの幅を設定する（ステップＳ３０５）。そしてイントラスライス幅設定部１３は、リフレッシュ周期内の各ピクチャについて、イントラスライスの幅及びイントラスライスの位置を符号化部１４に通知する。
【００９３】
符号化部１４は、着目するピクチャについて、リフレッシュ済み領域内の各CUを、リフレッシュ済み領域内の局所復号ブロックまたは局所復号ピクチャのリフレッシュ済み領域を参照して符号化する（ステップＳ３０６）。さらに、符号化部１４は、未リフレッシュ領域内の各CUを、参照される領域を制限せずに符号化する。
【００９４】
制御部（図示せず）は、着目するピクチャがリフレッシュ周期内で符号化順序が最後のピクチャか否か判定する（ステップＳ３０７）。着目するピクチャがリフレッシュ周期内で符号化順序が最後のピクチャでなければ（ステップＳ３０７−Ｎｏ）、制御部は、符号化順序で着目するピクチャの次のピクチャを、次に着目するピクチャに設定する（ステップＳ３０８）。そして動画像符号化装置１は、ステップＳ３０２以降の処理を繰り返す。
【００９５】
一方、着目するピクチャがリフレッシュ周期内で符号化順序が最後のピクチャであれば（ステップＳ３０７−Ｙｅｓ）、動画像符号化装置１は、動画像符号化処理を終了する。
【００９６】
以上に説明してきたように、第２の実施形態による動画像符号化装置は、ピクチャごとに、符号化順序で直前のピクチャの未リフレッシュ領域に対応する領域の発生情報量に基づいてイントラスライスの発生情報量の目標情報量を設定する。そのため、この動画像符号化装置は、各ピクチャのイントラスライスの発生情報量をより精度良く推定できるので、イントラスライスの幅をより適切に設定できる。
【００９７】
上記の各実施形態の変形例によれば、発生情報量推定部１１は、ブロックラインごとの発生情報量の推定値として、直前のリフレッシュ周期に含まれる何れかのピクチャのイントラスライスに含まれる、対応するブロックラインの発生情報量を用いてもよい。この場合には、発生情報量は、例えば、実際にそのブロックラインに含まれる各CUを符号化して得られる符号化データの符号量とすることができる。この符号量は、符号量の評価値の他の一例である。各CUの符号量は、発生情報量推定部１１が利用できるように、例えば、エントロピー符号化部２９により、バッファ（図示せず）に保存される。
【００９８】
この場合も、発生情報量推定部１１は、ピクチャ全体の各ブロックラインの発生情報量の推定値の総和を、ピクチャ全体の発生情報量の推定値とすることができる。あるいは、発生情報量推定部１１は、符号化順序で直前のピクチャの未リフレッシュ領域に対応する着目するピクチャの領域の各ブロックラインの発生情報量の推定値の総和を、その対応領域の発生情報量の推定値とすることができる。
【００９９】
この変形例でも、目標情報量設定部１２及びイントラスライス幅設定部１３は、第１の実施形態または第２の実施形態と同様に、目標情報量及び各ピクチャのイントラスライス幅及び位置を設定すればよい。
【０１００】
あるいは、この変形例では、目標情報量設定部１２が、第１の実施形態と同様に目標情報量を設定する場合、イントラスライス幅設定部１３は、次式に従って、各ピクチャのイントラスライス幅を設定してもよい。
【数２】
2017069866.tif 000004
ここで、Xは、目標情報量であり、PicSizeは、ピクチャのリフレッシュ方向（この例では、垂直方向）の画素数である。またRefreschCycleは、リフレッシュ周期である。IntraBitNLineは、着目するピクチャについてのイントラスライスの上端からN画素幅の領域に含まれる各ブロックラインの発生情報量の推定値の総和を表す。そしてIntraSliceSizeは、イントラスライスの幅である。
【０１０１】
図１０は、この変形例による、一つのリフレッシュ周期内の各ピクチャに設定されるイントラスライスの一例を示す図である。図１０において、横軸は符号化順序を表す。この例では、リフレッシュ周期１０００内に、符号化順に４枚のピクチャ１００１〜１００４が含まれる。そして各ピクチャには、それぞれ、イントラスライス１０１１〜１０１４が設定される。この例では、ピクチャ１００１に設定されるイントラスライス１０１１の目標情報量、及び、ピクチャ１００２に設定されるイントラスライス１０１２の目標情報量よりも、IntraBitNLineが小さいので、イントラスライス１０１２の幅は、N画素よりも広く設定される。また、ピクチャ１００３、１００４に設定されるイントラスライス１０１３、１０１４の目標情報量は、IntraBitNLineと等しいので、イントラスライス１０１３、１０１４の幅は、N画素に設定される。
【０１０２】
また、目標情報量設定部１２は、リフレッシュ周期内の各ピクチャについて、直前のリフレッシュ周期内での位置が同一となるピクチャのイントラスライスの符号量を、そのピクチャのイントラスライスの目標情報量に設定してもよい。例えば、着目するピクチャが、リフレッシュ周期の先頭からｍ番目のピクチャである場合、直前のリフレッシュ周期の先頭からｍ番目のピクチャのイントラスライスに含まれる各CUの符号量の和が、着目するピクチャの目標情報量に設定される。この場合、イントラスライス幅設定部１３は、次式に従って、リフレッシュ周期内の各ピクチャについてのイントラスライス幅を設定してもよい。
【数３】
2017069866.tif 000005
ここで、Xは、着目するピクチャについての目標情報量である。Mは、直前のリフレッシュ周期において着目するピクチャと同位置にあるピクチャのイントラスライスの幅である。IntraBitMLineは、着目するピクチャについてのイントラスライスの上端からM画素幅の領域に含まれる各ブロックラインの発生情報量の推定値の総和を表す。そしてIntraSliceSizeは、イントラスライスの幅である。
【０１０３】
これらの変形例によれば、発生情報量の推定値が、既に符号化されたピクチャの符号量に基づいて求められるので、動画像符号化装置は、発生情報量の推定値の算出に要する演算量を削減できる。また、各ピクチャに写っている被写体の動きが少ない場合、あるいは、リフレッシュ周期が短い場合には、現在のリフレッシュ周期の各ピクチャと、直前のリフレッシュ周期の各ピクチャとの間の相関性が高い。そのため、これらの変形例によれば、動画像符号化装置は、イントラスライスの発生情報量を正確に推定できる。
【０１０４】
次に、第３の実施形態による動画像符号化装置について説明する。第３の実施形態による動画像符号化装置は、動画像データを空間的に階層符号化する。そしてこの動画像符号化装置は、動画像データに含まれる各リフレッシュ周期の先頭ピクチャを間引いて生成される縮小ピクチャの符号化モードを決定する際に算出されたSADまたは符号量を利用して、先頭ピクチャの発生情報量の推定値を算出する。
【０１０５】
図１１は、第３の実施形態による動画像符号化装置の概略構成図である。図１１に示されるように、第３の実施形態による動画像符号化装置２は、縮小部１５と、下位階層符号化部１６と、発生情報量推定部１１と、目標情報量設定部１２と、イントラスライス幅設定部１３と、符号化部１４と、多重化部１７とを有する。また、符号化部１４は、動き探索部２１と、符号化モード判定部２２と、予測ブロック生成部２３と、予測誤差算出部２４と、直交変換部２５と、量子化部２６と、復号部２７と、記憶部２８と、エントロピー符号化部２９とを有する。
【０１０６】
動画像符号化装置２が有するこれらの各部は、それぞれ別個の回路として形成される。あるいは動画像符号化装置２が有するこれらの各部は、その各部に対応する回路が集積された一つまたは複数の集積回路として動画像符号化装置２に実装されてもよい。さらに、動画像符号化装置２が有するこれらの各部は、動画像符号化装置２が有するプロセッサ上で実行されるコンピュータプログラムにより実現される、機能モジュールであってもよい。
【０１０７】
第３の実施形態による動画像符号化装置２は、第１の実施形態による動画像符号化装置１と比較して、縮小部１５、下位階層符号化部１６及び多重化部１７を有する点と、発生情報量推定部１１の処理が異なる。そこで以下では、縮小部１５、下位階層符号化部１６、多重化部１７及び発生情報量推定部１１及びその関連部分について説明する。
【０１０８】
縮小部１５には、符号化対象の動画像データに含まれる各ピクチャが符号化順序に従って順次入力される。そして縮小部１５は、入力されたピクチャをダウンサンプリングして、そのピクチャの画素数よりも少ない画素数を持つ縮小ピクチャを生成する。縮小ピクチャは、オリジナルのピクチャ（すなわち、上位階層のピクチャ）と比較して、相対的に解像度が低い下位階層のピクチャである。例えば、縮小部１５は、入力されたピクチャが水平方向にn画素、垂直方向にm画素のサイズを有し、かつ、水平方向の縮小率がd1、垂直方向の縮小率がd2である場合、水平方向にn*d1画素、垂直方向にm*d2画素を持つ縮小ピクチャを生成する。なお、縮小率d1、d2は、1以下の正の値であり、例えば、1/2である。
【０１０９】
縮小部１５は、例えば、入力されたピクチャの各画素に対してガウシアンフィルタまたは平均化フィルタといった平滑化フィルタを適用してそのピクチャを平滑化する。そして縮小部１５は、水平方向及び垂直方向の縮小率に応じて、平滑化されたピクチャをサブサンプリングすることで、縮小ピクチャを生成する。
【０１１０】
縮小部１５は、縮小ピクチャを生成する度に、その縮小ピクチャを下位階層符号化部１６へ出力する。
【０１１１】
下位階層符号化部１６は、縮小ピクチャを符号化する。その際、下位階層符号化部１６は、例えば、符号化部１４による符号化処理と同様の符号化処理を縮小ピクチャに適用することで縮小ピクチャを符号化する。ただし、下位階層符号化部１６は、各縮小ピクチャに適用する符号化モードを、Group Of Pictures(GOP)にしたがって設定すればよい。あるいは、下位階層符号化部１６は、各縮小ピクチャに適用する符号化モードを、イントラ予測符号化モードとしてもよい。
【０１１２】
下位階層符号化部１６は、各縮小ピクチャの符号化データを含むビットストリームを多重化部１７へ出力する。また下位階層符号化部１６は、各縮小ピクチャのCUごとに算出された最小の符号化コストに対応するSADを発生情報量推定部１１へ出力する。
【０１１３】
発生情報量推定部１１は、リフレッシュ周期内の先頭ピクチャについて、第１の実施形態と同様に、リフレッシュ方向に沿って所定幅を持つブロックラインごとに発生情報量の推定値を算出する。さらに、発生情報量推定部１１は、各ブロックラインの発生情報量の推定値の総和を、先頭ピクチャ全体の発生情報量の推定値として算出する。
【０１１４】
ただし、本実施形態では、発生情報量推定部１１は、ブロックラインに含まれる各CUに対応する、縮小ピクチャのCUのSADまたは符号量の総和を、そのブロックラインの発生情報量の推定値として算出する。
【０１１５】
目標情報量設定部１２は、第１の実施形態と同様に、先頭ピクチャの発生情報量の推定値をリフレッシュ周期で除することにより得られた値を、リフレッシュ周期内の各ピクチャにおける、イントラスライスの目標情報量とする。また、イントラスライス幅設定部１３も、第１の実施形態と同様に、リフレッシュ周期内の各ピクチャについて、ブロックラインごとの発生情報量の推定値及び目標情報量に基づいて、イントラスライスの幅及び位置を設定すればよい。
【０１１６】
なお、変形例によれば、発生情報量推定部１１は、第２の実施形態と同様に、符号化順序で直前のピクチャの未リフレッシュ領域に対応する着目するピクチャの領域の発生情報量の推定値を算出してもよい。この場合も、発生情報量推定部１１は、ブロックラインごとに、そのブロックラインに含まれる各CUに対応する、縮小ピクチャのCUのSADまたは符号量の総和を、そのブロックラインの発生情報量の推定値として算出すればよい。そして発生情報量推定部１１は、未リフレッシュ領域に対応する着目するピクチャの領域に含まれる各ブロックラインの発生情報量の推定値の総和を、その対応領域の発生情報量の推定値として算出すればよい。
【０１１７】
この場合、目標情報量設定部１２は、直前のピクチャの未リフレッシュ領域に対応する着目するピクチャの領域の発生情報量の推定値を、リフレッシュ期間の残りのピクチャ枚数で除することで、着目するピクチャのイントラスライスの目標情報量を設定すればよい。
【０１１８】
多重化部１７は、符号化部１４により得られた各ピクチャの符号化データと、下位階層符号化部１６により得られた各縮小ピクチャの符号化データとを含むストリームを生成する。
【０１１９】
この実施形態によれば、発生情報量推定部１１は、着目するピクチャの発生情報量の推定に、着目するピクチャから生成された縮小ピクチャを符号化する際に算出されたSADまたは符号量を利用するので、その発生情報量を正確に推定できる。
【０１２０】
上記の各実施形態または変形例による動画像符号化装置は、各ピクチャを複数のスライスまたは複数のタイルに分割してもよい。そして動画像符号化装置は、スライスごと、あるいは、タイルごとに、上記の各実施形態または変形例の何れかにしたがって、各ピクチャのイントラスライスの幅及び位置を設定してもよい。
【０１２１】
図１２は、この変形例による、一つのリフレッシュ周期内の各ピクチャに設定されるイントラスライスの一例を示す図である。図１２において、縦軸は符号化順序を表す。この例では、リフレッシュ周期内に、符号化順にN枚のピクチャ１２００−１〜１２００−Ｎが含まれる。そして各ピクチャは、それぞれ、４個のタイル１２０１〜１２０４に分割される。そしてタイル１２０１〜１２０４のそれぞれごとに、イントラスライス１２１１〜１２１４が設定される。なお、各タイルにおいて、リフレッシュ周期は同一である。一方、タイルごとに、スライスの位置及び幅は異なっていてもよい。
【０１２２】
また、上記の各実施形態または変形例による動画像符号化装置では、リフッシュ方向は水平方向に設定されてもよい。
【０１２３】
図１３は、水平方向にイントラスライスが移動する例を示す。図１３において、横軸は時間を表す。各ピクチャ１３０１〜１３０６は、一方向のみを参照するインター予測符号化モードが適用可能なPピクチャまたは過去のピクチャのみを参照する双方向のインター予測符号化モードが適用可能なBピクチャとして符号化される。動画像符号化装置は、イントラスライス１３１０の位置を、ピクチャごとに、左から右へと徐々にずらしていく。そして動画像符号化装置は、一定のリフレッシュ周期でピクチャ全体にイントラスライス１３１０を巡回させる。そのため、時間経過とともに、イントラスライス１３１０が通過した領域、この例では、イントラスライス１３１０の右端であるリフレッシュ境界１３１１よりも右側の領域であるリフレッシュ済み領域１３１２が右側に拡張される。
【０１２４】
図１４は、上記の実施形態またはその変形例による動画像符号化装置の各部の機能を実現するコンピュータプログラムが動作することにより、動画像符号化装置として動作するコンピュータの構成図である。
【０１２５】
コンピュータ１００は、ユーザインターフェース部１０１と、通信インターフェース部１０２と、記憶部１０３と、記憶媒体アクセス装置１０４と、プロセッサ１０５とを有する。プロセッサ１０５は、ユーザインターフェース部１０１、通信インターフェース部１０２、記憶部１０３及び記憶媒体アクセス装置１０４と、例えば、バスを介して接続される。
【０１２６】
ユーザインターフェース部１０１は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。または、ユーザインターフェース部１０１は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース部１０１は、例えば、ユーザの操作に応じて、符号化する動画像データを選択する操作信号をプロセッサ１０５へ出力する。またユーザインターフェース部１０１は、プロセッサ１０５から受け取った、復号された動画像データを表示してもよい。
【０１２７】
通信インターフェース部１０２は、コンピュータ１００を、動画像データを生成する装置、例えば、ビデオカメラと接続するための通信インターフェース及びその制御回路を有してもよい。そのような通信インターフェースは、例えば、Universal Serial Bus（ユニバーサル・シリアル・バス、USB）とすることができる。
【０１２８】
さらに、通信インターフェース部１０２は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有してもよい。
【０１２９】
この場合には、通信インターフェース部１０２は、通信ネットワークに接続された他の機器から、符号化する動画像データを取得し、そのデータをプロセッサ１０５へ渡す。また通信インターフェース部１０２は、プロセッサ１０５から受け取った、符号化動画像データを通信ネットワークを介して他の機器へ出力してもよい。
【０１３０】
記憶部１０３は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶部１０３は、プロセッサ１０５上で実行される、動画像符号化処理を実行するためのコンピュータプログラム、及びこれらの処理の途中または結果として生成されるデータを記憶する。
【０１３１】
記憶媒体アクセス装置１０４は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１０６にアクセスする装置である。記憶媒体アクセス装置１０４は、例えば、記憶媒体１０６に記憶されたプロセッサ１０５上で実行される、動画像符号化処理用のコンピュータプログラムを読み込み、プロセッサ１０５に渡す。
【０１３２】
プロセッサ１０５は、上記の何れかの実施形態または変形例による動画像符号化処理用コンピュータプログラムを実行することにより、符号化動画像データを生成する。そしてプロセッサ１０５は、生成された符号化動画像データを記憶部１０３に保存し、または通信インターフェース部１０２を介して他の機器へ出力する。
【０１３３】
なお、動画像符号化装置１の各部の機能をプロセッサ上で実行可能なコンピュータプログラムは、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。ただし、そのような記録媒体には、搬送波は含まれない。
【０１３４】
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【０１３５】
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
イントラリフレッシュ方式により動画像データを符号化する動画像符号化装置であって、
所定長を持つリフレッシュ周期に含まれる、前記動画像データの各ピクチャに設定されるイントラスライスにおける発生情報量が前記各ピクチャ間で均等となるように、前記イントラスライスの巡回方向における、前記各ピクチャの前記イントラスライスの幅を設定するイントラスライス幅設定部と、
前記各ピクチャについて、当該リフレッシュ周期において前記イントラスライスが通過したリフレッシュ済みの領域に含まれる各ブロックを、当該ピクチャの前記リフレッシュ済みの領域内の符号化済みの画素または当該ピクチャよりも符号化順序が前の符号化済みピクチャの前記リフレッシュ済みの領域を参照し、かつ、当該ピクチャのリフレッシュされていない領域及び前記符号化済みピクチャのリフレッシュされていない領域を参照せずに符号化する符号化部と、
を有する動画像符号化装置。
（付記２）
前記リフレッシュ周期の先頭のピクチャ全体の発生情報量の推定値を算出する発生情報量推定部と、
前記先頭のピクチャ全体の発生情報量の推定値を前記リフレッシュ周期で除して得られる値を前記各ピクチャの前記イントラスライスについての目標情報量として算出する目標情報量設定部とをさらに有し、
前記イントラスライス幅設定部は、前記各ピクチャについて、前記巡回方向における当該ピクチャの前記イントラスライスの幅を、当該ピクチャの前記イントラスライスの発生情報量の推定値と前記目標情報量の差を最小化するように設定する、付記１に記載の動画像符号化装置。
（付記３）
前記発生情報量推定部は、前記先頭のピクチャを前記巡回方向に沿って所定幅を持ち、かつ、前記巡回方向と直交する方向に延伸される複数のブロックラインに分割し、前記複数のブロックラインのそれぞれについて発生情報量の推定値を算出し、かつ、前記複数のブロックラインのそれぞれの前記発生情報量の推定値の総和を前記先頭のピクチャ全体の発生情報量の推定値として算出する、付記２に記載の動画像符号化装置。
（付記４）
前記イントラスライス幅設定部は、前記各ピクチャについて、当該ピクチャに対して符号化順序が直前のピクチャにおける、前記リフレッシュ済みの領域と前記リフレッシュされていない領域間の境界に対応する当該ピクチャの位置から前記イントラスライスの巡回方向に向かって前記ブロックラインごとの発生情報量の推定値を順次累積して累積和を算出し、当該累積和と前記目標情報量の差が最小となるときの当該累積和に対応する各ブロックラインの集合領域を当該ピクチャについての前記イントラスライスに設定する、付記３に記載の動画像符号化装置。
（付記５）
前記発生情報量推定部は、前記先頭のピクチャの前記複数のブロックラインのそれぞれについて、当該ブロックラインに含まれる各画素の輝度値の分散を当該ブロックラインの発生情報量の推定値として算出する、付記３または４に記載の動画像符号化装置。
（付記６）
前記発生情報量推定部は、前記複数のブロックラインのそれぞれについて、当該ブロックラインの発生情報量を、前記リフレッシュ周期の直前のリフレッシュ周期に含まれる何れかの符号化済みピクチャの前記イントラスライスに含まれ、かつ、当該ブロックラインと同位置のブロックラインの符号量の評価値に基づいて算出する、付記３または４に記載の動画像符号化装置。
（付記７）
前記リフレッシュ周期内の前記各ピクチャについて、当該ピクチャを縮小して縮小ピクチャを生成する縮小部と、
前記リフレッシュ周期内の前記各ピクチャに対応する前記縮小ピクチャを符号化する下位階層符号化部とをさらに有し、
前記発生情報量推定部は、前記複数のブロックラインのそれぞれについて、当該ブロックラインの発生情報量を、前記先頭ピクチャに対応する前記縮小ピクチャの当該ブロックラインに対応する領域の符号量に基づいて算出する、付記３または４に記載の動画像符号化装置。
（付記８）
前記リフレッシュ周期内の先頭から所定番目のピクチャについて、符号化順序が直前のピクチャにおける前記リフレッシュされていない領域に対応する当該ピクチャの対応領域の発生情報量の推定値を算出する発生情報量推定部と、
前記対応領域の発生情報量の推定値を前記リフレッシュ周期において前記所定番目のピクチャ以降のピクチャの枚数で除して得られる値を前記所定番目のピクチャの前記イントラスライスについての目標情報量として算出する目標情報量設定部とをさらに有し、
前記イントラスライス幅設定部は、前記所定番目のピクチャについて、前記巡回方向における当該ピクチャの前記イントラスライスの幅を、前記所定番目のピクチャの前記イントラスライスの発生情報量の推定値と前記目標情報量の差を最小化するように設定する、付記１に記載の動画像符号化装置。
（付記９）
前記発生情報量推定部は、前記符号化順序が直前の符号化済みピクチャにおける前記リフレッシュされていない領域に含まれる各ブロックの符号量の評価値の総和を前記対応領域の発生情報量の推定値として算出する、付記８に記載の動画像符号化装置。
（付記１０）
前記発生情報量推定部は、前記対応領域を前記巡回方向に沿って所定幅を持ち、かつ、前記巡回方向と直交する方向に延伸される複数のブロックラインに分割し、前記複数のブロックラインのそれぞれについて発生情報量の推定値を算出し、かつ、前記複数のブロックラインのそれぞれの前記発生情報量の推定値の総和を前記対応領域の発生情報量の推定値として算出する、付記８または９に記載の動画像符号化装置。
（付記１１）
前記発生情報量推定部は、前記複数のブロックラインのそれぞれについて、当該ブロックラインの発生情報量を、前記リフレッシュ周期の直前のリフレッシュ周期に含まれる何れかの符号化済みピクチャの前記イントラスライスに含まれ、かつ、当該ブロックラインと同位置のブロックラインの符号量の評価値に基づいて算出する、付記１０に記載の動画像符号化装置。
（付記１２）
前記リフレッシュ周期内の前記各ピクチャについて、当該ピクチャを縮小して縮小ピクチャを生成する縮小部と、
前記リフレッシュ周期内の前記各ピクチャに対応する前記縮小ピクチャを符号化する下位階層符号化部とをさらに有し、
前記発生情報量推定部は、前記複数のブロックラインのそれぞれについて、当該ブロックラインの発生情報量を、前記所定番目のピクチャに対応する前記縮小ピクチャの当該ブロックラインに対応する領域の符号量に基づいて算出する、付記１０に記載の動画像符号化装置。
（付記１３）
前記リフレッシュ周期内の先頭から所定番目のピクチャについて、前記リフレッシュ周期の直前のリフレッシュ周期の先頭から前記所定番目の符号化済みピクチャの前記イントラスライスの符号量の評価値を、前記所定番目のピクチャにおける前記イントラスライスについての目標情報量として算出する目標情報量設定部をさらに有し、
前記イントラスライス幅設定部は、前記所定番目のピクチャについて、前記巡回方向における当該ピクチャの前記イントラスライスの幅を、前記所定番目のピクチャの前記イントラスライスの発生情報量の推定値と前記目標情報量の差を最小化するように設定する、付記１に記載の動画像符号化装置。
（付記１４）
イントラリフレッシュ方式により動画像データを符号化する動画像符号化方法であって、
所定長を持つリフレッシュ周期に含まれる、前記動画像データの各ピクチャに設定されるイントラスライスにおける発生情報量が前記各ピクチャ間で均等となるように、前記イントラスライスの巡回方向における、前記各ピクチャの前記イントラスライスの幅を設定し、
前記各ピクチャについて、当該リフレッシュ周期において前記イントラスライスが通過したリフレッシュ済みの領域に含まれる各ブロックを、当該ピクチャの前記リフレッシュ済みの領域内の符号化済みの画素または当該ピクチャよりも符号化順序が前の符号化済みピクチャの前記リフレッシュ済みの領域を参照し、かつ、当該ピクチャのリフレッシュされていない領域及び前記符号化済みピクチャのリフレッシュされていない領域を参照せずに符号化する、
ことを含む動画像符号化方法。
（付記１５）
イントラリフレッシュ方式により動画像データを符号化する動画像符号化方法であって、
所定長を持つリフレッシュ周期に含まれる、前記動画像データの各ピクチャに設定されるイントラスライスにおける発生情報量が前記各ピクチャ間で均等となるように、前記イントラスライスの巡回方向における、前記各ピクチャの前記イントラスライスの幅を設定し、
前記各ピクチャについて、当該リフレッシュ周期において前記イントラスライスが通過したリフレッシュ済みの領域に含まれる各ブロックを、当該ピクチャの前記リフレッシュ済みの領域内の符号化済みの画素または当該ピクチャよりも符号化順序が前の符号化済みピクチャの前記リフレッシュ済みの領域を参照し、かつ、当該ピクチャのリフレッシュされていない領域及び前記符号化済みピクチャのリフレッシュされていない領域を参照せずに符号化する、
ことをコンピュータに実行させるための動画像符号化用コンピュータプログラム。
【符号の説明】
【０１３６】
１    動画像符号化装置
１１    発生情報量推定部
１２    目標情報量設定部
１３    イントラスライス幅設定部
１４    符号化部
１５    縮小部
１６    下位階層符号化部
１７    多重化部
２１    動き探索部
２２    符号化モード判定部
２３    予測ブロック生成部
２４    予測誤差算出部
２５    直交変換部
２６    量子化部
２７    復号部
２８    記憶部
２９    エントロピー符号化部
１００    コンピュータ
１０１    ユーザインターフェース部
１０２    通信インターフェース部
１０３    記憶部
１０４    記憶媒体アクセス装置
１０５    プロセッサ
【図１】
2017069866.tif 000006
【図２】
2017069866.tif 000007
【図３】
2017069866.tif 000008
【図４】
2017069866.tif 000009
【図５】
2017069866.tif 000010
【図６】
2017069866.tif 000011
【図７】
2017069866.tif 000012
【図８】
2017069866.tif 000013
【図９】
2017069866.tif 000014
【図１０】
2017069866.tif 000015
【図１１】
2017069866.tif 000016
【図１２】
2017069866.tif 000017
【図１３】
2017069866.tif 000018
【図１４】
2017069866.tif 000019