(57)【特許請求の範囲】
【請求項１】
動画像に含まれる複数の画像の間で、イントラ予測符号化が適用されるイントラ予測符号化領域をシフトさせながら、前記複数の画像を符号化する動画像符号化装置であって、
前記複数の画像のうち符号化対象画像内において、前記イントラ予測符号化領域と未だイントラ予測符号化が適用されていない未リフレッシュ領域の境界を階段形状とし、前記イントラ予測符号化領域内の複数のブロックのイントラ予測画像を生成する際に参照する符号化済みの画素の参照範囲が互いに異なる複数のイントラ予測モードのうち、前記参照範囲が前記未リフレッシュ領域の画素を使用するイントラ予測モードを有効なイントラ予測モードから除外し、前記複数のブロックのうち、前記階段形状の第１の段に接する第１のブロックよりも前にイントラ予測符号化され、前記階段形状の第２の段に接する第２のブロックの符号化済み画像を参照するイントラ予測モードを、前記第１のブロックのための有効なイントラ予測モードに含めて、前記第１のブロックのためのイントラ予測モードを決定する決定部と、
前記決定部が決定した前記イントラ予測モードに基づく前記第１のブロックのイントラ予測符号化結果を含む符号化動画像を出力する符号化部と、
を備えることを特徴とする動画像符号化装置。
【請求項２】
前記符号化対象画像の動きベクトルの情報に基づいて、前記符号化対象画像よりも後に符号化される画像内の前記イントラ予測符号化領域に対する前記階段形状の境界の傾きを変更する領域決定部をさらに備えることを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
前記符号化対象画像内の第３のブロックのインター予測符号化において、前記符号化対象画像よりも前に符号化される画像内の未だイントラ予測符号化が適用されていない領域が動きベクトルの探索範囲から除外される場合、前記第３のブロックに対してイントラ予測符号化を適用する予測モード選択部をさらに備えることを特徴とする請求項１又は２記載の動画像符号化装置。
【請求項４】
動画像に含まれる複数の画像の間で、イントラ予測符号化が適用されるイントラ予測符号化領域をシフトさせながら、前記複数の画像を符号化する動画像符号化装置が、
前記複数の画像のうち符号化対象画像内において、前記イントラ予測符号化領域と未だイントラ予測符号化が適用されていない未リフレッシュ領域の境界を階段形状とし、前記イントラ予測符号化領域内の複数のブロックのイントラ予測画像を生成する際に参照する符号化済みの画素の参照範囲が互いに異なる複数のイントラ予測モードのうち、前記参照範囲が前記未リフレッシュ領域の画素を使用するイントラ予測モードを有効なイントラ予測モードから除外し、前記複数のブロックのうち、前記階段形状の第１の段に接する第１のブロックよりも前にイントラ予測符号化され、前記階段形状の第２の段に接する第２のブロックの符号化済み画像を参照するイントラ予測モードを、前記第１のブロックのための有効なイントラ予測モードに含めて、前記第１のブロックのためのイントラ予測モードを決定し、
決定した前記イントラ予測モードに基づく前記第１のブロックのイントラ予測符号化結果を含む符号化動画像を生成する、
ことを特徴とする動画像符号化方法。
【請求項５】
動画像に含まれる複数の画像の間で、イントラ予測符号化が適用されるイントラ予測符号化領域をシフトさせながら、前記複数の画像を符号化するコンピュータに、
前記複数の画像のうち符号化対象画像内において、前記イントラ予測符号化領域と未だイントラ予測符号化が適用されていない未リフレッシュ領域の境界を階段形状とし、前記イントラ予測符号化領域内の複数のブロックのイントラ予測画像を生成する際に参照する符号化済みの画素の参照範囲が互いに異なる複数のイントラ予測モードのうち、前記参照範囲が前記未リフレッシュ領域の画素を使用するイントラ予測モードを有効なイントラ予測モードから除外し、前記複数のブロックのうち、前記階段形状の第１の段に接する第１のブロックよりも前にイントラ予測符号化され、前記階段形状の第２の段に接する第２のブロックの符号化済み画像を参照するイントラ予測モードを、前記第１のブロックのための有効なイントラ予測モードに含めて、前記第１のブロックのためのイントラ予測モードを決定し、
決定した前記イントラ予測モードに基づく前記第１のブロックのイントラ予測符号化結果を含む符号化動画像を生成する、
処理を実行させる動画像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置、動画像符号化方法、及び動画像符号化プログラムに関する。
【背景技術】
【０００２】
近年、Ｈ．２６４、High Efficiency Video Coding（ＨＥＶＣ，Ｈ．２６５）等の動画像符号化技術が用いられている。動画像符号化技術では、インター予測符号化とイントラ予測符号化の２つの符号化方式が併用される。インター予測符号化は、動画像に含まれる符号化対象画像を符号化済み画像の情報を用いて符号化する符号化方式であり、イントラ予測符号化は、符号化対象画像が持つ情報のみを用いて符号化対象画像を符号化する符号化方式である。
【０００３】
符号化対象画像は複数のブロックに分割され、ブロック毎に符号化される。符号化対象画像は、フレーム又はピクチャと呼ばれることがある。
【０００４】
動画像符号化技術において低遅延で伝送エラーから復帰するための技術として、イントラリフレッシュが知られている。イントラリフレッシュでは、符号化対象画像内のイントララインに含まれるブロックが強制的にイントラ予測符号化され、複数の画像の間でイントララインが徐々にシフトしていき、一定周期で画像全体にイントララインが巡回する。
【０００５】
イントララインとしては、例えば、符号化対象画像内で垂直方向のライン形状の領域、又は水平方向のライン形状の領域（イントラスライス）が用いられる。垂直方向のイントララインは、画面内で左から右へ向かってシフトされ、水平方向のイントラスライスは、画面内で上から下へ向かってシフトされる。
【０００６】
図１は、従来の垂直方向のイントララインによるイントラリフレッシュの例を示している。図１の画像１０１−１〜画像１０１−Ｎ（Ｎは２以上の整数）は、それぞれ、時刻ｔ１〜時刻ｔＮにおける符号化対象画像である。イントラ予測符号化が強制的に適用される領域であるイントラライン１０２−１〜イントラライン１０２−Ｎは、画像間で右方向に徐々にシフトしていき、時刻ｔ１〜時刻ｔＮの期間に対応する一定周期で、画像全体にイントララインが巡回する。以下では、イントラライン１０２−１〜イントラライン１０２−Ｎのいずれかを指して、イントラライン１０２と記載することがある。
【０００７】
図２は、画像１０１−１〜画像１０１−Ｎの各画像における直線状のリフレッシュ境界を示している。図２の画像は、リフレッシュ済みの領域Ａ１と未だリフレッシュされていない領域Ａ２とに区分される。領域Ａ１に含まれるイントラライン１０２内の各ブロックは、イントラ予測符号化された時点でリフレッシュ済みとなる。リフレッシュ境界２０１は、イントラライン１０２と領域Ａ２との間の境界である。
【０００８】
イントラライン１０２内の各ブロックのイントラ予測符号化においては、伝送エラーの影響を排除するため、領域Ａ１内の符号化済みブロックの情報が参照される。イントラライン１０２が巡回した後は画像全体のリフレッシュが完了しているため、符号化動画像である映像ストリームを復号する動画像復号装置において、伝送エラーからの復帰や映像ストリームの途中からの復号が可能となる。
【０００９】
ビットストリームを受信する画像受信装置からエラー情報を受け取った場合に、強制イントラブロックに対するイントラ符号化を実行する画像送信装置も知られている（例えば、特許文献１を参照）。この画像送信装置は、強制イントラブロック及び当該強制イントラブロック以外の他ブロックの境界となる境界ラインから、隣接画素の数に対応する対応画素を含有しないよう、参照符号化単位に対する探索範囲を設定する。そして、画像送信装置は、デブロックフィルタ設定情報を変更することによりデブロックフィルタ処理に対する制限を設定する伝搬防止符号化モードを選択して、画像データを符号化する。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２０１１−０５５２１９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
上述した従来の動画像符号化技術には、以下のような問題がある。
動画像のイントラリフレッシュでは、リフレッシュ済みの領域内のブロックの情報のみを参照するために、使用されるイントラ予測モードが制限され、符号化効率が低下することがある。
【００１２】
なお、かかる問題は、Ｈ．２６４又はＨＥＶＣを用いた動画像符号化に限らず、他の符号化アルゴリズムを用いる場合においても生ずるものである。また、かかる問題は、垂直方向のイントララインによるイントラリフレッシュに限らず、水平方向のイントラスライスによるイントラリフレッシュにおいても生ずるものである。
【００１３】
１つの側面において、本発明の目的は、イントラ予測符号化が適用されるイントラ予測符号化領域をシフトさせながら動画像を符号化する場合に、イントラ予測モードに対する制限を緩和することである。
【課題を解決するための手段】
【００１４】
１つの案では、動画像符号化装置は、決定部及び符号化部を含み、動画像に含まれる複数の画像の間で、イントラ予測符号化が適用されるイントラ予測符号化領域をシフトさせながら、それらの画像を符号化する。
【００１５】
決定部は、複数の画像のうち符号化対象画像内において、イントラ予測符号化領域と未だイントラ予測符号化が適用されていない未リフレッシュ領域の境界を階段形状とする。また、決定部は、参照範囲が互いに異なる複数のイントラ予測モードのうち、参照範囲が未リフレッシュ領域の画素を使用するイントラ予測モードを、有効なイントラ予測モードから除外する。ここで、参照範囲は、イントラ予測符号化領域内の複数のブロックのイントラ予測画像を生成する際に参照する符号化済みの画素の参照範囲である。
【００１６】
そして、決定部は、複数のブロックのうち、第２のブロックの符号化済み画像を参照するイントラ予測モードを、第１のブロックのための有効なイントラ予測モードに含めて、第１のブロックのためのイントラ予測モードを決定する。第１のブロックは、階段形状の第１の段に接するブロックであり、第２のブロックは、第１のブロックよりも前にイントラ予測符号化され、階段形状の第２の段に接するブロックである。
【００１７】
符号化部は、決定部が決定したイントラ予測モードに基づく第１のブロックのイントラ予測符号化結果を含む符号化動画像を出力する。
【発明の効果】
【００１８】
実施形態の動画像符号化装置によれば、イントラ予測符号化が適用されるイントラ予測符号化領域をシフトさせながら動画像を符号化する場合に、イントラ予測モードに対する制限を緩和することができる。
【図面の簡単な説明】
【００１９】
【図１】従来のイントラリフレッシュを示す図である。
【図２】直線状のリフレッシュ境界を示す図である。
【図３】Ｈ．２６４におけるイントラ予測モードを示す図である。
【図４】ＨＥＶＣのブロック構造を示す図である。
【図５】イントラ予測符号化されるブロックを示す図である。
【図６】ＨＥＶＣにおけるイントラ予測モードを示す図である。
【図７】イントラ予測モードが制限されるブロックを示す図である。
【図８】参照制限を受けるブロックの変化を示す図である。
【図９】動画像符号化装置の構成図である。
【図１０】動画像符号化処理のフローチャートである。
【図１１】動画像符号化装置の具体例を示す図である。
【図１２】動画像符号化処理の具体例を示すフローチャートである。
【図１３】第１の階段形状のリフレッシュ境界を示す図である。
【図１４】第２の階段形状のリフレッシュ境界を示す図である。
【図１５】第３の階段形状のリフレッシュ境界を示す図である。
【図１６】符号化対象ブロックを示す図である。
【図１７】ＣＴＵ内のＺスキャンを示す図である。
【図１８】画素のコピーを示す図である。
【図１９】イントラ予測符号化領域内のイントラ予測モードが制限されるブロックを示す図（その１）である。
【図２０】イントラ予測符号化領域内のイントラ予測モードが制限されるブロックを示す図（その２）である。
【図２１】イントラ予測符号化領域内のイントラ予測モードが制限されるブロックを示す図（その３）である。
【図２２】リフレッシュ境界におけるインター予測符号化を示す図である。
【図２３】リフレッシュ境界の傾きを変更する動画像符号化処理のフローチャートである。
【図２４】変化するリフレッシュ境界の傾きを示す図である。
【図２５】ループフィルタによるインター予測符号化の制限を示す図である。
【図２６】動きベクトルの下向き傾向が大きい場合にイントラ予測符号化が適用されるブロックを示す図である。
【図２７】直線状のリフレッシュ境界を有するイントラ予測符号化領域を示す図である。
【図２８】階段形状のリフレッシュ境界を有するイントラ予測符号化領域を示す図である。
【図２９】なだらかな傾きを持つリフレッシュ境界（その１）を示す図である。
【図３０】なだらかな傾きを持つリフレッシュ境界（その２）を示す図である。
【図３１】なだらかな傾きを持つリフレッシュ境界（その３）を示す図である。
【図３２】情報処理装置の構成図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照しながら、実施形態を詳細に説明する。
Ｈ．２６４では、符号化対象画像（符号化対象ピクチャ）が、例えば、１６×１６画素の固定ブロック（マクロブロック）に分割される。イントラ予測符号化は、マクロブロック単位で設定でき、イントラ予測符号化モードの選択とイントラ予測符号化画像の生成とは、共通のサブブロック単位で行うことができる。
【００２１】
図３は、Ｈ．２６４におけるイントラ予測モードの例を示している。この例では、４×４画素のサブブロックがイントラ予測符号化され、予測モード０〜予測モード８の９個のイントラ予測モードが示されている。
【００２２】
白丸は、イントラ予測符号化されるサブブロックの画素を表し、グレーの丸は、サブブロックの周囲の画素を表し、矢印は、イントラ予測符号化において参照される画素の位置に対応する予測方向を表している。
【００２３】
例えば、予測モード０の場合、サブブロック３０１をイントラ予測符号化するために、サブブロック３０１の各画素の垂直方向上方に位置する周囲の画素の情報が参照される。予測モード２の場合、周囲の画素の情報の平均値を用いてイントラ予測符号化画像が生成される。
【００２４】
ここで、４×４画素のサブブロックが図２のイントラライン１０２内にあり、リフレッシュ境界２０１に接する場合、予測モード３及び予測モード７において、未だリフレッシュされていない領域Ａ２内の画素が参照されることになる。したがって、イントラリフレッシュでは、予測モード０〜予測モード２、予測モード４〜予測モード６、及び予測モード８が使用され、予測モード３及び予測モード７は使用しない。
【００２５】
次に、図４は、ＨＥＶＣのブロック構造の例を示している。ＨＥＶＣでは、符号化対象ピクチャ４０１がCoding Tree Unit（ＣＴＵ）単位のブロックに分割され、各ＣＴＵは、さらに四分木構造でCoding Unit（ＣＵ）単位のブロックに分割される。ＣＴＵは、シーケンスで固定のサイズであり、例えば、１６×１６画素、３２×３２画素、又は６４×６４画素の中から選択可能である。ＣＵは、可変サイズであり、例えば、８×８画素〜ＣＴＵサイズの中から選択可能である。ＣＵは、イントラ予測符号化モードを選択する単位となる。
【００２６】
ＣＵは、Prediction Unit（ＰＵ）単位のブロックに分割されるともに、Transform Unit（ＴＵ）単位のブロックにも分割される。ＰＵは、イントラ予測モードを選択する単位となり、ＴＵは、イントラ予測符号化画像を生成する単位となる。ＴＵは、例えば、４×４画素、８×８画素、１６×１６画素、又は３２×３２画素の中から選択可能である。
【００２７】
ブロックに含まれる画素の画素値としては、例えば、輝度又は色差が用いられる。輝度を用いたブロックは、輝度ブロックと呼ばれることがあり、色差を用いたブロックは、色差ブロックと呼ばれることがある。
【００２８】
矢印４１１は、符号化対象ピクチャ４０１内における複数のＣＴＵの符号化順序（ラスタスキャン）を示しており、矢印４１２は、各ＣＴＵ内における複数のＣＵの符号化順序（Ｚスキャン）を示している。矢印４１３は、各ＣＵ内における複数のＰＵの符号化順序（Ｚスキャン）を示しており、矢印４１４は、各ＣＵ内における複数のＴＵの符号化順序（Ｚスキャン）を示している。
【００２９】
ＨＥＶＣにおけるブロック間には、次のような拘束条件が存在する。
（１）ＣＴＵサイズ≧ＣＵサイズ
（２）ＣＵサイズ≧ＰＵサイズ
（３）ＰＵサイズ≧ＴＵサイズ
【００３０】
そして、ＰＵ単位でイントラ予測モードが決定され、ＰＵに対応する１つ以上のＴＵのブロックが同じイントラ予測モードによりイントラ予測符号化される。
【００３１】
図５は、ＨＥＶＣにおいてイントラ予測符号化されるブロック（ＴＵ）の例を示している。この例では、８×８画素のブロックがイントラ予測符号化される。白丸は、イントラ予測符号化されるブロックの画素を表し、グレーの丸は、ブロックの周囲の画素を表す。ブロックをイントラ予測符号化するためにブロックの右上及び左下の画素も参照されるため、ブロックの上方の参照範囲の幅は１７画素となり、ブロックの左の参照範囲の高さも１７画素となっている。
【００３２】
図６は、図５のブロックをイントラ予測符号化するためのイントラ予測モードの例を示している。この例では、予測モード０〜予測モード３４の３５個のイントラ予測モードが示されている。
【００３３】
予測モード０は、Ｉｎｔｒａ＿Ｐｌａｎａｒに対応し、ブロックの周囲の画素の情報を用いて内挿予測によりイントラ予測符号化画像を生成するイントラ予測モードである。予測モード１は、Ｉｎｔｒａ＿ＤＣに対応し、ブロックの周囲の画素の情報の平均値を用いてイントラ予測符号化画像を生成するイントラ予測モードである。
【００３４】
予測モード２〜予測モード３４の矢印は、イントラ予測符号化において参照される画素の位置に対応する予測方向を表している。例えば、予測モード２６の場合、ブロックの各画素の垂直方向上方に位置する周囲の画素の情報が参照される。
【００３５】
ここで、イントラ予測符号化されるブロックが図２のイントラライン１０２内にあり、リフレッシュ境界２０１に接する場合、予測モード０及び予測モード２７〜予測モード３４において、未だリフレッシュされていない領域Ａ２内の画素が参照されることになる。したがって、イントラリフレッシュでは、予測モード１〜予測モード２６が使用され、予測モード０及び予測モード２７〜予測モード３４は使用されない。
【００３６】
図７は、垂直方向のイントラ予測符号化領域を用いた場合のリフレッシュ境界付近において、イントラ予測モードが制限されるブロック（ＰＵ）の例を示している。この例では、ＣＴＵサイズは６４×６４画素であり、ＴＵサイズはＰＵサイズと同じである。以下では、イントラ予測モードが制限されることを参照制限と記載することがある。
【００３７】
図７では、ピクチャ７０１に含まれる２個のＣＴＵと、ピクチャ７０１の次の時刻におけるピクチャ７０２に含まれる２個のＣＴＵとが示されている。しかし、ピクチャ７０１及びピクチャ７０２は、より多くのＣＴＵを含んでいる。
【００３８】
網掛け７２１のブロックは、図４に示した符号化順序に基づいて右上のブロック（参照範囲）が符号化済みであるが、その参照範囲の一部又は全部がリフレッシュ境界７１１の右の領域Ａ２内に存在するため、右上に対する参照制限を受ける。一方、網掛け７２２のブロックは、右上の参照範囲が未だ符号化されていないため、規格上その参照範囲が参照されることはなく、右上に対する参照制限を受けない。
【００３９】
例えば、ピクチャ７０１では、リフレッシュ境界７１１の左の領域Ａ１内のブロックのうち、リフレッシュ境界７１１に接する８×８画素の２個のブロックと１６×１６画素の２個のブロックとが、右上に対する参照制限を受ける。
【００４０】
一方、ピクチャ７０２では、リフレッシュ境界７１１からリフレッシュ幅７３１だけ右にシフトしたリフレッシュ境界７１２が用いられる。リフレッシュ境界７１２の左の領域Ａ１内のブロックのうち、リフレッシュ境界７１２に接する８×８画素の８個のブロックが、右上に対する参照制限を受ける。さらに、リフレッシュ境界７１２に近い１６×１６画素の３個のブロックと３２×３２画素の１個のブロックとが、右上に対する参照制限を受ける。
【００４１】
このように、ピクチャの左から右へ向かってイントラリフレッシュを行う場合、リフレッシュ境界の左の領域Ａ１において使用可能なイントラ予測モードを制限することで、イントラライン内に伝送エラーの影響を与えないようにすることができる。
【００４２】
図８は、参照制限を受けるブロック（ＰＵ）の変化の例を示している。この例では、ＣＴＵサイズは６４×６４画素であり、ＴＵサイズはＰＵサイズと同じであり、イントララインの幅（リフレッシュ幅）は１６画素である。網掛け８２１のブロックは、右上に対する参照制限を受けるブロックであり、網掛け８２２のブロックは、右上に対する参照制限を受けないブロックである。
【００４３】
ピクチャＰ１では、ＣＴＵ境界８０１とＣＴＵ境界８０２との間のリフレッシュ境界８１１に接する、イントラライン８３１内の８個のブロックが、右上に対する参照制限を受ける。
【００４４】
ピクチャＰ２では、リフレッシュ境界８１２に接する、イントラライン８３２内の８個のブロックのうち、４個のブロックが右上に対する参照制限を受け、残りの４個のブロックが参照制限を受けない。ピクチャＰ１とピクチャＰ２との間で参照制限を受けるブロックの個数が変化するのは、符号化処理順で右上の参照範囲が符号化済みの領域か、未だ符号化されていない領域かが変化するためである。
【００４５】
ピクチャＰ３では、リフレッシュ境界８１３に接する、イントラライン８３３内の８個のブロックが右上に対する参照制限を受ける。ピクチャＰ２とピクチャＰ３との間で参照制限を受けるブロックの個数が変化するのは、符号化処理順で右上の参照範囲が符号化済みの領域か、未だ符号化されていない領域かが変化するためである。
【００４６】
ピクチャＰ４では、リフレッシュ境界８１４に接する、イントラライン８３４内の８個のブロックのうち、２個のブロックが右上に対する参照制限を受け、残りの６個のブロックが参照制限を受けない。ピクチャＰ３とピクチャＰ４との間で参照制限を受けるブロックの個数が変化するのは、符号化処理順で右上の参照範囲が符号化済みの領域か、未だ符号化されていない領域かが変化するためである。
【００４７】
この場合、ピクチャＰ１〜ピクチャＰ４の４つのピクチャにおいて、イントラライン内のブロックに対する参照制限を受けるブロックの割合は、次式により計算される。
（８＋４＋８＋２）／（８＊４）＝１１／１６      （１）
【００４８】
イントラ予測モードが制限されるブロックでは、必ずしも最適なイントラ予測モードを使用できるとは限らないため、符号化効率が低下すると考えられる。リフレッシュ境界が垂直方向の直線である場合、式（１）が示すように、リフレッシュ境界においてイントラ予測モードが制限されるブロックの割合が多いため、動画像全体の符号化効率が低下する。
【００４９】
図９は、実施形態の動画像符号化装置の構成例を示している。図９の動画像符号化装置９０１は、決定部９１１及び符号化部９１２を含み、動画像に含まれる複数の画像の間で、イントラ予測符号化が適用されるイントラ予測符号化領域をシフトさせながら、それらの画像を符号化する。
【００５０】
図１０は、図９の動画像符号化装置９０１が行う動画像符号化処理の例を示すフローチャートである。まず、決定部９１１は、複数の画像のうち符号化対象画像内において、イントラ予測符号化領域と未だイントラ予測符号化が適用されていない未リフレッシュ領域の境界を階段形状とする（ステップ１００１）。
【００５１】
また、決定部９１１は、参照範囲が互いに異なる複数のイントラ予測モードのうち、参照範囲が未リフレッシュ領域の画素を使用するイントラ予測モードを、有効なイントラ予測モードから除外する。ここで、参照範囲は、イントラ予測符号化領域内の複数のブロックのイントラ予測画像を生成する際に参照する符号化済みの画素の参照範囲である。
【００５２】
そして、決定部９１１は、複数のブロックのうち、第２のブロックの符号化済み画像を参照するイントラ予測モードを、第１のブロックのための有効なイントラ予測モードに含めて、第１のブロックのためのイントラ予測モードを決定する。第１のブロックは、階段形状の第１の段に接するブロックであり、第２のブロックは、第１のブロックよりも前にイントラ予測符号化され、階段形状の第２の段に接するブロックである。
【００５３】
次に、符号化部９１２は、決定部９１１が決定したイントラ予測モードに基づく第１のブロックのイントラ予測結果に基づいて動画像符号化処理を実施する（ステップ１００２）。
【００５４】
図９の動画像符号化装置９０１によれば、イントラ予測符号化が適用されるイントラ予測符号化領域をシフトさせながら動画像を符号化する場合に、イントラ予測モードに対する制限を緩和することができる。
【００５５】
動画像符号化装置９０１は、様々な用途に利用される。例えば、動画像符号化装置９０１を、ビデオカメラ、映像送信装置、テレビ電話システム、コンピュータ、又は携帯電話機に組み込むことも可能である。
【００５６】
図１１は、図９の動画像符号化装置９０１の具体例を示している。図１１の動画像符号化装置９０１は、符号化部９１２、リフレッシュ幅決定部１１０１、領域決定部１１０２、ブロック決定部１１０３、及び予測モード制限部１１０４を含む。さらに、動画像符号化装置９０１は、イントラ予測モード決定部１１０５、インター予測モード決定部１１０６、及び予測モード選択部１１０７を含む。イントラ予測モード決定部１１０５は、図９の決定部９１１に対応する。
【００５７】
符号化部９１２は、誤差画像生成部１１１１、直交変換部１１１２、量子化部１１１３、エントロピー符号化部１１１４、逆量子化部１１１５、逆直交変換部１１１６、復号画像生成部１１１７を含む。さらに、符号化部９１２は、記憶部１１１８、イントラ予測画像生成部１１１９、インター予測画像生成部１１２０、予測画像選択部１１２１、ループフィルタ１１２２、及び記憶部１１２３を含む。
【００５８】
動画像符号化装置９０１は、例えば、ハードウェア回路として実装することができる。この場合、各構成要素を個別の回路として実装してもよく、複数の構成要素を１つの集積回路として実装してもよい。
【００５９】
動画像符号化装置９０１に入力される符号化対象動画像に含まれる複数の画像の各々は、符号化対象画像に対応し、カラー画像であってもよく、モノクロ画像であってもよい。カラー画像の場合、画素値はＲＧＢ形式であってもよく、ＹＵＶ形式であってもよい。
【００６０】
符号化部９１２内の誤差画像生成部１１１１は、符号化対象画像に含まれる符号化対象ブロックの原画像と、予測画像選択部１１２１から出力される予測画像との差分を表す誤差画像を生成する。直交変換部１１１２は、誤差画像生成部１１１１が生成する誤差画像を直交変換し、量子化部１１１３は、直交変換の結果を量子化して、符号化対象ブロックの予測符号化結果を表す係数情報を生成する。
【００６１】
逆量子化部１１１５は、量子化部１１１３が生成する係数情報を逆量子化し、逆直交変換部１１１６は、逆量子化の結果を逆直交変換して、誤差画像を生成する。復号画像生成部１１１７は、逆直交変換部１１１６が生成する誤差画像を、予測画像選択部１１２１から出力される予測画像に加算して、復号画像を生成する。記憶部１１１８は、復号画像生成部１１１７が生成する復号画像を記憶する。
【００６２】
イントラ予測画像生成部１１１９は、記憶部１１１８が記憶する復号画像を用いてイントラ予測を行い、符号化対象ブロックのイントラ予測画像を生成する。このとき、イントラ予測画像生成部１１１９は、符号化対象ブロックの周囲の符号化済みブロックの復号画像に含まれる画素値を、参照範囲の画素（参照画素）の情報として用いて、イントラ予測画像を生成する。
【００６３】
ループフィルタ１１２２は、復号画像生成部１１１７が生成する復号画像に対して、ブロック境界の近傍画素を用いてフィルタ処理を行うことで、符号化ノイズを低減する。記憶部１１２３は、ループフィルタ１１２２から出力される復号画像を記憶する。
【００６４】
インター予測画像生成部１１２０は、記憶部１１２３が記憶する復号画像を、符号化対象画像よりも後に符号化される画像に対する参照画像として用いることができる。インター予測画像生成部１１２０は、符号化対象画像よりも前に符号化された画像の復号画像を用いてインター予測を行い、符号化対象ブロックのインター予測画像を生成する。
【００６５】
予測画像選択部１１２１は、イントラ予測画像生成部１１１９が生成するイントラ予測画像、又はインター予測画像生成部１１２０が生成するインター予測画像のうち、いずれか一方の予測画像を選択して、誤差画像生成部１１１１へ出力する。
【００６６】
リフレッシュ幅決定部１１０１は、符号化対象画像内で強制的にイントラ予測符号化が適用されるイントラ予測符号化領域のサイズを表すリフレッシュ幅を決定する。領域決定部１１０２は、符号化対象画像の直前に符号化された画像におけるイントラ予測符号化領域の境界（リフレッシュ境界）と、リフレッシュ幅とに基づいて、符号化対象画像におけるイントラ予測符号化領域を決定する。
【００６７】
ブロック決定部１１０３は、イントラ予測符号化領域の情報と、符号化対象画像内の各ブロックの位置とサイズとに基づいて、イントラ予測モードが制限されるブロックを決定する。予測モード制限部１１０４は、イントラ予測モードが制限されるブロック毎に、使用しないイントラ予測モードを決定する。
【００６８】
イントラ予測モード決定部１１０５は、符号化対象ブロックに対して使用可能な複数のイントラ予測モードをイントラ予測画像生成部１１１９へ出力し、符号化対象ブロックのイントラ予測画像の生成を指示する。そして、イントラ予測モード決定部１１０５は、生成された複数のイントラ予測画像の符号化効率を示す評価値に基づいて、複数のイントラ予測モードのうちの１つを選択し、選択したイントラ予測モードを符号化対象ブロックのイントラ予測モードに決定する。
【００６９】
イントラ予測画像生成部１１１９は、イントラ予測モード決定部１１０５が決定したイントラ予測モードにより生成したイントラ予測画像を、予測画像選択部１１２１へ出力する。イントラ予測モード決定部１１０５は、決定したイントラ予測モードに対応するイントラ予測画像の評価値を予測モード選択部１１０７へ出力する。
【００７０】
インター予測モード決定部１１０６は、符号化対象画像よりも前に符号化された画像の復号画像を用いて動きベクトルを探索し、符号化対象ブロックのインター予測モードを決定する。インター予測モードは、参照画像、インター予測のブロックサイズ、及び動きベクトル等の情報を含む。そして、インター予測モード決定部１１０６は、決定したインター予測モードをインター予測画像生成部１１２０へ出力する。
【００７１】
インター予測画像生成部１１２０は、インター予測モード決定部１１０６が決定したインター予測モードによりインター予測画像を生成し、予測画像選択部１１２１へ出力する。インター予測モード決定部１１０６は、決定したインター予測モードに対応するインター予測画像の符号化効率を示す評価値を、予測モード選択部１１０７へ出力する。
【００７２】
予測モード選択部１１０７は、イントラ予測符号化領域の情報と、イントラ予測モード決定部１１０５が出力する評価値と、インター予測モード決定部１１０６が出力する評価値とに基づいて、イントラ予測モード又はインター予測モードのいずれかを選択する。符号化対象ブロックがイントラ予測符号化領域内のブロックである場合、イントラ予測モードが選択され、符号化対象ブロックがイントラ予測符号化領域外のブロックである場合、評価値が良い方の予測モードが選択される。
【００７３】
予測モード選択部１１０７は、選択した予測モードを予測画像選択部１１２１へ出力し、予測画像選択部１１２１は、その予測モードに対応する予測画像を選択する。
【００７４】
エントロピー符号化部１１１４は、符号化対象画像内の複数のブロックの予測符号化結果を表す係数情報と、使用された予測モードを表す予測情報とをエントロピー符号化し、符号化対象動画像の符号化結果である符号化動画像（符号化ストリーム）を生成する。そして、エントロピー符号化部１１１４は、生成した符号化ストリームを動画像復号装置（不図示）へ出力する。
【００７５】
図１２は、図９の動画像符号化装置９０１が行う動画像符号化処理の具体例を示すフローチャートである。動画像符号化装置９０１は、符号化対象動画像に含まれる複数の画像の各々に対して、図１２の動画像符号化処理を行う。
【００７６】
まず、リフレッシュ幅決定部１１０１は、符号化対象画像におけるリフレッシュ幅を決定し、領域決定部１１０２は、符号化対象画像におけるイントラ予測符号化領域を決定する（ステップ１２０１）。
【００７７】
次に、予測モード選択部１１０７は、符号化対象ブロックがイントラ予測符号化領域内のブロックであるか否かをチェックする（ステップ１２０２）。符号化対象ブロックがイントラ予測符号化領域内のブロックである場合（ステップ１２０２，ＹＥＳ）、ブロック決定部１１０３は、符号化対象画像内でイントラ予測モードが制限されるブロック（制限対象ブロック）を決定する（ステップ１２０３）。
【００７８】
次に、予測モード選択部１１０７は、符号化対象ブロックが制限対象ブロックであるか否かをチェックする（ステップ１２０４）。符号化対象ブロックが制限対象ブロックである場合（ステップ１２０４，ＹＥＳ）、予測モード制限部１１０４は、符号化対象ブロックに対して使用しないイントラ予測モードを決定する（ステップ１２０５）。
【００７９】
次に、イントラ予測モード決定部１１０５は、使用しないイントラ予測モードを除いた残りのイントラ予測モードの中から、符号化対象ブロックのイントラ予測モードを選択する（ステップ１２０６）。そして、イントラ予測画像生成部１１１９は、選択されたイントラ予測モードによりイントラ予測画像を生成する。誤差画像生成部１１１１、直交変換部１１１２、及び量子化部１１１３は、生成されたイントラ予測画像を用いて符号化対象ブロックのイントラ予測符号化結果を生成する。
【００８０】
次に、予測モード選択部１１０７は、符号化対象画像内のすべてのブロックが符号化されたか否かをチェックする（ステップ１２０７）。未だ符号化されていないブロックが残っている場合（ステップ１２０７，ＮＯ）、予測モード選択部１１０７は、符号化順序に従って入力される次の符号化対象ブロックに対して、ステップ１２０２以降の処理を行う。
【００８１】
一方、符号化対象ブロックが制限対象ブロックではない場合（ステップ１２０４，ＮＯ）、イントラ予測モード決定部１１０５は、すべてのイントラ予測モードの中から、符号化対象ブロックのイントラ予測モードを選択する（ステップ１２０８）。そして、イントラ予測画像生成部１１１９は、選択されたイントラ予測モードによりイントラ予測画像を生成する。誤差画像生成部１１１１、直交変換部１１１２、及び量子化部１１１３は、生成されたイントラ予測画像を用いて符号化対象ブロックのイントラ予測符号化結果を生成し、予測モード選択部１１０７は、ステップ１２０７以降の処理を行う。
【００８２】
符号化対象ブロックがイントラ予測符号化領域外のブロックである場合（ステップ１２０２，ＮＯ）、予測モード選択部１１０７は、イントラ予測モード又はインター予測モードを、符号化対象ブロックの予測モードとして選択する（ステップ１２０９）。そして、誤差画像生成部１１１１、直交変換部１１１２、及び量子化部１１１３は、選択された予測モードにより生成された予測画像を用いて、符号化対象ブロックの予測符号化結果を生成し、予測モード選択部１１０７は、ステップ１２０７以降の処理を行う。
【００８３】
そして、符号化対象画像内のすべてのブロックが符号化された場合（ステップ１２０７，ＹＥＳ）、動画像符号化装置９０１は、符号化対象画像の符号化処理を終了する。
【００８４】
図１３〜図１５は、イントラ予測符号化領域と未だイントラ予測符号化が適用されていない領域との間の階段形状のリフレッシュ境界の例を示している。これらの例では、ＣＴＵサイズは６４×６４画素であり、各ブロックはＰＵを表し、ＴＵサイズはＰＵサイズと同じであり、リフレッシュ幅は１６画素である。
【００８５】
網掛け１３２１のブロックは、符号化順序に基づいて右上のブロック（参照範囲）が符号化済みであるが、その参照範囲の一部又は全部が未だリフレッシュされていない領域内に存在するため、右上に対する参照制限を受ける。したがって、網掛け１３２１のブロックでは、右上方向の画素を参照するイントラ予測モードが制限される。
【００８６】
一方、網掛け１３２２のブロックは、右上の参照範囲が未だ符号化されておらず、規格上その参照範囲が参照されないか、又は右上の参照範囲がリフレッシュ済みであるため、右上に対する参照制限を受けない。
【００８７】
図１３のリフレッシュ境界１３１１は、画像内で水平１：垂直４の急な傾きを持つ右上がり階段形状であり、垂直方向の４個のＣＴＵに対応する４段を周期Ｌとして含む。周期Ｌに対応するＣＴＵ内において、リフレッシュ境界１３１１に接する、イントラ予測符号化領域１３１２内の１６個のブロックのうち、７個のブロックが右上に対する参照制限を受け、残りの９個のブロックが参照制限を受けない。
【００８８】
例えば、イントラ予測符号化領域１３１２内のブロック１３４１は、リフレッシュ境界１３１１の段１３３１に接しており、ブロック１３４１の右上に位置するブロック１３４２は、リフレッシュ境界１３１１の段１３３２に接している。ブロック１３４２は、ブロック１３４１よりも前にリフレッシュ済みであるため、ブロック１３４１のイントラ予測符号化において参照可能である。
【００８９】
また、イントラ予測符号化領域１３１２内のブロック１３４３は、段１３３１に接しており、ブロック１３４３の右上の参照範囲は、ブロック１３４４に含まれている。ブロック１３４４は、ブロック１３４３よりも後に符号化されるため、規格上、ブロック１３４３のイントラ予測符号化において参照されない。
【００９０】
この場合、イントラ予測符号化領域１３１２内のブロックに対する参照制限を受けるブロックの割合は７／１６である。図８の場合と比較すると、参照制限を受けるブロックの割合が１１／１６から７／１６に減少していることが分かる。
【００９１】
このように、右上がり階段状のリフレッシュ境界１３１１を用いることで、イントラ予測符号化領域１３１２内で右上方向の画素を参照可能なブロックの個数が増加し、イントラ予測符号化領域の符号化効率が向上する。
【００９２】
図１４のリフレッシュ境界１４１１は、画像内で水平１：垂直２の傾きを持つ右上がり階段形状であり、垂直方向の２個のＣＴＵに対応する４段を周期Ｌとして含む。周期Ｌに対応するＣＴＵ内において、リフレッシュ境界１４１１に接する、イントラ予測符号化領域１４１２内の８個のブロックのうち、２個のブロックが右上に対する参照制限を受け、残りの６個のブロックが参照制限を受けない。
【００９３】
この場合、イントラ予測符号化領域１４１２内のブロックに対する参照制限を受けるブロックの割合は１／４（＝２／８）であり、図１３の場合よりも改善されている。
【００９４】
図１５のリフレッシュ境界１５１１は、画像内で水平１：垂直１のなだらかな傾きを持つ右上がり階段形状であり、１個のＣＴＵに対応する４段を周期Ｌとして含む。周期Ｌに対応するＣＴＵ内において、リフレッシュ境界１５１１に接する、イントラ予測符号化領域１５１２内の４個のブロックのうち、いずれのブロックも右上に対する参照制限を受けない。
【００９５】
この場合、イントラ予測符号化領域１５１２内のブロックに対する参照制限を受けるブロックの割合は０であり、図１４の場合よりもさらに改善されている。
【００９６】
このように、右上がり階段形状の傾きがなだらかであるほど、リフレッシュ境界に接するブロックの右上のブロックがリフレッシュ済みである可能性が高くなり、参照制限を受けるブロックの割合が小さくなると考えられる。
【００９７】
次に、ＨＥＶＣにおけるイントラ予測モードの制限の具体例について説明する。図１６は、符号化対象ブロック（ＴＵ）の例を示している。この例では、ＴｂＳ×ＴｂＳ画素の符号化対象ブロックがイントラ予測符号化される。白丸は、符号化対象ブロックの画素を表し、グレーの丸は、符号化対象ブロックの周囲の画素を表す。符号化対象ブロックの上方の参照範囲の幅は２＊ＴｂＳ＋１画素であり、符号化対象ブロックの左の参照範囲の高さも２＊ＴｂＳ＋１画素である。
【００９８】
この場合、符号化対象ブロックの上方の参照範囲の画素数は２＊ＴｂＳ＋１個であり、その参照範囲の各画素は、ｒｅｆ［ｘ］（ｘ＝０，１，．．．，２＊ＴｂＳ）と表すことができる。
【００９９】
ＨＥＶＣでは、参照範囲の画素を参照する際に、ブロックサイズとイントラ予測モードとに応じて画素の情報が平滑化される。例えば、平滑化フィルタとして３ＴＡＰフィルタを用いる場合、ブロックサイズとイントラ予測モードとが以下のような組み合わせのときに、ｒｅｆ［ｘ］の隣接画素を用いてｒｅｆ［ｘ］に対するフィルタ処理が行われる。
（１１）ブロックサイズが８×８の場合
予測モード：１８，３４
（１２）ブロックサイズが１６×１６の場合
予測モード：１８，１９，２０，２１，２２，２３，２４，２８，２９，３０，３１，３２，３３，３４
（１３）ブロックサイズが３２×３２の場合
予測モード：１８，１９，２０，２１，２２，２３，２４，２５，２７，２８，２９，３０，３１，３２，３３，３４
【０１００】
このようなフィルタ処理が行われる場合、参照画素だけでなく、フィルタ処理に用いられる画素もリフレッシュ済みであることが望ましい。したがって、画像を左から右へ向かってイントラリフレッシュする場合、図６に示した予測モード０〜予測モード３４のうち使用可能なイントラ予測モードは、以下のようになる。
（２１）右上画素のすべてが参照禁止の場合、すべてのブロックサイズにおいて予測モード１〜予測モード２６を使用できる。
（２２）右上の８画素（ｒｅｆ［ＴｂＳ＋１］〜ｒｅｆ［ＴｂＳ＋８］）を参照可能な場合、１６×１６画素の輝度ブロックにおいて予測モード０〜予測モード３０を使用でき、３２×３２画素の輝度ブロックにおいて予測モード０〜予測モード２８を使用できる。この場合、４×４画素及び８×８画素の輝度ブロックにおいて予測モード０〜予測モード３４を使用できる。
（２３）右上の１６画素（ｒｅｆ［ＴｂＳ＋１］〜ｒｅｆ［ＴｂＳ＋１６］）を参照可能な場合、３２×３２画素の輝度ブロックにおいて予測モード０〜予測モード３０を使用できる。この場合、４×４画素、８×８画素、及び１６×１６画素の輝度ブロックにおいて予測モード０〜予測モード３４を使用できる。
（２４）右上の２４画素（ｒｅｆ［ＴｂＳ＋１］〜ｒｅｆ［ＴｂＳ＋２４］）を参照可能な場合、３２×３２画素の輝度ブロックにおいて予測モード０〜予測モード３２を使用できる。この場合、４×４画素、８×８画素、及び１６×１６画素の輝度ブロックにおいて予測モード０〜予測モード３４を使用できる。
【０１０１】
符号化対象ブロックの位置及びブロックサイズに応じたイントラ予測モードの制限は、以下のようになる。
（３１）符号化対象ブロックの右上のブロックが未だ符号化されていない場合、符号化対象ブロックは右上に対する参照制限を受けない。
【０１０２】
図１７は、６４×６４画素のＣＴＵ内の複数のブロック（ＰＵ）に対するＺスキャンの例を示している。この例では、ＣＴＵサイズは６４×６４画素であり、ＴＵサイズはＰＵサイズと同じである。
【０１０３】
ＣＴＵが８×８画素のブロックに分割されている場合、矢印１７０１が示す順序で各ブロックが符号化される。ＣＴＵが１６×１６画素のブロックに分割されている場合、矢印１７０２が示す順序で各ブロックが符号化される。ＣＴＵが３２×３２画素のブロックに分割されている場合、矢印１７０３が示す順序で各ブロックが符号化される。
【０１０４】
各ＣＴＵ内のグレーのブロックは、右上のブロックが未だ符号化されていないため、右上に対する参照制限を受けない。この場合、図１８に示すように、符号化対象ブロックの上方の符号化済み画素のうち最右端の画素１８０１の情報をコピーすることで、右上の参照範囲に対応する画素１８１１〜画素１８１８の情報が生成される。そして、符号化対象ブロックのイントラ予測符号化において、画素１８１１〜画素１８１８の情報が参照される。
（３２）符号化対象ブロックの右上のブロックがリフレッシュ境界の左にあるリフレッシュ済みブロックであり、右上の参照画素のうちリフレッシュ済み画素の数が、符号化対象ブロックの高さ以上である場合、符号化対象ブロックは右上に対する参照制限を受けない。符号化対象ブロックの高さは、符号化対象ブロックの垂直方向のサイズに対応する。
（３３）符号化対象ブロックの右上のブロックがリフレッシュ境界の左にあるリフレッシュ済みブロックであり、右上の参照画素のうちリフレッシュ済み画素の数が、符号化対象ブロックの高さ未満である場合、符号化対象ブロックは右上に対する参照制限を受ける。
【０１０５】
この場合、右上のリフレッシュ済み画素の数と符号化対象ブロックの高さとの関係に応じて、使用されないイントラ予測モードが決定される。未だリフレッシュされていない画素を参照しないイントラ予測モードだけが使用できる。
（３４）符号化対象ブロックの右上のブロックが符号化済みであるが、未だリフレッシュされていない場合、符号化対象ブロックは右上に対する参照制限を受ける。
【０１０６】
この場合、右上画素のすべてが参照禁止であるため、使用可能なイントラ予測モードは予測モード１〜予測モード２６である。
【０１０７】
図１９〜図２１は、イントラ予測モードが制限されるブロック（ＰＵ）の例を示している。これらの例では、ＣＴＵサイズは６４×６４画素であり、ＴＵサイズはＰＵサイズと同じであり、リフレッシュ幅は１６画素である。
【０１０８】
図１９のブロック分割は、図１３に示したブロック分割と同じであり、イントラ予測符号化領域１３１２内の１６×６４画素の部分が階段形状の１段に対応する。イントラ予測符号化領域１３１２内の符号化対象ブロックのブロックサイズは、１６×１６画素である。網掛け１３２１のブロックは、右上に対する参照制限を受け、網掛け１３２２のブロックは、右上に対する参照制限を受けない。
【０１０９】
この場合、周期Ｌに対応するＣＴＵ内において、リフレッシュ境界１３１１に接する、イントラ予測符号化領域１３１２内のブロック０〜ブロック１５に対するイントラ予測モードの制限は、以下のようになる。
（４１）ブロック５、ブロック６、ブロック７、ブロック１３、及びブロック１５
これらのブロックは、上記（３１）の場合に該当し、右上に対する参照制限を受けない。
（４２）ブロック０、ブロック４、ブロック８、及びブロック１２
これらのブロックは、上記（３２）の場合に該当し、右上に対する参照制限を受けない。
（４３）ブロック１、ブロック２、ブロック３、ブロック９、ブロック１０、ブロック１１、及びブロック１４
これらのブロックは、上記（３４）の場合に該当し、使用可能なイントラ予測モードは予測モード１〜予測モード２６である。
【０１１０】
図２０のブロック分割では、イントラ予測符号化領域２０１２内の１６×６４画素又は３２×６４画素の部分が階段形状の１段に対応する。イントラ予測符号化領域２０１２内の符号化対象ブロックのブロックサイズは、１６×１６画素又は３２×３２画素である。網掛け２０２１のブロックは、右上に対する参照制限を受け、網掛け２０２２のブロックは、右上に対する参照制限を受けない。
【０１１１】
この場合、周期Ｌに対応するＣＴＵ内において、リフレッシュ境界２０１１に接する、イントラ予測符号化領域２０１２内のブロック０〜ブロック１１に対するイントラ予測モードの制限は、以下のようになる。
（５１）ブロック５
これらのブロックは、上記（３１）の場合に該当し、右上に対する参照制限を受けない。
（５２）ブロック０及びブロック６
これらのブロックは、上記（３２）の場合に該当し、右上に対する参照制限を受けない。
（５３）ブロック４及びブロック１０
これらのブロックは、上記（３３）の場合に該当し、使用可能なイントラ予測モードは予測モード０〜予測モード３０である。
（５４）ブロック１、ブロック２、ブロック３、ブロック７、ブロック８、ブロック９、及びブロック１１
これらのブロックは、上記（３４）の場合に該当し、使用可能なイントラ予測モードは予測モード１〜予測モード２６である。
【０１１２】
図２１のブロック分割では、イントラ予測符号化領域２１１２内の１６×６４画素の部分が階段形状の１段に対応する。イントラ予測符号化領域２１１２内の符号化対象ブロックのブロックサイズは、８×８画素又は１６×１６画素である。イントラ予測符号化領域２１１２内の８×８画素のブロックの一部は、リフレッシュ境界２１１１に接していない。網掛け２１２１のブロックは、右上に対する参照制限を受け、網掛け２１２２のブロックは、右上に対する参照制限を受けない。
【０１１３】
この場合、周期Ｌに対応するＣＴＵ内において、イントラ予測符号化領域２１１２に含まれるブロック０〜ブロック３９に対するイントラ予測モードの制限は、以下のようになる。
（６１）ブロック４、ブロック８、ブロック１２、ブロック１５、ブロック１７、ブロック１８、ブロック１９、ブロック２４、ブロック２８、ブロック３２、ブロック３４、ブロック３８、及びブロック３９
これらのブロックは、上記（３１）の場合に該当し、右上に対する参照制限を受けない。
（６２）ブロック０、ブロック１、ブロック３、ブロック５、ブロック７、ブロック９、ブロック１１、ブロック１３、ブロック１４、ブロック１６、ブロック２０、ブロック２１、ブロック２３、ブロック２５、ブロック２７、ブロック２９、ブロック３１、ブロック３３、ブロック３５、及びブロック３７
これらのブロックは、上記（３２）の場合に該当し、右上に対する参照制限を受けない。
（６３）ブロック２、ブロック６、ブロック１０、ブロック２２、ブロック２６、ブロック３０、及びブロック３６
【０１１４】
これらのブロックは、上記（３４）の場合に該当し、使用可能なイントラ予測モードは予測モード１〜予測モード２６である。
【０１１５】
なお、ＴＵサイズがＰＵサイズよりも小さく、１つのＰＵに複数のＴＵが対応する場合、参照制限が最も厳しいＴＵにおいて使用可能なイントラ予測モードを、そのＰＵにおいて使用可能なイントラ予測モードとして選択してもよい。
【０１１６】
次に、階段形状のリフレッシュ境界がインター予測符号化に対して与える影響について説明する。図２２は、階段形状のリフレッシュ境界におけるインター予測符号化の例を示している。この例では、ＴＵサイズはＰＵサイズと同じである。
【０１１７】
ある時刻の画像Ｐ１１において、領域２２１１は、それより前の時刻までにリフレッシュ済みの領域であり、イントラ予測符号化領域２２１２内の各ブロックは、イントラ予測符号化された時点でリフレッシュ済みとなる。領域２２１３は、未だリフレッシュされていない領域である。
【０１１８】
インター予測符号化では、過去の参照画像のリフレッシュ済み領域のブロックを参照してインター予測画像が生成される。したがって、画像Ｐ１１において、リフレッシュ境界２２２１の左の領域２２１１及びイントラ予測符号化領域２２１２が、次の時刻の画像Ｐ１２における参照可能範囲となる。
【０１１９】
画像Ｐ１２において、領域２２３１は、それより前の時刻までにリフレッシュ済みの領域であり、イントラ予測符号化領域２２３２内の各ブロックは、イントラ予測符号化された時点でリフレッシュ済みとなる。領域２２３３は、未だリフレッシュされていない領域である。
【０１２０】
この場合、イントラ予測符号化領域２２３２の左のブロック（ＰＵ）２２５１に対する動きベクトルの探索範囲２２６１は、参照先の画像Ｐ１１におけるリフレッシュ済み領域に対応し、ブロック２２５１の下方の領域も含んでいる。このため、ブロック２２５１に対する動きベクトルとして、下向きの動きベクトルを探索することが可能である。
【０１２１】
ところが、ブロック（ＰＵ）２２５２の下方の領域は、参照先の画像Ｐ１１において未だリフレッシュされていない領域に対応するため、ブロック２２５２に対する動きベクトルの探索範囲２２６２から除外される。このため、ブロック２２５２に対する動きベクトルとして、下向きの動きベクトルを探索することが困難になる。下向きの動きベクトルは、画像内の物体が上向きに動く場合等に発生する。
【０１２２】
このように、階段形状のリフレッシュ境界を用いた場合、イントラ予測符号化領域の左のブロックにおいて動きベクトルの探索範囲が制限されることがある。この場合、動きベクトルの方向が制限されるため、インター予測符号化の符号化効率が低下すると考えられる。特に、リフレッシュ境界の傾きがなだらかであり、画面全体に下向きの動きベクトルが多い場合、リフレッシュ境界付近のブロックで正確な動きを捉えることが困難になる。
【０１２３】
そこで、リフレッシュ境界の傾きをシーンの動き情報に応じて変更することが考えられる。この場合、下向きの動きベクトルが多いシーンでは、図１３に示したような急な傾きを持つ右上がり階段形状のリフレッシュ境界を用いる。一方、下向きの動きベクトルが少ないシーンでは、図１５に示したようななだらかな傾きを持つ右上がり階段形状のリフレッシュ境界を用いる。
【０１２４】
図２３は、リフレッシュ境界の傾きを変更する動画像符号化処理の例を示すフローチャートである。この例では、イントラ予測符号化領域が画像全体を巡回する１周期に含まれるＮ個の画像の動き情報に基づいて、次の周期におけるリフレッシュ境界の傾きが決定される。
【０１２５】
まず、領域決定部１１０２は、リフレッシュ境界の傾きの初期値を設定し（ステップ２３０１）、符号化対象画像を示す変数ｉを１に設定する（ステップ２３０２）。次に、領域決定部１１０２は、符号化対象画像の動き情報を代表するグローバルベクトルＧｉを計算する（ステップ２３０３）。グローバルベクトルとしては、例えば、符号化対象画像内の動きベクトルの平均値、最頻値等に対応するベクトルを用いることができる。
【０１２６】
次に、動画像符号化装置９０１は、図１２の動画像符号化処理を行って符号化対象画像を符号化する（ステップ２３０４）。このとき、領域決定部１１０２は、リフレッシュ境界の傾きの初期値に応じてイントラ予測符号化領域を決定する。
【０１２７】
次に、領域決定部１１０２は、動画像符号化処理を継続するか否かを決定する（ステップ２３０５）。領域決定部１１０２は、ステップ２３０４で符号化した画像が符号化対象動画像に含まれる最後の画像ではない場合、動画像符号化処理を継続すると決定し、符号化した画像が最後の画像である場合、動画像符号化処理を継続しないと決定する。
【０１２８】
動画像符号化処理を継続する場合（ステップ２３０５，ＹＥＳ）、領域決定部１１０２は、ｉを１だけインクリメントし（ステップ２３０６）、ｉがＮを超えたか否かをチェックする（ステップ２３０７）。
【０１２９】
ｉがＮ以下である場合（ステップ２３０７，ＮＯ）、領域決定部１１０２は、ステップ２３０３以降の処理を繰り返す。そして、ｉがＮを超えた場合（ステップ２３０７，ＹＥＳ）、領域決定部１１０２は、グローバルベクトルＧ１〜グローバルベクトルＧＮに基づいて、１周期に含まれるＮ個の画像の動きベクトルの傾向を判定する（ステップ２３０８）。
【０１３０】
領域決定部１１０２は、例えば、直前のＮ−ｊ個（ｊ＝１〜Ｎ−１）のグローバルベクトル（Ｇｊ＋１〜ＧＮ）が連続して下向きである場合、動きベクトルの傾向が下向きを示していると判定することができる。動きベクトルの傾向が下向きを示していない場合（ステップ２３０８，ＮＯ）、領域決定部１１０２は、リフレッシュ境界の傾きを変更することなく、ステップ２３０２以降の処理を繰り返す。
【０１３１】
一方、動きベクトルの傾向が下向きを示している場合（ステップ２３０８，ＹＥＳ）、領域決定部１１０２は、符号化対象画像内の動きベクトルに基づいて、リフレッシュ境界の傾きを決定し（ステップ２３０９）、ステップ２３０２以降の処理を繰り返す。この場合、ステップ２３０４において、領域決定部１１０２は、決定したリフレッシュ境界の傾きに応じてイントラ予測符号化領域を決定する。
【０１３２】
そして、動画像符号化処理を継続しない場合（ステップ２３０５，ＮＯ）、領域決定部１１０２は、動画像符号化処理を終了する。
【０１３３】
ステップ２３０９において、領域決定部１１０２は、例えば、次のような選択論理に基づいてリフレッシュ境界の傾きを決定することができる。
（７１）下向きの動きベクトルの大きさ＜ＴＨ１である場合、なだらかな傾きが選択される。（例えば、水平１：垂直１）
（７２）ＴＨ１≦下向きの動きベクトルの大きさ＜ＴＨ２である場合、標準的な傾きが選択される。（例えば、水平１：垂直２）
（７３）ＴＨ２≦下向きの動きベクトルの大きさである場合、急な傾きが選択される。（例えば、水平１：垂直４）
【０１３４】
上記（７１）〜（７３）の下向きの動きベクトルとしては、例えば、符号化対象画像内における複数の下向きの動きベクトルの平均値、最頻値等を用いてもよい。また、グローバルベクトルＧｊ＋１〜グローバルベクトルＧＮに対応するＮ−ｊ個の画像内における複数の下向きの動きベクトルの平均値、最頻値等を、下向きの動きベクトルとして用いてもよい。閾値ＴＨ２としては、閾値ＴＨ１よりも大きな値が用いられる。
【０１３５】
図２４は、変化するリフレッシュ境界の傾きの例を示している。ある時刻における画像Ｐ２１において、領域２４０１は、それより前の時刻までにリフレッシュ済みの領域であり、領域２４０３は、未だリフレッシュされていない領域である。イントラ予測符号化領域２４０２と領域２４０３との間のリフレッシュ境界は、水平１：垂直２の傾きを持つ階段形状の境界である。
【０１３６】
画像Ｐ２１よりも所定時間後の画像Ｐ２２において、イントラ予測符号化領域２４１１のリフレッシュ境界は、イントラ予測符号化領域２４０２のリフレッシュ境界と同じ傾きを持つ。
【０１３７】
その後、イントラ予測符号化領域２４１１が画像の右端まで達したとき、動きベクトルの傾向が下向きを示し、下向きの動きベクトルの大きさがＴＨ２以上であると仮定する。この場合、画像Ｐ２３のように、イントラ予測符号化領域２４２１のリフレッシュ境界の傾きが水平１：垂直４に変更される。
【０１３８】
このように、階段形状のリフレッシュ境界の傾きをシーンの動き情報に応じて変更することで、リフレッシュ境界付近のブロックで動きベクトルの方向に対する制限が緩和される。このため、ブロックの正確な動きを捉えやすくなり、インター予測符号化の符号化効率が向上する。
【０１３９】
図２５は、ループフィルタによるインター予測符号化の制限の例を示している。画像Ｐ１１のイントラ予測符号化領域２２１２において、境界２５０１とリフレッシュ境界２２２１との間の数画素幅の領域は、ループフィルタ１１２２のフィルタ処理により領域２２１３内のエラーの影響を受ける可能性がある。例えば、ＨＥＶＣのデブロッキングフィルタを用いた場合、境界２５０１とリフレッシュ境界２２２１との間の領域の幅は、３画素又は４画素となる。
【０１４０】
この場合、画像Ｐ１２において、動きベクトルの探索範囲が、エラーの影響を受ける可能性のある領域を含まないことが望ましい。そこで、ブロック２２５１に対する動きベクトルの探索範囲２５１１は、画像Ｐ１１におけるリフレッシュ境界２２２１から数画素だけ左にシフトされる。同様に、ブロック２２５２に対する動きベクトルの探索範囲２５１２も、リフレッシュ境界２２２１から数画素だけ左にシフトされる。
【０１４１】
予測モード選択部１１０７は、イントラ予測符号化領域の上方のブロックで動きベクトルの下向き傾向が大きい場合、そのブロックに対して強制的にイントラ予測符号化を適用することも可能である。図２６は、動きベクトルの下向き傾向が大きい場合にイントラ予測符号化が適用されるブロック（ＰＵ）の例を示している。この例では、ＣＴＵサイズは６４×６４画素であり、ＴＵサイズはＰＵサイズと同じであり、リフレッシュ幅は１６画素である。
【０１４２】
網掛け２６２１のブロックは、右上に対する参照制限を受け、網掛け２６２２のブロックは、右上に対する参照制限を受けない。網掛け２６２３のブロックは、イントラ予測符号化領域に接しており、動きベクトルの下向き傾向が大きい場合にイントラ予測符号化が適用されるブロックである。
【０１４３】
リフレッシュ境界２６０２は、ある時刻の画像Ｐ３１におけるリフレッシュ境界であり、水平１：垂直４の傾きを持つ。また、リフレッシュ境界２６０１は、前の時刻の画像におけるリフレッシュ境界である。画像Ｐ３１の周期Ｌに対応するＣＴＵ内で、リフレッシュ境界２６０１の左の８個のブロックにおいて、動きベクトルの下向き傾向が大きい場合にイントラ予測符号化が適用される。
【０１４４】
リフレッシュ境界２６０３は、次の時刻の画像Ｐ３２におけるリフレッシュ境界であり、リフレッシュ境界２６０２と同じ傾きを持つ。画像Ｐ３２の周期Ｌに対応するＣＴＵ内で、リフレッシュ境界２６０２の左の８個のブロックにおいて、動きベクトルの下向き傾向が大きい場合にイントラ予測符号化が適用される。
【０１４５】
このように、イントラ予測符号化領域に接するブロックの一部に対して強制的にイントラ予測符号化を適用することで、インター予測符号化における下方に対する参照制限を回避して、ブロックの正確な動きを捉えやすくなる。
【０１４６】
次に、直線状のリフレッシュ境界を有するイントラ予測符号化領域のサイズと、階段形状のリフレッシュ境界を有するイントラ予測符号化領域のサイズとの違いについて説明する。
【０１４７】
図２７は、直線状のリフレッシュ境界を有するイントラ予測符号化領域の例を示している。この例では、ＣＴＵサイズは６４×６４画素であり、各ブロックはＰＵを表し、ＴＵサイズはＰＵサイズと同じである。
【０１４８】
画像Ｐ４１におけるリフレッシュ境界２７０１は直線状であり、イントラ予測符号化領域２７１１のリフレッシュ幅は１６画素である。イントラ予測符号化領域２７１１内の８個の１６×１６画素のブロックは、右上に対する参照制限を受ける。イントラ予測符号化領域２７１１のサイズは、１ＣＴＵ当たり４個の１６×１６画素のブロックに相当する。
【０１４９】
画像Ｐ４２におけるリフレッシュ境界２７０２も直線状であり、イントラ予測符号化領域２７１２のリフレッシュ幅は３２画素である。イントラ予測符号化領域２７１２内の４個の３２×３２画素のブロックは、右上に対する参照制限を受ける。イントラ予測符号化領域２７１２のサイズは、１ＣＴＵ当たり８個の１６×１６画素のブロックに相当する。
【０１５０】
このように、直線状のリフレッシュ境界を用いた場合、イントラ予測符号化領域は帯状になり、リフレッシュ幅を変更することでイントラ予測符号化領域のサイズが変更される。
【０１５１】
図２８は、階段形状のリフレッシュ境界を有するイントラ予測符号化領域の例を示している。この例では、ＣＴＵサイズは６４×６４画素であり、各ブロックはＰＵを表し、ＴＵサイズはＰＵサイズと同じであり、リフレッシュ幅は１６画素である。網掛け２８２１のブロックは、右上に対する参照制限を受け、網掛け２８２２のブロックは、右上に対する参照制限を受けない。
【０１５２】
ある時刻の画像Ｐ５１におけるリフレッシュ境界２８０１は、水平１：垂直４の傾きを持つ右上がり階段形状であり、イントラ予測符号化領域２８１１のサイズは、１ＣＴＵ当たり５個の１６×１６画素のブロックに相当する。
【０１５３】
次の時刻の画像Ｐ５２におけるリフレッシュ境界２８０２は、リフレッシュ境界２８０１と同じ傾きを持つ右上がり階段形状であり、イントラ予測符号化領域２８１２のサイズは、イントラ予測符号化領域２８１１のサイズと同じである。
【０１５４】
次の時刻の画像Ｐ５３におけるリフレッシュ境界２８０３は、リフレッシュ境界２８０１と同じ傾きを持つ右上がり階段形状であり、イントラ予測符号化領域２８１３のサイズは、イントラ予測符号化領域２８１１のサイズと同じである。
【０１５５】
次の時刻の画像Ｐ５４におけるリフレッシュ境界２８０４は、リフレッシュ境界２８０１と同じ傾きを持つ右上がり階段形状であり、イントラ予測符号化領域２８１４のサイズは、イントラ予測符号化領域２８１１のサイズと同じである。
【０１５６】
一方、図１３のリフレッシュ境界１３１１もリフレッシュ境界２８０１と同じ傾きを持つが、イントラ予測符号化領域１３１２のサイズは、１ＣＴＵ当たり４個の１６×１６画素のブロックに相当する。
【０１５７】
このように、階段形状のリフレッシュ境界を用いた場合、イントラ予測符号化領域は階段形状になる。このため、リフレッシュ幅を変更しなくても、イントラ予測符号化領域の形状を変更することで、イントラ予測符号化領域のサイズを細かい精度で変更することができる。
【０１５８】
リフレッシュ境界の傾きがなだらかな場合、イントラ予測符号化領域の形状によっては、符号化対象ブロックの左下のブロックがリフレッシュされていないため、左下に対する参照制限を受ける場合がある。  
【０１５９】
図２９〜図３１は、なだらかな傾きを持つ階段形状のリフレッシュ境界の例を示している。これらの例では、ＣＴＵサイズは６４×６４画素であり、各ブロックはＰＵを表し、ＴＵサイズはＰＵサイズと同じである。
【０１６０】
網掛け２９２１のブロックは、符号化順序に基づいて左下のブロック（参照範囲）が符号化済みであるが、その参照範囲の一部又は全部が未だリフレッシュされていない領域内に存在するため、左下に対する参照制限を受ける。したがって、網掛け２９２１のブロックでは、左下方向の画素を参照するイントラ予測モードが制限される。
【０１６１】
一方、網掛け２９２２のブロックは、左下の参照範囲が未だ符号化されておらず、規格上その参照範囲が参照されないか、又は左下の参照範囲がリフレッシュ済みであるため、左下に対する参照制限を受けない。
【０１６２】
図２９のリフレッシュ境界２９０１は、画像内で水平３：垂直１の傾きを持つ右上がり階段形状であり、イントラ予測符号化領域２９１１のリフレッシュ幅は４８画素である。イントラ予測符号化領域２９１１内において、左側のＣＴＵ境界に接するブロック２９３１〜ブロック２９３３の左下のブロックがリフレッシュされていないため、ブロック２９３１〜ブロック２９３３は、左下に対する参照制限を受ける。
【０１６３】
図３０のリフレッシュ境界３００１は、画像内で水平２：垂直１の傾きを持つ右上がり階段形状であり、イントラ予測符号化領域３０１１のリフレッシュ幅は３２画素である。イントラ予測符号化領域３０１１内において、３２×３２画素のブロック３０２１の左下のブロック３０２２がリフレッシュされていないため、ブロック３０２１は、左下に対する参照制限を受ける。
【０１６４】
図３１のリフレッシュ境界３１０１は、リフレッシュ境界３００１と同じ傾きを持つ右上がり階段形状であり、イントラ予測符号化領域３１１１のリフレッシュ幅は３２画素である。この場合、階段形状の１段の高さが１６画素であり、イントラ予測符号化領域３１１１内のすべてのブロックが１６×１６画素であるため、階段形状の角の部分で、左下の参照範囲がリフレッシュされていない領域に含まれることがない。したがって、イントラ予測符号化領域３１１１内のすべてのブロックが、左下に対する参照制限を受けない。
【０１６５】
これに対して、水平方向のイントラスライスをイントラ予測符号化領域として用いた場合、左下のブロックがリフレッシュされていない可能性が高くなり、参照制限を受けるブロックの割合が大きくなる。このように、右上がり階段形状のリフレッシュ境界を用いることで、水平方向のリフレッシュ境界を用いる場合よりも、左下方向の画素を参照可能なブロックの個数が増加し、イントラ予測符号化領域の符号化効率が向上する。
【０１６６】
図９及び図１１の動画像符号化装置９０１の構成は一例に過ぎず、動画像符号化装置９０１の用途や条件に応じて一部の構成要素を省略又は変更してもよい。
【０１６７】
例えば、図１１のリフレッシュ幅決定部１１０１が動画像符号化装置９０１の外部に設けられている場合、リフレッシュ幅決定部１１０１を省略することができる。
【０１６８】
誤差画像生成部１１１１が生成する誤差画像の直交変換及び量子化の代わりに、別の変換アルゴリズムを使用する場合、直交変換部１１１２、量子化部１１１３、逆量子化部１１１５、及び逆直交変換部１１１６を別の構成要素に変更することができる。また、係数情報及び予測情報のエントロピー符号化の代わりに、別の符号化アルゴリズムを使用する場合、エントロピー符号化部１１１４を別の符号化部に変更することができる。
【０１６９】
復号画像生成部１１１７が生成する復号画像においてノイズがあまり発生しない場合、ループフィルタ１１２２を省略することができる。
【０１７０】
図１０、図１２、及び図２３に示したフローチャートは一例に過ぎず、動画像符号化装置９０１の構成や条件に応じて一部の処理を省略又は変更してもよい。例えば、図１２の動画像符号化処理において、ステップ１２０５の処理をステップ１２０４の処理の前へ移動してもよい。図２３の動画像符号化処理において、ステップ２３０３の処理とステップ２３０４の処理とを入れ替えてもよい。
【０１７１】
図３及び図６のイントラ予測モードは一例に過ぎず、Ｈ．２６４及びＨＥＶＣ以外の符号化アルゴリズムに基づく別のイントラ予測モードを用いることもできる。
【０１７２】
図１３〜図１５、図１９〜図２２、図２４〜図２６、及び図２８〜図３１に示した階段形状のリフレッシュ境界は一例に過ぎず、別の階段形状のリフレッシュ境界を用いることもできる。例えば、様々な高さの段が混在する階段形状のリフレッシュ境界を用いてもよい。
【０１７３】
また、符号化対象画像内における複数のＣＴＵの符号化順序がラスタスキャンとは異なり、各ＣＴＵ内における複数のブロックの符号化順序がＺスキャンとは異なる場合、イントラ予測符号化領域が右から左へ向かってシフトされることも考えられる。この場合、右上がり階段形状のリフレッシュ境界の代わりに、左上がり階段形状のリフレッシュ境界を用いてもよい。
【０１７４】
図９及び図１１の動画像符号化装置９０１は、ハードウェア回路として実装することもでき、図３２に示すような情報処理装置（コンピュータ）を用いて実現することもできる。
【０１７５】
図３２の情報処理装置は、Central Processing Unit（ＣＰＵ）３２０１、メモリ３２０２、入力装置３２０３、出力装置３２０４、補助記憶装置３２０５、媒体駆動装置３２０６、ネットワーク接続装置３２０７、及び動画像入力装置３２０８を含む。これらの構成要素はバス３２０９により互いに接続されている。
【０１７６】
メモリ３２０２は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）、フラッシュメモリ等の半導体メモリである。メモリ３２０２は、動画像符号化処理に用いられる動画像符号化プログラム及びデータを格納する。メモリ３２０２は、図１１の記憶部１１１８及び記憶部１１２３として用いることもできる。
【０１７７】
ＣＰＵ３２０１（プロセッサ）は、例えば、メモリ３２０２を利用して動画像符号化プログラムを実行することにより、図１及び図１１の決定部９１１及び符号化部９１２として動作する。ＣＰＵ３２０１は、図１１のリフレッシュ幅決定部１１０１、領域決定部１１０２、ブロック決定部１１０３、予測モード制限部１１０４、イントラ予測モード決定部１１０５、インター予測モード決定部１１０６、及び予測モード選択部１１０７としても動作する。
【０１７８】
ＣＰＵ３２０１は、図１１の誤差画像生成部１１１１、直交変換部１１１２、量子化部１１１３、エントロピー符号化部１１１４、逆量子化部１１１５、逆直交変換部１１１６、及び復号画像生成部１１１７としても動作する。ＣＰＵ３２０１は、イントラ予測画像生成部１１１９、インター予測画像生成部１１２０、予測画像選択部１１２１、及びループフィルタ１１２２としても動作する。
【０１７９】
入力装置３２０３は、例えば、キーボード、ポインティングデバイス等であり、ユーザ又はオペレータからの指示や情報の入力に用いられる。出力装置３２０４は、例えば、表示装置、プリンタ、スピーカ等であり、ユーザ又はオペレータへの問い合わせや処理結果の出力に用いられる。
【０１８０】
補助記憶装置３２０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置３２０５は、ハードディスクドライブであってもよい。情報処理装置は、補助記憶装置３２０５に動画像符号化プログラム及びデータを格納しておき、それらをメモリ３２０２にロードして使用することができる。
【０１８１】
媒体駆動装置３２０６は、可搬型記録媒体３２１０を駆動し、その記録内容にアクセスする。可搬型記録媒体３２１０は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体３２１０は、Compact Disk Read Only Memory（ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、又はUniversal Serial Bus（ＵＳＢ）メモリであってもよい。ユーザ又はオペレータは、この可搬型記録媒体３２１０に動画像符号化プログラム及びデータを格納しておき、それらをメモリ３２０２にロードして使用することができる。
【０１８２】
このように、動画像符号化プログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ３２０２、補助記憶装置３２０５、又は可搬型記録媒体３２１０のような、物理的な（非一時的な）記録媒体である。
【０１８３】
ネットワーク接続装置３２０７は、Local Area Network（ＬＡＮ）、インターネット等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。ネットワーク接続装置３２０７は、動画像復号装置に対して符号化ストリームを出力する出力インタフェースとして用いることもできる。情報処理装置は、動画像符号化プログラム及びデータを外部の装置からネットワーク接続装置３２０７を介して受信し、それらをメモリ３２０２にロードして使用することもできる。
【０１８４】
動画像入力装置３２０８は、入力される符号化対象動画像をメモリ３２０２へ転送する。
【０１８５】
なお、情報処理装置が図３２のすべての構成要素を含む必要はなく、用途や条件に応じて一部の構成要素を省略することも可能である。例えば、ユーザ又はオペレータとのインタフェースが不要の場合は、入力装置３２０３及び出力装置３２０４を省略してもよい。また、情報処理装置が可搬型記録媒体３２１０にアクセスしない場合は、媒体駆動装置３２０６を省略してもよい。
【０１８６】
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。
【０１８７】
図３乃至図３２を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
動画像に含まれる複数の画像の間で、イントラ予測符号化が適用されるイントラ予測符号化領域をシフトさせながら、前記複数の画像を符号化する動画像符号化装置であって、
前記複数の画像のうち符号化対象画像内において、前記イントラ予測符号化領域と未だイントラ予測符号化が適用されていない未リフレッシュ領域の境界を階段形状とし、前記イントラ予測符号化領域内の複数のブロックのイントラ予測画像を生成する際に参照する符号化済みの画素の参照範囲が互いに異なる複数のイントラ予測モードのうち、前記参照範囲が前記未リフレッシュ領域の画素を使用するイントラ予測モードを有効なイントラ予測モードから除外し、前記複数のブロックのうち、前記階段形状の第１の段に接する第１のブロックよりも前にイントラ予測符号化され、前記階段形状の第２の段に接する第２のブロックの符号化済み画像を参照するイントラ予測モードを、前記第１のブロックのための有効なイントラ予測モードに含めて、前記第１のブロックのためのイントラ予測モードを決定する決定部と、
前記決定部が決定した前記イントラ予測モードに基づく前記第１のブロックのイントラ予測符号化結果を含む符号化動画像を出力する符号化部と、
を備えることを特徴とする動画像符号化装置。
（付記２）
前記符号化対象画像の動きベクトルの情報に基づいて、前記符号化対象画像よりも後に符号化される画像内の前記イントラ予測符号化領域に対する前記階段形状の境界の傾きを変更する領域決定部をさらに備えることを特徴とする付記１記載の動画像符号化装置。
（付記３）
前記符号化対象画像内の第３のブロックのインター予測符号化において、前記符号化対象画像よりも前に符号化される画像内の未だイントラ予測符号化が適用されていない領域が動きベクトルの探索範囲から除外される場合、前記第３のブロックに対してイントラ予測符号化を適用する予測モード選択部をさらに備えることを特徴とする付記１又は２記載の動画像符号化装置。
（付記４）
動画像に含まれる複数の画像の間で、イントラ予測符号化が適用されるイントラ予測符号化領域をシフトさせながら、前記複数の画像を符号化する動画像符号化装置が、
前記複数の画像のうち符号化対象画像内において、前記イントラ予測符号化領域と未だイントラ予測符号化が適用されていない未リフレッシュ領域の境界を階段形状とし、前記イントラ予測符号化領域内の複数のブロックのイントラ予測画像を生成する際に参照する符号化済みの画素の参照範囲が互いに異なる複数のイントラ予測モードのうち、前記参照範囲が前記未リフレッシュ領域の画素を使用するイントラ予測モードを有効なイントラ予測モードから除外し、前記複数のブロックのうち、前記階段形状の第１の段に接する第１のブロックよりも前にイントラ予測符号化され、前記階段形状の第２の段に接する第２のブロックの符号化済み画像を参照するイントラ予測モードを、前記第１のブロックのための有効なイントラ予測モードに含めて、前記第１のブロックのためのイントラ予測モードを決定し、
決定した前記イントラ予測モードに基づく前記第１のブロックのイントラ予測符号化結果を含む符号化動画像を生成する、
ことを特徴とする動画像符号化方法。
（付記５）
前記動画像符号化装置は、前記符号化対象画像の動きベクトルの情報に基づいて、前記符号化対象画像よりも後に符号化される画像内の前記イントラ予測符号化領域に対する前記階段形状の境界の傾きを変更することを特徴とする付記４記載の動画像符号化方法。
（付記６）
前記動画像符号化装置は、前記符号化対象画像内の第３のブロックのインター予測符号化において、前記符号化対象画像よりも前に符号化される画像内の未だイントラ予測符号化が適用されていない領域が動きベクトルの探索範囲から除外される場合、前記第３のブロックに対してイントラ予測符号化を適用することを特徴とする付記４又は５記載の動画像符号化方法。
（付記７）
動画像に含まれる複数の画像の間で、イントラ予測符号化が適用されるイントラ予測符号化領域をシフトさせながら、前記複数の画像を符号化するコンピュータに、
前記複数の画像のうち符号化対象画像内において、前記イントラ予測符号化領域と未だイントラ予測符号化が適用されていない未リフレッシュ領域の境界を階段形状とし、前記イントラ予測符号化領域内の複数のブロックのイントラ予測画像を生成する際に参照する符号化済みの画素の参照範囲が互いに異なる複数のイントラ予測モードのうち、前記参照範囲が前記未リフレッシュ領域の画素を使用するイントラ予測モードを有効なイントラ予測モードから除外し、前記複数のブロックのうち、前記階段形状の第１の段に接する第１のブロックよりも前にイントラ予測符号化され、前記階段形状の第２の段に接する第２のブロックの符号化済み画像を参照するイントラ予測モードを、前記第１のブロックのための有効なイントラ予測モードに含めて、前記第１のブロックのためのイントラ予測モードを決定し、
決定した前記イントラ予測モードに基づく前記第１のブロックのイントラ予測符号化結果を含む符号化動画像を生成する、
処理を実行させる動画像符号化プログラム。
（付記８）
前記コンピュータは、前記符号化対象画像の動きベクトルの情報に基づいて、前記符号化対象画像よりも後に符号化される画像内の前記イントラ予測符号化領域に対する前記階段形状の境界の傾きを変更することを特徴とする付記７記載の動画像符号化プログラム。
（付記９）
前記コンピュータは、前記符号化対象画像内の第３のブロックのインター予測符号化において、前記符号化対象画像よりも前に符号化される画像内の未だイントラ予測符号化が適用されていない領域が動きベクトルの探索範囲から除外される場合、前記第３のブロックに対してイントラ予測符号化を適用することを特徴とする付記７又は８記載の動画像符号化プログラム。
【符号の説明】
【０１８８】
１０１−１〜１０１−Ｎ  画像
１０２、１０２−１〜１０２−Ｎ、８３１、８３２、８３３、８３４  イントラライン
２０１、７１１、７１２、８１１、８１２、８１３、８１４、１３１１、１４１１、１５１１、２０１１、２１１１、２２２１、２２４１、２６０１〜２６０３、２７０１、２７０２、２８０１〜２８０４、２９０１、３００１、３１０１  リフレッシュ境界
３０１  サブブロック
４０１  符号化対象ピクチャ
４１１〜４１４、１７０１〜１７０３  矢印
７０１、７０２  ピクチャ
７２１、７２２、８２１、８２２、１３２１、１３２２、２０２１、２０２２、２１２１、２１２２、２６２１〜２６２３、２８２１、２８２２、２９２１、２９２２  網掛け
７３１  リフレッシュ幅
８０１、８０２  ＣＴＵ境界
９０１  動画像符号化装置
９１１  決定部
９１２  符号化部
１１０１  リフレッシュ幅決定部
１１０２  領域決定部
１１０３  ブロック決定部
１１０４  予測モード制限部
１１０５  イントラ予測モード決定部
１１０６  インター予測モード決定部
１１０７  予測モード選択部１１０７
１１１１  誤差画像生成部
１１１２  直交変換部
１１１３  量子化部
１１１４  エントロピー符号化部
１１１５  逆量子化部
１１１６  逆直交変換部
１１１７  復号画像生成部
１１１８、１１２３  記憶部
１１１９  イントラ予測画像生成部
１１２０  インター予測画像生成部
１１２１  予測画像選択部
１１２２  ループフィルタ
１３１２、１４１２、１５１２、２０１２、２１１２、２２１２、２２３２、２４０２、２４１１、２４２１、２７１１、２７１２、２８１１〜２８１４、２９１１、３０１１、３１１１  イントラ予測符号化領域
１３３１、１３３２  段
１８０１、１８１１〜１８１８  画素
２２１１、２２１３、２２３１、２２３３、２４０１、２４０３  領域
１３４１〜１３４４、２２５１、２２５２、２９３１〜２９３３、３０２１、３０２２  ブロック
２２６１、２２６２、２５１１、２５１２  探索範囲
２５０１  境界
３２０１  ＣＰＵ
３２０２  メモリ
３２０３  入力装置
３２０４  出力装置
３２０５  補助記憶装置
３２０６  媒体駆動装置
３２０７  ネットワーク接続装置
３２０８  動画像入力装置
３２０９  バス
３２１０  可搬型記録媒体
【図１】
0006331972.tif 000002
【図２】
0006331972.tif 000003
【図３】
0006331972.tif 000004
【図４】
0006331972.tif 000005
【図５】
0006331972.tif 000006
【図６】
0006331972.tif 000007
【図７】
0006331972.tif 000008
【図８】
0006331972.tif 000009
【図９】
0006331972.tif 000010
【図１０】
0006331972.tif 000011
【図１１】
0006331972.tif 000012
【図１２】
0006331972.tif 000013
【図１３】
0006331972.tif 000014
【図１４】
0006331972.tif 000015
【図１５】
0006331972.tif 000016
【図１６】
0006331972.tif 000017
【図１７】
0006331972.tif 000018
【図１８】
0006331972.tif 000019
【図１９】
0006331972.tif 000020
【図２０】
0006331972.tif 000021
【図２１】
0006331972.tif 000022
【図２２】
0006331972.tif 000023
【図２３】
0006331972.tif 000024
【図２４】
0006331972.tif 000025
【図２５】
0006331972.tif 000026
【図２６】
0006331972.tif 000027
【図２７】
0006331972.tif 000028
【図２８】
0006331972.tif 000029
【図２９】
0006331972.tif 000030
【図３０】
0006331972.tif 000031
【図３１】
0006331972.tif 000032
【図３２】
0006331972.tif 000033