(57)【要約】      （修正有）【課題】動きベクトル算出時の参照領域の制限による符号化品質の劣化を抑制する。【解決手段】動画像符号化装置１００は、参照禁止領域を設けたピクチャを参照して導出した輝度ベクトルから色差ベクトルを導出する動き探索部１１１と、輝度信号及び色差信号に対し別個にフィルタ処理を行うフィルタ処理部１０８、１０９と、フィルタ処理前の参照制限境界位置と参照禁止領域との位置関係を示す制限タイプを算出する境界位置算出部１２１と、制限タイプに基づいて色差信号のフィルタ処理を抑止するか否かを判定し抑止情報を生成する抑止判定部１２３と、参照禁止領域に含まれる画素を参照する可能性のある色差フィルタモードを禁止モードに決定する禁止モード決定部１２４と、フィルタ処理前の参照制限境界位置及び抑止情報に基づいてフィルタ処理後の参照制限位置を決定する参照制限決定部１２５と、を備える。【選択図】図１６
2017017629.tif 000002
【特許請求の範囲】
【請求項１】
輝度信号及び色差信号を含むピクチャを複数の符号化ブロックに分割し、符号化ブロック単位で、後続のピクチャからの参照を許可する第１の領域及び参照を禁止する第２の領域を設けて前記輝度信号の動きベクトルの参照領域を制限した符号化済みピクチャを参照して前記輝度信号の動きベクトルを算出するとともに、算出した前記輝度信号の動きベクトルに基づいて前記色差信号の動きベクトルを算出する動き探索部と、
前記符号化対象のピクチャの復号画像における前記輝度信号及び前記色差信号に対し別個にフィルタ処理を行うフィルタ処理部と、
現符号化対象ピクチャにおける前記フィルタ処理前の前記第１の領域と前記第２の領域との境界位置を示す参照制限境界位置、及び前記第１の領域と前記第２の領域との位置関係の組み合わせを示す参照制限タイプを算出する境界位置算出部と、
前記参照制限タイプに基づいて前記色差信号に対する前記フィルタ処理を抑止するか否かを判定して色差フィルタ抑止情報を生成する抑止判定部と、
前記フィルタ処理前の参照制限境界位置から前記色差信号に対する前記フィルタ処理を抑止する前記符号化ブロックを算出し、前記第２の領域に含まれる画素を参照する可能性のある色差フィルタモードを示す色差フィルタ禁止モードを決定する禁止モード決定部と、
前記フィルタ処理前の参照制限境界位置及び前記色差フィルタ抑止情報に基づいて、フィルタ処理後の前記輝度信号の参照制限位置を決定する参照制限決定部と、
前記色差フィルタ禁止モード以外から選択した色差フィルタモード及び前記フィルタ処理後の前記輝度信号の参照制限位置に基づいて前記第１の領域を参照して導出した前記輝度信号の動きベクトルを用いて前記符号化対象ピクチャを符号化する符号化部と、
を備えることを特徴とする動画像符号化装置。
【請求項２】
前記境界位置算出部は、前記符号化済みピクチャが符号化されたときに参照制限を実施した領域を示すベクトル制限領域と、参照制限を実施していない領域との境界位置、及び前記輝度信号の動きベクトルの算出後かつ前記フィルタ処理前に実行される画素書き換え処理の影響範囲から、前記参照制限境界位置を算出する、
ことを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記境界位置算出部は、前記符号化ブロック内の前記参照制限境界位置を基準に上下左右又はその組み合わせで、前記第１の領域が存在する方向により分類した前記参照制限タイプを算出する、
ことを特徴とする請求項１に記載の動画像符号化装置。
【請求項４】
前記抑止判定部は、前記参照制限タイプと前記ピクチャにおける前記色差信号のサンプリング方法を規定した画像フォーマット情報との組み合わせから前記色差フィルタを抑止するか否かを判定する、
ことを特徴とする請求項１に記載の動画像符号化装置。
【請求項５】
前記禁止モード決定部は、少なくとも前記フィルタ処理前の前記参照制限境界を含む、又は接している符号化ブロックを、前記色差フィルタを抑止する符号化ブロックと決定する、
ことを特徴とする請求項１に記載の動画像符号化装置。
【請求項６】
前記禁止モード決定部は、色差フィルタタイプが複数存在し、特定の前記色差フィルタタイプに前記第２の領域に含まれる画素を参照する可能性のある色差フィルタモードが含まれるとき、特定の色差フィルタタイプを禁止する、
ことを特徴とする請求項１に記載の動画像符号化装置。
【請求項７】
輝度信号及び色差信号を含む符号化対象のピクチャを複数の符号化ブロックに分割し、
符号化ブロック単位で、後続のピクチャからの参照を許可する第１の領域及び参照を禁止する第２の領域を設けて前記輝度信号の動きベクトルの参照領域を制限した符号化済みピクチャを参照して前記輝度信号の動きベクトルを算出するとともに、算出した前記輝度信号についての動きベクトルに基づいて前記色差信号についての動きベクトルを算出する一方で、
現符号化対象ピクチャにおけるフィルタ処理前の前記第１の領域と前記第２の領域との境界位置を示す参照制限境界位置、及び前記第１の領域と前記第２の領域との位置関係の組み合わせを示す参照制限タイプを算出し、
前記参照制限タイプに基づいて前記色差信号に対する前記フィルタ処理を抑止するか否かを判定して色差フィルタ抑止情報を生成し、
前記フィルタ処理前の参照制限境界位置から前記色差信号に対する前記フィルタ処理を抑止する前記ブロックを算出して、前記第２の領域に含まれる画素を参照する可能性のある色差フィルタモードを示す色差フィルタ禁止モードを決定し、
前記フィルタ処理前の参照制限境界位置及び前記色差フィルタ抑止情報に基づいて、フィルタ処理後の前記輝度信号の参照制限境界位置を決定し、
前記色差フィルタ禁止モード及び前記輝度信号の参照制限境界位置に基づいて、前記ピクチャの復号画像における前記輝度信号及び前記輝度信号に別個に前記フィルタ処理を行い、
前記色差フィルタ禁止モード以外から選択した前記色差フィルタモード及び前記フィルタ処理後の前記輝度信号の参照制限位置に基づいて前記第１の領域を参照して導出した前記輝度信号の動きベクトルを用いて前記符号化対象ピクチャを符号化する、
処理をコンピュータが実行することを特徴とする動画像符号化方法。
【請求項８】
輝度信号及び色差信号を含む符号化対象のピクチャを複数の符号化ブロックに分割し、
符号化ブロック単位で、後続のピクチャからの参照を許可する第１の領域及び参照を禁止する第２の領域を設けて前記輝度信号の動きベクトルの参照領域を制限した符号化済みピクチャを参照して前記輝度信号の動きベクトルを算出するとともに、算出した前記輝度信号についての動きベクトルに基づいて前記色差信号についての動きベクトルを算出する一方で、
現符号化対象ピクチャにおけるフィルタ処理前の前記第１の領域と前記第２の領域との境界位置を示す参照制限境界位置、及び前記第１の領域と前記第２の領域との位置関係の組み合わせを示す参照制限タイプを算出し、
前記参照制限タイプに基づいて前記色差信号に対する前記フィルタ処理を抑止するか否かを判定して色差フィルタ抑止情報を生成し、
前記フィルタ処理前の参照制限境界位置から前記色差信号に対する前記フィルタ処理を抑止する前記ブロックを算出して、前記第２の領域に含まれる画素を参照する可能性のある色差フィルタモードを示す色差フィルタ禁止モードを決定し、
前記フィルタ処理前の参照制限境界位置及び前記色差フィルタ抑止情報に基づいて、フィルタ処理後の前記輝度信号の参照制限境界位置を決定し、
前記色差フィルタ禁止モード及び前記輝度信号の参照制限境界位置に基づいて、前記ピクチャの復号画像における前記輝度信号及び前記輝度信号に別個に前記フィルタ処理を行い、
前記色差フィルタ禁止モード以外から選択した前記色差フィルタモード及び前記フィルタ処理後の前記輝度信号の参照制限位置に基づいて前記第１の領域を参照して導出した前記輝度信号の動きベクトルを用いて前記符号化対象ピクチャを符号化する、
処理をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置、動画像符号化方法、及びプログラムに関する。
【背景技術】
【０００２】
撮像装置で撮像した画像や映像（以下、まとめて動画像という）のデータは、水平画素と垂直画素から構成されている。このような動画像の符号化に用いられる画像フォーマットとしては、輝度信号（Ｙ）と色差信号（Ｕ，Ｖ）とを分離したＹＵＶフォーマットが知られている。また、人間の視覚特性を利用することで、色差信号の解像度を落としてデータ量を削減したフォーマットがある。色差信号について水平解像度のみ１／２に間引いた画像フォーマットは４：２：２と呼ばれている。また、水平解像度及び垂直解像度をそれぞれ１／２ずつ、すなわち全体として１／４に間引いた画像フォーマットは４：２：０と呼ばれている。一方、色差信号の解像度を落とさない画像フォーマットは４：４：４と呼ばれている。
【０００３】
動画像のデータは、一般にデータ量が大きいので、送信装置から受信装置へ伝送される際、あるいは記憶装置に格納される際などには、高能率符号化が行われる。ここで、高能率符号化とは、あるデータ列を他のデータ列に変換する符号化処理であって、そのデータ量を圧縮する処理をいう。
【０００４】
動画像データの高能率符号化方法として、ピクチャ内予測（イントラ予測）符号化方法が知られている。この符号化方法では、動画像データが空間方向に相関性が高いことを利用し、他のピクチャの符号化画像を用いない。ピクチャ内予測符号化方法は、ピクチャ内の情報のみで画像を復元できる方法である。また、動画像データの符号化方法として、ピクチャ間予測（インター予測）符号化方法が知られている。この符号化方法では、動画像データが時間方向に相関性が高いことを利用する。動画像データは、一般に、あるタイミングのピクチャデータと次のタイミングのピクチャデータとの類似度が高いことが多いので、インター予測符号化方法では、その性質を使用する。動画像データの符号化においては、原画像が複数の符号化ブロックに分割される。符号化装置は、符号化ブロック毎に、符号化済みフレームの復号画像を参照し符号化ブロックと類似している領域を選択し、この類似領域と符号化ブロックとの差分を計算することで、時間的な冗長性を取り除く。そして、類似領域を指し示す動きベクトル情報及び冗長性の取り除かれた差分情報を符号化することにより、高い圧縮率が実現する。類似領域を探す処理は、一般に動き探索と呼ばれている。
【０００５】
このような代表的な動画像符号化方式として、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣ等が挙げられる。
【０００６】
上記の動画像符号化では、動き探索において動きベクトルを導出する際の参照領域を制限する場合がある。参照領域を制限する符号化方式としては、低遅延を実現するための方式の１つであるイントラリフレッシュ方式がある（例えば、特許文献１を参照）。
【０００７】
イントラリフレッシュ方式では、各ピクチャは、あるスライス（領域）内のデータを全てイントラブロックとして符号化し、他の領域のデータはＰピクチャ又は過去のピクチャのみを用いたＢピクチャで符号化する。この際、ピクチャ毎に、イントラリフレッシュを適用するブロックライン位置をピクチャの左方側のブロックラインから右方側のブロックラインへと徐々にずらしていくことで、一定周期でピクチャ全体にイントラリフレッシュを巡回させる。また、動き探索を行う場合、リフレッシュ済み領域と未リフレッシュ領域との境界（リフレッシュ境界）より左の領域については、過去の符号化済みのピクチャのリフレッシュ済み領域、及び現ピクチャの符号化済みであるリフレッシュ済み領域のみを参照する。そのため、巡回後はピクチャ全体のリフレッシュが可能であり、伝送エラーで発生したエラーからの復帰や、映像ストリームを途中から復号することが可能となる。更に、情報量が大きいＩピクチャを用いないことで、バッファサイズを減少させることができ、バッファによる遅延を軽減することができる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特公平６−１０１８４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上記の動画像符号化では、直交変換及び量子化を行った信号に対し逆量子化及び逆直交変換を行うことで得られる信号と、予測画像とに基づいて復号された画像を、後続のピクチャをから動きベクトルを導出する際の参照ピクチャとして用いる。この際、復号された画像（以下「復号画像」という）におけるブロック歪を低減するため、デブロッキングフィルタと呼ばれるフィルタをかける処理が行われる。更に、最新の動画像符号化方式であるＨ．２６５／ＨＥＶＣにおいては、デブロッキングフィルタをかけた後、Sample Adaptive Offset（ＳＡＯ）と呼ばれるフィルタ処理を行う。ＳＡＯ処理を行うことにより、例えば、動き補償補間フィルタに起因するリンギングを低減させる、復号画像に発生することのある画素値のずれを補正するといったことができ、画質を改善することができる。以下、デブロッキングフィルタをかける処理及びＳＡＯをかける処理を、それぞれ、ＤＦ処理及びＳＡＯ処理という。
【００１０】
しかしながら、イントラリフレッシュ方式のように動きベクトルを算出する際の参照領域に制限がある符号化方式でＳＡＯ処理を行うと、参照可能領域と参照禁止領域との境界（参照制限境界）が参照可能領域側に移動し、参照可能領域が狭くなる。更に、参照領域に制限がある符号化方式で４：２：０又は４：２：２フォーマットの動画像を符号化する場合、参照制限境界よりも参照可能領域側に、動き補償により参照禁止となる領域が生じる。参照可能領域内に参照禁止の領域が生じた場合、参照可能領域内であるにもかかわらず、画像フォーマットに従った予測画像を生成することができず動きベクトルを算出できないことがある。参照可能領域内で動きベクトルを算出することができない場合、最適な動き補償ができない可能性がある。すなわち、ＳＡＯ処理を行う従来の動画像符号化方式では、最適な予測画像を作成できず画質の劣化が顕著になることがある。
【００１１】
１つの側面において、本発明は、動きベクトルを導出する際の参照領域の制限による符号化品質の劣化を抑制することを目的とする。
【課題を解決するための手段】
【００１２】
１つの態様の動画像符号化装置は、動き探索部と、フィルタ処理部と、境界位置算出部と、抑止判定部と、禁止モード決定部と、参照制限決定部と、符号化部と、を備える。
【００１３】
動き探索部は、輝度信号及び色差信号を含むピクチャを複数の符号化ブロックに分割し、符号化ブロック単位で、輝度信号の動きベクトル及び色差信号の動きベクトルを算出する。ここで、輝度信号の動きベクトルは、後続のピクチャからの参照を許可する第１の領域及び参照を禁止する第２の領域を設けて輝度信号の動きベクトルの参照領域を制限した符号化済みピクチャを参照して算出する。また、色差信号の動きベクトルは、輝度信号の動きベクトルに基づいて算出する。フィルタ処理部は、符号化対象のピクチャの復号画像における輝度信号及び色差信号に対し別個にフィルタ処理を行う。境界位置算出部は、現符号化対象ピクチャにおけるフィルタ処理前の第１の領域と第２の領域との境界位置を示す参照制限境界位置、及び第１の領域と第２の領域との位置関係の組合せを示す参照制限タイプを算出する。抑止判定部は、参照制限タイプに基づいて色差信号に対するフィルタ処理を抑止するか否かを判定して色差フィルタ抑止情報を生成する。禁止モード決定部は、フィルタ処理前の参照制限境界位置から色差信号に対するフィルタ処理を抑止する符号化ブロックを算出し、第２の領域に含まれる画素を参照する可能性のある色差フィルタモードを示す色差フィルタ禁止モードを決定する。参照制限決定部は、フィルタ処理前の参照制限境界位置及び色差フィルタ抑止情報に基づいて、フィルタ処理後の輝度信号の参照制限位置を決定する。そして符号化部は、色差フィルタ禁止モード以外から選択した色差フィルタモード及びフィルタ処理後の輝度信号の参照制限位置に基づいて第１の領域を参照して導出した輝度信号の動きベクトルを用いて前記符号化対象ピクチャを符号化する。
【発明の効果】
【００１４】
上述の態様によれば、動きベクトル算出時の参照領域の制限による符号化品質の劣化を抑制することができる。
【図面の簡単な説明】
【００１５】
【図１】動画像符号化装置の機能的構成の一例を示すブロック図である。
【図２】イントラリフレッシュ方式を説明する図である。
【図３】イントラリフレッシュ方式における参照制限を説明する図である。
【図４】ＤＦ処理のフィルタ境界を説明する図である。
【図５】ＤＦ処理の影響を受ける画素を説明する図である。
【図６】ＳＡＯ処理のオフセットタイプを説明する図である。
【図７】輝度信号に関する動き補償を説明する図である。
【図８】色差信号に関する動き補償を説明する図である。
【図９】ＤＦ処理及びＳＡＯ処理が有効であるときの参照制限境界を示す図である。
【図１０】ＤＦ処理及びＳＡＯ処理が有効であるときの動き補償による参照制限の拡張を示す図である。
【図１１】ＤＦ処理及びＳＡＯ処理が有効であるときの予測画像の生成可否を説明する図である。
【図１２】ＤＦ処理が無効でＳＡＯ処理が有効であるときの参照制限境界を示す図である。
【図１３】ＤＦ処理が無効でＳＡＯ処理が有効であるときの動き補償による参照制限の拡張を示す図である。
【図１４】ＤＦ処理が無効でＳＡＯ処理が有効であるときの予測画像の生成可否を説明する図である。
【図１５】４：２：２フォーマットにおける画面上下方向の参照制限を示す図である。
【図１６】一実施形態に係る動画像符号化装置の機能的構成を示すブロック図である。
【図１７】ＤＦ処理が有効であるときのＳＡＯ処理前の参照制限境界の位置を示す図である。
【図１８】ＤＦ処理が無効であるときのＳＡＯ処理前の参照制限境界の位置を示す図である。
【図１９】参照制限タイプと色差フィルタ禁止モードとの関係を示す図である。
【図２０】実施形態におけるＤＦ処理が有効であるときのＳＡＯ処理後の参照制限境界の位置を示す図である。
【図２１】実施形態におけるＤＦ処理が無効であるときのＳＡＯ処理後の参照制限境界の位置を示す図である。
【図２２】実施形態におけるＤＦ処理及びＳＡＯ処理が有効であるときの予測画像の生成可否を説明する図である。
【図２３】実施形態におけるＤＦ処理が無効でＳＡＯ処理が有効であるときの予測画像の生成可否を説明する図である。
【図２４】実施形態に係る動画像符号化方法における参照制限制御処理の手順を示すフローチャートである。
【図２５】ＳＡＯ前境界位置設定処理の内容を示すフローチャートである。
【図２６】参照制限タイプ設定処理の内容を示すフローチャートである。
【図２７】色差フィルタ抑止判定処理の内容を示すフローチャートである。
【図２８】色差フィルタ禁止モード決定処理の内容を示すフローチャートである。
【図２９】コンピュータのハードウェア構成を示す図である。
【図３０】注視領域を設定して行う動画像符号化方式を説明する図である。
【発明を実施するための形態】
【００１６】
まず、Ｈ．２６５／ＨＥＶＣ規格に従って動画像を符号化する動画像符号化装置の構成及び符号化方法を説明する。
【００１７】
図１は、動画像符号化装置の機能的構成の一例を示すブロック図である。
図１に示すように、動画像符号化装置１００は、予測誤差信号生成部１０１と、直交変換部１０２と、量子化部１０３と、エントロピー符号化部１０４と、逆量子化部１０５と、逆直交変換部１０６と、復号画像生成部１０７と、を備える。また、動画像符号化装置１００は、ＤＦ処理部１０８と、ＳＡＯ処理部１０９と、復号信号記憶部１１０と、動き探索部１１１と、動き補償画像信号生成部１１２と、予測信号生成部１１３と、を備える。
【００１８】
予測誤差信号生成部１０１は、入力された動画像データの符号化対象画像（ピクチャ）における符号化ブロックと、予測信号生成部１１３から出力される予測画像とに基づいて予測誤差信号を生成する。予測誤差信号は、符号化ブロックと予測画像との差分を示す信号である。予測誤差信号生成部１０１は、生成した予測誤差信号を直交変換部１０２に出力する。
【００１９】
直交変換部１０２は、離散コサイン変換等の既知の直交変換により、入力された予測誤差信号（時間領域の信号）を、水平方向及び垂直方向の周波数成分に分離された周波数領域の信号に変換する。直交変換部１０２は、変換後の周波数領域の信号を量子化部１０３に出力する。
【００２０】
量子化部１０３は、入力された周波数領域の信号を量子化することでその情報量を削減する。量子化部１０３は、量子化結果をエントロピー符号化部１０４及び逆量子化部１０５に出力する。
【００２１】
エントロピー符号化部１０４は、入力された量子化結果をエントロピー符号化（可変長符号化）し、ビットストリームとして出力する。ここで、エントロピー符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てる方式をいう。
【００２２】
逆量子化部１０５は、入力された量子化結果を逆量子化し、その結果を逆直交変換部１０６に出力する。逆直交変換部１０６は、逆量子化結果（周波数領域の信号）を逆直交変換により時間領域の信号に変換して復号画像生成部１０７に出力する。逆量子化部１０５及び逆直交変換部１０６により復号処理が行われることで、符号化（量子化）前の予測誤差信号に対応する信号が得られる。
【００２３】
復号画像生成部１０７は、予測信号生成部１１３から出力された予測画像のブロックデータと、逆直交変換部１０６から出力された信号とを加算することで、符号化対象ブロックのブロックデータを再生した復号画像を生成する。復号画像生成部１０７は、生成した復号画像をＤＦ処理部１０８に出力する。
【００２４】
ＤＦ処理部１０８は、入力された復号画像に対しブロック歪を低減するためのデブロッキングフィルタをかけるＤＦ処理を行い、ＤＦ処理後の画像をＳＡＯ処理部１０９に出力する。
【００２５】
ＳＡＯ処理部１０９は、入力されたＤＦ処理後の画像に対し所定の方法に従って画素値にオフセットを加減算するＳＡＯ処理を行い、ＳＡＯ処理後の画像を復号信号（再生ブロックデータ）として復号信号記憶部１１０に記憶させる。
【００２６】
復号信号記憶部１１０は、入力された再生ブロックデータを新たな参照ピクチャのブロックデータとして記憶する。この参照ピクチャのブロックデータは、動き探索部１１１、動き補償画像信号生成１１２、及び予測信号生成部１１３が参照する。
【００２７】
動き探索部１１１は、ブロックマッチング技術に基づいて、参照ピクチャのブロックデータにおいて符号化対象ブロックと類似している領域を判定し、その領域を示す動きベクトルを導出する。動き探索部１１１は、参照ピクチャを参照して符号化対象ブロックの輝度信号の動きベクトルを導出し、導出した輝度信号の動きベクトルから色差信号の動きベクトルを導出する。動き探索部１１１は、導出した動きベクトルを動き補償画像信号生成部１１２に出力する。以下、輝度信号の動きベクトル及び色差信号の動きベクトルを、それぞれ、輝度ベクトル及び色差ベクトルともいう。
【００２８】
動き補償画像信号生成部１１２は、入力された動きベクトルに基づいて所定の動き補償処理を行うことで、インター予測の予測画像を生成する。動き補償画像信号生成部１１２は、生成したインター予測の予測画像を予測信号生成部１１３に出力する。
【００２９】
予測信号生成部１１３は、インター予測もしくはイントラ予測の予測信号を生成する。予測信号生成部１１３は、生成した予測信号を予測誤差信号生成部１０１及び復号画像生成部１０７に出力する。
【００３０】
この動画像符号化装置１では、動き探索部１１１において参照ピクチャを参照して動きベクトルを導出する際に、参照領域を制限する場合がある。参照領域の制限は、例えば、低遅延符号化を実現するためのイントラリフレッシュ方式と呼ばれる符号化方式において行われる。
【００３１】
図２は、イントラリフレッシュ方式を説明する図である。
図２に示した２００〜２０４は、時間的に連続したピクチャであり、それぞれ、Ｐピクチャ又は過去のピクチャを用いたＢピクチャにより符号化する。また、各ピクチャ２００〜２０４を符号化する際には、ピクチャ毎にイントラリフレッシュを適用するブロックラインの位置を第０ラインＬ０から第４ラインＬ４に向けて１ラインずつずらし、一定周期でピクチャ全体にイントラリフレッシュを巡回させる。ここで、イントラリフレッシュを適用するラインが画面左端から右端に向けて移動するのであれば、イントラリフレッシュが適用されるブロックラインとその右隣のブロックラインとの境界ＲＢがリフレッシュ境界となる。そして、リフレッシュ境界ＲＢの左側がリフレッシュ済み領域、右側が未リフレッシュ領域となる。イントラリフレッシュ方式では、現在の符号化対象ピクチャにおけるリフレッシュ済み領域の符号化ブロックに対しインター予測を行う場合、参照ピクチャにおけるリフレッシュ済み領域のみを参照しなければならないという参照制限がある。この参照制限について、図３を参照して説明する。
【００３２】
図３は、イントラリフレッシュ方式における参照制限を説明する図である。なお、図３の下側のピクチャ２０６は、現在の符号化対象ピクチャ（以下「現符号化対象ピクチャ」ともいう）である。また、図３の上側のピクチャ２０５は、符号化済みの過去のピクチャ、すなわち現符号化対象ピクチャ２０６を符号化する際に参照する参照ピクチャである。
【００３３】
イントラリフレッシュを適用するラインをピクチャの左端のブロックラインから右端のブロックラインに向けて巡回させる場合、各ピクチャ２０５，２０６は、リフレッシュ境界ＲＢの左側がリフレッシュ済み領域ＲＡ、右側が未リフレッシュ領域ＮＲＡとなる。
【００３４】
図３に示した例において、現符号化対象ピクチャ２０６のリフレッシュ済み領域ＲＡ内の符号化ブロック２１０ａに対し参照ピクチャ２０５を参照したインター予測を行う場合、参照可能な領域は参照ピクチャ２０５のリフレッシュ済み領域ＲＡに制限される。
【００３５】
この参照制限により、イントラリフレッシュ方式では、イントラリフレッシュの巡回後はピクチャ全体のリフレッシュが可能であり、伝送エラーで発生したエラーからの復帰や、映像ストリームを途中から復号することが可能になる。更に、イントラリフレッシュ方式では、情報量が大きいＩピクチャを用いないためバッファサイズを低減させることができ、バッファによる遅延を軽減することができる。
【００３６】
なお、イントラリフレッシュの巡回は、上記の左から右への巡回に限らず、右から左への巡回、上から下への巡回、下から上への巡回であってもよい。
【００３７】
ところで、イントラリフレッシュ方式では、符号化ブロックに対する参照制限の方向と、画像フォーマットとの関係により、参照可能領域内であっても動きベクトルを導出することができない場合がある。そのため、従来のイントラリフレッシュ方式では、最適な動き補償ができないことがある。特に、図１に示したようなＳＡＯ処理部１０９を備えた動画像符号化装置１００においては、ＳＡＯ処理及び動き補償により参照禁止の領域が拡張し、最適な予測画像を生成できないことがある。この点について、図４〜図１５を参照して説明する。
【００３８】
なお、以下の説明では、便宜上、現符号化対象ピクチャ上の動きベクトルが制限される対象領域をベクトル制限領域、その境界をベクトル制限境界ＶＢという。また、参照ピクチャ上の参照が許可されている領域を参照可能領域、参照が許可されない領域を参照禁止領域という。また、上記のリフレッシュ領域のような参照可能領域と参照禁止領域との境界ＲＢを参照制限境界ともいう。
【００３９】
図４は、ＤＦ処理のフィルタ境界を説明する図である。図５は、ＤＦ処理の影響を受ける画素を説明する図である。
【００４０】
図１に示した動画像符号化装置１００のＤＦ処理部１０８では、上記のように、復号画像生成部１０７から入力された復号画像（復号ピクチャ）に対し、ブロック歪を低減するためのＤＦ処理を行う。この際、復号画像では、図４に示したように、最小８×８画素単位のブロック境界ＤＦＢがＤＦ処理の適用対象となる。以下、ＤＦ処理される境界ＤＦＢをＤＦ境界という。
【００４１】
ＤＦ処理を適用した場合、ＤＦ処理後の画素のデータ（輝度信号及び色差信号）は次のようになる。
【００４２】
まず、輝度信号は、図５に示すように、ＤＦ境界ＤＦＢから最大で左右４画素のデータを参照し、左右３画素のデータがＤＦ処理により変更される可能性がある。左右３画素の輝度信号についてのデータは、例えば、下記式（１−１）〜（１−６）により算出する。
【００４３】
p0’＝Clip3(p0−2×tC, p0＋2×tC, (p2＋2×p1＋2×p0＋2×q0＋q1＋4) >>3)
・・・（１−１）
p1’＝Clip3(p1−2×tC, p1＋2×tC, (p2＋p1＋p0＋q0＋2) >> 2)
・・・（１−２）
p2’＝Clip3(p2−2×tC, p2＋2×tC, (2×p3＋3×p2＋p1＋p0＋q0＋4) >> 3)
・・・（１−３）
q0’＝Clip3(q0−2×tC, q0＋2×tC, (p1＋2×p0＋2×q0＋2×q1＋q2＋4) >> 3)
・・・（１−４）
q1’＝Clip3(q1−2×tC, q1＋2×tC, (p0＋q0＋q1＋q2＋2 ) >> 2)  
・・・（１−５）
q2’＝Clip3(q2−2×tC, q2＋2×tC, (p0＋q0＋q1＋3×q2＋2×q3＋4) >> 3)
・・・（１−６）
【００４４】
なお、式（１−１）〜（１−６）におけるtCは、フィルタ強度を制御する変数（整数値）である。また、Clip3(x, y, z)は、zの範囲がｘ≦ｚ≦ｙとなるようクリップ処理を行うことを意味する。また、「>> 3」及び「>> 2」は、それぞれ、３ビット算術右シフト演算、及び２ビット算術右シフト演算を意味する。
【００４５】
一方、色差信号は、図５に示すように、ＤＦ境界ＤＦＢから左右２画素のデータを参照し、左右１画素のデータがＤＦ処理により変更される可能性がある。左右１画素の色差信号についてのデータは、下記式（２−１）〜（２−３）により算出する。
【００４６】
Δ＝Clip3(−tC, tC, ((((q0−p0) << 2)＋p1−q1＋4) >> 3) )  ・・・（２−１）
p0’＝Clip1C(p0＋Δ)  ・・・（２−２）
q0’＝Clip1C(q0−Δ)  ・・・（２−３）
【００４７】
なお、Clip1C（ａ）は、色差信号の画素ビット深度で表現可能な最大値をｂとしたときに、ａの範囲が０≦ａ≦ｂとなるようクリップ処理を行うことを意味する。
【００４８】
また、図示は省略するが、水平方向のＤＦ境界ＤＦＢを挟んでに上下方向並んだ画素の画素値も、図５に示した左右方向に並んだ画素と同様の影響を受ける。
【００４９】
図６は、ＳＡＯ処理のオフセットタイプを説明する図である。
図１に示した動画像符号化装置１００のＳＡＯ処理部１０９では、上記のように、ＤＦ処理後の画像に対し、所定の方法に従って画素値にオフセットを加減算する。ＳＡＯ処理におけるオフセットは、大きくエッジオフセットタイプとバンドオフセットタイプの２種類から構成されている。エッジオフセットは、図６に示すように、オフセット適用対象の画素Ｃを中心とする３×３画素の領域における画素Ｃと隣接画素Ｎ０，Ｎ１との関係に基づいて画素Ｃの画素値にオフセット値の加減算を行う。画素Ｃと隣接画素Ｎ０，Ｎ１との関係は、図６に示すように、クラス０（Edge0°）、クラス１（Edge90°）、クラス２（Edge135°）、及びクラス３（Edge45°）の４つのクラスに分けられており、符号化ブロック毎に輝度信号及び色差信号で別個に選択する。エッジオフセットでは、更にクラスの中で、画素Ｃと隣接２画素Ｎ０，Ｎ１との相対関係から４種類のカテゴリーに分けられ、カテゴリー毎にオフセット値を設定することができる。一方、バンドオフセットは、図６に示すように、画素の総階調を３２分割し、連続する４個のバンドに対してバンド毎に設定されたオフセットを加算する。なお、ＳＡＯ処理部１０９は、エッジオフセット及びバンドオフセットを実行しない処理（Noneタイプ）も選択できる。
【００５０】
図７は、輝度信号に関する動き補償を説明する図である。図８は、色差信号に関する動き補償を説明する図である。
【００５１】
図１に示した動画像符号化装置１００の動き補償画像信号生成部１１２は、動きベクトルに基づき、規格に準じて所定の処理を行うことで、インター予測の予測画像を生成する。ここでインター予測の予測画像の生成方法を説明する。例えば、ＹＵＶフォーマットが４：２：０の場合、予測画像を構成する輝度信号は１／４画素精度までの動き補償をすることが可能であり、色差信号は１／８画素精度までの動き補償をすることが可能である。
【００５２】
Ｈ．２６５／ＨＥＶＣにおける輝度信号についての動き補償では、例えば、図７に示すように、整数画素精度の輝度信号画素値Ａi,jに加え、位置ａi,j〜ｒi,jを指し示す１／４画素精度の動きベクトル情報を持つことができる。なお、図７では、太い実線で囲まれた４×４マス（１６マス）が１画素についての動きベクトル情報を示しており、左上角部のマスの画素値Ａi,jがフレームメモリに格納されている各画素の輝度信号に該当する。例えば、図７に示した画素値Ａ0,0は、画像データにおける１つの画素ＰＸ0,0の輝度信号画素値としてフレームメモリに格納されている値である。
【００５３】
このとき、図７に示した位置ａ0,0〜ｄ0,0、ｈ0,0、及びｎ0,0を指し示す１／４画素精度の動きベクトル情報は、整数画素精度の輝度信号画素値Ａi,j及び８タップフィルタを用いて、下記式（３−１）〜（３−６）により算出される。
【００５４】
a0,0＝(−A-3,0＋4*A-2,0−10*A-1,0＋58*A0,0＋17*A1,0−5*A2,0＋A3,0) >> shift1
・・・（３−１）
b0,0＝(−A-3,0＋4*A-2,0−11*A-1,0＋40*A0,0＋40*A1,0−11*A2,0＋4*A3,0−A4,0) >> shift1
・・・（３−２）
c0,0＝(A-2,0−5*A-1,0＋17*A0,0＋58*A1,0−10*A2,0＋4*A3,0−A4,0) >> shift1
・・・（３−３）
d0,0＝(−A0,-3＋4*A0,-2−10*A0,-1＋58*A0,0＋17*A0,1−5*A0,2＋A0,3) >> shift1
・・・（３−４）
h0,0＝(−A0,-3＋4*A0,-2−11*A0,-1＋40*A0,0＋40*A0,1−11*A0,2＋4*A0,3−A0,4) >> shift1
・・・（３−５）
n0,0＝(A0,-2−5*A0,-1＋17*A0,0＋58*A0,1−10*A0,2＋4*A0,3−A0,4) >> shift1
・・・（３−６）
【００５５】
式（３−１）〜（３−６）におけるshift1は、輝度信号に対する画素深度（ビット深度）をBitDepthYとした場合にMin(4, BitDepthY−8)で与えられる値である。
【００５６】
また、図７に示した位置ｅ0,0、ｉ0,0、ｐ0,0、ｆ0,0、ｊ0,0、ｑ0,0、ｇ0,0、ｋ0,0、及びｒ0,0を指し示す１／４画素精度の動きベクトル情報は、それぞれ、１／４画素精度のａ0,j、ｂ0,j、及びｃ0,j（ｊ＝−３，−２，・・・，４）、並びに８タップフィルタを用いて、下記式（３−７）〜（３−１５）により算出される。
【００５７】
e0,0＝(−a0,-3＋4*a0,-2−10*a0,-1＋58*a0,0＋17*a0,1−5*a0,2＋a0,3) >> shift2
・・・（３−７）
i0,0＝(−a0,-3＋4*a0,-2−11*a0,-1＋40*a0,0＋40*a0,1−11*a0,2＋4*a0,3−a0,4) >> shift2
・・・（３−８）
p0,0＝(a0,-2−5*a0,-1＋17*a0,0＋58*a0,1−10*a0,2＋4*a0,3−a0,4) >> shift2
・・・（３−９）
f0,0＝(−b0,-3＋4*b0,-2−10*b0,-1＋58*b0,0＋17*b0,1−5*b0,2＋b0,3) >> shift2
・・・（３−１０）
j0,0＝(−b0,-3＋4*b0,-2−11*b0,-1＋40*b0,0＋40*b0,1−11*b0,2＋4*b0,3−b0,4) >> shift2
・・・（３−１１）
q0,0＝(b0,-2−5*b0,-1＋17*b0,0＋58*b0,1−10*b0,2＋4*b0,3−b0,4) >> shift2
・・・（３−１２）
g0,0＝(−c0,-3＋4*c0,-2−10*c0,-1＋58*c0,0＋17*c0,1−5*c0,2＋c0,3) >> shift2
・・・（３−１３）
k0,0＝(−c0,-3＋4*c0,-2−11*c0,-1＋40*c0,0＋40*c0,1−11*c0,2＋4*c0,3−c0,4) >> shift2
・・・（３−１４）
r0,0＝(c0,-2−5*c0,-1＋17*c0,0＋58*c0,1−10*c0,2＋4*c0,3−c0,4) >> shift2
・・・（３−１５）
式（３−７）〜（３−１５）におけるshift2は、６である。
【００５８】
このように、整数画素精度の画素値がＡi,jである画素（以下、画素Ａi,jともいう）の輝度信号についての１／４画素精度の動きベクトル情報を算出するには、画素Ａi,jの左右４画素及び上下４画素の画素値を参照する必要がある。
【００５９】
一方、Ｈ．２６５／ＨＥＶＣにおける色差信号についての動き補償では、例えば、図８に示すように、整数画素精度の色差信号画素値Ｂi,jに加え、位置ａｂi,j〜ｈｈi,jを指し示す１／８画素精度の動きベクトル情報を持つことができる。
【００６０】
このとき、図８に示した整数画素精度の色差信号画素値Ｂ0,0と同じ垂直位置ａｂ0,0〜ａｈ0,0を指し示す１／８画素精度の画素値は、整数画素精度の色差信号画素値Ｂi,j及び４タップフィルタを用いて、下記式（４−１）〜（４−７）により算出される。
【００６１】
ab0,0＝(−2*B-1,0＋58*B0,0＋10*B1,0−2*B2,0) >> shift3  ・・・（４−１）
ac0,0＝(−4*B-1,0＋54*B0,0＋16*B1,0−2*B2,0) >> shift3  ・・・（４−２）
ad0,0＝(−6*B-1,0＋46*B0,0＋28*B1,0−4*B2,0) >> shift3  ・・・（４−３）
ae0,0＝(−4*B-1,0＋36*B0,0＋36*B1,0−4*B2,0) >> shift3  ・・・（４−４）
af0,0＝(−4*B-1,0＋28*B0,0＋46*B1,0−6*B2,0) >> shift3  ・・・（４−５）
ag0,0＝(−2*B-1,0＋16*B0,0＋54*B1,0−4*B2,0) >> shift3  ・・・（４−６）
ah0,0＝(−2*B-1,0＋10*B0,0＋58*B1,0−2*B2,0) >> shift3  ・・・（４−７）
【００６２】
式（４−１）〜（４−７）におけるshift3は、色差信号に対する画素深度（ビット深度）をBitDepthCとした場合にMin(4, BitDepthC−8)で与えられる値である。
【００６３】
また、図８に示した整数画素精度の色差信号画素値Ｂ0,0と同じ水平位置ｂａ0,0〜ｈａ0,0を指し示す１／８画素精度の画素値は、整数画素精度の色差信号画素値Ｂi,j及び４タップフィルタを用いて、下記式（４−８）〜（４−１４）により算出される。
【００６４】
ba0,0＝(−2*B0,-1＋58*B0,0＋10*B0,1−2*B0,2) >> shift3  ・・・（４−８）
ca0,0＝(−4*B0,-1＋54*B0,0＋16*B0,1−2*B0,2) >> shift3  ・・・（４−９）
da0,0＝(−6*B0,-1＋46*B0,0＋28*B0,1−4*B0,2) >> shift3  ・・・（４−１０）
ea0,0＝(−4*B0,-1＋36*B0,0＋36*B0,1−4*B0,2) >> shift3  ・・・（４−１１）
fa0,0＝(−4*B0,-1＋28*B0,0＋46*B0,1−6*B0,2) >> shift3  ・・・（４−１２）
ga0,0＝(−2*B0,-1＋16*B0,0＋54*B0,1−4*B0,2) >> shift3  ・・・（４−１３）
ha0,0＝(−2*B0,-1＋10*B0,0＋58*B0,1−2*B0,2) >> shift3  ・・・（４−１４）
【００６５】
また、図８に示した画素値ｂＸ0,0〜ｈＸ0,0（Ｘ＝ｂ〜ｈ）は、それぞれ、画素値ａＸ0,j（ｊ＝−１，０，１，２）及び４タップフィルタを用いて、下記式（４−１５）〜（４−２１）により算出される。
【００６６】
bX0,0＝(−2*aX0,-1＋58*aX0,0＋10*aX0,1−2*aX0,2) >> shift2  ・・・（４−１５）
cX0,0＝(−4*aX0,-1＋54*aX0,0＋16*aX0,1−2*aX0,2) >> shift2  ・・・（４−１６）
dX0,0＝(−6*aX0,-1＋46*aX0,0＋28*aX0,1−4*aX0,2) >> shift2  ・・・（４−１７）
eX0,0＝(−4*aX0,-1＋36*aX0,0＋36*aX0,1−4*aX0,2) >> shift2  ・・・（４−１８）
fX0,0＝(−4*aX0,-1＋28*aX0,0＋46*aX0,1−6*aX0,2) >> shift2  ・・・（４−１９）
gX0,0＝(−2*aX0,-1＋16*aX0,0＋54*aX0,1−4*aX0,2) >> shift2  ・・・（４−２０）
hX0,0＝(−2*aX0,-1＋10*aX0,0＋58*aX0,1−2*aX0,2) >> shift2  ・・・（４−２１）
【００６７】
図９は、ＤＦ処理及びＳＡＯ処理が有効であるときの参照制限境界を示す図である。図１０は、ＤＦ処理及びＳＡＯ処理が有効であるときの動き補償による参照制限の拡張を示す図である。図１１は、ＤＦ処理及びＳＡＯ処理が有効であるときの予測画像の生成可否を説明する図である。
【００６８】
上記のＨ．２６５／ＨＥＶＣ規格に従って各ピクチャを符号化する場合、画質を向上させるため、ＤＦ処理及びＳＡＯ処理を有効にする（すなわち両処理を行う）ことが望ましい。図１の動画像符号化装置１００おいてイントラリフレッシュ方式で符号化をする場合、ＤＦ処理及びＳＡＯ処理が有効であると、輝度信号及び色差信号におけるベクトル制限境界ＶＢと参照制限境界ＲＢ（ＲＢ０）との位置関係は、それぞれ、図９に示したような関係になる。
【００６９】
なお、図９〜図１１において「×」を付したマスは、そのマスの位置と対応する画素値の参照が禁止されていることを示す。また、図９〜図１１におけるＡｋは整数画素精度の輝度信号の画素値であるが、以下の説明では、画素Ａｋ又は整数画素Ａｋともいう。また、図９〜図１１におけるＢｋは整数画素精度の色差信号の画素値であるが、以下の説明では画素Ｂｋ又は整数画素Ｂｋともいう。画素値Ａｋ及びＢｋの添え字ｋは、水平方向の画素の座標を表すインデックスである。一般に、輝度信号及び色差信号はピクチャの左端を基準とした座標で管理される。輝度信号及び色差信号は、画像フォーマットが４：２：０であれば、４：２：０のサンプリング位置から画素が構成されているため、相対的な座標のみで管理することができる。また、画像フォーマットが４：２：０の場合、図９に示すように、色差信号における１つの整数画素は、輝度信号における整数画素２つ分に相当する。
【００７０】
図９に示した輝度信号では、整数画素Ａ７の右側を通る垂直ラインを、参照ピクチャが符号化された際のベクトル制限位置であるベクトル制限境界ＶＢとしている。このベクトル制限境界ＶＢは、符号化ブロック単位の境界と一致し、またＤＦ境界ＤＦＢとも一致する。更に、ＤＦ処理を実行する前においては、ベクトル制限境界ＶＢが参照制限領域（リフレッシュ境界）ＲＢとも一致している。しかしながら、ＤＦ処理が実行されると、輝度信号については、前述のように、ＤＦ境界ＤＦＢの左側にある整数単位で３画素のデータがＤＦ境界ＤＦＢの右側にある画素を参照した書き換え処理により変更される可能性がある。よって、ＤＦ処理後かつＳＡＯ処理前の参照制限境界（リフレッシュ境界）ＲＢ０は、ＤＦ境界ＤＦＢから３画素左に移動した整数画素Ａ４の右端を通る垂直ラインになる。更に、ＳＡＯ処理が実行されると、前述のように、ある画素Ｃから右隣接１画素を参照する。このため、輝度信号についてのＳＡＯ処理後の参照制限境界ＲＢの位置は、ＳＡＯ処理前のリフレッシュ境界ＲＢ０からさらに１画素左に移動し、整数画素Ａ３の右側を通る垂直ラインになる。
【００７１】
またこのとき、色差信号については、図９に示したように、輝度信号における整数画素Ａ６と対応する整数画素Ｂ３の右端を通る垂直ラインがベクトル制限境界ＶＢとなる。そして、ＤＦ処理が実行されると、色差信号については、ＤＦ境界の左側にある整数単位で１画素のデータがＤＦ境界ＤＦＢの右側にある画素を参照した書き換え処理により変更される可能性がある。更に、ＳＡＯ処理が実行されると、前述のように、ある画素Ｃから右隣接１画素を参照する。このため、色差信号についてのＳＡＯ処理後の参照制限境界ＲＢは、整数画素Ｂ２から更に１画素左に移動し、整数画素Ｂ１の右側を通る垂直ラインになる。
【００７２】
ここで、図３に示したリフレッシュ済み領域のインター予測ブロックについての予測画像を生成する場合を考える。この場合、ＳＡＯ処理後のリフレッシュ境界ＲＢよりも右側（すなわち未リフレッシュ領域）の画素を参照することなく、予測画像を生成する必要がある。しかしながら、輝度信号についての動き補償では最大８タップフィルタを用いることから、ある画素の小数画素精度の画素値を計算するときは、その画素の右側にある４整数画素の画素値を参照する必要がある。よって、ある画素の右側に位置する４整数画素にＳＡＯ処理後のリフレッシュ境界ＲＢよりも右側の画素が含まれている場合、その画素における小数画素精度の画素値が算出不可となる。例えば、画素Ａ０における１／４精度の画素値ｂ０及びｃ０は、上記の式（３−２），（３−３）のように４画素右の画素の画素値Ａ４を用いて算出するので、画素値Ａ４を参照できない場合、画素値ｂ０及びｃ０は算出付加となる。このため、輝度信号についてのＳＡＯ処理後のリフレッシュ境界ＲＢが画素Ａ３の右側を通る垂直ラインの場合、図１０及び図１１に示したように、リフレッシュ境界ＲＢの左側（すなわちリフレッシュ済み領域）にも参照禁止領域が生じる。
【００７３】
同様に、色差信号についての動き補償では４タップフィルタを用いることから、ある画素の右側に位置する２画素にＳＡＯ処理後のリフレッシュ境界ＲＢよりも右側の画素が含まれている場合は、その画素における小数画素精度の画素値が算出不可となる。このため、色差信号についてのＳＡＯ処理後のリフレッシュ境界ＲＢが画素Ｂ１の右側を通る垂直ラインの場合、図１０及び図１１に示したように、リフレッシュ境界ＲＢの左側（すなわちリフレッシュ済み領域）にも参照禁止領域が生じる。
【００７４】
動き補償では、輝度の動きベクトル（輝度ベクトル）から色差の動きベクトル（色差ベクトル）が算出される。例えば、画像フォーマットが４：２：０の場合、輝度ベクトルをmvLXとすると、色差ベクトルmvCLXは下記式（５−１）及び（５−２）で表される。
【００７５】
mvCLX[0]＝mvLX[0]  ・・・（５−１）
mvCLX[1]＝mvLX[1]  ・・・（５−２）
ただし、輝度ベクトルは１／４画素精度（整数画素精度の４倍の値）であるとする。
【００７６】
また、予測ブロック(xPb, yPb)の予測画像の左上端位置は、輝度整数座標(xIntL, yIntL)と輝度小数座標(xFracL, yFracL)とに分離すると、下記式（６−１）〜（６−４）で表される。
【００７７】
xIntL＝xPb＋(mvLX[0] >> 2)  ・・・（６−１）
yIntL＝yPb＋(mvLX[1] >> 2)  ・・・（６−２）
xFracL＝mvLX[0] & 3  ・・・（６−３）
yFracL＝mvLX[1] & 3  ・・・（６−４）
ここで、xFracL及びyFracLは1/4画素精度で管理され、それぞれ、0なら整数、1なら0.25画素、2なら0.5画素、3なら0.75画素となる。
【００７８】
同様に、予測ブロック(xPb, yPb)の予測画像の左上端位置は、色差整数座標(xIntC, yIntC)と色差小数座標(xFracC, yFracC)に分離すると、下記式（７−１）〜（７−４）で表される。
【００７９】
xIntC＝(xPb／2)＋(mvCLX[0] >> 3)  ・・・（７−１）
yIntC＝(yPb／2)＋(mvCLX[1] >> 3)  ・・・（７−２）
xFracC＝mvCLX[0] & 7  ・・・（７−３）
yFracC＝mvCLX[1] & 7  ・・・（７−４）
ここで、xFracC及びyFracCは１／８画素精度で管理される。
【００８０】
上記のように、輝度信号では、左上端位置の画素を基準に同じ精度の画素で予測画像が構成される。予測画像のサイズはインター予測ブロックのサイズと同一サイズであるが、４：２：０フォーマットの符号化を行う場合は、予測画像も４：２：０フォーマットに従う必要がある。つまり、参照ピクチャ上のどこを予測画像としても４：２：０フォーマットを構成できなければならない。このとき、輝度信号と色差信号とが同じ精度の画素とは限らない。そこで、図１１を再度参照し、ＤＦ処理及びＳＡＯ処理が有効である場合の４：２：０フォーマットの予測画像の生成可否を説明する。ここでは、簡単のため予測画像ＰＩは、水平方向に４画素サイズであるとする。図１１において、予測画像ＰＩの左上端位置を整数画素Ａ０として画素Ａ０から画素Ａ３までの整数画素から輝度信号の予測画像を構成する場合を考える。この場合、４：２：０フォーマットの予測画像を生成するには、色差信号の予測画像を整数画素Ｂ０及びＢ１で構成しなければならない。色差信号における整数画素Ｂ０及びＢ１は、図１１に示したように、いずれも参照可能になっている。よって、画素Ａ０から画素Ａ３までの整数画素から輝度信号の予測画像を構成する場合には、４：２：０フォーマットの予測画像を生成することができる。
【００８１】
一方、図１１において、予測画像の左上端位置を整数画素Ａ−１とし、画素Ａ−１から画素Ａ２までの整数画素から輝度信号の予測画像を構成する場合、４：２：０フォーマットでは、色差信号の予測画像は画素ａｅ−１及びａｅ０で構成しなければならない。ところが、画素ａｅ０は、図１１に示したように、動き補償によって参照禁止とされているため、動きベクトルを導出できない。よって、画素Ａ−１から画素Ａ２までの整数画素から輝度信号の予測画像を構成する場合には、４：２：０フォーマットの予測画像を生成することができない。このことから、参照可能領域の整数画素であったとしても、算出できない動きベクトルが存在することがわかる。
【００８２】
また、このような問題は、例えば、ＤＦ処理が無効でＳＡＯ処理が有効である場合にも生じ得る。
【００８３】
図１２は、ＤＦ処理が無効でＳＡＯ処理が有効であるときの参照制限境界を示す図である。図１３は、ＤＦ処理が無効でＳＡＯ処理が有効であるときの動き補償による参照制限の拡張を示す図である。図１４は、ＤＦ処理が無効でＳＡＯ処理が有効であるときの予測画像の生成可否を説明する図である。
【００８４】
ＤＦ処理を無効にし、復号した画像に対しＳＡＯ処理のみを行う場合、輝度信号及び色差信号におけるベクトル制限境界ＶＢと参照制限境界（リフレッシュ領域）ＲＢとの位置関係は、それぞれ、図１２に示したような関係になる。
【００８５】
なお、図１２〜図１４において「×」を付したマスは、そのマスの位置と対応する画素値の参照が禁止されていることを示す。また、図１２〜図１４におけるＡｋは整数画素精度の輝度信号の画素値であるが、以下の説明では、画素Ａｋ又は整数画素Ａｋともいう。また、図１２〜図１４におけるＢｋは整数画素精度の色差信号の画素値であるが、以下の説明では画素Ｂｋ又は整数画素Ｂｋともいう。
【００８６】
図１２に示した輝度信号では、図９の輝度信号と同様、画素Ａ７の右側を通る垂直ラインを、参照ピクチャが符号化されたときのベクトル制限位置であるベクトル制限境界ＶＢとしている。このベクトル制限境界ＶＢは、ＳＡＯ処理を実行する前のリフレッシュ境界ＲＢ０と一致している。そして、ＳＡＯ処理が実行されると、前述のように、ある画素Ｃから右隣接１画素を参照する。このため、輝度信号についてのＳＡＯ処理後のリフレッシュ境界ＲＢの位置は、ＳＡＯ処理前のリフレッシュ境界ＲＢ０から１画素左に移動し、画素値Ａ６の右側を通る垂直ラインになる。
【００８７】
またこのとき、色差信号については、図１２に示したように、輝度信号における画素値Ａ６と対応する画素Ｂ３の右側を通る垂直ラインがベクトル制限境界ＶＢとなる。そして、ＳＡＯ処理が実行されると、前述のように、ある画素Ｃから右隣接1画素を参照する。このため、色差信号についてのＳＡＯ処理後のリフレッシュ境界ＲＢは、輝度信号における画素Ａ４と対応する画素Ｂ２の右側を通る垂直ラインになる。
【００８８】
よって、ＤＦ処理が無効でＳＡＯ処理が有効であるときにも、動き補償により、図１３及び図１４に示すように、ＳＡＯ処理後のリフレッシュ境界ＲＢの左側（すなわちリフレッシュ済み領域）に参照禁止領域が生じる。
【００８９】
図１３及び図１４に示した例において、水平方向に４画素サイズの予測画像を生成する場合、予測画像の左上端位置を整数画素Ａ２とし画素Ａ２から画素Ａ５までの整数画素から予測画像ＰＩを構成すると、４：２：０フォーマットの予測画像を生成できる。しかしながら、予測画像の左上端位置を整数画素Ａ１として画素Ａ１から画素Ａ４までの整数画素から輝度信号の予測画像を構成すると、輝度信号の画素Ａ３，Ａ４と対応する色差信号の画素ａｅ１が参照禁止になっている。そのため、図１３及び図１４に示した例では、輝度信号の画素Ａ１から画素Ａ４までの４画素による４：２：０フォーマットの予測画像を生成することができない。更に、図１３及び図１４に示した例では、整数画素Ａ５と対応する位置の色差信号が参照禁止となっているため、画素Ａ５，Ａ６を用いて４：２：０フォーマットを構成することができない。よって、整数画素Ａ６の輝度信号についての動きベクトルは事実上計算不可であり、ＳＡＯ処理後のリフレッシュ境界ＲＢは、実質的に整数画素Ａ５とＡ６との境界となる。
【００９０】
なお、上記の参照制限は水平方向の制限であるが、４：２：０フォーマットの場合、垂直方向、すなわち水平方向のリフレッシュ境界の上側又は下側をリフレッシュ済み領域とする場合にも、同様の参照制限が生じる。更に、上記の参照制限は、例示した４：２：０フォーマットに限らず、４：２：２フォーマットの場合にも生じる。４：２：２フォーマットは、水平方向の解像度が４：２：０フォーマットと同じである。そのため、４：２：２フォーマットの画像のイントラリフレッシュにおいて垂直方向のリフレッシュ境界の左側をリフレッシュ済み領域とした場合、上記の参照制限と同様の制限が生じる。
【００９１】
一方、４：２：２フォーマットの画像のイントラリフレッシュにおいて水平方向のリフレッシュ境界の上側をリフレッシュ済み領域とした場合の参照制限は、例えば、図１５に示したようになる。
【００９２】
図１５は、４：２：２フォーマットにおける画面上下方向の参照制限を示す図である。
なお、図１５には、ＤＦ処理及びＳＡＯ処理が有効であるときの輝度信号及び色差信号の参照制限を示している。また、図１５において「×」を付したマスは、そのマスの位置と対応する画素値の参照が禁止されていることを示す。また、図１５におけるＡｋは整数画素精度の輝度信号の画素値であるが、以下の説明では、画素Ａｋ又は整数画素Ａｋともいう。また、図１５におけるＢｋは整数画素精度の色差信号の画素値であるが、以下の説明では画素Ｂｋ又は整数画素Ｂｋともいう。また、図１５における画素値Ａｋ及びＢｋの添え字ｋは、垂直方向の画素の座標を表すインデックスである。
【００９３】
図１５に示した例では、水平方向の参照制限境界（リフレッシュ境界）の上側が参照可能領域となる。そのため、ＤＦ処理後、かつＳＡＯ処理前の輝度信号についてのリフレッシュ境界ＲＢ０は、ＤＦ境界ＤＦＢ（ベクトル境界ＶＢ）から３画素分上の位置に移動する。そして、ＳＡＯ処理を行うと、ＳＡＯ処理後の輝度信号についてのリフレッシュ境界ＲＢは、更に１画素分上に移動する。同様に、ＳＡＯ処理後の色差信号についてのリフレッシュ境界ＲＢは、ＤＦ境界ＤＦＢから４画素分上に移動する。
【００９４】
４：２：２フォーマットの場合、輝度ベクトルをmvLXとすると色差ベクトルmvCLXは下記式（８−１）及び（８−２）で表される。
【００９５】
mvCLX[0]＝mvLX[0]  ・・・（８−１）
mvCLX[1]＝mvLX[1]*2  ・・・（８−２）
【００９６】
また、ブロック(xPb, yPb)の予測画像の左上端位置は、輝度整数座標(xIntL, yIntL)と輝度小数座標(xFracL, yFracL)に分離すると、下記式（９−１）〜（９−４）で表される。
【００９７】
xIntL＝xPb＋(mvLX[0] >> 2)  ・・・（９−１）
yIntL＝yPb＋(mvLX[1] >> 2)  ・・・（９−２）
xFracL＝mvLX[0] & 3  ・・・（９−３）
yFracL＝mvLX[1] & 3  ・・・（９−４）
【００９８】
同様に、ブロック(xPb, yPb)の予測画像の左上端位置は、色差整数座標(xIntC, yIntC)と色差小数座標(xFracC, yFracC)とに分離すると、下記式（１０−１）〜（１０−４）で表される。
【００９９】
xIntC＝(xPb／2)＋(mvCLX[0] >> 3)  ・・・（１０−１）
yIntC＝(yPb／1)＋(mvCLX[1] >> 3)  ・・・（１０−２）
xFracC＝mvCLX[0] & 7  ・・・（１０−３）
yFracC＝mvCLX[1] & 7  ・・・（１０−４）
【０１００】
４：２：０フォーマットの場合と同様、４：２：２フォーマットの符号化を行う場合は、予測画像も４：２：２フォーマットに従う必要がある。例えば、図１５に示した例において、予測画像の左上端位置を整数画素Ａ−１として、画素Ａ−１から画素Ａ２までの垂直方向に４画素サイズの予測画像を構成する場合を考える。この場合、４：２：２フォーマットの予測画像を生成するには、色差信号の予測画像を整数画素Ｂ−１及びＢ１で構成する必要がある。色差信号における整数画素Ｂ−１及びＢ１は、図１５に示したように、いずれも参照可能になっている。よって、画素Ａ−１から画素Ａ２までの整数画素から輝度信号の予測画像を構成する場合には、４：２：２フォーマットの予測画像を生成することができる。つまり、４：２：２フォーマットにおいて垂直方向に参照制限を設定する場合、参照可能領域内で整数画素であれば動きベクトルを算出することができる。
【０１０１】
以上のように、ＳＡＯ処理を行う従来の動画像の符号化においては、ある符号化ブロックに対する参照制限の方向と、画像フォーマットとの関係により、参照可能領域内であっても動きベクトルを算出することができず、最適な動き補償ができない場合がある。そのため、最適な予測画像を生成できず、符号化による画質劣化が顕著になることがある。また、参照可能領域内であっても特別に参照を禁止しなければならず、処理が複雑になる。
【０１０２】
図１６は、一実施形態に係る動画像符号化装置の機能的構成を示すブロック図である。
図１６に示すように、本実施形態の動画像符号化装置１は、予測誤差信号生成部１０１と、直交変換部１０２と、量子化部１０３と、エントロピー符号化部１０４と、逆量子化部１０５と、逆直交変換部１０６と、復号画像生成部１０７と、を備える。また、動画像符号化装置１は、ＤＦ処理部１０８と、ＳＡＯ処理部１０９と、復号信号記憶部１１０と、動き探索部１１１と、動き補償画像信号生成部１１２と、予測信号生成部１１３と、を備える。また、動画像符号化装置１は、境界位置算出部１２１と、境界位置記憶部１２２と、色差フィルタ抑止判定部１２３と、色差フィルタ禁止モード決定部１２４と、参照制限決定部１２５と、を更に備える。
【０１０３】
図１６に示した動画像符号化装置１は、大きく分けると、動き探索部１１１と、符号化部１５０と、フィルタ処理部１０８,１０９と、参照制限制御部とに分けられる。動き探索部１１１は、インター予測符号化に用いる動きベクトルの導出を行う。符号化部１５０は、動きベクトルに基づいて生成した予測画像と原画との誤差画像に対し直交変換及び量子化を行い符号化する一方で、量子化した信号に対し逆量子化及び逆直交変換を行い動きベクトルの導出に用いる参照ピクチャを再生する。フィルタ処理部１０８，１０９は、再生した画像のブロック境界部分に見られる画質の劣化等を改善するフィルタ処理を行う。参照制限制御部は、参照ピクチャを参照した動き探索を行う際の参照禁止領域の拡張を抑制する。
【０１０４】
図１６に示した動画像符号化装置１における予測誤差信号生成部１０１、直交変換部１０２、量子化部１０３、及びエントロピー符号化部１０４の各部は、それぞれ、図１に示した動画像符号化装置１００の各部と同一の機能を有する。同様に、図１６に示した動画像符号化装置１における逆量子化部１０５、逆直交変換部１０６、復号画像生成部１０７、ＤＦ処理部１０８の各部は、それぞれ、図１に示した動画像符号化装置１００の各部と同一の機能を有する。更に、図１６に示した動画像符号化装置１における復号信号記憶部１１０、動き補償画像信号生成部１１２、及び予測信号生成部１１３の各部は、それぞれ、図１に示した動画像符号化装置１００の各部と同一の機能を有する。
【０１０５】
図１６に示した動画像符号化装置１における境界位置算出部１２１、境界位置記憶部１２２、色差フィルタ抑止判定部１２３、色差フィルタ禁止モード決定部１２４、参照制限決定部１２５の各部、並びにＳＡＯ処理部１０９及び動き探索部１１１は、それぞれ、下記の機能を有する。
【０１０６】
境界位置算出部１２１は、現符号化対象ピクチャの動き探索を行う際に、参照ピクチャ上でのＳＡＯ処理前の参照制限境界ＲＢの位置を算出するとともに、参照制限タイプを算出する。境界位置算出部１２１は、現符号化対象ピクチャ上でベクトル制限の対象になる符号化ブロックを複数含むベクトル制限領域を示すベクトル制限境界ＶＢの位置と、ＤＦ処理が有効か無効の情報とに基づいて、ＳＡＯ処理前の参照制限境界ＲＢ０の位置を算出する。また、境界位置算出部１２１は、ＳＡＯ処理前の参照制限境界ＲＢ０の位置を基準にし、参照可能領域と参照禁止領域との組み合わせから参照制限タイプを計算する。境界位置算出部１２１は、算出したＳＡＯ処理前の参照制限境界ＲＢ０の位置を境界位置記憶部１２２及び色差フィルタ禁止モード決定部１２４に出力するともに、算出した参照制限タイプを色差フィルタ抑止判定部１２３に出力する。
【０１０７】
境界位置記憶部１２２は、次の符号化対象ピクチャに対する動き探索で現符号化対象ピクチャが参照されるときに備え、参照されなくなるまで現符号化対象ピクチャのＳＡＯ処理前の参照制限境界ＲＢ０位置を記憶する。
【０１０８】
色差フィルタ抑止判定部１２３は、色差フィルタ、言い換えると色差信号についてのＳＡＯ処理を抑止するか否かを判定する。色差フィルタ抑止判定部１２３は、境界位置算出部１２１で算出した参照制限タイプと、画像フォーマット情報（すなわち４：２：２、４：２：０等の情報）とに基づいて、色差フィルタを抑止するか否かを判定する。色差フィルタ抑止判定部１２３は、判定結果（色差フィルタ抑止情報）を色差フィルタ禁止モード決定部１２４に出力するとともに、参照制限タイプを色差フィルタ禁止モード決定部１２４に出力する。
【０１０９】
色差フィルタ禁止モード決定部１２４は、色差フィルタの中で、参照禁止領域の画素を参照するモードを禁止するＳＡＯ禁止モードを決定する。色差フィルタ禁止モード決定部１２４は、境界位置算出部１２１で算出した参照制限境界ＲＢの位置及び参照制限タイプと、色差フィルタ抑止判定部の判定結果（色差フィルタ抑止情報）とに基づいて、ＳＡＯ禁止モードを決定する。色差フィルタ禁止モード決定部１２４は、決定したＳＡＯ禁止モードをＳＡＯ処理部１０９に出力する。
【０１１０】
ＳＡＯ処理部１０９はＤＦ処理後の画像に対し、色差フィルタ禁止モード決定部１２４で決定したＳＡＯ禁止モード以外の色差フィルタ（ＳＡＯモード）の中から選択した色差フィルタに従って画素値にオフセットを加減算する。ＳＡＯ処理部１０９は、ＳＡＯ処理後の画像を復号信号記憶部１１０に記憶させる。
【０１１１】
参照制限決定部１２５は、境界位置記憶部１２２から読み出した参照ピクチャのＳＡＯ処理前の参照制限境界ＲＢ０の位置に基づいて、最終的なＳＡＯ処理後の輝度信号の参照制限境界ＲＢの位置を決定する。
【０１１２】
動き探索部１１１は、現符号化対象ピクチャ上でのベクトル制限境界ＶＢの位置と、参照制限決定部１２５で決定した参照制限境界ＲＢの位置とに基づいて、参照可能領域のみを用いた動き探索を行い動きベクトルを導出する。
【０１１３】
以下、境界位置算出部１２１、境界位置記憶部１２２、色差フィルタ抑止判定部１２３、色差フィルタ禁止モード決定部１２４、参照制限決定部１２５の各部、並びにＳＡＯ処理部１０９及び動き探索部１１１が行う処理を具体的に説明する。
【０１１４】
まず、境界位置算出部１２１が行うＳＡＯ処理前の参照制限境界ＲＢ０の位置の算出処理について、図１７及び図１８を参照して説明する。
【０１１５】
図１７は、ＤＦ処理が有効であるときのＳＡＯ処理前の参照制限境界の位置を示す図である。図１８は、ＤＦ処理が無効であるときのＳＡＯ処理前の参照制限境界の位置を示す図である。
【０１１６】
なお、図１７及び図１８において「×」を付したマスは、そのマスの位置と対応する画素値の参照が禁止されていることを示す。また、図１７及び図１８におけるＡｋは整数画素精度の輝度信号の画素値であるが、以下の説明では、画素Ａｋ又は整数画素Ａｋともいう。また、図１７及び図１８におけるＢｋは整数画素精度の色差信号の画素値であるが、以下の説明では画素Ｂｋ又は整数画素Ｂｋともいう。画素値Ａｋ及びＢｋの添え字ｋは、水平方向の画素の座標を表すインデックスである。輝度信号及び色差信号はピクチャの左端を基準とした座標で管理される。輝度信号及び色差信号についての画像フォーマットが４：２：０であれば、４：２：０のサンプリング位置から画素が構成されているため、相対的な座標のみで管理することができる。また、画像フォーマットが４：２：０の場合、図１７に示すように、色差信号における１つの整数画素は、輝度信号における整数画素２つ分に相当する。
【０１１７】
イントラリフレッシュ方式による動画像の符号化では、ベクトル制限境界ＶＢは、符号化ブロック境界であり、例えばピクチャの左端を０とした符号化ブロック単位の座標や、画素の座標で表現される。図１７において、輝度信号についてのベクトル制限境界ＶＢは、水平画素インデックスＡ７で示されている。また、図１７において、色差信号についてのベクトル制限境界ＶＢは、水平画素インデックスＢ３で示されている。
【０１１８】
このベクトル制限境界ＶＢは、現符号化対象ピクチャ上で、ある符号化ブロック境界を挟んで、参照可能領域と参照禁止領域との境界（すなわち参照制限境界ＲＢ）を示す。図１７に示した例では、図２及び図３に示したイントラリフレッシュ方式と同様、ベクトル制限境界ＶＢの左側を参照可能領域としている。
【０１１９】
また、ＤＦ処理が有効である場合、ベクトル制限境界ＶＢはＤＦ境界ＤＦＢとも一致する。よって、図１７におけるベクトル制限境界ＶＢは、符号化ブロック境界であると同時に、ＤＦ境界ＤＦＢでもある。境界位置算出部１２１は、符号化ブロック境界がＤＦ境界ＤＦＢでもあることから、参照可能領域の中で、参照禁止領域を参照してＤＦ処理により書き換えられるベクトル制限境界ＶＢからの画素数を計算する。このとき、境界位置算出部１２１は、ＤＦ処理の有無、すなわちＤＦ処理が有効であるか否かをシンタックス要素「slice_deblocking_filter_disabled_flag」の値で判定する。
【０１２０】
ＤＦ処理が有効（slice_deblocking_filter_disabled_flag=0）であるとき、輝度信号については、ＤＦ境界ＤＦＢから最大で４画素のデータを参照し、３画素のデータがフィルタ処理により変更される可能性がある。よって、ＤＦ処理後かつＳＡＯ処理前における輝度信号の参照制限境界ＲＢ０の位置は、画素Ａ７の３画素分左の画素Ａ４となる。同様に、色差信号については、ＤＦ境界ＤＦＢから２画素のデータを参照し、１画素のデータがフィルタ処理により変更される可能性がある。よって、ＤＦ処理後かつＳＡＯ処理前における色差信号の参照制限境界ＲＢ０の位置は画素Ｂ３の１画素分左の画素Ｂ２となる。なお、画像フォーマットが４：２：０又は４：２：２の場合、ＤＦ処理後の色差信号の参照制限境界ＲＢ位置は、図１７に示したように、輝度信号における２画素分左に移動する。
【０１２１】
一方、ＤＦ処理が無効（slice_deblocking_filter_disabled_flag=1）である場合、図１８に示すように、ＳＡＯ処理前の輝度信号の参照制限境界ＲＢ０の位置は、水平画素インデックスＡ７で示されるベクトル制限境界ＶＢと同じ位置になる。また、ＤＦ処理が無効であるとき、図１８に示すように、ＳＡＯ処理前の色差信号の参照制限境界ＲＢ０の位置は、水平画素インデックスＢ３で示されるベクトル制限境界ＶＢと同じ位置になる。
【０１２２】
このようにして境界位置算出部１２１が算出した現符号化対象ピクチャについてのＳＡＯ処理前の参照制限境界ＲＢ０の位置は、色差フィルタ禁止モード決定部１２４に出力されるとともに、境界位置記憶部１２２に出力される（記憶させる）。境界位置記憶部１２２に記憶させた現符号化対象ピクチャの参照制限境界ＲＢ０の位置は、後続のピクチャに対する動き探索において、現符号化対象ピクチャの復号画像が参照ピクチャとして用いられるときの参照制限境界ＲＢの位置に影響する。そのため、動画像符号化装置１は、現符号化対象ピクチャの復号画像が参照されなくなるまでの間、現符号化対象ピクチャの参照制限境界ＲＢ０の位置を境界位置記憶部１２２に記憶させておく。
【０１２３】
次に、境界位置算出部１２１で算出する参照制限タイプについて説明する。
図１７及び図１８には、図２に示したイントラリフレッシュ方式、すなわち１ピクチャ毎にリフレッシュ領域（ベクトル制限境界ＶＢ）を左にシフトし、ある周期でピクチャの左端から右端までベクトル制限境界ＶＢが移動する場合の参照制限境界ＲＢを示している。しかしながら、参照可能領域と参照禁止領域の関係から、参照制限境界ＲＢのタイプには以下の４タイプが存在する。
【０１２４】
タイプ０：参照制限境界ＲＢの左側が参照可能領域で右側が参照禁止領域。
タイプ１：参照制限境界ＲＢの右側が参照可能領域で左側が参照禁止領域。
タイプ２：参照制限境界ＲＢの上側が参照可能領域で下側が参照禁止領域。
タイプ３：参照制限境界ＲＢの下側が参照可能領域で上側が参照禁止領域。
【０１２５】
なお、参照制限境界ＲＢは後述するように矩形（２次元）の場合も考えられるが、矩形の角部における参照可能領域と参照禁止領域との関係は４タイプのうちの２つのタイプの組み合わせで算出可能である。そのため、本実施形態では簡単のために参照制限境界ＲＢは境界線（１次元）であるとする。以下、タイプ０〜タイプ４の参照制限境界ＲＢのタイプを参照制限タイプという。
【０１２６】
次に、色差フィルタ抑止判定部１２３が行う判定処理について説明する。
色差フィルタ抑止判定部１２３は、上記の参照制限タイプと画像フォーマットとの関係からＳＡＯ処理の色差フィルタモードを抑止すべきか否かを判定する。画像フォーマットは、シンタックス要素「chroma_format_idc」により決定される。
【０１２７】
図１７及び図１８に示したように、参照制限境界ＲＢの位置を基準に垂直方向を境界線として、左側が参照可能領域、右側が参照禁止領域となっている場合、参照自体は水平方向で制限される。また、画像フォーマット４：２：２と４：２：０とは、色差の水平座標が同一である。このため、参照制限境界ＲＢが垂直方向の境界線である場合は、４：２：２フォーマットと４：２：０フォーマットとを同様に扱うことができる。
【０１２８】
ところが、イントラリフレッシュ方式には、ピクチャ上端から下端に向かって又はピクチャ下端から上端に向かってリフレッシュ境界ＲＢが移動する方式（タイプ）もある。このとき、画像フォーマット４：２：２と４：２：０とは色差の垂直座標の画素精度が異なり、４：２：２フォーマットにおいては上記のように動きベクトルを算出することができないという課題自体が発生しない。そのため、４：２：２フォーマットにおいて参照制限境界ＲＢが水平方向の境界線である場合、ＳＡＯ処理の色差フィルタモードを抑止する必要がない。よって、色差フィルタ抑止判定部１２３は、例えば、４：２：０フォーマットの場合、全てのタイプでＳＡＯ処理の色差フィルタモードを抑止すると判定する。一方、４：２：２フォーマットの場合、色差フィルタ抑止判定部１２３は、タイプ０とタイプ１は抑止すると判定するが、タイプ２とタイプ３は抑止しないと判定する。
【０１２９】
次に、色差フィルタ禁止モード決定部１２４が行う処理について、図１９を参照して説明する。
【０１３０】
色差フィルタ禁止モード決定部１２４は、少なくとも参照制限境界ＲＢを含むか、接している符号化ブロックを対象とし、参照制限タイプから参照制限境界ＲＢを挟んでどこに参照禁止領域が存在するかを定め、色差フィルタ禁止モードを算出する。
【０１３１】
図１９は、参照制限タイプと色差フィルタ禁止モードとの関係を示す図である。
図１９には、ＳＡＯ処理におけるエッジオフセットタイプの４つのクラスについて、参照制限タイプ毎にオフセットを適用する画素Ｃと参照禁止領域との関係を示している。なお、参照禁止領域は太い点線で示している。
【０１３２】
色差フィルタ禁止モード決定部１２４は、参照禁止領域に隣接画素Ｎ０又はＮ１が含まれているクラスを色差フィルタ禁止モードに決定する。例えば、参照制限タイプがタイプ０の場合、Edge0°（クラス０）、Edge135°（クラス２）、及びEdge45°（クラス３）が色差フィルタ禁止モードとなる。
【０１３３】
ここで色差フィルタ禁止モードの算出対象の符号化ブロックにおいて、シンタックス要素「sao_type_idx_chroma」、「sao_eo_class_chroma」を用いて色差ＳＡＯモードを設定することができる。なお、色差フィルタ禁止モードは、参照禁止領域に隣接画素Ｎ０又はＮ１が含まれているクラスだけでなく、例えばエッジオフセットタイプ全てを禁止してもよいし、Noneタイプ以外を全て禁止しても良い。更に、シンタックス要素「sao_merge_left_flag」、「sao_merge_up_flag」を用いて隣接している符号化モードと同一モードを選択することでビットシンタックスに必要なビット数を削減できるが、その結果、色差フィルタ禁止モードを選択してはならない。また、色差フィルタ禁止モードの算出対象の符号化ブロックは、参照制限境界ＲＢを含む符号化ブロックを含んでいるある領域（スライスやピクチャ）の全ての符号化ブロックでもよい。スライスであればシンタックス要素「slice_sao_chroma_flag」により色差フィルタモード全てを禁止してもよい。
【０１３４】
次に、ＳＡＯ処理部１０９が行う処理について説明する。
ＳＡＯ処理部１０９は、ＤＦ処理が有効であるときにはＤＦ処理後の画像、またＤＦ処理が無効であるときには復号画像生成部１０７が生成した画像に対し、ＳＡＯ処理を実行する。ＳＡＯ処理部１０９は、色差フィルタ禁止モード決定部１２４で決定した色差フィルタ禁止モード以外のモードから最適なモードを選択し、選択したモードに基づいて決定されるオフセット値を処理対象の画素Ｃに加減算する。例えば、参照制限タイプがタイプ０の場合、色差フィルタ禁止モードとなるEdge0°、Edge135°、Edge45°以外のモードであるEdge90°のエッジオフセット、バンドオフセット、及びNoneから最適なモードを選択する。モードの選択は、既知の選択方法のいずれかを用いて行えばよい。例えば、下記式（１１）で表されるRate-Distortion算出式において最も小さい値をもつモードを選択すればよい。
SAOCost＝Distortion＋λ*BitCost  ・・・（１１）
【０１３５】
式（１１）において、Distortionはあるモードで実行されたときの原画とＳＡＯ処理後との画素の誤差を示す。Distortionは、例えば、ＳＡＤ（画素差分絶対値和）やＭＳＥ（平均二乗誤差）等で算出する。また、BitCostはあるモードで符号化するためのシンタックスに必要なビット数を示し、λはDistorionとBitCostとのバランスを調整する定数である。
【０１３６】
次に、参照制限決定部１２５が行う処理について、図２０及び図２１を参照して説明する。
【０１３７】
図２０は、実施形態におけるＤＦ処理が有効であるときのＳＡＯ処理後の参照制限境界の位置を示す図である。図２１は、実施形態におけるＤＦ処理が無効であるときのＳＡＯ処理後の参照制限境界の位置を示す図である。なお、図２０及び図２１において「×」を付したマスは、そのマスの位置と対応する画素値の参照が禁止されていることを示す。
【０１３８】
参照制限決定部１２５は、ＳＡＯ処理後の参照制限境界ＲＢの位置に基づいて、最終的な参照制限境界ＲＢの位置を計算する。
【０１３９】
本実施形態に係る動画像符号化装置１における輝度信号についてのＳＡＯ処理は、図１の動画像符号化装置１００における処理と同じである。そのため、ＤＦ処理が有効である場合、図２０に示すように、輝度信号についてのＤＦ境界ＤＦＢが画素Ａ７の位置であるとすると、ＤＦ処理後かつＳＡＯ処理前の参照制限境界ＲＢ０の位置は、ＤＦ境界（画素Ａ７）から３画素分左に移動した画素Ａ４の位置となる。また、ＳＡＯ処理後の参照制限境界ＲＢ位置は、画素Ａ４から１画素分左に移動した画素Ａ３の位置となる。更に、動き補償による参照制限を計算すると、輝度信号についての参照可能領域と参照禁止領域との関係は、図２０に示したようになる。
【０１４０】
このとき、色差信号についてのＤＦ境界ＤＦＢは、図２０に示すように、画素Ｂ３の位置であり、ＤＦ処理後かつＳＡＯ処理前の参照制限境界ＲＢ０位置は、画素Ｂ３から１画素分左に移動した画素Ｂ２の位置となる。
【０１４１】
また、本実施形態の動画像符号化装置１では、上述のように、参照制限タイプや画像フォーマット等に基づいて色差フィルタ禁止モードを決定し、色差フィルタ禁止モード以外のモードで色差信号についてのＳＡＯ処理を行う。図１７や図２０に示したように参照制限タイプがタイプ０である場合、色差信号についてのＳＡＯ処理では、クラス１（Edge90°）のエッジオフセット、バンドオフセット、及びNoneから最適なモードが選択される。そのため、色差信号のＳＡＯ処理において、処理の対象となる画素Ｃの右側の領域を参照することがない。すなわち、色差信号のＳＡＯ処理では、ＳＡＯ処理前の参照制限境界ＲＢ０に接する画素Ｂ２を画素Ｃとしてオフセット処理をする際に、参照制限境界ＲＢ０よりも右側の領域を参照することがない。よって、ＳＡＯ処理後の参照制限境界ＲＢの位置は、図２０に示したように、ＤＦ処理後かつＳＡＯ処理前の参照制限境界ＲＢ０の位置と同じになる。このＳＡＯ処理後の参照制限境界ＲＢの位置に基づき、動き補償による色差信号の参照制限を計算すると、色差信号についての参照可能な領域は、図２０に示したようになる。
【０１４２】
一方、ＤＦ処理が無効であるとき、図２１に示すように、ＳＡＯ処理前の輝度信号の参照制限境界ＲＢの位置は、ベクトル制限境界ＶＢと同じ画素Ａ７の位置になる。そのため、ＳＡＯ処理後の参照制限境界ＲＢの位置は、ＳＡＯ処理前の参照制限境界ＲＢの位置（画素Ａ７）から１画素分左に移動した画素Ａ６の位置となる。また、ＤＦ処理が無効であるとき、図２１に示すように、ＳＡＯ処理前の色差信号の参照制限境界ＲＢの位置は、ベクトル制限境界ＶＢと同じ画素Ｂ３の位置になる。そして、参照制限タイプがタイプ０である場合、ＳＡＯ処理後の色差信号についての参照制限境界ＲＢの位置は、ＳＡＯ処理前の参照制限境界ＲＢの位置と同じになる。よって、ＤＦ処理が無効である場合、ＳＡＯ処理後の参照制限位置に基づいて動き補償による輝度信号及び色差信号の参照制限を計算すると、参照可能な領域は、それぞれ、図２１に示したようになる。
【０１４３】
図２０と図１０とを比較すると、輝度信号についての参照可能領域は同じであるが、本実施形態における色差信号についての参照禁止領域は図１０に示した参照禁止領域に比べて狭くなっている。同様に、図２１と図１３とを比較すると、輝度信号についての参照可能領域は同じであるが、本実施形態における色差信号についての参照禁止領域は図１３に示した参照禁止領域に比べて狭くなっている。すなわち、本実施形態によれば、色差信号についての参照禁止領域の拡張を抑止することができる。
【０１４４】
次に、図２０及び図２１に示した本実施形態における参照可能領域に基づいた予測画像の生成可否について、図２２及び図２３を参照して説明する。
【０１４５】
図２２は、実施形態におけるＤＦ処理及びＳＡＯ処理が有効であるときの予測画像の生成可否を説明する図である。図２３は、実施形態におけるＤＦ処理が無効でＳＡＯ処理が有効であるときの予測画像の生成可否を説明する図である。なお、図２２及び図２３において「×」を付したマスは、そのマスの位置と対応する画素値の参照が禁止されていることを示す。
【０１４６】
上記のように、輝度信号では、左上端位置の画素を基準に同じ精度の画素で予測画像が構成される。予測画像のサイズはインター予測ブロックのサイズと同一サイズであるが、４：２：０フォーマットの符号化を行う場合は、予測画像も４：２：０フォーマットに従う必要がある。つまり、参照画像上のどこを予測画像としても４：２：０フォーマットを構成できなければならない。このとき、輝度信号と色差信号では同じ精度の画素とは限らない。そこで、図２２を参照し、ＤＦ処理及びＳＡＯ処理が有効である場合の４：２：０フォーマットの予測画像の生成可否を説明する。ここでは、簡単のため予測画像は、例えば水平方向に４画素サイズであるとする。図２２において、予測画像ＰＩの左上端位置を整数画素Ａ０として画素Ａ０から画素Ａ３までの整数画素から輝度信号の予測画像を構成する場合を考える。この場合、４：２：０フォーマットの予測画像を生成するには、色差信号の予測画像を整数画素Ｂ０とＢ１とで構成しなければならない。色差信号における整数画素Ｂ０及びＢ１は、図２２に示したように、いずれも参照可能になっている。よって、画素Ａ０から画素Ａ３までの整数画素から輝度信号の予測画像を構成する場合には、４：２：０フォーマットの予測画像を生成することができる。
【０１４７】
一方、図２２において、予測画像の左上端位置を整数画素Ａ−１とし、画素Ａ−１から画素Ａ２までの整数画素から輝度信号の予測画像を構成する場合、４：２：０フォーマットでは、色差信号の予測画像は整数画素ａｅ−１及びａｅ０で構成しなければならない。そして、本実施形態では、図２２に示したように、色差信号における整数画素ａｅ−１及びａｅ０がいずれも参照可能になっている。すなわち、本実施形態では、ＳＡＯ処理及び動き補償による参照できない領域の拡張が抑制され、図１７に示した例において参照禁止になっていた画素ａｅ０も参照可能になる。よって、本実施形態によれば、画素Ａ−１から画素Ａ２までの整数画素から色差信号の予測画像を構成する場合にも、４：２：０フォーマットの予測画像を生成することができる。
【０１４８】
このことは、ＤＦ処理が無効である場合の図２３に示した参照可能領域についてもいえる。例えば、ＤＦ処理が無効である場合に関し図１４に示した例では、色差信号におけるａｅ１が参照禁止になっている。このため、図１４に示した例においては、予測画像の左上端位置を整数画素Ａ１とし、画素Ａ１から画素Ａ４までの整数画素から輝度信号の予測画像を構成することができなかった。これに対し、図２３に示した本実施形態の処理結果によれば、整数画素ａｅ１が参照可能になっているため、画素Ａ１から画素Ａ４までの整数画素から輝度信号の予測画像を構成することができる。
【０１４９】
また、動き探索部１１１は、インター予測ブロックに対する動き探索を階層的に行う。すなわち、動き探索部１１１は、整数画素でベストな動きベクトルを検出した後に、その周辺の小数画素探索を行う。このようにして、探索にかかる演算量を削減している。この特性から、整数画素と小数画素を分離して参照制限位置を示した方が都合良い。よって、参照ピクチャ上の最終的な輝度信号ベースの参照制限位置ＲＢは、ＤＦ処理が有効であるときには、整数画素Ａ３より左の整数画素、及び小数画素ａ０より左の小数画素が全て参照可能となる。同様に、ＤＦ処理が無効であるときには、整数画素Ａ５より左の整数画素、及び小数画素ａ３より左の小数画素が全て参照可能となる。そして、動き探索部１１１は、上記参照制限境界ＲＢの位置から、参照可能領域のみを用いて動きベクトルを算出する。よって、色差信号についての参照可能領域の低減を抑制することで、より多くの予測画像を生成することが可能となり、より最適な予測画像（動きベクトル）を求めることが可能になる。
【０１５０】
本実施形態の動画像符号化装置１が行う上記の処理について、図２４〜図２８のフローチャートを参照して改めて説明する。なお、図２４〜図２８には示していないが、動き探索部１１１は独立して、現符号化対象ピクチャのベクトル制限境界ＶＢの位置と参照ピクチャの参照制限境界ＲＢの位置から、ベクトル制限対象ブロックにおいて、参照ピクチャの参照可能領域のみを用いて動きベクトルを算出する。また、動画像符号化装置１における符号化部１５０は、動き探索部１１１で導出した動きベクトルに基づいて動き補償、予測画像の生成を行った後、図１に示した動画像符号化装置１００と同様の手順で符号化対象ピクチャの符号化を行うとともに、後続のピクチャを符号化する際に用いる参照ピクチャを再生する。動画像符号化装置１では、上記の動きベクトルの導出やピクチャの符号化と並行して、現符号化対象ピクチャの全符号化ブロックに対し図２４に示すような処理を行い、現符号化対象ピクチャにおける参照制限境界ＲＢの位置を決定する。
【０１５１】
図２４は、実施形態に係る動画像符号化方法における参照制限制御処理の手順を示すフローチャートである。
【０１５２】
動画像符号化装置１は、現符号化対象ピクチャにおける全符号化ブロックを対象としたブロックループ処理を開始すると（ステップＳ１）、まず、ＳＡＯ前境界位置設定処理を行う（ステップＳ２）。ステップＳ２の処理は、境界位置算出部１２１が行う。境界位置算出部１２１は、現符号化対象ピクチャのベクトル制限境界ＶＢの位置とＤＦ処理の有無とに基づいて、参照ピクチャ上でのＳＡＯ処理前の参照制限境界ＲＢ０の位置を計算する。
【０１５３】
境界位置算出部１２１は、参照制限境界ＲＢ０の位置を算出すると、算出した参照制限境界ＲＢ０の位置を、ＳＡＯ前境界位置として境界位置記憶部１２２に保存する（ステップＳ３）。また、境界位置算出部１２１は、参照制限境界ＲＢ０の位置を算出すると、次に、参照制限タイプ設定処理を行う（ステップＳ４）。ステップＳ４において、境界位置算出部１２１は、算出した参照制限境界ＲＢ０の位置を基準にし、参照可能領域と参照禁止領域との組み合わせから参照制限タイプを設定する。なお、参照制限境界ＲＢ０が矩形である場合、ステップＳ４において参照制限タイプが複数選択されてもよい。
【０１５４】
境界位置算出部１２１がステップＳ４の処理を終えると、動画像符号化装置１は、次に、色差フィルタ抑止判定処理を行う（ステップＳ５）。ステップＳ５の処理は、色差フィルタ抑止判定部１２３が行う。色差フィルタ抑止判定部１２３は、参照制限タイプと画像フォーマット情報とに基づいて、ＳＡＯ処理における色差フィルタを抑止するか否かを判定する。判定結果は、色差フィルタ抑止フラグに設定する。色差フィルタを抑止する場合、色差フィルタ抑止判定部１２３は、色差フィルタ抑止フラグの値を１にする。また、色差フィルタを抑止しない場合、色差フィルタ抑止判定部１２３は、色差フィルタ抑止フラグの値を０にする。
【０１５５】
また、色差フィルタ抑止判定部１２３は、色差フィルタ抑止判定処理を終えると、判定結果（色差フィルタ抑止フラグ）を境界位置記憶部１２２に保存する（ステップＳ６）。
【０１５６】
色差フィルタ抑止判定部１２３がステップＳ５，Ｓ６の処理を終えると、動画像符号化装置１は、次に、色差フィルタ抑止フラグが１であるかをチェックする（ステップＳ７）。ステップＳ７のチェックは、色差フィルタ禁止モード決定部１２４が行う。そして、色差フィルタ抑止フラグが１である場合（ステップＳ７；Ｙｅｓ）、色差フィルタ禁止モード決定部１２４は、色差フィルタ禁止モード設定処理を行う（ステップＳ８）。ステップＳ８において、色差フィルタ禁止モード決定部１２４は、現符号化対象ブロックが参照制限境界ＲＢを含む、又は接している符号化ブロックである場合、参照制限タイプに基づいて、参照禁止領域の画素を参照する色差ＳＡＯモードを禁止する色差フィルタ禁止モードを決定する。一方、色差フィルタ抑止フラグが０のとき、色差フィルタ禁止モード決定部１２４は、色差フィルタ禁止モードを決定しない。
【０１５７】
色差フィルタ禁止モード決定部１２４がステップＳ７，Ｓ８の処理を終えると、動画像符号化装置１は、次に、符号化に用いる色差ＳＡＯモードを選択してＳＡＯ処理を行う（ステップＳ９）。ステップＳ９は、ＳＡＯ処理部１０９が行う。ＳＡＯ処理部１０９は、色差フィルタ禁止モード決定部１２４が決定した色差フィルタ禁止モードに基づき、色差フィルタ禁止モード以外の色差ＳＡＯモードの中から符号化に用いる色差ＳＡＯモードを選択する。また、ＳＡＯ処理部１０９は、ＤＦ処理が有効である場合においてはＤＦ処理後の画像に対し、輝度信号についてのＳＡＯ処理及び選択した色差ＳＡＯモードによるＳＡＯ処理を行う。また、ＳＡＯ処理部１０９は、ＤＦ処理が無効である場合においては復号画像生成部１０７が生成した復号画像に対し、輝度信号についてのＳＡＯ処理及び選択した色差ＳＡＯモードによるＳＡＯ処理を行う。更に、ＳＡＯ処理部１０９は、ＳＡＯ処理を行った復号画像を復号信号記憶部１１０に保存する。
【０１５８】
ＳＡＯ処理部１０９がステップＳ９の処理を終えると、動画像符号化装置１は、現符号化対象ピクチャにおける全ての符号化ブロックについてステップＳ２〜Ｓ９の処理が行われたかをチェックする。そして、動画像符号化装置１は、全ての符号化ブロックについてステップＳ２〜Ｓ９の処理が行われるまで、処理を繰り返す（ステップＳ１０）。
【０１５９】
全ての符号化ブロックに対するステップＳ２〜Ｓ９の処理を終えると、動画像符号化装置１は、例えば、境界位置記憶部１２２が保持するＳＡＯ処理前の参照制限境界ＲＢ０の位置及び色差フィルタ抑止フラグに基づき、最終的なＳＡＯ処理後の輝度信号についての参照制限境界を算出して設定する（ステップＳ１１）。ステップＳ１１の処理は、参照制限決定部１２５が行う。参照制限決定部１２５は、動き探索部１１１が行う動き探索に合わせて、最終的なＳＡＯ処理後の輝度信号の参照制限境界ＲＢの位置を算出する。なお、ステップＳ１１の処理は、現符号化対象ピクチャが後続のピクチャから参照されるときまでに実行されていればよい。
【０１６０】
その後、動画像符号化装置１は、次のピクチャを符号化するか否かを判定する（ステップＳ１２）。次のピクチャを符号化する場合（ステップＳ１２；Ｙｅｓ）、動画像符号化装置１は、次の符号化対象ピクチャに対しステップＳ２〜Ｓ９の処理を行う。また、符号化するピクチャがない場合（ステップＳ１２；Ｎｏ）、動画像符号化装置１は、ステップＳ２〜Ｓ９の処理を含む符号化処理を終了する。
【０１６１】
後続の符号化対象ピクチャに対する動き探索で現符号化対象ピクチャを参照する場合、動き探索部１１１は、参照するピクチャ上でのベクトル制限境界ＶＢの位置と、参照制限決定部１２５で決定した参照制限境界ＲＢの位置とに基づいて、参照可能領域のみを参照して動きベクトルを算出する。そして、動画像符号化装置１の符号化部１５０は、動き探索部１１１が算出（導出）した動きベクトルを用いて動き補償、予測画像の生成等を行う。
【０１６２】
図２５は、ＳＡＯ前境界位置設定処理の内容を示すフローチャートである。
境界位置設定部１２１は、図２４に示したＳＡＯ前境界値設定処理（ステップＳ２）として、図２５に示すような処理を行う。なお、図２５に示した処理は輝度信号及び色差信号の各々に対して別個に行う。
【０１６３】
境界位置設定部１２１は、まず、現符号化対象ピクチャのベクトル制限境界ＶＢの位置をＳＡＯ処理前の参照制限境界ＲＢに設定する（ステップＳ２００）。
【０１６４】
次に、境界位置設定部１２１は、ＤＦ処理が有効であるか否かを判定する（ステップＳ２０１）。ステップＳ２０１において、境界位置設定部１２１は、シンタックス要素「slice_deblocking_filter_disabled_flag」の値によりＤＦ処理が有効であるか否かを判定する。ＤＦ処理が無効である場合（ステップＳ２０１；Ｎｏ）、境界位置設定部１２１は、ＳＡＯ前境界位置設定処理を終了する（リターン）。この場合、輝度信号及び色差信号についてのＳＡＯ処理前の境界位置（参照制限境界ＲＢ０の位置）は、それぞれの信号におけるベクトル制限境界ＶＢの位置となる。
【０１６５】
一方、ＤＦ処理が有効である場合（ステップＳ２０１；Ｙｅｓ）、境界位置設定部１２１は、次に、設定対象となっているのが輝度信号であるか否かを判定する（ステップＳ２０２）。輝度信号である場合（ステップＳ２０２；Ｙｅｓ）、境界位置設定部１２１は、参照制限境界ＲＢの位置を、ベクトル制限境界ＶＢの位置から３画素分減じた位置に変更し（ステップＳ２０３）、ＳＡＯ前境界位置設定処理を終了する。輝度信号ではない場合、すなわち色差信号である場合（ステップＳ２０２；Ｎｏ）、境界位置設定部１２１は、参照制限境界ＲＢの位置を、ベクトル制限境界ＶＢの位置から１画素分減じた位置に変更し（ステップＳ２０４）、ＳＡＯ前境界位置設定処理を終了する。ここで、ステップＳ２０３の３画素分減じた位置、及びステップＳ２０４の１画素分減じた位置は、それぞれ、参照禁止領域が３画素分、及び１画素分増加する方向に参照制限境界ＲＢを移動させることを意味する。例えば、ベクトル制限境界ＶＢより右側が参照禁止領域である場合、ステップＳ２０３及びＳ２０４では、参照禁止領域が増加する左方向に参照制限境界ＲＢを移動させる。
【０１６６】
上記のステップＳ２００〜Ｓ２０４の処理を、現符号化対象ブロックの輝度信号及び色差信号に対して別個に行って参照制限境界を設定すると、ＳＡＯ前境界位置設定処理が終了する。なお、輝度信号に対するステップＳ２００〜Ｓ２０４の処理と色差信号に対するステップＳ２００〜Ｓ２０４の処理とは、任意の順番で行ってもよいし、並列に行ってもよい。また、ステップＳ２０３では３画素分、ステップＳ２０４では１画素分としているが、移動させる画素数は、ＤＦ処理において画素値が変更される可能性のある画素数に応じて設定すればよい。
【０１６７】
図２６は、参照制限タイプ設定処理の内容を示すフローチャートである。
境界位置算出部１２１は、図２４に示したＳＡＯ前境界値設定処理を終えると、設定した参照制限境界ＲＢの位置を境界位置記憶部１２２に保存するとともに、参照制限タイプ設定処理（ステップＳ４）を行う。境界位置算出部１２１は、参照制限タイプ設定処理として、図２６に示すような処理を行う。
【０１６８】
境界位置算出部１２１は、まず、参照制限境界ＲＢの位置、及び参照可能領域と参照禁止領域との組み合わせに基づいて、参照制限境界ＲＢの右側が参照禁止領域であるか否かを判定する（ステップＳ４００）。
【０１６９】
参照制限境界ＲＢの右側が参照禁止領域である場合（ステップＳ４００；Ｙｅｓ）、境界位置算出部１２１は、参照制限タイプを示す値を０に設定する（ステップＳ４０１）。また、境界位置算出部１２１は、ステップＳ４０１の設定処理の後、続けて、参照制限境界ＲＢの左側が参照禁止領域であるか否かを判定する（ステップＳ４０２）。一方、参照制限境界ＲＢの右側が参照禁止領域ではない場合（ステップＳ４００；Ｎｏ）、境界位置算出部１２１は、ステップＳ４０１をスキップし、参照制限境界ＲＢの左側が参照禁止領域であるか否かを判定する（ステップＳ４０２）。
【０１７０】
参照制限境界ＲＢの左側が参照禁止領域である場合（ステップＳ４０２；Ｙｅｓ）、境界位置算出部１２１は、参照制限タイプを示す値を１に設定する（ステップＳ４０３）。また、境界位置算出部１２１は、ステップＳ４０３の設定処理の後、続けて、参照制限境界ＲＢの下側が参照禁止領域であるか否かを判定する（ステップＳ４０４）。一方、参照制限境界ＲＢの左側が参照禁止領域ではない場合（ステップＳ４０２；Ｎｏ）、境界位置算出部１２１は、ステップＳ４０３をスキップし、参照制限境界ＲＢの下側が参照禁止領域であるか否かを判定する（ステップＳ４０４）。
【０１７１】
参照制限境界ＲＢの下側が参照禁止領域である場合（ステップＳ４０４；Ｙｅｓ）、境界位置算出部１２１は、参照制限タイプを示す値を２に設定する（ステップＳ４０５）。また、境界位置算出部１２１は、ステップＳ４０５の設定処理の後、続けて、参照制限境界ＲＢの上側が参照禁止領域であるか否かを判定する（ステップＳ４０６）。一方、参照制限境界ＲＢの下側が参照禁止領域ではない場合（ステップＳ４０４；Ｎｏ）、境界位置算出部１２１は、ステップＳ４０５をスキップし、参照制限境界ＲＢの上側が参照禁止領域であるか否かを判定する（ステップＳ４０６）。
【０１７２】
参照制限境界ＲＢの上側が参照禁止領域である場合（ステップＳ４０６；Ｙｅｓ）、境界位置算出部１２１は、参照制限タイプを示す値を３に設定し（ステップＳ４０７）、参照制限タイプ設定処理を終了する（リターン）。一方、参照制限境界ＲＢの上側が参照禁止領域ではない場合（ステップＳ４０６；Ｎｏ）、境界位置算出部１２１は、ステップＳ４０７をスキップし、参照制限タイプ設定処理を終了する。
【０１７３】
上述したイントラリフレッシュ方式のように参照制限境界ＲＢ（リフレッシュ境界）が垂直方向の境界線であり、１ピクチャ毎に参照制限境界ＲＢが左から右に移動する場合、参照制限境界ＲＢの右側が参照禁止領域となる。そのため、図２６に示した参照制限タイプ設定処理を行うと、参照制限タイプを表す値は０となる。また、参照制限境界ＲＢが矩形の場合、参照制限タイプ設定処理において参照制限タイプが複数選択されてもよい。例えば、矩形の参照制限境界に囲まれた領域内が参照可能領域である場合、矩形の角部が含まれる符号化ブロックでは、参照制限境界ＲＢの右側及び上側が参照禁止領域になることがある。そのような符号化ブロックに対して図２６に示した設定処理を行うと、参照制限タイプを表す値として０と３とが設定される。
【０１７４】
図２７は、色差フィルタ抑止判定処理の内容を示すフローチャートである。
色差フィルタ抑止判定部１２３は、図２４に示した色差フィルタ抑止判定処理（ステップＳ５）として、図２７に示すような処理を行う。
【０１７５】
色差フィルタ抑止判定部１２３は、まず、判定対象の符号化ブロックに付す色差フィルタ抑止フラグの値を０に初期化する（ステップＳ５００）。色差フィルタ抑止判定部１２３は、次に、画像フォーマットが４：２：２であるか否かを判定する（ステップＳ５０１）。
【０１７６】
画像フォーマットが４：２：２の場合（ステップＳ５０１；Ｙｅｓ）、色差フィルタ抑止判定部１２３は、続けて、参照制限タイプが０又は１であるか否かを判定する（ステップＳ５０２）。そして、参照制限タイプが０又は１である場合（ステップＳ５０２；Ｙｅｓ）、色差フィルタ抑止判定部１２３は、色差フィルタ抑止フラグの値を１に変更し（ステップＳ５０３）、色差フィルタ抑止判定処理を終了する（リターン）。また、色差フィルタ抑止判定部１２３は、画像フォーマットは４：２：２だが参照タイプが０及び１以外である場合（ステップＳ５０２；Ｎｏ）、ステップＳ５０３をスキップして色差フィルタ抑止判定処理を終了する。
【０１７７】
一方、画像フォーマットが４：２：２ではない場合（ステップＳ５０１；Ｎｏ）、色差フィルタ抑止判定部１２３は、次に、画像フォーマットが４：２：０であるか否かを判定する（ステップＳ５０４）。そして、画像フォーマットが４：２：０の場合（ステップＳ５０４；Ｙｅｓ）、色差フィルタ抑止判定部１２３は、色差フィルタ抑止フラグの値を１に変更し（ステップＳ５０３）、色差フィルタ抑止判定処理を終了する。また、画像フォーマットが４：２：０ではない場合（ステップＳ５０４；Ｎｏ）、色差フィルタ抑止判定部１２３は、色差フィルタ抑止フラグの値を変更せずに色差フィルタ抑止判定処理を終了する。
【０１７８】
色差フィルタ抑止フラグは、前述のように、色差フィルタ禁止モード決定部１２４において色差フィルタ禁止モードを定めるか否かの判断に用いるフラグであり、値が１の場合に色差フィルタ禁止モードを決定する。
【０１７９】
画像フォーマットが４：２：２の場合、前述のように、参照制限タイプが２又は３、すなわち水平方向の参照制限境界ＲＢの下側又は上側が参照禁止領域であれば、参照可能領域内の整数画素を用いて予測画像を生成し動きベクトルを算出することができる。そのため、画像フォーマットが４：２：２の場合、参照制限タイプが２又は３であれば、色差フィルタ禁止モードを決定して参照可能領域の低減を抑制する必要がない。よって、図２７に示した処理では、画像フォーマットが４：２：２で参照制限タイプが２又は３の場合、色差フィルタ抑止フラグの値が０になる。
【０１８０】
図２８は、色差フィルタ禁止モード決定処理の内容を示すフローチャートである。
色差フィルタ禁止モード決定部１２４は、図２４に示した色差フィルタ禁止モード決定処理（ステップＳ８）として、図２８に示すような処理を行う。
【０１８１】
色差フィルタ禁止モード決定部１２４は、まず、処理対象の符号化ブロックが参照制限境界ＲＢを含むブロックか否かを判定する（ステップＳ８００）。ステップＳ８００において、色差フィルタ禁止モード決定部１２４は、符号化ブロックが参照制限境界ＲＢを含むブロックであるか否かを、例えば、色差フィルタ抑止フラグの値で判定する。色差フィルタ禁止モードを設定する必要がある場合、参照制限タイプ設定処理において参照制限タイプに１つ以上の値が設定されており、かつ、色差フィルタ抑止判定処理において色差フィルタ抑止フラグの値が１になっている。
【０１８２】
色差フィルタ抑止フラグの値が１の場合（ステップＳ８００；Ｙｅｓ）、色差フィルタ禁止モード決定部１２４は、次に、参照制限タイプに設定された値が０を含むか否かを判定する（ステップＳ８０１）。参照制限タイプが０を含む場合（ステップＳ８０１；Ｙｅｓ）、色差フィルタ禁止モード決定部１２４は、色差フィルタ禁止モードをEdge0（クラス０）、Edge135（クラス２）、及びEdge45（クラス３）に設定する（ステップＳ８０２）。また、色差フィルタ禁止モード決定部１２４は、ステップＳ８０２の設定処理の後、続けて、参照制限タイプに設定された値が１を含むか否かを判定する（ステップＳ８０３）。一方、参照制限タイプが０を含まない場合（ステップＳ８０１；Ｎｏ）、色差フィルタ禁止モード決定部１２４は、ステップＳ８０２をスキップし、ステップＳ８０３の判定を行う。
【０１８３】
参照制限タイプが１を含む場合（ステップＳ８０３；Ｙｅｓ）、色差フィルタ禁止モード決定部１２４は、色差フィルタ禁止モードをEdge0、Edge135、及びEdge45に設定する（ステップＳ８０４）。また、色差フィルタ禁止モード決定部１２４は、ステップＳ８０４の設定処理の後、続けて、参照制限タイプに設定された値が２を含むか否かを判定する（ステップＳ８０５）。一方、参照制限タイプが１を含まない場合（ステップＳ８０３；Ｎｏ）、色差フィルタ禁止モード決定部１２４は、ステップＳ８０４をスキップし、ステップＳ８０５の判定を行う。
【０１８４】
参照制限タイプが２を含む場合（ステップＳ８０５；Ｙｅｓ）、色差フィルタ禁止モード決定部１２４は、色差フィルタ禁止モードをEdge90（クラス１）、Edge135（クラス２）、及びEdge45（クラス３）に設定する（ステップＳ８０６）。また、色差フィルタ禁止モード決定部１２４は、ステップＳ８０６の設定処理の後、続けて、参照制限タイプに設定された値が３を含むか否かを判定する（ステップＳ８０７）。一方、参照制限タイプが２を含まない場合（ステップＳ８０７；Ｎｏ）、色差フィルタ禁止モード決定部１２４は、ステップＳ８０６をスキップし、ステップＳ８０７の判定を行う。
【０１８５】
参照制限タイプが３を含む場合（ステップＳ８０７；Ｙｅｓ）、色差フィルタ禁止モード決定部１２４は、色差フィルタ禁止モードをEdge90、Edge135、及びEdge45に設定し（ステップＳ８０８）、色差フィルタ禁止モード決定処理を終了する（リターン）。一方、参照制限タイプが３を含まない場合（ステップＳ８０７；Ｎｏ）、色差フィルタ禁止モード決定部１２４は、ステップＳ８０８をスキップし、色差フィルタ禁止モード決定処理を終了する。
【０１８６】
以上説明したように、本実施形態に係る動画像の符号化では、ＳＡＯ処理のように輝度信号及び色差信号に対して別個にフィルタを設定して行うことが可能なフィルタ処理において、色差信号についてのみ、フィルタの適用を抑止するか否かを判定する。また、色差信号についてのフィルタの適用を抑止する場合、フィルタ処理前の参照制限境界ＲＢの位置と、参照制限境界ＲＢに対する参照禁止領域の位置とに応じて、フィルタ適用時に参照禁止領域のデータを参照するフィルタの適用を禁止する。これにより、色差信号に対しフィルタを適用した後の参照制限境界ＲＢが、参照可能領域を低減させる方向に移動することを抑止できる。そのため、色差信号についての動き補償を行った際に参照可能領域内に参照できない領域が生じて動きベクトルを算出できなくなることを抑制できる。よって、参照可能領域内に生成可能な画像フォーマットに応じた予測画像の数の低減が抑制され、より最適な予測画像を生成することが可能になる。
【０１８７】
上記の符号化処理を行う本実施形態の動画像符号化装置１は、例えばコンピュータと、コンピュータに上記の符号化処理を実行させるプログラムとにより実現可能である。以下、コンピュータとプログラムにより実現される動画像符号化装置１について、図２９を参照して説明する。
【０１８８】
図２９は、コンピュータのハードウェア構成を示す図である。
図２９に示すように、コンピュータ５は、Central Processing Unit（ＣＰＵ）５０１と、主記憶装置５０２と、補助記憶装置５０３と、Digital Signal Processor（ＤＳＰ）５０４と、を備える。また、コンピュータ５は、入力装置５０５と、表示装置５０６と、インタフェース装置５０７と、記憶媒体駆動装置５０８と、通信装置５０９と、を更に備える。コンピュータ５におけるこれらの要素５０１〜５０９は、バス５１０により相互に接続されており、要素間でのデータの受け渡しが可能になっている。
【０１８９】
ＣＰＵ ５０１は、オペレーティングシステムを含む各種のプログラムを実行することによりコンピュータ５の全体の動作を制御する演算処理装置である。
【０１９０】
主記憶装置５０２は、Read Only Memory（ＲＯＭ）及びRandom Access Memory（ＲＡＭ）を有する。ＲＯＭには、例えばコンピュータ５の起動時にＣＰＵ ５０１が読み出す所定の基本制御プログラム等が予め記録されている。また、ＲＡＭは、ＣＰＵ ５０１が各種のプログラムを実行する際に、必要に応じて作業用記憶領域として使用する。
【０１９１】
補助記憶装置５０３は、Hard Disk Drive（ＨＤＤ）やSolid State Drive（ＳＳＤ）等の主記憶装置５０２に比べて大容量の記憶装置である。補助記憶装置５０３には、ＣＰＵ ５０１によって実行される各種のプログラムや各種のデータ等を記憶させる。補助記憶装置５０３に記憶させるプログラムとしては、例えば、図２４〜図２８に示したような処理を含む動画像符号化処理をコンピュータに実行させるプログラムや、動画像データを再生、加工するプログラムが挙げられる。また、補助記憶装置５０３に記憶させるデータとしては、例えば、上記のプログラムにより符号化する動画像のデータや、符号化した動画像データが挙げられる。
【０１９２】
ＤＳＰ ５０４は、ＣＰＵ ５０１からの制御信号等に従って動画像データの符号化処理、復号化（再生）処理等を行う演算処理装置である。
【０１９３】
入力装置５０５は、例えばキーボード装置やマウス装置であり、コンピュータ５のオペレータにより操作されると、その操作内容に対応付けられている入力情報をＣＰＵ ５０１に送信する。
【０１９４】
表示装置５０６は、例えば液晶ディスプレイである。液晶ディスプレイは、ＣＰＵ ５０１等から送信される表示データに従って各種のテキスト、画像等を表示する。
【０１９５】
インタフェース装置５０７は、例えば、コンピュータ５を撮像装置６や他の電子機器と接続するための入出力装置である。
【０１９６】
記憶媒体駆動装置５０８は、図示しない可搬型記憶媒体に記録されているプログラムやデータの読み出し、補助記憶装置５０３に記憶されたデータ等の可搬型記憶媒体への書き込みを行う。可搬型記憶媒体としては、例えば、ＵＳＢ規格のコネクタが備えられているフラッシュメモリが利用可能である。また、可搬型記憶媒体としては、Compact Disk（ＣＤ）、Digital Versatile Disc（ＤＶＤ）、Blu-ray Disc（Blu-rayは登録商標）等の光ディスクも利用可能である。
【０１９７】
通信装置５０９は、インターネット等の通信網７を介してコンピュータ５と他のコンピュータ等とを通信可能に接続する装置である。
【０１９８】
このコンピュータ５は、ＣＰＵ ５０１が補助記憶装置５０３から上述した符号化処理を含むプログラムを読み出し、ＤＳＰ ５０４、主記憶装置５０２、補助記憶装置５０３等と協働して動画像データの符号化処理を実行する。この際、ＣＰＵ ５０１は、符号化処理における演算処理をＤＳＰ ５０４に実行させる。ＤＳＰ ５０４は、符号化対象ピクチャに対し直交変換、量子化、エントロピー符号化等を行ってビットストリームを生成する一方で、量子化したピクチャに逆量子化、逆直交変換等を行って動き探索に用いる参照ピクチャを生成する。また、ＤＳＰ ５０４は、図２４〜図２８に示したような処理を行い、参照ピクチャを生成する際に色差信号に対するＳＡＯ処理を抑止するか否か（禁止するか否か）を判定する。
【０１９９】
コンピュータ５で符号化した動画像のデータは、例えば、補助記憶装置５０３に記憶させておき、必要に応じてコンピュータ５で復号化（再生）する。また、符号化した動画像データは、例えば、通信装置５０９を用い、通信網７を介して他のコンピュータに提供（配信）することもできる。また、符号化した動画像データは、例えば、記憶媒体駆動装置５０８を用い、光ディスク等に記録して保存、配布することもできる。
【０２００】
なお、符号化装置１として用いるコンピュータ５は、図２９に示した構成に限らず、ＣＰＵ ５０１において動画像の符号化を行う構成であってもよい。また、コンピュータ５は、種々のプログラムを実行することにより複数の機能を実現する汎用型のものに限らず、動画像の符号化や復号化に特化された情報処理装置でもよい。
【０２０１】
上記の実施形態で説明した色差信号についてのＳＡＯ処理における禁止モードの設定処理は、イントラリフレッシュ方式に限らず、動きベクトルを算出する際に参照領域を制限する他の動画像符号化方式にも適用することが可能である。例えば、Region Of Interest（ＲＯＩ）等の注視領域を設定して行う動画像符号化方式に適用することができる。
【０２０２】
図３０は、注視領域を設定して行う動画像符号化方式を説明する図である。
注視領域を設定して行う動画像符号化方式（以下「ＲＯＩ符号化」という）では、ピクチャ内に部分的に注視領域を設定することができる。注視領域は、例えば、図３０に示した人の顔等、視聴者の興味がある領域や強調したい領域である。ＲＯＩ符号化では、例えば、注視領域２０７ａ，２０８ａの外側の領域２０７ｂ、２０８ｂに対するビット割り当てを低減させ、低減させた分のビットを注視領域の符号化に用いることで注視領域２０７ａ，２０８ａの画質を向上させる。
【０２０３】
ＲＯＩ符号化では、例えば、図３０に示したように、現ピクチャ２０８の注視領域２０８ａに含まれる動きベクトルの参照先を過去ピクチャ２０７の注視領域２０７ａに限定する。これにより、動画像復号装置は、過去ピクチャ２０７の注視領域２０７ａのみを保存していれば、現ピクチャ２０８の注視領域２０８ａを再生することが可能となりメモリ量を削減できる。また、ＲＯＩ符号化では、処理量が大きい動き探索を行うことなく注視領域のみを含む画像サイズに変更してトランスコードすることもできる。
【０２０４】
上記のように、ＲＯＩ符号化において現ピクチャ２０８の注視領域２０８ａに含まれるブロックの動きベクトルの参照先を過去ピクチャ２０７の注視領域２０７ａに限定した場合、注視領域の外周２０７ｃが参照制限境界ＲＢ（ベクトル制限境界ＶＢ）となる。そのため、符号化ループにおいてＳＡＯ処理を行う場合、注視領域の右辺を含む符号化ブロックにおいては、図１１等に示したような参照制限が生じる。よって、注視領域の右辺を含む符号化ブロックに対し上記の色差フィルタ禁止モードを設定することで、動きベクトルを算出する際の色差信号についての参照可能領域の低減を抑止することができる。
【０２０５】
また、注視領域が矩形の場合、ベクトル制限境界ＶＢが矩形となる。そのため、例えば、注視領域の上辺を含む符号化ブロックにおいては、注視領域の上辺（ベクトル制限境界ＶＢ）の下側を参照可能領域、上辺の上側を参照禁止領域とする参照制限が生じる。すなわち、ＲＯＩ符号化においては、１ピクチャ内に、参照制限タイプがタイプ０の符号化ブロック、タイプ１の符号化ブロック、タイプ２の符号化ブロック、及びタイプ３の符号化ブロックが存在する。更に、注視領域の角部、例えば右上角部を含む符号化ブロックにおいては、タイプ０とタイプ３とが混在する。
【０２０６】
１ピクチャ内に参照制限タイプの異なる符号化ブロックがある場合でも、上記の色差フィルタ禁止モードの設定処理によれば、参照制限タイプ毎に最適な色差フィルタ禁止モードを設定することができる。例えば、図２６に示した参照制限タイプ設定処理によれば、注視領域の右辺のみを含む符号化ブロックにはタイプ０が設定され、注視領域の上辺のみを含む符号化ブロックにはタイプ３が設定される。また、注視領域の右辺及び上辺を含む符号化ブロックには、タイプ０及びタイプ３が設定される。そして、図２８に示した色差フィルタ禁止モード設定処理によれば、符号化ブロックに設定された参照制限タイプの種類及び数に応じた色差フィルタ禁止モードが設定される。すなわち、注視領域の右辺のみを含む符号化ブロックには参照制限タイプ０と対応する色差フィルタ禁止モードが設定され、注視領域の上辺のみを含む符号化ブロックには参照制限タイプ３と対応付けた色差フィルタ禁止モードが設定される。また、注視領域の右辺及び上辺を含む符号化ブロックには、参照制限タイプ０と対応する色差フィルタ禁止モード、及び参照制限タイプ３と対応する色差フィルタ禁止モードの２つの色差フィルタ禁止モードが設定される。
【０２０７】
よって、上記の実施形態で説明した処理により注視領域の外周を含む各符号化ブロックに対し色差フィルタ禁止モードを設定することで、動きベクトルを算出する際の色差信号についての参照可能領域の低減を抑止することができる。そのため、注視領域の領域内部における外周部での画質の劣化を抑制できる。
【０２０８】
以上記載した各実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
輝度信号及び色差信号を含むピクチャを複数の符号化ブロックに分割し、符号化ブロック単位で、後続のピクチャからの参照を許可する第１の領域及び参照を禁止する第２の領域を設けて前記輝度信号の動きベクトルの参照領域を制限した符号化済みピクチャを参照して前記輝度信号の動きベクトルを算出するとともに、算出した前記輝度信号の動きベクトルに基づいて前記色差信号の動きベクトルを算出する動き探索部と、
前記符号化対象のピクチャの復号画像における前記輝度信号及び前記色差信号に対し別個にフィルタ処理を行うフィルタ処理部と、
現符号化対象ピクチャにおける前記フィルタ処理前の前記第１の領域と前記第２の領域との境界位置を示す参照制限境界位置、及び前記第１の領域と前記第２の領域との位置関係の組み合わせを示す参照制限タイプを算出する境界位置算出部と、
前記参照制限タイプに基づいて前記色差信号に対する前記フィルタ処理を抑止するか否かを判定して色差フィルタ抑止情報を生成する抑止判定部と、
前記フィルタ処理前の参照制限境界位置から前記色差信号に対する前記フィルタ処理を抑止する前記符号化ブロックを算出し、前記第２の領域に含まれる画素を参照する可能性のある色差フィルタモードを示す色差フィルタ禁止モードを決定する禁止モード決定部と、
前記フィルタ処理前の参照制限境界位置及び前記色差フィルタ抑止情報に基づいて、フィルタ処理後の前記輝度信号の参照制限位置を決定する参照制限決定部と、
前記色差フィルタ禁止モード以外から選択した色差フィルタモード及び前記フィルタ処理後の前記輝度信号の参照制限位置に基づいて前記第１の領域を参照して導出した前記輝度信号の動きベクトルを用いて前記符号化対象ピクチャを符号化する符号化部と、
を備えることを特徴とする動画像符号化装置。
（付記２）
前記境界位置算出部は、前記符号化済みピクチャが符号化されたときに参照制限を実施した領域を示すベクトル制限領域と、参照制限を実施していない領域との境界位置、及び前記輝度信号の動きベクトルの算出後かつ前記フィルタ処理前に実行される画素書き換え処理の影響範囲から前記参照制限境界位置を算出する、
ことを特徴とする付記１に記載の動画像符号化装置。
（付記３）
前記境界位置算出部は、前記符号化ブロック内の前記参照制限境界位置を基準に上下左右又はその組み合わせで、前記第１の領域が存在する方向により分類した前記参照制限タイプを算出する、
ことを特徴とする付記１に記載の動画像符号化装置。
（付記４）
前記抑止判定部は、前記参照制限タイプと前記ピクチャにおける前記色差信号のサンプリング方法を規定した画像フォーマット情報との組み合わせから前記色差フィルタを抑止するか否かを判定する、
ことを特徴とする付記１に記載の動画像符号化装置。
（付記５）
前記禁止モード決定部は、少なくとも前記フィルタ処理前の前記参照制限境界を含む、又は接している符号化ブロックを、前記色差フィルタを抑止する符号化ブロックと決定する、
ことを特徴とする付記１に記載の動画像符号化装置。
（付記６）
前記抑止判定部は、前記フィルタ処理前の前記参照制限境界を含む、又は接しているブロックを含む前記ピクチャ内の特定の領域の全ての符号化ブロックを、前記色差フィルタを抑止するブロックに決定する、
ことを特徴とする付記１に記載の動画像符号化装置。
（付記７）
前記禁止モード決定部は、色差フィルタタイプが複数存在し、特定の前記色差フィルタタイプに前記第２の領域に含まれる画素を参照する可能性のある色差フィルタモードが含まれるとき、特定の色差フィルタタイプを禁止する、
ことを特徴とする付記１に記載の動画像符号化装置。
（付記８）
前記禁止モード決定部は、フィルタ処理を実行しない色差フィルタタイプ以外の色差フィルタタイプを禁止する、
ことを特徴とする付記１に記載の動画像符号化装置。
（付記９）
前記動画像符号化装置は、
前記現符号化対象ピクチャを符号化した後、当該ピクチャが後続のピクチャの符号化時に参照されなくなるまでの間、前記境界位置算出部で算出した前記現符号化対象ピクチャについての前記フィルタ処理前の前記参照制限境界位置を記憶する境界位置記憶部、を更に備える、
ことを特徴とする付記１に記載の動画像符号化装置。
（付記１０）
輝度信号及び色差信号を含む符号化対象のピクチャを複数の符号化ブロックに分割し、
符号化ブロック単位で、後続のピクチャからの参照を許可する第１の領域及び参照を禁止する第２の領域を設けて前記輝度信号の動きベクトルの参照領域を制限した符号化済みピクチャを参照して前記輝度信号の動きベクトルを算出するとともに、算出した前記輝度信号についての動きベクトルに基づいて前記色差信号についての動きベクトルを算出する一方で、
現符号化対象ピクチャにおけるフィルタ処理前の前記第１の領域と前記第２の領域との境界位置を示す参照制限境界位置、及び前記第１の領域と前記第２の領域との位置関係の組み合わせを示す参照制限タイプを算出し、
前記参照制限タイプに基づいて前記色差信号に対する前記フィルタ処理を抑止するか否かを判定して色差フィルタ抑止情報を生成し、
前記フィルタ処理前の参照制限境界位置から前記色差信号に対する前記フィルタ処理を抑止する前記ブロックを算出して、前記第２の領域に含まれる画素を参照する可能性のある色差フィルタモードを示す色差フィルタ禁止モードを決定し、
前記フィルタ処理前の参照制限境界位置及び前記色差フィルタ抑止情報に基づいて、フィルタ処理後の前記輝度信号の参照制限境界位置を決定し、
前記色差フィルタ禁止モード及び前記輝度信号の参照制限境界位置に基づいて、前記ピクチャの復号画像における前記輝度信号及び前記輝度信号に別個に前記フィルタ処理を行い、
前記色差フィルタ禁止モード以外から選択した前記色差フィルタモード及び前記フィルタ処理後の前記輝度信号の参照制限位置に基づいて前記第１の領域を参照して導出した前記輝度信号の動きベクトルを用いて前記符号化対象ピクチャを符号化する、
処理をコンピュータが実行することを特徴とする動画像符号化方法。
（付記１１）
輝度信号及び色差信号を含む符号化対象のピクチャを複数の符号化ブロックに分割し、
符号化ブロック単位で、後続のピクチャからの参照を許可する第１の領域及び参照を禁止する第２の領域を設けて前記輝度信号の動きベクトルの参照領域を制限した符号化済みピクチャを参照して前記輝度信号の動きベクトルを算出するとともに、算出した前記輝度信号についての動きベクトルに基づいて前記色差信号についての動きベクトルを算出する一方で、
現符号化対象ピクチャにおけるフィルタ処理前の前記第１の領域と前記第２の領域との境界位置を示す参照制限境界位置、及び前記第１の領域と前記第２の領域との位置関係の組み合わせを示す参照制限タイプを算出し、
前記参照制限タイプに基づいて前記色差信号に対する前記フィルタ処理を抑止するか否かを判定して色差フィルタ抑止情報を生成し、
前記フィルタ処理前の参照制限境界位置から前記色差信号に対する前記フィルタ処理を抑止する前記ブロックを算出して、前記第２の領域に含まれる画素を参照する可能性のある色差フィルタモードを示す色差フィルタ禁止モードを決定し、
前記フィルタ処理前の参照制限境界位置及び前記色差フィルタ抑止情報に基づいて、フィルタ処理後の前記輝度信号の参照制限境界位置を決定し、
前記色差フィルタ禁止モード及び前記輝度信号の参照制限境界位置に基づいて、前記ピクチャの復号画像における前記輝度信号及び前記輝度信号に別個に前記フィルタ処理を行い、
前記色差フィルタ禁止モード以外から選択した前記色差フィルタモード及び前記フィルタ処理後の前記輝度信号の参照制限位置に基づいて前記第１の領域を参照して導出した前記輝度信号の動きベクトルを用いて前記符号化対象ピクチャを符号化する、
処理をコンピュータに実行させるためのプログラム。
【符号の説明】
【０２０９】
１，１００  動画像符号化装置
１０１  予測誤差信号生成部
１０２  直交変換部
１０３  量子化部
１０４  エントロピー符号化部
１０５  逆量子化部
１０６  逆直交変換部
１０７  復号画像生成部
１０８  ＤＦ処理部
１０９  ＳＡＯ処理部
１１０  復号信号記憶部
１１１  動き探索部
１１２  動き補償画像信号生成部
１１３  予測信号生成部
１２１  境界位置算出部
１２２  境界位置記憶部
１２３  色差フィルタ抑止判定部
１２４  色差フィルタ禁止モード決定部
１５０  符号化部
５  コンピュータ
５０１  ＣＰＵ
５０２  主記憶装置
５０３  補助記憶装置
５０４  ＤＳＰ
５０５  入力装置
５０６  表示装置
５０７  インタフェース装置
５０８  記憶媒体駆動装置
５０９  通信装置
５１０  バス
６  撮像装置
７  インターネット
【図１】
2017017629.tif 000003
【図２】
2017017629.tif 000004
【図３】
2017017629.tif 000005
【図４】
2017017629.tif 000006
【図５】
2017017629.tif 000007
【図６】
2017017629.tif 000008
【図７】
2017017629.tif 000009
【図８】
2017017629.tif 000010
【図９】
2017017629.tif 000011
【図１０】
2017017629.tif 000012
【図１１】
2017017629.tif 000013
【図１２】
2017017629.tif 000014
【図１３】
2017017629.tif 000015
【図１４】
2017017629.tif 000016
【図１５】
2017017629.tif 000017
【図１６】
2017017629.tif 000018
【図１７】
2017017629.tif 000019
【図１８】
2017017629.tif 000020
【図１９】
2017017629.tif 000021
【図２０】
2017017629.tif 000022
【図２１】
2017017629.tif 000023
【図２２】
2017017629.tif 000024
【図２３】
2017017629.tif 000025
【図２４】
2017017629.tif 000026
【図２５】
2017017629.tif 000027
【図２６】
2017017629.tif 000028
【図２７】
2017017629.tif 000029
【図２８】
2017017629.tif 000030
【図２９】
2017017629.tif 000031
【図３０】
2017017629.tif 000032