(57)【要約】【課題】局所復号画素の生成の遅延による符号化効率の低下を抑制する。【解決手段】動画像符号化装置は、領域算出部と、予測画像生成部と、コスト算出部と、を含むイントラブロックコピー（ＩＢＣ）処理部を備える。領域算出部は、符号化対象のピクチャにおける符号化処理を終えた領域内の局所復号画像の存在する領域、及び局所復号画像の存在しない領域を算出する。予測画像生成部は、符号化対象のピクチャにおける符号化処理を終えた領域内に設定した予測画像ブロック内に局所復号画像の存在しない領域が含まれる場合に、局所復号画像、及び局所復号画像の存在しない領域の原画データを用いて予測画像を生成する。コスト算出部は、予測画像と原画データの予測単位ブロックとに基づいて符号化コストを算出し、符号化処理を終えた領域内に指定する座標の位置を変えながら符号化コストが最小となる予測画像を算出する。【選択図】図７
2017126829.tif 000002
【特許請求の範囲】
【請求項１】
符号化対象のピクチャを複数のブロックに分割して前記ブロック毎に１個又は複数個の予測単位ブロックを設定し、前記予測単位ブロック毎に前記符号化対象のピクチャにおける符号化処理を終えた領域内の局所復号画像を用いて前記予測単位ブロックについての予測画像を生成し、符号化コストが最小となる前記予測画像を算出するイントラブロックコピー処理部を備え、
前記イントラブロックコピー処理部は、
前記符号化対象のピクチャにおける前記符号化処理を終えた領域内の前記局所復号画像の存在する領域、及び前記局所復号画像の存在しない領域を算出する領域算出部と、
前記符号化対象のピクチャにおける前記符号化処理を終えた領域内に設定した予測画像ブロック内に前記局所復号画像の存在しない領域が含まれる場合に、前記予測画像ブロック内の前記局所復号画像、及び前記局所復号画像の存在しない領域の原画データを用いて前記予測画像を生成する予測画像生成部と、
前記予測画像と前記予測単位ブロックの前記原画データとに基づいて符号化コストを算出し、前記符号化処理を終えた領域内に指定する座標の位置を変えながら前記符号化コストが最小となる予測画像を算出するコスト算出部と、を含む、
ことを特徴とする動画像符号化装置。
【請求項２】
前記イントラブロックコピー処理部は、前記局所復号画像及び前記原画データを用いて生成した前記予測画像と前記予測単位ブロックとに基づいて算出される符号化コストに対し、前記予測画像に含まれる前記原画データの寸法に応じた補正量を算出する補正量算出部、を更に含み、
前記コスト算出部は、前記局所復号画像及び前記原画データを用いて生成した前記予測画像と前記予測単位ブロックとに基づいて算出される符号化コストに前記補正量を加算した値を当該予測画像についての符号化コストとする、
ことを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記動画像符号化装置は、符号化済みのピクチャを参照して前記符号化コストが最小となる予測画像を算出するインター予測部と、
前記符号化対象のピクチャにおける前記予測単位ブロックと隣接した画素を参照して前記符号化コストが最小となる予測画像を算出するイントラ予測部と、
前記インター予測部、前記イントラ予測部、及び前記イントラブロックコピー処理部で算出した予測画像の前記符号化コストに基づいて生成した前記ブロックについての予測画像及び前記原画データから予測誤差信号を生成する予測誤差信号生成部と、
生成した前記予測誤差信号を直交変換する変換部と、
変換部における直交変換で得られた変換係数を量子化する量子化部と、を更に備え、
前記補正量算出部は、前記量子化部で前記変換係数を量子化する際の量子化パラメータを用いて前記補正量を算出する、
ことを特徴とする請求項２に記載の動画像符号化装置。
【請求項４】
前記補正量算出部は、前記予測画像における前記原画データの領域内に、前記符号化処理を終えた領域内における複数の前記ブロックの部分領域が含まれる場合、前記原画データの領域を前記ブロックの部分領域と対応する複数の部分領域に分割し、前記原画データの部分領域毎に前記補正量を算出する、
ことを特徴とする請求項２に記載の動画像符号化装置。
【請求項５】
前記イントラブロックコピー処理部は、前記局所復号画像及び前記原画データを用いて前記予測画像を生成した場合に、当該予測画像における前記局所復号画像の領域と前記原画データの領域との境界部分の画素に対してフィルタ処理して画素値を平滑化するフィルタ処理部、を更に含む、
ことを特徴とする付記１に記載の動画像符号化装置。
【請求項６】
コンピュータが、符号化対象のピクチャを複数のブロックに分割して前記ブロック毎に１個又は複数個の予測単位ブロックを設定し、前記予測単位ブロック毎に前記符号化対象のピクチャにおける符号化処理を終えた領域内から前記予測単位ブロックについての予測画像を生成し、符号化コストが最小となる前記予測画像を算出する処理、を含む動画像の符号化処理及び符号化した動画像の復号処理を実行し、
前記予測画像を生成する処理では、前記コンピュータは、
前記符号化対象のピクチャにおける前記符号化処理を終えた領域内の局所復号画像の存在する領域、及び前記局所復号画像の存在しない領域を算出し、
前記符号化対象のピクチャにおける前記符号化処理を終えた領域内に設定した予測画像ブロック内に前記局所復号画像の存在しない領域が含まれる場合に、前記予測画像ブロック内の前記局所復号画像、及び前記局所復号画像の存在しない領域の原画データを用いて前記予測画像を生成し、
前記予測画像と前記予測単位ブロックの前記原画データとに基づいて符号化コストを算出し、前記符号化処理を終えた領域内に指定する座標の位置を変えながら前記符号化コストが最小となる予測画像を算出する、
ことを特徴とする動画像符号化方法。
【請求項７】
符号化対象のピクチャを複数のブロックに分割して前記ブロック毎に１個又は複数個の予測単位ブロックを設定し、前記予測単位ブロック毎に前記符号化対象のピクチャにおける符号化処理を終えた領域内から前記予測単位ブロックについての予測画像を生成し、符号化コストが最小となる前記予測画像を算出する処理、を含む動画像の符号化処理及び符号化した動画像の復号処理をコンピュータに実行させるプログラムであって、
前記予測画像を生成させる処理では、前記コンピュータに、
前記符号化対象のピクチャにおける前記符号化処理を終えた領域内の局所復号画像の存在する領域、及び前記局所復号画像の存在しない領域を算出させ、
前記符号化対象のピクチャにおける前記符号化処理を終えた領域内に設定した予測画像ブロック内に前記局所復号画像の存在しない領域が含まれる場合に、前記予測画像ブロック内の前記局所復号画像、及び前記局所復号画像の存在しない領域の原画データを用いて前記予測画像を生成させ、
前記予測画像と前記予測単位ブロックの前記原画データとに基づいて符号化コストを算出させ、前記符号化処理を終えた領域内に指定する座標の位置を変えながら前記符号化コストが最小となる予測画像を算出させる、
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置、動画像符号化方法、及びプログラムに関する。
【背景技術】
【０００２】
動画像の符号化は、動き探索処理や直交変換処理等を組み合わせて圧縮処理を実現している。そのため、動画像を符号化する符号化装置では膨大な量の演算が行われる。ISO/IECとITU-Tが共同で標準化しているHigh Efficiency Video Coding(HEVC。規格名称はISO/IEC 23008-2 | ITU-T H.265)では、H.264/MPEG-4 AVCの２倍近い圧縮性能を達成するが、H.264/MPEG-4 AVCよりも更に高い符号化処理の演算量を必要としている（例えば、非特許文献１，２を参照）。
【０００３】
動画像を符号化する際のスループットを向上させる技術の１つとして、パイプライン化手法が知られている。符号化パラメータ決定と、直交変換処理や局所復号画像の生成処理等の各処理とをパイプライン化することで、スループットを向上させることができる。
【０００４】
また、ＨＥＶＣでは、従来の動画像符号化が符号化対象としてきたカメラで撮影した自然映像だけでなく、パーソナルコンピュータ（PC）のデスクトップ画面やコンピュータグラフィクス(CG)等の計算機により人工的に生成された映像(スクリーンコンテンツと呼ぶ)も含めて効率よく圧縮する技術の導入が検討されている。スクリーンコンテンツでは、画像内で同じ模様が繰り返し出現しやすいという自然映像にはない特徴が存在する。このような繰り返し模様を効率よく圧縮するため、ＨＥＶＣでは、画面内の符号化済みの領域の座標を指定して、その座標に対応する復号画像から予測画像を生成する技術の導入が検討されている。この技術は、イントラブロックコピーと呼ばれている（例えば、特許文献１を参照）。イントラブロックコピーを導入した場合、予測画像を生成する処理では、いわゆる通常のイントラ予測と、インター予測と、イントラブロックコピーとの３種類の予測モードの中から最適なモード（符号化パラメータ）を決定することとなる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許出願公開第２０１５／００６３４４０号明細書
【非特許文献】
【０００６】
【非特許文献１】"ISO/IEC 14496-10 (MPEG-4 Part 10) ／ ITU-T Rec.H.264"、[online]、[平成２７年９月９日検索]、インターネット＜URL：http://www.itu.int/ITU-T/recommendations/rec.aspx?rec=11466＞
【非特許文献２】"ISO/IEC 23008-2 (MPEG-H Part 2) ／ ITU-T Rec.H.265"、[online]、[平成２７年９月９日検索]、インターネット＜URL：http://www.itu.int/ITU-T/recommendations/rec.aspx?rec=11885＞
【発明の概要】
【発明が解決しようとする課題】
【０００７】
イントラブロックコピーでは、現在符号化中のピクチャにおける符号化済みの領域に、現在予測処理を行っているブロック（予測ユニット）と対応する予測領域を設定し、当該予測領域の局所復号画像を用いて予測画像を生成する。そして、局所復号画像を用いて生成した予測画像と、現在予測処理を行っているブロックの原画像とを用いて符号化コストを算出し、所定の探索範囲内において符号化コストが最小となる予測画像に基づいて符号化パラメータを決定する。
【０００８】
しかしながら、パイプライン化手法を適用した場合、符号化パラメータを決定する処理から局所復号画像を生成する処理までのパイプライン処理に遅延が発生し、符号化パラメータを決定する際に予測領域内に局所復号画像が生成されていないことがある。
【０００９】
このように予測領域内に局所復号画像が生成されていない場合、イントラブロックコピーでは、予測画像を生成することができない。そのため、イントラブロックコピーでは適切な予測領域を参照できずに符号化効率（圧縮効率）が低下することがあった。
【００１０】
一つの側面において、本発明は、イントラブロックコピーを用いた動画像の符号化における局所復号画像の生成の遅延による符号化効率の低下を抑制することを目的とする。
【課題を解決するための手段】
【００１１】
１つの態様の動画像符号化装置は、領域算出部と、予測画像生成部と、コスト算出部と、を含むイントラブロックコピー処理部を備える。イントラブロックコピー処理部は、予測単位ブロック毎に符号化対象のピクチャにおける符号化処理を終えた領域内の局所復号画像を用いて予測単位ブロックについての予測画像を生成し、符号化コストが最小となる予測画像を算出する。イントラブロックコピー処理部は、符号化対象のピクチャを複数のブロックに分割してブロック毎に１個又は複数個の予測単位ブロックを設定する。
【００１２】
領域算出部は、符号化対象のピクチャにおける符号化処理を終えた領域内の局所復号画像の存在する領域、及び局所復号画像の存在しない領域を算出する。予測画像生成部は、符号化対象のピクチャにおける符号化処理を終えた領域内に設定した予測画像ブロック内に局所復号画像の存在しない領域が含まれる場合に、局所復号画像、及び局所復号画像の存在しない領域の原画データを用いて予測画像を生成する。コスト算出部は、予測画像と予測単位ブロックの原画データとに基づいて符号化コストを算出し、符号化処理を終えた領域内に指定する座標の位置を変えながら符号化コストが最小となる予測画像を算出する。
【発明の効果】
【００１３】
上述の態様によれば、イントラブロックコピーを用いた動画像の符号化における局所復号画像の生成の遅延による符号化効率の低下を抑制することができる。
【図面の簡単な説明】
【００１４】
【図１】符号化処理における処理単位ブロックを説明する図である。
【図２】予測ユニットの分割形状を示す図である。
【図３】イントラブロックコピーによる予測方法を説明する図である。
【図４】予測処理中の符号化ツリーユニットと局所復号画像が存在する領域との関係を説明する図である。
【図５】イントラブロックコピーにおける予測画像ブロックと局所復号画像の存在する領域との位置関係の例を示す図である。
【図６】一実施形態に係る動画像符号化装置の機能的構成を示す図である。
【図７】ＩＢＣ処理部の構成を示す図である。
【図８】ＩＢＣ処理部が行う処理を説明するフローチャートである。
【図９】局所復号画像と原画とを用いた予測画像の生成処理を説明するフローチャートである。
【図１０】予測画像ブロック内の局所復号画像の存在しない領域の指定方法を説明する図である。
【図１１】フィルタ処理の例を説明する図である。
【図１２】符号化コストの補正方法の別の例を説明する図である。
【図１３】コンピュータのハードウェア構成を示す図である。
【発明を実施するための形態】
【００１５】
図１は、符号化処理における処理単位ブロックを説明する図である。
動画像データの符号化は、動画像データにおける一画面分のデータ（ピクチャ）をｎ×ｍ個の符号化単位ブロックに分割し、符号化単位ブロック毎に行う。Ｈ．２６５／ＨＥＶＣ規格（以下「ＨＥＶＣ」又は「ＨＥＶＣ規格」という）においては、この符号化単位ブロックを符号化ツリーユニット（ＣＴＵ）と呼んでいる。ＨＥＶＣ規格では、例えば、図１に示すように、１枚のピクチャ１を複数の符号化ツリーユニット１００に分割し、各符号化ツリーユニット１００の符号化処理及び復号処理をラスタ順序で規定される順番で行う。
【００１６】
１個の符号化ツリーユニット（ＣＴＵ）１００に対する符号化処理及び復号処理は、符号化ツリーユニット１００内に設定される符号化ユニット（ＣＵ）と呼ばれる矩形単位毎に行われる。符号化ツリーユニット１００は、例えば、図１に示したように、再帰的な四分木ブロック分割により複数の符号化ユニット１１０（１１０−０，１１０−１，・・・，１１０−１２）に分割することができる。以下の説明では、複数の符号化ユニットを区別する必要がない場合、単に「符号化ユニット１１０」と記す。
【００１７】
再帰的な四分木ブロック分割では、例えば、１個のブロックが６４×６４画素の場合、３２×３２画素の４個のブロックに分割することができる。また、３２×３２画素のブロックは、１６×１６画素の４個のブロックに分割することができる。更に、１６×１６画素のブロックは、８×８画素の４個のブロックに分割することができる。
【００１８】
１個の符号化ツリーユニット１００を複数の符号化ユニット１１０に分割した場合、例えば、図１に示したように、各符号化ユニット１１０の符号化処理はＺスキャン順で行われる。この際、符号化ユニット１１０毎に画面内予測（イントラ予測）モードや画面間予測（インター予測）モードを切り替えることができる。
【００１９】
更に、１個の符号化ユニット（ＣＵ）１１０に対する符号化処理における予測処理は、１個の符号化ユニット１１０を１個の予測ユニット（ＰＵ）として、又は複数の予測ユニットに分割して行うことができる。１個の符号化ユニット１１０を複数の予測ユニットに分割する場合、符号化ユニット１１０は、予め用意された分割形状パターンに基づいて分割することができる。例えば、１個の符号化ユニット１１０は、図１に示すように、７個の予測ユニット１２０−０，１２０−１，・・・，１２０−６に分割することができる。以下の説明では、複数の予測ユニットを区別する必要がない場合、単に「予測ユニット１２０」と記す。
【００２０】
図２は、予測ユニットの分割形状を示す図である。図２には、符号化ユニット１１０を複数の予測ユニット１２０に分割する際に設定し得る８通りの分割形状を示している。ただし、イントラ予測モードでは、予測ユニット１２０の分割形状として、図２に示した８通りの分割形状のうち、２Ｎ×２Ｎ及びＮ×Ｎのみを選択することができる。２Ｎ×２Ｎを選択した場合、予測ユニット１２０のサイズは符号化ユニット１１０と同じサイズになる。また、Ｎ×Ｎを選択した場合、符号化ユニット１１０を４個の正方画素ブロックに分割して４個の予測ユニット１２０を設定することができる。一方、インター予測モードでは、予測ユニット１２０の分割形状として、２Ｎ×２Ｎ及びＮ×Ｎに加えて、２Ｎ×Ｎ及びＮ×２Ｎを選択することもできる。更に、インター予測モードにおいて非対称動き分割が有効である場合、予測ユニット１２０の分割形状として、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、及びｎＲ×２Ｎを選択することができる。
【００２１】
各符号化ユニット１１０に対する予測処理においてどの分割形状を用いるかは、符号化ユニット１１０毎に選択することができる。また、予測処理における予測方法に関するパラメータ（例えば動きベクトル等）は、予測ユニット１２０単位で個別に指定することができる。１個の符号化ユニット１１０を複数の予測ユニット１２０に分割した場合、各予測ユニット１２０の予測処理はＺスキャン順で行われる。
【００２２】
また、予測処理後に行われる予測誤差信号の生成、直交変換及び量子化処理は、１個の符号化ユニット１１０を１個の変換ユニット（ＴＵ: Transform Unit）として、又は複数個の変換ユニットに分割して行うことができる。
【００２３】
動画像の符号化処理では、上記のように、符号化ユニット１１０単位でイントラ予測やインター予測を行い、符号化ユニット１１０内の予測ユニット１２０に対する予測画像を生成する。イントラ予測においては、予測ユニット１２０の隣接画素から方向性予測を行い、予測画像を生成する。インター予測においては、過去に符号化したピクチャを参照画像として、参照画像上の領域を動きベクトルにより指定し、該領域の画素から予測画像を生成する動き補償技術が用いられている。インター予測の結果に基づいて生成した予測画像を用いて符号化した場合、この動き補償により、動画像の時間方向の相関性を利用して動画像データを高効率に圧縮することができる。
【００２４】
ＨＥＶＣ規格を含む符号化規格においては、これまで、カメラ等で撮像した自然映像（自然動画像）を主な符号化対象としていた。しかしながら、近年、コンピュータのデスクトップ画面やコンピュータグラフィクス等の計算機により人工的に生成された映像（スクリーンコンテンツ）を符号化することが増えている。そのため、ＨＥＶＣ規格では、スクリーンコンテンツを含む各種の動画像データを効率よく圧縮する技術の導入が検討されている。例えば、仮想デスクトップインフラストラクチャー（ＶＤＩ: Virtual Desktop Infrastructure）では、サーバ上の仮想マシンで定期的に生成される画面データ（動画像データ）をクライアントに送信してクライアントの表示装置に表示させる。このＶＤＩでは、サーバで生成した動画像データをクライアントに送信（転送）する際の転送遅延を抑制するため、サーバで生成した動画像データを効率よく符号化することが望まれている。
【００２５】
スクリーンコンテンツでは、画像内で同じ模様が繰り返し出現しやすいという自然画像にはない特徴が存在する。ＨＥＶＣ規格では、そのような繰り返し模様を含む動画像データを効率よく圧縮するための技術として、上述のように、イントラブロックコピーと呼ばれる新たな予測技術の導入が検討されている。イントラブロックコピーは、現在符号化処理を行っているピクチャ内における符号化済みの領域の座標を指定して、その座標に対応する局所復号画像から予測画像を生成する予測方法である。このイントラブロックコピーによる予測方法について、図３を参照して説明する。
【００２６】
図３は、イントラブロックコピーによる予測方法を説明する図である。図３には、ピクチャ１において現在予測処理を行っている符号化ツリーユニット１００−ｐに対しイントラブロックコピーを行うときの予測ユニットと予測画像ブロックの例を示している。符号化ツリーユニット１００−ｐは、４個の符号化ユニット１１０に分割しており、図３では、右上の符号化ユニット１１０に対するイントラブロックコピーを行っている。すなわち、図３に示した例では、４個の符号化ユニットのうち右上の符号化ユニット１１０を１個の予測ユニット１２０とし、イントラブロックコピーを行っている。
【００２７】
イントラブロックコピーでは、予測ユニット１２０の隣接画素から方向性予測を行う通常のイントラ予測とは異なり、符号化済みの領域内における任意の領域を探索対象として予測ユニット１２０についての予測画像を探索することができる。符号化処理及び復号処理をパイプライン化している場合、現在予測処理を行っている符号化ツリーユニット１００−ｐよりも前に予測処理を終えている符号化ツリーユニットについては、順次符号化処理及び復号処理が行われる。ピクチャ１の左上角部に位置する符号化ツリーユニットからラスタスキャン順で符号化処理を行っている場合、図３に太い点線で示したかぎ状の境界１３０よりも上方の領域１３２が、予測処理を終えた領域となる。以下、境界１３０よりも上方の領域１３２を予測済み領域という。
【００２８】
すなわち、イントラブロックコピーでは、図３に示したように、ピクチャ１の予測済み領域１３２内に予測画像ブロック１４０−１及び１４０−２を含む多数の予測画像ブロックを設定して予測画像を生成する。予測画像ブロック１４０−１は、探索点（Ｓｘ１，Ｓｙ１）と、予測ユニットのサイズＰＵｘ×ＰＵｙとで指定される矩形領域である。また、予測画像ブロック１４０−２は、探索点（Ｓｘ２，Ｓｙ２）と、予測ユニットのサイズＰＵｘ×ＰＵｙとで指定される矩形領域である。イントラブロックコピーでは、ピクチャ１についての局所復号画像から上記の予測画像ブロックの位置及びサイズで指定された矩形領域を読み出し、これを予測画像とする。そして、予測画像と予測ユニットとに基づいて算出される符号化コストが最小となる予測画像を算出する。
【００２９】
ＨＥＶＣ規格にイントラブロックコピーが導入された場合、符号化ユニット１１０単位にイントラブロックコピー予測モード、イントラ予測モード、及びインター予測モードの中から最適な予測モードを選択することが可能となる。
【００３０】
ところで、予測画像の生成に用いる局所復号画像は、動画像符号化装置において符号化された信号に対する復号処理を行って生成する。また、動画像符号化装置では、符号化処理及び復号処理のスループット向上手法として、パイプライン化手法が知られている。パイプライン化手法では、符号化パラメータの決定と、直交変換や局所復号画像生成などの各処理をパイプライン化することで、スループットを向上させる。しかしながら、パイプライン化手法では、符号化パラメータの決定から局所復号画像の生成までにパイプライン遅延が発生し、符号化パラメータを決定するタイミングで、隣接ブロックの局所復号画像が生成されていないことがある。
【００３１】
図４は、予測処理中の符号化ツリーユニットと局所復号画像が存在する領域との関係を説明する図である。図５は、イントラブロックコピーにおける予測画像ブロックと局所復号画像の存在する領域との位置関係の例を示す図である。
【００３２】
図４において、ピクチャ１の符号化は、ピクチャ１の短辺方向を画面上下方向としたときに左上角部となる位置の符号化ツリーユニット１００−０からラスタスキャン順に行われている。そのため、ピクチャ１内の符号化ツリーユニット１００−ｐに対する予測処理を行っている時点では、図４にかぎ状の太点線で示した境界１３０の上方が予測済み領域１３２となる。この予測済み領域１３２に含まれる符号化ツリーユニット１００については、予測処理を終えた後、パイプライン処理により直交変換及び量子化等の符号化処理、並びに復号処理が順次行われている。
【００３３】
しかしながら、上記のようにパイプライン遅延が発生した場合、ラスタスキャン順で現在予測処理を行っている符号化ツリーユニット１００−ｐの１個から数個前に位置する符号化ツリーユニットでは、まだ局所復号画像が生成されていないことがある。すなわち、パイプライン遅延が発生した場合、図４に示したように、予測済み領域１３２内には局所復号画像が存在する領域１３２ａと、局所復号画像の存在しない領域１３２ｂとが生じる。そのため、パイプライン遅延が発生した場合、予測済み領域１３２内に局所復号画像の存在していない領域１３２ｂがある状況で符号化ツリーユニット１００−ｐに対する予測処理（符号化パラメータを決定する処理）を開始することがある。
【００３４】
このような状況下でイントラブロックコピーを行う場合、例えば、図５に示した予測画像ブロック１４０−１のように、ブロック全体が局所復号画像の存在する領域１３２ａに含まれていると、局所復号画像を用いた予測画像を生成することができる。予測画像ブロック１４０−１は、符号化ツリーユニット１００−ｐの予測ユニット１２０に対するイントラブロックコピーにおける予測画素ブロックの１つである。この予測画素ブロック１４０−１は、図３に示したとおり、探索点（Ｓｘ１，Ｓｙ１）と、予測ユニットのサイズＰＵｘ×ＰＵｙとで指定される矩形領域である。
【００３５】
一方、図５に示した別の予測画像ブロック１４０−３のように、ブロック内の一部の領域１５０が局所復号画像の存在しない領域１３２ｂに含まれる場合、領域１５０についての局所復号画像が存在しない。そのため、局所復号画像を用いて予測画像ブロック１４０−３全体の予測画像を生成することができない。予測画像ブロック１４０−３は、符号化ツリーユニット１００−ｐの予測ユニット１２０に対するイントラブロックコピーにおける予測画素ブロックの１つである。この予測画素ブロック１４０−３は、図５に示したとおり、探索点（Ｓｘ３，Ｓｙ３）と、予測ユニットのサイズＰＵｘ×ＰＵｙとで指定される矩形領域である。
【００３６】
すなわち、予測画像ブロック１４０−３は、内部に局所復号画素の存在しない領域１３２ｂが含まれるため、そのままでは現在予測処理中の予測ユニット１２０についての予測画像とすることができない。従って、予測済みの領域１３２内に局所復号画像の存在しない領域１３２ｂが含まれる場合、現在予測処理中の予測ユニット１２０についての予測画像を探索可能な範囲に制限が生じ、最適な予測画像を生成することができない可能性がある。
【００３７】
図６は、一実施形態に係る動画像符号化装置の機能的構成を示す図である。
図６に示すように、本実施形態の動画像符号化装置２は、予測処理部２００と、予測誤差信号生成部２１０と、変換／量子化部２２０と、エントロピー符号化部２３０と、を備える。また、動画像符号化装置２は、逆量子化／逆変換部２４０と、復号画像生成部２５０と、局所復号画像記憶部２６０と、を備える。動画像符号化装置２における予測処理部２００、予測誤差信号生成部２１０、変換／量子化部２２０、及びエントロピー符号化部２３０は、符号化処理を行う。また、動画像符号化装置２における逆量子化／逆変換部２４０、及び復号画像生成部２５０は、復号処理を行う。
【００３８】
予測処理部２００は、符号化対象のピクチャ（原画データ）と局所復号画像記憶部に記憶させた局所復号画像とを用いた予測処理を行って予測画像を生成する。ＨＥＶＣ規格の符号化においては、予測処理部２００は、１個の符号化ユニット１１０内に含まれる予測ユニット１２０毎に予測画像を生成し、それらをまとめて１個の符号化ユニット１１０の予測画像として出力する。この予測処理部２００は、インター予測部２０１と、イントラ予測部２０２と、ＩＢＣ処理部２０３と、モード選択部２０４と、予測画像生成部２０５と、を含む。インター予測部２０１は、符号化済みの他のピクチャを参照した動き探索及び動き補償を含むインター予測を行う。イントラ予測部２０２は、符号化対象のピクチャにおける予測処理中のブロック（予測ユニット）に隣接した画素を参照したイントラ予測を行う。ＩＢＣ処理部２０３は、イントラブロックコピーによる予測処理を行う。モード選択部２０４は、インター予測部２０１の予測結果、イントラ予測部２０２の予測結果、及びＩＢＣ処理部２０３の予測結果に基づいて、予測処理中の予測ユニットに対する符号化モード（符号化パラメータ）を選択する。予測画像生成部は、選択した符号化モードに基づいて、予測処理中の予測ユニットについての予測画像を生成する。予測処理部２００は、１個の符号化ユニット１１０についての予測画像を生成すると、生成した予測画像を予測誤差信号生成部２１０及び復号画像生成部２５０に出力する。
【００３９】
予測誤差信号生成部２１０は、予測処理を終えたブロック（符号化ユニット）についての原画データと、予測処理部２００で生成した予測画像との差分を表す予測誤差信号を生成する。予測誤差信号生成部２００は、生成した予測誤差信号を変換／量子化部２２０に出力する。
【００４０】
変換／量子化部２２０は、予測誤差信号に対して直交変換を行うとともに、直交変換により得られる変換係数を量子化する。変換／量子化部は、量子化された変換係数（以下、単に「係数」ともいう）をエントロピー符号化部２３０、及び逆量子化／逆変換部２４０に出力する。また、変換／量子化部２２０は、符号化ユニット１１０の各変換ブロック（ＴＵ）を量子化する際に用いる量子化パラメータをＩＢＣ処理部２０３に出力する。
【００４１】
エントロピー符号化部２３０は、量子化された係数に対してエントロピー符号化（可変長符号化）を行いビットストリームとして出力する。
【００４２】
逆量子化／逆変換部２４０は、量子化された係数に対して逆量子化を行うとともに、逆量子化により復元された変換係数に対して逆直交変換を行う。すなわち、逆量子化／逆変換部２４０は、量子化された係数から変換／量子化部２２０で直交変換をする前の予測誤差信号を復元する処理を行う。逆量子化／逆変換部２４０は、復元した信号を復号画像生成部２５０に出力する。
【００４３】
復号画像生成部２５０は、逆量子化／逆変換部２４０で復元した信号と、予測処理部２００（予測画像生成部２０５）で生成した予測画像とに基づいて局所復号画像を生成する。また、復号画像生成部２５０は、生成した局所復号画像に発生するノイズ等を低減するためのフィルタ処理、例えばデブロッキングフィルタ処理やSample Adaptive Offset（ＳＡＯ）処理を行う。復号画像生成部２５０は、フィルタ処理後の局所復号画像を局所復号画像記憶部２６０に記憶させる。局所復号画像記憶部２６０に記憶させた局所復号画像は、予測処理部２００が予測処理を行う際に参照する。
【００４４】
本実施形態の動画像符号化装置２における予測処理部２００のインター予測部２０１及びイントラ予測部２０２は、それぞれ、原画データ及び局所復号画像を用いて既知のＨＥＶＣ規格におけるインター予測及びイントラ予測を行う。インター予測部２０１は、インター予測により得られた動きベクトル及び符号化コストを含む予測結果（符号化パラメータ）をモード選択部２０４に出力する。イントラ予測部２０２は、イントラ予測により得られた予測モード及び符号化コストを含む予測結果（符号化パラメータ）をモード選択部２０４に出力する。
【００４５】
また、予測処理部２００のＩＢＣ処理部２０３は、原画データと、局所復号画像と、量子化パラメータとを用いて、上記のイントラブロックコピーによる予測画像の生成や符号化コストの算出等を行う。ＩＢＣ処理部２０３は、イントラブロックコピーにより得られた予測画像ブロック及び符号化コストを含む予測結果（符号化パラメータ）をモード選択部２０４に出力する。
【００４６】
モード選択部２０４は、インター予測部２０１、イントラ予測部２０２、及びＩＢＣ処理部２０３からの予測結果（符号化パラメータ）に基づいて、符号化コストが最小となる符号化モードを選択する。モード選択部２０４は、選択した符号化モードと対応する符号化パラメータを予測画像生成部２０５に出力する。
【００４７】
予測画像生成部２０５は、モード選択部２０４で選択した符号化パラメータに従い、原画データと局所復号画像とを用いて予測画像を生成する。予測画像生成部２０５は、生成した予測画像を予測誤差信号生成部２１０及び復号画像生成部２５０に出力する。
【００４８】
図７は、ＩＢＣ処理部の構成を示す図である。
図７に示すように、ＩＢＣ処理部２０３は、探索点制御部２０３ａと、局所復号画像領域算出部２０３ｂと、ＩＢＣ予測画像生成部２０３ｃと、原画記憶部２０３ｄと、フィルタ処理部２０３ｅと、を備える。また、ＩＢＣ処理部２０３は、コスト算出部２０３ｆと、補正量算出部２０３ｇと、ＱＰ情報記憶部２０３ｈと、を備える。
【００４９】
探索点制御部２０３ａは、ＩＢＣ処理におけるピクチャ１内の探索点、言い換えると予測画像ブロックを生成する位置の指定及び切替等の制御処理を行う。
【００５０】
局所復号画像領域算出部２０３ｂは、局所復号画像記憶部２６０を参照し、指定した探索点に対応する予測画像ブロック内における局所復号画像の存在する領域と、局所復号画像の存在しない領域とを算出する。局所復号画像領域算出部２０３ｂは、例えば、局所復号画素の存在しない領域の位置及び寸法を表す領域情報をＩＢＣ予測画像生成部２０３ｃに出力する。
【００５１】
ＩＢＣ予測画像生成部２０３ｃは、局所復号画像領域算出部２０３ｂで算出した領域情報に基づいて、イントラブロックコピーによる予測画像を生成する。予測画像ブロック内が全て局所復号画像の存在する領域である場合、ＩＢＣ予測画像生成部２０３ｃは、当該予測画像ブロック内の局所復号画像を用いて予測画像を生成する。一方、予測画像ブロック内に局所復号画像の存在しない領域がある場合、ＩＢＣ予測画像生成部２０３ｃは、局所復号画像と原画とを用いて予測画像を生成する。このとき、ＩＢＣ予測画像生成部２０３ｃは、局所復号画像が存在する領域については局所復号画像を用いる。一方、ＩＢＣ予測画像生成部２０３ｃは、局所復号画像が存在しない領域には原画記憶部２０３ｄに記憶させた原画を用いる。また、局所復号画像と原画とを用いて予測画像を生成した場合、ＩＢＣ予測画像生成部２０３ｃは、予測画像における局所復号画像の領域と原画の領域との境界に対するフィルタ処理をフィルタ処理部２０３ｅに行わせる。
【００５２】
フィルタ処理部２０３ｅは、例えば、予測画像における局所復号画像の領域と原画の領域との境界に生じるノイズ等を低減するフィルタ処理を行う。フィルタ処理部２０３ｅは、例えば、局所復号画像の領域と原画の領域との境界部分で水平方向又は垂直方向に連続する３個の局所復号画像及び原画の画素の組に対し３タップフィルタによるフィルタ処理を実行する。
【００５３】
コスト算出部２０３ｆは、ＩＢＣ予測画像生成部２０３ｃで生成した予測画像と、現在予測処理中の予測ユニット１２０の原画とに基づいて符号化コストを算出する。また、予測画像内に原画が含まれる場合、コスト算出部２０３ｆは、予測画像の一部に原画を用いたことにより生じる符号化コストの誤差を補正するため、補正量算出部２０３ｇに補正量を算出させる。すなわち、予測画像内に原画が含まれる場合、コスト算出部２０３ｆは、補正量算出部２０３ｇで算出した補正量に基づいて、予測画像と原画とから算出される符号化コストを補正する。更に、コスト算出部２０３ｆは、１個の予測ユニット１２０に対し探索点を変更して順次算出される符号化コストのうち最小値となる符号化コストと対応する符号化パラメータを保持する。そして、コスト算出部２０３ｆは、１個の予測ユニット１２０に対するＩＢＣ処理が終了すると、符号化コストが最小値となる符号化パラメータをモード選択部２０４に出力する。コスト算出部２０３ｆが出力する予測画像についての符号化パラメータは、予測画像の位置を表す探索点、及び符号化コストを含む。
【００５４】
補正量算出部２０３ｇは、補正量として、例えば、予測画像における原画が割り当てられた画素を量子化した際に生じる量子化誤差の推定値を算出する。補正量算出部２０３ｇは、例えば、原画が割り当てられた画素を局所復号画素領域算出部２０３ｂから取得する。また、補正量算出部２０３ｇは、ＱＰ情報記憶部２０３ｈから量子化誤差の推定値の算出に必要な量子化パラメータＱＰを読み出す。ＱＰ情報記憶部２０３ｈには、変換／量子化部２２０から取得した量子化パラメータに関する情報が記憶されている。
【００５５】
本実施形態の動画像符号化装置２は、上記のようにＨＥＶＣ規格に従って動画像データを符号化する。ただし、予測処理部２００では、インター予測部２０１及びイントラ予測部２０２による予測に加え、ＩＢＣ処理部２０３による予測が行われる。インター予測部２０１及びイントラ予測部２０２は、それぞれ、ＨＥＶＣ規格における既知の予測手順に従ってインター予測（画面間予測）及びイントラ予測（画面内予測）を行う。一方、ＩＢＣ処理部２０３は、例えば、図８及び図９に示した処理を行う。
【００５６】
図８は、ＩＢＣ処理部が行う処理を説明するフローチャートである。図９は、局所復号画像と原画とを用いた予測画像の生成処理を説明するフローチャートである。なお、図８のフローチャートには、ＩＢＣ処理部２０３が１個の予測ユニット（ＰＵ）に対して行う処理の内容を示している。
【００５７】
ＩＢＣ処理部２０３は、処理対象の予測ユニットが指定されると、図８に示すように、まず、探索点及び符号化コストを初期値に設定する（ステップＳ１）。ステップＳ１は、探索点制御部２０３ａが行う。探索点制御部２０３ａは、例えば、処理対象の予測ユニットの位置と、予め定めた探索範囲（予測画像ブロックの設定範囲）と、探索点の設定順序に従って、最初の探索点の位置を設定し、局所復号画像領域算出部２０３ｂに通知する。また、探索点制御部２０３ａは、コスト算出部２０３ｆに符号化コストの初期値を通知する。符号化コストの初期値は、例えば、予め用意した複数種類の原画を用いたイントラブロックコピーにより算出された符号化コストの最小値に基づいて当該最小値よりも大きな値にしておく。コスト算出部２０３ｆは、後述する判定で用いる符号化コストの値を通知された初期値に設定する。
【００５８】
次に、ＩＢＣ処理部２０３は、ピクチャ内における局所復号画像の存在する領域と存在しない領域とを算出する（ステップＳ２）。ステップＳ２は、局所復号画像領域算出部２０３ｂが行う。局所復号画像領域算出部２０３ｂは、局所復号画像記憶部２６０を参照し、現在符号化処理を行っているピクチャ１の予測済み領域１３２内における局所復号画像の存在する領域１３２ａ及び存在しない領域１３２ｂの位置を表す領域情報を算出する。局所復号画像領域算出部２０３ｂは、算出した領域情報をＩＢＣ予測画像生成部２０３ｃに通知する。
【００５９】
ＩＢＣ予測画像生成部２０３ｃは、局所復号画像領域算出部２０３ｂからの領域情報を受けると、指定された探索点に基づいて設定する予測画像ブロック内に局所復号画像の存在しない領域があるか否かを判断する（ステップＳ３）。局所復号画像の存在しない領域がない場合（ステップＳ３；Ｎｏ）、ＩＢＣ予測画像生成部２０３ｃは、予測画像ブロック内の局所復号画像を用いて予測画像を生成する（ステップＳ４）。このとき、ＩＢＣ予測画像生成部２０３ｃは、ステップＳ４で生成した予測画像と、局所復号画像の存在しない領域がないことを示す情報、すなわち予測画像に原画が含まれないことを示す情報をコスト算出部２０３ｆに出力する。予測画像及び情報を受け取ったコスト算出部２０３ｆは、受け取った予測画像と原画記憶部２０３ｄの原画とに基づいて符号化コストを算出する（ステップＳ５）。予測画素ブロック内に局所復号画像の存在しない領域がない場合、すなわち予測画素の生成に原画を用いていない場合、コスト算出部２０３ｆは、ステップＳ５で算出した符号化コストを、当該予測画素ブロックについての符号化コストとする。
【００６０】
一方、局所復号画像の存在しない領域がある場合（ステップＳ３；Ｙｅｓ）、ＩＢＣ予測画像生成部２０３ｃは、局所復号信号と原画とを用いて予測画像を生成する（ステップＳ６）。このとき、ＩＢＣ予測画像生成部２０３ｃは、ステップＳ６で生成した予測画像と、予測画像に原画が含まれることと、原画の領域とを示す情報をコスト算出部２０３ｆに出力する。予測画像及び情報を受け取ったコスト算出部２０３ｆは、受け取った予測画像と原画記憶部２０３ｄの原画とに基づいて符号化コストを算出する（ステップＳ７）。また、コスト算出部２０３ｆは、受け取った情報から予測画像に原画が含まれることを検出すると、補正量算出部２０３ｇに符号化コストの補正量を算出させ、当該補正量に基づいて符号化コストを補正する（ステップＳ８）。予測画素ブロック内に局所復号画像の存在しない領域が含まれる場合、すなわち予測画素の生成に原画を用いた場合、コスト算出部２０３ｆは、ステップＳ８で補正した符号化コストを、当該予測画素ブロックについての符号化コストとする。
【００６１】
符号化コストを算出した後、コスト算出部２０３ｆは、算出した符号化コストが最小値であるか否かを判定する（ステップＳ９）。コスト算出部２０３ｆは、１個の予測ユニットに対する処理における現在の符号化コストの最小値と、直前の処理で算出した符号化コストとを比較し、直前の処理で算出した符号化コストが最小値であるか否かを判定する。１個の予測ユニットに対する１回目の判定である場合、コスト算出部２０３ｆは、ステップＳ１で設定した初期値と直前に算出した符号化コストとを比較する。直前に算出した符号化コストが最小値ではない場合（ステップＳ９；Ｎｏ）、コスト算出部２０３ｆは、符号化コストの最小値を変更せず、指定した探索点についての処理を終えたことを探索点制御部２０３ａに通知する。一方、直前に算出した符号化コストが最小である場合（ステップＳ９；Ｙｅｓ）、コスト算出部２０３ｆは、符号化コストの最小値を更新し（ステップＳ１０）、その後、指定した探索点についての処理を終えたことを探索点制御部２０３ａに通知する。
【００６２】
コスト算出部２０３ｆから処理を終えたことを表す通知を受けると、探索点制御部２０３ａは、未処理の探索点があるか否かを判定する（ステップＳ１１）。未処理の探索点がある場合（ステップＳ１１；Ｙｅｓ）、探索点制御部２０３ａは、探索点を更新し（ステップＳ１２）、更新した探索点を局所復号画像領域算出部２０３ｂに通知する。これにより、ＩＢＣ処理部２０３が行う処理はステップＳ２に戻る。以降、ＩＢＣ処理部２０３は、未処理の探索点がなくなるまでステップＳ２〜Ｓ１２の処理を繰り返す。そして、全ての探索点に対しステップＳ２〜Ｓ１０の処理を行い未処理の探索点がなくなった場合（ステップＳ１１；Ｎｏ）、ＩＢＣ処理部２０３は、符号化コストが最小値となる符号化パラメータをモード選択部２０４に出力する（ステップＳ１３）。ステップＳ１１において全ての探索点について処理を行ったと判定した場合、探索点制御部２０３ａは、コスト算出部２０３ｆに符号化パラメータの出力を指示する。コスト算出部２０３ｆは、探索点制御部２０３ａからの指示を受けると、符号化コストが最小値となる予測画像についての符号化パラメータをモード選択部２０４に出力する。
【００６３】
このように、本実施形態の動画像符号化装置２におけるＩＢＣ処理部２０３は、予測画像ブロック内に局所復号画像の存在しない領域がある場合、その領域に原画を用いて予測画像を生成する。そのため、本実施形態のＩＢＣ処理部２０３が行う処理では、予測済み領域１３２のうち局所復号画像の存在しない領域１３２ｂを含む予測画素ブロックもイントラブロックコピーによる予測の対象とすることが可能になる。
【００６４】
次に、図８のフローチャートにおけるステップＳ６の処理、すなわち予測画像ブロック内に局所復号画像の存在しない領域がある場合の予測画像の生成処理について、図９を参照して説明する。図９は、局所復号画像と原画とを用いた予測画像の生成処理を説明するフローチャートである。
【００６５】
予測画像ブロック内に局所復号画像の存在しない領域がある場合、ＩＢＣ予測画像生成部２０３ｃは、局所復号画像と原画とを用いて予測画像を生成する。このとき、ＩＢＣ予測画像生成部２０３ｃは、図９に示すように、まず、予測画像ブロックにおける局所復号画像の存在しない領域の位置及び寸法を特定する（ステップＳ６０１）。ステップＳ６０１において、ＩＢＣ予測画像生成部２０３ｃは、局所復号画像領域算出部２０３ｂから通知された領域情報に基づいて、局所復号画像の存在しない領域の位置及び寸法を特定する。
【００６６】
次に、ＩＢＣ予測画像生成部２０３ｃは、ピクチャ内におけるステップＳ６０１で特定した位置及び寸法の原画を読み出す（ステップＳ６０２）。ステップＳ６０２において、ＩＢＣ予測画像生成部２０３ｃは、原画記憶部２０３ｄに記憶させた現在符号化処理を行っているピクチャの原画データのうちステップＳ６０１で特定した位置及び寸法と対応する部分データを読み出す。
【００６７】
次に、ＩＢＣ予測画像生成部２０３ｃは、予測画像ブロック内の局所復号画像を読み出す（ステップＳ６０３）。ステップＳ６０３において、ＩＢＣ予測画素生成部２０３ｃは、探索点制御部２０３ａにより指定された探索点及び予測画素ブロックの寸法に基づいて、局所復号画像記憶部２６０から予測画像ブロック内の局所復号画像を読み出す。このとき読み出される局所復号画像は、予測ブロック内の一部の領域が欠落した画像となる。
【００６８】
次に、ＩＢＣ予測画像生成部２０３ｃは、読み出した原画と局所復号画像とを合成して予測画像を生成する（ステップＳ６０４）。ステップＳ６０４において、ＩＢＣ予測画素生成部２０３ｃは、局所復号画像の欠落した領域に読み出した原画をはめ込み、予測画像ブロックの概形と一致する１個の矩形の予測画像を生成する。
【００６９】
なお、ステップＳ６０４で生成する予測画像は、量子化誤差成分が重畳された局所復号画像と、量子化誤差成分が０であるとみなすことができる原画とを並べて１個の予測画像にしたものである。そのため、ステップＳ６０４で生成した予測画像は、局所復号画像の領域と原画の領域との境界において、量子化誤差の分だけ画素値に不連続性が生じ、符号化コストにノイズを与えることがある。
【００７０】
従って、ＩＢＣ予測画像生成部２０３ｃは、次に、ステップＳ６０４で生成した予測画像に対しフィルタ処理を行うか否かを判定する（ステップＳ６０５）。ステップＳ６０５において、ＩＢＣ予測画像生成部２０３ｃは、例えば、局所復号画像の領域における原画の領域との境界に沿った画素についての量子化誤差が所定の閾値よりも大きい場合にフィルタ処理を行うと判定する。
【００７１】
フィルタ処理を行うと判定した場合（ステップＳ６０５；Ｙｅｓ）、ＩＢＣ予測画像生成部２０３ｃは、次に、局所復号画像の領域と原画データの領域との境界に対するフィルタ処理をフィルタ処理部２０３ｅに実行させる（ステップＳ６０６）。ステップＳ６０６において、ＩＢＣ予測画像生成部２０３ｃは、局所復号画像の領域と原画データの領域との境界の位置を示す情報と、適用するフィルタ処理を指定する情報とをフィルタ処理部２０３ｅに通知し、フィルタ処理を実行させる。フィルタ処理部２０３ｅは、ＩＢＣ予測画像生成部２０３ｃから通知された情報に基づいてフィルタ処理を実行する。フィルタ処理部２０３ｅは、例えば、水平方向又は垂直方向に並ぶ局所復号画像及び原画画素を含む３個の画素からなる組に対し所定の３タップフィルタを実行（適用）する。この際、フィルタフィルタ処理部２０３ｅは、境界の位置を示す情報に基づいて、境界部分で隣接する３個の画素の画素値を原画記憶部２０３ｄ及び局所復号画像記憶部２６０から読み込み、上記の３タップフィルタを実行する。フィルタ処理部２０３ｅは、フィルタ処理を終えると処理結果、すなわち局所復号画像の領域と原画の領域との境界におけるフィルタ処理後の画素値をＩＢＣ予測画像生成部２０３ｃに通知する。ＩＢＣ予測画像生成部２０３ｃは、フィルタ処理部２０３ｅからフィルタ処理後の画素値を受け取ると、ステップＳ６０４で生成した予測画像における境界部分の画素値を書き換える。これにより、ステップＳ６０６の処理が終了し、局所復号画像と原画とを用いた予測画像の生成処理が終了する。
【００７２】
一方、フィルタ処理を行わないと判定した場合（ステップＳ６０５；Ｎｏ）ＩＢＣ予測画像生成部２０３ｃは、ステップＳ６０６の処理をスキップし、局所復号画像と原画とを用いた予測画像の生成処理を終了する。
【００７３】
なお、図９に示したフローチャートでは、フィルタ処理を行うか否かを判定しているが、これに限らず、局所復号画像と原画とを用いて予測画像を生成した場合には常にフィルタ処理（ステップＳ６０６）を行うようにしてもよい。また、フィルタ処理を行う場合、フィルタ処理部２０３ｅは、ＩＢＣ予測画像生成部２０３ｃが生成した予測画像からフィルタ処理に用いる画素値を取得してもよい。
【００７４】
このように、本実施形態の動画像符号化装置２におけるＩＢＣ処理部２０３は、予測画像ブロック内に局所復号画像の存在しない領域がある場合、その領域に原画を用いた予測画像を生成する。そのため、例えば予測処理後の処理に遅延が生じ、ある予測ユニットに対するＩＢＣ処理を行うタイミングで探索範囲内に局所復号画像が生成されていない領域が存在する場合でも、予測画像を生成することが可能になる。従って、本実施形態のＩＢＣ処理部２０３が行う処理では、予測処理を終えた領域のうち局所復号画像が生成されていない領域も予測の対象とすることが可能になる。よって、本実施形態によれば、イントラブロックコピーによる予測を行う際の局所復号画像が存在しないことによる予測画像の探索範囲の制限が抑制され、最適な予測画像が生成される可能性が高くなる。
【００７５】
図１０は、予測画像ブロック内の局所復号画像の存在しない領域の指定方法を説明する図である。
【００７６】
動画像符号化装置２のＩＢＣ処理部２０３は、上述のように、現在符号化処理を行っているピクチャ内の符号化済みの領域を探索して予測画像を生成する。ところが、動画像の符号化処理においては、上記のようにパイプライン遅延が生じ、例えば、図１０に示すように、探索点に基づいて設定した予測画像ブロック内に局所復号画像がまだ生成されていない領域が存在することがある。
【００７７】
図１０に示した例では、現在ＩＢＣ処理を行っている予測ブロックのサイズがＰＵｘ×ＰＵｙであり、探索点（Ｓｘ，Ｓｙ）を起点とする予測画像ブロック１４０がピクチャ内に設定されている。また、図１０においてピクチャ１の下方を横切る太い点線は、予測処理を終えた領域とまだ予測処理を行っていない領域との境界１３０を示しており、境界１３０の上方が予測処理を終えた予測済み領域１３２である。更に、図１０において、予測済み領域１３２内に示した破線は、局所復号画像の存在する領域１３２ａと局所復号画像の存在しない領域１３２ｂとの境界を示している。
【００７８】
すなわち、図１０に示した例では、設定した予測画像ブロック１４０内の右下方部の矩形領域１５０が局所復号画像の存在しない領域内に含まれる。そのため、ＩＢＣ予測画像生成部２０３ｃは、予測画像ブロック１４０内の全域を局所復号画像とする予測画像を生成することができない。
【００７９】
ところが、本実施形態のＩＢＣ処理部２０３が行う処理では、上記のように、まず、局所復号画像領域算出部２０３ｂにおいて予測画像ブロック１４０内における局所復号画像の存在する領域１３２ａと存在しない領域１３２ｂとを算出する。局所復号画像領域算出部２０３ｂは、局所復号画像記憶部２６０が記憶している局所復号画像を参照し、予測処理を終えた領域１３２内で局所復号画像がまだ生成されていない領域１３２ｂを算出する。ピクチャ１の符号化は符号化ツリーユニット単位でラスタスキャン順に行っており、符号化ツリーユニット内の符号化処理及び復号が処理は符号化ユニット単位で行っている。そのため、局所復号画像が存在しない領域１３２ｂは、矩形領域、あるいは複数個の矩形領域に分割可能な多角形領域で表すことができる。よって、局所復号画像領域算出部２０３ｂは、図１０に示したように、局所復号画像が存在しない領域１３２ｂを１個の矩形領域として算出し、矩形領域の左上角部の座標（Ｅｘ，Ｅｙ）を局所復号画像の存在しない領域１３２ｂの位置を表す情報とする。これにより、予測済み領域１３２内の点（Ｆｘ，Ｆｙ）について、例えばＦｘ≧ＥｘかつＦｙ≧Ｅｙであれば点（Ｆｘ，Ｆｙ）は局所復号画像の存在しない領域１３２ｂに含まれると判定することができる。
【００８０】
局所復号画像領域算出部２０３ｂは、予測済み領域１３２内における局所復号画像の存在しない矩形領域１３２ｂの位置を表す座標（Ｅｘ，Ｅｙ）を、局所復号画像が存在する領域を示す情報として算出する。そして、局所復号画像領域算出部２０３ｂは、局所復号画像の存在しない矩形領域の位置を表す座標（Ｅｘ，Ｅｙ）を、ＩＢＣ予測画像生成部２０３ｃに通知する。
【００８１】
よって、ＩＢＣ予測画像生成部２０３ｃは、探索点（Ｓｘ，Ｓｙ）を起点とする予測画像ブロック［Ｓｘ，Ｓｙ］〜（Ｓｘ＋ＰＵｘ，Ｓｘ＋ＰＵｙ）の内部領域に座標（Ｅｘ，Ｅｙ）が含まれる場合、予測画像ブロック１４０内に局所復号画像の存在しない領域があると判定する。
【００８２】
予測画像ブロック内に座標（Ｅｘ，Ｅｙ）が含まれる場合の局所復号画像の存在しない領域１３２ｂの位置は、座標（Ｅｘ，Ｅｙ）で指定することができる。また、局所復号画像の存在しない領域１３２の寸法ＥＬｘ×ＥＬｙは、予測画像ブロック１４０の寸法と、局所復号画像の存在しない領域１３２の位置を表す座標（Ｅｘ，Ｅｙ）とを用い、下記式（１−１），（１−２）から算出することができる。
【００８３】
ＥＬｘ＝（Ｓｘ＋ＰＵｘ）−Ｅｘ    ・・・（１−１）
ＥＬｙ＝（Ｓｙ＋ＰＵｙ）−Ｅｙ    ・・・（１−２）
【００８４】
こうして予測ブロック１４０内における局所復号画像の存在しない領域１５０の位置（Ｅｘ，Ｅｙ）及び寸法ＥＬｘ×ＥＬｙを求めると、位置（Ｅｘ，Ｅｙ）及び寸法ＥＬｘ×ＥＬｙを含む領域情報がＩＢＣ予測画像生成部２０３ｃに送信される。この位置（Ｅｘ，Ｅｙ）及び寸法ＥＬｘ×ＥＬｙを含む領域情報を受信すると、ＩＢＣ予測画像生成部２０３ｃは、原画記憶部２０３ｄから、予測画像ブロック内における局所復号画像の存在しない領域１５０と対応する部分原画データを読み出す（ステップＳ６０２）。
【００８５】
一方、ＩＢＣ予測画像生成部２０３ｃは、予測画像ブロックの位置（Ｓｘ，Ｓｙ）及び寸法ＰＵｘ×ＰＵｙを用い、局所復号画像記憶部２６０から予測画像ブロック１４０内の局所復号画像を読み出す。この際、局所復号画像を読み出す領域として予測画像ブロック１４０の全体を指定しても、読み出されるのは、予測ブロック画素内に存在する局所復号画像のみである。そのため、局所復号画像記憶部２６０から局所復号画像を読み出す際、ＩＢＣ予測画像生成部２０３ｃは、局所復号画像の存在しない領域の有無によらず、予測画像ブロック１４０全体を局所復号画像の読み出し範囲に指定して読み出すようにすることが可能である。予測画像ブロック１４０全体を局所復号画像の読み出し範囲に指定した場合、予測画像ブロック内に局所復号画像の存在しない領域１５０があると、局所復号画像の存在しない領域１５０と対応する矩形領域が欠落した予測画像が得られる。しかしながら、この欠落した領域１５０に上記の原画の部分データを合成する（はめ込む）ことにより、予測画像ブロック１４０全体についての予測画像とすることができる。
【００８６】
なお、図１０を参照して説明した予測画像ブロック１４０内の局所復号画像の存在しない領域１５０の指定方法は一例に過ぎず、他の方法により局所復号画像の存在しない領域を指定してもよい。
【００８７】
図１１は、フィルタ処理の例を説明する図である。
ＩＢＣ予測画像生成部２０３ｃは、予測画像ブロック１４０内に局所復号画像の存在しない領域１５０が含まれる場合、局所復号画像と原画とを用いて予測画像を生成する。局所復号画像は、通常、０（零）ではない量子化誤差成分が重畳されている。これに対し、原画は、量子化誤差成分が０であるとみなせる。そのため、局所復号画像の存在しない領域に原画をはめ込んで予測画像を生成した場合、予測画像ブロック１４０内における局所復号画像と原画との境界で量子化誤差の分だけ画素値に不連続性が発生する。この画素値の不連続性は、予測画像における局所復号画像と原画との境界にエッジを発生させ、符号化コストにノイズを与えることがある。従って、本実施形態の動画像符号化装置２では、画素値の不連続性による符号化コストのノイズを抑制するため、予測画像における局所復号画像に隣接する原画素についてフィルタ処理を施して平滑化を行う。生成した予測画像における局所復号画像領域と原画領域との境界にエッジが発生して符号化コストにノイズを与える可能性がある場合、ＩＢＣ予測画像生成部２０３ｃは、フィルタ処理部２０３ｅにフィルタ処理を実行させる。フィルタ処理部２０３ｅにフィルタ処理を実行させるか否かは、例えば、局所復号画像領域と原画領域との境界付近における画素値の不連続性の度合いで判定する。局所復号画像領域と原画領域との境界付近における局所復号画像の量子化誤差が０又は０に近い小さな値であれば、境界における画素値の不連続性の度合いは小さく、境界にエッジが発生する可能性は小さい。これに対し、局所復号画像領域と原画領域との境界付近における局所復号画像の量子化誤差が大きな値であれば、不連続性の度合いが大きくなり、符号化コストにノイズを与えうるエッジが発生する可能性が高い。よって、ＩＢＣ予測画像生成部２０３ｃは、例えば、局所復号画像領域と原画領域との境界付近における局所復号画像の量子化誤差が所定の閾値よりも大きい場合、フィルタ処理部２０３ｅにフィルタ処理を実行させる（ステップＳ６０６）。
【００８８】
フィルタ処理部２０３ｅにフィルタ処理を実行させる場合、図１１に示すように、予測画像１６０は局所復号画像領域１６２と、原画領域１６４とを含む。ＩＢＣ予測画像生成部２０３ｃは、局所復号画像領域１６２と原画領域１６４との境界１６６を表す情報をフィルタ処理部２０３ｅに通知する。通知を受け取ったフィルタ処理部２０３ｅは、例えば、図１１に示したように、原画領域１６４における境界１６６に沿った画素ａ１をフィルタ処理の対象とする。垂直方向の境界１６６を挟んで局所復号画像と隣接している原画画素ａ１に対してフィルタ処理を施す場合、フィルタ処理部２０３ｅは、水平方向に並ぶ局所復号画像の画素ａ０、原画画素ａ１及びａ２の３個の画素の画素値ｐ（ａ０）、ｐ（ａ１）、ｐ（ａ２）を読み出す。そして、読み出した３個の画素値ｐ（ａ０）、ｐ（ａ１）、ｐ（ａ２）を用い、下記式（２）で表される３タップの（１，２，１）フィルタ処理により原画画素ａ１の画素値をｐ（ａ１）からｐ（ａ１’）に置き換える。
【００８９】
ｐ（ａ１’）＝｛ｐ（ａ０）＋２・ｐ（ａ１）＋ｐ（ａ２）｝／４    ・・・（２）
【００９０】
また、図１１に示したように、境界１６６に水平方向の部分も存在する場合、水平方向の境界１６６を挟んで局所復号画像と隣接している原画画素に対しても、垂直方向に並んでいる１個の局所復号画像の画素及び２個の原画画素の画素値を用いて同様のフィルタ処理を行う。
【００９１】
なお、図１１を参照して説明したフィルタ処理は一例に過ぎず、フィルタ係数やフィルタタップ数は適宜変更可能である。また、フィルタ処理により画素値を置き換える画素は、境界を挟んで原画と隣接する局所復号画像の画素でもよいし、境界を挟んで隣接する原画素及び局所復号画像の両方の画素であってもよい。更に、フィルタ処理により画素値を置き換える画素は、水平方向又は垂直方向に並ぶ複数個の原画画素又は複数個の局所復号画像の画素、あるいはその両方であってもよい。
【００９２】
ＩＢＣ処理部２０３では、局所復号画像のみを用いた予測画像の生成処理（ステップＳ４）、又は局所復号画像と原画とを用いた予測画像の生成処理（ステップＳ６）を行った後、コスト算出部２０３ｆにおいて符号化コストを算出する（ステップＳ５，Ｓ７）。
【００９３】
ＩＢＣ処理部２０３のコスト算出部２０３ｆでは、ＩＢＣ予測画像生成部２０３ｃにおいて生成した予測画像と、現在予測処理を行っている予測ユニットの原画とを用いて符号化コストを算出する。また、探索点を変えながら１個の予測ユニットに対するコストの算出を行っている間、コスト算出部２０３ｆは、探索範囲内で算出した符号化コストのうち最小値となる最小コストＣminと、コストが最小値になる探索点の座標（Ｓｘ_min，Ｓｙ_min）を保持する。そして、１個の予測ユニットに対するコストの算出を終えると、コスト算出部２０３ｆは、最小コストＣminを与える予測画像についての座標（Ｓｘ_min，Ｓｙ_min）を含む符号化パラメータを、モード選択部２０４に出力する。
【００９４】
なお、符号化コストの算出に用いる予測画像が局所復号画像と原画とを用いて生成された予測画像である場合、コスト算出部２０３ｆは、補正量算出部２０３ｇに補正量を算出させ、当該補正量を用いて符号化コストを算出する（ステップＳ８）。
【００９５】
イントラブロックコピーを含む符号化のパラメータを決定する方法として、各パラメータ値に対応する符号化コストを算出し、最も小さいコストとなるパラメータ値を選択するRD最適化と呼ばれる手法がよく用いられている。符号化コストＣは、一般的に、下記式（３）で定義される。
【００９６】
Ｃ＝Ｄ＋λ・ｂｉｔ    ・・・（３）
【００９７】
式（３）において、λは、ラグランジェの未定乗数法のパラメータを意味しており、圧縮率を制御する量子化パラメータに比例する形で算出される。また、式（３）のパラメータＤには、予測誤差、あるいは符号化誤差が用いられる。また、式（３）のｂｉｔは、符号化コストＣとして評価するパラメータ値をエントロピー符号化するのに必要なｂｉｔ数やｂｉｔ数の近似値を表している。
【００９８】
ラグランジェの未定乗数法に基づき、符号化コストＣを最小化することで、式（３）のパラメータＤとｂｉｔとのトレードオフを最適に達成するパラメータ値を選択することができる。パラメータＤには、予測誤差、あるいは符号化誤差が用いられる。更に、誤差の評価基準を予測誤差とした場合、パラメータＤには、原画と予測画像との差分絶対値和、差分２乗和、及びアダマール変換を用いた変換差分絶対値和が用いられる。誤差の評価基準に符号化誤差を用いる場合は、局所復号画像まで生成して、原画と局所復号画像との差分絶対値和や差分２乗和がよく用いられる。
【００９９】
誤差の評価基準に予測誤差を用いると、予測誤差の基準において符号化のパラメータを最適化したとしても、必ずしも符号化誤差の基準において最適化されるとは限らない。そのため、誤差の評価基準に予測誤差を用いた場合、圧縮効率は低下するが、局所復号画像の生成までは行わないため、計算量が削減される。局所復号画像を用いる場合は、符号化コストＣを計算した結果選択されないパラメータに基づいて局所復号画像の生成処理を行う。
【０１００】
コスト算出部２０３ｆは、式（３）で表される符号化コストＣのパラメータＤとして、原画素と予測画像との差分絶対値をブロック内の画素の分だけ累積した差分絶対値和を算出する。差分絶対値和Ｄは、例えば、下記式（４）を用いて算出する。
【０１０１】
【数１】
2017126829.tif 000003
【０１０２】
式（４）におけるｐｘ及びｐｙは、それぞれ、現在予測処理を行っている予測ユニットの左上角部の画素の座標（ｐｘ，ｐｙ）のｘ座標及びｙ座標の値である。式（４）におけるOrg(px＋i,py+j)は、座標(px＋i,py+j)の原画画素の画素値である。また、式（４）におけるPred(i,j)は、予測画像における座標（i,j）の画素の画素値である。予測画像の画素値Pred(i,j)は、下記式（５）により算出される。
【０１０３】
【数２】
2017126829.tif 000004
【０１０４】
式（５）において、Ｐ０は予測画像１６０における局所復号画像領域１６２であり、Ｐ１は予測画像１６０における原画領域１６４である。また、式（５）におけるLdec(sx+i,sy+j)及びOrg(sx+i,sy+j)は、それぞれ、座標(sx+i，sy+j)が局所復号画像領域の画素である場合の画素値、及び座標(sx+i，sy+j)が原画領域の画素である場合の画素値である。
【０１０５】
なお、差分絶対値和Ｄは、式（４）に限らず、例えば、下記式（６）を用いて算出しても良い。
【０１０６】
【数３】
2017126829.tif 000005
【０１０７】
また、コスト算出部２０３ｆは、探索点の座標をイントラブロックコピーの参照座標として符号化に要するｂｉｔ数の推定値Ｂを算出する。コスト算出部２０３ｆは、例えば、参照座標の処理予測ユニットからの相対座標である差分ベクトル（ｓｘ−ｐｘ,ｓｙ−ｐｙ）をゴロム符号化方式で符号化すると仮定して、推定値Ｂは下記式（７）を用いて算出する。
【０１０８】
Ｂ＝２・log（２｜ｓｘ−ｐｘ｜＋１）＋２・log（２｜ｓｙ−ｐｙ｜＋１）＋２
・・・（７）
【０１０９】
差分絶対値和Ｄ及びｂｉｔ数の推定値Ｂを算出すると、コスト算出部２０３ｆは、下記式（８）を用いて符号化コストＣを算出する。
【０１１０】
Ｃ＝Ｄ＋λ・Ｂ    ・・・（８）
【０１１１】
また、局所復号画像と原画とを用いて生成した予測画像に対し式（８）の符号化コストＣを算出した場合、コスト算出部２０３ｆは、算出した符号化コストＣを補正する。
【０１１２】
原画画素は局所復号画像に含まれる量子化誤差等のノイズを含まないため、原画を含む予測画像を生成すると、予測誤差が小さくなりやすい傾向がある。そのため、予測画像が原画を含む場合のコストと、予測画像を局所復号画像のみから生成した場合のコストとで、公平に比較が出来ないことがある。従って、本実施形態では、予測画像に含まれる原画と、その原画を符号化処理した場合に生成される局所復号画像との差分を推定し、符号化コストＣに加算する補正を行う。これにより、原画素を含む予測画像を用いて算出する符号化コストを、予測画像に全て局所復号画像を使用して算出した仮想的な符号化コストに近づけることができる。
【０１１３】
予測画像に原画が含まれる場合、コスト算出部２０３ｆは、補正量算出部２０３ｇに、予測画像に含まれる原画と、その原画を符号化処理した場合に生成される局所復号画像との差分の推定値を算出させる。補正量算出部２０３ｇは、差分の推定値（補正量）として、例えば、下記式（９）を用いて１画素当たりの量子化誤差ＱＤｉｓｔＯｆｆｓｅｔ（ｑｐ）を算出する。
【０１１４】
【数４】
2017126829.tif 000006
【０１１５】
式（９）のｑｐは量子化パラメータである。
【０１１６】
補正量算出部２０３ｇは、局所復号画像領域算出部２０３ｂで算出した領域情報に基づいて、局所復号画像の存在しない領域１３２ｂに対応する変換ブロックの量子化で使用する量子化パラメータをＱＰ情報記憶部２０３ｈから読み出す。ＱＰ情報記憶部２０３ｈには、変換／量子化部２２０から取得した各ブロックで使用する量子化パラメータを記憶させておく。補正量算出部２０３ｇは、ＱＰ情報記憶部２０３ｈから読み出した量子化パラメータの値ｑｐを式（９）に代入して算出した量子化誤差ＱＤｉｓｔＯｆｆｓｅｔ（ｑｐ）を、コスト算出部２０３ｆに出力する。量子化誤差ＱＤｉｓｔＯｆｆｓｅｔ（ｑｐ）を受け取ると、コスト算出部２０３ｆは、下記式（１０）を用いて符号化コストＣを算出する。
【０１１７】
Ｃ＝Ｄ＋λ・Ｂ＋Ｎｏ・ＱＤｉｓｔＯｆｆｓｅｔ（ｑｐ）    ・・・（１０）
【０１１８】
式（１０）のＮｏは、予測画像に含まれる原画の画素数である。
【０１１９】
なお、１画素当たりの量子化誤差ＱＤｉｓｔＯｆｆｓｅｔ（ｑｐ）は、式（９）に限らず、量子化パラメータｑｐに比例する任意の関数であってもよい。
【０１２０】
また、補正量算出部２０３ｇは、例えば、ＱＰ情報記憶部２０３ｈから読み出した量子化パラメータｑｐを用いてピクチャ平均値を算出し、その平均値を次のピクチャのｑｐ値としてもよい。
【０１２１】
図１２は、符号化コストの補正方法の別の例を説明する図である。
１個の符号化ユニット（ＣＵ）に対する直交変換及び量子化処理は、変換ユニット（ＴＵ: Transform Unit）と呼ばれる矩形単位に分割して行うことができる。また、変換ユニットの分割形状は、予測ユニットの分割形状とは別個に設定することができる。更に、予測画像ブロックの起点となる探索点は、探索範囲内の任意の位置に設定することができる。このため、現在予測処理を行っている予測ユニットに対する予測画像１６０を生成したときに、例えば、図１２に示すように、原画領域１６４内に量子化パラメータの異なる複数の領域が含まれることがある。図１２に示した例では、予測画像１６０の原画領域１６４内に、量子化パラメータＱＰ０の領域１６４ａと、量子化パラメータＱＰ１の領域１６４ｂとが含まれる。
【０１２２】
このように、原画領域１６４に量子化パラメータの異なる複数の領域が含まれる場合、補正量算出部２０３ｇは、式（９）を用いて第１の量子化誤差ＱＤｉｓｔＯｆｆｓｅｔ（ＱＰ０）と第２の量子化誤差ＱＤｉｓｔＯｆｆｓｅｔ（ＱＰ１）とを算出する。
また、コスト算出部２０３ｆは、量子化パラメータＱＰ０の領域１６４ａの画素数Ｎｏ１と、量子化パラメータＱＰ１の領域１６４ｂの画素数Ｎｏ０と、補正量算出部２０３ｇから受け取った２個の量子化誤差とを用い、下記式（１１）により符号化コストＣを算出する。
【０１２３】
Ｃ＝Ｄ＋λ・Ｂ＋Ｎｏ１・ＱＤｉｓｔＯｆｆｓｅｔ（ＱＰ０）
＋Ｎｏ２・ＱＤｉｓｔＯｆｆｓｅｔ（ＱＰ１）    ・・・（１１）
【０１２４】
すなわち、予測画像１６０の原画領域１６４に量子化パラメータの異なる複数の領域が含まれる場合、補正量算出部２０３ｇは、量子化パラメータの種類数ｋに応じて、ｋ個の量子化誤差ＱＤｉｓｔＯｆｆｓｅｔ（ｑｐｋ）を算出する。そして、コスト算出部２０３ｆは、各量子化パラメータの領域に含まれる画素数Ｎｏｋと、補正量算出部２０３ｇで算出したｋ個の量子化誤差ＱＤｉｓｔＯｆｆｓｅｔ（ｑｐｋ）とを用い、下記式（１２）により符号化コストＣを算出する。
【０１２５】
【数５】
2017126829.tif 000007
【０１２６】
コスト算出部２０３ｆは、全ての探索点についての符号化コストＣを算出して評価した後、保持された最小コストとなる探索点（Ｓｘ_min ，Ｓｙ_min）をその予測ユニットで最も良い圧縮効率を達成するイントラブロックコピーの参照座標として出力する。
【０１２７】
以上説明したように、本実施形態によれば、イントラブロックコピー（ＩＢＣ処理）において予測画像ブロック内に局所復号画像の存在しない領域がある場合、その領域に原画を用いた予測画像を生成する。そのため、例えば予測処理後の処理に遅延が生じ、ある予測ユニットに対するＩＢＣ処理を行うタイミングで探索範囲内に局所復号画像が生成されていない領域が存在する場合でも、予測画像を生成することが可能になる。従って、本実施形態のＩＢＣ処理部２０３が行う処理では、予測処理を終えた領域のうち局所復号画像が生成されていない領域も予測の対象とすることが可能になる。よって、本実施形態によれば、イントラブロックコピーによる予測を行う際の局所復号画像が存在しないことによる予測画像の探索範囲の制限が抑制され、最適な予測画像が生成される可能性が高くなる。
【０１２８】
また、本実施形態に係るイントラブロックコピーでは、局所復号画像と原画とを用いて予測画像を生成した場合、予測画像と原画とに基づいて算出する符号化コストを補正する。しかも、予測画像における原画領域を量子化した場合の量子化誤差（歪量）の推定値を算出し、当該量子化誤差の推定値と原画領域の画素数とを用いて符号化コストを補正する。そのため、局所復号画像と原画とを用いて生成した予測画像に基づいて算出される符号化コストを、局所復号画像のみを用いて生成した予測画像に基づいて算出される仮想的な符号化コストに近づけることができる。よって、原画領域を含む予測画像に基づいて算出した符号化コストと局所復号画像のみを用いた予測画像に基づいて算出した符号化コストとを公平に比較することが可能になり、より最適な予測結果（符号化パラメータ）が算出される可能性が高くなる。
【０１２９】
また、本実施形態に係るイントラブロックコピーでは、局所復号画像と原画とを用いて予測画像を生成した場合、局所復号画像と原画との境界部分の画素に対してフィルタ処理を行う。そのため、０ではない量子化誤差を含む局所復号画像領域と量子化誤差が０である原画との境界における画素値の不連続性を平滑化することができる。従って、局所復号画素と原画との境界でのエッジの発生を抑制でき、符号化コストに与えるノイズを低減することが可能になる。
【０１３０】
なお、上記の実施形態で挙げたＨ．２６５／ＨＥＶＣ規格は、イントラブロックコピーを適用可能な動画像符号化規格の一例に過ぎず、他の符号化規格に本実施形態のイントラブロックコピーを適用してもよい。
【０１３１】
また、図８及び図９のフローチャートは一例に過ぎず、動画像符号化装置２のＩＢＣ処理部２０３の構成や条件に応じて一部の処理を省略又は変更してもよい。また、図１０の局所復号画素の存在しない領域の指定方法は一例に過ぎず、ＩＢＣ処理部２０３の構成や条件に応じて領域を指定するための情報を変更してもよい。更に、図１１のフィルタ処理は一例に過ぎず、ＩＢＣ処理部２０３の構成や条件に応じてフィルタタップ数やフィルタ係数を変更してもよい。加えて、本実施形態に係るＩＢＣ処理では、上記のような３タップフィルタを用いたフィルタ処理に限らず、例えば、予測画像に用いる原画に対して低帯域通過フィルタを施してもよい。
【０１３２】
また、上記の動画像符号化装置２は、例えば、コンピュータと、コンピュータに上記のＩＢＣ処理を含む符号化処理を実行させるプログラムとにより実現可能である。以下、コンピュータとプログラムにより実現される動画像符号化装置２について、図１３を参照して説明する。
【０１３３】
図１３は、コンピュータのハードウェア構成を示す図である。図１３に示すように、動画像符号化装置２として動作させるコンピュータ５は、Central Processing Unit（ＣＰＵ）５０１と、主記憶装置５０２と、補助記憶装置５０３と、入力装置５０４と、出力装置５０５と、を備える。また、コンピュータ５は、Digital Signal Processor（ＤＳＰ）５０６と、インタフェース装置５０７と、記憶媒体駆動装置５０８と、通信装置５０９と、を更に備える。コンピュータ５におけるこれらの要素５０１〜５０９は、バス５１０により相互に接続されており、要素間でのデータの受け渡しが可能になっている。
【０１３４】
ＣＰＵ ５０１は、オペレーティングシステムを含む各種のプログラムを実行することによりコンピュータ５の全体の動作を制御する演算処理装置である。
【０１３５】
主記憶装置５０２は、図示しないRead Only Memory（ＲＯＭ）及びRandom Access Memory（ＲＡＭ）を含む。ＲＯＭには、例えばコンピュータ５の起動時にＣＰＵ ５０１が読み出す所定の基本制御プログラム等が予め記録されている。また、ＲＡＭ は、ＣＰＵ ５０１が各種のプログラムを実行する際に、必要に応じて作業用記憶領域として使用する。ＲＡＭは、例えば符号化処理を行っているピクチャ（原画データ）、局所復号画像、予測処理部２００における予測処理の過程で算出されるデータ等の一時的な記憶に利用可能である。
【０１３６】
補助記憶装置５０３は、Hard Disk Drive（ＨＤＤ）やSolid State Drive（ＳＳＤ）等の主記憶装置５０２に比べて容量の大きい記憶装置である。補助記憶装置５０３には、ＣＰＵ ５０１によって実行される各種のプログラムや各種のデータ等を記憶させることができる。補助記憶装置５０３に記憶させるプログラムとしては、例えば、動画像データの符号化や再生を行うアプリケーションプログラム、動画像データを作成（生成）するプログラム等が挙げられる。また、補助記憶装置５０３に記憶させるデータとしては、例えば、符号化対象の動画像データ、符号化済みの動画像データ等が挙げられる。
【０１３７】
入力装置５０４は、例えばキーボード装置やマウス装置であり、コンピュータ５のオペレータにより操作されると、その操作内容に対応付けられている入力情報をＣＰＵ ５０１に送信する。
【０１３８】
出力装置５０５は、例えば液晶ディスプレイ等の表示装置である。液晶ディスプレイは、ＣＰＵ ５０１等から送信される表示データに従って各種のテキスト、画像等を表示する。なお、出力装置５０５には、例えば、プリンタやスピーカ等も含まれる。
【０１３９】
ＤＳＰ ５０６は、ＣＰＵ ５０１からの制御信号等に従って動画像データの符号化処理における一部の処理等を行う演算処理装置である。
【０１４０】
インタフェース装置５０７は、コンピュータ５と他の電子機器とを接続し、コンピュータ５と他の電子機器との間でのデータの送受信を可能にする入出力装置である。インタフェース装置５０７は、例えば、Universal Serial Bus（ＵＳＢ）規格のコネクタを備えたケーブルを接続可能な端子、High-Definition Multimedia Interface（ＨＤＭＩ(登録商標））規格のコネクタを備えたケーブルを接続可能な端子等を備える。インタフェース装置５０７によりコンピュータ５と接続可能な電子機器としては、例えば、デジタルビデオカメラ等の撮像装置が挙げられる。
【０１４１】
記憶媒体駆動装置５０８は、図示しない可搬型記憶媒体に記録されているプログラムやデータの読み出し、補助記憶装置５０３に記憶されたデータ等の可搬型記憶媒体への書き込みを行う。可搬型記憶媒体としては、例えば、ＵＳＢ規格のコネクタが備えられているフラッシュメモリが利用可能である。また、可搬型記憶媒体としては、Compact Disk（ＣＤ）、Digital Versatile Disc（ＤＶＤ）、Blu-ray Disc（Blu-rayは登録商標）等の光ディスクも利用可能である。
【０１４２】
通信装置５０９は、コンピュータ５とインターネットあるいはLocal Area Network（ＬＡＮ）等の通信ネットワークとを通信可能に接続し、通信ネットワークを介した他の通信端末との通信を制御する装置である。コンピュータ５は、符号化した動画像データ（ビットストリーム）を、通信装置５０９及び通信ネットワークを介して他の通信端末に送信することができる。
【０１４３】
このコンピュータ５は、ＣＰＵ ５０１が補助記憶装置５０３等から上述した符号化処理を含むプログラムを読み出し、ＤＳＰ ５０６、主記憶装置５０２、補助記憶装置５０３等と協働して動画像データの符号化処理及び復号処理を実行する。この際、ＣＰＵ ５０１は、ＩＢＣ処理を含む予測処理、予測処理後の直交変換、量子化、及びエントロピー符号化、並びに復号処理等の演算処理をＤＳＰ ５０６に実行させる。
【０１４４】
コンピュータ５で符号化した動画像データ（符号化ビットストリーム）は、例えば、上記のように通信ネットワークを介して他のコンピュータ等に送信することができる。また、コンピュータ５で符号化した動画像データは、補助記憶装置５０３に記憶させておき、必要に応じてコンピュータ５で復号化（再生）することもできる。更に、コンピュータ５で符号化した動画像データは、記憶媒体駆動装置５０８を用いて記録媒体に記憶させて配布することもできる。
【０１４５】
なお、動画像符号化装置２として用いるコンピュータ５は、図１３に示した全ての構成要素を含む必要はなく、用途や条件に応じて一部の構成要素を省略することも可能である。例えば、ＣＰＵ ５０１の処理能力が高い場合、ＤＳＰ ５０６を省略し、ＣＰＵ ５０１において上記の符号化処理及び復号処理を実行してもよい。また、動画像データの符号化処理等をＤＳＰ ５０６に行わせる場合、例えば、上記の主記憶装置（ＲＡＭ）５０２や補助記憶装置５０３とは別に、符号化処理を行う動画像データを格納しておく外部メモリを設けてもよい。
【０１４６】
また、コンピュータ５は、種々のプログラムを実行することにより複数の機能を実現する汎用型のものに限らず、動画像の符号化処理に特化した専用の情報処理装置でもよい。更に、コンピュータ５は、動画像の符号化処理及び符号化された動画像の復号化処理に特化した専用の情報処理装置でもよい。
【０１４７】
更に、コンピュータ５は、例えばＶＤＩにおけるサーバであってもよい。この場合、コンピュータ５は、ネットワークで接続された複数の端末に対応する複数の仮想マシンを実行する。複数の仮想マシンは、それぞれ、所定の時間間隔毎に端末に接続された表示装置に表示させる画面データを作成する。コンピュータ５は、この仮想マシンが作成した画面データを、本実施形態に係るＩＢＣ処理を含む符号化処理により符号化した後、各端末に送信し端末の表示装置に表示させる。
【０１４８】
以上記載した実施形態に関し、更に以下の付記を開示する。
（付記１）
符号化対象のピクチャを複数のブロックに分割して前記ブロック毎に１個又は複数個の予測単位ブロックを設定し、前記予測単位ブロック毎に前記符号化対象のピクチャにおける符号化処理を終えた領域内の局所復号画像を用いて前記予測単位ブロックについての予測画像を生成し、符号化コストが最小となる前記予測画像を算出するイントラブロックコピー処理部を備え、
前記イントラブロックコピー処理部は、
前記符号化対象のピクチャにおける前記符号化処理を終えた領域内の前記局所復号画像の存在する領域、及び前記局所復号画像の存在しない領域を算出する領域算出部と、
前記符号化対象のピクチャにおける前記符号化処理を終えた領域内に設定した予測画像ブロック内に前記局所復号画像の存在しない領域が含まれる場合に、前記予測画像ブロック内の前記局所復号画像、及び前記局所復号画像の存在しない領域の原画データを用いて前記予測画像を生成する予測画像生成部と、
前記予測画像と前記予測単位ブロックの前記原画データとに基づいて符号化コストを算出し、前記符号化処理を終えた領域内に指定する座標の位置を変えながら前記符号化コストが最小となる予測画像を算出するコスト算出部と、を含む、
ことを特徴とする動画像符号化装置。
（付記２）
前記イントラブロックコピー処理部は、前記局所復号画像及び前記原画データを用いて生成した前記予測画像と前記予測単位ブロックとに基づいて算出される符号化コストに対し、前記予測画像に含まれる前記原画データの寸法に応じた補正量を算出する補正量算出部、を更に含み、
前記コスト算出部は、前記局所復号画像及び前記原画データを用いて生成した前記予測画像と前記予測単位ブロックとに基づいて算出される符号化コストに前記補正量を加算した値を当該予測画像についての符号化コストとする、
ことを特徴とする付記１に記載の動画像符号化装置。
（付記３）
前記動画像符号化装置は、符号化済みのピクチャを参照して前記符号化コストが最小となる予測画像を算出するインター予測部と、
前記符号化対象のピクチャにおける前記予測単位ブロックと隣接した画素を参照して前記符号化コストが最小となる予測画像を算出するイントラ予測部と、
前記インター予測部、前記イントラ予測部、及び前記イントラブロックコピー処理部で算出した予測画像の前記符号化コストに基づいて生成した前記ブロックについての予測画像及び前記原画データから予測誤差信号を生成する予測誤差信号生成部と、
生成した前記予測誤差信号を直交変換する変換部と、
変換部における直交変換で得られた変換係数を量子化する量子化部と、を更に備え、
前記補正量算出部は、前記量子化部で前記変換係数を量子化する際の量子化パラメータを用いて前記補正量を算出する、
ことを特徴とする付記２に記載の動画像符号化装置。
（付記４）
前記補正量算出部は、前記量子化パラメータを用いて、前記予測画像に含まれる前記原画データを量子化したときの量子化誤差の推定値を算出する、
ことを特徴とする付記３に記載の動画像符号化装置。
（付記５）
前記補正量算出部は、前記予測画像における前記原画データの領域内に、前記符号化処理を終えた領域内における複数の前記ブロックの部分領域が含まれる場合、前記原画データの領域を前記ブロックの部分領域と対応する複数の部分領域に分割し、前記原画データの部分領域毎に前記補正量を算出する、
ことを特徴とする付記２に記載の動画像符号化装置。
（付記６）
前記イントラブロックコピー処理部は、前記局所復号画像及び前記原画データを用いて前記予測画像を生成した場合に、当該予測画像における前記局所復号画像の領域と前記原画データの領域との境界部分の画素に対してフィルタ処理して画素値を平滑化するフィルタ処理部、を更に含む、
ことを特徴とする付記１に記載の動画像符号化装置。
（付記７）
前記イントラブロックコピー処理部は、前記局所復号画像及び前記原画データを用いて前記予測画像を生成する際に、前記局所復号画像の存在しない領域と対応する前記原画データに対して低帯域通過フィルタを施すフィルタ処理部、を更に含む、
ことを特徴とする付記１に記載の動画像符号化装置。
（付記８）
コンピュータが、符号化対象のピクチャを複数のブロックに分割して前記ブロック毎に１個又は複数個の予測単位ブロックを設定し、前記予測単位ブロック毎に前記符号化対象のピクチャにおける符号化処理を終えた領域内から前記予測単位ブロックについての予測画像を生成し、符号化コストが最小となる前記予測画像を算出する処理、を含む動画像の符号化処理及び符号化した動画像の復号処理を実行し、
前記予測画像を生成する処理では、前記コンピュータが、
前記符号化対象のピクチャにおける前記符号化処理を終えた領域内の局所復号画像の存在する領域、及び前記局所復号画像の存在しない領域を算出し、
前記符号化対象のピクチャにおける前記符号化処理を終えた領域内に設定した予測画像ブロック内に前記局所復号画像の存在しない領域が含まれる場合に、前記予測画像ブロック内の前記局所復号画像、及び前記局所復号画像の存在しない領域の原画データを用いて前記予測画像を生成し、
前記予測画像と前記予測単位ブロックの前記原画データとに基づいて符号化コストを算出し、前記符号化処理を終えた領域内に指定する座標の位置を変えながら前記符号化コストが最小となる予測画像を算出する、
ことを特徴とする動画像符号化方法。
（付記９）
前記局所復号画像及び前記原画データを用いて生成した前記予測画像と前記予測単位ブロックとに基づいて前記符号化コストを算出する際に、前記コンピュータが、前記予測画像に含まれる前記原画データの寸法に応じた補正量を算出し、
前記局所復号画像及び前記原画データを用いて生成した前記予測画像と前記予測単位ブロックとに基づいて算出される符号化コストに前記補正量を加算した値を当該予測画像についての符号化コストとする、
ことを特徴とする付記８に記載の動画像符号化方法。
（付記１０）
前記符号化処理では、前記コンピュータは、更に、
符号化済みのピクチャを参照して前記符号化コストが最小となる予測画像を算出し、
前記符号化対象のピクチャにおける前記予測単位ブロックと隣接した画素を参照して前記符号化コストが最小となる予測画像を算出し、
算出した前記予測画像の前記符号化コストに基づいて生成した前記ブロックについての予測画像及び前記原画データから予測誤差信号を生成し、
生成した前記予測誤差信号を直交変換し、
直交変換で得られた変換係数を量子化し、
前記符号化コストの前記補正量を算出する処理では、前記変換係数を量子化する際の量子化パラメータを用いて前記補正量を算出する、
ことを特徴とする付記９に記載の動画像符号化方法。
（付記１１）
前記補正量を算出する処理では、前記量子化パラメータを用いて、前記予測画像に含まれる前記原画データを量子化したときの量子化誤差の推定値を算出する、
ことを特徴とする付記１０に記載の動画像符号化方法。
（付記１２）
前記補正量を算出する処理では、前記予測画像における前記原画データの領域内に、前記符号化処理を終えた領域内における複数の前記ブロックの部分領域が含まれる場合、前記原画データの領域を前記ブロックの部分領域と対応する複数の部分領域に分割し、前記原画データの部分領域毎に前記補正量を算出する、
ことを特徴とする付記９に記載の動画像符号化装置。
（付記１３）
前記局所復号画像及び前記原画データを用いて前記予測画像を生成した場合に、前記コンピュータが、当該予測画像における前記局所復号画像の領域と前記原画データの領域との境界部分の画素に対して画素値を平滑化するフィルタ処理を行う、
ことを特徴とする付記８に記載の動画像符号化方法。
（付記１４）
前記局所復号画像及び前記原画データを用いて前記予測画像を生成する際に、前記局所復号画像の存在しない領域と対応する前記原画データに対して低帯域通過フィルタを施す、
ことを特徴とする付記８に記載の動画像符号化方法。
（付記１５）
符号化対象のピクチャを複数のブロックに分割して前記ブロック毎に１個又は複数個の予測単位ブロックを設定し、前記予測単位ブロック毎に前記符号化対象のピクチャにおける符号化処理を終えた領域内から前記予測単位ブロックについての予測画像を生成し、符号化コストが最小となる前記予測画像を算出する処理、を含む動画像の符号化処理及び符号化した動画像の復号処理をコンピュータに実行させるプログラムであって、
前記予測画像を生成させる処理では、前記コンピュータに、
前記符号化対象のピクチャにおける前記符号化処理を終えた領域内の局所復号画像の存在する領域、及び前記局所復号画像の存在しない領域を算出させ、
前記符号化対象のピクチャにおける前記符号化処理を終えた領域内に設定した予測画像ブロック内に前記局所復号画像の存在しない領域が含まれる場合に、前記予測画像ブロック内の前記局所復号画像、及び前記局所復号画像の存在しない領域の原画データを用いて前記予測画像を生成させ、
前記予測画像と前記予測単位ブロックの前記原画データとに基づいて符号化コストを算出させ、前記符号化処理を終えた領域内に指定する座標の位置を変えながら前記符号化コストが最小となる予測画像を算出させる、
ことを特徴とするプログラム。
【符号の説明】
【０１４９】
１  ピクチャ
１００  符号化ツリーユニット
１１０，１１０−１〜１１０−４，１１０−１１，１１０−１２  符号化ユニット
１２０，１２０−１，１２０−２，１２０−６  予測ユニット
１４０，１４０−１〜１４０−３  予測画像ブロック
１６０  予測画像
１６４  原画領域
２  動画像符号化装置
２００  予測処理部
２０１  インター予測部
２０２  イントラ予測部
２０３  ＩＢＣ処理部
２０３ａ  探索点制御部
２０３ｂ  局所復号画像領域算出部
２０３ｃ  ＩＢＣ予測画像生成部
２０３ｄ  原画記憶部
２０３ｅ  フィルタ処理部
２０３ｆ  コスト算出部
２０３ｇ  補正量算出部
２０３ｈ  ＱＰ情報記憶部
２０４  モード選択部
２０５  予測画像生成部
２１０  予測誤差信号生成部
２２０  変換／量子化部
２３０  エントロピー符号化部
２４０  逆量子化／逆変換部
２５０  復号画像生成部
２６０  局所復号画像記憶部
【図１】
2017126829.tif 000008
【図２】
2017126829.tif 000009
【図３】
2017126829.tif 000010
【図４】
2017126829.tif 000011
【図５】
2017126829.tif 000012
【図６】
2017126829.tif 000013
【図７】
2017126829.tif 000014
【図８】
2017126829.tif 000015
【図９】
2017126829.tif 000016
【図１０】
2017126829.tif 000017
【図１１】
2017126829.tif 000018
【図１２】
2017126829.tif 000019
【図１３】
2017126829.tif 000020