(57)【要約】      （修正有）【課題】符号化モードの決定後に、或るサブブロックの符号化モードをインター符号化モードからイントラ符号化モードへと変更した場合に、周辺のコピーモードのサブブロックに生じるベクトルコピー関係の不整合を解決する。【解決手段】動画像符号化装置は、決定部と、変更部とを含む。決定部は、画像内の複数のブロックそれぞれに適用される符号化モードを決定するとともに、適用される予測モードを決定する。変更部は、決定部により複数のブロックのうち第１のブロックの符号化モードがインター符号化モードに決定された後に、第１のブロックの符号化モードがイントラ符号化モードに変更され、第１のブロックに隣接する第２のブロックの予測モードが、隣接ブロックの動きベクトルをコピーするコピーモードに決定されている場合、第２のブロックの予測モードを動きベクトルと予測ベクトルとの差分ベクトルを符号化する予測ベクトルモードに変更する。【選択図】図５
2016187171.tif 000002
【特許請求の範囲】
【請求項１】
画像内の複数のブロックそれぞれに適用される符号化モードを決定するとともに、前記複数のブロックそれぞれに適用される予測モードを決定する決定部と、
前記決定部により前記複数のブロックのうち第１のブロックの符号化モードがインター符号化モードに決定された後に、前記第１のブロックの符号化モードがイントラ符号化モードに変更され、前記複数のブロックのうち前記第１のブロックに隣接する第２のブロックの予測モードが、隣接ブロックの動きベクトルをコピーするコピーモードに決定されている場合、前記第２のブロックの予測モードを前記コピーモードから、動きベクトルと予測ベクトルとの差分ベクトルを符号化する予測ベクトルモードに変更する変更部と、
を含む、動画像符号化装置。
【請求項２】
前記変更部は、前記第２のブロックの符号化モードを前記コピーモードから前記予測ベクトルモードに変更する場合に、前記予測ベクトルモードで用いる動きベクトルとして、前記決定部が前記第２のブロックに対して決定した前記コピーモードにおいてコピーする動きベクトルを用いる、ことを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記変更部は、前記予測ベクトルモードで用いる前記予測ベクトルを選択するための選択情報として所定の情報を設定する、ことを特徴とする請求項１又は２に記載の動画像符号化装置。
【請求項４】
前記変更部は、前記第２のブロックに対して、前記予測ベクトルモードで用いる前記予測ベクトルの候補を導出し、前記候補のうちから前記第２のブロックに対する前記差分ベクトルを符号化するコストが小さくなるように前記予測ベクトルを選択する、ことを特徴とする請求項１又は２に記載の動画像符号化装置。
【請求項５】
前記変更部は、前記第２のブロックの予測モードの前記コピーモードからの前記予測ベクトルモードへの変更を、更に、前記第２のブロックに対する前記第１のブロックの位置が、前記コピーモードにおいて動きベクトルの参照先として規定されている位置にある場合に実行する、ことを特徴とする請求項１から４のいずれか一項に記載の動画像符号化装置。
【請求項６】
画像内の複数のブロックそれぞれに適用される符号化モードを決定するとともに、前記複数のブロックそれぞれに適用される予測モードを決定する工程と、
前記複数のブロックのうち第１のブロックの符号化モードがインター符号化モードに決定された後に、前記第１のブロックの符号化モードがイントラ符号化モードに変更され、前記複数のブロックのうち前記第１のブロックに隣接する第２のブロックの予測モードが、隣接ブロックの動きベクトルをコピーするコピーモードに決定されている場合、前記第２のブロックの予測モードを前記コピーモードから、動きベクトルと予測ベクトルとの差分ベクトルを符号化する予測ベクトルモードに変更する工程と、
を含む、コンピュータが実行する動画像符号化方法。
【請求項７】
画像内の複数のブロックそれぞれに適用される符号化モードを決定するとともに、前記複数のブロックそれぞれに適用される予測モードを決定し、
前記複数のブロックのうち第１のブロックの符号化モードがインター符号化モードに決定された後に、前記第１のブロックの符号化モードがイントラ符号化モードに変更され、前記複数のブロックのうち前記第１のブロックに隣接する第２のブロックの予測モードが、隣接ブロックの動きベクトルをコピーするコピーモードに決定されている場合、前記第２のブロックの予測モードを前記コピーモードから、動きベクトルと予測ベクトルとの差分ベクトルを符号化する予測ベクトルモードに変更する、
処理をコンピュータに実行させる動画像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置、動画像符号化方法、及び動画像符号化プログラムに関する。
【背景技術】
【０００２】
画像データ、特に動画像データは、データ量が大きいことが多いため、例えば、データを動画像符号化装置から動画像復号装置へと伝送する際、又は記憶装置に格納する際などに、データ列を符号化して別のデータ列に変換することが行われている。それにより、例えば、データ量を圧縮して、動画像符号化装置から動画像復号装置へと伝送し、受信側の動画像復号装置でのスムーズな閲覧を可能としている。
【０００３】
動画像を符号化する技術として、例えば、Ｈ．２６４、及びHigh Efficiency Video Coding（ＨＥＶＣ，Ｈ．２６５）等の技術が知られている。
【０００４】
動画像を符号化する場合に、画像を複数のブロックに分割し、ブロック単位で符号化が実行されることがある。また、この場合に、ブロックを更に複数のサブブロックへと分割し、サブブロック単位で、符号化モードを決定することがある。例えば、ＨＥＶＣでは、画像は、Coding Tree Unit（ＣＴＵ）と呼ばれるブロックに分割され、更に、ＣＴＵはCoding Unit（ＣＵ）と呼ばれる複数のサブブロックに分割される。そして、ＣＵ単位で、符号化モードが選択される。なお、符号化モードは、例えば、インター符号化モードと、イントラ符号化モードとを含んでいてよい。
【０００５】
インター符号化モードは、動画像に含まれる符号化の対象画像を符号化済み画像の情報を用いて符号化する符号化モードであり、イントラ符号化モードは、符号化の対象画像が持つ情報を用いてその対象画像を符号化する符号化モードである。なお、符号化の対象画像は、以下の説明においてフレーム又はピクチャと呼ばれることがある。
【０００６】
動画像データは、或るタイミングのピクチャデータと次のタイミングのピクチャデータとの類似度が高いことが多い。そのため、インター符号化モードでは、この動画像データの時間方向に相関性が高い性質を利用して符号化が行われる。まず、画像は複数のブロックに分割される。そして、動画像符号化装置は、ブロック毎に、符号化済みフレームの復号画像から、符号化する対象のブロックと類似している領域を選択し、類似領域を指し示す動きベクトルを特定する。また、動画像符号化装置は、この類似領域と符号化する対象のブロックとの差分を計算する。そして、動画像符号化装置は、特定された動きベクトルを示す情報と計算された差分の情報とを符号化することで、高い圧縮率を実現する。
【０００７】
ここで、インター符号化モードは、例えば、コピーモードと、予測ベクトルモードの２つの予測モードを含んでいてよい。コピーモードは、符号化済みの周辺ブロックの動きベクトルをコピーするモードであってよい。例えば、ＨＥＶＣではコピーモードとして、マージモードが規定されている。マージモードでは、符号化済みの隣接ブロックの動きベクトルを用いて複数の動きベクトル候補を導出し、マージ候補リストを生成する。そして、マージ候補リスト内から適した動きベクトル候補を選択し、その選択された動きベクトル候補を指定するインデックスを符号化して伝送する。予測ベクトルモードは、処理対象のブロックの動きベクトルと、符号化済みの隣接ブロックの動きベクトルから導出された予測ベクトルとの差分ベクトルを符号化するモードであってよい。例えば、ＨＥＶＣでは予測ベクトルモードとして、Advanced Motion Vector Prediction（ＡＭＶＰ）が規定されている。また、例えば、Ｈ．２６４においても、符号化済みの隣接ブロックの動きベクトルをコピーするコピーモードと、符号化済みの隣接ブロックを予測ベクトルとして動きベクトルとの差分ベクトルを符号化する予測ベクトルモードとが規定されている。
【０００８】
これに関し、動画像符号化時の動き検出において、動きベクトル検出の対象となるブロックの周辺ブロックにイントラモードで符号化されたものがある場合に、精度良く動きベクトルを検出するための技術が知られている。（例えば、特許文献１）イントラ予測モードで符号化されるブロックに仮想動きベクトルを割り当て、イントラブロック後にインター予測モードで符号化されるブロックの動きベクトルを符号化するとき、イントラブロックに割り当てられた仮想動きベクトルを利用する技術が知られている。（例えば、特許文献２）また、特許文献３〜７にも関連する技術が記載されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００６−２００９５号公報
【特許文献２】特表２０１０−５１７４０５号公報
【特許文献３】特開２０１４−１０３４２９号公報
【特許文献４】特開２０１４−３３４６０号公報
【特許文献５】特開２０１２−１９１２４７号公報
【特許文献６】特開２０１２−１９１４９１号公報
【特許文献７】特開２０１２−１９１３９７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ここで、例えば、リアルタイム処理を実現するため、動画像符号化装置が、或るブロック内の複数のサブブロックに対する符号化モード及び予測モードを一括して決定することがある。そして、この符号化モードの決定後に、動画像符号化装置が、例えば、インター符号化モードと決定したサブブロックを、イントラ符号化モードに変更することがある。この様な場合に、例えば、インター符号化モードからイントラ符号化モードに変更されたサブブロックに隣接する別のサブブロックの符号化モードがインター符号化であり、且つ、予測モードがコピーモードであったとする。この場合、コピーモードにおいてコピーする動きベクトルの導出のために参照する参照先のサブブロックに、符号化モードがインター符号化モードからイントラ符号化モードに変更されたサブブロックが含まれている可能性がある。しかしながら、イントラ符号化モードに変更された場合、その参照されるサブブロックは動きベクトルを有さなくなる。そのため、イントラ符号化モードに変更されたサブブロックの動きベクトルは参照されなくなる。その結果、コピーモードにおける動きベクトルのコピー関係が崩れ、隣接する別のサブブロックにおいて誤った動きベクトルを選択してしまうことがある。また更に、この誤ったベクトルが選択された別のサブブロックに隣接するサブブロックの予測モードもコピーモードである場合、連鎖的に誤った動きベクトルを用いて動きベクトルの導出が行われることになる。その結果、誤りが更に周囲のサブブロックに伝搬してしまい、動画像データの伝送先の動画像復号装置において、ストリームが正しくデコードされず、画質劣化等の問題を引き起こしてしまうことがある。１つの側面に係る目的は、符号化モードの決定後に、或るサブブロックの符号化モードをインター符号化モードからイントラ符号化モードへと変更した場合に、周辺のコピーモードのサブブロックに生じるベクトルコピー関係の不整合を解決することである。
【課題を解決するための手段】
【００１１】
本発明の一つの態様の動画像符号化装置は、決定部と、変更部とを含む。決定部は、画像内の複数のブロックそれぞれに適用される符号化モードを決定するとともに、複数のブロックそれぞれに適用される予測モードを決定する。変更部は、決定部により複数のブロックのうち第１のブロックの符号化モードがインター符号化モードに決定された後に、第１のブロックの符号化モードがイントラ符号化モードに変更され、複数のブロックのうち第１のブロックに隣接する第２のブロックの予測モードが、隣接ブロックの動きベクトルをコピーするコピーモードに決定されている場合、第２のブロックの予測モードをコピーモードから、動きベクトルと予測ベクトルとの差分ベクトルを符号化する予測ベクトルモードに変更する。
【発明の効果】
【００１２】
１つの側面によれば、符号化モードの決定後に、或るサブブロックの符号化モードをインター符号化モードからイントラ符号化モードへと変更した場合に、周辺のコピーモードのサブブロックに生じるベクトルコピー関係の不整合を解決することができる。
【図面の簡単な説明】
【００１３】
【図１】ＨＥＶＣにおけるブロックの構成を例示する図である。
【図２】インター符号化モードに決定されていたサブブロックをイントラ符号化モードに変更する場合に生じ得る不整合について例示する図である。
【図３】第１の実施形態に係る動画像符号化装置の機能ブロック構成を例示する図である。
【図４】第１の実施形態に係る動画像の符号化処理の流れを例示する図である。
【図５】第１の実施形態に係る動画像の符号化処理の動作フローを例示する図である。
【図６】サブブロックの符号化モードのＩＰＣＭへの変更と、周辺サブブロックの予測ベクトルモードへの変更とを例示する図である。
【図７】コピーモードで参照されるサブブロックを例示する図である。
【図８】第２の実施形態に係る動画像の符号化処理の動作フローを例示する図である。
【図９】一実施形態に係る動画像符号化装置を実現するためのハードウェア構成を例示する図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照しながら、本発明のいくつかの実施形態について詳細に説明する。なお、複数の図面において対応する要素には同一の符号を付す。また、以下では、動画像符号化方式としてＨＥＶＣを用いる場合を例に説明を行う。しかしながら、実施形態で利用可能な動画像符号化方式はこれに限定されるものではない。例えば、Ｈ．２６４、及びＭＰＥＧ−２などの他の動画像符号化方式でも、或るブロック内の複数のサブブロック（例えばマクロブロック）の符号化モードを一括して決定し、その後に符号化モードの変更が行われる場合、同様に実施形態を適用することができる。
【００１５】
図１は、動画像符号化方式：ＨＥＶＣにおけるブロックの構成を例示する図である。ＨＥＶＣでは、図１に示すように、ピクチャはＣＴＵと呼ばれるブロックに分割される。ＣＴＵは、ラスタスキャン順に符号化処理が行われる。ＣＴＵサイズは、シーケンス単位で一定であり、例えば、１６×１６画素、３２×３２画素、又は６４×６４画素のいずれかのサイズに設定されてよい。ＣＴＵは、更にＣＵに四分木構造で分割され、分割されたＣＵは、Ｚスキャン順に符号化処理が行われる。ＣＵのサイズは可変であり、例えば、８×８画素から６４×６４画素のサイズを選択することができる。ＣＵは、符号化モードを選択する単位であり、符号化モードは例えば、イントラ予測符号化を行うイントラ符号化モードと、インター予測符号化を行うインター符号化モードとを含んでいてよい。
【００１６】
ＣＵは、Prediction Unit（ＰＵ）とTransform Unit（ＴＵ）単位に個別に処理される。ＰＵは、それぞれの符号化モードにおける予測モードの決定の単位となる。例えば、イントラ符号化モードでは画面内予測モードを決定する単位であり、また、インター符号化モードでは動き補償を行う単位である。ＰＵサイズは、例えばインター予測であれば、ＰＵの分割形状を、２Ｎ×２Ｎ，Ｎ×Ｎ，２Ｎ×Ｎ，Ｎ×２Ｎ，２Ｎ×ｎＵ，２Ｎ×ｎＤ，ｎＲ×２Ｎ，ｎＬ×２Ｎの８種類のＰＵパーティションタイプから選択することができる。なお、ＰＵ分割形状名のｎＵ、ｎＤ、ｎＲ、ｎＬは、小さい方のＰＵが同ＣＵ内で上、下、右、左にそれぞれ位置することを示している。一方、ＴＵは、直交変換の単位であり、ＴＵサイズは、４×４画素から３２×３２画素を選択することができる。ＴＵの分割では、ＣＵは、四分木構造で分割され、Ｚスキャン順に処理される。以降の説明では、ＣＴＵを符号化ブロックと呼ぶことがある。また、ＣＴＵよりも下階層のブロック（例えば、ＣＵ，ＰＵ，及びＴＵ）をサブブロックと呼ぶことがある。
【００１７】
また、ＨＥＶＣでは、動きベクトルはＰＵ単位に求めることができ、また、予測モードをＰＵ単位に決定することができる。ＨＥＶＣでは、動きベクトルの符号化方式として上述のように、ＡＭＶＰと呼ばれる予測ベクトルモードと、マージモードと呼ばれるコピーモードの２つの予測モードが規定されている。ＡＭＶＰは、例えば、シンタックス：merge_flag=0で指定されるモードであってよい。また、マージモードは、例えば、シンタックス：cu_skip_flag=1又はmerge_flag=1で指定されるモードであってよい。
【００１８】
ここで、例えば、リアルタイム処理を実現するため、動画像符号化装置が、１つのＣＴＵ内の複数のサブブロック（例えば、ＣＵ，ＰＵ等）のそれぞれに対して符号化モード及び予測モードを一括して決定することがある。また、その後の符号化処理は規格通りに行われるため、例えば、上記の図１に示すようにＺスキャン順にＣＴＵ内のＣＵは符号化される。しかしながら、この符号化処理中に、インター符号化モードに決定されていた符号化対象のＣＵをIntra Pulse Code Modulation（ＩＰＣＭ）や他のイントラ符号化モードに変更することがある。なお、ＩＰＣＭは、サブブロック（例えばＣＵ）のＰＣＭデータを伝送するイントラ符号化モードにおける予測モードの一種であってよい。
【００１９】
符号化処理中に、インター符号化モードに決定されていた符号化対象のＣＵをＩＰＣＭや他のイントラ符号化モードに変更する例としては、以下がある。例えば、ＨＥＶＣでは、ＩＰＣＭの符号量を基に１ＣＴＵ当たりの符号量に制限値が設けられている。一方で、符号化モード（例えばＩＰＣＭ）は、ＣＵ単位で選択することが可能である。そのため、１ＣＴＵ当たりに設定された符号量の制限値を基に、ＣＵ単位に正規化された閾値を決定する。続いて、ＣＵに対して決定した閾値を、処理対象のサブブロックに対して決定された符号化モードで符号化した場合の符号量（コスト）と比較する。そして、符号量が決定された閾値を超えている場合に、処理対象のサブブロックの符号化モードをＩＰＣＭに置き換えることで、個々のＣＵで符号化コストを抑え、ＣＴＵ単位での制限値を満たすことが行われる。例えば、この場合に、インター符号化モードに決定されていた符号化対象のサブブロックがＩＰＣＭに変更されることがある。そして、インター符号化モードに決定されていた符号化対象のＣＵをＩＰＣＭや他のイントラ符号化モードに変更する場合に、それ以降に符号化されるサブブロックにおいて、符号化モードの変更に起因する不整合が生じることがある。
【００２０】
図２は、インター符号化モードに決定されていた符号化対象のサブブロックをＩＰＣＭや他のイントラ符号化モードに変更する場合に生じ得る不整合について例示する図である。図２（ａ）は、動画像符号化装置が、ＣＴＵ内の複数のサブブロックのそれぞれに対して符号化モード及び予測モードを一括して決定した状態を例示する図である。図２（ａ）では、ＣＴＵ内に含まれる複数のサブブロック（例えばＣＵ）の符号化モードがインター符号化モードかイントラ符号化モードに決定されているものとする。そして、図２（ａ）では、ＣＵに含まれる各ＰＵに対して、その予測モードがＨＥＶＣにおけるコピーモードであるマージモード、又はＨＥＶＣにおける予測ベクトルモードであるＡＭＶＰに決定されている。この状態で、動画像符号化装置が、ＣＴＵ内のＣＵをＺスキャン順に、決定された符号化モード及び予測モードに従って符号化するとする。ここで、図２（ａ）において“対象”の文字で示されるサブブロックは、現在の符号化対象のサブブロックを表しており、また、その符号化モードは、インター符号化モード（例えば、マージモード又はＡＭＶＰ）に決定されているものとする。この場合に、例えば、符号化対象のサブブロックに対して決定されている符号化モードで符号化した場合の符号量が、ＣＵに対して正規化された閾値を超えており、その結果、符号化対象のサブブロックの符号化モードがＩＰＣＭに変更されるとする。この場合に、図２（ｂ）に示すように、変更されたサブブロックの符号化モードに依存関係を有する周辺のサブブロック（例えば、ＰＵ）において、不整合が生じ得る。
【００２１】
図２（ｂ）に示すように、図２（ａ）において“対象”の文字で示されるサブブロック（例えば、ＣＵ）が、イントラ符号化モードの予測モードの１つであるＩＰＣＭに変更されたとする。また、ＩＰＣＭに変更されたサブブロックに隣接するサブブロック（例えば、ＰＵ）の予測モードが、ＨＥＶＣにおける符号化済みの隣接サブブロックの動きベクトルをコピーするコピーモードであるマージモードであったとする。この場合に、符号化モードの変更に起因して動きベクトルの予測が変わってしまうことがある。例えば、ＨＥＶＣにおけるマージモードでは、符号化済みの隣接ブロックの動きベクトルを用いて複数の動きベクトル候補を導出し、マージ候補リストを生成する。マージ候補リストでは、動きベクトルのコピー元となる参照先のサブブロックがmerge_idxというシンタックスで表されており、merge_idxは、ＨＥＶＥＣの規格で定められた方法で周辺のサブブロックと関係づけられている。そして、マージモードでは、マージ候補リスト内から適した動きベクトル候補を選択し、その選択された動きベクトル候補を指定するmerge_idxを符号化して伝送する。また、受信側の動画像復号装置ではmerge_idxを基に動きベクトルを取得し、動画像の復号が行われる。
【００２２】
しかしながら、マージモードのサブブロック（例えば、ＰＵ）の周辺のサブブロック（例えば、ＣＵ）がＩＰＣＭに変更されると、マージ候補リストと周辺のサブブロックとの関係が変わり、即ち、merge_idxで示される動きベクトルが変わってしまう。そのため、図２（ｂ）に示すように、ＩＰＣＭに変更されたサブブロック（例えば、ＣＵ）に隣接するマージモードのサブブロック（例えば、ＰＵ）において、誤った動きベクトルが選択されてしまう。その結果、受信側の動画像復号装置で復号する際に画質の劣化等を引き起こしてしまうことがある。また、誤った動きベクトルが選択されたサブブロックの周辺のサブブロックもマージモードであった場合、更に誤った動きベクトルをコピーすることになり、誤りが伝搬してしまうことがある。
【００２３】
また、例えば、誤りが伝搬する範囲の全てのサブブロックのマージ候補リストを再計算することで、この問題に対処することも考えられるが、そのためには計算量を要する。更に、再計算をしたとしても、merge_idxが指示したサブブロックがＩＰＣＭに変更されていれば、元の動きベクトルが存在しない可能性もあり、結局、動き探索をやり直すことになり、リアルタイム性が確保されなくなる恐れがある。そのため、ブロック内の複数のサブブロックの符号化モードの決定後に、或るサブブロックをインター符号化モードから別の符号化モードへと変更した場合に、周辺のコピーモードのサブブロックに生じ得る不整合を解決する技術が望まれている。
【００２４】
そこで、例えば、符号化対象のサブブロック（例えば、ＰＵ）がコピーモードであり、且つ、その周辺にインター符号化モードからイントラ符号化モードに変更されたサブブロック（例えば、ＣＵ）があったとする。この場合に、第１の実施形態では動画像符号化装置は、例えば、符号化対象のサブブロックの符号化モードを予測ベクトルモードに変更する。予測ベクトルモードでは、動きベクトルが明示的に符号化される。そのため、動画像符号化装置は、ブロック内の複数のサブブロックの符号化モードの決定後に、或るサブブロックにおいて符号化モードがＩＰＣＭに変更されたとしても、その変更に起因する不整合を解決することができる。従って、例えば、受信側の動画像復号装置において適切に動画像を復号することができる。以下、図３から図７を参照して、第１の実施形態を説明する。
【００２５】
＜第１の実施形態＞
図３は、第１の実施形態に係る動画像符号化装置３０の機能ブロック構成を例示する図である。動画像符号化装置３０は、例えば、制御部３００及び記憶部３１０を含んでいる。制御部３００は、例えば、決定部３０１、及び変更部３０２を含んでいてよい。また、制御部３００は、後述する図４に示す予測誤差信号生成部４０１、直交変換部４０２、量子化部４０３、エントロピー符号化部４０４、逆量子化部４０５、逆直交変換部４０６、及び復号画像生成部４０７などを含んでいてよい。更に、制御部３００は、例えば、イントラ予測画像生成部４０９、インター予測画像生成部４１０、動きベクトル計算部４１１、符号化モード決定部４１２、及び予測画像選択部４１３などを含んでいてよい。制御部３００は、コピーモード判定部４１４、インター符号化モード変更部４１５、隣接サブブロック判定部４１６、及び符号化モード変更判定部４１８などを含んでいてよい。動画像符号化装置３０の制御部３００は、一実施形態においては、例えば、記憶部３１０を利用して動画像符号化プログラムを読み出して実行することで、これらの機能部として動作してよい。また、図３に示す決定部３０１、及び変更部３０２は、例えば、図４に示す一部の機能ブロックと対応していてよい。動画像符号化装置３０の記憶部３１０は、例えば、動画像符号化プログラム及び動画像データなどの情報を記憶していてよい。記憶部３１０は、例えば、後述する復号画像記憶部４０８及びイントラブロック位置記憶部４１７として機能してよい。制御部３００に含まれる各機能部の詳細については後述する。
【００２６】
図４は、第１の実施形態に係る動画像符号化装置３０の制御部３００の機能ブロックによって実行される動画像の符号化処理の流れを例示する図である。図４において、動画像符号化装置３０の制御部３００は、例えば、予測誤差信号生成部４０１、直交変換部４０２、量子化部４０３、エントロピー符号化部４０４、逆量子化部４０５、逆直交変換部４０６、及び復号画像生成部４０７を含んでいる。また、動画像符号化装置の制御部３００は、例えば、イントラ予測画像生成部４０９、インター予測画像生成部４１０、動きベクトル計算部４１１、符号化モード決定部４１２、及び予測画像選択部４１３を含んでいる。更に、動画像符号化装置３０の制御部３００は、コピーモード判定部４１４、インター符号化モード変更部４１５、隣接サブブロック判定部４１６、符号化モード変更判定部４１８を含んでいる。また、記憶部３１０は、例えば、復号画像記憶部４０８、及びイントラブロック位置記憶部４１７として機能してよい。
【００２７】
予測誤差信号生成部４０１は、後述する符号化モード決定部４１２によって決定された符号化モードに従い、動画像データ内のピクチャに含まれる符号化対象の符号化ブロックを、複数のサブブロックへと分割する。なお、符号化ブロックは、例えば、ＨＥＶＣにおけるＣＴＵであってよい。また、サブブロックは、例えば、ＨＥＶＣにおけるＣＵ、ＰＵ、及びＴＵを含んでいてよい。予測誤差信号生成部４０１は、分割により得られた処理対象のサブブロックのデータと、予測画像選択部４１３から供給される予測画像のサブブロックのデータとを用いて、予測誤差信号を生成する。予測誤差信号生成部４０１は、生成された予測誤差信号を直交変換部４０２に渡す。
【００２８】
直交変換部４０２は、入力された予測誤差信号を直交変換する。直交変換部４０２は、予測誤差信号を直交変換することによって水平方向及び垂直方向の周波数成分に分離された信号を量子化部４０３に供給する。量子化部４０３は、直交変換部４０２の出力を量子化する。量子化部４０３は、量子化により信号を符号化することによって予測誤差信号の符号量を低減し、コピーモード判定部４１４及び逆量子化部４０５に供給する。
【００２９】
逆量子化部４０５は、量子化部４０３の出力を逆量子化してから逆直交変換部４０６に供給する。逆直交変換部４０６は、逆量子化部４０５の出力を逆直交変換処理してから復号画像生成部４０７に供給する。これら逆量子化部４０５及び逆直交変換部４０６によって復号化処理が行われることにより、符号化前の予測誤差信号と同程度の信号が得られる。
【００３０】
復号画像生成部４０７は、例えば、インター予測画像生成部４１０で動き補償されたピクチャのサブブロックのデータと、逆量子化部４０５、及び逆直交変換部４０６により復号処理された予測誤差信号とを加算する。それにより、復号画像生成部４０７は、符号化対象のピクチャの予測されるサブブロックのデータを再生し、復号画像記憶部４０８に渡す。
【００３１】
復号画像記憶部４０８は、渡された予測されるサブブロックのデータを新たな参照ピクチャのデータとして記憶する。復号画像記憶部４０８に記憶された新たな参照ピクチャのデータは、例えば、イントラ予測画像生成部４０９、インター予測画像生成部４１０及び動きベクトル計算部４１１で利用されてよい。
【００３２】
イントラ予測画像生成部４０９は、同ピクチャ内の既に符号化された周辺の画素から予測画像を生成する。一方、インター予測画像生成部４１０は、復号画像記憶部４０８から得た参照ピクチャのデータを動きベクトル計算部４１１から提供される動きベクトルで動き補償することにより、動き補償された参照ピクチャのサブブロックのデータを生成する。
【００３３】
動きベクトル計算部４１１は、符号化対象のピクチャにおける符号化ブロック（例えば、ＨＥＶＣにおけるＣＴＵ）のデータと、復号画像記憶部４０８から得られる既に符号化された参照ピクチャの符号化ブロックのデータを用いて、動きベクトルを求める。動きベクトルとは、例えば、ブロック単位で参照ピクチャから符号化対象のピクチャに最も類似している位置を探索するブロックマッチング技術（動きベクトル探索とも呼ばれる）を用いて求められるブロック単位の空間的なズレを示す値である。動きベクトル計算部４１１は、求めた動きベクトルをインター予測画像生成部４１０に渡す。
【００３４】
符号化モード決定部４１２は、符号化ブロックを複数のサブブロックに分割し、サブブロックの符号化モードと、符号化モードに属する予測モードとを決定する。符号化モードは、例えば、イントラ符号化モード及びインター符号化モードを含んでいてよい。そして、決定された符号化モード及び予測モードに応じてイントラ予測画像生成部４０９とインター予測画像生成部４１０から出力されたサブブロックのデータは、予測画像選択部４１３に入力される。予測画像選択部４１３は、どちらか一方の予測画像のサブブロックのデータを選択することができる。選択されたサブブロックのデータは、予測誤差信号生成部４０１に供給される。
【００３５】
また、符号化モード決定部４１２は、サブブロックの符号化モードの決定の際に、そのサブブロックの動きベクトルを決定する。この決定は、例えば、上述のように動きベクトル計算部４１１が動きベクトル探索を行うことで実行されてよい。そして、符号化モード決定部４１２が、処理対象の符号化ブロック内の全てのサブブロックの符号化モードを決定した後、各サブブロックに対して以下の処理が実行される。
【００３６】
まず、符号化対象の符号化ブロックに含まれる全てのサブブロックに対して決定された符号化モードと、符号化モードに応じた情報（例えば、予測モード、動きベクトル）とが符号化モード決定部４１２からコピーモード判定部４１４に入力される。また、コピーモード判定部４１４には、量子化部４０３で量子化された処理対象のサブブロックのデータも入力される。そして、コピーモード判定部４１４は、例えば、符号化モード決定部４１２から入力された符号化モードと予測モードの情報に基づいて、処理対象のサブブロックがインター符号化モードのコピーモードであるか否かを判定する。処理対象のサブブロックがコピーモードである場合、コピーモード判定部４１４は、例えば、処理対象のサブブロックの位置を示す情報を隣接サブブロック判定部４１６に出力する。また、コピーモード判定部４１４は、処理対象のサブブロックのデータをインター符号化モード変更部４１５に出力する。
【００３７】
隣接サブブロック判定部４１６は、位置を示す情報が入力されたコピーモードのサブブロックと隣接するサブブロックに、符号化モードがＩＰＣＭに変更されたサブブロックが含まれるか否かを判定する。後述するように、イントラブロック位置記憶部４１７には、インター符号化モードからＩＰＣＭに変更されたサブブロックの位置の情報が記憶されている。隣接サブブロック判定部４１６は、イントラブロック位置記憶部４１７に記憶されているＩＰＣＭに変更されたサブブロックの位置の情報に基づいて、隣接するサブブロックにＩＰＣＭに変更されたサブブロックが含まれるか否かを判定してよい。処理対象のサブブロックと隣接するサブブロックにＩＰＣＭに変更されたサブブロックが含まれる場合、隣接サブブロック判定部４１６は、インター符号化モード変更部４１５に条件が合致したことを示す情報を出力する。
【００３８】
インター符号化モード変更部４１５は、処理対象のサブブロックがコピーモードであり、且つ、処理対象のサブブロックと隣接するサブブロックにＩＰＣＭに変更されたサブブロックが含まれているか否かを判定する。そして、処理対象のサブブロックがコピーモードであり、且つ、処理対象のサブブロックと隣接するサブブロックにＩＰＣＭに変更されたサブブロックが含まれている場合に、処理対象のサブブロックを予測ベクトルモードに変更する。なお、インター符号化モード変更部４１５は、例えば、隣接サブブロック判定部４１６から条件が合致したことを示す情報が入力されている場合に、処理対象のサブブロックを予測ベクトルモードに変更してよい。
【００３９】
変更する予測ベクトルモードで用いる動きベクトルには、後述する符号化モード変更判定部４１８によって符号化ブロック内のサブブロックの符号化モードが変更される前の処理対象のサブブロックのコピーモードにおけるコピー元の動きベクトルを設定してよい。上述のように、符号化モード決定部４１２は、符号化ブロック内の複数のサブブロックのそれぞれの符号化モードと、符号化モードに応じた情報（例えば、予測モード、動きベクトル）とを決定している。そして、後述する符号化モード変更判定部４１８は、符号化モード決定部４１２によって決定された符号化モードを変更する。そのため、インター符号化モード変更部４１５は、符号化モード決定部４１２が処理対象のサブブロックに対して決定したコピーモードにおけるコピー元の動きベクトルを、変更する予測ベクトルモードにおける動きベクトルとして設定してよい。なお、以降の説明では、この処理対象のサブブロックに対して決定されていたコピーモードにおけるコピー元の動きベクトルを、コピーベクトルと呼ぶことがある。
【００４０】
また、このコピーベクトルは、例えば、予測誤差信号生成部４０１に入力された処理対象のサブブロックのデータがコピーモード判定部４１４へと入力されるまでの処理において、復号画像生成部４０７により復号画像記憶部４０８に記憶されてよい。そして、インター符号化モード変更部４１５は、復号画像記憶部４０８から処理対象のサブブロックに対して符号化モード決定部４１２が決定したコピーモードにおけるコピーベクトルを取得してよい。或いは、別の実施形態では、符号化モード決定部４１２は、処理対象のサブブロックの符号化モード、及び符号化モードに応じた情報（例えば、予測モード、動きベクトル）を決定する際に、決定した情報を例えば記憶部３１０に記憶してよい。そして、インター符号化モード変更部４１５は、記憶部３１０から、例えば、符号化モードに応じた情報に含まれる処理対象のサブブロックのコピーベクトルを取得してもよい。このように、予測ベクトルモードの動きベクトルには、符号化モード変更判定部４１８が符号化ブロック内のサブブロックの符号化モードの変更を実行する前に、処理対象のサブブロックに決定されていたコピーベクトルが設定されてよい。
【００４１】
また、インター符号化モード変更部４１５は、予測ベクトルモードで動きベクトルを符号化するために、選択情報（例えば、ＨＥＶＣではシンタックスmvp_l0_flag及びmvp_l1_flag）により予測ベクトルを選択する。一実施形態においては、選択情報は予め決めた情報であってよい。例えば、選択情報は、予測ベクトルの導出のために生成される予測ベクトル候補リスト（例えば、ＨＥＶＣにおけるmvpListLX（ここで、X=0 or 1））の計算が最も簡単となるmvp_lX_flag=0としてもよい。或いは、インター符号化モード変更部４１５は、予測ベクトル候補リスト（mvpListLX）を作成する処理を実行し、予測ベクトルと動きベクトルの差分ベクトルを符号化するコストが小さくなるように、mvp_lX_flagを選択してもよい。例えば、以上のように、符号化モードをコピーモードから予測ベクトルモードに変更した場合に動きベクトルと予測ベクトルとを設定することで、伝送先の動画像復号装置においてデータを適切に復号することが可能である。
【００４２】
符号化モード変更判定部４１８は、処理対象のサブブロックの符号化モードを変更するか否かを判定する。なお、第１の実施形態では、符号化モード決定部４１２が、ＩＰＣＭ以外のイントラ符号化モードを用いるか、又はインター符号化モードを用いるかについての判定を完了している。そのため、第１の実施形態では、符号化モード変更判定部４１８は、符号化モードをＩＰＣＭに変更するか否かを判定してよい。上述のように、例えば、ＨＥＶＣでは、ＩＰＣＭの符号量を基に１ＣＴＵあたりの符号量に制限値が設けられており、１ＣＴＵあたりの制限値をサブブロック単位で正規化することで、サブブロック単位での符号量の制限を表す閾値を設定することができる。そして、符号化モード変更判定部４１８は、処理対象のサブブロックの符号量が設定されている閾値を超えているか否かを判定し、処理対象のサブブロックの符号量が閾値を超えている場合、処理対象のサブブロックの符号化モードをＩＰＣＭに変更してよい。また、符号化モード変更判定部４１８は、処理対象のサブブロックの符号化モードをＩＰＣＭに変更した場合、符号化モードをＩＰＣＭに変更したサブブロックの位置を示す情報を、イントラブロック位置記憶部４１７に出力する。そして、符号化モード変更判定部４１８は、処理を完了したサブブロックのデータを、エントロピー符号化部４０４に出力する。
【００４３】
イントラブロック位置記憶部４１７は、符号化モード変更判定部４１８から入力されたＩＰＣＭに変更されたサブブロックの位置を示す情報を記憶する。イントラブロック位置記憶部４１７は、例えば、ＩＰＣＭに変更されたサブブロックの位置をフラグを用いたビットマップなどで記憶してよい。
【００４４】
エントロピー符号化部４０４は、符号化モード変更判定部４１８から入力されるサブブロックのデータにエントロピー符号化を行い、ストリームを出力する。なお、エントロピー符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てる方式（可変長符号化）であってよい。
【００４５】
続いて、以上で例示した機能ブロック構成により実行される第１の実施形態に係る動画像の符号化処理の動作フローを例示する。図５は、第１の実施形態に係る動画像の符号化処理の動作フローを例示する図である。図５の動画像の符号化処理の動作フローは、例えば、動画像符号化装置３０において制御部３００に動画像の符号化を指示する情報が入力されると開始してよい。
【００４６】
ステップ５０１（以降、ステップを“Ｓ”と記載し、例えば、Ｓ５０１と表記する）において、動画像符号化装置３０の符号化モード決定部４１２は、動画像内のピクチャを複数の符号化ブロックに分割する。例えば、ＨＶＥＣでは、制御部３００は、ピクチャを複数のＣＴＵに分割してよい。続く、Ｓ５０２からＳ５１９までの処理は、分割された複数の符号化ブロックのそれぞれに対して実行される繰り返し処理である。
【００４７】
Ｓ５０３において、符号化モード決定部４１２は、処理対象の符号化ブロックを更に複数のサブブロックへと分割する。例えば、ＨＶＥＣでは、符号化モード決定部４１２は、ＣＴＵを複数のＣＵに分割してよい。続く、Ｓ５０４からＳ５０６までの処理は、分割された複数のサブブロックのそれぞれに対して実行される繰り返し処理である。Ｓ５０５において符号化モード決定部４１２は、処理対象のサブブロックの符号化モードを決定する。
【００４８】
符号化モードの決定は、符号化コストに基づいて行われてよく、例えば、画素差分絶対値和：SAD=Σ|OrgPixel-PredPixel|の比較によって判定が行われてよい。ここで、ＳＡＤは、Sum of Absolute Differenceの略称である。また、OrgPixelは原画像のブロックに含まれる画素、PredPixelは、例えば、ＨＥＶＣ規格で求められる予測画像のブロックに含まれる画素であってよい。ただし、実施形態で用いられる符号化コストは、ＳＡＤに限定されるものではなく、例えば、差分画素をアダマール変換した後の絶対値和ＳＡＴＤなどでもよい。なお、ＳＡＴＤは、Sum of Absolute Hadamard Transformed Differenceの略称である。
【００４９】
一例として、インター符号化のコストの場合、予測ベクトルモードであれば差分ベクトル：MVD=（予測ベクトル−動きベクトル）を符号化するための情報量をMVDCostとすると、全体のコストは、Cost=SAD + λ*MVDCostで表すことができる。ここで、λはSADとMVDCostのバランスを調整するスケーラーである。
【００５０】
また、例えば、イントラ符号化のコストの場合、画面内予測モードに関する情報を符号化するコスト等のイントラ予測モードの符号化のためのコストをPRDCostとすると、全体のコストは、Cost=SAD + λ*PRDCostで表すことができる。ここで、λはSADとPRDCostのバランスを調整するスケーラーである。
【００５１】
そして、符号化モード決定部４１２は、処理対象のサブブロックのイントラ符号化のコストと、インター符号化のコストとを比較し、コストの低い方を選択することで、符号化モードを決定してよい。また、インター符号化モードのコストの算出に用いる動きベクトルは、例えば、上述のように、動きベクトル計算部４１１がブロックマッチング技術（動きベクトル探索）を用いて決定してよい。また、動きベクトルは、ＣＵ内のＰＵ単位で決定されてよい。なお、処理対象のサブブロックの符号化モードの決定において、MVDCost及びPRDCostは用いなくてもよく、例えば、符号化モードはＳＡＤの比較により決定されてもよい。
【００５２】
また、符号化モード決定部４１２は、Ｓ５０５において処理対象のサブブロックの予測モードを決定してよい。予測モードは、例えば、インター符号化モードであれば、予測ベクトルモードと、コピーモードとを含んでいてよい。予測ベクトルモードは、上述のように、例えば、符号化済みの周辺ブロックの動きベクトルを予測ベクトルとして、処理対象のサブブロックにおいて求められた動きベクトルとの差分ベクトルを符号化するモードであってよい。また、コピーモードは、符号化済みの周辺のサブブロックの動きベクトルをコピーするモードであってよい。符号化モード決定部４１２は、例えば、動きベクトル探索により求めた動きベクトルから予測した予測画像のブロックと処理対象のブロックとのＳＡＤを予測ベクトルモードのコストとして求めてよい。また、符号化モード決定部４１２は、符号化済みの周辺のサブブロックの動きベクトルから導出された動きベクトル候補のリスト（例えば、マージ候補リスト）を生成する。そして、符号化モード決定部４１２は、候補のうちから選択した動きベクトルを用いて予測した予測画像のブロックと処理対象のブロックとのＳＡＤをコピーモードのコストとして求めてよい。符号化モード決定部４１２は、予測ベクトルモードのコストと、コピーモードのコストを比較し、コストの低い方を選択することで、予測モードを決定してよい。なお、符号化モード決定部４１２は、コピーモードのコストの算出の際に、動きベクトル候補のリストのうちからコピーモードで用いる動きベクトルを指定するインデックスを決定してよい。また、予測モードは、ＣＵ内のＰＵ単位で決定されてよい。
【００５３】
Ｓ５０６において、Ｓ５０３で分割して得られた全てのサブブロックがＳ５０４〜Ｓ５０６において処理されていない場合、フローはＳ５０３へと戻り、制御部３００は、次のサブブロックを処理対象として処理を繰り返す。一方、Ｓ５０６において、Ｓ５０３で分割して得られた全てのサブブロックに対してＳ５０４〜Ｓ５０６の処理が実行されている場合、フローはＳ５０７へと進む。
【００５４】
続く、Ｓ５０７からＳ５１８までの処理は、例えば、Ｓ５０３で分割された複数のサブブロック（例えば、ＣＵ）のそれぞれに対して実行される繰り返し処理である。また、Ｓ５０８からＳ５１３までの処理は、例えば、処理対象のサブブロック（例えばＣＵ）内にある予測モードを決定する単位のサブブロック（例えば、ＰＵ）のそれぞれに対して実行される繰り返し処理である。Ｓ５０９においてコピーモード判定部４１４は、処理対象のサブブロック（例えば、ＰＵ）がコピーモードであるか否かを判定する。処理対象のサブブロックが、コピーモードではない場合（Ｓ５０９がＮｏ）、フローはＳ５１０へと進む。一方、処理対象のサブブロックがコピーモードである場合（Ｓ５０９がＹｅｓ）、フローはＳ５１１へと進む。
【００５５】
Ｓ５１１において隣接サブブロック判定部４１６は、処理対象のサブブロックと隣接するサブブロックにインター符号化モードからＩＰＣＭに符号化モードが変更されたサブブロック（例えば、ＣＵ）があるか否かを判定する。なお、後述するＳ５１７で述べるように、或るサブブロックの符号化モードが、インター符号化モードからＩＰＣＭへと変更された場合、その変更されたサブブロックの位置についての情報がイントラブロック位置記憶部４１７に記憶される。そのため、隣接サブブロック判定部４１６は、イントラブロック位置記憶部４１７を参照して、処理対象のサブブロックと隣接するサブブロックにインター符号化モードからＩＰＣＭに変更されたサブブロックがあるか否かを判定してよい。処理対象のサブブロックと隣接するサブブロックにインター符号化モードからＩＰＣＭに変更されたサブブロックが無い場合（Ｓ５１１がＮｏ）、フローはＳ５１３へと進む。一方、処理対象のサブブロックと隣接するサブブロックにインター符号化モードからＩＰＣＭに変更されたサブブロックがある場合（Ｓ５１１がＹｅｓ）、フローはＳ５１２へと進む。
【００５６】
Ｓ５１２においてインター符号化モード変更部４１５は、処理対象のサブブロックの予測モードをコピーモードから予測ベクトルモードに変更する。なお、予測ベクトルモードで用いる動きベクトルは、後述するＳ５１６において符号化対象の符号化ブロック内のサブブロックの符号化モードが変更される前に決定されていた処理対象のサブブロックに対するコピーベクトルであってよい。例えば、このコピーベクトルは、予測誤差信号生成部４０１に入力された処理対象のサブブロックのデータがコピーモード判定部４１４へと入力されるまでの処理で、復号画像生成部４０７により復号画像記憶部４０８に記憶されてよい。そして、インター符号化モード変更部４１５は、Ｓ５１２において、復号画像記憶部４０８から処理対象のサブブロックに対して決定されたコピーモードにおけるコピーベクトルを取得してよい。或いは、別の実施形態では、Ｓ５０５において、符号化モード決定部４１２は、処理対象のサブブロックの符号化モード、及び符号化モードに応じた情報を決定する際に、決定した情報を例えば記憶部３１０に記憶してよい。そして、Ｓ５１２において、インター符号化モード変更部４１５は、記憶部３１０から、例えば、符号化モードに応じた情報に含まれる処理対象のサブブロックのコピーベクトルを取得してもよい。
【００５７】
続いて、Ｓ５１０において、インター符号化モード変更部４１５は、予測ベクトルを計算する。例えば、インター符号化モード変更部４１５は、動きベクトルを符号化するために、選択情報（例えば、ＨＥＶＣではシンタックスmvp_l0_flag及びmvp_l1_flag）により予測ベクトルを選択してよい。一実施形態においては、選択情報は予め決めておいた所定の情報であってよい。例えば、選択情報は、予測ベクトルの導出のために生成される予測ベクトル候補リスト（例えば、ＨＥＶＣにおけるmvpListLX（ここで、X=0 or 1））の計算が最も簡単となるmvp_lX_flag=0としてもよい。或いは、別の実施形態では、予測ベクトル候補リスト（mvpListLX）を作成する処理を実行し、予測ベクトルと動きベクトルとの差分ベクトルを符号化するコストが小さくなるように、mvp_lX_flagを選択してもよい。例えば、以上で述べたように動きベクトルと、予測ベクトルを選択する選択情報とを用いて符号化を行うことで、符号化モードをコピーモードから予測ベクトルモードに変更した場合にも、伝送先の動画像復号装置においてデータを適切に復号することができる。なお、Ｓ５１０において、例えば、処理対象のサブブロックがイントラ符号化モードやＩＰＣＭであれば、予測ベクトルの計算は実行しなくてよい。
【００５８】
Ｓ５１３において制御部３００は、処理対象のサブブロック（例えばＣＵ）内にある予測モードを決定する単位のサブブロック（例えば、ＰＵ）のそれぞれに対してＳ５０８〜Ｓ５１３までの繰り返し処理を実行しているか否かを判定する。Ｓ５１３において、予測モードを決定する単位のサブブロック（例えば、ＰＵ）のそれぞれに対してＳ５０８〜Ｓ５１３までの繰り返し処理を実行していない場合、フローはＳ５０８へと戻り、制御部３００は、次のサブブロックに対して処理を繰り返す。一方、Ｓ５１３において、予測モードを決定する単位のサブブロック（例えば、ＰＵ）のそれぞれに対してＳ５０８〜Ｓ５１３までの繰り返し処理を実行している場合、フローはＳ５１４へと進む。
【００５９】
Ｓ５１４において符号化モード変更判定部４１８は、処理対象のサブブロック（例えば、ＣＵ）の符号化モードをイントラ符号化モードに変更するか否かを判定する。なお、第１の実施形態では、Ｓ５０５において符号化モード決定部４１２が、処理対象のサブブロックの符号化にＩＰＣＭ以外のイントラ符号化モードを用いるか、又はインター符号化モードを用いるかについては、判定を実行している。そのため、符号化モード変更判定部４１８は、Ｓ５１４において符号化モードをＩＰＣＭに変更するか否かを判定してよい。
【００６０】
また、この判定は、以下のように行われてよい。上述のように、例えば、ＨＥＶＣでは、ＩＰＣＭの符号量を基に１ＣＴＵあたりの符号量に制限値が設けられている。そして、１ＣＴＵあたりの制限値をサブブロック（例えば、ＣＵ）単位で正規化することで、サブブロック単位で符号量の制限を表す閾値を設定することができる。そのため、符号化モード変更判定部４１８は、Ｓ５１４において処理対象のサブブロックの符号量が、符号量の制限を表す閾値を超えているか否かを判定してよい。例えば、処理対象のサブブロックの符号量が閾値を超えていない場合、符号化モード変更判定部４１８はＳ５１４においてＮｏと判定し、フローはＳ５１５へと進む。一方、処理対象のサブブロックの符号量が閾値を超えている場合、符号化モード変更判定部４１８はＳ５１４においてＹｅｓと判定し、フローはＳ５１６へと進む。
【００６１】
Ｓ５１６において、符号化モード変更判定部４１８は、処理対象のサブブロックの符号化モードをＩＰＣＭに変更する。また、Ｓ５１７において、符号化モード変更判定部４１８は、符号化モードをＩＰＣＭに変更したサブブロックの位置を示す情報を、イントラブロック位置記憶部４１７に記憶する。例えば、イントラブロック位置記憶部４１７は、ＩＰＣＭに変更したサブブロックの位置をフラグを用いたビットマップなどで記憶してよい。続いて、Ｓ５１５において、エントロピー符号化部４０４は、符号化モード変更判定部４１８から入力される処理対象のサブブロックのデータにエントロピー符号化を実行し、ビットストリームを出力してよい。なお、エントロピー符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てる方式（可変長符号化）であってよい。
【００６２】
Ｓ５１８において制御部３００は、Ｓ５０３で分割して得られた複数のサブブロック（例えば、ＣＵ）のそれぞれに対してＳ５０７〜Ｓ５１８までの繰り返し処理を実行しているか否かを判定する。Ｓ５１８において、Ｓ５０３で分割して得られた複数のサブブロックのそれぞれに対してＳ５０７〜Ｓ５１８までの繰り返し処理を実行していない場合、フローはＳ５０７へと戻り、制御部３００は、次のサブブロックを処理対象として処理を繰り返す。一方、Ｓ５１８において、Ｓ５０３で分割して得られた複数のサブブロックのそれぞれに対してＳ５０７〜Ｓ５１８までの繰り返し処理を実行している場合、フローはＳ５１９へと進む。
【００６３】
Ｓ５１９において制御部３００は、Ｓ５０１で分割して得られた全ての符号化ブロックに対してＳ５０２〜Ｓ５１９までの繰り返し処理を実行しているか否かを判定する。未処理の符号化ブロックがある場合には、フローはＳ５０２へと戻る。一方、Ｓ５０１で分割して得られた全ての符号化ブロックに対してＳ５０２〜Ｓ５１９までの繰り返し処理を実行している場合には、本動作フローは終了する。
【００６４】
なお、以上の図５の動作フローにおいて、例えば、Ｓ５０４〜Ｓ５０６の処理は、制御部３００に含まれる決定部３０１が実行してもよい。Ｓ５０９〜Ｓ５１２の処理は、制御部３００に含まれる変更部３０２が実行してもよい。
【００６５】
図６は、以上で述べた、処理対象のサブブロックの符号化モードのＩＰＣＭへの変更と、それに伴う周辺サブブロックの予測ベクトルモードへの変更とを例示する図である。図６（ａ）において、図２（ａ）の処理対象のサブブロック（例えば、ＣＵ）がＩＰＣＭに変更されている。この場合に、図６（ａ）の斜線６０１で示すマージモードの隣接するサブブロック（例えば、ＰＵ）では、ＩＰＣＭに変更されたサブブロックを、マージモードにおける動きベクトルのコピー元として参照する可能性がある。この場合に、上記の動作フローによれば、図６（ｂ）に示すように、隣接するサブブロックはマージモードからＡＭＶＰモードに変更される。また、マージモードで用いる予定であったコピーベクトルが、ＡＭＶＰモードで明示的に動きベクトルとして符号化される。そのため、第１の実施形態によれば、符号化ブロック内の或るサブブロックの符号化モードがインター符号化モードからＩＰＣＭに変更された場合に、隣接するコピーモードのサブブロックに生じるベクトルコピー関係の不整合を解決することができる。また、隣接するコピーモードのサブブロックにおいてベクトルコピー関係の不整合が解決されるため、隣接するコピーモードのサブブロックの周辺のコピーモードのサブブロックへと連鎖的に誤りが伝搬してしまうことも回避できる。
【００６６】
また、上述の実施形態では、予測モードを予測ベクトルモードに変更する際に動きベクトルとして、符号化ブロック内のサブブロックがインター符号化モードからイントラ符号化モードに変更される前に決定されていたコピーベクトルを用いている。そのため、符号化する予測画像が変わらない。また、既に決定されていたコピーベクトルを動きベクトルとして用いているため、例えば、動き探索等をやり直さなくてもよく、演算量を抑えることができる。また更に、上記の実施形態では、サブブロックの予測モードがコピーモードから予測ベクトルモードに変更される場合に、Ｓ５１０において予測ベクトルが計算される。コピーモードから予測ベクトルモードに予測モードが変更される場合に、予測ベクトルモードで用いる動きベクトルを特定し、予測ベクトルを計算しているため、予測ベクトルモードに変更したサブブロックを伝送先の動画像復号装置において適切に復号できる。
【００６７】
また、予測ベクトルの計算では、予測ベクトル候補を導出し、候補のうちから予測ベクトルが選択される。ここで、例えば、予測ベクトルを選択する選択情報として、予め決めた情報を用いることで、全ての予測ベクトル候補を導出しなくてもよく、予測ベクトルの決定にかかる演算量を削減することができる。
【００６８】
或いは、別の実施形態では、Ｓ５１０において、予測ベクトル候補を導出し、候補のうちから、予測ベクトルと動きベクトルの差分ベクトルを符号化するコストが小さくなるように、予測ベクトルを選択してもよい。この様に予測ベクトルを選択することで、予測ベクトルモードにおける符号量を削減することができる。なお、予測ベクトルモードにおける予測ベクトルの導出の計算は、コピーモードにおけるコピーベクトルの導出の計算と比較して、演算量が少ない。そのため、例えば、符号化ブロック内の或るサブブロックの符号化モードがインター符号化モードからＩＰＣＭに変更された場合に、その周辺のコピーモードのサブブロックについて、コピーベクトルを再計算する場合と比較して、演算量を抑えることができる。
【００６９】
なお、上述の実施形態では、Ｓ５１１において、処理対象のサブブロックと隣接するサブブロックにインター符号化モードからＩＰＣＭに変更されたサブブロックがあるか否かを判定する例を述べた。しかしながら、実施形態はこれに限定されるものではない。例えば、ＨＥＶＣでは、コピーモードにおいて、処理対象のサブブロック（例えば、ＰＵ）に対する動きベクトル候補のリストを生成するために参照されるサブブロックが規定されている。図７は、ＨＥＶＣにおいて、コピーモードで動きベクトル候補のリストを生成するために参照されるサブブロックを例示する図である。図７において、Ａ０、Ａ１、Ｂ０、Ｂ１、Ｂ２が動きベクトル候補のリストを生成するために参照されるサブブロックである。そのため、隣接サブブロック判定部４１６は、Ｓ５１１において、処理対象のサブブロックに隣接するサブブロックのうちで、コピーモードにおいて参照対象となる位置にあるブロックにＩＰＣＭに変更されたサブブロックがあるか否かを判定してよい。これにより、例えば、Ｓ５１２の処理においてコピーモードから予測ベクトルモードへと予測モードが変更される対象となるサブブロックを減らすことができるため、実施形態に係る処理の負荷を更に軽減することができる。
【００７０】
＜第２の実施形態＞
第１の実施形態では、符号化ブロック内の複数のサブブロックのそれぞれの符号化モードが、インター符号化モード又はイントラ符号化モードに決定され、その後に、符号化モードがＩＰＣＭに変更される場合の例を述べた。しかしながら、実施形態はこれに限定されるものではない。例えば、動画像符号化装置３０は、まず、処理対象の符号化ブロック内の全てのサブブロックの符号化モードをインター符号化モードとして、インター符号化モードにおける予測モードと動きベクトルとを決定する。その後、動画像符号化装置３０は、例えば、インター符号化モードにおける画素差分絶対値和と、イントラ符号化モードにおける画素差分絶対値和との比較に基づいて、インター符号化モードからイントラ符号化モードに変更するか否かを判定してもよい。そして、この様な場合にも、インター符号化モードからイントラ符号化モードに変更されたサブブロックの周辺にコピーモードのサブブロックが存在する場合、符号化モードの変更に起因してコピーモードでコピーされる動きベクトルが変わってしまうことがある。
【００７１】
そこで、第２の実施形態では動画像符号化装置３０は、イントラ符号化モードに変更されたサブブロックの周辺にコピーモードのサブブロックが存在する場合、そのコピーモードのサブブロックを予測ベクトルモードに変更する。以下、第２の実施形態について説明する。
【００７２】
なお、第２の実施形態においても、動画像符号化装置３０は、例えば、図３、及び図４に示す機能ブロック構成を有していてよい。しかしながら、第２の実施形態では、例えば、機能ブロック構成は、第１の実施形態とは異なる動作をしてもよい。
【００７３】
例えば、第２の実施形態においては、符号化モード決定部４１２は、処理対象の符号化ブロック内の全てのサブブロックをインター符号化モードとして、各サブブロックの動きベクトルと予測モードとを決定する。なお、この様に、符号化対象の符号化ブロック内の全てのサブブロックをインター符号化モードとして、各サブブロックの動きベクトルと予測モードとを決定する場合、これらの処理を並列処理することが可能である。そして、例えば、動きベクトルと予測モードとの決定を並列処理で実行することは、リアルタイム性の確保に有用である。
【００７４】
また、符号化モード変更判定部４１８は、処理対象のサブブロックをインター符号化モードからイントラ符号化モードに変更するか否かを判定する。この判定は、符号化コストに基づいて行われてよく、例えば、画素差分絶対値和：SAD=Σ|OrgPixel-PredPixel|の比較によって判定が行われてよい。ただし、実施形態で用いられる符号化コストは、ＳＡＤに限定されるものではなく、例えば、差分画素をアダマール変換した後の絶対値和ＳＡＴＤなどでもよい。そして、例えば、符号化モード変更判定部４１８は、処理対象のサブブロックのイントラ符号化のコストと、インター符号化のコストとを比較し、イントラ符号化のコストの方が低い場合に、符号化モードをイントラ符号化モードに変更してよい。
【００７５】
また更に、符号化モード変更判定部４１８は、第１の実施形態と同様に、符号化モードをイントラ符号化モードの一つであるＩＰＣＭに変更するか否かを判定してよい。この判定は、上述のように、サブブロック（例えば、ＣＵ）単位で正規化された閾値を用いて実行されてよい。
【００７６】
イントラブロック位置記憶部４１７は、符号化モード変更判定部４１８により、処理対象のサブブロックがイントラ符号化モード（ＩＰＣＭを含む）に変更された場合、そのサブブロックの位置を示す情報を記憶してよい。
【００７７】
コピーモード判定部４１４は、処理対象のサブブロックの符号化モードがコピーモードであるか否かを判定する。処理対象のサブブロックの符号化モードがコピーモードである場合、コピーモード判定部４１４は、隣接サブブロック判定部４１６に、コピーモードと判定されたサブブロックの位置を示す情報を入力する。隣接サブブロック判定部４１６は、位置を示す情報が入力されたコピーモードのサブブロックと隣接するサブブロックにイントラ符号化モード（ＩＰＣＭを含む）に変更されたサブブロックが含まれるか否かを判定する。この判定は、例えば、イントラブロック位置記憶部４１７に記憶されているイントラ符号化モード（ＩＰＣＭを含む）に変更されたサブブロックの位置を示す情報に基づいて実行されてよい。
【００７８】
インター符号化モード変更部４１５は、処理対処のサブブロックがコピーモードであって、隣接するサブブロックにイントラ符号化モード（ＩＰＣＭを含む）に変更されたサブブロックが含まれている場合、処理対処のサブブロックを予測ベクトルモードに変更する。また、インター符号化モード変更部４１５は、例えば、隣接するサブブロックがイントラ符号化モードに変更される前に、処理対象のサブブロックに対してコピーモードで決定されていたコピーベクトルを、予測ベクトルモードでの動きベクトルとして用いる。例えば、予測ベクトルモードで用いる動きベクトルには、符号化モード決定部４１２が、全てのサブブロックをインター符号化モードとして符号化モードを決定した際に、処理対象のサブブロックに対して決定したコピーベクトルを用いてよい。
【００７９】
続いて、以上で例示した機能ブロック構成が実行する第２の実施形態に係る動画像の符号化処理の動作フローを例示する。図８は、第２の実施形態に係る動画像の符号化処理の動作フローを例示する図である。図８の動画像の符号化処理の動作フローは、例えば、動画像符号化装置３０において制御部３００に動画像の符号化を指示する情報が入力されると開始してよい。
【００８０】
なお、図８の動作フローは、第１の実施形態における図５の動作フローと対応する動作フローである。例えば、Ｓ８０１〜Ｓ８０４、Ｓ８０６〜Ｓ８１０、Ｓ８１３、Ｓ８１５、Ｓ８１８、Ｓ８１９の処理では、図５のＳ５０１〜Ｓ５０４、Ｓ５０６〜Ｓ５１０、Ｓ５１３、Ｓ５１５、Ｓ５１８、Ｓ５１９の処理とそれぞれ同様の処理が実行されてよい。しかしながら、例えば、以下の処理では、図５と異なる処理が実行されてよい。
【００８１】
Ｓ８０５において、符号化モード決定部４１２は、符号化ブロック内に含まれる全てのサブブロックの符号化モードをインター符号化モードとして、処理対象のサブブロックに対する動きベクトルと、予測モードを決定する。
【００８２】
Ｓ８１１において、隣接サブブロック判定部４１６は、処理対象のサブブロック（例えば、ＰＵ）と隣接するサブブロック（例えば、ＣＵ）にインター符号化モードからイントラ符号化モード（ＩＰＣＭを含む）へと変更されたサブブロックがあるかを判定してよい。なお、後述するＳ８１７で述べるように、或るサブブロックの符号化モードが、インター符号化モードからイントラ符号化モード（ＩＰＣＭを含む）へと変更された場合、その変更されたサブブロックの位置の情報がイントラブロック位置記憶部４１７に記憶される。そのため、隣接サブブロック判定部４１６は、イントラブロック位置記憶部４１７を参照して、隣接するサブブロックにインター符号化モードからイントラ符号化モード（ＩＰＣＭを含む）へと変更されたサブブロックがあるか否かを判定してよい。処理対象のサブブロックと隣接するサブブロックにインター符号化モードからイントラ符号化モード（ＩＰＣＭを含む）へと変更されたサブブロックが無い場合（Ｓ８１１がＮｏ）、フローはＳ８１３へと進む。一方、処理対象のサブブロックと隣接するサブブロックにインター符号化モードからイントラ符号化モード（ＩＰＣＭを含む）へと変更されたサブブロックがある場合（Ｓ８１１がＹｅｓ）、フローはＳ８１２へと進む。そして、Ｓ８１２において、インター符号化モード変更部４１５は、処理対象のサブブロック（例えば、ＰＵ）の予測モードをコピーモードから予測ベクトルモードに変更する。
【００８３】
また、Ｓ８１４において符号化モード変更判定部４１８は、処理対象のサブブロック（例えば、ＣＵ）の符号化モードをイントラ符号化モードに変更するか否かを判定する。なお、第２の実施形態では、上述のように、Ｓ８０５において、符号化対象の符号化ブロック内の全てのサブブロックをインター符号化モードとして処理を行っている。そのため、符号化モード変更判定部４１８は、Ｓ８１４において、符号化モードをイントラ符号化モードに変更するか否かを判定してよい。
【００８４】
この判定は、符号化コストに基づいて行われてよく、例えば、画素差分絶対値和：SAD=Σ|OrgPixel-PredPixel|の比較によって判定が行われてよい。ただし、実施形態で用いられる符号化コストは、ＳＡＤに限定されるものではなく、例えば、差分画素をアダマール変換した後の絶対値和ＳＡＴＤなどでもよい。そして、例えば、符号化モード変更判定部４１８は、処理対象のサブブロックのイントラ符号化のコストと、インター符号化のコストとを比較し、イントラ符号化のコストの方が低い場合に、符号化モードをイントラ符号化モードに変更してよい。
【００８５】
また更に、Ｓ８１４において符号化モード変更判定部４１８は、第１の実施形態と同様に、符号化モードをイントラ符号化モードの一つであるＩＰＣＭに変更するか否かを判定してよい。この判定は、上述のように、サブブロック（例えば、ＣＵ）単位で正規化された閾値を用いて実行されてよい。
【００８６】
Ｓ８１４においてインター符号化モードをイントラ符号化モード（ＩＰＣＭを含む）に変更しない場合（Ｓ８１４がＮｏ）、フローはＳ８１５へと進む。一方、インター符号化モードをイントラ符号化モード（ＩＰＣＭを含む）に変更する場合（Ｓ８１４がＹｅｓ）、フローはＳ８１６へと進む。Ｓ８１６において、符号化モード変更判定部４１８は、符号化モードをイントラ符号化モード（ＩＰＣＭを含む）に変更する。Ｓ８１７において、符号化モード変更判定部４１８は、符号化モードをイントラ符号化モード（ＩＰＣＭを含む）に変更したサブブロックの位置を示す情報を、イントラブロック位置記憶部４１７に記憶する。
【００８７】
なお、図８の動作フローにおいて、例えば、Ｓ８０４〜Ｓ８０６の処理は、制御部３００に含まれる決定部３０１が実行してもよい。また、Ｓ８０９〜Ｓ８１２の処理は、制御部３００に含まれる変更部３０２が実行してもよい。
【００８８】
以上で述べたように、第２の実施形態では、処理対象の符号化ブロック内の全てのサブブロックの符号化モードをインター符号化モードとして、インター符号化モードにおける予測モードと動きベクトルとを決定している。そして、その後に、或るサブブロック（例えば、ＣＵ）の符号化モードをイントラ符号化モード（ＩＰＣＭを含む）に変更する場合、そのサブブロックと隣接するコピーモードのサブブロック（例えば、ＰＵ）を予測ベクトルモードに変更している。従って、第２の実施形態は第１の実施形態が奏する効果を有する。また、第２の実施形態によれば、符号化モードの決定後に、或るサブブロックをインター符号化モードからイントラ符号化モードに変更する場合にも、そのサブブロックの周辺のコピーモードのサブブロックに生じるベクトルコピー関係の不整合を解決できる。
【００８９】
以上においていくつかの実施形態を例示したが、実施形態は上述の実施形態に限定されるものではない。例えば、上記の例では、ＨＥＶＣによる動画像符号化を例として説明したが、実施形態はこれに限定されるものではない。例えば、Ｈ．２６４、及びＭＰＥＧ−２などの他の動画像符号化方式でも、或るブロック内の複数のサブブロック（例えばマクロブロック）の符号化モードを一括して決定し、その後に符号化モードの変更が行われる場合、同様に実施形態を適用することができる。
【００９０】
また、例えば、図５及び図８の動作フローは例示であり、実施形態はこれに限定されるものではない。例えば、図５及び図８の動作フローは、可能な場合には、処理の順番が変更されてもよく、別に更なる処理を含んでいてもよく、又は、一部の処理が省略されてもよい。
【００９１】
また、一実施形態に係る動画像符号化装置３０は、ハードウェア回路として実装することもでき、例えば、図９に示すような情報処理装置（コンピュータ）９００を用いて実現することもできる。
【００９２】
図９の情報処理装置９００は、プロセッサ９０１、メモリ９０２、入力装置９０３、出力装置９０４、記憶装置９０５、媒体駆動装置９０６、及びネットワーク接続装置９０７を含み、これらの構成要素はバス９０９により互いに接続されている。
【００９３】
メモリ９０２は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）、フラッシュメモリ等の半導体メモリである。メモリ９０２は、動画像符号化処理に用いられる動画像符号化プログラム及び例えば動画像データなどのデータを格納する。図３の記憶部３１０、並びに図４の復号画像記憶部４０８、及びイントラブロック位置記憶部４１７は、例えば、メモリ９０２であってよい。
【００９４】
プロセッサ９０１は、例えば、Central Processing Unit（ＣＰＵ）であってよい。また、図３の制御部３００は、例えば、プロセッサ９０１であってよい。プロセッサ９０１は、メモリ９０２を利用して動画像符号化プログラムを実行することにより、例えば、図３の決定部３０１、及び変更部３０２として動作してよい。また、プロセッサ９０１は、例えば、図４の予測誤差信号生成部４０１、直交変換部４０２、量子化部４０３、エントロピー符号化部４０４、逆量子化部４０５、逆直交変換部４０６、及び復号画像生成部４０７として動作してよい。プロセッサ９０１は、例えば、イントラ予測画像生成部４０９、インター予測画像生成部４１０、動きベクトル計算部４１１、符号化モード決定部４１２、及び予測画像選択部４１３として動作してよい。プロセッサ９０１は、コピーモード判定部４１４、インター符号化モード変更部４１５、隣接サブブロック判定部４１６、及び符号化モード変更判定部４１８として動作してよい。
【００９５】
入力装置９０３は、例えば、キーボード、ポインティングデバイス等であり、ユーザ又はオペレータからの指示や情報の入力に用いられる。出力装置９０４は、例えば、表示装置、プリンタ、スピーカ等であり、ユーザ又はオペレータへの問い合わせや処理結果の出力に用いられる。
【００９６】
記憶装置９０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。記憶装置９０５は、ハードディスクドライブであってもよい。情報処理装置９００は、記憶装置９０５に動画像符号化プログラム及び例えば動画像データなどのデータを格納しておき、それらをメモリ９０２にロードして使用することができる。
【００９７】
媒体駆動装置９０６は、可搬型記録媒体９１０を駆動し、その記録内容にアクセスする。可搬型記録媒体９１０は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体９１０は、Compact Disk Read Only Memory（ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、又はUniversal Serial Bus（ＵＳＢ）メモリであってもよい。ユーザ又はオペレータは、この可搬型記録媒体９１０に動画像符号化プログラム及び例えば動画像データなどのデータを格納しておき、それらをメモリ９０２にロードして使用することができる。
【００９８】
このように、動画像符号化プログラム及び例えば動画像データなどのデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ９０２、記憶装置９０５、又は可搬型記録媒体９１０のような、物理的な（非一時的な）記録媒体である。
【００９９】
ネットワーク接続装置９０７は、Local Area Network（ＬＡＮ）、インターネット等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。ネットワーク接続装置９０７は、動画像復号装置に対して符号化ストリームを出力する出力インタフェースとして用いることもできる。情報処理装置９００は、動画像符号化プログラム及び例えば動画像データなどのデータを外部の装置からネットワーク接続装置９０７を介して受信し、それらをメモリ９０２にロードして使用することもできる。
【０１００】
なお、図９に示す情報処理装置９００のハードウェア構成は例示であり、実施形態はこれに限定されるものではない。例えば、情報処理装置９００は、用途や条件に応じて一部の構成要素が省略されていてもよい。例えば、ユーザ又はオペレータとのインタフェースが利用されない場合は、入力装置９０３及び出力装置９０４を省略してもよい。また、情報処理装置９００が可搬型記録媒体９１０にアクセスしない場合は、媒体駆動装置９０６を省略してもよい。
【０１０１】
また、例えば、別の実施形態では、上述の動画像符号化装置３０の制御部３００の一部又は全部の機能はＦＰＧＡ及びＳｏＣなどによるハードウェアとして実装されてもよい。なお、ＦＰＧＡは、Field Programmable Gate Arrayの略称である。ＳｏＣは、System-on-a-chipの略称である。また更に、上述の動作フローに含まれる処理は可能な場合には、一部の処理が並列処理で実行されてもよく、例えば、一部の処理を別のプロセッサに実行させてもよい。並列処理で実行することで、動画像符号化処理のリアルタイム性を確保することができる。
【０１０２】
上述の実施形態を含むいくつかの実施形態は、上述の実施形態の各種変形形態及び代替形態を包含するものとして当業者には理解される。例えば、各種実施形態は、構成要素を変形して具体化されてよい。また、上述した実施形態に開示されている複数の構成要素を適宜組み合わせることにより、種々の実施形態が実施されてよい。更には、実施形態に示される全構成要素からいくつかの構成要素を削除して又は置換して、或いは実施形態に示される構成要素にいくつかの構成要素を追加して種々の実施形態が実施されてよい。
【符号の説明】
【０１０３】
３０      動画像符号化装置
３００    制御部
３０１    決定部
３０２    変更部
３１０    記憶部
４０１    予測誤差信号生成部
４０２    直交変換部
４０３    量子化部
４０４    エントロピー符号化部
４０５    逆量子化部
４０６    逆直交変換部
４０７    復号画像生成部
４０８    復号画像記憶部
４０９    イントラ予測画像生成部
４１０    インター予測画像生成部
４１１    動きベクトル計算部
４１２    符号化モード決定部
４１３    予測画像選択部
４１４    コピーモード判定部
４１５    インター符号化モード変更部
４１６    隣接サブブロック判定部
４１７    イントラブロック位置記憶部
４１８    符号化モード変更判定部
９００    情報処理装置
９０１    プロセッサ
９０２    メモリ
９０３    入力装置
９０４    出力装置
９０５    記憶装置
９０６    媒体駆動装置
９０７    ネットワーク接続装置
９０９    バス
９１０    可搬型記録媒体
【図１】
2016187171.tif 000003
【図２】
2016187171.tif 000004
【図３】
2016187171.tif 000005
【図４】
2016187171.tif 000006
【図５】
2016187171.tif 000007
【図６】
2016187171.tif 000008
【図７】
2016187171.tif 000009
【図８】
2016187171.tif 000010
【図９】
2016187171.tif 000011