(57)【要約】  画像の一部の領域を示す部分領域に、時間とともに発生する動きの状態を補償する複数の動き補償モードを有する動き検出部（１２２ａ）（動き補償部）が、時間とともに発生する動きの状態を検出した場合に、動き補償実行制御部（１２２ｃ）（実行制御部）は、動き検出部が検出した動きの状態が、所定の条件を満たす場合には、動き検出部（１２２ａ）に対して、前記所定の条件に応じた動き補償モードをスキップさせる。本開示は、例えば、画像符号化装置等に適用することができる。
2020008724.tif 000002
【特許請求の範囲】
【請求項１】
画像の一部の領域を示す部分領域に、時間とともに発生する動きの状態を補償する複数の動き補償モードを備えて、前記部分領域に発生した動きの状態を検出するとともに、検出した動きの状態を補償して予測画像を生成する動き補償部と、
前記動き補償部が検出した動きの状態、又は前記動き補償部が前記予測画像を生成する条件が、所定の条件を満たす場合に、前記動き補償部に対して、前記所定の条件に応じた動き補償モードをスキップさせる実行制御部と、
を備える画像処理装置。
【請求項２】
前記動き補償部が検出した、矩形状の部分領域の最大３頂点における動きベクトルの向きと長さと、
前記部分領域の幅と高さと、
に基づいて、前記部分領域の動きの状態が、前記所定の条件を満足するかを判定する条件判定部をさらに備える、
請求項１に記載の画像処理装置。
【請求項３】
前記所定の条件は、前記部分領域の動きの状態が、並進移動及び回転を伴うことであり、
前記実行制御部は、
前記所定の条件を満たす場合に、前記動き補償部に対して、並進移動及び拡大縮小を伴う動きを補償する並進スケーリングモードと、並進移動、回転、拡大縮小及びスキュー変形を伴う動きを補償するアフィン変換モードと、をスキップさせる、
請求項１に記載の画像処理装置。
【請求項４】
前記所定の条件は、前記部分領域の動きの状態が、並進移動及び拡大縮小を伴うことであり、
前記実行制御部は、
前記所定の条件を満たす場合に、前記動き補償部に対して、並進移動及び回転を伴う動きを補償する並進回転モードと、並進移動、回転、拡大縮小及びスキュー変形を伴う動きを補償するアフィン変換モードと、をスキップさせる、
請求項１に記載の画像処理装置。
【請求項５】
前記所定の条件は、前記部分領域の動きの状態が、並進移動と、回転と、拡大縮小及びスキュー変形を伴うことであり、
前記実行制御部は、
前記所定の条件を満たす場合に、前記動き補償部に対して、並進移動及び拡大縮小を伴う動きを補償する並進スケーリングモードと、並進移動及び回転を伴う動きを補償する並進回転モードと、をスキップさせる、
請求項１に記載の画像処理装置。
【請求項６】
前記実行制御部は、
前記動き補償部が、前記部分領域の近傍に位置する動き補償済の複数の近傍領域における動き補償の結果を用いて、前記部分領域の動きの状態を補償して前記予測画像を生成する場合に、
前記動き補償部が、前記複数の近傍領域の動き補償に利用した動き補償モードの発生頻度と、前記複数の近傍領域の動き補償に利用した動き補償モードを前記部分領域に適用して動き補償を行って生成する予測画像の予測の程度を示すコストと、に基づいて、前記部分領域における動きの状態を検出する、
請求項１に記載の画像処理装置。
【請求項７】
前記動き補償部は、前記複数の近傍領域における動き補償モードの発生頻度順に、前記コストを算出する、
請求項６に記載の画像処理装置。
【請求項８】
前記所定の条件は、前記部分領域の動きの状態が、並進移動及び回転を伴うことであり、
前記実行制御部は、
前記所定の条件を満たす場合に、前記動き補償部に対して、並進移動及び拡大縮小を伴う動きを補償する並進スケーリングモードと、並進移動、回転、拡大縮小及びスキュー変形を伴う動きを補償するアフィン変換モードと、をスキップさせる、
請求項６に記載の画像処理装置。
【請求項９】
前記所定の条件は、前記部分領域の動きの状態が、並進移動及び拡大縮小を伴うことであり、
前記実行制御部は、
前記所定の条件を満たす場合に、前記動き補償部に対して、並進移動及び回転を伴う動きを補償する並進回転モードと、並進移動、回転、拡大縮小及びスキュー変形を伴う動きを補償するアフィン変換モードと、をスキップさせる、
請求項６に記載の画像処理装置。
【請求項１０】
前記所定の条件は、前記部分領域の動きの状態が、並進移動と、回転と、拡大縮小及びスキュー変形を伴うことであり、
前記実行制御部は、
前記所定の条件を満たす場合に、前記動き補償部に対して、並進移動及び拡大縮小を伴う動きを補償する並進スケーリングモードと、並進移動及び回転を伴う動きを補償する並進回転モードと、をスキップさせる、
請求項６に記載の画像処理装置。
【請求項１１】
前記所定の条件は、前記部分領域のサイズが所定よりも小さいことであり、
前記実行制御部は、
前記所定の条件を満たす場合に、前記動き補償部に対して、所定の動き補償をスキップさせる、
請求項１に記載の画像処理装置。
【請求項１２】
前記所定の条件は、前記部分領域のサイズが所定値よりも小さいことであり、
前記実行制御部は、
前記所定の条件を満たす場合に、前記動き補償部に対して、並進移動を伴う動きを補償する並進モードと、並進移動及び回転を伴う動きを補償する並進回転モードと、並進移動及び拡大縮小を伴う動きを補償する並進スケーリングモード以外の動き補償モードをスキップさせる、
請求項１に記載の画像処理装置。
【請求項１３】
前記所定の条件は、前記部分領域のサイズが所定値以上であることであり、
前記実行制御部は、
前記所定の条件を満たす場合に、前記動き補償部に対して、前記部分領域に対して、前記動き補償部が備える複数の動き補償モードを適用して動き補償を行った際に生成される予測画像の予測の程度を示すコストが最小となる動き補償モード以外の動き補償モードをスキップさせる、
請求項１に記載の画像処理装置。
【請求項１４】
前記所定の条件は、動き補償の結果を量子化する際の量子化パラメータが所定値よりも小さいことであり、
前記実行制御部は、
前記所定の条件を満たす場合に、前記動き補償部に対して、並進移動及び拡大縮小を伴う動きを補償する並進スケーリングモードと、並進移動及び回転を伴う動きを補償する並進回転モードと、をスキップさせる、
請求項１に記載の画像処理装置。
【請求項１５】
前記所定の条件は、動き補償の結果を量子化する際の量子化パラメータが所定値よりも小さく、尚且つ前記部分領域に対して、並進移動、回転、拡大縮小及びスキュー変形を伴う動きを補償するアフィン変換モードを適用した動き補償によって生成した予測画像の予測の程度を示すコストが、所定のしきい値よりも小さいことであり、
前記実行制御部は、
前記所定の条件を満たす場合に、前記動き補償部に対して、並進移動、回転、拡大縮小及びスキュー変形を伴う動きを補償するアフィン変換モード以外の動き補償モードをスキップさせる、
請求項１に記載の画像処理装置。
【請求項１６】
前記所定の条件は、動き補償の結果を量子化する際の量子化パラメータが所定値よりも小さく、尚且つ前記部分領域に対して、並進移動、回転、拡大縮小及びスキュー変形を伴う動きを補償するアフィン変換モードを適用した動き補償によって生成した予測画像の予測の程度を示すコストが、所定のしきい値以上であることであり、
前記実行制御部は、
前記所定の条件を満たす場合に、前記動き補償部に対して、並進移動を伴う動きを補償する並進モード以外の動き補償モードをスキップさせる、
請求項１に記載の画像処理装置。
【請求項１７】
前記所定の条件は、動き補償の結果を量子化する際の量子化パラメータが所定値以上であることであり、
前記実行制御部は、
前記所定の条件を満たす場合に、前記動き補償部に対して、前記部分領域に、複数の動き補償モードをそれぞれ適用して動き補償を行った際に生成される予測画像の予測の程度を示すコストが最小となる動き補償モード以外の動き補償モードをスキップさせる、
請求項１に記載の画像処理装置。
【請求項１８】
画像の一部の領域を示す部分領域に、時間とともに発生する動きの状態を補償する複数の動き補償モードを備えて、前記部分領域に発生した動きの状態を検出するとともに、検出した動きの状態を補償して予測画像を生成する際に、
前記部分領域において検出された動きの状態、又は前記予測画像を生成する条件が、所定の条件を満足した場合に、前記部分領域に対して、前記所定の条件に応じた動き補償モードをスキップさせる、
画像処理方法。
【請求項１９】
画像処理装置が有するコンピュータを、
画像の一部の領域を示す部分領域に、時間とともに発生する動きの状態を補償する複数の動き補償モードを備えて、前記部分領域に発生した動きの状態を検出するとともに、検出した動きの状態を補償して予測画像を生成する動き補償部と、
前記動き補償部が検出した動きの状態、又は前記動き補償部が前記予測画像を生成する条件が、所定の条件を満たす場合に、前記動き補償部に対して、前記所定の条件に応じた動き補償モードをスキップさせる実行制御部と、
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法及びプログラムに関し、特に、動き補償を高速に実行するとともに、画像の符号化効率を向上させることができる画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
ＩＴＵ−Ｔ(International  Telecommunication  Union  Telecommunication  Standardization  Sector)の次世代ビデオ符号化を探索するＪＶＥＴ（Joint  Video  Exploration  Team）では、参照画像の中の２つの頂点の動きベクトルに基づいて参照画像をアフィン変換することにより動き補償を行うインター予測処理（Affine  motion  compensation(MC)  prediction）が提案されている（例えば、非特許文献１及び２参照）。かかるインター予測処理によれば、画面間の並進移動（平行移動）だけでなく、回転移動、及び拡大や縮小といった線形移動（一般に、アフィン変換と呼ばれる）を補償して高精度の予測画像を生成することができる。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Jianle  Chen等,”Algorithm  Description  of  Joint  Exploration  Test  Model  4(JVET-C1001)”,JVET  of  ITU-T  SG16  WP3  and  ISO/IEC  JTC1/SC29/WG11,26  May-1  June  2016
【非特許文献２】Feng  Zou,”Improved  affine  motion  prediction(JVET-C0062)”,JVET  of  ITU-T  SG16  WP3  and  ISO/IEC  JTC1/SC29/WG11,26  May-1  June  2016
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、アフィン変換に伴う動き補償を行う際に用いられるパラメータの数は、１つの動きベクトルに基づいて並進移動のみを補償して予測画像を生成するインター予測処理に比べて増加する。したがって、オーバーヘッドが増加し、符号化効率が低下する。【０００５】
そこで、本開示では、動き補償を高速に実行するとともに、画像の符号化効率を向上させることができる画像処理装置及び画像処理方法及びプログラムを提案する。
【課題を解決するための手段】
【０００６】
本開示の画像処理装置は、画像の一部の領域を示す部分領域に、時間とともに発生する動きの状態を補償する複数の動き補償モードを備えて、前記部分領域に発生した動きの状態を検出するとともに、検出した動きの状態を補償して予測画像を生成する動き補償部と、前記動き補償部が検出した動きの状態、又は前記動き補償部が前記予測画像を生成する条件が、所定の条件を満たす場合に、前記動き補償部に対して、前記所定の条件に応じた動き補償モードをスキップさせる実行制御部と、を備える画像処理装置である。【０００７】
本開示の画像処理方法は、画像の一部の領域を示す部分領域に、時間とともに発生する動きの状態を補償する複数の動き補償モードを備えて、前記部分領域に発生した動きの状態を検出するとともに、検出した動きの状態を補償して予測画像を生成する際に、前記部分領域において検出された動きの状態、又は前記予測画像を生成する条件が、所定の条件を満足した場合に、前記部分領域に対して、前記所定の条件に応じた動き補償モードをスキップさせる画像処理方法である。【０００８】
本開示のプログラムは、画像処理装置が有するコンピュータを、画像の一部の領域を示す部分領域に、時間とともに発生する動きの状態を補償する複数の動き補償モードを備えて、前記部分領域に発生した動きの状態を検出するとともに、検出した動きの状態を補償して予測画像を生成する動き補償部と、前記動き補償部が検出した動きの状態、又は前記動き補償部が前記予測画像を生成する条件が、所定の条件を満たす場合に、前記動き補償部に対して、前記所定の条件に応じた動き補償モードをスキップさせる実行制御部と、して機能させるプログラムである。
【発明の効果】
【０００９】
本開示によれば、画像の符号化効率を向上させることができる。すなわち、本開示によれば、例えば、動きベクトルに基づいて予測画像を生成する場合に、オーバーヘッドを削減して、符号化効率を向上させることができる。【００１０】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１１】
【図１】１本の動きベクトルに基づいて動き補償を行うインター予測処理を説明する図である。
【図２】２本の動きベクトルに基づいて動き補償を行うインター予測処理を説明する第１の図である。
【図３】２本の動きベクトルに基づいて動き補償を行うインター予測処理を説明する第２の図である。
【図４】３本の動きベクトルに基づいて動き補償を行うインター予測処理を説明する図である。
【図５】参照画像の中から検出するパラメータ数と、検出可能な動きの種類、及び動き補償モードを示す図である。
【図６】ＨＥＶＣにおけるブロック分割を説明する図である。
【図７】画像内の各ＰＵで発生する動きの発生状態の第１の例を示す図である。
【図８】画像内の各ＰＵで発生する動きの発生状態の第２の例を示す図である。
【図９】画像内の各ＰＵで発生する動きの発生状態の第３の例を示す図である。
【図１０】画像内の各ＰＵで発生する動きの発生状態の第４の例を示す図である。
【図１１】本開示を適用した画像処理装置としての画像符号化装置の一実施の形態の構成例を示す機能ブロック図である。
【図１２】画像符号化装置の動き予測部の詳細な機能構成の一例を示す機能ブロック図である。
【図１３】マージモードについて説明する図である。
【図１４】画像符号化装置が行う処理の流れの一例を示すフローチャートである。
【図１５】画像符号化装置が、インター予測モードにおけるＲＤコストの見積もりを行う処理の流れの一例を示すフローチャートである。
【図１６】画像符号化装置が行う、ＡＭＶＰモードの動き予測処理の流れの一例を示すフローチャートである。
【図１７】画像符号化装置が行う、符号化処理の流れの一例を示すフローチャートである。
【図１８】マージモードで動き予測処理を行う際に設定する近傍領域の一例を示す図である。
【図１９】画像符号化装置が行うマージモードの動き予測処理の流れの一例を示すフローチャートである。
【図２０】画像符号化装置が、ＣＵサイズに応じて動き補償モードを設定して、動き補償と符号化を行う処理の流れの一例を示すフローチャートである。
【図２１】画像符号化装置が、ＱＰ値に応じて動き補償モードを設定して、動き補償と符号化を行う処理の流れの一例を示すフローチャートである。
【図２２】本開示を適用した画像処理装置としての復号装置の一実施の形態の構成例を示す機能ブロック図である。
【図２３】画像復号装置が行う復号処理の流れの一例を示すフローチャートである。
【図２４】画像復号装置が、マージモードで符号化された映像信号を復号する処理の流れの一例を示すフローチャートである。
【図２５】画像復号装置が、ＡＭＶＰモードで符号化された映像信号を復号する処理の流れの一例を示すフローチャートである。
【図２６】画像復号装置が、ＣＵサイズに応じた動き補償を経て符号化された映像信号を復号する処理の流れの一例を示すフローチャートである。
【図２７】画像復号装置が、ＱＰ値に応じた動き補償を経て符号化された映像信号を復号する処理の流れの一例を示すフローチャートである。
【図２８】コンピュータのハードウエア構成の一例を示すブロック図である。
【図２９】テレビジョン装置の概略的な構成の一例を示すブロック図である。
【図３０】携帯電話機の概略的な構成の一例を示すブロック図である。
【図３１】記録再生装置の概略的な構成の一例を示すブロック図である。
【図３２】撮像装置の概略的な構成の一例を示すブロック図である。
【図３３】ビデオセットの概略的な構成の一例を示すブロック図である。
【図３４】ビデオプロセッサの概略的な構成の一例を示すブロック図である。
【図３５】ビデオプロセッサの概略的な構成の他の例を示すブロック図である。
【図３６】ネットワークシステムの概略的な構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
【００１３】
＜インター予測処理における動き予測方法の説明＞
まず、複数の時系列画像に基づいて、予測画像を生成するインター予測処理における動き予測方法について説明する。インター予測処理は、過去の画像の動きが維持されるものと仮定して、現在から所定時間後の画像を予測する処理である。なお、ここで対象とする動きは、並進移動と線形変換（回転、拡大・縮小、スキュー（せん断））を含む、いわゆるアフィン変換（線形変換）で記述可能な動きである。図１は、１本の動きベクトルに基づいて動き補償を行うインター予測処理を説明する図である。
【００１４】
なお、以下の説明では、特に断りの無い限り、画像の横方向（水平方向）をｘ方向として、縦方向（垂直方向）をｙ方向とする。
【００１５】
インター予測処理は、符号化済の画像（復号画像）の中から、参照画像として、異なる時刻における２枚の復号画像を選択して、図１に示すように、第１の参照画像１０の一部の領域である部分領域が、第２の参照画像１２の中でどの位置に移動したか決定する。部分領域の移動方向と移動量は、動きベクトル（Motion  Vector）ｖ０で表わされる。そして、決定した動きベクトルｖ０に基づいて、符号化対象の画像を予測する。なお、図１において部分領域を示すＰＵ（Prediction  Unit）１１は、本開示における部分領域の一例である。ＰＵ１１は、幅ｗ、高さｈの矩形領域であるとする。
【００１６】
動きベクトルｖ０は、ＰＵ１１の内部の点Ａ１と、第２の参照画像１２の内部における点Ａ１の対応点とを結ぶベクトルである。第２の参照画像１２における点Ａ１の対応点は、例えば、第１の参照画像１０における点Ａ１の周囲の濃淡分布と相関の高い濃淡分布を有する領域を、第２の参照画像１２の中から探索することによって検出する。図１は、ＰＵ１１の左上の点Ａ１に対する対応点として、第２の参照画像１２の中から点Ｂ１を検出した例である。なお、対応点を検出するためにＰＵ１１の内部に設定する点は、ＰＵ１１の左上の点に限定されるものではない。また、第１の参照画像１０と第２の参照画像１２とは、各画像の頂点を一致させた状態で対応点の探索を行うが、図１は、説明のため、第１の参照画像１０と第２の参照画像１２とを少しずらして描いている。このような対応点の探索は、画像処理において、例えば、ステレオカメラの左右画像の対応点探索処理等でよく利用される方法であるため、詳細な説明は省略する。なお、第１の参照画像１０と第２の参照画像１２は、本開示における画像の一例である。
【００１７】
対応点のペア（例えば、図１における点Ａ１と点Ｂ１）が１組検出されると、両対応点を結ぶ１本の動きベクトルｖ０（ｖ０ｘ,ｖ０ｙ）が決定する。図１の場合、点Ａ１と点Ｂ１とを結ぶ１本の動きベクトルｖ０（ｖ０ｘ,ｖ０ｙ）が決定する。この状態を、２パラメータが検出された状態であると呼ぶことにする。すなわち、１本の動きベクトルｖ０を決定するためには、２パラメータ（１組の対応点）を検出すればよい。そして、図１の場合、ＰＵ１１が並進移動して対応ブロック１３に移動したものと解釈される。すなわち、ＰＵ１１に対して１組の対応点（２点）を検出することによって、部分領域（ＰＵ１１）に発生する並進移動を検出することができる。
【００１８】
そして、第２の参照画像１２の対応ブロック１３の位置を、検出された動きベクトルｖ０に相当する向きに、動きベクトルｖ０の大きさに相当する量だけ移動する（動きを補償する）ことによって、対応ブロック１３の予測位置を示す予測画像を生成する。
【００１９】
次に、図２は、２本の動きベクトルに基づいて動き補償を行うインター予測処理を説明する第１の図である。特に、図２は、第１の参照画像１０の中に形成した部分領域（ＰＵ１１）が、並進移動と回転移動とを行う場合について説明する図である。
【００２０】
ＰＵ１１内部の異なる２点Ａ１、Ａ２に対して、それぞれ、第２の参照画像１２の内部で対応点Ｂ１、Ｂ２を検出することによって、２本の動きベクトルが決定する。図２は、動きベクトルｖ０（ｖ０ｘ,ｖ０ｙ）とｖ１（ｖ１ｘ,ｖ１ｙ）とが決定した例である。この状態を、４パラメータが検出された状態であると呼ぶことにする。すなわち、２本の動きベクトルｖ０１，ｖ０２を決定するためには、４パラメータ（２組の対応点）を検出すればよい。そして、図２の場合、ＰＵ１１は、並進移動した後、回転角θだけ回転移動して、対応ブロック１３に移動したものと解釈される。すなわち、ＰＵ１１に対して２組の対応点（４点）を検出することによって、部分領域（ＰＵ１１）に発生する並進移動と回転移動とを含む動きを検出することができる。なお、数学的には、並進移動を特定する動きベクトル１本（２パラメータ）と、回転量を特定する回転角（１パラメータ）の３パラメータが決定すれば、並進移動と回転移動とを含む動きを特定することができるが、ここでは、４パラメータ（２組の対応点）を特定するものとする。
【００２１】
さらに、図３は、２本の動きベクトルに基づいて動き補償を行うインター予測処理を説明する第２の図である。特に、図３は、第１の参照画像１０の中に形成した部分領域（ＰＵ１１）が、並進移動と拡大縮小（スケーリング）を行う場合について説明する図である。
【００２２】
ＰＵ１１内部の異なる２点Ａ１、Ａ２に対して、それぞれ、第２の参照画像１２の内部で対応点Ｂ１、Ｂ２を検出することによって、２本の動きベクトルが決定する。図３は、動きベクトルｖ０（ｖ０ｘ,ｖ０ｙ）とｖ１（ｖ１ｘ,ｖ１ｙ）とが決定した例である。この状態も、４パラメータが検出された状態である。そして、図３の場合、ＰＵ１１は、並進移動した後、倍率ｓ（ｓ＞１の場合は拡大、ｓ＜１の場合は縮小を表す）で拡大縮小して、対応ブロック１３に移動したものと解釈される。すなわち、ＰＵ１１に対して２組の対応点（４点）を検出することによって、部分領域（ＰＵ１１）に発生する並進移動と拡大縮小とを含む動きを検出することができる。なお、数学的には、並進移動を特定する動きベクトル１本（２パラメータ）と、拡大率・縮小率を特定する倍率（１パラメータ）の３パラメータが決定すれば、並進移動と拡大縮小とを含む動きを特定することができるが、ここでは、４パラメータ（２組の対応点）を特定するものとする。
【００２３】
図４は、３本の動きベクトルに基づいて動き補償を行うインター予測処理を説明する第３の図である。特に、図４は、第１の参照画像１０の中に形成した部分領域（ＰＵ１１）が、並進移動とスキュー変形を行う場合について説明する図である。
【００２４】
ＰＵ１１内部の異なる３点に対して、それぞれ、第２の参照画像１２の内部で対応点を検出することによって、３本の動きベクトルが決定する。図４は、動きベクトルｖ０（ｖ０ｘ,ｖ０ｙ）とｖ１（ｖ１ｘ,ｖ１ｙ）とｖ２（ｖ２ｘ,ｖ２ｙ）とが決定した例である。この状態を、６パラメータが検出した状態であると呼ぶことにする。すなわち、３本の動きベクトルｖ０，ｖ１，ｖ２を決定するためには、６パラメータ（３組の対応点）を検出すればよい。そして、図４の場合、ＰＵ１１は、並進移動した後、せん断角φでスキュー変形して、対応ブロック１３に移動したものと解釈される。すなわち、ＰＵ１１に対して３組の対応点を検出することによって、部分領域（ＰＵ１１）に発生する並進移動と回転移動と拡大縮小とスキュー変形とを含む動きを検出することができる。
【００２５】
図５は、参照画像の中から検出するパラメータ数と、検出可能な動きの種類、及び動き補償モードを示す図である。図５に示すように、検出するパラメータ数が２，４（３），６と増加するのに伴って、検出可能な動きの種類が拡張する。すなわち、検出するパラメータ数の増加に伴って、予測画像の精度が向上する。ただし、検出するパラメータ数の増加に伴って、対応点探索の計算コストの増加と、送信する符号量の増加を招くため、オーバーヘッドが増加して符号化効率が低下する。
【００２６】
並進モードは、並進移動（平行移動）に伴って発生する動きを補償するモードである。
【００２７】
並進回転モードは、並進移動と回転移動との組み合わせに伴って発生する動きを補償するモードである。
【００２８】
並進スケーリングモードは、並進移動と拡大縮小との組み合わせに伴って発生する動きを補償するモードである。
【００２９】
アフィン変換モードは、並進移動と、回転移動と、拡大縮小と、スキューとの組み合わせに伴って発生する動きを補償するモードである。
【００３０】
次に、予測画像の生成、及び画像の符号化を行うために必要な、画像のブロック分割について説明する。図６は、ＨＥＶＣ（High  Efficiency  Video  Coding）におけるブロック分割を説明する図である。
【００３１】
ＭＰＥＧ２（Moving  Picture  Experts  Group  2(ISO/IEC  13818-2)）やＡＶＣ等の画像符号化方式では、符号化処理は、マクロブロックと呼ばれる処理単位で実行される。マクロブロックは、例えば１６×１６画素の均一なサイズを有するブロックである。これに対し、新しい動画像符号化方式であるＨＥＶＣでは、符号化処理は、符号化ユニット（ＣＵ：Coding  Unit）と呼ばれる処理単位で実行される。また、予測処理は、予測ユニット（ＰＵ）と呼ばれる処理単位で実行される。そして、予測結果に対して、情報量を圧縮するために、後述する直交変換を施す変換処理は、変換ユニット（ＴＵ：Transform  Unit）と呼ばれる処理単位で実行される。なお、ＣＵとＰＵ及びＴＵが、等しいブロックであってもよい。
【００３２】
従来のマクロブロックに相当する最大のＣＵをＬＣＵ（Largest  Coding  Unit）と呼び、そのサイズは、例えば６４×６４である。ＬＣＵは４分木ベースでＣＵに分割され、各ＣＵは、独立のＰＵとＴＵに分割される。ＰＵとＴＵは、それぞれ４分木ベースで分割されるが、ＰＵに関しては、ＡＭＰ（Asymmetric  Motion  Partition）と呼ばれる、３２×８、３２×２４、１６×４、１６×１２等の長方形のサイズを許容する。このような非対称なブロック分割を許容することによって、画像を領域分割する際の自由度が向上する。したがって、画像の中の移動物体に合致する予測ブロックを生成することができるため、動きの予測性能を向上させることができる。
【００３３】
＜画像内で発生する動きの説明＞
図７乃至図１０は、画像内の各ＰＵで発生する具体的な動きの発生状態を説明する図である。
【００３４】
図７の例では、画像６１全体において、２枚の参照画像の間で並進移動、スケーリング（拡大縮小）、及び回転移動が発生している。この場合、画像６１内の全てのＰＵのインター予測処理において、並進回転モード、又は並進スケーリングモードによる動き補償を行う。
【００３５】
これに対して、図８の例では、撮影時の手振れなどにより、画像６２全体において、参照画像との間で並進移動と回転移動が発生している。この場合、画像６２内の全てのＰＵのインター予測処理において、並進スケーリングモードによって動き補償を行う必要はない。
【００３６】
また、図９の例では、撮影時のズームインやズームアウトにより、画像６３全体において、２枚の参照画像の間で並進移動とスケーリングが発生している。この場合、画像６３内の全てのＰＵのインター予測処理において、並進回転モードによって動き補償を行う必要はない。
【００３７】
さらに、図１０の例では、画像６４は、２枚の参照画像の間で並進移動とスケーリングが発生している領域６４Ａ、並進移動と回転移動が発生している領域６４Ｂ、並進移動、スケーリング、及び回転方向の動きが発生している領域６４Ｃ、及び並進移動のみが発生している領域６４Ｄを含む。
【００３８】
この場合、領域６４Ｃ内のＰＵのインター予測処理においては、並進回転モード、又は並進スケーリングモードによる動き補償を行うことが望ましい。しかしながら、領域６４Ａ、領域６４Ｂ、及び領域６４Ｄにおいては、並進移動、回転移動、及びスケーリングの全てを補償する必要はない。すなわち、領域６４Ａについては、並進スケーリングモードによって動き補償を行えばよい。領域６４Ｂについては、回転スケーリングモードによって動き補償を行えばよい。領域６４Ｄについては、並進モードによって動き補償を行えばよい。
【００３９】
このように、画像内の各ＰＵにおいて発生している動きの状態が予測できる場合には、全ての動き補償を行う必要はなく、予測された動きのみを補償すればよい。さらに、動き予測を行う処理の早い段階において、発生している動きの状態が予測できる場合には、その他の動きが発生しているかの評価を打ち切ることができる。
【００４０】
すなわち、予測される動きの状態が並進移動である場合には、検出するパラメータ数がより少ない２パラメータ検出によって動き補償を行うのが望ましい。また、動きの状態が回転移動又は拡大縮小を含むものであることが予測されるのであれば、検出するパラメータ数がより少ない４パラメータ（又は３パラメータ）検出によって動き補償を行うのが望ましい。そして、動きの状態がスキューを含むものであることが予測されるのであれば、６パラメータ検出を行うことによって動き補償を行うのが望ましい。本開示は、このような考え方を適用することによって、オーバーヘッドを削減して、符号化効率を向上させる。
【００４１】
＜第１の実施の形態＞
（画像符号化装置の構成の説明）
図１１は、本開示を適用した画像処理装置の一例しての画像符号化装置１００ａの一実施の形態の構成例を示す機能ブロック図である。また、図１２は、画像符号化装置１００ａの動き予測部１２３の詳細な機能構成の一例を示す機能ブロック図である。なお、図１１に記載した各機能は、例えば、後述する図２８に示すように、ＣＰＵ８０１及び記憶装置であるＲＯＭ８０２及びＲＡＭ８０３を備えて、当該ＲＯＭ８０２又はＲＡＭ８０３に記憶されたプログラムを実行することによって、画像符号化装置１００ａが有する、後述する各部の機能を実現することもできる。また、図１１に示す各部の機能のうち、一部又は全てを専用のハードウエアによって実現することも可能である。
【００４２】
図１１において、画像符号化装置１００ａは、ＡＶＣやＨＥＶＣのように、画像とその画像の予測画像との予測残差を符号化する、いわゆるビデオエンコーダである。画像符号化装置１００ａは、例えば、ＨＥＶＣに提案された技術や、ＪＶＥＴにて提案された技術を実装している。
【００４３】
なお、図１１においては、処理部やデータの流れ等の主なもののみを示しており、図１１に示されるものが全てとは限らない。すなわち、図１１に示す画像符号化装置１００ａにおいてブロックとして示されていない処理部が存在したり、矢印等として示されていない処理やデータの流れが存在したりしてもよい。
【００４４】
画像符号化装置１００ａは、必要に応じて、インター予測処理又はイントラ予測処理により画像（映像）の符号化を行う。なお、イントラ予測処理とは、１枚の参照画像が有する情報のみを用いて予測を行う、いわゆるフレーム内予測である。符号化された動画像は、ＧＯＰ（Group  Of  Pictures）構造を有し、例えば、イントラ予測によって符号化されたＩピクチャと、インター予測によって符号化されたＰピクチャと、Ｉピクチャ及びＢピクチャから予測されたＢピクチャとから構成される。
【００４５】
また、画像符号化装置１００ａは、インター予測処理で行われる動き補償の動き補償モードとして、参照画像に発生する動きの状態（並進移動、回転、拡大縮小、スキュー、及びそれらが複合した動き）に応じて、検出された動きを補償する適切な動き補償を行う。
【００４６】
図１１において、画像符号化装置１００ａは、制御部１０１、ＡＤ変換部１０２、演算部１１０、直交変換部１１１、量子化部１１２、符号化部１１３、逆量子化部１１４、逆直交変換部１１５、演算部１１６、及びフレームメモリ１１７を有する。また、画像符号化装置１００は、選択部１２０、イントラ予測部１２１、インター予測部１２２を有する。
【００４７】
画像符号化装置１００ａは、入力されるフレーム単位の映像信号（動画像）に対して、画像の内部に形成した複数のＣＵ（またはＰＵ）の各々に対して符号化を行う。
【００４８】
制御部１０１は、外部からの入力、及びＲＤ（Rate  Distortion）コスト等に基づいて、各種符号化パラメータ（ヘッダ情報Hinfo，予測情報Pinfo，変換情報Tinfo等）を設定する。そして、制御部１０１は、これらの符号化パラメータのうち、図１１の各ブロックで必要とするパラメータを、当該ブロックに供給する。
【００４９】
符号化パラメータのうち、ヘッダ情報Hinfoは、映像信号を符号化する際に必要な各種の初期値を規定する情報である。ヘッダ情報Hinfoは、例えば、ビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータセット、スライスヘッダ等の情報を含む。また、ヘッダ情報Hinfoは、画像サイズ、ビット深度、ＣＵサイズの最大値と最小値等を規定する情報を含む。なお、ヘッダ情報Hinfoの内容は任意であり、上述した例以外の情報をヘッダ情報Hinfoに含めてもよい。
【００５０】
予測情報Pinfoは、例えば、ＰＵ（ＣＵ）の形成時の各分割階層における水平方向又は垂直方向の分割の有無を示すsplit  flag等を含む。また、予測情報Pinfoは、ＰＵ毎に、そのＰＵにおける予測処理がイントラ予測処理であるか、又はインター予測処理であるかを示すモード情報pred_mode_flag等を含む。
【００５１】
モード情報pred_mode_flagがインター予測処理を示す場合、予測情報Pinfoは、マージフラグ、動き補償モード情報、パラメータ情報、参照画像を特定する参照画像特定情報等を含む。
【００５２】
マージフラグは、インター予測処理のモードが、マージモードであるか、又はＡＭＶＰ（Adaptive  Motion  Vector  Prediction）モードであるかを示す情報である。マージフラグは、例えば、マージモードであることを示す場合に１であり、ＡＭＶＰモードであることを示す場合に０であるとする。
【００５３】
画像符号化装置１００ａは、マージモードとＡＭＶＰモードのいずれかのモードで動作する。マージモードとは、処理対象のＰＵに隣接する符号化済のＰＵにおける動き補償に用いられたパラメータ（動きベクトル、回転角情報、スケーリング情報等。以下、隣接パラメータと呼ぶ。）に基づいて、処理対象のＰＵのインター予測処理を行うモードである。また、ＡＭＶＰモードとは、処理対象のＰＵの動き補償に用いられたパラメータに基づいて、当該ＰＵのインター予測処理を行うモードである。
【００５４】
動き補償モードは、予測対象の部分領域（処理対象のＰＵまたはＣＵ）における動きの状態が、前述した並進モード、並進回転モード、並進スケーリングモード、又はアフィン変換モードのいずれであるかを示す情報である。
【００５５】
パラメータ情報とは、マージフラグが１である場合、隣接パラメータを含む候補の中から、インター予測処理に用いるパラメータを、予測パラメータ（予測ベクトル、予測回転角情報、予測スケーリング情報）として特定する情報である。また、マージフラグが０である場合、予測パラメータを特定する情報、及び予測パラメータと、処理対象のＰＵのパラメータとの差分を示す情報である。
【００５６】
変換情報Tinfoは、ＴＵのサイズ等の情報を含む。もちろん、変換情報Tinfoの内容は任意であり、ＴＵのサイズ以外のどのような情報がこの変換情報Tinfoに含まれるようにしてもよい。
【００５７】
次に、ＲＤコストについて説明する。ＲＤコストとは、符号化を行った後で算出される、符号化の程度を表すパラメータである。ＲＤコストは、例えば、実際に観測された画像と予測画像との２乗誤差で算出される符号化歪と符号化コストとから計算される。ＲＤコストが低いほど、実際に観測された画像と予測画像との差が少ない、すなわち、効率的な符号化が行われていることを示す。画像符号化装置１００ａは、ＲＤコストに基づいて、符号化の程度を評価して、評価結果に応じて符号化パラメータを変動させて、よりＲＤコストの低い符号化パラメータを採用する。
【００５８】
再び、図１１に戻り、ＡＤ変換部１０２は、入力信号として入力されたフレーム単位の映像信号を、フレーム毎にＡＤ変換する。なお、例えば、量子化ビット数、サンプリング周波数等のＡＤ変換を行う際に必要な情報は、予め決められた所定の値を用いる。
【００５９】
演算部１１０は、差分演算部として機能して、選択部１２０から供給される予測画像Ｐと、ＡＤ変換部１０２でＡＤ変換された符号化対象の画像との差分を演算する。演算部１１０は、減算の結果得られる画像を、予測残差画像Ｄとして、直交変換部１１１に供給する。
【００６０】
直交変換部１１１は、制御部１０１から供給される変換情報Tinfoに基づいて、演算部１１０から供給される予測残差画像Ｄに対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を行う。そして、直交変換部１１１は、直交変換の結果得られる変換係数Coeffを、量子化部１１２に供給する。
【００６１】
量子化部１１２は、制御部１０１から供給される変換情報Tinfoに基づいて、直交変換部１１１から供給される変換係数Coeffをスケーリング（量子化）し、量子化変換係数レベルlevelを算出する。そして、量子化部１１２は、量子化変換係数レベルlevelを符号化部１１３及び逆量子化部１１４に供給する。量子化部１１２は、量子化パラメータ（ＱＰ：Quantization  Parameter）に応じた量子化レベル数で、直交変換で得られた変換係数Coeffを量子化する。一般に、ＱＰの値（ＱＰ値）が大きいほど、圧縮率が高くなる。
【００６２】
符号化部１１３は、量子化部１１２から供給される量子化変換係数レベルlevel等を所定の方法で符号化する。例えば、符号化部１１３は、シンタックステーブルの定義に沿って、制御部１０１から供給される符号化パラメータ（ヘッダ情報Hinfo、予測情報Pinfo、変換情報Tinfo等）と、量子化部１１２から供給される量子化変換係数レベルlevelを、各シンタックス要素のシンタックス値へ変換する。そして、符号化部１１３は、各シンタックス値を符号化する。具体的な符号化の方法としては、例えば、ＣＡＢＡＣ（Context-based  Adaptive  Binary  Arithmetic  Coding）等を用いる。
【００６３】
このとき、符号化部１１３は、隣接ＰＵの動き補償モード情報に基づいてＣＡＢＡＣの確率モデルのコンテキストを切り替えて、隣接ＰＵの動き補償モード情報の確率が高くなるようにＣＡＢＡＣの確率モデルを設定して、ＰＵの動き補償モード情報を符号化する。
【００６４】
すなわち、あるＰＵと、そのＰＵの隣接ＰＵとの動き補償モード情報は同一である可能性が高い。したがって、符号化部１１３において、動き補償モード情報を符号化するＰＵの隣接ＰＵの動き補償モード情報の確率が高くなるように、ＣＡＢＡＣの確率モデルを設定してＰＵの動き補償モード情報を符号化してもよい。これによって、オーバーヘッドを削減し、符号化効率を改善することができる。
【００６５】
なお、隣接ＰＵの数が複数である場合、符号化部１１３は、隣接ＰＵの動き補償モード情報毎の出現頻度に基づいて、ＣＡＢＡＣの確率モデルを設定するようにしてもよい。また、符号化部１１３は、動き補償モード情報に基づいて、ＣＡＢＡＣの確率モデルのコンテキストを切り替えるのではなく、動き補償モード情報に割り当てる符号（ビット列）を切り替えるようにしてもよい。
【００６６】
符号化部１１３は、例えば、符号化の結果得られる各シンタックス要素のビット列である符号化データを多重化し、符号化映像信号として、ビットストリームを出力する。
【００６７】
逆量子化部１１４は、制御部１０１から供給される変換情報Tinfoに基づいて、量子化部１１２から供給される量子化変換係数レベルlevelの値をスケーリング（逆量子化）し、逆量子化後の変換係数Coeff_IQを算出する。逆量子化部１１４は、その変換係数Coeff_IQを逆直交変換部１１５に供給する。なお、逆量子化部１１４により行われる逆量子化は、量子化部１１２により行われる量子化の逆処理である。
【００６８】
逆直交変換部１１５は、制御部１０１から供給される変換情報Tinfoに基づいて、逆量子化部１１４から供給される変換係数Coeff_IQに対して逆直交変換等を行い、予測残差画像Ｄ’を算出する。逆直交変換部１１５は、その予測残差画像Ｄ’を演算部１１６に供給する。なお、逆直交変換部１１５により行われる逆直交変換は、直交変換部１１１により行われる直交変換の逆処理である。
【００６９】
演算部１１６は、逆直交変換部１１５から供給される予測残差画像Ｄ’と、インター予測部１２２より供給される、予測残差画像Ｄ’に対応する予測画像Ｐとを加算して局所的な復号画像Recを算出する。そして、演算部１１６は、局所的な復号画像Recをフレームメモリ１１７に供給する。
【００７０】
フレームメモリ１１７は、演算部１１６より供給される局所的な復号画像Recを用いて、ピクチャ単位の復号画像を再構築し、フレームメモリ１１７内に格納する。フレームメモリ１１７は、インター予測部１２２により指定される復号画像を参照画像としてフレームメモリ１１７から読み出し、インター予測部１２２と動き予測部１２３に供給する。また、フレームメモリ１１７は、復号画像の生成に係るヘッダ情報Hinfo、予測情報Pinfo、変換情報Tinfo等を、フレームメモリ１１７内のバッファに格納するようにしても良い。
【００７１】
イントラ予測部１２１は、予測情報Pinfoのモード情報pred_mode_flagがイントラ予測処理を示す場合、フレームメモリ１１７に格納された符号化対象のＣＵと同一時刻の復号画像を参照画像として取得する。そして、イントラ予測部１２１は、参照画像を用いて、符号化対象のＰＵに対して、イントラ予測処理を行う。
【００７２】
インター予測部１２２は、モード情報pred_mode_flagがインター予測処理を示す場合に、参照画像特定情報に基づいて、フレームメモリ１１７に格納された符号化対象のＣＵとは異なる時刻の復号画像を参照画像として取得する。また、インター予測部１２２は、符号化対象のＣＵにおける動きベクトルを検出して、ＣＵの動きの状態を予測し、当該ＣＵにおける動き補償モード情報を生成する。そして、インター予測部１２２は、マージフラグ、動き補償モード情報、及びパラメータ情報等に基づいて、参照画像に対して動き補償を行うことにより、符号化対象のＰＵのインター予測処理を行う。すなわち、インター予測部１２２は、画像の一部の領域を示すＣＵ（部分領域）に、時間とともに発生する動きの状態を補償する複数の動き補償モードを備えて、ＣＵに発生した動きの状態を検出するとともに、検出した動きの状態を補償して予測画像Ｐを生成する。なお、画像符号化装置１００ａは、複数の動き補償モードとして、それぞれ前記した、並進モードと、並進回転モードと、並進スケーリングモードと、アフィン変換モードとを有する。
【００７３】
選択部１２０は、イントラ予測処理又はインター予測処理の結果生成される予測画像Ｐを、演算部１１０及び演算部１１６に供給する。
【００７４】
次に、図１２を用いて、インター予測部１２２の内部構成について説明する。図１２に示すように、インター予測部１２２は、動き検出部１２２ａと、条件判定部１２２ｂと、動き補償実行制御部１２２ｃとを有する。
【００７５】
動き検出部１２２ａは、本開示における動き補償部の一例である。動き検出部１２２ａは、画像の一部の領域を示す部分領域（例えば、ＰＵ）に、時間とともに発生する動きの状態を補償する複数の動き補償モードを備えて、前記部分領域に発生した動きの状態を検出するとともに、検出した動きの状態を補償して予測画像Ｐを生成する。
【００７６】
条件判定部１２２ｂは、動き検出部１２２ａ（動き補償部）が検出した、矩形状の部分領域の最大３頂点における動きベクトルの向きと長さと、部分領域の幅と高さと、に基づいて、部分領域の動きの状態が、所定の条件を満足するか、すなわち、部分領域の動きの状態が、並進移動及び回転を伴うか、並進移動及び拡大縮小を伴うか、又は並進移動と、回転と、拡大縮小及びスキュー変形を伴うか、を判定する。
【００７７】
動き補償実行制御部１２２ｃは、本開示における実行制御部の一例である。動き補償実行制御部１２２ｃは、動き検出部１２２ａ（動き補償部）が検出した動きの状態が、所定の条件を満たす場合に、動き検出部１２２ａに対して、所定の条件に応じた動き補償モードをスキップさせる。
【００７８】
より具体的には、動き補償実行制御部１２２ｃは、所定の条件が、動き検出部１２２ａが検出した部分領域の動きの状態が並進移動及び回転を伴うことであって、当該所定の条件が満たされた場合に、動き検出部１２２ａに対して、並進移動及び拡大縮小を伴う動きを補償する並進スケーリングモードと、並進移動、回転、拡大縮小及びスキュー変形を伴う動きを補償するアフィン変換モードと、をスキップさせる。
【００７９】
また、動き補償実行制御部１２２ｃは、条件判定部１２２ｂが、所定の条件が、動き検出部１２２ａが検出した部分領域の動きの状態が並進移動及び拡大縮小を伴うことであって、当該所定の条件が満たされた場合に、動き検出部１２２ａに対して、並進移動及び回転を伴う動きを補償する並進回転モードと、並進移動、回転、拡大縮小及びスキュー変形を伴う動きを補償するアフィン変換モードと、をスキップさせる。
【００８０】
さらに、動き補償実行制御部１２２ｃは、条件判定部１２２ｂが、所定の条件が、動き検出部１２２ａが検出した部分領域の動きの状態が並進移動と、回転と、拡大縮小及びスキュー変形を伴うことであって、当該所定の条件が満たされた場合に、動き検出部１２２ａに対して、並進移動及び拡大縮小を伴う動きを補償する並進スケーリングモードと、並進移動及び回転を伴う動きを補償する並進回転モードと、をスキップさせる。
【００８１】
＜マージモードのインター予測処理の説明＞
次に、マージモードで行われる処理の内容について、図面を用いて具体的に説明する。図１３は、マージモードについて説明する図である。画像符号化装置１００ａがマージモードで動作している場合、動き検出部１２２ａは、図１３における予測対象のＰＵ１１の左上の頂点Ａにおける予測ベクトルｐｖ０を、既に符号化済である、頂点Ａの近傍領域における動きベクトルに基づいて決定する。すなわち、図１３において、頂点Ａの左上の近傍領域ａ、頂点Ａの右上の近傍領域ｂ、及び頂点Ａの左下の近傍領域ｃのそれぞれにおける動きベクトルに基づいて、頂点Ａにおいて予測される予測ベクトルｐｖ０を決定する。
【００８２】
また、動き検出部１２２ａは、ＰＵ１１の右上の頂点Ｂにおける予測ベクトルｐｖ１を、既に符号化済である、頂点Ｂの近傍領域における動きベクトルに基づいて決定する。すなわち、図１３において、頂点Ｂの左上の近傍領域ｄ、頂点Ｂの右上の近傍領域ｅのそれぞれにおける動きベクトルに基づいて、頂点Ｂにおける予測ベクトルｐｖ１を決定する。そして、ＰＵ１１の左下の頂点Ｃにおける予測ベクトルｐｖ２についても、同様に、頂点Ｃの近傍領域ｆ、近傍領域ｇにおける動きベクトルに基づいて決定する。なお、近傍領域ａ乃至近傍領域ｇにおいて検出された動きベクトルは、それぞれ、動き検出部１２２ａに保持されているものとする。
【００８３】
以上により、頂点Ａにおける予測ベクトルｐｖ０と、頂点Ｂにおける予測ベクトルｐｖ１と、頂点Ｃにおける予測ベクトルｐｖ２の候補となる組み合わせの総数は、１２（＝３×２×２）通りとなる。動き予測部１２３は、これら１２通りの組み合わせの候補のうち、以下の式（１）により求められるコストＤＶが最小となる組み合わせを、頂点Ａ、頂点Ｂ、頂点Ｃにおける動きベクトルとして決定する。
【００８４】
【数１】
2020008724.tif 000003
【００８５】
式（１）におけるｖ０ｘ’、ｖ０ｙ’は、予測ベクトルｐｖ０の決定に用いられる近傍領域ａ乃至近傍領域ｃのいずれかにおける動きベクトルのｘ方向成分及びｙ方向成分である。同様に、式（１）におけるｖ１ｘ’、ｖ１ｙ’は、予測ベクトルｐｖ１の決定に用いられる近傍領域ｄ及び近傍領域ｅのいずれかにおける動きベクトルのｘ方向成分及びｙ方向成分である。また、式（１）におけるｖ２ｘ’、ｖ２ｙ’は、予測ベクトルｐｖ２の決定に用いられる近傍領域ｆ及び近傍領域ｇのいずれかにおける動きベクトルのｘ方向成分及びｙ方向成分である。
【００８６】
画像符号化装置１００ａがマージモードでインター予測を行う場合、動き検出部１２２ａは、部分領域の近傍に位置する動き補償済の複数の近傍領域における動き補償の結果を用いて、前記部分領域の動きの状態を補償して前記予測画像を生成する。
【００８７】
そして、動き補償実行制御部１２２ｃは、複数の近傍領域の動き補償に利用した動き補償モードの発生頻度と、前記複数の近傍領域の動き補償に利用した動き補償モードを前記部分領域に適用して動き補償を行って生成する予測画像Ｐの予測の程度を示すコスト（ＲＤコスト）と、に基づいて、部分領域における動きの状態を検出する。
【００８８】
なお、動き検出部１２２ａは、画像符号化装置１００ａがマージモードでインター予測を行う場合、複数の近傍領域における動き補償モードの発生頻度順に、ＲＤコストを算出する。
【００８９】
そして、動き補償実行制御部１２２ｃは、画像符号化装置１００ａがマージモードでインター予測を行う場合、所定の条件が、部分領域の動きの状態が並進移動及び回転を伴うことであって、当該所定の条件が満たされた場合に、動き検出部１２２ａに対して、並進移動及び拡大縮小を伴う動きを補償する並進スケーリングモードと、並進移動、回転、拡大縮小及びスキュー変形を伴う動きを補償するアフィン変換モードと、をスキップさせる。
【００９０】
また、動き補償実行制御部１２２ｃは、画像符号化装置１００ａがマージモードでインター予測を行う場合、所定の条件が、部分領域の動きの状態が並進移動及び拡大縮小を伴うことであって、当該所定の条件が満たされた場合に、動き検出部１２２ａに対して、並進移動及び回転を伴う動きを補償する並進回転モードと、並進移動、回転、拡大縮小及びスキュー変形を伴う動きを補償するアフィン変換モードと、をスキップさせる。
【００９１】
また、動き補償実行制御部１２２ｃは、画像符号化装置１００ａがマージモードでインター予測を行う場合、所定の条件が、部分領域の動きの状態が並進移動と、回転と、拡大縮小及びスキュー変形を伴うことであって、当該所定の条件が満たされた場合に、動き検出部１２２ａに対して、並進移動及び拡大縮小を伴う動きを補償する並進スケーリングモードと、並進移動及び回転を伴う動きを補償する並進回転モードと、をスキップさせる。
【００９２】
＜動き補償モード情報とパラメータ情報の説明＞
次に、動き補償モード情報とパラメータ情報について、具体的に説明する。
【００９３】
動き補償モード情報は、例えば、affine_flag、affine3parameter_flag、及びrotate_scale_idxにより構成される。affine_flag（アフィン変換情報）は、動き補償モードが、並進モード以外のアフィン変換モード、並進スケーリングモード、又は並進回転モードであるかを示す情報である。affine_flagは、例えば、動き補償モードが、アフィン変換モード、並進回転モード、又は並進スケーリングモードである場合に１とする。一方、affine_flagは、動き補償モードが、アフィン変換モード、並進回転モード、及び並進スケーリングモードではない場合、すなわち動き補償モードが並進モードである場合に０とする。
【００９４】
affine3parameter_flag（並進拡張情報）は、動き補償モードが、並進スケーリングモード又は並進回転モードであるかを示す情報であり、affine_flagが１である場合に設定される。affine3parameter_flagは、動き補償モードが、並進スケーリングモード又は並進回転モードである場合に１とする。一方、affine3parameter_flagは、動き補償モードが、並進回転モード及び並進スケーリングモードではない場合、すなわち動き補償モードがアフィン変換モードである場合に０とする。
【００９５】
rotate_scale_idx（並進回転情報）は、動き補償モードが並進回転モードであるかを示す情報であり、affine3parameter_flagが１である場合に設定される。rotate_scale_idxは、動き補償モードが並進回転モードである場合に１とする。一方、動き補償モードが並進回転モードではない場合、すなわち動き補償モードが並進スケーリングモードである場合に０とする。
【００９６】
したがって、動き補償モードが並進モードである場合、動き補償モード情報は、affine_flagにより構成され、affine_flagは０である。また、動き補償モードがアフィン変換モードである場合、動き補償モード情報は、affine_flagとaffine3parameter_flagにより構成され、affine_flagは１であり、affine3parameter_flagは０である。
【００９７】
さらに、動き補償モードが並進スケーリングモード又は並進回転モードである場合、動き補償モード情報は、affine_flag，affine3parameter_flag、及びrotate_scale_idxにより構成される。そして、動き補償モードが並進スケーリングモードである場合、affine_flagとaffine3parameter_flagは１であり、rotate_scale_idxは０である。また、動き補償モードが並進回転モードである場合、affine_flag，affine3parameter_flag、及びrotate_scale_idxは１である。
【００９８】
一方、モード情報pred_mode_flagがイントラ予測処理を示す場合、予測情報Pinfoは、イントラ予測モードを示すイントラ予測モード情報等を含む。もちろん、予測情報Pinfoの内容は任意であり、上述した例以外のどのような情報がこの予測情報Pinfoに含まれるようにしてもよい。
【００９９】
インター予測処理のモードがＡＭＶＰモードである場合、動き補償モードが並進モードであるときには、処理対象のＰＵの１つの動きベクトルｖ０、すなわち、ＰＵの頂点Ａの動きベクトルｖ０に対応する予測ベクトルｐｖ０を特定する情報が、パラメータ情報のrefidx0として設定され、その１つの動きベクトルｖ０と予測ベクトルｐｖ０との差分がパラメータ情報のmvd0として設定される。
【０１００】
動き補償モードが並進回転モードであるときには、並進モードであるときと同様に、パラメータ情報のrefidx0とmvd0が設定される。また、処理対象のＰＵ１１の角度情報に対応する予測角度情報を特定する情報がパラメータ情報のrefidx1として設定され、その角度情報と予測角度情報との差分がパラメータ情報のｄｒとして設定される。
【０１０１】
したがって、角度情報が回転角θを表す場合、ｄｒは、処理対象のＰＵ１１の回転角θと予測角度情報としての回転角θ'との差分ｄθである。一方、角度情報が差分dvyを表す場合、ｄｒは、処理対象のＰＵ１１の差分dvyと、予測角度情報としての差分dvyと、の差分mvd1.yである。
【０１０２】
動き補償モードが並進スケーリングモードであるときには、並進モードであるときと同様に、パラメータ情報のrefidx0とmvd0が設定される。また、処理対象のＰＵ１１のスケーリング情報に対応する予測スケーリング情報を特定する情報がパラメータ情報のrefidx1として設定され、そのスケーリング情報と予測スケーリング情報との差分がパラメータ情報のｄｓとして設定される。
【０１０３】
したがって、スケーリング情報が倍率ｓを表す場合、dsは、処理対象のＰＵ１１の倍率ｓと予測スケーリング情報としての倍率ｓとの差分ｄｓである。一方、スケーリング情報が差分dvxを表す場合、ｄｓは、処理対象のＰＵ１１の差分dvxと、予測スケーリング情報としての差分dvxと、の差分mvd1.xである。
【０１０４】
動き補償モードが並進回転モード、又は並進スケーリングモードであるときには、並進モードであるときと同様に、パラメータ情報のrefidx0とmvd0が設定される。また、処理対象のＰＵ１１のもう１つの動きベクトルｖ１、すなわち、ＰＵ１１の頂点Ｂの動きベクトルｖ１に対応する予測ベクトルｐｖ１を特定する情報がパラメータ情報のrefidx1として設定され、その動きベクトルｖ１と予測ベクトルｐｖ１との差分がパラメータ情報のmvd1として設定される。
【０１０５】
動き補償モードがアフィン変換モードであるときには、並進回転モード、又は並進スケーリングモードであるときと同様に、パラメータ情報のrefidx0及びmvd0、並びにrefidx1及びmvd1が設定される。また、処理対象のＰＵ１１のさらにもう１つの動きベクトルｖ２、すなわち、ＰＵ１１の頂点Ｃの動きベクトルｖ２に対応する予測ベクトルｐｖ２を特定する情報がパラメータ情報のrefidx2として設定され、その動きベクトルｖ２と予測ベクトルｐｖ２との差分がパラメータ情報のmvd2として設定される。
【０１０６】
なお、インター予測処理のモードがマージモードである場合、前記したmvd0，mvd1，mvd2，ｄｓ，ｄｒ，refidx0，refidx1，refidx2は設定されない。
【０１０７】
（画像符号化装置が行う処理の流れの説明）
次に、図１４乃至図１７、及び図１９を用いて、画像符号化装置１００ａが行う処理の流れを説明する。
【０１０８】
図１４は、画像符号化装置１００ａが行う処理の流れの一例を示すフローチャートである。図１５乃至図１７、及び図１９は、図１４に示す主要な処理の詳細な流れを示すフローチャートである。具体的には、図１５は、画像符号化装置１００ａが、インター予測モードにおけるＲＤコストの見積もりを行う処理の流れの一例を示すフローチャートである。図１６は、画像符号化装置１００ａが行う、ＡＭＶＰモードの動き予測処理の流れの一例を示すフローチャートである。図１７は、画像符号化装置１００ａが行う、符号化処理の流れの一例を示すフローチャートである。図１９は、画像符号化装置１００ａが行うマージモードの動き予測処理の流れの一例を示すフローチャートである。
【０１０９】
図１４のステップＳ１０において、制御部１０１は、符号化パラメータ（ヘッダ情報Hinfo，予測情報Pinfo，変換情報Tinfo等）の設定を行う。
【０１１０】
次に、ステップＳ１１において、条件判定部１２２ｂは、マージフラグが０であるかを判定する。ステップＳ１１において、マージフラグが１であると判定される（ステップＳ１１：Ｙｅｓ）と、処理はステップＳ１２に進む。一方、ステップＳ１１において、マージが１であると判定されない（ステップＳ１１：Ｎｏ）と、処理はステップＳ１９に進む。
【０１１１】
ステップＳ１１においてＹｅｓと判定されると、ステップＳ１２において、動き検出部１２２ａは、フレームメモリ１１７に記憶された参照画像を読み出して、動き予測を行うためにＣＵの分割を行う。具体的には、動き検出部１２２ａは、参照画像を、動きの発生単位となる可能性が高い領域に分割する。その際、図６で説明した方法に沿って、ＣＵが分割される。なお、動きの発生単位となる領域分割は、例えば、似通った画素値を有する画素を１つの領域に併合する等の、公知の画像処理手法を用いて行われる。
【０１１２】
続いて、ステップＳ１３において、イントラ予測部１２１は、イントラ予測モードのＲＤコストの見積もりを行う。
【０１１３】
次に、ステップＳ１４において、動き補償実行制御部１２３ｃは、インター予測モードのＲＤコストの見積もりを行う。なお、ステップＳ１４における詳細な処理の流れについては後述する（図１５）。
【０１１４】
続いて、ステップＳ１５において、条件判定部１２２ｂは、算出されたＲＤコストの中で最小のＲＤコストとなるモードを、動き補償モードに決定する。なお、図１４には図示しないが、ステップＳ１５で行う処理は、ステップＳ１４において、ＲＤコストの見積もりが早期に終了しなかった場合に行う。ステップＳ１４において、ＲＤコストの見積もりが早期に終了した場合には、条件判定部１２２ｂの判断により、早期に終了した状態に応じた動き補償モードを、動き補償に適用する。詳しくは、後述する図１５の説明の中で述べる。
【０１１５】
次に、ステップＳ１６において、インター予測部１２２は、ステップＳ１５において決定した動き補償モード（又はステップＳ１４において決定した動き補償モード）で、動き予測を行う。なお、ステップＳ１６における詳細な処理の流れについては後述する（図１６）。ここで、図１４には明記しないが、ステップＳ１５において、イントラ予測モードのＲＤコストが最小であった場合は、ステップＳ１６に代わって、イントラ予測処理が実行される。
【０１１６】
続いて、ステップＳ１７において、直交変換部１１１、量子化部１１２、符号化部１１３等は、協働して符号化処理を行う。なお、ステップＳ１７における詳細な処理の流れについては後述する（図１７）。
【０１１７】
次に、ステップＳ１８において、条件判定部１２２ｂは、符号化対象の画像内の全てのＣＵに対して符号化処理を行ったかを判定する。ステップＳ１８において、画像内の全てのＣＵに対して符号化処理を行ったと判定される（ステップＳ１８：Ｙｅｓ）と、画像符号化装置１００ａは、図１４の処理を終了する。一方、ステップＳ１８において、画像内の全てのＣＵに対して符号化処理を行ったと判定されない（ステップＳ１８：Ｎｏ）と、ステップＳ１３に戻って、次のＰＵに対して、ステップＳ１３乃至ステップＳ１８を繰り返す。
【０１１８】
一方、ステップＳ１１において、Ｎｏと判定されると、ステップＳ１９において、動き検出部１２２ａは、参照画像を読み出して、ＣＵの分割を行う。なお、ここで行われる処理は、ステップＳ１２で説明した処理と同じである。
【０１１９】
ステップＳ２０において、動き検出部１２２ａは、マージモードで動き予測を行う。なお、ステップＳ２０における詳細な処理の流れは、後述する（図１９）。
【０１２０】
ステップＳ２１において、直交変換部１１１、量子化部１１２、符号化部１１３等は、協働して符号化処理を行う。なお、ステップＳ２１における詳細な処理の流れについては後述する（図１７）。
【０１２１】
次に、ステップＳ２２において、条件判定部１２２ｂは、符号化対象の画像内の全てのＣＵに対して符号化処理を行ったかを判定する。ステップＳ２２において、画像内の全てのＣＵに対して符号化処理を行ったと判定される（ステップＳ２２：Ｙｅｓ）と、画像符号化装置１００ａは、図１４の処理を終了する。一方、ステップＳ２２において、画像内の全てのＣＵに対して符号化処理を行ったと判定されない（ステップＳ２２：Ｎｏ）と、ステップＳ２０に戻って、次のＰＵに対して、ステップＳ２０乃至ステップＳ２２を繰り返す。
【０１２２】
（インター予測モードにおけるＲＤコスト見積処理の流れの説明）
次に、図１５を用いて、画像符号化装置１００ａが行う、インター予測モードにおけるＲＤコスト見積処理の流れを説明する。
【０１２３】
図１５のステップＳ３１において、動き補償実行制御部１２２ｃは、対象としているＣＵに並進移動が発生していると仮定して、通常のインター予測に基づいて符号化した際のＲＤコストＪＲＤ２、すなわち２パラメータで推定した動き補償を行った際のＲＤコストを算出する。
【０１２４】
次に、ステップＳ３２において、動き補償実行制御部１２２ｃは、対象としているＣＵを、アフィン変換モードで記述される動きが発生していると仮定して符号化した際のＲＤコストＪＲＤ６Ａ、すなわち６パラメータで推定した動き補償を行った際のＲＤコストを算出する。
【０１２５】
さらに、ステップＳ３３において、動き補償実行制御部１２２ｃは、対象としているＣＵに対して、アフィン変換モードで動き補償を行った際の評価コストＪＡ４を算出する。評価コストＪＡ４は、例えば、以下の式（２）で算出する。評価コストＪＡ４は、対象としているＣＵがスキュー変形を受けている度合いを表す。すなわち、評価コストＪＡ４が大きいほど、対象としているＣＵがスキュー変形を受けている可能性が高いことを示す。
【０１２６】
【数２】
2020008724.tif 000004
【０１２７】
次に、ステップＳ３４において、条件判定部１２２ｂは、ステップＳ３３で算出した評価コストＪＡ４が、所定のしきい値ＪＴＨＡ４よりも大きいかを判定する。ステップＳ３４において、ＪＡ４＞ＪＴＨＡ４である場合（ステップＳ３４：Ｙｅｓ）は、メインルーチン（図１４のフローチャート）に戻る。なお、ステップＳ３４において、ＪＡ４＞ＪＴＨＡ４であると判定された場合は、対象となるＣＵはスキュー変形を受けている可能性が高いと判断される。そして、動き補償実行制御部１２２ｃは、対象となるＣＵに、アフィン変換モードによる動き補償（６パラメータの動き補償）を適用するものと判断する。そして、図１５の処理を早期に打ち切って図１４のメインルーチンに戻ることにより、処理の高速化を図る。すなわち、この場合、並進モード、並進回転モード、及び並進スケーリングモードによる動き補償はスキップされる設定となる。
【０１２８】
なお、図１５には図示しないが、ステップＳ３４においてＹｅｓと判定された場合には、ＲＤコスト見積処理を早期に打ち切ったことを示すフラグを立てるとともに、アフィン変換モードによる動き補償を適用することを示す情報を付加して、図１４のメインルーチンに戻る。そして、図１４のステップＳ１５において、ＲＤコスト見積処理を早期に打ち切ったことを示すフラグが立っており、さらに、アフィン変換モードによる動き補償を適用することを示す情報が付加されていた場合には、ステップＳ１６で行う動き補償を、アフィン変換モードで行う。
【０１２９】
一方、ステップＳ３４において、ＪＡ４＞ＪＴＨＡ４でない場合（ステップＳ３４：Ｎｏ）は、ステップＳ３５に進む。
【０１３０】
続くステップＳ３５において、動き補償実行制御部１２２ｃは、対象としているＣＵを、並進回転モード、又は並進スケーリングモードで記述される動きが発生していると仮定して符号化した際のＲＤコストＪＲＤ４Ａ、すなわち４（３）パラメータで推定した動き補償を行った際のＲＤコストを算出する。
【０１３１】
次に、ステップＳ３６において、動き補償実行制御部１２２ｃは、対象としているＣＵに対して、並進回転モードで動き補償を行った際の評価コストＪＲ３、及び並進スケーリングモードで動き補償を行った際の評価コストＪＳ３をそれぞれ算出する。
【０１３２】
評価コストＪＲ３は、例えば、以下の式（３）で算出する。評価コストＪＲ３は、対象としているＣＵが並進回転移動している度合いを表す。すなわち、評価コストＪＲ３が大きいほど、対象としているＣＵが並進回転移動している可能性が高いことを示す。
【０１３３】
【数３】
2020008724.tif 000005
【０１３４】
また、評価コストＪＳ３は、例えば、以下の式（４）で算出する。評価コストＪＳ３は、対象としているＣＵが並進スケーリング移動している度合いを表す。すなわち、評価コストＪＳ３が大きいほど、対象としているＣＵが並進スケーリング移動している可能性が高いことを示す。
【０１３５】
【数４】
2020008724.tif 000006
【０１３６】
次に、ステップＳ３７において、条件判定部１２２ｂは、ステップＳ３６で算出した評価コストＪＳ３が、所定のしきい値ＪＴＨＳ３よりも大きいかを判定する。ステップＳ３７において、ＪＳ３＞ＪＴＨＳ３である場合（ステップＳ３７：Ｙｅｓ）は、ステップＳ３９に進む。なお、ステップＳ３７において、ＪＳ３＞ＪＴＨＳ３であると判定された場合は、対象となるＣＵは並進スケーリング移動している可能性が高いと判断される。
【０１３７】
一方、ステップＳ３７において、ＪＳ３＞ＪＴＨＳ３でない場合（ステップＳ３７：Ｎｏ）は、ステップＳ３８に進む。
【０１３８】
続くステップＳ３８において、動き補償実行制御部１２２ｃは、対象としているＣＵを、並進スケーリングモードで記述される動きが発生していると仮定して符号化した際のＲＤコストＪＲＤＳ３、すなわち４（３）パラメータで推定した動き補償を行った際のＲＤコストを算出する。
【０１３９】
次に、ステップＳ３９において、条件判定部１２２ｂは、ステップＳ３６で算出した評価コストＪＲ３が、所定のしきい値ＪＴＨＲ３よりも大きいかを判定する。ステップＳ３９において、ＪＲ３＞ＪＴＨＲ３である場合（ステップＳ３９：Ｙｅｓ）は、メインルーチン（図１４）に戻る。なお、ステップＳ３９において、ＪＲ３＞ＪＴＨＲ３であると判定された場合は、対象となるＣＵは並進回転移動している可能性が高いと判断される。そして、動き補償実行制御部１２２ｃは、対象となるＣＵに、並進回転移動モードによる動き補償（４（３）パラメータの動き補償）を適用するものと判断する。そして、図１５の処理を早期に打ち切って、図１４のメインルーチンに戻ることにより、処理の高速化を図る。すなわち、この場合、並進モード、並進スケーリングモード、及びアフィン変換モードによる動き補償はスキップされる設定となる。
【０１４０】
なお、図１５には図示しないが、ステップＳ３９においてＹｅｓと判定された場合には、ＲＤコスト見積処理を早期に打ち切ったことを示すフラグを立てるとともに、並進回転移動モードによる動き補償を適用することを示す情報を付加して、図１４のメインルーチンに戻る。そして、図１４のステップＳ１５において、ＲＤコスト見積処理を早期に打ち切ったことを示すフラグが立っており、さらに、並進回転移動モードによる動き補償を適用することを示す情報が付加されていた場合には、ステップＳ１６で行う動き補償を、並進回転移動モードで行う。
【０１４１】
また、ステップＳ３７において、ＪＳ３＞ＪＴＨＳ３と判定された場合は、前記したように、対象となるＣＵは並進スケーリング移動している可能性が高い。したがって、ステップＳ３７でＹｅｓと判定された時点でメインルーチンに戻してもよいが、対象となるＣＵが並進回転移動している可能性が残るため、図１５のフローチャートでは、ステップＳ３７がＹｅｓと判定された場合であっても、続いてステップＳ３９を実行している。但し、その場合に、ステップＳ３８をスキップさせることによって、処理の高速化を図る。
【０１４２】
一方、ステップＳ３９において、ＪＲ３＞ＪＴＨＲ３でない場合（ステップＳ３９：Ｎｏ）は、ステップＳ４０に進む。
【０１４３】
続くステップＳ４０において、条件判定部１２３ｂは、再度、ステップＳ３６で算出した評価コストＪＳ３が、所定のしきい値ＪＴＨＳ３よりも大きいかを判定する。この処理は、ステップＳ３７で行った判定処理と同じであるが、ＪＳ３＞ＪＴＨＳ３且つＪＲ３≦ＪＴＨＲ３の場合に、動き補償モードの判定を早期に打ち切るために、再度実行する。
【０１４４】
ステップＳ４０において、ＪＳ３＞ＪＴＨＳ３である場合（ステップＳ４０：Ｙｅｓ）は、メインルーチン（図１４）に戻る。なお、ステップＳ４０において、ＪＳ３＞ＪＴＨＳ３であると判定された場合は、対象となるＣＵは並進スケーリング移動している可能性が高いと判断される。そして、動き補償実行制御部１２３ｃは、対象となるＣＵに、並進スケーリングモードによる動き補償（４（３）パラメータの動き補償）を適用するものと判断する。そして、図１５の処理を早期に打ち切って、図１４のメインルーチンに戻ることにより、処理の高速化を図る。すなわち、この場合、並進モード、並進回転モード、及びアフィン変換モードによる動き補償はスキップされる設定となる。
【０１４５】
なお、図１５には図示しないが、ステップＳ４０においてＹｅｓと判定された場合には、ＲＤコスト見積処理を早期に打ち切ったことを示すフラグを立てるとともに、並進スケーリングモードによる動き補償を適用することを示す情報を付加して、図１４のメインルーチンに戻る。そして、図１４のステップＳ１５において、ＲＤコスト見積処理を早期に打ち切ったことを示すフラグが立っており、並進スケーリングモードによる動き補償を適用することを示す情報が付加されていた場合には、ステップＳ１６で行う動き補償を、並進スケーリングモードで行う。
【０１４６】
一方、ステップＳ４０において、ＪＳ３＞ＪＴＨＳ３でない場合（ステップＳ４０：Ｎｏ）は、ステップＳ４１に進んで、動き補償実行制御部１２２ｃは、対象としているＣＵを、並進回転モードで記述される動きが発生していると仮定して符号化した際のＲＤコストＪＲＤＲ３、すなわち４（３）パラメータで推定した動き補償を行った際のＲＤコストを算出する。その後、メインルーチン（図１４）に戻る。
【０１４７】
（ＡＭＶＰモードにおける動き予測処理の流れの説明）
次に、図１６を用いて、画像符号化装置１００ａが行う、ＡＭＶＰモードの動き予測処理の流れを説明する。なお、動き予測処理は、ＣＵ単位で行われる。なお、図１６は、図１４のステップＳ１６で行われる処理の流れを詳細に示すものである。
【０１４８】
図１６に示す処理は、その最初の段階（ステップＳ５１、Ｓ５５、Ｓ６０）において、設定されている動き補償モードを特定する。動き補償モードは、前記した動き補償モード情報（affine_flag、affine3parameter_flag、rotate_scale_idx）を参照することによって判定すればよい。以下の説明では、簡単のため、単に、具体的な動き補償モードであるか否かを判定するものとして記載する。実際の判定は、前記各フラグやインデックスの状態を参照することによって行う。
【０１４９】
まず、ステップＳ５１において、条件判定部１２２ｂは、動き補償モードが並進モードであるかを判定する。動き補償モードが並進モードであると判定される（ステップＳ５１：Ｙｅｓ）と、ステップＳ５２に進む。一方、動き補償モードが並進モードであると判定されない（ステップＳ５１：Ｎｏ）と、ステップＳ５５に進む。
【０１５０】
ステップＳ５１においてＹｅｓと判定されると、ステップＳ５２において、動き検出部１２２ａは、パラメータ情報に基づいて、予測ベクトルｐｖ０を決定する。具体的には、動き検出部１２２ａは、パラメータ情報が予測ベクトルとして隣接ベクトルを特定する情報である場合、保持している近傍領域ａ乃至近傍領域ｇ（図１３）の動きベクトルに基づいて、コストＤＶが最も小さくなる近傍領域ａ乃至近傍領域ｃのいずれかの動きベクトルから生成された隣接ベクトルを、予測ベクトルｐｖ０に決定する。
【０１５１】
次に、ステップＳ５３において、動き検出部１２２ａは、ステップＳ５２で決定された１本の予測ベクトルｐｖ０と、パラメータ情報のうちの予測ベクトルｐｖ０と処理対象のＰＵの動きベクトルｖ０との差分ｄｖ０とを加算して、処理対象のＰＵの動きベクトルｖ０を計算する。
【０１５２】
続いて、ステップＳ５４において、インター予測部１２２は、ステップＳ５３で計算された動きベクトルｖ０を用いて、フレームメモリ１１７に格納された参照画像特定情報により特定される参照画像に対して並進モードで動き補償を行う。動き検出部１２２ａは、動き補償が行われた参照画像を予測画像Ｐとして、演算部１１０や演算部１１６に供給する。そして、メインルーチン（図１４）に戻る。
【０１５３】
ステップＳ５１において、動き補償モードが並進モードであると判定されない（ステップＳ５１：Ｎｏ）と、ステップＳ５５において、条件判定部１２２ｂは、動き補償モードがアフィン変換モードであるかを判定する。動き補償モードがアフィン変換モードであると判定される（ステップＳ５５：Ｙｅｓ）と、ステップＳ５６に進む。一方、動き補償モードがアフィン変換モードであると判定されない（ステップＳ５５：Ｎｏ）と、ステップＳ６０に進む。
【０１５４】
ステップＳ５５においてＹｅｓと判定されると、ステップＳ５６において、動き検出部１２２ａは、パラメータ情報に基づいて、３本の予測ベクトルｐｖ０、ｐｖ１、ｐｖ２を決定する。
【０１５５】
次に、ステップＳ５７において、動き検出部１２２ａは、ステップＳ４６で決定された３本の予測ベクトルｐｖ０、ｐｖ１、ｐｖ２のそれぞれと、それらの予測ベクトルｐｖ０、ｐｖ１、ｐｖ２に対応するパラメータ情報のうちの差分とを加算して、処理対象のＰＵ１１における３本の動きベクトルｖ０、ｖ１、ｖ２を求める。
【０１５６】
続いて、ステップＳ５８において、動き検出部１２２ａは、ステップＳ５７で計算された３本の動きベクトルｖ０＝（ｖ０ｘ，ｖ０ｙ），ｖ１＝（ｖ１ｘ，ｖ１ｙ），ｖ２＝（ｖ２ｘ，ｖ２ｙ）を用いて、例えば、式（５）を用いて、各単位ブロック（例えばＰＵ１１）の動きベクトルｖ（ｖｘ，ｖｙ）を計算する。
【０１５７】
ｖｘ＝（ｖ１ｘ−ｖ０ｘ）ｘ／ｗ−（ｖ２ｙ−ｖ０ｙ）ｙ／ｈ＋ｖ０ｘ
ｖｙ＝（ｖ１ｙ−ｖ０ｙ）ｘ／ｗ−（ｖ２ｘ−ｖ０ｘ）ｙ／ｈ＋ｖ０ｙ
・・・（５）
【０１５８】
式（５）において、ｗ，ｈ，ｘ，ｙは、ＰＵ１１の幅、高さ、ＰＵ１１のｘ方向の位置、ｙ方向の位置を、それぞれ表す。式（５）によれば、ＰＵ１１における動きベクトルｖは、ＰＵ１１の位置（ｘ，ｙ）に応じて、動きベクトルｖ０乃至ｖ２を比例配分することによって求められる。
【０１５９】
次に、ステップＳ５９において、動き検出部１２２ａは、単位ブロック毎に、動きベクトルｖに基づいて、参照画像特定情報により特定される参照画像のブロックをアフィン変換させることにより、参照画像に対してアフィン変換モードで動き補償を行う。また、動き検出部１２２ａは、動き補償が行われた参照画像を予測画像Ｐとして、演算部１１０や演算部１１６に供給する。そして、メインルーチン（図１４）に戻る。
【０１６０】
ステップＳ５５において、動き補償モードがアフィン変換モードであると判定されない（ステップＳ５５：Ｎｏ）と、ステップＳ６０において、条件判定部１２２ｂは、動き補償モードが並進回転モードであるかを判定する。動き補償モードが並進回転モードであると判定される（ステップＳ６０：Ｙｅｓ）と、ステップＳ６１に進む。一方、動き補償モードが並進回転モードであると判定されない（ステップＳ６０：Ｎｏ）と、ステップＳ６４に進む。
【０１６１】
ステップＳ６０においてＹｅｓと判定されると、ステップＳ６１において、動き検出部１２２ａは、パラメータ情報に基づいて１本の予測ベクトルｐｖ０を決定する。また、動き検出部１２３ａは、パラメータ情報に基づいて、予測角度情報を決定する。
【０１６２】
次に、ステップＳ６２において、動き検出部１２２ａは、ステップＳ５３の処理と同様に１本の動きベクトルｖ０を計算する。また、動き検出部１２２ａは、ステップＳ６１で決定した予測角度情報と、パラメータ情報のうちの予測角度情報と処理対象のＰＵの角度情報との差分と、を加算することにより、処理対象のＰＵの角度情報を計算する。
【０１６３】
続いて、ステップＳ６３において、動き検出部１２２ａは、ステップＳ６２で計算された１本の動きベクトルｖ０及び角度情報を用いて、参照画像に対して並進回転モードで動き補償を行う。また、動き検出部１２２ａは、動き補償が行われた参照画像を予測画像Ｐとして、演算部１１０や演算部１１６に供給する。そして、メインルーチン（図１４）に戻る。
【０１６４】
ステップＳ６０において、動き補償モードが並進回転モードであると判定されない（ステップＳ６０：Ｎｏ）と、ステップＳ６４において、動き検出部１２２ａは、パラメータ情報に基づいて、ステップＳ５２の処理と同様に１本の予測ベクトルｐｖ０を決定する。また、動き検出部１２２ａは、パラメータ情報に基づいて、予測倍率情報を決定する。
【０１６５】
次に、ステップＳ６５において、動き検出部１２３ａは、ステップＳ５３の処理と同様に１本の動きベクトルｖ０を計算する。また、動き検出部１２３ａは、ステップＳ６４で決定した予測倍率情報と、パラメータ情報のうちの予測倍率情報と処理対象のＰＵの倍率情報との差分と、を加算することにより、処理対象のＰＵの倍率情報を計算する。
【０１６６】
続いて、ステップＳ６６において、動き検出部１２２ａは、ステップＳ６５で計算された１本の動きベクトルｖ０及び倍率情報を用いて、参照画像に対して並進スケーリングモードで動き補償を行う。また、動き検出部１２２ａは、動き補償が行われた参照画像を予測画像Ｐとして、演算部１１０や演算部１１６に供給する。そして、メインルーチン（図１４）に戻る。
【０１６７】
（符号化処理の流れの説明）
次に、図１７を用いて、画像符号化装置１００ａが行う、符号化処理の流れを説明する。まず、ステップＳ７１において、演算部１１０は、ＡＤ変換部１０２でＡＤ変換された符号化対象の画像と、予測画像Ｐとの差分を演算する。演算結果は、予測残差画像Ｄとして、直交変換部１１１に供給する。このようにして求められた予測残差画像Ｄは、符号化対象の画像に比べてデータ量が低減される。したがって、符号化対象の画像をそのまま符号化する場合に比べて、データ量を圧縮することができる。
【０１６８】
ステップＳ７２において、直交変換部１１１は、制御部１０１から供給される変換情報Tinfoに基づいて、演算部１１０から供給される予測残差画像Ｄに対して直交変換を行い、変換係数Coeffを算出する。直交変換部１１１は、変換係数Coeffを量子化部１１２に供給する。なお、直交変換部１１１は、具体的には、離散コサイン変換（ＤＣＴ）等に代表される直交変換を行う。
【０１６９】
ステップＳ７３において、量子化部１１２は、制御部１０１から供給される変換情報Tinfoに基づいて、直交変換部１１１から供給される変換係数Coeffをスケーリング（量子化）し、量子化変換係数レベルlevelを算出する。量子化部１１２は、量子化変換係数レベルlevelを符号化部１１３及び逆量子化部１１４に供給する。
【０１７０】
ステップＳ７４において、逆量子化部１１４は、制御部１０１から供給される変換情報Tinfoに基づいて、量子化部１１２から供給される量子化変換係数レベルlevelを、ステップＳ７３の量子化の特性に対応する特性で逆量子化する。逆量子化部１１４は、その結果得られる変換係数Coeff_IQを逆直交変換部１１５に供給する。
【０１７１】
ステップＳ７５において、逆直交変換部１１５は、制御部１０１から供給される変換情報Tinfoに基づいて、逆量子化部１１４から供給される変換係数Coeff_IQに対して、ステップＳ７２の直交変換に対応する方法で逆直交変換等を行い、予測残差画像Ｄ’を算出する。
【０１７２】
ステップＳ７６において、演算部１１６は、ステップＳ７５の処理により算出された予測残差画像Ｄ’を、インター予測部１２２から供給される予測画像Ｐと加算することにより、局所的な復号画像Recを生成する。
【０１７３】
ステップＳ７７において、フレームメモリ１１７は、ステップＳ７６の処理により得られた、局所的な復号画像Recを用いてピクチャ単位の復号画像を再構築し、フレームメモリ１１７内のバッファへ記憶する。
【０１７４】
ステップＳ７８において、符号化部１１３は、図１４のステップＳ１０の処理により設定された符号化パラメータと、ステップＳ７３の処理により得られた量子化変換係数レベルlevelとを、所定の方法で符号化する。符号化部１１３は、その結果得られる符号化データを多重化し、符号化ストリームとして画像符号化装置１００ａの外部に出力する。この符号化ストリームは、例えば、伝送路や記録媒体を介して、復号側に伝送される。
【０１７５】
（マージモードにおける動き予測処理の説明）
次に、画像符号化装置１００ａが、マージモードで動き予測処理を行う際の処理の流れを説明する。
【０１７６】
まず、図１８を用いて、マージモードを実行する際の近傍領域について説明する。図１８は、マージモードで動き予測処理を行う際に設定する近傍領域の一例を示す図である。
【０１７７】
図１８（ａ）は、動き予測の対象となるＣＵ１４（ＣＵ１４はＰＵであってもよい）の近傍に、既に動き補償済（符号化済）の近傍領域を５箇所設定した例である。すなわち、ＣＵ１４は、本開示における部分領域の一例である。設定した近傍領域のうち、近傍領域Ｒａ、Ｒｂ、Ｒｅは、ＣＵ１４の左上に８隣接で隣接した領域である。特に、近傍領域Ｒａは、ＣＵ１４の左上の頂点に対して、左下に隣接している。また、近傍領域Ｒｂは、ＣＵ１４の左上の頂点に対して、右上に隣接している。そして、近傍領域Ｒｅは、ＣＵ１４の左上の頂点に対して、左上に隣接している。さらに、近傍領域Ｒｃは、ＣＵ１４の右上の頂点に対して、左上に隣接しており、近傍領域Ｒｄは、ＣＵ１４の左下の頂点に対して、左上に隣接している。なお、近傍領域は、８隣接の代わりに４隣接で設定してもよい。すなわち、図１８（ａ）において、４箇所の近傍領域Ｒａ、Ｒｂ、Ｒｃ、Ｒｄのみを設定してもよい。
【０１７８】
動き補償済（符号化済）の近傍領域Ｒａ乃至近傍領域Ｒｅにおいては、それぞれの近傍領域内で、動きの状態が検出されて、動き補償モードが決定しているとする。すなわち、図１８（ａ）の場合、ＣＵ１４における動きの状態を検出して動き予測を行うために、５箇所の近傍領域でそれぞれ検出された、合計５種類の動き状態を利用することができる。
【０１７９】
より具体的には、画像符号化装置１００ａの条件判定部１２２ｂは、マージモードでＣＵ１４における動き予測を行う際に、近傍領域Ｒａ乃至近傍領域Ｒｅで検出された動きの状態（並進モード、並進回転モード、並進スケーリングモード、アフィン変換モード）の中で、検出された動き状態の頻度が高い順に、ＣＵ１４の動き状態の判定を行う。そして、画像符号化装置１００ａの動き補償実行制御部１２２ｃ（実行制御部）は、条件判定部１２２ｂが所定の条件を満足する、すなわち、所定の動きの状態を検出したと判定したことを条件として、前記所定の条件に応じた動き補償モードをスキップさせる。すなわち、ＣＵ１４の近傍で、特定の動きの状態が高頻度で検出された場合には、ＣＵ１４における動きの状態は、当該高頻度で検出された動きの状態と等しくなることが予測されるため、このように、出現頻度順に動きの状態を判定することによって、早期に動きの状態を確定して、判定を打ち切ることができる。
【０１８０】
なお、ＣＵ１４の近傍に設定する近傍領域の数は、図１８（ａ）のように、５箇所に限定されるものではない。すなわち、図１８（ｃ）に示す通り、近傍領域Ｒａ乃至近傍領域Ｒｉのように、より多くの近傍領域を設定してもよい。設定する近傍領域の数が多いほど、参照可能な動きの状態の数が増加するため、確実性の高い動きの発生頻度がより増加することによって、ＣＵ１４における動き予測の精度を向上させることができる。
【０１８１】
また、ＣＵ１４の近傍に設定する近傍領域は、必ずしも、ＣＵ１４に隣接している必要はない。すなわち、図１８（ｂ）に示すように、ＣＵ１４に隣接しない位置に近傍領域を設定してもよい。このように、ＣＵ１４に隣接しない位置に近傍領域を設定することによって、ＣＵ１４の近傍のより広範囲の動きの状態に基づいて、ＣＵ１４における動きの状態を予測することができる。
【０１８２】
（マージモードにおける動き予測処理の流れの説明）
次に、図１９を用いて、画像符号化装置１００ａがマージモードで動作している際に行う動き予測処理の流れを説明する。なお、図１９のフローチャートは、図１４のステップＳ２０で行われる処理の流れを詳細に示したものである。
【０１８３】
ステップＳ８１において、動き検出部１２２ａは、動き予測の対象となるＣＵ１４の近傍領域（又は隣接領域）における動き補償モードの出現数を計数する。すなわち、並進モード、並進回転モード、並進スケーリングモード、アフィン変換モードの各動き補償モードが、それぞれ何箇所の近傍領域（又は隣接領域）で発生したかを計数する。計数結果は、条件判定部１２２ｂに供給される。
【０１８４】
ステップＳ８２において、条件判定部１２２ｂは、ステップＳ８１で計数された結果を、動き補償モードの出現頻度順に整列する。
【０１８５】
次に、ステップＳ８３において、動き補償実行制御部１２２ｃは、出現頻度が最も高い動き補償モード（以下、順序１と呼ぶ）を適用して、動き予測の対象となるＣＵ１４の符号化を行った場合のＲＤコストＪ１を算出する。
【０１８６】
次に、ステップＳ８４において、条件判定部１２２ｂは、動き予測の対象となるＣＵ１４に適用する動き補償モードの判定を、順序１の結果で打ち切るかを判定する。順序１の結果で打ち切ると判定される（ステップＳ８４：Ｙｅｓ）と、ステップＳ９０に進む。一方、順序１の結果で打ち切ると判定されない（ステップＳ８４：Ｎｏ）と、ステップＳ８５に進む。なお、順序１の結果で打ち切ることは、例えば、ＲＤコストＪ１が所定のしきい値ＪＴＨを下回ったことによって判断すればよい。
【０１８７】
ステップＳ８４において、Ｎｏと判定されると、ステップＳ８５において、動き補償実行制御部１２２ｃは、動き補償モードの出現頻度が２番目に高い動き補償モード（以下、順序２と呼ぶ）を適用して、動き予測の対象となるＣＵ１４の符号化を行った場合のＲＤコストＪ２を算出する。
【０１８８】
次に、ステップＳ８６において、条件判定部１２２ｂは、動き予測の対象となるＣＵ１４に適用する動き補償モードの判定を、順序２の結果で打ち切るかを判定する。順序２の結果で打ち切ると判定される（ステップＳ８６：Ｙｅｓ）と、ステップＳ９０に進む。一方、順序２の結果で打ち切ると判定されない（ステップＳ８６：Ｎｏ）と、ステップＳ８７に進む。なお、順序２の結果で打ち切ることは、例えば、ＲＤコストＪ２が所定のしきい値ＪＴＨを下回ったことによって判断すればよい。
【０１８９】
ステップＳ８６において、Ｎｏと判定されると、ステップＳ８７において、動き補償実行制御部１２２ｃは、動き補償モードの出現頻度が３番目に高い動き補償モード（以下、順序３と呼ぶ）を適用して、動き予測の対象となるＣＵ１４の符号化を行った場合のＲＤコストＪ３を算出する。
【０１９０】
次に、ステップＳ８８において、条件判定部１２２ｂは、動き予測の対象となるＣＵ１４に適用する動き補償モードの判定を、順序３の結果で打ち切るかを判定する。順序３の結果で打ち切ると判定される（ステップＳ８８：Ｙｅｓ）と、ステップＳ９０に進む。一方、順序３の結果で打ち切ると判定されない（ステップＳ８８：Ｎｏ）と、ステップＳ８９に進む。なお、順序３の結果で打ち切ることは、例えば、ＲＤコストＪ３が所定のしきい値ＪＴＨを下回ったことによって判断すればよい。
【０１９１】
ステップＳ８８において、Ｎｏと判定されると、ステップＳ８９において、動き補償実行制御部１２２ｃは、出現頻度が４番目に高い動き補償モード（以下、順序４と呼ぶ）を適用して、動き予測の対象となるＣＵ１４の符号化を行った場合のＲＤコストＪ４を算出する。その後、ステップＳ９０に進む。
【０１９２】
ステップＳ８４、Ｓ８６、Ｓ８８において、それぞれＹｅｓと判定された場合、すなわち、動き予測の対象となるＣＵ１４に適用する動き補償モードの判定を打ち切ると判定された場合は、続いて、ステップＳ９０が実行される。また、ステップＳ８９が実行された場合は、続いて、ステップＳ９０が実行される。ステップＳ９０において、条件判定部１２２ｂは、ＲＤコストＪ１が最小であるかを判定する。ＲＤコストＪ１が最小であると判定される（ステップＳ９０：Ｙｅｓ）と、ステップＳ９４に進む。一方、ＲＤコストＪ１が最小であると判定されない（ステップＳ９０：Ｎｏ）と、ステップＳ９１に進む。
【０１９３】
なお、ステップＳ８４でＹｅｓと判定されてステップＳ９０に進んだ場合、ＲＤコストＪ１には値が入っているが、ＲＤコストＪ２乃至Ｊ４には値が入っていないため、ステップＳ９０の判定は無条件にＹｅｓとなって、ステップＳ８４に移行する。一方、ステップＳ８６又はステップＳ８８でＹｅｓと判定されてステップＳ９０に進んだ場合、及びステップＳ８９を実行した後でステップＳ９０に進んだ場合には、ＲＤコストＪ１、及びＲＤコストＪ２乃至Ｊ４うち少なくとも１つには値が入っているため、ステップＳ９０では、それらの値を比較して、ＲＤコストＪ１が最小であるかを判定する。
【０１９４】
ステップＳ９０において、Ｎｏと判定されると、ステップＳ９１において、条件判定部１２２ｂは、ＲＤコストＪ２が最小であるかを判定する。ＲＤコストＪ２が最小であると判定される（ステップＳ９１：Ｙｅｓ）と、ステップＳ９５に進む。一方、ＲＤコストＪ２が最小であると判定されない（ステップＳ９１：Ｎｏ）と、ステップＳ９２に進む。
【０１９５】
ステップＳ９１において、Ｎｏと判定されると、ステップＳ９２において、条件判定部１２２ｂは、ＲＤコストＪ３が最小であるかを判定する。ＲＤコストＪ３が最小であると判定される（ステップＳ９２：Ｙｅｓ）と、ステップＳ９６に進む。一方、ＲＤコストＪ３が最小であると判定されない（ステップＳ９２：Ｎｏ）と、ステップＳ９３に進む。
【０１９６】
ステップＳ９０において、Ｙｅｓと判定されると、ステップＳ９４において、動き補償実行制御部１２２ｃは、動き検出部１２２ａに対して、順序１に対応する動き補償モードで動き予測の対象となるＣＵ１４に対する動き補償を行わせる。その際、動き補償実行制御部１２３ｃは、順序１に対応する動き補償モードで動き補償を行ったことを示す信号inter_mode＝０を動き検出部１２２ａに供給する。その後、図１９の処理を終了して、図１４のメインルーチンに戻る。
【０１９７】
ステップＳ９１において、Ｙｅｓと判定されると、ステップＳ９５において、動き補償実行制御部１２２ｃは、動き検出部１２２ａに対して、順序２に対応する動き補償モードで動き予測の対象となるＣＵ１４に対する動き補償を行わせる。その際、動き補償実行制御部１２３ｃは、順序２に対応する動き補償モードで動き補償を行ったことを示す信号inter_mode＝１を動き検出部１２２ａに供給する。その後、図１９の処理を終了して、図１４のメインルーチンに戻る。
【０１９８】
ステップＳ９２において、Ｙｅｓと判定されると、ステップＳ９６において、動き補償実行制御部１２２ｃは、動き検出部１２２ａに対して、順序３に対応する動き補償モードで動き予測の対象となるＣＵ１４に対する動き補償を行わせる。その際、動き補償実行制御部１２３ｃは、順序３に対応する動き補償モードで動き補償を行ったことを示す信号inter_mode＝２を動き検出部１２２ａに供給する。その後、図１９の処理を終了して、図１４のメインルーチンに戻る。
【０１９９】
ステップＳ９２において、Ｎｏと判定されると、ステップＳ９３において、動き補償実行制御部１２２ｃは、動き検出部１２２ａに対して、順序４に対応する動き補償モードで動き予測の対象となるＣＵ１４に対する動き補償を行わせる。その際、動き補償実行制御部１２３ｃは、順序４に対応する動き補償モードで動き補償を行ったことを示す信号inter_mode＝１を動き検出部１２２ａに供給する。その後、図１９の処理を終了して、図１４のメインルーチンに戻る。
【０２００】
このように、図１９に示す処理によると、動き予測の対象となるＣＵ１４の近傍領域（又は隣接領域）における動き補償モードの出現頻度順にＲＤコストＪ１乃至Ｊ４を計算することによって、動き予測の対象となるＣＵ１４に割り当てられる可能性の高い動き補償モードを早期に見つけることができる。そして、ＣＵ１４に割り当てられる可能性の高い動き補償モードを見つけた際に、以後の判定を打ち切る（ＣＵ１４に割り当てられる可能性の高い動き補償モード以外の動き補償モードの判定をスキップする）ことができるため、動き補償モードの決定を効率よく実行することができる。
【０２０１】
さらに、図１９で説明した処理の流れによると、動き予測の対象となるＣＵ１４に割り当てられる可能性が高い動き補償モードには、より短い符号（信号inter_mode）を割り当てているため、符号化効率の改善に寄与する。
【０２０２】
なお、図１９に示す処理は、条件判定部１２２ｂが、所定の条件として、動き検出部１２２ａが検出した動きの状態が、所定の動き補償モードに合致しているかを判定する例である。
【０２０３】
（第１の実施の形態の作用効果）
このように、第１の実施の形態によると、画像の一部の領域を示す部分領域に、時間とともに発生する動きの状態を補償する複数の動き補償モードを有する動き検出部１２２ａ（動き補償部）が、当該部分領域に時間とともに発生する動きの状態を検出した場合に、動き補償実行制御部１２２ｃ（実行制御部）は、動き検出部１２２ａが検出した動きの状態が、所定の条件を満たす場合には、動き検出部１２２ａに対して、所定の条件に応じた動き補償モードをスキップさせる。したがって、所定の条件以外の動き補償モードの判定を行う必要がないため、部分領域における動きの補償を高速（効率的）に実行することができる。
【０２０４】
特に、第１の実施の形態によると、画像符号化装置１００ａは、動き予測の対象となる部分領域（例えばＰＵ１１またはＣＵ１４）における動きベクトルに基づいて、部分領域における動きの状態を判定する際に、条件判定部１２２ｂは、ＲＤコスト及び評価コストに基づいて、動きの状態の判定を早期に打ち切る。そして、動き補償実行制御部１２３ｃは、部分領域に発生していると判定された動きの状態に応じた動き補償モードで、部分領域の動き補償を行って予測画像Ｐを生成する。すなわち、判定されない動き補償モードをスキップさせる。したがって、部分領域における動き補償を高速に実行することができるとともに、画像の符号化効率を向上させることができる。特にマージモードで動き予測を行う場合、すなわち、動き予測の対象となる部分領域における動きベクトルを、当該部分領域の近傍領域における動きベクトルに基づいて算出する場合に、条件判定部１２２ｂは、近傍領域における動きベクトルの出現頻度順に、動き予測の対象となる部分領域における動きの状態を判定する。そして、動き補償実行制御部１２３ｃは、部分領域に発生していると判定された動きの状態に対応する動き補償モードで、部分領域の動き補償を行って予測画像Ｐを生成する。したがって、部分領域における動き補償を高速に実行するとともに、画像の符号化効率を向上させることができる。
【０２０５】
また、条件判定部１２２ｂは、動き検出部１２２ａ（動き補償部）が検出した、矩形状の部分領域の最大３頂点における動きベクトルの向きと長さと、部分領域の幅ｗと高さｈと、に基づいて、前記部分領域の動きの状態が、所定の条件を満足するかを判定する。したがって、部分領域の動きの状態の判定を容易かつ確実に実行することができる。
【０２０６】
＜第２の実施の形態＞
（ＣＵサイズに応じた動き予測処理の流れの説明）
本開示は、画像符号化装置１００ａが動き補償を行う際に、設定したＣＵのサイズに応じて、適用する動き補償モードを決定する例である。すなわち、画像符号化装置１００ａの動き検出部１２２ａ（動き補償部）が予測画像Ｐを生成する条件である、設定された部分領域（ＣＵ）のサイズが、所定の条件を満たす場合に、動き補償実行制御部１２２ｃが、動き検出部１２２ａに対して、所定の条件に応じた動き補償モードをスキップさせる例である。
【０２０７】
本実施の形態において、動き補償実行制御部１２２ｃは、動き検出部１２２ａ（動き補償部）が予測画像Ｐを生成する条件が、所定の条件を満たす場合に、動き検出部１２２ａに対して、所定の条件に応じた動き補償モードをスキップさせる。
【０２０８】
また、動き補償実行制御部１２２ｃは、所定の条件が部分領域のサイズが所定値よりも小さいことであって、当該所定の条件が満たされた場合に、動き検出部１２２ａに対して、所定の動き補償をスキップさせる。
【０２０９】
より具体的には、動き補償実行制御部１２２ｃは、所定の条件が、部分領域のサイズが所定値よりも小さいことであって、当該所定の条件が満たされた場合に、動き検出部１２２ａに対して、並進移動を伴う動きを補償する並進モードと、並進移動及び回転を伴う動きを補償する並進回転モードと、並進移動及び拡大縮小を伴う動きを補償する並進スケーリングモード以外の動き補償モードをスキップさせる。
【０２１０】
また、動き補償実行制御部１２２ｃは、所定の条件が、部分領域のサイズが所定値以上であることであって、当該所定の条件が満たされた場合に、動き検出部１２２ａに対して、部分領域に対し、動き検出部１２２ａが備える複数の動き補償モードを適用して動き補償を行った際に生成される予測画像Ｐの予測の程度を示すＲＤコストが最小となる動き補償モード以外の動き補償モードをスキップさせる。
【０２１１】
図２０を用いて、画像符号化装置１００ａが動き補償を行う際に、設定したＣＵのサイズに応じて動き補償モードを決定する動作例を説明する。図２０は、画像符号化装置１００ａが、ＣＵのサイズ（幅ｗと高さｈの積ｈｗ）に応じて動き補償モードを設定して、動き補償と符号化を行う処理の流れの一例を示すフローチャートである。なお、図２０は、簡単のため、ＡＭＶＰモードでインター予測を行う場合の処理の流れを示す。
【０２１２】
ステップＳ１００、及びステップＳ１０１の処理は、それぞれ、図１４におけるステップＳ１０、及びステップＳ１２の処理と同じであるため、説明は省略する。
【０２１３】
次に、ステップＳ１０２において、条件判定部１２３ｂは、ステップＳ１０１で設定されたＣＵのサイズがしきい値より小さいかを判定する。ＣＵのサイズがしきい値より小さいと判定される（ステップＳ１０２：Ｙｅｓ）と、ステップＳ１０３に進む。一方、ＣＵのサイズがしきい値より小さいと判定されない（ステップＳ１０２：Ｎｏ）と、ステップＳ１０５に進む。なお、ＣＵのサイズのしきい値は、例えば、ｈｗ＝３２×３２＝１０２４画素等とする。
【０２１４】
ステップＳ１０２において、Ｙｅｓと判定されると、ステップＳ１０３において、動き補償実行制御部１２３ｃは、並進モード、並進回転モード、並進スケーリングモードをそれぞれ適用して、動き予測の対象となるＣＵの符号化を行った場合のＲＤコストを算出する。すなわち、動き補償実行制御部１２３ｃは、パラメータ数が最も多いアフィン変換モードを適用した際のＲＤコストの見積もりのみを行わない。
【０２１５】
次に、ステップＳ１０４において、動き補償実行制御部１２３ｃは、ステップＳ１０３で算出したＲＤコストのうち、最小となるＲＤコストを有する動き補償モードを、動き予測の対象となるＣＵの動き補償モードとする。そして、動き補償実行制御部１２３ｃは、決定した動き補償モードを示す信号を、インター予測部１２２に供給する。その後、ステップＳ１０７に進む。すなわち、この場合、ＲＤコストが最小となる動き補償モード以外の動き補償モードはスキップされる設定となる。
【０２１６】
ステップＳ１０２において、Ｎｏと判定されると、ステップＳ１０５において、動き補償実行制御部１２３ｃは、用意された全ての動き補償モード（並進モード、並進回転モード、並進スケーリングモード、アフィン変換モード）をそれぞれ適用して、動き予測の対象となるＣＵの符号化を行った場合のＲＤコストを算出する。
【０２１７】
次に、ステップＳ１０６において、動き補償実行制御部１２３ｃは、ステップＳ１０５で算出したＲＤコストのうち、最小となるＲＤコストを有する動き補償モードを、動き予測の対象となるＣＵの動き補償モードとする。そして、動き補償実行制御部１２３ｃは、決定した動き補償モードを示す信号を、インター予測部１２２に供給する。その後、ステップＳ１０７に進む。すなわち、この場合、ＲＤコストが最小となる動き補償モード以外の動き補償モードはスキップされる設定となる。
【０２１８】
その後、ステップＳ１０７において動き予測を行い、ステップＳ１０８において符号化処理を行うが、ここで行われる処理は、前述した、図１４のステップＳ１６及びステップＳ１７で行う処理と同じである。
【０２１９】
次に、ステップＳ１０９において、インター予測部１２２は、画像内の全てのＣＵに対して符号化処理を行ったかを判定する。ステップＳ１０９において、画像内の全てのＣＵに対して符号化処理を行ったと判定される（ステップＳ１０９：Ｙｅｓ）と、画像符号化装置１００ａは、図２０の処理を終了する。一方、ステップＳ１０９において、画像内の全てのＣＵに対して符号化処理を行ったと判定されない（ステップＳ１０９：Ｎｏ）と、ステップＳ１０２に戻って、次のＰＵに対して、前述したのと同じ処理を繰り返す。
【０２２０】
このように、図２０に示す処理によると、ＣＵのサイズがしきい値よりも小さい場合に、画素数当たりの動き情報のオーバーヘッドが大きくなることを考慮して、動き情報が少ない（パラメータ数が少ない）動き補償モードだけを使用する。このように、使用する動き補償モードを限定することによって、動き補償モードを指定する符号量を削減することができる。そのため、符号化効率が改善される。
【０２２１】
なお、マージモードでインター予測行う場合にも、図２０に示した処理の流れを適用することができる。すなわち、符号化の対象となるＣＵのサイズがしきい値よりも小さい場合には、近傍領域（又は隣接領域）で決定済の複数の動き補償モードのうち、並進モード、並進回転モード、並進スケーリングモードを示す動き補償モードのみに限定して、出現頻度順を算出すればよい。
【０２２２】
（第２の実施の形態の作用効果）
このように、図２０に示す処理によると、画像符号化装置１００ａは、動き予測の対象となるＣＵ（部分領域）のサイズに応じて、当該部分領域に適用する動き補償モードを決定する。具体的には、部分領域のサイズがしきい値よりも小さい場合には、当該部分領域に対して、計算量が最も多いアフィン変換モードによる動き補償をスキップさせる。したがって、動き補償を高速に実行するとともに、画像の符号化効率を向上させることができる。
【０２２３】
＜第３の実施の形態＞
（ＱＰ値に応じた動き予測処理の流れの説明）
本開示は、画像符号化装置１００ａが動き補償を行う際に、量子化部１１２に設定されたＱＰ値に応じて、適用する動き補償モードを決定する例である。すなわち、画像符号化装置１００ａは、動き検出部１２２ａ（動き補償部）が予測画像Ｐを生成する条件であるＱＰ値を判定して、ＱＰ値が所定の条件を満たす場合に、動き補償実行制御部１２２ｃが、動き検出部１２２ａに対して、所定の条件に応じた動き補償モードをスキップさせる例である。
【０２２４】
本実施の形態において、動き補償実行制御部１２２ｃは、所定の条件が、動き補償の結果を量子化する際の量子化パラメータ（ＱＰ値）が所定値よりも小さいことであって、当該所定の条件が満たされた場合に、動き検出部１２２ａに対して、並進移動及び拡大縮小を伴う動きを補償する並進スケーリングモードと、並進移動及び回転を伴う動きを補償する並進回転モードと、をスキップさせる。
【０２２５】
また、動き補償実行制御部１２２ｃは、所定の条件が、動き補償の結果を量子化する際の量子化パラメータ（ＱＰ値）が所定値よりも小さく、尚且つ予測対象の部分領域に対して、並進移動、回転、拡大縮小及びスキュー変形を伴う動きを補償するアフィン変換モードを適用した動き補償によって生成した予測画像Ｐの予測の程度を示すＲＤコストが、所定のしきい値よりも小さいことであって、当該所定の条件が満たされた場合に、動き検出部１２２ａに対して、並進移動、回転、拡大縮小及びスキュー変形を伴う動きを補償するアフィン変換モード以外の動き補償モードをスキップさせる。
【０２２６】
そして、動き補償実行制御部１２２ｃは、所定の条件が、動き補償の結果を量子化する際の量子化パラメータ（ＱＰ値）が所定値よりも小さく、尚且つ予測対象の部分領域に対して、並進移動、回転、拡大縮小及びスキュー変形を伴う動きを補償するアフィン変換モードを適用した動き補償によって生成した予測画像Ｐの予測の程度を示すＲＤコストが、所定のしきい値以上であることであって、当該所定の条件が満たされた場合に、動き検出部１２２ａに対して、並進移動を伴う動きを補償する並進モード以外の動き補償モードをスキップさせる。
【０２２７】
さらに、動き補償実行制御部１２２ｃは、所定の条件が、動き補償の結果を量子化する際の量子化パラメータ（ＱＰ値）が所定値以上であることであって、当該所定の条件が満たされた場合に、動き検出部１２２ａに対して、予測対象の部分領域に、複数の動き補償モードをそれぞれ適用して動き補償を行った際に生成される予測画像Ｐの予測の程度を示すＲＤコストが最小となる動き補償モード以外の動き補償モードをスキップさせる。
【０２２８】
図２１を用いて、画像符号化装置１００ａが動き補償を行う際に、量子化部１１２に設定されたＱＰ値に応じて動き補償モードを決定する動作例を説明する。図２１は、画像符号化装置１００ａが、ＱＰ値に応じて動き補償モードを設定して、動き補償と符号化を行う処理の流れの一例を示すフローチャートである。なお、図２１は、簡単のため、ＡＭＶＰモードでインター予測を行う場合の処理の流れを示す。
【０２２９】
ステップＳ１１０、及びステップＳ１１１の処理は、それぞれ、図１４におけるステップＳ１０、及びステップＳ１２の処理と同じであるため、説明は省略する。
【０２３０】
ステップＳ１１２において、条件判定部１２３ｂは、量子化部１１２に設定されたＱＰ値がしきい値より小さいかを判定する。ＱＰ値がしきい値より小さいと判定される（ステップＳ１１２：Ｙｅｓ）と、ステップＳ１１３に進む。一方、ＱＰ値がしきい値より小さいと判定されない（ステップＳ１１２：Ｎｏ）と、ステップＳ１１７に進む。なお、ＱＰ値のしきい値は、例えば、ＱＰ＝３０等とする。
【０２３１】
ステップＳ１１２において、Ｙｅｓと判定されると、ステップＳ１１３において、動き補償実行制御部１２３ｃは、アフィン変換モードを適用して、動き予測の対象となるＣＵの符号化を行った場合のＲＤコストを算出する。
【０２３２】
次に、ステップＳ１１４において、動き補償実行制御部１２３ｃは、ステップＳ１１３で算出されたＲＤコストが、所定のしきい値よりも小さいかを判定する。ＲＤコストが、所定のしきい値よりも小さいと判定される（ステップＳ１１４：Ｙｅｓ）と、ステップＳ１１５に進む。一方、ＲＤコストが、所定のしきい値よりも小さいと判定されない（ステップＳ１１４：Ｎｏ）と、ステップＳ１１６に進む。
【０２３３】
ステップＳ１１４でＹｅｓと判定される、すなわち、ＲＤコストが所定のしきい値よりも小さいと判定されると、ステップＳ１１５において、動き補償実行制御部１２３ｃは、動き予測の対象となるＣＵの動き補償モードとして、アフィン変換モードを割り当てる。その後、ステップＳ１１９に進む。すなわち、この場合、アフィン変換モード以外の動き補償モードはスキップされる設定となる。
【０２３４】
一方、ステップＳ１１４でＮｏと判定される、すなわち、ＲＤコストが所定のしきい値以上であると判定されると、ステップＳ１１６において、動き補償実行制御部１２３ｃは、動き予測の対象となるＣＵにおける動き補償モードとして、並進モードを割り当てる。その後、ステップＳ１１９に進む。すなわち、この場合、並進モード以外の動き補償モードはスキップされる設定となる。
【０２３５】
なお、ステップＳ１１２でＮｏと判定される、すなわち、ＱＰ値がしきい値以上であると判定されると、ステップＳ１１７において、動き補償実行制御部１２３ｃは、全ての動き補償モードを適用して、動き予測の対象となるＣＵの符号化を行った場合のＲＤコストを算出する。
【０２３６】
続いて、ステップＳ１１８において、動き補償実行制御部１２３ｃは、ステップＳ１１７で算出した全てのＲＤコストの中から、最小のＲＤコストを与える動き補償モードを探索する。そして、動き補償実行制御部１２３ｃは、探索された動き補償モードを、動き予測の対象となるＣＵの動き補償モードとして割り当てる。その後、ステップＳ１１９に進む。すなわち、この場合、最小のＲＤコストを与える動き補償モード以外の動き補償モードはスキップされる設定となる。
【０２３７】
その後、ステップＳ１１９において動き予測を行い、ステップＳ１２０において符号化処理を行うが、ここで行われる処理は、前述した、図１４のステップＳ１６及びステップＳ１７で行う処理と同じである。
【０２３８】
次に、ステップＳ１２１において、インター予測部１２２は、画像内の全てのＣＵに対して符号化処理を行ったかを判定する。ステップＳ１２１において、画像内の全てのＣＵに対して符号化処理を行ったと判定される（ステップＳ１２１：Ｙｅｓ）と、画像符号化装置１００ａは、図２１の処理を終了する。一方、ステップＳ１２１において、画像内の全てのＣＵに対して符号化処理を行ったと判定されない（ステップＳ１２１：Ｎｏ）と、ステップＳ１１９に戻って、次のＰＵに対して、前述したのと同じ処理を繰り返す。
【０２３９】
このように、図２１に示す処理によると、ＱＰ値が小さい場合、すなわち、送信する符号量が少なくビットレートが高い場合には、オーバーヘッドが大きくても影響が小さいため、パラメータ数が多いアフィン変換モードを適用した場合のＲＤコストのみを見積もる。すなわち、その他の動き補償モードである、並進モード、並進回転モード、並進スケーリングモードについては、ＲＤコストの見積もりを行わないため、動き補償モードを割り当てる処理の高速化を図ることができる。
【０２４０】
（第３の実施の形態の作用効果）
このように、第３の実施の形態によると、画像符号化装置１００ａは、予測画像を生成する（符号化する）際の量子化パラメータであるＱＰ値に応じて、動き予測の対象となる部分領域に適用する動き補償モードを決定する。すなわち、ＱＰ値がしきい値よりも小さい場合には、アフィン変換モードを適用した場合のＲＤコストを見積もって、アフィン変換モードまたは並進モードによる動き補償を行う。したがって、特にＱＰ値がしきいよりも小さい場合に、動き補償を高速に実行するとともに、画像の符号化効率を向上させることができる。
【０２４１】
以上、画像符号化装置１００ａが行う動き予測処理、及び符号化処理の流れについて説明したが、ＲＤコスト及び評価コストに応じた動き予測処理と、ＣＵサイズに応じた動き予測処理と、ＱＰ値に応じた動き予測処理とは、それぞれ単独で動作させてもよいし、任意の２種類又は３種類全てを併用して動作させてもよい。例えば、予測対象となるＣＵのサイズがしきい値より小さい場合には、第２の実施の形態で説明した予測処理を適用して、一方、ＣＵのサイズがしきい値以上である場合には、第１の実施の形態で説明した予測処理を適用してもよい。また、ＱＰ値がしきい値より小さい場合には、アフィン変換モードで動き補償を行った場合のＲＤコストを評価して、当該ＲＤコストに応じて、アフィン変換モード、又は並進モードで動き補償を行い、ＱＰ値がしきい値以上である場合には、前記したＣＵサイズと、ＲＤコスト及び評価コストと、に応じた動き予測処理を行ってもよい。
【０２４２】
＜第４の実施の形態＞
（画像復号装置の構成の説明）
図２２は、本開示を適用した画像処理装置の一例としての画像復号装置１００ｂの一実施の形態の構成例を示す機能ブロック図である。なお、図２２に記載した各機能は、例えば、後述する図２８に示すように、ＣＰＵ８０１及び記憶装置であるＲＯＭ８０２及びＲＡＭ８０３を備えて、当該ＲＯＭ８０２又はＲＡＭ８０３に記憶されたプログラムを実行することによって、画像符号化装置１００ａが有する、後述する各部の機能を実現することもできる。また、図１１に示す各部の機能のうち、一部又は全てを専用のハードウエアによって実現することも可能である。
【０２４３】
図２２に示す画像復号装置１００ｂは、図１１の画像符号化装置１００ａにより生成された符号化ストリームを、画像符号化装置１００ａにおける符号化方法に対応する復号方法で復号する。画像復号装置１００ｂは、例えば、ＨＥＶＣに提案された技術や、ＪＶＥＴにて提案された技術を実装している。
【０２４４】
なお、図２２においては、処理部やデータの流れ等の主なもののみを示しており、図２２に示されるものが全てとは限らない。すなわち、図２２に示す画像復号装置１００ｂにおいてブロックとして示されていない処理部が存在したり、矢印等として示されていない処理やデータの流れが存在したりしてもよい。
【０２４５】
画像復号装置１００ｂは、復号部１３２、逆量子化部１３３、逆直交変換部１３４、演算部１３５、ＤＡ変換部１３６、選択部１３７、フレームメモリ１３８、イントラ予測部１３９、及びインター予測部１４０を有する。画像復号装置１００ｂは、画像符号化装置１００ａにより生成された符号化ストリームに対して、ＣＵごとに復号を行う。
【０２４６】
画像復号装置１００ｂの復号部１３２は、画像符号化装置１００ａにより生成された符号化ストリームを、符号化部１１３における符号化方法に対応する所定の復号方法で復号する。例えば、復号部１３２は、シンタックステーブルの定義に沿って、符号化ストリームのビット列から、符号化パラメータ（ヘッダ情報Hinfo、予測情報Pinfo、変換情報Tinfo等）と量子化変換係数レベルlevelを復号する。復号部１３２は、符号化パラメータに含まれるsplit  flagに基づいてLCUを分割し、各量子化変換係数レベルlevelに対応するＣＵを順に復号対象のＣＵ（ＰＵ、ＴＵ）に設定する。
【０２４７】
復号部１３２は、符号化パラメータを各ブロックへ供給する。例えば、復号部１３２は、予測情報Pinfoをイントラ予測部１３９とインター予測部１４０に供給し、変換情報Tinfoを逆量子化部１３３と逆直交変換部１３４に供給し、ヘッダ情報Hinfoを各ブロックに供給する。また、復号部１３２は、量子化変換係数レベルlevelを逆量子化部１３３に供給する。
【０２４８】
逆量子化部１３３は、復号部１３２から供給される変換情報Tinfoに基づいて、復号部１３２から供給される量子化変換係数レベルlevelの値をスケーリング（逆量子化）し、変換係数Coeff_IQを導出する。この逆量子化は、画像符号化装置１００ａの量子化部１１２（図１１）により行われる量子化の逆処理である。なお、逆量子化部１１４（図１１）は、この逆量子化部１３３と同様の逆量子化を行う。逆量子化部１３３は、得られた変換係数Coeff_IQを逆直交変換部１３４に供給する。
【０２４９】
逆直交変換部１３４は、復号部１３２から供給される変換情報Tinfo等に基づいて、逆量子化部１３３より供給される変換係数Coeff_IQに対して逆直交変換等を行い、予測残差画像Ｄ’を算出する。この逆直交変換は、画像符号化装置１００ａの直交変換部１１１（図１１）により行われる直交変換の逆処理である。すなわち、逆直交変換部１３４は、逆直交変換部１１５（図１１）と同様の逆直交変換を行う。逆直交変換部１３４は、得られた予測残差画像Ｄ’を演算部１３５に供給する。
【０２５０】
演算部１３５は、逆直交変換部１３４から供給される予測残差画像Ｄ’とその予測残差画像Ｄ’に対応する予測画像Ｐとを加算し、局所的な復号画像Recを算出する。演算部１３５は、得られた局所的な復号画像Recを用いてピクチャ単位毎の復号画像を再構築し、得られた復号画像を画像復号装置１００ｂの外部に出力する。また、演算部１３５は、その局所的な復号画像Recをフレームメモリ１３８にも供給する。なお、演算部１３５が出力した復号画像は、デジタル映像信号のまま出力してもよいし、ＤＡ変換部１３６においてアナログ映像信号に変換して出力してもよい。
【０２５１】
フレームメモリ１３８は、演算部１３５より供給される局所的な復号画像Recを用いてピクチャ単位毎の復号画像を再構築し、フレームメモリ１３８内のバッファに格納する。フレームメモリ１３８は、イントラ予測部１３９又はインター予測部１４０により指定される復号画像を参照画像としてバッファより読み出し、読み出しを指定したイントラ予測部１３９又はインター予測部１４０に供給する。また、フレームメモリ１３８は、その復号画像の生成に係るヘッダ情報Hinfo、予測情報Pinfo、変換情報Tinfoなどをフレームメモリ１３８内のバッファに格納するようにしても良い。
【０２５２】
イントラ予測部１３９は、予測情報Pinfoのモード情報pred_mode_flagがイントラ予測処理を示す場合に、フレームメモリ１３８に格納された符号化対象のＣＵと同一時刻の復号画像を参照画像として取得する。そして、イントラ予測部１３９は、参照画像を用いて、符号化対象のＰＵに対して、イントラ予測モード情報が示すイントラ予測モードのイントラ予測処理を行う。そして、イントラ予測部１３９は、イントラ予測処理の結果生成される予測画像Ｐを選択部１３７に供給する。
【０２５３】
インター予測部１４０は、モード情報pred_mode_flagがインター予測処理を示す場合、参照画像特定情報に基づいて、フレームメモリ１３８に格納された符号化対象のＣＵとは異なる時刻の復号画像を参照画像として取得する。インター予測部１４０は、図１１のインター予測部１２２と同様に、Merge  flag、動き補償モード情報、及びパラメータ情報に基づいて、参照画像を用いて、符号化対象のＰＵのインター予測処理を行う。そして、インター予測部１４０は、インター予測処理の結果生成される予測画像Ｐを選択部１３７に供給する。
【０２５４】
インター予測部１４０は、前記した画像符号化装置１００ａのインター予測部１２２と同じ構成を有する。すなわち、インター予測部１４０は、動き検出部１２２ａと、条件判定部１２２ｂと、動き補償実行制御部１２２ｃとを有する。
【０２５５】
選択部１３７は、イントラ予測部１３９、又はインター予測部１４０が出力した予測画像Ｐを、演算部１３５に供給する。
【０２５６】
（復号処理の流れの説明）
図２３は、画像復号装置１００ｂが行う復号処理の流れの一例を示すフローチャートである。
【０２５７】
ステップＳ１２２において、復号部１３２は、画像復号装置１００ｂに供給される符号化映像信号を復号し、符号化パラメータと量子化変換係数レベルlevelを得る。そして、復号部１３２は、符号化パラメータを画像復号装置１００ｂの各ブロックに供給する。また、復号部１３２は、量子化変換係数レベルlevelを逆量子化部１３３に供給する。
【０２５８】
ステップＳ１２３において、復号部１３２は、符号化パラメータに含まれるsplit  flagに基づいてＣＵを分割し、各量子化変換係数レベルlevelに対応するＣＵを復号対象のＣＵに設定する。後述するステップＳ１２４乃至ステップＳ１２８の処理は、復号対象のＣＵ毎に行われる。
【０２５９】
ステップＳ１２４において、インター予測部１４０は、予測情報Ｐｉｎｆоのモード情報pred_modeが、インター予測情報を示すかを判定する。インター予測情報を示すと判定される（ステップＳ１２４：Ｙｅｓ）と、ステップＳ１２５に進む。一方、インター予測情報を示すと判定されないステップＳ１２４：Ｎｏ）と、ステップＳ１２８に進む。
【０２６０】
ステップＳ１２４でＹｅｓと判定される、すなわち、インター予測情報を示すと判定されると、ステップＳ１２５において、インター予測部１４０は、予測情報Pinfoのマージフラグが１であるかを判定する。マージフラグが１であると判定される（ステップＳ１２５：Ｙｅｓ）と、ステップＳ１２６に進む。一方、マージフラグが１であると判定されない（ステップＳ１２５：Ｎｏ）と、ステップＳ１２７に進む。
【０２６１】
ステップＳ１２５でＹｅｓと判定される、すなわち、マージフラグが１であると判定されると、ステップＳ１２６において、インター予測部１４０は、マージモードのインター予測処理により生成された予測画像Ｐを用いて、復号対象の画像を復号するマージモード復号処理を行う。マージモード復号処理の詳細な流れは、後述する図２４を参照して説明する。そして、マージモード復号処理が終了すると、画像復号装置１００ｂは画像復号処理を終了する。
【０２６２】
一方、ステップＳ１２５において、Ｎｏと判定される、すなわち、マージフラグが１であると判定されないと、ステップＳ１２７において、インター予測部１４０は、ＡＭＶＰモードのインター予測処理により生成された予測画像Ｐを用いて、復号対象の画像を復号するＡＭＶＰモード復号処理を行う。ＡＭＶＰモード復号処理の詳細な流れについては、後述する図２５を参照して説明する。そして、ＡＭＶＰモード復号処理が終了すると、画像復号装置１００ｂは画像復号処理を終了する。
【０２６３】
さらに、ステップＳ１２４において、Ｎｏと判定される、すなわち、インター予測処理を示さないと判定されると、ステップＳ１２８において、イントラ予測部１３９は、イントラ予測処理によって生成された予測画像Ｐを用いて、復号対象の画像を復号するイントラ復号処理を行う。そして、イントラ復号処理が終了すると、画像復号装置１００ｂは画像復号処理を終了する。
【０２６４】
（マージモード復号処理の流れの説明）
図２４を用いて、マージモード復号処理の流れを説明する。図２４は、画像復号装置１００ｂが、マージモードで符号化された映像信号を復号する処理の流れの一例を示すフローチャートである。なお、図２４は、図２３のフローチャートのステップＳ１２６における詳細な処理の流れを示すものである。
【０２６５】
ステップＳ１２９において、逆量子化部１３３は、図２３のステップＳ１２２の処理で得られた量子化変換係数レベルlevelを逆量子化して、変換係数Coeff_IQを算出する。この逆量子化の処理は、画像符号化処理のステップＳ７３（図１７）において行われる量子化の逆処理であり、画像符号化処理のステップＳ７４（図１７）において行われる逆量子化と同様の処理である。
【０２６６】
ステップＳ１３０において、逆直交変換部１３４は、ステップＳ１２９の処理で得られた変換係数Coeff_IQに対して逆直交変換を行い、予測残差画像Ｄ’を生成する。この逆直交変換は、前述した画像符号化処理のステップＳ７２（図１７）において行われる直交変換の逆処理であり、画像符号化処理のステップＳ７５（図１７）において行われる逆直交変換と同様の処理である。
【０２６７】
ステップＳ１３１において、インター予測部１４０は、動き予測の対象となるＣＵ１４の近傍領域（又は隣接領域）における動き補償モードの出現数を計数する。すなわち、並進モード、並進回転モード、並進スケーリングモード、アフィン変換モードの各動き補償モードが、それぞれ何箇所の近傍領域（又は隣接領域）で発生したかを計数する。計数結果は、条件判定部１２３ｂに供給される。
【０２６８】
ステップＳ１３２において、条件判定部１２３ｂは、ステップＳ１３１で計数された結果を、動き補償モードの出現頻度順に整列する。
【０２６９】
ステップＳ１３３において、条件判定部１２３ｂは、動き補償実行制御部１２３ｃから、信号inter_oderを受信する。
【０２７０】
ステップＳ１３４において、条件判定部１２３ｂは、信号inter_oderが０であるかを判定する。信号inter_oderが０であると判定される（ステップＳ１３４：Ｙｅｓ）と、ステップＳ１３８に進む。一方、信号inter_oderが０であると判定されない（ステップＳ１３４：Ｎｏ）と、ステップＳ１３５に進む。
【０２７１】
ステップＳ１３４において、Ｙｅｓと判定されると、ステップＳ１３８において、動き補償実行制御部１２３ｃは、順序１の動き補償モード、すなわち、動き予測の対象となるＣＵ１４に適用する動き補償モードを、ＣＵ１４の近傍領域（又は隣接領域）で出現した動き補償モードのうち、出現頻度が最も高いモードに設定する。そして、動き補償実行制御部１２３ｃは、動き検出部１２２ａに対して、ステップＳ１３８で設定した動き補償モードで、ＣＵ１４に対して動き補償を行わせ、予測画像Ｐを生成する。その後、ステップＳ１４１に進む。
【０２７２】
一方、ステップＳ１３４において、Ｎｏと判定されると、ステップＳ１３５において、条件判定部１２３ｂは、信号inter_oderが１であるかを判定する。信号inter_oderが１であると判定される（ステップＳ１３５：Ｙｅｓ）と、ステップＳ１３９に進む。一方、信号inter_oderが１であると判定されない（ステップＳ１３５：Ｎｏ）と、ステップＳ１３６に進む。
【０２７３】
ステップＳ１３５において、Ｙｅｓと判定されると、ステップＳ１３９において、動き補償実行制御部１２３ｃは、順序２の動き補償モード、すなわち、動き予測の対象となるＣＵ１４に適用する動き補償モードを、ＣＵ１４の近傍領域（又は隣接領域）で出現した動き補償モードのうち、出現頻度が２番目に高いモードに設定する。そして、動き補償実行制御部１２３ｃは、動き検出部１２２ａに対して、ステップＳ１３９で設定した動き補償モードで、ＣＵ１４に対して動き補償を行わせ、予測画像Ｐを生成する。その後、ステップＳ１４１に進む。
【０２７４】
一方、ステップＳ１３５において、Ｎｏと判定されると、ステップＳ１３６において、条件判定部１２３ｂは、信号inter_oderが２であるかを判定する。信号inter_oderが２であると判定される（ステップＳ１３６：Ｙｅｓ）と、ステップＳ１４０に進む。一方、信号inter_oderが２であると判定されない（ステップＳ１３６：Ｎｏ）と、ステップＳ１３７に進む。
【０２７５】
ステップＳ１３６において、Ｙｅｓと判定されると、ステップＳ１４０において、動き補償実行制御部１２３ｃは、順序３の動き補償モード、すなわち、動き予測の対象となるＣＵ１４に適用する動き補償モードを、ＣＵ１４の近傍領域（又は隣接領域）で出現した動き補償モードのうち、出現頻度が３番目に高いモードに設定する。そして、動き補償実行制御部１２３ｃは、動き検出部１２２ａに対して、ステップＳ１４０で設定した動き補償モードで、ＣＵ１４に対して動き補償を行わせ、予測画像Ｐを生成する。その後、ステップＳ１４１に進む。
【０２７６】
一方、ステップＳ１３６において、Ｎｏと判定されると、ステップＳ１３７において、動き補償実行制御部１２３ｃは、順序４の動き補償モード、すなわち、動き予測の対象となるＣＵ１４に適用する動き補償モードを、ＣＵ１４の近傍領域（又は隣接領域）で出現した動き補償モードのうち、出現頻度が４番目に高いモードに設定する。そして、動き補償実行制御部１２３ｃは、動き検出部１２２ａに対して、ステップＳ１３７で設定した動き補償モードで、ＣＵ１４に対して動き補償を行わせ、予測画像Ｐを生成する。その後、ステップＳ１４１に進む。
【０２７７】
ステップＳ１４１において、演算部１３５は、ステップＳ１３０で生成された予測残差画像Ｄ’を、インター予測部１４０から、選択部１３７を介して供給される予測画像Ｐと加算して、局所的な復号画像Ｒｅｃを生成する。演算部１３５は、得られた局所的な復号画像Recを用いて、ピクチャ単位毎の復号画像を再構築し、得られた復号画像を、映像信号として画像復号装置１００ｂの外部に出力する。また、演算部１３５は、局所的な復号画像Recをフレームメモリ１３８に供給する。
【０２７８】
ステップＳ１４２において、フレームメモリ１３８は、演算部１３５から供給される局所的な復号画像Ｒｅｃを用いてピクチャ単位毎の復号画像を再構築し、フレームメモリ１３８内のバッファに記憶する。そして、図２３のフローチャートに戻り、画像復号装置１００ｂは復号処理を終了する。
【０２７９】
（ＡＭＶＰ復号処理の流れの説明）
図２５を用いて、ＡＭＶＰモード復号処理の流れを説明する。図２５は、画像復号装置１００ｂが、ＡＭＶＰモードで符号化された映像信号を復号する処理の流れの一例を示すフローチャートである。なお、図２５は、図２３のフローチャートのステップＳ１２７における詳細な処理の流れを示すものである。
【０２８０】
ステップＳ１５１及びステップＳ１５２の処理は、図２４のステップＳ１２９及びステップＳ１３０の処理と同じである。
【０２８１】
ステップＳ１５３乃至ステップＳ１６８では、条件判定部１２２ｂが判定した動き補償モードに基づいて、各ＣＵにおいて予測ベクトルを決定する。さらに、動き補償モードに応じて、動き補償に必要な、予測ベクトル、動きベクトル、角度情報、及び倍率情報を計算する。そして、動き補償実行制御部１２３ｃは、計算された動きベクトル、角度情報、及び倍率情報に基づいて、動き検出部１２２ａに、各ＣＵにおける動き補償を行わせる。これらの一連の処理は、画像符号化装置１００ａが行う予測処理（図１６）と同様の処理である。以下、図１６を参照して、処理の流れのみを簡単に説明する。
【０２８２】
ステップＳ１５３において、条件判定部１２２ｂは、動き補償モードが並進モードであるかを判定する（ステップＳ５１に対応）。また、ステップＳ１５７において、条件判定部１２２ｂは、動き補償モードがアフィン変換モードであるかを判定する（ステップＳ５５に対応）。さらに、ステップＳ１６２において、条件判定部１２２ｂは、動き補償モードが並進回転モードであるかを判定する（ステップＳ６０に対応）。
【０２８３】
動き補償モードが並進モードであると判定されると（ステップＳ１５３：Ｙｅｓ）、ステップＳ１５４で１本の予測ベクトルを決定して（ステップＳ５２に対応）、ステップＳ１５５で１本の動きベクトルを計算する（ステップＳ５３に対応）。さらに、ステップＳ１５６において並進モードで動き補償を行い、予測画像Ｐを生成する（ステップＳ５４に対応）。
【０２８４】
動き補償モードがアフィン変換モードであると判定されると（ステップＳ１５７：Ｙｅｓ）、ステップＳ１５８で１本の予測ベクトルを決定して（ステップＳ５６に対応）、ステップＳ１５９で３本の動きベクトルを計算する（ステップＳ５７に対応）。さらに、ステップＳ１６０で単位ブロックの動きベクトルを計算して（ステップＳ５８に対応）、ステップＳ１６１においてアフィン変換モードで動き補償を行い、予測画像Ｐを生成する（ステップＳ５９に対応）。
【０２８５】
動き補償モードが並進回転モードであると判定されると（ステップＳ１６２：Ｙｅｓ）、ステップＳ１６３で１本の予測ベクトルを決定して（ステップＳ６１に対応）、ステップＳ１６４で１本の動きベクトルと角度情報を計算する（ステップＳ６２に対応）。さらに、ステップＳ１６５において並進回転モードで動き補償を行行い、予測画像Ｐを生成する（ステップＳ６３に対応）。
【０２８６】
動き補償モードが並進スケーリングモードであると判定されると（ステップＳ１６２：Ｎｏ）、ステップＳ１６６で１本の予測ベクトルを決定して（ステップＳ６４に対応）、ステップＳ１６７で１本の動きベクトルと倍率情報を計算する（ステップＳ６５に対応）。さらに、ステップＳ１６８において並進スケーリングモードで動き補償を行い、予測画像Ｐを生成する（ステップＳ６６に対応）。
【０２８７】
次に、ステップＳ１６９において、予測画像Ｐと、ステップＳ１５２で生成した予測残差画像Ｄ’とを加算する。これは、復号処理のステップＳ１４１（図２４）において行われる処理と同様の処理である。
【０２８８】
ステップＳ１７０において、フレームメモリ１３８は、演算部１３５から供給される局所的な復号画像Ｒｅｃを用いてピクチャ単位毎の復号画像を再構築し、フレームメモリ１３８内のバッファに記憶する。これは、復号処理のステップＳ１４２（図２４）において行われる記理と同様の処理である。そして、ステップＳ１４２の実行後に図２３のフローチャートに戻り、画像復号装置１００ｂは復号処理を終了する。
【０２８９】
（第４の実施の形態の作用効果）
このように、第４の実施の形態によると、画像復号装置１００ｂは、マージモードで符号化された符号化映像信号を復号する際に、画像符号化装置１００ａから受信した、動き補償モードを示す信号inter_orderに基づいて、動き補償モードを決定する。したがって、動き補償モードを迅速に決定することができる。
【０２９０】
＜第５の実施の形態＞
（ＣＵサイズに応じた復号処理の流れの説明）
本開示は、画像復号装置１００ｂが、画像符号化装置１００ａがＣＵのサイズに応じ動き補償モードでインター予測処理、及び符号化処理した符号化映像信号の復号処理を行う例である。すなわち、条件判定部１２２ｂが、符号化の際に設定されたＣＵのサイズを判定して、条件判定部１２２ｂの判定結果に基づいて、動き補償実行制御部１２２ｃが、動き検出部１２２ａに対して、所定の動き補償モードをスキップさせる例である。
【０２９１】
図２６は、画像復号装置１００ｂが、ＣＵのサイズに応じた動き補償モードを設定して、復号処理を行う処理の流れの一例を示すフローチャートである。
【０２９２】
ステップＳ１７１において、条件判定部１２２ｂは、復号処理の対象となるＣＵのサイズが、しきい値よりも小さいかを判定する。ステップＳ１７１において、ＣＵのサイズがしきい値よりも小さいと判定される（ステップＳ１７１：Ｙｅｓ）と、ステップＳ１７２に進む。一方、ＣＵのサイズがしきい値よりも小さいと判定されない（ステップＳ１７１：Ｎｏ）と、ステップＳ１７３に進む。ここで、ＣＵのサイズのしきい値は、例えば、ｈｗ＝３２×３２＝１０２４画素等とする。
【０２９３】
ステップＳ１７１において、Ｙｅｓと判定される、すなわち、ＣＵのサイズがしきい値よりも小さいと判定されると、ステップＳ１７２において、動き検出部１２２ａは、動き補償実行制御部１２２ｃから、並進モード、並進回転モード、又は並進スケーリングモードを指定する信号inter_modeを受信する。ステップＳ１７２において受信する信号inter_modeは、画像符号化装置１００ａが、図２０の符号化処理を実行した際に、ステップＳ１０４において設定した動き補償モードを指定する信号inter_modeである。信号inter_modeを受信すると、その後、ステップＳ１７４に進む。
【０２９４】
一方、ステップＳ１７１において、Ｎｏと判定されると、ステップＳ１７３において、動き検出部１２２ａは、動き補償実行制御部１２２ｃから、全ての動き補償モード、すなわち、並進モード、並進回転モード、並進スケーリングモード、及びアフィン変換モードの中から、動き補償モードを指定する信号inter_modeを受信する。ステップＳ１７３において受信する信号inter_modeは、画像符号化装置１００ａが、図２０の符号化処理を実行した際に、ステップＳ１０６において設定した動き補償モードを指定する信号inter_modeである。信号inter_modeを受信すると、その後、ステップＳ１７４に進む。
【０２９５】
ステップＳ１７４において、動き補償実行制御部１２２ｃは、ステップＳ１７２又はステップＳ１７３において受信した信号inter_modeで指定された動き補償モードを、動き補償モードとして設定する。
【０２９６】
ステップＳ１７５において、動き補償実行制御部１２２ｃは、動き検出部１２２ａに対して、ステップＳ１７４において指定した動き補償モードで動き予測を行わせる。動き予測処理は、図１６のステップＳ５１乃至ステップＳ６６と同様の処理である。
【０２９７】
ステップＳ１７６において、画像復号装置１００ｂは復号処理を行う。復号処理は、図２３のステップＳ１２２乃至ステップＳ１２８と同様の処理である。
【０２９８】
ステップＳ１７７において、条件判定部１２２ｂは、復号対象の画像内の全てのＣＵに対して復号処理を行ったかを判定する。ステップＳ１７７において、画像内の全てのＣＵに対して復号処理を行ったと判定される（ステップＳ１７７：Ｙｅｓ）と、画像復号装置１００ｂは、復号処理を終了する。一方、ステップＳ１７７において、画像内の全てのＣＵに対して復号処理を行ったと判定されない（ステップＳ１７７：Ｎｏ）と、ステップＳ１７１に戻って、次にＣＵに対して、ステップＳ１７１乃至ステップＳ１７７の処理を繰り返す。
【０２９９】
（第５の実施の形態の作用効果）
このように、第５の実施の形態によると、画像復号装置１００ｂは、画像符号化装置１００ａがＣＵサイズに応じて動き補償モードで動き補償した符号化映像信号を復号する際に、ＣＵサイズに応じた動き補償モードによって動き補償を行う。したがって、動き補償モードを迅速に決定することができる。
【０３００】
＜第６の実施の形態＞
（ＱＰ値に応じた復号処理の流れの説明）
本開示は、画像復号装置１００ｂが、画像符号化装置１００ａがＱＰ値に応じ動き補償モードでインター予測処理、及び符号化処理した符号化映像信号の復号処理を行う例である。すなわち、条件判定部１２２ｂが、符号化の際に設定されたＱＰ値を判定して、条件判定部１２２ｂの判定結果に基づいて、動き補償実行制御部１２２ｃが、動き検出部１２２ａに対して、所定の動き補償モードをスキップさせる例である。
【０３０１】
図２７は、画像復号装置１００ｂが、ＱＰ値に応じた動き補償モードを設定して、復号処理を行う処理の流れの一例を示すフローチャートである。
【０３０２】
ステップＳ１８１において、条件判定部１２２ｂは、符号化処理を行った際のＱＰ値が、しきい値よりも小さいかを判定する。ステップＳ１８１において、ＱＰ値がしきい値よりも小さいと判定される（ステップＳ１８１：Ｙｅｓ）と、ステップＳ１８２に進む。一方、ＱＰ値がしきい値よりも小さいと判定されない（ステップＳ１１１：Ｎｏ）と、ステップＳ１８３に進む。なお、ＱＰ値のしきい値は、例えば、ＱＰ＝３０等とする。
【０３０３】
ステップＳ１８１において、Ｙｅｓと判定されると、ステップＳ１８２において、動き検出部１２２ａは、動き補償実行制御部１２２ｃから、アフィン変換モード、又は並進モードを指定する信号inter_modeを受信する。ステップＳ１８２において受信する信号inter_modeは、画像符号化装置１００ａが、図２１の符号化処理を実行した際に、ステップＳ１１５又はステップＳ１１６において設定した動き補償モードを指定する信号inter_modeである。信号inter_modeを受信すると、その後、ステップＳ１８４に進む。
【０３０４】
一方、ステップＳ１８１において、Ｎｏと判定されると、ステップＳ１８３において、動き検出部１２２ａは、動き補償実行制御部１２２ｃから、全ての動き補償モード、すなわち、並進モード、並進回転モード、並進スケーリングモード、及びアフィン変換モードの中から、動き補償モードを指定する信号inter_modeを受信する。ステップＳ１８３において受信する信号inter_modeは、画像符号化装置１００ａが、図２１の符号化処理を実行した際に、ステップＳ１１８において設定した動き補償モードを指定する信号inter_modeである。信号inter_modeを受信すると、その後、ステップＳ１８４に進む。
【０３０５】
ステップＳ１８４において、動き補償実行制御部１２２ｃは、ステップＳ１８２又はステップＳ１８３において受信した信号inter_modeで指定された動き補償モードを、動き補償モードとして設定する。
【０３０６】
ステップＳ１８５において、動き補償実行制御部１２２ｃは、動き検出部１２２ａに対して、ステップＳ１８４において指定した動き補償モードで動き予測を行わせる。動き予測処理は、図１６のステップＳ５１乃至ステップＳ６６と同様の処理である。
【０３０７】
ステップＳ１8６において、画像復号装置１００ｂは復号処理を行う。復号処理は、図２３のステップＳ１２２乃至ステップＳ１２８と同様の処理である。
【０３０８】
ステップＳ１８７において、条件判定部１２２ｂは、復号対象の画像内の全てのＣＵに対して復号処理を行ったかを判定する。ステップＳ１８７において、画像内の全てのＣＵに対して復号処理を行ったと判定される（ステップＳ１８７：Ｙｅｓ）と、画像復号装置１００ｂは、復号処理を終了する。一方、ステップＳ１８７において、画像内の全てのＣＵに対して復号処理を行ったと判定されない（ステップＳ１８７：Ｎｏ）と、ステップＳ１８５に戻って、次にＣＵに対して、ステップＳ１８５乃至ステップＳ１８７の処理を繰り返す。
【０３０９】
（第６の実施の形態の作用効果）
このように、第６の実施の形態によると、画像復号装置１００ｂは、画像符号化装置１００ａがＱＰ値に応じた動き補償モードで動き補償した符号化映像信号を復号する際に、ＱＰ値に応じた動き補償モードによって動き補償を行う。したがって、動き補償モードを迅速に決定することができる。
【０３１０】
＜本開示を適用したコンピュータの説明＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
【０３１１】
図２８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエア構成の一例を示すブロック図である。
【０３１２】
コンピュータ８００において、ＣＰＵ（Central  Processing  Unit）８０１，ＲＯＭ（Read  Only  Memory）８０２，ＲＡＭ（Random  Access  Memory）８０３は、バス８０４により相互に接続されている。
【０３１３】
バス８０４には、さらに、入出力インタフェース８１０が接続されている。入出力インタフェース８１０には、入力部８１１、出力部８１２、記憶部８１３、通信部８１４、及びドライブ８１５が接続されている。
【０３１４】
入力部８１１は、キーボード、マウス、マイクロホン等よりなる。出力部８１２は、ディスプレイ、スピーカ等よりなる。記憶部８１３は、ハードディスクや不揮発性のメモリ等よりなる。通信部８１４は、ネットワークインタフェース等よりなる。ドライブ８１５は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブルメディア８２１を駆動する。
【０３１５】
以上のように構成されるコンピュータ８００では、ＣＰＵ８０１が、例えば、記憶部８１３に記憶されているプログラムを、入出力インタフェース８１０及びバス８０４を介して、ＲＡＭ８０３にロードして実行することにより、上述した一連の処理が行われる。
【０３１６】
コンピュータ８００（ＣＰＵ８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８２１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
【０３１７】
コンピュータ８００では、プログラムは、リムーバブルメディア８２１をドライブ８１５に装着することにより、入出力インタフェース８１０を介して、記憶部８１３にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部８１４で受信し、記憶部８１３にインストールすることができる。その他、プログラムは、ＲＯＭ８０２や記憶部８１３に、あらかじめインストールしておくことができる。
【０３１８】
なお、コンピュータ８００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０３１９】
＜本開示を適用したテレビジョン装置の説明＞  
図２９は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示すブロック図である。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース（Ｉ／Ｆ）部９０９、制御部９１０、ユーザインタフェース（Ｉ／Ｆ）部９１１、及びバス９１２を備える。
【０３２０】
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。すなわち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。
【０３２１】
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからＥＰＧ（Electronic  Program  Guide）等の補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。  
【０３２２】
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
【０３２３】
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去等の追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソル等のＧＵＩ（Graphical  User  Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
【０３２４】
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はＯＥＬＤ（Organic  Electro  Luminescence  Display）（有機ＥＬディスプレイ）等）の映像面上に映像又は画像を表示する。
【０３２５】
音声信号処理部９０７は、デコーダ９０４から入力される音声データに対してＤＡ変換及び増幅等の再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去等の追加的な処理を行ってもよい。
【０３２６】
外部インタフェース部９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース部９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。すなわち、外部インタフェース部９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。
【０３２７】
制御部９１０は、ＣＰＵ等のプロセッサ、並びにＲＡＭ及びＲＯＭ等のメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、プログラムデータ、ＥＰＧデータ、及びネットワークを介して取得されるデータ等を記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース部９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
【０３２８】
ユーザインタフェース部９１１は、制御部９１０と接続される。ユーザインタフェース部９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部等を有する。ユーザインタフェース部９１１は、これらの構成要素を介して、ユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
【０３２９】
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９及び制御部９１０を相互に接続する。
【０３３０】
このように構成されたテレビジョン装置９００において、デコーダ９０４が、上述した画像復号装置１００ｂの機能を有するようにしてもよい。つまり、デコーダ９０４が、符号化データを、上述した各実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、テレビジョン装置９００は、上述した各実施の形態と同様の効果を得ることができる。
【０３３１】
また、このように構成されたテレビジョン装置９００において、映像信号処理部９０５が、例えば、デコーダ９０４から供給される画像データを符号化し、得られた符号化データを、外部インタフェース部９０９を介してテレビジョン装置９００の外部に出力させるようにしてもよい。そして、その映像信号処理部９０５が、上述した画像符号化装置１００ａの機能を有するようにしてもよい。つまり、映像信号処理部９０５が、デコーダ９０４から供給される画像データを、上述した各実施の形態において説明した方法で符号化するようにしてもよい。このようにすることにより、テレビジョン装置９００は、上述した各実施の形態と同様の効果を得ることができる。
【０３３２】
＜本開示を適用した携帯電話機の説明＞  
図３０は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示すブロック図である。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
【０３３３】
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
【０３３４】
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モード等を含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像及びデータの記録等の動作を行う。
【０３３５】
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換した音声データをＡＤ変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅及び周波数変換して、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張及びＤＡ変換して、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０３３６】
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させるとともに、電子メールデータを記録再生部９２９に供給し、その記憶媒体に書き込ませる。
【０３３７】
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ、又はフラッシュメモリ等の内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢ（Universal  Serial  Bus）メモリ、又はメモリカード等の外部装着型の記憶媒体であってもよい。
【０３３８】
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９に供給し、その記憶媒体に書き込ませる。
【０３３９】
さらに、画像表示モードにおいて、記録再生部９２９は、記憶媒体に記録されている符号化ストリームを読み出して画像処理部９２７へ出力する。画像処理部９２７は、記録再生部９２９から入力される符号化ストリームを復号し、画像データを表示部９３０に供給し、その画像を表示させる。
【０３４０】
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３で圧縮された音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅及び周波数変換し、受信信号を取得する。これらの送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７へ出力して、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤＡ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０３４１】
このように構成された携帯電話機９２０において、例えば画像処理部９２７が、上述した画像符号化装置１００ａの機能を有するようにしてもよい。つまり、画像処理部９２７が、画像データを、上述した各実施の形態において説明した方法で符号化するようにしてもよい。このようにすることにより、携帯電話機９２０は、上述した各実施の形態と同様の効果を得ることができる。
【０３４２】
また、このように構成された携帯電話機９２０において、例えば画像処理部９２７が、上述した画像復号装置１００ｂの機能を有するようにしてもよい。つまり、画像処理部９２７が、符号化データを、以上の各実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、携帯電話機９２０は、上述した各実施の形態と同様の効果を得ることができる。
【０３４３】
＜本開示を適用した記録再生装置の説明＞  
図３１は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示すブロック図である。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカで再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
【０３４４】
記録再生装置９４０は、チューナ９４１、外部インタフェース（Ｉ／Ｆ）部９４２、エンコーダ９４３、ＨＤＤ（Hard  Disk  Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen  Display）部９４８、制御部９４９、及びユーザインタフェース（Ｉ／Ｆ）部９５０を備える。
【０３４５】
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。すなわち、チューナ９４１は、記録再生装置９４０における伝送部としての役割を有する。
【０３４６】
外部インタフェース部９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース部９４２は、例えば、ＩＥＥＥ（Institute  of  Electrical  and  Electronic  Engineers）１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、又はフラッシュメモリインタフェース等であってよい。例えば、外部インタフェース部９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。すなわち、外部インタフェース部９４２は、記録再生装置９４０における伝送部としての役割を有する。
【０３４７】
エンコーダ９４３は、外部インタフェース部９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
【０３４８】
ＨＤＤ部９４４は、映像及び音声等のコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、ＨＤＤ部９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
【０３４９】
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤ（Digital  Versatile  Disc）ディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ（DVD-Random  Access  Memory）、ＤＶＤ−Ｒ（DVD-Recordable）、ＤＶＤ−ＲＷ（DVD-Rewritable）、ＤＶＤ＋Ｒ（DVD+Recordable）、ＤＶＤ＋ＲＷ（DVD+Rewritable）等）又はＢｌｕ−ｒａｙ（登録商標）ディスク等であってよい。
【０３５０】
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ部９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、ＨＤＤ部９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
【０３５１】
デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ部９４８へ出力する。また、デコーダ９４７は、生成した音声データを外部のスピーカへ出力する。
【０３５２】
ＯＳＤ部９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ部９４８は、表示する映像に、例えば、メニュー、ボタン又はカーソル等のＧＵＩの画像を重畳してもよい。
【０３５３】
制御部９４９は、ＣＰＵ等のプロセッサ、並びにＲＡＭ及びＲＯＭ等のメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータ等を記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース部９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
【０３５４】
ユーザインタフェース部９５０は、制御部９４９と接続される。ユーザインタフェース部９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部等を有する。ユーザインタフェース部９５０は、これらの構成要素を介して、ユーザによる操作を検出する。そして、ユーザインタフェース部９５０は、ユーザの操作に応じた操作信号を生成し、生成した操作信号を、制御部９４９へ出力する。
【０３５５】
このように構成された記録再生装置９４０において、例えばエンコーダ９４３が、上述した画像符号化装置１００ａの機能を有するようにしてもよい。つまり、エンコーダ９４３が、画像データを、上述した各実施の形態において説明した方法で符号化するようにしてもよい。これにより、記録再生装置９４０は、上述した各実施の形態と同様の効果を得ることができる。
【０３５６】
また、このように構成された記録再生装置９４０において、例えばデコーダ９４７が、上述した画像復号装置１００ｂの機能を有するようにしてもよい。つまり、デコーダ９４７が、符号化データを、上述した各実施の形態において説明した方法で復号するようにしてもよい。これにより、記録再生装置９４０は、上述した各実施の形態と同様の効果を得ることができる。
【０３５７】
＜本開示を適用した撮像装置の説明＞  
図３２は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示すブロック図である。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
【０３５８】
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース（Ｉ／Ｆ）部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０、ユーザインタフェース（Ｉ／Ｆ）部９７１、及びバス９７２を備える。
【０３５９】
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース部９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、及び制御部９７０を相互に接続する。
【０３６０】
光学ブロック９６１は、フォーカスレンズ及び絞り機構等を有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤ（Charge  Coupled  Device）又はＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）等のイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
【０３６１】
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正等の種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
【０３６２】
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース部９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース部９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ部９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
【０３６３】
ＯＳＤ部９６９は、例えば、メニュー、ボタン又はカーソル等のＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。
【０３６４】
外部インタフェース部９６６は、例えば、ＵＳＢ入出力端子として構成される。外部インタフェース部９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース部９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスク等のリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース部９６６は、ＬＡＮ又はインターネット等のネットワークに接続されるネットワークインタフェースとして構成されてもよい。すなわち、外部インタフェース部９６６は、撮像装置９６０における伝送部としての役割を有する。
【０３６５】
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリ等の、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はＳＳＤ（Solid  State  Drive）のような非可搬性の記憶部が構成されてもよい。
【０３６６】
制御部９７０は、ＣＰＵ等のプロセッサ、並びにＲＡＭ及びＲＯＭ等のメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータ等を記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にＣＰＵにより読み込まれて、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース部９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
【０３６７】
ユーザインタフェース部９７１は、制御部９７０と接続される。ユーザインタフェース部９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチ等を有する。ユーザインタフェース部９７１は、これらの構成要素を介して、ユーザによる操作を検出する。そして、ユーザインタフェース部９７１は、ユーザの操作に応じた操作信号を生成し、生成した操作信号を、制御部９７０へ出力する。
【０３６８】
このように構成された撮像装置９６０において、例えば画像処理部９６４が、上述した画像符号化装置１００ａの機能を有するようにしてもよい。つまり、画像処理部９６４が、画像データを、上述した各実施の形態において説明した方法で符号化するようにしてもよい。このようにすることにより、撮像装置９６０は、上述した各実施の形態と同様の効果を得ることができる。
【０３６９】
また、このように構成された撮像装置９６０において、例えば画像処理部９６４が、上述した画像復号装置１００ｂの機能を有するようにしてもよい。つまり、画像処理部９６４が、符号化データを、上述した各実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、撮像装置９６０は、上述した各実施の形態と同様の効果を得ることができる。
【０３７０】
＜本開示を適用したビデオセットの説明＞  
また、本開示は、任意の装置又はシステムを構成する装置に搭載するあらゆる構成、例えば、システムＬＳＩ（Large  Scale  Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。図３３は、ビデオセットの概略的な構成の一例を示すブロック図である。
【０３７１】
近年、電子機器の多機能化が進んでおり、その開発や製造において、その一部の構成を販売や提供等として実施する場合、１機能を有する構成として実施を行う場合だけでなく、関連する機能を有する複数の構成を組み合わせて、複数の機能を有する１セットとして実施を行う場合も多く見られるようになっている。
【０３７２】
図３３に示されるビデオセット１３００は、このような多機能化された構成であり、画像の符号化や復号（いずれか一方でもよいし、両方でも良い）に関する機能を有するデバイスに、その機能に関連するその他の機能を有するデバイスを組み合わせたものである。
【０３７３】
図３３に示すように、ビデオセット１３００は、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、及びフロントエンドモジュール１３１４等のモジュール群と、コネクティビティ１３２１、カメラ１３２２、及びセンサ１３２３等の関連する機能を有するデバイスとを有する。
【０３７４】
モジュールは、互いに関連するいくつかの部品的機能をまとめ、まとまりのある機能を持った部品としたものである。具体的な物理的構成は任意であるが、例えば、それぞれ機能を有する複数のプロセッサ、抵抗やコンデンサ等の電子回路素子、その他のデバイス等を配線基板等に配置して一体化したものが考えられる。また、モジュールに他のモジュールやプロセッサ等を組み合わせて新たなモジュールとすることも考えられる。図３３の例では、前記したモジュール群が、ビデオユニット１３６１を構成する。
【０３７５】
図３３の例の場合、ビデオモジュール１３１１は、画像処理に関する機能を有する構成を組み合わせたものであり、アプリケーションプロセッサ１３３１、ビデオプロセッサ１３３２、ブロードバンドモデム１３３３、及びＲＦモジュール１３３４を有する。
【０３７６】
プロセッサは、所定の機能を有する構成をＳｏＣ（System  On  a  Chip）により半導体チップに集積したものであり、例えば、システムＬＳＩ（Large  Scale  Integration）等と称されるものもある。この所定の機能を有する構成は、論理回路（ハードウエア構成）であってもよいし、ＣＰＵ、ＲＯＭ、ＲＡＭ等と、それらを用いて実行されるプログラム（ソフトウエア構成）であってもよいし、その両方を組み合わせたものであってもよい。例えば、プロセッサが、論理回路とＣＰＵ、ＲＯＭ、ＲＡＭ等とを有し、機能の一部を論理回路（ハードウエア構成）により実現し、その他の機能をＣＰＵにおいて実行されるプログラム（ソフトウエア構成）により実現するようにしてもよい。
【０３７７】
図３３のアプリケーションプロセッサ１３３１は、画像処理に関するアプリケーションを実行するプロセッサである。このアプリケーションプロセッサ１３３１において実行されるアプリケーションは、所定の機能を実現するために、演算処理を行うだけでなく、例えば、ビデオプロセッサ１３３２等、ビデオモジュール１３１１内外の構成を必要に応じて制御することもできる。
【０３７８】
ビデオプロセッサ１３３２は、画像の符号化・復号（その一方又は両方）に関する機能を有するプロセッサである。
【０３７９】
ブロードバンドモデム１３３３は、インターネットや公衆電話回線網等の広帯域の回線を介して行われる有線若しくは無線（又はその両方）の広帯域通信により送信するデータ（デジタル信号）を、デジタル変調する等してアナログ信号に変換する。また、ブロードバンドモデム１３３３は、広帯域通信により受信したアナログ信号を復調して、データ（デジタル信号）に変換する。ブロードバンドモデム１３３３は、例えば、ビデオプロセッサ１３３２が処理する画像データ、画像データが符号化されたストリーム、アプリケーションプログラム、設定データ等、任意の情報を処理する。
【０３８０】
ＲＦモジュール１３３４は、アンテナを介して送受信されるＲＦ（Radio  Frequency）信号に対して、周波数変換、変復調、増幅、フィルタ処理等を行うモジュールである。例えば、ＲＦモジュール１３３４は、ブロードバンドモデム１３３３により生成されたベースバンド信号に対して周波数変換等を行ってＲＦ信号を生成する。また、ＲＦモジュール１３３４は、フロントエンドモジュール１３１４を介して受信されたＲＦ信号に対して、周波数変換等を行ってベースバンド信号を生成する。
【０３８１】
なお、図３３において点線１３４１に示されるように、アプリケーションプロセッサ１３３１とビデオプロセッサ１３３２を、一体化し、１つのプロセッサとして構成されるようにしてもよい。
【０３８２】
外部メモリ１３１２は、ビデオモジュール１３１１の外部に設けられた、ビデオモジュール１３１１により利用される記憶デバイスを有するモジュールである。この外部メモリ１３１２の記憶デバイスは、どのような物理構成により実現するようにしてもよいが、一般的にフレーム単位の画像データのような大容量のデータの格納に利用されることが多いため、例えば、ＤＲＡＭ（Dynamic  Random  Access  Memory）のような比較的安価で大容量の半導体メモリにより実現するのが望ましい。
【０３８３】
パワーマネージメントモジュール１３１３は、ビデオモジュール１３１１（ビデオモジュール１３１１内の各構成）への電力供給を管理し、制御する。
【０３８４】
フロントエンドモジュール１３１４は、ＲＦモジュール１３３４に対して、フロントエンド機能（アンテナ側の送受信端の回路）を提供するモジュールである。図３３に示すように、フロントエンドモジュール１３１４は、例えば、アンテナ部１３５１、フィルタ１３５２、及び増幅部１３５３を有する。
【０３８５】
アンテナ部１３５１は、無線信号を送受信するアンテナ及びその周辺の構成を有する。アンテナ部１３５１は、増幅部１３５３から供給される信号を無線信号として送信し、受信した無線信号を電気信号（ＲＦ信号）としてフィルタ１３５２に供給する。フィルタ１３５２は、アンテナ部１３５１を介して受信されたＲＦ信号に対してフィルタ処理等を行い、処理後のＲＦ信号をＲＦモジュール１３３４に供給する。増幅部１３５３は、ＲＦモジュール１３３４から供給されるＲＦ信号を増幅し、アンテナ部１３５１に供給する。
【０３８６】
コネクティビティ１３２１は、外部との接続に関する機能を有するモジュールである。コネクティビティ１３２１の物理構成は任意である。例えば、コネクティビティ１３２１は、ブロードバンドモデム１３３３が対応する通信規格以外の通信機能を有する構成や、外部入出力端子等を有する。
【０３８７】
例えば、コネクティビティ１３２１が、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１（例えば、Ｗｉ−Ｆｉ（Wireless  Fidelity、登録商標））、ＮＦＣ（Near  Field  Communication）、ＩｒＤＡ（Infrared  Data  Association）等の無線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した信号を送受信するアンテナ等を有するようにしてもよい。また、例えば、コネクティビティ１３２１が、ＵＳＢ（Universal  Serial  Bus）、ＨＤＭＩ（登録商標）（High-Definition  Multimedia  Interface）等の有線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した端子を有するようにしてもよい。さらに、例えば、コネクティビティ１３２１が、アナログ入出力端子等のその他のデータ（信号）伝送機能等を有するようにしてもよい。
【０３８８】
なお、コネクティビティ１３２１が、データ（信号）の伝送先のデバイスを含むようにしてもよい。例えば、コネクティビティ１３２１が、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等の記録媒体に対してデータの読み出しや書き込みを行うドライブ（リムーバブルメディアのドライブだけでなく、ハードディスク、ＳＳＤ（Solid  State  Drive）、ＮＡＳ（Network  Attached  Storage）等も含む）を有するようにしてもよい。また、コネクティビティ１３２１が、画像や音声の出力デバイス（モニタやスピーカ等）を有するようにしてもよい。
【０３８９】
カメラ１３２２は、被写体を撮像し、被写体の画像データを得る機能を有するモジュールである。カメラ１３２２の撮像により得られた画像データは、例えば、ビデオプロセッサ１３３２に供給されて符号化される。
【０３９０】
センサ１３２３は、例えば、音声センサ、超音波センサ、光センサ、照度センサ、赤外線センサ、イメージセンサ、回転センサ、角度センサ、角速度センサ、速度センサ、加速度センサ、傾斜センサ、磁気センサ、衝撃センサ、温度センサ等、任意のセンサ機能を有するモジュールである。センサ１３２３により検出されたデータは、例えば、アプリケーションプロセッサ１３３１に供給されてアプリケーション等により利用される。
【０３９１】
以上においてモジュールとして説明した構成をプロセッサとして実現するようにしてもよいし、逆にプロセッサとして説明した構成をモジュールとして実現するようにしてもよい。
【０３９２】
以上のような構成のビデオセット１３００において、例えば、後述するように、ビデオプロセッサ１３３２（図３４）に本開示を適用することができる。したがって、ビデオセット１３００は、本開示を適用したセットとして実施することができる。
【０３９３】
＜本開示を適用したビデオプロセッサの説明＞  
図３４は、本開示を適用したビデオプロセッサ１３３２（図３３）の概略的な構成の一例を示すブロック図である。
【０３９４】
図３４の例の場合、ビデオプロセッサ１３３２は、ビデオ信号及びオーディオ信号の入力を受けてこれらを所定の方式で符号化する機能と、符号化されたビデオデータ及びオーディオデータを復号し、ビデオ信号及びオーディオ信号を再生出力する機能とを有する。
【０３９５】
図３４に示されるように、ビデオプロセッサ１３３２は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、フレームメモリ１４０５、及びメモリ制御部１４０６を有する。また、ビデオプロセッサ１３３２は、エンコード・デコードエンジン１４０７、ビデオＥＳ（Elementary  Stream）バッファ１４０８Ａ及び１４０８Ｂ、並びに、オーディオＥＳバッファ１４０９Ａ及び１４０９Ｂを有する。さらに、ビデオプロセッサ１３３２は、オーディオエンコーダ１４１０、オーディオデコーダ１４１１、多重化部（ＭＵＸ（Multiplexer））１４１２、逆多重化部（ＤＭＵＸ（Demultiplexer））１４１３、及びストリームバッファ１４１４を有する。
【０３９６】
ビデオ入力処理部１４０１は、例えばコネクティビティ１３２１（図３３）等から入力されたビデオ信号を取得し、デジタル画像データに変換する。第１画像拡大縮小部１４０２は、画像データに対してフォーマット変換や画像の拡大縮小処理等を行う。第２画像拡大縮小部１４０３は、画像データに対して、ビデオ出力処理部１４０４の出力先でのフォーマットに応じて、画像の拡大縮小処理を行う。また、第２画像拡大縮小部１４０３は、画像データに対して、第１画像拡大縮小部１４０２と同様のフォーマット変換や画像の拡大縮小処理等を行う。ビデオ出力処理部１４０４は、画像データに対して、フォーマット変換やアナログ信号への変換等を行って、再生されたビデオ信号として、例えばコネクティビティ１３２１等に出力する。
【０３９７】
フレームメモリ１４０５は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、及びエンコード・デコードエンジン１４０７によって共用される画像データ用のメモリである。フレームメモリ１４０５は、例えばＤＲＡＭ等の半導体メモリとして実現される。
【０３９８】
メモリ制御部１４０６は、エンコード・デコードエンジン１４０７からの同期信号を受けて、アクセス管理テーブル１４０６Ａに書き込まれたフレームメモリ１４０５へのアクセススケジュールに従ってフレームメモリ１４０５に対する書き込み・読み出しのアクセスを制御する。アクセス管理テーブル１４０６Ａは、エンコード・デコードエンジン１４０７、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３等で実行される処理に応じて、メモリ制御部１４０６により更新される。
【０３９９】
エンコード・デコードエンジン１４０７は、画像データのエンコード処理、並びに、画像データが符号化されたデータであるビデオストリームのデコード処理を行う。例えば、エンコード・デコードエンジン１４０７は、フレームメモリ１４０５から読み出した画像データを符号化し、ビデオストリームとしてビデオＥＳバッファ１４０８Ａに順次書き込む。また、例えば、ビデオＥＳバッファ１４０８Ｂからビデオストリームを順次読み出して復号し、画像データとしてフレームメモリ１４０５に順次書き込む。エンコード・デコードエンジン１４０７は、これらの符号化や復号において、フレームメモリ１４０５を作業領域として使用する。また、エンコード・デコードエンジン１４０７は、例えば、マクロブロック毎の処理を開始するタイミングで、メモリ制御部１４０６に対して同期信号を出力する。
【０４００】
ビデオＥＳバッファ１４０８Ａは、エンコード・デコードエンジン１４０７によって生成されたビデオストリームをバッファリングして、多重化部（ＭＵＸ）１４１２に供給する。ビデオＥＳバッファ１４０８Ｂは、逆多重化部（ＤＭＵＸ）１４１３から供給されたビデオストリームをバッファリングして、エンコード・デコードエンジン１４０７に供給する。
【０４０１】
オーディオＥＳバッファ１４０９Ａは、オーディオエンコーダ１４１０によって生成されたオーディオストリームをバッファリングして、多重化部（ＭＵＸ）１４１２に供給する。オーディオＥＳバッファ１４０９Ｂは、逆多重化部（ＤＭＵＸ）１４１３から供給されたオーディオストリームをバッファリングして、オーディオデコーダ１４１１に供給する。
【０４０２】
オーディオエンコーダ１４１０は、例えば、コネクティビティ１３２１等から入力されたオーディオ信号をデジタル変換し、ＭＰＥＧオーディオ方式やＡＣ３（Audio  Code  number  3）方式等の所定の方式で符号化する。オーディオエンコーダ１４１０は、オーディオ信号が符号化されたデータであるオーディオストリームをオーディオＥＳバッファ１４０９Ａに順次書き込む。オーディオデコーダ１４１１は、オーディオＥＳバッファ１４０９Ｂから供給されたオーディオストリームを復号し、例えば、アナログ信号への変換等を行って、再生されたオーディオ信号として、コネクティビティ１３２１等に供給する。
【０４０３】
多重化部（ＭＵＸ）１４１２は、ビデオストリームとオーディオストリームとを多重化する。この多重化の方法（すなわち、多重化により生成されるビットストリームのフォーマット）は任意である。また、多重化部（ＭＵＸ）１４１２は、多重化の際に、所定のヘッダ情報等をビットストリームに付加することもできる。つまり、多重化部（ＭＵＸ）１４１２は、多重化によりストリームのフォーマットを変換することができる。例えば、多重化部（ＭＵＸ）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームに変換する。また、例えば、多重化部（ＭＵＸ）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、記録用のファイルフォーマットのデータ（ファイルデータ）に変換する。
【０４０４】
逆多重化部（ＤＭＵＸ）１４１３は、多重化部（ＭＵＸ）１４１２による多重化に対応する方法で、ビデオストリームとオーディオストリームとが多重化されたビットストリームを逆多重化する。つまり、逆多重化部（ＤＭＵＸ）１４１３は、ストリームバッファ１４１４から読み出されたビットストリームからビデオストリームとオーディオストリームとを抽出する（ビデオストリームとオーディオストリームとを分離する）。つまり、逆多重化部（ＤＭＵＸ）１４１３は、逆多重化によりストリームのフォーマットを変換（多重化部（ＭＵＸ）１４１２による変換の逆変換）することができる。例えば、逆多重化部（ＤＭＵＸ）１４１３は、コネクティビティ１３２１やブロードバンドモデム１３３３等から供給されたトランスポートストリームを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。また、逆多重化部（ＤＭＵＸ）１４１３は、例えばコネクティビティ１３２１により各種記録媒体から読み出されたファイルデータを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。
【０４０５】
ストリームバッファ１４１４は、ビットストリームをバッファリングする。例えば、ストリームバッファ１４１４は、多重化部（ＭＵＸ）１４１２から供給されたトランスポートストリームをバッファリングし、所定のタイミング、又は外部からの要求等に基づいて、コネクティビティ１３２１やブロードバンドモデム１３３３等に供給する。
【０４０６】
また、ストリームバッファ１４１４は、多重化部（ＭＵＸ）１４１２から供給されたファイルデータをバッファリングし、所定のタイミングにおいて、又は外部からの要求等に基づいて、コネクティビティ１３２１等に供給し、各種記録媒体に記録させる。
【０４０７】
さらに、ストリームバッファ１４１４は、コネクティビティ１３２１やブロードバンドモデム１３３３等を介して取得したトランスポートストリームをバッファリングし、所定のタイミングにおいて、又は外部からの要求等に基づいて、逆多重化部（ＤＭＵＸ）１４１３に供給する。
【０４０８】
また、ストリームバッファ１４１４は、例えばコネクティビティ１３２１等において各種記録媒体から読み出されたファイルデータをバッファリングし、所定のタイミングにおいて、又は外部からの要求等に基づいて、逆多重化部（ＤＭＵＸ）１４１３に供給する。
【０４０９】
次に、このような構成のビデオプロセッサ１３３２の動作例について説明する。例えば、コネクティビティ１３２１等からビデオプロセッサ１３３２に入力されたビデオ信号は、ビデオ入力処理部１４０１において、４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式のデジタル画像データに変換され、フレームメモリ１４０５に順次書き込まれる。このデジタル画像データは、第１画像拡大縮小部１４０２又は第２画像拡大縮小部１４０３に読み出されて、４：２：０Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式へのフォーマット変換及び拡大縮小処理が行われ、再びフレームメモリ１４０５に書き込まれる。この画像データは、エンコード・デコードエンジン１４０７によって符号化され、ビデオストリームとしてビデオＥＳバッファ１４０８Ａに書き込まれる。
【０４１０】
また、コネクティビティ１３２１等からビデオプロセッサ１３３２に入力されたオーディオ信号は、オーディオエンコーダ１４１０によって符号化され、オーディオストリームとして、オーディオＥＳバッファ１４０９Ａに書き込まれる。
【０４１１】
ビデオＥＳバッファ１４０８Ａのビデオストリームと、オーディオＥＳバッファ１４０９Ａのオーディオストリームは、多重化部（ＭＵＸ）１４１２に読み出されて多重化され、トランスポートストリーム又はファイルデータ等に変換される。多重化部（ＭＵＸ）１４１２により生成されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等を介して、外部ネットワークに出力される。また、多重化部（ＭＵＸ）１４１２により生成されたファイルデータは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１等に出力され、各種記録媒体に記録される。
【０４１２】
また、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等を介して、外部ネットワークからビデオプロセッサ１３３２に入力されたトランスポートストリームは、ストリームバッファ１４１４にバッファリングされた後、逆多重化部（ＤＭＵＸ）１４１３により逆多重化される。また、コネクティビティ１３２１等において各種記録媒体から読み出され、ビデオプロセッサ１３３２に入力されたファイルデータは、ストリームバッファ１４１４にバッファリングされた後、逆多重化部（ＤＭＵＸ）１４１３により逆多重化される。つまり、ビデオプロセッサ１３３２に入力されたトランスポートストリーム又はファイルデータは、逆多重化部（ＤＭＵＸ）１４１３によりビデオストリームとオーディオストリームとに分離される。
【０４１３】
オーディオストリームは、オーディオＥＳバッファ１４０９Ｂを介して、オーディオデコーダ１４１１に供給され、復号されてオーディオ信号が再生される。また、ビデオストリームは、ビデオＥＳバッファ１４０８Ｂに書き込まれた後、エンコード・デコードエンジン１４０７により順次読み出されて復号されてフレームメモリ１４０５に書き込まれる。復号された画像データは、第２画像拡大縮小部１４０３によって拡大縮小処理されて、フレームメモリ１４０５に書き込まれる。そして、復号された画像データは、ビデオ出力処理部１４０４に読み出されて、４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式にフォーマット変換され、さらにアナログ信号に変換されて、ビデオ信号が再生出力される。
【０４１４】
このように構成されるビデオプロセッサ１３３２に本開示を適用する場合、エンコード・デコードエンジン１４０７に、上述した各実施形態に係る本開示を適用すればよい。つまり、例えば、エンコード・デコードエンジン１４０７が、上述した画像符号化装置１００ａの機能、若しくは画像復号装置１００ｂの機能を有するようにすればよい。また、エンコード・デコードエンジン１４０７が、画像符号化装置１００ａの機能と画像復号装置１００ｂの機能とを兼ね備えてもよい。これにより、ビデオプロセッサ１３３２は、上述した各実施の形態と同様の効果を得ることができる。
【０４１５】
なお、エンコード・デコードエンジン１４０７において、本開示（すなわち、画像符号化装置１００ａの機能若しくは画像復号装置１００ｂの機能又はその両方）は、論理回路等のハードウエアにより実現してもよいし、組み込みプログラム等のソフトウエアにより実現してもよいし、それらの両方により実現してもよい。
【０４１６】
（ビデオプロセッサの他の構成例）  
図３５は、本開示を適用したビデオプロセッサ１３３２の概略的な構成の他の例を示すブロック図である。図３５の例の場合、ビデオプロセッサ１３３２は、ビデオデータを所定の方式で符号化・復号する機能を有する。
【０４１７】
より具体的には、図３５に示されるように、ビデオプロセッサ１３３２は、制御部１５１１、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、及び内部メモリ１５１５を有する。また、ビデオプロセッサ１３３２は、コーデックエンジン１５１６、メモリインタフェース１５１７、多重化・逆多重化部（ＭＵＸ・ＤＭＵＸ）１５１８、ネットワークインタフェース１５１９、及びビデオインタフェース１５２０を有する。
【０４１８】
制御部１５１１は、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、及びコーデックエンジン１５１６等、ビデオプロセッサ１３３２内の各処理部の動作を制御する。
【０４１９】
図３５に示されるように、制御部１５１１は、例えば、メインＣＰＵ１５３１、サブＣＰＵ１５３２、及びシステムコントローラ１５３３を有する。メインＣＰＵ１５３１は、ビデオプロセッサ１３３２内の各処理部の動作を制御するためのプログラム等を実行する。メインＣＰＵ１５３１は、そのプログラム等に従って制御信号を生成し、各処理部に供給することによって、各処理部の動作を制御する。サブＣＰＵ１５３２は、メインＣＰＵ１５３１の補助的な役割を果たす。例えば、サブＣＰＵ１５３２は、メインＣＰＵ１５３１が実行するプログラム等の子プロセスやサブルーチン等を実行する。システムコントローラ１５３３は、メインＣＰＵ１５３１及びサブＣＰＵ１５３２が実行するプログラムを指定する等、メインＣＰＵ１５３１及びサブＣＰＵ１５３２の動作を制御する。
【０４２０】
ディスプレイインタフェース１５１２は、制御部１５１１の制御の下、画像データを例えばコネクティビティ１３２１（図３３）等に出力する。より具体的には、ディスプレイインタフェース１５１２は、デジタルデータの画像データをアナログ信号に変換し、再生されたビデオ信号として、又はデジタルデータの画像データのまま、コネクティビティ１３２１のモニタ装置等に出力する。
【０４２１】
ディスプレイエンジン１５１３は、制御部１５１１の制御の下、画像データに対して、その画像を表示させるモニタ装置等のハードウエアスペックに合わせるように、フォーマット変換、サイズ変換、色域変換等の各種変換処理を行う。
【０４２２】
画像処理エンジン１５１４は、制御部１５１１の制御の下、画像データに対して、例えば画質改善のためのフィルタ処理等、所定の画像処理を施す。
【０４２３】
内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、及びコーデックエンジン１５１６により共用される、ビデオプロセッサ１３３２の内部に設けられたメモリである。内部メモリ１５１５は、例えば、ディスプレイエンジン１５１３、画像処理エンジン１５１４、及びコーデックエンジン１５１６の間で行われるデータの授受に利用される。例えば、内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、又はコーデックエンジン１５１６から供給されるデータを格納し、必要に応じて（例えば、要求に応じて）、そのデータを、ディスプレイエンジン１５１３、画像処理エンジン１５１４、又はコーデックエンジン１５１６に供給する。この内部メモリ１５１５は、どのような記憶デバイスにより実現してもよいが、一般的に、ブロック単位の画像データやパラメータ等の小容量のデータの格納に利用することが多いため、例えばＳＲＡＭ（Static  Random  Access  Memory）のように比較的（例えば外部メモリ１３１２と比較して）小容量だが応答速度が高速な半導体メモリにより実現するのが望ましい。
【０４２４】
コーデックエンジン１５１６は、画像データの符号化や復号に関する処理を行う。このコーデックエンジン１５１６が対応する符号化・復号の方式は任意であり、その数は１つであってもよいし、複数であってもよい。例えば、コーデックエンジン１５１６は、複数の符号化・復号方式のコーデック機能を備え、その中から選択されたもので画像データの符号化又は符号化データの復号を行うようにしてもよい。
【０４２５】
図３５の例において、コーデックエンジン１５１６は、コーデックに関する処理の機能ブロックとして、例えば、ＭＰＥＧ−２  Ｖｉｄｅｏ１５４１、ＡＶＣ／Ｈ．２６４（１５４２）、ＨＥＶＣ／Ｈ．２６５（１５４３）、ＨＥＶＣ／Ｈ．２６５（Scalable）１５４４、ＨＥＶＣ／Ｈ．２６５（Multi-view）１５４５、及びＭＰＥＧ−ＤＡＳＨ１５５１を有する。
【０４２６】
ＭＰＥＧ−２  Ｖｉｄｅｏ１５４１は、画像データをＭＰＥＧ−２方式で符号化したり復号したりする機能ブロックである。ＡＶＣ／Ｈ．２６４（１５４２）は、画像データをＡＶＣ方式で符号化したり復号したりする機能ブロックである。ＨＥＶＣ／Ｈ．２６５（１５４３）は、画像データをＨＥＶＣ方式で符号化したり復号したりする機能ブロックである。ＨＥＶＣ／Ｈ．２６５(Scalable)１５４４は、画像データをＨＥＶＣ方式でスケーラブル符号化したりスケーラブル復号したりする機能ブロックである。ＨＥＶＣ／Ｈ．２６５（Multi-view）１５４５は、画像データをＨＥＶＣ方式で多視点符号化したり多視点復号したりする機能ブロックである。
【０４２７】
ＭＰＥＧ−ＤＡＳＨ１５５１は、画像データをＭＰＥＧ−ＤＡＳＨ（MPEG-Dynamic  Adaptive  Streaming  over  HTTP）方式で送受信する機能ブロックである。ＭＰＥＧ−ＤＡＳＨ１５５１は、ＨＴＴＰ（HyperText  Transfer  Protocol）を使ってビデオのストリーミングを行う技術であり、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択し伝送することを特徴の１つとする。ＭＰＥＧ−ＤＡＳＨ１５５１は、規格に準拠するストリームの生成やそのストリームの伝送制御等を行い、画像データの符号化・復号については、上述したＭＰＥＧ−２  Ｖｉｄｅｏ１５４１又はＨＥＶＣ／Ｈ．２６５（Multi-view）１５４５を利用する。
【０４２８】
メモリインタフェース１５１７は、外部メモリ１３１２用のインタフェースである。画像処理エンジン１５１４やコーデックエンジン１５１６から供給されるデータは、メモリインタフェース１５１７を介して外部メモリ１３１２に供給される。また、外部メモリ１３１２から読み出されたデータは、メモリインタフェース１５１７を介して、ビデオプロセッサ１３３２（画像処理エンジン１５１４又はコーデックエンジン１５１６）に供給される。
【０４２９】
多重化・逆多重化部（ＭＵＸ・ＤＭＵＸ）１５１８は、符号化データのビットストリーム、画像データ、ビデオ信号等、画像に関する各種データの多重化や逆多重化を行う。この多重化・逆多重化の方法は任意である。例えば、多重化の際に、多重化・逆多重化部（ＭＵＸ・ＤＭＵＸ）１５１８は、複数のデータを１つにまとめるだけでなく、所定のヘッダ情報等をそのデータに付加することもできる。また、逆多重化の際に、多重化・逆多重化部（ＭＵＸ・ＤＭＵＸ）１５１８は、１つのデータを複数に分割するだけでなく、分割した各データに所定のヘッダ情報等を付加することもできる。つまり、多重化・逆多重化部（ＭＵＸ・ＤＭＵＸ）１５１８は、多重化・逆多重化によりデータのフォーマットを変換することができる。例えば、多重化・逆多重化部（ＭＵＸ・ＤＭＵＸ）１５１８は、ビットストリームを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームや、記録用のファイルフォーマットのデータ（ファイルデータ）に変換することができる。もちろん、逆多重化によりその逆変換も可能である。
【０４３０】
ネットワークインタフェース１５１９は、例えば、図３３に示したブロードバンドモデム１３３３やコネクティビティ１３２１等と接続するためのインタフェースである。ビデオインタフェース１５２０は、例えば、コネクティビティ１３２１やカメラ１３２２等と接続するためのインタフェースである。  
【０４３１】
次に、このようなビデオプロセッサ１３３２の動作の例について説明する。例えば、コネクティビティ１３２１やブロードバンドモデム１３３３等を介して、外部ネットワークからトランスポートストリームを受信すると、そのトランスポートストリームは、ネットワークインタフェース１５１９を介して、多重化・逆多重化部（ＭＵＸ・ＤＭＵＸ）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、例えば、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して、例えばコネクティビティ１３２１等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（ＭＵＸ・ＤＭＵＸ）１５１８により多重化されてファイルデータに変換され、ビデオインタフェース１５２０を介して、例えばコネクティビティ１３２１等に出力され、各種記録媒体に記録される。
【０４３２】
さらに、例えば、コネクティビティ１３２１等により、図示しない記録媒体から読み出された画像データが符号化された符号化データのファイルデータは、ビデオインタフェース１５２０を介して多重化・逆多重化部（ＭＵＸ・ＤＭＵＸ）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して、例えばコネクティビティ１３２１等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（ＭＵＸ・ＤＭＵＸ）１５１８により多重化されてトランスポートストリームに変換され、ネットワークインタフェース１５１９を介して、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等に供給されて、図示しない他の装置に伝送される。
【０４３３】
なお、ビデオプロセッサ１３３２内の各処理部の間での画像データやその他のデータの授受は、例えば、内部メモリ１５１５や外部メモリ１３１２を利用して行われる。また、パワーマネージメントモジュール１３１３は、例えば制御部１５１１への電力供給を制御する。
【０４３４】
このように構成されるビデオプロセッサ１３３２に本開示を適用する場合、コーデックエンジン１５１６に、上述した各実施形態に係る本開示を適用すればよい。つまり、例えば、コーデックエンジン１５１６が、上述した画像符号化装置１００ａの機能、若しくは画像復号装置１００ｂの機能、又はその両方の機能を有するようにすればよい。このようにすることにより、ビデオプロセッサ１３３２は、上述した各実施の形態と同様の効果を得ることができる。
【０４３５】
なお、コーデックエンジン１５１６において、本開示（すなわち、画像符号化装置１００ａの機能）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。
【０４３６】
以上、ビデオプロセッサ１３３２の構成を２例示したが、ビデオプロセッサ１３３２の構成は任意であり、上述した２例以外のものであってもよい。また、このビデオプロセッサ１３３２は、１つの半導体チップとして構成されるようにしてもよいが、複数の半導体チップとして構成されるようにしてもよい。例えば、複数の半導体を積層する３次元積層ＬＳＩとしてもよい。また、複数のＬＳＩにより実現されるようにしてもよい。
【０４３７】
＜装置への適用例＞  
ビデオセット１３００は、画像データを処理する各種装置に組み込むことができる。例えば、ビデオセット１３００は、テレビジョン装置９００（図２９）、携帯電話機９２０（図３０）、記録再生装置９４０（図３１）、撮像装置９６０（図３２）等に組み込むことができる。ビデオセット１３００を組み込むことにより、その装置は、上述した各実施の形態と同様の効果を得ることができる。
【０４３８】
なお、上述したビデオセット１３００の各構成の一部であっても、ビデオプロセッサ１３３２を含むものであれば、本開示を適用した構成として実施することができる。例えば、ビデオプロセッサ１３３２のみを本開示を適用したビデオプロセッサとして実施することができる。また、例えば、図３３に点線１３４１で囲んだプロセッサやビデオモジュール１３１１等を、本開示を適用したプロセッサやモジュール等として実施することができる。さらに、例えば、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、及びフロントエンドモジュール１３１４を組み合わせて、本開示を適用したビデオユニット１３６１（図３３）として実施することもできる。いずれの構成の場合であっても、上述した各実施の形態と同様の効果を得ることができる。
【０４３９】
つまり、ビデオプロセッサ１３３２を含むものであれば、どのような構成であっても、ビデオセット１３００の場合と同様に、画像データを処理する各種装置に組み込むことができる。例えば、ビデオプロセッサ１３３２、点線１３４１により示されるプロセッサ、ビデオモジュール１３１１、又は、ビデオユニット１３６１を、テレビジョン装置９００（図２９）、携帯電話機９２０（図２９）、記録再生装置９４０（図３１）、撮像装置９６０（図３２）等に組み込むことができる。そして、本開示を適用したいずれかの構成を組み込むことにより、その装置は、ビデオセット１３００の場合と同様に、上述した各実施の形態と同様の効果を得ることができる。
【０４４０】
＜ネットワークシステム＞  
また、本開示は、複数の装置により構成されるネットワークシステムにも適用することもできる。図３６は、本開示を適用したネットワークシステムの概略的な構成の一例を示すブロック図である。
【０４４１】
図３６に示されるネットワークシステム１６００は、機器同士が、ネットワークを介して画像（動画像）に関する情報を授受するシステムである。このネットワークシステム１６００のクラウドサービス１６０１は、自身に通信可能に接続されるコンピュータ１６１１、ＡＶ（Audio  Visual）機器１６１２、携帯型情報処理端末１６１３、ＩｏＴ（Internet  of  Things）デバイス１６１４等の端末に対して、画像（動画像）に関するサービスを提供するシステムである。例えば、クラウドサービス１６０１は、所謂動画配信（オンデマンドやライブ配信）のような、画像（動画像）のコンテンツの供給サービスを端末に提供する。また、例えば、クラウドサービス１６０１は、端末から画像（動画像）のコンテンツを受け取って保管するバックアップサービスを提供する。また、例えば、クラウドサービス１６０１は、端末同士の画像（動画像）のコンテンツの授受を仲介するサービスを提供する。
【０４４２】
クラウドサービス１６０１の物理構成は任意である。例えば、クラウドサービス１６０１は、動画像を保存し、管理するサーバ、動画像を端末に配信するサーバ、動画像を端末から取得するサーバ、ユーザ（端末）や課金を管理するサーバ等の各種サーバや、インターネットやLAN等の任意のネットワークを有するようにしてもよい。
【０４４３】
コンピュータ１６１１は、例えば、パーソナルコンピュータ、サーバ、ワークステーション等のような情報処理装置により構成される。ＡＶ機器１６１２は、例えば、テレビジョン受像機、ハードディスクレコーダ、ゲーム機器、カメラ等のような画像処理装置により構成される。携帯型情報処理端末１６１３は、例えば、ノート型パーソナルコンピュータ、タブレット端末、携帯電話機、スマートフォン等のような携帯型の情報処理装置により構成される。ＩｏＴデバイス１６１４は、例えば、機械、家電、家具、その他の物、ＩＣタグ、カード型デバイス等、画像に関する処理を行う任意の物体により構成される。これらの端末は、いずれも通信機能を有し、クラウドサービス１６０１に接続し（セッションを確立し）、クラウドサービス１６０１と情報の授受を行う（すなわち通信を行う）ことができる。また、各端末は、他の端末と通信を行うこともできる。端末間の通信は、クラウドサービス１６０１を介して行うようにしてもよいし、クラウドサービス１６０１を介さずに行うようにしてもよい。
【０４４４】
以上のようなネットワークシステム１６００に本開示を適用し、端末間や、端末とクラウドサービス１６０１との間で画像（動画像）のデータが授受される際に、その画像データを各実施の形態において上述したように符号化・復号するようにしてもよい。つまり、端末（コンピュータ１６１１乃至ＩｏＴデバイス１６１４）やクラウドサービス１６０１が、それぞれ、上述した画像符号化装置１００ａや画像復号装置１００ｂの機能を有するようにしてもよい。このようにすることにより、画像データを授受する端末（コンピュータ１６１１乃至ＩｏＴデバイス１６１４）やクラウドサービス１６０１は、上述した各実施の形態と同様の効果を得ることができる。  
【０４４５】
なお、符号化データ（ビットストリーム）に関する各種情報は、符号化データに多重化されて伝送され又は記録されるようにしてもよいし、符号化データに多重化されることなく、符号化データと関連付けられた別個のデータとして伝送され又は記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、又はフレーム内の一部分等の任意の単位で互いに関連付けられるようにしてもよい。
【０４４６】
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０４４７】
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０４４８】
なお、本開示は、以下のような構成もとることができる。
【０４４９】
（１）
画像の一部の領域を示す部分領域に、時間とともに発生する動きの状態を補償する複数の動き補償モードを備えて、前記部分領域に発生した動きの状態を検出するとともに、検出した動きの状態を補償して予測画像を生成する動き補償部と、
前記動き補償部が検出した動きの状態、又は前記動き補償部が前記予測画像を生成する条件が、所定の条件を満たす場合に、前記動き補償部に対して、前記所定の条件に応じた動き補償モードをスキップさせる実行制御部と、
を備える画像処理装置。
（２）
前記動き補償部が検出した、矩形状の部分領域の最大３頂点における動きベクトルの向きと長さと、
前記部分領域の幅と高さと、
に基づいて、前記部分領域の動きの状態が、前記所定の条件を満足するかを判定する条件判定部をさらに備える、
（１）に記載の画像処理装置。
（３）
前記所定の条件は、前記部分領域の動きの状態が、並進移動及び回転を伴うことであり、
前記実行制御部は、
前記所定の条件を満たす場合に、前記動き補償部に対して、並進移動及び拡大縮小を伴う動きを補償する並進スケーリングモードと、並進移動、回転、拡大縮小及びスキュー変形を伴う動きを補償するアフィン変換モードと、をスキップさせる、
（１）又は（２）に記載の画像処理装置。
（４）
前記所定の条件は、前記部分領域の動きの状態が、並進移動及び拡大縮小を伴うことであり、
前記実行制御部は、
前記所定の条件を満たす場合に、前記動き補償部に対して、並進移動及び回転を伴う動きを補償する並進回転モードと、並進移動、回転、拡大縮小及びスキュー変形を伴う動きを補償するアフィン変換モードと、をスキップさせる、
（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
前記所定の条件は、前記部分領域の動きの状態が、並進移動と、回転と、拡大縮小及びスキュー変形を伴うことであり、
前記実行制御部は、
前記所定の条件を満たす場合に、前記動き補償部に対して、並進移動及び拡大縮小を伴う動きを補償する並進スケーリングモードと、並進移動及び回転を伴う動きを補償する並進回転モードと、をスキップさせる、
（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記実行制御部は、
前記動き補償部が、前記部分領域の近傍に位置する動き補償済の複数の近傍領域における動き補償の結果を用いて、前記部分領域の動きの状態を補償して前記予測画像を生成する場合に、
前記動き補償部が、前記複数の近傍領域の動き補償に利用した動き補償モードの発生頻度と、前記複数の近傍領域の動き補償に利用した動き補償モードを前記部分領域に適用して動き補償を行って生成する予測画像の予測の程度を示すコストと、に基づいて、前記部分領域における動きの状態を検出する、
（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記動き補償部は、前記複数の近傍領域における動き補償モードの発生頻度順に、前記コストを算出する、
（６）に記載の画像処理装置。
（８）
前記所定の条件は、前記部分領域の動きの状態が、並進移動及び回転を伴うことであり、
前記実行制御部は、
前記所定の条件を満たす場合に、前記動き補償部に対して、並進移動及び拡大縮小を伴う動きを補償する並進スケーリングモードと、並進移動、回転、拡大縮小及びスキュー変形を伴う動きを補償するアフィン変換モードと、をスキップさせる、
（６）又は（７）に記載の画像処理装置。
（９）
前記所定の条件は、前記部分領域の動きの状態が、並進移動及び拡大縮小を伴うことであり、
前記実行制御部は、
前記所定の条件を満たす場合に、前記動き補償部に対して、並進移動及び回転を伴う動きを補償する並進回転モードと、並進移動、回転、拡大縮小及びスキュー変形を伴う動きを補償するアフィン変換モードと、をスキップさせる、
（６）乃至（８）のいずれかに記載の画像処理装置。
（１０）
前記所定の条件は、前記部分領域の動きの状態が、並進移動と、回転と、拡大縮小及びスキュー変形を伴うことであり、
前記実行制御部は、
前記所定の条件を満たす場合に、前記動き補償部に対して、並進移動及び拡大縮小を伴う動きを補償する並進スケーリングモードと、並進移動及び回転を伴う動きを補償する並進回転モードと、をスキップさせる、
（６）乃至（９）のいずれかに記載の画像処理装置。
（１１）
前記所定の条件は、前記部分領域のサイズが所定よりも小さいことであり、
前記実行制御部は、
前記所定の条件を満たす場合に、前記動き補償部に対して、所定の動き補償をスキップさせる、
（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
前記所定の条件は、前記部分領域のサイズが所定値よりも小さいことであり、
前記実行制御部は、
前記所定の条件を満たす場合に、前記動き補償部に対して、並進移動を伴う動きを補償する並進モードと、並進移動及び回転を伴う動きを補償する並進回転モードと、並進移動及び拡大縮小を伴う動きを補償する並進スケーリングモード以外の動き補償モードをスキップさせる、
（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３）
前記所定の条件は、前記部分領域のサイズが所定値以上であることであり、
前記実行制御部は、
前記所定の条件を満たす場合に、前記動き補償部に対して、前記部分領域に対して、前記動き補償部が備える複数の動き補償モードを適用して動き補償を行った際に生成される予測画像の予測の程度を示すコストが最小となる動き補償モード以外の動き補償モードをスキップさせる、
（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４）
前記所定の条件は、動き補償の結果を量子化する際の量子化パラメータが所定値よりも小さいことであり、
前記実行制御部は、
前記所定の条件を満たす場合に、前記動き補償部に対して、並進移動及び拡大縮小を伴う動きを補償する並進スケーリングモードと、並進移動及び回転を伴う動きを補償する並進回転モードと、をスキップさせる、
（１）乃至（１３）のいずれかに記載の画像処理装置。
（１５）
前記所定の条件は、動き補償の結果を量子化する際の量子化パラメータが所定値よりも小さく、尚且つ前記部分領域に対して、並進移動、回転、拡大縮小及びスキュー変形を伴う動きを補償するアフィン変換モードを適用した動き補償によって生成した予測画像の予測の程度を示すコストが、所定のしきい値よりも小さいことであり、
前記実行制御部は、
前記所定の条件を満たす場合に、前記動き補償部に対して、並進移動、回転、拡大縮小及びスキュー変形を伴う動きを補償するアフィン変換モード以外の動き補償モードをスキップさせる、
（１）乃至（１４）のいずれかに記載の画像処理装置。
（１６）
前記所定の条件は、動き補償の結果を量子化する際の量子化パラメータが所定値よりも小さく、尚且つ前記部分領域に対して、並進移動、回転、拡大縮小及びスキュー変形を伴う動きを補償するアフィン変換モードを適用した動き補償によって生成した予測画像の予測の程度を示すコストが、所定のしきい値以上であることであり、
前記実行制御部は、
前記所定の条件を満たす場合に、前記動き補償部に対して、並進移動を伴う動きを補償する並進モード以外の動き補償モードをスキップさせる、
（１）乃至（１５）のいずれかに記載の画像処理装置。
（１７）
前記所定の条件は、動き補償の結果を量子化する際の量子化パラメータが所定値以上であることであり、
前記実行制御部は、
前記所定の条件を満たす場合に、前記動き補償部に対して、前記部分領域に、複数の動き補償モードをそれぞれ適用して動き補償を行った際に生成される予測画像の予測の程度を示すコストが最小となる動き補償モード以外の動き補償モードをスキップさせる、
（１）乃至（１６）のいずれかに記載の画像処理装置。
（１８）
画像の一部の領域を示す部分領域に、時間とともに発生する動きの状態を補償する複数の動き補償モードを備えて、前記部分領域に発生した動きの状態を検出するとともに、検出した動きの状態を補償して予測画像を生成する際に、
前記部分領域において検出された動きの状態、又は前記予測画像を生成する条件が、所定の条件を満足した場合に、前記部分領域に対して、前記所定の条件に応じた動き補償モードをスキップさせる、
画像処理方法。
（１９）
画像処理装置が有するコンピュータを、
画像の一部の領域を示す部分領域に、時間とともに発生する動きの状態を補償する複数の動き補償モードを備えて、前記部分領域に発生した動きの状態を検出するとともに、検出した動きの状態を補償して予測画像を生成する動き補償部と、
前記動き補償部が検出した動きの状態、又は前記動き補償部が前記予測画像を生成する条件が、所定の条件を満たす場合に、前記動き補償部に対して、前記所定の条件に応じた動き補償モードをスキップさせる実行制御部と、
して機能させるためのプログラム。
【符号の説明】
【０４５０】
１１          ＰＵ（部分領域）
１４          ＣＵ（部分領域）
１００ａ      画像符号化装置（画像処理装置）
１００ｂ      画像復号装置（画像処理装置）
１２２        インター予測部
１２２ａ    動き検出部（動き補償部）
１２２ｂ    条件判定部
１２２ｃ    動き補償実行制御部（実行制御部）
Ｐ            予測画像
【図１】
2020008724.tif 000007
【図２】
2020008724.tif 000008
【図３】
2020008724.tif 000009
【図４】
2020008724.tif 000010
【図５】
2020008724.tif 000011
【図６】
2020008724.tif 000012
【図７】
2020008724.tif 000013
【図８】
2020008724.tif 000014
【図９】
2020008724.tif 000015
【図１０】
2020008724.tif 000016
【図１１】
2020008724.tif 000017
【図１２】
2020008724.tif 000018
【図１３】
2020008724.tif 000019
【図１４】
2020008724.tif 000020
【図１５】
2020008724.tif 000021
【図１６】
2020008724.tif 000022
【図１７】
2020008724.tif 000023
【図１８】
2020008724.tif 000024
【図１９】
2020008724.tif 000025
【図２０】
2020008724.tif 000026
【図２１】
2020008724.tif 000027
【図２２】
2020008724.tif 000028
【図２３】
2020008724.tif 000029
【図２４】
2020008724.tif 000030
【図２５】
2020008724.tif 000031
【図２６】
2020008724.tif 000032
【図２７】
2020008724.tif 000033
【図２８】
2020008724.tif 000034
【図２９】
2020008724.tif 000035
【図３０】
2020008724.tif 000036
【図３１】
2020008724.tif 000037
【図３２】
2020008724.tif 000038
【図３３】
2020008724.tif 000039
【図３４】
2020008724.tif 000040
【図３５】
2020008724.tif 000041
【図３６】
2020008724.tif 000042
【国際調査報告】
2020008724.tif 000043
2020008724.tif 000044
2020008724.tif 000045