(57)【要約】【課題】回転運動に対応した動きベクトル情報を探索する際、探索処理の処理量を削減する。【解決手段】動き推定部１０３は、所定の対象基準領域およびその周辺に設定される複数の対象検出領域のそれぞれの領域ごとに、画像を回転させずに得られる代表値を算出し、対象基準領域と複数の対象検出領域との関係を符号化対象側の傾き情報として生成し、対象基準領域に対応すべき参照ピクチャ内の参照基準領域、およびその周辺に設定される複数の参照検出領域のそれぞれの領域ごとに、画像を回転させずに得られる代表値を算出し、参照基準領域と複数の参照検出領域との関係を参照側の傾き情報として生成し、符号化対象側の傾き情報と参照側の傾き情報に基づいて、符号化対象領域の動きベクトル情報を生成する。【選択図】図１
2012015686.tif 000002
【特許請求の範囲】
【請求項１】
画面間予測符号化に使用されるべき動きベクトル情報を生成する動き推定部と、
前記動き推定部により生成された動きベクトル情報から予測ピクチャを生成する動き補償部と、を備え、
前記動き推定部は、
所定の対象基準領域およびその周辺に設定される複数の対象検出領域のそれぞれの領域ごとに、画像を回転させずに得られる代表値を算出し、前記対象基準領域と前記複数の対象検出領域との関係を符号化対象側の傾き情報として生成し、
前記対象基準領域に対応すべき参照ピクチャ内の参照基準領域、およびその周辺に設定される複数の参照検出領域のそれぞれの領域ごとに、画像を回転させずに得られる代表値を算出し、前記参照基準領域と前記複数の参照検出領域との関係を参照側の傾き情報として生成し、
前記符号化対象側の傾き情報と前記参照側の傾き情報に基づいて、符号化対象領域の動きベクトル情報を生成することを特徴とする画像符号化装置。
【請求項２】
前記動き推定部は、
前記対象基準領域を基点とし、かつ所定の半径で特定される第１の円上に、前記複数の対象検出領域を所定の間隔で配置し、
前記参照基準領域を重心とし、かつ所定の半径で特定される第２の円上に、前記複数の参照検出領域を所定の間隔で配置し、
前記第１の円または前記第２の円の回転位相を変化させながら、前記符号化対象側の傾き情報と前記参照側の傾き情報に基づいて、回転位相情報を生成することを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記動き補償部は、前記動き推定処理により生成された動きベクトル情報および回転位相情報を利用して、前記符号化対象領域に対する回転画像を生成し、この回転画像に基づいて予測ピクチャを生成することを特徴とする請求項２に記載の画像符号化装置。
【請求項４】
前記画像を回転させずに得られる代表値は、それぞれの領域に含まれる複数の画素の輝度成分情報の平均値であることを特徴とする請求項１から３のいずれかに記載の画像符号化装置。
【請求項５】
前記動き推定部は、
前記符号化対象側の傾き情報と前記参照側の傾き情報とを比較し、最も誤差が小さい回転位相を特定し、
その後、前記符号化対象側の代表輝度成分情報と前記参照側の代表輝度成分情報とを比較し、最も誤差が小さい前記参照基準領域内の参照領域を特定し、
前記符号化対象領域に対応する前記参照ピクチャ内の領域から、前記参照領域までの距離を前記動きベクトル情報とすることを特徴とする請求項１から３のいずれかに記載の画像符号化装置。
【請求項６】
前記動き推定部は、
前記符号化対象側の傾き情報と前記参照側の傾き情報とを比較し、最も誤差が小さい回転位相を特定し、
その後、前記符号化対象側の画像情報と前記参照側の画像情報とを比較し、最も誤差が小さい前記参照基準領域内の参照領域を特定し、
前記符号化対象領域に対応する前記参照ピクチャ内の領域から、前記参照領域までの距離を前記動きベクトル情報とすることを特徴とする請求項１から３のいずれかに記載の画像符号化装置。
【請求項７】
前記動き推定部は、
前記符号化対象側の代表輝度成分情報と前記参照側の代表輝度成分情報とを比較し、最も誤差が小さい前記参照基準領域内の参照領域を特定し、
その後、前記符号化対象側の傾き情報と前記参照側の傾き情報とを比較し、最も誤差が小さい回転位相を特定し、
前記符号化対象領域に対応する前記参照ピクチャ内の領域から、前記参照領域までの距離を前記動きベクトル情報とすることを特徴とする請求項１から３のいずれかに記載の画像符号化装置。
【請求項８】
所定の対象基準領域およびその周辺に設定される複数の対象検出領域のそれぞれの領域ごとに、画像を回転させずに得られる代表値を算出し、前記対象基準領域と前記複数の対象検出領域との関係を符号化対象側の傾き情報として生成する符号化対象側傾き情報生成ステップと、
前記対象基準領域に対応すべき参照ピクチャ内の参照基準領域、およびその周辺に設定される複数の参照検出領域のそれぞれの領域ごとに、画像を回転させずに得られる代表値を算出し、前記参照基準領域と前記複数の参照検出領域との関係を参照側の傾き情報として生成する参照側傾き情報生成ステップと、
前記符号化対象側の傾き情報と前記参照側の傾き情報に基づいて、符号化対象領域の動きベクトル情報を生成する動きベクトル情報生成ステップと、
前記動きベクトル生成ステップにより生成された動きベクトル情報から予測ピクチャを生成する動き補償ステップと、
を備えることを特徴とする画像符号化方法。
【請求項９】
所定の符号化対象領域を包含する対象基準領域およびその周辺に設定される複数の対象検出領域のそれぞれの領域ごとに、画像を回転させずに得られる代表値を算出し、前記対象基準領域と前記複数の対象検出領域との関係を符号化対象側の傾き情報として生成する符号化対象側傾き情報生成処理と、
前記対象基準領域に対応すべき参照ピクチャ内の参照基準領域、およびその周辺に設定される複数の参照検出領域のそれぞれの領域ごとに、画像を回転させずに得られる代表値を算出し、前記参照基準領域と前記複数の参照検出領域との関係を参照側の傾き情報として生成する参照側傾き情報生成処理と、
前記符号化対象側の傾き情報と前記参照側の傾き情報に基づいて、前記符号化対象領域の動きベクトル情報を生成する動きベクトル情報生成処理と、
前記動きベクトル生成処理により生成された動きベクトル情報から予測ピクチャを生成する動き補償処理と、
をコンピュータに実行させることを特徴とする画像符号化プログラム。
【請求項１０】
請求項１から７のいずれかに記載の画像符号化装置により生成された動きベクトル情報および予測ピクチャを含むビット列を取得し、復号することを特徴とする画像復号装置。
【請求項１１】
請求項８に記載の画像符号化方法により生成された動きベクトル情報および予測ピクチャを含むビット列を復号することを特徴とする画像復号方法。
【請求項１２】
請求項９に記載の画像符号化プログラムにより生成された動きベクトル情報および予測ピクチャを含むビット列を復号することを特徴とする画像復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、回転運動を伴う動画像の画面間で動きベクトル情報を検出し、符号化する画像符号化装置、画像符号化方法、および画像符号化プログラム、ならびにその出力結果である符号化ビット列を復号する画像復号装置、画像復号方法、および画像復号プログラムに関する。
【背景技術】
【０００２】
一般に、ＭＰＥＧ−４  ＡＶＣに代表される動画像符号化を行う際には、動画像の画面間に存在する相関性を利用するために、双予測等の動き推定処理により、動きベクトル情報を検出し、この情報に基づいて予測ピクチャを生成する。これにより、予測ピクチャと符号化対象ピクチャとの残差情報を低減した上で符号化を行っている。
【０００３】
一般的な動き推定処理では、符号化対象ピクチャを所定の矩形領域（例えば、マクロブロック）で隙間なく分割する。そして、各矩形領域について、参照ピクチャ内の、対応する各矩形領域を平行移動させながら、ブロックマッチング法等を利用して、参照ピクチャ内で最も類似する領域を特定する。そして、それら領域間の距離を動きベクトル情報として検出する。
【０００４】
しかしながら、このような動き推定処理では、画面間に含まれる物体の回転運動に十分対応できないことが多く、動きベクトル情報の誤検出や、その後の予測ピクチャの品質劣化により、符号化効率が低下してしまうことがあった。
【０００５】
そこで動き推定処理を行う際に、回転現画像を使って平行移動量を探索するとともに、回転現画像と参照ピクチャとの間で予測誤差を算出して符号化することにより、動き探索と画面間予測を用いる場合にて、参照ピクチャ内の画像全体を回転させずにデータ処理量を低減する手法が試みられている(例えば、特許文献１)。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−１５３２７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記手法では、あらかじめ設定された複数の回転角度等に応じた、符号化対象となっている矩形領域の画像をそれぞれ用意し、ブロックマッチング法等により平行移動量を探索する必要がある。そして、その探索をしながら、参照ピクチャ内の対応する領域との予測残差が最も小さくなるような動きベクトル情報、およびそのときに利用した上記矩形領域の画像の回転角度を伝送する必要がある。従って、回転角度の種類を増やしていくと、その分、用意しなければならない上記矩形領域の画像の種類が増大するとともに、探索処理が増大してしまう。
【０００８】
本発明はこうした状況に鑑みなされたものであり、その目的は、回転運動に対応した動きベクトル情報を探索する際、探索処理の処理量を削減することができる技術を提供することにある。
【課題を解決するための手段】
【０００９】
本発明のある態様の画像符号化装置は、画面間予測符号化に使用されるべき動きベクトル情報を生成する動き推定部と、動き推定部により生成された動きベクトル情報から予測ピクチャを生成する動き補償部と、を備える。動き推定部は、対象ピクチャの符号化対象領域を基準領域として包含する対象基準領域およびその周辺に設定される複数の検出領域である対象検出領域のそれぞれの領域ごとに、画像を回転させずに得られる代表値を算出し、対象基準領域と複数の対象検出領域との関係を符号化対象側の傾き情報として生成し、対象基準領域に対応すべき参照ピクチャ内の基準領域である参照基準領域、およびその周辺に設定される複数の検出領域である参照検出領域のそれぞれの領域ごとに、画像を回転させずに得られる代表値を算出し、参照基準領域と複数の参照検出領域との関係を参照側の傾き情報として生成し、符号化対象側の傾き情報と参照側の傾き情報に基づいて、符号化対象領域の動きベクトル情報を生成する。
【００１０】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラム等の間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１１】
回転運動にも対応した動きベクトル情報を探索する際、探索処理の処理量を削減することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態１に係る画像符号化装置の各構成要素間の基本的な接続関係を示す図である。
【図２】本発明の実施の形態１に係る画像符号化装置の各構成要素と符号化制御部との接続関係を示す図である。
【図３】実施の形態１に係る画像符号化装置の基本動作を示すフローチャートである。
【図４】本発明の実施の形態２に係る画像符号化装置の、動き推定部内の各構成要素間の基本的な接続関係を示す図である。
【図５】本発明の実施の形態２に係る画像符号化装置の、動き推定部内の各構成要素と符号化制御部および動き推定制御部との接続関係を示す図である。
【図６】符号化対象ピクチャ内における対象基準領域を特定する処理を説明するための図である。
【図７】図７（ａ）〜（ｃ）は、参照ピクチャ内における参照基準領域を特定する処理を説明するための図である。
【図８】対象基準領域拡張判定情報の生成処理を説明するための図である。
【図９】図９（ａ）、（ｂ）は、仮想円上に配置される複数の対象検出領域を説明するための図である。
【図１０】図１０（ａ）〜（ｃ）は、複数の対象検出領域の番号付けを説明するための図である。
【図１１】傾き情報生成処理を説明するための図である。
【図１２】巡回蓄積領域を説明するための図である。
【図１３】図１３（ａ）〜（ｈ）は、各回転位相に対応した、巡回蓄積領域内の各蓄積領域の状態を示す図である。
【図１４】図１４（ａ）〜（ｄ）は、参照ピクチャの画像回転処理について説明するための図である。
【図１５】実施の形態２に係る画像符号化装置における、動き推定部の基本動作を示すフローチャートである。
【図１６】符号化対象ピクチャ側の傾き情報生成処理を示すフローチャートである。
【図１７】参照ピクチャ側の傾き情報生成処理を示すフローチャートである。
【図１８】本発明の実施の形態３に係る画像符号化装置の、動き補償部内の各構成要素間の基本的な接続関係を示す図である。
【図１９】本発明の実施の形態３に係る画像符号化装置の、動き補償部内の各構成要素と符号化制御部および動き補償制御部との接続関係を示す図である。
【図２０】実施の形態３に係る画像符号化装置における、動き補償部の基本動作を示すフローチャートである。
【図２１】実施の形態１〜３に係る画像符号化装置、画像符号化方法、または画像符号化プログラムによって動作する情報処理装置によって生成される符号化ビット列の構成を説明するための概念図である。
【図２２】実施の形態４に係る画像復号装置の各構成要素間の基本的な接続関係を示す図である。
【図２３】実施の形態４に係る画像復号装置の基本動作を示すフローチャートである。
【図２４】実施の形態１〜４に係る画像符号化装置および画像復号装置を、コンピュータを含む情報処理装置で構成する例を示すブロック図である。
【発明を実施するための形態】
【００１３】
本発明の実施の形態１〜３に係る画像符号化装置、画像符号化方法および画像符号化プログラムでは、符号化対象ピクチャおよび参照ピクチャの双方の画像において、画像自体を回転させずに、画像内の回転に対応した動きベクトル情報、および回転の状態を示す回転位相情報を生成し、生成された動きベクトル情報、および回転位相情報に基づいて、高品位な予測ピクチャを生成する。
【００１４】
（実施の形態１）
まず、実施の形態１に係る画像符号化装置について説明する。当該画像符号化装置は、動画像中の物体が回転運動を伴っている場合であっても、効率よく動きベクトル情報を検出し、高品質の予測ピクチャを生成する。
【００１５】
図１は、本発明の実施の形態１に係る画像符号化装置１００の各構成要素１０１〜１１３間の基本的な接続関係を示す図である。図２は、本発明の実施の形態１に係る画像符号化装置１００の各構成要素１０１〜１１３と符号化制御部１１４との接続関係を示す図である。なお、図１では図面の簡略化のため符号化制御部１１４を省略して描いている。
【００１６】
実施の形態１に係る画像符号化装置１００は、入力部１０１、蓄積部１０２、動き推定部１０３、動き補償部１０４、減算部１０５、直交変換部１０６、量子化部１０７、エントロピー符号化部１０８、逆量子化部１０９、逆直交変換部１１０、加算部１１１、多重化部１１２、出力部１１３および符号化制御部１１４を有する。以下に、各部の詳細を説明する。
【００１７】
入力部１０１は、例えば、図１に示す撮像装置１３１、伝送装置１３２、記録装置１３３、記録媒体１３４、蓄積装置１３５等から、所定の空間解像度を持つ入力画像列を取得し、符号化対象ピクチャとして動き推定部１０３および減算部１０５に供給する。
【００１８】
蓄積部１０２は、参照ピクチャを蓄積し、必要に応じて各部に対して供給する。蓄積部１０２は、加算部１１１で生成された参照ピクチャを取得し、蓄積するとともに、動き推定部１０３および動き補償部１０４に対して、要求された参照ピクチャを供給する。
【００１９】
動き推定部１０３は、入力部１０１から符号化対象ピクチャを取得し、蓄積部１０２から参照ピクチャを取得する。動き推定部１０３は、取得した符号化対象ピクチャおよび参照ピクチャを利用して、所定の動き推定処理を行うことにより、動きベクトル情報および回転位相情報を生成する。また、動き推定部１０３は、生成された動きベクトル情報および回転位相情報を動き補償部１０４およびエントロピー符号化部１０８に供給する。
【００２０】
ここで、本実施の形態に係る動き推定部１０３における所定の動き推定処理では、まず、符号化対象ピクチャにおいて、現在処理対象となっている矩形領域を少なくとも包含する領域を対象基準領域に設定する。また、複数の対象検出領域を、当該対象基準領域から等距離の仮想円上に等間隔で配置する。その後、現在処理対象となっている対象基準領域を代表する輝度成分情報と、その複数の対象検出領域のそれぞれを代表する輝度成分情報との間で、輝度成分情報の変化量である傾き情報をそれぞれ生成する。
【００２１】
また、探索領域となっている参照ピクチャ内においても、符号化対象ピクチャで特定された対象基準領域と対象検出領域との関係と同様の空間配置により、参照基準領域および複数の参照検出領域を特定する。その後、当該探索領域内で、現在探索対象となっている参照基準領域を代表する輝度成分情報と、その複数の参照検出領域をそれぞれ代表する輝度成分情報との間で、傾き情報をそれぞれ生成する。
【００２２】
その後、符号化対象側の各傾き情報と、参照側の対応する傾き情報とをそれぞれ比較しながら、参照ピクチャ内を探索し、所定の条件に基づいて、参照ピクチャ内の空間位置を特定する。ここで、この所定の条件は、それぞれの傾き情報間の誤差が最も小さく、対象基準領域を代表する輝度成分情報と参照基準領域を代表する輝度成分情報との誤差が最も小さくなる位置を特定する条件であるとよい。これにより、対象基準領域に対応する参照ピクチャ内の空間領域から、特定された参照ピクチャ内の空間領域までの距離を動きベクトル情報として検出することができる。
【００２３】
また、回転に対応した動きベクトル情報を求める際に、以下のように処理するとよい。例えば、対象基準領域の上方に位置する対象検出領域を対象基準検出領域とし、右回りでそれぞれの対象検出領域が仮想的に円環状につながれている（すなわち、数珠つなぎされている）ものとして、それぞれの傾き情報を求める。そして、対象基準領域の傾き情報と各対象検出領域の傾き情報との間の誤差を比較する際に、右回りもしくは左回りで一つずつずらしながら回転位相を変化させて誤差を算出する。そして、所定の条件に基づいて、回転位相を特定し、元の位置からいくつ回転位相を変化させたかを特定するための回転位相情報を生成し、動き補償部１０４およびエントロピー符号化部１０８に供給する。ここで、この所定の条件は、それぞれの誤差が最も小さくなる回転位相を特定する条件であるとよい。また、当該回転位相情報は、所定の方向にいくつ回転位相を変化させたかを表すように定義してもよいし、右回りもしくは左回りにいくつ回転位相を変化させたかを表すように定義してもよい。また、右回りを＋、左回りを−と対応付け整数で表現してもよい。
【００２４】
動き補償部１０４は、動き推定部１０３から、生成された動きベクトル情報および回転位相情報を取得するとともに、蓄積部１０２から参照ピクチャを取得する。また、動き補償部１０４は、取得した動きベクトル情報、回転位相情報、および参照ピクチャを利用して、所定の動き補償処理を行うことにより、予測ピクチャを生成し、減算部１０５および加算部１１１に供給する。
【００２５】
ここで、本実施の形態に係る動き補償部１０４における所定の動き補償処理では、以下のように処理するとよい。まず、予測ピクチャにおいて、現在処理対象となっている対象基準領域と同様の空間位置の矩形領域を、予測基準領域に設定する。また、取得した動きベクトル情報は、予測ピクチャ内の予測基準領域に対応する参照ピクチャ内の空間領域から、参照ピクチャ内の特定された空間領域までの距離であると解釈することにより、利用すべき参照ピクチャ内の空間領域を特定する。その後、所定の回転画像生成処理を行うことにより、特定された空間領域の回転画像を生成する。その後、生成された回転画像を、予測ピクチャ内の現在処理対象となっている矩形領域として格納する。このような処理を繰り返すことにより、予測ピクチャ全体を生成する。
【００２６】
本実施の形態に係る動き補償部１０４における所定の動き補償処理で行われる、所定の回転画像生成処理では、次のような処理を行うことにより、回転画像を生成することが望ましい。まず、参照ピクチャ内の空間領域を、取得した回転位相情報から特定される回転方向および回転量に基づいて特定し、予測ピクチャで利用する、回転処理後の仮想領域および仮想サンプル位置を、参照ピクチャ内に設定する。
【００２７】
一般に、回転処理によって設定された仮想領域の仮想サンプル位置は、元の参照ピクチャのサンプル位置とは、画面内の空間方向におけるサンプル位置の位相が異なることがある。よって、設定した仮想サンプル位置の周囲に存在する、元の参照ピクチャのサンプル位置の画素を利用して、所定の画素生成処理を行い、仮想サンプル位置の各画素を生成する。そして、仮想領域の画像を生成し、これを回転画像として予測ピクチャに利用する。ここで、所定の画素生成処理は、一般に利用することができる、画像リサンプリング処理、画像推定処理、画像補間処理、画像補外処理、画像復元処理等であればよく、特に限定されない。
【００２８】
減算部１０５は、入力部１０１から符号化対象ピクチャを取得し、動き補償部１０４から予測ピクチャを取得する。減算部１０５は、取得した符号化対象ピクチャから予測ピクチャを減算して残差情報を生成し、直交変換部１０６に供給する。
【００２９】
直交変換部１０６は、減算部１０５から残差情報を取得し、取得した残差情報に対して所定の直交変換処理を行うことにより、直交変換係数情報を生成し、量子化部１０７に供給する。ここで、所定の直交変換処理で用いる直交変換基底は、ＤＣＴ、ＤＳＴ、ＫＬＴ、ウェーヴレット変換、アダマール変換等、一般に画像符号化や動画像符号化で利用することができるものであればよく、特に限定されない。
【００３０】
量子化部１０７は、直交変換部１０６から直交変換係数情報を取得し、取得した直交変換係数情報に対して所定の量子化処理を行うことにより、量子化後情報を生成し、エントロピー符号化部１０８および逆量子化部１０９に供給する。ここで、所定の量子化処理は、一般に画像符号化や動画像符号化で利用することができるものであればよく、特に限定されない。
【００３１】
エントロピー符号化部１０８は、少なくとも、動き推定部１０３から動きベクトル情報および回転位相情報を取得し、量子化部１０７から量子化後情報を取得する。エントロピー符号化部１０８は、少なくとも、取得した動きベクトル情報、回転位相情報、および量子化後情報に対して、所定のエントロピー符号化処理を行い、動きベクトル情報、回転位相情報、および量子化後情報の符号化ビット列を生成し、多重化部１１２に供給する。ここで、所定のエントロピー符号化処理は、ハフマン符号化、算術符号化等の、一般に画像符号化や動画像符号化で利用することができるものであればよく、特に限定されない。
【００３２】
逆量子化部１０９は、量子化部１０７から量子化後情報を取得し、取得した量子化後情報に対して、量子化部１０７による所定の量子化処理と対をなす、所定の逆量子化処理を行うことにより、逆量子化後の直交変換係数情報を生成し、逆直交変換部１１０に供給する。
【００３３】
逆直交変換部１１０は、逆量子化部１０９から逆量子化後の直交変換係数情報を取得し、取得した逆量子化後の直交変換係数情報に対して、直交変換部１０６による所定の直交変換処理と対をなす、所定の逆直交変換処理を行うことにより、復号残差情報を生成し、加算部１１１に供給する。
【００３４】
加算部１１１は、動き補償部１０４から予測ピクチャを取得し、逆直交変換部１１０から復号残差情報を取得する。加算部１１１は、取得した予測ピクチャに復号残差情報を加算することにより、復号ピクチャを生成し、これを参照ピクチャとして蓄積部１０２に供給する。
【００３５】
多重化部１１２は、エントロピー符号化部１０８から各種符号化ビット列を取得し、所定の構文構造に基づいて多重化して、多重化後の符号化ビット列を生成し、出力部１１３に供給する。
【００３６】
出力部１１３は、多重化部１１２から多重化後の符号化ビット列を取得し、出力部１１３に接続されている外部の機器に対して、多重化後の符号化ビット列を供給する。例えば、図１に示す伝送装置１４１が画像符号化装置１００に接続されていれば、当該多重化後の符号化ビット列を、ネットワークを介して、外部の受信装置に伝送するように構成することができる。また、図１に示す記録装置１４２、記録媒体１４３、蓄積装置１４４等が画像符号化装置１００に接続されていれば、当該多重化後の符号化ビット列を、記録、保存、持ち出しができるように構成することができる。
【００３７】
図２において、符号化制御部１１４は、各部の動作状態を監視し、各部の符号化動作や入出力を制御する。
【００３８】
図３は、実施の形態１に係る画像符号化装置１００の基本動作を示すフローチャートである。まず、符号化制御部１１４は、ユーザ等から符号化開始要求を受けると、各部に対して符号化開始指令を送る。それに応じて、入力部１０１は、所定の空間解像度をもつ入力画像列を取得し、符号化対象ピクチャとして動き推定部１０３および減算部１０５に供給する。
【００３９】
その後、符号化制御部１１４は、動き推定部１０３に対して動き推定開始指令を送り、動き推定部１０３は、入力部１０１から符号化対象ピクチャを取得する（ステップＳ１０１）。また、動き推定部１０３は、蓄積部１０２から参照ピクチャを取得する（ステップＳ１０２）。動き推定部１０３は、取得した符号化対象ピクチャおよび参照ピクチャを利用して、所定の動き推定処理を行う（ステップＳ１０３）。この処理により、動きベクトル情報および回転位相情報を生成し、動き補償部１０４およびエントロピー符号化部１０８に供給する。
【００４０】
次に、符号化制御部１１４は、動き補償部１０４に対して動き補償開始指令を送ると、動き補償部１０４は、動き推定部１０３から動きベクトル情報および回転位相情報、蓄積部１０２から参照ピクチャを取得し、所定の動き補償処理を行う（ステップＳ１０４）。この処理により、予測ピクチャを生成し、減算部１０５および加算部１１１に供給する。
【００４１】
予測ピクチャが生成されると、符号化制御部１１４は、減算部１０５に減算開始指令を送り、減算部１０５は、入力部１０１から符号化対象ピクチャ、および動き補償部１０４から予測ピクチャを取得し、符号化対象ピクチャから予測ピクチャを減算することにより、残差情報を生成し（ステップＳ１０５）、直交変換部１０６に供給する。
【００４２】
その後、符号化制御部１１４は、直交変換部１０６に対し、直交変換開始指令を送り、直交変換部１０６は、減算部１０５から残差情報を取得し、所定の直交変換処理を行う（ステップＳ１０６）。この処理により、直交変換係数情報を生成し、量子化部１０７に供給する。
【００４３】
符号化制御部１１４は、量子化部１０７に対し、量子化開始指令を送り、量子化部１０７は、直交変換部１０６から直交変換係数情報を取得し、所定の量子化処理を行う（ステップＳ１０７）。この処理により量子化後情報を生成し、エントロピー符号化部１０８および逆量子化部１０９に供給する。
【００４４】
そして、符号化制御部１１４は、逆量子化部１０９に対し、逆量子化開始指令を送り、逆量子化部１０９は、量子化部１０７から量子化後情報を取得し、所定の逆量子化処理を行う（ステップＳ１０８）。この処理により、逆量子化後の直交変換係数情報を生成し、逆直交変換部１１０に供給する。
【００４５】
その後、符号化制御部１１４は、逆直交変換部１１０に対し、逆直交変換開始指令を送り、逆直交変換部１１０は、逆量子化部１０９から、逆量子化後の直交変換係数情報を取得し、所定の逆直交変換処理を行う（ステップＳ１０９）。この処理により、復号残差情報を生成し、加算部１１１に供給する。
【００４６】
その後、符号化制御部１１４は、加算部１１１に対し、加算開始指令を送り、加算部１１１は、動き補償部１０４から予測ピクチャ、および逆直交変換部１１０から復号残差情報を取得し、予測ピクチャに復号残差情報を加算することにより復号ピクチャを生成し、これを参照ピクチャとして（ステップＳ１１０）、蓄積部１０２に供給する。
【００４７】
その後、符号化制御部１１４は、蓄積部１０２に対し、蓄積開始指令を送り、蓄積部１０２は、加算部１１１から参照ピクチャを取得し、蓄積する。
【００４８】
次に、符号化制御部１１４は、エントロピー符号化部１０８にエントロピー符号化開始指令を送り、エントロピー符号化部１０８は、少なくとも、動き推定部１０３から動きベクトル情報および回転位相情報、ならびに量子化部１０７から量子化後情報を取得し、所定のエントロピー符号化処理を行う。この処理により、各種符号化ビット列を生成し（ステップＳ１１１）、多重化部１１２に供給する。
【００４９】
その後、符号化制御部１１４は、多重化部１１２に対し、多重化開始指令を送り、多重化部１１２は、エントロピー符号化部１０８から各種符号化ビット列を取得し、所定の構文構造に基づいて多重化して、多重化後の符号化ビット列を生成し（ステップＳ１１２）、出力部１１３に供給する。
【００５０】
その後、符号化制御部１１４は、出力部１１３に対し、出力開始指令を送り、出力部１１３は、接続されている外部の機器に対して多重化後の符号化ビット列を供給する。
【００５１】
以上のようなステップを経ることで、本実施の形態の一連の基本動作が終了する。
【００５２】
以上、実施の形態１によれば、回転に対応した動き推定処理行う際に、回転画像を生成せずに、注目領域である基準領域と、その周辺の領域である検出領域から生成した代表値をそれぞれ計算し、それぞれの代表値を利用して傾き情報を生成し、動きベクトル探索を行うことにより、探索にかかる処理量を大幅に削減することができる。
【００５３】
より具体的には、回転に対応した動きベクトル情報を生成する際に、注目している領域の代表値と、周囲の領域の複数の代表値との間の関係を傾き情報として表現し、この傾き情報の空間的な配置が最も類似している回転位相および位置を参照ピクチャ内から特定する。これにより、より最適な動きベクトル情報を生成することができ、何度も回転画像を生成したり、複数の回転画像を用意したりして動き推定処理を行う必要がなくなり、動き推定処理にかかる処理量を大幅に軽減することができる。
【００５４】
また、実施の形態１では、画像の回転処理を動き補償処理において、処理対象となっている矩形領域ごとに１度ずつ行うだけで済むため、予測ピクチャ生成時の処理量も大幅に軽減することができる。
【００５５】
（実施の形態２）
次に、実施の形態２に係る画像符号化装置について説明する。実施の形態２に係る画像符号化装置では、上述した動き推定処理において、異なる回転位相における、符号化対象側の傾き情報と、参照側の傾き情報とを容易に比較できるようにする。
【００５６】
実施の形態２に係る画像符号化装置の全体構成および全体動作は、実施の形態１と同様であるため、ここではその説明を省略し、動き推定部１０３の構成および動作について説明する。
【００５７】
図４は、本発明の実施の形態２に係る画像符号化装置１００の、動き推定部１０３内の各構成要素４０１〜４２０間の基本的な接続関係を示す図である。図５は、本発明の実施の形態２に係る画像符号化装置１００の、動き推定部１０３内の各構成要素４０１〜４２０と符号化制御部１１４および動き推定制御部４２１との接続関係を示す図である。なお、図４では図面の簡略化のため符号化制御部１１４および動き推定制御部４２１を省略して描いている。
【００５８】
実施の形態２に係る画像符号化装置１００の動き推定部１０３は、符号化対象ピクチャ側の処理を担当する、第１基準領域特定部４０１、第１基準領域取得部４０２、第１代表輝度成分情報生成部４０３、第１検出領域特定部４０４、第１検出領域取得部４０５、第２代表輝度成分情報生成部４０６、第１傾き情報生成部４０７、および第１巡回蓄積部４０８を有する。また、動き推定部１０３は、参照ピクチャ側の処理を担当する、第２基準領域特定部４０９、第２基準領域取得部４１０、第３代表輝度成分情報生成部４１１、第２検出領域特定部４１２、第２検出領域取得部４１３、第４代表輝度成分情報生成部４１４、第２傾き情報生成部４１５、および第２巡回蓄積部４１６を有する。更に、動き推定部１０３は、位相制御部４１７、誤差生成部４１８、判定情報蓄積部４１９、および動きベクトル情報決定部４２０を有する。以下に、各部の詳細を説明する。
【００５９】
第１基準領域特定部４０１は、符号化対象ピクチャ側において、現在処理対象となっている、符号化対象ピクチャ側の対象基準領域を特定し、この領域を特定するための情報である対象基準領域情報を生成し、第１基準領域取得部４０２に供給する。
【００６０】
図６は、符号化対象ピクチャ内における対象基準領域を特定する処理を説明するための図である。図６に示す例では、符号化対象ピクチャ１２０１を所定の矩形形状で隙間なく分割し、矢印１２０３のように、左上の矩形領域から右方向へ、その列が終了するとその下の列へとラスタスキャンの順序で、処理対象となる対象基準領域１２０２を、符号化処理が進むにつれて、ずらしながら変更していく。
【００６１】
図７（ａ）〜（ｃ）は、参照ピクチャ内における参照基準領域を特定する処理を説明するための図である。第１基準領域特定部４０１は、第２基準領域特定部４０９に対象基準領域情報を供給する。図７（ａ）に示されるように、第２基準領域特定部４０９は、参照ピクチャ内における参照基準領域を特定する際に、第１基準領域特定部４０１から得られる、符号化対象ピクチャ側の対象基準領域情報を基点として利用することができる。図７（ｂ）は、渦巻き型の探索を用いる例を示している。参照ピクチャ１３０１の探索領域１３０３内で、渦巻き状に、参照基準領域１３０２を変更していく。図７（ｃ）は、ラスタスキャン型の探索を用いる例を示している。この例では、図６に示した処理と同様に、参照ピクチャ１３０１の探索領域１３０３内で探索する。
【００６２】
第１基準領域取得部４０２は、第１基準領域特定部４０１から、対象基準領域情報を取得し、この情報に基づいて対象基準領域を特定する。また、第１基準領域取得部４０２は、入力部１０１から、符号化対象ピクチャを取得する。また、第１基準領域取得部４０２は、特定した対象基準領域の画像情報（例えば、画素値）を、符号化対象ピクチャ内の対応する対象基準領域から取得し、第１代表輝度成分情報生成部４０３に供給する。
【００６３】
図８は、対象基準領域拡張判定情報の生成処理を説明するための図である。図８に示す例では、対象基準領域の画像情報を取得する際に、対象基準領域１９０１の重心位置から最も離れた対象基準領域の境界までの距離を半径１９０２とし、対象基準領域の重心を中心とした円１９０３に含まれる画像、または、その円に外接する矩形領域１９０４に含まれる画像を、対象基準領域１９０１の画像情報として供給する。それとともに、このような拡張された対象基準領域１９０１の画像情報であることを示す、対象基準領域拡張判定情報を生成し、第１代表輝度成分情報生成部４０３に供給する。
【００６４】
第１代表輝度成分情報生成部４０３は、第１基準領域取得部４０２から、対象基準領域の画像情報を取得し、所定の代表輝度成分情報生成処理を行うことにより、対象基準領域の代表輝度成分情報と、対象基準位置情報を生成する。また、第１代表輝度成分情報生成部４０３は、第１検出領域特定部４０４に対象基準位置情報、第１傾き情報生成部４０７および判定情報蓄積部４１９に対象基準領域の代表輝度成分情報を供給する。
【００６５】
ここで、第１代表輝度成分情報生成部４０３は、必要に応じて、取得した対象基準領域の画像情報を判定情報蓄積部４１９に供給してもよい。また、第１基準領域取得部４０２から、対象基準領域拡張判定情報を取得できる場合、それを判定情報蓄積部４１９に供給してもよい。
【００６６】
ここで、所定の代表輝度成分情報生成処理は、対象基準領域の画像情報の平均値を計算し、代表輝度成分情報とする処理であってもよい。また、対象基準領域の画像情報に対して、２次元の直交変換、もしくは周波数変換を行い、その低周波数成分情報から代表輝度成分情報を求める処理であってもよい。また、対象基準領域内の所定の位置の画素の輝度成分情報を、代表輝度成分情報とする処理であってもよい。
【００６７】
対象基準領域内の所定の位置は、例えば、対象基準領域の重心位置としてもよいし、対象基準領域が矩形であれば、矩形の四隅の点の位置のいずれかであってもよい。また、生成される対象基準位置情報は、対象基準領域の重心位置としてもよいし、対象基準領域が矩形であれば、矩形の四隅の点の位置のいずれかであってもよい。また、対象基準位置情報は、採用した代表輝度成分情報の位置であってもよい。以下、説明を簡単にするため、対象基準領域を矩形とし、重心位置を特定するための対象基準位置情報を生成し、代表輝度成分情報を対象基準領域の画像情報の平均値とするが、特にこの例に限定されるものではない。
【００６８】
第１検出領域特定部４０４は、第１代表輝度成分情報生成部４０３から、対象基準位置情報を取得し、現在の対象基準位置を特定する。また、第１検出領域特定部４０４は、現在処理対象となっている、符号化対象ピクチャ側の対象検出領域を特定し、この領域を特定するための情報である対象検出領域情報を生成し、第１検出領域取得部４０５に供給する。
【００６９】
図９（ａ）、（ｂ）は、仮想円上に配置される複数の対象検出領域を説明するための図である。図９（ａ）、（ｂ）に示す例では、特定した対象基準位置から所定の等距離である半径１４０３の仮想円１４０２上に、所定の等間隔で複数の対象検出領域が配置されるように構成される。ここでは、対象基準領域１４０１の重心位置から上方に半径１４０３分、離れた仮想円１４０２上の位置を対象基準検出位置とし、仮想円１４０２の円周を８等分するように、残りの対象検出位置を配置している。その後、配置した対象検出位置を重心とする、所定の矩形領域を設定することにより、８個の対象検出領域１４１２〜１４１９が設定される。
【００７０】
図１０（ａ）〜（ｃ）は、複数の対象検出領域の番号付けを説明するための図である。図１０（ａ）〜（ｃ）に示すように、仮想円１５０１〜１５０３の円周上の各対象検出領域に対して番号付けを行い、位置関係を容易に判別できるようにしておくとよい。図１０（ａ）は、対象基準検出領域から右回りで番号付けを行ったものを示し、図１０（ｂ）は、対象基準検出領域から左回りで番号付けを行ったものを示し、図１０（ｃ）は、対象基準検出領域から、右回りで正の番号付けを所定数行い、左回りで負の番号付けを所定数行ったものを示す。以下、説明を簡単にするため、図１０（ａ）に示すような番号付けが行われるものとする。そして、現在処理対象となっている対象検出領域は、例えば、対象基準位置の上方に位置する対象検出領域を対象基準検出領域とし、右回りもしくは左回りでそれぞれの対象検出領域が仮想的に円環状につながれている（すなわち、数珠つなぎされている）ものとする。そして、右回りもしくは左回りで一つずつずらしながら次の対象検出領域が特定されるようにする。
【００７１】
第１検出領域取得部４０５は、第１検出領域特定部４０４から、対象検出領域情報を取得し、この情報に基づいて対象検出領域を特定する。また、第１検出領域取得部４０５は、入力部１０１から、符号化対象ピクチャを取得する。また、第１検出領域取得部４０５は、特定した対象検出領域の画像情報を、符号化対象ピクチャ内の対応する対象検出領域から取得し、第２代表輝度成分情報生成部４０６に供給する。
【００７２】
第２代表輝度成分情報生成部４０６は、第１検出領域取得部４０５から、現在処理対象となっている対象検出領域の画像情報を取得し、所定の代表輝度成分情報生成処理を行うことにより、現在処理対象となっている対象検出領域の代表輝度成分情報と、対象検出位置情報を生成する。また、第２代表輝度成分情報生成部４０６は、第１傾き情報生成部４０７に対象検出領域の代表輝度成分情報を供給する。ここで、所定の代表輝度成分情報生成処理は、第１代表輝度成分情報生成部４０３と同様の処理を行えばよいため、ここではその説明を省略する。また、生成される対象基準位置情報に関しても、第１代表輝度成分情報生成部４０３と同様の設定方法を行えばよいため、ここではその説明を省略する。
【００７３】
第１傾き情報生成部４０７は、第１代表輝度成分情報生成部４０３から対象基準領域の代表輝度成分情報、第２代表輝度成分情報生成部４０６から現在処理対象となっている対象検出領域の代表輝度成分情報を取得し、所定の傾き情報生成処理を行う。この処理により、対象基準領域と上記対象検出領域との間の傾き情報を生成し、第１巡回蓄積部４０８に供給する。
【００７４】
図１１は、傾き情報生成処理を説明するための図である。図１１に示す例では、現在の処理対象が対象検出領域０であり、対象検出領域０の代表輝度成分情報が取得できていることを前提とする。図１１のグラフ１６００に示されるように、対象基準領域と対象検出領域０との間の傾き情報は、ｄＹ／ｄＸによって求められる。図１１に示す例では、対象基準領域と対象検出領域との距離である仮想円１５０１の半径を１とし、対象基準領域の代表輝度成分情報を２０、対象検出領域０の代表輝度成分情報を５０とする。この場合、ｄＸ＝１，ｄＹ＝５０−２０＝３０，ｄＹ／ｄＸ＝３０と傾き情報を求めることができる。他の対象検出領域に関しても、同様に傾き情報を求めることができる（グラフ１６０１〜１６０７参照）。また、この例のように仮想円１５０１の半径を１とみなしてｄＸ＝１に設定することにより、ｄＹの計算結果を、傾き情報として利用することができる。これによれば、除算が軽減されることから、演算量をより抑えることができる。
【００７５】
第１巡回蓄積部４０８は、第１傾き情報生成部４０７から、現在処理対象となっている対象基準領域と対象検出領域の代表輝度成分情報から生成された傾き情報を取得し、所定の蓄積方法に基づいて内部の巡回蓄積領域に傾き情報を蓄積する。第１巡回蓄積部４０８は、位相制御部４１７から回転位相情報を取得し、巡回蓄積領域に対する情報の入出力位置を、回転位相情報に従って、右回りもしくは左回りに、所定の方向ずらしながら変更する。これにより、巡回蓄積領域の格納状態を変更するとよい。また、第１巡回蓄積部４０８は、位相制御部４１７の制御に従って、内部の巡回蓄積領域から供給すべき傾き情報を特定し、誤差生成部４１８に供給する。
【００７６】
図１２は、巡回蓄積領域を説明するための図である。図１２の例では、巡回蓄積領域１８０１は、少なくとも対象基準領域と複数の対象検出領域との代表輝度成分情報から求められる傾き情報を蓄積できる領域を持ち、対象検出領域と同様の番号付けがなされるように構成するとよい。また、巡回蓄積領域の各蓄積領域同士の接続関係は、以下のように構築するとよい。仮想円１５０１上に８個の対象検出領域が配置され、それらが番号付けされている場合、巡回蓄積領域１８０１も、各対象検出領域の位置関係と同様に、対象基準位置である蓄積領域０から順番に、蓄積領域１、蓄積領域２、・・・、蓄積領域７と接続され、最後に蓄積領域０と接続されるように構成される。このように構成されることにより、巡回型の蓄積領域を構築することができる。
【００７７】
また、巡回蓄積領域に対する情報の入出力は、所定の入出力位置にある蓄積領域に対して実行するとよい。ここでは、説明を簡単にするために、所定の入出力位置を、蓄積領域０の位置とする。また、第１巡回蓄積部４０８は、蓄積されている傾き情報を供給する際に、位相制御部４１７から回転位相情報を取得し、その回転位相情報に基づいて、巡回蓄積領域に対する入出力位置をずらしておく。これにより、蓄積されている傾き情報を順次、供給する場合に、異なる回転位相での傾き情報を供給することができる。
【００７８】
図１３（ａ）〜（ｈ）は、各回転位相０〜７に対応した、巡回蓄積領域１８０１内の各蓄積領域０〜７の状態を示す図である。ここでは、第１巡回蓄積部４０８が、巡回蓄積領域に対する情報の入出力位置を、回転位相情報に従って、右回りに一つずつずらす例を描いている。
【００７９】
第２基準領域特定部４０９は、参照ピクチャ側において、現在処理対象となっている、参照基準領域を特定し、この領域を特定するための情報である参照基準領域情報を生成し、第２基準領域取得部４１０に供給する。第２基準領域特定部４０９は、参照ピクチャ側の参照基準領域を特定する際に、第１基準領域特定部４０１から符号化対象ピクチャ側の対象基準領域を特定するための対象基準領域情報を取得することにより、当該対象基準領域の空間位置を特定する。そして、この位置に対応する参照ピクチャ内の位置を基点として、参照基準領域を特定することができる。また、第２基準領域特定部４０９は、参照基準領域を特定する際に、上記図７（ｂ）、（ｃ）に示したような、渦巻き型やラスタスキャン型の探索となるように、符号化対象ピクチャ側の対象基準領域を基点として、順次、参照ピクチャ側の参照基準領域を特定するとよい。
【００８０】
第２基準領域取得部４１０は、第２基準領域特定部４０９から、参照基準領域情報を取得し、この情報に基づいて参照基準領域を特定する。また、第２基準領域取得部４１０は、蓄積部１０２から、参照ピクチャを取得する。また、第２基準領域取得部４１０は、特定した参照基準領域の画像情報を、参照ピクチャ内の対応する参照基準領域から取得し、第３代表輝度成分情報生成部４１１に供給する。参照基準領域の画像情報を取得する際に、上記図８に示した対象基準領域拡張判定情報に対応する参照基準領域拡張判定情報を生成し、供給してもよい。
【００８１】
第３代表輝度成分情報生成部４１１は、第２基準領域取得部４１０から、参照基準領域の画像情報を取得し、所定の代表輝度成分情報生成処理を行うことにより、参照基準領域の代表輝度成分情報と、参照基準位置情報を生成する。また、第３代表輝度成分情報生成部４１１は、第２検出領域特定部４１２に参照基準位置情報、ならびに第２傾き情報生成部４１５および判定情報蓄積部４１９に参照基準領域の代表輝度成分情報を供給する。
【００８２】
ここで、第３代表輝度成分情報生成部４１１は、必要に応じて、取得した参照基準領域の画像情報を、判定情報蓄積部４１９に供給してもよい。また、第２基準領域取得部４１０から参照基準領域拡張判定情報を取得できる場合、判定情報蓄積部４１９に供給してもよい。ここで、所定の代表輝度成分情報生成処理、および生成される参照基準位置情報は、第１代表輝度成分情報生成部４０３と同様の処理、および求め方を使用することができ、ここではその説明を省略する。
【００８３】
第２検出領域特定部４１２は、第３代表輝度成分情報生成部４１１から、参照基準位置情報を取得し、現在の参照基準位置を特定する。また、第２検出領域特定部４１２は、現在処理対象となっている、参照ピクチャ側の参照検出領域を特定し、この領域を特定するための情報である参照検出領域情報を生成し、第２検出領域取得部４１３に供給する。ここで、参照検出領域の配置、番号付け、参照基準検出領域、参照検出領域の特定方法等は、第１検出領域特定部４０４と同等の求め方を使用することができ、ここではその説明を省略する。
【００８４】
第２検出領域取得部４１３は、第２検出領域特定部４１２から、参照検出領域情報を取得し、この情報に基づいて参照検出領域を特定する。また、第２検出領域取得部４１３は、蓄積部１０２から、参照ピクチャを取得する。また、第２検出領域取得部４１３は、特定した参照検出領域の画像情報を、参照ピクチャ内の対応する参照検出領域から取得し、第４代表輝度成分情報生成部４１４に供給する。
【００８５】
第４代表輝度成分情報生成部４１４は、第２検出領域取得部４１３から、現在処理対象となっている参照検出領域の画像情報を取得し、所定の代表輝度成分情報生成処理を行うことにより、現在処理対象となっている参照検出領域の代表輝度成分情報と、参照検出位置情報を生成する。また、第４代表輝度成分情報生成部４１４は、第２傾き情報生成部４１５に参照検出領域の代表輝度成分情報を供給する。ここで、所定の代表輝度成分情報生成処理は、第１代表輝度成分情報生成部４０３と同様の処理を使用することができ、ここではその説明を省略する。また、生成される基準位置情報も、第１代表輝度成分情報生成部４０３と同様の求め方を使用することができ、ここではその説明を省略する。
【００８６】
第２傾き情報生成部４１５は、第３代表輝度成分情報生成部４１１から参照基準領域の代表輝度成分情報、および第４代表輝度成分情報生成部４１４から現在処理対象となっている参照検出領域の代表輝度成分情報を取得する。そして、所定の傾き情報生成処理を行うことにより、参照基準領域と現在処理対象となっている参照検出領域との間の傾き情報をそれぞれ生成し、第２巡回蓄積部４１６に供給する。ここで、所定の傾き情報生成処理は、第１傾き情報生成部４０７と同様の処理を使用することができ、ここではその説明を省略する。
【００８７】
第２巡回蓄積部４１６は、第２傾き情報生成部４１５から当該傾き情報を取得し、所定の蓄積方法に基づいて内部の巡回蓄積領域に、当該傾き情報を蓄積する。また、第２巡回蓄積部４１６は、内部の巡回蓄積領域から供給すべき傾き情報を特定し、誤差生成部４１８に供給する。ここで、第２巡回蓄積部４１６は、第１巡回蓄積部４０８と同様に情報の入出力を行うことができ、ここではその説明を省略する。また、本実施の形態において第２巡回蓄積部４１６は、巡回蓄積領域を備え、回転位相情報に基づいて巡回蓄積領域に対する入出力位置をずらすことができるが、必ずしもこのような構成である必要はない。
【００８８】
位相制御部４１７は、現在比較しようとしている回転位相の状態を特定し、回転位相情報として、第１巡回蓄積部４０８、第２巡回蓄積部４１６、および判定情報蓄積部４１９に供給する。
【００８９】
誤差生成部４１８は、第１巡回蓄積部４０８から、現在比較すべき符号化対象ピクチャ側の傾き情報を取得し、第２巡回蓄積部４１６から、現在比較すべき参照ピクチャ側の傾き情報を取得し、所定の誤差生成処理を行う。そして、現在比較しようとしている回転位相における、基準領域とそれぞれの検出領域との間から得られる、それぞれの傾き情報の誤差情報を生成し、判定情報蓄積部４１９に供給する。当該誤差情報とは、符号化対象ピクチャ側の傾き情報と参照ピクチャ側の対応する傾き情報との誤差を示す情報である。
【００９０】
ここで、第１巡回蓄積部４０８および第２巡回蓄積部４１６において、現在比較しようとしている回転位相の分、第１巡回蓄積部４０８の巡回蓄積領域の入出力位置が予めずらされた状態を初期状態とする。そして、順次、第１巡回蓄積部４０８と第２巡回蓄積部４１６の巡回蓄積領域の入出力位置をずらしながら、それぞれに蓄積されている傾き情報が誤差生成部４１８に供給される。したがって、所定の誤差生成処理は、この符号化対象ピクチャ側の傾き情報と、参照ピクチャ側の傾き情報とを取得し、これらの傾き情報の距離を測定し、順次加算していくことにより、誤差情報を生成するようにしてもよい。この距離の測定は、例えば、これらの傾き情報の差の絶対値であってもよいし、その絶対値の２乗の値であってもよいし、その絶対値の２乗の平方根の値であってもよく、特に限定されない。
【００９１】
判定情報蓄積部４１９は、第１基準領域特定部４０１から符号化対象ピクチャ側の対象基準領域情報、第２基準領域特定部４０９から参照ピクチャ側の参照基準領域情報、第１代表輝度成分情報生成部４０３から符号化対象ピクチャ側の対象基準領域の代表輝度成分情報、第３代表輝度成分情報生成部４１１から参照ピクチャ側の参照基準領域の代表輝度成分情報、位相制御部４１７から回転位相情報、および誤差生成部４１８から傾き情報の誤差情報をそれぞれ取得する。
【００９２】
判定情報蓄積部４１９は、現在注目している回転位相における、それぞれの基準領域情報および代表輝度成分情報と、傾き情報の誤差情報を、関連付けを行って蓄積するとともに、動きベクトル情報決定部４２０に順次供給する。また、判定情報蓄積部４１９は、第１代表輝度成分情報生成部４０３および第３代表輝度成分情報生成部４１１から、対象基準領域および参照基準領域の画像情報、ならびに対象基準領域拡張判定情報および参照基準領域拡張判定情報を取得し、回転位相と関連付けて蓄積してもよい。
【００９３】
動きベクトル情報決定部４２０は、判定情報蓄積部４１９に蓄積されている、それぞれの回転位相における、それぞれの基準領域情報および代表輝度成分情報と、傾き情報の誤差情報を取得する。なお、必要であれば、それぞれの基準領域の画像情報および基準領域拡張判定情報も取得する。動きベクトル情報決定部４２０は、所定の動きベクトル情報決定方法に基づいて、動きベクトル情報を生成するとともに回転位相情報を特定し、動き補償部１０４およびエントロピー符号化部１０８に供給する。
【００９４】
ここで、所定の動きベクトル情報決定方法は、例えば、それぞれの回転位相における、傾き情報の誤差情報を比較し、最も誤差が小さくなる回転位相を特定する。その後、符号化対象ピクチャ側の代表輝度成分情報と、参照ピクチャ側の参照代表輝度成分情報とを比較し、最も誤差が小さくなる参照ピクチャ側の基準領域情報を特定し、符号化対象ピクチャ側の対象基準領域と同様の、参照ピクチャ内における空間位置から、特定された参照ピクチャ側の参照基準領域までの距離を動きベクトル情報としてもよい。
【００９５】
上述した例では、符号化対象ピクチャ側の代表輝度成分情報と、参照ピクチャ側の代表輝度成分情報とを比較しているが、代表輝度成分情報の代わりに、それぞれの基準領域の画像情報（たとえば、画素値）とし、それぞれの画像情報との間の誤差を測定して比較してもよい。この誤差は、画像情報そのものを用いて測定されてもよいし、ＤＣＴ、アダマール変換、ウェーヴレット変換等の直交変換を行った後の直交変換係数情報に対して、一般的なＳＡＤ、画素単位での誤差の２乗和、誤差の２乗の平方根の和、誤差の２乗の和の平方根等により算出された値を用いて測定されてもよい。また、上述した動きベクトル情報決定方法では、回転位相を特定した後に、参照ピクチャ側の参照基準領域情報を特定したが、順序を逆にして、参照ピクチャ側の参照基準領域情報を特定した後に、回転位相を特定するようにしてもよい。
【００９６】
また、単純に基準画像同士の誤差を測定するのではなく、参照ピクチャ側の回転画像を生成して誤差を測定するようにしてもよい。この参照ピクチャ側の回転画像を生成するために、特定された参照ピクチャ内の空間領域を、取得した回転位相情報から特定される回転方向および回転量に基づいて回転処理し、それにより生成された仮想領域および仮想サンプル位置を、参照ピクチャ内に設定する。
【００９７】
一般に、回転処理によって設定された仮想領域の仮想サンプル位置は、元の参照ピクチャのサンプル位置とは、画面内の空間方向におけるサンプル位置の位相が異なることがある。
【００９８】
図１４（ａ）〜（ｄ）は、参照ピクチャの画像回転処理について説明するための図である。図１４（ａ）〜（ｄ）に例において、図１４（ａ）は、元の参照ピクチャのサンプル位置を示す。図１４（ｂ）は、回転位相が１の場合における、回転処理後の仮想領域および仮想サンプル位置を示す。つまり、図１４（ｃ）に示すように、実際にサンプル位置の位相が異なった状態が生じることになる。
【００９９】
そこで、設定した仮想サンプル位置の周囲に存在する、元の参照ピクチャのサンプル位置の画素を利用して、所定の画素生成処理を行う。そして、仮想サンプル位置の各画素を生成することにより、仮想領域の画像を生成し、これを回転画像として比較に利用するとよい。ここで、所定の画素生成処理は、一般に利用することができる、画像リサンプリング処理、画像推定処理、画像補間処理、画像補外処理、画像復元処理等であればよく、特に限定されない。
【０１００】
図１４（ｄ）は、簡単に仮想サンプル位置の画素値を求めるための、所定の画素生成処理の一例として、線形補間法を利用した例を示している。図１４（ｄ）において、Ａ，Ｂ，Ｃ，Ｄの位置の画素値は既知であり、Ｅの画素値を求める場合について考える。Ｅの画素値は、他の画素値までの距離の比を用いた下記式１により容易に計算することができる。
【０１０１】
Ｅ＝（１−ｑ）｛（１−ｐ）Ｃ＋ｐＤ）｝＋ｑ｛（１−ｐ）Ａ＋ｐＢ）｝  …式１
【０１０２】
また、回転画像を生成する際に、参照基準領域拡張判定情報から、取得した参照基準領域の画像情報が、拡張された参照基準領域の画像情報であると特定することができれば、より多くの画素を所定の画素生成処理で利用することが可能となり、より品質の高い回転画像を得ることができる。
【０１０３】
動き推定制御部４２１は、符号化制御部１１４の制御に応じて、図４に示した本実施の形態に係る画像符号化装置１００における、動き推定部１０３を構成する各部の動作状態を監視し、各部の動作や入出力を制御する。
【０１０４】
図１５は、実施の形態２に係る画像符号化装置１００における、動き推定部１０３の基本動作を示すフローチャートである。まず、符号化制御部１１４は、動き推定処理を開始するため、動き推定制御部４２１に動き推定開始指令を送り、動き推定制御部４２１は、この指令に応じて、各部に対して、動き推定開始指令を送る。これに応じて、第１基準領域取得部４０２および第１検出領域取得部４０５は、入力部１０１から符号化対象ピクチャを取得する（ステップＳ２０１）。
【０１０５】
第１基準領域特定部４０１は、現在処理対象となっている対象基準領域の位置を特定し（ステップＳ２０２）、対象基準領域情報を生成して、第１基準領域取得部４０２および第２基準領域特定部４０９に供給する。
【０１０６】
その後、符号化対象ピクチャ側の傾き情報生成処理（ステップＳ２０３）および参照ピクチャ側の傾き情報生成処理（ステップＳ２０４）の並列処理を開始する（後述する図１６、１７参照）。
【０１０７】
ステップＳ２０３において、符号化対象ピクチャ側の各検出領域との間の傾き情報を生成し、第１巡回蓄積部４０８に供給し、蓄積する。ステップＳ２０４において、参照ピクチャ側の各検出領域との間の傾き情報を生成し、第２巡回蓄積部４１６に供給し、蓄積する。
【０１０８】
上記並列処理が完了すると、次に、第１巡回蓄積部４０８は、位相制御部４１７から回転位相情報を取得し、回転位相情報に基づいて、巡回蓄積領域に対する入出力位置をずらしておくことにより、蓄積された傾き情報の並び順を変更する（ステップＳ２０５）。そして、順次、蓄積されている傾き情報を誤差生成部４１８に供給する。同様に、第２巡回蓄積部４１６は、順次、蓄積されている傾き情報を誤差生成部４１８に供給する。
【０１０９】
その後、誤差生成部４１８は、それぞれの傾き情報を取得し、傾き情報から誤差情報を生成し（ステップＳ２０６）、判定情報蓄積部４１９に供給する。
【０１１０】
その後、誤差情報が全て求まったかどうかを判定し（ステップＳ２０７）、全て誤差情報が求まっていない場合（ステップＳ２０７のＮＯ）、ステップＳ２０５に戻り、処理を繰り返す。全ての誤差情報が求まった場合（ステップＳ２０７のＹＥＳ）、動きベクトル情報の特定処理に移行する。
【０１１１】
動きベクトル情報決定部４２０は、判定情報蓄積部４１９から回転位相に関連付けられた各種情報を取得し、所定の動きベクトル情報決定方法に基づいて、最も誤差情報が小さくなる回転位相と、参照基準領域の位置を求め（ステップＳ２０８）、動きベクトル情報を生成する（ステップＳ２０９）。それととともに回転位相情報を特定し、動き補償部１０４およびエントロピー符号化部１０８に供給することで、処理を完了する。
【０１１２】
図１６は、符号化対象ピクチャ側の傾き情報生成処理を示すフローチャートである。対象基準領域の代表輝度成分情報および対象検出領域の代表輝度成分情報の並列処理を開始する。第１基準領域取得部４０２は、入力部１０１から、符号化対象ピクチャを取得し、特定した対象基準領域の画像情報を取得する（ステップＳ３０１）。第１代表輝度成分情報生成部４０３は、第１基準領域取得部４０２から、対象基準領域の画像情報を取得し、所定の代表輝度成分情報生成処理を行う。この処理により、対象基準領域の代表輝度成分情報を生成する（ステップＳ３０２）。
【０１１３】
第１検出領域特定部４０４は、現在処理対象となっている、符号化対象ピクチャ側の対象検出領域を特定する（ステップＳ３０３）。第１検出領域取得部４０５は、特定された対象検出領域の画像情報を、符号化対象ピクチャ内の対応する対象検出領域から取得する（ステップＳ３０４）。第２代表輝度成分情報生成部４０６は、第１検出領域取得部４０５から、現在処理対象となっている対象検出領域の画像情報を取得し、所定の代表輝度成分情報生成処理を行う。この処理により、現在処理対象となっている対象検出領域の代表輝度成分情報を生成する（ステップＳ３０５）。
【０１１４】
その後、対象検出領域の代表輝度成分情報が全て求まったかどうかを判定し（ステップＳ３０６）、全て求まっていない場合（ステップＳ３０６のＮＯ）、ステップＳ３０３に戻り、処理を繰り返す。全て求まった場合（ステップＳ３０６のＹＥＳ）、対象検出領域の特定処理に移行する。
【０１１５】
第１検出領域特定部４０４は、現在処理対象となっている、符号化対象ピクチャ側の対象検出領域を特定する（ステップＳ３０７）。第１傾き情報生成部４０７は、第１代表輝度成分情報生成部４０３から対象基準領域の代表輝度成分情報、第２代表輝度成分情報生成部４０６から現在処理対象となっている対象検出領域の代表輝度成分情報を取得し（ステップＳ３０８）、所定の傾き情報生成処理を行う（ステップＳ３０９）。
【０１１６】
第１傾き情報生成部４０７は、生成した傾き情報の、第１巡回蓄積部４０８内における格納位置を特定し（ステップＳ３１０）、その格納位置に当該傾き情報を格納する（ステップＳ３１１）。
【０１１７】
その後、傾き情報が全て格納されたかどうかを判定し（ステップＳ３１２）、全て格納されていない場合（ステップＳ３１２のＮＯ）、ステップＳ３０７に戻り、処理を繰り返す。全て格納された場合（ステップＳ３１２のＹＥＳ）、符号化対象ピクチャ側の傾き情報生成処理を終了する。
【０１１８】
図１７は、参照ピクチャ側の傾き情報生成処理を示すフローチャートである。第２基準領域取得部４１０は、蓄積部１０２から、参照ピクチャを取得し（ステップＳ４０１）、第２基準領域特定部４０９から、参照基準領域情報を取得し、この情報に基づいて参照基準領域を特定する（ステップＳ４０２）。
【０１１９】
参照基準領域の代表輝度成分情報および参照検出領域の代表輝度成分情報の並列処理を開始する。第２基準領域取得部４１０は、蓄積部１０２から、参照ピクチャを取得し、特定した参照基準領域の画像情報を取得する（ステップＳ４０３）。第３代表輝度成分情報生成部４１１は、第２基準領域取得部４１０から、参照領域の画像情報を取得し、所定の代表輝度成分情報生成処理を行う。この処理により、参照基準領域の代表輝度成分情報を生成する（ステップＳ４０４）。
【０１２０】
第２検出領域特定部４１２は、現在処理対象となっている、参照ピクチャ側の参照検出領域を特定する（ステップＳ４０５）。第２検出領域取得部４１３は、特定された参照検出領域の画像情報を、参照ピクチャ内の対応する参照検出領域から取得する（ステップＳ４０６）。第４代表輝度成分情報生成部４１４は、第２検出領域取得部４１３から、現在処理対象となっている参照検出領域の画像情報を取得し、所定の代表輝度成分情報生成処理を行う。この処理により、現在処理対象となっている参照検出領域の代表輝度成分情報を生成する（ステップＳ４０７）。
【０１２１】
その後、参照検出領域の代表輝度成分情報が全て求まったかどうかを判定し（ステップＳ４０８）、全て求まっていない場合（ステップＳ４０８のＮＯ）、ステップＳ４０５に戻り、処理を繰り返す。全て求まった場合（ステップＳ４０８のＹＥＳ）、参照検出領域の特定処理に移行する。
【０１２２】
第２検出領域特定部４１２は、現在処理対象となっている、参照ピクチャ側の参照検出領域を特定する（ステップＳ４０９）。第２傾き情報生成部４１５は、第３代表輝度成分情報生成部４１１から参照基準領域の代表輝度成分情報、第４代表輝度成分情報生成部４１４から現在処理対象となっている参照検出領域の代表輝度成分情報を取得し（ステップＳ４１０）、所定の傾き情報生成処理を行う（ステップＳ４１１）。
【０１２３】
第２傾き情報生成部４１５は、生成した傾き情報の、第２巡回蓄積部４１６内における格納位置を特定し（ステップＳ４１２）、その格納位置に当該傾き情報を格納する（ステップＳ４１３）。
【０１２４】
その後、傾き情報が全て格納されたかどうかを判定し（ステップＳ４１４）、全て格納されていない場合（ステップＳ４１４のＮＯ）、ステップＳ４０９に戻り、処理を繰り返す。全て格納された場合（ステップＳ４１４のＹＥＳ）、参照ピクチャ側の傾き情報生成処理を終了する。
【０１２５】
以上、実施の形態２によれば、現在符号化対象となっている対象ピクチャにおいて、複数の対象検出領域を、対象基準領域から等距離の仮想円上に等間隔で配置する。そして、現在符号化対象となっている対象基準領域を代表する輝度成分情報と、複数の対象検出領域を代表する輝度成分情報との間で、輝度成分情報の変化量である傾き情報を生成する。
【０１２６】
また、探索領域となっている参照ピクチャ内においても、同様の空間配置により、現在探索対象となっている参照基準領域を代表する輝度成分情報と、複数の参照検出領域を代表する輝度成分情報との間で、傾き情報を生成する。その後、符号化対象側の各傾き情報と、参照側の対応する傾き情報とをそれぞれ比較しながら、参照ピクチャ内を探索し、それぞれの傾き情報との間の誤差が最も小さく、対象基準領域を代表する輝度成分情報と参照基準領域を代表する輝度成分情報との誤差が最も小さくなる、参照ピクチャ内の空間位置を特定する。これにより、符号化対象ピクチャ内の対象基準領域に対応する参照ピクチャ内の空間領域から、参照ピクチャ内の特定された空間領域までの距離を動きベクトル情報として検出することができる。よって、実施の形態２に係る動き推定処理を用いることにより、より確からしい動きベクトル情報を、より少ない探索処理で実現することができる。
【０１２７】
また、実施の形態２では、回転に対応した動きベクトル情報を求める際に、例えば、基準領域の上方に位置する検出領域を基準検出領域とし、右回りもしくは左回りでそれぞれの検出領域が仮想的に円環状につながれているものとして、それぞれの傾き情報を求める。そして、傾き情報を比較する際に、例えば、右回りもしくは左回りで一つずつずらしながら比較していくことにより、回転した画像を生成することなく、回転に対応した動きベクトル情報を求めることができる。
【０１２８】
（実施の形態３）
次に、実施の形態３に係る画像符号化装置について説明する。実施の形態３に係る画像符号化装置では、上述した動き補償処理において、特定された回転位相情報と、動きベクトル情報を利用して、効率よく動き補償を行う。
【０１２９】
実施の形態３に係る画像符号化装置の全体構成および全体動作は、実施の形態１、２と同様であるため、ここではその説明を省略し、動き補償部１０４の構成および動作について説明する。
【０１３０】
図１８は、本発明の実施の形態３に係る画像符号化装置１００の、動き補償部１０４内の各構成要素９０１〜９０４間の基本的な接続関係を示す図である。図１９は、本発明の実施の形態３に係る画像符号化装置１００の、動き補償部１０４内の各構成要素９０１〜９０４と符号化制御部１１４および動き補償制御部９０５との接続関係を示す図である。なお、図１８は図面の簡略化のため符号化制御部１１４および動き補償制御部９０５を省略して描いている。
【０１３１】
実施の形態３に係る画像符号化装置１００の動き補償部１０４は、領域取得部９０１、位相制御部９０２、回転画像生成部９０３、予測ピクチャ合成部９０４および動き補償制御部９０５を有する。以下に、各部の詳細を説明する。
【０１３２】
領域取得部９０１は、動き推定部１０３から、動きベクトル情報を取得する。また、領域取得部９０１は、蓄積部１０２から、探索領域として利用した参照ピクチャを取得する。領域取得部９０１は、まず、参照ピクチャにおいて、現在処理対象となっている予測基準領域と同様の空間位置の矩形領域を参照基準領域とし、取得した動きベクトル情報に基づいて、参照基準領域に対応する参照ピクチャ内の空間領域から、特定された参照ピクチャ内の空間領域までの距離を特定し、利用しようとしている参照ピクチャ内の空間領域を特定する。領域取得部９０１は、特定された参照ピクチャ内の空間領域を包含する領域を設定し、その領域に含まれる画像信号を回転対象信号として、回転画像生成部９０３に供給する。
【０１３３】
位相制御部９０２は、動き推定部１０３から回転位相情報を取得する。位相制御部９０２は、取得した回転位相情報から、回転方向および回転度合いを示す回転情報を特定し、回転画像生成部９０３に供給する。ここで、回転情報は、画像の空間平面に対する法線方向を回転軸とした回転角度を特定するための情報であることが望ましい。例えば、回転情報は、回転角を度数表記もしくはラジアン表記で記述された情報であってもよい。また、例えば上記図９（ａ）、（ｂ）に示したように、回転角が離散化されており、回転位相がいくつ分ずれているかを表す回転位相数によって、回転角が特定できるように回転情報が表現されてもよい。ここでは、回転情報として回転位相数を利用する例を説明する。
【０１３４】
回転画像生成部９０３は、領域取得部９０１から回転対象信号を取得する。また、回転画像生成部９０３は、位相制御部９０２から特定された回転方向および回転情報を取得する。回転画像生成部９０３は、取得した回転対象信号、回転方向および回転情報に基づいて、所定の回転画像生成処理を行う。この処理により、現在処理対象となっている空間位置の領域に有効な回転画像を生成し、予測ピクチャ合成部９０４に供給する。
【０１３５】
ここで、所定の回転画像生成処理としては、実施の形態２に係る動きベクトル情報決定部４２０における所定の動きベクトル情報決定方法で行われる回転画像の生成と同様の方法を使用することができる。なお、特にその方法に限定されない。
【０１３６】
この方法では、参照ピクチャ側の回転画像を生成するために、特定された参照ピクチャ内の空間領域を、取得した回転位相情報から特定される回転方向および回転量に基づいて、回転処理後の仮想領域および仮想サンプル位置を、参照ピクチャ内に設定する。一般に、回転処理によって設定された仮想領域の仮想サンプル位置は、元の参照ピクチャのサンプル位置とは、画面内の空間方向におけるサンプル位置の位相が異なることがある。例えば、上記図１４（ａ）〜（ｄ）に示したように、線形補間法により仮想サンプル位置の画素値を求めることができる。
【０１３７】
予測ピクチャ合成部９０４は、回転画像生成部９０３から、順次、処理対象となっている領域ごとに生成された回転画像を取得する。また、予測ピクチャ合成部９０４は、順次取得した回転画像を、対応する空間位置に配置していくことにより、予測ピクチャを生成する。また、予測ピクチャ合成部９０４は、その生成した予測ピクチャを減算部１０５および加算部１１１に供給する。
【０１３８】
動き補償制御部９０５は、符号化制御部１１４の制御に応じて、実施の形態３に係る画像符号化装置１００の動き補償部１０４を構成する各部の動作状態を監視し、各部の動作や入出力を制御する。
【０１３９】
図２０は、実施の形態３に係る画像符号化装置１００における、動き補償部１０４の基本動作を示すフローチャートである。まず、動き補償制御部９０５は、符号化制御部１１４から動き補償開始要求を受けると、各部に対して動き補償開始指令を送る。それに応じて、領域取得部９０１は、蓄積部１０２から、探索領域として利用した参照ピクチャを取得する（ステップＳ５０１）。
【０１４０】
次に、生成される予測ピクチャにおける、回転画像の格納位置を特定し（ステップＳ５０２）、予測ピクチャにおける現在処理対象となっている領域の空間位置とする。
【０１４１】
また、領域取得部９０１は、動き推定部１０３から、動きベクトル情報を取得し、位相制御部９０２は、動き推定部１０３から、回転位相情報を取得することにより、回転位相情報、動きベクトル情報を取得する（ステップＳ５０３）。
【０１４２】
その後、領域取得部９０１は、現在処理対象となっている領域の空間位置から、取得した動きベクトル情報を利用して、参照基準領域の位置を特定する（ステップＳ５０４）。
【０１４３】
その後、領域取得部９０１は、特定された参照基準領域を包含する領域を設定することにより、回転対象となる画像の領域を特定し（ステップＳ５０５）、この領域に含まれる回転対象となる画像信号を取得する（ステップＳ５０６）。領域取得部９０１は、この画像信号を回転対象信号として、回転画像生成部９０３に供給する。
【０１４４】
次に、位相制御部９０２は、取得した回転位相情報から、回転方向および回転度合いを示す回転情報を特定し、回転画像生成部９０３に供給する。
【０１４５】
その後、回転画像生成部９０３は、領域取得部９０１から回転対象信号を取得し、位相制御部９０２から、回転方向および回転情報を取得する。回転画像生成部９０３は、取得した回転方向および回転情報に基づいて、回転対象信号に対して所定の回転画像生成処理を行うことにより、回転画像を生成し（ステップＳ５０７）、予測ピクチャ合成部９０４に供給する。
【０１４６】
その後、予測ピクチャ合成部９０４は、回転画像を取得し、予測ピクチャの現在処理対象となっている領域に、回転画像を格納する（ステップＳ５０８）。
【０１４７】
取得した回転画像を、現在処理対象となっている領域に格納した後、全ての処理対象となる領域に回転画像が格納され、予測ピクチャが生成されたかどうかを判定する（ステップＳ５０９）。予測ピクチャが生成された場合（ステップＳ５０９のＹＥＳ）、動き補償処理を完了する。予測ピクチャが生成されていない場合（ステップＳ５０９のＮＯ）、次の回転画像を生成するために、ステップＳ５０２に戻る。
【０１４８】
以上のようなステップを経ることにより、実施の形態３に係る動き補償動作が終了する。
【０１４９】
以上、実施の形態３によれば、動き推定処理によって領域ごとに求められた動きベクトル情報および回転位相情報に基づいて、領域ごとに回転画像を生成し、格納していくことにより、効率よく予測ピクチャを生成することが可能となる。即ち、動き推定処理の度に回転画像を生成せずに動きベクトル情報と回転位相情報を求めることができる。また、動き補償処理では、予測ピクチャを生成する際に、領域ごとに一回ずつの回転画像生成処理で済むため、従来必要としていた演算量を大幅に削減し、効率よく予測ピクチャを生成することが可能となる。
【０１５０】
また、実施の形態１〜３に係る画像符号化装置、画像符号化方法、または画像符号化プログラムによって動作する情報処理装置は、下記に示すようなビット列を含む構成のビット列を出力結果として生成するように構成するとよい。
【０１５１】
図２１は、実施の形態１〜３に係る画像符号化装置、画像符号化方法、または画像符号化プログラムによって動作する情報処理装置によって生成される符号化ビット列の構成を説明するための概念図である。実施の形態１〜３では、例えば、生成される符号化ビット列は、大別すると、ヘッダ情報２３０１、データ情報２３０２で構成される。
【０１５２】
このヘッダ情報２３０１内に、実施の形態１〜３に係る画像符号化装置、画像符号化方法、または画像符号化プログラムによって動作する情報処理装置によって符号化されたビット列であることを示すためのフラグとしてのビット列２３０３が含まれるように構成することができる。また、ある所定の単位で実施の形態１〜３に係る符号化を使用したか否かを判別できるように、より細かい処理単位におけるヘッダ情報内に、使用識別フラグとしてのビット列を含むようにすることができる。
【０１５３】
例えば、ピクチャもしくはスライス単位で実施の形態１〜３に係る符号化の使用を制御するために、ヘッダ情報２３０４およびデータ情報２３０５を含むピクチャもしくはスライスのヘッダ情報２３０４内に、実施の形態１〜３に係る符号化の使用を制御するためのフラグとしてのビット列２３０６を含むようにしてもよい。また、更に細かい処理単位、例えばマクロブロック単位で実施の形態１〜３に係る符号化の使用を制御するために、ヘッダ情報２３０７およびデータ情報２３０８を含むマクロブロックのヘッダ情報２３０７内に、実施の形態１〜３に係る符号化の使用を制御するためのフラグとしてのビット列２３０９を含むようにしてもよい。また、このようなヘッダ情報に対して、実施の形態１〜３に係る動作モードを特定するためのモード情報をビット列として格納するように符号化ビット列を構成してもよい。更に、このようなヘッダ情報に対して、実施の形態１〜３に係る各部の動作や初期状態を制御するためのパラメータ情報を、ビット列として格納するように符号化ビット列を構成してもよい。
【０１５４】
（実施の形態４）
次に、実施の形態４に係る画像復号装置について説明する。実施の形態４に係る画像復号装置は、実施の形態１〜３に係る画像符号化装置、画像符号化方法、または画像符号化プログラムによって動作する情報処理装置によって生成された、多重化後の符号化ビット列を取得し、復号する。
【０１５５】
図２２は、実施の形態４に係る画像復号装置２１００の各構成要素２１０１〜２１０９間の基本的な接続関係を示す図である。
【０１５６】
実施の形態４に係る画像復号装置２１００は、入力部２１０１、蓄積部２１０２、多重化分離部２１０３、エントロピー復号部２１０４、動き補償部２１０５、加算部２１０６、逆量子化部２１０７、逆直交変換部２１０８、および出力部２１０９を有する。また、図２２に図示していないが、復号制御部２１１０を更に有してもよい。以下に、各部の詳細を説明する。
【０１５７】
入力部２１０１は、例えば、図２２に示されている伝送装置２１３１、記録装置２１３２、記録媒体２１３３、蓄積装置２１３４等から、実施の形態４に係る復号により復号可能な符号化ビット列を取得し、多重化分離部２１０３に供給する。
【０１５８】
蓄積部２１０２は、参照ピクチャを蓄積し、必要に応じて各部に対して供給する。蓄積部２１０２は、加算部２１０６で生成された参照ピクチャを取得し、蓄積するとともに、動き補償部２１０５に対して、要求された参照ピクチャを供給する。
【０１５９】
多重化分離部２１０３は、入力部２１０１から符号化ビット列を取得し、所定の多重化分離処理を行うことにより、多重化後の符号化ビット列を取得する。そして、所定の構文構造に基づいて符号化で利用した各種パラメータ情報や、符号化モード情報を特定するための識別情報を特定しながら多重化分離を行う。そして、多重化後の符号化ビット列から、各種の符号化パラメータ情報、動きベクトル情報、回転位相情報、量子化後情報の符号化ビット列等の多重化分離後の符号化ビット列を取得する。
【０１６０】
ここで、多重化分離部２１０３は、上記多重化分離を行う際に、取得した符号化ビット列内に、上記図２１に示したビット列２３０３を含むか否か検出し、実施の形態４に係る復号により復号可能であるかを判別してもよい。同様に、上記図２１に示したビット列２３０６およびビット列２３０９のように、より細かい処理単位で制御するために含まれたビット列を含むか否か検出し、実施の形態４に係る復号によって復号可能であるか否かを判別してもよい。また、多重化分離部２１０３は、多重化分離後の符号化ビット列をエントロピー復号部２１０４に供給する。
【０１６１】
エントロピー復号部２１０４は、多重化分離部２１０３から、多重化分離後の符号化ビット列を取得し、所定のエントロピー復号を行う。エントロピー復号部２１０４は、所定のエントロピー復号によって、少なくとも動きベクトル情報、回転位相情報、および量子化後情報を生成し、動きベクトル情報、および回転位相情報を動き補償部２１０５に供給し、量子化後情報を逆量子化部２１０７に供給する。
【０１６２】
動き補償部２１０５は、エントロピー復号部２１０４から動きベクトル情報および回転位相情報を取得する。また、動き補償部２１０５は、蓄積部２１０２から参照ピクチャを取得する。動き補償部２１０５は、取得した参照ピクチャ、動きベクトル情報および回転位相情報に基づいて、所定の動き補償処理を行う。この処理により、順次、処理対象の領域の回転画像を生成し、対応する空間位置に格納することにより、予測ピクチャを生成する。動き補償部２１０５は、生成した予測ピクチャを加算部２１０６に供給する。
【０１６３】
加算部２１０６は、動き補償部２１０５から予測ピクチャを取得し、逆直交変換部２１０８から復号残差情報を取得する。加算部２１０６は、取得した予測ピクチャに復号残差情報を加算することにより、復号ピクチャを生成し、これを参照ピクチャとして蓄積部２１０２に供給する。
【０１６４】
逆量子化部２１０７は、エントロピー復号部２１０４から量子化後情報を取得し、取得した量子化後情報に対して、実施の形態１〜３に係る符号化処理における所定の量子化処理と対をなす、所定の逆量子化処理を行うことにより、逆量子化後の直交変換係数情報を生成し、逆直交変換部２１０８に供給する。
【０１６５】
逆直交変換部２１０８は、逆量子化部２１０７から逆量子化後の直交変換係数情報を取得し、取得した逆量子化後の直交変換係数情報に対して、実施の形態１〜３に係る符号化処理における所定の直交変換処理と対をなす、所定の逆直交変換処理を行うことにより、復号残差情報を生成し、加算部２１０６に供給する。
【０１６６】
出力部２１０９は、蓄積部２１０２から復号ピクチャを取得し、出力部２１０９に接続されている外部の機器に対して、復号ピクチャを供給する。例えば、図２２示す表示装置２１４１が画像復号装置２１００に接続されていれば、復号結果である復号ピクチャを表示するように構成することができる。また、図２２に示す伝送装置２１４２が画像復号装置２１００に接続されていれば、実施の形態４に係る復号により生成された復号後の復号ピクチャを、ネットワークを介して、外部の受信装置に伝送するように構成することができる。また、図２２に示す記録装置２１４３、記録媒体２１４４、蓄積装置２１４５等が画像復号装置２１００に接続されていれば、実施の形態４に係る復号により生成された復号結果である復号ピクチャを、記録、保存、持ち出しができるように構成することができる。
【０１６７】
復号制御部２１１０は、図２２に示すような実施の形態４に係る画像復号装置２１００を構成する各部の動作状態を監視し、各部の復号動作や入出力を制御する。
【０１６８】
図２３は、実施の形態４に係る画像復号装置２１００の基本動作を示すフローチャートである。まず、復号制御部２１１０は、ユーザ等から復号開始要求を受けると、各部に対して復号開始指令を送る。それに応じて、入力部２１０１は、例えば、図２２に示した伝送装置２１３１、記録装置２１３２、記録媒体２１３３、蓄積装置２１３４等から、実施の形態４に係る復号により復号可能な符号化ビット列を取得し（ステップＳ６０１）、多重化分離部２１０３に供給する。
【０１６９】
その後、多重化分離部２１０３は、入力部２１０１から符号化ビット列を取得し、所定の構文構造に基づいて、多重化分離を行い（ステップＳ６０２）、多重化分離後の符号化ビット列をエントロピー復号部２１０４に供給する。
【０１７０】
次に、エントロピー復号部２１０４は、多重化分離部２１０３から、多重化分離後の符号化ビット列を取得し、所定のエントロピー復号を行う（ステップＳ６０３）。これにより、少なくとも動きベクトル情報、回転位相情報、および量子化後情報を生成し、動きベクトル情報および回転位相情報を動き補償部２１０５に供給し、ならびに量子化後情報を逆量子化部２１０７に供給する。
【０１７１】
その後、逆量子化部２１０７は、エントロピー復号部２１０４から、量子化後情報を取得し、所定の逆量子化を行う（ステップＳ６０４）。この処理により、量子化後の直交変換係数情報を生成し、逆直交変換部２１０８に供給する。
【０１７２】
その後、逆直交変換部２１０８は、逆量子化部２１０７から、量子化後の直交変換係数情報を取得し、所定の逆直交変換を行う（ステップＳ６０５）。この処理により、復号残差情報を生成し、加算部２１０６に供給する。
【０１７３】
また、動き補償部２１０５は、エントロピー復号部２１０４から動きベクトル情報および回転位相情報を取得する。また、動き補償部２１０５は、蓄積部２１０２から参照ピクチャを取得する。動き補償部２１０５は、取得した参照ピクチャ、動きベクトル情報および回転位相情報に基づいて、所定の動き補償処理を行う（ステップＳ６０６）。この処理により、順次、処理対象の領域の回転画像を生成し、対応する空間位置に格納することにより、予測ピクチャを生成する。その後、動き補償部２１０５は、生成した予測ピクチャを加算部２１０６に供給する。
【０１７４】
次に、加算部２１０６は、動き補償部２１０５から予測ピクチャを取得し、逆直交変換部２１０８から復号残差情報を取得し、取得した予測ピクチャに復号残差情報を加算することにより、復号ピクチャを生成する（ステップＳ６０７）。これを参照ピクチャとして蓄積部２１０２に供給する。
【０１７５】
その後、出力部２１０９は、蓄積部２１０２から復号ピクチャを取得し、出力部２１０９に接続されている外部の機器に対して、復号ピクチャを供給することにより、復号ピクチャを出力し、処理を完了する。
【０１７６】
以上のようなステップを経ることで、実施の形態４に係る復号動作が終了する。
【０１７７】
以上、実施の形態４によれば、符号化側において、効率よく回転に対応した動きベクトル情報を生成し、何度も回転画像を生成したり、複数の回転画像を用意したりして動き推定処理を行うことなく、動き推定処理の処理量を大幅に軽減した上で生成された符号化ビット列を取得し、それを正確に効率的に復号することができる。
【０１７８】
（実施の形態５）
上記実施の形態１〜４では、画像符号化装置１００および画像復号装置２１００を、主に、ハードウエアにより構成する例を説明したが、これに限らない。
【０１７９】
図２４は、実施の形態１〜４に係る画像符号化装置１００および画像復号装置２１００を、コンピュータを含む情報処理装置２２００によって構成する例を示すブロック図である。実施の形態５に係る情報処理装置２２００は、ＣＰＵに代表される中央処理制御装置２２０３、記録媒体や通信装置２２０６を介して、メモリに代表される一時記憶装置２２０５やＨＤＤに代表される外部記憶装置２２０４に格納された符号化プログラム、復号プログラムにより、上記実施形態１〜４の処理をソフトウェア処理により実行してもよい。
【０１８０】
また、本発明の実施の形態１〜５に係る画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および画像復号プログラムの適用される範囲は、動画像を符号化および復号する装置、方法、プログラム、システム等であればよく、特に限定されるものではない。例えば、ＴＶに代表される放送装置、携帯電話、スマートフォン、携帯型音楽プレーヤ、ゲーム装置、テレビ会議装置、監視装置、ＤＶＤ−Ｒ／ＲＷ、ＢＤ−Ｒ／ＲＷ、ＨＤＤ、ＳＤ、ホログラフィックメモリ等の追記および書き換え可能な記録媒体を利用した画像記録再生装置、デジタルカメラやカムコーダといった撮像記録再生装置、オーサリング等の画像記録編集装置、動画像の配信装置等に適用しても構わない。
【０１８１】
以上、本発明をいくつかの実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【０１８２】
上述した実施の形態１〜５では、符号化対象基準領域ごとに、回転運動を補償するための動き補償予測を用いる手法を説明した。この点、この回転運動を補償するための動き補償予測と、既存の平行移動による動き補償予測とを併用して用いてもよい。また、上述した実施の形態１〜５では、符号化対象ピクチャを所定の矩形形状に分割する際、当該矩形形状としてマクロブロックに分割する例を説明した。この点、マクロブロックに限定されず、Ｈ．２６４  ＡＶＣ等に規定されたマクロブロックパーティション、サブマクロブロック、サブマクロブロックパーティション等を用いてもよい。
【０１８３】
画像符号化装置１００の図示しない予測方法決定部は、回転運動を補償するための動き補償予測または平行移動を補償するための動き補償予測のどちらを、どの参照ピクチャを用いて、どのブロックサイズで符号化するかを選択することにより、予測方法を決定する。その際、予測方法を決定する基準として、たとえば、符号量と歪の関係を考慮したレート歪理論を用いることができる。
【符号の説明】
【０１８４】
１００  画像符号化装置、  １０１  入力部、  １０２  蓄積部、  １０３  動き推定部、  １０４  動き補償部、  １０５  減算部、  １０６  直交変換部、  １０７  量子化部、  １０８  エントロピー符号化部、  １０９  逆量子化部、  １１０  逆直交変換部、  １１１  加算部、  １１２  多重化部、  １１３  出力部、  １１４  符号化制御部、  １３１  撮像装置、  １３２  １４１  伝送装置、  １３３  １４２  記録装置、  １３４  １４３  記録媒体、  １３５  １４４  蓄積装置、  ４０１  第１基準領域特定部、  ４０２  第１基準領域取得部、  ４０３  第１代表輝度成分情報生成部、  ４０４  第１検出領域特定部、  ４０５  第１検出領域取得部、  ４０６  第２代表輝度成分情報生成部、  ４０７  第１傾き情報生成部、  ４０８  第１巡回蓄積部、  ４０９  第２基準領域特定部、  ４１０  第２基準領域取得部、  ４１１  第３代表輝度成分情報生成部、  ４１２  第２検出領域特定部、  ４１３  第２検出領域取得部、  ４１４  第４代表輝度成分情報生成部、  ４１５  第２傾き情報生成部、  ４１６  第２巡回蓄積部、  ４１７  位相制御部、  ４１８  誤差生成部、  ４１９  判定情報蓄積部、  ４２０  動きベクトル情報決定部、  ４２１  動き推定制御部、  ９０１  領域取得部、  ９０２  位相制御部、  ９０３  回転画像生成部、  ９０４  予測ピクチャ合成部、  ９０５  動き補償制御部、  ２１００  画像復号装置、  ２１０１  入力部、  ２１０２  蓄積部、  ２１０３  多重化分離部、  ２１０４  エントロピー復号部、  ２１０５  動き補償部、  ２１０６  加算部、  ２１０７  逆量子化部、  ２１０８  逆直交変換部、  ２１０９  出力部、  ２２００  情報処理装置、  ２２０１  入力装置、  ２２０２  出力装置、  ２２０３  中央処理制御装置、  ２２０４  外部記憶装置、  ２２０５  一時記憶装置、  ２２０６  通信装置、  ２２０７  高速接続バス。
【図２】
2012015686.tif 000003
【図３】
2012015686.tif 000004
【図４】
2012015686.tif 000005
【図５】
2012015686.tif 000006
【図８】
2012015686.tif 000007
【図１５】
2012015686.tif 000008
【図１６】
2012015686.tif 000009
【図１７】
2012015686.tif 000010
【図１８】
2012015686.tif 000011
【図１９】
2012015686.tif 000012
【図２０】
2012015686.tif 000013
【図２１】
2012015686.tif 000014
【図２３】
2012015686.tif 000015
【図２４】
2012015686.tif 000016
【図１】
2012015686.tif 000017
【図６】
2012015686.tif 000018
【図７】
2012015686.tif 000019
【図９】
2012015686.tif 000020
【図１０】
2012015686.tif 000021
【図１１】
2012015686.tif 000022
【図１２】
2012015686.tif 000023
【図１３】
2012015686.tif 000024
【図１４】
2012015686.tif 000025
【図２２】
2012015686.tif 000026