(57)【要約】【課題】矩形以外の様々な形状をとり得る分割方式でブロックが分割される場合に、適応的に基準画素位置を設定して動きベクトルを予測すること。【解決手段】画像内に設定されるブロックを、傾きを有する境界を含む複数の候補から選択される境界により、複数の領域に分割する分割部と、上記境界の傾きに応じて変化する基準画素位置に対応するブロック又は領域に設定された動きベクトルに基づいて、上記分割部により分割されるブロック内の各領域内の画素値の予測に使用すべき動きベクトルを予測する動きベクトル予測部と、を備える画像処理装置を提供する。【選択図】図２
2012023597.tif 000002
【特許請求の範囲】
【請求項１】
画像内に設定されるブロックを、傾きを有する境界を含む複数の候補から選択される境界により、複数の領域に分割する分割部と、
前記境界の傾きに応じて変化する基準画素位置に対応するブロック又は領域に設定された動きベクトルに基づいて、前記分割部により分割されるブロック内の各領域内の画素値の予測に使用すべき動きベクトルを予測する動きベクトル予測部と、
を備える画像処理装置。
【請求項２】
前記境界の傾きに応じて、前記基準画素位置を各領域に設定する基準画素設定部、をさらに備える、請求項１に記載の画像処理装置。
【請求項３】
前記基準画素設定部は、前記境界がブロックの互いに対角に位置する第１のコーナー又は第２のコーナーに重なる場合には、当該ブロックの各領域の前記基準画素位置を、前記第１のコーナー及び前記第２のコーナーとは異なる第３のコーナー又は第４のコーナー上に設定する、請求項２に記載の画像処理装置。
【請求項４】
前記第１のコーナーは、ブロックの左上のコーナーであり、
前記基準画素設定部は、前記境界が前記第１のコーナー及び前記第２のコーナーに重ならない場合には、前記第１のコーナーが属する第１の領域の前記基準画素位置を、前記第１のコーナー上に設定する、
請求項３に記載の画像処理装置。
【請求項５】
前記基準画素設定部は、前記境界が前記第１のコーナー及び前記第２のコーナーに重ならず、前記第１のコーナーが属しない第２の領域に前記第２のコーナーが属する場合には、前記第２の領域の前記基準画素位置を、前記第２のコーナー上に設定する、請求項４に記載の画像処理装置。
【請求項６】
前記動きベクトル予測部は、前記基準画素位置に対応する参照画像内のブロック又は領域に設定された動きベクトルに基づく予測式を用いて、動きベクトルを予測する、請求項１に記載の画像処理装置。
【請求項７】
前記動きベクトル予測部は、前記基準画素位置に対応する参照画像内のブロック又は領域に設定された動きベクトルと、前記基準画素位置に隣接する他のブロック又は領域に設定された動きベクトルとに基づく予測式を用いて、動きベクトルを予測する、請求項１に記載の画像処理装置。
【請求項８】
前記動きベクトル予測部は、前記基準画素位置に対応する参照画像内のブロック又は領域に設定された動きベクトルに基づく第１の予測式を用いて動きベクトルを予測し、前記基準画素位置に隣接する他のブロック又は領域に設定された動きベクトルに基づく第２の予測式を用いて動きベクトルを予測し、
前記動きベクトル予測部による予測結果に基づいて、前記第１の予測式及び前記第２の予測式を含む複数の予測式の候補から最良の符号化効率を達成する予測式を選択する選択部、
をさらに備える、
請求項１に記載の画像処理装置。
【請求項９】
画像を処理するための画像処理方法において、
画像内に設定されるブロックを、傾きを有する境界を含む複数の候補から選択される境界により、複数の領域に分割するステップと、
前記境界の傾きに応じて変化する基準画素位置に対応するブロック又は領域に設定された動きベクトルに基づいて、分割されたブロック内の各領域内の画素値の予測に使用すべき動きベクトルを予測するステップと、
を含む画像処理方法。
【請求項１０】
傾きを有する境界を含む複数の候補から選択される境界であって、画像の符号化の際に前記画像内のブロックを分割した前記境界の傾きを認識する境界認識部と、
前記境界の傾きに応じて変化する基準画素位置に対応するブロック又は領域に設定された動きベクトルに基づいて、前記境界により分割されたブロック内の各領域内の画素値の予測に使用すべき動きベクトルを設定する動きベクトル設定部と、
を備える画像処理装置。
【請求項１１】
前記境界認識部により認識される前記境界の傾きに応じて、前記基準画素位置を各領域に設定する基準画素設定部、をさらに備える、請求項１０に記載の画像処理装置。
【請求項１２】
前記基準画素設定部は、前記境界がブロックの互いに対角に位置する第１のコーナー又は第２のコーナーに重なる場合には、当該ブロックの各領域の前記基準画素位置を、前記第１のコーナー及び前記第２のコーナーとは異なる第３のコーナー又は第４のコーナー上に設定する、請求項１１に記載の画像処理装置。
【請求項１３】
前記第１のコーナーは、ブロックの左上のコーナーであり、
前記基準画素設定部は、前記境界が前記第１のコーナー及び前記第２のコーナーに重ならない場合には、前記第１のコーナーが属する第１の領域の前記基準画素位置を、前記第１のコーナー上に設定する、
請求項１２に記載の画像処理装置。
【請求項１４】
前記基準画素設定部は、前記境界が前記第１のコーナー及び前記第２のコーナーに重ならず、前記第１のコーナーが属しない第２の領域に前記第２のコーナーが属する場合には、前記第２の領域の前記基準画素位置を、前記第２のコーナー上に設定する、請求項１３に記載の画像処理装置。
【請求項１５】
前記動きベクトル設定部は、各領域と関連付けて取得される情報に基づいて、当該領域について符号化の際に選択された動きベクトルの予測式を特定する、請求項１０に記載の画像処理装置。
【請求項１６】
符号化の際に選択され得る前記予測式の候補は、前記基準画素位置に対応する参照画像内のブロック又は領域に設定された動きベクトルに基づく予測式を含む、請求項１５に記載の画像処理装置。
【請求項１７】
符号化の際に選択され得る前記予測式の候補は、前記基準画素位置に対応する参照画像内のブロック又は領域に設定された動きベクトルと、前記基準画素位置に隣接する他のブロック又は領域に設定された動きベクトルとに基づく予測式を含む、請求項１５に記載の画像処理装置。
【請求項１８】
画像を処理するための画像処理方法において、
傾きを有する境界を含む複数の候補から選択される境界であって、画像の符号化の際に前記画像内に設定されたブロックを分割した前記境界の傾きを認識するステップと、
前記境界の傾きに応じて変化する基準画素位置に対応するブロック又は領域に設定された動きベクトルに基づいて、前記境界により分割されたブロック内の各領域内の画素値の予測に使用すべき動きベクトルを設定するステップと、
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来、デジタル画像を効率的に伝送し又は蓄積することを目的とし、画像に特有の冗長性を利用して、例えば離散コサイン変換などの直交変換と動き補償とにより画像の情報量を圧縮する圧縮技術が普及している。例えば、ＩＴＵ−Ｔの策定したＨ．２６ｘ標準又はＭＰＥＧ（Moving  Picture  Experts  Group）の策定したＭＰＥＧ−ｙ標準などの標準技術に準拠した画像符号化装置及び画像復号化装置は、放送局による画像の蓄積及び配信、並びに一般ユーザによる画像の受信及び蓄積など、様々な場面で広く利用されている。
【０００３】
ＭＰＥＧ２（ISO/IEC  13818-2）は、汎用画像符号化方式として定義されたＭＰＥＧ−ｙ標準の１つである。ＭＰＥＧ２は、飛び越し走査（インターレース）画像及び順次走査（ノン・インターレース）画像の双方を扱うことが可能であり、標準解像度のデジタル画像に加えて、高精細画像をも対象としている。ＭＰＥＧ２は、現在、プロフェッショナル用途及びコンシューマー用途を含む広範なアプリケーションに広く用いられている。ＭＰＥＧ２によれば、例えば、７２０×４８０画素を持つ標準解像度の飛び越し走査画像には４〜８Ｍｂｐｓの符号量（ビットレート）、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像には１８〜２２Ｍｂｐｓの符号量を割り当てることで、高い圧縮率及び良好な画質を共に実現することができる。
【０００４】
ＭＰＥＧ２は、主として、放送の用途に適合する高画質符号化を目的としており、ＭＰＥＧ１よりも低い符号量（ビットレート）、即ちより高い圧縮率には対応するものではなかった。しかし、近年の携帯端末の普及により、高い圧縮率を可能とする符号化方式のニーズは高まっている。そこで、新たにＭＰＥＧ４符号化方式の標準化が進められた。ＭＰＥＧ４符号化方式の一部である画像符号化方式に関しては、１９９８年１２月に、その規格が国際標準（ISO/IEC  14496-2）として承認された。
【０００５】
Ｈ．２６ｘ標準（ITU-T  Q6/16  VCEG）は、当初、テレビ電話又はテレビ会議などの通信の用途に適合する符号化を目的として策定された標準規格である。Ｈ．２６ｘ標準は、ＭＰＥＧ−ｙ標準と比較して、符号化及び復号化により多くの演算量を要する一方、より高い圧縮率を実現できることが知られている。また、ＭＰＥＧ４の活動の一環としてのJoint  Model  of  Enhanced-Compression  Video  Codingでは、Ｈ．２６ｘ標準をベースとしながら新たな機能をも取り入れることで、より高い圧縮率を実現可能な標準規格が策定された。この標準規格は、２００３年３月に、Ｈ．２６４及びＭＰＥＧ−４  Ｐａｒｔ１０（Advanced  Video  Coding；ＡＶＣ）という名称で国際標準となった。
【０００６】
上述した画像符号化方式において重要な技術の１つは、動き補償である。一連の画像内で物体が大きく動いている場合、符号化対象画像と参照画像との差分も大きくなり、単純なフレーム間予測では高い圧縮率を得ることができない。しかし、物体の動きを認識し、動きが現れている領域の画素値をその動きに応じて補償することで、フレーム間予測による予測誤差が低減され、圧縮率が向上する。ＭＰＥＧ２において、動き補償は、フレーム動き補償モードの場合には１６×１６画素、フィールド動き補償モードの場合には第１フィールド及び第二フィールドのそれぞれに対して１６×８画素を処理単位として行われる。また、Ｈ．２６４／ＡＶＣにおいては、１６×１６画素のサイズを有するマクロブロックを１６×１６画素、１６×８画素、８×１６画素及び８×８画素のいずれかのサイズの領域（partition）に分割し、各領域に個別に動きベクトルを設定することができる。また、８×８画素の領域をさらに８×８画素、８×４画素、４×８画素及び４×４画素のいずれかのサイズの領域に分割し、各領域に動きベクトルを設定することもできる。
【０００７】
多くの場合、ある領域に設定される動きベクトルは、周囲のブロック又は領域に設定される動きベクトルと相関を有する。例えば、１つの動物体が一連の画像内で移動している場合、その動物体が映る範囲に属する複数の領域についての動きベクトルは、同じであるか、又は少なくとも類似するものとなる。また、ある領域に設定される動きベクトルは、時間方向の距離が近い参照画像内の対応する領域に設定される動きベクトルと相関を有する場合もある。そこで、ＭＰＥＧ４及びＨ．２６４／ＡＶＣなどの画像符号化方式は、このような動きの空間的相関又は時間的相関を利用して動きベクトルを予測し、予測された動きベクトルと実際の動きベクトルとの差分のみを符号化することにより、符号化される情報量の削減を図っている。また、下記非特許文献１は、動きの空間的相関及び時間的相関の双方を組み合わせて利用することを提案している。
【０００８】
動きベクトルの予測に際しては、符号化対象の領域と相関のある他のブロック又は領域を適切に選択することが求められる。その選択の基準となるのが、基準画素位置である。既存の画像符号化方式における動き補償の処理単位は、一般的に矩形の形状を有している。そのため、通常、矩形の左上若しくは右上又はその双方の画素位置が、動きベクトルの予測に際しての基準画素位置として選択され得る。
【０００９】
一方、画像内に現れる動物体の輪郭線は、水平及び垂直以外の傾きを有する場合が多い。そこで、そのような動物体と背景との間の動きの差異をより的確に動き補償に反映するために、下記非特許文献２は、図２５に示したように、ブロックの中心点からの距離ρと傾き角θとにより定まる境界によって、ブロックを斜めに分割することを提案している。図２５の例では、ブロックＢＬが、距離ρと傾き角θとにより定まる境界ＢＤによって、第１の領域（partition）ＰＴ１及び第２の領域ＰＴ２に分割されている。このような手法を、「ジオメトリ動き分割（geometry  motion  partitioning）」という。また、ジオメトリ動き分割によって形成される各領域を、ジオメトリ領域（geometry  partition）という。そして、ジオメトリ動き分割により形成されるジオメトリ領域ごとに、動き補償処理が行われ得る。
【先行技術文献】
【非特許文献】
【００１０】
【非特許文献１】Jungyoup  Yang,  Kwanghyun  Won,  Byeungwoo  Jeon，“Motion  Vector  Coding  with  Optimal  PMV  Selection”  (VCEG-AI22,  2008年7月)
【非特許文献２】Qualcomm  Inc.，  “Video  coding  technology  proposal  by  Qualcomm  Inc.”（JCTVC-A121,  2010年4月）
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、上述したジオメトリ動き分割のように、水平でも垂直でもない境界によってブロックを分割する場合、動き補償の処理単位である領域は、矩形以外の様々な形状をとり得る。例えば、図２６に示すブロックＢＬ１及びブロックＢＬ２は、境界ＢＤ１及び境界ＢＤ２により、非矩形である多角形のジオメトリ領域にそれぞれ分割されている。また、将来の画像符号化方式において、図２６に示すブロックＢＬ３及びブロックＢＬ４のように、曲線又は折れ線の境界（ＢＤ３、ＢＤ４）によりブロックを分割することも考えられる。これらの場合、例えば領域の左上又は右上などのように、一律的に基準画素位置を定義付けることは困難である。上記非特許文献２は、ジオメトリ動き分割における動きの空間的相関を利用した動きベクトルの予測についての一例を示しているが、非矩形領域において基準画素位置をどのように適応的に設定し得るかについては言及していない。
【００１２】
そこで、本発明は、矩形以外の様々な形状をとり得る分割方式でブロックが分割される場合に、適応的に基準画素位置を設定して動きベクトルを予測することのできる、画像処理装置及び画像処理方法を提供しようとするものである。
【課題を解決するための手段】
【００１３】
本発明のある実施形態によれば、画像内に設定されるブロックを、傾きを有する境界を含む複数の候補から選択される境界により、複数の領域に分割する分割部と、上記境界の傾きに応じて変化する基準画素位置に対応するブロック又は領域に設定された動きベクトルに基づいて、上記分割部により分割されるブロック内の各領域内の画素値の予測に使用すべき動きベクトルを予測する動きベクトル予測部と、を備える画像処理装置が提供される。
【００１４】
上記画像処理装置は、典型的には、画像を符号化する画像符号化装置として実現され得る。ここで、「基準画素位置に対応するブロック又は領域」とは、例えば、参照画像内の基準画素と同じ位置の画素（即ち、コロケーテッド（co-located）な画素）が属するブロック又は領域を含み得る。また、「基準画素位置に対応するブロック又は領域」とは、例えば、同じ画像内で基準画素に隣接する画素が属するブロック又は領域を含み得る。
【００１５】
また、上記境界の傾きに応じて、上記基準画素位置を各領域に設定する基準画素設定部、をさらに備えてもよい。
【００１６】
また、上記基準画素設定部は、上記境界がブロックの互いに対角に位置する第１のコーナー又は第２のコーナーに重なる場合には、当該ブロックの各領域の上記基準画素位置を、上記第１のコーナー及び上記第２のコーナーとは異なる第３のコーナー又は第４のコーナー上に設定してもよい。
【００１７】
また、上記第１のコーナーは、ブロックの左上のコーナーであり、上記基準画素設定部は、上記境界が上記第１のコーナー及び上記第２のコーナーに重ならない場合には、上記第１のコーナーが属する第１の領域の上記基準画素位置を、上記第１のコーナー上に設定してもよい。
【００１８】
また、上記基準画素設定部は、上記境界が上記第１のコーナー及び上記第２のコーナーに重ならず、上記第１のコーナーが属しない第２の領域に上記第２のコーナーが属する場合には、上記第２の領域の上記基準画素位置を、上記第２のコーナー上に設定してもよい。
【００１９】
また、上記動きベクトル予測部は、上記基準画素位置に対応する参照画像内のブロック又は領域に設定された動きベクトルに基づく予測式を用いて、動きベクトルを予測してもよい。
【００２０】
また、上記動きベクトル予測部は、上記基準画素位置に対応する参照画像内のブロック又は領域に設定された動きベクトルと、上記基準画素位置に隣接する他のブロック又は領域に設定された動きベクトルとに基づく予測式を用いて、動きベクトルを予測してもよい。
【００２１】
また、上記動きベクトル予測部は、上記基準画素位置に対応する参照画像内のブロック又は領域に設定された動きベクトルに基づく第１の予測式を用いて動きベクトルを予測し、上記基準画素位置に隣接する他のブロック又は領域に設定された動きベクトルに基づく第２の予測式を用いて動きベクトルを予測し、上記画像処理装置は、上記動きベクトル予測部による予測結果に基づいて、上記第１の予測式及び上記第２の予測式を含む複数の予測式の候補から最良の符号化効率を達成する予測式を選択する選択部、をさらに備えてもよい。
【００２２】
また、本発明の別の実施形態によれば、画像を処理するための画像処理方法において、画像内に設定されるブロックを、傾きを有する境界を含む複数の候補から選択される境界により、複数の領域に分割するステップと、上記境界の傾きに応じて変化する基準画素位置に対応するブロック又は領域に設定された動きベクトルに基づいて、分割されたブロック内の各領域内の画素値の予測に使用すべき動きベクトルを予測するステップと、を含む画像処理方法が提供される。
【００２３】
また、本発明の別の実施形態によれば、傾きを有する境界を含む複数の候補から選択される境界であって、画像の符号化の際に上記画像内のブロックを分割した上記境界の傾きを認識する境界認識部と、上記境界の傾きに応じて変化する基準画素位置に対応するブロック又は領域に設定された動きベクトルに基づいて、上記境界により分割されたブロック内の各領域内の画素値の予測に使用すべき動きベクトルを設定する動きベクトル設定部と、を備える画像処理装置が提供される。
【００２４】
上記画像処理装置は、典型的には、画像を復号化する画像復号化装置として実現され得る。
【００２５】
また、上記境界認識部により認識される上記境界の傾きに応じて、上記基準画素位置を各領域に設定する基準画素設定部、をさらに備えてもよい。
【００２６】
また、上記基準画素設定部は、上記境界がブロックの互いに対角に位置する第１のコーナー又は第２のコーナーに重なる場合には、当該ブロックの各領域の上記基準画素位置を、上記第１のコーナー及び上記第２のコーナーとは異なる第３のコーナー又は第４のコーナー上に設定してもよい。
【００２７】
また、上記第１のコーナーは、ブロックの左上のコーナーであり、上記基準画素設定部は、上記境界が上記第１のコーナー及び上記第２のコーナーに重ならない場合には、上記第１のコーナーが属する第１の領域の上記基準画素位置を、上記第１のコーナー上に設定してもよい。
【００２８】
また、上記基準画素設定部は、上記境界が上記第１のコーナー及び上記第２のコーナーに重ならず、上記第１のコーナーが属しない第２の領域に上記第２のコーナーが属する場合には、上記第２の領域の上記基準画素位置を、上記第２のコーナー上に設定してもよい。
【００２９】
また、上記動きベクトル設定部は、各領域と関連付けて取得される情報に基づいて、当該領域について符号化の際に選択された動きベクトルの予測式を特定してもよい。
【００３０】
また、符号化の際に選択され得る上記予測式の候補は、上記基準画素位置に対応する参照画像内のブロック又は領域に設定された動きベクトルに基づく予測式を含んでもよい。
【００３１】
また、符号化の際に選択され得る上記予測式の候補は、上記基準画素位置に対応する参照画像内のブロック又は領域に設定された動きベクトルと、上記基準画素位置に隣接する他のブロック又は領域に設定された動きベクトルとに基づく予測式を含んでもよい。
【００３２】
また、本発明の別の実施形態によれば、画像を処理するための画像処理方法において、傾きを有する境界を含む複数の候補から選択される境界であって、画像の符号化の際に上記画像内のブロックを分割した上記境界の傾きを認識するステップと、上記境界の傾きに応じて変化する基準画素位置に対応するブロック又は領域に設定された動きベクトルに基づいて、上記境界により分割されたブロック内の各領域内の画素値の予測に使用すべき動きベクトルを設定するステップと、を含む画像処理方法が提供される。
【発明の効果】
【００３３】
以上説明したように、本発明に係る画像処理装置及び画像処理方法によれば、矩形以外の様々な形状をとり得る分割方式でブロックが分割される場合に、適応的に基準画素位置を設定して動きベクトルを予測することができる。
【図面の簡単な説明】
【００３４】
【図１】一実施形態に係る画像符号化装置の構成の一例を示すブロック図である。
【図２】一実施形態に係る画像符号化装置の動き探索部の詳細な構成の一例を示すブロック図である。
【図３】ブロックの矩形領域への分割について説明するための第１の説明図である。
【図４】ブロックの矩形領域への分割について説明するための第２の説明図である。
【図５】ブロックの非矩形領域への分割について説明するための説明図である。
【図６】矩形領域に設定され得る基準画素位置について説明するための説明図である。
【図７】矩形領域における空間的予測について説明するための説明図である。
【図８】矩形領域における時間的予測について説明するための説明図である。
【図９】マルチ参照フレームについて説明するための説明図である。
【図１０】時間ダイレクトモードについて説明するための説明図である。
【図１１】非矩形領域に設定され得る基準画素位置について説明するための第１の説明図である。
【図１２】非矩形領域に設定され得る基準画素位置について説明するための第２の説明図である。
【図１３】非矩形領域に設定され得る基準画素位置について説明するための第３の説明図である。
【図１４】非矩形領域における空間的予測について説明するための説明図である。
【図１５】非矩形領域における時間的予測について説明するための説明図である。
【図１６】一実施形態に係る基準画素位置設定処理の流れの一例を示すフローチャートである。
【図１７】一実施形態に係る動き探索処理の流れの一例を示すフローチャートである。
【図１８】一実施形態に係る画像復号化装置の構成の一例を示すブロック図である。
【図１９】一実施形態に係る画像復号化装置の動き補償部の詳細な構成の一例を示すブロック図である。
【図２０】一実施形態に係る動き補償処理の流れの一例を示すフローチャートである。
【図２１】テレビジョン装置の概略的な構成の一例を示すブロック図である。
【図２２】携帯電話機の概略的な構成の一例を示すブロック図である。
【図２３】記録再生装置の概略的な構成の一例を示すブロック図である。
【図２４】撮像装置の概略的な構成の一例を示すブロック図である。
【図２５】ジオメトリ動き分割によるブロックの分割の一例を示す説明図である。
【図２６】ブロックの非矩形領域への分割の他の例を示す説明図である。
【発明を実施するための形態】
【００３５】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。
【００３６】
また、以下の順序にしたがって当該「発明を実施するための形態」を説明する。
１．一実施形態に係る画像符号化装置の構成例
２．一実施形態に係る符号化時の処理の流れ
３．一実施形態に係る画像復号化装置の構成例
４．一実施形態に係る復号化時の処理の流れ
５．応用例
６．まとめ
【００３７】
＜１．一実施形態に係る画像符号化装置の構成例＞
［１−１．全体的な構成例］
図１は、本発明の一実施形態に係る画像符号化装置１０の構成の一例を示すブロック図である。図１を参照すると、画像符号化装置１０は、Ａ／Ｄ（Analogue  to  Digital）変換部１１、並べ替えバッファ１２、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８、逆量子化部２１、逆直交変換部２２、加算部２３、デブロックフィルタ２４、フレームメモリ２５、セレクタ２６、イントラ予測部３０、動き探索部４０、及びモード選択部５０を備える。
【００３８】
Ａ／Ｄ変換部１１は、アナログ形式で入力される画像信号をデジタル形式の画像データに変換し、一連のデジタル画像データを並べ替えバッファ１２へ出力する。
【００３９】
並べ替えバッファ１２は、Ａ／Ｄ変換部１１から入力される一連の画像データに含まれる画像を並べ替える。並べ替えバッファ１２は、符号化処理に係るＧＯＰ（Group  of  Pictures）構造に応じて画像を並べ替えた後、並べ替え後の画像データを減算部１３、イントラ予測部３０及び動き探索部４０へ出力する。
【００４０】
減算部１３には、並べ替えバッファ１２から入力される画像データ、及び後に説明するモード選択部５０により選択される予測画像データが供給される。減算部１３は、並べ替えバッファ１２から入力される画像データとモード選択部５０から入力される予測画像データとの差分である予測誤差データを算出し、算出した予測誤差データを直交変換部１４へ出力する。
【００４１】
直交変換部１４は、減算部１３から入力される予測誤差データについて直交変換を行う。直交変換部１４により実行される直交変換は、例えば、離散コサイン変換（Discrete  Cosine  Transform：ＤＣＴ）又はカルーネン・レーベ変換などであってよい。直交変換部１４は、直交変換処理により取得される変換係数データを量子化部１５へ出力する。
【００４２】
量子化部１５には、直交変換部１４から入力される変換係数データ、及び後に説明するレート制御部１８からのレート制御信号が供給される。量子化部１５は、変換係数データを量子化し、量子化後の変換係数データ（以下、量子化データという）を可逆符号化部１６及び逆量子化部２１へ出力する。また、量子化部１５は、レート制御部１８からのレート制御信号に基づいて量子化パラメータ（量子化スケール）を切り替えることにより、可逆符号化部１６に入力される量子化データのビットレートを変化させる。
【００４３】
可逆符号化部１６には、量子化部１５から入力される量子化データ、及び、後に説明するイントラ予測部３０又は動き探索部４０により生成されモード選択部５０により選択されるイントラ予測又はインター予測に関する情報が供給される。イントラ予測に関する情報は、例えば、ブロックごとの最適なイントラ予測モードを示す予測モード情報を含み得る。また、インター予測に関する情報は、例えば、各ブロックを分割した境界を特定する分割情報、各領域について動きベクトルの予測のために使用された予測式を特定する予測式情報、差分動きベクトル情報、及び参照画像情報などを含み得る。
【００４４】
可逆符号化部１６は、量子化データについて可逆符号化処理を行うことにより、符号化ストリームを生成する。可逆符号化部１６による可逆符号化は、例えば、可変長符号化、又は算術符号化などであってよい。また、可逆符号化部１６は、上述したイントラ予測に関する情報又はインター予測に関する情報を、符号化ストリームのヘッダ（例えばブロックヘッダ又はスライスヘッダなど）内に多重化する。そして、可逆符号化部１６は、生成した符号化ストリームを蓄積バッファ１７へ出力する。
【００４５】
蓄積バッファ１７は、可逆符号化部１６から入力される符号化ストリームを半導体メモリなどの記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ１７は、蓄積した符号化ストリームを、伝送路（又は画像符号化装置１０からの出力線）の帯域に応じたレートで出力する。
【００４６】
レート制御部１８は、蓄積バッファ１７の空き容量を監視する。そして、レート制御部１８は、蓄積バッファ１７の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を量子化部１５へ出力する。例えば、レート制御部１８は、蓄積バッファ１７の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部１８は、蓄積バッファ１７の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。
【００４７】
逆量子化部２１は、量子化部１５から入力される量子化データについて逆量子化処理を行う。そして、逆量子化部２１は、逆量子化処理により取得される変換係数データを、逆直交変換部２２へ出力する。
【００４８】
逆直交変換部２２は、逆量子化部２１から入力される変換係数データについて逆直交変換処理を行うことにより、予測誤差データを復元する。そして、逆直交変換部２２は、復元した予測誤差データを加算部２３へ出力する。
【００４９】
加算部２３は、逆直交変換部２２から入力される復元された予測誤差データとモード選択部５０から入力される予測画像データとを加算することにより、復号化画像データを生成する。そして、加算部２３は、生成した復号化画像データをデブロックフィルタ２４及びフレームメモリ２５へ出力する。
【００５０】
デブロックフィルタ２４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタリング処理を行う。デブロックフィルタ２４は、加算部２３から入力される復号化画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号化画像データをフレームメモリ２５へ出力する。
【００５１】
フレームメモリ２５は、加算部２３から入力される復号化画像データ、及びデブロックフィルタ２４から入力されるフィルタリング後の復号化画像データを記憶媒体を用いて記憶する。
【００５２】
セレクタ２６は、イントラ予測のために使用されるフィルタリング前の復号化画像データをフレームメモリ２５から読み出し、読み出した復号化画像データを参照画像データとしてイントラ予測部３０に供給する。また、セレクタ２６は、インター予測のために使用されるフィルタリング後の復号化画像データをフレームメモリ２５から読み出し、読み出した復号化画像データを参照画像データとして動き探索部４０に供給する。
【００５３】
イントラ予測部３０は、並べ替えバッファ１２から入力される符号化対象の画像データ、及びセレクタ２６を介して供給される復号化画像データに基づいて、Ｈ．２６４／ＡＶＣにより規定されている各イントラ予測モードのイントラ予測処理を行う。例えば、イントラ予測部３０は、各イントラ予測モードによる予測結果を所定のコスト関数を用いて評価する。そして、イントラ予測部３０は、コスト関数値が最小となるイントラ予測モード、即ち圧縮率が最も高くなるイントラ予測モードを、最適なイントラ予測モードとして選択する。さらに、イントラ予測部３０は、当該最適なイントラ予測モードを示す予測モード情報、予測画像データ、及びコスト関数値などのイントラ予測に関する情報を、モード選択部５０へ出力する。さらに、イントラ予測部３０は、並べ替えバッファ１２から入力される符号化対象の画像データ、及びセレクタ２６を介して供給される復号化画像データに基づいて、Ｈ．２６４／ＡＶＣにより規定されている各イントラ予測モードよりもサイズの大きいブロックでイントラ予測処理を行ってもよい。その場合にも、イントラ予測部３０は、各イントラ予測モードによる予測結果を所定のコスト関数を用いて評価し、最適なイントラ予測モードについてのイントラ予測に関する情報をモード選択部５０へ出力する。
【００５４】
動き探索部４０は、並べ替えバッファ１２から入力される符号化対象の画像データ、及びフレームメモリ２５から供給される参照画像データとしての復号化画像データ基づいて、画像内に設定される各ブロックを対象として動き探索処理を行う。
【００５５】
より具体的には、動き探索部４０は、各ブロックを、複数の境界の候補によって複数の領域にそれぞれ分割する。ブロックを分割する境界の候補は、例えばＨ．２６４／ＡＶＣにおける水平方向又は垂直方向に沿った境界に加えて、図２５及び図２６に例示したような傾きを有する境界を含む。そして、動き探索部４０は、参照画像の画素値と各領域内の原画像の画素値とに基づいて、各領域についての動きベクトルを算出する。
【００５６】
また、動き探索部４０は、各領域についての基準画素位置を境界の傾きに応じて適応的に設定する。そして、動き探索部４０は、設定した基準画素位置に対応するブロック又は領域について既に算出した動きベクトルに基づいて、符号化対象の領域内の画素値の予測に使用すべき動きベクトルを領域ごとに予測する。動きベクトルの予測は、複数の予測式の候補についてそれぞれ行われ得る。複数の予測式の候補は、例えば、空間的相関若しくは時間的相関又はその双方を利用する予測式を含み得る。従って、動き探索部４０は、境界の候補と予測式の候補との組合せごとに、各領域の動きベクトルを予測する。そして、動き探索部４０は、所定のコスト関数に従ったコスト関数値が最小となる（即ち、圧縮率が最も高くなる）境界と予測式との組合せを、最適な組合せとして選択する。
【００５７】
このような動き探索部４０による探索処理について、後に分割の具体的な例を挙げてさらに説明する。動き探索部４０は、動き探索処理の結果として、最適な境界を特定する分割情報、最適な予測式を特定する予測式情報、差分動きベクトル情報、及びコスト関数値などのインター予測に関する情報と、予測画像データとを、モード選択部５０へ出力する。
【００５８】
モード選択部５０は、イントラ予測部３０から入力されるイントラ予測に関するコスト関数値と動き探索部４０から入力されるインター予測に関するコスト関数値とを比較する。そして、モード選択部５０は、イントラ予測及びインター予測のうちコスト関数値がより少ない予測手法を選択する。モード選択部５０は、イントラ予測を選択した場合には、イントラ予測に関する情報を可逆符号化部１６へ出力すると共に、予測画像データを減算部１３及び加算部２３へ出力する。また、モード選択部５０は、インター予測を選択した場合には、インター予測に関する上述した情報を可逆符号化部１６へ出力すると共に、予測画像データを減算部１３及び加算部２３へ出力する。
【００５９】
［１−２．動き探索部の構成例］
図２は、図１に示した画像符号化装置１０の動き探索部４０の詳細な構成の一例を示すブロック図である。図２を参照すると、動き探索部４０は、分割部４１、動きベクトル算出部４２、基準画素設定部４３、動きベクトルバッファ４４、動きベクトル予測部４５、選択部４６、及び動き補償部４７を有する。
【００６０】
分割部４１は、画像内に設定されるブロックを、傾きを有する境界を含む複数の候補から選択される境界により、複数の領域に分割する。
【００６１】
分割部４１は、例えば、図３及び図４に示すように、画像内に設定されるブロックを傾きのない水平方向又は垂直方向に沿った境界の候補によって分割してもよい。この場合、分割により形成される各領域は、矩形領域となる。図３の例では、１６×１６画素の最大マクロブロックは、水平の境界により１６×８画素の２つのブロックに分割され得る。また、１６×１６画素の最大マクロブロックは、垂直な境界により８×１６画素の２つのブロックに分割され得る。また、１６×１６画素の最大マクロブロックは、水平の境界及び垂直の境界により８×８画素の４つのブロックに分割され得る。さらに、８×８画素のマクロブロックは、８×４画素の２つのサブマクロブロック、４×８画素の２つのサブマクロブロック、又は４×４画素の４つのサブマクロブロックに分割され得る。また、分割部４１は、例えば、図４に示したように、Ｈ．２６４／ＡＶＣによりサポートされる１６×１６画素の最大マクロブロックよりも大きい、拡張されたサイズ（例えば６４×６４画素）を有するブロックを矩形領域に分割してもよい。
【００６２】
また、分割部４１は、例えば、図５に示したように、画像内に設定されるブロックを傾きを有する境界の候補によって分割する。この場合、分割により形成される各領域は、非矩形領域となり得る。図５の例では、傾きを有する境界により分割される１０通りのブロックＢＬ１１〜ＢＬ１５、ＢＬ２１〜ＢＬ２５が示されている。なお、ジオメトリ動き分割においては、傾きを有する境界のブロック内での位置及び傾きは、距離ρ及び傾き角θにより特定される（図２５参照）。分割部４１は、例えば、距離ρ及び傾き角θの値の候補を離散的にいくつか指定する。この場合、指定された距離ρ及び傾き角θの組合せにより特定される境界が、ブロックを分割する境界の候補となる。図５の例では、分割により形成される各領域の形状は、三角形、台形、又は五角形である。
【００６３】
分割部４１は、このような複数の候補としての境界（即ち、複数の分割のパターン）でブロックを分割し、それら候補としての境界を特定する分割情報を、動きベクトル算出部４２及び基準画素設定部４３へ出力する。分割情報は、例えば、矩形分割又はジオメトリ動き分割のいずれかを指定する分割モード情報、並びに境界の位置と傾きとを指定する境界パラメータ（例えば、上述した距離ρ及び傾き角θ）を含み得る。
【００６４】
動きベクトル算出部４３は、分割部４１から入力される分割情報により特定される各領域について、原画像の画素値、及びフレームメモリ２５から入力される参照画像の画素値に基づいて、動きベクトルを算出する。動きベクトルの算出に際しては、動きベクトル算出部４３は、例えば、隣り合う画素間の中間的な画素値を線型内挿処理により補間し、１／２画素精度で動きベクトルを算出してもよい。また、動きベクトル算出部４３は、例えば、６タップのＦＩＲフィルタを用いてさらに中間的な画素値を補間し、１／４画素精度で動きベクトルを算出してもよい。動きベクトル算出部４３は、算出した動きベクトルを、動きベクトル予測部４５へ出力する。
【００６５】
基準画素設定部４３は、ブロックを分割した境界の傾きに応じて、各ブロック内の各領域の基準画素位置を設定する。例えば、基準画素設定部４３は、傾きのない水平方向又は垂直方向に沿った境界によりブロックが分割される場合には、分割により形成される矩形領域の左上及び右上の画素位置を、動きベクトルの予測のための基準画素位置として設定する。一方、基準画素設定部４３は、ジオメトリ動き分割の場合のように、傾きを有する境界によりブロックが分割される場合には、分割により形成される非矩形領域に、境界の傾きに応じて適応的に基準画素位置を設定する。基準画素設定部４３により設定される基準画素位置について、後に例を挙げてさらに説明する。
【００６６】
動きベクトルバッファ４４は、動きベクトル予測部４５による動きベクトル予測処理において参照される参照動きベクトルを、記憶媒体を用いて一時的に記憶する。動きベクトル予測処理において参照される動きベクトルとは、符号化済みの参照画像内のブロック又は領域に設定された動きベクトル、及び符号化対象の画像内の他のブロック又は領域に設定された動きベクトルを含み得る。
【００６７】
動きベクトル予測部４５は、基準画素設定部４３により設定される基準画素位置に対応するブロック又は領域に設定された動きベクトルに基づいて、分割部４１により分割されるブロック内の各領域内の画素値の予測に使用すべき動きベクトルを予測する。ここで、上述したように、「基準画素位置に対応するブロック又は領域」とは、例えば、基準画素に隣接する画素が属するブロック又は領域を含み得る。また、「基準画素位置に対応するブロック又は領域」とは、例えば、参照画像内の基準画素と同じ位置の画素が属するブロック又は領域を含み得る。
【００６８】
動きベクトル予測部４５は、ある１つの領域について、複数の予測式の候補を用いて、複数の動きベクトルを予測してもよい。例えば、第１の予測式は動きの空間的相関を利用する予測式であり、第２の予測式は動きの時間的相関を利用する予測式であってよい。また、第３の予測式として、動きの空間的相関と時間的相関の双方を利用する予測式が使用されてもよい。動きの空間的相関を利用する場合、動きベクトル予測部４５は、例えば、動きベクトルバッファ４４に記憶されている、基準画素位置に隣接する他のブロック又は領域に設定された参照動きベクトルを参照する。また、動きの時間的相関を利用する場合、動きベクトル予測部４５は、例えば、動きベクトルバッファ４４に記憶されている、基準画素位置とコロケーテッドな参照画像内のブロック又は領域に設定された参照動きベクトルを参照する。動きベクトル予測部４５が使用し得る予測式について、後に例を挙げてさらに説明する。
【００６９】
動きベクトル予測部４５は、ある境界に係る領域について１つの予測式を用いて予測動きベクトルを算出すると、動きベクトル算出部４２により算出された動きベクトルと当該予測動きベクトルとの差分を表す差分動きベクトルを算出する。そして、動きベクトル予測部４５は、上記境界を特定する分割情報及び上記予測式を特定する予測式情報と関連付けて、算出した差分動きベクトル及び参照画像情報を、選択部４６へ出力する。
【００７０】
選択部４６は、動きベクトル予測部４５から入力される分割情報、予測式情報及び差分動きベクトルを用いて、コスト関数値を最小にする最適な境界と最適な予測式との組合せを選択する。そして、選択部４６は、選択した最適な境界を特定する分割情報、最適な予測式を特定する予測式情報、対応する差分動きベクトル情報、参照画像情報、及び対応するコスト関数値などを、動き補償部４７へ出力する。
【００７１】
動き補償部４７は、選択部４６により選択された最適な境界、最適な予測式、差分動きベクトル、及びフレームメモリ２５から入力される参照画像データを用いて、予測画像データを生成する。そして、動き補償部４７は、生成した予測画像データ、並びに、選択部４６から入力された分割情報、予測式情報、差分動きベクトル情報及びコスト関数値などのインター予測に関する情報を、モード選択部５０へ出力する。また、動き補償部４７は、予測画像データの生成に用いた動きベクトル、即ち各領域に最終的に設定した動きベクトルを、動きベクトルバッファ４４に記憶させる。
【００７２】
［１−３．動きベクトル予測処理の説明］
次に、上述した動きベクトル予測部４３による動きベクトル予測処理についてより具体的に説明する。
【００７３】
（１）矩形領域での動きベクトルの予測
（１−１）基準画素位置
図６は、矩形領域に設定され得る基準画素位置について説明するための説明図である。図６を参照すると、境界により分割されていない矩形ブロック（１６×１６画素）、及び、水平又は垂直な境界によりそれぞれ分割された矩形領域が示されている。基準画素設定部４３は、これら矩形領域については、動きベクトルの予測のための基準画素位置を、各領域内の左上若しくは右上又はその双方に一律的に設定する。図６においては、これら基準画素位置が、斜線の網掛けにより示されている。なお、Ｈ．２６４／ＡＶＣでは、８×１６画素の領域の基準画素位置は、ブロック内で左側の領域については左上、ブロック内で右側の領域については右上に設定される。
【００７４】
（１−２）空間的予測
図７は、矩形領域における空間的予測について説明するための説明図である。図７を参照すると、１つの矩形領域ＰＴｅに設定され得る２つの基準画素位置ＰＸ１及びＰＸ２が示されている。動きの空間的相関を利用する予測式は、例えば、これら基準画素位置ＰＸ１及びＰＸ２に隣接する他のブロック又は領域に設定された動きベクトルを入力とする。なお、本明細書において、「隣接する」という用語は、例えば、２つのブロック、領域又は画素が辺を共有する場合のみならず、頂点を共有する場合をも含むものとする。
【００７５】
例えば、基準画素位置ＰＸ１の左の画素が属するブロックＢＬａに設定された動きベクトルをＭＶａとする。また、基準画素位置ＰＸ１の上の画素が属するブロックＢＬｂに設定された動きベクトルをＭＶｂとする。また、基準画素位置ＰＸ２の右上の画素が属するブロックＢＬｃに設定された動きベクトルをＭＶｃとする。これら動きベクトルＭＶａ、ＭＶｂ及びＭＶｃは、既に符号化済みである。符号化対象のブロック内の矩形領域ＰＴｅについての予測動きベクトルＰＭＶｅは、次のような予測式を用いて、動きベクトルＭＶａ、ＭＶｂ及びＭＶｃから算出され得る。
【００７６】
【数１】
2012023597.tif 000003
【００７７】
ここで、式（１）におけるｍｅｄはメディアンオペレーションを表す。即ち、式（１）によれば、予測動きベクトルＰＭＶｅは、動きベクトルＭＶａ、ＭＶｂ及びＭＶｃの水平成分の中央値と垂直成分の中央値とを成分とするベクトルである。なお、上記式（１）は、空間的相関を利用する予測式の一例に過ぎない。例えば、符号化対象のブロックが画像の端部に位置するために、動きベクトルＭＶａ、ＭＶｂ又はＭＶｃのいずれかが存在しない場合には、存在しない動きベクトルは、メディアンオペレーションの引数から省略されてもよい。また、例えば、符号化対象のブロックが画像の右端に位置する場合には、動きベクトルＭＶｃの代わりに、図７に示したブロックＢＬｄに設定された動きベクトルが使用されてもよい。
【００７８】
なお、予測動きベクトルＰＭＶｅは、プレディクタ（predictor）とも呼ばれる。特に、式（１）のように、動きの空間的相関を利用する予測式によって算出される予測動きベクトルを、空間的プレディクタ（spatial  predictor）という。一方、次項で説明する動きの時間的相関を利用する予測式によって算出される予測動きベクトルを、時間的プレディクタ（temporal  predictor）という。
【００７９】
動きベクトル予測部４５は、このように予測動きベクトルＰＭＶｅを決定した後、次式のように、動きベクトル算出部４２により算出された動きベクトルＭＶｅと予測動きベクトルＰＭＶｅとの差分を表す差分動きベクトルＭＶＤｅを算出する。
【００８０】
【数２】
2012023597.tif 000004
【００８１】
動き探索部４０からインター予測に関する情報の１つとして出力される差分動きベクトル情報は、この差分動きベクトルＭＶＤｅを表す。そして、差分動きベクトル情報は、可逆符号化部１６により符号化され、画像を復号化する装置へ伝送され得る。
【００８２】
（１−３）時間的予測
図８は、矩形領域における時間的予測について説明するための説明図である。図８を参照すると、符号化対象領域ＰＴｅを含む符号化対象画像ＩＭ０１、及び参照画像ＩＭ０２が示されている。参照画像ＩＭ０２内のブロックＢＬｃｏｌは、参照画像ＩＭ０２内で基準画素位置ＰＸ１又はＰＸ２と共通する位置の画素を含む、いわゆるコロケーテッドブロックである。動きの時間的相関を利用する予測式は、例えば、このコロケーテッドブロックＢＬｃｏｌ又はコロケーテッドブロックＢＬｃｏｌに隣接するブロック（又は領域）に設定された動きベクトルを入力とする。
【００８３】
例えば、コロケーテッドブロックＢＬｃｏｌに設定された動きベクトルをＭＶｃｏｌとする。また、コロケーテッドブロックＢＬｃｏｌの上、左、下、右、左上、左下、右下及び右上のブロックに設定された動きベクトルを、それぞれＭＶｔ０〜ＭＶｔ７とする。これら動きベクトルＭＶｃｏｌ及びＭＶｔ０〜ＭＶｔ７は、既に符号化済みである。この場合、予測動きベクトルＰＭＶｅは、例えば、次の予測式（３）又は（４）を用いて、動きベクトルＭＶｃｏｌ及びＭＶｔ０〜ＭＶｔ７から算出され得る。
【００８４】
【数３】
2012023597.tif 000005
【００８５】
また、動きの空間的相関及び時間的相関の双方を利用する次のような予測式が用いられてもよい。なお、動きベクトルルＭＶａ、ＭＶｂ及びＭＶｃは、基準画素位置ＰＸ１又はＰＸ２に隣接するブロックに設定された動きベクトルである。
【００８６】
【数４】
2012023597.tif 000006
【００８７】
この場合にも、動きベクトル予測部４５は、予測動きベクトルＰＭＶｅを決定した後、動きベクトル算出部４２により算出された動きベクトルＭＶｅと予測動きベクトルＰＭＶｅとの差分を表す差分動きベクトルＭＶＤｅを算出する。そして、境界と予測式との最適な組合せに係る差分動きベクトルＭＶＤｅを表す差分動きベクトル情報が、動き探索部４０から出力され、可逆符号化部１６により符号化され得る。
【００８８】
なお、図８の例では１つの符号化対象画像ＩＭ０１について１つの参照画像ＩＭ０２のみを示しているが、１つの符号化対象画像ＩＭ０１内で領域ごとに異なる参照画像が使用されてもよい。図９の例では、符号化対象画像ＩＭ０１内の領域ＰＴｅ１の動きベクトルの予測の際に参照される参照画像はＩＭ０２１であり、領域ＰＴｅ２の動きベクトルの予測の際に参照される参照画像はＩＭ０２２である。このような参照画像の設定手法を、マルチ参照フレーム（Multi-Reference  Frame）という。
【００８９】
（２）ダイレクトモード
なお、動きベクトル情報の情報量の増加に伴う圧縮率の低下を回避するために、Ｈ．２６４／ＡＶＣは、主にＢピクチャを対象として、いわゆるダイレクトモードを導入している。ダイレクトモードにおいては、動きベクトル情報は符号化されず、符号化済みのブロックの動きベクトル情報から符号化対象のブロックの動きベクトル情報が生成される。ダイレクトモードは、空間ダイレクトモード（Spatial  Direct  Mode）、及び時間ダイレクトモード（Temporal  Direct  Mode）を含み、例えばスライスごとにこれら２つのモードが切り替えられ得る。本実施形態においても、このようなダイレクトモードが利用されてよい。
【００９０】
例えば、空間ダイレクトモードにおいては、符号化対象の領域についての動きベクトルＭＶｅは、上述した予測式（１）を用いて、次式のように決定され得る。
【００９１】
【数５】
2012023597.tif 000007
【００９２】
図１０は、時間ダイレクトモードについて説明するための説明図である。図１０において、符号化対象画像ＩＭ０１のＬ０参照ピクチャである参照画像ＩＭＬ０、及び符号化対象画像ＩＭ０１のＬ１参照ピクチャである参照画像ＩＭＬ１が示されている。参照画像ＩＭＬ０内のブロックＢＬｃｏｌは、符号化対象画像ＩＭ０１内の符号化対象領域ＰＴｅのコロケーテッドブロックである。ここで、コロケーテッドブロックＢＬｃｏｌに設定された動きベクトルをＭＶｃｏｌとする。また、符号化対象画像ＩＭ０１と参照画像ＩＭＬ０との間の時間軸上の距離をＴＤＢ、参照画像ＩＭＬ０と参照画像ＩＭＬ１との間の時間軸上の距離をＴＤＤとする。すると、時間ダイレクトモードにおいては、符号化対象領域ＰＴｅについての動きベクトルＭＶＬ０及びＭＶＬ１は、次式のように決定され得る。
【００９３】
【数６】
2012023597.tif 000008
【００９４】
なお、時間軸上の距離を表す指標として、ＰＯＣ（Picture  Order  Count）が使用されてもよい。このようなダイレクトモードの利用の有無は、例えば、ブロック単位で指定され得る。
【００９５】
（３）非矩形領域での動きベクトルの予測
上述したように、矩形領域については、例えば左上又は右上の画素というように、基準画素位置を一律的に定義付けることができる。これに対し、ジオメトリ動き分割の場合のように、傾きを有する境界によりブロックが分割される場合には、分割により形成される非矩形領域の形状が様々であることから、基準画素位置を適応的に設定することが望ましい。
【００９６】
（３−１）基準画素位置
図１１〜図１３は、非矩形領域に設定され得る基準画素位置について説明するための説明図である。図１１に示した５つのブロックＢＬ１１〜ＢＬ１５は、図５に示した１０個のブロックのうち、境界が左上のコーナーに位置する画素Ｐａ及び右下のコーナーに位置する画素Ｐｂの一方又は双方に重なっているブロックである。境界が直線であれば、この場合、分割により形成される２つの領域の一方は右上のコーナーに位置する画素Ｐｃを含み、他方は左下のコーナーに位置する画素Ｐｄを含む。そこで、図１１に例示したケースにおいては、基準画素設定部４３は、各領域の基準画素位置を、画素Ｐｃ及び画素Ｐｄの位置にそれぞれ設定する。図１１の例では、ブロックＢＬ１１の領域ＰＴ１１ａの基準画素位置は画素Ｐｃの位置に設定されている。ブロックＢＬ１１の領域ＰＴ１１ｂの基準画素位置は画素Ｐｄの位置に設定されている。同様に、ブロックＢＬ１２の領域ＰＴ１２ａの基準画素位置は画素Ｐｃの位置に設定されている。ブロックＢＬ１２の領域ＰＴ１２ｂの基準画素位置は画素Ｐｄの位置に設定されている。なお、ブロックの形状の対象性から、基準画素設定部４３は、例えば、境界が右上のコーナー及び左下のコーナーの少なくとも一方に重なる場合に、各領域の基準画素位置を、左上のコーナー及び右下のコーナーにそれぞれ設定してもよい。
【００９７】
図１２に示した５つのブロックＢＬ２１〜ＢＬ２５は、図５に示した１０個のブロックのうち、境界が左上のコーナー及び右下のコーナーのいずれにも重なっていないブロックである。この場合、基準画素設定部４３は、例えば、左上のコーナーが属する第１の領域の基準画素位置を、左上のコーナー上に設定する。図１２の例では、ブロックＢＬ２１の領域ＰＴ２１ａの基準画素位置は画素Ｐａの位置に設定されている。同様に、ブロックＢＬ２２の領域ＰＴ２２ａ、ブロックＢＬ２３の領域ＰＴ２３ａ、ブロックＢＬ２４の領域ＰＴ２４ａ、及びブロックＢＬ２５の領域ＰＴ２５ａの基準画素位置もまた、それぞれ画素Ｐａの位置に設定されている。
【００９８】
また、基準画素設定部４３は、境界が左上のコーナー及び右下のコーナーのいずれにも重なっておらず、左上のコーナーが属する第１の領域ではない第２の領域に右下のコーナーが属する場合には、第２の領域の基準画素位置を、右下のコーナー上に設定する。図１３を参照すると、ブロックＢＬ２１の領域ＰＴ２１ｂの基準画素位置は画素Ｐｂの位置に設定されている。同様に、ブロックＢＬ２２の領域ＰＴ２２ｂ、及びブロックＢＬ２３の領域ＰＴ２３ｂの基準画素位置もまた、それぞれ画素Ｐｂの位置に設定されている。
【００９９】
さらに、基準画素設定部４３は、第２の領域に右下のコーナーが属さず、第２の領域に右上のコーナーが属する場合には、第２の領域の基準画素位置を、右上のコーナー上に設定する。図１３を参照すると、ブロックＢＬ２４の領域ＰＴ２４ｂの基準画素位置は、画素Ｐｃの位置に設定されている。そして、ここまでのいずれのケースに該当しない場合には、基準画素設定部４３は、第２の領域の基準画素位置を、左下のコーナー上に設定する。図１３を参照すると、ブロックＢＬ２５の領域ＰＴ２５ｂの基準画素位置は、画素Ｐｄの位置に設定されている。
【０１００】
（３−２）空間的予測
図１４は、図１１〜図１３に例示したような非矩形領域における、空間的予測について説明するための説明図である。図１４を参照すると、符号化対象ブロックＢＬｅ内の各領域の基準画素位置として設定され得る４つの画素位置Ｐａ〜Ｐｄが示されている。また、画素位置Ｐａに、ブロックＮＢａ及びＮＢｂが隣接している。画素位置Ｐｃには、ブロックＮＢｃ及びＮＢｅが隣接している。画素位置Ｐｄには、ブロックＮＢｆが隣接している。非矩形領域についての動きの空間的相関を利用する予測式は、例えば、基準画素位置Ｐａ〜Ｐｄに隣接するこれら隣接ブロック（又は領域）ＮＢａ〜ＮＢｆに設定された動きベクトルを入力とする予測式であってよい。
【０１０１】
式（９）及び式（１０）は、それぞれ、基準画素位置が左上のコーナー（画素位置Ｐａ）である領域についての予測動きベクトルＰＭＶｅを予測するための予測式の一例である。なお、動きベクトルＭＶｎｉ（ｉ＝ａ，ｂ，…，ｆ）は、隣接ブロックＮＢｉに設定された動きベクトルを表す。
【０１０２】
【数７】
2012023597.tif 000009
【０１０３】
式（９）及び式（１０）は、最も単純な予測式の一例である。しかし、予測式として、他の式が使用されてもよい。例えば、領域が左上及び右上のコーナーを共に含む場合には、図７を用いて説明した矩形領域についての空間的予測と同様に、隣接ブロックＮＢａ、ＮＢｂ及びＮＢｃに設定された動きベクトルに基づく予測式が使用されてもよい。この場合の予測式は、式（１）と同様である。
【０１０４】
なお、基準画素位置が右下のコーナー（画素位置Ｐｂ）である領域については、隣接ブロックが符号化済みでないため、隣接ブロック（又は領域）に設定された動きベクトルを使用することができない。この場合には、動きベクトル予測部４５は、空間的相関に基づく予測動きベクトルをゼロベクトルとしてもよい。
【０１０５】
（３−３）時間的予測
図１５は、非矩形領域における時間的予測について説明するための説明図である。図１５を参照すると、符号化対象ブロックＢＬｅ内の各領域の基準画素位置として設定され得る４つの画素位置Ｐａ〜Ｐｄが示されている。基準画素位置が画素位置Ｐａである場合、参照画像内のコロケーテッドブロックはブロックＢＬｃｏｌ＿ａとなる。基準画素位置が画素位置Ｐｂである場合、参照画像内のコロケーテッドブロックはブロックＢＬｃｏｌ＿ｂとなる。基準画素位置が画素位置Ｐｃである場合、参照画像内のコロケーテッドブロックはブロックＢＬｃｏｌ＿ｃとなる。基準画素位置が画素位置Ｐｄである場合、参照画像内のコロケーテッドブロックはブロックＢＬｃｏｌ＿ｄとなる。動きベクトル予測部４５は、基準画素設定部４３により設定される基準画素位置に応じて、このようにコロケーテッドブロック（又はコロケーテッド領域）ＢＬｃｏｌを認識する。また、動きベクトル予測部４５は、例えば、図８を用いて説明したように、コロケーテッドブロック（又はコロケーテッド領域）ＢＬｃｏｌに隣接するブロック又は領域をさらに認識する。そして、動きベクトル予測部４５は、基準画素位置に対応するこれら参照画像内のブロック又は領域に設定された動きベクトルＭＶｃｏｌ及びＭＶｔ０〜ＭＶｔ７（図８参照）を用いて、動きの時間的相関を利用する予測式に従って、予測動きベクトルを算出することができる。この場合の予測式は、例えば、式（３）及び式（４）と同様であってよい。
【０１０６】
（３−４）時空間的予測
また、動きベクトル予測部４５は、非矩形領域についても、動きの空間的相関及び時間的相関の双方を利用する予測式を用いてよい。その場合には、動きベクトル予測部４５は、図１４を用いて説明した隣接ブロック（又は隣接領域）に設定された動きベクトルと、図１５を用いて説明した参照画像内のコロケーテッドブロック（又はコロケーテッド領域）に設定された動きベクトルとに基づく予測式を使用することができる。この場合の予測式は、例えば、式（５）と同様であってよい。
【０１０７】
（４）予測式の選択
上述したように、動きベクトル予測部４５は、動きベクトルの予測（予測動きベクトルの算出）に際して、空間的相関を利用する予測式、時間的相関を利用する予測式、及び時空間的相関を利用する予測式を、予測式の候補として使用し得る。また、動きベクトル予測部４５は、例えば、時間的相関を利用する予測式として複数の予測式の候補を使用してもよい。動きベクトル予測部４５は、このように、分割部４１により設定される複数の境界の候補の各々について、さらに複数の予測式の候補ごとに、各領域についての予測動きベクトルを算出する。そして、選択部４６は、境界の候補と予測式の候補との各組合せをコスト関数値により評価し、圧縮率が最も高くなる（最良の符号化効率を達成する）最適な組合せを選択する。その結果、例えば、画像内に設定されるブロックごとに、ブロックを分割する境界が変化すると共に、当該ブロックに適用される予測式もまた適応的に切り替えられ得る。
【０１０８】
＜２．一実施形態に係る符号化時の処理の流れ＞
次に、図１６及び図１７を用いて、符号化時の処理の流れを説明する。
【０１０９】
［２−１．動き探索処理］
図１６は、本実施形態に係る動き探索部４０による動き探索処理の流れの一例を示すフローチャートである。
【０１１０】
図１６を参照すると、まず、分割部４１は、傾きを有する境界を含む複数の境界の候補により、画像内に設定されるブロックを複数の領域に分割する（ステップＳ１００）。例えば、第１の境界の候補は、Ｈ．２６４／ＡＶＣにおける水平方向又は垂直方向に沿った境界であり、第１の境界の候補によって、各ブロックは複数の矩形領域に分割され得る。また、例えば、第２の境界の候補は、ジオメトリ動き分割による傾きを有する境界（斜めの境界）であり、第２の境界の候補によって、各ブロックは複数の非矩形領域に分割され得る。
【０１１１】
次に、動きベクトル算出部４２は、参照画像の画素値と各領域内の原画像の画素値とに基づいて、各領域についての動きベクトルを算出する（ステップＳ１１０）。
【０１１２】
次に、基準画素設定部４４は、ブロックを分割した境界の傾きに応じて、各領域に基準画素位置を設定する（ステップＳ１２０）。なお、基準画素設定部４４による基準画素位置設定処理の流れについては、後により詳細に説明する。
【０１１３】
次に、動きベクトル予測部４５は、分割部４１により分割されたブロック内の各領域内の画素値の予測に使用すべき動きベクトルを、領域ごとに複数の予測式の候補を用いて予測する（ステップＳ１４０）。例えば、第１の予測式の候補は、上述した空間的相関を利用する予測式である。第２の予測式の候補は、上述した時間的相関を利用する予測式である。第３の予測式の候補は、上述した空間的相関及び時間的相関の双方を利用する予測式である。ここで、例えば、時間的相関を利用する予測式を使用するためには、符号化対象の領域と同じ位置の（即ち、コロケーテッドな）参照画像内のブロック又は領域を特定できることが重要である。本実施形態では、動きベクトル予測部４５は、コロケーテッドなブロック又は領域を、境界の傾きに応じて変化する基準画素位置に基づいて特定し得る。そのため、例えば、分割により様々な形状の領域が形成され得るジオメトリ動き分割のような分割方式が使用される場合にも、動きの時間的相関を利用する動きベクトルの予測が可能である。
【０１１４】
次に、動きベクトル予測部４５は、候補としての境界と予測式との組合せごとに、動きベクトル算出部４２により算出された動きベクトルと予測動きベクトルとの差分を表す差分動きベクトルを算出する（ステップＳ１５０）。
【０１１５】
次に、選択部４６は、動きベクトル予測部４５による予測結果に基づいて、境界と予測式との各組合せについてのコスト関数値を評価し、最良の符号化効率を達成する境界と予測式との組合せを選択する（ステップＳ１６０）。選択部４６に用いられるコスト関数は、例えば、原画像及び復号化後の画像の間の差分エネルギーと発生する符号量とに基づく関数であってよい。
【０１１６】
次に、動き補償部４７は、選択部４６により選択された最適な境界及び最適な予測式を用いて、符号化対象ブロック内の画素に関する予測画素値を算出し、予測画素データを生成する（ステップＳ１７０）。
【０１１７】
そして、動き補償部４７は、インター予測に関する情報と予測画素データとをモード選択部５０へ出力する（ステップＳ１８０）。インター予測に関する情報には、例えば、最適な境界を特定する分割情報、最適な予測式を特定する予測式情報、対応する差分動きベクトル情報、参照画像情報、及び対応するコスト関数値などが含まれ得る。なお、最終的に各ブロック内の各領域に設定された動きベクトルは、参照動きベクトルとして動きベクトルバッファ４４により記憶される。
【０１１８】
［２−２．基準画素位置設定処理］
図１７は、図１６のステップＳ１２０の処理に相当する、本実施形態に係る基準画素位置設定処理の流れの一例を示すフローチャートである。
【０１１９】
図１７を参照すると、まず、基準画素設定部４３は、ブロックを分割する候補としての境界が傾きを有するか否かを判定する（ステップＳ１２１）。例えば、境界が水平又は垂直である場合には、基準画素設定部４３は、境界が傾きを有しないと判定する。その場合には、処理はステップＳ１２２へ進む。また、境界が水平又は垂直でない場合には、基準画素設定部４３は、境界が傾きを有すると判定する。その場合には、処理はステップＳ１２３へ進む。
【０１２０】
ステップＳ１２２では、基準画素設定部４３は、既存のＨ．２６４／ＡＶＣなどの画像符号化方式の例のように、図６に例示したように、各領域の左上又は右上のコーナーを基準画素位置として設定する（ステップＳ１２２）。
【０１２１】
ステップＳ１２３に処理が進んだ場合、各領域は、非矩形領域である。この場合、基準画素設定部４３は、ブロックを分割する候補としての境界が、ブロックの互いに対角に位置する第１のコーナー及び第２のコーナーの少なくとも一方に重なるか否かを判定する（ステップＳ１２３）。第１のコーナー及び第２のコーナーの位置は、例えば、図１１に例示した画素位置Ｐａ及びＰｂにそれぞれ相当し得る。その代わりに、第１のコーナー及び第２のコーナーの位置は、例えば、図１１に例示した画素位置Ｐｃ及びＰｄであってもよい。なお、本明細書において、「コーナーに重なる」という表現は、境界がブロックの頂点を通る場合のみならず、ブロックのコーナーに位置する画素上を境界が通過する場合も含むものとする。
【０１２２】
ステップＳ１２３において、境界が第１及び第２のコーナーの少なくとも一方に重なると判定される場合には、基準画素設定部４３は、図１１に例示したように、２つの領域の基準画素位置を、第１のコーナー及び第２のコーナーとは異なる第３のコーナー及び第４のコーナー上にそれぞれ設定する（ステップＳ１２４）。
【０１２３】
ステップＳ１２３において、境界が第１及び第２のコーナーのいずれにも重ならないと判定される場合には、基準画素設定部４３は、図１２に例示したように、第１のコーナーが属する第１の領域の基準画素位置を、第１のコーナー上に設定する（ステップＳ１２５）。
【０１２４】
次に、基準画素設定部４３は、第１のコーナーが属しない第２の領域に第２のコーナーが属するか否かを判定する（ステップＳ１２６）。
【０１２５】
ステップＳ１２６において、第１のコーナーが属しない第２の領域に第２のコーナーが属すると判定される場合には、基準画素設定部４３は、図１３のブロックＢＬ２１〜ＢＬ２３の例のように、第２の領域の基準画素位置を第２のコーナー上に設定する（ステップＳ１２７）。
【０１２６】
ステップＳ１２６において、第１のコーナーが属しない第２の領域に第２のコーナーが属しないと判定される場合には、基準画素設定部４３は、当該第２の領域に第３のコーナーが属するか否かをさらに判定する（ステップＳ１２８）。
【０１２７】
ステップＳ１２８において、第２の領域に第３のコーナーが属すると判定される場合には、基準画素設定部４３は、第２の領域の基準画素位置を第３のコーナー上に設定する（ステップＳ１２９）。
【０１２８】
ステップＳ１２８において、第２の領域に第３のコーナーが属しないと判定される場合には、基準画素設定部４３は、第２の領域の基準画素位置を第４のコーナー上に設定する（ステップＳ１３０）。
【０１２９】
このような基準画素位置設定処理により、ジオメトリ動き分割などのように、動き補償の処理単位である領域が矩形以外の様々な形状をとり得る場合であっても、各領域に適応的に基準画素位置を設定することができる。
【０１３０】
＜３．一実施形態に係る画像復号化装置の構成例＞
本節では、図１８及び図１９を用いて、本発明の一実施形態に係る画像復号化装置の構成例について説明する。
【０１３１】
［３−１．全体的な構成例］
図１８は、本発明の一実施形態に係る画像復号化装置６０の構成の一例を示すブロック図である。図１８を参照すると、画像復号化装置６０は、蓄積バッファ６１、可逆復号化部６２、逆量子化部６３、逆直交変換部６４、加算部６５、デブロックフィルタ６６、並べ替えバッファ６７、Ｄ／Ａ（Digital  to  Analogue）変換部６８、フレームメモリ６９、セレクタ７０及び７１、イントラ予測部８０、並びに動き補償部９０を備える。
【０１３２】
蓄積バッファ６１は、伝送路を介して入力される符号化ストリームを記憶媒体を用いて一時的に蓄積する。
【０１３３】
可逆復号化部６２は、蓄積バッファ６１から入力される符号化ストリームを、符号化の際に使用された符号化方式に従って復号化する。また、可逆復号化部６２は、符号化ストリームのヘッダ領域に多重化されている情報を復号化する。符号化ストリームのヘッダ領域に多重化されている情報とは、例えば、ブロックヘッダ内のイントラ予測に関する情報及びインター予測に関する情報を含み得る。可逆復号化部６２は、イントラ予測に関する情報をイントラ予測部８０へ出力する。また、可逆復号化部６２は、インター予測に関する情報を動き補償部９０へ出力する。
【０１３４】
逆量子化部６３は、可逆復号化部６２による復号化後の量子化データを逆量子化する。逆直交変換部６４は、符号化の際に使用された直交変換方式に従い、逆量子化部６３から入力される変換係数データについて逆直交変換を行うことにより、予測誤差データを生成する。そして、逆直交変換部６４は、生成した予測誤差データを加算部６５へ出力する。
【０１３５】
加算部６５は、逆直交変換部６４から入力される予測誤差データと、セレクタ７１から入力される予測画像データとを加算することにより、復号化画像データを生成する。そして、加算部６５は、生成した復号化画像データをデブロックフィルタ６６及びフレームメモリ６９へ出力する。
【０１３６】
デブロックフィルタ６６は、加算部６５から入力される復号化画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号化画像データを並べ替えバッファ６７及びフレームメモリ６９へ出力する。
【０１３７】
並べ替えバッファ６７は、デブロックフィルタ６６から入力される画像を並べ替えることにより、時系列の一連の画像データを生成する。そして、並べ替えバッファ６７は、生成した画像データをＤ／Ａ変換部６８へ出力する。
【０１３８】
Ｄ／Ａ変換部６８は、並べ替えバッファ６７から入力されるデジタル形式の画像データをアナログ形式の画像信号に変換する。そして、Ｄ／Ａ変換部６８は、例えば、画像復号化装置６０と接続されるディスプレイ（図示せず）にアナログ画像信号を出力することにより、画像を表示させる。
【０１３９】
フレームメモリ６９は、加算部６５から入力されるフィルタリング前の復号化画像データ、及びデブロックフィルタ６６から入力されるフィルタリング後の復号化画像データを記憶媒体を用いて記憶する。
【０１４０】
セレクタ７０は、可逆復号化部６２により取得されるモード情報に応じて、画像内のブロックごとに、フレームメモリ７０からの画像データの出力先をイントラ予測部８０と動き補償部９０との間で切り替える。例えば、セレクタ７０は、イントラ予測モードが指定された場合には、フレームメモリ７０から供給されるフィルタリング前の復号化画像データを参照画像データとしてイントラ予測部８０へ出力する。また、セレクタ７０は、インター予測モードが指定された場合には、フレームメモリ７０から供給されるフィルタリング後の復号化画像データを参照画像データとして動き補償部９０へ出力する。
【０１４１】
セレクタ７１は、可逆復号化部６２により取得されるモード情報に応じて、画像内のブロックごとに、加算部６５へ供給すべき予測画像データの出力元をイントラ予測部８０と動き補償部９０との間で切り替える。例えば、セレクタ７１は、イントラ予測モードが指定された場合には、イントラ予測部８０から出力される予測画像データを加算部６５へ供給する。セレクタ７１は、インター予測モードが指定された場合には、動き補償部９０から出力される予測画像データを加算部６５へ供給する。
【０１４２】
イントラ予測部８０は、可逆復号化部６２から入力されるイントラ予測に関する情報とフレームメモリ６９からの参照画像データとに基づいて画素値の画面内予測を行い、予測画像データを生成する。そして、イントラ予測部８０は、生成した予測画像データをセレクタ７１へ出力する。
【０１４３】
動き補償部９０は、可逆復号化部６２から入力されるインター予測に関する情報とフレームメモリ６９からの参照画像データとに基づいて動き補償処理を行い、予測画像データを生成する。そして、動き補償部９０は、生成した予測画像データをセレクタ７１へ出力する。
【０１４４】
［３−２．動き補償部の構成例］
図１９は、図１８に示した画像復号化装置６０の動き補償部９０の詳細な構成の一例を示すブロック図である。図１９を参照すると、動き補償部９０は、境界認識部９１、基準画素設定部９２、差分符号化部９３、動きベクトル設定部９４、動きベクトルバッファ９５及び予測部９６を有する。
【０１４５】
境界認識部９１は、画像の符号化の際に画像内のブロックを分割した境界の傾きを認識する。かかる境界は、傾きを有する境界を含む複数の候補から選択される境界である。より具体的には、境界認識部９１は、まず、可逆復号化部６２から入力されるインター予測に関する情報に含まれる分割情報を取得する。分割情報は、例えば、画像符号化装置１０において圧縮率の観点から最適であると判定された境界を特定する情報である。分割情報は、上述したように、例えば、矩形分割又はジオメトリ動き分割のいずれかを指定する分割モード情報、並びに境界の位置と傾きとを指定する境界パラメータ（例えば、上述した距離ρ及び傾き角θ）を含み得る。そして、境界認識部９１は、取得した分割情報を参照し、各ブロックを分割した境界の傾きを認識する。
【０１４６】
基準画素設定部９２は、境界認識部９１により認識される境界の傾きに応じて、ブロック内の各領域に基準画素位置を設定する。基準画素設定部９２による基準画素位置設定処理は、図１７に例示した画像符号化装置１０の基準画素設定部４３による処理と同様であってよい。そして、基準画素設定部９２は、設定した基準画素位置を動きベクトル設定部９４に通知する。
【０１４７】
差分復号化部９３は、可逆復号化部６２から入力されるインター予測に関する情報に含まれる差分動きベクトル情報に基づいて、各領域について符号化の際に算出された差分動きベクトルを復号化する。そして、差分復号化部９３は、差分動きベクトルを、動きベクトル設定部９４へ出力する。
【０１４８】
動きベクトル設定部９４は、基準画素設定部９２により設定される基準画素位置に対応するブロック又は領域に設定された動きベクトルに基づいて、分割されたブロック内の各領域内の画素値の予測に使用すべき動きベクトルを設定する。より具体的には、動きベクトル設定部９４は、まず、可逆復号化部６２から入力されるインター予測に関する情報に含まれる予測式情報を取得する。予測式情報は、各領域と関連付けて取得され得る。予測式情報は、例えば、空間的相関を利用した予測式、時間的相関を利用した予測式、並びに空間的相関及び時間的相関の双方を利用した予測式のうち、符号化の際に選択された予測式を特定する。次に、動きベクトル設定部９４は、基準画素設定部９２により設定された基準画素位置に対応する、符号化対象の画像内又は参照画像内の符号化済みのブロック若しくは領域に設定された動きベクトルを、参照動きベクトルとして取得する。そして、動きベクトル設定部９４は、予測式情報が特定する予測式に参照動きベクトルを代入し、予測動きベクトルを算出する。さらに、動きベクトル設定部９４は、算出した予測動きベクトルに、差分復号化部９３から入力される差分動きベクトルを加算して動きベクトルを算出する。動きベクトル設定部９４は、このように算出される動きベクトルを、各領域に設定する。また、動きベクトル設定部９４は、各領域に設定した動きベクトルを、動きベクトルバッファ９５へ出力する。
【０１４９】
動きベクトルバッファ９５は、動きベクトル設定部９４による動きベクトル設定処理において参照される動きベクトルを、記憶媒体を用いて一時的に記憶する。動きベクトルバッファ９５において参照される動きベクトルとは、復号化済みの参照画像内のブロック又は領域に設定された動きベクトル、及び符号化対象の画像内の他のブロック又は領域に設定された動きベクトルを含み得る。
【０１５０】
予測部９６は、境界認識部９１により認識される境界により分割されたブロック内の領域ごとに、動きベクトル設定部９４により設定される動きベクトル及び参照画像情報、並びにフレームメモリ６９から入力される参照画像データを用いて、予測画素値を生成する。そして、予測部９３は、生成した予測画素値を含む予測画像データをセレクタ７１へ出力する。
【０１５１】
＜４．一実施形態に係る復号化時の処理の流れ＞
次に、図２０を用いて、復号化時の処理の流れを説明する。図２０は、本実施形態に係る画像復号化装置６０の動き補償部９０による動き補償処理の流れの一例を示すフローチャートである。
【０１５２】
図２０を参照すると、まず、画像符号化装置６０の境界認識部９１は、画像の符号化の際に画像内のブロックを分割した境界の傾きを、可逆復号化部６２から入力されるインター予測に関する情報に含まれる分割情報から認識する（ステップＳ２００）。
【０１５３】
次に、基準画素設定部９２は、境界認識部９１により認識された境界の傾きに応じて、各領域に基準画素位置を設定する（ステップＳ２１０）。なお、基準画素設定部９２による基準画素位置設定処理の流れは、図１７に例示した画像符号化装置１０の基準画素設定部４３による処理と同様であってよい。
【０１５４】
次に、差分復号化部９３は、可逆復号化部６２から入力されるインター予測に関する情報に含まれる差分動きベクトル情報に基づいて、差分動きベクトルを取得する（ステップＳ２２０）。そして、差分復号化部９３は、取得した差分動きベクトルを、動きベクトル設定部９４へ出力する。
【０１５５】
次に、動きベクトル設定部９４は、基準画素設定部９２により設定された基準画素位置に対応するブロック又は領域に設定された動きベクトルである参照動きベクトルを、動きベクトルバッファ９５から取得する（ステップＳ２３０）。
【０１５６】
次に、動きベクトル設定部９４は、可逆復号化部６２から入力されるインター予測に関する情報に含まれる予測式情報から、予測動きベクトルの算出のために使用すべき予測式を認識する（ステップＳ２４０）。
【０１５７】
次に、動きベクトル設定部９４は、予測式情報から認識した予測式に参照動きベクトルを代入することにより、各領域についての予測動きベクトルを算出する（ステップＳ２５０）。
【０１５８】
次に、動きベクトル設定部９４は、算出した予測動きベクトルに差分復号化部９３から入力された差分動きベクトルを加算することにより、各領域についての動きベクトルを算出する（ステップＳ２６０）。動きベクトル設定部９４は、このように領域ごとに動きベクトルを算出し、算出した動きベクトルを各領域に設定する。
【０１５９】
次に、予測部９４は、動きベクトル設定部９４により設定された動きベクトル及び参照画像情報、並びにフレームメモリ６９から入力される参照画像データを用いて、予測画素値を生成する（ステップ２７０）。
【０１６０】
次に、予測部９４は、生成した予測画素値を含む予測画像データをセレクタ７１へ出力する（ステップＳ２８０）。
【０１６１】
＜５．応用例＞
上述した実施形態に係る画像符号化装置１０及び画像復号化装置６０は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
【０１６２】
［５−１．第１の応用例］
図２１は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
【０１６３】
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
【０１６４】
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからＥＰＧ（Electronic  Program  Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
【０１６５】
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号化する。そして、デコーダ９０４は、復号化処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号化処理により生成される音声データを音声信号処理部９０７へ出力する。
【０１６６】
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのＧＵＩ（Graphical  User  Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
【０１６７】
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はＯＬＥＤなど）の映像面上に映像又は画像を表示する。
【０１６８】
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてＤ／Ａ変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
【０１６９】
外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号化されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
【０１７０】
制御部９１０は、ＣＰＵ（Central  Processing  Unit）などのプロセッサ、並びにＲＡＭ（Random  Access  Memory）及びＲＯＭ（Read  Only  Memory）などのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、プログラムデータ、ＥＰＧデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
【０１７１】
ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
【０１７２】
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
【０１７３】
このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号化装置６０の機能を有する。それにより、テレビジョン装置９００において、矩形以外の様々な形状をとり得る分割方式でブロックが分割される場合にも、適応的に基準画素位置を設定して動きベクトルを予測することにより、圧縮率を高めると共に、復号化後の画質を向上させることができる。
【０１７４】
［５−２．第２の応用例］
図２２は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
【０１７５】
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
【０１７６】
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
【０１７７】
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをＡ／Ｄ変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号化して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０１７８】
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号化して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
【０１７９】
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
【０１８０】
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記憶再生部９２９の記憶媒体に記憶させる。
【０１８１】
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号化してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号化し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０１８２】
このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置１０及び画像復号化装置６０の機能を有する。それにより、携帯電話機９２０において、矩形以外の様々な形状をとり得る分割方式でブロックが分割される場合にも、適応的に基準画素位置を設定して動きベクトルを予測することにより、圧縮率を高めると共に、復号化後の画質を向上させることができる。
【０１８３】
［５−３．第３の応用例］
図２３は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号化する。
【０１８４】
記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、ＨＤＤ（Hard  Disk  Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen  Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
【０１８５】
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。
【０１８６】
外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。
【０１８７】
エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
【０１８８】
ＨＤＤ９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
【０１８９】
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）又はＢｌｕ−ｒａｙ（登録商標）ディスクなどであってよい。
【０１９０】
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、ＨＤＤ９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
【０１９１】
デコーダ９４７は、符号化ビットストリームを復号化し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
【０１９２】
ＯＳＤ９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を重畳してもよい。
【０１９３】
制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
【０１９４】
ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
【０１９５】
このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１０の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号化装置６０の機能を有する。それにより、記録再生装置９４０において、矩形以外の様々な形状をとり得る分割方式でブロックが分割される場合にも、適応的に基準画素位置を設定して動きベクトルを予測することにより、圧縮率を高めると共に、復号化後の画質を向上させることができる。
【０１９６】
［５−４．第４の応用例］
図２４は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
【０１９７】
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
【０１９８】
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、及び制御部９７０を相互に接続する。
【０１９９】
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤ又はＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
【０２００】
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
【０２０１】
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号化し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
【０２０２】
ＯＳＤ９６９は、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。
【０２０３】
外部インタフェース９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、ＬＡＮ又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。
【０２０４】
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はＳＳＤ（Solid  State  Drive）のような非可搬性の記憶部が構成されてもよい。
【０２０５】
制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
【０２０６】
ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
【０２０７】
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１０及び画像復号化装置６０の機能を有する。それにより、撮像装置９６０において、矩形以外の様々な形状をとり得る分割方式でブロックが分割される場合にも、適応的に基準画素位置を設定して動きベクトルを予測することにより、圧縮率を高めると共に、復号化後の画質を向上させることができる。
【０２０８】
＜６．まとめ＞
ここまで、図１〜図２６を用いて、本発明の一実施形態に係る画像符号化装置１０及び画像復号化装置６０について説明した。本実施形態によれば、傾きを有する境界を含む複数の候補から選択される境界によりブロックが分割され得る画像符号化方式において、画像の符号化の際には、上記境界の傾きに応じて各領域の基準画素位置が適応的に設定され、その基準画素位置に対応するブロック又は領域に設定された動きベクトルに基づいて、各領域内の画素値の予測に使用すべき動きベクトルが予測される。それにより、動き補償の処理単位が矩形領域以外の様々な形状をとり得る場合にも、動きの空間的相関若しくは時間的相関又はその双方を利用して、動きベクトルを効果的に予測することができる。その結果、画像の圧縮率を高めることが可能であり、復号化後の画質も向上され得る。
【０２０９】
また、本実施形態によれば、境界がブロックの互いに対角に位置する第１のコーナー及び第２のコーナーの少なくとも一方に重なるか否かによって、設定される基準画素位置が変化する。一般的に、画像内に設定されるブロックの形状は矩形であるため、ブロックの分割により形成される各領域の基準画素位置を、このような基準によって適応的に設定することが可能である。
【０２１０】
また、本実施形態によれば、適応的に設定された基準画素位置に対応する参照画像内のコロケーテッドなブロック又は領域を決定することができる。それにより、例えばジオメトリ動き分割のような分割方式においても、動きベクトルを予測する際に、空間的相関を利用する予測式のみならず、時間的相関を利用する予測式、又は空間的相関及び時間的相関の双方を利用する予測式を用いることが可能となる。また、これら予測式の間で最適な予測式をブロックごとに切り替えて使用することも可能となる。それにより、画像の圧縮率及び／又は画質のさらなる向上が期待され得る。
【０２１１】
なお、本明細書では、イントラ予測に関する情報及びインター予測に関する情報が、符号化ストリームのヘッダに多重化されて、符号化側から復号化側へ伝送される例について主に説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号化時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
【０２１２】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０２１３】
１０      画像符号化装置（画像処理装置）
４１      分割部
４３      基準画素設定部
４５      動きベクトル予測部
４６      選択部
６０      画像復号化装置（画像処理装置）
９１      境界認識部
９２      基準画素設定部
９４      動きベクトル設定部
【図１】
2012023597.tif 000010
【図２】
2012023597.tif 000011
【図３】
2012023597.tif 000012
【図４】
2012023597.tif 000013
【図５】
2012023597.tif 000014
【図６】
2012023597.tif 000015
【図７】
2012023597.tif 000016
【図８】
2012023597.tif 000017
【図９】
2012023597.tif 000018
【図１０】
2012023597.tif 000019
【図１１】
2012023597.tif 000020
【図１２】
2012023597.tif 000021
【図１３】
2012023597.tif 000022
【図１４】
2012023597.tif 000023
【図１５】
2012023597.tif 000024
【図１６】
2012023597.tif 000025
【図１７】
2012023597.tif 000026
【図１８】
2012023597.tif 000027
【図１９】
2012023597.tif 000028
【図２０】
2012023597.tif 000029
【図２１】
2012023597.tif 000030
【図２２】
2012023597.tif 000031
【図２３】
2012023597.tif 000032
【図２４】
2012023597.tif 000033
【図２５】
2012023597.tif 000034
【図２６】
2012023597.tif 000035