(57)【要約】本技術は、多視点符号化における符号化効率を改善することができるようにする画像処理装置および方法に関する。予測ベクトル生成部は、処理対象の領域の周辺にある周辺領域の動き視差ベクトルを用いて、予測ベクトルを生成する。その際、視差ベクトルの予測ベクトルを求める場合であって、かつ、周辺領域が全て参照不可のとき、予測ベクトル生成部は、視差検出部から供給される視差の最小値または視差の最大値のどちらかを、予測ベクトルとする。本開示は、例えば、画像処理装置に適用することができる。
2012176684.tif 000002
【特許請求の範囲】
【請求項１】
ビットストリームを復号して、画像を生成する復号部と、
前記復号部により生成された前記画像の復号対象の領域の視差ベクトルを予測する際に、前記領域の周辺にある周辺領域がすべて参照不可の場合、前記ビットストリームから得られる前記画像および前記画像と視差が異なる同一時刻のビュー画像の画像間の視差の範囲の上限の値または下限の値を、予測ベクトルとして決定する予測ベクトル決定部と、
前記予測ベクトル決定部により決定された前記予測ベクトルを用いて、前記復号部により生成された前記画像の予測画像を生成する予測画像生成部と
を備える画像処理装置。
【請求項２】
前記画像間の視差の範囲の上限の値または下限の値は、前記画像間の視差の最大値または最小値である
請求項１に記載の画像処理装置。
【請求項３】
前記復号は、前記画像間の視差の範囲の上限の値および下限の値のうち、どの値を前記予測ベクトルとして用いるかを示すフラグを受け取り、
前記予測ベクトル決定部は、前記復号により受け取られたフラグに示される値を、前記予測ベクトルとして決定する
請求項１に記載の画像処理装置。
【請求項４】
前記予測ベクトル生成部は、前記画像間の視差の範囲の上限の値、下限の値、および平均値のいずれか１つを、前記予測ベクトルとして決定する
請求項１に記載の画像処理装置。
【請求項５】
前記予測ベクトル生成部は、前記画像間の視差の範囲の上限の値、下限の値、および前記画像間の視差の範囲内の所定の値のいずれか１つを、前記予測ベクトルとして決定する
請求項１に記載の画像処理装置。
【請求項６】
前記予測ベクトル生成部は、前記画像の参照画像インデックスが示す画像と、前記ビュー画像とが異なる場合、前記画像間の視差の範囲の上限の値または下限の値をスケーリングしたものを、前記予測ベクトルとして決定する
請求項１に記載の画像処理装置。
【請求項７】
画像処理装置が、
ビットストリームを復号して、画像を生成し、
生成された前記画像の復号対象の領域の視差ベクトルを予測する際に、前記領域の周辺にある周辺領域がすべて参照不可の場合、前記ビットストリームから得られる前記画像および前記画像と視差が異なる同一時刻のビュー画像の画像間の視差の範囲の上限の値または下限の値を、予測ベクトルとして決定し、
決定された前記予測ベクトルを用いて、生成された前記画像の予測画像を生成する
画像処理方法。
【請求項８】
画像の符号化対象の領域の視差ベクトルを予測する際に、前記領域の周辺にある周辺領域がすべて参照不可の場合、前記画像および前記画像と視差が異なる同一時刻のビュー画像の画像間の視差の範囲の上限の値または下限の値を、予測ベクトルとして決定する予測ベクトル決定部と、
前記領域の視差ベクトルと、前記予測ベクトル決定部により決定された前記予測ベクトルとの差分を符号化する符号化部と
を備える画像処理装置。
【請求項９】
前記画像間の視差の範囲の上限の値または下限の値は、前記画像間の視差の最大値または最小値である
請求項８に記載の画像処理装置。
【請求項１０】
前記予測ベクトル決定部により前記画像間の視差の範囲の上限の値または下限の値のうち、どの値を予測ベクトルに決定したかを示すフラグと、前記画像を符号化した符号化ストリームとを伝送する伝送部
をさらに備える請求項８に記載の画像処理装置。
【請求項１１】
前記予測ベクトル生成部は、前記画像間の視差の範囲の上限の値、下限の値、および平均値のいずれか１つを、前記予測ベクトルとして決定する
請求項８に記載の画像処理装置。
【請求項１２】
前記予測ベクトル生成部は、前記画像間の視差の範囲の上限の値、下限の値、および前記画像間の視差の範囲内の所定の値のいずれか１つを、前記予測ベクトルとして決定する
請求項８に記載の画像処理装置。
【請求項１３】
前記予測ベクトル生成部は、前記画像の参照画像インデックスが示す画像と、前記ビュー画像とが異なる場合、前記画像間の視差の範囲の上限の値または下限の値をスケーリングしたものを、前記予測ベクトルとして決定する
請求項８に記載の画像処理装置。
【請求項１４】
画像処理装置が、
画像の符号化対象の領域の視差ベクトルを予測する際に、前記領域の周辺にある周辺領域がすべて参照不可の場合、前記画像および前記画像と視差が異なる同一時刻のビュー画像の画像間の視差の範囲の上限の値または下限の値を、予測ベクトルとして決定し、
前記領域の視差ベクトルと、決定された前記予測ベクトルとの差分を符号化する
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は画像処理装置および方法に関し、特に、多視点符号化において、符号化効率を改善することができるようにした画像処理装置および方法に関する。
【背景技術】
【０００２】
近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮する符号化方式を採用して画像を圧縮符号する装置が普及しつつある。この符号化方式には、例えば、MPEG（Moving Picture Experts Group）などがある。【０００３】
特に、MPEG2(ISO/IEC 13818-2)は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準である。例えば、MPEG2は、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、例えば720×480画素を持つ標準解像度の飛び越し走査画像であれば4乃至8Mbpsの符号量（ビットレート）が割り当てられる。また、MPEG2圧縮方式を用いることにより、例えば1920×1088画素を持つ高解像度の飛び越し走査画像であれば18乃至22 Mbpsの符号量（ビットレート）が割り当てられる。これにより、高い圧縮率と良好な画質の実現が可能である。【０００４】
MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、1998年12月にISO/IEC 14496-2としてその規格が国際標準に承認された。【０００５】
標準化のスケジュールとしては、2003年3月にはH．264及びMPEG-4 Part10 （Advanced Video Coding、以下H．264/AVCと記す）という国際標準となっている。【０００６】
さらに、このH．264/AVCの拡張として、RGBや4:2:2、4:4:4といった、業務用に必要な符号化ツールや、MPEG-2で規定されていた8x8DCTや量子化マトリクスをも含んだFRExt (Fidelity Range Extension) の標準化が2005年2月に完了した。これにより、H．264/AVCを用いて、映画に含まれるフィルムノイズをも良好に表現することが可能な符号化方式となって、Blu-Ray Disc（商標）等の幅広いアプリケーションに用いられる運びとなった。【０００７】
しかしながら、昨今、ハイビジョン画像の4倍の、4000×2000画素程度の画像を圧縮したい、あるいは、インターネットのような、限られた伝送容量の環境において、ハイビジョン画像を配信したいといった、更なる高圧縮率符号化に対するニーズが高まっている。このため、先述の、ITU-T傘下のVCEG (=Video Coding Expert Group) において、符号化効率の改善に関する検討が継続され行なわれている。【０００８】
そして、現在、H．264/AVCより更なる符号化効率の向上を目的として、ITU-TとISO/IECとの共同の標準化団体であるJCTVC (Joint Collaboration Team - Video Coding) により、HEVC (High Efficiency Video Coding) と呼ばれる符号化方式の標準化が進められている。HEVCにおいては、ドラフトとして非特許文献１が発行されている。【０００９】
ところで、HEVCのドラフトにおいては、予測ベクトルを生成する処理がある。予測ベクトルは、処理対象のブロックの周辺にある周辺ブロックの動きベクトルから予測されるが、これらの参照ブロックが参照不可の時、予測ベクトルとして、０が用いられる。
【先行技術文献】
【非特許文献】
【００１０】
【非特許文献１】Thomas Wiegand,Woo-jin Han,Benjamin Bross,Jens-Rainer Ohm,Gary J. Sullivian,”WD3:Working Draft3 of High-Efficiency Video Coding”, JCTVc-E603, 2011年3月
【発明の概要】
【発明が解決しようとする課題】
【００１１】
ここで、HEVCのドラフトにおいては、視差ベクトルについての記述がない。しかしながら、視差ベクトルについても同様の方法を適用する場合、非効率である。すなわち、周辺ブロックが参照不可の場合、予測ベクトルとして、０が用いられるとすると、復号側に視差ベクトルそのものが送られてしまうこととなるため、符号化効率の低下の恐れがある。【００１２】
本開示は、このような状況に鑑みてなされたものであり、多視点符号化において、符号化効率を改善することができるものである。
【課題を解決するための手段】
【００１３】
本開示の一側面の画像処理装置は、ビットストリームを復号して、画像を生成する復号部と、前記復号部により生成された前記画像の復号対象の領域の視差ベクトルを予測する際に、前記領域の周辺にある周辺領域がすべて参照不可の場合、前記ビットストリームから得られる前記画像および前記画像と視差が異なる同一時刻のビュー画像の画像間の視差の範囲の上限の値または下限の値を、予測ベクトルとして決定する予測ベクトル決定部と、前記予測ベクトル決定部により決定された前記予測ベクトルを用いて、前記復号部により生成された前記画像の予測画像を生成する予測画像生成部とを備える。【００１４】
前記画像間の視差の範囲の上限の値または下限の値は、前記画像間の視差の最大値または最小値である。【００１５】
前記復号は、前記画像間の視差の範囲の上限の値および下限の値のうち、どの値を前記予測ベクトルとして用いるかを示すフラグを受け取り、前記予測ベクトル決定部は、前記復号により受け取られたフラグに示される値を、前記予測ベクトルとして決定することができる。【００１６】
前記予測ベクトル生成部は、前記画像間の視差の範囲の上限の値、下限の値、および平均値のいずれか１つを、前記予測ベクトルとして決定することができる。【００１７】
前記予測ベクトル生成部は、前記画像間の視差の範囲の上限の値、下限の値、および前記画像間の視差の範囲内の所定の値のいずれか１つを、前記予測ベクトルとして決定することができる。【００１８】
前記予測ベクトル生成部は、前記画像の参照画像インデックスが示す画像と、前記ビュー画像とが異なる場合、前記画像間の視差の範囲の上限の値または下限の値をスケーリングしたものを、前記予測ベクトルとして決定することができる。【００１９】
本開示の一側面の画像処理方法は、画像処理装置が、ビットストリームを復号して、画像を生成し、生成された前記画像の復号対象の領域の視差ベクトルを予測する際に、前記領域の周辺にある周辺領域がすべて参照不可の場合、前記ビットストリームから得られる前記画像および前記画像と視差が異なる同一時刻のビュー画像の画像間の視差の範囲の上限の値または下限の値を、予測ベクトルとして決定し、決定された前記予測ベクトルを用いて、生成された前記画像の予測画像を生成する。【００２０】
本開示の他の側面の画像処理装置は、画像の符号化対象の領域の視差ベクトルを予測する際に、前記領域の周辺にある周辺領域がすべて参照不可の場合、前記画像および前記画像と視差が異なる同一時刻のビュー画像の画像間の視差の範囲の上限の値または下限の値を、予測ベクトルとして決定する予測ベクトル決定部と、前記領域の視差ベクトルと、前記予測ベクトル決定部により決定された前記予測ベクトルとの差分を符号化する符号化部とを備える。【００２１】
前記画像間の視差の範囲の上限の値または下限の値は、前記画像間の視差の最大値または最小値である。【００２２】
前記予測ベクトル決定部により前記画像間の視差の範囲の上限の値または下限の値のうち、どの値を予測ベクトルに決定したかを示すフラグと、前記画像を符号化した符号化ストリームとを伝送する伝送部をさらに備えることができる。【００２３】
前記予測ベクトル生成部は、前記画像間の視差の範囲の上限の値、下限の値、および平均値のいずれか１つを、前記予測ベクトルとして決定することができる。【００２４】
前記予測ベクトル生成部は、前記画像間の視差の範囲の上限の値、下限の値、および前記画像間の視差の範囲内の所定の値のいずれか１つを、前記予測ベクトルとして決定することができる。【００２５】
前記予測ベクトル生成部は、前記画像の参照画像インデックスが示す画像と、前記ビュー画像とが異なる場合、前記画像間の視差の範囲の上限の値または下限の値をスケーリングしたものを、前記予測ベクトルとして決定することができる。【００２６】
本開示の他の側面の画像処理方法は、画像処理装置が、画像の符号化対象の領域の視差ベクトルを予測する際に、前記領域の周辺にある周辺領域がすべて参照不可の場合、前記画像および前記画像と視差が異なる同一時刻のビュー画像の画像間の視差の範囲の上限の値または下限の値を、予測ベクトルとして決定し、前記領域の視差ベクトルと、決定された前記予測ベクトルとの差分を符号化する。【００２７】
本開示の一側面においては、ビットストリームを復号して、画像が生成され、生成された前記画像の復号対象の領域の視差ベクトルを予測する際に、前記領域の周辺にある周辺領域がすべて参照不可の場合、前記ビットストリームから得られる前記画像および前記画像と視差が異なる同一時刻のビュー画像の画像間の視差の範囲の上限の値または下限の値が、予測ベクトルとして決定される。そして、決定された前記予測ベクトルを用いて、生成された前記画像の予測画像が生成される。【００２８】
本開示の他の側面においては、画像の符号化対象の領域の視差ベクトルを予測する際に、前記領域の周辺にある周辺領域がすべて参照不可の場合、前記画像および前記画像と視差が異なる同一時刻のビュー画像の画像間の視差の範囲の上限の値または下限の値が、予測ベクトルとして決定される。そして、前記領域の視差ベクトルと、決定された前記予測ベクトルとの差分が符号化される。【００２９】
なお、上述の画像処理装置は、独立した装置であっても良いし、１つの画像符号化装置または画像復号装置を構成している内部ブロックであってもよい。
【発明の効果】
【００３０】
本開示の一側面によれば、画像を復号することができる。特に、符号化効率を改善することができる。【００３１】
本開示の他の側面によれば、画像を符号化することができる。特に、符号化効率を改善することができる。
【図面の簡単な説明】
【００３２】
【図１】デプス画像（ビュー画像）について説明する図である。
【図２】画像符号化装置の主な構成例を示すブロック図である。
【図３】３視点画像の場合のビュー間の参照関係の例を示す図である。
【図４】予測ベクトルの生成の例を説明する図である。
【図５】動き視差予測・補償部の構成例を示すブロック図である。
【図６】シーケンスパラメータセットのシンタックスの例を示す図である。
【図７】スライスヘッダのシンタックスの例を示す図である。
【図８】符号化処理の流れの例を説明するフローチャートである。
【図９】インター動き視差予測処理の流れの例を説明するフローチャートである。
【図１０】動き視差ベクトル予測処理の流れの例を説明するフローチャートである。
【図１１】マージモードの動き視差ベクトル予測処理の流れの例を説明するフローチャートである。
【図１２】画像復号装置の主な構成例を示すブロック図である。
【図１３】動き視差予測・補償部の構成例を示すブロック図である。
【図１４】復号処理の流れの例を説明するフローチャートである。
【図１５】インター動き視差予測処理の流れの例を説明するフローチャートである。
【図１６】動き視差ベクトル予測処理の流れの例を説明するフローチャートである。
【図１７】マージモードの動き視差ベクトル予測処理の流れの例を説明するフローチャートである。
【図１８】パーソナルコンピュータの主な構成例を示すブロック図である。
【図１９】テレビジョン装置の概略的な構成の一例を示すブロック図である。
【図２０】携帯電話機の概略的な構成の一例を示すブロック図である。
【図２１】記録再生装置の概略的な構成の一例を示すブロック図である。
【図２２】撮像装置の概略的な構成の一例を示すブロック図である。
【発明を実施するための形態】
【００３３】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．本明細書におけるデプス画像の説明
２．第１の実施の形態（画像符号化装置）
３．第２の実施の形態（画像復号装置）
４．第３の実施の形態（パーソナルコンピュータ）
５．第４の実施の形態（テレビジョン受像機）
６．第５の実施の形態（携帯電話機）
７．第６の実施の形態（ハードディスクレコーダ）
８．第７の実施の形態（カメラ）
【００３４】
＜１．本明細書におけるデプス画像（ビュー画像）の説明＞
図１は、視差と奥行きについて説明する図である。
【００３５】
図１に示すように、被写体Ｍのカラー画像が、位置Ｃ１に配置されたカメラｃ１と位置Ｃ２に配置されたカメラｃ２により撮影される場合、被写体Ｍの、カメラｃ１（カメラｃ２）からの奥行方向の距離である奥行きＺは、以下の式（１）で定義される。
【００３６】
【数１】
2012176684.tif 000003
【００３７】
なお、Ｌは、位置Ｃ１と位置Ｃ２の水平方向の距離（以下、カメラ間距離という）である。また、ｄは、カメラｃ１で撮影されたカラー画像上の被写体Ｍの位置の、カラー画像の中心からの水平方向の距離ｕ１から、カメラｃ２で撮影されたカラー画像上の被写体Ｍの位置の、カラー画像の中心からの水平方向の距離ｕ２を減算した値、即ち視差である。さらに、fは、カメラｃ１の焦点距離であり、式（１）では、カメラｃ１とカメラｃ２の焦点距離は同一であるものとしている。
【００３８】
式（１）に示すように、視差ｄと奥行きＺは、一意に変換可能である。従って、本明細書では、カメラｃ１とカメラｃ２により撮影された２視点のカラー画像の視差ｄを表す画像と奥行きＺを表す画像とを総称して、デプス画像（ビュー画像）とする。
【００３９】
なお、デプス画像（ビュー画像）は、視差ｄまたは奥行きＺを表す画像であればよく、デプス画像（ビュー画像）の画素値としては、視差ｄまたは奥行きＺそのものではなく、視差ｄを正規化した値、奥行きＺの逆数１／Ｚを正規化した値等を採用することができる。
【００４０】
視差ｄを8bit（0〜255）で正規化した値Ｉは、以下の式（２）により求めることができる。なお、視差dの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。
【００４１】
【数２】
2012176684.tif 000004
【００４２】
なお、式（２）において、Ｄｍａｘは、視差ｄの最大値であり、Ｄｍｉｎは、視差ｄの最小値である。最大値Ｄｍａｘと最小値Ｄｍｉｎは、１画面単位で設定されてもよいし、複数画面単位で設定されてもよい。
【００４３】
また、奥行きＺの逆数１／Ｚを8bit（0〜255）で正規化した値ｙは、以下の式（３）により求めることができる。なお、奥行きＺの逆数１／Ｚの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。
【００４４】
【数３】
2012176684.tif 000005
【００４５】
なお、式（３）において、Ｚｆａｒは、奥行きＺの最大値であり、Ｚｎｅａｒは、奥行きＺの最小値である。最大値Ｚｆａｒと最小値Ｚｎｅａｒは、１画面単位で設定されてもよいし、複数画面単位で設定されてもよい。
【００４６】
このように、本明細書では、視差dと奥行きZとは一意に変換可能であることを考慮して、視差ｄを正規化した値Iを画素値とする画像と、奥行きＺの逆数１／Ｚを正規化した値yを画素値とする画像とを総称して、デプス画像（ビュー画像）とする。ここでは、デプス画像（ビュー画像）のカラーフォーマットは、YUV420又はYUV400であるものとするが、他のカラーフォーマットにすることも可能である。
【００４７】
なお、デプス画像（ビュー画像）の画素値としてではなく、値I又は値yの情報自体に着目する場合には、値I又は値yを、デプス情報（視差情報／ビュー情報）とする。更に、値I又は値yをマッピングしたものをデプスマップ（視差マップ）とする。
【００４８】
＜２．第１の実施の形態＞
［画像符号化装置の構成例］
図２は、本開示を適用した画像処理装置としての画像符号化装置の一実施の形態の構成を表している。
【００４９】
図２に示される画像符号化装置１００は、予測処理を用いて画像データを符号化する。ここで、符号化方式としては、例えば、H．264及びMPEG（Moving Picture Experts Group）４ Part１０（AVC（Advanced Video Coding））（以下H．264/AVCと称する）方式や、HEVC（High Efficiency Video Coding）方式などが用いられる。
【００５０】
なお、H．264/AVC方式においては、処理単位となる領域として、マクロブロックやブロックが用いられる。また、HEVC方式においては、処理単位となる領域として、CU（コーディングユニット）、PU（プレディクションユニット）、およびTU（トランスフォームユニット）等が用いられる。すなわち、ブロックも、ユニットも、処理単位となる領域を示すものであるので、以下、適宜、どちらの場合も含むように、処理単位の領域、あるいは処理対象の領域という文言を用いて説明する。
【００５１】
図２の例において、画像符号化装置１００は、A/D（Analog / Digital）変換部１０１、画面並べ替えバッファ１０２、演算部１０３、直交変換部１０４、量子化部１０５、可逆符号化部１０６、蓄積バッファ１０７、および逆量子化部１０８を有する。また、画像符号化装置１００は、逆直交変換部１０９、演算部１１０、デブロックフィルタ１１１、デコードピクチャバッファ１１２、選択部１１３、イントラ予測部１１４、動き視差予測・補償部１１５、選択部１１６、およびレート制御部１１７を有する。
【００５２】
画像符号化装置１００は、さらに、多視点デコードピクチャバッファ１２１および視差検出部１２２を有する。
【００５３】
A/D変換部１０１は、入力された画像データをA/D変換し、画面並べ替えバッファ１０２に出力し、記憶させる。
【００５４】
画面並べ替えバッファ１０２は、記憶した表示の順番のフレームの画像を、GOP（Group of Picture）構造に応じて、符号化のためのフレームの順番に並べ替える。画面並べ替えバッファ１０２は、フレームの順番を並び替えた画像を、演算部１０３に供給する。また、画面並べ替えバッファ１０２は、フレームの順番を並び替えた画像を、イントラ予測部１１４および動き視差予測・補償部１１５にも供給する。
【００５５】
演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、選択部１１６を介してイントラ予測部１１４若しくは動き視差予測・補償部１１５から供給される予測画像を減算し、その差分情報を直交変換部１０４に出力する。
【００５６】
例えば、イントラ符号化が行われる画像の場合、演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、イントラ予測部１１４から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、動き視差予測・補償部１１５から供給される予測画像を減算する。
【００５７】
直交変換部１０４は、演算部１０３から供給される差分情報に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を量子化部１０５に供給する。
【００５８】
量子化部１０５は、直交変換部１０４が出力する変換係数を量子化する。量子化部１０５は、量子化された変換係数を可逆符号化部１０６に供給する。
【００５９】
可逆符号化部１０６は、その量子化された変換係数に対して、可変長符号化、算術符号化等の可逆符号化を施す。
【００６０】
可逆符号化部１０６は、イントラ予測モードを示す情報などをイントラ予測部１１４から取得し、インター予測モードを示す情報や動き視差ベクトル情報などを動き視差予測・補償部１１５から取得する。
【００６１】
可逆符号化部１０６は、量子化された変換係数を符号化するとともに、イントラ予測モード情報、インター予測モード情報、および動き視差ベクトル情報などの情報を、符号化データのヘッダ情報の一部とする（多重化する）。また、可逆符号化部１０６は、視差検出部１２２から供給される視差の最大値、視差の最小値、およびそれらのもとになる参照ビュー情報も、符号化データのヘッダ情報の一部とする。可逆符号化部１０６は、符号化して得られた符号化データを蓄積バッファ１０７に供給して蓄積させる。
【００６２】
例えば、可逆符号化部１０６においては、可変長符号化または算術符号化等の可逆符号化処理が行われる。可変長符号化としては、CAVLC（Context-Adaptive Variable Length Coding）などがあげられる。算術符号化としては、CABAC（Context-Adaptive Binary Arithmetic Coding）などがあげられる。
【００６３】
蓄積バッファ１０７は、可逆符号化部１０６から供給された符号化データを、一時的に保持し、所定のタイミングにおいて、符号化された符号化画像として、例えば、後段の図示せぬ記録装置や伝送路などに出力する。
【００６４】
また、量子化部１０５において量子化された変換係数は、逆量子化部１０８にも供給される。逆量子化部１０８は、その量子化された変換係数を、量子化部１０５による量子化に対応する方法で逆量子化する。逆量子化部１０８は、得られた変換係数を、逆直交変換部１０９に供給する。
【００６５】
逆直交変換部１０９は、供給された変換係数を、直交変換部１０４による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力（復元された差分情報）は、演算部１１０に供給される。
【００６６】
演算部１１０は、逆直交変換部１０９より供給された逆直交変換結果、すなわち、復元された差分情報に、選択部１１６を介してイントラ予測部１１４若しくは動き視差予測・補償部１１５から供給される予測画像を加算する。これにより、局部的に復号された画像（復号画像）が得られる。
【００６７】
例えば、差分情報が、イントラ符号化が行われる画像に対応する場合、演算部１１０は、その差分情報にイントラ予測部１１４から供給される予測画像を加算する。また、例えば、差分情報が、インター符号化が行われる画像に対応する場合、演算部１１０は、その差分情報に動き視差予測・補償部１１５から供給される予測画像を加算する。
【００６８】
その加算結果は、デブロックフィルタ１１１およびデコードピクチャバッファ１１２に供給される。
【００６９】
デブロックフィルタ１１１は、適宜デブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。デブロックフィルタ１１１は、そのフィルタ処理結果をデコードピクチャバッファ１１２に供給する。
【００７０】
デコードピクチャバッファ１１２には、デブロックフィルタ１１１からの符号化視点の復号画像、あるいは、多視点デコードピクチャバッファ１２１からの符号化視点以外の復号画像が蓄積される。デコードピクチャバッファ１１２は、所定のタイミングにおいて、蓄積されている参照画像を、選択部１１３を介してイントラ予測部１１４または動き視差予測・補償部１１５に出力する。
【００７１】
例えば、イントラ符号化が行われる画像の場合、デコードピクチャバッファ１１２は、参照画像を、選択部１１３を介してイントラ予測部１１４に供給する。また、例えば、インター符号化が行われる場合、デコードピクチャバッファ１１２は、参照画像を、選択部１１３を介して動き視差予測・補償部１１５に供給する。
【００７２】
選択部１１３は、デコードピクチャバッファ１１２から供給される参照画像がイントラ符号化を行う画像である場合、その参照画像をイントラ予測部１１４に供給する。また、選択部１１３は、デコードピクチャバッファ１１２から供給される参照画像がインター符号化を行う画像である場合、その参照画像を動き視差予測・補償部１１５に供給する。
【００７３】
イントラ予測部１１４は、画面内の画素値を用いて予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部１１４は、複数のモード（イントラ予測モード）によりイントラ予測を行う。
【００７４】
イントラ予測部１１４は、全てのイントラ予測モードで予測画像を生成し、各予測画像を評価し、最適なモードを選択する。イントラ予測部１１４は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、選択部１１６を介して演算部１０３や演算部１１０に供給する。
【００７５】
また、上述したように、イントラ予測部１１４は、採用したイントラ予測モードを示すイントラ予測モード情報等の情報を、適宜可逆符号化部１０６に供給する。
【００７６】
動き視差予測・補償部１１５は、インター符号化が行われる画像について、画面並べ替えバッファ１０２から供給される入力画像と、選択部１１３を介してデコードピクチャバッファ１１２から供給される参照画像とを用いて、動き視差予測を行う。そして、動き視差予測・補償部１１５は、検出された動き視差ベクトルに応じて動き視差補償処理を行い、予測画像（インター予測画像情報）を生成する。これらの処理は、候補となる全てのインター予測モードに対して行われ、その中から最適インター予測モードが決定される。動き視差予測・補償部１１５は、生成された予測画像を、選択部１１６を介して演算部１０３や演算部１１０に供給する。
【００７７】
また、動き視差予測・補償部１１５は、処理対象の領域の周辺にある周辺領域の動き視差ベクトルを用いて、予測ベクトルを生成する。その際、視差ベクトルの予測ベクトルを求める場合であって、かつ、周辺領域が全て参照不可のとき、動き視差予測・補償部１１５は、視差検出部１２２から供給される視差の最小値または視差の最大値のどちらかを、予測ベクトルとする。
【００７８】
また、動き視差予測・補償部１１５は、採用されたインター予測モードを示すインター予測モード情報、動き視差ベクトル情報、参照画像インデックス、および予測ベクトルインデックスなどの情報を可逆符号化部１０６に供給する。なお、動き視差ベクトル情報は、動き視差ベクトルと予測ベクトルとの差分を示す情報である。
【００７９】
選択部１１６は、イントラ符号化を行う画像の場合、イントラ予測部１１４の出力を演算部１０３や演算部１１０に供給し、インター符号化を行う画像の場合、動き視差予測・補償部１１５の出力を演算部１０３や演算部１１０に供給する。
【００８０】
レート制御部１１７は、蓄積バッファ１０７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１０５の量子化動作のレートを制御する。
【００８１】
多視点デコードピクチャバッファ１２１は、処理対象のビュー（視点）に応じて、デコードピクチャバッファ１１２に蓄積されている符号化視点の復号画像と、符号化視点以外の復号画像を入れ替える。
【００８２】
視差検出部１２２は、処理対象の画像と、その画像と視差が異なる同一時刻の参照ビュー画像との画像間の視差の最大値と最小値を、動き視差予測・補償部１１５および可逆符号化部１０６に供給する。さらに、視差検出部１２２は、その視差の算出の際に参照される画像の情報を、参照ビュー情報として、動き視差予測・補償部１１５および可逆符号化部１０６に供給する。ここで、視差の算出の際に参照される画像を、参照ビュー画像と称する。この視差の最大値、最小値、参照ビュー情報は、例えば、ストリームの制作者などにより図示せぬ操作部を介して、視差検出部１２２に入力される。
【００８３】
なお、この視差の最大値と最小値は、可逆符号化部１０６においてスライスヘッダに挿入される。また、参照ビュー情報は、シーケンスパラメータセットに挿入される。
【００８４】
［予測モード選択］
ここで、より高い符号化効率を達成するには、適切な予測モードの選択が重要である。例えば、H．264/AVC方式においては、かかる選択方式の例として、JM (Joint Model) と呼ばれるH.264/MPEG-4 AVCの参照ソフトウエア (http://iphome.hhi.de/suehring/tml/index.htm において公開されている) に実装されている方法を挙げることが出来る。
【００８５】
JMにおいては、以下に述べる、High Complexity Modeと、Low Complexity Modeの２通りのモード判定方法を選択することが可能である。どちらも、それぞれの予測モードModeに関する符号化コスト値を算出し、これを最小にする予測モードを注目ブロック乃至マクロブロックに対する最適モードとして選択する。
【００８６】
High Complexity Modeにおけるコスト関数は、以下の式（４）のように表すことができる。
【００８７】
Cost(Mode∈Ω) = D + λ*R  ・・・（４）
【００８８】
ここで、Ωは、注目ブロック乃至マクロブロックを符号化するための候補モードの全体集合、Dは、当該予測モードModeで符号化した場合の、復号画像と入力画像の差分エネルギーである。λは、量子化パラメータの関数として与えられるLagrange未定乗数である。Rは、直交変換係数を含んだ、当該モードModeで符号化した場合の総符号量である。
【００８９】
つまり、High Complexity Modeでの符号化を行うには、上記パラメータD及びRを算出するため、全ての候補モードModeにより、一度、仮エンコード処理を行う必要があり、より高い演算量を要する。
【００９０】
Low Complexity Modeにおけるコスト関数は以下の式（５）のように示される。
【００９１】
Cost(Mode∈Ω) = D + QP2Quant(QP) * HeaderBit  ・・・（５）
【００９２】
ここで、Dは、High Complexity Modeの場合と異なり、予測画像と入力画像の差分エネルギーとなる。QP2Quant(QP) は、量子化パラメータQPの関数として与えられ、HeaderBitは、直交変換係数を含まない、動きベクトルや、モードといった、Headerに属する情報に関する符号量である。
【００９３】
すなわち、Low Complexity Modeにおいては、それぞれの候補モードModeに関して、予測処理を行う必要があるが、復号化画像までは必要ないため、符号化処理まで行う必要はない。このため、High Complexity Modeより低い演算量での実現が可能である。
【００９４】
［３視点画像の参照関係］
図３は、３視点画像の場合のビュー間の参照関係の例を示す図である。図３の例においては、左から、POC(Picture Order Count：ピクチャの出力順序)の昇順にＩピクチャ、Ｂ２ピクチャ、Ｂ１ピクチャ、Ｂ２ピクチャ、Ｂ０ピクチャ、Ｂ２ピクチャ、Ｂ１ピクチャ、Ｂ２ピクチャ、Ｐピクチャが示されている。POCのインデックスの上には、PicNum（復号順序）のインデックスも示されている。
【００９５】
例えば、PicNum=1のＰピクチャは、復号済みのPicNum=0のＩピクチャを参照可能である。PicNum=2のＢ０ピクチャは、復号済みのPicNum=0のＩピクチャとPicNum=1のＰピクチャを参照可能である。PicNum=3のＢ１ピクチャは、復号済みのPicNum=0のＩピクチャとPicNum=2のＢ０ピクチャを参照可能である。PicNum=4のＢ１ピクチャは、復号済みのPicNum=2のＢ０ピクチャとPicNum=1のＰピクチャを参照可能である。
【００９６】
また、上から順に、同一の時刻情報を有し、異なる視差情報を有するビュー０（View_id_0）、ビュー１（View_id_1）、ビュー２（View_id_2）の各ピクチャが示されている。図３の例においては、ビュー０、ビュー２、ビュー１の順に復号される場合が示されている。
【００９７】
ビュー０は、ベースビューと呼ばれ、その画像は、時間予測を使って符号化することが可能である。ビュー１とビュー２は、ノンベースビューと呼ばれ、その画像は、時間予測と視差予測を使って符号化することが可能である。
【００９８】
ビュー１の画像は、視差予測の際、矢印に示されるように、符号化済みのビュー０の画像とビュー２の画像を参照することが可能である。このことから、ビュー１のPOCが８番目であるＰピクチャは、時間予測ではＰピクチャであるが、視差予測ではＢピクチャとなる。
【００９９】
ビュー２の画像は、視差予測の際、矢印に示されるように、符号化済みのビュー０の画像を参照することが可能である。
【０１００】
そして、図３の３視点画像においては、まず、ベースビューの画像が復号され、同じ時刻の他のビューの画像がすべて復号された後に、次の時刻（PicNum）のベースビューの画像の復号が開始されるという順序で復号が行われる。
【０１０１】
［予測ベクトルの生成］
次に、図４を参照して、HEVC方式における予測ベクトルの生成について説明する。図４の例においては、処理対象の領域Ｍと同じピクチャ内に、領域Ｍの左にある空間相関領域Ａ、領域Ｍの上にある空間相関領域Ｂ、領域Ｍの右上にある空間相関領域Ｃ、および領域Ｍの左下にある空間相関領域Ｄが示されている。また、矢印に示される処理対象の領域Ｍと異なる時刻のピクチャには、領域Ｍと同じ位置の時間相関領域Ｎが示されている。これらの相関領域を、本実施の形態においては、周辺領域と称している。すなわち、周辺領域には、空間的の周辺領域も、時間的の周辺領域も含まれる。なお、各領域の−１は、各領域の動き視差ベクトルが参照不可であることを示している。
【０１０２】
HEVC方式において、処理対象の領域Ｍの予測ベクトルは、空間的に周辺にある空間相関領域Ａ，Ｂ，Ｃ，Ｄ並びに時間的に周辺にある時間相関領域Ｎのいずれかの動き視差ベクトルが用いられて生成される。
【０１０３】
ただし、空間相関領域Ａ，Ｂ，Ｃ，Ｄ並びに時間相関領域Ｎのいずれも、イントラ予測であったり、画面の外であったりして、それらの動きベクトルがすべて参照不可である場合、処理対象の領域Ｍの予測ベクトルは、０ベクトルとされていた。
【０１０４】
視差ベクトルの場合にも、上述の方法を用いる場合、予測ベクトルが０ベクトルということで、処理対象の領域で探索された視差ベクトルは、そのままの値が復号側に送られる。その結果、符号化効率が低下してしまう恐れがあった。
【０１０５】
そこで、画像符号化装置１００は、表示側で視差調整や視点合成をするために必要な視差の最小値と最大値を、スライスヘッダに含めて復号側に送る。そして、画像符号化装置１００は、視差ベクトルを予測する際に、すべての周辺領域が参照不可のとき、それらのどちらかの値を、予測ベクトルとして用いる。
【０１０６】
なお、視差の最小値と最大値が基準としている参照ビュー画像のビューIDと、視差ベクトルの参照画像のビューIDが異なる場合もある。このような場合には、それらのビューの距離に応じたスケーリングが最小値または最大値に対して行われ、その結果が予測ベクトルとして用いられる。
【０１０７】
以下、その詳細について説明していく。
【０１０８】
［動き視差予測・補償部の構成例］
次に、画像符号化装置１００の各部について説明する。図５は、動き視差予測・補償部１１５の構成例を示すブロック図である。なお、図５の例においては、主要な情報の流れのみが図示されている。
【０１０９】
図５の例において、動き視差予測・補償部１１５は、動き視差ベクトル探索部１３１、予測画像生成部１３２、符号化コスト算出部１３３、およびモード判定部１３４を含むように構成されている。また、動き視差予測・補償部１１５は、符号化情報蓄積バッファ１３５、空間予測ベクトル生成部１３６、時間視差予測ベクトル生成部１３７、および予測ベクトル生成部１３８を含むように構成されている。
【０１１０】
デコードピクチャバッファ１１２からの復号画像画素値は、動き視差ベクトル探索部１３１および予測画像生成部１３２に供給される。画面並べ替えバッファ１０２からの原画像画素値は、動き視差ベクトル探索部１３１および符号化コスト算出部１３３に供給される。
【０１１１】
動き視差ベクトル探索部１３１は、画面並べ替えバッファ１０２からの原画像画素値と、デコードピクチャバッファ１１２からの復号画像画素値を用いて、候補となるすべてのインター予測モードに対して、動き視差予測を行い、動き視差ベクトルを探索する。動き視差ベクトル探索部１３１は、探索した動き視差ベクトル、参照した参照画像インデックス、および予測モード情報を、予測画像生成部１３２および符号化コスト算出部１３３に供給する。
【０１１２】
予測画像生成部１３２は、デコードピクチャバッファ１１２からの復号画像画素値に対して、動き視差ベクトル探索部１３１からの動き視差ベクトルを用いて動き視差補償処理を行い、予測画像を生成する。予測画像生成部１３２は、生成した予測画像画素値を、符号化コスト算出部１３３に供給する。
【０１１３】
符号化コスト算出部１３３には、画面並べ替えバッファ１０２からの原画像画素値、動き視差ベクトル探索部１３１からの動き視差ベクトル、参照画像インデックス、および予測モード情報、予測画像生成部１３２からの予測画像画素値が供給される。符号化コスト算出部１３３には、さらに、予測ベクトル生成部１３８からの動き視差ベクトルの予測値（すなわち、予測ベクトル）が供給される。
【０１１４】
符号化コスト算出部１３３は、供給された情報と、例えば、上述した式（４）または式（５）のコスト関数を用いて符号化コスト値を算出する。符号化コスト算出部１３３は、算出した符号化コスト値を、モード判定部１３４に供給する。その際、符号化コスト算出部１３３は、各部から供給された情報も、モード判定部１３４に供給する。
【０１１５】
モード判定部１３４は、符号化コスト算出部１３３からの符号化コスト値を比較することで、最適インター予測モードを決定する。また、モード判定部１３４は、予測ベクトルとして、視差の最大値、最小値のどちらを予測ベクトルに用いるのがよいかも、符号化コスト値に基づいてスライス毎に決定する。なお、予測ベクトルが候補として複数あった場合には、モード判定部１３４により符号化コスト値に基づいて最適なものが予測ベクトルとして決定される。
【０１１６】
モード判定部１３４は、決定した最適インター予測モードの予測画像画素値を、選択部１１６に供給する。また、モード判定部１３４は、決定した最適インター予測モードのモード情報、参照画像インデックス、予測ベクトルインデックス、および動き視差ベクトルと予測ベクトルとの差分を示す動き視差ベクトル情報を可逆符号化部１０６に供給する。このとき、スライスヘッダに挿入される、視差の最大値、最小値のどちらを用いるのかを示すフラグも、可逆符号化部１０６に供給される。
【０１１７】
さらに、モード判定部１３４は、周辺領域の符号化情報として、モード情報、参照画像インデックス、動き視差ベクトルそのものを、符号化情報蓄積バッファ１３５にも供給する。
【０１１８】
符号化情報蓄積バッファ１３５は、予測ベクトル生成のため、周辺領域の符号化情報、すなわち、モード情報、参照画像インデックス、および動き視差ベクトルなどの情報を蓄積する。
【０１１９】
空間予測ベクトル生成部１３６は、符号化情報蓄積バッファ１３５から、必要に応じて、周辺領域のモード情報、参照画像インデックス、および動き視差ベクトルなどの情報を取得し、それらを用いて、処理対象の領域の空間相関の予測ベクトルを生成する。空間予測ベクトル生成部１３６は、生成した空間相関の予測ベクトルと、その生成に用いた周辺領域の情報を予測ベクトル生成部１３８に供給する。
【０１２０】
時間視差予測ベクトル生成部１３７は、符号化情報蓄積バッファ１３５から、必要に応じて、周辺領域のモード情報、参照画像インデックス、および動き視差ベクトルなどの情報を取得し、それらを用いて、処理対象の領域の時間視差相関の予測ベクトルを生成する。時間視差予測ベクトル生成部１３７は、生成した時間視差相関の予測ベクトルと、その生成に用いた周辺領域の情報を予測ベクトル生成部１３８に供給する。
【０１２１】
予測ベクトル生成部１３８は、視差検出部１２２から、視差の最小値および最大値と、参照ビュー情報を取得する。予測ベクトル生成部１３８は、空間予測ベクトル生成部１３６および時間視差予測ベクトル生成部１３７から、生成された予測ベクトルと周辺領域の情報を取得する。また、予測ベクトル生成部１３８は、符号化コスト算出部１３３から、処理対象の領域の参照画像インデックスの情報も取得する。
【０１２２】
予測ベクトル生成部１３８は、取得した情報を参照して、空間予測ベクトル生成部１３６または時間視差予測ベクトル生成部１３７により生成された予測ベクトル、０ベクトル、または、視差の最小値および最大値により求められる予測ベクトルを、符号化コスト算出部１３３に供給する。
【０１２３】
予測ベクトル生成部１３８は、動きベクトルの予測を行う場合（参照画像インデックスが示す参照画像が異なる時刻の画像である場合）に、周辺領域がすべて参照不可であるとき、０ベクトルを予測ベクトルとする。
【０１２４】
予測ベクトル生成部１３８は、視差ベクトルの予測を行う場合（参照画像インデックスが示す参照画像が同時刻の異なるビューの場合）に、周辺領域がすべて参照不可のとき、視差の最小値または最大値を、予測ベクトル候補として、符号化コスト算出部１３３に供給する。その際、視差の最小値、最大値が参照する参照ビュー画像のビューIDと参照画像インデックスのビューIDが異なるならば、予測ベクトル生成部１３８は、視差の最小値および最大値をそれぞれスケーリングしたものを、予測ベクトル候補として、符号化コスト算出部１３３に供給する。
【０１２５】
［シーケンスパラメータセットのシンタックスの例］
図６は、シーケンスパラメータセットのシンタックスの例を示す図である。各行の左端の数字は説明のために付した行番号である。
【０１２６】
図６の例において、第２１行目にmax_num_ref_framesが設定されている。このmax_num_ref_framesは、このストリームにおける参照画像の最大値（枚数）である。
【０１２７】
第３１行目乃至第３８行目には、ビュー参照情報が記述されている。例えば、ビュー参照情報は、ビューの合計数、ビューの識別子、リストL0における視差予測の枚数、リストL0における参照ビューの識別子、リストL1における視差予測の枚数、およびリストL1における参照ビューの識別子などで構成される。
【０１２８】
具体的には、第３１行目にnum_viewsが設定されている。このnum_views は、このストリーム中に含まれているビューの合計数である。
【０１２９】
第３３行目にview_id[i]が設定されている。このview_id[i]は、ビューを区別するための識別子である。
【０１３０】
第３４行目にnum_ref_views_l0[i]が設定されている。このnum_ref_views_l0[i]は、リストL0における視差予測の枚数である。例えば、「num_ref_views_l0[i]」が２を示す場合、リストL0においては、２枚のビューのみ参照可能なことを示している。
【０１３１】
第３５行目にref_view_id_l0[i][j]が設定されている。このref_view_id_l0[i][j]は、リストL0における視差予測で参照するビューの識別子である。例えば、３つのビューがあったとしても、「num_ref_views_l0[i]」が２を示す場合に、３つのうちの、リストL0が参照する２つのビューはどのビューであるかを識別するために「ref_view_id_l0[i][j]」が設定される。
【０１３２】
第３６行目にnum_ref_views_l1[i]が設定されている。このnum_ref_views_l1[i]は、リストL1における視差予測の枚数である。例えば、「num_ref_views_l1[i]」が２を示す場合、リストL1においては、２枚のビューのみ参照可能なことを示している。
【０１３３】
第３７行目にref_view_id_l1[i][j]が設定されている。このref_view_id_l1[i][j]は、リストL1における視差予測で参照するビューの識別子である。例えば、３つのビューがあったとしても、「num_ref_views_l1[i]」が２を示す場合に、３つのうちの、リストL1が参照する２つのビューはどのビューであるかを識別するために「ref_view_id_l1[i][j]」が設定される。
【０１３４】
第４０行目にmin_max_ref_view_id[i]が設定されている。このmin_max_ref_view_id[i]は、視差の最小値と最大値の参照となる参照ビュー画像のビューID（参照ビュー情報）である。
【０１３５】
周辺領域がすべて参照不可の場に、このビューIDと、処理対象の領域の参照画像インデックスのビューIDが同じとき、視差の最小値または最大値は、スケーリングされずに、予測ベクトルとされる。周辺領域がすべて参照不可の場に、このビューIDと参照画像インデックスのビューIDが異なるとき、視差の最小値または最大値は、それら２つのビューの距離に応じたスケーリングがなされて、予測ベクトルとされる。
【０１３６】
［スライスヘッダのシンタックスの例］
図７は、スライスヘッダのシンタックスの例を示す図である。各行の左端の数字は説明のために付した行番号である。
【０１３７】
図７の例において、第５行目にslice_typeが設定されている。このslice_typeは、このスライスがＩスライス、Ｐスライス、およびＢスライスのうちのどのスライスであるかを示すものである。
【０１３８】
第８行目にview_idが設定されている。このview_id は、ビューを識別するためのIDである。
【０１３９】
第９行目にminimum_disparityが設定されている。このminimum_disparityは、視差の最小値である。第１０行目にmaximum_disparityが設定されている。このmaximum _disparityは、視差の最大値である。
【０１４０】
第１１行目にinitialized_disparity_flagが設定されている。こおinitialized_disparity_flagは、予測ベクトルの値として、視差の最小値および最大値の何れの値を使うかを示すフラグである。
【０１４１】
すなわち、initialized_disparity_flag=0のとき、スライスヘッダのminimum_disparityを予測ベクトルとすることを示す。initialized_disparity_flag=1のとき、スライスヘッダのmaxmum _disparityを予測ベクトルとすることを示す。
【０１４２】
第１２行目にpic_order_cnt_lsbが設定されている。このpic_order_cnt_lsbは、時刻情報（すなわち、POC：Picture Order Count)である。
【０１４３】
以上のようなシンタックスを用いることで、符号化側と復号側においては、次のように予測ベクトルが生成される。例えば、Ａ＝復号ピクチャと復号対象領域が参照する参照画像の視点距離、Ｂ＝復号ピクチャと参照ビュー画像の視点距離、pmv＝復号対象領域の予測ベクトルであるとする。
【０１４４】
Ａ＝Ｂの場合、次の式（６）に示される予測ベクトルが生成される。
initialized_disparity_flag=0  →  pmv＝minimum_disparity
initialized_disparity_flag=1  →  pmv＝maximum_disparity
・・・（６）
【０１４５】
ＡとＢが等しくない場合、次の式（７）に示される予測ベクトルが生成される。
initialized_disparity_flag=0  →  pmv＝minimum_disparity*Ａ／Ｂ
initialized_disparity_flag=1  →  pmv＝maximum_disparity*Ａ／Ｂ
・・・（７）
すなわち、ピクチャ間の距離（Ａ／Ｂ）に応じてスケーリングされた値が予測ベクトルとされる。  
【０１４６】
［符号化処理の流れ］
次に、以上のような画像符号化装置１００により実行される各処理の流れについて説明する。最初に、図８のフローチャートを参照して、符号化処理の流れの例を説明する。
【０１４７】
ステップＳ１０１において、A/D変換部１０１は入力された画像をA/D変換する。ステップＳ１０２において、画面並べ替えバッファ１０２は、A/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
【０１４８】
ステップＳ１０３において、演算部１０３は、ステップＳ１０２の処理により並び替えられた画像と、予測画像との差分を演算する。予測画像は、インター予測する場合は動き視差予測・補償部１１５から、イントラ予測する場合はイントラ予測部１１４から、選択部１１６を介して演算部１０３に供給される。
【０１４９】
差分データは元の画像データに較べてデータ量が低減される。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。
【０１５０】
ステップＳ１０４において、直交変換部１０４は、ステップＳ１０３の処理により生成された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。
【０１５１】
ステップＳ１０５において、量子化部１０５は、ステップＳ１０４の処理により得られた直交変換係数を量子化する。
【０１５２】
ステップＳ１０５の処理により量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１０６において、逆量子化部１０８は、ステップＳ１０５の処理により生成された量子化された直交変換係数（量子化係数とも称する）を量子化部１０５の特性に対応する特性で逆量子化する。
【０１５３】
ステップＳ１０７において、逆直交変換部１０９は、ステップＳ１０６の処理により得られた直交変換係数を、直交変換部１０４の特性に対応する特性で逆直交変換する。
【０１５４】
ステップＳ１０８において、演算部１１０は、予測画像を局部的に復号された差分情報に加算し、局部的に復号された画像（演算部１０３への入力に対応する画像）を生成する。
【０１５５】
ステップＳ１０９において、デブロックフィルタ１１１は、ステップＳ１０８の処理により生成された画像に対して、デブロックフィルタ処理を行う。これによりブロック歪み（すなわち、処理単位の領域歪み）が除去される。
【０１５６】
ステップＳ１１０において、デコードピクチャバッファ１１２は、ステップＳ１０９の処理によりブロック歪みが除去された画像を記憶する。なお、デコードピクチャバッファ１１２にはデブロックフィルタ１１１によりフィルタ処理されていない画像も演算部１１０から供給され、記憶される。
【０１５７】
ステップＳ１１１において、イントラ予測部１１４は、イントラ予測モードのイントラ予測処理を行う。ステップＳ１１２において、動き視差予測・補償部１１５は、インター予測モードでの動き視差予測や動き視差補償を行うインター動き視差予測処理を行う。このインター動き視差予測処理については、図９を参照して後述する。
【０１５８】
ステップＳ１１２の処理により、すべてのインター予測モードで動き視差が予測され、予測画像が生成される。また、動き視差ベクトルについて、予測ベクトルが生成される。特に、視差ベクトルの予測ベクトルを生成する場合に、周辺領域がすべて参照不可であるとき、視差の最小値または最大値が予測ベクトルとされる。そして、符号化コスト値が求められて、最適インター予測モードが決定され、最適インター予測モードの予測画像が、符号化コスト値とともに、選択部１１６に出力される。
【０１５９】
ステップＳ１１３において、選択部１１６は、イントラ予測部１１４および動き視差予測・補償部１１５から出力された各符号化コスト値に基づいて、最適予測モードを決定する。つまり、選択部１１６は、イントラ予測部１１４により生成された予測画像と、動き視差予測・補償部１１５により生成された予測画像のいずれか一方を選択する。
【０１６０】
また、このいずれの予測画像が選択されたかを示す選択情報は、イントラ予測部１１４および動き視差予測・補償部１１５のうち、予測画像が選択された方に供給される。最適イントラ予測モードの予測画像が選択された場合、イントラ予測部１１４は、最適イントラ予測モードを示す情報（すなわち、イントラ予測モード情報）を、可逆符号化部１０６に供給する。
【０１６１】
最適インター予測モードの予測画像が選択された場合、動き視差予測・補償部１１５は、最適インター予測モードを示す情報と、必要に応じて、最適インター予測モードに応じた情報を可逆符号化部１０６に出力する。最適インター予測モードに応じた情報としては、動き視差ベクトル情報、予測ベクトルインデックス、initialized_disparityフラグ、参照画像インデックスなどがあげられる。
【０１６２】
ステップＳ１１４において、可逆符号化部１０６は、ステップＳ１０５の処理により量子化された変換係数を符号化する。すなわち、差分画像（インターの場合、２次差分画像）に対して、可変長符号化や算術符号化等の可逆符号化が行われる。
【０１６３】
また、可逆符号化部１０６は、ステップＳ１１３の処理により選択された予測画像の予測モードに関する情報を符号化し、差分画像を符号化して得られる符号化データに付加する。具体的には、可逆符号化部１０６は、イントラ予測部１１４から供給されるイントラ予測モード情報、または、動き視差予測・補償部１１５から供給される最適インター予測モードに応じた情報なども符号化し、符号化データに付加する。すなわち、動き視差ベクトル情報、予測ベクトルインデックス、initialized_disparityフラグ、参照フレームインデックスなども符号化され、符号化データに付加される。さらに、視差検出部１２２からの視差の最大値、最小値、参照ビュー情報も符号化され付加される。
【０１６４】
なお、initialized_disparityフラグ、並びに視差の最大値および最小値は、図７を参照して上述したように、スライスヘッダに含められ、参照ビュー情報は、図６を参照して上述したように、シーケンスパラメータセットに含められる。
【０１６５】
ステップＳ１１５において蓄積バッファ１０７は、可逆符号化部１０６から出力される符号化データを蓄積する。蓄積バッファ１０７に蓄積された符号化データは、適宜読み出され、伝送路を介して復号側に伝送される。
【０１６６】
ステップＳ１１６においてレート制御部１１７は、ステップＳ１１５の処理により蓄積バッファ１０７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１０５の量子化動作のレートを制御する。
【０１６７】
ステップＳ１１６の処理が終了すると、符号化処理が終了される。
【０１６８】
［インター動き視差予測処理の流れ］
次に、図９のフローチャートを参照して、図８のステップＳ１１２において実行されるインター動き視差予測処理の流れの例を説明する。
【０１６９】
デコードピクチャバッファ１１２からの復号画像画素値は、動き視差ベクトル探索部１３１および予測画像生成部１３２に供給される。画面並べ替えバッファ１０２からの原画像画素値は、動き視差ベクトル探索部１３１および符号化コスト算出部１３３に供給される。
【０１７０】
動き視差ベクトル探索部１３１は、ステップＳ１３１において、画面並べ替えバッファ１０２からの原画像画素値と、デコードピクチャバッファ１１２からの復号画像画素値を用いて、各インター予測モードで動き視差予測を行う。その結果、動き視差ベクトルが探索されるので、動き視差ベクトル探索部１３１は、探索した動き視差ベクトル、参照した参照画像インデックス、および予測モード情報を、予測画像生成部１３２および符号化コスト算出部１３３に供給する。
【０１７１】
ステップＳ１３２において、予測画像生成部１３２は、デコードピクチャバッファ１１２からの復号画像画素値に対して、動き視差ベクトル探索部１３１からの動き視差ベクトルを用いて動き視差補償処理を行い、予測画像を生成する。この処理も、すべてのインター予測モード毎に行われる。
【０１７２】
ステップＳ１３３において、空間予測ベクトル生成部１３６、時間視差予測ベクトル生成部１３７、および予測ベクトル生成部１３８は、各インター予測モードの動き視差ベクトル予測処理を行う。この動き視差ベクトル予測処理については、図１０を参照して後述する。ステップＳ１３３の処理により、各インター予測モードでの予測ベクトルが生成される。生成された予測ベクトルは、符号化コスト算出部１３３に供給される。
【０１７３】
さらに、ステップＳ１３４において、空間予測ベクトル生成部１３６、時間視差予測ベクトル生成部１３７、および予測ベクトル生成部１３８は、マージモードの動き視差ベクトル予測処理を行う。このマージモードの動き視差ベクトル予測処理については、図１１を参照して後述する。ステップＳ１３４の処理により、マージモードおよびスキップモードでの予測ベクトルが生成される。生成された予測ベクトルは、符号化コスト算出部１３３に供給される。
【０１７４】
ここで、マージモードは、マージモードの場合に予測ベクトルを示すインデックスであるマージインデックスと残差係数のみを復号側に送るモードであり、スキップモードは、マージインデックスのみを復号側に送るモードである。復号側では、マージインデックスが用いられて周囲の動き視差ベクトルから、対象領域の動き視差ベクトルが求められる。
【０１７５】
ステップＳ１３５において、符号化コスト算出部１３３は、各モード（すなわち、各インター予測モード、マージモード、およびスキップモード）に対して符号化コスト値を算出する。符号化コストの算出には、例えば、上述した式（４）または式（５）のコスト関数が用いられる。
【０１７６】
符号化コスト算出部１３３は、算出した符号化コスト値を、各部から供給された情報とともにモード判定部１３４に供給する。
【０１７７】
モード判定部１３４は、ステップＳ１３６において、符号化コスト算出部１３３からの符号化コスト値を比較することで、最適インター予測モードを決定する。モード判定部１３４は、決定した最適インター予測モードの予測画像画素値を、選択部１１６に供給する。
【０１７８】
なお、ステップＳ１３３またはＳ１３４の処理により複数の予測ベクトルが候補とされた場合、ステップＳ１３５の処理により、その候補分の符号化コスト値が求められ、モード判定部１３４において予測ベクトルが決定される。また、initialized_disparityフラグが０であるか、１であるかも、ステップＳ１３３の処理によりスライス毎の符号化コスト値が求められ、モード判定部１３４において決定される。
【０１７９】
したがって、モード判定部１３４は、決定した最適インター予測モードのモード情報、決定した予測ベクトルのインデックス、参照画像インデックス、動き視差ベクトルと予測ベクトルとの差分を示す動き視差ベクトル情報を、可逆符号化部１０６に供給する。マージモードまたはスキップモードが決定された場合、モード判定部１３４は、決定したモード情報、マージインデックス（マージモードにおける予測ベクトルのインデックス）を可逆符号化部１０６に供給する。さらに、モード判定部１３４は、スライス毎にinitialized_disparityフラグの値を可逆符号化部１０６に供給する。
【０１８０】
また、モード判定部１３４は、決定したモード情報、参照画像インデックス、動き視差ベクトルそのものを、符号化情報蓄積バッファ１３５に供給する。
【０１８１】
［動き視差ベクトル予測処理の流れ］
次に、図１０のフローチャートを参照して、図９のステップＳ１３３において実行される動き視差ベクトル予測処理の流れの例を説明する。
【０１８２】
符号化情報蓄積バッファ１３５には、周辺領域の符号化情報として、モード情報、参照画像インデックス、動き視差ベクトルなどが蓄積されている。
【０１８３】
空間予測ベクトル生成部１３６は、符号化情報蓄積バッファ１３５から、必要に応じて、周辺領域のモード情報、参照画像インデックス、および動き視差ベクトルなどの情報を取得する。空間予測ベクトル生成部１３６は、ステップＳ１５１において、取得した情報を用いて、処理対象の領域の空間相関の予測ベクトルを生成する。空間予測ベクトル生成部１３６は、生成した空間相関の予測ベクトルと、その生成に用いた周辺領域の情報を予測ベクトル生成部１３８に供給する。
【０１８４】
時間視差予測ベクトル生成部１３７は、符号化情報蓄積バッファ１３５から、必要に応じて、周辺領域のモード情報、参照画像インデックス、および動き視差ベクトルなどの情報を取得する。時間視差予測ベクトル生成部１３７は、ステップＳ１５２において、取得した情報を用いて、処理対象の領域の時間視差相関の予測ベクトルを生成する。時間視差予測ベクトル生成部１３７は、生成した時間視差相関の予測ベクトルと、その生成に用いた周辺領域の情報を予測ベクトル生成部１３８に供給する。
【０１８５】
ステップＳ１５３において、予測ベクトル生成部１３８は、処理対象の領域の周辺領域すべてが参照不可であるか否かを判定する。空間予測ベクトル生成部１３６または時間視差予測ベクトル生成部１３７からの予測ベクトルが供給されなかった場合、ステップＳ１５３において、動き視差情報がない、すなわち、周辺領域すべてが参照不可であると判定され、処理は、ステップＳ１５４に進む。
【０１８６】
ステップＳ１５４において、予測ベクトル生成部１３８は、各種必要な情報を取得する。すなわち、予測ベクトル生成部１３８は、視差検出部１２２から、視差の最小値および最大値と、参照ビュー情報を取得する。また、予測ベクトル生成部１３８は、符号化コスト算出部１３３から、処理対象の領域の参照画像インデックスの情報も取得する。
【０１８７】
ステップＳ１５５において、予測ベクトル生成部１３８は、視差ベクトルであるか否かを判定する。ステップＳ１５５において、参照画像インデックスが示す参照画像が、同時刻の異なるビューのとき、視差ベクトルであると判定され、予測ベクトル生成部１３８は、ステップＳ１５６において、視差の最小値、最大値をそれぞれ予測ベクトル候補に決定する。
【０１８８】
ステップＳ１５７において、予測ベクトル生成部１３８は、参照画像インデックスと、参照ビュー情報が示す参照ビュー画像のビューIDが同じであるか否かを判定する。ステップＳ１５７において、参照画像インデックスと参照ビュー画像のビューIDが異なると判定された場合、ステップＳ１５８において、予測ベクトル生成部１３８は、予測ベクトル候補をそれぞれ、ビューの距離に応じてスケーリングする。そして、予測ベクトル生成部１３８は、スケーリングされた予測ベクトル候補を、符号化コスト算出部１３３に供給し、動き視差ベクトル予測処理を終了する。
【０１８９】
ステップＳ１５７において、参照画像インデックスと参照ビュー画像のビューIDが同じであると判定された場合、予測ベクトル生成部１３８は、予測ベクトル候補を符号化コスト算出部１３３に供給し、動き視差ベクトル予測処理を終了する。
【０１９０】
また、参照画像インデックスが示す参照画像が同ビューの異なる時刻のとき、ステップＳ１５５において、動きベクトルであると判定され、処理は、ステップＳ１５９に進む。ステップＳ１５９において、予測ベクトル生成部１３８は、０を予測ベクトルとして、符号化コスト算出部１３３に供給し、動き視差ベクトル予測処理を終了する。
【０１９１】
一方、ステップＳ１５３において、動き情報がある、すなわち、周辺領域すべてが参照不可ではないと判定された場合、処理は、ステップＳ１６０に進む。予測ベクトル生成部１３８は、ステップＳ１６０において、重複する動き情報があれば、それを削除する。そして、予測ベクトル生成部１３８は、それ以外を、すべて予測ベクトル候補として、符号化コスト算出部１３３に供給し、動き視差ベクトル予測処理を終了する。
【０１９２】
なお、複数の候補の場合、モード判定部１３４において、それらの中から符号化コスト値により１つの予測ベクトルが決定され、決定された予測ベクトルのインデックスが、可逆符号化部１０６に供給される。
【０１９３】
［マージモードの動き視差ベクトル予測処理の流れ］
次に、図１１のフローチャートを参照して、図９のステップＳ１３４において実行されるマージモードの動き視差ベクトル予測処理の流れの例を説明する。
【０１９４】
符号化情報蓄積バッファ１３５には、周辺領域の符号化情報として、モード情報、参照画像インデックス、動き視差ベクトルなどが蓄積されている。
【０１９５】
空間予測ベクトル生成部１３６は、符号化情報蓄積バッファ１３５から、必要に応じて、周辺領域のモード情報、参照画像インデックス、および動き視差ベクトルなどの情報を取得する。空間予測ベクトル生成部１３６は、ステップＳ１７１において、取得した情報を用いて、処理対象の領域の空間相関の予測ベクトルを生成する。空間予測ベクトル生成部１３６は、生成した空間相関の予測ベクトルと、その生成に用いた周辺領域の情報を予測ベクトル生成部１３８に供給する。
【０１９６】
時間視差予測ベクトル生成部１３７は、符号化情報蓄積バッファ１３５から、必要に応じて、周辺領域のモード情報、参照画像インデックス、および動き視差ベクトルなどの情報を取得する。時間視差予測ベクトル生成部１３７は、ステップＳ１７２において、それらを用いて、処理対象の領域の時間視差相関の予測ベクトルを生成する。時間視差予測ベクトル生成部１３７は、生成した時間視差相関の予測ベクトルと、その生成に用いた周辺領域の情報を予測ベクトル生成部１３８に供給する。
【０１９７】
ステップＳ１７３において、予測ベクトル生成部１３８は、周辺領域すべてが参照不可であるか否かを判定する。空間予測ベクトル生成部１３６または時間視差予測ベクトル生成部１３７からの予測ベクトル情報が供給されなかった場合、ステップＳ１７３において、動き情報がない、すなわち、周辺領域すべてが参照不可であると判定され、処理は、ステップＳ１７４に進む。
【０１９８】
ステップＳ１７４において、予測ベクトル生成部１３８は、各種必要な情報を取得する。すなわち、予測ベクトル生成部１３８は、視差検出部１２２から、視差の最小値および最大値と、参照ビュー情報を取得する。
【０１９９】
ステップＳ１７５において、予測ベクトル生成部１３８は、参照画像インデックスを０にする。
【０２００】
ステップＳ１７６において、予測ベクトル生成部１３８は、視差ベクトルであるか否かを判定する。ステップＳ１７６において、参照画像インデックスが示す参照画像が、同時刻の異なるビューのとき、視差ベクトルであると判定され、予測ベクトル生成部１３８は、ステップＳ１７７において、視差の最小値、最大値をそれぞれ予測ベクトル候補に決定する。
【０２０１】
ステップＳ１７８において、予測ベクトル生成部１３８は、参照画像インデックスと参照ビュー情報が示す参照ビュー画像のビューIDが同じであるか否かを判定する。ステップＳ１７８において、参照画像インデックスと参照ビュー画像のビューIDが異なると判定された場合、ステップＳ１７９において、予測ベクトル生成部１３８は、予測ベクトル候補をそれぞれ、ビューの距離に応じて、スケーリングする。そして、予測ベクトル生成部１３８は、スケーリングされた予測ベクトル候補を、符号化コスト算出部１３３に供給し、動き視差ベクトル予測処理を終了する。
【０２０２】
ステップＳ１７８において、参照画像インデックスと参照ビュー画像のビューIDが同じであると判定された場合、予測ベクトル生成部１３８は、予測ベクトル候補を符号化コスト算出部１３３に供給し、マージモードの動き視差ベクトル予測処理を終了する。
【０２０３】
また、参照画像インデックスが示す参照画像が同ビューの異なる時刻のとき、ステップＳ１７６において、動きベクトルであると判定され、処理は、ステップＳ１８０に進む。ステップＳ１８０において、予測ベクトル生成部１３８は、０を予測ベクトルとして、符号化コスト算出部１３３に供給し、マージモードの動き視差ベクトル予測処理を終了する。
【０２０４】
一方、ステップＳ１７３において、動き情報がある、すなわち、周辺領域すべてが参照不可ではないと判定された場合、処理は、ステップＳ１８１に進む。予測ベクトル生成部１３８は、ステップＳ１８１において、重複する動き情報があれば、それを削除する。そして、予測ベクトル生成部１３８は、それ以外を、すべて予測ベクトル候補として、符号化コスト算出部１３３に供給し、動き視差ベクトル予測処理を終了する。
【０２０５】
複数の候補の場合、モード判定部１３４において、それらの中から符号化コスト値により１つの予測ベクトルが決定され、決定された予測ベクトルのインデックスが、マージインデックスとして、可逆符号化部１０６に供給される。
【０２０６】
以上のように、視差ベクトルの予測ベクトルを求める際に、周辺領域がすべて参照不可の場合、視差の最小値または最大値を、その予測ベクトルとするようにした。この結果、以前の予測ベクトルを０ベクトルにする場合に比して、符号化効率が改善される。
【０２０７】
＜３．第２の実施の形態＞
［画像復号装置］
図１２は、本開示を適用した画像処理装置としての画像復号装置の一実施の形態の構成を表している。図１２に示される画像復号装置２００は、図１の画像符号化装置１００に対応する復号装置である。
【０２０８】
画像符号化装置１００より符号化された符号化データは、所定の伝送路を介して、この画像符号化装置１００に対応する画像復号装置２００に伝送され、復号されるものとする。
【０２０９】
図１４に示されるように、画像復号装置２００は、蓄積バッファ２０１、可逆復号部２０２、逆量子化部２０３、逆直交変換部２０４、演算部２０５、デブロックフィルタ２０６、画面並べ替えバッファ２０７、およびD/A変換部２０８を有する。また、画像復号装置２００は、デコードピクチャバッファ２０９、選択部２１０、イントラ予測部２１１、動き視差予測・補償部２１２、および選択部２１３を有する。
【０２１０】
さらに、画像復号装置２００は、多視点デコードピクチャバッファ２２１を有する。
【０２１１】
蓄積バッファ２０１は、伝送されてきた符号化データを蓄積する。この符号化データは、画像符号化装置１００により符号化されたものである。可逆復号部２０２は、蓄積バッファ２０１から所定のタイミングで読み出された符号化データを、図２の可逆符号化部１０６の符号化方式に対応する方式で復号する。
【０２１２】
逆量子化部２０３は、可逆復号部２０２により復号されて得られた係数データ（量子化係数）を、図２の量子化部１０５の量子化方式に対応する方式で逆量子化する。つまり、逆量子化部２０３は、画像符号化装置１００から供給された量子化パラメータを用いて、図２の逆量子化部１０８と同様の方法で量子化係数の逆量子化を行う。
【０２１３】
逆量子化部２０３は、逆量子化された係数データ、つまり、直交変換係数を、逆直交変換部２０４に供給する。また、逆量子化部２０３は、逆量子化した際の量子化パラメータを、デブロックフィルタ２０６に供給する。逆直交変換部２０４は、図２の直交変換部１０４の直交変換方式に対応する方式で、その直交変換係数を逆直交変換し、画像符号化装置１００において直交変換される前の残差データに対応する復号残差データを得る。
【０２１４】
逆直交変換されて得られた復号残差データは、演算部２０５に供給される。また、演算部２０５には、選択部２１３を介して、イントラ予測部２１１若しくは動き視差予測・補償部２１２から予測画像が供給される。
【０２１５】
演算部２０５は、その復号残差データと予測画像とを加算し、画像符号化装置１００の演算部１０３により予測画像が減算される前の画像データに対応する復号画像データを得る。演算部２０５は、その復号画像データをデブロックフィルタ２０６に供給する。
【０２１６】
デブロックフィルタ２０６は、画像符号化装置１００のデブロックフィルタ１１１と基本的に同様に構成される。デブロックフィルタ２０６は、適宜デブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。
【０２１７】
画面並べ替えバッファ２０７は、画像の並べ替えを行う。すなわち、図２の画面並べ替えバッファ１０２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部２０８は、画面並べ替えバッファ２０７から供給された画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。
【０２１８】
デブロックフィルタ２０６の出力は、さらに、デコードピクチャバッファ２０９に供給される。
【０２１９】
デコードピクチャバッファ２０９、選択部２１０、イントラ予測部２１１、動き視差予測・補償部２１２、および選択部２１３は、画像符号化装置１００のデコードピクチャバッファ１１２、選択部１１３、イントラ予測部１１４、動き視差予測・補償部１１５、および選択部１１６にそれぞれ対応する。
【０２２０】
デコードピクチャバッファ２０９には、デブロックフィルタ２０６からの符号化視点の復号画像、あるいは、多視点デコードピクチャバッファ２２１からの符号化視点以外の復号画像が蓄積される。
【０２２１】
選択部２１０は、インター処理される画像と参照される画像をデコードピクチャバッファ２０９から読み出し、動き視差予測・補償部２１２に供給する。また、選択部２１０は、イントラ予測に用いられる画像をデコードピクチャバッファ２０９から読み出し、イントラ予測部２１１に供給する。
【０２２２】
イントラ予測部２１１には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報等が可逆復号部２０２から適宜供給される。イントラ予測部２１１は、この情報に基づいて、デコードピクチャバッファ２０９から取得した参照画像から予測画像を生成し、生成した予測画像を選択部２１３に供給する。
【０２２３】
動き視差予測・補償部２１２には、ヘッダ情報を復号して得られた情報（予測モード情報、動き視差ベクトルと予測ベクトルの差分を示す動き視差ベクトル情報、参照画像インデックス、フラグ、および各種パラメータ等）を可逆復号部２０２から供給される。さらに、動き視差予測・補償部２１２には、視差の最小値、最大値、および参照ビュー情報も可逆復号部２０２から供給される。
【０２２４】
動き視差予測・補償部２１２は、可逆復号部２０２から供給されるそれらの情報に基づき、処理対象の領域の周辺にある周辺領域の動き視差ベクトルを用いて、予測ベクトルを生成する。その際、視差ベクトルの予測ベクトルを求める場合であって、かつ、周辺領域の動き視差ベクトルが全て参照不可のとき、動き視差予測・補償部２１２は、可逆復号部２０２から供給される視差の最小値または視差の最大値のどちらかを、予測ベクトルとする。
【０２２５】
動き視差予測・補償部２１２は、生成された予測ベクトルと動き視差ベクトル情報とを用いて、動き視差ベクトルを再構築し、デコードピクチャバッファ２０９から取得した参照画像から予測画像を生成し、生成した予測画像を選択部２１３に供給する。
【０２２６】
選択部２１３は、動き視差予測・補償部２１２またはイントラ予測部２１１により生成された予測画像を選択し、演算部２０５に供給する。
【０２２７】
多視点デコードピクチャバッファ２２１は、処理対象のビュー（視点）に応じて、デコードピクチャバッファ２０９に蓄積されている符号化視点の復号画像と、符号化視点以外の復号画像を入れ替える。
【０２２８】
［動き視差予測・補償部の構成例］
次に、画像復号装置２００の各部について説明する。図１３は、動き視差予測・補償部２１２の構成例を示すブロック図である。なお、図１３の例においては、主要な情報の流れのみが図示されている。
【０２２９】
図１３の例において、動き視差予測・補償部２１２は、符号化情報蓄積バッファ２３１、空間予測ベクトル生成部２３２、時間視差予測ベクトル生成部２３３、予測ベクトル生成部２３４、演算部２３５、および予測画像生成部２３６を含むように構成されている。特に、空間予測ベクトル生成部２３２、時間視差予測ベクトル生成部２３３、および予測ベクトル生成部２３４は、図５の空間予測ベクトル生成部１３６、時間視差予測ベクトル生成部１３７、および予測ベクトル生成部１３８に対応している。
【０２３０】
可逆復号部２０２から、処理対象領域のモード情報、参照画像インデックス、予測ベクトルインデックス、動き視差ベクトルと予測ベクトルの差分を示す動き視差ベクトル情報が、符号化情報蓄積バッファ２３１に供給される。また、可逆復号部２０２から、スライスヘッダから得られるinitialized_disparityフラグ、視差の最小値、および視差の最大値、並びにシーケンスパラメータセットから得られる参照ビュー情報が、符号化情報蓄積バッファ２３１に供給される。
【０２３１】
さらに、符号化情報蓄積バッファ２３１には、演算部２３５により再構築された周辺領域の動き視差ベクトル（以下、復号済み動き視差ベクトルとも称する）も供給される。
【０２３２】
空間予測ベクトル生成部２３２は、符号化情報蓄積バッファ２３１から、必要に応じて、周辺領域のモード情報、参照画像インデックス、および復号済み動き視差ベクトルなどの情報を取得し、それらを用いて、処理対象の領域の空間相関の予測ベクトルを生成する。空間予測ベクトル生成部２３２は、生成した空間相関の予測ベクトルと、その生成に用いた周辺領域の情報を予測ベクトル生成部２３４に供給する。
【０２３３】
時間視差予測ベクトル生成部２３３は、符号化情報蓄積バッファ２３１から、必要に応じて、周辺領域のモード情報、参照画像インデックス、および復号済み動き視差ベクトルなどの情報を取得する。時間視差予測ベクトル生成部２３３は、それらの情報を用いて、処理対象の領域の時間視差相関の予測ベクトルを生成する。時間視差予測ベクトル生成部２３３は、生成した時間視差相関の予測ベクトルと、その生成に用いた周辺領域の情報を予測ベクトル生成部２３４に供給する。
【０２３４】
予測ベクトル生成部２３４は、符号化情報蓄積バッファ２３１から、参照画像インデックス、予測ベクトルインデックス、initialized_disparityフラグ、視差の最小値および最大値、並びに参照ビュー情報を取得する。予測ベクトル生成部２３４は、空間予測ベクトル生成部２３２および時間視差予測ベクトル生成部２３３から、生成された予測ベクトルと周辺領域の情報を取得する。
【０２３５】
予測ベクトル生成部２３４は、取得した情報を参照して、空間予測ベクトル生成部２３２または時間視差予測ベクトル生成部２３３からの予測ベクトル、０ベクトル、または、視差の最小値または最大値により求められる予測ベクトルを、演算部２３５に供給する。特に、視差ベクトルの予測ベクトルを求める場合であって、かつ、周辺領域の動き視差ベクトルが全て参照不可のとき、予測ベクトル生成部２３４は、可逆復号部２０２から供給される視差の最小値または視差の最大値のどちらかを、予測ベクトルとする。
【０２３６】
演算部２３５は、符号化情報蓄積バッファ２３１から動き視差ベクトル情報（動き視差ベクトルの差分値）を取得し、予測ベクトル生成部２３４からの予測ベクトルと加算することで、動き視差ベクトルを再構築する。演算部２３５は、再構築した動き視差ベクトルを、予測画像生成部２３６および符号化情報蓄積バッファ２３１に供給する。
【０２３７】
予測画像生成部２３６は、符号化情報蓄積バッファ２３１からの参照画像インデックスが示す復号画像の画素値を、デコードピクチャバッファ２０９から取得し、演算部２３５からの動き視差ベクトルを用いて、予測画像を生成する。予測画像生成部２３６は、生成した予測画像の画素値を、選択部２１３に供給する。
【０２３８】
［復号処理の流れ］
次に、以上のような画像復号装置２００により実行される各処理の流れについて説明する。最初に、図１４のフローチャートを参照して、復号処理の流れの例を説明する。
【０２３９】
復号処理が開始されると、ステップＳ２０１において、蓄積バッファ２０１は、伝送されてきた符号化データを蓄積する。ステップＳ２０２において、可逆復号部２０２は、蓄積バッファ２０１から供給される符号化データを復号する。すなわち、図２の可逆符号化部１０６により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。
【０２４０】
このとき、予測モード情報（イントラ予測モード、インター予測モード、マージモード、またはスキップモードなど）なども復号される。さらに、動き視差ベクトル情報、参照画像インデックス、予測ベクトルインデックス、initialized_disparityフラグ、視差の最小値および最大値、並びに参照ビュー情報などのインター予測モードに応じた情報も復号される。
【０２４１】
予測モード情報がイントラ予測モード情報である場合、予測モード情報は、イントラ予測部２１１に供給される。予測モード情報がインター予測モード情報、マージモード、またはスキップモードである場合、予測モード情報とインター予測モードに応じた情報は、動き視差予測・補償部２１２に供給される。
【０２４２】
ステップＳ２０３において、逆量子化部２０３は、可逆復号部２０２により復号されて得られた、量子化された直交変換係数を逆量子化する。ステップＳ２０４において逆直交変換部２０４は逆量子化部２０３により逆量子化されて得られた直交変換係数を、図２の直交変換部１０４に対応する方法で逆直交変換する。これにより図２の直交変換部１０４の入力（演算部１０３の出力）に対応する差分情報が復号されたことになる。
【０２４３】
ステップＳ２０５において、演算部２０５は、ステップＳ２０４の処理により得られた差分情報に、予測画像を加算する。これにより元の画像データが復号される。
【０２４４】
ステップＳ２０６において、デブロックフィルタ２０６は、ステップＳ２０５の処理により得られた復号画像を適宜フィルタリングする。これにより適宜復号画像からブロック歪みが除去される。
【０２４５】
ステップＳ２０７において、デコードピクチャバッファ２０９は、フィルタリングされた復号画像を記憶する。
【０２４６】
ステップＳ２０８において、イントラ予測部２１１、または動き視差予測・補償部２１２は、可逆復号部２０２から供給される予測モード情報に対応して、イントラ符号化されているか否かを判定する。
【０２４７】
ステップＳ２０８において、イントラ符号化されていると判定された場合、ステップＳ２０９において、イントラ予測部２１１は、可逆復号部２０２からのイントラ予測モードを取得する。ステップＳ２１０において、イントラ予測部２１１は、ステップＳ２０９で取得したイントラ予測モードに応じて、予測画像を生成する。イントラ予測部２１１は、生成した予測画像を、選択部２１３に出力する。
【０２４８】
一方、予測モード情報が、インター予測モード、マージモード、またはスキップモードなどであり、ステップＳ２０８において、イントラ符号化されていないと判定された場合、処理は、ステップＳ２１１に進む。ステップＳ２１１において、動き視差予測・補償部２１２は、インター動き視差予測処理を行う。このインター動き視差予測処理の詳細は、図１５を参照して後述される。
【０２４９】
ステップＳ２１１の処理により、可逆復号部２０２から供給されるそれらの情報に基づいて、処理対象の領域の周辺にある周辺領域の動き視差ベクトルを用いて、予測ベクトルが生成される。その際、視差ベクトルの予測ベクトルを求める場合であって、かつ、周辺領域の動き視差ベクトルが全て参照不可のとき、動き視差予測・補償部２１２は、可逆復号部２０２から供給される視差の最小値または視差の最大値のどちらかを、予測ベクトルとする。
【０２５０】
そして、生成された予測ベクトルと動き視差ベクトル情報（差分値）を用いて、動き視差ベクトルが再構築されて、デコードピクチャバッファ２０９から取得した参照画像から予測画像が生成され、生成された予測画像が選択部２１３に供給される。
【０２５１】
ステップＳ２１２において、選択部２１３は予測画像を選択する。すなわち、選択部２１３には、イントラ予測部２１１により生成された予測画像、若しくは、動き視差予測・補償部２１２により生成された予測画像が供給される。選択部２１３は、その予測画像が供給された側を選択し、その予測画像を演算部２０５に供給する。この予測画像は、ステップＳ２０５の処理により差分情報に加算される。
【０２５２】
ステップＳ２１３において、画面並べ替えバッファ２０７は、復号画像データのフレームの並べ替えを行う。すなわち、復号画像データの、画像符号化装置１００の画面並べ替えバッファ１０２（図２）により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
【０２５３】
ステップＳ２１４において、D/A変換部２０８は、画面並べ替えバッファ２０７においてフレームが並べ替えられた復号画像データをD/A変換する。この復号画像データが図示せぬディスプレイに出力され、その画像が表示される。
【０２５４】
［インター動き視差予測処理の流れ］
次に、図１５のフローチャートを参照して、図１４のステップＳ２１１において実行されるインター動き視差予測処理の流れの例を説明する。
【０２５５】
可逆復号部２０２から復号された処理対象領域のモード情報、参照画像インデックス、動き視差ベクトル情報、予測ベクトルインデックスが供給される。必要に応じて、initialized_disparityフラグ、視差の最小値および最大値、並びに参照ビュー情報も供給される。符号化情報蓄積バッファ２３１は、ステップＳ２３１において、それらの動き視差ベクトル情報などを取得し、ステップＳ２３２において、蓄積する。
【０２５６】
空間予測ベクトル生成部２３２および時間視差予測ベクトル生成部２３３は、符号化情報蓄積バッファ２３１に蓄積されているモード情報を参照して、ステップＳ２３３において、処理対象の領域のモードが、スキップモードであるか否かを判定する。
【０２５７】
ステップＳ２３３において、スキップモードではないと判定された場合、ステップＳ２３４において、空間予測ベクトル生成部２３２および時間視差予測ベクトル生成部２３３は、処理対象の領域のモードが、マージモードであるか否かを判定する。ステップＳ２３４において、マージモードではないと判定された場合、処理は、ステップＳ２３５に進む。
【０２５８】
ステップＳ２３５において、予測ベクトル生成部２３４および予測画像生成部２３６は、符号化情報蓄積バッファ２３１に蓄積されている処理対象領域の参照画像インデックスを取得する。
【０２５９】
ステップＳ２３６において、演算部２３５は、符号化情報蓄積バッファ２３１に蓄積されている処理対象領域の動き視差ベクトルの差分値である、動き視差ベクトル情報を取得する。
【０２６０】
ステップＳ２３７において、空間予測ベクトル生成部２３２、時間視差予測ベクトル生成部２３３、および予測ベクトル生成部２３４は、動き視差ベクトル予測処理を行う。この動き視差ベクトル予測処理の詳細は、図１６を参照して後述される。
【０２６１】
このステップＳ２３７の処理により、予測ベクトルが生成される。その際、視差ベクトルを生成する場合であって、周辺領域が参照不可のとき、スライスヘッダから得られた視差の最大値または最小値が用いられて予測ベクトルが生成される。予測ベクトル生成部２３４は、生成された予測ベクトルを、演算部２３５に出力する。
【０２６２】
ステップＳ２３８において、演算部２３５は、ステップＳ２３６で得られた動き視差ベクトルの差分値と、ステップＳ２３７で生成された予測ベクトルを加算する。これにより、動き視差ベクトルが再構築される。再構築された動き視差ベクトルは、予測画像生成部２３６に供給され、処理は、ステップＳ２４０に進む。
【０２６３】
一方、ステップＳ２３３において、スキップモードであると判定された場合、または、ステップＳ２３４において、マージモードであると判定された場合、処理は、ステップＳ２３９に進む。ステップＳ２３９において、空間予測ベクトル生成部２３２、時間視差予測ベクトル生成部２３３、および予測ベクトル生成部２３４は、マージモードの動き視差ベクトル予測処理を行う。このマージモードの動き視差ベクトル予測処理の詳細は、図１７を参照して後述される。
【０２６４】
このステップＳ２３７の処理により、マージモードの予測ベクトルが生成される。視差ベクトルを生成する場合であって、周辺領域が参照不可のとき、スライスヘッダから得られた視差の最大値または最小値が用いられて予測ベクトルが生成される。予測ベクトル生成部２３４は、生成された予測ベクトルと参照画像インデックスを、演算部２３５を介して、予測画像生成部２３６に供給する。
【０２６５】
ステップＳ２４０において、予測画像生成部２３６は、予測画像を生成する。マージモードではない場合、予測画像生成部２３６は、符号化情報蓄積バッファ２３１からの参照画像インデックスが示す復号画像画素値を、デコードピクチャバッファ２０９から読み出す。そして、予測画像生成部２３６は、その復号画像画素値と、動き視差ベクトルを用いて、予測画像を生成する。
【０２６６】
一方、マージモードの場合、予測画像生成部２３６は、予測ベクトル生成部２３４からの参照画像インデックスが示す復号画像画素値をデコードピクチャバッファ２０９から読み出す。そして、予測画像生成部２３６は、その復号画像画素値と、生成された予測ベクトルを用いて、予測画像を生成する。
【０２６７】
ステップＳ２４０において生成された予測画像の画素値は、選択部２１３に出力され、インター動き視差予測処理は終了される。
【０２６８】
［動き視差ベクトル予測処理の流れ］
次に、図１６のフローチャートを参照して、図１５のステップＳ２３７において実行される動き視差ベクトル予測処理の流れの例を説明する。
【０２６９】
空間予測ベクトル生成部２３２は、符号化情報蓄積バッファ２３１から、必要に応じて、周辺領域のモード情報、参照画像インデックス、および復号済み動き視差ベクトルなどの情報を取得する。ステップＳ２５１において、空間予測ベクトル生成部２３２は、取得した情報を用いて、処理対象の領域の空間相関の予測ベクトルを生成する。空間予測ベクトル生成部２３２は、生成した空間相関の予測ベクトルと、その生成に用いた周辺領域の情報を予測ベクトル生成部２３４に供給する。
【０２７０】
時間視差予測ベクトル生成部２３３は、符号化情報蓄積バッファ２３１から、必要に応じて、周辺領域のモード情報、参照画像インデックス、および復号済み動き視差ベクトルなどの情報を取得する。ステップＳ２５２において、時間視差予測ベクトル生成部２３３は、取得した情報を用いて、処理対象の領域の時間視差相関の予測ベクトルを生成する。時間視差予測ベクトル生成部２３３は、生成した時間視差相関の予測ベクトルと、その生成に用いた周辺領域の情報を予測ベクトル生成部２３４に供給する。
【０２７１】
ステップＳ２５３において、予測ベクトル生成部２３４は、動き視差情報があるか否かを判定する。空間予測ベクトル生成部２３２からの予測ベクトルまたは時間視差予測ベクトル生成部２３３からの予測ベクトルが供給された場合、予測ベクトル生成部２３４は、ステップＳ２５３において、動き視差情報があると判定し、処理は、ステップＳ２５４に進む。
【０２７２】
ステップＳ２５４において、予測ベクトル生成部２３４は、空間予測ベクトル生成部２３２からの予測ベクトルまたは時間視差予測ベクトル生成部２３３からの予測ベクトルの中から、重複する動き視差情報があれば、それを削除する。
【０２７３】
ステップＳ２５５において、予測ベクトル生成部２３４は、予測ベクトルを決定する。予測ベクトル生成部２３４は、予測ベクトルが複数あった場合には、符号化情報蓄積バッファ２３１に蓄積されている予測ベクトルインデックスに対応するものを、予測ベクトルに決定する。決定された予測ベクトルは、演算部２３５に出力され、動き視差ベクトル予測処理は終了される。
【０２７４】
一方、ステップＳ２５３において、動き視差情報がないと判定された場合、処理は、ステップＳ２５６に進む。ステップＳ２５６において、予測ベクトル生成部２３４は、予測ベクトルが、視差ベクトルであるか否かを判定する。符号化情報蓄積バッファ２３１からの処理対象の領域の参照画像インデックスが示す参照画像が、処理対象画像と、同じ時刻で異なるビューの画像である場合、ステップＳ２５６において、予測ベクトルが視差ベクトルであると判定され、処理は、ステップＳ２５７に進む。
【０２７５】
予測ベクトル生成部２３４は、ステップＳ２５７において、符号化情報蓄積バッファ２３１に蓄積されている、スライスヘッダから得られるinitialized_disparityフラグが０であるか否かを判定する。
【０２７６】
ステップＳ２５７において、initialized_disparityフラグが０であると判定された場合、処理は、ステップＳ２５８に進む。ステップＳ２５８において、予測ベクトル生成部２３４は、スライスヘッダから得られるminimum_disparityの値を、すなわち、視差の最小値を、予測ベクトルとする。
【０２７７】
さらに、ステップＳ２５９において、予測ベクトル生成部２３４は、参照画像インデックスのビューIDと、参照ビュー情報が示す参照ビュー画像のビューIDが同じであるか否かを判定する。ステップＳ２５９において、参照画像インデックスのビューIDと、参照ビュー画像のビューIDが同じであると判定された場合、ステップＳ２６０の処理はスキップされ、動き視差ベクトル生成処理は終了される。すなわち、この場合、ステップＳ２５８の予測ベクトルが演算部２３５に供給される。
【０２７８】
ステップＳ２５９において、参照画像インデックスのビューIDと、参照ビュー画像のビューIDが異なると判定された場合、ステップＳ２６０において、予測ベクトル生成部２３４は、ステップＳ２５８で求められた予測ベクトルをスケーリングする。すなわち、予測ベクトル生成部２３４は、視差の最小値を、ビュー画像の視点距離に応じてスケーリングした値を、予測ベクトルとして、演算部２３５に供給し、動き視差ベクトル生成処理は終了される。
【０２７９】
ステップＳ２５７において、initialized_disparityフラグが１であると判定された場合、処理は、ステップＳ２６１に進む。ステップＳ２６１において、予測ベクトル生成部２３４は、スライスヘッダから得られるmaximum_disparityの値を、すなわち、視差の最大値を、予測ベクトルとする。
【０２８０】
同様に、ステップＳ２６２において、予測ベクトル生成部２３４は、参照画像インデックスのビューIDと、参照ビュー情報が示す参照ビュー画像のビューIDが同じであるか否かを判定する。ステップＳ２６２において、参照画像インデックスのビューIDと、参照ビュー画像のビューIDが同じであると判定された場合、ステップＳ２６３の処理はスキップされ、動き視差ベクトル生成処理は終了される。すなわち、この場合、ステップＳ２６１の予測ベクトルが演算部２３５に供給される。
【０２８１】
ステップＳ２６２において、参照画像インデックスのビューIDと、参照ビュー画像のビューIDが異なると判定された場合、ステップＳ２６３において、予測ベクトル生成部２３４は、ステップＳ２６１で求められた予測ベクトルをスケーリングする。すなわち、予測ベクトル生成部２３４は、視差の最小値を、ビュー画像の視点距離に応じてスケーリングした値を、予測ベクトルとして、演算部２３５に供給し、動き視差ベクトル生成処理は終了される。
【０２８２】
一方、符号化情報蓄積バッファ２３１からの処理対象の領域の参照画像インデックスが示す参照画像が、処理対象画像と、同じビューで異なる時刻の画像である場合、ステップＳ２５６において、視差ベクトルではないと判定され、処理は、ステップＳ２６４に進む。予測ベクトル生成部２３４は、ステップＳ２６４において、予測ベクトルに初期値（０）を与える。すなわち、予測ベクトル生成部２３４は、ステップＳ２６４において、０ベクトルを予測ベクトルとして、演算部２３５に供給し、動き視差ベクトル生成処理は終了される。
【０２８３】
［マージモードの動き視差ベクトル予測処理の流れ］
次に、図１７のフローチャートを参照して、図１５のステップＳ２３９において実行されるマージモードの動き視差ベクトル予測処理の流れの例を説明する。
【０２８４】
空間予測ベクトル生成部２３２は、符号化情報蓄積バッファ２３１から、必要に応じて、周辺領域のモード情報、参照画像インデックス、および復号済み動き視差ベクトルなどの情報を取得する。ステップＳ２７１において、空間予測ベクトル生成部２３２は、取得した情報を用いて、処理対象の領域の空間相関の予測ベクトルを生成する。空間予測ベクトル生成部２３２は、生成した空間相関の予測ベクトルと、その生成に用いた周辺領域の情報を予測ベクトル生成部２３４に供給する。
【０２８５】
時間視差予測ベクトル生成部２３３は、符号化情報蓄積バッファ２３１から、必要に応じて、周辺領域のモード情報、参照画像インデックス、および復号済み動き視差ベクトルなどの情報を取得する。ステップＳ２７２において、時間視差予測ベクトル生成部２３３は、取得した情報を用いて、処理対象の領域の時間視差相関の予測ベクトルを生成する。時間視差予測ベクトル生成部２３３は、生成した時間視差相関の予測ベクトルと、その生成に用いた周辺領域の情報を予測ベクトル生成部２３４に供給する。
【０２８６】
ステップＳ２７３において、予測ベクトル生成部２３４は、動き視差情報が存在するか否かを判定する。空間予測ベクトル生成部２３２からの予測ベクトルまたは時間視差予測ベクトル生成部２３３からの予測ベクトルが供給された場合、予測ベクトル生成部２３４は、ステップＳ２７３において、動き視差情報が存在すると判定し、処理は、ステップＳ２７４に進む。
【０２８７】
ステップＳ２７４において、予測ベクトル生成部２３４は、空間予測ベクトル生成部２３２からの予測ベクトルまたは時間視差予測ベクトル生成部２３３からの予測ベクトルの中から、重複する動き視差情報があれば、それを削除する。
【０２８８】
ステップＳ２７５において、予測ベクトル生成部２３４は、複数の動き視差情報が存在するか否かを判定する。ステップＳ２７５において、複数の動き視差情報が存在すると判定された場合、ステップＳ２７６において、予測ベクトル生成部２３４は、符号化情報蓄積バッファ２３１からマージインデックスを取得する。マージインデックスは、マージモードの場合の予測ベクトルのインデックスを示す情報である。
【０２８９】
ステップＳ２７５において、複数の動き視差情報が存在しない、すなわち、動き視差情報が１つ存在すると判定された場合、ステップＳ２７６はスキップされる。
【０２９０】
ステップＳ２７７において、予測ベクトル生成部２３４は、予測ベクトルを決定する。すなわち、複数の動き視差情報の中から、マージインデックスが指し示す動き視差情報が、予測ベクトルとして決定される。一方、１つの動き視差情報だけが存在するのであれば、それが、予測ベクトルとして決定される。
【０２９１】
ステップＳ２７８において、予測ベクトル生成部２３４は、予測ベクトルとして決定した動き視差情報が参照する参照画像インデックスを取得し、予測ベクトルと参照画像インデックスを演算部２３５に供給する。その後、マージモードの動き視差ベクトル予測処理は終了される。
【０２９２】
一方、ステップＳ２７３において、動き視差情報がないと判定された場合、処理は、ステップＳ２７９に進む。ステップＳ２７９において、予測ベクトル生成部２３４は、参照画像インデックスに、初期値（０）を与える。
【０２９３】
次に、ステップＳ２８０において、予測ベクトル生成部２３４は、予測ベクトルが、視差ベクトルであるか否かを判定する。その参照画像インデックスが示す参照画像が、処理対象ピクチャと、同じ時刻で異なるビューの画像である場合、ステップＳ２８０において、予測ベクトルが視差ベクトルであると判定され、処理は、ステップＳ２８１に進む。
【０２９４】
予測ベクトル生成部２３４は、ステップＳ２８１において、符号化情報蓄積バッファ２３１に蓄積されている、スライスヘッダから得られるinitialized_disparityフラグが０であるか否かを判定する。
【０２９５】
ステップＳ２８１において、initialized_disparityフラグが０であると判定された場合、処理は、ステップＳ２８２に進む。ステップＳ２８２において、予測ベクトル生成部２３４は、スライスヘッダから得られるminimum_disparityの値を、すなわち、視差の最小値を、予測ベクトルとする。
【０２９６】
さらに、ステップＳ２８３において、予測ベクトル生成部２３４は、参照画像インデックスのビューIDと、参照ビュー情報が示す参照ビュー画像のビューIDが同じであるか否かを判定する。ステップＳ２８３において、参照画像インデックスのビューIDと、参照ビュー画像のビューIDが同じであると判定された場合、ステップＳ２８４の処理はスキップされ、動き視差ベクトル生成処理は終了される。すなわち、この場合、ステップＳ２８２の予測ベクトルが演算部２３５に供給される。
【０２９７】
ステップＳ２８３において、参照画像インデックスのビューIDと、参照ビュー画像のビューIDが異なると判定された場合、ステップＳ２８４において、予測ベクトル生成部２３４は、ステップＳ２８２で求められた予測ベクトルをスケーリングする。すなわち、予測ベクトル生成部２３４は、視差の最小値を、ビュー画像の視点距離に応じてスケーリングした値を、予測ベクトルとして、演算部２３５に供給し、動き視差ベクトル生成処理は終了される。
【０２９８】
ステップＳ２８１において、initialized_disparityフラグが１であると判定された場合、処理は、ステップＳ２８５に進む。ステップＳ２８５において、予測ベクトル生成部２３４は、スライスヘッダから得られるmaximum_disparityの値を、すなわち、視差の最大値を、予測ベクトルとする。
【０２９９】
同様に、ステップＳ２８６において、予測ベクトル生成部２３４は、参照画像インデックスのビューIDと、参照ビュー情報が示す参照ビュー画像のビューIDが同じであるか否かを判定する。ステップＳ２８６において、参照画像インデックスのビューIDと、参照ビュー画像のビューIDが同じであると判定された場合、ステップＳ２８７の処理はスキップされ、動き視差ベクトル生成処理は終了される。すなわち、この場合、ステップＳ２８５の予測ベクトルが演算部２３５に供給される。
【０３００】
ステップＳ２８６において、参照画像インデックスのビューIDと、参照ビュー画像のビューIDが異なると判定された場合、ステップＳ２８７において、予測ベクトル生成部２３４は、ステップＳ２８５で求められた予測ベクトルをスケーリングする。すなわち、予測ベクトル生成部２３４は、視差の最小値を、ビュー画像の視点距離に応じてスケーリングした値を、予測ベクトルとして、演算部２３５に供給し、動き視差ベクトル生成処理は終了される。
【０３０１】
一方、参照画像インデックスが示す参照画像が、処理対象画像と、同じビューで異なる時刻の画像である場合、ステップＳ２８０において、視差ベクトルではないと判定され、処理は、ステップＳ２８８に進む。予測ベクトル生成部２３４は、ステップＳ２８８において、予測ベクトルに初期値（０）を与える。すなわち、予測ベクトル生成部２３４は、ステップＳ２８８において、０ベクトルを予測ベクトルとして、演算部２３５に供給し、動き視差ベクトル生成処理は終了される。
【０３０２】
以上のように、視差ベクトルを予測する際に、周辺領域が参照不可の場合、ピクチャ内の視差の最大値と最小値のどちらか一方を予測ベクトルとするようにした。これにより、視差ベクトルの予測ベクトルの性能を改善することができる。すなわち、従来のように、０ベクトルを予測ベクトルとして、動き視差ベクトルそのものを送る場合に比して、伝送する視差ベクトルの差分値が小さくなるので、符号化効率が改善される。
【０３０３】
また、視差ベクトルは、スライスヘッダの中で定義する視差の最小値と最大値の間で発生すると考えられる。したがって、周辺領域がいずれも参照不可の場合に、予測ベクトルとして最小値が最大値のいずれかをセットすることで、確率的に精度の高い予測ベクトルを生成することができる。
【０３０４】
さらに、予測ベクトルとして最小値と最大値のどちらがよいかは、シーンによるので、これらをスライスヘッダのフラグで設定することにより、より精度の高い予測ベクトルを生成することができる。
【０３０５】
また、この視差の最大値と最小値、参照ビュー情報は、表示側で視差調整や視点合成をするために必要な情報であるので、それを必ず送るスライスヘッダに含めて送り、利用することはより効率的である。
【０３０６】
なお、予測ベクトルに利用する、視差の最大値は、視差の範囲内の所定の上限値としてもよいし、視差の最小値は、視差の範囲内の所定の下限値としてもよい。また、ピクチャ内の視差の平均値を予測ベクトルに利用することも可能である。さらに、視差の範囲内の所定の値（設定値）を予測ベクトルに利用するようにしてもよい。
【０３０７】
また、本技術においては、視差の最大値と最小値を予測ベクトルとして用いたが、上述した視差の最大値、最小値、上限値、下限値、平均値、または所定の値を、動き視差ベクトルの中の候補ベクトルの１つとして用いるようにしてもよい。
【０３０８】
以上においては、符号化方式としてH．264/AVC方式またはHEVC方式をベースに用いるようにしたが、本開示はこれに限らず、その他の符号化方式／復号方式を適用することができる。
【０３０９】
なお、本開示は、例えば、MPEG、H．26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本開示は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。さらに、本開示は、それらの画像符号化装置および画像復号装置などに含まれる動き予測補償装置にも適用することができる。
【０３１０】
＜４．第３の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
【０３１１】
図１８において、パーソナルコンピュータ５００のCPU（Central Processing Unit）５０１は、ROM（Read Only Memory）５０２に記憶されているプログラム、または記憶部５１３からRAM（Random Access Memory）５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０３１２】
CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インタフェース５１０も接続されている。
【０３１３】
入出力インタフェース５１０には、キーボード、マウスなどよりなる入力部５１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部５１２、ハードディスクなどより構成される記憶部５１３、モデムなどより構成される通信部５１４が接続されている。通信部５１４は、インターネットを含むネットワークを介しての通信処理を行う。
【０３１４】
入出力インタフェース５１０にはまた、必要に応じてドライブ５１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５１３にインストールされる。
【０３１５】
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０３１６】
この記録媒体は、例えば、図１８に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア５２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM５０２や、記憶部５１３に含まれるハードディスクなどで構成される。
【０３１７】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０３１８】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０３１９】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
【０３２０】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０３２１】
上述した実施形態に係る画像符号化装置及び画像復号装置は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
【０３２２】
＜５．第４の実施の形態＞  
［第１の応用例：テレビジョン受像機］
図１９は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
【０３２３】
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
【０３２４】
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからEPG（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
【０３２５】
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
【０３２６】
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのGUI（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
【０３２７】
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）など）の映像面上に映像又は画像を表示する。
【０３２８】
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
【０３２９】
外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
【０３３０】
制御部９１０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
【０３３１】
ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
【０３３２】
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
【０３３３】
このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置の機能を有する。それにより、テレビジョン装置９００での画像の復号に際して、ブロック歪みの除去をより適切に行い、復号画像における主観画質を向上させることができる。
【０３３４】
＜６．第５の実施の形態＞
［第２の応用例：携帯電話機］
図２０は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
【０３３５】
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
【０３３６】
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
【０３３７】
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０３３８】
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
【０３３９】
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB（Unallocated Space Bitmap）メモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
【０３４０】
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記憶再生部９２９の記憶媒体に記憶させる。
【０３４１】
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０３４２】
このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、携帯電話機９２０での画像の符号化及び復号に際して、ブロック歪みの除去をより適切に行い、復号画像における主観画質を向上させることができる。
【０３４３】
＜７．第６の実施の形態＞
［第３の応用例：記録再生装置］
図２１は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
【０３４４】
記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、HDD（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、OSD（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
【０３４５】
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。
【０３４６】
外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、IEEE1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。
【０３４７】
エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
【０３４８】
HDD９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、HDD９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
【０３４９】
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばDVDディスク（DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等）又はBlu-ray（登録商標）ディスクなどであってよい。
【０３５０】
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、HDD９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
【０３５１】
デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをOSD９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
【０３５２】
OSD９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、OSD９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。
【０３５３】
制御部９４９は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
【０３５４】
ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
【０３５５】
このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置の機能を有する。それにより、記録再生装置９４０での画像の符号化及び復号に際して、ブロック歪みの除去をより適切に行い、復号画像における主観画質を向上させることができる。
【０３５６】
＜８．第７の実施の形態＞
［第４の応用例：撮像装置］
図２２は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
【０３５７】
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
【０３５８】
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、及び制御部９７０を相互に接続する。
【０３５９】
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、CCD（Charge Coupled Device）又はCMOS（Complementary Metal Oxide Semiconductor）などのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
【０３６０】
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
【０３６１】
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、OSD９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
【０３６２】
OSD９６９は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部９６４へ出力する。
【０３６３】
外部インタフェース９６６は、例えばUSB入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。
【０３６４】
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。
【０３６５】
制御部９７０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
【０３６６】
ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
【０３６７】
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、撮像装置９６０での画像の符号化及び復号に際して、ブロック歪みの除去をより適切に行い、復号画像における主観画質を向上させることができる。
【０３６８】
なお、本明細書では、差分量子化パラメータ等の各種情報が、符号化ストリームに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
【０３６９】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０３７０】
なお、本技術は以下のような構成も取ることができる。
（１）  ビットストリームを復号して、画像を生成する復号部と、
前記復号部により生成された前記画像の復号対象の領域の視差ベクトルを予測する際に、前記領域の周辺にある周辺領域がすべて参照不可の場合、前記ビットストリームから得られる前記画像および前記画像と視差が異なる同一時刻のビュー画像の画像間の視差の範囲の上限の値または下限の値を、予測ベクトルとして決定する予測ベクトル決定部と、
前記予測ベクトル決定部により決定された前記予測ベクトルを用いて、前記復号部により生成された前記画像の予測画像を生成する予測画像生成部と
を備える画像処理装置。
（２）  前記画像間の視差の範囲の上限の値または下限の値は、前記画像間の視差の最大値または最小値である
前記（１）に記載の画像処理装置。
（３）  前記復号は、前記画像間の視差の範囲の上限の値および下限の値のうち、どの値を前記予測ベクトルとして用いるかを示すフラグを受け取り、
前記予測ベクトル決定部は、前記復号により受け取られたフラグに示される値を、前記予測ベクトルとして決定する
前記（１）または（２）に記載の画像処理装置。
（４）  前記予測ベクトル生成部は、前記画像間の視差の範囲の上限の値、下限の値、および平均値のいずれか１つを、前記予測ベクトルとして決定する
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）  前記予測ベクトル生成部は、前記画像間の視差の範囲の上限の値、下限の値、および前記画像間の視差の範囲内の所定の値のいずれか１つを、前記予測ベクトルとして決定する
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（６）  前記予測ベクトル生成部は、前記画像の参照画像インデックスが示す画像と、前記ビュー画像とが異なる場合、前記画像間の視差の範囲の上限の値または下限の値をスケーリングしたものを、前記予測ベクトルとして決定する
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）  画像処理装置が、
ビットストリームを復号して、画像を生成し、
生成された前記画像の復号対象の領域の視差ベクトルを予測する際に、前記領域の周辺にある周辺領域がすべて参照不可の場合、前記ビットストリームから得られる前記画像および前記画像と視差が異なる同一時刻のビュー画像の画像間の視差の範囲の上限の値または下限の値を、予測ベクトルとして決定し、
決定された前記予測ベクトルを用いて、生成された前記画像の予測画像を生成する
画像処理方法。
（８）  画像の符号化対象の領域の視差ベクトルを予測する際に、前記領域の周辺にある周辺領域がすべて参照不可の場合、前記画像および前記画像と視差が異なる同一時刻のビュー画像の画像間の視差の範囲の上限の値または下限の値を、予測ベクトルとして決定する予測ベクトル決定部と、
前記領域の視差ベクトルと、前記予測ベクトル決定部により決定された前記予測ベクトルとの差分を符号化する符号化部と
を備える画像処理装置。
（９）  前記画像間の視差の範囲の上限の値または下限の値は、前記画像間の視差の最大値または最小値である
前記（８）に記載の画像処理装置。
（１０）  前記予測ベクトル決定部により前記画像間の視差の範囲の上限の値または下限の値のうち、どの値を予測ベクトルに決定したかを示すフラグと、前記画像を符号化した符号化ストリームとを伝送する伝送部
をさらに備える前記（８）または（９）に記載の画像処理装置。
（１１）  前記予測ベクトル生成部は、前記画像間の視差の範囲の上限の値、下限の値、および平均値のいずれか１つを、前記予測ベクトルとして決定する
前記（８）乃至（１０）のいずれかに記載の画像処理装置。
（１２）  前記予測ベクトル生成部は、前記画像間の視差の範囲の上限の値、下限の値、および前記画像間の視差の範囲内の所定の値のいずれか１つを、前記予測ベクトルとして決定する
前記（８）乃至（１０）のいずれかに記載の画像処理装置。
（１３）  前記予測ベクトル生成部は、前記画像の参照画像インデックスが示す画像と、前記ビュー画像とが異なる場合、前記画像間の視差の範囲の上限の値または下限の値をスケーリングしたものを、前記予測ベクトルとして決定する
前記（８）乃至（１２）のいずれかに記載の画像処理装置。
（１４）  画像処理装置が、
画像の符号化対象の領域の視差ベクトルを予測する際に、前記領域の周辺にある周辺領域がすべて参照不可の場合、前記画像および前記画像と視差が異なる同一時刻のビュー画像の画像間の視差の範囲の上限の値または下限の値を、予測ベクトルとして決定し、
前記領域の視差ベクトルと、決定された前記予測ベクトルとの差分を符号化する
画像処理方法
【符号の説明】
【０３７１】
１００  画像符号化装置，  １０６  可逆符号化部，  １１５  動き視差予測・補償部，  １２１  多視点デコードピクチャバッファ，  １２２  視差検出部，  １３５  符号化情報バッファ，  １３６  空間予測ベクトル生成部，  １３７  時間視差予測ベクトル生成部，  １３８  予測ベクトル生成部，  １３３  符号化コスト算出部，  １３４  モード判定部，  ２００  画像復号装置，  ２０２  可逆復号部，  ２１２  動き視差予測・補償部，２２１  多視点デコードピクチャバッファ，  ２３１  符号化情報バッファ，  ２３２  空間予測ベクトル生成部，  ２３３  時間視差予測ベクトル生成部，  ２３４  予測ベクトル生成部
【図１】
2012176684.tif 000006
【図２】
2012176684.tif 000007
【図３】
2012176684.tif 000008
【図４】
2012176684.tif 000009
【図５】
2012176684.tif 000010
【図６】
2012176684.tif 000011
【図７】
2012176684.tif 000012
【図８】
2012176684.tif 000013
【図９】
2012176684.tif 000014
【図１０】
2012176684.tif 000015
【図１１】
2012176684.tif 000016
【図１２】
2012176684.tif 000017
【図１３】
2012176684.tif 000018
【図１４】
2012176684.tif 000019
【図１５】
2012176684.tif 000020
【図１６】
2012176684.tif 000021
【図１７】
2012176684.tif 000022
【図１８】
2012176684.tif 000023
【図１９】
2012176684.tif 000024
【図２０】
2012176684.tif 000025
【図２１】
2012176684.tif 000026
【図２２】
2012176684.tif 000027
【国際調査報告】
2012176684.tif 000028
2012176684.tif 000029