(57)【要約】【課題】追加予測候補導出の処理量を削減することができる予測ベクトル生成装置を提供すること。【解決手段】非基準視点画像における対象ブロックの視差ベクトルを生成し、生成した視差ベクトルにより参照される、他の視点画像におけるブロックに関する動きベクトル、または、生成した視差ベクトルを候補ベクトルとする追加候補ベクトル導出部を有する予測ベクトル生成装置であって、追加候補ベクトル導出部は、対象ブロックに時間的に隣接する隣接ブロックのベクトルを取得する時間視差ベクトル導出部と、対象ブロックに空間的に隣接する隣接ブロックの視差ベクトルを取得する隣接視差ベクトル導出部を有し、さらに、追加候補ベクトル導出部の時間視差ベクトル導出部かつ／または隣接視差ベクトル導出部、対象ブロックのサイズに応じて、参照対象を変更することを特徴とする。【選択図】図１
2015173304.tif 000002
【特許請求の範囲】
【請求項１】
非基準視点画像における対象ブロックの視差ベクトルを生成し、前記生成した視差ベクトルにより参照される、他の視点画像におけるブロックに関する動きベクトル、または、前記生成した視差ベクトルを候補ベクトルとする追加候補ベクトル導出部を有する予測ベクトル生成装置であって、
前記追加候補ベクトル導出部は、前記対象ブロックに時間的に隣接する隣接ブロックのベクトルを取得する時間視差ベクトル導出部と、前記対象ブロックに空間的に隣接する隣接ブロックの視差ベクトルを取得する隣接視差ベクトル導出部を有し、さらに、
前記追加候補ベクトル導出部の時間視差ベクトル導出部かつ／または隣接視差ベクトル導出部、対象ブロックのサイズに応じて、参照対象を変更することを特徴とする予測ベクトル生成装置。
【請求項２】
前記時間視差ベクトル導出部は、対象ブロックのサイズが所定のサイズ以下である場合に参照対象とするブロックの数が、対象ブロックのサイズが所定のサイズより大きい場合に参照するブロックの数よりも小さいことを特徴とする、請求項１に記載の予測ベクトル生成装置。
【請求項３】
前記予測ベクトル生成装置は、対象ブロックのサイズが所定のサイズ以下である場合には前記時間視差ベクトル導出部の処理を省略し、時間視差ベクトルを導出しないことを特徴とする、請求項２に記載の予測ベクトル生成装置。
【請求項４】
前記隣接視差ベクトル導出部は、対象ブロックのサイズが所定のサイズ以下である場合に参照対象とするブロックの数が、対象ブロックのサイズが所定のサイズより大きい場合に参照対象とするブロックの数よりも小さいことを特徴とする、請求項１に記載の予測ベクトル生成装置。
【請求項５】
前記隣接視差ベクトル導出部は、前記対象ブロックのサイズが所定のサイズより大きい場合には、前記対象ブロックの左方向に隣接するブロックを２つ以上、前記対象ブロックの上方向に隣接するブロックを２つ以上を参照対象とし、前記対象ブロックのサイズが所定のサイズより以下の場合には、前記対象ブロックの左方向に隣接するブロックを１つ、前記対象ブロックの上方向に隣接するブロックを１つ参照対象とすることを特徴とする請求項４に記載の予測ベクトル生成装置。
【請求項６】
前記隣接視差ベクトル導出部は、前記対象ブロックのサイズが所定のサイズより大きい場合には、前記対象ブロックの左方向に隣接する１つ以上のブロックと、前記対象ブロックの上方向に隣接する１つ以上のブロックを参照対象とし、前記対象ブロックのサイズが所定のサイズより以下の場合には、前記対象ブロックの左方向に隣接するブロックを１つ、前記対象ブロックの上方向に隣接するブロックを１つ参照することを特徴とする請求項４に記載の予測ベクトル生成装置。
【請求項７】
前記予測ベクトル生成装置は対象ブロックのサイズの判定を、対象ブロックの幅と高さの和を用いて行うことを特徴とする請求項１から請求項６のいずれかの項に記載の予測ベクトル生成装置。
【請求項８】
請求項１から請求項７のいずれかの項に記載の予測ベクトル生成装置を具備することを特徴とする画像復号装置。
【請求項９】
請求項１から請求項７のいずれかの項に記載の予測ベクトル生成装置を具備することを特徴とする画像符号化装置。
【請求項１０】
非基準視点画像における対象ブロックの動きベクトルまたは視差ベクトルの予測ベクトルを生成する予測ベクトル生成装置であって、
前記対象ブロックの視差ベクトルを生成し、前記生成した視差ベクトルにより参照される、他の視点画像におけるブロックに関する動きベクトル、または、前記生成した視差ベクトルを候補ベクトルとする追加候補ベクトル導出部と、
前記対象ブロックに時間的および空間的に隣接する隣接ブロックに関するベクトルから１つ以上の候補ベクトル群を導出する基本候補ベクトル導出部と、
前記追加候補ベクトル導出部が導出する候補ベクトルと、前記基本候補ベクトル導出部が導出する候補ベクトル群とのうちのいずれかを、前記対象ブロックのベクトルもしくは予測ベクトルとする予測ベクトル選択部と
を具備し、
前記追加候補ベクトル導出部は、少なくとも前記対象ブロックに空間的に隣接する隣接ブロックの視差ベクトルを取得する隣接視差ベクトル導出部を有し、
前記基本候補ベクトル導出部は、少なくとも前記対象ブロックに空間的に隣接する隣接ブロックのベクトルを取得する空間ベクトル導出部を有し、
前記予測ベクトル生成装置は、前記隣接視差ベクトル導出部が参照対象とするブロックの数が、前記隣接視差ベクトル導出部が参照対象とするブロックの数よりも小さいことを特徴とする予測ベクトル生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、予測ベクトル生成装置、画像符号化装置、および画像復号装置に関する。
【背景技術】
【０００２】
動画像の符号化では、フレームをブロックに分割し、該ブロックに近い画像を、他のフレームから取得して予測画像とする動き予測が行われている。そして、このブロックに近い画像を示すベクトルを動きベクトルと呼び、当該ブロックの周辺のブロックの動きベクトルから当該ブロックの動きベクトルを予測することも行われている（例えば、非特許文献１、２、４を参照）。なお、動きベクトルの予測による得られるベクトルを、予測ベクトルという。
また、ＩＳＯ（International Organization For Standardization）では、３次元映像符号の標準規格であり、複数の視点画像とデプスマップとを符号化する技術の規格化が行われている（非特許文献３）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】“Advanced video coding for generic audiovisual services”,ITU-T H.264, March 2009
【非特許文献２】“High efficiency video coding (HEVC) text specification draft 7”, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 andISO/IEC JTC1/SC29/WG11, 9th Meeting: Geneva, CH, 27 April - 7 May 2012, 2012, JCTVC-H1003 version 5
【非特許文献３】“３次元映像符号化の国際標準化動向”, NTT技術ジャーナル, August 2011
【非特許文献４】“Ｈｉｇｈ  ｅｆｆｉｃｉｅｎｃｙ  ｖｉｄｅｏ  ｃｏｄｉｎｇ  ｄｒａｆｔ  ８”，ＪＣＴＶＣ−Ｊ１０００３，Ｓｔｏｃｋｈｏｌｍ，ＳＥ，Ｊｕｌｙ，２０１２
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、複数の視点画像など、複数のレイヤを符号化する際には、前述の動きベクトルなどの動き情報を、符号化対象レイヤ（例えばベース視点画像）とは異なる参照レイヤ（例えば非ベース視点画像）の動き情報を用いて導出し、その動き情報を、ベースレイヤ画像（ベース視点画像）の符号化で用いられる予測候補とは、別に追加される追加予測候補として用いることが行われる。追加予測候補の導出では、符号化対象レイヤと、別の参照レイヤとの位置関係を示す変位ベクトル（視差ベクトル）の導出が必要になるため、その処理量が大きくなるという課題が有る。
【０００５】
本発明は、このような事情に鑑みてなされたもので、その目的は、追加予測候補導出の処理量を削減することができる予測ベクトル生成装置、画像符号化装置、および画像復号装置を提供することにある。
【課題を解決するための手段】
【０００６】
（１）この発明は上述した課題を解決するためになされたもので、本発明の一態様は、非基準視点画像における対象ブロックの視差ベクトルを生成し、前記生成した視差ベクトルにより参照される、他の視点画像におけるブロックに関する動きベクトル、または、前記生成した視差ベクトルを候補ベクトルとする追加候補ベクトル導出部を有する予測ベクトル生成装置であって、前記追加候補ベクトル導出部は、前記対象ブロックに時間的に隣接する隣接ブロックのベクトルを取得する時間視差ベクトル導出部と、前記対象ブロックに空間的に隣接する隣接ブロックの視差ベクトルを取得する隣接視差ベクトル導出部を有し、さらに、前記追加候補ベクトル導出部の時間視差ベクトル導出部かつ／または隣接視差ベクトル導出部、対象ブロックのサイズに応じて、参照対象を変更することを特徴とする。
【０００７】
（２）また、本発明の他の態様は、（１）に記載の予測ベクトル生成装置であって、前記時間視差ベクトル導出部は、対象ブロックのサイズが所定のサイズ以下である場合に参照対象とするブロックの数が、対象ブロックのサイズが所定のサイズより大きい場合に参照するブロックの数よりも小さいことを特徴とする。
【０００８】
（３）また、本発明の他の態様は、（２）に記載の予測ベクトル生成装置であって、前記予測ベクトル生成装置は、対象ブロックのサイズが所定のサイズ以下である場合には前記時間視差ベクトル導出部の処理を省略し、時間視差ベクトルを導出しないことを特徴とする。
【０００９】
（４）また、本発明の他の態様は、（１）に記載の予測ベクトル生成装置であって、前記隣接視差ベクトル導出部は、対象ブロックのサイズが所定のサイズ以下である場合に参照対象とするブロックの数が、対象ブロックのサイズが所定のサイズより大きい場合に参照対象とするブロックの数よりも小さいことを特徴とする。
【００１０】
（５）また、本発明の他の態様は、（４）に記載の予測ベクトル生成装置であって、前記隣接視差ベクトル導出部は、前記対象ブロックのサイズが所定のサイズより大きい場合には、前記対象ブロックの左方向に隣接するブロックを２つ以上、前記対象ブロックの上方向に隣接するブロックを２つ以上を参照対象とし、前記対象ブロックのサイズが所定のサイズより以下の場合には、前記対象ブロックの左方向に隣接するブロックを１つ、前記対象ブロックの上方向に隣接するブロックを１つ参照対象とすることを特徴とする。
【００１１】
（６）また、本発明の他の態様は、（４）に記載の予測ベクトル生成装置であって、前記隣接視差ベクトル導出部は、前記対象ブロックのサイズが所定のサイズより大きい場合には、前記対象ブロックの左方向に隣接する１つ以上のブロックと、前記対象ブロックの上方向に隣接する１つ以上のブロックを参照対象とし、前記対象ブロックのサイズが所定のサイズより以下の場合には、前記対象ブロックの左方向に隣接するブロックを１つ、前記対象ブロックの上方向に隣接するブロックを１つ参照することを特徴とする。
【００１２】
（７）また、本発明の他の態様は、（１）から（６）のいずれかに記載の予測ベクトル生成装置であって、前記予測ベクトル生成装置は対象ブロックのサイズの判定を、対象ブロックの幅と高さの和を用いて行うことを特徴とする。
【００１３】
（８）また、本発明の他の態様は、（１）から（７）のいずれかの項に記載の予測ベクトル生成装置を具備することを特徴とする画像復号装置である。
【００１４】
（９）また、本発明の他の態様は、（１）から（７）のいずれかに記載の予測ベクトル生成装置を具備することを特徴とする画像符号化装置である。
【００１５】
（１０）また、本発明の他の態様は、非基準視点画像における対象ブロックの動きベクトルまたは視差ベクトルの予測ベクトルを生成する予測ベクトル生成装置であって、前記対象ブロックの視差ベクトルを生成し、前記生成した視差ベクトルにより参照される、他の視点画像におけるブロックに関する動きベクトル、または、前記生成した視差ベクトルを候補ベクトルとする追加候補ベクトル導出部と、前記対象ブロックに時間的および空間的に隣接する隣接ブロックに関するベクトルから１つ以上の候補ベクトル群を導出する基本候補ベクトル導出部と、前記追加候補ベクトル導出部が導出する候補ベクトルと、前記基本候補ベクトル導出部が導出する候補ベクトル群とのうちのいずれかを、前記対象ブロックのベクトルもしくは予測ベクトルとする予測ベクトル選択部とを具備し、前記追加候補ベクトル導出部は、少なくとも前記対象ブロックに空間的に隣接する隣接ブロックの視差ベクトルを取得する隣接視差ベクトル導出部を有し、前記基本候補ベクトル導出部は、少なくとも前記対象ブロックに空間的に隣接する隣接ブロックのベクトルを取得する空間ベクトル導出部を有し、前記予測ベクトル生成装置は、前記隣接視差ベクトル導出部が参照対象とするブロックの数が、前記隣接視差ベクトル導出部が参照対象とするブロックの数よりも小さいことを特徴とする。
【発明の効果】
【００１６】
この発明によれば、追加予測候補導出の処理量を削減することができる。
【図面の簡単な説明】
【００１７】
【図１】この発明の第１の実施形態による画像伝送システム１０の構成を示す概略ブロック図である。
【図２】同実施形態に係る画像復号装置３００の構成を示す概略ブロック図である。
【図３】同実施形態に係る予測ベクトル生成部３０６の構成を示す概略ブロック図である。
【図４】同実施形態に係る空間候補ベクトル導出部３６６の動作を説明する概念図である。
【図５】同実施形態に係る追加候補ベクトル導出部３６２のデプスマップを利用する構成における動作を説明する概念図である。
【図６】同実施形態に係る追加候補ベクトル導出部３６２の動作を説明するフローチャートである。
【図７】同実施形態に係る予測ベクトル生成部３０６の動作を説明するフローチャートである。
【図８】同実施形態に係る別の画像復号装置３００ｘの構成を示す概略ブロック図である。
【図９】同実施形態に係る画像符号化装置１００の構成を示す概略ブロック図である。
【図１０】同実施形態に係る予測ベクトル生成部１１０の構成を示す概略ブロック図である。
【図１１】同実施形態に係る予測ベクトル生成部１１０の動作を説明するフローチャートである。
【図１２】この発明の第２の実施形態による予測ベクトル生成部３０６ａの構成を示す概略ブロック図である。
【図１３】同実施形態に係る予測ベクトル生成部３０６ａの動作を説明するフローチャートである。
【図１４】この発明の第３の実施形態による予測ベクトル生成部３０６ｂの構成を示す概略ブロック図である。
【図１５】同実施形態に係る予測ベクトル生成部３０６ｂの動作を説明するフローチャートである。
【図１６】同実施形態に係る予測ベクトル生成部１１０ｂの構成を示す概略ブロック図である。
【図１７】同実施形態に係る予測ベクトル生成部１１０ｂの動作を説明するフローチャートである。
【図１８】この発明の第４の実施形態による予測ベクトル生成部３０６ｃの構成を示す概略ブロック図である。
【図１９】同実施形態に係る予測ベクトル生成部３０６ｃの動作を説明するフローチャートである。
【図２０】同実施形態に係る予測ベクトル生成部１１０ｃの構成を示す概略ブロック図である。
【図２１】図２１（ａ）は、実施形態１〜実施形態４に係るインデックスｉｄｘの符号化方法を示す第１の符号化データ構成を示す図である。図２１（ｂ）は、第１の符号化データ構成におけるインデックスｉｄｘと、候補ベクトルの関係を示す図である。
【図２２】図２２（ａ）は、実施形態１〜実施形態４に係るインデックスｉｄｘの符号化方法を示す第１の符号化データ構成を示す図である。図２２（ｂ）は、第１の符号化データ構成におけるインデックスｉｄｘと、候補ベクトルの関係を示す図である。
【図２３】図２３（ａ）は、実施形態１〜実施形態４に係るインデックスｉｄｘの符号化方法を示す第１の符号化データ構成を示す図である。図２３（ｂ）は、第１の符号化データ構成におけるインデックスｉｄｘと、候補ベクトルの関係を示す図である。
【図２４】この発明の第５の実施形態による画像復号装置３００ｄの構成を示す概略ブロック図である。
【図２５】同実施形態に係る予測ベクトル生成部３０６ｄの構成を示す概略ブロック図である。
【図２６】同実施形態に係る空間的スケーラブルにおける対応ブロックを示す概念図である。
【図２７】同実施形態に係る画像符号化装置１００ｄの構成を示す概略ブロック図である。
【図２８】同実施形態に係る予測ベクトル生成部１１０ｄの構成を示す概略ブロック図である。
【図２９】この発明の第６の実施形態による画像復号装置３００ｅの構成を示す概略ブロック図である。
【図３０】同実施形態に係る予測ベクトル生成部３０６ｅの構成を示す概略ブロック図である。
【図３１】同実施形態に係る画像符号化装置１００ｅの構成を示す概略ブロック図である。
【図３２】同実施形態に係る予測ベクトル生成部１１０ｅの構成を示す概略ブロック図である。
【図３３】この発明の第７の実施形態による画像復号装置３００ｆの構成を示す概略ブロック図である。
【図３４】同実施形態に係る予測ベクトル生成部３０６ｆの構成を示す概略ブロック図である。
【図３５】同実施形態に係る画像符号化装置１００ｆの構成を示す概略ブロック図である。
【図３６】同実施形態に係る予測ベクトル生成部１１０ｆの構成を示す概略ブロック図である。
【発明を実施するための形態】
【００１８】
［第１の実施形態］
以下、図面を参照して、本発明の第１の実施形態について説明する。図１は、この発明の第１の実施形態による画像伝送システム１０の構成を示す概略ブロック図である。画像伝送システム１０は、複数の視点画像とデプスマップとを符号化して伝送し、伝送先において、これらを用いた自由視点画像の表示を可能とするシステムである。図１に示すように、画像伝送システム１０は、画像符号化装置１００、ネットワーク２００、画像復号装置３００、自由視点画像表示装置４００を含んで構成される。
【００１９】
画像符号化装置１００は、複数の視点画像（テクスチャ画像ともいう）Ｔ各々を符号化し、視点画像Ｔ各々の符号化ストリームＴｅを生成する。さらに、画像符号化装置１００は、符号化した視点画像Ｔ各々に対応するデプスマップＤを符号化し、デプスマップ各々のデプスマップ符号化ストリームＤｅを生成する。ネットワーク２００は、これらの符号化ストリームＴｅとデプスマップ符号化ストリームＤｅとを、画像復号装置３００に伝送する、ＩＰ（Internet Protocol）ネットワーク、ケーブルテレビ網などのネットワークである。なお、符号化ストリームＴｅとデプスマップ符号化ストリームＤｅとは、本実施形態のようにネットワークにより伝送されてもよいが、地上デジタル放送、衛星放送などの放送波により伝送されてもよいし、ＤＶＤ（Digital Versatile Disc）、ブルーレイ（Blu-ray（登録商標））などの記録媒体により伝送されてもよい。
【００２０】
画像復号装置３００は、ネットワーク２００が伝送した符号化ストリームＴｅとデプスマップ符号化ストリームＤｅとを復号し、復号視点画像Ｔｄと復号デプスマップＤｄとを生成する。自由視点画像表示装置４００は、画像復号装置３００が生成した復号視点画像Ｔｄおよび復号デプスマップＤｄを用いて、任意の視点からの画像を生成する。自由視点画像表示装置４００は、液晶ディスプレイや、有機ＥＬ（electroluminescence）ディスプレイなどの表示デバイスを備え、生成した任意の視点からの画像を、該表示デバイスを用いて表示する。なお、この任意の視点からの画像は、２次元画像であってもよいし、立体画像であってもよい。
【００２１】
図２は、画像復号装置３００の構成を示す概略ブロック図である。図２に示すように、画像復号装置３００は、エントロピー復号部３０１、逆量子化・逆ＤＣＴ変換部３０２、加算部３０３、加算部３０４、ベクトルメモリ３０５、予測ベクトル生成部３０６（予測ベクトル生成装置）、予測部３０７、参照画像メモリ３０８、デプスマップ復号部３０９、デプスマップメモリ３１０を含んで構成される。なお、予測ベクトル生成部３０６が、デプスマップを利用せずに、予測ベクトルを生成する構成の場合には、デプスマップ生成部３１１を備えない構成も可能である。
【００２２】
エントロピー復号部３０１は、エントロピー復号処理を、符号化ストリームＴｅに対して行う。エントロピー復号部３０１は、この復号処理の結果から、参照ピクチャインデックスrefIdx、インデックスｉｄｘ、差分ベクトルΔｖ、量子化係数、予測モードを分離する。参照ピクチャインデックスrefIdxは、参照ピクチャを指定するためのインデックスである。予測画像が２つの予測ピクチャから生成可能な場合には、参照リストＬ０と、参照リストＬ１を用いて予測ピクチャを指定する。参照リストＬ０、参照リストＬ１の参照ピクチャインデックスはrefIdxL0、refIdxL1であり、参照リストＬ０、参照リストＬ１のインデックスidxは、mvp_l0_idx、mvp_l1_idxである。なお、参照リストL0、L1を区別しない場合には、refIdxLX（refIdx）、mvp_lX_idx（idx）と記載する。
【００２３】
逆量子化・逆ＤＣＴ変換部３０２は、図２の逆量子化・逆ＤＣＴ変換部１０４と同様の処理を、エントロピー復号部３０１が分離した量子化係数に対して逆量子化を行い、さらに、逆量子化した結果を逆ＤＣＴ変換して、復号残差信号を生成する。加算部３０３は、逆量子化・逆ＤＣＴ変換部３０２が生成した復号残差信号と、予測部３０７が生成した予測画像Ｐとを加算し、復号視点画像Ｔｄを生成する。
【００２４】
加算部３０４は、エントロピー復号部３０１が分離した差分ベクトルΔｖと、予測ベクトル生成部３０６が生成した予測ベクトルＰｖとを加算し、動きベクトルＭｖまたは視差ベクトルＤｖを生成する。加算部３０４は、生成した動きベクトルＭｖと視差ベクトルＤｖとを、ベクトルメモリ３０５に記憶させる。ベクトルメモリ３０５は、処理済み（符号化／復号済み）のブロックの予測パラメータ、例えば、動きベクトルＭｖと視差ベクトルＤｖとを記憶する。
【００２５】
具体的には、ベクトルメモリ３０５では、予測モードPredMode、予測フラグpredFlagL0、predFlagL1、参照ピクチャインデックスrefIdxL0、refIdxL1、ベクトルmvL0、mvL1を記憶する。predFlagL0、predFlagL1は、各参照リストＬ０、参照リストＬ１に属する参照ピクチャが予測画像生成に用いられるか否かを示す。ベクトルmvL0、mvL1は、動きベクトルＭｖもしくは視差ベクトルＤｖである。参照ピクチャインデックスrefIdxLXの示す参照ピクチャの表示順序が対象ブロックの表示順序と等しければ、ベクトルmvLXは視差ベクトル、異なれば、ベクトルmvLXは動きベクトルである（ここでXは0もしくは1）。
【００２６】
予測ベクトル生成部３０６は、エントロピー復号部３０１が分離した参照ピクチャインデックスrefIdx、インデックスｉｄｘを参照して、予測ベクトルＰｖを生成する。予測ベクトルＰｖの生成では、ベクトルメモリ３０５が記憶するベクトルと、デプスマップメモリ３１０が記憶する復号デプスマップＤｄとを参照する。なお、予測ベクトル生成部３０６の詳細については、後述する。
【００２７】
予測部３０７は、視点画像Ｔを分割したブロック各々の予測画像Ｐを生成する。予測部３０７は、各ブロックの予測画像Ｐを、エントロピー復号部３０１が分離した予測モードが示す予測方式を用いて生成する。なお、予測画像Ｐを生成する際の参照画像は、参照画像メモリ３０８から取得する。予測部３０７でイントラ予測により予測画像Ｐが生成されたブロックについては、イントラ予測を行い、予測画像Ｐを生成する。
【００２８】
予測モードが動き予測または視差予測を示していた場合には、予測部３０７は、ベクトルメモリ３０５が記憶している当該ブロックの参照ピクチャインデックスrefIdx、動きベクトルＭｖまたは視差ベクトルＤｖを用いた動き予測を行い、予測画像Ｐを生成する。
【００２９】
参照画像メモリ３０８は、加算部３０３が生成した復号視点画像Ｔｄを参照画像として記憶する。デプスマップ復号部３０９は、デプスマップ符号化ストリームＤｅに対して復号処理行い、復号デプスマップＤｄを生成する。デプスマップメモリ３１０は、デプスマップ復号部３０９が生成した復号デプスマップＤｄを記憶する。
【００３０】
図３は、予測ベクトル生成部３０６の構成を示す概略ブロック図である。図３に示すように、予測ベクトル生成部３０６は、ベクトル予測候補導出部３６１、予測ベクトル選択部３６８を含んで構成される。ベクトル予測候補導出部３６１は、追加候補ベクトル導出部３６２、基本候補ベクトル導出部３６５を含んで構成される。
【００３１】
基本候補ベクトル導出部３６５は、対象画像が基準視点画像である場合も、非基準視点画像であるか否かに関わらず動作し、非基準視点画像および基準視点画像で用いられる１つ以上の予測ベクトルを導出する。空間候補ベクトル導出部３６６、時間候補ベクトル導出部３６７、図示しない固定ベクトル導出部を含んで構成される。
【００３２】
追加候補ベクトル導出部３６２は、非基準視点画像用の予測ベクトル（追加予測候補）を導出する。視差ベクトル導出部３６３、動きベクトル導出部３６４、図示しない固定ベクトル導出部を含んで構成される。追加候補ベクトル導出部３６２および内部の視差ベクトル導出部３６３、動きベクトル導出部３６４は対象画像が非基準視点画像である場合に限り動作する。
【００３３】
＜デプスマップを利用する構成の視差ベクトルの生成＞
視差ベクトル導出部３６３の一つの構成は、デプスマップを利用して視差ベクトルを導出する。視差ベクトル導出部３６３は、符号化対象のフレームに対応する復号デプスマップＤｄ中の対象ブロックと同一座標のブロックのデプス値から視差ベクトルＤｖを生成する。視差ベクトル導出部３６３は、対象ブロックのベクトルが動きベクトルＭｖの場合には、生成した視差ベクトルＤｖを動きベクトル導出部３６４に出力する。視差ベクトル導出部３６３は、対象ブロックのベクトルが視差ベクトルＤｖの場合には、生成した視差ベクトルを追加候補ベクトルとして、予測ベクトル決定部３６８に出力する。なお、デプス値としては、該復号デプスマップＤｄ中のブロックの中央の座標のデプス値を用いてもよいし、ブロック内の各画素のデプス値の平均値や最頻値、最大値、最小値を用いてもよい。
【００３４】
図５は、視差ベクトル導出部３６３のデプスマップを利用する構成における動作を説明する概念図である。図５において、画像ＮＢＶは、非基準視点画像のあるフレームである。画像ＢＶは、基準視点画像のあるフレームであり、画像ＮＢＶと同じ表示順序（ＰＯＣ）のフレームである。画像ＮＢＶＤは、画像ＮＢＶに対応するデプスマップＤｄである。
符号Ｂｏは、画像ＮＢＶの対象ブロックであり、符号Ｂｄは、基準視点画像ＢＶ中の対象ブロックと同一座標のブロックである。視差ベクトル導出部３６３は、対象ブロックＢｏに対応する復号デプスマップＤｄのブロックＢｄのデプス値をデプスマップメモリ１２２から読みだす。具体的には、対象ブロックＢｏと同じ座標の復号デプスマップＤｄのブロックＢｄのデプス値の平均値をデプス値として読み出す。視差ベクトル導出部３６３は、読みだしたデプス値の平均値を視差ベクトルＤｖに変換する。視差ベクトル導出部３６３は、導出対象ベクトルが視差ベクトルの場合には、視差ベクトルＤｖを追加候補ベクトルとする。なお、導出対象ベクトルは、参照ピクチャインデックス(refIdx)と、参照リスト（RefPicListX）で指定される参照ピクチャのＰＯＣが、対象画像ＮＢＶのＰＯＣと等しい場合には視差ベクトル、異なる場合には動きベクトルとなる。
【００３５】
＜デプスマップを利用しない構成の視差ベクトルの生成＞
視差ベクトル導出部３６３の別の構成はデプスマップを利用しないで視差ベクトルを導出する。この構成では、視差ベクトル生成部３６２は、まず、対象ブロックに隣接するブロックの視差ベクトルＤｖを取得する。視差ベクトル取得部３６２は図示しない隣接視差ベクトル導出部、時間視差ベクトル取得部、固定視差ベクトル導出部を備える。
【００３６】
視差ベクトル生成部３６２は、隣接視差ベクトル取得部において、対象ブロックの左側に隣接するブロックＮＢａ０、ＮＢａ１の順で各ブロックの視差ベクトルの利用可能性を参照し、利用可能な視差ベクトルがある場合には、最初に参照したブロックの視差ベクトルを選択する。左に隣接するブロックのいずれにも利用可能な視差ベクトルがない場合には、隣接視差ベクトル取得部は、さらに、対象ブロックの上側に隣接するブロックＮＢｂ０、ＮＢｂ１、ＮＢｂ２の順で各ブロックの視差ベクトルの利用可能性を参照し、利用可能な視差ベクトルがある場合には、最初に参照したブロックの視差ベクトルを選択する。
【００３７】
隣接するブロック関連する視差ベクトルがない場合、視差ベクトル生成部３６３の備える時間視差ベクトル取得部は、時間的に別の表示順の参照ピクチャに含まれるブロックの対象ブロックに対応する位置のブロックの視差ベクトルを取得する。
隣接視差ベクトル取得部、時間視差ベクトル取得部において視差ベクトルが取得できない場合、視差ベクトル生成部３６３は、固定視差ベクトル取得部において、第１候補ベクトルをゼロベクトルとする。
【００３８】
＜視差ベクトルおよび動きベクトルの参照＞
なお、視差ベクトル生成部３６３は、あるブロックＸ（Ｘは上記ブロックの一つ）の動きベクトルおよび視差ベクトルを次のように参照する。ブロックＸの予測モードpredModeもしくはブロックＸの２つの予測フラグpredFlagL0、predFlagL1を参照し、ブロックＸがインター予測されているか否かをチェックする。予測モードpredModeがMODE_INTRAであればイントラ予測、それ以外であればインター予測である。予測フラグpredFlagL0、predFlagL1は、各参照リストＬ０、参照リストＬ１に属する参照ピクチャが予測画像生成に用いられるか否かを示す。予測フラグpredFlagL0、predFlagL1がともに１であればインター予測の双予測、いずれか一方のみが１であればインター予測の単予測、ともに０であればイントラ予測である。
【００３９】
ブロックＸがインター予測されていない場合には、ブロックＸの動きベクトルおよび視差ベクトルは利用可能ではない。参照リストＬＸの予測フラグpredFlagLXが１の場合には、予測画像生成に用いる参照ピクチャが、参照ピクチャインデックスrefIdxLXにより指定される。ブロックＸがインター予測である場合には、次に、対象ブロックの参照ピクチャインデックスrefIdxLXが示す参照ピクチャの時間順序（ＰＯＣ）と、ブロックＸの参照ピクチャインデックスrefIdxLXが示す参照ピクチャの時間順序（ＰＯＣ）を比較する（X=0もしくは１）。具体的には、以下の２つを比較する。
PicOrderCnt( RefPicListX[ refIdxLX ] )
PicOrderCnt( RefPicListX[ refIdxLX of blockX ] )
【００４０】
ここで、RefPicListXは参照ピクチャインデックスredIdxLXから参照ピクチャを参照するための配列、PicOrderCnt(x)は引数xで指定された参照ピクチャの表示順序を求める関数である。なお、対象ブロックのＬ０リスト用の参照ピクチャインデックスrefIdxL0に対しては、ブロックＸのＬ０リスト用の参照ピクチャインデックスrefIdxL0と参照リストＬ０用のベクトルを参照するが、ブロックＸの参照リストＬ１用の参照ピクチャインデックスref_L1idxと参照リストＬ０用のベクトルを参照しても良い。対象ブロックの参照リストＬ１用の参照ピクチャインデックスrefIdxL1も同様である。
【００４１】
上記、時間順序が異なる場合には、ベクトルメモリで保持されているブロックＸのベクトルmvLXは動きベクトルであり、動きベクトルが利用可能であり、動きベクトルが導出される。
逆に、上記、時間順序が等しい場合には、ベクトルメモリで保持されているブロックＸのベクトルmvLXは視差ベクトルであり、視差ベクトルが利用可能であり、視差ベクトルが導出される。
【００４２】
動きベクトル導出部３６４は、視差ベクトル導出部３６３が生成した視差ベクトルＤｖを参照して、該視差ベクトルＤｖが示す他の視点画像におけるブロック（対応ブロックともいう）を選択し、該ブロックが有する動きベクトルＭｖをベクトルメモリ３０５から読み出す。動きベクトル導出部３６４は、読み出した動きベクトルＭｖを追加候補ベクトルとして、予測ベクトル決定部３６８に通知する。
【００４３】
より具体的には、上述の対応ブロックは、動きベクトル導出部３６４が取得する動きベクトルＭｖは、対象ブロックの中心点を起点にしたときに、視差ベクトル導出部３６３が生成した視差ベクトルＤｖが示す点を含むブロックである。なお、視差ベクトルＤｖが示す点の座標は、起点の座標に視差ベクトルＤｖを加算した座標である。また、対応ブロックは、対象ブロックが属するフレームと同じ表示順序の視差ベクトルＤｖが参照している別視点の視点画像のフレームに属する。
【００４４】
図５を参照すると、対象ブロックＢｏに対応する画像ＢＶ上のブロックＢｐ（対応ブロックともいう）が有する動きベクトルＭｖｃをベクトルメモリ１０９から読み出し、追加候補ベクトルとする。なお、対応ブロックＢｐは、対象ブロックＢｏの中心Ｃｎと同じ座標の、基準視点画像における点Ｃｂを起点としたときに、視差ベクトルＤｖが示す点を含むブロックにより求める。ここで、ブロックＢｐの予測画像が、動き予測ではなく、イントラ予測により生成されていた場合には、ブロックＢｐは動きベクトルを有していない。
【００４５】
追加候補ベクトル導出部３６２は、追加候補ベクトルとして、視差ベクトル導出部３６３および動きベクトル導出部３６４において候補ベクトルが導出されない場合には、図示しない固定ベクトル導出部において所定の固定ベクトルを追加候補ベクトルとする。上記処理により、追加候補ベクトル導出部３６２は、候補ベクトルを導出する。所定の固定ベクトルとしては、ゼロベクトルが適当である。
【００４６】
なお、ゼロベクトルの導出は以下の式で表現できる。
mvpListLX[ depthCandIdx ][ 0 ] = 0
mvpListLX[ depthCandIdx ][ 1 ] = 0
ここで、mvpListLX[i][j]は、リストインデックスi、方向jのリストLX（Xは0もしくは１）の予測ベクトル候補の動きベクトルを示す。リストインデックスiは、予測ベクトル候補の順序を示す。本実施形態では、追加候補ベクトルが第１候補であり、depthCandIdx=0である。なお、j=0はX方向動きベクトル、j=1はY方向動きベクトルを示す。
以上の構成により、追加候補ベクトルが導出される。
＜基本候補ベクトルの導出＞
【００４７】
基本候補ベクトル導出部３６２の備える空間候補ベクトル導出部３６６は、対象ブロックに隣接する隣接ブロックが有するベクトル（動きベクトルＭｖまたは視差ベクトルＤｖ）を、ベクトルメモリ３０５から読み出し、空間候補ベクトルとして予測ベクトル決定部３６８に通知する。空間候補ベクトル導出部３６６は、１つもしくは複数の隣接ブロックからベクトル（動きベクトルＭｖまたは視差ベクトルＤｖ）を読み出し、１つ以上の空間候補ベクトルとして、予測ベクトル決定部３６８に通知する。空間候補ベクトル導出部３６６は、対象ブロックのベクトルが動きベクトルＭｖであり、隣接ブロックが視差ベクトルＤｖを有していた場合には、候補ベクトルが無いことを予測ベクトル決定部３６８に通知する。対象ブロックが視差ベクトルＤｖで隣接ブロックが動きベクトルＭｖを有する場合も同様である。本実施形態では、隣接ブロックは対象ブロック左側と上側の２つであるので、候補ベクトルは最大で２つであるが、その他の数であってもよい。
【００４８】
図４は、空間候補ベクトル導出部３６６の動作を説明する概念図である。図４において、符号Ｂｏは、対象ブロックであり、符号Ａ０、Ａ１、Ｂ０、Ｂ１、Ｂ２が付された矩形は、対象ブロックＢｏの隣接ブロックである。空間候補ベクトル導出部３６６は、隣接ブロックＡ０が動きベクトルまたは視差ベクトルを有しおり、なお且つ、隣接ブロックＡ０が有しているベクトルが対象ブロックのベクトルと同じ種類であった場合には、隣接ブロックＡ０の動きベクトルまたは視差ベクトルを第１空間候補ベクトルとする。隣接ブロックＡ０が動きベクトルまたは視差ベクトルを有していない、または、隣接ブロックＡ０が有しているベクトルと対象ブロックのベクトルが異なる種類であった場合には、次に、隣接ブロックＡ１に対して同様の処理を行う。隣接ブロックＡ１も適当な動きベクトルまたは視差ベクトルを有していない場合には、第１空間候補ベクトルが無いことを予測ベクトル決定部３６８に通知する。
【００４９】
さらに、空間候補ベクトル導出部３６６は、隣接ブロックＢ０に対しても同様の処理を行い、第３候補ベクトルを設定する。隣接ブロックＢ０が適用なベクトルを有していない場合には、隣接ブロックＢ１、Ｂ２の順に同様の処理を行う。隣接ブロックＢ１、Ｂ２も適用なベクトルを有していない場合には、第２空間候補ベクトルが無いことを予測ベクトル決定部３６８に通知する。
第１空間候補と第２空間候補ベクトルは、対象画像が基準視点画像の場合には、第１候補ベクトルおよび第２候補ベクトルとして導出され、対象画像が非基準視点画像の場合には、第２候補ベクトルおよび第３候補ベクトルとして導出される。なお、非特許文献２にあるように、各隣接ブロックの動きベクトルまたは視差ベクトルに対してスケーリング処理を行ったベクトルを候補ベクトルとしてもよい。
【００５０】
基本候補ベクトル導出部３６２の備える時間候補ベクトル導出部３６７は、符号化対象のフレームと同一視点の参照画像から、対象ブロックと同一座標のブロックが有する動きベクトルＭｖまたは視差ベクトルＤｖを、ベクトルメモリ１０９から読み出し時間候補ベクトルを導出する。ここでは、第１空間候補ベクトルもしくは第２空間候補ベクトルが存在しない。もしくは、第１空間候補ベクトルと第２空間候補ベクトルが一致する場合に限り、時間候補ベクトルを導出する。空間候補ベクトル導出部３６６は、読み出した動きベクトルＭｖまたは視差ベクトルＤｖを、時間候補ベクトルとして、予測ベクトル決定部３６８に通知する。なお、同一座標のブロックだけではなく、該ブロックに隣接するブロックが有する動きベクトルＭｖまたは視差ベクトルＤｖを候補ベクトルとしてもよい。また、導出対象が動きベクトルＭｖであり、対応するブロックのベクトルが視差ベクトルＤｖの場合には、時間候補ベクトルが無いことを予測ベクトル決定部３６８に通知する。導出対象ベクトルが視差ベクトルＤｖであり、対応するブロックのベクトルが動きベクトルＭｖである場合も同様である。
【００５１】
予測ベクトル選択部３６８は、インデックスｉｄｘを参照して、各候補ベクトルから予測候補ベクトルを選択する。対象画像が基準視点画像の場合には、基本候補ベクトル導出部３６５から導出される候補ベクトルから予測候補ベクトルを選択し、対象画像が非基準視点画像の場合には、追加候補ベクトル導出部３６２と基本候補ベクトル導出部３６５からの入力される候補ベクトルから、予測ベクトルを選択する。選択された予測ベクトルは、予測ベクトルＰｖとして加算部３０４に出力する。
【００５２】
対象画像が非基準視点画像の場合には、予測ベクトル選択部３６８は、インデックスｉｄｘの値が０の時は追加候補ベクトルを、１の時は基本候補ベクトル選択する。ただし、各候補ベクトルが無いことが通知された場合には、無いことが通知された候補ベクトル以降の候補ベクトルを示すインデックスｉｄｘの値を１つ繰り下げる。例えば、第１候補ベクトルが無いことが通知された場合には、インデックスｉｄｘの値１において、第２候補ベクトルを選択する。
＜追加候補ベクトル導出部３６２の動作＞
【００５３】
図６は、追加候補ベクトル導出部３６２の動作を説明するフローチャートである。図６に示すフローチャートが示す処理は、動き予測により予測画像を生成する１つの対象ブロックに対する追加候補ベクトル導出部３６２の処理である。視差ベクトル導出部３６３は、デプスマップを利用する構成の場合には、符号化対象のフレームに対応する復号デプスマップＤｄ中の対象ブロックと同一座標のブロックのデプス値をデプスマップメモリ３１０から取得する（Ｓａ１）。デプスマップを利用しない構成の場合は、デプス値を導出しない。視差ベクトル導出部３６３は、視差ベクトルを導出する。デプスマップを用いる構成の場合には、前ステップで導出したデプス値を視差ベクトルに変換する。視差ベクトル導出部３６３は、導出対象のベクトルが動きベクトルであるか（動き予測）、視差ベクトルであるか（視差予測）を判定する（Ｓａ３）。動き予測で生成されている場合には（Ｓａ３−Ｙｅｓ）、動きベクトル導出部３６４に視差ベクトルＤｖを出力し、ステップＳａ４に進む。動き予測で生成されていない場合には（Ｓａ３−Ｎｏ）、視差ベクトルＤｖを追加候補ベクトルとし（Ｓａ８）、処理を終了する。
【００５４】
動きベクトル導出部３６４は、視差ベクトルＤｖから他の視点画像における対応ブロックを特定する（Ｓａ４）。動きベクトル導出部３６４は、特定した対応ブロックに動きベクトルが在るか否かを判定する（Ｓａ５）。在ると判定したときは（Ｓａ５−Ｙｅｓ）、動きベクトル導出部３６４は、該動きベクトルをベクトルメモリ１０９から取得し、追加候補ベクトルとし（Ｓａ６）、処理を終了する。一方、ステップＳａ５にて無いと判定したときは（Ｓａ５−Ｎｏ）、固定ベクトル（ここではゼロベクトル）を追加候補ベクトルとし（Ｓａ７）、処理を終了する。
【００５５】
図７は、予測ベクトル生成部３０６の動作を説明するフローチャートである。まず、予測ベクトル生成部３０６は、エントロピー復号部３０１が分離した対象ブロックの参照ピクチャインデックス（参照ピクチャインデックスrefIdxL0、refIdxL1）と、インデックスｉｄｘを取得する（Ｓｂ１）。次に、対象画像が、基準視点画像であるか、非基準視点画像であるかを判定する（Ｓｂ２）。対象画像が、非基準視点画像である場合には、追加候補ベクトル導出部３６２が図６に示す処理を行い、追加候補ベクトルを決定する（Ｓｂ３）。
【００５６】
対象画像が、非基準視点画像もしくは基準視点画像であるである場合には、以下の処理により基本候補ベクトルを導出する（Ｓｂ４）。対象画像が基準視点画像である場合には、基本候補ベクトル導出部３６５において、第１候補ベクトル〜第２候補ベクトルを導出する。隣接ブロックの動きベクトルＭｖを第１候補ベクトルおよび第２候補ベクトルとする。次に、時間候補ベクトル導出部３６７は、第１候補ベクトル（第１空間候補ベクトル）が存在しない場合には、時間隣接ブロックの動きベクトルＭｖを取得し、第１候補ベクトルとする。
【００５７】
また、第１候補ベクトル（第１空間ベクトル）と第２候補ベクトル（第２空間候補ベクトル）が等しい場合には、時間隣接ブロックの動きベクトルＭｖを取得し、第２候補ベクトルとする。対象画像が非基準視点画像である場合には、基本候補ベクトル導出部３６５で、第２候補ベクトルと第３候補ベクトルを導出する。すなわち、空間候補ベクトル導出部３６６が、隣接ブロックの動きベクトルＭｖまたは視差ベクトルＤｖを取得し、第２候補ベクトルおよび第３候補ベクトルとする。次に、時間候補ベクトル導出部３６７は、第２候補ベクトル（第１空間候補ベクトル）が存在しない場合には、時間隣接ブロックの動きベクトルＭｖを取得し、第２候補ベクトルとする。また、第２候補ベクトル（第１空間候補ベクトル）と第３候補ベクトル（第２空間候補ベクトル）が等しい場合には、時間隣接ブロックの動きベクトルＭｖを取得し、第３候補ベクトルとする。
【００５８】
次に、予測ベクトル決定部３６８は、インデックスｉｄｘに従って予測ベクトルを選択する（Ｓｂ５）。対象画像が、非基準視点画像である場合には、追加候補ベクトル（第１候補ベクトル）と基本候補ベクトル（第２候補ベクトル、第３候補ベクトル）の中から予測ベクトルを選択する。対象画像が、基準視点画像である場合には、基本候補ベクトル（第１候補ベクトルと第２候補ベクトル）の中から予測ベクトルを選択する。
次に、予測ベクトル選択部３６８は、ステップＳｂ５にて選択されたベクトルを予測ベクトルＰｖとして加算部３０４に出力する（Ｓｂ６）。
【００５９】
以上の構成では、追加候補ベクトル導出部３６２は、追加候補ベクトルを必ず生成する。すなわち、追加候補ベクトル導出部３６２において、デプスマップから導出する方法および隣接ブロックから導出する方法において、追加候補ベクトルとして、視差ベクトルおよび動きベクトルが得られない場合に、追加候補ベクトルとして所定の固定ベクトルを用いる。
この構成では、対象画像が非基準視点画像である場合に、インデックスｉｄｘが０のときは、予測ベクトルは追加候補ベクトル導出部３６２が生成した追加候補ベクトルであり、インデックスｉｄｘが１以上のときは、予測ベクトルは基本候補ベクトル導出部３６５が生成した候補ベクトルである。
【００６０】
追加候補ベクトルを必ず生成する構成では、インデックスｉｄｘにより、予測ベクトルが追加候補ベクトルであるか、基本候補ベクトルであるかが識別することができるため、インデックスｉｄｘが基本候補ベクトルを示す場合に、追加候補ベクトル導出処理を行うことや、逆に、インデックスｉｄｘが追加候補ベクトルを示す場合に、基本候補ベクトル導出処理を行うことを防ぎ、候補ベクトルの導出処理を簡略化することができる。
より詳細には、視差ベクトル導出部３６３と、空間候補ベクトル導出部３６６が同時に動作することを防ぐことができ、動きベクトル導出部３６４と、空間候補ベクトル導出部３６６が同時に動作することを防ぐことができる。また、視差ベクトル導出部３６３と、時間候補ベクトル導出部３６７が同時に動作することを防ぐことができ、動きベクトル導出部３６４と、時間候補ベクトル導出部３６７が同時に動作することを防ぐことができる。
【００６１】
なお、図２２の構成は、追加候補ベクトルを必ず生成する構成では、インデックスｉｄｘにより、予測ベクトルが追加候補ベクトルであるか、基本候補ベクトルであるかを識別することができるため、予測ベクトルが追加候補ベクトルであるか、基本候補ベクトルであるかが識別するフラグをインデックスｉｄｘとして用いる後述の図２２の構成が可能である。
＜符号化データ構成と予測ベクトル決定部３６８の動作＞
【００６２】
インデックスｉｄｘの符号化データの構成として、幾つかの構成を構成しうる。ここでは、３つの構成例と、それに対応する予測ベクトル決定部３６８および追加候補ベクトル導出部３６２の動作を説明する。なお、本構成は、後述の実施形態２〜実施形態４においても使用可能である。
図２１（ａ）は、インデックスｉｄｘの符号化方法を示す第１の符号化データ構成を示す図である。第１の符号化データ構成は、これまで説明したインデックスｉｄｘの構成であり、予測候補ベクトルのインデックスｉｄｘとして、基準画像である場合（図のbaseView(ref_idx_l0[x0][y0])が真）、０か１の２値をとるmvp_lX_flagを含み、非基準画像である場合、０〜２の３値をとるmvp_lX_idxを含む。mvp_lX_flagはエントロピー復号部３０１において復号される。
【００６３】
図２１（ｂ）は、第１の符号化データ構成におけるインデックスｉｄｘと、候補ベクトルの関係を示す図である。対象画像が基準視点画像の場合には、インデックスは２値をとるmvp_lX_flagであり、mvp_lX_flagが０の場合には基本候補ベクトル１、mvp_lX_flagが１の場合には基本候補ベクトル２が対応する。対象画像が非基準視点画像の場合には、インデックスは３値をとるmvp_lX_idxであり、mvp_lX_idxが０の場合には、追加候補ベクトル、mvp_lX_idxが１の場合には、基本候補ベクトル１、mvp_lX_flagが２の場合には基本候補ベクトル２が対応する。
【００６４】
ベクトル予測候補導出部３６１は、対象画像が基準視点画像である場合、及び、対象画像が非基準視点画像で、mvp_lX_idxが１か２の場合に、基本候補ベクトル導出部３６５において、基本候補ベクトル１と基本候補ベクトル２を導出する。逆に、対象画像が非基準視点画像で、mvp_lX_idxが０の場合に、追加候補ベクトル導出部３６２において追加候補ベクトルを導出する。予測ベクトル選択部３６８は、図２１（ｂ）の対応関係に従い予測候補ベクトルを選択する。
【００６５】
図２１の構成によれば、対象画像が基準視点画像か非基準視点画像であるかによって、値域の異なるシンタックス要素を切り替えることによって、インデックスidxを導出する。対象画像が基準視点画像である場合の２値のシンタックス要素は、３Ｄではない（２Ｄの）符号化データの構成と同一であるため、２Ｄの符号化データと３Ｄの符号化データの両方に対応した復号装置の実装が容易になる。
【００６６】
図２２（ａ）は、インデックスの符号化方法を示す第３の符号化データ構成を示す図である。第２の符号化データ構成では、予測候補ベクトルのインデックスｉｄｘとして、基準画像である場合（図のbaseView(ref_idx_l0[x0][y0])が真）、mvp_lX_flagを含み、非基準画像である場合、mvp_lX_flagとmvp_ext_lX_flagを含む。mvp_lX_flag とmvp_ext_lX_flagは共に２値である。mvp_lX_flag、mvp_ext_lX_flagはエントロピー復号部３０１において復号される。
【００６７】
図２２（ｂ）は、第２の符号化データ構成におけるインデックスｉｄｘと、候補ベクトルの関係を示す図である。mvp_ext_lX_flagが０の場合で、mvp_lX_flagが０の場合には基本候補ベクトル１、mvp_lX_flagが１の場合には基本候補ベクトル２が対応する。mvp_ext_lX_flagが１の場合には、追加候補ベクトルが対応する。
エントロピー復号部３０１は、対象画像が基準視点画像である場合に、符号化データを復号せずにmvp_ext_lX_flagとして０を導出（infered）し、対象画像が非基準視点画像の場合には、復号データからmvp_ext_lX_flagを復号する。さらにエントロピー復号部３０１は、mvp_ext_lX_flagが０の場合にmvp_lX_flagを復号する。
【００６８】
ベクトル予測候補導出部３６１は、対象画像が基準視点画像である場合、及び、対象画像が非基準視点画像でありmvp_ext_lX_flagが０の場合に、基本候補ベクトル導出部３６５において、基本候補ベクトル１と基本候補ベクトル２を導出する。逆に、対象画像が非基準視点画像で、mvp_ext_lX_flagが１の場合に、追加候補ベクトル導出部３６２において追加候補ベクトルを導出する。予測ベクトル選択部３６８は、図２２（ｂ）の対応関係に従い予測候補ベクトルを選択する。また、図２２の構成は、基本候補ベクトルと追加候補ベクトルの一致判定による削除を行わない第３の実施形態で用いることも好適である。
この場合、基本候補ベクトルが、追加候補ベクトルの値に依存しないため、対象画像が非基準視点画像でありmvp_ext_lX_flagが０の場合に、追加候補ベクトル導出部３６２において追加候補ベクトルを導出する処理を省略し処理量を低減することができる。
【００６９】
図２２の構成によれば、対象画像が非基準視点画像である場合において、追加フラグmvp_ext_lX_flagを復号し候補ベクトルを選択し、対象画像が基準視点画像である場合には追加フラグmvp_ext_lX_flagを復号せずに、導出することにより候補ベクトルを選択する。対象画像が基準視点画像である場合の追加フラグmvp_ext_lX_flagを復号しない構成は、３Ｄではない（２Ｄの）符号化データの構成と同一であるため、２Ｄの符号化データと３Ｄの符号化データの両方に対応したベクトル予測候補導出部の実装が容易になる。図２２の構成によれば、mvp_lX_flag によらず単一のmvp_ext_lX_flagのみによって、必要な候補ベクトル導出処理が決定されるため、ベクトル予測候補導出部の実装が容易になり、また処理量が削減する効果がある。
【００７０】
図２２（ａ）は、インデックスの符号化方法を示す第３の符号化データ構成を示す図である。第３の符号化データ構成では、予測候補ベクトルのインデックスｉｄｘとして、mvp_lX_flagを含み、非基準画像であり（図のbaseView(ref_idx_l0[x0][y0])が偽）、なお且つ、mvp_lX_flagが１の場合に、mvp_resi_lX_flagを含む。mvp_lX_idxとmvp_resi_lX_flagは共に２値である。mvp_lX_flag、mvp_resi_lX_flagはエントロピー復号部３０１において復号される。対象画像が基準視点画像である場合には、mvp_lX_flagが０の場合には基本候補ベクトル１、mvp_lX_flagが１の場合には基本候補ベクトル２が対応する。対象画像が非基準視点画像である場合には、mvp_lX_flagが０の場合には基本候補ベクトル１、mvp_lX_flagが１で、mvp_resi_lX_flagが０の場合には基本候補ベクトル２、mvp_lX_flagが１で、mvp_resi_lX_flagが１の場合には追加候補ベクトルが対応する。
【００７１】
エントロピー復号部３０１は、mvp_lX_flagを復号する。対象画像が基準視点画像である、もしくは、mvp_lX_flagが１でない場合には、追加フラグmvp_resi_lX_flagは復号しない（mvp_resi_lX_flagは０とする）。対象画像が非基準視点画像である場合には、追加フラグmvp_resi_lX_flagを復号する。
ベクトル予測候補導出部３６１は、対象画像が基準視点画像である場合、及び、対象画像が非基準視点画像で、mvp_resi_lX_flagが０の場合に、基本候補ベクトル導出部３６５において、基本候補ベクトル１と基本候補ベクトル２を導出する。逆に、対象画像が非基準視点画像で、mvp_resi_lX_flagが１の場合に、追加候補ベクトル導出部３６２において追加候補ベクトルを導出する。予測ベクトル選択部３６８は、図２２（ｂ）の対応関係に従い予測候補ベクトルを選択する。
【００７２】
図２２の構成によれば、対象画像が非基準視点画像である場合において、mvp_lX_flagが１の場合には、追加フラグmvp_ext_lX_flagを復号する。対象画像が基準視点画像である場合の追加フラグmvp_ext_lX_flagを復号しない構成は、３Ｄではない（２Ｄの）符号化データの構成と同一であるため、２Ｄの符号化データと３Ｄの符号化データの両方に対応した復号装置の実装が容易になる。
【００７３】
次に、復号装置の別の構成例について説明する。図８は、本実施形態における別の画像復号装置３００ｘの構成を示す概略ブロック図である。画像復号装置３００との違いは、デプスマップ復号部３０９、デプスマップメモリ３１０の代わりに、デプスマップ生成部３１１を備えることである。
【００７４】
デプスマップ生成部３１１は、ベクトルメモリ３０５から視差ベクトルを読み出し、擬似的なデプスマップＤｄ‘を生成する。デプスマップを構成するデプス値は、前述したようなデプスマップから視差ベクトルへ変換する処理の逆変換を行うことによって生成する。生成するデプスマップのサイズ（画素数）は、得られる視差ベクトルの数に従って決定されるが、不足する画素は、隣接する画素からコピーするか、近傍の複数の画素を用いて補間することにより、視点画像のサイズと同一にしてもよい。あるいは、視点画像のサイズの１／２、１／４、１／８等のサイズのデプスマップを生成してもよい。
なお、画像復号装置３００ｘに含まれるその他の各部は、画像復号装置３００と同一である。この構成により、デプスマップが外部から与えられない場合においても、擬似的なデプスマップを生成することにより、画像復号装置３００と同様に予測ベクトル生成部３０６を用いて視差ベクトルを生成することができる。
【００７５】
図９は、画像符号化装置１００の構成を示す概略ブロック図である。図９に示すように、画像符号化装置１００は、減算部１０１、ＤＣＴ（Discrete Cosine Transform）変換・量子化部１０２、エントロピー符号化部１０３、逆量子化・逆ＤＣＴ変換部１０４、加算部１０５、参照画像メモリ１０６、予測部１０７、減算部１０８、ベクトルメモリ１０９、予測ベクトル生成部１１０（予測ベクトル生成装置）、デプスマップ符号化部１２１、デプスマップメモリ１２２を含んで構成される。
【００７６】
減算部１０１は、入力された視点画像Ｔから、予測部１０７が生成した予測画像Ｐを減算し、減算結果を示す残差信号を生成する。ここで、減算とは、視点画像Ｔの画素の画素値から、予測画像Ｐの対応する画素の画素値を減ずることである。ＤＣＴ変換・量子化部１０２は、減算部１０１が生成した残差信号をＤＣＴ変換して、ＤＣＴ係数を算出する。
ＤＣＴ変換・量子化部１０２は、算出したＤＣＴ係数を量子化して、量子化係数を算出する。エントロピー符号化部１０３は、ＤＣＴ変換・量子化部１０２が算出した量子化係数と、減算部１０８が算出した差分ベクトルΔｖと、予測ベクトル生成部１１０が選択したインデックスｉｄｘと、予測部１０７が選択した予測モードとをエントロピー符号化して、符号化ストリームＴｅを生成する。
【００７７】
逆量子化・逆ＤＣＴ変換部１０４は、図２の逆量子化・逆ＤＣＴ変換部３０４と同様の処理を、ＤＣＴ変換・量子化部１０２が算出した量子化係数に対して行い、復号残差信号を生成する。加算部１０５は、逆量子化・逆ＤＣＴ変換部１０４が生成した復号残差信号と、予測部１０７が生成した予測画像Ｐとを加算して、復号画像を生成する。参照画像メモリ１０６は、加算部１０５が生成した復号画像を、参照画像として記憶する。
【００７８】
予測部１０７は、視点画像Ｔの各フレームを分割したブロック毎に、参照画像メモリ１０６が記憶する参照画像を用いて、予測画像Ｐを生成する。予測部１０７は、複数の予測方式の中から１つを選択し、該選択した予測方式を用いて、予測画像Ｐを生成する。予測方式の選択方法としては、例えば、予測画像Ｐと視点画像Ｔとの差分が最も小さくなる予測方式を選択する方法があるが、これに限らず、その他の方法であってもよい。予測部１０７は、選択した予測方式を示す予測モードをエントロピー符号化部１０３に出力する。
【００７９】
視点画像Ｔが基準視点画像（ベースビュー（Base View）ともいう）のときは、上述の選択対象の複数の予測方式は、イントラ予測および動き予測である。また、視点画像Ｔが非基準視点画像（ノンベースビュー（Non-base View）ともいう）のときは、上述の選択対象の複数の予測方式は、イントラ予測、動き予測および視差予測である。
なお、イントラ予測は、予測画像Ｐを生成する際の参照画像として、対象ブロックが属するフレームを用いる予測方式である。
【００８０】
動き予測（動き補償ともいう）は、予測画像Ｐを生成する際の参照画像として、対象ブロックが属する視点画像Ｔのうち、対象ブロックが属するフレームとは異なるフレームを用いる予測方式である。予測部１０７は、動き予測を選択したときは、予測画像Ｐを生成する際に用いた動きベクトルＭｖを、ベクトルメモリ１０９と減算部１０８とに通知する。なお、動きベクトルＭｖは、対象ブロックの座標から、予測画像Ｐとしたブロックの参照画像における座標までのベクトルを表す情報と、参照画像としたフレームを示す情報（例えば、refIdx（参照ピクチャ番号））を含む。
【００８１】
視差予測（視差補償ともいう）は、予測画像Ｐを生成する際の参照画像として、対象ブロックが属する視点画像Ｔとは異なる視点画像Ｔのフレームのうち、対象ブロックが属するフレームと表示順序が同じ（同じＰＯＣを持つ）フレームを用いる予測方式である。予測部１０７は、視差予測を選択したときは、予測画像Ｐを生成する際に用いた視差ベクトルＤｖを、ベクトルメモリ１０９と減算部１０８とに通知する。なお、視差ベクトルＤｖは、対象ブロックの座標から、予測画像Ｐとしたブロックの参照画像における座標までのベクトルを表す情報と、参照画像としたフレームを示す情報（例えば、redIdx（参照ピクチャ番号））を含む。
【００８２】
また、基準視点画像は、符号化する際に、視差予測を用いることができない視点画像Ｔであり、非基準視点画像は、符号化する際に、視差予測を用いることができる視点画像Ｔである。例えば、画像符号化装置１００は、複数の視点画像Ｔのうち、最初に画像符号化装置１００に入力される視点画像Ｔを、基準視点画像とし、その他の視点画像Ｔを、非基準視点画像とする。本実施形態では、複数の視点画像Ｔに含まれる基準視点画像は１つのみであり、非基準視点画像の視差予測をする際は、その基準視点画像および既に符号化済みの非基準視点画像を参照画像とする。
【００８３】
減算部１０８は、予測部１０７から通知された動きベクトルＭｖまたは視差ベクトルＤｖから、予測ベクトル生成部１１０が生成した予測ベクトルＰｖを減算し、減算結果である差分ベクトルΔｖをエントロピー符号化部１０３に通知する。減算部１０８は、該動きベクトルＭｖまたは視差ベクトルＤｖに含まれていた参照画像としたフレームを示す情報を、差分ベクトルΔｖに含める。ベクトルメモリ１０９は、予測部１０７から通知された動きベクトルＭｖと視差ベクトルＤｖとを記憶する。
【００８４】
予測ベクトル生成部１１０は、予測部１０７が生成した動きベクトルまたは視差ベクトルに対する予測ベクトルＰｖを生成する。予測ベクトル生成部１１０は、複数の候補ベクトルの中から選択したものを予測ベクトルＰｖとするが、この選択した候補ベクトルを示すインデックスｉｄｘをエントロピー符号化部１０３に通知する。予測ベクトルＰｖの生成方法およびインデックスｉｄｘの詳細については、後述する。
【００８５】
デプスマップ符号化部１２１は、視点画像Ｔの各フレームに対応するデプスマップＤを符号化して、デプスマップ符号化ストリームＤｅを生成する。なお、デプスマップ符号化部１２１は、デプスマップ符号化ストリームＤｅを生成する際に、デプスマップ符号化ストリームＤｅを復号した復号デプスマップＤｄも生成する。デプスマップメモリ１２２は、デプスマップ符号化部１２１が生成した復号デプスマップＤｄを記憶する。
【００８６】
図１０は、予測ベクトル生成部１１０の構成を示す概略ブロック図である。同図において、図３の各部に対応する部分には同一の符号（３６１〜３６７）を付し、説明を省略する。図１０に示すように、予測ベクトル生成部１１０は、ベクトル予測候補導出部３６１、予測ベクトル決定部１１６を含んで構成される。ベクトル予測候補導出部３６１は、追加候補ベクトル導出部３６２、基本候補ベクトル導出部３６５を含んで構成される。追加候補ベクトル導出部３６２は、視差ベクトル導出部３６３、動きベクトル導出部３６４を含んで構成される。基本候補ベクトル導出部３６５は、空間候補ベクトル導出部３６６、時間候補ベクトル導出部３６７を含んで構成される。
【００８７】
予測ベクトル決定部１１６は、対象画像が基準視点画像である場合には、基本候補ベクトル（第１候補ベクトル〜第２候補ベクトル）の中から、対象ブロックの動きベクトルとの差分が少ないものを選択し、予測ベクトルＰｖとする。対象画像が非基準視点画像である場合には、追加候補ベクトル（第１候補ベクトル）と、基本候補ベクトル（第２候補ベクトル〜第３候補ベクトル）の中から、対象ブロックの動きベクトルまたは視差ベクトルＤｖとの差分が少ないものを選択し、予測ベクトルＰｖとする。予測ベクトル決定部１１６は、予測ベクトル選択部３６８と同様の方法で、候補ベクトルのインデックスｉｄｘを生成する。予測ベクトル決定部１１６は、選択した予測ベクトルＰｖと生成したインデックスｉｄｘとを、エントロピー符号化部１０３に通知する。
【００８８】
図１１は、予測ベクトル生成部１１０の動作を説明するフローチャートである。同図において図７の各部に対応する部分には同一の符号（Ｓｂ２〜Ｓｂ４）を付け、その説明を省略する。予測ベクトル決定部１１６は、追加候補ベクトル、基本候補ベクトル（第２候補ベクトル、第３候補ベクトル）の中から、符号化コストの小さい予測ベクトルを決定する（Ｓｃ１）。予測ベクトル決定部１１６は、ステップＳｃ１における選択結果を示すインデックスｉｄｘも生成する。なお、候補ベクトルは、数が３つの場合、インデックスｉｄｘは、これらの合計３つのうちの１つを示すインデックスである。次に、予測ベクトル決定部１１６は、選択された予測ベクトルＰｖと、生成されたインデックスｉｄｘを出力し（Ｓｃ２）、処理を終了する。
【００８９】
本実施形態では、視差ベクトル導出部３６３が生成した視差ベクトルを用いて、対応ブロックを特定し、該対応ブロックの動きベクトルまたは前記生成した視差ベクトルを追加候補ベクトルとして、予測ベクトル生成に用いている。これにより、隣接ブロックが動きベクトルまたは視差ベクトルを有していないときにおける、ベクトルの予測精度の劣化を防ぎ、良好な符号化効率を得ることができる。なお、以上の構成では、追加候補ベクトルを必ず導出する構成とする。
【００９０】
［第２の実施形態］
以下、図面を参照して、本発明の第２の実施形態について説明する。第１の実施形態では、予測ベクトル生成部３０６は、全ての候補ベクトルを常に生成していた。しかし、どの候補ベクトルが予測ベクトルかを示すインデックスｉｄｘが入力されているため、インデックスｉｄｘが示していない候補ベクトルを生成することは無駄である。そこで、本実施形態では、インデックスｉｄｘが追加候補ベクトルを示していない場合には、追加候補ベクトルの生成処理を省略し、インデックスｉｄｘが追加候補ベクトルを示している場合には、第２候補ベクトル、第３候補ベクトル及び第４候補ベクトルの取得処理を省略する。これにより、無駄な候補ベクトルの取得処理がなくなるため、予測ベクトルの生成に係る処理量を削減することができる。
【００９１】
本実施形態における画像伝送システム１０ａは、画像復号装置３００に変えて画像復号装置３００ａを有する。画像復号装置３００ａは、予測ベクトル生成部３０６に変えて予測ベクトル生成部３０６ａを有する点のみが、画像復号装置３００とは異なる。
【００９２】
図１２は、予測ベクトル生成部３０６ａの構成を示す概略ブロック図である。図１２に示すように、予測ベクトル生成部３０６ａは、ベクトル予測候補導出部３６１ａ、予測ベクトル選択部３６８ａを含んで構成される。ベクトル予測候補導出部３６１ａは、追加候補ベクトル導出部３６２ａ、基本候補ベクトル導出部３６５ａを含んで構成される。追加候補ベクトル導出部３６２ａは、視差ベクトル導出部３６３ａ、動きベクトル導出部３６４を含んで構成される。基本候補ベクトル導出部３６５ａは、空間候補ベクトル導出部３６６ａ、時間候補ベクトル導出部３６７ａを含んで構成される。動きベクトル導出部３６４は図３の同一部と同様なため、その説明を省略する。
【００９３】
視差ベクトル導出部３６３ａは、エントロピー復号部３０１からインデックスｉｄｘを受け取り、インデックスｉｄｘが追加候補ベクトルを示していない場合（１以上の場合）には、何の処理を行わない。インデックスｉｄｘが追加候補ベクトルを示している場合（０の場合）には、図３の視差ベクトル導出部３６３と同様の処理を行う。
【００９４】
空間候補ベクトル導出部３６６ａは、エントロピー復号部３０１からインデックスｉｄｘを受け取り、インデックスｉｄｘが追加候補ベクトルを示している場合（０の場合）には、何の処理を行わない。インデックスｉｄｘが追加候補ベクトルを示していない場合（１以上の場合）には、図３の空間候補ベクトル導出部３６６と同様の処理を行う。
【００９５】
時間候補ベクトル導出部３６７ａは、エントロピー復号部３０１からインデックスｉｄｘを受け取り、インデックスが追加候補ベクトルを示している場合（０の場合）には、何の処理も行わない。この場合、処理量を削減できる。インデックスｉｄｘが追加候補ベクトルを示していない場合（１以上の場合）には、図３の時間候補ベクトル導出部１１５と同様の処理を行う。
予測ベクトル選択部３６８ａは、予測ベクトル選択部３６８と同様の方法で、インデックスｉｄｘを参照して、予測候補ベクトルを選択する。
【００９６】
図１３は、予測ベクトル生成部３０６ａの動作を説明するフローチャートである。同図において図７の各部に対応する部分には同一の符号（Ｓｂ１〜Ｓｂ４、Ｓｂ６）を付け、その説明を省略する。予測ベクトル生成部３０６ａは、対象画像が非基準視点画像である場合に、インデックスが追加候補ベクトルを示しているか否かを判定する（Ｓｄ１）。インデックスが追加候補ベクトルを示している場合には（Ｓｄ１−Ｙｅｓ）、ステップＳｂ３の追加候補ベクトルを導出するステップに進む。インデックスが追加候補ベクトルを示していない場合には（Ｓｄ１−Ｎｏ）、追加候補ベクトルの導出を省略し、基本候補ベクトルを導出するステップＳｂ４に進む。予測ベクトル選択部３６８ａは、ステップＳｂ１にて取得したインデックスｉｄｘの値と候補ベクトルから、候補ベクトルを選択する（Ｓｄ２）。
【００９７】
以上の構成では、対象画像が非基準視点画像の場合に、インデックスが追加候補ベクトルを示しているかに応じて、追加候補ベクトルを導出するか否かを選択することにより、不要な候補ベクトルの生成処理を省略することが可能となるため、予測ベクトル生成に係る処理量を削減することができる。
【００９８】
［第３の実施形態］
以下、図面を参照して、本発明の第３の実施形態について説明する。第１の実施形態では、空間候補ベクトル導出部３６６は、左側に隣接しているブロックから第１空間候補ベクトルを、上側に隣接しているブロックから第２空間候補ベクトルを生成していた。これら２つの候補ベクトルは空間的に近い位置の動きベクトルまたは視差ベクトルのため、同じベクトルになる可能性が高い。そこで、本実施形態では、第１空間候補ベクトルと第２空間候補ベクトルの一致確認を行い、一致していた場合には第２空間候補ベクトルを候補ベクトルから削除する。これにより、冗長な候補ベクトルが削除されることから、インデックスｉｄｘの符号量を小さくすることができる。
【００９９】
本実施形態における画像伝送システム１０ｂは、画像復号装置３００に変えて画像復号装置３００ｂを有し、画像符号化装置１００に変えて画像符号化装置１００ｂを有し、する。画像復号装置３００ｂは、予測ベクトル生成部３０６に変えて予測ベクトル生成部３０６ｂを有する点のみが、画像復号装置３００とは異なる。また、画像符号化装置１００ｂは、予測ベクトル生成部１１０に変えて予測ベクトル生成部１１０ｂを有する点のみが、画像符号化装置１００とは異なる。
【０１００】
図１４は、予測ベクトル生成部３０６ｂの構成を示す概略ブロック図である。予測ベクトル生成部３０６ｂは、基本候補ベクトル導出部３６５ｃが候補ベクトル削除部３６９ｂを有する点のみが、予測ベクトル生成部３０６とは異なる。
【０１０１】
候補ベクトル削除部３６９ｂは、対象画像が基準視点画像であるか、非基準視点画像であるかに関わらず、空間候補ベクトル導出部３６６が生成した隣接ブロックから導出された候補ベクトル同士の一致確認を行う。一致確認は、予測フラグpredFlagL0、predFlagL1、参照ピクチャインデックスrefIdxL0、refIdxL1、ベクトルmvL0、ベクトルmvL0の一致を確認し、全てが一致する場合、もしくは、一部が一致する場合を、一致すると判定する。
具体的には、第１空間候補ベクトルと第２空間候補ベクトルの一致確認を行う。すなわち、対象画像が基準視点画像である場合には、第１候補ベクトル（第１空間候補ベクトル）と第２候補ベクトル（第２空間候補ベクトル）の一致確認を行い、対象画像が非基準視点画像である場合には、第２候補ベクトル（第１空間候補ベクトル）と第３候補ベクトル（第２空間候補ベクトル）の一致確認を行う。
【０１０２】
候補ベクトル削除部３６９ｂは、２つの候補ベクトルが一致した場合には、予測ベクトル決定部３６８に対して、第１空間候補ベクトルを出力するとともに、第２空間ベクトルが無いことを通知する。候補ベクトル削除部３６９ｂは、２つの候補ベクトルが一致しなかった場合には、第１空間候補ベクトルおよび第２空間候補ベクトルを予測ベクトル決定部３６８に出力する。候補ベクトル削除部３６９ｂは、空間候補ベクトル導出部３６６から、どちらか、もしくは両方の候補ベクトルが無いことが通知された場合には、一致確認は行わず、同様の通知を予測ベクトル決定部３６８に対して行う。
【０１０３】
図１５は、予測ベクトル生成部３０６ｂの動作を説明するフローチャートである。同図において、ステップＳｂ１〜Ｓｂ６は、図１１と同様なので説明を省略する。ステップＳｂ４の次に、候補ベクトル削除部３６９ｂは、空間候補ベクトル同士が一致しているか否かの判定を行う（Ｓｅ１）。空間ベクトベクトルが一致している場合には（Ｓｅ１−Ｙｅｓ）、一つの空間候補ベクトルを候補から削除する（Ｓｄ２）。空間候補ベクトルが一致していない場合には（Ｓｅ１−Ｎｏ）、ステップＳｂ３に進む。
【０１０４】
図１６は、予測ベクトル生成部１１０ｂの構成を示す概略ブロック図である。同図において、図３の各部に対応する部分には同一の符号（３６２〜３６７）を付し、説明を省略する。また、予測ベクトル決定部１１６は、図１０の同一部と同様のため、説明を省略する。また、候補ベクトル削除部３６９ｂは、図１４の同一部と同様のため、説明を省略する。図１６に示すように、予測ベクトル生成部１１０ｂは、追加候補ベクトル導出部３６２、基本ベクトル導出部３６５ｃを含む。基本ベクトル導出部３６５ｃは、空間候補ベクトル導出部３６６、時間候補ベクトル導出部３６７、予測ベクトル決定部１１６、候補ベクトル削除部３６９ｂを含んで構成される。
【０１０５】
図１６は、予測ベクトル生成部１１０ｂの動作を説明するフローチャートである。同図において、ステップＳｂ２〜Ｓｂ４は、図７と同様なので説明を省略する。また、ステップＳｃ１、Ｓｃ２は、図１１と同様なので説明を省略する。また、ステップＳｅ１、Ｓｅ２は、図１５と同様なので説明を省略する。
【０１０６】
なお、候補ベクトル削除部３６９ｂを備えず、空間候補ベクトル導出部３６６もしくは、時間候補ベクトル導出部３６７の内部で、既に導出された動きベクトル候補が一致する化否かの判定を行い、一致する場合には、候補ベクトルとして導出しない構成でも良い。
【０１０７】
以上のように、隣接ブロックから導出された候補ベクトル同士の一致確認により冗長な候補ベクトルを削除することができるため、インデックスｉｄｘの符号量削減による、良好な符号化効率を得ることができる。
また、本構成では、対象画像が基準視点画像であるか、非基準視点画像であるかに関わらず、隣接ブロックから導出された候補ベクトル同士のみで一致確認による候補ベクトル削除を行う。そのため、対象画像が非基準視点画像である場合に、追加候補ベクトルと、基本候補ベクトルの要素となる候補ベクトル（空間候補ベクトル）との一致確認を行う構成と比べ、処理量を削減することができる。具体的には、追加候補ベクトルと、基本候補ベクトルの要素との一致確認による候補の削除を行う場合、インデックスｉｄｘが基本候補ベクトルの要素を示す場合にも、候補の削除が行われたか否かをチェックするために、追加候補ベクトルの導出が必要になる。本構成では、基本候補ベクトルの要素を、一致確認対象から除外することにより、インデックスｉｄｘが基本候補ベクトルの要素を示す場合にも、追加候補ベクトルの導出は不要になる。
【０１０８】
［第４の実施形態］
以下、図面を参照して、本発明の第４の実施形態について説明する。第１の実施形態での追加候補ベクトル導出部は、導出対象ベクトルが動きベクトルの場合には、対応ブロックの動きベクトルをそのまま追加候補ベクトルとした。しかし、対象ブロックの参照画像と、対応ブロックの参照画像の表示順序（ＰＯＣ）が異なっていた場合、それぞれの動きベクトルも類似していない可能性が高くなるため、対応ブロックの動きベクトルをそのまま追加候補ベクトルにするのは適当ではない。そこで、本実施形態では、非基準視点画像の場合に導出される追加候補ベクトル導出部において、必要に応じて、対応ブロックの動きベクトルに対してスケーリング処理を行ってから追加候補ベクトルにする。
【０１０９】
本実施形態における画像伝送システム１０ｃは、画像復号装置３００に変えて画像復号装置３００ｃを有し、画像符号化装置１００に変えて画像符号化装置１００ｃを有する。
画像復号装置３００ｃは、予測ベクトル生成部３０６に変えて予測ベクトル生成部３０６ｃを有する点のみが、画像復号装置３００とは異なる。また、画像符号化装置１００ｃは、予測ベクトル生成部１１０に変えて予測ベクトル生成部１１０ｃを有する点のみが、画像符号化装置１００とは異なる。
【０１１０】
図１８は、予測ベクトル生成部３０６ｃの構成を示す概略ブロック図である。予測ベクトル生成部３０６ｃは、追加候補ベクトル導出部３６２ｃがスケーリング部３７０ｃを有する点のみが、予測ベクトル生成部３０６とは異なる。スケーリング部３７０ｃは、対象ブロックの参照画像と、対応ブロックの参照画像の表示順序が同一か否かを判定する。同一の場合は、対応ブロックの動きベクトルを追加候補ベクトルとして、予測ベクトル決定部１１６に出力する。同一でなかった場合には、符号化対象のフレームの表示順序と、対象ブロックの参照画像の表示順序と、対応ブロックの参照画像の表示順序を用いて、対応ブロックの動きベクトルをスケーリングする。具体的なスケーリング方法としては、以下のような非特許文献２に記載のものがある。
【０１１１】
符号化対象のフレームの表示順序をCurrPOC、対象ブロックの参照画像の表示順序RefPOC、対象ブロックの参照画像の表示順序をColRefPOC、対応ブロックの動きベクトルをＭｖとすると、スケーリング後の対応ブロックの動きベクトルＭｖ’は以下の式（１）、（２）、（３）のように導出される。なお、Ａｂｓ( )は、与えられた値の絶対値を返す関数である。
【０１１２】
tx = ( 16384 + (Ａｂｓ( ColPOC - CurrPOC ) >> 1 ) ) / ( ColRefPOC - CurrPOC )  ・・・（１）
DistScaleFactor = ((RefPOC - CurrPOC) × tx + 32) >> 64   ・・・（２）
Ｍｖ’ = ( DistScaleFactor × Ｍｖ ) × ((Ａｂｓ( DistScaleFactor × Ｍｖ) + 127) >> 8 ))    ・・・（３）
【０１１３】
スケーリング部３７０ｃは、スケーリングした対応ブロックの動きベクトルＭｖ‘を追加候補ベクトルとして、予測ベクトル選択部３６８に出力する。
【０１１４】
図１９は、追加候補ベクトル導出部３６２ｃの動作を説明するフローチャートである。
同図において、ステップＳａ１〜Ｓａ８は、図６と同様なので説明を省略する。ステップＳａ５の判定でＹｅｓであった場合に、スケーリング部３７０ｃは、対象ブロックの参照画像と、対応ブロックの参照画像の表示順序が異なっているか否かを判定する（Ｓｆ１）。参照画像の表示順が異なっていた場合には（Ｓｆ１−Ｙｅｓ）、対応ブロックの動きベクトルに対してスケーリングを行う（Ｓｆ２）。参照画像の表示順が異なっていない場合には（Ｓｆ１−Ｎｏ）、ステップＳａ６に進む。
【０１１５】
図２０は、予測ベクトル生成部１１０ｃの構成を示す概略ブロック図である。予測ベクトル生成部１１０ｃは、追加候補ベクトル導出部がスケーリング部３７０ｃを有する点のみが、予測ベクトル生成部１１０とは異なる。同図において、スケーリング部３７０ｃは図１８と同様なので説明を省略する。
【０１１６】
本実施形態では、上述のように、対象画像が非基準視点画像である場合において、追加候補ベクトルを生成する際に、導出対象ベクトルが動きベクトルであり、対象ブロックの参照画像と対応ブロックの参照画像の表示順序（ＰＯＣ）が異なっていた場合に、対応ブロックの動きベクトルをスケーリングすることで、追加候補ベクトルの予測精度を向上させている。これにより、予測ベクトルと動きベクトルの差分により符号化される差分ベクトルの符号量を削減することができる。
【０１１７】
［第５の実施形態］
以下、図面を参照して、本発明の第５の実施形態について説明する。本実施形態では、第２の実施形態における追加候補ベクトル導出処理をスケーラブル符号化に適用した場合について説明する。
符号化ストリームが複数のレイヤから構成される符号化方法は、一般に、スケーラブル符号化とも呼ばれる。スケーラブル符号化の方式の一例としては、ＩＳＯ／ＩＥＣとＩＴＵ−Ｔの標準としてＳＶＣ（H.264/AVC Annex G Scalable Video Coding、非特許文献１）がある。
【０１１８】
スケーラブル符号化では、レイヤ間で予測を行うことで、高い符号化効率を実現する。レイヤ間で予測を行わない、基準となるレイヤは、ベースレイヤ、それ以外のレイヤは拡張レイヤと呼ばれる。スケーラブル符号化には、空間的スケーラブル（ベースレイヤが解像度の低いピクチャ、拡張レイヤが解像度の高いレイヤ）、ＳＮＲスケーラブル（ベースレイヤが画質の低いピクチャ、拡張レイヤが解像度の高いレイヤ）等がある。スケーラブル符号化では、特に、拡張レイヤのピクチャの符号化において、ベースレイヤのピクチャを参照ピクチャとして用いる。
【０１１９】
また、スケーラブル符号化において、各レイヤが各視点画像から構成される場合をビュースケーラブルと呼ぶ。このとき、基準視点画像がベースレイヤ、非基準視点画像が拡張レイヤに対応する。
よって、第１の実施形態における追加候補ベクトル導出処理は、基準視点画像をベースレイヤ、非基準視点画像を拡張レイヤとみなすことにより、スケーラブル符号化の各方式に対しても適用可能である。
【０１２０】
本実施形態における画像伝送システム１０ｄは、画像復号装置３００に変えて画像復号装置３００ｄを有し、画像符号化装置１００に変えて画像符号化装置１００ｄを有する。
【０１２１】
図２４は、画像復号装置３００ｄの構成を示す概略ブロック図である。画像復号装置３００ｄは、予測ベクトル生成部３０６に変えて予測ベクトル生成部３０６ｄを有する点と、加算部３０４による加算結果が動きベクトルＭｖと変位ベクトルＤｖ’である点と、加算部３０３による加算結果が復号レイヤ画像Ｔｄ’である点とが、画像復号装置３００とは異なる。なお、本実施形態では予測ベクトル生成部３０６ｄは、復号デプスマップＤｄを利用しないため、図２４の画像復号装置３００ｄは、デプスマップ復号部３０９、デプスマップメモリ３１０を具備していない。しかし、自由視点画像表示装置４００で復号デプスマップＤｄを用いる場合など、画像復号装置３００ｄがデプスマップ復号部３０９を有していてもよい。
【０１２２】
図２５は、予測ベクトル生成部３０６ｄの構成を示す概略ブロック図である。予測ベクトル生成部３０６ｄは、視差ベクトル導出部３６３に変えて変位ベクトル導出部３７１ｄを、動きベクトル導出部３６４に変えて動きベクトル導出部３６４ｄを有する点が、図１４の予測ベクトル生成部３０６ｂとは異なる。その他は、予測ベクトル生成部３０６ｂと同様であるので、説明を省略する。
【０１２３】
変位ベクトル導出部３７１ｄは、エントロピー復号部３０１からインデックスｉｄｘを受け取り、インデックスｉｄｘが追加候補ベクトルを示していない場合（１以上の場合）には、何の処理も行わない。インデックスｉｄｘが追加候補ベクトルを示している場合（０の場合）には、以下の処理を行う。
【０１２４】
変位ベクトル導出部３７１ｄは、対象ブロックの参照画像が対象画像と同一レイヤの場合には、変位ベクトルを動きベクトル導出部３６４ｄに出力し、異なるレイヤの場合には、変位ベクトルを予測ベクトル選択部３６８に出力する。
参照画像と対象画像が同一レイヤか否かは、対象画像がどのレイヤに属しているかを識別する情報であるレイヤ識別子ｌａｙｅｒ＿ｉｄと参照画像のレイヤ識別子ｒｅｆｌａｙｅｒ＿ｉｄが同一か否かで判定する。
もしくは、第1の実施形態と同様、各画像のＰＯＣが異なるか否か、または、参照画像が長時間参照ピクチャか否かによって判定する。
【０１２５】
以下、復号レイヤ画像Ｔｄ’が、空間レイヤの画像である空間的スケーラブルの場合と、Ｓ／Ｎ（Signal/Noise）比レイヤの画像であるＳＮＲスケーラブルの場合の変位ベクトル導出部３７１ｄおよび動きベクトル導出部３６４ｄについて説明する。
＜空間的スケーラブルの場合＞
図２６は、空間的スケーラブルにおける対応ブロックを示す概念図である。対応ブロックとは以下の式から求めた座標ｘＣ’、ｙＣ’を含むベースレイヤのピクチャＢＲ内のブロックである。
ｘＣ’＝ｘＣ  ×（ｒｅｆＷ／ｐｉｃＷ）
ｙＣ’＝ｙＣ  ×（ｒｅｆＨ／ｐｉｃＨ）
なお、ｘＣ，ｙＣは、拡張レイヤ（エンハンスレイヤともいう）のピクチャＥＲ内の対象ブロックの左上端の画素の座標であり、ｒｅｆＷ、ｒｅｆＨはそれぞれベースレイヤの横方向、縦方向の解像度であり、ｐｉｃＷ、ｐｉｃＨはそれぞれ拡張レイヤの横方向、縦方向の解像度である。
【０１２６】
図２５の変位ベクトル導出部３７１ｄは、座標ｘＣ、ｙＣを起点とし、座標ｘＣ’、ｙＣ’を示すベクトルを変位ベクトルとし、該変位ベクトルを動きベクトル導出部３６４ｄに出力する。
動きベクトル導出部３６４ｄは、変位ベクトルから対応ブロックを特定し、対応ブロックの動きベクトルｍｖＬＸを取得する。動きベクトル導出部３６４ｄは、取得した動きベクトルｍｖＬＸのＸ成分ｍｖＬＸ［０］とＹ成分ｍｖＬＸ［１］を以下の式を用いてスケーリングする。
【０１２７】
ｍｖＬＸ‘［０］＝ｍｖＬＸ［０］  ×（ｐｉｃＷ／ｒｅｆＷ）
ｍｖＬＸ‘［１］＝ｍｖＬＸ［１］  ×（ｐｉｃＷ／ｒｅｆＷ）
動きベクトル導出部３６４ｄは、スケーリングした動きベクトルｍｖＬＸ‘を予測ベクトル選択部３６８に出力する。
動きベクトル導出部３６４ｄは、対応ブロックがイントラ符号化されていた場合には、ゼロベクトルを予測ベクトル選択部３６８に出力する。
【０１２８】
＜ＳＮＲスケーラブルの場合＞
変位ベクトル導出部３７１ｄは、対象ブロックの参照画像が対象画像と同一レイヤの場合には、ゼロベクトルである変位ベクトルを動きベクトル導出部３６４ｄに出力し、異なるレイヤの場合には、変位ベクトルを予測ベクトル選択部３６８に出力する。
【０１２９】
動きベクトル導出部３６４ｄは、変位ベクトルを受け取ると、符号化対象のピクチャに対応するベースレイヤのピクチャ内の、対象ブロックと同一座標である対応ブロックの動きベクトルＭｖをベクトルメモリ３０５から取得する。動きベクトル導出部３６４ｄは、取得した動きベクトルＭｖを予測ベクトル選択部３６８に出力する。
動きベクトル導出部３６４ｄは、対応ブロックがイントラ符号化されていた場合には、ゼロベクトルを予測ベクトル選択部３６８に出力する。
【０１３０】
追加候補ベクトル導出部３６２ｄは、追加候補ベクトルの導出処理を行った場合には、変位ベクトル、動きベクトルまたはゼロベクトルのいずれかを必ず出力する。そのため、第１候補は必ず追加候補ベクトルとなり、インデックスｉｄｘ＝０は常に追加候補ベクトルに対応する。
【０１３１】
空間候補ベクトル導出部３６６ａは、エントロピー復号部３０１からインデックスｉｄｘを受け取り、インデックスｉｄｘが追加候補ベクトルを示している場合（０の場合）には、何の処理も行わない。インデックスｉｄｘが追加候補ベクトルを示していない場合（１以上の場合）には、図１２の空間候補ベクトル導出部３６６ａと同様の処理を行い、導出した空間候補ベクトルを候補ベクトル削除部に３６９ｂに出力する。
【０１３２】
時間候補ベクトル導出部３６７ａは、エントロピー復号部３０１からインデックスｉｄｘを受け取り、インデックスが追加候補ベクトルを示している場合（０の場合）には、何の処理も行わない。インデックスｉｄｘが追加候補ベクトルを示していない場合（１以上の場合）には、図１２の時間候補ベクトル導出部３６７ａと同様の処理を行う。
【０１３３】
候補ベクトル削除部３６９ｂは、対象画像がベースレイヤであるか、拡張レイヤであるかに関わらず、空間候補ベクトル導出部３６６ａが導出した隣接ブロックから導出された候補ベクトル同士の一致確認を行う。一致確認は、予測フラグｐｒｅｄＦｌａｇＬ０、ｐｒｅｄＦｌａｇＬ１、参照ピクチャインデックスｒｅｆＩｄｘＬ０、ｒｅｆＩｄｘＬ１、ベクトルｍｖＬ０、ベクトルｍｖＬ０の一致を確認し、全てが一致する場合、もしくは、一部が一致する場合を、一致すると判定する。具体的には、第１空間候補ベクトルと第２空間候補ベクトルの一致確認を行う。すなわち、対象画像がベースレイヤである場合には、第１候補ベクトル（第１空間候補ベクトル）と第２候補ベクトル（第２空間候補ベクトル）の一致確認を行い、対象画像が拡張レイヤである場合には、第２候補ベクトル（第１空間候補ベクトル）と第３候補ベクトル（第２空間候補ベクトル）の一致確認を行う。
【０１３４】
候補ベクトル削除部３６９ｂは、２つの候補ベクトルが一致した場合には、予測ベクトル選択部３６８に対して、第１空間候補ベクトルを出力するとともに、第２空間ベクトルが無いことを通知する。候補ベクトル削除部３６９ｂは、２つの候補ベクトルが一致しなかった場合には、第１空間候補ベクトルおよび第２空間候補ベクトルを予測ベクトル選択部３６８に出力する。候補ベクトル削除部３６９ｂは、空間候補ベクトル導出部３６６ａから、どちらか、もしくは両方の候補ベクトルが無いことが通知された場合には、一致確認は行わず、同様の通知を予測ベクトル選択部３６８に対して行う。
【０１３５】
図２７は、画像符号化装置１００ｄの構成を示す概略ブロック図である。画像符号化装置１００ｄは、予測ベクトル生成部１１０に変えて予測ベクトル生成部１１０ｄを有する点と、入力される画像がレイヤ画像Ｔ’である点と、予測部１０７が動きベクトルＭｖと変位ベクトルＤｖ’とを減算部１０８およびベクトルメモリ１０９に入力する点とが、画像符号化装置１００とは異なる。なお、本実施形態では予測ベクトル生成部１１０ｄは、デプスマップを利用しないため、図２７の画像符号化装置１００ｄは、デプスマップ符号化部１２１、デプスマップメモリ１２２を具備していない。しかし、自由視点画像表示装置４００で復号デプスマップＤｄを用いる場合など、画像符号化装置１００ｄがデプスマップ符号化部１２１を有していてもよい。
【０１３６】
図２８は、予測ベクトル生成部１１０ｄの構成を示す概略ブロック図である。予測ベクトル生成部１１０ｄは、視差ベクトル導出部３６３に変えて変位ベクトル導出部３７１ｄを、動きベクトル導出部３６４に変えて動きベクトル導出部３６４ｄを有する点が、予測ベクトル生成部１１０ｂとは異なる。各部は、図２５と同様であるので、説明を省略する。
【０１３７】
以上の構成では、ビュースケーラブル以外のスケーラブル符号化において、対象画像が拡張レイヤの場合に、対応ブロックを特定し、該対応ブロックの動きベクトルを追加候補ベクトルとして、予測ベクトル生成に用いている。これにより、ビュースケーラブルの場合と同様に、良好な符号化効率を得ることができる。
【０１３８】
さらに、インデックスｉｄｘが追加候補ベクトルを示しているか否かに応じて、追加候補ベクトルを導出するか否かを選択することにより、不要な候補ベクトルの生成処理を省略することが可能となるため、予測ベクトル生成に係る処理量を削減することができる。
【０１３９】
そのうえ、隣接ブロックから導出された候補ベクトル同士の一致確認により冗長な候補ベクトルを削除することができるため、インデックスｉｄｘの符号量削減による、良好な符号化効率を得ることもできる。
また、本構成では、対象画像がベースレイヤであるか、拡張レイヤであるかに関わらず、隣接ブロックから導出された候補ベクトル同士のみで一致確認による候補ベクトル削除を行う。そのため、対象画像が拡張レイヤである場合に、追加候補ベクトルと、基本候補ベクトルの要素となる候補ベクトル（空間候補ベクトル）との一致確認を行う構成と比べ、処理量を削減することができる。
【０１４０】
具体的には、追加候補ベクトルと、基本候補ベクトルの要素との一致確認による候補の削除を行う場合、インデックスｉｄｘが基本候補ベクトルの要素を示す場合にも、候補の削除が行われたか否かをチェックするために、追加候補ベクトルの導出が必要になる。本構成では、基本候補ベクトルの要素を、一致確認対象から除外することにより、インデックスｉｄｘが基本候補ベクトルの要素を示す場合にも、追加候補ベクトルの導出は不要になる。
【０１４１】
［第６の実施形態］
以下、図面を参照して、本発明の第６の実施形態について説明する。第５の実施形態では、対象画像を細かいブロックに分割すればするほど、復号に係る処理量が大きくなる傾向がある。そこで、本実施形態の視差ベクトル導出部３６３ｅは、ブロックサイズに応じて、視差ベクトル取得で参照対象とするブロックを制限する。
【０１４２】
具体的には、本実施形態の視差ベクトル導出部３６３ｅは対象ブロックのサイズが所定のサイズ以下である場合に参照対象とするブロックの数が、対象ブロックのサイズが所定のサイズより大きい場合に参照するブロックの数よりも小さいことようにする。具体的には、ブロックサイズが小さい場合には隣接視差ベクトル取得部、時間視差ベクトル取得部で、ブロック対象が大きい場合に参照対象とするブロックのいずれかを参照対象としない。例えば、隣接視差ベクトル取得部は、ブロックサイズが大きい場合には、対象ブロックの左側に隣接するブロックＮＢａ０、ＮＢａ１、及び、対象ブロックの上側に隣接するブロックＮＢｂ０、ＮＢｂ１、ＮＢｂ２を参照対象とするが、ブロックサイズが小さい場合には、その一部、もしくは、全部を参照対象としない。全部のブロックを参照対象としない場合には、視差ベクトル導出部３６３ｅは隣接視差ベクトル取得部の動作を省略する。
【０１４３】
ここで、ブロックＮＢａ０、ＮＢａ１、ＮＢｂ０、ＮＢｂ１、ＮＢｂ２を定義する画素は、図４の符号Ａ０、Ａ１、Ｂ０、Ｂ１、Ｂ２に対応し、その座標（ｘＰａ０、ｙＰａ０）、（ｘＰａ１、ｙＰａ１）、（ｘＰｂ０、ｙＰｂ０）、（ｘＰｂ１、ｙＰｂ１）、（ｘＰｂ２、ｙＰｂ２）は以下の式で導出する。
ｘＰａ０＝ｘＰ−１
ｙＰａ０＝ｙＰ＋ｎＰＳＨ
ｘＰａ１＝ｘＰ−１
ｙＰａ１＝ｙＰ＋ｎＰＳＨ−１
ｘＰｂ０＝ｘＰ＋ｎＰＳＷ
ｙＰｂ０＝ｙＰ−１
ｘＰｂ１＝ｘＰ＋ｎＰＳＷ−１
ｙＰｂ１＝ｙＰ−１
ｘＰｂ２＝ｘＰ−１
ｙＰｂ２＝ｙＰ−１
【０１４４】
同様に、時間視差ベクトル取得部は、後述のように、ブロックサイズが大きい場合には、ブロックＲＢ、ブロックＣｅｎｔｅｒの２つのブロックを参照対象とするが、ブロックサイズが小さい場合には、その一部、もしくは、全部を参照対象としない。ブロックサイズが小さく、全部のブロックを参照対象としない場合には、視差ベクトル導出部３６３ｅは時間視差ベクトル取得部の動作を省略する。この場合、視差ベクトル導出部３６３ｅは、対象ブロックが属する画像の表示順序（ＰＯＣ）と異なる表示順序の画像のブロックの参照を行わない。すなわち、対象ブロックが属する画像のブロックのみを参照対象とする。このようにブロックサイズに応じて参照対象とするブロックの数を変更することにより、予測ベクトルの導出に係る処理量が削減され、延いてはブロックの復号に係る処理量を削減することが出来る。
【０１４５】
なお、本実施形態の視差ベクトル導出部３６３ｅは、後述の隣接視差ベクトル取得部と、後述の時間視差ベクトル取得部の一方を用いても良いし、組み合わせを用いても良い。すなわち、ブロックサイズに応じて、参照対象とする空間的に隣接するブロックの数のみを変更する構成、参照対象とする時間的に隣接するブロックの数を変更のみを変更する構成、参照対象とする空間的に隣接するブロックの数と時間的に隣接するブロックの数の両方を変更する構成のいずれの構成においても、予測ベクトルの導出に係る処理量を削減することができる。
【０１４６】
本実施形態における画像伝送システム１０ｅは、画像復号装置３００に変えて画像復号装置３００ｅを有し、画像符号化装置１００に変えて画像符号化装置１００ｅを有する。
【０１４７】
図２９は、画像復号装置３００ｅの構成を示す概略ブロック図である。画像復号装置３００ｅは、予測ベクトル生成部３０６に変えて予測ベクトル生成部３０６ｅを、エントロピー復号部３０１に変えてエントロピー復号部３０１ｅを有する点が、画像復号装置３００とは異なる。なお、本実施形態では予測ベクトル生成部３０６ｅは、復号デプスマップＤｄを利用しないため、図２９の画像復号装置３００ｅは、デプスマップ復号部３０９、デプスマップメモリ３１０を具備していない。しかし、自由視点画像表示装置４００で復号デプスマップＤｄを用いる場合など、画像復号装置３００ｅがデプスマップ復号部３０９を有していてもよい。
【０１４８】
エントロピー復号部３０１ｅは、符号化ストリームＴｅに対してエントロピー復号処理を行う。エントロピー復号部３０１との違いは、分離結果から、各ブロックサイズ（ここでは横幅と縦幅を示す情報であるｎＰＳＷ，ｎＰＳＨ）を導出する点である。エントロピー復号部３０１ｅは、ブロックの横幅ｎＰＳＷと縦幅ｎＰＳＨを予測ベクトル生成部３０６ｅに出力する。ここでブロックは、予測画像を生成する単位である予測ユニット（PredictionUnit、ＰＵ）とするが、１つ以上の予測ユニットから構成される符号化ユニット（Coding Unit、ＣＵ）でも良い。なお、符号化ユニットは、予測画像を生成する単位である予測ユニットと、予測残差を処理する単位である変換ブロック（TransformUnit、ＴＵ）の上位構造である単位である。符号化ユニットは符号化ブロック（Coding Block、ＣＢ）とも呼ばれる。
【０１４９】
ここで、ピクチャは、所定サイズの符号化ツリーユニット（Coding Tree Unit、ＣＴＵ）に分割され、符号化ツリーユニットは、４分木構造をもつＣＵに再帰的に分割される。ＣＵはさらにＰＵに分割される。符号化ツリーユニットを４つのＣＵに分割するか否か、ＣＵをさらに４つのＣＵに分割するか否かは、符号化ストリームＴｅに含まれるデータであるＣＵ分割フラグ（split_cu_flag）により定められ、ＣＵのＰＵへの分割方法は、符号化ストリームＴｅに含まれるデータであるＰＵ分割モード（part_mode）により定められる。
【０１５０】
従って、ブロックの横幅ｎＰＳＷと縦幅ｎＰＳＨは、符号化ストリームＴｅのデータとして直接符号化されているのではなく、符号化ツリーユニットのＣＵ分割フラグ、ＰＵ分割モードを符号化ストリームＴｅから復号することにより導出される。なお、ブロックのサイズは、ブロックの横幅ｎＰＳＷと縦幅ｎＰＳＨではなく、ＣＵのサイズ（ｎＣｂＳ）とＣＵのＰＵへの分割方法を示す分割モード（PartMode）の組み合わせで、処理しても構わない。なお、PartModeは、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎの値を有する。各々、ＣＵを１、２、２、４個に分割する。ＣＵサイズの幅と高さがnCbSであり、ＰＵ分割モードPartModeが２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎの場合のＰＵサイズは、各々、nCbS×nCbS、nCbS×nCbS /2、nCbS /2×nCbS、nCbS×nCbSとなる。
【０１５１】
予測ベクトル生成部３０６ｅは、ブロックの横幅と縦幅の和がＭ（例えば、Ｍ＝１２）画素を超えるときには、予測ベクトル生成部３０６と同様であるが、Ｍ画素以下であるときには、予測ベクトル生成部３０６と異なる動作をする。予測ベクトル生成部３０６ｅの詳細については、後述する。
【０１５２】
図３０は、予測ベクトル生成部３０６ｅの構成を示す概略ブロック図である。予測ベクトル生成部３０６ｅは、視差ベクトル導出部３６３に変えて視差ベクトル導出部３６３ｅを有する点が、予測ベクトル生成部３０６とは異なる。
【０１５３】
視差ベクトル導出部３６３ｅは、図示されていない隣接視差ベクトル取得部と、時間視差ベクトル取得部の一方、もしくは両者の動作が、第１の実施形態の「デプスマップを利用しない構成の視差ベクトルの生成」にて説明した視差ベクトル導出部３６３と異なる。
【０１５４】
本実施形態における隣接視差ベクトル取得部は、エントロピー復号部３０１ｅからブロックサイズを表すブロックの横幅ｎＰＳＷと縦幅ｎＰＳＨを受け取り、ブロックサイズに基づいて視差ベクトルの取得処理に用いる参照ブロックを変更する。本実施形態におけるブロックの最小サイズは８画素×４画素または４画素×８画素とすると、値Ｍに１２（＝８画素＋４画素）を設定すると、隣接視差ベクトル取得部は、ブロックのサイズが最小の時には処理を行わないようになる。このように最小サイズの場合に制限することは、最悪ケースの処理量を削減する場合に非常に有効である。また、ブロックサイズが８×８の場合の処理量もまた大きいため、Ｍ＝１６に設定することも適当である。なお、対象ブロックのサイズの大小判定は、ブロックの横幅ｎＰＳＷと縦幅ｎＰＳＨの和に限らず、横幅ｎＰＳＷと縦幅ｎＰＳＨの一方や、横幅ｎＰＳＷと縦幅ｎＰＳＨの積を用いることもできる。上記、ブロックサイズを判定する所定の定数、および、判定に用いるブロックサイズ（横幅と縦幅の和など）については、後述の隣接視差ベクトル取得部の判定でも同様である。
【０１５５】
本実施形態の隣接視差ベクトル取得部の第１の例では、ブロックサイズが所定の大きさ以下の場合、例えば、ブロックの横幅ｎＰＳＷと縦幅ｎＰＳＨの和が値Ｍ以下の場合には、隣接視差ベクトル取得部は、ブロックの左側に隣接するブロックの内、ブロックサイズが大きい場合の視差ベクトル取得におけるブロックの左側に隣接するブロックの参照のうち、最初に参照対象とするブロック（ここではブロックＮＢａ０）のみを参照し、それ以後に参照対象とするブロック（例えば、ＮＢａ１）は参照しない。同様に、ブロックサイズが所定の大きさ以下の場合、隣接視差ベクトル取得部は、対象ブロックの上側に隣接するブロックの内、ブロックサイズが大きい場合に、最初に参照対象とするブロック（ここではブロックＮＢｂ０）のみを参照対象とし、それ以後に参照対象とするブロック（例えば、ＮＢｂ１、ＮＢｂ２）は参照対象としない。ブロックサイズが所定の大きさよりも大きい場合には、隣接視差ベクトル取得部は、上記参照ブロック制限を行わず、全てのブロックを順に参照する。
【０１５６】
なお、本実施形態では、対象ブロックの左上座標（ｘＰ、ｙＰ）から見て、丁度左側に位置するブロックだけでなく、左下に位置するブロックＮＢａ１や、さらに左下に位置するブロックＮＢａ０も、対象ブロックの左側（左方向）に位置するブロックとして扱い、対象ブロックの左上座標（ｘＰ、ｙＰ）から見て、丁度上側に位置するブロックだけでなく、右上に位置するブロックＮＢｂ１や、さらに右上に位置するブロックＮＢｂ０、左上に位置するブロックＮＢｂ２も対象ブロックの上側（上方向）に位置するブロックとして扱う。
【０１５７】
ブロックサイズが小さい場合には、周囲に隣接する複数の参照ブロックは全て同じ予測パラメータ（動きベクトル、参照ピクチャインデックス）を有していることが多いため、複数の参照ブロックを参照する効果は小さい。ブロックサイズが小さい場合に、参照するブロックを減らすことにより符号化効率を低下させることなく、処理量を削減することができる。また、上記のように、ブロックサイズが大きな場合と、小さな場合において、同じ位置のブロックを参照対象（ブロックＮＢａ０、ブロックＮＢｂ０）とし、ブロックサイズが小さい場合において参照対象とするブロックを制限することも適当である。
【０１５８】
追加候補ベクトル導出部３６２ｅでは、視差ベクトル導出部３６３ｅで導出した視差ベクトルに基づいて、動きベクトル導出部３６４において動きベクトルを導出し、それを追加候補ベクトルとする。視差ベクトル導出部３６３ｅの結果を動きベクトル導出部３６４で利用するようなシリアルな依存関係のある処理は並列化できないことから、先の処理である視差ベクトル取得は、例えば、基本候補ベクトル導出部３６５の備える空間候補ベクトル導出部３６６に比べて特に高速である必要がある。すなわち、対象視点画像とは別の視点画像の動き情報を用いる追加候補ベクトル導出部３６２ｅ（インタービュー候補ベクトル導出部）では、ブロックサイズに応じて参照ブロックを変更することが適当である。
【０１５９】
さらに、本実施形態の別の形態としては、ブロックサイズに依存せず、空間候補ベクトル導出部３６６と、追加候補ベクトル導出部の備える隣接視差ベクトル取得部で参照対象とするブロックの数を変更しても良い。すなわち、対象ブロックに隣接するブロックのベクトルを取得する空間候補ベクトル導出部３６６で参照対象とするブロックの数おりも、追加候補ベクトル導出部の動きベクトル導出部３６４で用いられる対象ブロックに隣接するブロックの視差ベクトルを取得する隣接視差ベクトル取得部で参照対象とするブロックの数が小さいようにする予測ベクトル生成部３０６でも良い。
具体的には、空間候補ベクトル導出部３６６は、対象ブロックの左側に隣接するブロックＮＢａ０、ＮＢａ１、及び、対象ブロックの上側に隣接するブロックＮＢｂ０、ＮＢｂ１、ＮＢｂ２を参照対象とし、隣接視差ベクトル取得部は、対象ブロックの左側に隣接するブロックＮＢａ０、及び、対象ブロックの上側に隣接するブロックＮＢｂ０を参照対象とする。
【０１６０】
本実施形態の隣接視差ベクトル取得部の第２の例では、ブロックサイズが所定の大きさ以下の場合、例えば、ブロックの横幅ｎＰＳＷと縦幅ｎＰＳＨの和が値Ｍ以下の場合には、隣接視差ベクトル取得部は、ブロックの左側に隣接するブロックのみを参照し、対象ブロックの上側に隣接するブロックは参照しない。ブロックサイズが所定の大きさよりも大きい場合には、隣接視差ベクトル取得部は、上記参照ブロック制限を行わず、全てのブロックを順に参照する。
【０１６１】
本実施形態における時間視差ベクトル取得部は、エントロピー復号部３０１ｅからブロックサイズを受け取り、ブロックサイズに応じて、処理に用いる参照ブロックを変更する。以下、第１の例と第２の例を説明する。
本実施形態の時間視差ベクトル取得部の第１の例では、ブロックサイズが所定の大きさ以下の場合、例えば、ブロックの横幅ｎＰＳＷと縦幅ｎＰＳＨの和が値Ｍ以下の場合には、右下に隣接するブロックＲｂのみを参照し、対象ブロックの中心座標を含むブロックＣｅｎｔｅｒは参照しない。ブロックサイズが所定の大きさよりも大きい場合には、時間視差ベクトル取得部は、上記参照ブロック制限を行わず、対象ブロックの中心座標を含むブロックＣｅｎｔｅｒと、対象ブロックの右下に隣接するブロックＲＢの両者を以下の用に参照する。
【０１６２】
時間視差ベクトル取得部は、参照ピクチャインデックスｒｅｆＩｄｘＬＸの値が「０」の参照ピクチャ内の視差ベクトルの取得を試みる。時間視差ベクトル取得部は、該参照ピクチャ内の対象ブロックと同一座標のブロックの右下端に隣接するブロックＲＢと、該参照ピクチャ内の対象ブロックの中心座標を含むブロックＣｅｎｔｅｒの２つのブロックが視差ベクトルを有しているか否かを、ブロックＲＢ、ブロックＣｅｎｔｅｒの順に確認する。
【０１６３】
本例では、ブロックサイズが小さい場合には、時間視差ベクトル取得部は、参照する可能性のあるブロック（参照対象とするブロック）の内、最初に参照されるブロック（ここではブロックＲＢ）１個のみを参照し、それ以後に参照するブロック（例えば、ブロックＣｅｎｔｅｒ）は参照しない。ブロックサイズが所定の大きさよりも大きい場合には、上記２つのブロックを順に参照することにより、視差ベクトルの取得処理を簡略化する。
なお、本例では、ブロックサイズが小さい場合にブロックＲＢのみを参照し、ブロックサイズが大きい場合に、ブロックＲＢ、ブロックＣｅｎｔｅｒを参照する例を説明したが、この例に限らない。例えば、ブロックサイズが小さい場合に１個のブロックを参照し、ブロックサイズが大きい場合に２個以上のブロックを参照する構成を含む。例えば、ブロックサイズサイズが小さい場合には、ブロックＣｅｎｔｅｒ、ブロックサイズが大きい場合には、ブロックＲＢ、ブロックＣｅｎｔｅｒを順に参照する構成でも良い。また、対象ブロックと同一座標のブロックの右下端に隣接するブロックＲＢではなく、対象ブロックと同一座標のブロックの左に位置するブロックＬや、対象ブロックと同一座標のブロックの上に位置するブロックＵを用いても構わない。
【０１６４】
ここで、ブロックＣｅｎｔｅｒ、ブロックＲＢ、ブロックＬ、ブロックＵを定義する画素の座標（ｘＰｃ０、ｙＰｃ０）、（ｘＰｒｂ０、ｙＰｒｂ０）、（ｘＰｌ０、ｙＰｌ０）、（ｘＰｕ０、ｙＰｕ０）の座標は以下の式で導出する。
ｘＰｃ０＝ｘＰ＋（ｎＰＳＷ＞＞１）
ｙＰｃ０＝ｙＰ＋（ｎＰＳＨ＞＞１）
ｘＰｒｂ０＝ｘＰ＋ｎＰＳＷ
ｙＰｒｂ０＝ｙＰ＋ｎＰＳＨ
ｘＰｌ０＝ｘＰ−１
ｙＰｌ０＝ｙＰ
ｘＰｕ０＝ｘＰ
ｙＰｕ０＝ｙＰ−１
なお、（ｘＰ、ｙＰ）は、対象ブロックの左上端の画素の座標である。また、ブロックを定義する画素とは、該ブロックが含んでいなければならない画素のことである。例えば、ブロックＣｅｎｔｅｒは、座標（ｘＰｃ０、ｙＰｃ０）の画素を含んでいるブロックである。
【０１６５】
本実施形態の時間視差ベクトル取得部の第２の例では、ブロックサイズが所定の大きさ以下の場合、例えば、ブロックの横幅ｎＰＳＷと縦幅ｎＰＳＨの和が値Ｍ以下の場合には、時間視差ベクトル取得部は、時間的に別の表示順の参照ピクチャに含まれるブロックを参照しない。すなわち、時間視差ベクトル取得部の動作を省略する。ブロックサイズが所定の大きさよりも大きい場合にのみ、時間視差ベクトル取得部は、時間的に別の表示順の参照ピクチャに含まれるブロックの対象ブロックに対応する位置のブロックの視差ベクトルを取得する。例えば、対象ブロックの中心座標を含むブロックＣｅｎｔｅｒを参照する。
【０１６６】
また、ブロックサイズが所定の大きさよりも大きい場合は以下のように複数のブロックを参照しても良い。例えば、ブロックＲＢ、ブロックＣｅｎｔｅｒの順に視差ベクトルの参照を行う。参照したブロックが視差ベクトルを有している場合には、時間視差ベクトル取得部は、最初に有していることが確認されたブロックの視差ベクトルを動きベクトル導出部３６４に出力する。
視差ベクトルを有していない場合には、時間視差ベクトル取得部は、視差ベクトルが無い事を固有視差ベクトル導出部に通知する。  
【０１６７】
図３１は、画像符号化装置１００ｅの構成を示す概略ブロック図である。画像符号化装置１００ｅは、エントロピー符号化部１０３に変えてエントロピー符号化部１０３ｅを、予測部１０７に変えて予測部１０７ｅを、予測ベクトル生成部１１０に変えて予測ベクトル生成部１１０ｅを有する点が、画像符号化装置１００とは異なる。なお、本実施形態では予測ベクトル生成部１１０ｅは、復号デプスマップＤｄを利用しないため、図３１の画像符号化装置１００ｅは、デプスマップ符号化部１２１、デプスマップメモリ１２２を具備していない。しかし、自由視点画像表示装置４００で復号デプスマップＤｄを用いる場合など、画像符号化装置１００ｅがデプスマップ符号化部１２１を有していてもよい。
【０１６８】
エントロピー符号化部１０３ｅは、予測部１０７ｅが出力するブロックの横幅ｎＰＳＷと縦幅ｎＰＳＨもエントロピー符号化する点が、エントロピー符号化部１０３と異なる。
【０１６９】
予測部１０７ｅは、ブロックの横幅ｎＰＳＷと縦幅ｎＰＳＨを生成する点が予測部１０７と異なる。予測部１０７ｅは、ブロックの横幅ｎＰＳＷと縦幅ｎＰＳＨをエントロピー符号化部１０３ｅと予測ベクトル生成部１１０ｅに出力する。
【０１７０】
予測ベクトル生成部１１０ｅは、図３２に示すように、視差ベクトル導出部３６３に変えて視差ベクトル導出部３６３ｅを有する点のみが、予測ベクトル生成部１１０とは異なる。
【０１７１】
本実施形態では、ブロックのサイズ、例えば、横幅ｎＰＳＷと縦幅ｎＰＳＨに基づいて、隣接視差ベクトル取得部、時間視差ベクトル取得部が参照するブロックを判定している。これにより、追加候補ベクトル導出部３６２ｅの処理量が削減され、延いてはブロックの復号に係る処理量を削減することが出来る。
【０１７２】
また、以上の構成では、隣接視差ベクトル取得部、時間視差ベクトル取得部、において、ブロックの横幅ｎＰＳＷと縦幅ｎＰＳＨに基づいて参照するブロックを変更しているが、隣接視差ベクトル取得部、時間視差ベクトル取得部で参照する全てのブロックにおいて参照を省略しても良い。この場合、上記視差ベクトル取得部の処理を省略することができる。
【０１７３】
［第７の実施形態］
以下、図面を参照して、本発明の第７の実施形態について説明する。本実施形態では、第６の実施形態におけるブロックサイズ、例えば、ブロックの横幅ｎＰＳＷと縦幅ｎＰＳＨに基づく、参照ブロック決定をスケーラブル符号化に適用した場合について説明する。
【０１７４】
図３３は、画像復号装置３００ｆの構成を示す概略ブロック図である。画像復号装置３００ｆは、予測ベクトル生成部３０６ｅに変えて予測ベクトル生成部３０６ｆを有する点が、画像復号装置３００ｅとは異なる。なお、本実施形態では予測ベクトル生成部３０６ｆは、デプスマップを利用しない。
【０１７５】
予測ベクトル生成部３０６ｆは、図３４に示すように、視差ベクトル導出部３６３ｅに変えて変位ベクトル導出部３７１ｆを、動きベクトル導出部３６４に変えて動きベクトル導出部３６４ｄを有する点が、予測ベクトル生成部３０６ｅとは異なる。
【０１７６】
変位ベクトル導出部３７１ｆは、エントロピー復号部３０１ｅからブロックのサイズ（横幅ｎＰＳＷと縦幅ｎＰＳＨ）を受け取り、ブロックサイズが所定のサイズ以下の場合、例えば、ブロックの横幅ｎＰＳＷと縦幅ｎＰＳＨの和が値Ｍ以下の場合には、処理を行わず、視差ベクトル取得部３６２ｅで既に説明したように、内部の隣接変位ベクトル導出部（隣接視差ベクトル導出部と同じ動作）、時間変位ベクトル取得部（隣接変位ベクトル導出部と同じ動作）において、参照するブロックの数を、ブロックが所定のサイズより大きい場合よりも小さくする。
【０１７７】
図３５は、画像符号化装置１００ｆの構成を示す概略ブロック図である。画像符号化装置１００ｆは、予測ベクトル生成部１１０ｅに変えて予測ベクトル生成部１１０ｆを有する点が、画像符号化装置１００ｅとは異なる。なお、本実施形態では予測ベクトル生成部１１０ｆは、デプスマップを利用しない。
【０１７８】
予測ベクトル生成部１１０ｆは、図３６に示すように、視差ベクトル導出部３６３ｅに変えて変位ベクトル導出部３７１ｆを有し、動きベクトル導出部３６４に変えて動きベクトル導出部３６４ｄを有する点が、予測ベクトル生成部１１０とは異なる。
【０１７９】
以上の構成では、ビュースケーラブル以外のスケーラブル符号化において、ブロックの横幅ｎＰＳＷと縦幅ｎＰＳＨに基づいて、変位ベクトル導出部３７１ｆが選択するブロックを決定している。これにより、追加候補ベクトル導出部３６２ｆの処理量が削減され、延いてはブロックの復号に係る処理量を削減することが出来る。
【０１８０】
［各実施形態の変形例］
また、各実施形態における画像復号装置３００、３００ｘ、３００ａ、３００ｂ、３００ｃ、３００ｄ、３００ｅ、３００ｆ、画像符号化装置１００、１００ｂ、１００ｃ、１００ｄ、１００ｅ、１００ｆ各々の機能あるいはそれらの一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各装置を実現するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【０１８１】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【０１８２】
また、画像復号装置３００、３００ｘ、３００ａ、３００ｂ、３００ｃ、３００ｄ、３００ｅ、３００ｆ、画像符号化装置１００、１００ｂ、１００ｃ、１００ｄ、１００ｅ、１００ｆの一部、または全部を典型的には集積回路であるＬＳＩとして実現してもよい。各装置の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いることも可能である。
【０１８３】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【０１８４】
１０…画像伝送システム
１００、１００ｂ、１００ｃ、１００ｄ、１００ｅ、１００ｆ…画像符号化装置
１０１…減算部
１０２…ＤＣＴ変換・量子化部
１０３、１０３ｅ…エントロピー符号化部
１０４…逆量子化・逆ＤＣＴ変換部
１０５…加算部
１０６…参照画像メモリ
１０７、１０７ｅ…予測部
１０８…減算部
１０９…ベクトルメモリ
１１０、１１０ｂ、１１０ｄ、１１０ｅ…予測ベクトル生成部
１１６…予測ベクトル決定部
１２１…デプスマップ符号化部
１２２…デプスマップメモリ
２００…ネットワーク
３００、３００ｘ、３００ａ、３００ｂ、３００ｃ、３００ｄ、３００ｅ、３００ｆ…画像復号装置
３０１、３０１ｅ…エントロピー復号部
３０２…逆量子化・逆ＤＣＴ変換部
３０３、３０４…加算部
３０５…ベクトルメモリ
３０６、３０６a、３０６ｂ、３０６ｃ、３０６ｄ、３０６ｅ、３０６ｆ…予測ベクトル生成部
３０７…予測部
３０８…参照画像メモリ
３０９…デプスマップ復号部
３１０…デプスマップメモリ
３１１…デプスマップ生成部
３６１、３６１ａ、３６１ｄ、３６１ｅ、３６１ｆ…ベクトル予測候補導出部
３６２、３６２ａ、３６２ｃ、３６２ｄ、３６２ｅ…追加候補ベクトル導出部
３６３、３６３a、３６３ｅ…視差ベクトル導出部
３６４、３６４ｄ…動きベクトル導出部
３６５、３６５ａ、３６５ｃ…基本候補ベクトル導出部
３６６、３６６ａ…空間候補ベクトル導出部
３６７、３６７ａ…時間候補ベクトル導出部
３６８、３６８ａ…予測ベクトル選択部
３６９ｂ…候補ベクトル削除部
３７０ｃ…スケーリング部
３７１ｄ、３７１ｆ…変位ベクトル導出部
４００…自由視点画像表示装置
【図１】
2015173304.tif 000003
【図２】
2015173304.tif 000004
【図３】
2015173304.tif 000005
【図４】
2015173304.tif 000006
【図５】
2015173304.tif 000007
【図６】
2015173304.tif 000008
【図７】
2015173304.tif 000009
【図８】
2015173304.tif 000010
【図９】
2015173304.tif 000011
【図１０】
2015173304.tif 000012
【図１１】
2015173304.tif 000013
【図１２】
2015173304.tif 000014
【図１３】
2015173304.tif 000015
【図１４】
2015173304.tif 000016
【図１５】
2015173304.tif 000017
【図１６】
2015173304.tif 000018
【図１７】
2015173304.tif 000019
【図１８】
2015173304.tif 000020
【図１９】
2015173304.tif 000021
【図２０】
2015173304.tif 000022
【図２１】
2015173304.tif 000023
【図２２】
2015173304.tif 000024
【図２３】
2015173304.tif 000025
【図２４】
2015173304.tif 000026
【図２５】
2015173304.tif 000027
【図２６】
2015173304.tif 000028
【図２７】
2015173304.tif 000029
【図２８】
2015173304.tif 000030
【図２９】
2015173304.tif 000031
【図３０】
2015173304.tif 000032
【図３１】
2015173304.tif 000033
【図３２】
2015173304.tif 000034
【図３３】
2015173304.tif 000035
【図３４】
2015173304.tif 000036
【図３５】
2015173304.tif 000037
【図３６】
2015173304.tif 000038