(57)【要約】本技術は、多視点の３Ｄ画像の符号化効率を改善することができるようにする符号化装置および符号化方法、並びに、復号装置および復号方法に関する。多視点画像符号化部は、多重化画像を符号化する際に用いる符号化パラメータを、多重化画像のうちのカラー画像と奥行き画像とで共有するように設定する。多視点画像符号化部は、設定された符号化パラメータを用いて多重化画像を符号化する。本技術は、例えば、多視点の３Ｄ画像を符号化する符号化装置に適用することができる。
2012070500.tif 000002
【特許請求の範囲】
【請求項１】
多視点の３Ｄ画像のカラー画像と前記多視点の３Ｄ画像の奥行き画像とを符号化する際に用いる符号化パラメータを、前記カラー画像と前記奥行き画像とで共有するように設定する設定部と、
前記設定部により設定された前記符号化パラメータを用いて、前記多視点の３Ｄ画像のカラー画像と前記多視点の３Ｄ画像の奥行き画像とを符号化する符号化部と
を備える符号化装置。
【請求項２】
前記カラー画像の色差成分と前記奥行き画像を１画面の色差成分として多重化することにより、成分内多重化画像を生成する成分内多重化部と、
前記カラー画像の輝度成分を成分間多重化画像の輝度成分とし、前記成分内多重化画像を前記成分間多重化画像の色差成分とすることにより、前記成分間多重化画像を生成する成分間多重化部と
をさらに備え、
前記設定部は、前記符号化パラメータを、前記成分間多重化部により生成された前記成分間多重化画像の色差成分と輝度成分とで共有するように設定し、
前記符号化部は、前記設定部により設定された前記符号化パラメータを用いて、前記成分間多重化部により生成された前記成分間多重化画像を符号化する
請求項１に記載の符号化装置。
【請求項３】
前記カラー画像の輝度成分の解像度は、前記成分内多重化画像の解像度以上であり、多重化後の前記奥行き画像の解像度は、多重化後の前記カラー画像の色差成分の解像度以上である
請求項２に記載の符号化装置。
【請求項４】
前記カラー画像の輝度成分の各画素の位置が、前記成分内多重化画像の各画素の多重化前の位置に対応するように、前記カラー画像の輝度成分の各画素を並び替える画素配列部
をさらに備え、
前記成分間多重化部は、前記画素配列部により各画素が並び替えられた前記カラー画像の輝度成分を前記成分間多重化画像の輝度成分とし、前記成分内多重化画像を前記成分間多重化画像の色差成分とする
請求項３に記載の符号化装置。
【請求項５】
前記成分内多重化部は、前記カラー画像の色差成分を前記成分内多重化画像の半分の領域に配置し、前記奥行き画像を前記成分内多重化画像の他の半分の領域に配置することにより多重化を行い、
前記符号化部は、符号化された前記成分間多重化画像、前記成分内多重化画像内の前記カラー画像の色差成分の位置を表す位置情報、および前記成分内多重化画像を構成する前記カラー画像の色差成分の各画素の多重化前の位置を表す画素位置情報を出力する
請求項３に記載の符号化装置。
【請求項６】
前記色差成分の種類は２種類であり、
前記成分内多重化部は、前記カラー画像の２種類の前記色差成分のうちの一方の種類の色差成分と、前記奥行き画像の半分の領域の画像を１画面の一方の種類の色差成分として多重化することにより第１の成分内多重化画像を生成し、前記カラー画像の他方の種類の色差成分と、前記奥行き画像の他の半分の領域の画像を１画面の他方の種類の色差成分として多重化することにより第２の成分内多重化画像を生成し、
前記成分間多重化部は、前記カラー画像の輝度成分を前記成分間多重化画像の輝度成分とし、前記第１および第２の成分内多重化画像を前記成分間多重化画像の色差成分とすることにより、前記成分間多重化画像を生成する
請求項３に記載の符号化装置。
【請求項７】
前記色差成分の種類は２種類であり、
前記成分内多重化部は、前記カラー画像の２種類の前記色差成分のうちの一方の種類の色差成分と、前記奥行き画像を１画面の一方の種類の色差成分として多重化することにより第１の成分内多重化画像を生成し、前記カラー画像の他方の種類の色差成分と、前記奥行き画像を１画面の他方の種類の色差成分として多重化することにより第２の成分内多重化画像を生成し、
前記成分間多重化部は、前記カラー画像の輝度成分を前記成分間多重化画像の輝度成分とし、前記第１および第２の成分内多重化画像を前記成分間多重化画像の色差成分とすることにより、前記成分間多重化画像を生成する
請求項３に記載の符号化装置。
【請求項８】
前記成分内多重化画像の解像度は、多重化前の前記カラー画像の色差成分の解像度と同一である
請求項３に記載の符号化装置。
【請求項９】
前記カラー画像の色差成分および輝度成分、並びに、前記奥行き画像を、それぞれ、成分間多重化画像の色差成分、輝度成分、奥行き成分とすることにより、前記成分間多重化画像を生成する成分間多重化部
をさらに備え、
前記設定部は、前記符号化パラメータを、前記成分間多重化部により生成された前記成分間多重化画像の色差成分と奥行き成分とで共有するように設定し、
前記符号化部は、前記設定部により設定された前記符号化パラメータを用いて、前記成分間多重化部により生成された前記成分間多重化画像を符号化する
請求項１に記載の符号化装置。
【請求項１０】
前記設定部は、前記符号化パラメータを、前記成分間多重化画像の輝度成分と色差成分と奥行き成分とで共有するように設定し、
前記符号化部は、前記設定部により設定された前記符号化パラメータを用いて、前記成分間多重化部により生成された前記成分間多重化画像を符号化する
請求項９に記載の符号化装置。
【請求項１１】
前記符号化部による符号化の結果得られる前記多視点の３Ｄ画像のカラー画像の符号化ストリームと第１のタイプを表す情報から構成される第１のユニットと、前記符号化部による符号化の結果得られる前記多視点の３Ｄ画像の奥行き画像の符号化ストリームと前記第１のタイプとは異なる第２のタイプを表す情報から構成される第２のユニットとを生成する生成部
をさらに備える
請求項１に記載の符号化装置。
【請求項１２】
前記生成部により生成された前記第１のユニットと前記第２のユニットを伝送する伝送部
をさらに備え、
前記設定部は、前記符号化パラメータを、前記奥行き画像と解像度が同一である前記カラー画像の輝度成分または色差成分と前記奥行き画像とで共有するように設定し、
前記伝送部は、前記奥行き画像の解像度が前記カラー画像の輝度成分の解像度と同一であるか、または、色差成分の解像度と同一であるかを表す解像度情報も伝送する
請求項１１に記載の符号化装置。
【請求項１３】
前記符号化パラメータは、予測モードまたは動きベクトルである
請求項１に記載の符号化装置。
【請求項１４】
前記設定部により設定された前記符号化パラメータと前記符号化部による符号化の結果生成される符号化ストリームとを伝送する伝送部
をさらに備える
請求項１に記載の符号化装置。
【請求項１５】
前記伝送部は、前記設定部により設定された前記符号化パラメータを前記符号化ストリームのヘッダとして伝送する
請求項１４に記載の符号化装置。
【請求項１６】
符号化装置が、
多視点の３Ｄ画像のカラー画像と前記多視点の３Ｄ画像の奥行き画像とを符号化する際に用いる符号化パラメータを、前記カラー画像と前記奥行き画像とで共有するように設定する設定ステップと、
前記設定ステップの処理により設定された前記符号化パラメータを用いて、前記多視点の３Ｄ画像のカラー画像と前記多視点の３Ｄ画像の奥行き画像とを符号化する符号化ステップと
を含む符号化方法。
【請求項１７】
多視点の３Ｄ画像のカラー画像と前記多視点の３Ｄ画像の奥行き画像とで共有するように設定された、前記多視点の３Ｄ画像のカラー画像と前記多視点の３Ｄ画像の奥行き画像とを符号化する際に用いる符号化パラメータと、前記多視点の３Ｄ画像のカラー画像と前記多視点の３Ｄ画像の奥行き画像とが符号化された符号化ストリームとを受け取る受け取り部と、
前記受け取り部により受け取られた前記符号化パラメータを用いて、前記受け取り部により受け取られた前記符号化ストリームを復号する復号部と
を備える復号装置。
【請求項１８】
前記復号部による復号の結果得られる前記多視点の３Ｄ画像のカラー画像と前記多視点の３Ｄ画像の奥行き画像とを分離する分離部
をさらに備え、
前記符号化ストリームは、前記カラー画像の色差成分と前記奥行き画像を１画面の色差成分として多重化することにより生成された成分内多重化画像を成分間多重化画像の色差成分とし、前記カラー画像の輝度成分を前記成分間多重化画像の輝度成分とすることにより生成された前記成分間多重化画像が符号化されたものであり、
前記符号化パラメータは、前記成分間多重化画像の色差成分と輝度成分とで共有するように設定され、
前記分離部は、前記復号部による復号の結果得られる前記成分間多重化画像の輝度成分と色差成分を分離し、前記成分間多重化画像の色差成分から前記カラー画像の色差成分と前記奥行き画像を分離する
請求項１７に記載の復号装置。
【請求項１９】
前記カラー画像の輝度成分の解像度は、前記成分内多重化画像の解像度以上であり、多重化後の前記奥行き画像の解像度は、多重化後の前記カラー画像の色差成分の解像度以上である
請求項１８に記載の復号装置。
【請求項２０】
前記分離部により分離された前記成分間多重化画像の輝度成分の各画素を並び替える画素配列部
をさらに備え、
前記成分間多重化画像の輝度成分の各画素は、その各画素の位置が前記成分内多重化画像の各画素の多重化前の位置に対応するように並び替えられており、
前記分離部は、前記成分間多重化画像の輝度成分の各画素の位置が並び替えられる前の位置になるように、前記成分間多重化画像の輝度成分の各画素を並び替える
請求項１９に記載の復号装置。
【請求項２１】
前記カラー画像の色差成分は前記成分内多重化画像の半分の領域に配置され、
前記奥行き画像は前記成分内多重化画像の他の半分の領域に配置され、
前記受け取り部は、前記符号化パラメータ、前記符号化ストリーム、前記成分内多重化画像内の前記カラー画像の色差成分の位置を表す位置情報、および前記成分内多重化画像を構成する前記カラー画像の色差成分の各画素の多重化前の位置を表す画素位置情報を受け取る
請求項１９に記載の復号装置。
【請求項２２】
前記色差成分の種類は２種類であり、
前記成分間多重化画像の色差成分は、前記カラー画像の２種類の前記色差成分のうちの一方の種類の色差成分と、前記奥行き画像の半分の領域の画像とを１画面の一方の種類の色差成分として多重化することにより得られる第１の成分内多重化画像、および、前記カラー画像の他方の種類の色差成分と、前記奥行き画像の他の半分の領域の画像とを１画面の他方の種類の色差成分として多重化することにより得られる第２の成分内多重化画像である
請求項１９に記載の復号装置。
【請求項２３】
前記色差成分の種類は２種類であり、
前記成分間多重化画像の色差成分は、前記カラー画像の２種類の前記色差成分のうちの一方の種類の色差成分と、前記奥行き画像とを１画面の一方の種類の色差成分として多重化することにより得られる第１の成分内多重化画像、および、前記カラー画像の他方の種類の色差成分と、前記奥行き画像とを１画面の他方の種類の色差成分として多重化することにより得られる第２の成分内多重化画像である
請求項１９に記載の復号装置。
【請求項２４】
前記成分内多重化画像の解像度は、多重化前の前記カラー画像の色差成分の解像度と同一である
請求項１９に記載の復号装置。
【請求項２５】
前記復号部による復号の結果得られる前記多視点の３Ｄ画像のカラー画像と前記多視点の３Ｄ画像の奥行き画像とを分離する分離部
をさらに備え、
前記符号化ストリームは、前記カラー画像の色差成分および輝度成分、並びに、前記奥行き画像を、それぞれ、成分間多重化画像の色差成分、輝度成分、奥行き成分とすることにより生成される前記成分間多重化画像が符号化されたものであり、
前記符号化パラメータは、前記成分間多重化画像の色差成分と奥行き成分とで共有するように設定され、
前記分離部は、前記復号部による復号の結果得られる前記成分間多重化画像の輝度成分、色差成分、および奥行き成分を分離し、前記成分間多重化画像の輝度成分と色差成分を輝度成分と色差成分とした前記カラー画像と、前記成分間多重化画像の奥行き成分からなる前記奥行き画像を生成する
請求項１７に記載の復号装置。
【請求項２６】
前記符号化パラメータは、前記成分間多重化画像の輝度成分と色差成分と奥行き成分とで共有するように設定される
請求項２５に記載の復号装置。
【請求項２７】
前記受け取り部により受け取られた前記符号化ストリームから、前記多視点の３Ｄ画像のカラー画像の符号化ストリームと前記多視点の３Ｄ画像の奥行き画像の符号化ストリームを分離する分離部
をさらに備え、
前記受け取り部は、前記符号化パラメータと、前記多視点の３Ｄ画像のカラー画像の符号化ストリームと、第１のタイプを表す情報とから構成される第１のユニットと、前記多視点の３Ｄ画像の奥行き画像の符号化ストリームと前記第１のタイプとは異なる第２のタイプを表す情報とから構成される第２のユニットとを受け取り、
前記分離部は、前記第１のタイプを表す情報に基づいて前記第１のユニットを分離し、前記第２のタイプを表す情報に基づいて前記第２のユニットを分離し、
前記復号部は、前記符号化パラメータを用いて、前記分離部により分離された前記第１のユニットに含まれる前記多視点の３Ｄ画像のカラー画像の符号化ストリームを復号し、前記符号化パラメータを用いて、前記分離部により分離された前記第２のユニットに含まれる前記多視点の３Ｄ画像の奥行き画像の符号化ストリームを復号する
請求項１７に記載の復号装置。
【請求項２８】
前記受け取り部は、前記奥行き画像の解像度が前記カラー画像の輝度成分の解像度と同一であるか、または、色差成分の解像度と同一であるかを表す解像度情報も受け取り、
前記復号部は、前記受け取り部により受け取られた前記解像度情報に基づいて、前記奥行き画像と解像度が同一である前記カラー画像の輝度成分または色差成分の符号化パラメータを用いて、前記符号化ストリームのうちの前記多視点の３Ｄ画像の奥行き画像の符号化ストリームを復号する
請求項１７に記載の復号装置。
【請求項２９】
前記符号化パラメータは、予測モードまたは動きベクトルである
請求項１７に記載の復号装置。
【請求項３０】
前記受け取り部は、前記符号化パラメータを前記符号化ストリームのヘッダとして受け取る
請求項１７に記載の復号装置。
【請求項３１】
復号装置が、
多視点の３Ｄ画像のカラー画像と前記多視点の３Ｄ画像の奥行き画像とで共有するように設定された、前記多視点の３Ｄ画像のカラー画像と前記多視点の３Ｄ画像の奥行き画像とを符号化する際に用いる符号化パラメータと、前記多視点の３Ｄ画像のカラー画像と前記多視点の３Ｄ画像の奥行き画像とが符号化された符号化ストリームとを受け取る受け取りステップと、
前記受け取りステップの処理により受け取られた前記符号化パラメータを用いて、前記受け取りステップの処理により受け取られた前記符号化ストリームを復号する復号ステップと
を含む復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、符号化装置および符号化方法、並びに、復号装置および復号方法に関し、特に、多視点の３Ｄ画像の符号化効率を改善することができるようにした符号化装置および符号化方法、並びに、復号装置および復号方法に関する。
【背景技術】
【０００２】
近年、多視点のカラー画像と、そのカラー画像の視差を表す奥行き画像により構成される多視点の３Ｄ画像を符号化する方法として、カラー画像と奥行き画像を別々に符号化する方法が提案されている（例えば、特許文献１参照）。【０００３】
図１は、このような方法で多視点の３Ｄ画像を符号化し、復号する画像処理システムの構成の一例を示すブロック図である。【０００４】
図１の画像処理システム１０は、カラー画像符号化装置１１、奥行き画像符号化装置１２、多重化装置１３、分離装置１４、カラー画像復号装置１５、および奥行き画像復号装置１６により構成される。【０００５】
画像処理システム１０のカラー画像符号化装置１１は、画像処理システム１０に入力される多視点の３Ｄ画像のうちのカラー画像を、MVC（Multiview Video Coding）方式、AVC（Advanced Video Coding）方式等の符号化方式で符号化する。カラー画像符号化装置１１は、符号化の結果得られるビットストリームをカラー画像ビットストリームとして多重化装置１３に供給する。【０００６】
奥行き画像符号化装置１２は、画像処理システム１０に入力される多視点の３Ｄ画像のうちの奥行き画像を、MVC方式、AVC方式等の符号化方式で符号化する。奥行き画像符号化装置１２は、符号化の結果得られるビットストリームを奥行き画像ビットストリームとして多重化装置１３に供給する。【０００７】
多重化装置１３は、カラー画像符号化装置１１から供給されるカラー画像ビットストリームと、奥行き画像符号化装置１２から供給される奥行き画像ビットストリームとを多重化し、その結果得られる多重化ビットストリームを分離装置１４に供給する。【０００８】
分離装置１４は、多重化装置１３から供給される多重化ビットストリームを分離し、カラー画像ビットストリームと奥行き画像ビットストリームを得る。分離装置１４は、カラー画像ビットストリームをカラー画像復号装置１５に供給し、奥行き画像ビットストリームを奥行き画像復号装置１６に供給する。【０００９】
カラー画像復号装置１５は、分離装置１４から供給されるカラー画像ビットストリームをMVC方式、AVC方式等に対応する方式で復号し、その結果得られる多視点のカラー画像を出力する。【００１０】
奥行き画像復号装置１６は、分離装置１４から供給される奥行き画像ビットストリームをMVC方式、AVC方式等に対応する方式で復号し、その結果得られる多視点の奥行き画像を出力する。
【先行技術文献】
【非特許文献】
【００１１】
【非特許文献１】INTERNATIONAL ORGANISATION FOR STANDARDISATION ORGANISATION INTERNATIONALE DE NORMALISATION ISO/IEC JTC1/SC29/WG11 CODING OF MOVING PICTURES AND AUDIO,Guangzhou,China,October 2010
【発明の概要】
【発明が解決しようとする課題】
【００１２】
上述した方法では、カラー画像と奥行き画像が独立に符号化されるので、カラー画像と奥行き画像の間で動きベクトル等の符号化パラメータを共有化することができず、符号化効率が悪い。【００１３】
本技術は、このような状況に鑑みてなされたものであり、多視点の３Ｄ画像の符号化効率を改善することができるようにするものである。
【課題を解決するための手段】
【００１４】
本技術の第１の側面の符号化装置は、多視点の３Ｄ画像のカラー画像と前記多視点の３Ｄ画像の奥行き画像とを符号化する際に用いる符号化パラメータを、前記カラー画像と前記奥行き画像とで共有するように設定する設定部と、前記設定部により設定された前記符号化パラメータを用いて、前記多視点の３Ｄ画像のカラー画像と前記多視点の３Ｄ画像の奥行き画像とを符号化する符号化部とを備える符号化装置である。【００１５】
本技術の第１の側面の符号化方法は、本技術の第１の側面の符号化装置に対応する。【００１６】
本技術の第１の側面においては、多視点の３Ｄ画像のカラー画像と前記多視点の３Ｄ画像の奥行き画像とを符号化する際に用いる符号化パラメータが、前記カラー画像と前記奥行き画像とで共有するように設定され、前記符号化パラメータを用いて、前記多視点の３Ｄ画像のカラー画像と前記多視点の３Ｄ画像の奥行き画像とが符号化される。【００１７】
本技術の第２の側面の復号装置は、多視点のカラー画像と多視点の奥行き画像とで共有するように設定された、前記多視点の３Ｄ画像のカラー画像と前記多視点の３Ｄ画像の奥行き画像とを符号化する際に用いる符号化パラメータと、前記多視点の３Ｄ画像のカラー画像と前記多視点の３Ｄ画像の奥行き画像とが符号化された符号化ストリームとを受け取る受け取り部と、前記受け取り部により受け取られた前記符号化パラメータを用いて、前記受け取り部により受け取られた前記符号化ストリームを復号する復号部とを備える復号装置に対応する。【００１８】
本技術の第２の側面においては、多視点のカラー画像と多視点の奥行き画像とで共有するように設定された、前記多視点の３Ｄ画像のカラー画像と前記多視点の３Ｄ画像の奥行き画像とを符号化する際に用いる符号化パラメータと、前記多視点の３Ｄ画像のカラー画像と前記多視点の３Ｄ画像の奥行き画像とが符号化された符号化ストリームとが受け取られ、受け取られた前記符号化パラメータを用いて前記符号化ストリームが復号される。【００１９】
なお、第１の側面の符号化装置および第２の側面の復号装置は、コンピュータにプログラムを実行させることにより実現することができる。【００２０】
また、第１の側面の符号化装置および第２の側面の復号装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。【００２１】
さらに、第１の側面の符号化装置および第２の側面の復号装置は、それぞれ、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００２２】
本技術の第１の側面によれば、多視点の３Ｄ画像の符号化効率を改善することができる。【００２３】
また、本技術の第２の側面によれば、符号化効率が改善された符号化によって得られた多視点の３Ｄ画像の符号化データを復号することができる。
【図面の簡単な説明】
【００２４】
【図１】従来の画像処理システムの構成の一例を示すブロック図である。
【図２】本技術を適用した符号化装置の第１実施の形態の構成例を示すブロック図である。
【図３】図２の画像多重化部の構成例を示すブロック図である。
【図４】図３の画像多重化部による多重化処理の例を説明する概念図である。
【図５】YUV444の画像に対する多重化処理の例を説明する図である。
【図６】YUV422の画像に対する多重化処理の例を説明する図である。
【図７】YUV420の画像に対する多重化処理の例を説明する図である。
【図８】多重化情報の記述例を示す図である。
【図９】図４乃至図７で説明したように多重化処理が行われる場合の多重化情報の記述例を示す図である。
【図１０】図２の符号化装置による符号化処理を説明するフローチャートである。
【図１１】図１０の多重化処理の詳細を説明するフローチャートである。
【図１２】復号装置の構成例を示すブロック図である。
【図１３】図１２の画像分離部の構成例を示すブロック図である。
【図１４】図１２の復号装置による復号処理を説明するフローチャートである。
【図１５】図１４の分離処理の詳細を説明するフローチャートである。
【図１６】本技術を適用した符号化装置の第２実施の形態の構成例を示すブロック図である。
【図１７】図１６の画像多重化部の構成例を示すブロック図である。
【図１８】図１７の画面多重化部の多重化処理を説明する図である。
【図１９】符号化部の構成例を示すブロック図である。
【図２０】図１９の画面内予測部の構成例を示すブロック図である。
【図２１】図１９の動き補償部の構成例を示すブロック図である。
【図２２】図１９の可逆符号化部の構成例を示すブロック図である。
【図２３】最適予測モードが最適イントラ予測モードである場合の有意係数フラグを説明する図である。
【図２４】最適予測モードが最適インター予測モードである場合の有意係数フラグを説明する図である。
【図２５】係数に関するシンタックスの例を示す図である。
【図２６】係数に関するシンタックスの例を示す図である。
【図２７】係数に関するシンタックスの例を示す図である。
【図２８】係数に関するシンタックスの例を示す図である。
【図２９】図１６の符号化装置の符号化処理を説明するフローチャートである。
【図３０】図２９の多重化処理の詳細を説明するフローチャートである。
【図３１】図２９の多重化画像符号化処理の詳細を説明するフローチャートである。
【図３２】図２９の多重化画像符号化処理の詳細を説明するフローチャートである。
【図３３】図３１の画面内予測処理の詳細を説明するフローチャートである。
【図３４】図３１の動き補償処理の詳細を説明するフローチャートである。
【図３５】図３１の可逆符号化処理の詳細を説明するフローチャートである。
【図３６】図１６の符号化装置に対応する復号装置の構成例を示すブロック図である。
【図３７】復号部の構成例を示すブロック図である。
【図３８】図３７の可逆復号部の構成例を示すブロック図である。
【図３９】図３７の画面内予測部の構成例を示すブロック図である。
【図４０】図３７の動き補償部の構成例を示すブロック図である。
【図４１】図３６の画像分離部の構成例を示すブロック図である。
【図４２】図３６の復号装置による復号処理を説明するフローチャートである。
【図４３】図４２の多重化画像復号処理の詳細を説明するフローチャートである。
【図４４】図４３の可逆復号処理の詳細を説明するフローチャートである。
【図４５】図４２の分離処理を説明するフローチャートである。
【図４６】本技術を適用した符号化装置の第３実施の形態の構成例を示すブロック図である。
【図４７】図４６の符号化部の構成例を示すブロック図である。
【図４８】図４７の奥行き符号化部の構成例を示すブロック図である。
【図４９】図４６の生成部の構成例を示すブロック図である。
【図５０】多視点画像符号化ストリームの構成例を示す図である。
【図５１】タイプ情報の例を示す図である。
【図５２】奥行き画像用のSPSのシンタックスの例を示す図である。
【図５３】ノンベース画像のスライスヘッダのシンタックスの例を示す図である。
【図５４】奥行き画像のスライスヘッダのシンタックスの例を示す図である。
【図５５】符号化ストリームのシンタックスの例を示す図である。
【図５６】輝度方式有意係数情報のシンタックスの例を示す図である。
【図５７】色差方式有意係数情報のシンタックスの例を示す図である。
【図５８】図４６の符号化装置の符号化処理を説明するフローチャートである。
【図５９】奥行き画像符号化処理の詳細を説明するフローチャートである。
【図６０】奥行き画像符号化処理の詳細を説明するフローチャートである。
【図６１】図５８の生成処理の詳細を説明するフローチャートである。
【図６２】図４６の符号化装置に対応する復号装置の構成例を示すブロック図である。
【図６３】図６２の分離部の構成例を示すブロック図である。
【図６４】図６２の復号部の構成例を示すブロック図である。
【図６５】図６４の奥行き復号部の構成例を示すブロック図である。
【図６６】図６２の復号装置による復号処理を説明するフローチャートである。
【図６７】図６６の分離処理の詳細を説明するフローチャートである。
【図６８】奥行き復号処理の詳細を説明するフローチャートである。
【図６９】復号可能な多視点画像符号化ストリームを説明する図である。
【図７０】コンピュータの一実施の形態の構成例を示すブロック図である。
【図７１】本技術を適用したテレビジョン装置の構成例を示すブロック図である。
【図７２】本技術を適用した携帯電話機の構成例を示すブロック図である。
【図７３】本技術を適用した記録再生装置の構成例を示すブロック図である。
【図７４】本技術を適用した撮像装置の構成例を示すブロック図である。
【発明を実施するための形態】
【００２５】
＜第１実施の形態＞
［符号化装置の第１実施の形態の構成例］
図２は、本技術を適用した符号化装置の第１実施の形態の構成例を示すブロック図である。
【００２６】
図２の符号化装置２０は、多視点画像分離部２１、画像多重化部２２−１乃至２２−Ｎ（Ｎは多視点の３Ｄ画像の視点数、本実施の形態ではＮは３以上の整数）、および多視点画像符号化部２３により構成される。符号化装置２０は、多視点の３Ｄ画像を構成する多視点のカラー画像と奥行き画像を視点ごとに符号化する。
【００２７】
具体的には、符号化装置２０の多視点画像分離部２１は、符号化装置２０に入力される多視点のカラー画像と奥行き画像から構成される多視点の３Ｄ画像を分離し、各視点のカラー画像と奥行き画像を得る。
【００２８】
また、多視点画像分離部２１は、各視点のカラー画像と奥行き画像を、視点ごとに、画像多重化部２２−１乃至２２−Ｎに供給する。具体的には、多視点画像分離部２１は、１番目の視点である視点＃１のカラー画像と奥行き画像を画像多重化部２２−１に供給する。以降も同様にして、多視点画像分離部２１は、２番目乃至Ｎ番目の視点である視点＃２乃至視点＃Ｎのカラー画像と奥行き画像を、視点ごとに、それぞれ、画像多重化部２２−２乃至画像多重化部２２−Ｎに供給する。
【００２９】
画像多重化部２２−１乃至画像多重化部２２−Ｎは、それぞれ、多視点画像分離部２１から供給されるカラー画像と奥行き画像を１画面の画像に多重化する多重化処理を行う。そして、画像多重化部２２−１乃至画像多重化部２２−Ｎは、それぞれ、多重化処理の結果得られる各視点の１画面の画像である多重化画像と、その多重化処理に関する情報である多重化情報を多視点画像符号化部２３に供給する。
【００３０】
なお、以下では、画像多重化部２２−１乃至画像多重化部２２−Ｎを特に区別する必要がない場合、それらをまとめて画像多重化部２２という。
【００３１】
多視点画像符号化部２３は、画像多重化部２２から供給される各視点の多重化画像と多重化情報を、MVC方式、AVC方式等の符号化方式で符号化する。多視点画像符号化部２３は、伝送部として機能し、符号化の結果得られる視点ごとのビットストリームを多重化画像ビットストリームとして出力（伝送）する。なお、ビットストリームには、符号化に用いられた符号化パラメータがヘッダとして付加されている。
【００３２】
［画像多重化部の構成例］
図３は、図２の画像多重化部２２の構成例を示すブロック図である。
【００３３】
図３の画像多重化部２２は、コンポーネント分離処理部３１、縮小処理部３２、色差解像度変換処理部３３、画面合成処理部３４、画素配列処理部３５、およびコンポーネント合成処理部３６により構成される。なお、図３において、実線は画像を表し、点線は情報を表している。
【００３４】
画像多重化部２２のコンポーネント分離処理部３１は、図２の多視点画像分離部２１から供給される所定の視点のカラー画像のコンポーネントを分離し、カラー画像の輝度成分であるY成分、並びに、色差成分であるCb成分およびCr成分を得る。コンポーネント分離処理部３１は、カラー画像のY成分をY画像として画素配列処理部３５に供給する。また、コンポーネント分離処理部３１は、カラー画像のCb成分,Cr成分をCb画像，Cr画像として縮小処理部３２に供給する。
【００３５】
縮小処理部３２は、コンポーネント分離処理部３１から供給されるCb画像とCr画像の水平方向または垂直方向の解像度を1/2倍に縮小する。縮小処理部３２は、縮小後のCb画像とCr画像を画面合成処理部３４に供給する。また、縮小処理部３２は、縮小後のCb画像とCr画像の各画素の縮小前の位置が奇数番目の画素の位置であるか、偶数番目の画素の位置であるかを表す画素位置情報を、画素配列処理部３５に供給する。さらに、縮小処理部３２は、画素位置情報を多重化情報として図２の多視点画像符号化部２３に供給する。
【００３６】
色差解像度変換処理部３３は、図２の多視点画像分離部２１から供給される所定の視点の奥行き画像の解像度を、Cb画像およびCr画像の解像度と同一になるように変換する。なお、本実施の形態では、符号化装置２０に入力される奥行き画像はY画像と同一の解像度であるものとする。色差解像度変換処理部３３は、解像度変換後の奥行き画像を画面合成処理部３４に供給する。
【００３７】
画面合成処理部３４は、縮小処理部３２から供給される縮小後のCb画像およびCr画像、並びに、色差解像度変換処理部３３から供給される解像度変換後の奥行き画像を多重化する。具体的には、画面合成処理部３４は、解像度変換後の奥行き画像の半分の領域の画像と縮小後のCb画像とを合成し、その結果得られるCb画像と同一の解像度の1画面の合成画像をCb合成画像とする。また、画面合成処理部３４は、解像度変換後の奥行き画像の半分の領域の画像と縮小後のCr画像とを合成し、その結果得られるCr画像と同一の解像度の1画面の合成画像をCr合成画像とする。画面合成処理部３４は、Cb合成画像とCr合成画像をコンポーネント合成処理部３６に供給する。
【００３８】
また、画面合成処理部３４は、Cb合成画像内の縮小後のCb画像およびCr合成画像内の縮小後のCr画像の位置を表す画面位置情報と、多重化方式を表す多重化方式情報を画素配列処理部３５に供給する。なお、多重化方式としては、多重化対象の画像を画面の左半分の領域と右半分の領域に配置して合成するサイドバイサイド方式、多重化対象の画像を画面の上半分の領域と下半分の領域に配置して合成するオーバーアンダー方式などがある。さらに、画面合成処理部３４は、画面位置情報および多重化方式情報を多重化情報として図２の多視点画像符号化部２３に供給する。
【００３９】
画素配列処理部３５は、縮小処理部３２から供給される画素位置情報並びに画面合成処理部３４から供給される画面位置情報および多重化方式情報に基づいて、コンポーネント分離処理部３１から供給されるY画像の画素を並び替える。具体的には、画素配列処理部３５は、画素位置情報、画面位置情報、および多重化方式情報に基づいて、Y画像の各画素の位置が、Cb合成画像およびCr合成画像の各画素の解像度変換前の位置に対応するように、Y画像の各画素を並び替える。画素配列処理部３５は、並び替え後のY画像をコンポーネント合成処理部３６に供給する。
【００４０】
コンポーネント合成処理部３６は、画素配列処理部３５から供給される並び替え後のY画像、並びに、画面合成処理部３４から供給されるCb合成画像およびCr合成画像を、それぞれ、多重化画像のY成分、Cb成分、Cr成分として合成することにより、多重化画像を生成する。コンポーネント合成処理部３６は、多重化画像を図２の多視点画像符号化部２３に供給する。
【００４１】
［多重化の説明］
図４乃至図７は、図３の画像多重化部２２による多重化処理の例を説明する図である。
【００４２】
図４は、図３の画像多重化部２２による多重化処理の例を説明する概念図である。
【００４３】
なお、図４において、白色の四角形は偶数番目の画素のラインを表し、灰色の四角形は奇数番目の画素のラインを表している。
【００４４】
図４に示すように、コンポーネント分離処理部３１により得られたCb画像は、縮小処理部３２により、例えば奇数番目の画素のみが残され、水平方向の解像度が1/2倍に縮小される。一方、コンポーネント分離処理部３１により得られたCr画像は、縮小処理部３２により、例えば偶数番目の画素のみが残され、水平方向の解像度が1/2倍に縮小される。また、奥行き画像は、色差解像度変換処理部３３により、Cb画像およびCr画像と同一の解像度に変換される。
【００４５】
そして、画面合成処理部３４により、例えば、解像度変換後の奥行き画像の偶数番目の画素がCb合成画像の左半分の領域に配置され、縮小後の奇数番目の画素のみからなるCb画像がCb合成画像の右半分に配置されることにより、合成が行われる。また、画面合成処理部３４により、例えば、解像度変換後の奥行き画像の奇数番目の画素が、Cr合成画像の右半分に配置され、縮小後の偶数番目の画素のみからなるCr画像が左半分に配置されることにより、合成が行われる。
【００４６】
また、画素配列処理部３５により、縮小後のCr画像の各画素の縮小前の位置である偶数番目の画素の位置と、縮小後のCr画像が配置されるCr合成画像内の位置である左半分に基づいて、Y画像の偶数番目の画素が左半分に配置されるように、Y画像の画素が並び替えられる。さらに、画素配列処理部３５により、縮小後のCb画像の各画素の縮小前の位置である奇数番目の画素の位置と、縮小後のCb画像が配置されるCb合成画像内の位置である右半分に基づいて、Y画像の奇数番目の画素が右半分に配置されるように、Y画像の画素が並び替えられる。
【００４７】
そして、コンポーネント合成処理部３６により、並び替え後のY画像、Cb合成画像、およびCr合成画像がコンポーネントとして合成されることにより、多重化画像が生成される。
【００４８】
以上のようにして多重化が行われることにより、多重化画像の左半分には、カラー画像の偶数番目の画素のY成分およびCr成分、並びに、解像度変換後の奥行き画像の偶数番目の画素が配置され、右半分には、カラー画像の奇数番目の画素のY成分およびCb成分、並びに、解像度変換後の奥行き画像の奇数番目の画素が配置される。
【００４９】
図５は、各視点のカラー画像が、いわゆるYUV444の画像である場合の多重化処理の例を説明する図である。
【００５０】
なお、図５において、白色の丸、四角形、三角形、および六角形は、偶数番目の画素を表し、灰色の丸、四角形、三角形、および六角形は、奇数番目の画素を表している。このことは、後述する図６および図７においても同様である。
【００５１】
図５の例では、カラー画像がいわゆるYUV444の画像であるので、カラー画像のY成分、Cb成分、およびCr成分の解像度は全て同一である。
【００５２】
この場合、図５に示すように、カラー画像のCb画像は、図４で説明したように、例えば奇数番目の画素のみが残され、水平方向の解像度が1/2倍に縮小される。一方、カラー画像のCr画像は、例えば偶数番目の画素のみが残され、水平方向の解像度が1/2倍に縮小される。また、本実施の形態では、符号化装置２０に入力される奥行き画像の解像度は、Y画像の解像度と同一であるので、図５の場合、Cb画像およびCr画像と同一の解像度であり、奥行き画像の解像度は変換されない。
【００５３】
そして、図４で説明したように、例えば、解像度変換後の奥行き画像の偶数番目の画素がCb合成画像の左半分の領域に配置され、縮小後の奇数番目の画素のみからなるCb画像がCb合成画像の右半分に配置されることにより、合成が行われる。また、例えば、解像度変換後の奥行き画像の奇数番目の画素がCr合成画像の右半分の領域に配置され、縮小後の偶数番目の画素のみからなるCr画像がCr合成画像の左半分に配置されることにより、合成が行われる。
【００５４】
また、図４で説明したように、縮小後のCr画像の各画素の縮小前の位置である偶数番目の画素の位置と、縮小後のCr画像が配置されるCr合成画像内の位置である左半分に基づいて、Y画像の偶数番目の画素が左半分に配置されるように、Y画像の画素が並び替えられる。さらに、縮小後のCb画像の各画素の縮小前の位置である奇数番目の画素の位置と、縮小後のCb画像が配置されるCb合成画像内の位置である右半分に基づいて、Y画像の奇数番目の画素が右半分に配置されるように、Y画像の画素が並び替えられる。
【００５５】
そして、並び替え後のY画像、Cb合成画像、およびCr合成画像がコンポーネントとして合成されることにより、多重化画像が生成される。なお、並び替え後のY画像、Cb合成画像、およびCr合成画像の水平方向および垂直方向の解像度は同一であり、多重化画像は、いわゆるYUV444の画像である。
【００５６】
図６は、各視点のカラー画像が、いわゆるYUV422の画像である場合の多重化処理の例を説明する図である。
【００５７】
図６の例では、カラー画像がいわゆるYUV422の画像であるので、カラー画像のCb成分およびCr成分の水平方向の解像度は、Y成分の水平方向の解像度の1/2倍である。従って、奥行き画像の水平方向の解像度は、1/2倍に縮小される。
【００５８】
この場合の多重化は、Cb画像、Cr画像、および解像度変換後の奥行き画像の水平方向の解像度がY画像の水平方向の解像度の1/2倍であること以外、図５の場合と同一であるので、説明は省略する。なお、Cb合成画像およびCr合成画像の水平方向の解像度は、並び替え後のY画像の水平方向の解像度の1/2倍であり、多重化画像は、いわゆるYUV422の画像となる。
【００５９】
図７は、各視点のカラー画像が、いわゆるYUV420の画像である場合の多重化処理の例を説明する図である。
【００６０】
図７の例では、カラー画像がいわゆるYUV420の画像であるので、カラー画像のCb成分およびCr成分の水平方向および垂直方向の解像度は、それぞれ、Y成分の水平方向および垂直方向の解像度の1/2倍である。従って、奥行き画像の水平方向および垂直方向の解像度は、それぞれ1/2倍に縮小される。
【００６１】
この場合の多重化は、Cb画像、Cr画像、および解像度変換後の奥行き画像の水平方向および垂直方向の解像度が、それぞれ、Y画像の水平方向および垂直方向の解像度の1/2倍であること以外、図５の場合と同一であるので、説明は省略する。なお、Cb合成画像およびCr合成画像の水平方向の解像度は、並び替え後のY画像の水平方向および垂直方向の解像度のそれぞれ1/2倍であり、多重化画像は、いわゆるYUV420の画像となる。
【００６２】
なお、カラー画像が、いわゆるYUV420画像である場合、画像多重化部２２は、Cb画像およびCr画像の水平方向の解像度を1/2倍に縮小せず、Cb画像，Cr画像を画面の上半分に配置し、解像度変換後の奥行き画像を画面の下半分に配置して合成を行ってもよい。この場合、多重化画像は、いわゆるYUV422の画像となる。
【００６３】
また、カラー画像が、いわゆるYUV422画像やYUV420画像である場合、多重化画像のY成分の画素と、Cb成分，Cr成分の画素の位置の関係は、偶数番目の画素においてはY画像の画素と、Cb画像，Cr画像の画素の位置の関係と同一であるが、奇数番目の画素においては異なっている。従って、画像多重化部２２は、多重化画像のY成分の画素と、Cb成分，Cr成分の画素の位置の関係が、全ての画素において、Y画像の画素と、Cb画像，Cr画像の画素の位置の関係と同一になるように、多重化画像のY成分、Cb成分、およびCr成分の各画素の位置を補正するようにしてもよい。この場合、例えば、多重化画像の画素位置を補正したことを表すフラグが多重化情報に含まれて復号装置に送信され、復号装置は、そのフラグに応じて、多重化画像の画素位置を元に戻す。
【００６４】
［多重化情報の記述例］
図８および図９は、多重化画像および多重化情報がMVC方式またはAVC方式で符号化されるときの多重化情報の記述例を示す図である。
【００６５】
図８に示すように、多重化画像および多重化情報がMVC方式またはAVC方式で符号化される場合、例えば、多重化情報の記述用にSEI（Supplemental Enhancement Information）が設けられる。
【００６６】
多重化情報の記述用に設けられたSEIには、1ビットの多重化方式情報（packing_pattern）が記述される。多重化方式情報は、サイドバイサイド方式を表す場合0であり、オーバーアンダー方式を表す場合1である。
【００６７】
多重化情報の記述用に設けられたSEIにはまた、Y画像、Cb画像、およびCr画像のそれぞれに対する、1ビットの奥行き画像フラグ（depth_present_flag）、1ビットの画素位置情報（subsampling_position）、および1ビットの画面位置情報（packing_position）が記述される。奥行き画像フラグとは、奥行き画像が合成されているかどうかを表すフラグである。奥行き画像が合成されていない場合、奥行き画像フラグとして0が記述され、奥行き画像が合成されている場合、奥行き画像フラグとして1が記述される。
【００６８】
本実施の形態では、Y画像には奥行き画像が合成されないので、Y画像に対する奥行き画像フラグ（depth_present_flag_Y）として0が記述される。また、Cb画像およびCr画像には奥行き画像が合成されるので、Cb画像に対する奥行き画像フラグ（depth_present_flag_Cb）およびCr画像に対する奥行き画像フラグ（depth_present_flag_Cr）として1が記述される。
【００６９】
また、画素位置情報は、縮小後の各画素の縮小前の位置が偶数番目の画素の位置であることを表す場合0であり、奇数番目の画素の位置であることを表す場合1である。画面位置情報は、左半分または上半分の領域を表す場合0であり、右半分または下半分の領域を表す場合1である。
【００７０】
その結果、例えば、図４乃至図７で説明したように多重化処理が行われる場合、多重化情報の記述用に設けられたSEIは、図９に示すようになる。
【００７１】
具体的には、図４乃至図７で説明した多重化処理では、奥行き画像がCb合成画像の左半分の領域およびCr合成画像の右半分の領域に配置されるので、図９に示すように、多重化方式情報としてはサイドバイサイド方式を表す0が記述される。また、奥行き画像はY画像には合成されないので、Y画像に対する奥行き画像フラグ（depth_present_flag_Y）としては0が記述され、Y画像に対する画素位置情報（subsampling_position_Y）とY画像に対する画面位置情報（packing_position_Y）には何も記述されない。
【００７２】
また、奥行き画像はCb画像およびCr画像には合成されるので、Cb画像に対する奥行き画像フラグ（depth_present_flag_Cb）およびCr画像に対する奥行き画像フラグ（depth_present_flag_Cr）としては1が記述される。また、Cb画像は縮小時に奇数番目の画素が残され、Cb合成画像内の縮小後のCb画像の位置は右半分の領域であるので、Cb画像に対する画素位置情報（subsampling_position_Cb）およびCb画像に対する画面位置情報（packing_position_Cb）として1が記述される。
【００７３】
一方、Cr画像は縮小時に偶数番目の画素が残され、Cr合成画像内の縮小後のCr画像の位置は左半分の領域であるので、Cr画像に対する画素位置情報（subsampling_position_Cr）およびCr画像に対する画面位置情報（packing_position_Cr）として0が記述される。
【００７４】
［符号化装置の処理の説明］
図１０は、図２の符号化装置２０による符号化処理を説明するフローチャートである。この符号化処理は、例えば符号化装置２０に多視点の３Ｄ画像が入力されたとき、開始される。
【００７５】
図１０のステップＳ１１において、符号化装置２０の多視点画像分離部２１は、符号化装置２０に入力される多視点の３Ｄ画像を分離し、各視点のカラー画像と奥行き画像を得る。そして、多視点画像分離部２１は、各視点のカラー画像と奥行き画像を、視点ごとに、画像多重化部２２に供給する。
【００７６】
ステップＳ１２において、画像多重化部２２は、多重化処理を行う。この多重化処理の詳細は、後述する図１１を参照して説明する。画像多重化部２２は、多重化処理の結果得られる各視点の多重化画像と多重化情報を多視点画像符号化部２３に供給する。
【００７７】
ステップＳ１３において、多視点画像符号化部２３は、画像多重化部２２から供給される各視点の多重化画像と多重化情報を、MVC方式、AVC方式等の符号化方式で符号化する。
多視点画像符号化部２３は、その結果得られるビットストリームを多重化画像ビットストリームとして出力し、処理を終了する。
【００７８】
図１１は、図１０のステップＳ１２の多重化処理の詳細を説明するフローチャートである。
【００７９】
図１１のステップＳ３１において、画像多重化部２２のコンポーネント分離処理部３１（図３）は、図２の多視点画像分離部２１から供給される所定の視点のカラー画像のコンポーネントを分離し、カラー画像のY成分,Cb成分,Cr成分を得る。コンポーネント分離処理部３１は、カラー画像のY成分をY画像として画素配列処理部３５に供給する。また、コンポーネント分離処理部３１は、カラー画像のCb成分,Cr成分をCb画像，Cr画像として縮小処理部３２に供給する。
【００８０】
ステップＳ３２において、色差解像度変換処理部３３は、図２の多視点画像分離部２１から供給される所定の視点の奥行き画像の解像度を、Cb画像およびCr画像の解像度と同一になるように変換する。色差解像度変換処理部３３は、解像度変換後の奥行き画像を画面合成処理部３４に供給する。
【００８１】
ステップＳ３３において、縮小処理部３２は、コンポーネント分離処理部３１から供給されるCb画像とCr画像の水平方向または垂直方向の解像度を1/2倍に縮小する。縮小処理部３２は、縮小後のCb画像とCr画像を画面合成処理部３４に供給する。また、縮小処理部３２は、画素位置情報を画素配列処理部３５に供給するとともに、多重化情報として図２の多視点画像符号化部２３に供給する。
【００８２】
ステップＳ３４において、画面合成処理部３４は、縮小処理部３２から供給される縮小後のCb画像およびCr画像、並びに、色差解像度変換処理部３３から供給される解像度変換後の奥行き画像を多重化する。そして、画面合成処理部３４は、その結果得られるCb合成画像とCr合成画像をコンポーネント合成処理部３６に供給する。また、画面合成処理部３４は、画面位置情報および多重化方式情報を画素配列処理部３５に供給するとともに、多重化情報として図２の多視点画像符号化部２３に供給する。
【００８３】
ステップＳ３５において、画素配列処理部３５は、縮小処理部３２から供給される画素位置情報並びに画面合成処理部３４から供給される画面位置情報および多重化方式情報に基づいて、コンポーネント分離処理部３１から供給されるY画像の画素を並び替える。画素配列処理部３５は、並び替え後のY画像をコンポーネント合成処理部３６に供給する。
【００８４】
ステップＳ３６において、コンポーネント合成処理部３６は、画素配列処理部３５から供給される並び替え後のY画像、並びに、画面合成処理部３４から供給されるCb合成画像およびCr合成画像を、それぞれ、多重化画像のY成分、Cb成分、Cr成分として合成し、多重化画像を生成する。コンポーネント合成処理部３６は、生成された多重化画像を図２の多視点画像符号化部２３に供給する。そして、処理は図１０のステップＳ１２に戻り、処理はステップＳ１３に進む。
【００８５】
以上のように、符号化装置２０は、Cb画像，Cr画像と、奥行き画像とを１画面に多重化して符号化するので、カラー画像と奥行き画像の間で動きベクトル、CBP（Coded Block Pattern）、符号化モード等の符号化パラメータを共有化することができ、その結果、符号化効率が向上する。
【００８６】
具体的には、例えば、AVC方式等の符号化では、カラー画像のY成分とCb成分，Cr成分の動きベクトルには相関があるとして、Y成分の動きベクトルのみが検出され、その動きベクトルがY成分とCb成分，Cr成分とで共有されるように設定され、復号装置に送信される。従って、符号化装置２０が、AVC方式等の符号化を行う場合、多重化画像のY成分の動きベクトルのみを検出し、復号装置に送信するだけで済み、符号化効率が向上する。これに対して、従来のようにカラー画像と奥行き画像が別々に符号化される場合、カラー画像のY成分と奥行き画像の動きベクトルを検出し、復号装置に送信する必要がある。
【００８７】
また、多視点の３Ｄ画像が、静止画像、カメラに対して平行移動する物体の画像等の奥行き方向の位置が比較的変化しない画像である場合には、カラー画像と奥行き画像の動きベクトルの相関が強いため、符号化効率はより向上する。
【００８８】
さらに、符号化装置２０は、多重化画像とともに多重化情報も符号化するので、後述する復号装置において、多重化情報に基づいて、Cb画像，Cr画像と奥行き画像を正確に分離することができる。
【００８９】
なお、画像多重化部２２におけるCb画像，Cr画像、および奥行き画像の解像度の変換率は、Y画像の解像度がCb合成画像，Cr合成画像の解像度以上となり、Cb合成画像，Cr合成画像内の解像度変換後の奥行き画像の解像度が、縮小後のCb画像，Cr画像の解像度以上となるような変換率であれば、どのような変換率であってもよい。
【００９０】
［復号装置の構成例］
図１２は、図２の符号化装置２０により出力された多重化画像ビットストリームを復号する復号装置の構成例を示すブロック図である。
【００９１】
図１２の復号装置５０は、多視点画像復号部５１、画像分離部５２−１乃至５２−Ｎ、および多視点画像合成部５３により構成される。復号装置５０は、符号化装置２０により出力された多重化画像ビットストリームを視点ごとに復号する。
【００９２】
具体的には、復号装置５０の多視点画像復号部５１は、受け取り部として機能し、符号化装置２０から伝送されてくる多重化画像ビットストリームを受け取る。そして、多視点画像復号部５１は、多重化画像ビットストリームのヘッダとして付加されている符号化パラメータを用いて、多重化画像ビットストリームを視点ごとにMVC方式、AVC方式等に対応する方式で復号する。多視点画像復号部５１は、復号の結果得られる各視点の多重化画像および多重化情報を、それぞれ、画像分離部５２−１乃至５２−Ｎに供給する。具体的には、多視点画像復号部５１は、視点＃１の多重化画像および多重化情報を画像分離部５２−１に供給する。以降も同様にして、多視点画像復号部５１は、視点＃２乃至視点＃Ｎの多重化画像および多重化情報を、視点ごとに、それぞれ、画像分離部５２−２乃至５２−Ｎに供給する。
【００９３】
画像分離部５２−１乃至５２−Ｎは、それぞれ、多視点画像復号部５１から供給される多重化情報に基づいて多重化画像をカラー画像と奥行き画像に分離する分離処理を行う。そして、画像分離部５２−１乃至５２−Ｎは、それぞれ、分離処理の結果得られる各視点のカラー画像と奥行き画像を多視点画像合成部５３に供給する。
【００９４】
なお、以下では、画像分離部５２−１乃至５２−Ｎを特に区別する必要がない場合、それらをまとめて画像分離部５２という。
【００９５】
多視点画像合成部５３は、画像分離部５２から供給される各視点のカラー画像を合成し、多視点のカラー画像を生成する。また、多視点画像合成部５３は、画像分離部５２から供給される各視点の奥行き画像を合成し、多視点の奥行き画像を生成する。そして、多視点画像合成部５３は、多視点のカラー画像および多視点の奥行き画像を、多視点の３Ｄ画像として出力する。
【００９６】
［画像分離部の構成例］
図１３は、図１２の画像分離部５２の構成例を示すブロック図である。
【００９７】
図１３の画像分離部５２は、コンポーネント分離処理部６１、画面分離処理部６２、色差解像度逆変換処理部６３、拡大処理部６４、画素逆配列処理部６５、およびコンポーネント合成処理部６６により構成される。なお、図１３において、実線は画像を表し、点線は情報を表している。
【００９８】
画像分離部５２のコンポーネント分離処理部６１は、図１２の多視点画像復号部５１から供給される多重化画像のコンポーネントを分離し、多重化画像のY成分,Cb成分、およびCr成分を得る。コンポーネント分離処理部６１は、多重化画像のY成分である並び替え後のY画像を画素逆配列処理部６５に供給する。また、コンポーネント分離処理部６１は、多重化画像のCb成分であるCb合成画像と、多重化画像のCr成分であるCr合成画像を画面分離処理部６２に供給する。
【００９９】
画面分離処理部６２は、図１２の多視点画像復号部５１から供給される多重化情報のうちの画面位置情報と多重化方式情報に基づいて、コンポーネント分離処理部６１から供給されるCb合成画像から、縮小後のCb画像と解像度変換後の奥行き画像の半分の領域の画像を分離する。また、画面分離処理部６２は、画面位置情報と多重化方式情報に基づいて、コンポーネント分離処理部６１から供給されるCr合成画像から、縮小後のCr画像と解像度変換後の奥行き画像の半分の領域の画像を分離する。
【０１００】
例えば、図９に示したように、多重化方式情報がサイドバイサイド方式を表し、Cb画像に対する画面位置情報が1である場合、画面位置情報は右半分の領域を表している。従って、画面分離処理部６２は、Cb合成画像の左半分の領域を解像度変換後の奥行き画像の半分の領域の画像として分離し、右半分の領域を縮小後のCb画像として分離する。また、図９に示したように、多重化方式情報がサイドバイサイド方式を表し、Cr画像に対する画面位置情報が0である場合、画面位置情報は左半分の領域を表している。従って、画面分離処理部６２は、Cr合成画像の右半分の領域を解像度変換後の奥行き画像の半分の領域の画像として分離し、左半分の領域を縮小後のCr画像として分離する。
【０１０１】
また、画面分離処理部６２は、多重化情報のうちの画素位置情報に基づいて、分離された解像度変換後の奥行き画像の半分の領域の画像どうしを合成する。
【０１０２】
例えば、図９に示したように、Cb画像に対する画素位置情報が、縮小後のCb画像の各画素の縮小前の位置が奇数番目の画素の位置であることを表す場合、画面分離処理部６２は、Cb合成画像から分離された解像度変換後の奥行き画像の半分の領域の画像の各画素を、解像度変換後の奥行き画像の偶数番目の画素として配置する。また、Cr画像に対する画素位置情報が、縮小後のCr画像の各画素の縮小前の位置が偶数番目の画素の位置であることを表す場合、画面分離処理部６２は、Cr合成画像から分離された解像度変換後の奥行き画像の半分の領域の画像の各画素を、解像度変換後の奥行き画像の奇数番目の画素として配置する。これにより、解像度変換後の奥行き画像が生成される。
【０１０３】
画面分離処理部６２は、生成された解像度変換後の奥行き画像を色差解像度逆変換処理部６３に供給する。また、画面分離処理部６２は、分離された縮小後のCb画像とCr画像を拡大処理部６４に供給する。
【０１０４】
なお、解像度変換後の奥行き画像の全領域の画像が、Cb合成画像およびCr合成画像内に配置される場合、例えば、上述したような、カラー画像がYUV420の画像であり、多重化画像がYUV422の画像である場合には、画面分離処理部６２は、Cb合成画像およびCr合成画像から分離された解像度変換後の奥行き画像のうちの一方を色差解像度逆変換処理部６３に供給する。
【０１０５】
色差解像度逆変換処理部６３は、画面分離処理部６２から供給される解像度変換後の奥行き画像の解像度を、符号化前の奥行き画像の解像度、即ちY画像の解像度と同一の解像度になるように変換する。例えば、カラー画像が、いわゆるYUV420画像である場合、色差解像度逆変換処理部６３は、解像度変換後の奥行き画像の水平方向および垂直方向の解像度をそれぞれ2倍に拡大する。色差解像度逆変換処理部６３は、解像度変換の結果、解像度が符号化前の解像度に戻された奥行き画像を、図１２の多視点画像合成部５３に供給する。
【０１０６】
拡大処理部６４は、図１２の多視点画像復号部５１から供給される多重化情報のうちの画素位置情報に基づいて、画面分離処理部６２から供給される縮小後のCb画像とCr画像を拡大する。
【０１０７】
例えば、図９に示したように、Cb画像に対する画素位置情報が、縮小後のCb画像の各画素の縮小前の位置が奇数番目の画素の位置であることを表す場合、拡大処理部６４は、縮小後のCb画像の各画素が拡大後のCb画像の奇数番目の画素であるとして補間等を行うことにより、水平方向または垂直方向の解像度を2倍に拡大する。また、図９に示したように、Cr画像に対する画素位置情報が、縮小後のCr画像の各画素の縮小前の位置が偶数番目の画素の位置であることを表す場合、拡大処理部６４は、縮小後のCr画像の各画素が拡大後のCr画像の偶数番目の画素であるとして補間等を行うことにより、水平方向または垂直方向の解像度を2倍に拡大する。拡大処理部６４は、拡大の結果得られるCb画像とCr画像をコンポーネント合成処理部６６に供給する。
【０１０８】
画素逆配列処理部６５は、画素配列部として機能し、図１２の多視点画像復号部５１から供給される多重化情報に基づいて、コンポーネント分離処理部６１から供給される並び替え後のY画像の各画素の位置を元に戻す。
【０１０９】
例えば、図９に示したように、多重化方式情報がサイドバイサイド方式を表し、Cb画像に対する画面位置情報が1である場合、画面位置情報は右半分の領域を表している。従って、図９に示したように、Cb画像に対する画素位置情報が、縮小後のCb画像の各画素の縮小前の位置が奇数番目の画素の位置であることを表す場合、画素逆配列処理部６５は、並び替え後のY画像の右半分の領域の画素を、元のY画像の奇数番目の画素として並び替える。
【０１１０】
また、図９に示したように、多重化方式情報がサイドバイサイド方式を表し、Cr画像に対する画面位置情報が0である場合、画面位置情報は左半分の領域を表している。従って、図９に示したように、Cr画像に対する画素位置情報が、縮小後のCr画像の各画素の縮小前の位置が偶数番目の画素の位置であることを表す場合、画素逆配列処理部６５は、並び替え後のY画像の左半分の領域の画素を、元のY画像の偶数番目の画素として並び替える。以上により、並び替え後のY画像の各画素の位置は、並び替え前のY画像の各画素の位置に戻る。画素逆配列処理部６５は、各画素の位置が元に戻されたY画像をコンポーネント合成処理部６６に供給する。
【０１１１】
コンポーネント合成処理部６６は、画素逆配列処理部６５から供給されるY画像並びに拡大処理部６４から供給されるCb画像およびCr画像を、それぞれ、カラー画像のY成分、Cb成分、Cr成分として合成し、カラー画像を得る。コンポーネント合成処理部６６は、得られたカラー画像を図１２の多視点画像合成部５３に供給する。
【０１１２】
［復号装置の処理の説明］
図１４は、図１２の復号装置５０による復号処理を説明するフローチャートである。この復号処理は、例えば、図２の符号化装置２０から多重化画像ビットストリームが入力されたとき、開始される。
【０１１３】
図１４のステップＳ５１において、復号装置５０の多視点画像復号部５１は、符号化装置２０から入力された多重化画像ビットストリームを、視点ごとに、MVC方式、AVC方式等に対応する方式で復号する。多視点画像復号部５１は、復号の結果得られる各視点の多重化画像および多重化情報を、それぞれ、画像分離部５２−１乃至５２−Ｎに供給する。
【０１１４】
ステップＳ５２において、画像分離部５２は、多視点画像復号部５１から供給される多重化情報に基づいて多重化画像をカラー画像と奥行き画像に分離する分離処理を行う。この分離処理の詳細は、後述する図１５を参照して説明する。画像分離部５２は、分離処理の結果得られるカラー画像と奥行き画像を多視点画像合成部５３に供給する。
【０１１５】
ステップＳ５３において、多視点画像合成部５３は、画像分離部５２から供給される各視点のカラー画像を合成し、画像分離部５２から供給される各視点の奥行き画像を合成する。
【０１１６】
ステップＳ５４において、多視点画像合成部５３は、合成の結果得られる多視点のカラー画像と多視点の奥行き画像を多視点の３Ｄ画像として出力し、処理を終了する。
【０１１７】
図１５は、図１４のステップＳ５２の分離処理の詳細を説明するフローチャートである。
【０１１８】
図１５のステップＳ７１において、画像分離部５２のコンポーネント分離処理部６１は、図１２の多視点画像復号部５１から供給される多重化画像のコンポーネントを分離し、多重化画像のY成分,Cb成分、およびCr成分を得る。コンポーネント分離処理部６１は、多重化画像のY成分である並び替え後のY画像を画素逆配列処理部６５に供給する。また、コンポーネント分離処理部６１は、多重化画像のCb成分であるCb合成画像と、多重化画像のCr成分であるCr合成画像を画面分離処理部６２に供給する。
【０１１９】
ステップＳ７２において、画面分離処理部６２は、図１２の多視点画像復号部５１から供給される多重化情報のうちの画面位置情報と多重化方式情報に基づいて、コンポーネント分離処理部６１から供給されるCb合成画像とCr合成画像を分離する。画面分離処理部６２は、Cb合成画像を分離した結果得られる縮小後のCb画像と、Cr合成画像を分離した結果得られるCr画像を拡大処理部６４に供給する。
【０１２０】
ステップＳ７３において、画面分離処理部６２は、画素位置情報に基づいて、Cb合成画像を分離した結果得られる解像度変換後の奥行き画像の半分の領域の画像と、Cr合成画像を分離した結果得られる解像度変換後の奥行き画像の半分の領域の画像を合成する。これにより、解像度変換後の奥行き画像が生成される。画面分離処理部６２は、生成された解像度変換後の奥行き画像を色差解像度逆変換処理部６３に供給する。
【０１２１】
ステップＳ７４において、画素逆配列処理部６５は、図１２の多視点画像復号部５１から供給される多重化情報に基づいて、コンポーネント分離処理部６１から供給される並び替え後のY画像の各画素の位置を元に戻す。画素逆配列処理部６５は、各画素の位置が元に戻されたY画像をコンポーネント合成処理部６６に供給する。
【０１２２】
ステップＳ７５において、拡大処理部６４は、図１２の多視点画像復号部５１から供給される多重化情報のうちの画素位置情報に基づいて、画面分離処理部６２から供給される縮小後のCb画像とCr画像を拡大する。拡大処理部６４は、拡大の結果得られるCb画像とCr画像をコンポーネント合成処理部６６に供給する。
【０１２３】
ステップＳ７６において、色差解像度逆変換処理部６３は、画面分離処理部６２から供給される解像度変換後の奥行き画像の解像度を、符号化前の奥行き画像の解像度、即ちY画像の解像度と同一の解像度になるように変換する。色差解像度逆変換処理部６３は、解像度変換の結果、解像度が符号化前の解像度に戻された奥行き画像を、図１２の多視点画像合成部５３に供給する。
【０１２４】
ステップＳ７７において、コンポーネント合成処理部６６は、画素逆配列処理部６５から供給されるY画像並びに拡大処理部６４から供給されるCb画像およびCr画像を、それぞれ、カラー画像のY成分、Cb成分、Cr成分として合成し、カラー画像を得る。コンポーネント合成処理部６６は、得られたカラー画像を図１２の多視点画像合成部５３に供給する。そして、処理は図１４のステップＳ５２に戻り、処理はステップＳ５３に進む。
【０１２５】
以上のように、復号装置５０は、Cb画像，Cr画像と、奥行き画像とを１画面に多重化して符号化することにより、符号化効率を改善する符号化によって得られた多重化画像ビットストリームを復号することができる。また、多重化画像ビットストリームにおいて、Cb画像，Cr画像と、奥行き画像とが１画面に多重化されて符号化されているので、復号装置５０は、多視点の３Ｄ画像を復号するために１つの多視点画像復号部５１を備えればよい。
【０１２６】
これに対して、カラー画像と奥行き画像を別々に符号化する従来の画像処理システム１０では、カラー画像を復号するためのカラー画像復号装置１５と、奥行き画像を復号するための奥行き画像復号装置１６の２つの復号装置を設ける必要がある。復号されたカラー画像と奥行き画像は、表示等において同時に用いられることが多いため、１つの復号装置でカラー画像と奥行き画像の両方を別々に復号することは困難である。
【０１２７】
なお、本実施の形態では、奥行き画像は、Cb画像およびCr画像に多重化されたが、奥行き画像は、Y画像，Cb画像、およびCr画像のいずれに多重化されてもよい。
【０１２８】
＜第２実施の形態＞
［符号化装置の構成例］
図１６は、本技術を適用した符号化装置の第２実施の形態の構成例を示すブロック図である。
【０１２９】
図１６に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１３０】
図１６の符号化装置８０の構成は、画像多重化部２２−１乃至２２−Ｎ、多視点画像符号化部２３の代わりに、画像多重化部８１−１乃至８１−Ｎ（Ｎは多視点の３Ｄ画像の視点数、本実施の形態ではＮは３以上の整数）、多視点画像符号化部８２が設けられている点が図２の構成と異なる。符号化装置８０は、カラー画像の輝度成分および色差成分、並びに、奥行き画像を、それぞれ、多重化画像の成分として、符号化する。
【０１３１】
具体的には、符号化装置８０の画像多重化部８１−１乃至画像多重化部８１−Ｎは、それぞれ、多視点画像分離部２１からの奥行き画像を解像度変換する。そして、画像多重化部８１−１乃至画像多重化部８１−Ｎは、それぞれ、多視点画像分離部２１からのカラー画像の輝度成分および色差成分並びに解像度変換された奥行き画像を、多重化画像の各成分とすることにより多重化処理を行う。画像多重化部８１−１乃至画像多重化部８１−Ｎは、それぞれ、多重化処理の結果得られる多重化画像を多視点画像符号化部８２に供給する。
【０１３２】
なお、以下では、画像多重化部８１−１乃至画像多重化部８１−Ｎを特に区別する必要がない場合、それらをまとめて画像多重化部８１という。
【０１３３】
多視点画像符号化部８２は、画像多重化部８１から供給される各視点の多重化画像を、HEVC（High Efficiency Video Coding）方式等に準じた符号化方式で符号化する。多視点画像符号化部８２は、その結果得られる視点ごとの符号化ストリーム（ビットストリーム）を、多重化画像符号化ストリームとして出力する。
【０１３４】
なお、HEVC方式については、2011年8月現在、Draftとして、Thomas Wiegand,Woo-jin Han,Benjamin Bross,Jens-Rainer Ohm,GaryJ.Sullivian,"WD3:Working Draft3 of High-Efficiency Video Coding",JCTVC-E603_d5(version5),2011年5月20日が発行されている。
【０１３５】
［画像多重化部の構成例］
図１７は、図１６の画像多重化部８１の構成例を示すブロック図である。
【０１３６】
図１７の画像多重化部８１は、解像度変換処理部１０１とコンポーネント合成処理部１０２により構成される。
【０１３７】
画像多重化部８１の解像度変換処理部１０１は、図１６の多視点画像分離部２１から供給される所定の視点の奥行き画像の解像度を、カラー画像のCb成分およびCr成分の解像度と同一になるように変換する。解像度変換処理部１０１は、解像度変換後の奥行き画像をコンポーネント合成処理部１０２に供給する。
【０１３８】
コンポーネント合成処理部１０２は、多視点画像分離部２１からの所定の視点のカラー画像の輝度成分および色差成分、並びに、解像度変換処理部１０１からの解像度変換後の奥行き画像を、それぞれ、多重化画像の輝度成分、色差成分、奥行き成分として合成することにより、多重化画像を生成する。コンポーネント合成処理部１０２は、多重化画像を図２の多視点画像符号化部８２に供給する。
【０１３９】
［画面多重化部の処理の説明］
図１８は、図１７の画面多重化部８１の多重化処理を説明する図である。
【０１４０】
なお、図１８の例では、符号化装置８０に入力される奥行き画像はY画像と同一の解像度であるものとする。
【０１４１】
図１８に示すように、画面多重化部８１は、図１６の多視点画像分離部２１から供給される所定の視点のカラー画像のY成分を、多重化画像のY成分とする。また、画像多重化部８１は、所定の視点のカラー画像のCb成分を多重化画像のCb成分とし、Cr成分を多重化画像のCr成分とする。さらに、画像多重化部８１は、奥行き画像の解像度をカラー画像のCb成分およびCr成分の解像度と同一に変換し、解像度変換後の奥行き画像を多重化画像の奥行き成分（Depth成分）とする。
【０１４２】
［多視点画像符号化部の構成例］
図１９は、図１６の多視点画像符号化部８２のうちの任意の１視点の多重化画像を符号化する符号化部の構成例を示すブロック図である。即ち、多視点画像符号化部８２は、Ｎ個の図１９の符号化部１２０により構成される。
【０１４３】
図１９の符号化部１２０は、A/D変換部１２１、画面並べ替えバッファ１２２、演算部１２３、直交変換部１２４、量子化部１２５、可逆符号化部１２６、蓄積バッファ１２７、逆量子化部１２８、逆直交変換部１２９、加算部１３０、デブロックフィルタ１３１、フレームメモリ１３２、画面内予測部１３３、動き補償部１３４、動き予測部１３５、選択部１３６、およびレート制御部１３７により構成される。
【０１４４】
符号化部１２０のA/D変換部１２１は、図１６の画像多重化部８１から供給される所定の視点のフレーム単位の多重化画像をA/D変換し、画面並べ替えバッファ１２２に出力して記憶させる。画面並べ替えバッファ１２２は、記憶した表示の順番のフレーム単位の多重化画像を、GOP（Group of Picture）構造に応じて、符号化のための順番に並べ替え、演算部１２３、画面内予測部１３３、および動き予測部１３５に出力する。
【０１４５】
演算部１２３は、符号化部として機能し、選択部１３６から供給される予測画像と、画面並べ替えバッファ１２２から出力された符号化対象の多重化画像の差分を演算することにより、符号化対象の多重化画像を符号化する。具体的には、演算部１２３は、画面並べ替えバッファ１２２から出力された符号化対象の多重化画像から、選択部１３６から供給される予測画像を減算する。演算部１２３は、減算の結果得られる画像を、残差情報として直交変換部１２４に出力する。なお、選択部１３６から予測画像が供給されない場合、演算部１２３は、画面並べ替えバッファ１２２から読み出された画像をそのまま残差情報として直交変換部１２４に出力する。
【０１４６】
直交変換部１２４は、演算部１２３からの残差情報に対して離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その結果得られる係数を量子化部１２５に供給する。
【０１４７】
量子化部１２５は、直交変換部１２４から供給される係数を量子化する。量子化された係数は、可逆符号化部１２６に入力される。
【０１４８】
可逆符号化部１２６は、最適イントラ予測モード等を示す画面内予測情報を画面内予測部１３３から取得し、最適インター予測モード、動きベクトル等を示す動き情報を動き補償部１３４から取得する。
【０１４９】
可逆符号化部１２６は、量子化部１２５から供給される量子化された係数に対して、可変長符号化（例えば、CAVLC（Context-Adaptive Variable Length Coding）など）、算術符号化（例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）など）などの可逆符号化を行い、その結果得られる符号化ストリームを係数符号化ストリームとする。また、可逆符号化部１２６は、画面内予測情報または動き情報を符号化し、その結果得られる符号化ストリームを情報符号化ストリームとする。可逆符号化部１２６は、係数符号化ストリームと情報符号化ストリームを多重化画像符号化ストリームとして蓄積バッファ１２７に供給し、蓄積させる。
【０１５０】
蓄積バッファ１２７は、可逆符号化部１２６から供給される多重化符号化ストリームを、一時的に記憶し、伝送する。
【０１５１】
また、量子化部１２５より出力された、量子化された係数は、逆量子化部１２８にも入力され、逆量子化された後、逆直交変換部１２９に供給される。
【０１５２】
逆直交変換部１２９は、逆量子化部１２８から供給される係数に対して、逆離散コサイン変換、逆カルーネン・レーベ変換等の逆直交変換を施し、その結果得られる残差情報を加算部１３０に供給する。
【０１５３】
加算部１３０は、逆直交変換部１２９から供給される復号対象の画像としての残差情報と、選択部１３６から供給される予測画像を加算して、局部的に復号された多重化画像を得る。なお、選択部１３６から予測画像が供給されない場合、加算部１３０は、逆直交変換部１２９から供給される残差情報を局部的に復号された多重化画像とする。加算部１３０は、局部的に復号された多重化画像をデブロックフィルタ１３１に供給するとともに、参照画像として画面内予測部１３３に供給する。
【０１５４】
デブロックフィルタ１３１は、加算部１３０から供給される局部的に復号された多重化画像をフィルタリングすることにより、ブロック歪を除去する。デブロックフィルタ１３１は、その結果得られる多重化画像をフレームメモリ１３２に供給し、蓄積させる。フレームメモリ１３２に蓄積された多重化画像は、参照画像として動き補償部１３４および動き予測部１３５に出力される。
【０１５５】
画面内予測部１３３は、加算部１３０から供給された参照画像を用いて、候補となる全てのイントラ予測モードの画面内予測処理を行い、予測画像を生成する。
【０１５６】
また、画面内予測部１３３は、画面並べ替えバッファ１２２から供給される多重化画像と予測画像を用いて、候補となる全てのイントラ予測モードに対してコスト関数値（詳細は後述する）を算出する。そして、画面内予測部１３３は、コスト関数値が最小となるイントラ予測モードを最適イントラ予測モードに決定する。画面内予測部１３３は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、選択部１３６に供給する。画面内予測部１３３は、選択部１３６から最適イントラ予測モードで生成された予測画像の選択が通知された場合、最適イントラ予測モード等を示す画面内予測情報を可逆符号化部１２６に供給する。
【０１５７】
なお、コスト関数値は、RD(Rate Distortion)コストともいい、例えば、H．264/AVC方式における参照ソフトウェアであるJM(Joint Model)で定められているような、High Complexity モードか、Low Complexity モードのいずれかの手法に基づいて算出される。
【０１５８】
具体的には、コスト関数値の算出手法としてHigh Complexity モードが採用される場合、候補となる全ての予測モードに対して、仮に可逆符号化までが行われ、次の式（１）で表わされるコスト関数値が各予測モードに対して算出される。
【０１５９】
Cost(Mode)=D＋λ・R                                          ・・・（１）
【０１６０】
Dは、原画像と復号画像の差分（歪）、Rは、直交変換の係数まで含んだ発生符号量、λは、量子化パラメータQPの関数として与えられるラグランジュ乗数である。
【０１６１】
一方、コスト関数値の算出手法としてLow Complexity モードが採用される場合、候補となる全ての予測モードに対して、復号画像の生成、および、予測モードを示す情報などのヘッダビットの算出が行われ、次の式（２）で表わされるコスト関数が各予測モードに対して算出される。
【０１６２】
Cost(Mode)=D＋QPtoQuant(QP)・Header_Bit                      ・・・（２）
【０１６３】
Dは、原画像と復号画像の差分（歪）、Header_Bitは、予測モードに対するヘッダビット、QPtoQuantは、量子化パラメータQPの関数として与えられる関数である。
【０１６４】
Low Complexity モードにおいては、全ての予測モードに対して、復号画像を生成するだけでよく、可逆符号化を行う必要がないため、演算量が少なくて済む。なお、ここでは、コスト関数値の算出手法としてHigh Complexity モードが採用されるものとする。
【０１６５】
動き補償部１３４は、動き予測部１３５から供給される最適インター予測モードと動きベクトルに基づいて、フレームメモリ１３２から参照画像を読み出すことにより、動き補償処理を行う。動き補償部１３４は、その結果生成される予測画像と、動き予測部１３５から供給されるコスト関数値とを選択部１３６に供給する。また、動き補償部１３４は、選択部１３６から最適インター予測モードで生成された予測画像の選択が通知された場合、最適インター予測モード、対応する動きベクトル等を示す動き情報を可逆符号化部１２６に出力する。
【０１６６】
動き予測部１３５は、画面並べ替えバッファ１２２から供給される符号化対象の多重化画像の輝度成分と、フレームメモリ１３２から供給される参照画像の輝度成分とに基づいて、候補となる全てのインター予測モードの動き予測処理を行い、動きベクトルを生成する。具体的には、動き予測部１３５は、インター予測モードごとに、符号化対象の多重化画像の輝度成分と参照画像の輝度成分とのマッチングを行い、動きベクトルを生成する。
【０１６７】
このとき、動き予測部１３５は、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター測モードに決定する。そして、動き予測部１３５は、最適インター予測モード、並びに、対応する動きベクトルおよびコスト関数値を動き補償部１３４に供給する。
【０１６８】
なお、インター予測モードとは、インター予測の対象とするブロックのサイズ、予測方向、および参照インデックスを表す情報である。予測方向には、インター予測の対象とする多重化画像よりも表示時刻が早い参照画像を用いた前方向の予測（L0予測）、インター予測の対象とする多重化画像よりも表示時刻が遅い参照画像を用いた後方向の予測（L1予測）、およびインター予測の対象とする多重化画像よりも表示時刻が早い参照画像と遅い参照画像を用いた両方向の予測（Bi-prediction）がある。また、参照インデックスとは、参照画像を特定するための番号であり、例えば、インター予測の対象とする多重化画像に近い画像の参照インデックスほど番号が小さい。
【０１６９】
選択部１３６は、画面内予測部１３３および動き補償部１３４から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのコスト関数値が最小となる方を、最適予測モードに決定する。そして、選択部１３６は、最適予測モードの予測画像を、演算部１２３および加算部１３０に供給する。また、選択部１３６は、最適予測モードの予測画像の選択を画面内予測部１３３または動き補償部１３４に通知する。
【０１７０】
レート制御部１３７は、蓄積バッファ１２７に蓄積された多重化画像符号化ストリームに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１２５の量子化動作のレートを制御する。
【０１７１】
［画面内予測部の構成例］
図２０は、図１９の画面内予測部１３３の構成例を示すブロック図である。
【０１７２】
図２０の画面内予測部１３３は、コンポーネント分離部１５１、輝度画面内予測部１５２、色差画面内予測部１５３、奥行き画面内予測部１５４、およびコンポーネント合成部１５５により構成される。
【０１７３】
画面内予測部１３３のコンポーネント分離部１５１は、図１９の加算部１３０から供給される参照画像と画面並べ替えバッファ１２２から供給される符号化対象の多重化画像の輝度成分、色差成分、および奥行き成分を分離する。コンポーネント分離部１５１は、参照画像と符号化対象の多重化画像の輝度成分を輝度画面内予測部１５２に供給し、色差成分を色差画面内予測部１５３に供給する。また、コンポーネント分離部１５１は、参照画像と符号化対象の多重化画像の奥行き成分を奥行き画面内予測部１５４に供給する。
【０１７４】
輝度画面内予測部１５２は、コンポーネント分離部１５１から供給される参照画像の輝度成分を用いて、候補となる全てのイントラ予測モードの画面内予測を行い、予測画像の輝度成分を生成する。また、輝度画面内予測部１５２は、コンポーネント分離部１５１から供給される符号化対象の多重化画像の輝度成分と、予測画像の輝度成分とを用いて、コスト関数値を求め、コスト関数値が最小となるイントラ予測モードを輝度成分用の最適イントラ予測モードに決定する。そして、輝度画面内予測部１５２は、輝度成分用の最適イントラ予測モードで生成された予測画像の輝度成分、輝度成分用の最適イントラ予測モード、および対応するコスト関数値をコンポーネント合成部１５５に供給する。
【０１７５】
色差画面内予測部１５３は、コンポーネント分離部１５１から供給される参照画像の色差成分を用いて、候補となる全てのイントラ予測モードの画面内予測を行い、予測画像の色差成分を生成する。また、色差画面内予測部１５３は、コンポーネント分離部１５１から供給される符号化対象の多重化画像の色差成分と、予測画像の色差成分とを用いて、コスト関数値を求め、コスト関数値が最小となるイントラ予測モードを色差成分用の最適イントラ予測モードに決定する。
【０１７６】
そして、色差画面内予測部１５３は、色差成分用の最適イントラ予測モードで生成された予測画像の色差成分、色差成分用の最適イントラ予測モード、および対応するコスト関数値をコンポーネント合成部１５５に供給する。また、色差画面内予測部１５３は、色差成分用の最適イントラ予測モードを奥行き画面内予測部１５４に供給する。
【０１７７】
奥行き画面内予測部１５４は、設定部として機能し、色差画面内予測部１５３から供給される色差成分用の最適イントラ予測モードを、奥行き成分用の最適イントラ予測モードとして設定する。即ち、奥行き画面内予測部１５４は、最適イントラ予測モードを色差画面内予測部１５３と共有するように設定する。そして、奥行き画面内予測部１５４は、コンポーネント分離部１５１から供給される参照画像の奥行き成分を用いて奥行き成分用の最適イントラ予測モードの画面内予測を行い、予測画像の奥行き成分を生成する。
【０１７８】
また、奥行き画面内予測部１５４は、コンポーネント分離部１５１から供給される符号化対象の多重化画像の奥行き成分と、予測画像の奥行き成分とを用いてコスト関数値を求める。そして、奥行き画面内予測部１５４は、予測画像の奥行き成分とコスト関数値をコンポーネント合成部１５５に供給する。
【０１７９】
コンポーネント合成部１５５は、輝度画面内予測部１５２からの予測画像の輝度成分、色差画面内予測部１５３からの予測画像の色差成分、および奥行き画面内予測部１５４からの予測画像の奥行き成分を合成する。コンポーネント合成部１５５は、合成の結果得られる予測画像、および、その予測画像の輝度成分、色差成分、および奥行き成分のコスト関数値を、図１９の選択部１３６に供給する。また、コンポーネント合成部１５５は、図１９の選択部１３６から最適イントラ予測モードで生成された予測画像の選択が通知された場合、輝度成分用および色差成分用の最適イントラ予測モード等を示す画面内予測情報を可逆符号化部１２６に供給する。
【０１８０】
なお、本実施の形態では、色差成分用の最適イントラ予測モードが決定され、その最適イントラ予測モードが奥行き成分用の最適イントラ予測モードとされたが、奥行き成分用の最適イントラ予測モードが決定され、その最適イントラ予測モードが色差成分用の最適イントラ予測モードとされるようにしてもよい。
【０１８１】
［動き補償部の構成例］
図２１は、図１９の動き補償部１３４の構成例を示すブロック図である。
【０１８２】
図２１の動き補償部１３４は、コンポーネント分離部１７１、動き情報変換部１７２、輝度動き補償部１７３、色差動き補償部１７４、奥行き動き補償部１７５、およびコンポーネント合成部１７６により構成される。
【０１８３】
動き補償部１３４のコンポーネント分離部１７１は、図１９の加算部１３０から供給される参照画像の輝度成分、色差成分、および奥行き成分を分離する。コンポーネント分離部１７１は、参照画像の輝度成分を輝度動き補償部１７３に供給し、色差成分を色差動き補償部１７４に供給する。また、コンポーネント分離部１７１は、参照画像の奥行き成分を奥行き動き補償部１７５に供給する。
【０１８４】
動き情報変換部１７２は、図１９の動き予測部１３５から供給される最適インター予測モードと動きベクトルを輝度動き補償部１７３に供給する。また、動き情報変換部１７２は、カラー画像の輝度成分と、カラー画像の色差成分および解像度変換後の奥行き画像の解像度に基づいて、動きベクトルを変換する。例えば、カラー画像が、いわゆるYUV420の画像である場合、動き情報変換部１７２は動きベクトルを1/2倍する。動き情報変換部１７２は、変換後の動きベクトルと最適インター予測モードを色差動き補償部１７４と奥行き動き補償部１７５に供給する。また、動き情報変換部１７２は、動き予測部１３５から供給されるコスト関数値、最適インター予測モード、および動きベクトルをコンポーネント合成部１７６に供給する。
【０１８５】
輝度動き補償部１７３は、動き情報変換部１７２から供給される最適インター予測モードと動きベクトルに基づいて、コンポーネント分離部１７１を介して参照画像の輝度成分を読み出すことにより動き補償処理を行い、予測画像の輝度成分を生成する。そして、輝度動き補償部１７３は、予測画像の輝度成分をコンポーネント合成部１７６に供給する。
【０１８６】
色差動き補償部１７４は、動き情報変換部１７２から供給される最適インター予測モードと動きベクトルに基づいて、コンポーネント分離部１７１を介して参照画像の色差成分を読み出すことにより動き補償処理を行う。即ち、色差動き補償部１７４は、設定部として機能し、最適インター予測モードと動きベクトルを、輝度動き補償部１７３と共有するように設定し、動き補償処理を行う。そして、色差動き補償部１７４は、その結果生成される予測画像の色差成分をコンポーネント合成部１７６に供給する。
【０１８７】
奥行き動き補償部１７５は、動き情報変換部１７２から供給される最適インター予測モードと動きベクトルに基づいて、コンポーネント分離部１７１を介して参照画像の奥行き成分を読み出すことにより動き補償処理を行う。即ち、奥行き動き補償部１７５は、設定部として機能し、最適インター予測モードと動きベクトルを、輝度動き補償部１７３と共有するように設定し、動き補償処理を行う。そして、奥行き動き補償部１７５は、その結果生成される予測画像の奥行き成分をコンポーネント合成部１７６に供給する。
【０１８８】
コンポーネント合成部１７６は、輝度動き補償部１７３からの予測画像の輝度成分、色差動き補償部１７４からの予測画像の色差成分、および奥行き動き補償部１７５からの予測画像の奥行き成分を合成する。コンポーネント合成部１７６は、合成の結果得られる予測画像、および、動き情報変換部１７２から供給されるコスト関数値を、図１９の選択部１３６に供給する。また、コンポーネント合成部１７６は、図１９の選択部１３６から最適インター予測モードで生成された予測画像の選択が通知された場合、最適インター予測モードと動きベクトル等を示す動き情報を可逆符号化部１２６に供給する。
【０１８９】
［可逆符号化部の構成例］
図２２は、図１９の可逆符号化部１２６の構成例を示すブロック図である。
【０１９０】
図２２の可逆符号化部１２６は、係数符号化部１９１、情報符号化部１９２、および出力部１９３により構成される。
【０１９１】
可逆符号化部１２６の係数符号化部１９１は、コンポーネント分離部２０１、奥行き有意係数決定部２０２、輝度有意係数決定部２０３、色差有意係数決定部２０４、奥行き係数符号化部２０５、輝度係数符号化部２０６、色差係数符号化部２０７、およびコンポーネント合成部２０８により構成される。
【０１９２】
コンポーネント分離部２０１は、図１９の量子化部１２５から供給される係数を輝度成分、色差成分、および奥行き成分に分離する。コンポーネント分離部２０１は、係数の奥行き成分を奥行き有意係数決定部２０２に供給し、輝度成分を輝度有意係数決定部２０３に供給し、色差成分を色差有意係数決定部２０４に供給する。また、コンポーネント分離部２０１は、最適予測モードが最適インター予測モードである場合、no_residual_dataフラグ（詳細は後述する）を設定して符号化し、コンポーネント合成部２０８に供給する。
【０１９３】
奥行き有意係数決定部２０２は、コンポーネント分離部２０１から供給される係数の奥行き成分に基づいて、係数の奥行き成分が0であるかどうかを判定する。奥行き有意係数決定部２０２は、係数の奥行き成分が0であると判定した場合、奥行き成分の有意係数の存在の有無を表す有意係数フラグとして、有意係数の存在の無しを表す0を奥行き係数符号化部２０５に供給する。一方、奥行き有意係数決定部２０２は、係数の奥行き成分が0以外であると判定した場合、奥行き成分の有意係数フラグとして有意係数の存在の有りを表す1を奥行き係数符号化部２０５に供給するとともに、係数の奥行き成分を奥行き係数符号化部２０５に供給する。
【０１９４】
輝度有意係数決定部２０３と色差有意係数決定部２０４は、それぞれ、処理の対象が輝度成分、色差成分であることを除いて、奥行き有意係数決定部２０２と同様の処理を行うので、説明は省略する。
【０１９５】
奥行き係数符号化部２０５は、奥行き有意係数決定部２０２から供給される奥行き成分の有意係数フラグが1である場合、係数の奥行き成分を可逆符号化する。奥行き係数符号化部２０５は、奥行き成分の有意係数フラグとしての0、または、奥行き成分の有意係数フラグとしての1と可逆符号化された係数の奥行き成分を、係数符号化ストリームの奥行き成分としてコンポーネント合成部２０８に供給する。
【０１９６】
輝度係数符号化部２０６と色差係数符号化部２０７は、それぞれ、処理の対象が輝度成分、色差成分であることを除いて、奥行き係数符号化部２０５と同様の処理を行うので、説明は省略する。
【０１９７】
コンポーネント合成部２０８は、奥行き係数符号化部２０５からの係数符号化ストリームの奥行き成分、輝度係数符号化部２０６からの係数符号化ストリームの輝度成分、および色差係数符号化部２０７からの係数符号化ストリームの色差成分を合成する。また、コンポーネント合成部２０８は、コンポーネント分離部２０１からno_residual_dataフラグの符号化ストリームが供給される場合、合成の結果得られる係数符号化ストリームにno_residual_dataフラグの符号化ストリームを含める。コンポーネント合成部２０８は、係数符号化ストリームを出力部１９３に供給する。
【０１９８】
情報符号化部１９２は、画面内予測情報符号化部２１１と動き情報符号化部２１２により構成される。
【０１９９】
情報符号化部１９２の画面内予測情報符号化部２１１は、画面内予測部１３３のコンポーネント合成部１５５（図２０）から供給される輝度成分用の画面内予測情報と色差成分用の画面内予測情報を符号化する。そして、画面内予測情報符号化部２１１は、符号化の結果得られる符号化ストリームを情報符号化ストリームとして出力部１９３に供給する。
【０２００】
動き情報符号化部２１２は、動き補償部１３４のコンポーネント合成部１７６（図２１）から供給される動き情報を符号化し、その結果得られる符号化ストリームを情報符号化ストリームとして出力部１９３に供給する。
【０２０１】
出力部１９３は、コンポーネント合成部２０８から供給される係数符号化ストリームと情報符号化部１９２から供給される情報符号化ストリームを多重化画像符号化ストリームとして、図１９の蓄積バッファ１２７に供給する。
【０２０２】
［有意係数フラグの説明］
図２３は、最適予測モードが最適イントラ予測モードである場合の有意係数フラグを説明する図であり、図２４は、最適予測モードが最適インター予測モードである場合の有意係数フラグを説明する図である。
【０２０３】
図２３および図２４において、正方形は、HEVC方式において定められているコーディングユニット（Coding Unit）を表している。コーディングユニットは、Coding Tree Block（CTB）とも呼ばれ、AVC方式におけるマクロブロックと同様の役割を果たす、ピクチャ単位の画像の部分領域である。マクロブロックは、16×16画素の大きさに固定されているのに対し、コーディングユニットの大きさは固定されておらず、それぞれのシーケンスにおいて指定される。
【０２０４】
また、コーディングユニットは、splitフラグの値が1である場合1つ下の階層に分割され、splitフラグの値が0である場合分割されない。
【０２０５】
図２３に示すように、最適予測モードが最適イントラ予測モードである場合、輝度成分の有意係数フラグ(cbf_luma)、色差成分の有意係数フラグ(cbf_cb,cbf_cr)、および奥行き成分の有意係数フラグ(cbf_dm)は、splitフラグの値が0であるコーディングユニットに対して設定される。
【０２０６】
一方、図２４に示すように、最適予測モードが最適インター予測モードである場合、最上層のコーディングユニットに対して、そのコーディングユニットの全ての成分に有意係数が存在しないかどうかを表すno_residual_dataフラグが設定される。no_residual_dataフラグは、コーディングユニットの全ての成分に有意係数が存在しないことを表す場合1であり、コーディングユニットの少なくとも1つの成分に有意係数が存在することを表す場合0である。
【０２０７】
また、色差成分の有意係数フラグと奥行き成分の有意係数フラグは、splitフラグの値によらず、自分より1つ上の階層のコーディングユニットで1である場合、または、自分が最上層のコーディングユニットである場合に設定される。さらに、輝度成分の有意係数フラグは、splitフラグの値が0であるコーディングユニットに対して設定される。
【０２０８】
［係数に関するシンタックスの例］
図２５乃至図２８は、係数に関するシンタックスの例を示す図である。
【０２０９】
図２５のシンタックスでは、最適予測モードが最適イントラ予測モードではない場合、即ち、最適予測モードが最適インター予測モードである場合、no_residual_dataフラグ（no_residual_data_flag）が設定されることが記述されている。
【０２１０】
また、図２６のシンタックスでは、係数の可逆符号化の方式がCAVLCであり、no_residual_dataフラグが0である場合、処理対象の階層が最上層ではなく、処理対象の階層より上の階層の色差成分または奥行き成分の有意係数フラグが1であれば、その色差成分または奥行き成分の有意係数フラグが設定されることが記述されている。
【０２１１】
さらに、図２７のシンタックスでは、係数の可逆符号化の方式がCAVACであり、最適予測モードが最適インター予測モードである場合、処理対象の階層より上の階層の色差成分または奥行き成分の有意係数フラグが1であれば、その色差成分または奥行き成分の有意係数フラグが設定され、処理対象の階層が最上層であれば、色差成分と奥行き成分の有意係数フラグが設定されることが記述されている。
【０２１２】
図２８のシンタックスでは、splitフラグが0である場合であって、最適予測モードが最適イントラ予測モードであるか、最適予測モードが最適インター予測モードであり、かつ、処理対象の階層が最上層以外であるか、または、処理対象の階層が最上層であり、no_residual_dataフラグが0であり、かつ、輝度成分以外の成分のいずれかの有意係数フラグが1である場合には、輝度成分の有意係数フラグが設定されること等が記述されている。即ち、splitフラグが0であり、最適予測モードが最適インター予測モードであり、処理対象の階層が最上層であり、no_residual_dataフラグが0である場合、輝度成分以外の全ての成分の有意係数フラグが0であるときには、輝度成分の有意係数フラグが必ず1であるため、輝度成分の有意係数フラグは設定されない。
【０２１３】
［符号化処理の説明］
図２９は、図１６の符号化装置８０の符号化処理を説明するフローチャートである。
【０２１４】
図２９のステップＳ９１において、符号化装置８０の多視点画像分離部２１は、符号化装置８０に入力される多視点の３Ｄ画像を分離し、各視点のカラー画像と奥行き画像を得る。そして、多視点画像分離部２１は、各視点のカラー画像と奥行き画像を、視点ごとに、画像多重化部８１に供給する。
【０２１５】
ステップＳ９２において、画像多重化部８１は、多重化処理を行う。この多重化処理の詳細は、後述する図３０を参照して説明する。
【０２１６】
ステップＳ９３において、多視点画像符号化部８２は、画像多重化部８１から供給される各視点の多重化画像を、HEVC方式等に準じた符号化方式で符号化する多重化画像符号化処理を行う。この多重化画像符号化処理の詳細は、後述する図３１および図３２を参照して説明する。
【０２１７】
図３０は、図２９のステップＳ９２の多重化処理の詳細を説明するフローチャートである。
【０２１８】
図３０のステップＳ１１１において、画像多重化部８１の解像度変換処理部１０１（図１７）は、図１６の多視点画像分離部２１から供給される所定の視点の奥行き画像の解像度を、カラー画像のCb成分およびCr成分の解像度と同一になるように変換する。解像度変換処理部１０１は、解像度変換後の奥行き画像をコンポーネント合成処理部１０２に供給する。
【０２１９】
ステップＳ１１２において、コンポーネント合成処理部１０２は、多視点画像分離部２１からの所定の視点のカラー画像の輝度成分および色差成分、並びに、解像度変換処理部１０１からの解像度変換後の奥行き画像を、それぞれ、多重化画像の輝度成分、色差成分、奥行き成分として合成することにより、多重化画像を生成する。コンポーネント合成処理部１０２は、多重化画像を図２の多視点画像符号化部８２に供給する。そして、処理は、図２９のステップＳ９２の処理に戻り、ステップＳ９３に進む。
【０２２０】
図３１および図３２は、図２９のステップＳ９３の多重化画像符号化処理の詳細を説明するフローチャートである。この多重化画像符号化処理は、視点ごとに行われる。
【０２２１】
図３１のステップＳ１３１において、符号化部１２０のA/D変換部１２１（図１９）は、図１６の画像多重化部８１から供給される所定の視点のフレーム単位の多重化画像をA/D変換し、画面並べ替えバッファ１２２に出力して記憶させる。
【０２２２】
ステップＳ１３２において、画面並べ替えバッファ１２２は、記憶した表示の順番のフレームの多重化画像を、GOP構造に応じて、符号化のための順番に並べ替える。画面並べ替えバッファ１２２は、並べ替え後のフレーム単位の多重化画像を、演算部１２３、画面内予測部１３３、および動き予測部１３５に供給する。
【０２２３】
ステップＳ１３３において、画面内予測部１３３は、加算部１３０から供給される参照画像を用いて、候補となる全てのイントラ予測モードの画面内予測処理を行う。この画面内予測処理の詳細は、後述する図３３を参照して説明する。
【０２２４】
ステップＳ１３４において、動き予測部１３５は、画面並べ替えバッファ１２２から供給される符号化対象の多重化画像の輝度成分と、フレームメモリ１３２から供給される参照画像の輝度成分とを用いて、候補となる全てのインター予測モードの動き予測処理を行い、動きベクトルを生成する。このとき、動き予測部１３５は、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター測モードに決定する。そして、動き予測部１３５は、最適インター予測モード、並びに、対応する動きベクトルおよびコスト関数値を動き補償部１３４に供給する。
【０２２５】
ステップＳ１３５において、動き補償部１３４は、動き予測部１３５から供給される動きベクトルと最適インター予測モードに基づいてフレームメモリ１３２から参照画像を読み出すことにより、動き補償処理を行う。この動き補償処理の詳細は、後述する図３４を参照して説明する。
【０２２６】
ステップＳ１３６において、選択部１３６は、画面内予測部１３３および動き補償部１３４から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのコスト関数値が最小となる方を、最適予測モードに決定する。そして、選択部１３６は、最適予測モードの予測画像を、演算部１２３および加算部１３０に供給する。
【０２２７】
ステップＳ１３７において、選択部１３６は、最適予測モードが最適インター予測モードであるかどうかを判定する。ステップＳ１３７で最適予測モードが最適インター予測モードであると判定された場合、選択部１３６は、最適インター予測モードで生成された予測画像の選択を動き補償部１３４に通知する。これにより、動き補償部１３４のコンポーネント合成部１７６（図２１）は、動き予測部１３５から動き情報変換部１７２を介して供給される最適インター予測モードと動きベクトルなどを示す動き情報を可逆符号化部１２６に出力する。
【０２２８】
そして、ステップＳ１３８において、可逆符号化部１２６の情報符号化部１９２の動き情報符号化部２１２（図２２）は、動き補償部１３４から供給される動き情報を符号化し、出力部１９３に供給する。そして、処理はステップＳ１４０に進む。
【０２２９】
一方、ステップＳ１３７で最適予測モードが最適インター予測モードではないと判定された場合、即ち最適予測モードが最適イントラ予測モードである場合、選択部１３６は、最適イントラ予測モードで生成された予測画像の選択を画面内予測部１３３に通知する。これにより、画面内予測部１３３のコンポーネント合成部１５５（図２０）は、輝度成分用と色差成分用の画面内予測情報を可逆符号化部１２６に供給する。
【０２３０】
そして、ステップＳ１３９において、可逆符号化部１２６の情報符号化部１９２の画面内予測情報符号化部２１１は、画面内予測部１３３から供給される画面内予測情報を符号化し、出力部１９３に供給する。そして、処理はステップＳ１４０に進む。
【０２３１】
ステップＳ１４０において、演算部１２３は、画面並べ替えバッファ１２２から供給される多重化画像から、選択部１３６から供給される予測画像を減算する。演算部１２３は、減算の結果得られる画像を、残差情報として直交変換部１２４に出力する。
【０２３２】
ステップＳ１４１において、直交変換部１２４は、演算部１２３からの残差情報に対して直交変換を施し、その結果得られる係数を量子化部１２５に供給する。
【０２３３】
ステップＳ１４２において、量子化部１２５は、直交変換部１２４から供給される係数を量子化する。量子化された係数は、可逆符号化部１２６と逆量子化部１２８に入力される。
【０２３４】
ステップＳ１４３において、可逆符号化部１２６は、量子化部１２５から供給される量子化された係数を可逆符号化する可逆符号化処理を行う。この可逆符号化処理の詳細は、後述する図３５を参照して説明する。
【０２３５】
図３２のステップＳ１４４において、可逆符号化部１２６は、可逆符号化処理の結果得られる多重化画像符号化ストリームを蓄積バッファ１２７に供給し、蓄積させる。
【０２３６】
ステップＳ１４５において、蓄積バッファ１２７は、蓄積されている多重化画像符号化ストリームを伝送する。
【０２３７】
ステップＳ１４６において、逆量子化部１２８は、量子化部１２５から供給される量子化された係数を逆量子化する。
【０２３８】
ステップＳ１４７において、逆直交変換部１２９は、逆量子化部１２８から供給される係数に対して逆直交変換を施し、その結果得られる残差情報を加算部１３０に供給する。
【０２３９】
ステップＳ１４８において、加算部１３０は、逆直交変換部１２９から供給される残差情報と、選択部１３６から供給される予測画像を加算し、局部的に復号された多重化画像を得る。加算部１３０は、得られた多重化画像をデブロックフィルタ１３１に供給するとともに、参照画像として画面内予測部１３３に供給する。
【０２４０】
ステップＳ１４９において、デブロックフィルタ１３１は、加算部１３０から供給される局部的に復号された多重化画像に対してフィルタリングを行うことにより、ブロック歪を除去する。
【０２４１】
ステップＳ１５０において、デブロックフィルタ１３１は、フィルタリング後の多重化画像をフレームメモリ１３２に供給し、蓄積させる。フレームメモリ１３２に蓄積された多重化画像は、参照画像として動き補償部１３４および動き予測部１３５に出力される。
そして、処理は終了する。
【０２４２】
なお、図３１および図３２のステップＳ１３３乃至Ｓ１４０の処理は、例えば、コーディングユニット単位で行われる。また、図３１および図３２の多重化画像符号化処理では、説明を簡単化するため、常に、画面内予測処理と動き補償処理が行われるようにしたが、実際には、ピクチャタイプ等によっていずれか一方のみが行われる場合もある。
【０２４３】
図３３は、図３１のステップＳ１３３の画面内予測処理の詳細を説明するフローチャートである。
【０２４４】
図３３のステップＳ１７１において、画面内予測部１３３のコンポーネント分離部１５１（図２０）は、図１９の加算部１３０から供給される参照画像と画面並べ替えバッファ１２２から供給される符号化対象の多重化画像の輝度成分、色差成分、および奥行き成分を分離する。コンポーネント分離部１５１は、参照画像と符号化対象の多重化画像の輝度成分を輝度画面内予測部１５２に供給し、色差成分を色差画面内予測部１５３に供給する。また、コンポーネント分離部１５１は、参照画像と符号化対象の多重化画像の奥行き成分を奥行き画面内予測部１５４に供給する。
【０２４５】
ステップＳ１７２において、輝度画面内予測部１５２は、コンポーネント分離部１５１から供給される参照画像の輝度成分の画面内予測処理を行う。具体的には、輝度画面内予測部１５２は、コンポーネント分離部１５１から供給される参照画像の輝度成分を用いて、候補となる全てのイントラ予測モードの画面内予測を行い、予測画像の輝度成分を生成する。また、輝度画面内予測部１５２は、コンポーネント分離部１５１から供給される符号化対象の多重化画像の輝度成分と、予測画像の輝度成分とを用いてコスト関数値を求め、コスト関数値が最小となるイントラ予測モードを輝度成分用の最適イントラ予測モードに決定する。そして、輝度画面内予測部１５２は、輝度成分用の最適イントラ予測モードで生成された予測画像の輝度成分、輝度成分用の最適イントラ予測モード、および対応するコスト関数値をコンポーネント合成部１５５に供給する。
【０２４６】
ステップＳ１７３において、色差画面内予測部１５３は、コンポーネント分離部１５１から供給される参照画像の色差成分の画面内予測処理を行う。具体的には、色差画面内予測部１５３は、コンポーネント分離部１５１から供給される参照画像の色差成分を用いて、候補となる全てのイントラ予測モードの画面内予測を行い、予測画像の色差成分を生成する。また、色差画面内予測部１５３は、コンポーネント分離部１５１から供給される符号化対象の多重化画像の色差成分と、予測画像の色差成分とを用いて、コスト関数値を求め、コスト関数値が最小となるイントラ予測モードを色差成分用の最適イントラ予測モードに決定する。
【０２４７】
そして、色差画面内予測部１５３は、色差成分用の最適イントラ予測モードで生成された予測画像の色差成分、色差成分用の最適イントラ予測モード、および対応するコスト関数値をコンポーネント合成部１５５に供給する。また、色差画面内予測部１５３は、色差成分用の最適イントラ予測モードを奥行き画面内予測部１５４に供給する。
【０２４８】
ステップＳ１７４において、奥行き画面内予測部１５４は、色差画面内予測部１５３からの色差成分用の最適イントラ予測モードを、奥行き成分用の最適イントラ予測モードとして、コンポーネント分離部１５１からの参照画像の奥行き成分の画面内予測処理を行う。
【０２４９】
具体的には、奥行き画面内予測部１５４は、コンポーネント分離部１５１から供給される参照画像の奥行き成分を用いて、色差成分用の最適イントラ予測モードである奥行き成分の最適イントラ予測モードの画面内予測を行い、予測画像の奥行き成分を生成する。また、奥行き画面内予測部１５４は、コンポーネント分離部１５１から供給される符号化対象の多重化画像の奥行き成分と、予測画像の奥行き成分とを用いてコスト関数値を求める。そして、奥行き画面内予測部１５４は、予測画像の奥行き成分とコスト関数値をコンポーネント合成部１５５に供給する。
【０２５０】
ステップＳ１７５において、コンポーネント合成部１５５は、輝度画面内予測部１５２からの予測画像の輝度成分、色差画面内予測部１５３からの予測画像の色差成分、および奥行き画面内予測部１５４からの予測画像の奥行き成分を合成する。コンポーネント合成部１５５は、合成の結果得られる予測画像、および、その予測画像の輝度成分、色差成分、および奥行き成分のコスト関数値を、図１９の選択部１３６に供給する。そして、処理は図３１のステップＳ１３３に戻り、ステップＳ１３４に進む。
【０２５１】
図３４は、図３１のステップＳ１３５の動き補償処理の詳細を説明するフローチャートである。
【０２５２】
図３４のステップＳ１９１において、動き補償部１３４のコンポーネント分離部１７１（図２１）は、図１９の加算部１３０から供給される参照画像の輝度成分、色差成分、および奥行き成分を分離する。コンポーネント分離部１７１は、参照画像の輝度成分を輝度動き補償部１７３に供給し、色差成分を色差動き補償部１７４に供給する。また、コンポーネント分離部１７１は、参照画像の奥行き成分を奥行き動き補償部１７５に供給する。
【０２５３】
ステップＳ１９２において、輝度動き補償部１７３は、動き情報変換部１７２から供給される最適インター予測モードと動きベクトルに基づいて、コンポーネント分離部１７１を介して参照画像の輝度成分を読み出すことにより輝度成分の動き補償処理を行う。そして、輝度動き補償部１７３は、その結果生成される予測画像の輝度成分をコンポーネント合成部１７６に供給する。
【０２５４】
ステップＳ１９３において、動き情報変換部１７２は、カラー画像の輝度成分と、カラー画像の色差成分および解像度変換後の奥行き画像の解像度に基づいて、動きベクトルを変換する。動き情報変換部１７２は、変換後の動きベクトルと最適インター予測モードを色差動き補償部１７４と奥行き動き補償部１７５に供給する。
【０２５５】
ステップＳ１９４において、色差動き補償部１７４は、動き情報変換部１７２から供給される最適インター予測モードと動きベクトルに基づいて、コンポーネント分離部１７１を介して参照画像の色差成分を読み出すことにより色差成分の動き補償処理を行う。そして、色差動き補償部１７４は、その結果生成される予測画像の色差成分をコンポーネント合成部１７６に供給する。
【０２５６】
ステップＳ１９５において、奥行き動き補償部１７５は、動き情報変換部１７２から供給される最適インター予測モードと動きベクトルに基づいて、コンポーネント分離部１７１を介して参照画像の奥行き成分を読み出すことにより奥行き成分の動き補償処理を行う。そして、奥行き動き補償部１７５は、その結果生成される予測画像の奥行き成分をコンポーネント合成部１７６に供給する。
【０２５７】
ステップＳ１９６において、コンポーネント合成部１７６は、輝度動き補償部１７３からの予測画像の輝度成分、色差動き補償部１７４からの予測画像の色差成分、および奥行き動き補償部１７５からの予測画像の奥行き成分を合成する。コンポーネント合成部１７６は、合成の結果得られる予測画像、および、動き予測部１３５から動き情報変換部１７２を介して供給されるコスト関数値を、図１９の選択部１３６に供給する。そして、処理は図３１のステップＳ１３５に戻り、ステップＳ１３６に進む。
【０２５８】
図３５は、図３１のステップＳ１４３の可逆符号化処理の詳細を説明するフローチャートである。
【０２５９】
図３５のステップＳ２１１において、可逆符号化部１２６の係数符号化部１９１のコンポーネント分離部２０１は、図１９の量子化部１２５から供給される係数を輝度成分、色差成分、および奥行き成分に分離する。コンポーネント分離部２０１は、係数の奥行き成分を奥行き有意係数決定部２０２に供給し、輝度成分を輝度有意係数決定部２０３に供給し、色差成分を色差有意係数決定部２０４に供給する。
【０２６０】
ステップＳ２１２において、可逆符号化部１２６は、最適予測モードがインター予測モードであるかどうか、即ち動き補償部１３４から動き情報が供給されたかどうかを判定する。ステップＳ２１２で最適予測モードがインター予測モードであると判定された場合、ステップＳ２１３において、コンポーネント分離部２０１は、no_residual_dataフラグを設定して符号化し、コンポーネント合成部２０８に供給する。そして、処理はステップＳ２１４に進む。
【０２６１】
一方、ステップＳ２１２で最適予測モードがインター予測モードではないと判定された場合、即ち最適予測モードがイントラ予測モードである場合、処理はステップＳ２１４に進む。
【０２６２】
ステップＳ２１４において、奥行き有意係数決定部２０２は、コンポーネント分離部２０１から供給される係数の奥行き成分に基づいて、奥行き成分の有意係数フラグを決定する。具体的には、奥行き有意係数決定部２０２は、係数の奥行き成分が0であるかどうかを判定し、係数の奥行き成分が0であると判定した場合、奥行き成分の有意係数フラグを0に決定し、奥行き係数符号化部２０５に供給する。一方、奥行き有意係数決定部２０２は、係数の奥行き成分が0ではないと判定した場合、奥行き成分の有意係数フラグを1に決定し、その奥行き成分の有意係数フラグと係数の奥行き成分を奥行き係数符号化部２０５に供給する。
【０２６３】
ステップＳ２１５において、奥行き係数符号化部２０５は、奥行き有意係数決定部２０２から供給される奥行き成分の有意係数フラグが1であるかどうかを判定する。ステップＳ２１５で奥行き成分の有意係数フラグが1であると判定された場合、ステップＳ２１６において、奥行き係数符号化部２０５は、奥行き有意係数決定部２０２から供給される係数の奥行き成分を可逆符号化する。そして、奥行き係数符号化部２０５は、可逆符号化された係数の奥行き成分と奥行き成分の有意係数フラグを、係数符号化ストリームの奥行き成分としてコンポーネント合成部２０８に供給し、処理をステップＳ２１８に進める。
【０２６４】
一方、ステップＳ２１５で奥行き成分の有意係数フラグが1ではないと判定された場合、即ち奥行き成分の有意係数フラグが0である場合、処理はステップＳ２１７に進む。ステップＳ２１７において、奥行き係数符号化部２０５は、奥行き成分の有意係数フラグを係数符号化ストリームの奥行き成分としてコンポーネント合成部２０８に供給し、処理をステップＳ２１８に進める。
【０２６５】
ステップＳ２１８において、輝度有意係数決定部２０３は、コンポーネント分離部２０１から供給される係数の輝度成分に基づいて、奥行き有意係数決定部２０２と同様に、輝度成分の有意係数フラグを決定し、輝度係数符号化部２０６に供給する。また、輝度有意係数決定部２０３は、奥行き有意係数決定部２０２と同様に、必要に応じて、係数の輝度成分を輝度係数符号化部２０６に供給する。
【０２６６】
ステップＳ２１９において、輝度係数符号化部２０６は、輝度有意係数決定部２０３から供給される輝度成分の有意係数フラグが1であるかどうかを判定する。ステップＳ２１９で輝度成分の有意係数フラグが1であると判定された場合、ステップＳ２２０において、輝度係数符号化部２０６は、輝度有意係数決定部２０３から供給される係数の輝度成分を可逆符号化する。そして、輝度係数符号化部２０６は、可逆符号化された係数の輝度成分と輝度成分の有意係数フラグを、係数符号化ストリームの輝度成分としてコンポーネント合成部２０８に供給し、処理をステップＳ２２２に進める。
【０２６７】
一方、ステップＳ２１９で輝度成分の有意係数フラグが1ではないと判定された場合、ステップＳ２２１において、輝度係数符号化部２０６は、輝度成分の有意係数フラグを係数符号化ストリームの輝度成分としてコンポーネント合成部２０８に供給する。そして、処理はステップＳ２２２に進む。
【０２６８】
ステップＳ２２２において、色差有意係数決定部２０４は、コンポーネント分離部２０１から供給される係数の色差成分に基づいて、奥行き有意係数決定部２０２と同様に、色差成分の有意係数フラグを決定し、色差係数符号化部２０７に供給する。また、色差有意係数決定部２０４は、奥行き有意係数決定部２０２と同様に、必要に応じて、係数の色差成分を色差係数符号化部２０７に供給する。
【０２６９】
ステップＳ２２３において、色差係数符号化部２０７は、色差有意係数決定部２０４から供給される色差成分の有意係数フラグが1であるかどうかを判定する。ステップＳ２２３で色差成分の有意係数フラグが1であると判定された場合、ステップＳ２２４において、色差係数符号化部２０７は、色差有意係数決定部２０４から供給される係数の色差成分を可逆符号化する。そして、色差係数符号化部２０７は、可逆符号化された係数の色差成分と色差成分の有意係数フラグを、係数符号化ストリームの色差成分としてコンポーネント合成部２０８に供給し、処理をステップＳ２２６に進める。
【０２７０】
一方、ステップＳ２２３で色差成分の有意係数フラグが1ではないと判定された場合、ステップＳ２２５において、色差係数符号化部２０７は、色差成分の有意係数フラグを係数符号化ストリームの色差成分としてコンポーネント合成部２０８に供給する。そして、処理はステップＳ２２６に進む。
【０２７１】
ステップＳ２２６において、コンポーネント合成部２０８は、輝度係数符号化部２０６からの係数符号化ストリームの輝度成分、色差係数符号化部２０７からの係数符号化ストリームの色差成分、および奥行き係数符号化部２０５からの係数符号化ストリームの奥行き成分を合成する。また、コンポーネント合成部２０８は、コンポーネント分離部２０１からno_residual_dataフラグの符号化ストリームが供給される場合、合成の結果得られる係数符号化ストリームにno_residual_dataフラグを含める。コンポーネント合成部２０８は、係数符号化ストリームを出力部１９３に供給する。
【０２７２】
ステップＳ２２７において、出力部１９３は、コンポーネント合成部２０８から供給される係数符号化ストリームと情報符号化部１９２から供給される情報符号化ストリームを多重化画像符号化ストリームとして、図１９の蓄積バッファ１２７に供給する。そして、処理は図３１のステップＳ１４３に戻り、図３２のステップＳ１４４に進む。
【０２７３】
以上のように、符号化装置８０は、多重化画像の色差成分と奥行き成分の符号化に関する情報（符号化パラメータ）としての最適イントラ予測モードや最適インター予測モードおよび動きベクトルを共有して、多重化画像を符号化する。従って、多重化画像の画面内予測情報や動き情報の情報量が削減され、符号化効率が向上する。また、多視点の３Ｄ画像が、静止画像、カメラに対して平行移動する物体の画像等の奥行き方向の位置が比較的変化しない画像である場合には、カラー画像と奥行き画像の動きベクトルの相関が強いため、符号化効率はより向上する。
【０２７４】
さらに、多重化画像の色差成分と奥行き成分の符号化方法は同一であるので、既存のカラー画像の符号化方式から多重化画像の符号化方式への拡張が容易である。
【０２７５】
［復号装置の構成例］
図３６は、図１６の符号化装置８０により出力された多重化画像符号化ストリームを復号する復号装置の構成例を示すブロック図である。
【０２７６】
図３６に示す構成のうち、図１２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２７７】
図３６の復号装置２３０の構成は、多視点画像復号部５１、画像分離部５２−１乃至５２−Ｎの代わりに、多視点画像復号部２３１、画像分離部２３２−１乃至２３２−Ｎが設けられている点が図１２の構成と異なる。
【０２７８】
復号装置２３０の多視点画像復号部２３１は、符号化装置８０から伝送されてくる多重化画像符号化ストリームを、視点ごとに、HEVC方式等に準じた符号化方式に対応する方式で復号する。多視点画像復号部２３１は、復号の結果得られる各視点の多重化画像を、それぞれ、画像分離部２３２−１乃至２３２−Ｎに供給する。具体的には、多視点画像復号部２３１は、視点＃１の多重化画像を画像分離部２３２−１に供給する。以降も同様にして、多視点画像復号部２３１は、視点＃２乃至視点＃Ｎの多重化画像を、視点ごとに、それぞれ、画像分離部２３２−２乃至２３２−Ｎに供給する。
【０２７９】
画像分離部２３２−１乃至２３２−Ｎは、それぞれ、多視点画像復号部２３１から供給される多重化画像の輝度成分と色差成分をカラー画像の輝度成分と色差成分とし、奥行き成分を解像度変換して奥行き画像とすることにより、分離処理を行う。そして、画像分離部２３２−１乃至２３２−Ｎは、それぞれ、分離処理の結果得られる各視点のカラー画像と奥行き画像を多視点画像合成部５３に供給する。
【０２８０】
なお、以下では、画像分離部２３２−１乃至２３２−Ｎを特に区別する必要がない場合、それらをまとめて画像分離部２３２という。
【０２８１】
［多視点画像復号部の構成例］
図３７は、図３６の多視点画像復号部２３１のうちの任意の１視点の多重化画像符号化ストリームを復号する復号部の構成例を示すブロック図である。即ち、多視点画像復号部２３１は、Ｎ個の図３７の復号部２５０により構成される。
【０２８２】
図３７の復号部２５０は、蓄積バッファ２５１、可逆復号部２５２、逆量子化部２５３、逆直交変換部２５４、加算部２５５、デブロックフィルタ２５６、画面並べ替えバッファ２５７、D/A変換部２５８、フレームメモリ２５９、画面内予測部２６０、動き補償部２６１、およびスイッチ２６２により構成される。
【０２８３】
復号部２５０の蓄積バッファ２５１は、図１６の符号化装置８０から伝送されてくる所定の視点の多重化画像符号化ストリームを受け取り、蓄積する。蓄積バッファ２５１は、蓄積されている多重化画像符号化ストリームを可逆復号部２５２に供給する。
【０２８４】
可逆復号部２５２は、蓄積バッファ２５１からの多重化画像符号化ストリームのうちの係数符号化ストリームに対して、可変長復号や、算術復号等の可逆復号を施すことで、量子化された係数を得る。可逆復号部２５２は、量子化された係数を逆量子化部２５３に供給する。また、可逆復号部２５２は、多重化画像符号化ストリームのうちの情報符号化ストリームを復号する。
【０２８５】
可逆復号部２５２は、情報符号化ストリームの復号の結果、画面内予測情報が得られる場合、その画面内予測情報を画面内予測部２６０に供給するとともに、最適予測モードがイントラ予測モードである旨をスイッチ２６２に通知する。一方、可逆復号部２５２は、情報符号化ストリームの復号の結果、動き情報が得られる場合、その動き情報を動き補償部２６１に供給するとともに、最適予測モードがインター予測モードである旨をスイッチ２６２に通知する。
【０２８６】
逆量子化部２５３、逆直交変換部２５４、加算部２５５、デブロックフィルタ２５６、フレームメモリ２５９、画面内予測部２６０、および、動き補償部２６１は、図１９の逆量子化部１２８、逆直交変換部１２９、加算部１３０、デブロックフィルタ１３１、フレームメモリ１３２、画面内予測部１３３、および、動き補償部１３４とそれぞれ同様の処理を行い、これにより、係数符号化ストリームが復号される。
【０２８７】
具体的には、逆量子化部２５３は、可逆復号部２５２からの量子化された係数を逆量子化し、その結果得られる係数を逆直交変換部２５４に供給する。
【０２８８】
逆直交変換部２５４は、逆量子化部２５３からの係数に対して、逆離散コサイン変換、逆カルーネン・レーベ変換等の逆直交変換を施し、その結果得られる残差情報を加算部２５５に供給する。
【０２８９】
加算部２５５は、逆直交変換部２５４から供給される復号対象の画像としての残差情報と、スイッチ２６２から供給される予測画像を加算し、その結果得られる多重化画像をデブロックフィルタ２５６に供給するとともに、参照画像として画面内予測部２６０に供給する。なお、スイッチ２６２から予測画像が供給されない場合、加算部２５５は、逆直交変換部２５４から供給される残差情報である多重化画像をデブロックフィルタ２５６に供給するとともに、参照画像として画面内予測部２６０に供給する。
【０２９０】
デブロックフィルタ２５６は、加算部２５５から供給される多重化画像をフィルタリングすることにより、ブロック歪を除去する。デブロックフィルタ２５６は、その結果得られる多重化画像をフレームメモリ２５９に供給し、蓄積させるとともに、画面並べ替えバッファ２５７に供給する。フレームメモリ２５９に蓄積された多重化画像は、参照画像として動き補償部２６１に供給される。
【０２９１】
画面並べ替えバッファ２５７は、デブロックフィルタ２５６から供給される多重化画像をフレーム単位で記憶する。画面並べ替えバッファ２５７は、記憶した符号化のための順番のフレーム単位の多重化画像を、元の表示の順番に並び替え、D/A変換部２５８に供給する。
【０２９２】
D/A変換部２５８は、画面並べ替えバッファ２５７から供給されるフレーム単位の多重化画像をD/A変換し、所定の視点の多重化画像として出力する。
【０２９３】
画面内予測部２６０は、加算部２５５から供給される参照画像を用いて、可逆復号部２５２から供給される画面内予測情報が表す最適イントラ予測モードの画面内予測を行い、予測画像を生成する。そして、画面内予測部２６０は、予測画像をスイッチ２６２に供給する。
【０２９４】
動き補償部２６１は、可逆復号部２５２から供給される動き情報に基づいて、フレームメモリ２５９から参照画像を読み出すことにより、動き補償処理を行う。動き補償部２６１は、その結果生成される予測画像をスイッチ２６２に供給する。
【０２９５】
スイッチ２６２は、可逆復号部２５２から最適予測モードがイントラ予測モードである旨が通知された場合、画面内予測部２６０から供給される予測画像を加算部２５５に供給する。一方、可逆復号部２５２から最適予測モードがインター予測モードである旨が通知された場合、動き補償部２６１から供給される予測画像を加算部２５５に供給する。
【０２９６】
［可逆復号部の構成例］
図３８は、図３７の可逆復号部２５２の構成例を示すブロック図である。
【０２９７】
図３８の可逆復号部２５２は、分離部２８１、係数復号部２８２、および情報復号部２８３により構成される。
【０２９８】
可逆復号部２５２の分離部２８１は、図３７の蓄積バッファ２５１から供給される多重化ストリームを係数符号化ストリームと情報符号化ストリームに分離する。分離部２８１は、係数符号化ストリームを係数復号部２８２に供給し、情報符号化ストリームを情報復号部２８３に供給する。
【０２９９】
係数復号部２８２は、有意係数判定部２９１、奥行き有意係数判定部２９２、輝度有意係数判定部２９３、色差有意係数判定部２９４、奥行き係数復号部２９５、輝度係数復号部２９６、色差係数復号部２９７、およびコンポーネント合成部２９８により構成される。
【０３００】
係数復号部２８２の有意係数判定部２９１は、分離部２８１から供給される係数符号化ストリームにno_residual_dataフラグが含まれている場合、そのno_residual_dataフラグが0であるかどうかを判定する。有意係数判定部２９１は、no_residual_dataフラグが0である場合、または、係数符号化ストリームにno_residual_dataフラグが含まれていない場合、有意係数判定部２９１は、係数符号化ストリームを奥行き成分、輝度成分、および色差成分に分離する。有意係数判定部２９１は、係数符号化ストリームの奥行き成分を奥行き有意係数判定部２９２に供給し、輝度成分を輝度有意係数判定部２９３に供給し、色差成分を色差有意係数判定部２９４に供給する。
【０３０１】
奥行き有意係数判定部２９２は、有意係数判定部２９１から供給される係数符号化ストリームの奥行き成分に含まれる奥行き成分の有意係数フラグが1であるかどうかを判定する。奥行き有意係数判定部２９２は、奥行き成分の有意係数フラグが1であると判定した場合、係数符号化ストリームの奥行き成分に含まれる可逆符号化された係数の奥行き成分を奥行き係数復号部２９５に供給する。
【０３０２】
輝度有意係数判定部２９３と色差有意係数判定部２９４は、それぞれ、処理対象の成分が輝度成分、色差成分であることを除いて、奥行き有意係数判定部２９２と同様の処理を行うので、説明は省略する。
【０３０３】
奥行き係数復号部２９５は、奥行き有意係数判定部２９２から供給される可逆符号化された係数の奥行き成分を可逆復号し、その結果得られる係数の奥行き成分をコンポーネント合成部２９８に供給する。
【０３０４】
輝度係数復号部２９６と色差係数復号部２９７は、それぞれ、処理対象の成分が輝度成分、色差成分であることを除いて、奥行き係数復号部２９５と同様の処理を行うので、説明は省略する。
【０３０５】
コンポーネント合成部２９８は、奥行き係数復号部２９５からの係数の奥行き成分、輝度係数復号部２９６からの係数の輝度成分、および色差係数復号部２９７からの係数の色差成分を合成する。このとき、供給されない各成分の係数は0とされる。従って、no_residual_dataフラグが1である場合、最上層のコーディングユニットの係数の全成分は0とされる。また、所定の成分の有意係数フラグが0であるコーディングユニットの係数の、その成分は0とされる。コンポーネント合成部２９８は、合成後の係数を図３７の逆量子化部２５３に供給する。
【０３０６】
情報復号部２８３は、画面内予測情報復号部３０１と動き情報復号部３０２により構成される。
【０３０７】
情報復号部２８３の画面内予測情報復号部３０１は、分離部２８１から供給される情報符号化ストリームが画面内予測情報の符号化ストリームである場合、情報符号化ストリームを復号し、画面内予測情報を得る。画面内予測情報復号部３０１は、得られた画面内予測情報を画面内予測部２６０（図３７）に供給するとともに、最適予測モードがイントラ予測モードである旨をスイッチ２６２に供給する。
【０３０８】
動き情報復号部３０２は、分離部２８１から供給される情報符号化ストリームが動き情報の符号化ストリームである場合、情報符号化ストリームを復号し、動き情報を得る。動き情報復号部３０２は、得られた動き情報を動き補償部２６１（図３７）に供給するとともに、最適予測モードがインター予測モードである旨をスイッチ２６２に供給する。
【０３０９】
［画面内予測部の構成例］
図３９は、図３７の画面内予測部２６０の構成例を示すブロック図である。
【０３１０】
図３９の画面内予測部２６０は、コンポーネント分離部３２１、輝度画面内予測部３２２、色差画面内予測部３２３、奥行き画面内予測部３２４、およびコンポーネント合成部３２５により構成される。
【０３１１】
画面内予測部２６０のコンポーネント分離部３２１は、図３７の加算部２５５から供給される参照画像の輝度成分、色差成分、および奥行き成分を分離する。コンポーネント分離部３２１は、参照画像の輝度成分を輝度画面内予測部３２２に供給し、色差成分を色差画面内予測部３２３に供給する。また、コンポーネント分離部３２１は、参照画像の奥行き成分を奥行き画面内予測部３２４に供給する。
【０３１２】
輝度画面内予測部３２２は、コンポーネント分離部３２１から供給される参照画像の輝度成分を用いて、図３７の可逆復号部２５２から供給される輝度成分用の画面内予測情報が表す最適イントラ予測モードの画面内予測を行う。そして、輝度画面内予測部３２２は、その結果生成される予測画像の輝度成分をコンポーネント合成部３２５に供給する。
【０３１３】
色差画面内予測部３２３は、コンポーネント分離部３２１から供給される参照画像の色差成分を用いて、図３７の可逆復号部２５２から供給される色差成分用の画面内予測情報が表す最適イントラ予測モードの画面内予測を行う。色差画面内予測部３２３は、その結果生成される予測画像の色差成分をコンポーネント合成部３２５に供給する。
【０３１４】
奥行き画面内予測部３２４は、図３７の可逆復号部２５２から供給される色差成分用の画面内予測情報が表す最適イントラ予測モードを、奥行き成分用の最適イントラ予測モードとする。即ち、奥行き画面内予測部３２４は、色差画面内予測部３２３と最適イントラ予測モードを共有する。奥行き画面内予測部３２４は、コンポーネント分離部３２１から供給される参照画像の奥行き成分を用いて、奥行き成分用の最適イントラ予測モードの画面内予測を行い、予測画像の奥行き成分を生成する。そして、奥行き画面内予測部３２４は、予測画像の奥行き成分をコンポーネント合成部３２５に供給する。
【０３１５】
コンポーネント合成部３２５は、輝度画面内予測部３２２からの予測画像の輝度成分、色差画面内予測部３２３からの予測画像の色差成分、および奥行き画面内予測部３２４からの予測画像の奥行き成分を合成する。コンポーネント合成部３２５は、合成の結果得られる予測画像を、図３７のスイッチ２６２に供給する。
【０３１６】
［動き補償部の構成例］
図４０は、図３７の動き補償部２６１の構成例を示すブロック図である。
【０３１７】
図４０の動き補償部２６１は、コンポーネント分離部３４１、動き情報変換部３４２、輝度動き補償部３４３、色差動き補償部３４４、奥行き動き補償部３４５、およびコンポーネント合成部３４６により構成される。
【０３１８】
動き補償部２６１のコンポーネント分離部３４１は、図３７の加算部２５５から供給される参照画像の輝度成分、色差成分、および奥行き成分を分離する。コンポーネント分離部３４１は、参照画像の輝度成分を輝度動き補償部３４３に供給し、色差成分を色差動き補償部３４４に供給する。また、コンポーネント分離部３４１は、参照画像の奥行き成分を奥行き動き補償部３４５に供給する。
【０３１９】
動き情報変換部３４２は、図３７の可逆復号部２５２から供給される動き情報を輝度動き補償部３４３に供給する。また、動き情報変換部３４２は、図２１の動き情報変換部１７２と同様に、カラー画像の輝度成分と、カラー画像の色差成分および解像度変換後の奥行き画像の解像度に基づいて、動き情報のうちの動きベクトルを変換する。動き情報変換部３４２は、変換後の動きベクトルと最適インター予測モードを色差動き補償部３４４と奥行き動き補償部３４５に供給する。
【０３２０】
輝度動き補償部３４３は、動き情報変換部３４２から供給される動き情報に基づいて、コンポーネント分離部３４１を介して参照画像の輝度成分を読み出すことにより動き補償処理を行い、予測画像の輝度成分を生成する。そして、輝度動き補償部３４３は、予測画像の輝度成分をコンポーネント合成部３４６に供給する。
【０３２１】
色差動き補償部３４４は、動き情報変換部３４２から供給される最適インター予測モードと変換後の動きベクトルに基づいて、コンポーネント分離部３４１を介して参照画像の色差成分を読み出すことにより動き補償を行う。即ち、色差動き補償部３４４は、最適インター予測モードと動きベクトルを、輝度動き補償部３４３と共有して動き補償処理を行う。そして、色差動き補償部３４４は、その結果生成される予測画像の色差成分をコンポーネント合成部３４６に供給する。
【０３２２】
奥行き動き補償部３４５は、動き情報変換部３４２から供給される最適インター予測モードと変換後の動きベクトルに基づいて、コンポーネント分離部３４１を介して参照画像の奥行き成分を読み出すことにより動き補償を行う。即ち、奥行き動き補償部３４５は、最適インター予測モードと動きベクトルを、輝度動き補償部３４３と共有して動き補償処理を行う。そして、奥行き動き補償部３４５は、その結果生成される予測画像の奥行き成分をコンポーネント合成部３４６に供給する。
【０３２３】
コンポーネント合成部３４６は、輝度動き補償部３４３からの予測画像の輝度成分、色差動き補償部３４４からの予測画像の色差成分、および奥行き動き補償部３４５からの予測画像の奥行き成分を合成する。コンポーネント合成部３４６は、合成の結果得られる予測画像を、図３７のスイッチ２６２に供給する。
【０３２４】
［画像分離部の構成例］
図４１は、図３６の画像分離部２３２の構成例を示すブロック図である。
【０３２５】
図４１の画像分離部２３２は、コンポーネント分離処理部３６１と解像度変換処理部３６２により構成される。
【０３２６】
画像分離部２３２のコンポーネント分離処理部３６１は、図３６の多視点画像復号部２３１からの所定の視点の多重化画像の輝度成分、色差成分、および奥行き成分を分離する。コンポーネント分離処理部３６１は、分離された所定の視点の多重化画像の輝度成分を輝度成分とし、色差成分を色差成分として合成することにより所定の視点のカラー画像を生成する。コンポーネント分離処理部３６１は、所定の視点のカラー画像を図３６の多視点画像合成部５３に供給する。また、コンポーネント分離処理部３６１は、分離された所定の視点の多重化画像の奥行き成分を解像度変換処理部３６２に供給する。
【０３２７】
解像度変換処理部３６２は、コンポーネント分離処理部３６１から供給される所定の視点の多重化画像の奥行き成分の解像度を、所定の視点のカラー画像の輝度成分の解像度と同一になるように変換する。解像度変換処理部３６２は、解像度変換後の奥行き成分を所定の視点の奥行き画像として生成し、多視点画像合成部５３に供給する。
【０３２８】
［復号装置の処理の説明］
図４２は、図３６の復号装置２３０による復号処理を説明するフローチャートである。この復号処理は、例えば、図１６の符号化装置８０から多重化画像符号化ストリームが入力されたとき、開始される。
【０３２９】
図４２のステップＳ２４１において、復号装置２３０の多視点画像復号部２３１は、図１６の符号化装置８０から伝送されてくる多重化画像符号化ストリームを、視点ごとにHEVC方式等に準じた符号化方式に対応する方式で復号する多重化画像復号処理を行う。この多重化画像復号処理の詳細は、後述する図４３を参照して説明する。
【０３３０】
ステップＳ２４２において、画像分離部２３２は、多視点画像復号部２３１から供給される多重化画像をカラー画像と奥行き画像に分離する分離処理を行う。この分離処理の詳細は、後述する図４５を参照して説明する。
【０３３１】
ステップＳ２４３とＳ２４４の処理は、図１４のステップＳ５３とＳ５４の処理と同様であるので、説明は省略する。
【０３３２】
図４３は、図４２のステップＳ２４１の多重化画像復号処理の詳細を説明するフローチャートである。この多重化画像復号処理は、視点ごとに行われる。
【０３３３】
図４３のステップＳ２６０において、復号部２５０の蓄積バッファ２５１は、図１６の符号化装置８０から伝送されてくる所定の視点の多重化画像符号化ストリームを受け取り、蓄積する。蓄積バッファ２５１は、蓄積されている多重化画像符号化ストリームを可逆復号部２５２に供給する。
【０３３４】
ステップＳ２６１において、可逆復号部２５２の情報復号部２８３（図３８）は、蓄積バッファ２５１から分離部２８１を介して供給される多重化画像符号化ストリームのうちの情報符号化ストリームを復号する。
【０３３５】
具体的には、情報符号化ストリームが画面内予測情報の符号化ストリームである場合、画面内予測情報復号部３０１が情報符号化ストリームを復号し、その結果得られる画面内予測情報を画面内予測部２６０に供給する。また、画面内予測情報復号部３０１は、最適予測モードがイントラ予測モードである旨をスイッチ２６２に供給する。
【０３３６】
一方、情報符号化ストリームが動き情報の符号化ストリームである場合、動き情報復号部３０２が情報符号化ストリームを復号し、その結果得られる動き情報を画面内予測部２６０に供給する。また、動き情報復号部３０２は、最適予測モードがインター予測モードである旨をスイッチ２６２に供給する。
【０３３７】
ステップＳ２６２において、可逆復号部２５２の係数復号部２８２（図３８）は、蓄積バッファ２５１から分離部２８１を介して供給される多重化画像符号化ストリームのうちの係数符号化ストリームを可逆復号する可逆復号処理を行う。この可逆復号処理の詳細は、後述する図４４を参照して説明する。
【０３３８】
ステップＳ２６３において、逆量子化部２５３は、可逆復号部２５２からの量子化された係数を逆量子化し、その結果得られる係数を逆直交変換部２５４に供給する。
【０３３９】
ステップＳ２６４において、逆直交変換部２５４は、逆量子化部２５３からの係数に対して逆直交変換を施し、その結果得られる残差情報を加算部２５５に供給する。
【０３４０】
ステップＳ２６５において、動き補償部２６１は、可逆復号部２５２の動き情報復号部３０２（図３８）から動き情報が供給されたかどうかを判定する。ステップＳ２６５で動き情報が供給されたと判定された場合、処理はステップＳ２６６に進む。
【０３４１】
ステップＳ２６６において、動き補償部２６１は、動き情報に基づいて、フレームメモリ２５９から参照画像を読み出すことにより、動き補償処理を行う。この動き補償処理は、コスト関数値が供給されず、出力されない点を除いて図３４の動き補償処理と同様であるので、詳細な説明は省略する。動き補償部２６１は、動き補償処理の結果生成される予測画像を、スイッチ２６２を介して加算部２５５に供給し、処理をステップＳ２６８に進める。
【０３４２】
一方、ステップＳ２６５で動き情報が供給されていないと判定された場合、即ち画面内予測情報が画面内予測情報復号部３０１（図３８）から供給された場合、処理はステップＳ２６７に進む。
【０３４３】
ステップＳ２６７において、画面内予測部２６０は、加算部２５５から供給される参照画像を用いて、画面内予測情報が示す最適イントラ予測モードの画面内予測処理を行う。この画面内予測処理は、最適イントラ予測モードの画面内予測のみを行う点、および、コスト関数値を求めて最適イントラ予測モードを決定しない点等を除いて、図３３の画面内予測処理と同様であるので詳細な説明は省略する。画面内予測部２６０は、その結果生成される予測画像を、スイッチ２６２を介して加算部２５５に供給し、処理をステップＳ２６８に進める。
【０３４４】
ステップＳ２６８において、加算部２５５は、逆直交変換部２５４から供給される残差情報と、スイッチ２６２から供給される予測画像を加算する。加算部２５５は、その結果得られる多重化画像をデブロックフィルタ２５６に供給するとともに、参照画像として画面内予測部２６０に供給する。
【０３４５】
ステップＳ２６９において、デブロックフィルタ２５６は、加算部２５５から供給される多重化画像に対してフィルタリングを行い、ブロック歪を除去する。
【０３４６】
ステップＳ２７０において、デブロックフィルタ２５６は、フィルタリング後の多重化画像をフレームメモリ２５９に供給し、蓄積させるとともに、画面並べ替えバッファ２５７に供給する。フレームメモリ２５９に蓄積された多重化画像は、参照画像として動き補償部２６１に供給される。
【０３４７】
ステップＳ２７１において、画面並べ替えバッファ２５７は、デブロックフィルタ２５６から供給される多重化画像をフレーム単位で記憶し、記憶した符号化のための順番のフレーム単位の多重化画像を、元の表示の順番に並び替え、D/A変換部２５８に供給する。
【０３４８】
ステップＳ２７２において、D/A変換部２５８は、画面並べ替えバッファ２５７から供給されるフレーム単位の多重化画像をD/A変換し、所定の視点の多重化画像として図３６の画像分離部２３２に供給する。
【０３４９】
図４４は、図４３のステップＳ２６２の可逆復号処理の詳細を説明するフローチャートである。
【０３５０】
図４４のステップＳ２９０において、係数復号部２８２の有意係数判定部２９１は、分離部２８１から供給される係数符号化ストリームにno_residual_dataフラグが含まれているかどうかを判定する。
【０３５１】
ステップＳ２９０で係数符号化ストリームにno_residual_dataフラグが含まれていると判定された場合、処理はステップＳ２９１に進む。ステップＳ２９１において、有意係数判定部２９１は、最上層のコーディングユニットの全成分の係数の中に有意係数があるかどうか、即ち、no_residual_dataフラグが0であるかどうかを判定する。
【０３５２】
ステップＳ２９１で最上層のコーディングユニットの全成分の係数の中に有意係数があると判定された場合、または、ステップＳ２９０で係数符号化ストリームにno_residual_dataフラグが含まれていないと判定された場合、有意係数判定部２９１は、係数符号化ストリームを奥行き成分、輝度成分、および色差成分に分離する。そして、有意係数判定部２９１は、係数符号化ストリームの奥行き成分を奥行き有意係数判定部２９２に供給し、輝度成分を輝度有意係数判定部２９３に供給し、色差成分を色差有意係数判定部２９４に供給する。
【０３５３】
そして、ステップＳ２９２において、輝度有意係数判定部２９３は、有意係数判定部２９１から供給される係数符号化ストリームの輝度成分に含まれる輝度成分の有意係数フラグに基づいて、輝度成分の有意係数があるかどうかを判定する。
【０３５４】
輝度成分の有意係数フラグが1である場合、輝度有意係数判定部２９３は、ステップＳ２９２で輝度成分の有意係数があると判定し、係数符号化ストリームの輝度成分に含まれる可逆符号化された係数の輝度成分を輝度係数復号部２９６に供給する。
【０３５５】
そして、ステップＳ２９３において、輝度係数復号部２９６は、輝度有意係数判定部２９３から供給される可逆符号化された係数の輝度成分を可逆復号して、コンポーネント合成部２９８に供給し、処理をステップＳ２９４に進める。
【０３５６】
一方、輝度成分の有意係数フラグが0である場合、輝度有意係数判定部２９３は、ステップＳ２９２で輝度成分の有意係数がないと判定し、処理をステップＳ２９４に進める。
【０３５７】
ステップＳ２９４において、色差有意係数判定部２９４は、有意係数判定部２９１から供給される係数符号化ストリームの色差成分に含まれる色差成分の有意係数フラグに基づいて、色差成分の有意係数があるかどうかを判定する。
【０３５８】
色差成分の有意係数フラグが1である場合、色差有意係数判定部２９４は、ステップＳ２９４で色差成分の有意係数があると判定し、係数符号化ストリームの色差成分に含まれる可逆符号化された係数の色差成分を色差係数復号部２９７に供給する。
【０３５９】
そして、ステップＳ２９５において、色差係数復号部２９７は、色差有意係数判定部２９４から供給される可逆符号化された係数の色差成分を可逆復号して、コンポーネント合成部２９８に供給し、処理をステップＳ２９６に進める。
【０３６０】
一方、色差成分の有意係数フラグが0である場合、色差有意係数判定部２９４は、ステップＳ２９４で色差成分の有意係数がないと判定し、処理をステップＳ２９６に進める。
【０３６１】
ステップＳ２９６において、奥行き有意係数判定部２９２は、有意係数判定部２９１から供給される係数符号化ストリームの奥行き成分に含まれる奥行き成分の有意係数フラグに基づいて、奥行き成分の有意係数があるかどうかを判定する。
【０３６２】
奥行き成分の有意係数フラグが1である場合、奥行き有意係数判定部２９２は、ステップＳ２９６で奥行き成分の有意係数があると判定し、係数符号化ストリームの奥行き成分に含まれる可逆符号化された係数の奥行き成分を奥行き係数復号部２９５に供給する。
【０３６３】
そして、ステップＳ２９７において、奥行き係数復号部２９５は、奥行き有意係数判定部２９２から供給される可逆符号化された係数の奥行き成分を可逆復号して、コンポーネント合成部２９８に供給し、処理をステップＳ２９８に進める。
【０３６４】
一方、奥行き成分の有意係数フラグが0である場合、奥行き有意係数判定部２９２は、ステップＳ２９６で奥行き成分の有意係数がないと判定し、処理をステップＳ２９８に進める。
【０３６５】
ステップＳ２９８において、コンポーネント合成部２９８は、輝度係数復号部２９６からの係数の輝度成分、色差係数復号部２９７からの係数の色差成分、および奥行き係数復号部２９５からの係数の奥行き成分を合成する。このとき、供給されない各成分の係数は0とされる。コンポーネント合成部２９８は、合成後の係数を図３７の逆量子化部２５３に供給し、処理を図４３のステップＳ２６２に戻す。そして、処理はステップＳ２６３に進む。
【０３６６】
図４５は、図４２のステップＳ２４２の分離処理を説明するフローチャートである。
【０３６７】
図４５のステップＳ３１１において、画像分離部２３２のコンポーネント分離処理部３６１（図４１）は、多視点画像復号部２３１からの所定の視点の多重化画像の輝度成分、色差成分、および奥行き成分を分離する。また、コンポーネント分離処理部３６１は、分離された所定の視点の多重化画像の奥行き成分を解像度変換処理部３６２に供給する。
【０３６８】
ステップＳ３１２において、コンポーネント分離処理部３６１は、分離された所定の視点の多重化画像の輝度成分を輝度成分とし、色差成分を色差成分として合成することにより所定の視点のカラー画像を生成する。そして、コンポーネント分離処理部３６１は、所定の視点のカラー画像を図３６の多視点画像合成部５３に供給する。
【０３６９】
ステップＳ３１３において、解像度変換処理部３６２は、コンポーネント分離処理部３６１から供給される所定の視点の多重化画像の奥行き成分の解像度を、所定の視点のカラー画像の輝度成分の解像度と同一になるように変換する。解像度変換処理部３６２は、解像度変換後の奥行き成分を所定の視点の奥行き画像として、多視点画像合成部５３に供給する。そして、処理は、図４２のステップＳ２４２に戻り、ステップＳ２４３に進む。
【０３７０】
以上のように、復号装置２３０は、色差成分と奥行き成分の符号化に関する情報としての最適イントラ予測モードや最適インター予測モードおよび動きベクトルを共有して、符号化することにより符号化効率を向上させた多重化画像符号化ストリームを復号することができる。
【０３７１】
＜第３実施の形態＞
［符号化装置の構成例］
図４６は、本技術を適用した符号化装置の第３実施の形態の構成例を示すブロック図である。
【０３７２】
図４６に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０３７３】
図４６の符号化装置３８０の構成は、画像多重化部２２−１乃至２２−Ｎ、多視点画像符号化部２３の代わりに、画像符号化部３８１−１乃至３８１−Ｎ（Ｎは多視点の３Ｄ画像の視点数、本実施の形態ではＮは３以上の整数）、生成部３８２が設けられている点が図２の構成と異なる。符号化装置３８０は、カラー画像と奥行き画像を、符号化パラメータを共有して符号化し、カラー画像の符号化ストリームと奥行き画像の符号化ストリームを別のNAL(Network Abstraction Layer)ユニットとして伝送する。
【０３７４】
具体的には、符号化装置３８０の符号化部３８１−１は、多視点画像分離部２１から供給される視点＃１のカラー画像をベース画像としてHEVC方式で符号化する。また、符号化部３８１−１は、多視点画像分離部２１から供給される視点＃１の奥行き画像を、視点＃１のカラー画像の輝度成分または色差成分の符号化パラメータを用いてHEVC方式に準じた方式で符号化する。そして、符号化部３８１−１は、符号化の結果得られるベース画像と奥行き画像のスライス単位の符号化ストリームを生成部３８２に供給する。
【０３７５】
符号化部３８１−２乃至３８１−Ｎは、それぞれ、多視点画像分離部２１から供給されるカラー画像をノンベース画像としてHEVC方式に準じた方式で符号化する。このとき、ベース画像も参照画像として用いられる。また、符号化部３８１−２乃至３８１-Ｎは、それぞれ、多視点画像分離部２１から供給される奥行き画像を、対応する視点のカラー画像の輝度成分または色差成分の符号化パラメータを用いて、HEVC方式に準じた方式で符号化する。このとき、ベース画像の奥行き画像も参照画像として用いられる。符号化部３８１−２乃至３８１−Ｎは、符号化の結果得られるノンベース画像と奥行き画像のスライス単位の符号化ストリームを生成部３８２に供給する。
【０３７６】
なお、以下では、符号化部３８１−１乃至符号化部３８１−Ｎを特に区別する必要がない場合、それらをまとめて符号化部３８１という。
【０３７７】
生成部３８２は、符号化部３８１から供給されるベース画像、ノンベース画像、および奥行き画像のスライス単位の符号化ストリームから、それぞれ、別のNALユニットを生成する。具体的には、生成部３８２は、ベース画像、ノンベース画像、および奥行き画像のスライス単位の符号化ストリームに、それぞれ、異なるNALユニットのタイプを表す情報（以下、タイプ情報という）を含むNALヘッダを付加することにより、NALユニットを生成する。
【０３７８】
また、生成部３８２は、ベース画像用のSPS（Sequence Parameter Set），ノンベース画像用のSPS,奥行き画像用のSPS,およびPPS（Picture Parameter Set）のNALユニットを生成する。そして、生成部３８２は、生成された各NALユニットを配置した多視点画像符号化ストリームを伝送する。
【０３７９】
［符号化部の構成例］
図４７は、図４６の符号化部３８１−１の構成例を示すブロック図である。
【０３８０】
図４７の符号化部３８１−１は、カラー符号化部４０１、スライスヘッダ符号化部４０２、奥行き符号化部４０３、およびスライスヘッダ符号化部４０４により構成される。
【０３８１】
カラー符号化部４０１は、奥行き成分がない点、および、動き情報と画面内情報を奥行き符号化部４０３に供給する点を除いて、図１９の符号化部１２０と同様である。具体的には、カラー符号化部４０１は、図４６の多視点画像分離部２１から供給されるベース画像の輝度成分と色差成分をHEVC方式で符号化する。また、カラー符号化部４０１は、符号化時に用いられた輝度成分と色差成分の符号化パラメータとしての動き情報または画面内情報を奥行き符号化部４０３に供給する。
【０３８２】
スライスヘッダ符号化部４０２は、カラー符号化部４０１による符号化の結果得られるベース画像のスライス単位の符号化ストリームに関する情報をスライスヘッダとして生成する。スライスヘッダ符号化部４０２は、生成されたスライスヘッダを、ベース画像のスライス単位の符号化ストリームに付加し、図４６の生成部３８２に供給する。
【０３８３】
奥行き符号化部４０３は、カラー符号化部４０１から供給される動き情報または画面内情報を用いて、多視点画像分離部２１から供給されるベース画像の奥行き画像をHEVC方式で符号化する。奥行き符号化部４０３は、符号化の結果得られるベース画像の奥行き画像の符号化ストリームをスライスヘッダ符号化部４０４に供給する。
【０３８４】
スライスヘッダ符号化部４０４は、奥行き符号化部４０３から供給されるベース画像の奥行き画像のスライス単位の符号化ストリームに関する情報をスライスヘッダとして生成する。スライスヘッダ符号化部４０４は、生成されたスライスヘッダを、ベース画像の奥行き画像のスライス単位の符号化ストリームに付加し、生成部３８２に供給する。
【０３８５】
なお、図示は省略するが、符号化部３８１−２乃至３８１−Ｎの構成は、カラー符号化部がノンベース画像をベース画像も参照して符号化する点、および、奥行き符号化部がノンベース画像の奥行き画像をベース画像の奥行き画像も参照して符号化する点を除いて、図４７の構成と同様である。
【０３８６】
［奥行き符号化部の構成例］
図４８は、図４７の奥行き符号化部４０３の構成例を示すブロック図である。
【０３８７】
図４８に示す構成のうち、図１９の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０３８８】
図４８の奥行き符号化部４０３の構成は、可逆符号化部１２６、画面内予測部１３３、動き補償部１３４、選択部１３６の代わりに、可逆符号化部４２０、画面内予測部４２１、動き補償部４２２、選択部４２３が設けられている点、および、動き予測部１３５が設けられない点が図１９の構成と異なる。
【０３８９】
奥行き符号化部４０３の可逆符号化部４２０は、図１９の可逆符号化部１２６と同様に、量子化部１２５から供給される量子化された係数に対して可逆符号化を行い、その結果得られる符号化ストリームを蓄積バッファ１２７に供給し、蓄積させる。
【０３９０】
画面内予測部４２１は、図４７のカラー符号化部４０１から供給される輝度成分および色差成分の画面内予測情報のうち、奥行き画像と同一の解像度の輝度成分または色差成分の画面内予測情報を奥行き画像の画面内予測情報として選択する。即ち、画面内予測部４２１は、設定部として機能し、画面内予測情報を、カラー画像の輝度成分または色差成分と奥行き画像で共有するように設定する。
【０３９１】
画面内予測部４２１は、加算部１３０から供給された参照画像を用いて、選択された画面内予測情報が示す最適イントラ予測モードの画面内予測処理を行い、予測画像を生成する。画面内予測部４２１は、生成された予測画像を選択部４２３に供給する。
【０３９２】
動き補償部４２２は、カラー符号化部４０１から供給される輝度成分および色差成分の動き情報のうち、奥行き画像と同一の解像度の輝度成分または色差成分の動き情報を選択する。即ち、動き補償部４２２は、設定部として機能し、動き情報を、カラー画像の輝度成分または色差成分と奥行き画像で共有するように設定する。
【０３９３】
動き補償部４２２は、選択された動き情報が示す最適インター予測モードと動きベクトルに基づいて、フレームメモリ１３２から参照画像を読み出すことにより、動き補償処理を行う。動き補償部４２２は、その結果生成される予測画像を選択部１３６に供給する。
【０３９４】
選択部４２３は、画面内予測部４２１または動き補償部４２２から供給される予測画像を、演算部１２３および加算部１３０に供給する。
【０３９５】
［生成部の構成例］
図４９は、図４６の生成部３８２の構成例を示すブロック図である。
【０３９６】
図４９の生成部３８２は、NAL化部４５０、PPS符号化部４５１、およびSPS符号化部４５２により構成される。
【０３９７】
生成部３８２のNAL化部４５０は、生成部として機能し、図４６の符号化部３８１から供給されるベース画像、ノンベース画像、および奥行き画像のスライス単位の符号化ストリームから、それぞれ、別のNALユニットを生成し、PPS符号化部４５１に供給する。
【０３９８】
PPS符号化部４５１は、PPSのNALユニットを生成する。PPS符号化部４５１は、NAL化部４５０から供給される符号化ストリームのNALユニットにPPSのNALユニットを付加し、SPS符号化部４５２に供給する。
【０３９９】
SPS符号化部４５２は、ベース画像用のSPS，ノンベース画像用のSPS、および奥行き画像用のSPSのNALユニットを生成する。SPS符号化部４５２は、生成されたSPSのNALユニットを、PPS符号化部４５１から供給されるNALユニットに付加して、多視点画像符号化ストリームを生成し、出力する。
【０４００】
［多視点画像符号化ストリームの構成］
図５０は、多視点画像符号化ストリームの構成例を示す図である。
【０４０１】
図５０に示すように、多視点画像符号化画像ストリームには、ベース画像用のSPS,ノンベース画像用のSPS,奥行き画像用のSPS,PPS、視点＃１のカラー画像のスライス単位の符号化ストリーム、視点＃１の奥行き画像のスライス単位の符号化ストリーム、視点＃２のカラー画像のスライス単位の符号化ストリーム、視点＃２の奥行き画像のスライス単位の符号化ストリーム、・・・、視点＃Ｎのカラー画像のスライス単位の符号化ストリーム、視点＃Ｎの奥行き画像のスライス単位の符号化ストリームのNALユニットが順に配置される。
【０４０２】
［タイプ情報の例］
図５１は、タイプ情報の例を示す図である。
【０４０３】
図５１の例では、ノンベース画像用のSPSのNALヘッダに含まれるタイプ情報は24であり、奥行き画像用のSPSのNALヘッダに含まれるタイプ情報は25である。また、ノンベース画像のスライス単位の符号化ストリームのNALヘッダに含まれるタイプ情報は26であり、奥行き画像のスライス単位の符号化ストリームのNALヘッダに含まれるタイプ情報は27である。
【０４０４】
［奥行き画像用のSPSのシンタックスの例］
図５２は、奥行き画像用のSPSのシンタックスの例を示す図である。
【０４０５】
なお、図５２の左側の数字は行番号を表すものであり、シンタックスの一部ではない。このことは、後述する図５３乃至図５７においても同様である。
【０４０６】
図５２の第２行目に示すように、奥行き画像用のSPSには、コーディングユニット単位でQP(Quant parameter)を制御するかどうかを示すQP制御フラグ（cu_qp_delta_enabled_flag）が記述される。これにより、奥行き画像とカラー画像のQPを独立に制御することができる。
【０４０７】
また、第３行目に示すように、奥行き画像用のSPSには、奥行き画像の解像度がカラー画像の輝度成分の解像度と等しいか、または、色差成分の解像度と等しいかを示す解像度フラグ(luma_resolution_flag)（解像度情報）が記述される。ここでは、奥行き画像の解像度がカラー画像の輝度成分の解像度と等しい場合、解像度フラグが1であり、奥行き画像の解像度がカラー画像の色差成分の解像度と等しい場合、解像度フラグが0であるものとする。
【０４０８】
[ノンベース画像のスライスヘッダのシンタックスの例]
図５３は、ノンベース画像のスライスヘッダのシンタックスの例を示す図である。
【０４０９】
図５３の第３行目に示すように、ノンベース画像のスライスヘッダには、対応する視点に固有のＩＤである視点ＩＤ（view_id）が記述される。この視点ＩＤは、後述するように、奥行き画像のスライスヘッダにも記述され、同一の視点ＩＤをスライスヘッダに含むノンベース画像と奥行き画像は対応している。
【０４１０】
[奥行き画像のスライスヘッダのシンタックスの例]
図５４は、奥行き画像のスライスヘッダのシンタックスの例を示す図である。
【０４１１】
奥行き画像とカラー画像のQPは独立に制御されるため、図５４の第２行目に示すように、奥行き画像のスライスヘッダには、スライス単位の奥行き画像においてベースとなるQPを表すベースQP値(slice_qp_delta)が記述される。
【０４１２】
また、第３行目乃至第７行目に示すように、奥行き画像のスライスヘッダには、奥行き符号化部４０３のデブロックフィルタ１３１（図４８）のパラメータを示す情報が記述される。これにより、カラー画像と奥行き画像のデブロックフィルタを独立に制御することができる。
【０４１３】
なお、奥行き画像のスライスヘッダには、デブロックフィルタ１３１以外のALF（Adaptive loop filter）やSAO(Sample adaptive offset)等のin-loop filterのパラメータが記述され、これらのin-loop filterが、カラー画像と奥行き画像で独立に制御されるようにしてもよい。
【０４１４】
また、第１０行目に示すように、奥行き画像のスライスヘッダには、ビューＩＤが記述される。
【０４１５】
なお、図示は省略するが、視点ＩＤは、ベース画像のスライスヘッダにも含まれており、同一の視点ＩＤをスライスヘッダに含むベース画像と奥行き画像は対応している。
【０４１６】
[最上層のコーディングユニット単位の符号化ストリームのシンタックスの例]
図５５は、最上層のコーディングユニット（CU）単位の符号化ストリームのシンタックスの例を示す図である。
【０４１７】
図５５の第２０行目乃至第３５行目に示すように、CU単位の符号化ストリームには、解像度フラグ(luma_resolution_flag)が1である場合、図２３および図２４に示した輝度成分の有意係数フラグの方式の有意係数フラグを含む情報(transform_tree_disparity_to_luma)（以下、輝度方式有意係数情報という）とCU単位のQP（transform_disparity_coeff）が記述される。一方、解像度フラグが1ではない場合、図２３および図２４に示した色差成分の有意係数フラグの方式の有意係数フラグを含む情報(transform_tree_disparity_to_chroma)（以下、色差方式有意係数情報という）とCU単位のQP（transform_disparity_coeff）が記述される。
【０４１８】
即ち、奥行き画像の解像度が輝度成分の解像度と同一である場合、CUの符号化ストリームには、輝度方式有意係数情報とCU単位のQPが記述され、奥行き画像の解像度が色差成分の解像度と同一である場合、色差方式有意係数情報とCU単位のQPが記述される。
【０４１９】
図５６は、輝度方式有意係数情報のシンタックスの例を示す図である。
【０４２０】
図５６の第３行目、第４行目等に示すように、輝度方式有意係数情報には、カラー画像の輝度成分の最適予測モードが最適インター予測モードである場合、no_residual_dataフラグが記述される。
【０４２１】
また、第１３行目乃至第２０行目に示すように、輝度方式有意係数情報には、最下層のCUのサイズを示す情報が記述される。また、第２２行目および第２３行目に示すように、カラー画像の輝度成分の最適予測モードがイントラ予測モードである場合、奥行き画像の最上層のCU以外のCUの有意係数フラグ（cbf_dp）が記述される。
【０４２２】
図５７は、色差方式有意係数情報のシンタックスの例を示す図である。
【０４２３】
図５７の第３行目、第４行目等に示すように、色差方式有意係数情報には、カラー画像の色差成分の最適予測モードが最適インター予測モードである場合、no_residual_dataフラグが記述される。
【０４２４】
また、第１４行目乃至第２０行目に示すように、色差方式有意係数情報には、カラー画像の色差成分の最適予測モードが最適インター予測モードである場合、自分より1つ上の階層のCUの有意係数フラグが1であるか、または、自分が最上層のCUである場合、奥行き画像の有意係数フラグ（cbf_dp）が記述される。
【０４２５】
さらに、第２３行目乃至第２９行目に示すように、色差方式有意係数情報には、最下層のCUのサイズを示す情報が記述される。また、第３１行目乃至第３５行目に示すように、色差方式有意係数情報には、カラー画像の色差成分の最適予測モードが最適イントラ予測モードである場合、奥行き画像の最上層のCU以外のCUの有意係数フラグ（cbf_dp）が記述される。
【０４２６】
［符号化装置の処理］
図５８は、図４６の符号化装置３８０の符号化処理を説明するフローチャートである。
【０４２７】
図５８のステップＳ３３１において、符号化装置３８０の多視点画像分離部２１は、符号化装置３８０に入力される多視点の３Ｄ画像を分離し、各視点のカラー画像と奥行き画像を得る。そして、多視点画像分離部２１は、各視点のカラー画像と奥行き画像を、視点ごとに、符号化部３８１に供給する。
【０４２８】
ステップＳ３３２において、符号化部３８１は、各視点のカラー画像と奥行き画像を符号化する多視点符号化処理を行う。符号化部３８１は、多視点符号化処理の結果得られるベース画像またはノンベース画像、および、対応する奥行き画像のスライス単位の符号化ストリームを生成部３８２に供給する。
【０４２９】
ステップＳ３３３において、生成部３８２は、符号化部３８１から供給される符号化ストリームから多視点符号化ストリームを生成する生成処理を行う。この生成処理の詳細は、後述する図６１を参照して説明する。生成部３８２は、生成処理の結果得られる多視点符号化ストリームを出力し、処理を終了する。
【０４３０】
図５９および図６０は、図５８のステップＳ３３２の多視点符号化処理のうちの、図４７の符号化部３８１−１による奥行き画像符号化処理の詳細を説明するフローチャートである。
【０４３１】
図５９のステップＳ３５１において、奥行き符号化部４０３のA/D変換部１２１（図４８）は、図４６の多視点画像分離部２１から供給されるフレーム単位のベース画像の奥行き画像をA/D変換し、画面並べ替えバッファ１２２に出力して記憶させる。
【０４３２】
ステップＳ３５２において、画面並べ替えバッファ１２２は、記憶した表示の順番のフレームのベース画像の奥行き画像を、GOP構造に応じて、符号化のための順番に並べ替える。画面並べ替えバッファ１２２は、並べ替え後のフレーム単位の奥行き画像を、演算部１２３に供給する。
【０４３３】
ステップＳ３５３において、画面内予測部４２１は、図４７のカラー符号化部４０１からカラー画像の輝度成分と色差成分の画面内予測情報が供給されたかどうかを判定する。ステップＳ３５３でカラー画像の輝度成分と色差成分の画面内予測情報が供給されたと判定された場合、ステップＳ３５４において、画面内予測部４２１は、奥行き画像の解像度が、カラー画像の輝度成分の解像度と同一であるかどうかを判定する。
【０４３４】
ステップＳ３５４で奥行き画像の解像度がカラー画像の輝度成分の解像度と同一であると判定された場合、処理はステップＳ３５５に進む。ステップＳ３５５において、画面内予測部４２１は、輝度成分の画面内予測情報に基づいて、加算部１３０から供給された参照画像を用いて、その画面内予測情報が示す最適イントラ予測モードの画面内予測処理を行い、予測画像を生成する。画面内予測部４２１は、生成された予測画像を選択部４２３に供給し、処理をステップＳ３６０に進める。
【０４３５】
一方、ステップＳ３５４で奥行き画像の解像度がカラー画像の輝度成分の解像度と同一ではないと判定された場合、即ち奥行き画像の解像度がカラー画像の色差成分の解像度と同一である場合、処理はステップＳ３５６に進む。
【０４３６】
ステップＳ３５６において、画面内予測部４２１は、色差成分の画面内予測情報に基づいて、加算部１３０から供給された参照画像を用いて、その画面内予測情報が示す最適イントラ予測モードの画面内予測処理を行い、予測画像を生成する。画面内予測部４２１は、生成された予測画像を選択部４２３に供給し、処理をステップＳ３６０に進める。
【０４３７】
また、ステップＳ３５３でカラー画像の輝度成分と色差成分の画面内予測情報が供給されていないと判定された場合、即ちカラー画像の輝度成分と色差成分の動き情報がカラー符号化部４０１から動き補償部４２２に供給された場合、処理はステップＳ３５７に進む。
【０４３８】
ステップＳ３５７において、動き補償部４２２は、奥行き画像の解像度が、カラー画像の輝度成分の解像度と同一であるかどうかを判定する。ステップＳ３５７で奥行き画像の解像度がカラー画像の輝度成分の解像度と同一であると判定された場合、処理はステップＳ３５８に進む。
【０４３９】
ステップＳ３５８において、動き補償部４２２は、輝度成分の動き情報に基づいて、その動き情報が示す最適インター予測モードと動きベクトルに基づいて、フレームメモリ１３２から参照画像を読み出すことにより、動き補償処理を行う。動き補償部４２２は、その結果生成される予測画像を選択部４２３に供給し、処理をステップＳ３６０に進める。
【０４４０】
一方、ステップＳ３５７で奥行き画像の解像度が、カラー画像の輝度成分の解像度と同一ではないと判定された場合、処理はステップＳ３５９に進む。ステップＳ３５９において、動き補償部４２２は、色差成分の動き情報に基づいて、その動き情報が示す最適インター予測モードと動きベクトルに基づいて、フレームメモリ１３２から参照画像を読み出すことにより、動き補償処理を行う。動き補償部４２２は、その結果生成される予測画像を選択部４２３に供給し、処理をステップＳ３６０に進める。
【０４４１】
ステップＳ３６０乃至Ｓ３６２は、図３１のステップＳ１４０乃至Ｓ１４２の処理と同様であるので、説明は省略する。
【０４４２】
ステップＳ３６３において、可逆符号化部４２０は、可逆符号化処理を行う。具体的には、奥行き画像の解像度がカラー画像の輝度成分の解像度と同一である場合、可逆符号化部４２０は、量子化部１２５からの係数に基づいて、輝度方式有意係数情報を生成する。一方、奥行き画像の解像度がカラー画像の色差成分の解像度と同一である場合、可逆符号化部４２０は、量子化部１２５からの係数に基づいて、色差方式有意係数情報を生成する。また、可逆符号化部４２０は、輝度方式有意係数情報または色差方式有意係数情報に含まれる有意係数フラグが1である場合、量子化部１２５からの係数を可逆符号化する。可逆符号化部４２０は、可逆符号化された係数と輝度方式有意係数情報または色差方式有意係数情報を、奥行き画像の符号化ストリームとする。
【０４４３】
図６０のステップＳ３６４において、可逆符号化部４２０は、可逆符号化処理の結果得られる奥行き画像の符号化ストリームを蓄積バッファ１２７に供給し、蓄積させる。
【０４４４】
ステップＳ３６５において、蓄積バッファ１２７は、蓄積されている奥行き画像の符号化ストリームを図４７のスライスヘッダ符号化部４０４に供給する。ステップＳ３６６において、スライスヘッダ符号化部４０４は、図５４で示したスライスヘッダを生成し、そのスライスヘッダを奥行き画像のスライス単位の符号化ストリームに付加して、図４６の生成部３８２に供給する。
【０４４５】
ステップＳ３６７乃至Ｓ３７１の処理は、図３２のステップＳ１４６乃至Ｓ１５０の処理と同様であるので、説明は省略する。
【０４４６】
図６１は、図５８のステップＳ３３３の生成処理の詳細を説明するフローチャートである。
【０４４７】
図６１のステップＳ３９０において、生成部３８２のNAL化部４５０（図４９）は、符号化部３８１から供給されるベース画像、ノンベース画像、および奥行き画像のスライス単位の符号化ストリームのNALユニットを生成し、PPS符号化部４５１に供給する。
【０４４８】
ステップＳ３９１において、PPS符号化部４５１は、PPSのNALユニットを生成する。そして、PPS符号化部４５１は、NAL化部４５０から供給される符号化ストリームのNALユニットにPPSのNALユニットを付加し、SPS符号化部４５２に供給する。
【０４４９】
ステップＳ３９２において、SPS符号化部４５２は、ベース画像用のSPSのNALユニットを生成する。ステップＳ３９３において、SPS符号化部４５２は、ノンベース画像用のSPSのNALユニットを生成する。ステップＳ３９４において、SPS符号化部４５２は、奥行き画像用のSPSのNALユニットを生成する。そして、SPS符号化部４５２は、生成されたSPSのNALユニットを、PPS符号化部４５１から供給されるNALユニットに付加して、多視点画像符号化ストリームを生成し、出力する。そして、処理は図５８のステップＳ３３３に戻り、処理は終了する。
【０４５０】
以上のように、符号化装置３８０は、符号化パラメータを共有して、カラー画像と奥行き画像を符号化する。従って、多視点符号化ストリームに含まれる符号化パラメータの情報量が削減され、符号化効率が向上する。また、多視点の３Ｄ画像が、静止画像、カメラに対して平行移動する物体の画像等の奥行き方向の位置が比較的変化しない画像である場合には、カラー画像と奥行き画像の動きベクトルの相関が強いため、符号化効率はより向上する。
【０４５１】
さらに、符号化装置３８０は、カラー画像と奥行き画像のスライス単位の符号化ストリームを、それぞれ、別のタイプのNALユニットに配置する。従って、奥行き画像に対応していない既存の２Ｄ画像を復号する復号装置や２視点の３Ｄ画像を復号する復号装置において、多視点符号化ストリームの一部を復号することができる。即ち、多視点符号化ストリームは、既存の２Ｄ画像の符号化ストリームや２視点の３Ｄ画像の符号化ストリームと互換性を有することができる。
【０４５２】
［復号装置の構成例］
図６２は、図４６の符号化装置３８０により出力された多視点画像符号化ストリームを復号する復号装置の構成例を示すブロック図である。
【０４５３】
図６２に示す構成のうち、図１２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０４５４】
図６２の復号装置４７０の構成は、多視点画像復号部５１、画像分離部５２−１乃至５２−Ｎの代わりに、分離部４７１、復号部４７２−１乃至４７２−Ｎが設けられている点が図１２の構成と異なる。復号装置４７０は、カラー画像の符号化パラメータを用いて奥行き画像を復号する。
【０４５５】
具体的には、復号装置４７０の分離部４７１は、符号化装置３８０から伝送されてくる多視点画像符号化ストリームを受け取る。そして、分離部４７１は、多視点画像符号化ストリームの各NALユニットを分離する。分離部４７１は、NALユニットのNALヘッダに含まれるタイプ情報に基づいて、分離されたNALユニットが、ベース画像用のSPS、ノンベース画像用のSPS、奥行き画像用のSPS、PPS,ベース画像のスライス単位の符号化ストリーム、ノンベース画像のスライス単位の符号化ストリーム、および奥行き画像のスライス単位の符号化ストリームのNALユニットのいずれであるかを認識する。
【０４５６】
分離部４７１は、ベース画像のスライス単位の符号化ストリーム、ノンベース画像のスライス単位の符号化ストリーム、および奥行き画像のスライス単位の符号化ストリームのNALユニットからスライスヘッダを抽出する。分離部４７１は、スライスヘッダに含まれるビューＩＤに基づいて、視点ごとの、ベース画像と奥行き画像、または、ノンベース画像と奥行き画像のスライス単位の符号化ストリームのペアを認識する。
【０４５７】
分離部４７１は、ベース画像用のSPS，PPS,ベース画像のスライス単位の符号化ストリーム、ベース画像の奥行き画像のスライス単位の符号化ストリームのNALユニットから、ベース画像用のSPS，PPS、並びに、ベース画像および奥行き画像のスライス単位の符号化ストリームを抽出し、復号部４７２−１に供給する。
【０４５８】
また、分離部４７１は、視点ごとに、ノンベース画像用のSPS，PPS,その視点のノンベース画像のスライス単位の符号化ストリーム、その視点のノンベース画像の奥行き画像のスライス単位の符号化ストリームのNALユニットから、ノンベース画像用のSPS，PPS、並びに、ノンベース画像および奥行き画像のスライス単位の符号化ストリームを抽出する。分離部４７１は、そのノンベース画像用のSPS，PPS、並びに、ノンベース画像および奥行き画像のスライス単位の符号化ストリームを、視点ごとに、復号部４７２−２乃至４７２−Ｎに供給する。
【０４５９】
復号部４７２−１は、分離部４７１から供給されるベース画像用のSPSおよびPPSに基づいて、分離部４７１から供給されるベース画像のスライス単位の符号化ストリームを、HEVC方式に対応する方式で復号する。また、復号部４７２−１は、分離部４７１から供給される奥行き画像用のSPSおよびPPS、並びに、ベース画像の符号化パラメータに基づいて、ベース画像の奥行き画像のスライス単位の符号化ストリームを、HEVC方式に準じた方式に対応する方式で復号する。復号部４７２−１は、復号の結果得られるベース画像とベース画像の奥行き画像を多視点画像合成部５３に供給する。
【０４６０】
復号部４７２−２乃至４７２−Ｎは、それぞれ、分離部４７１から供給されるノンベース画像用のSPSとPPSに基づいて、ノンベース画像のスライス単位の符号化ストリームを、HEVC方式に準じた方式に対応する方式で復号する。このとき、ベース画像も参照画像として用いられる。復号部４７２−２乃至４７２−Ｎは、それぞれ、分離部４７１から供給される奥行き画像用のSPSおよびPPS、並びに、ノンベース画像の符号化パラメータに基づいて、ノンベース画像の奥行き画像のスライス単位の符号化ストリームを、HEVC方式に準じた方式に対応する方式で復号する。このとき、ベース画像の奥行き画像も参照画像として用いられる。復号部４７２−２乃至４７２−Ｎは、復号の結果得られるノンベース画像とノンベース画像の奥行き画像を多視点画像合成部５３に供給する。
【０４６１】
なお、以下では、復号部４７２−１乃至４７２−Ｎを特に区別する必要がない場合、それらをまとめて復号部４７２という。
【０４６２】
［分離部の構成例］
図６３は、図６２の分離部４７１の構成例を示すブロック図である。
【０４６３】
図６３の分離部４７１は、SPS復号部４９１、PPS復号部４９２、およびスライスヘッダ復号部４９３により構成される。
【０４６４】
分離部４７１のSPS復号部４９１は、受け取り部として機能し、符号化装置３８０から伝送されてくる多視点画像符号化ストリームを受け取る。SPS復号部４９１は、多視点画像符号化ストリームの各NALユニットのNALヘッダに含まれるタイプ情報に基づいて、多視点画像符号化ストリームからベース画像用のSPS、ノンベース画像用のSPS、および奥行き画像用のSPSのNALユニットを抽出する。例えば、SPS復号部４９１は、タイプ情報が24であるNALヘッダを有するNALユニットを、ノンベース画像用のSPSのNALユニットとして抽出する。また、SPS復号部４９１は、タイプ情報が25であるNALヘッダを有するNALユニットを、ノンベース画像用のSPSのNALユニットとして抽出する。
【０４６５】
SPS復号部４９１は、ベース画像用のSPSのNALユニットからベース画像用のSPSを抽出し、復号部４７２−１に供給する。また、SPS復号部４９１は、ノンベース画像用のSPSのNALユニットからノンベース画像用のSPSを抽出し、復号部４７２−２乃至４７２−Ｎに供給する。さらに、SPS復号部４９１は、奥行き画像用のSPSのNALユニットから奥行き画像用のSPSを抽出し、復号部４７２−１乃至４７２−Ｎに供給する。また、SPS復号部４９１は、ベース画像用のSPS、ノンベース画像用のSPS、および奥行き画像用のSPSのNALユニットが抽出された後の多視点画像符号化ストリームをPPS復号部４９２に供給する。
【０４６６】
PPS復号部４９２は、SPS復号部４９１から供給される、ベース画像用のSPS、ノンベース画像用のSPS、および奥行き画像用のSPSのNALユニットが抽出された後の多視点画像符号化ストリームの各NALユニットのNALヘッダに含まれるタイプ情報に基づいて、PPSのNALユニットを抽出する。PPS復号部４９２は、PPSのNALユニットからPPSを抽出し、復号部４７２−１乃至４７２−Ｎに供給する。また、PPS復号部４９２は、PPSのNALユニットが抽出された後の多視点画像符号化ストリームをスライスヘッダ復号部４９３に供給する。
【０４６７】
スライスヘッダ復号部４９３は、分離部として機能し、PPS復号部４９２から供給されるPPSのNALユニットが抽出された後の多視点画像符号化ストリームの各NALユニットのNALヘッダに含まれるタイプ情報に基づいて、ベース画像、ノンベース画像、および奥行き画像のスライス単位の符号化ストリームのNALユニットを抽出する。例えば、スライスヘッダ復号部４９３は、タイプ情報が26であるNALヘッダを含むNALユニットを、ノンベース画像のスライス単位の符号化ストリームのNALユニットとして抽出する。また、スライスヘッダ復号部４９３は、タイプ情報が27であるNALヘッダを含むNALユニットを、奥行き画像のスライス単位の符号化ストリームのNALユニットとして抽出する。
【０４６８】
スライスヘッダ復号部４９３は、ベース画像のスライス単位の符号化ストリームのNALユニットからベース画像のスライス単位の符号化ストリームを抽出し、その符号化ストリームからスライスヘッダを分離する。スライスヘッダ復号部４９３は、ベース画像のスライス単位の符号化ストリームとスライスヘッダを復号部４７２−１に供給する。
【０４６９】
また、スライスヘッダ復号部４９３は、ノンベース画像のスライス単位の符号化ストリームのNALユニットからノンベース画像のスライス単位の符号化ストリームを抽出し、その符号化ストリームからスライスヘッダを分離する。スライスヘッダ復号部４９３は、スライスヘッダに含まれるビューＩＤに基づいて、そのビューＩＤに対応する視点の復号部４７２に、そのスライスヘッダと、そのスライスヘッダが付加されていたノンベース画像のスライス単位の符号化ストリームとを供給する。
【０４７０】
さらに、スライスヘッダ復号部４９３は、奥行き画像のスライス単位の符号化ストリームのNALユニットから奥行き画像のスライス単位の符号化ストリームを抽出し、その符号化ストリームからスライスヘッダを分離する。スライスヘッダ復号部４９３は、スライスヘッダに含まれるビューＩＤに基づいて、そのビューＩＤに対応する視点の復号部４７２に、そのスライスヘッダと、そのスライスヘッダが付加されていた奥行き画像のスライス単位の符号化ストリームとを供給する。
【０４７１】
［復号部の構成例］
図６４は、図６２の復号部４７２−１の構成例を示すブロック図である。
【０４７２】
図６４の復号部４７２−１は、カラー復号部５１１と奥行き復号部５１２により構成される。
【０４７３】
復号部４７２−１のカラー復号部５１１は、奥行き成分がない点、および、動き情報と画面内情報を奥行き復号部５１２に供給する点を除いて、図３７の復号部２５０と同様である。具体的には、カラー復号部５１１は、分離部４７１から供給されるベース画像用のSPS,PPS、およびスライスヘッダに基づいて、分離部４７１から供給されるベース画像のスライス単位の符号化ストリームを、HEVC方式に対応する方式で復号する。また、カラー復号部５１１は、復号時に用いられた輝度成分と色差成分の符号化パラメータとしての動き情報または画面内情報を奥行き復号部５１２に供給する。
【０４７４】
奥行き復号部５１２は、カラー復号部５１１から供給される動き情報または画面内情報、並びに、分離部４７１から供給される奥行き画像用のSPS,PPS、およびスライスヘッダに基づいて、分離部４７１から供給されるベース画像の奥行き画像のスライス単位の符号化ストリームを、HEVC方式に準じた方式に対応する方式で復号する。奥行き復号部５１２は、復号の結果得られるベース画像の奥行き画像を多視点画像合成部５３（図６２）に供給する。
【０４７５】
なお、図示は省略するが、復号部４７２−２乃至４７２−Ｎの構成は、カラー復号部がノンベース画像のスライス単位の符号化ストリームをベース画像も参照して復号する点、および、奥行き復号部がノンベース画像の奥行き画像のスライス単位の符号化ストリームをベース画像の奥行き画像も参照して復号する点を除いて、図６４の構成と同様である。
【０４７６】
［奥行き復号部の構成例］
図６５は、図６４の奥行き復号部５１２の構成例を示すブロック図である。
【０４７７】
図６５に示す構成のうち、図３７の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０４７８】
図６５の奥行き復号部５１２の構成は、可逆復号部２５２、画面内予測部２６０、動き補償部２６１、スイッチ２６２の代わりに、可逆復号部５３１、画面内予測部５３２、動き補償部５３３、スイッチ５３４が設けられている点が図３７の構成と異なる。なお、図６５では、説明の便宜上、分離部４７１から供給される奥行き画像用のSPS,PPS、およびスライスヘッダの供給線が記載されていないが、これらの情報は、各部において必要に応じて参照される。
【０４７９】
奥行き復号部５１２の可逆復号部５３１は、蓄積バッファ２５１からの奥行き画像の符号化ストリームに対して可逆復号を施すことで、量子化された係数を得る。可逆復号部５３１は、量子化された係数を逆量子化部２５３に供給する。
【０４８０】
画面内予測部５３２は、奥行き画像用のSPSに含まれる解像度フラグに基づいて、奥行き画像の解像度が、カラー画像の輝度成分の解像度と同一であるか、または、色差成分の解像度と同一であるかを判定する。画面内予測部５３２は、奥行き画像の解像度がカラー画像の輝度成分の解像度と同一であると判定された場合、図６４のカラー復号部５１１から供給される輝度成分および色差成分の画面内予測情報のうちの輝度成分の画面内予測情報を選択する。そして、画面内予測部５３２は、輝度成分の画面内予測情報に基づいて、加算部２５５から供給される参照画像を用いて、その画面内予測情報が表す最適イントラ予測モードの画面内予測を行い、予測画像を生成する。
【０４８１】
一方、奥行き画像の解像度がカラー画像の色差成分の解像度と同一であると判定された場合、カラー復号部５１１から供給される輝度成分および色差成分の画面内予測情報のうちの色差成分の画面内予測情報を選択する。そして、画面内予測部５３２は、色差成分の画面内予測情報に基づいて、加算部２５５から供給される参照画像を用いて、その画面内予測情報が表す最適イントラ予測モードの画面内予測を行い、予測画像を生成する。画面内予測部５３２は、生成された予測画像をスイッチ５３４に供給する。
【０４８２】
動き補償部５３３は、奥行き画像用のSPSに含まれる解像度フラグに基づいて、奥行き画像の解像度が、カラー画像の輝度成分の解像度と同一であるか、または、色差成分の解像度と同一であるかを判定する。動き補償部５３３は、奥行き画像の解像度がカラー画像の輝度成分の解像度と同一であると判定された場合、カラー復号部５１１から供給される輝度成分および色差成分の動き情報のうちの輝度成分の動き情報を選択する。そして、動き補償部５３３は、選択された動き情報が示す最適インター予測モードと動きベクトルに基づいて、フレームメモリ２５９から参照画像を読み出すことにより、動き補償処理を行う。
【０４８３】
一方、奥行き画像の解像度がカラー画像の色差成分の解像度と同一であると判定された場合、カラー復号部５１１から供給される輝度成分および色差成分の動き情報のうちの色差成分の動き情報を選択する。そして、動き補償部５３３は、選択された動き情報が示す最適インター予測モードと動きベクトルに基づいて、フレームメモリ２５９から参照画像を読み出すことにより、動き補償処理を行う。動き補償部５３３は、生成された予測画像をスイッチ５３４に供給する。
【０４８４】
スイッチ５３４は、画面内予測部５３２から予測画像が供給された場合、その予測画像を加算部２５５に供給する。また、スイッチ５３４は、動き補償部５３３から予測画像が供給された場合、その予測画像を加算部２５５に供給する。
【０４８５】
［復号装置の処理の説明］
図６６は、図６２の復号装置４７０による復号処理を説明するフローチャートである。この復号処理は、例えば、図４６の符号化装置３８０から多視点画像符号化ストリームが入力されたとき、開始される。
【０４８６】
図６６のステップＳ４１１において、復号装置４７０の分離部４７１は、多視点画像符号化ストリームの各NALユニットを分離する分離処理を行う。この分離処理の詳細は、後述する図６７を参照して説明する。
【０４８７】
ステップＳ４１２において、復号部４７２は、分離部４７１から供給される各視点のカラー画像と奥行き画像のスライス単位の符号化ストリームを復号する多視点復号処理を行う。復号部４７２は、多視点復号処理の結果得られる各視点のカラー画像と奥行き画像を多視点画像合成部５３に供給する。
【０４８８】
ステップＳ４１３およびＳ４１４の処理は、それぞれ、図４２のステップＳ２４３、Ｓ２４４の処理と同一であるので、説明は省略する。
【０４８９】
図６７は、図６６のステップＳ４１１の分離処理の詳細を説明するフローチャートである。
【０４９０】
図６７のステップＳ４３０において、分離部４７１のSPS復号部４９１（図６３）は、符号化装置３８０から伝送されてくる多視点画像符号化ストリームからベース画像用のSPSを抽出する。具体的には、SPS復号部４９１は、多視点画像符号化ストリームの各NALユニットのNALヘッダに含まれるタイプ情報に基づいて、多視点画像符号化ストリームからベース画像用のSPSのNALユニットを抽出する。そして、SPS復号部４９１は、そのNALユニットからベース画像用のSPSを抽出する。SPS復号部４９１は、ベース画像用のSPSを復号部４７２−１に供給する。
【０４９１】
ステップＳ４３１において、SPS復号部４９１は、ベース画像用のSPSと同様に、多視点画像符号化ストリームからノンベース画像用のSPSを抽出し、ノンベース画像用のSPSを復号部４７２−２乃至４７２−Ｎに供給する。
【０４９２】
ステップＳ４３２において、SPS復号部４９１は、ベース画像用のSPSと同様に、多視点画像符号化ストリームから奥行き画像用のSPSを抽出し、奥行き画像用のSPSを復号部４７２−１乃至４７２−Ｎに供給する。また、SPS復号部４９１は、ベース画像用のSPS、ノンベース画像用のSPS、および奥行き画像用のSPSのNALユニットが抽出された後の多視点画像符号化ストリームをPPS復号部４９２に供給する。
【０４９３】
ステップＳ４３３において、PPS復号部４９２は、SPS復号部４９１から供給される、ベース画像用のSPS、ノンベース画像用のSPS、および奥行き画像用のSPSのNALユニットが抽出された後の多視点画像符号化ストリームから、PPSを抽出する。具体的には、PPS復号部４９２は、ベース画像用のSPS、ノンベース画像用のSPS、および奥行き画像用のSPSのNALユニットが抽出された後の多視点画像符号化ストリームの各NALユニットのNALヘッダに含まれるタイプ情報に基づいて、PPSのNALユニットを抽出する。そして、PPS復号部４９２は、PPSのNALユニットからPPSを抽出する。PPS復号部４９２は、PPSを復号部４７２−１乃至４７２−Ｎに供給し、PPSのNALユニットが抽出された後の多視点画像符号化ストリームをスライスヘッダ復号部４９３に供給する。
【０４９４】
ステップＳ４３４において、スライスヘッダ復号部４９３は、PPS復号部４９２から供給されるPPSのNALユニットが抽出された後の多視点画像符号化ストリームから、ベース画像、ノンベース画像、および奥行き画像のスライス単位の符号化ストリームを抽出する。
【０４９５】
具体的には、スライスヘッダ復号部４９３は、PPSのNALユニットが抽出された後の多視点画像符号化ストリームの各NALユニットのNALヘッダに含まれるタイプ情報に基づいて、ベース画像、ノンベース画像、および奥行き画像のスライス単位の符号化ストリームのNALユニットを抽出する。そして、スライスヘッダ復号部４９３は、ベース画像、ノンベース画像、および奥行き画像のスライス単位の符号化ストリームのNALユニットから、それぞれ、ベース画像、ノンベース画像、奥行き画像のスライス単位の符号化ストリームを抽出する。
【０４９６】
ステップＳ４３５において、スライスヘッダ復号部４９３は、ベース画像、ノンベース画像、奥行き画像のスライス単位の符号化ストリームからスライスヘッダを抽出する。スライスヘッダ復号部４９３は、ベース画像のスライス単位の符号化ストリームとスライスヘッダを復号部４７２−１に供給する。また、スライスヘッダ復号部４９３は、ノンベース画像のスライス単位の符号化ストリームのスライスヘッダに含まれるビューＩＤに基づいて、そのビューＩＤに対応する視点の復号部４７２に、そのスライスヘッダと、そのスライスヘッダが付加されていたノンベース画像のスライス単位の符号化ストリームとを供給する。
【０４９７】
さらに、スライスヘッダ復号部４９３は、奥行き画像のスライス単位の符号化ストリームのスライスヘッダに含まれるビューＩＤに基づいて、そのビューＩＤに対応する視点の復号部４７２に、そのスライスヘッダと、そのスライスヘッダが付加されていた奥行き画像のスライス単位の符号化ストリームとを供給する。そして、処理は、図６６のステップＳ４１１に戻り、ステップＳ４１２に進む。
【０４９８】
図６８は、図６６のステップＳ４１２の多視点復号処理のうちの、図６５の奥行き復号部５１２による奥行き復号処理の詳細を説明するフローチャートである。
【０４９９】
図６８のステップＳ４５０において、奥行き復号部５１２の蓄積バッファ２５１は、図４６の符号化装置３８０から伝送されてくる多視点画像符号化ストリームを受け取り、蓄積する。蓄積バッファ２５１は、蓄積されている多視点画像符号化ストリームを可逆復号部５３１に供給する。
【０５００】
ステップＳ４５１において、可逆復号部５３１は、蓄積バッファ２５１から供給される多視点画像符号化ストリームを可逆復号する可逆復号処理を行う。この可逆復号処理は、係数の奥行き成分がない点を除いて、図４４のステップＳ２９０乃至Ｓ２９５およびＳ２９８の処理と同様である。
【０５０１】
ステップＳ４５２において、逆量子化部２５３は、可逆復号部２５２からの量子化された係数を逆量子化し、その結果得られる係数を逆直交変換部２５４に供給する。
【０５０２】
ステップＳ４５３において、逆直交変換部２５４は、逆量子化部２５３からの係数に対して逆直交変換を施し、その結果得られる残差情報を加算部２５５に供給する。
【０５０３】
ステップＳ４５４において、動き補償部５３３は、図６４のカラー復号部５１１から輝度成分と色差成分の動き情報が供給されたかどうかを判定する。ステップＳ４５４で輝度成分と色差成分の動き情報が供給されたと判定された場合、ステップＳ４５５において、動き補償部５３３は、奥行き画像用のSPSに含まれる解像度フラグが1であるかどうかを判定する。
【０５０４】
ステップＳ４５５で奥行き画像用のSPSに含まれる解像度フラグが1であると判定された場合、ステップＳ４５６において、動き補償部５３３は、カラー復号部５１１から供給される輝度成分と色差成分の動き情報のうちの輝度成分の動き情報を選択する。そして、処理はステップＳ４５８に進む。
【０５０５】
一方、ステップＳ４５５で奥行き画像用のSPSに含まれる解像度フラグが1ではないと判定された場合、即ち奥行き画像用のSPSに含まれる解像度フラグが0である場合、ステップＳ４５７において、動き補償部５３３は、カラー復号部５１１から供給される輝度成分と色差成分の動き情報のうちの色差成分の動き情報を選択する。そして、処理はステップＳ４５８に進む。
【０５０６】
ステップＳ４５８において、動き補償部５３３は、選択された輝度成分または色差成分の動き情報に基づいて、フレームメモリ２５９から参照画像を読み出すことにより、動き補償処理を行う。動き補償部２６１は、動き補償処理の結果生成される予測画像を、スイッチ５３４を介して加算部２５５に供給し、処理をステップＳ４６３に進める。
【０５０７】
一方、ステップＳ４５４で輝度成分と色差成分の動き情報が供給されていないと判定された場合、即ち、画面内予測部５３２にカラー復号部５１１から輝度成分および色差成分の画面内予測情報が供給された場合、処理はステップＳ４５９に進む。ステップＳ４５９において、画面内予測部５３２は、奥行き画像用のSPSに含まれる解像度フラグが1であるかどうかを判定する。
【０５０８】
ステップＳ４５９で奥行き画像用のSPSに含まれる解像度フラグが1であると判定された場合、ステップＳ４６０において、画面内予測部５３２は、カラー復号部５１１から供給される輝度成分と色差成分の画面内予測情報のうちの輝度成分の画面内予測情報を選択する。そして、処理はステップＳ４６２に進む。
【０５０９】
一方、ステップＳ４５９で奥行き画像用のSPSに含まれる解像度フラグが1ではないと判定された場合、ステップＳ４６１において、画面内予測部５３２は、カラー復号部５１１から供給される輝度成分と色差成分の画面内予測情報のうちの色差成分の画面内予測情報を選択する。そして、処理はステップＳ４６２に進む。
【０５１０】
ステップＳ４６２において、画面内予測部５３２は、加算部２５５から供給される参照画像を用いて、選択された輝度成分または色差成分の画面内予測情報が示す最適イントラ予測モードの画面内予測処理を行う。画面内予測部２６０は、その結果生成される予測画像を、スイッチ５３４を介して加算部２５５に供給し、処理をステップＳ４６３に進める。
【０５１１】
ステップＳ４６３乃至Ｓ４６７の処理は、図４３のステップＳ２６８乃至Ｓ２７２の処理と同様であるので、説明は省略する。
【０５１２】
[復号可能な画像の説明]
図６９は、既存の２Ｄ画像を復号する復号装置、既存の２視点の３Ｄ画像を復号する復号装置、および図６２の復号装置４７０で復号可能な多視点画像符号化ストリームを説明する図である。
【０５１３】
既存の２Ｄ画像を復号する復号装置（以下、２Ｄ復号装置という）は、ベース画像用のSPS,PPS、およびベース画像のスライス単位の符号化ストリームのNALユニットのタイプ情報を認識している。従って、図６９に示すように、２Ｄ復号装置は、ベース画像用のSPSのNALユニットのタイプ情報である7、PPSのNALユニットのタイプ情報である8、もしくは、ベース画像のスライス単位の符号化ストリームのNALユニットのタイプ情報である1または5をNALヘッダに含むNALユニットを取得することができる。よって、２D復号装置は、ベース画像用のSPSとPPSに基づいて、ベース画像のスライス単位の符号化ストリームを復号することができる。
【０５１４】
一方、既存の２視点の３Ｄ画像を復号する復号装置（以下、２視点３D復号装置という）は、ベース画像用のSPS,PPS、およびベース画像のスライス単位の符号化ストリームのほか、ノンベース画像用のSPSとノンベース画像のスライス単位の符号化ストリームのNALユニットのタイプ情報を認識している。
【０５１５】
従って、図６９に示すように、２視点３D復号装置は、２D復号装置と同様に、ベース画像用のSPS,PPS、およびベース画像のスライス単位の符号化ストリームのNALユニットを取得することができる。また、２視点３D復号装置は、ノンベース画像用のSPSのNALユニットのタイプ情報である24、または、ノンベース画像のスライス単位の符号化ストリームのNALユニットのタイプ情報である26をNALヘッダに含むNALユニットを取得することができる。
【０５１６】
よって、２視点３D復号装置は、２Ｄ復号装置と同様に、ベース画像用のSPSとPPSに基づいて、ベース画像のスライス単位の符号化ストリームを復号することができる。また、２視点３Ｄ復号装置は、ノンベース画像のスライス単位の符号化ストリームのうちの、所定のビューＩＤをスライスヘッダに含む１視点（図６９の例では視点＃２）のノンベース画像のスライス単位の符号化ストリームを、ノンベース画像用のSPSとPPSに基づいて復号することができる。
【０５１７】
また、復号装置４７０は、上述したように、ベース画像用のSPS、ノンベース画像用のSPS、奥行き画像用のSPS、およびPPS、並びに、ベース画像、ノンベース画像、および奥行き画像のスライス単位の符号化ストリームのNALユニットを表すタイプ情報を認識している。
【０５１８】
従って、図６９に示すように、復号装置４７０は、２視点３D復号装置と同様に、ベース画像用のSPS、ノンベース画像用のSPS、およびPPS、並びに、ベース画像とノンベース画像のスライス単位の符号化ストリームのNALユニットを取得することができる。また、復号装置４７０は、奥行き画像用のSPSのNALユニットのタイプ情報である25または奥行き画像のスライス単位の符号化ストリームのNALユニットのタイプ情報である27をNALヘッダに含むNALユニットを取得することができる。
【０５１９】
よって、復号装置４７０は、２Ｄ復号装置と同様に、ベース画像用のSPSとPPSに基づいて、ベース画像のスライス単位の符号化ストリームを復号することができる。また、復号装置４７０は、ノンベース画像用のSPSとPPSに基づいて、Ｎ−１視点のノンベース画像のスライス単位の符号化ストリームを復号することができる。また、復号装置４７０は、奥行き画像用のSPSとPPSに基づいて、奥行き画像のスライス単位の符号化ストリームを復号することができる。
【０５２０】
以上のように、２Ｄ復号装置と２視点３Ｄ復号装置は、多視点符号化ストリームの一部を復号することができる。従って、多視点画像符号化ストリームは、既存の２Ｄ画像の符号化ストリームや２視点の３Ｄ画像の符号化ストリームと互換性を有している。
【０５２１】
また、復号装置４７０は、符号化パラメータを共有してカラー画像と奥行き画像を復号するので、符号化パラメータを共有して符号化することにより符号化効率を向上させた多視点符号化ストリームを復号することができる。
【０５２２】
＜第４実施の形態＞
[本技術を適用したコンピュータの説明]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０５２３】
そこで、図７０は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０５２４】
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部６０８やROM（Read Only Memory）６０２に予め記録しておくことができる。
【０５２５】
あるいはまた、プログラムは、リムーバブルメディア６１１に格納（記録）しておくことができる。このようなリムーバブルメディア６１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア６１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０５２６】
なお、プログラムは、上述したようなリムーバブルメディア６１１からドライブ６１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部６０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０５２７】
コンピュータは、CPU(Central Processing Unit)６０１を内蔵しており、CPU６０１には、バス６０４を介して、入出力インタフェース６０５が接続されている。
【０５２８】
CPU６０１は、入出力インタフェース６０５を介して、ユーザによって、入力部６０６が操作等されることにより指令が入力されると、それに従って、ROM６０２に格納されているプログラムを実行する。あるいは、CPU６０１は、記憶部６０８に格納されたプログラムを、RAM(Random Access Memory)６０３にロードして実行する。
【０５２９】
これにより、CPU６０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU６０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース６０５を介して、出力部６０７から出力、あるいは、通信部６０９から送信、さらには、記憶部６０８に記録等させる。
【０５３０】
なお、入力部６０６は、キーボードや、マウス、マイク等で構成される。また、出力部６０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０５３１】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０５３２】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０５３３】
本技術は、衛星放送、ケーブルＴＶ（テレビジョン）、インターネット、および携帯電話機などのネットワークメディアを介して受信する際に、あるいは、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる符号化装置および復号装置に適用することができる。
【０５３４】
また、上述した符号化装置および復号装置は、任意の電子機器に適用することができる。以下にその例について説明する。
【０５３５】
［テレビジョン装置の構成例］
図７１は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース部９０９を有している。さらに、テレビジョン装置９００は、制御部９１０、ユーザインタフェース部９１１等を有している。
【０５３６】
チューナ９０２は、アンテナ９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ９０３に出力する。
【０５３７】
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ９０４に出力する。また、デマルチプレクサ９０３は、ＥＰＧ（Electronic Program Guide）等のデータのパケットを制御部９１０に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。
【０５３８】
デコーダ９０４は、パケットの復号化処理を行い、復号処理化によって生成された映像データを映像信号処理部９０５、音声データを音声信号処理部９０７に出力する。
【０５３９】
映像信号処理部９０５は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部９０５は、表示部９０６に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部９０５は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部９０５は、このようにして生成した映像データに基づいて駆動信号を生成して表示部９０６を駆動する。
【０５４０】
表示部９０６は、映像信号処理部９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の映像などを表示させる。
【０５４１】
音声信号処理部９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのＤ／Ａ変換処理や増幅処理を行いスピーカ９０８に供給することで音声出力を行う。
【０５４２】
外部インタフェース部９０９は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。
【０５４３】
制御部９１０にはユーザインタフェース部９１１が接続されている。ユーザインタフェース部９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９１０に供給する。
【０５４４】
制御部９１０は、ＣＰＵ(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ、ＥＰＧデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置９００の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、テレビジョン装置９００がユーザ操作に応じた動作となるように各部を制御する。
【０５４５】
なお、テレビジョン装置９００では、チューナ９０２、デマルチプレクサ９０３、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９等と制御部９１０を接続するためバス９１２が設けられている。
【０５４６】
このように構成されたテレビジョン装置では、デコーダ９０４に本願の復号装置（復号方法）の機能が設けられる。このため、符号化効率を改善するように符号化された、所望のチャンネルの多視点の３Ｄ画像の符号化ビットストリームを復号することができる。
【０５４７】
［携帯電話機の構成例］
図７２は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機９２０は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１を有している。これらは、バス９３３を介して互いに接続されている。
【０５４８】
また、通信部９２２にはアンテナ９２１が接続されており、音声コーデック９２３には、スピーカ９２４とマイクロホン９２５が接続されている。さらに制御部９３１には、操作部９３２が接続されている。
【０５４９】
携帯電話機９２０は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
【０５５０】
音声通話モードにおいて、マイクロホン９２５で生成された音声信号は、音声コーデック９２３で音声データへの変換やデータ圧縮が行われて通信部９２２に供給される。通信部９２２は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部９２２は、送信信号をアンテナ９２１に供給して図示しない基地局へ送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック９２３に供給する。音声コーデック９２３は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ９２４に出力する。
【０５５１】
また、データ通信モードにおいて、メール送信を行う場合、制御部９３１は、操作部９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部９３０に表示する。また、制御部９３１は、操作部９３２におけるユーザ指示等に基づいてメールデータを生成して通信部９２２に供給する。通信部９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部９３０に供給して、メール内容の表示を行う。
【０５５２】
なお、携帯電話機９２０は、受信したメールデータを、記録再生部９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、またはメモリカード等のリムーバブルメディアである。
【０５５３】
データ通信モードにおいて画像データを送信する場合、カメラ部９２６で生成された画像データを、画像処理部９２７に供給する。画像処理部９２７は、画像データの符号化処理を行い、符号化データを生成する。
【０５５４】
多重分離部９２８は、画像処理部９２７で生成された符号化データと、音声コーデック９２３から供給された音声データを所定の方式で多重化して通信部９２２に供給する。通信部９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部９２８に供給する。多重分離部９２８は、多重化データの分離を行い、符号化データを画像処理部９２７、音声データを音声コーデック９２３に供給する。画像処理部９２７は、符号化データの復号化処理を行い、画像データを生成する。この画像データを表示部９３０に供給して、受信した画像の表示を行う。音声コーデック９２３は、音声データをアナログ音声信号に変換してスピーカ９２４に供給して、受信した音声を出力する。
【０５５５】
このように構成された携帯電話装置では、画像処理部９２７に本願の符号化装置（符号化方法）の機能と復号装置（復号方法）の機能が設けられる。このため、カメラ部９２６で生成された多視点の３Ｄ画像の画像データの符号化効率を改善したり、符号化効率を改善するように符号化された多視点の３Ｄ画像の符号化データを受信し、復号したりすることができる。
【０５５６】
［記録再生装置の構成例］
図７３は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置９４０は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置９４０は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置９４０は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。
【０５５７】
記録再生装置９４０は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）部９４８、制御部９４９、ユーザインタフェース部９５０を有している。
【０５５８】
チューナ９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ９４１は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ９４６に出力する。
【０５５９】
外部インタフェース部９４２は、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース部、ＵＳＢインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。
【０５６０】
エンコーダ９４３は、外部インタフェース部９４２から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ９４６に出力する。
【０５６１】
ＨＤＤ部９４４は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。
【０５６２】
ディスクドライブ９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）やＢｌｕ−ｒａｙディスク等である。
【０５６３】
セレクタ９４６は、映像や音声の記録時には、チューナ９４１またはエンコーダ９４３からのいずれかの符号化ビットストリームを選択して、ＨＤＤ部９４４やディスクドライブ９４５のいずれかに供給する。また、セレクタ９４６は、映像や音声の再生時に、ＨＤＤ部９４４またはディスクドライブ９４５から出力された符号化ビットストリームをデコーダ９４７に供給する。
【０５６４】
デコーダ９４７は、符号化ビットストリームの復号化処理を行う。デコーダ９４７は、復号処理化を行うことにより生成された映像データをＯＳＤ部９４８に供給する。また、デコーダ９４７は、復号処理化を行うことにより生成された音声データを出力する。
【０５６５】
ＯＳＤ部９４８は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ９４７から出力された映像データに重畳して出力する。
【０５６６】
制御部９４９には、ユーザインタフェース部９５０が接続されている。ユーザインタフェース部９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９４９に供給する。
【０５６７】
制御部９４９は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置９４０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、記録再生装置９４０がユーザ操作に応じた動作となるように各部を制御する。
【０５６８】
このように構成された記録再生装置では、エンコーダ９４３に本願の符号化装置（符号化方法）の機能が設けられる。このため、多視点の３Ｄ画像の画像データを受信し、その画像データを符号化効率が改善するように符号化することができる。また、デコーダ９４７に本願の復号装置（復号方法）の機能が設けられる。このため、符号化効率を改善するように符号化された多視点の３Ｄ画像の符号化ビットストリームを復号し、出力することができる。
【０５６９】
［撮像装置の構成例］
図７４は、本技術を適用した撮像装置の概略構成を例示している。撮像装置９６０は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。
【０５７０】
撮像装置９６０は、光学ブロック９６１、撮像部９６２、カメラ信号処理部９６３、画像データ処理部９６４、表示部９６５、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０を有している。また、制御部９７０には、ユーザインタフェース部９７１が接続されている。さらに、画像データ処理部９６４や外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０等は、バス９７２を介して接続されている。
【０５７１】
光学ブロック９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部９６３に供給する。
【０５７２】
カメラ信号処理部９６３は、撮像部９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部９６３は、カメラ信号処理後の画像データを画像データ処理部９６４に供給する。
【０５７３】
画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データの符号化処理を行う。画像データ処理部９６４は、符号化処理を行うことにより生成された符号化データを外部インタフェース部９６６やメディアドライブ９６８に供給する。また、画像データ処理部９６４は、外部インタフェース部９６６やメディアドライブ９６８から供給された符号化データの復号化処理を行う。画像データ処理部９６４は、復号化処理を行うことにより生成された画像データを表示部９６５に供給する。また、画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データを表示部９６５に供給する処理や、ＯＳＤ部９６９から取得した表示用データを、画像データに重畳させて表示部９６５に供給する。
【０５７４】
ＯＳＤ部９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部９６４に出力する。
【０５７５】
外部インタフェース部９６６は、例えば、ＵＳＢ入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部９６６は、ＬＡＮやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部９７０は、例えば、ユーザインタフェース部９７１からの指示にしたがって、メモリ部９６７から符号化データを読み出し、それを外部インタフェース部９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部９７０は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部９６６を介して取得し、それを画像データ処理部９６４に供給したりすることができる。
【０５７６】
メディアドライブ９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ＩＣカード等であってもよい。
【０５７７】
また、メディアドライブ９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやＳＳＤ（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
【０５７８】
制御部９７０は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ等を記憶する。メモリに記憶されているプログラムは、撮像装置９６０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、撮像装置９６０がユーザ操作に応じた動作となるように各部を制御する。
【０５７９】
このように構成された撮像装置では、画像データ処理部９６４に本願の符号化装置（符号化方法）および復号装置（復号方法）の機能が設けられる。このため、撮像部９６２により撮像された多視点の３Ｄ画像の画像データを、符号化効率が改善するように符号化したり、メモリ部９６７や記録メディア等に記録された、符号化効率を改善するように符号化された符号化データを復号したりすることができる。
【０５８０】
なお、本技術は、カラー画像と奥行き画像を符号化する符号化装置だけでなく、奥行き画像以外のカラー画像と相関のある画像とカラー画像を符号化する符号化装置にも適用することができる。
【０５８１】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０５８２】
さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０５８３】
なお、本技術は、以下のような構成もとることができる。
【０５８４】
（１）
多視点の３Ｄ画像のカラー画像と前記多視点の３Ｄ画像の奥行き画像とを符号化する際に用いる符号化パラメータを、前記カラー画像と前記奥行き画像とで共有するように設定する設定部と、
前記設定部により設定された前記符号化パラメータを用いて、前記多視点の３Ｄ画像のカラー画像と前記多視点の３Ｄ画像の奥行き画像とを符号化する符号化部と
を備える符号化装置。
（２）
前記カラー画像の色差成分と前記奥行き画像を１画面の色差成分として多重化することにより成分内多重化画像を生成する成分内多重化部と、
前記カラー画像の輝度成分を成分間多重化画像の輝度成分とし、前記成分内多重化画像を前記成分間多重化画像の色差成分とすることにより、前記成分間多重化画像を生成する成分間多重化部と
をさらに備え、
前記設定部は、前記符号化パラメータを、前記成分間多重化部により生成された前記成分間多重化画像の色差成分と輝度成分とで共有するように設定し、
前記符号化部は、前記設定部により設定された前記符号化パラメータを用いて、前記成分間多重化部により、生成された前記成分間多重化画像を符号化する
前記（１）に記載の符号化装置。
（３）
前記カラー画像の輝度成分の解像度は、前記成分内多重化画像の解像度以上であり、多重化後の前記奥行き画像の解像度は、多重化後の前記カラー画像の色差成分の解像度以上である
前記（２）に記載の符号化装置。
（４）
前記カラー画像の輝度成分の各画素の位置が、前記成分内多重化画像の各画素の多重化前の位置に対応するように、前記カラー画像の輝度成分の各画素を並び替える画素配列部
をさらに備え、
前記成分間多重化部は、前記画素配列部により各画素が並び替えられた前記カラー画像の輝度成分を前記成分間多重化画像の輝度成分とし、前記成分内多重化画像を前記成分間多重化画像の色差成分とする
前記（２）または（３）に記載の符号化装置。
（５）
前記成分内多重化部は、前記カラー画像の色差成分を前記成分内多重化画像の半分の領域に配置し、前記奥行き画像を前記成分内多重化画像の他の半分の領域に配置することにより多重化を行い、
前記符号化部は、符号化された前記成分間多重化画像、前記成分内多重化画像内の前記カラー画像の色差成分の位置を表す位置情報、および前記成分内多重化画像を構成する前記カラー画像の色差成分の各画素の多重化前の位置を表す画素位置情報を出力する
前記（２）乃至（４）のいずれかに記載の符号化装置。
（６）
前記色差成分の種類は２種類であり、
前記成分内多重化部は、前記カラー画像の２種類の前記色差成分のうちの一方の種類の色差成分と、前記奥行き画像の半分の領域の画像を１画面の一方の種類の色差成分として多重化することにより第１の成分内多重化画像を生成し、前記カラー画像の他方の種類の色差成分と、前記奥行き画像の他の半分の領域の画像を１画面の他方の種類の色差成分として多重化することにより第２の成分内多重化画像を生成し、
前記成分間多重化部は、前記カラー画像の輝度成分を前記成分間多重化画像の輝度成分とし、前記第１および第２の成分内多重化画像を前記成分間多重化画像の色差成分とすることにより、前記成分間多重化画像を生成する
前記（２）乃至（５）のいずれかに記載の符号化装置。
（７）
前記色差成分の種類は２種類であり、
前記成分内多重化部は、前記カラー画像の２種類の前記色差成分のうちの一方の種類の色差成分と、前記奥行き画像を１画面の一方の種類の色差成分として多重化することにより第１の成分内多重化画像を生成し、前記カラー画像の他方の種類の色差成分と、前記奥行き画像を１画面の他方の種類の色差成分として多重化することにより第２の成分内多重化画像を生成し、
前記成分間多重化部は、前記カラー画像の輝度成分を前記成分間多重化画像の輝度成分とし、前記第１および第２の成分内多重化画像を前記成分間多重化画像の色差成分とすることにより、前記成分間多重化画像を生成する
前記（２）乃至（５）のいずれかに記載の符号化装置。
（８）
前記成分内多重化画像の解像度は、多重化前の前記カラー画像の色差成分の解像度と同一である
前記（２）乃至（７）のいずれかに記載の符号化装置。
（９）
前記カラー画像の色差成分および輝度成分、並びに、前記奥行き画像を、それぞれ、成分間多重化画像の色差成分、輝度成分、奥行き成分とすることにより、前記成分間多重化画像を生成する成分間多重化部
をさらに備え、
前記設定部は、前記符号化パラメータを、前記成分間多重化部により生成された前記成分間多重化画像の色差成分と奥行き成分とで共有するように設定し、
前記符号化部は、前記設定部により設定された前記符号化パラメータを用いて、前記成分間多重化部により生成された前記成分間多重化画像を符号化する
前記（１）に記載の符号化装置。
（１０）
前記設定部は、前記符号化パラメータを、前記成分間多重化画像の輝度成分と色差成分と奥行き成分とで共有するように設定し、
前記符号化部は、前記設定部により設定された前記符号化パラメータを用いて、前記成分間多重化部により生成された前記成分間多重化画像を符号化する
前記（９）に記載の符号化装置。
（１１）
前記符号化部による符号化の結果得られる前記多視点の３Ｄ画像のカラー画像の符号化ストリームと第１のタイプを表す情報から構成される第１のユニットと、前記符号化部による符号化の結果得られる前記多視点の３Ｄ画像の奥行き画像の符号化ストリームと前記第１のタイプとは異なる第２のタイプを表す情報から構成される第２のユニットとを生成する生成部
をさらに備える
前記（１）に記載の符号化装置。
（１２）
前記生成部により生成された前記第１のユニットと前記第２のユニットを伝送する伝送部
をさらに備え、
前記設定部は、前記符号化パラメータを、前記奥行き画像と解像度が同一である前記カラー画像の輝度成分または色差成分と前記奥行き画像とで共有するように設定し、
前記伝送部は、前記奥行き画像の解像度が前記カラー画像の輝度成分の解像度と同一であるか、または、色差成分の解像度と同一であるかを表す解像度情報も伝送する
前記（１１）に記載の符号化装置。
（１３）
前記符号化パラメータは、予測モードまたは動きベクトルである
前記（１）乃至（１２）のいずれかに記載の符号化装置。
（１４）
前記設定部により設定された前記符号化パラメータと前記符号化部による符号化の結果生成される符号化ストリームとを伝送する伝送部
をさらに備える
前記（１）乃至（１１）のいずれかに記載の符号化装置。
（１５）
前記伝送部は、前記設定部により設定された前記符号化パラメータを前記符号化ストリームのヘッダとして伝送する
前記（１４）に記載の符号化装置。
（１６）
符号化装置が、
多視点の３Ｄ画像のカラー画像と前記多視点の３Ｄ画像の奥行き画像とを符号化する際に用いる符号化パラメータを、前記カラー画像と前記奥行き画像とで共有するように設定する設定ステップと、
前記設定ステップの処理により設定された前記符号化パラメータを用いて、前記多視点の３Ｄ画像のカラー画像と前記多視点の３Ｄ画像の奥行き画像とを符号化する符号化ステップと
を含む符号化方法。
（１７）
多視点の３Ｄ画像のカラー画像と前記多視点の３Ｄ画像の奥行き画像とで共有するように設定された、前記多視点の３Ｄ画像のカラー画像と前記多視点の３Ｄ画像の奥行き画像とを符号化する際に用いる符号化パラメータと、前記多視点の３Ｄ画像のカラー画像と前記多視点の３Ｄ画像の奥行き画像とが符号化された符号化ストリームとを受け取る受け取り部と、
前記受け取り部により受け取られた前記符号化パラメータを用いて、前記受け取り部により受け取られた前記符号化ストリームを復号する復号部と
を備える復号装置。
（１８）
前記復号部による復号の結果得られる前記多視点の３Ｄ画像のカラー画像と前記多視点の３Ｄ画像の奥行き画像とを分離する分離部
をさらに備え、
前記符号化ストリームは、前記カラー画像の色差成分と前記奥行き画像を１画面の色差成分として多重化することにより生成された成分内多重化画像を成分間多重化画像の色差成分とし、前記カラー画像の輝度成分を前記成分間多重化画像の輝度成分とすることにより生成された前記成分間多重化画像が符号化されたものであり、
前記符号化パラメータは、前記成分間多重化画像の色差成分と輝度成分とで共有するように設定され、
前記分離部は、前記復号部による復号の結果得られる前記成分間多重化画像の輝度成分と色差成分を分離し、前記成分間多重化画像の色差成分から前記カラー画像の色差成分と前記奥行き画像を分離する
前記（１７）に記載の復号装置。
（１９）
前記カラー画像の輝度成分の解像度は、前記成分内多重化画像の解像度以上であり、多重化後の前記奥行き画像の解像度は、多重化後の前記カラー画像の色差成分の解像度以上である
前記（１８）に記載の復号装置。
（２０）
前記分離部により分離された前記成分間多重化画像の輝度成分の各画素を並び替える画素配列部
をさらに備え、
前記成分間多重化画像の輝度成分の各画素は、その各画素の位置が前記成分内多重化画像の各画素の多重化前の位置に対応するように並び替えられており、
前記分離部は、前記成分間多重化画像の輝度成分の各画素の位置が並び替えられる前の位置になるように、前記成分間多重化画像の輝度成分の各画素を並び替える
前記（１８）または(１９)に記載の復号装置。
（２１）
前記カラー画像の色差成分は前記成分内多重化画像の半分の領域に配置され、
前記奥行き画像は前記成分内多重化画像の他の半分の領域に配置され、
前記受け取り部は、前記符号化パラメータ、前記符号化ストリーム、前記成分内多重化画像内の前記カラー画像の色差成分の位置を表す位置情報、および前記成分内多重化画像を構成する前記カラー画像の色差成分の各画素の多重化前の位置を表す画素位置情報を受け取る
前記（１８）乃至（２０）に記載の復号装置。
（２２）
前記色差成分の種類は２種類であり、
前記成分間多重化画像の色差成分は、前記カラー画像の２種類の前記色差成分のうちの一方の種類の色差成分と、前記奥行き画像の半分の領域の画像とを１画面の一方の種類の色差成分として多重化することにより得られる第１の成分内多重化画像、および、前記カラー画像の他方の種類の色差成分と、前記奥行き画像の他の半分の領域の画像とを１画面の他方の種類の色差成分として多重化することにより得られる第２の成分内多重化画像である
前記（１８）乃至（２１）のいずれかに記載の復号装置。
（２３）
前記色差成分の種類は２種類であり、
前記成分間多重化画像の色差成分は、前記カラー画像の２種類の前記色差成分のうちの一方の種類の色差成分と、前記奥行き画像とを１画面の一方の種類の色差成分として多重化することにより得られる第１の成分内多重化画像、および、前記カラー画像の他方の種類の色差成分と、前記奥行き画像とを１画面の他方の種類の色差成分として多重化することにより得られる第２の成分内多重化画像である
前記（１８）乃至（２１）のいずれかに記載の復号装置。
（２４）
前記成分内多重化画像の解像度は、多重化前の前記カラー画像の色差成分の解像度と同一である
前記（１８）乃至（２３）のいずれかに記載の復号装置。
（２５）
前記復号部による復号の結果得られる前記多視点の３Ｄ画像のカラー画像と前記多視点の３Ｄ画像の奥行き画像とを分離する分離部
をさらに備え、
前記符号化ストリームは、前記カラー画像の色差成分および輝度成分、並びに、前記奥行き画像を、それぞれ、成分間多重化画像の色差成分、輝度成分、奥行き成分とすることにより生成される前記成分間多重化画像が符号化されたものであり、
前記符号化パラメータは、前記成分間多重化画像の色差成分と奥行き成分とで共有するように設定され、
前記分離部は、前記復号部による復号の結果得られる前記成分間多重化画像の輝度成分、色差成分、および奥行き成分を分離し、前記成分間多重化画像の輝度成分と色差成分を輝度成分と色差成分とした前記カラー画像と、前記成分間多重化画像の奥行き成分からなる前記奥行き画像を生成する
前記（１７）に記載の復号装置。
（２６）
前記符号化パラメータは、前記成分間多重化画像の輝度成分と色差成分と奥行き成分とで共有するように設定される
前記（２５）に記載の復号装置。
（２７）
前記受け取り部により受け取られた前記符号化ストリームから、前記多視点の３Ｄ画像のカラー画像の符号化ストリームと前記多視点の３Ｄ画像の奥行き画像の符号化ストリームを分離する分離部
をさらに備え、
前記受け取り部は、前記符号化パラメータと、前記多視点の３Ｄ画像のカラー画像の符号化ストリームと、第１のタイプを表す情報とから構成される第１のユニットと、前記多視点の３Ｄ画像の奥行き画像の符号化ストリームと前記第１のタイプとは異なる第２のタイプを表す情報とから構成される第２のユニットとを受け取り、
前記分離部は、前記第１のタイプを表す情報に基づいて前記第１のユニットを分離し、前記第２のタイプを表す情報に基づいて前記第２のユニットを分離し、
前記復号部は、前記符号化パラメータを用いて、前記分離部により分離された前記第１のユニットに含まれる前記多視点の３Ｄ画像のカラー画像の符号化ストリームを復号し、前記符号化パラメータを用いて、前記分離部により分離された前記第２のユニットに含まれる前記多視点の３Ｄ画像の奥行き画像の符号化ストリームを復号する
前記（１７）に記載の復号装置。
（２８）
前記受け取り部は、前記奥行き画像の解像度が前記カラー画像の輝度成分の解像度と同一であるか、または、色差成分の解像度と同一であるかを表す解像度情報も受け取り、
前記復号部は、前記受け取り部により受け取られた前記解像度情報に基づいて、前記奥行き画像と解像度が同一である前記カラー画像の輝度成分または色差成分の符号化パラメータを用いて、前記符号化ストリームのうちの前記多視点の３Ｄ画像の奥行き画像の符号化ストリームを復号する
前記（１７）に記載の復号装置。
（２９）
前記符号化パラメータは、予測モードまたは動きベクトルである
前記（１７）乃至（２８）のいずれかに記載の復号装置。
（３０）
前記受け取り部は、前記符号化パラメータを前記符号化ストリームのヘッダとして受け取る
前記（１７）乃至（２９）のいずれかに記載の復号装置。
（３１）
復号装置が、
多視点の３Ｄ画像のカラー画像と前記多視点の３Ｄ画像の奥行き画像とで共有するように設定された、前記多視点の３Ｄ画像のカラー画像と前記多視点の３Ｄ画像の奥行き画像とを符号化する際に用いる符号化パラメータと、前記多視点の３Ｄ画像のカラー画像と前記多視点の３Ｄ画像の奥行き画像とが符号化された符号化ストリームとを受け取る受け取りステップと、
前記受け取りステップの処理により受け取られた前記符号化パラメータを用いて、前記受け取りステップの処理により受け取られた前記符号化ストリームを復号する復号ステップと
を含む復号方法。
【符号の説明】
【０５８５】
２０  符号化装置，  ２２−１乃至２２−Ｎ  画像多重化部，  ２３  多視点画像符号化部，  ３５  画素配列処理部，  ５０  復号装置，  ５１  多視点画像復号部，  ５２−１乃至５２−Ｎ  画像分離部，  ６５  画素逆配列処理部，  ３８０  符号化装置，  ３８２  生成部，  ４２１  画面内予測部，  ４２２  動き補償部，  ４７０  復号装置，  ４７２−１乃至４７２−Ｎ  復号部，  ４９１  SPS復号部，  ４９３  スライスヘッダ復号部
【図１】
2012070500.tif 000003
【図２】
2012070500.tif 000004
【図３】
2012070500.tif 000005
【図４】
2012070500.tif 000006
【図５】
2012070500.tif 000007
【図６】
2012070500.tif 000008
【図７】
2012070500.tif 000009
【図８】
2012070500.tif 000010
【図９】
2012070500.tif 000011
【図１０】
2012070500.tif 000012
【図１１】
2012070500.tif 000013
【図１２】
2012070500.tif 000014
【図１３】
2012070500.tif 000015
【図１４】
2012070500.tif 000016
【図１５】
2012070500.tif 000017
【図１６】
2012070500.tif 000018
【図１７】
2012070500.tif 000019
【図１８】
2012070500.tif 000020
【図１９】
2012070500.tif 000021
【図２０】
2012070500.tif 000022
【図２１】
2012070500.tif 000023
【図２２】
2012070500.tif 000024
【図２３】
2012070500.tif 000025
【図２４】
2012070500.tif 000026
【図２５】
2012070500.tif 000027
【図２６】
2012070500.tif 000028
【図２７】
2012070500.tif 000029
【図２８】
2012070500.tif 000030
【図２９】
2012070500.tif 000031
【図３０】
2012070500.tif 000032
【図３１】
2012070500.tif 000033
【図３２】
2012070500.tif 000034
【図３３】
2012070500.tif 000035
【図３４】
2012070500.tif 000036
【図３５】
2012070500.tif 000037
【図３６】
2012070500.tif 000038
【図３７】
2012070500.tif 000039
【図３８】
2012070500.tif 000040
【図３９】
2012070500.tif 000041
【図４０】
2012070500.tif 000042
【図４１】
2012070500.tif 000043
【図４２】
2012070500.tif 000044
【図４３】
2012070500.tif 000045
【図４４】
2012070500.tif 000046
【図４５】
2012070500.tif 000047
【図４６】
2012070500.tif 000048
【図４７】
2012070500.tif 000049
【図４８】
2012070500.tif 000050
【図４９】
2012070500.tif 000051
【図５０】
2012070500.tif 000052
【図５１】
2012070500.tif 000053
【図５２】
2012070500.tif 000054
【図５３】
2012070500.tif 000055
【図５４】
2012070500.tif 000056
【図５５】
2012070500.tif 000057
【図５６】
2012070500.tif 000058
【図５７】
2012070500.tif 000059
【図５８】
2012070500.tif 000060
【図５９】
2012070500.tif 000061
【図６０】
2012070500.tif 000062
【図６１】
2012070500.tif 000063
【図６２】
2012070500.tif 000064
【図６３】
2012070500.tif 000065
【図６４】
2012070500.tif 000066
【図６５】
2012070500.tif 000067
【図６６】
2012070500.tif 000068
【図６７】
2012070500.tif 000069
【図６８】
2012070500.tif 000070
【図６９】
2012070500.tif 000071
【図７０】
2012070500.tif 000072
【図７１】
2012070500.tif 000073
【図７２】
2012070500.tif 000074
【図７３】
2012070500.tif 000075
【図７４】
2012070500.tif 000076
【国際調査報告】
2012070500.tif 000077
2012070500.tif 000078
2012070500.tif 000079
2012070500.tif 000080