(57)【要約】  立体映像符号化装置（１）は、基準視点映像（Ｃ）及び左視点映像（Ｌ）と、これらに付随する奥行値のマップである基準視点奥行マップ（Ｃｄ）及び左視点奥行マップ（Ｌｄ）とを入力する。立体映像符号化装置（１）は、奥行マップ合成手段（１２）により、２つの奥行マップから中間視点における左合成奥行マップ（Ｍｄ）を生成し、射影映像予測手段（１５）により、基準視点映像を他の視点に射影したときにオクルージョンホールとなる画素領域の画素を左視点映像（Ｌ）から抽出して左残差映像（Ｌｖ）を生成し、基準視点映像（Ｃ）と左合成奥行マップ（Ｍｄ）と左残差映像（Ｌｖ）とをそれぞれ符号化して伝送する。
2013073316.tif 000002
【特許請求の範囲】
【請求項１】
多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、を符号化する立体映像符号化装置であって、
前記多視点映像の基準視点における映像である基準視点映像を符号化して、基準視点映像ビットストリームとして出力する基準視点映像符号化手段と、
前記基準視点における奥行マップである基準視点奥行マップと、前記多視点映像の前記基準視点以外の視点である副視点における奥行マップである副視点奥行マップとを用いて、前記基準視点と前記副視点との中間視点における奥行マップである中間視点奥行マップを生成する中間視点奥行マップ合成手段と、
前記中間視点奥行マップを符号化して、奥行マップビットストリームとして出力する奥行マップ符号化手段と、
前記符号化された中間視点奥行マップを復号化して、復号化中間視点奥行マップを生成する奥行マップ復号化手段と、
前記復号化中間視点奥行マップを用いて、前記基準視点映像を他の視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を前記副視点映像から切出して残差映像を生成する射影映像予測手段と、
前記残差映像を符号化して、残差映像ビットストリームとして出力する残差映像符号化手段と、を備え、
前記射影映像予測手段は、
前記復号化中間視点奥行マップを用いて、前記基準視点映像を前記副視点に射影したときにオクルージョンホールとなる画素を検出するオクルージョンホール検出手段と、
前記オクルージョンホール検出手段が検出したオクルージョンホールとなる画素を前記副視点映像から切出して前記残差映像を生成する残差映像切出手段と、を有することを特徴とする立体映像符号化装置。
【請求項２】
前記オクルージョンホール検出手段は、
前記復号化中間視点奥行マップを前記副視点に射影して、前記副視点における奥行マップである副視点射影奥行マップを生成する副視点射影手段と、
前記副視点射影奥行マップにおいて、画素ごとに、前記オクルージョンホールとなる画素かどうかの判定対象として着目している画素である着目画素について、当該着目画素から前記基準視点側寄りに所定の画素数離れた画素における奥行値が、前記着目画素における奥行値よりも所定の値以上大きい場合に、前記着目画素を前記オクルージョンホールとなる画素として検出するホール画素検出手段と、を有することを特徴とする請求項１に記載の立体映像符号化装置。
【請求項３】
前記オクルージョンホール検出手段は、前記ホール画素検出手段によって検出された画素位置を示す穴マスクを、所定の画素数だけ膨張させる穴マスク膨張手段を有し、前記残差映像切出手段は、前記穴マスク膨張手段によって膨張させた穴マスクに含まれる画素を前記副視点映像から切出して前記残差映像を生成することを特徴とする請求項２に記載の立体映像符号化装置。
【請求項４】
前記オクルージョンホール検出手段は、
前記復号化中間視点奥行マップにおいて、画素ごとに、前記オクルージョンホールとなる画素かどうかの判定対象として着目している画素である着目画素について、当該着目画素から前記基準視点側寄りに所定の画素数離れた画素における奥行値が、前記着目画素における奥行値よりも所定の値以上大きい場合に、前記着目画素を前記オクルージョンホールとなる画素として検出する第２ホール画素検出手段と、
前記第２ホール画素検出手段による検出結果を、前記副視点に射影する第２副視点射影手段と、
前記ホール画素検出手段による検出結果及び前記第２副視点射影手段により射影された前記第２ホール画素検出手段による検出結果の論理和を前記オクルージョンホール検出手段の検出結果とする穴マスク合成手段と、を更に有することを特徴とする請求項２又は請求項３に記載の立体映像符号化装置。
【請求項５】
前記オクルージョンホール検出手段は、
前記復号化中間視点奥行マップを任意の指定視点位置に射影して、前記指定視点における奥行マップである指定視点奥行マップを生成する指定視点射影手段と、
前記指定視点奥行マップにおいて、画素ごとに、前記オクルージョンホールとなる画素かどうかの判定対象として着目している画素である着目画素について、当該着目画素から前記基準視点側寄りに所定の画素数離れた画素における奥行値が、前記着目画素における奥行値よりも所定の値以上大きい場合に、前記着目画素を前記オクルージョンホールとなる画素として検出する第３ホール画素検出手段と、
前記第３ホール画素検出手段による検出結果を、前記副視点に射影する第３副視点射影手段と、を更に有し、
前記穴マスク合成手段は、前記ホール画素検出手段による検出結果、前記第２副視点射影手段により射影された前記第２ホール画素検出手段による検出結果及び前記第３副視点射影手段により射影された前記第３ホール画素検出手段による検出結果の論理和を前記オクルージョンホール検出手段の検出結果とすることを特徴とする請求項４に記載の立体映像符号化装置。
【請求項６】
前記多視点映像において、前記基準視点と複数の前記副視点とについての複数の前記中間視点奥行マップを縮小して結合し、１つのフレーム画像にフレーム化したフレーム化奥行マップを生成する奥行マップフレーム化手段と、
前記フレーム化奥行マップから、フレーム化された複数の縮小された前記中間視点奥行マップを分離して、前記基準視点映像と同じ大きさの複数の前記中間視点奥行マップを生成する奥行マップ分離手段と、
前記多視点映像において、前記基準視点と複数の前記副視点とについての複数の前記残差映像を縮小して結合し、１つのフレーム画像にフレーム化したフレーム化残差映像を生成する残差映像フレーム化手段と、を更に備え、
前記中間視点奥行マップ合成手段は、前記基準視点と、複数の前記副視点のそれぞれとの間の中間視点における複数の前記中間視点奥行マップを生成し、
前記奥行マップフレーム化手段は、前記中間視点奥行マップ合成手段によって生成された複数の中間視点奥行マップを縮小して結合することで前記フレーム化奥行マップを生成し、
前記奥行マップ符号化手段は、前記フレーム化奥行マップを符号化して、前記奥行マップビットストリームとして出力し、
前記奥行マップ復号化手段は、前記奥行マップ符号化手段によって符号化されたフレーム化奥行マップを復号化して復号化フレーム化奥行マップを生成し、
前記奥行マップ分離手段は、前記復号化フレーム化奥行マップから縮小された複数の前記中間視点奥行マップを分離して、前記基準視点映像と同じ大きさの前記復号化中間視点奥行マップを生成し、
前記射影映像予測手段は、前記奥行マップ分離手段によって生成された復号化中間視点奥行マップを用いて、それぞれの前記復号化中間視点奥行マップに対応する前記副視点における前記副視点映像から前記残差映像を生成し、
前記残差映像フレーム化手段は、前記射影映像予測手段によって生成した複数の前記残差映像を縮小して結合することで前記フレーム化残差映像を生成し、
前記残差映像符号化手段は、前記フレーム化残差映像を符号化して、前記残差映像ビットストリームとして出力することを特徴とする請求項１乃至請求項５の何れか一項に記載の立体映像符号化装置。
【請求項７】
多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、が符号化されたビットストリームを復号化して多視点映像を生成する立体映像復号化装置であって、
前記多視点映像の基準視点における映像である基準視点映像が符号化された基準視点映像ビットストリームを復号化し、復号化基準視点映像を生成する基準視点映像復号化手段と、
前記基準視点と前記基準視点から離れた他の視点である副視点との中間の視点における奥行マップである中間視点奥行マップが符号化された奥行マップビットストリームを復号化し、復号化中間視点奥行マップを生成する奥行マップ復号化手段と、
前記基準視点映像を他の視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を前記副視点映像から切出した映像である残差映像が符号化された残差映像ビットストリームを復号化し、復号化残差映像を生成する残差映像復号化手段と、
前記復号化中間視点奥行マップを、前記多視点映像の視点として外部から指定された視点である指定視点に射影して、前記指定視点における奥行マップである指定視点奥行マップを生成する奥行マップ射影手段と、
前記指定視点奥行マップを用いて、前記復号化基準視点映像及び前記復号化残差映像を前記指定視点に射影した映像を合成して、前記指定視点における映像である指定視点映像を生成する射影映像合成手段と、を備え、
前記射影映像合成手段は、
前記指定視点奥行マップを用いて、前記復号化基準視点映像を前記指定視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を検出し、前記オクルージョンホールとならない画素について、前記指定視点奥行マップを用いて、前記復号化基準視点映像を前記指定視点に射影して前記指定視点映像の画素とする基準視点映像射影手段と、
前記オクルージョンホールとなる画素について、前記指定視点奥行マップを用いて、前記復号化残差映像を前記指定視点に射影して前記指定視点映像の画素とする残差映像射影手段と、を有することを特徴とする立体映像復号化装置。
【請求項８】
前記基準視点映像射影手段は、前記指定視点奥行マップにおいて、画素ごとに、オクルージョンホールとなる画素かどうかの判定対象として着目している画素である着目画素について、当該着目画素から前記基準視点側寄りに所定の画素数離れた画素における奥行値が、前記着目画素における奥行値よりも所定の値以上大きい場合に、前記着目画素をオクルージョンホールとなる画素として検出するホール画素検出手段を有することを特徴とする請求項７に記載の立体映像復号化装置。
【請求項９】
前記基準視点映像射影手段は、前記ホール画素検出手段で検出した画素からなるオクルージョンホールを、所定の画素数だけ膨張させる穴マスク膨張手段を有し、
前記残差映像射影手段は、前記穴マスク膨張手段によって膨張させたオクルージョンホールにおける画素について、前記復号化残差映像を前記指定視点に射影して前記指定視点映像の画素とすることを特徴とする請求項８に記載の立体映像復号化装置。
【請求項１０】
前記残差映像射影手段は、前記指定視点映像において、前記残差映像に含まれなかった画素を検出し、当該含まれなかった画素の周囲の画素値で当該含まれなかった画素の画素値を補間する穴埋め処理手段を備えることを特徴とする請求項９に記載の立体映像復号化装置。
【請求項１１】
前記基準視点と複数の前記副視点のそれぞれとの間の中間視点における複数の前記中間視点奥行マップを縮小して結合した１つのフレーム画像であるフレーム化奥行マップを、複数の前記中間視点ごとに分離して、前記基準視点映像と同じ大きさの中間視点奥行マップを生成する奥行マップ分離手段と、
前記複数の副視点についての複数の前記残差映像を縮小して結合した１つのフレーム画像であるフレーム化残差映像を分離して、前記基準視点映像と同じ大きさの前記復号化残差映像を生成する残差映像分離手段と、を更に備え、
前記奥行マップ復号化手段は、前記フレーム化奥行マップが符号化された前記奥行マップビットストリームを復号化して、復号化フレーム化奥行マップを生成し、
前記残差映像復号化手段は、前記フレーム化残差映像が符号化された前記残差映像ビットストリームを復号化して、復号化フレーム化残差映像を生成し、
前記奥行マップ分離手段は、前記復号化フレーム化奥行マップから、複数の縮小された前記中間視点奥行マップを分離して、前記基準視点映像と同じ大きさの複数の前記復号化中間視点奥行マップを生成し、
前記残差映像分離手段は、前記復号化フレーム化残差映像から、複数の縮小された前記残差映像を分離して、前記基準視点映像と同じ大きさの複数の前記復号化残差映像を生成し、
前記奥行マップ射影手段は、複数の前記指定視点ごとに、それぞれ対応する前記復号化中間視点奥行マップを前記指定視点に射影して、前記指定視点における奥行マップである指定視点奥行マップを生成し、
前記射影映像合成手段は、複数の前記指定視点ごとに、それぞれ対応する前記指定視点奥行マップを用いて、それぞれ対応する前記復号化基準視点映像及び前記復号化残差映像を前記指定視点に射影した映像を合成して、前記指定視点における映像である指定視点映像を生成することを特徴とする請求項７乃至請求項１０の何れか一項に記載の立体映像復号化装置。
【請求項１２】
多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、を符号化する立体映像符号化方法であって、
前記多視点映像の基準視点における映像である基準視点映像を符号化して、基準視点映像ビットストリームとして出力する基準視点映像符号化処理ステップと、
前記基準視点における奥行マップである基準視点奥行マップと、前記多視点映像の前記基準視点以外の視点である副視点における奥行マップである副視点奥行マップとを用いて、前記基準視点と前記副視点との中間視点における奥行マップである中間視点奥行マップを生成する中間視点奥行マップ合成処理ステップと、
前記中間視点奥行マップを符号化して、奥行マップビットストリームとして出力する奥行マップ符号化処理ステップと、
前記符号化された中間視点奥行マップを復号化して、復号化中間視点奥行マップを生成する奥行マップ復号化処理ステップと、
前記復号化中間視点奥行マップを用いて、前記基準視点映像を他の視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を前記副視点映像から切出して残差映像を生成する射影映像予測処理ステップと、
前記残差映像を符号化して、残差映像ビットストリームとして出力する残差映像符号化処理ステップと、を含み、
前記射影映像予測処理ステップは、
前記復号化中間視点奥行マップを用いて、前記基準視点映像を前記副視点に射影したときにオクルージョンホールとなる画素を検出するオクルージョンホール検出処理ステップと、
前記オクルージョンホール検出処理ステップで検出したオクルージョンホールとなる画素を前記副視点映像から切出して前記残差映像を生成する残差映像切出処理ステップと、を含むことを特徴とする立体映像符号化方法。
【請求項１３】
多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、が符号化されたビットストリームを復号化して多視点映像を生成する立体映像復号化方法であって、
前記多視点映像の基準視点における映像である基準視点映像が符号化された基準視点映像ビットストリームを復号化し、復号化基準視点映像を生成する基準視点映像復号化処理ステップと、
前記基準視点と前記基準視点から離れた他の視点である副視点との中間の視点における奥行マップである中間視点奥行マップが符号化された奥行マップビットストリームを復号化し、復号化中間視点奥行マップを生成する奥行マップ復号化処理ステップと、
前記基準視点映像を他の視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を前記副視点映像から切出した映像である残差映像が符号化された残差映像ビットストリームを復号化し、復号化残差映像を生成する残差映像復号化処理ステップと、
前記復号化中間視点奥行マップを、前記多視点映像の視点として外部から指定された視点である指定視点に射影して、前記指定視点における奥行マップである指定視点奥行マップを生成する奥行マップ射影処理ステップと、
前記指定視点奥行マップを用いて、前記復号化基準視点映像及び前記復号化残差映像を前記指定視点に射影した映像を合成して、前記指定視点における映像である指定視点映像を生成する射影映像合成処理ステップと、を含み、
前記射影映像合成処理ステップは、
前記指定視点奥行マップを用いて、前記復号化基準視点映像を前記指定視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を検出し、前記オクルージョンホールとならない画素について、前記指定視点奥行マップを用いて、前記復号化基準視点映像を前記指定視点に射影して前記指定視点映像の画素とする基準視点映像射影処理ステップと、
前記オクルージョンホールとなる画素について、前記指定視点奥行マップを用いて、前記復号化残差映像を前記指定視点に射影して前記指定視点映像の画素とする残差映像射影処理ステップと、を含むことを特徴とする立体映像復号化方法。
【請求項１４】
多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、を符号化するために、コンピュータを、
前記多視点映像の基準視点における映像である基準視点映像を符号化して、基準視点映像ビットストリームとして出力する基準視点映像符号化手段、
前記基準視点における奥行マップである基準視点奥行マップと、前記多視点映像の前記基準視点以外の視点である副視点における奥行マップである副視点奥行マップと用いて、前記基準視点と前記副視点との中間視点における奥行マップである中間視点奥行マップを生成する中間視点奥行マップ合成手段、
前記中間視点奥行マップを符号化して、奥行マップビットストリームとして出力する奥行マップ符号化手段、
前記符号化された中間視点奥行マップを復号化して、復号化中間視点奥行マップを生成する奥行マップ復号化手段、
前記復号化中間視点奥行マップを用いて、前記基準視点映像を他の視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を前記副視点映像から切出して残差映像を生成する射影映像予測手段、
前記残差映像を符号化して、残差映像ビットストリームとして出力する残差映像符号化手段、
前記復号化中間視点奥行マップを用いて、前記基準視点映像を前記副視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を検出するオクルージョンホール検出手段、
前記オクルージョンホール検出手段が検出したオクルージョンホールとなる画素を前記副視点映像から切出して前記残差映像を生成する残差映像切出手段、
として機能させることを特徴とする立体映像符号化プログラム。
【請求項１５】
多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、が符号化されたビットストリームを復号化して多視点映像を生成するために、コンピュータを、
前記多視点映像の基準視点における映像である基準視点映像が符号化された基準視点映像ビットストリームを復号化し、復号化基準視点映像を生成する基準視点映像復号化手段、
前記基準視点と前記基準視点から離れた他の視点である副視点との中間の視点における奥行マップである中間視点奥行マップが符号化された奥行マップビットストリームを復号化し、復号化中間視点奥行マップを生成する奥行マップ復号化手段、
前記基準視点映像を他の視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を前記副視点映像から切出した映像である残差映像が符号化された残差映像ビットストリームを復号化し、復号化残差映像を生成する残差映像復号化手段、
前記復号化中間視点奥行マップを、前記多視点映像の視点として外部から指定された視点である指定視点に射影して、前記指定視点における奥行マップである指定視点奥行マップを生成する奥行マップ射影手段、
前記指定視点奥行マップを用いて、前記復号化基準視点映像及び前記復号化残差映像を前記指定視点に射影した映像を合成して、前記指定視点における映像である指定視点映像を生成する射影映像合成手段、
前記指定視点奥行マップを用いて、前記復号化基準視点映像を前記指定視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を検出し、前記オクルージョンホールとならない画素について、前記指定視点奥行マップを用いて、前記復号化基準視点映像を前記指定視点に射影して前記指定視点映像の画素とする基準視点映像射影手段、
前記オクルージョンホールとなる画素について、前記指定視点奥行マップを用いて、前記復号化残差映像を前記指定視点に射影して前記指定視点映像の画素とする残差映像射影手段、
として機能させることを特徴とする立体映像復号化プログラム。
【請求項１６】
多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、を符号化する立体映像符号化装置であって、
前記多視点映像の基準視点における映像である基準視点映像を符号化して、基準視点映像ビットストリームとして出力する基準視点映像符号化手段と、
前記基準視点における奥行マップである基準視点奥行マップと、前記多視点映像の前記基準視点から離れた他の視点である副視点における奥行マップである副視点奥行マップとを所定の視点に射影して合成し、前記所定の視点における奥行マップである合成奥行マップを生成する奥行マップ合成手段と、
前記合成奥行マップを符号化して、奥行マップビットストリームとして出力する奥行マップ符号化手段と、
前記符号化された合成奥行マップを復号化して、復号化合成奥行マップを生成する奥行マップ復号化手段と、
前記復号化合成奥行マップを用いて、前記基準視点映像から他の視点における映像を予測したときの予測残差である残差映像を生成する射影映像予測手段と、
前記残差映像を符号化して、残差映像ビットストリームとして出力する残差映像符号化手段と、
を備えることを特徴とする立体映像符号化装置。
【請求項１７】
前記奥行マップ合成手段は、前記基準視点奥行マップと複数の前記副視点奥行マップとを共通視点に射影して合成することで前記共通視点における１つの合成奥行マップを生成し、
前記基準視点と複数の前記副視点とについての複数の前記残差映像を縮小して結合し、１つのフレーム画像にフレーム化したフレーム化残差映像を生成する残差映像フレーム化手段を更に備え、
前記残差映像符号化手段は、前記フレーム化残差映像を符号化して、前記残差映像ビットストリームとして出力することを特徴とする請求項１６に記載の立体映像符号化装置。
【請求項１８】
前記射影映像予測手段は、前記復号化合成奥行マップを用いて、前記基準視点映像を他の視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を前記副視点映像から切出して残差映像を生成することを特徴とする請求項１６又は請求項１７に記載の立体映像符号化装置。
【請求項１９】
前記射影映像予測手段は、前記復号化合成奥行マップを用いて、前記基準視点映像を前記副視点に射影した映像と、前記副視点映像との画素ごとの差を算出して残差映像を生成することを特徴とする請求項１６又は請求項１７に記載の立体映像符号化装置。
【請求項２０】
前記基準視点映像ビットストリームと、前記奥行マップビットストリームと、前記残差映像ビットストリームとは、それぞれ、所定の開始コードと１視点映像であることを識別する第１識別情報とをこの順で含むヘッダを有しており、
前記基準視点及び前記副視点の各位置を示す情報を含む補助情報と、前記基準視点映像ビットストリームと、前記奥行マップビットストリームと、前記残差映像ビットストリームと、を多重化して、多重化ビットストリームとして出力するビットストリーム多重化手段を更に備え、
前記ビットストリーム多重化手段は、
前記基準視点映像ビットストリームについてはそのまま出力し、
前記奥行マップビットストリームについては、前記開始コードと前記第１識別情報との間に、立体映像に関するデータであることを識別する第２識別情報と、前記奥行マップビットストリームであることを識別する第３識別情報とをこの順で挿入して出力し、
前記残差映像ビットストリームについては、前記開始コードと前記第１識別情報との間に、前記第２識別情報と、前記残差映像ビットストリームであることを識別する第４識別情報とをこの順で挿入して出力し、
前記補助情報については、前記開始コードと、前記第２識別情報と、前記補助情報であることを識別する第５識別情報とをこの順で含むヘッダを前記補助情報に付加して出力することを特徴とする請求項１６に記載の立体映像符号化装置。
【請求項２１】
多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、が符号化されたビットストリームを復号化して多視点映像を生成する立体映像復号化装置であって、
前記多視点映像の基準視点における映像である基準視点映像が符号化された基準視点映像ビットストリームを復号化し、復号化基準視点映像を生成する基準視点映像復号化手段と、
前記基準視点における奥行マップである基準視点奥行マップと、前記多視点映像の前記基準視点から離れた他の視点である副視点における奥行マップである副視点奥行マップとを合成して生成された所定の視点における奥行マップである合成奥行マップが符号化された奥行マップビットストリームを復号化し、復号化合成奥行マップを生成する奥行マップ復号化手段と、
前記基準視点映像から前記基準視点から離れた他の視点における映像を前記復号化合成奥行マップを用いて予測したときの予測残差である残差映像が符号化された残差映像ビットストリームを復号化し、復号化残差映像を生成する残差映像復号化手段と、
前記復号化合成奥行マップを、前記多視点映像の視点として外部から指定された視点である指定視点に射影して、前記指定視点における奥行マップである指定視点奥行マップを生成する奥行マップ射影手段と、
前記指定視点奥行マップを用いて、前記復号化基準視点映像及び前記復号化残差映像を前記指定視点に射影した映像を合成して、前記指定視点における映像である指定視点映像を生成する射影映像合成手段と、
を備えることを特徴とする立体映像復号化装置。
【請求項２２】
前記合成奥行マップは、前記基準視点奥行マップと複数の前記副視点奥行マップとを共通視点に射影して合成された前記共通視点における１つの奥行マップであり、
前記複数の副視点についての複数の前記残差映像を縮小して結合した１つのフレーム画像であるフレーム化残差映像を分離して、前記基準視点映像と同じ大きさの前記復号化残差映像を生成する残差映像分離手段を更に備え、
前記残差映像復号化手段は、前記フレーム化残差映像が符号化された前記残差映像ビットストリームを復号化して、復号化フレーム化残差映像を生成し、
前記残差映像分離手段は、前記復号化フレーム化残差映像から、複数の縮小された前記残差映像を分離して、前記基準視点映像と同じ大きさの複数の前記復号化残差映像を生成し、
前記射影映像合成手段は、前記指定視点奥行マップを用いて、前記復号化基準視点映像と、複数の前記復号化残差映像の何れか１つとを前記指定視点に射影した映像を合成して、前記指定視点における映像である指定視点映像を生成することを特徴とする請求項２１に記載の立体映像復号化装置。
【請求項２３】
前記残差映像ビットストリームは、前記基準視点映像を前記基準視点から離れた他の視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を前記副視点映像から切出すことで生成した残差映像が符号化されており、
前記射影映像合成手段は、
前記復号化基準視点映像を前記指定視点に射影したときに、前記指定視点奥行マップを用いて、射影できない画素領域であるオクルージョンホールとなる画素を検出し、前記オクルージョンホールとならない画素について、前記指定視点奥行マップを用いて、前記復号化基準視点映像を前記指定視点に射影して前記指定視点映像の画素とする基準視点映像射影手段と、
前記オクルージョンホールとなる画素について、前記指定視点奥行マップを用いて、前記復号化残差映像を前記指定視点に射影して前記指定視点映像の画素とする残差映像射影手段と、を有することを特徴とする請求項２１又は請求項２２に記載の立体映像復号化装置。
【請求項２４】
前記残差映像ビットストリームは、前記復号化合成奥行マップを用いて前記基準視点映像を前記副視点に射影した映像と、前記副視点映像との画素ごとの差を算出することで生成した残差映像が符号化されており、
前記射影映像合成手段は、
前記指定視点奥行マップを用いて前記復号化基準視点映像を前記指定視点に射影した映像に、前記指定視点奥行マップを用いて前記復号化残差映像を前記指定視点に射影した映像を、画素ごとに加算して前記指定視点映像を生成する残差加算手段を有することを特徴とする請求項２１又は請求項２２に記載の立体映像復号化装置。
【請求項２５】
前記基準視点映像ビットストリームは、所定の開始コードと１視点映像であることを識別する第１識別情報とをこの順で含むヘッダを有し、
前記奥行マップビットストリームは、前記開始コードと前記第１識別情報との間に、立体映像に関するデータであることを識別する第２識別情報と、前記奥行マップビットストリームであることを識別する第３識別情報とをこの順で含むヘッダを有し、
前記残差映像ビットストリームは、前記開始コードと前記第１識別情報との間に、前記第２識別情報と、前記残差映像ビットストリームであることを識別する第４識別情報とをこの順で含むヘッダを有し、
前記補助情報ビットストリームは、前記開始コードと、前記第２識別情報と、前記補助情報ビットストリームであることを識別する第５識別情報とをこの順で含むヘッダを有し、
前記基準視点映像ビットストリームと、前記奥行マップビットストリームと、前記残差映像ビットストリームと、前記基準視点及び前記副視点の各位置を示す情報を含む補助情報を含むビットストリームと、が多重化された多重化ビットストリームを、前記基準視点映像ビットストリームと、前記奥行マップビットストリームと、前記残差映像ビットストリームと、前記補助情報と、に分離するビットストリーム分離手段を更に備え、
前記ビットストリーム分離手段は、
前記多重化ビットストリームから前記開始コードの直後に前記第１識別情報を有するビットストリームを前記基準視点映像ビットストリームとして分離し、分離した基準視点映像ビットストリームを前記基準視点映像復号化手段に出力する基準視点映像ビットストリーム分離手段と、
前記多重化ビットストリームから前記開始コードの直後に前記第２識別情報と前記第３識別情報とをこの順で有するビットストリームを前記奥行マップビットストリームとして分離し、当該ビットストリームから前記第２識別情報及び前記第３識別情報を除去したビットストリームを前記奥行マップ復号化手段に出力する奥行マップビットストリーム分離手段と、
前記多重化ビットストリームから前記開始コードの直後に前記第２識別情報と前記第４識別情報とをこの順で有するビットストリームを前記残差映像ビットストリームとして分離し、当該ビットストリームから前記第２識別情報及び前記第４識別情報を除去したビットストリームを前記残差映像復号化手段に出力する残差映像ビットストリーム分離手段と、
前記多重化ビットストリームから前記開始コードの直後に前記第２識別情報と前記第５識別情報とをこの順で有するビットストリームを前記補助情報ビットストリームとして分離し、当該ビットストリームから前記第２識別情報及び前記第５識別情報を除去したビットストリームを補助情報として前記射影映像合成手段に出力する補助情報分離手段と、
を有することを特徴とする請求項２１に記載の立体映像復号化装置。
【請求項２６】
多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、を符号化する立体映像符号化方法であって、
前記多視点映像の基準視点における映像である基準視点映像を符号化して、基準視点映像ビットストリームとして出力する基準視点映像符号化処理ステップと、
前記基準視点における奥行マップである基準視点奥行マップと、前記多視点映像の前記基準視点から離れた他の視点である副視点における奥行マップである副視点奥行マップとを所定の視点に射影して合成し、前記所定の視点における奥行マップである合成奥行マップを生成する奥行マップ合成処理ステップと、
前記合成奥行マップを符号化して、奥行マップビットストリームとして出力する奥行マップ符号化処理ステップと、
前記符号化された合成奥行マップを復号化して、復号化合成奥行マップを生成する奥行マップ復号化処理ステップと、
前記復号化合成奥行マップを用いて、前記基準視点映像から他の視点における映像を予測したときの予測残差である残差映像を生成する射影映像予測処理ステップと、
前記残差映像を符号化して、残差映像ビットストリームとして出力する残差映像符号化処理ステップと、
を含むことを特徴とする立体映像符号化方法。
【請求項２７】
前記基準視点映像ビットストリームと、前記奥行マップビットストリームと、前記残差映像ビットストリームとは、それぞれ、所定の開始コードと１視点映像であることを識別する第１識別情報とをこの順で含むヘッダを有しており、
前記基準視点及び前記副視点の各位置を示す情報を含む補助情報と、前記基準視点映像ビットストリームと、前記奥行マップビットストリームと、前記残差映像ビットストリームと、を多重化して、多重化ビットストリームとして出力するビットストリーム多重化処理ステップを更に含み、
前記ビットストリーム多重化処理ステップは、
前記基準視点映像ビットストリームについてはそのまま出力し、
前記奥行マップビットストリームについては、前記開始コードと前記第１識別情報との間に、立体映像に関するデータであることを識別する第２識別情報と、前記奥行マップビットストリームであることを識別する第３識別情報とをこの順で挿入して出力し、
前記残差映像ビットストリームについては、前記開始コードと前記第１識別情報との間に、前記第２識別情報と、前記残差映像ビットストリームであることを識別する第４識別情報とをこの順で挿入して出力し、
前記補助情報については、前記開始コードと、前記第２識別情報と、前記補助情報であることを識別する第５識別情報とをこの順で含むヘッダを前記補助情報に付加して出力することを特徴とする請求項２６に記載の立体映像符号化方法。
【請求項２８】
多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、が符号化されたビットストリームを復号化して多視点映像を生成する立体映像復号化方法であって、
前記多視点映像の基準視点における映像である基準視点映像が符号化された基準視点映像ビットストリームを復号化し、復号化基準視点映像を生成する基準視点映像復号化処理ステップと、
前記基準視点における奥行マップである基準視点奥行マップと、前記多視点映像の前記基準視点から離れた他の視点である副視点における奥行マップである副視点奥行マップとを合成して生成された所定の視点における奥行マップである合成奥行マップが符号化された奥行マップビットストリームを復号化し、復号化合成奥行マップを生成する奥行マップ復号化処理ステップと、
前記基準視点映像から前記基準視点から離れた他の視点における映像を前記復号化合成奥行マップを用いて予測したときの予測残差である残差映像が符号化された残差映像ビットストリームを復号化し、復号化残差映像を生成する残差映像復号化処理ステップと、
前記復号化合成奥行マップを、前記多視点映像の視点として外部から指定された視点である指定視点に射影して、前記指定視点における奥行マップである指定視点奥行マップを生成する奥行マップ射影処理ステップと、
前記指定視点奥行マップを用いて、前記復号化基準視点映像及び前記復号化残差映像を前記指定視点に射影した映像を合成して、前記指定視点における映像である指定視点映像を生成する射影映像合成処理ステップと、
を含むことを特徴とする立体映像復号化方法。
【請求項２９】
前記基準視点映像ビットストリームは、所定の開始コードと１視点映像であることを識別する第１識別情報とをこの順で含むヘッダを有し、
前記奥行マップビットストリームは、前記開始コードと前記第１識別情報との間に、立体映像に関するデータであることを識別する第２識別情報と、前記奥行マップビットストリームであることを識別する第３識別情報とをこの順で含むヘッダを有し、
前記残差映像ビットストリームは、前記開始コードと前記第１識別情報との間に、前記第２識別情報と、前記残差映像ビットストリームであることを識別する第４識別情報とをこの順で含むヘッダを有し、
前記補助情報ビットストリームは、前記開始コードと、前記第２識別情報と、前記補助情報ビットストリームであることを識別する第５識別情報とをこの順で含むヘッダを有し、
前記基準視点映像ビットストリームと、前記奥行マップビットストリームと、前記残差映像ビットストリームと、前記基準視点及び前記副視点の各位置を示す情報を含む補助情報を含むビットストリームと、が多重化された多重化ビットストリームを、前記基準視点映像ビットストリームと、前記奥行マップビットストリームと、前記残差映像ビットストリームと、前記補助情報と、に分離するビットストリーム分離処理ステップを更に含み、
前記ビットストリーム分離ステップは、
前記多重化ビットストリームから前記開始コードの直後に前記第１識別情報を有するビットストリームを前記基準視点映像ビットストリームとして分離し、分離した基準視点映像ビットストリームを前記基準視点映像復号化処理ステップで用い、
前記多重化ビットストリームから前記開始コードの直後に前記第２識別情報と前記第３識別情報とをこの順で有するビットストリームを前記奥行マップビットストリームとして分離し、当該ビットストリームから前記第２識別情報及び前記第３識別情報を除去したビットストリームを前記奥行マップ復号化処理ステップで用い、
前記多重化ビットストリームから前記開始コードの直後に前記第２識別情報と前記第４識別情報とをこの順で有するビットストリームを前記残差映像ビットストリームとして分離し、当該ビットストリームから前記第２識別情報及び前記第４識別情報を除去したビットストリームを前記残差映像復号化処理ステップで用い、
前記多重化ビットストリームから前記開始コードの直後に前記第２識別情報と前記第５識別情報とをこの順で有するビットストリームを前記補助情報ビットストリームとして分離し、当該ビットストリームから前記第２識別情報及び前記第５識別情報を除去したビットストリームを補助情報として前記射影映像合成処理ステップで用いることを特徴とする請求項２８に記載の立体映像復号化方法。
【請求項３０】
多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、を符号化するために、コンピュータを、
前記多視点映像の基準視点における映像である基準視点映像を符号化して、基準視点映像ビットストリームとして出力する基準視点映像符号化手段、
前記基準視点における奥行マップである基準視点奥行マップと、前記多視点映像の前記基準視点から離れた他の視点である副視点における奥行マップである副視点奥行マップとを所定の視点に射影して合成し、前記所定の視点における奥行マップである合成奥行マップを生成する奥行マップ合成手段、
前記合成奥行マップを符号化して、奥行マップビットストリームとして出力する奥行マップ符号化手段、
前記符号化された合成奥行マップを復号化して、復号化合成奥行マップを生成する奥行マップ復号化手段、
前記復号化合成奥行マップを用いて、前記基準視点映像から他の視点における映像を予測したときの予測残差である残差映像を生成する射影映像予測手段、
前記残差映像を符号化して、残差映像ビットストリームとして出力する残差映像符号化手段、
として機能させる立体映像符号化プログラム。
【請求項３１】
前記基準視点映像ビットストリームと、前記奥行マップビットストリームと、前記残差映像ビットストリームとは、それぞれ、所定の開始コードと１視点映像であることを識別する第１識別情報とをこの順で含むヘッダを有しており、
前記基準視点及び前記副視点の各位置を示す情報を含む補助情報と、前記基準視点映像ビットストリームと、前記奥行マップビットストリームと、前記残差映像ビットストリームと、を多重化して、多重化ビットストリームとして出力するビットストリーム多重化手段として更に機能させ、
前記ビットストリーム多重化手段は、
前記基準視点映像ビットストリームについてはそのまま出力し、
前記奥行マップビットストリームについては、前記開始コードと前記第１識別情報との間に、立体映像に関するデータであることを識別する第２識別情報と、前記奥行マップビットストリームであることを識別する第３識別情報とをこの順で挿入して出力し、
前記残差映像ビットストリームについては、前記開始コードと前記第１識別情報との間に、前記第２識別情報と、前記残差映像ビットストリームであることを識別する第４識別情報とをこの順で挿入して出力し、
前記補助情報については、前記開始コードと、前記第２識別情報と、前記補助情報であることを識別する第５識別情報とをこの順で含むヘッダを前記補助情報に付加して出力することを特徴とする請求項３０に記載の立体映像符号化プログラム。
【請求項３２】
多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、が符号化されたビットストリームを復号化して多視点映像を生成するために、コンピュータを、
前記多視点映像の基準視点における映像である基準視点映像が符号化された基準視点映像ビットストリームを復号化し、復号化基準視点映像を生成する基準視点映像復号化手段、
前記基準視点における奥行マップである基準視点奥行マップと、前記多視点映像の前記基準視点から離れた他の視点である副視点における奥行マップである副視点奥行マップとを合成して生成された所定の視点における奥行マップである合成奥行マップが符号化された奥行マップビットストリームを復号化し、復号化合成奥行マップを生成する奥行マップ復号化手段、
前記基準視点映像から前記基準視点から離れた他の視点における映像を前記復号化合成奥行マップを用いて予測したときの予測残差である残差映像が符号化された残差映像ビットストリームを復号化し、復号化残差映像を生成する残差映像復号化手段、
前記復号化合成奥行マップを、前記多視点映像の視点として外部から指定された視点である指定視点に射影して、前記指定視点における奥行マップである指定視点奥行マップを生成する奥行マップ射影手段、
前記指定視点奥行マップを用いて、前記復号化基準視点映像及び前記復号化残差映像を前記指定視点に射影した映像を合成して、前記指定視点における映像である指定視点映像を生成する射影映像合成手段、
として機能させる立体映像復号化プログラム。
【請求項３３】
前記基準視点映像ビットストリームは、所定の開始コードと１視点映像であることを識別する第１識別情報とをこの順で含むヘッダを有し、
前記奥行マップビットストリームは、前記開始コードと前記第１識別情報との間に、立体映像に関するデータであることを識別する第２識別情報と、前記奥行マップビットストリームであることを識別する第３識別情報とをこの順で含むヘッダを有し、
前記残差映像ビットストリームは、前記開始コードと前記第１識別情報との間に、前記第２識別情報と、前記残差映像ビットストリームであることを識別する第４識別情報とをこの順で含むヘッダを有し、
前記補助情報ビットストリームは、前記開始コードと、前記第２識別情報と、前記補助情報ビットストリームであることを識別する第５識別情報とをこの順で含むヘッダを有し、
前記基準視点映像ビットストリームと、前記奥行マップビットストリームと、前記残差映像ビットストリームと、前記基準視点及び前記副視点の各位置を示す情報を含む補助情報を含むビットストリームと、が多重化された多重化ビットストリームを、前記基準視点映像ビットストリームと、前記奥行マップビットストリームと、前記残差映像ビットストリームと、前記補助情報と、に分離するビットストリーム分離手段として更に機能させ、
前記ビットストリーム分離手段は、
前記多重化ビットストリームから前記開始コードの直後に前記第１識別情報を有するビットストリームを前記基準視点映像ビットストリームとして分離し、分離した基準視点映像ビットストリームを前記基準視点映像復号化手段に出力し、
前記多重化ビットストリームから前記開始コードの直後に前記第２識別情報と前記第３識別情報とをこの順で有するビットストリームを前記奥行マップビットストリームとして分離し、当該ビットストリームから前記第２識別情報及び前記第３識別情報を除去したビットストリームを前記奥行マップ復号化手段に出力し、
前記多重化ビットストリームから前記開始コードの直後に前記第２識別情報と前記第４識別情報とをこの順で有するビットストリームを前記残差映像ビットストリームとして分離し、当該ビットストリームから前記第２識別情報及び前記第４識別情報を除去したビットストリームを前記残差映像復号化手段に出力し、
前記多重化ビットストリームから前記開始コードの直後に前記第２識別情報と前記第５識別情報とをこの順で有するビットストリームを前記補助情報ビットストリームとして分離し、当該ビットストリームから前記第２識別情報及び前記第５識別情報を除去したビットストリームを補助情報として前記射影映像合成手段に出力することを特徴とする請求項３２に記載の立体映像復号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体映像を符号化する立体映像符号化装置、立体映像符号化方法及び立体映像符号化プログラム、並びに、符号化された立体映像を復号化する立体映像復号化装置、立体映像復号化方法及び立体映像復号化プログラムに関する。
【背景技術】
【０００２】
近年、２眼式立体テレビや２眼式立体映画が普及しつつあるが、一部の立体視要因を実現するのみであり、運動視差がないため不自然であったり、眼鏡をかけることに起因する眼性疲労等があったりする。このため、より自然な裸眼立体映像の実用化が望まれている。【０００３】
裸眼立体映像は多視点映像で実現されるが、多数の視点映像を伝送・蓄積する必要があり、データ量が多く、実用化が困難であった。そこで、多視点映像に、その視点映像について、被写体の奥行情報として、他の視点映像との間の各画素における視差（同じ被写体点の映像内での画素位置のずれ量）のマップである奥行マップを付加することで視点数を間引いて伝送・蓄積し、得られた少数の視点映像を奥行マップで射影することにより、間引かれた視点映像を補間して、多視点映像を復元する方法が知られている。【０００４】
このような、少数の視点映像と奥行マップとを用いて多視点映像を復元する方法が、例えば、特許文献１に開示されている。特許文献１には、多視点映像（画像信号）とその奥行マップ（デプス信号）とを符号化・復号化する方法が記載されている。図３５を参照して、特許文献１に記載の画像符号化装置について説明する。図３５に示したように、特許文献１に記載の画像符号化装置は、符号管理部１０１、画像信号符号化部１０７、デプス信号符号化部１０８、ユニット化部１０９及びパラメータ情報符号化部１１０を備えて構成されている。この画像符号化装置では、各視点映像（画像信号）は、画像信号符号化部１０７で、視点映像間の予測符号化を行い、１つ以上の視点の奥行マップ（デプス信号）は、デプス信号符号化部１０８で、同様に視点間予測符号化される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１５７８２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載された方法では、すべての符号化された視点映像は、元の映像と同じサイズを有するものである。しかしながら、現在実用化されつつある多視点立体ディスプレイは、その製造コストを抑えるために、従来普及しているディスプレイと同じ画素数のディスプレイを用い、各視点映像は、（視点数）分の１に画素数を間引いて表示しているので、符号化・伝送された画素データの大半を捨てることとなり、符号化効率が低いものである。また、特許文献１には、伝送される視点映像に付随した奥行マップを使って、間引かれた視点映像を合成する方法が記載されているが、視点数と同数の奥行マップを符号化・伝送する必要があり、符号化効率が低いという問題があった。【０００７】
また、特許文献１に記載された方法では、多視点映像と奥行マップとは、それぞれ個別に視点間予測符号化される。しかしながら、従来の視点間予測符号化方法は、視点映像間で、対応する画素位置を探索して、その画素位置のずれ量を視差ベクトルとして抽出し、抽出した視差ベクトルを用いて視点間予測符号化・復号化するものである。このため、視差ベクトルの探索に時間が掛かるとともに、予測精度が悪く、符号化・復号化速度が遅いという問題があった。【０００８】
本発明は、このような問題に鑑みてなされたものであり、立体映像を効率よく符号化して伝送する立体映像符号化装置、立体映像符号化方法及び立体映像符号化プログラム、並びに、その符号化された立体映像を復号化する立体映像復号化装置、立体映像復号化方法及び立体映像復号化プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００９】
前記した課題を解決するために、請求項１に記載の立体映像符号化装置は、多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、を符号化する立体映像符号化装置であって、基準視点映像符号化手段と、中間視点奥行マップ合成手段と、奥行マップ符号化手段と、奥行マップ復号化手段と、射影映像予測手段と、残差映像符号化手段と、を備え、前記射影映像予測手段は、オクルージョンホール検出手段と残差映像切出手段とを有する構成とした。【００１０】
かかる構成によれば、立体映像符号化装置は、基準視点映像符号化手段によって、前記多視点映像の基準視点における映像である基準視点映像を符号化して、基準視点映像ビットストリームとして出力する。また、立体映像符号化装置は、中間視点奥行マップ合成手段によって、前記基準視点における奥行マップである基準視点奥行マップと、前記多視点映像の前記基準視点以外の視点である副視点における奥行マップである副視点奥行マップとを用いて、前記基準視点と前記副視点との中間視点における奥行マップである中間視点奥行マップを合成する。そして、立体映像符号化装置は、奥行マップ符号化手段によって、前記中間視点奥行マップを符号化して、奥行マップビットストリームとして出力する。
これによって、符号化する奥行マップについてのデータ量は元の奥行マップが２つの場合で、半分に削減されることとなる。【００１１】
また、立体映像符号化装置は、奥行マップ復号化手段によって、前記符号化された中間視点奥行マップを復号化して、復号化中間視点奥行マップを生成する。次に、立体映像符号化装置は、射影映像予測手段によって、前記復号化中間視点奥行マップを用いて、前記基準視点映像を他の視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を前記副視点映像から切出して残差映像を生成する。このとき、立体映像符号化装置は、残差映像を生成するために、オクルージョンホール検出手段によって、前記復号化中間視点奥行マップを用いて、前記基準視点映像を前記副視点に射影したときにオクルージョンホールとなる画素を検出し、残差映像切出手段によって、前記オクルージョンホールとなる画素を前記副視点映像から切出して前記残差映像を生成する。ここで、立体映像符号化装置は、符号化される前の中間視点奥行マップではなく、符号化・復号化を経た中間視点奥行マップを用いるものである。特に高い圧縮率で符号化した場合は、復号化された奥行マップは、元の奥行マップに対して多くの誤差を含むこととなる。そこで、立体映像復号化装置で前記したビットストリームを復号化して多視点映像を生成する際に用いる中間視点における奥行マップと同じ奥行マップを用いることで、オクルージョンホールとなる画素を正確に検出することができる。そして、立体映像符号化装置は、残差映像符号化手段によって、前記残差映像を符号化して、残差映像ビットストリームとして出力する。
これによって、副視点映像についてのデータの内で、残差映像として切出された分だけが符号化対象となり、符号化されるデータ量が削減される。【００１２】
請求項２に記載の立体映像符号化装置は、請求項１に記載の立体映像符号化装置において、前記オクルージョンホール検出手段は、副視点射影手段とホール画素検出手段とを有する構成とした。【００１３】
かかる構成によれば、立体映像符号化装置は、副視点射影手段によって、前記復号化中間視点奥行マップを前記副視点に射影して、前記副視点における奥行マップである副視点射影奥行マップを生成する。また、立体映像符号化装置は、ホール画素検出手段によって、前記副視点射影奥行マップにおいて、画素ごとに、前記オクルージョンホールとなる画素かどうかの判定対象として着目している画素である着目画素について、当該着目画素から前記基準視点側寄りに所定の画素数離れた画素における奥行値が、前記着目画素における奥行値よりも所定の値以上大きい場合に、前記着目画素を前記オクルージョンホールとなる画素として検出する。すなわち、立体映像符号化装置は、基準視点から遠く離れた副視点における奥行マップを用いてオクルージョンホールとなる画素を検出する。
これによって、立体映像符号化装置は、オクルージョンホールとなることが予測される画素領域を漏れが少なく検出する。【００１４】
請求項３に記載の立体映像符号化装置は、請求項２に記載の立体映像符号化装置において、前記オクルージョンホール検出手段は、オクルージョンホールの画素位置を示す穴マスクを膨張させる穴マスク膨張手段を有する構成とした。【００１５】
かかる構成によれば、前記オクルージョンホール検出手段は、穴マスク膨張手段によって、前記ホール画素検出手段による検出結果である、検出された画素からなる穴マスクを、所定の画素数だけ膨張させる。そして、立体映像符号化装置は、前記残差映像切出手段によって、前記穴マスク膨張手段によって膨張させた穴マスク（第１穴マスク）に含まれる画素を前記副視点映像から切出して前記残差映像を生成する。
これによって、立体映像符号化装置は、特に圧縮率の高い符号化方式を用いて奥行マップを符号化した場合に多く含まれる元の奥行マップに対する復号化された奥行マップの誤差による、オクルージョンホールとなる画素の検出漏れを吸収することができる。【００１６】
請求項４に記載の立体映像符号化装置は、請求項２又は請求項３に記載の立体映像符号化装置において、前記オクルージョンホール検出手段は、第２ホール画素検出手段と検出された穴位置を副視点に射影する第２副視点射影手段と、生成された複数の穴マスクを統合する穴マスク合成手段とを更に有する構成とした。【００１７】
かかる構成によれば、立体映像符号化装置は、第２ホール画素検出手段によって、前記復号化中間視点奥行マップにおいて、画素ごとに、前記オクルージョンホールとなる画素かどうかの判定対象として着目している画素である着目画素について、当該着目画素から前記基準視点側寄りに所定の画素数離れた画素における奥行値が、前記着目画素における奥行値よりも所定の値以上大きい場合に、前記着目画素を前記オクルージョンホールとなる画素として検出して穴マスクを生成する。次に、立体映像符号化装置は、第２副視点射影手段によって、第２ホール画素検出手段により生成した穴マスクを副視点に射影した穴マスク（第２穴マスク）を生成する。そして、立体映像符号化装置は、穴マスク合成手段によって、前記ホール画素検出手段による検出結果である第１穴マスク及び前記第２ホール画素検出手段による検出結果を副視点に射影した第２穴マスクの論理和を前記オクルージョンホール検出手段の検出結果とする。
すなわち、立体映像符号化装置は、副視点における奥行マップを用いたオクルージョンホールの検出に加えて、中間視点における奥行マップである中間視点奥行マップを用いたオクルージョンホールの検出を行い、より適切にオクルージョンホールとなる画素を検出する。【００１８】
請求項５に記載の立体映像符号化装置は、請求項４に記載の立体映像符号化装置において、前記オクルージョンホール検出手段は、指定視点射影手段と第３ホール画素検出手段と第３副視点射影手段とを更に有する構成とした。【００１９】
かかる構成によれば、立体映像符号化装置は、指定視点射影手段によって、前記復号化中間視点奥行マップを任意の指定視点位置に射影して、前記指定視点における奥行マップである指定視点奥行マップを生成する。また、立体映像符号化装置は、第３ホール画素検出手段によって、前記指定視点奥行マップにおいて、画素ごとに、前記オクルージョンホールとなる画素かどうかの判定対象として着目している画素である着目画素について、当該着目画素から前記基準視点側寄りに所定の画素数離れた画素における奥行値が、前記着目画素における奥行値よりも所定の値以上大きい場合に、前記着目画素を前記オクルージョンホールとなる画素として検出し、穴マスクを生成する。次に、立体映像符号化装置は、第３副視点射影手段によって、第３ホール画素検出手段により生成した穴マスクを副視点に射影した穴マスク（第３穴マスク）を生成する。そして、立体映像符号化装置は、前記穴マスク合成手段によって、前記ホール画素検出手段による検出結果である第１穴マスク、前記第２ホール画素検出手段による検出結果を副視点に射影した第２穴マスク及び前記第３ホール画素検出手段による検出結果を副視点に射影した第３穴マスクの論理和を前記オクルージョンホール検出手段の検出結果とする。
すなわち、立体映像符号化装置は、副視点における奥行マップを用いたオクルージョンホールの検出に加えて、復号側で符号化データを復号して多視点映像を生成する際の指定視点における奥行マップを用いたオクルージョンホールの検出を行い、より適切にオクルージョンホールを検出する。【００２０】
請求項６に記載の立体映像符号化装置は、請求項１乃至請求項５の何れか一項に記載の立体映像符号化装置において、奥行マップフレーム化手段と奥行マップ分離手段と残差映像フレーム化手段とを更に備える構成とした。【００２１】
かかる構成によれば、立体映像符号化装置は、奥行マップフレーム化手段によって、前記多視点映像において、前記基準視点と複数の前記副視点とについての複数の前記中間視点奥行マップを縮小して結合し、１つのフレーム画像にフレーム化したフレーム化奥行マップを生成する。また、立体映像符号化装置は、奥行マップ分離手段によって、前記フレーム化奥行マップから、フレーム化された複数の縮小された前記中間視点奥行マップを分離して、前記基準視点映像と同じ大きさの複数の前記合成奥行マップを生成する。更にまた、立体映像符号化装置は、残差映像フレーム化手段によって、前記多視点映像において、前記基準視点と複数の前記副視点とについての複数の前記残差映像を縮小して結合し、１つのフレーム画像にフレーム化したフレーム化残差映像を生成する。【００２２】
ここで、立体映像符号化装置は、前記中間視点奥行マップ合成手段によって、前記基準視点と、複数の前記副視点のそれぞれとの間の中間視点における複数の前記中間視点奥行マップを生成する。立体映像符号化装置は、前記奥行マップフレーム化手段によって、前記奥行マップ合成手段によって生成された複数の中間視点奥行マップを縮小して結合することで前記フレーム化奥行マップを生成する。そして、立体映像符号化装置は、前記奥行マップ符号化手段によって、前記フレーム化奥行マップを符号化して、前記奥行マップビットストリームとして出力する。
これによって、立体映像符号化装置は、複数組の視点間において生成された複数の中間視点奥行マップについてのデータ量を低減して符号化を行うこととなる。【００２３】
また、立体映像符号化装置は、前記奥行マップ復号化手段によって、前記奥行マップ符号化手段によって符号化されたフレーム化奥行マップを復号化して復号化フレーム化奥行マップを生成する。立体映像符号化装置は、前記奥行マップ分離手段によって、前記復号化フレーム化奥行マップから縮小された複数の前記中間視点奥行マップを分離して、前記基準視点映像と同じ大きさの前記復号化中間視点奥行マップを生成する。次に、立体映像符号化装置は、前記射影映像予測手段によって、前記奥行マップ分離手段によって分離された復号化中間視点奥行マップを用いて、それぞれの前記復号化中間視点奥行マップに対応する前記副視点における前記副視点映像から前記残差映像を生成する。次に、立体映像符号化装置は、前記残差映像フレーム化手段によって、前記射影映像予測手段によって生成した複数の前記残差映像を縮小して結合することで前記フレーム化残差映像を生成する。そして、立体映像符号化装置は、前記残差映像符号化手段によって、前記フレーム化残差映像を符号化して、前記残差映像ビットストリームとして出力する。
これによって、立体映像符号化装置は、複数組の視点間において生成された複数の残差映像についてのデータ量を低減して符号化を行うこととなる。【００２４】
請求項７に記載の立体映像復号化装置は、多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、が符号化されたビットストリームを復号化して多視点映像を生成する立体映像符号化装置であって、基準視点映像復号化手段と、奥行マップ復号化手段と、残差映像復号化手段と、奥行マップ射影手段と、射影映像合成手段と、を備え、前記射影映像合成手段は、基準視点映像射影手段と残差映像射影手段とを有する構成とした。【００２５】
かかる構成によれば、立体映像復号化装置は、基準視点映像復号化手段によって、前記多視点映像の基準視点における映像である基準視点映像が符号化された基準視点映像ビットストリームを復号化し、復号化基準視点映像を生成する。また、立体映像復号化装置は、奥行マップ復号化手段によって、前記基準視点と前記基準視点から離れた他の視点である副視点との中間の視点における奥行マップである中間視点奥行マップが符号化された奥行マップビットストリームを復号化し、復号化合成奥行マップを生成する。また、立体映像復号化装置は、残差映像復号化手段によって、前記基準視点映像を他の視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を前記副視点映像から切出した映像である残差映像が符号化された残差映像ビットストリームを復号化し、復号化残差映像を生成する。次に、立体映像復号化装置は、奥行マップ射影手段によって、前記復号化中間視点奥行マップを、前記多視点映像の視点として外部から指定された視点である指定視点に射影して、前記指定視点における奥行マップである指定視点奥行マップを生成する。そして、立体映像復号化装置は、射影映像合成手段によって、前記指定視点奥行マップを用いて、前記復号化基準視点映像及び前記復号化残差映像を前記指定視点に射影した映像を合成して、前記指定視点における映像である指定視点映像を生成する。このとき、立体映像復号化装置は、基準視点映像射影手段によって、前記指定視点奥行マップを用いて、前記復号化基準視点映像を前記指定視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を検出し、前記オクルージョンホールとならない画素について、前記指定視点奥行マップを用いて、前記復号化基準視点映像を前記指定視点に射影して前記指定視点映像の画素とする。そして、立体映像復号化装置は、残差映像射影手段によって、前記オクルージョンホールとなる画素について、前記指定視点奥行マップを用いて、前記復号化残差映像を前記指定視点に射影して前記指定視点映像の画素とする。
これによって、立体映像復号化装置は、基準視点映像と、基準視点と副視点との中間視点における奥行マップと、副視点映像から切出された残差映像と、を用いて任意の視点における映像を生成する。【００２６】
請求項８に記載の立体映像復号化装置は、請求項７に記載の立体映像復号化装置において、前記基準視点映像射影手段は、ホール画素検出手段を有する構成とした。【００２７】
かかる構成によれば、立体映像復号化装置は、ホール画素検出手段によって、前記指定視点奥行マップにおいて、画素ごとに、オクルージョンホールとなる画素かどうかの判定対象として着目している画素である着目画素について、当該着目画素から前記基準視点側寄りに所定の画素数離れた画素における奥行値が、前記着目画素における奥行値よりも所定の値以上大きい場合に、前記着目画素をオクルージョンホールとなる画素として検出する。すなわち、立体映像復号化装置は、映像を生成する視点である指定視点における奥行マップを用いるため、適切にオクルージョンホールとなる画素を検出する。そして、立体映像復号化装置は、その検出結果に応じて、基準視点映像を指定視点に射影した映像及び残差映像を指定視点に射影した映像から画素を選択して指定視点映像を生成するため、適切な画素を選択して指定視点映像を生成する。
すなわち、立体映像復号化装置は、実際に映像を生成する視点である指定視点における奥行マップを用いてオクルージョンホールとなる画素を検出した結果を用いて、基準視点映像を指定視点に射影した映像及び残差映像を指定視点に射影した映像から適切な画素を選択して指定視点映像を生成する。【００２８】
請求項９に記載の立体映像復号化装置は、請求項８に記載の立体映像復号化装置において、前記基準視点映像射影手段は、オクルージョンホールの画素位置を示す穴マスクを膨張させる穴マスク膨張手段を有する構成とした。【００２９】
かかる構成によれば、立体映像復号化装置は、穴マスク膨張手段によって、前記ホール画素検出手段で検出した画素位置を示す穴マスクを、所定の画素数だけ膨張させる。そして、立体映像復号化装置は、前記残差映像射影手段によって、前記穴マスク膨張手段によって膨張させた穴マスクにおける画素について、前記復号化残差映像を前記指定視点に射影して前記指定視点映像の画素とする。そして、立体映像復号化装置は、指定視点における奥行マップを用いて検出した穴マスクを膨張した結果に応じて、基準視点映像を指定視点に射影した映像及び残差映像を指定視点に射影した映像から画素を選択して指定視点映像を生成する。
これによって、特に復号化中間視点奥行マップが高い圧縮率で符号化されていた場合に、立体映像復号化装置は、復号化した中間視点奥行マップに含まれる誤差によるオクルージョンホールの検出漏れを吸収する。【００３０】
請求項１０に記載の立体映像復号化装置は、請求項９に記載の立体映像復号化装置において、前記残差映像射影手段は、穴埋め処理手段を有する構成とした。【００３１】
かかる構成によれば、立体映像復号化装置は、穴埋め処理手段によって、前記指定視点映像において、前記残差映像に含まれなかった画素を検出し、当該含まれなかった画素の周囲の画素値で当該含まれなかった画素の画素値を補間する。
これによって、立体映像復号化装置は、穴のない指定視点映像を生成する。【００３２】
請求項１１に記載の立体映像復号化装置は、請求項７乃至請求項１０の何れか一項に記載の立体映像復号化装置において、奥行マップ分離手段と残差映像分離手段とを更に備える構成とした。【００３３】
かかる構成によれば、立体映像復号化装置は、奥行マップ分離手段によって、前記基準視点と複数の前記副視点のそれぞれとの間の中間視点における複数の前記中間視点奥行マップを縮小して結合した１つのフレーム画像であるフレーム化奥行マップを、複数の前記中間視点ごとに分離して、前記基準視点映像と同じ大きさの中間視点奥行マップを生成する。また、立体映像復号化装置は、残差映像分離手段によって、前記複数の副視点についての複数の前記残差映像を縮小して結合した１つのフレーム画像であるフレーム化残差映像を分離して、前記基準視点映像と同じ大きさの前記復号化残差映像を生成する。【００３４】
ここで、立体映像復号化装置は、前記奥行マップ復号化手段によって、前記フレーム化奥行マップが符号化された前記奥行マップビットストリームを復号化して、復号化フレーム化奥行マップを生成する。また、立体映像復号化装置は、前記残差映像復号化手段によって、前記フレーム化残差映像が符号化された前記残差映像ビットストリームを復号化して、復号化フレーム化残差映像を生成する。また、立体映像復号化装置は、前記奥行マップ分離手段によって、前記復号化フレーム化奥行マップから、複数の縮小された前記中間視点奥行マップを分離して、前記基準視点映像と同じ大きさの複数の前記復号化中間視点奥行マップを生成する。また、立体映像復号化装置は、前記残差映像分離手段によって、前記復号化フレーム化残差映像から、複数の縮小された前記残差映像を分離して、前記基準視点映像と同じ大きさの複数の前記復号化残差映像を生成する。また、立体映像復号化装置は、前記奥行マップ射影手段によって、複数の前記指定視点ごとに、それぞれ対応する前記復号化中間視点奥行マップを前記指定視点に射影して、前記指定視点における奥行マップである指定視点奥行マップを生成する。また、立体映像復号化装置は、前記射影映像合成手段によって、複数の前記指定視点ごとに、それぞれ対応する前記指定視点奥行マップを用いて、それぞれ対応する前記復号化基準視点映像及び前記復号化残差映像を前記指定視点に射影した映像を合成して、前記指定視点における映像である指定視点映像を生成する。
これによって、立体映像復号化装置は、基準視点映像と、複数の中間視点奥行マップがフレーム化された奥行マップと、複数の残差映像がフレーム化された残差映像と、を用いて任意の視点における映像を生成する。【００３５】
請求項１２に記載の立体映像符号化方法は、多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、を符号化する立体映像符号化方法であって、基準視点映像符号化処理ステップと、中間視点奥行マップ合成処理ステップと、奥行マップ符号化処理ステップと、奥行マップ復号化処理ステップと、射影映像予測処理ステップと、残差映像符号化処理ステップと、を含み、前記射影映像予測処理ステップは、オクルージョンホール検出処理ステップと残差映像切出処理ステップとを手順として含む。【００３６】
かかる手順の立体映像符号化方法によれば、基準視点映像符号化処理ステップにおいて、前記多視点映像の基準視点における映像である基準視点映像を符号化して、基準視点映像ビットストリームとして出力する。また、中間視点奥行マップ合成処理ステップにおいて、前記基準視点における奥行マップである基準視点奥行マップと、前記多視点映像の前記基準視点以外の視点である副視点における奥行マップである副視点奥行マップとを用いて、前記基準視点と前記副視点との中間視点における奥行マップである中間視点奥行マップを生成する。そして、奥行マップ符号化処理ステップにおいて、前記中間視点奥行マップを符号化して、奥行マップビットストリームとして出力する。
これによって、符号化する奥行マップについてのデータ量は元の奥行マップが２つの場合で、半分に削減されることとなる。【００３７】
また、奥行マップ復号化処理ステップにおいて、前記符号化された中間視点奥行マップを復号化して、復号化中間視点奥行マップを生成する。次に、射影映像予測処理ステップにおいて、前記復号化中間視点奥行マップを用いて、前記基準視点映像を他の視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を前記副視点映像から切出して残差映像を生成する。このとき、残差映像を生成するために、オクルージョンホール検出処理ステップにおいて、前記復号化中間視点奥行マップを用いて、前記基準視点映像を前記副視点に射影したときにオクルージョンホールとなる画素を検出し、残差映像切出処理ステップにおいて、前記オクルージョンホールとなる画素を前記副視点映像から切出して前記残差映像を生成する。ここで、符号化される前の中間視点奥行マップではなく、符号化・復号化を経た中間視点奥行マップを用いるものである。特に高い圧縮率で符号化した場合は、復号化された奥行マップは、元の奥行マップに対して多くの誤差を含むこととなる。そこで、前記したビットストリームを復号化して多視点映像を生成する際に用いる中間視点における奥行マップと同じ奥行マップを用いることで、オクルージョンホールとなる画素を正確に検出することができる。そして、残差映像符号化処理ステップにおいて、前記残差映像を符号化して、残差映像ビットストリームとして出力する。
これによって、副視点映像についてのデータの内で、残差映像として切出された分だけが符号化対象となり、符号化されるデータ量が削減される。【００３８】
請求項１３に記載の立体映像復号化方法は、多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、が符号化されたビットストリームを復号化して多視点映像を生成する立体映像符号化方法であって、基準視点映像復号化処理ステップと、奥行マップ復号化処理ステップと、残差映像復号化処理ステップと、奥行マップ射影処理ステップと、射影映像合成処理ステップと、を含み、前記射影映像合成処理ステップは、基準視点映像射影処理ステップと残差映像射影処理ステップとを含む手順とした。【００３９】
かかる手順の立体映像復号化方法によれば、基準視点映像復号化処理ステップにおいて、前記多視点映像の基準視点における映像である基準視点映像が符号化された基準視点映像ビットストリームを復号化し、復号化基準視点映像を生成する。また、奥行マップ復号化処理ステップにおいて、前記基準視点と前記基準視点から離れた他の視点である副視点との中間の視点における奥行マップである中間視点奥行マップが符号化された奥行マップビットストリームを復号化し、復号化合成奥行マップを生成する。また、残差映像復号化処理ステップにおいて、前記基準視点映像を他の視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を前記副視点映像から切出した映像である残差映像が符号化された残差映像ビットストリームを復号化し、復号化残差映像を生成する。次に、奥行マップ射影処理ステップにおいて、前記復号化中間視点奥行マップを、前記多視点映像の視点として外部から指定された視点である指定視点に射影して、前記指定視点における奥行マップである指定視点奥行マップを生成する。そして、射影映像合成処理ステップにおいて、前記指定視点奥行マップを用いて、前記復号化基準視点映像及び前記復号化残差映像を前記指定視点に射影した映像を合成して、前記指定視点における映像である指定視点映像を生成する。このとき、基準視点映像射影処理ステップにおいて、前記指定視点奥行マップを用いて、前記復号化基準視点映像を前記指定視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を検出し、前記オクルージョンホールとならない画素について、前記指定視点奥行マップを用いて、前記復号化基準視点映像を前記指定視点に射影して前記指定視点映像の画素とする。そして、残差映像射影処理ステップにおいて、前記オクルージョンホールとなる画素について、前記指定視点奥行マップを用いて、前記復号化残差映像を前記指定視点に射影して前記指定視点映像の画素とする。
これによって、基準視点映像と、基準視点と副視点との中間視点における奥行マップと、副視点映像から切出された残差映像と、を用いて任意の視点における映像を生成する。【００４０】
請求項１４に記載の立体映像符号化プログラムは、多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、を符号化するために、コンピュータを、基準視点映像符号化手段、中間視点奥行マップ合成手段、奥行マップ符号化手段、奥行マップ復号化手段、射影映像予測手段、残差映像符号化手段、オクルージョンホール検出手段、残差映像切出手段、として機能させるためのプログラムである。【００４１】
かかる構成によれば、立体映像符号化プログラムは、基準視点映像符号化手段によって、前記多視点映像の基準視点における映像である基準視点映像を符号化して、基準視点映像ビットストリームとして出力する。また、立体映像符号化プログラムは、中間視点奥行マップ合成手段によって、前記基準視点における奥行マップである基準視点奥行マップと、前記多視点映像の前記基準視点以外の視点である副視点における奥行マップである副視点奥行マップとを用いて、前記基準視点と前記副視点との中間視点における奥行マップである中間視点奥行マップを合成する。そして、立体映像符号化プログラムは、奥行マップ符号化手段によって、前記中間視点奥行マップを符号化して、奥行マップビットストリームとして出力する。
これによって、符号化する奥行マップについてのデータ量は元の奥行マップが２つの場合で、半分に削減されることとなる。【００４２】
また、立体映像符号化プログラムは、奥行マップ復号化手段によって、前記符号化された中間視点奥行マップを復号化して、復号化中間視点奥行マップを生成する。次に、立体映像符号化プログラムは、射影映像予測手段によって、前記復号化中間視点奥行マップを用いて、前記基準視点映像を他の視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を前記副視点映像から切出して残差映像を生成する。このとき、立体映像符号化プログラムは、残差映像を生成するために、オクルージョンホール検出手段によって、前記復号化中間視点奥行マップを用いて、前記基準視点映像を前記副視点に射影したときにオクルージョンホールとなる画素を検出し、残差映像切出手段によって、前記オクルージョンホールとなる画素を前記副視点映像から切出して前記残差映像を生成する。ここで、立体映像符号化プログラムは、符号化される前の中間視点奥行マップではなく、符号化・復号化を経た中間視点奥行マップを用いるものである。特に高い圧縮率で符号化した場合は、復号化された奥行マップは、元の奥行マップに対して多くの誤差を含むこととなる。そこで、前記したビットストリームを復号化して多視点映像を生成する際に用いる中間視点における奥行マップと同じ奥行マップを用いることで、オクルージョンホールとなる画素を正確に検出することができる。そして、立体映像符号化プログラムは、残差映像符号化手段によって、前記残差映像を符号化して、残差映像ビットストリームとして出力する。
これによって、副視点映像についてのデータの内で、残差映像として切出された分だけが符号化対象となり、符号化されるデータ量が削減される。【００４３】
請求項１５に記載の立体映像復号化プログラムは、多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、が符号化されたビットストリームを復号化して多視点映像を生成するために、コンピュータを、基準視点映像復号化手段、奥行マップ復号化手段、残差映像復号化手段、奥行マップ射影手段、射影映像合成手段、基準視点映像射影手段、残差映像射影手段、として機能させるためのプログラムである。【００４４】
かかる構成によれば、立体映像復号化プログラムは、基準視点映像復号化手段によって、前記多視点映像の基準視点における映像である基準視点映像が符号化された基準視点映像ビットストリームを復号化し、復号化基準視点映像を生成する。また、立体映像復号化プログラムは、奥行マップ復号化手段によって、前記基準視点と前記基準視点から離れた他の視点である副視点との中間の視点における奥行マップである中間視点奥行マップが符号化された奥行マップビットストリームを復号化し、復号化合成奥行マップを生成する。また、立体映像復号化プログラムは、残差映像復号化手段によって、前記基準視点映像を他の視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を前記副視点映像から切出した映像である残差映像が符号化された残差映像ビットストリームを復号化し、復号化残差映像を生成する。次に、立体映像復号化プログラムは、奥行マップ射影手段によって、前記復号化中間視点奥行マップを、前記多視点映像の視点として外部から指定された視点である指定視点に射影して、前記指定視点における奥行マップである指定視点奥行マップを生成する。そして、立体映像復号化プログラムは、射影映像合成手段によって、前記指定視点奥行マップを用いて、前記復号化基準視点映像及び前記復号化残差映像を前記指定視点に射影した映像を合成して、前記指定視点における映像である指定視点映像を生成する。このとき、立体映像復号化プログラムは、基準視点映像射影手段によって、前記指定視点奥行マップを用いて、前記復号化基準視点映像を前記指定視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を検出し、前記オクルージョンホールとならない画素について、前記指定視点奥行マップを用いて、前記復号化基準視点映像を前記指定視点に射影して前記指定視点映像の画素とする。そして、立体映像復号化プログラムは、残差映像射影手段によって、前記オクルージョンホールとなる画素について、前記指定視点奥行マップを用いて、前記復号化残差映像を前記指定視点に射影して前記指定視点映像の画素とする。
これによって、立体映像復号化プログラムは、基準視点映像と、基準視点と副視点との中間視点における奥行マップと、副視点映像から切出された残差映像と、を用いて任意の視点における映像を生成する。【００４５】
請求項１６に記載の立体映像符号化装置は、多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、を符号化する立体映像符号化装置であって、基準視点映像符号化手段と、奥行マップ合成手段と、奥行マップ符号化手段と、奥行マップ復号化手段と、射影映像予測手段と、残差映像符号化手段と、を備える構成とした。【００４６】
かかる構成によれば、立体映像符号化装置は、基準視点映像符号化手段によって、前記多視点映像の基準視点における映像である基準視点映像を符号化して、基準視点映像ビットストリームとして出力する。また、立体映像符号化装置は、奥行マップ合成手段によって、前記基準視点における奥行マップである基準視点奥行マップと、前記多視点映像の前記基準視点から離れた他の視点である副視点における奥行マップである副視点奥行マップとを所定の視点に射影して合成し、前記所定の視点における奥行マップである合成奥行マップを生成する。
これによって、符号化する奥行マップについてのデータ量が低減される。【００４７】
また、立体映像符号化装置は、奥行マップ符号化手段によって、前記合成奥行マップを符号化して、奥行マップビットストリームとして出力する。次に、立体映像符号化装置は、奥行マップ復号化手段によって、前記符号化された合成奥行マップを復号化して、復号化合成奥行マップを生成する。次に、立体映像符号化装置は、射影映像予測手段によって、前記復号化合成奥行マップを用いて、前記基準視点映像から他の視点における映像を予測したときの予測残差である残差映像を生成する。そして、立体映像符号化装置は、残差映像符号化手段によって、前記残差映像を符号化して、残差映像ビットストリームとして出力する。
これによって、他の視点についての映像のデータ量が低減される。【００４８】
請求項１７に記載の立体映像符号化装置は、請求項１６に記載の立体映像符号化装置において、前記奥行マップ合成手段は、前記基準視点奥行マップと複数の前記副視点奥行マップとを共通視点に射影して合成することで前記共通視点における１つの合成奥行マップを生成し、更に、残差映像フレーム化手段を更に備える構成とした。【００４９】
かかる構成によれば、立体映像符号化装置は、奥行マップ合成手段によって、基準視点奥行マップを含めて３つ以上の奥行マップを、共通視点における１つの合成奥行マップに合成する。
これによって、奥行マップについてのデータ量が１／３以下に低減される。【００５０】
また、立体映像符号化装置は、残差映像フレーム化手段によって、前記基準視点と複数の前記副視点とについての複数の前記残差映像を縮小して結合し、１つのフレーム画像にフレーム化したフレーム化残差映像を生成する。そして、立体映像符号化装置は、前記残差映像符号化手段によって、前記フレーム化残差映像を符号化して、前記残差映像ビットストリームとして出力する。
これによって、残差映像についてのデータ量が、１／２以下に低減される。【００５１】
請求項１８に記載の立体映像符号化装置は、請求項１６又は請求項１７に記載の立体映像符号化装置において、前記射影映像予測手段は、前記復号化合成奥行マップを用いて、前記基準視点映像を他の視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を前記副視点映像から切出して残差映像を生成するように構成した。【００５２】
かかる構成によれば、立体映像符号化装置は、射影映像予測手段によって、オクルージョンホールとなる画素のデータのみを切り出すという論理演算を行って残差映像を生成する。
これによって、残差映像についてのデータ量が大きく低減される。【００５３】
請求項１９に記載の立体映像符号化装置は、請求項１６又は請求項１７に記載の立体映像符号化装置において、前記射影映像予測手段は、前記復号化合成奥行マップを用いて、前記基準視点映像を前記副視点に射影した映像と、前記副視点映像との画素ごとの差を算出して残差映像を生成する。【００５４】
かかる構成によれば、立体映像符号化装置は、射影映像予測手段によって、映像全体についての２つの映像間の減算を行うことで残差映像を生成する。
これによって、立体映像復号装置側では、この残差映像を用いて、高品質な立体映像を合成することができる。【００５５】
請求項２０に記載の立体映像符号化装置は、請求項１６に記載の立体映像符号化装置において、前記基準視点映像ビットストリームと、前記奥行マップビットストリームと、前記残差映像ビットストリームとは、それぞれ、所定の開始コードと１視点映像であることを識別する第１識別情報とをこの順で含むヘッダを有しており、前記基準視点及び前記副視点の各位置を示す情報を含む補助情報と、前記基準視点映像ビットストリームと、前記奥行マップビットストリームと、前記残差映像ビットストリームと、を多重化して、多重化ビットストリームとして出力するビットストリーム多重化手段を更に備える構成とした。【００５６】
かかる構成によれば、立体映像符号化装置は、ビットストリーム多重化手段によって、前記基準視点映像ビットストリームについてはそのまま出力し、前記奥行マップビットストリームについては、前記開始コードと前記第１識別情報との間に、立体映像に関するデータであることを識別する第２識別情報と、前記奥行マップビットストリームであることを識別する第３識別情報とをこの順で挿入して出力し、前記残差映像ビットストリームについては、前記開始コードと前記第１識別情報との間に、前記第２識別情報と、前記残差映像ビットストリームであることを識別する第４識別情報とをこの順で挿入して出力し、前記補助情報については、前記開始コードと、前記第２識別情報と、前記補助情報であることを識別する第５識別情報とをこの順で含むヘッダを前記補助情報に付加して出力する。
これによって、立体映像についてのビットストリームが多重化されて立体映像復号化装置に伝送される。このときに、基準視点映像は１視点映像のビットストリームとして伝送され、他の情報は１視点映像とは異なる立体映像に関するビットストリームとして伝送される。【００５７】
請求項２１に記載の立体映像復号化装置は、多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、が符号化されたビットストリームを復号化して多視点映像を生成する立体映像復号化装置であって、基準視点映像復号化手段と、奥行マップ復号化手段と、残差映像復号化手段と、奥行マップ射影手段と、射影映像合成手段と、を備える構成として。【００５８】
かかる構成によれば、立体映像復号化装置は、基準視点映像復号化手段によって、前記多視点映像の基準視点における映像である基準視点映像が符号化された基準視点映像ビットストリームを復号化し、復号化基準視点映像を生成する。また、立体映像復号化装置は、奥行マップ復号化手段によって、前記基準視点における奥行マップである基準視点奥行マップと、前記多視点映像の前記基準視点から離れた他の視点である副視点における奥行マップである副視点奥行マップとを合成して生成された所定の視点における奥行マップである合成奥行マップが符号化された奥行マップビットストリームを復号化し、復号化合成奥行マップを生成する。また、立体映像復号化装置は、残差映像復号化手段によって、前記基準視点映像から前記基準視点から離れた他の視点における映像を前記復号化合成奥行マップを用いて予測したときの予測残差である残差映像が符号化された残差映像ビットストリームを復号化し、復号化残差映像を生成する。次に、立体映像復号化装置は、奥行マップ射影手段によって、前記復号化合成奥行マップを、前記多視点映像の視点として外部から指定された視点である指定視点に射影して、前記指定視点における奥行マップである指定視点奥行マップを生成する。そして、立体映像復号化装置は、射影映像合成手段によって、前記指定視点奥行マップを用いて、前記復号化基準視点映像及び前記復号化残差映像を前記指定視点に射影した映像を合成して、前記指定視点における映像である指定視点映像を生成する。
これによって、基準視点と指定視点とにおける映像からなる多視点映像が生成される。【００５９】
請求項２２に記載の立体映像復号化装置は、請求項２１に記載の立体映像復号化装置において、前記合成奥行マップは、前記基準視点奥行マップと複数の前記副視点奥行マップとを共通視点に射影して合成された前記共通視点における１つの奥行マップであり、前記複数の副視点についての複数の前記残差映像を縮小して結合した１つのフレーム画像であるフレーム化残差映像を分離して、前記基準視点映像と同じ大きさの前記復号化残差映像を生成する残差映像分離手段を更に備える構成とした。【００６０】
かかる構成によれば、立体映像復号化装置は、前記残差映像復号化手段によって、前記フレーム化残差映像が符号化された前記残差映像ビットストリームを復号化して、復号化フレーム化残差映像を生成し、前記残差映像分離手段によって、前記復号化フレーム化残差映像から、複数の縮小された前記残差映像を分離して、前記基準視点映像と同じ大きさの複数の前記復号化残差映像を生成する。そして、立体映像復号化装置は、前記射影映像合成手段によって、前記指定視点奥行マップを用いて、前記復号化基準視点映像と、複数の前記復号化残差映像の何れか１つとを前記指定視点に射影した映像を合成して、前記指定視点における映像である指定視点映像を生成する。
これによって、フレーム化によってデータ量が低減された残差映像を用いて、多視点映像が生成される。【００６１】
請求項２３に記載の立体映像復号化装置は、請求項２１又は請求項２２に記載の立体映像復号化装置において、前記残差映像ビットストリームは、前記基準視点映像を前記基準視点から離れた他の視点に射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を前記副視点映像から切出すことで生成した残差映像が符号化されており、前記射影映像合成手段は、基準視点映像射影手段と、残差映像射影手段と、を有する構成とした。【００６２】
かかる構成によれば、立体映像復号化装置は、基準視点映像射影手段によって、前記復号化基準視点映像を前記指定視点に射影したときに、前記指定視点奥行マップを用いて、射影できない画素領域であるオクルージョンホールとなる画素を検出し、前記オクルージョンホールとならない画素について、前記指定視点奥行マップを用いて、前記復号化基準視点映像を前記指定視点に射影して前記指定視点映像の画素とする。また、立体映像復号化装置は、残差映像射影手段によって、前記オクルージョンホールとなる画素について、前記指定視点奥行マップを用いて、前記復号化残差映像を前記指定視点に射影して前記指定視点映像の画素とする。
これによって、基準視点についての映像と、副視点についての映像である残差映像とが合成された指定視点映像が生成される。【００６３】
請求項２４に記載の立体映像復号化装置は、請求項２１又は請求項２２に記載の立体映像復号化装置において、前記残差映像ビットストリームは、前記復号化合成奥行マップを用いて前記基準視点映像を前記副視点に射影した映像と、前記副視点映像との画素ごとの差を算出することで生成した残差映像が符号化されており、前記射影映像合成手段は、残差加算手段を有する構成とした。【００６４】
かかる構成によれば、立体映像復号化装置は、残差加算手段によって、前記指定視点奥行マップを用いて前記復号化基準視点映像を前記指定視点に射影した映像に、前記指定視点奥行マップを用いて前記復号化残差映像を前記指定視点に射影した映像を、画素ごとに加算して前記指定視点映像を生成する。
これによって、基準視点についての映像と、副視点についての映像である残差映像とが合成された指定視点映像が生成される。【００６５】
請求項２５に記載の立体映像復号化装置は、請求項２１に記載の立体映像復号化装置において、前記基準視点映像ビットストリームは、所定の開始コードと１視点映像であることを識別する第１識別情報とをこの順で含むヘッダを有し、前記奥行マップビットストリームは、前記開始コードと前記第１識別情報との間に、立体映像に関するデータであることを識別する第２識別情報と、前記奥行マップビットストリームであることを識別する第３識別情報とをこの順で含むヘッダを有し、前記残差映像ビットストリームは、前記開始コードと前記第１識別情報との間に、前記第２識別情報と、前記残差映像ビットストリームであることを識別する第４識別情報とをこの順で含むヘッダを有し、前記補助情報ビットストリームは、前記開始コードと、前記第２識別情報と、前記補助情報ビットストリームであることを識別する第５識別情報とをこの順で含むヘッダを有し、ビットストリーム分離手段を更に備え、前記ビットストリーム分離手段は、基準視点映像ビットストリーム分離手段と、奥行マップビットストリーム分離手段と、残差映像ビットストリーム分離手段と、補助情報分離手段と、を有する構成とした。【００６６】
かかる構成によれば、立体映像復号化装置は、分離するビットストリーム分離手段によって、前記基準視点映像ビットストリームと、前記奥行マップビットストリームと、前記残差映像ビットストリームと、前記基準視点及び前記副視点の各位置を示す情報を含む補助情報を含むビットストリームと、が多重化された多重化ビットストリームを、前記基準視点映像ビットストリームと、前記奥行マップビットストリームと、前記残差映像ビットストリームと、前記補助情報と、に分離する。【００６７】
このとき、立体映像復号化装置は、基準視点映像ビットストリーム分離手段によって、前記多重化ビットストリームから前記開始コードの直後に前記第１識別情報を有するビットストリームを前記基準視点映像ビットストリームとして分離し、分離した基準視点映像ビットストリームを前記基準視点映像復号化手段に出力する。また、立体映像復号化装置は、奥行マップビットストリーム分離手段によって、前記多重化ビットストリームから前記開始コードの直後に前記第２識別情報と前記第３識別情報とをこの順で有するビットストリームを前記奥行マップビットストリームとして分離し、当該ビットストリームから前記第２識別情報及び前記第３識別情報を除去したビットストリームを前記奥行マップ復号化手段に出力する。また、立体映像復号化装置は、残差映像ビットストリーム分離手段によって、前記多重化ビットストリームから前記開始コードの直後に前記第２識別情報と前記第４識別情報とをこの順で有するビットストリームを前記残差映像ビットストリームとして分離し、当該ビットストリームから前記第２識別情報及び前記第４識別情報を除去したビットストリームを前記残差映像復号化手段に出力する。そして、立体映像復号化装置は、補助情報分離手段によって、前記多重化ビットストリームから前記開始コードの直後に前記第２識別情報と前記第５識別情報とをこの順で有するビットストリームを前記補助情報ビットストリームとして分離し、当該ビットストリームから前記第２識別情報及び前記第５識別情報を除去したビットストリームを補助情報として前記射影映像合成手段に出力する。
これによって、立体映像復号化装置は、多重化ビットストリームを受信して、多視点映像を生成する。【００６８】
請求項２６に記載の立体映像符号化方法は、多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、を符号化する立体映像符号化方法であって、基準視点映像符号化処理ステップと、奥行マップ合成処理ステップと、奥行マップ符号化処理ステップと、奥行マップ復号化処理ステップと、射影映像予測処理ステップと、残差映像符号化処理ステップと、を含む手順とした。【００６９】
かかる手順の立体映像符号化方法によれば、基準視点映像符号化処理ステップにおいて、前記多視点映像の基準視点における映像である基準視点映像を符号化して、基準視点映像ビットストリームとして出力する。また、奥行マップ合成処理ステップにおいて、前記基準視点における奥行マップである基準視点奥行マップと、前記多視点映像の前記基準視点から離れた他の視点である副視点における奥行マップである副視点奥行マップとを所定の視点に射影して合成し、前記所定の視点における奥行マップである合成奥行マップを生成する。
これによって、符号化する奥行マップについてのデータ量が低減される。【００７０】
次に、奥行マップ符号化処理ステップにおいて、前記合成奥行マップを符号化して、奥行マップビットストリームとして出力する。次に、奥行マップ復号化処理ステップにおいて、前記符号化された合成奥行マップを復号化して、復号化合成奥行マップを生成する。次に、射影映像予測処理ステップにおいて、前記復号化合成奥行マップを用いて、前記基準視点映像から他の視点における映像を予測したときの予測残差である残差映像を生成する。そして、残差映像符号化処理ステップにおいて、前記残差映像を符号化して、残差映像ビットストリームとして出力する。
これによって、他の視点についての映像のデータ量が低減される。【００７１】
請求項２７に記載の立体映像符号化方法は、請求項２６に記載の立体映像符号化方法において、前記基準視点映像ビットストリームと、前記奥行マップビットストリームと、前記残差映像ビットストリームとは、それぞれ、所定の開始コードと１視点映像であることを識別する第１識別情報とをこの順で含むヘッダを有しており、前記基準視点及び前記副視点の各位置を示す情報を含む補助情報と、前記基準視点映像ビットストリームと、前記奥行マップビットストリームと、前記残差映像ビットストリームと、を多重化して、多重化ビットストリームとして出力するビットストリーム多重化処理ステップを更に含む手順とした。【００７２】
かかる手順の立体映像符号化方法によれば、前記ビットストリーム多重化処理ステップにおいて、前記基準視点映像ビットストリームについてはそのまま出力し、前記奥行マップビットストリームについては、前記開始コードと前記第１識別情報との間に、立体映像に関するデータであることを識別する第２識別情報と、前記奥行マップビットストリームであることを識別する第３識別情報とをこの順で挿入して出力し、前記残差映像ビットストリームについては、前記開始コードと前記第１識別情報との間に、前記第２識別情報と、前記残差映像ビットストリームであることを識別する第４識別情報とをこの順で挿入して出力し、前記補助情報については、前記開始コードと、前記第２識別情報と、前記補助情報であることを識別する第５識別情報とをこの順で含むヘッダを前記補助情報に付加して出力する。
これによって、立体映像についてのビットストリームが多重化されて立体映像復号化装置に伝送される。このときに、基準視点映像は１視点映像のビットストリームとして伝送され、他の情報は、１視点映像とは異なる立体映像に関するビットストリームとして伝送される。【００７３】
請求項２８に記載の立体映像復号化方法は、多視点映像と、前記多視点映像における視点間の視差である奥行値の画素ごとの情報のマップである奥行マップと、が符号化されたビットストリームを復号化して多視点映像を生成する立体映像復号化方法であって、基準視点映像復号化処理ステップと、奥行マップ復号化処理ステップと、残差映像復号化処理ステップと、奥行マップ射影処理ステップと、射影映像合成処理ステップと、を含む手順とした。【００７４】
かかる手順の立体映像復号化方法によれば、基準視点映像復号化処理ステップにおいて、前記多視点映像の基準視点における映像である基準視点映像が符号化された基準視点映像ビットストリームを復号化し、復号化基準視点映像を生成する。また、奥行マップ復号化処理ステップにおいて、前記基準視点における奥行マップである基準視点奥行マップと、前記多視点映像の前記基準視点から離れた他の視点である副視点における奥行マップである副視点奥行マップとを合成して生成された所定の視点における奥行マップである合成奥行マップが符号化された奥行マップビットストリームを復号化し、復号化合成奥行マップを生成する。また、残差映像復号化処理ステップにおいて、前記基準視点映像から前記基準視点から離れた他の視点における映像を前記復号化合成奥行マップを用いて予測したときの予測残差である残差映像が符号化された残差映像ビットストリームを復号化し、復号化残差映像を生成する。また、奥行マップ射影処理ステップにおいて、前記復号化合成奥行マップを、前記多視点映像の視点として外部から指定された視点である指定視点に射影して、前記指定視点における奥行マップである指定視点奥行マップを生成する。そして、射影映像合成処理ステップにおいて、前記指定視点奥行マップを用いて、前記復号化基準視点映像及び前記復号化残差映像を前記指定視点に射影した映像を合成して、前記指定視点における映像である指定視点映像を生成する。
これによって、基準視点と指定視点とにおける映像からなる多視点映像が生成される。【００７５】
請求項２９に記載の立体映像復号化方法は、請求項２８に記載の立体映像復号化方法において、前記基準視点映像ビットストリームは、所定の開始コードと１視点映像であることを識別する第１識別情報とをこの順で含むヘッダを有し、前記奥行マップビットストリームは、前記開始コードと前記第１識別情報との間に、立体映像に関するデータであることを識別する第２識別情報と、前記奥行マップビットストリームであることを識別する第３識別情報とをこの順で含むヘッダを有し、前記残差映像ビットストリームは、前記開始コードと前記第１識別情報との間に、前記第２識別情報と、前記残差映像ビットストリームであることを識別する第４識別情報とをこの順で含むヘッダを有し、前記補助情報ビットストリームは、前記開始コードと、前記第２識別情報と、前記補助情報ビットストリームであることを識別する第５識別情報とをこの順で含むヘッダを有し、ビットストリーム分離処理ステップを更に含む手順とした。【００７６】
かかる手順の立体映像復号化方法によれば、前記ビットストリーム分離ステップにおいて、前記基準視点映像ビットストリームと、前記奥行マップビットストリームと、前記残差映像ビットストリームと、前記基準視点及び前記副視点の各位置を示す情報を含む補助情報を含むビットストリームと、が多重化された多重化ビットストリームを、前記基準視点映像ビットストリームと、前記奥行マップビットストリームと、前記残差映像ビットストリームと、前記補助情報と、に分離する。【００７７】
ここで、前記多重化ビットストリームから前記開始コードの直後に前記第１識別情報を有するビットストリームを前記基準視点映像ビットストリームとして分離し、分離した基準視点映像ビットストリームを前記基準視点映像復号化処理ステップで用い、前記多重化ビットストリームから前記開始コードの直後に前記第２識別情報と前記第３識別情報とをこの順で有するビットストリームを前記奥行マップビットストリームとして分離し、当該ビットストリームから前記第２識別情報及び前記第３識別情報を除去したビットストリームを前記奥行マップ復号化処理ステップで用い、前記多重化ビットストリームから前記開始コードの直後に前記第２識別情報と前記第４識別情報とをこの順で有するビットストリームを前記残差映像ビットストリームとして分離し、当該ビットストリームから前記第２識別情報及び前記第４識別情報を除去したビットストリームを前記残差映像復号化処理ステップで用い、前記多重化ビットストリームから前記開始コードの直後に前記第２識別情報と前記第５識別情報とをこの順で有するビットストリームを前記補助情報ビットストリームとして分離し、当該ビットストリームから前記第２識別情報及び前記第５識別情報を除去したビットストリームを補助情報として前記射影映像合成処理ステップで用いる。
これによって、多重化ビットストリームを用いて、立体映像が生成される。【００７８】
また、請求項１６に記載の立体映像符号化装置は、一般的なコンピュータが備えるＣＰＵ（中央演算装置）、メモリなどのハードウェア資源を、基準視点映像符号化手段、奥行マップ合成手段、奥行マップ符号化手段、奥行マップ復号化手段、射影映像予測手段、残差映像符号化手段、として機能させるための請求項３０に記載の立体映像符号化プログラムによって実現することもできる。【００７９】
また、請求項２０に記載の立体映像符号化装置は、一般的なコンピュータを、ビットストリーム多重化手段として更に機能させるための請求項３１に記載の立体映像符号化プログラムによって実現することもできる。【００８０】
また、請求項２１に記載の立体映像復号化装置は、一般的なコンピュータが備えるＣＰＵ、メモリなどのハードウェア資源を、基準視点映像復号化手段、奥行マップ復号化手段、残差映像復号化手段、奥行マップ射影手段、射影映像合成手段、として機能させるための請求項３２に記載の立体映像復号化プログラムによって実現することもできる。【００８１】
また、請求項２５に記載の立体映像復号化装置は、一般的なコンピュータが備えるＣＰＵ、メモリなどのハードウェア資源を、ビットストリーム分離手段として更に機能させるための請求項３３に記載の立体映像復号化プログラムによって実現することもできる。
【発明の効果】
【００８２】
請求項１、請求項１２又は請求項１４に記載の発明によれば、基準視点映像と副視点映像とこれらの映像のそれぞれに付随する奥行マップについて、符号化する対象データとして、奥行マップについてのデータは、基準視点と副視点との中間視点における奥行マップとし、副視点映像についてのデータは、基準視点映像から射影できずにオクルージョンホールとなる画素のみを抽出した残差映像として、それぞれデータ量を低減したため、元のデータ量に対して高い効率で符号化することができる。【００８３】
請求項２に記載の発明によれば、オクルージョンホールとなる画素を漏れが少なく検出するため、この検出結果を用いて副視点映像の画素を切出して残差映像を生成する際に、立体映像復号装置において任意の視点における映像を生成する際に必要となる画素を適切に切出すことができる。【００８４】
請求項３に記載の発明によれば、オクルージョンホールの画素位置を示す穴マスクの膨張処理により、オクルージョンホールとなる画素の検出漏れを少なくできるため、この検出結果を用いて副視点映像の画素を切出して残差映像を生成する際に、立体映像復号化装置において任意の視点における映像を生成する際に必要となる画素を更に適切に切出すことができる。【００８５】
請求項４に記載の発明によれば、副視点における奥行マップを用いたオクルージョンホールの検出に加えて、中間視点における奥行マップである中間視点奥行マップを用いたオクルージョンホールの検出を行い、より適切にオクルージョンとなる画素を検出するため、その検出結果を用いて、より適切な残差映像を生成することができる。【００８６】
請求項５に記載の発明によれば、副視点における奥行マップを用いたオクルージョンホールの検出に加えて、復号側で符号化データを復号して多視点映像を生成する際の指定視点における奥行マップを用いたオクルージョンホールの検出を行うため、その検出結果を用いて、より適切な残差映像を生成することができる。【００８７】
請求項６に記載の発明によれば、複数の視点間における中間視点奥行マップ及び残差映像を、それぞれフレーム化することでデータ量を低減するため、立体映像符号化装置はこれらのデータを高い効率で符号化することができる。【００８８】
請求項７、請求項１３又は請求項１５に記載の発明によれば、奥行マップと副視点映像とについてのデータ量が低減され、高い効率で符号化されたデータを復号して多視点映像を生成することができる。また、奥行マップとして、基準視点と副視点との中間視点における奥行マップである合成奥行マップを用いることができ、生成する映像の視点の位置が、基準視点又は副視点における奥行マップのみを用いる場合に比べて近くなるため、良好な画質の指定視点映像を生成することができる。【００８９】
請求項８に記載の発明によれば、実際に映像を生成する視点である指定視点における奥行マップを用いてオクルージョンホールとなる画素を検出した結果を用いて、基準視点映像を指定視点に射影した映像及び残差映像を指定視点に射影した映像から画素を適切に選択して指定視点映像を生成するため、良好な画質の指定視点映像を生成することができる。【００９０】
請求項９に記載の発明によれば、復号化した中間視点奥行マップに含まれる誤差によるオクルージョンホールの検出漏れを吸収した検出結果を用いて、基準視点映像を指定視点に射影した映像及び残差映像を指定視点に射影した映像から画素を選択して指定視点映像を生成するため、良好な画質の指定視点映像を生成することができる。【００９１】
請求項１０に記載の発明によれば、穴のない映像を生成するため、良好な画質の指定視点映像を生成することができる。【００９２】
請求項１１に記載の発明によれば、フレーム化された奥行マップ及び残差映像を分離して元のサイズの奥行マップ及び残差映像を生成することができるため、複数の系統の多視点映像を符号化する際に、複数の系統における奥行マップ及び残差映像を縮小してそれぞれのフレーム画像にフレーム化してデータ量が低減され、高い効率で符号化されたデータを復号して多視点映像を生成することができる。【００９３】
請求項１６、請求項２６又は請求項３０に記載の発明によれば、奥行マップについて、基準視点奥行マップと副視点奥行マップとを合成してデータ量を低減するとともに、副視点映像について、残差映像を生成してデータ量を低減するため、多視点映像を高い効率で符号化することができる。
請求項１７に記載の発明によれば、３以上の奥行マップを１つに合成してデータ量を更に低減するとともに、２以上の残差映像を縮小してフレーム化してデータ量を更に低減するため、符号化効率を更に向上することができる。
請求項１８に記載の発明によれば、副視点映像についてオクルージョンホールとなる画素のみを切り出してデータ低減するため、符号化効率を向上することができる。
請求項１９に記載の発明によれば、副視点映像について基準視点映像を副視点に射影した映像との映像全体の差を算出することにより残差映像を生成したため、立体映像復号装置側では、この残差映像を用いて、高品質な多視点映像を合成することができる。
請求項２０、請求項２７又は請求項３１に記載の発明によれば、立体映像を多重化ビットストリームとして出力する際に、基準視点についての映像は１視点映像のビットストリームとして伝送され、他の情報は立体映像に関するビットストリームとして伝送されるため、１視点映像を復号化する既存の立体映像復号化装置では、誤動作することなく多重化ビットストリームを１視点映像として復号化することができる。【００９４】
請求項２１、請求項２８又は請求項３２に記載の発明によれば、奥行マップと副視点映像とについてのデータ量が低減され、高い効率で符号化されたデータを復号化して多視点映像を生成することができる。
請求項２２に記載の発明によれば、奥行マップと副視点映像とについてのデータ量が更に低減され、更に高い効率で符号化されたデータを復号化して多視点映像を生成することができる。
請求項２３に記載の発明によれば、副視点映像についてのデータ量が更に低減され、更に高い効率で符号化されたデータを復号化して多視点映像を生成することができる。
請求項２４に記載の発明によれば、副視点映像について、高品質な残差映像が符号化されたデータを復号化して多視点映像を高品質に生成することができる。
請求項２５、請求項２９又は請求項３３に記載の発明によれば、多重化ビットストリームを分離したビットストリームを復号化して、多視点映像を生成することができる。
【図面の簡単な説明】
【００９５】
【図１】本発明の第１実施形態及び２実施形態に係る立体映像符号化装置及び立体映像復号化装置を含んだ立体映像伝送システムの構成を示すブロック図である。
【図２】本発明の第１実施形態に係る立体映像符号化装置の構成を示すブロック図である。
【図３】本発明の第１実施形態に係る立体映像符号化装置の詳細な構成を示すブロック図であり、（ａ）は奥行マップ合成手段、（ｂ）はオクルージョンホール検出手段の構成を示す。
【図４】本発明の第１実施形態に係る立体映像符号化装置における符号化処理の概要を説明するための説明図である。
【図５】本発明における奥行マップの合成の手順を説明するための説明図であり、（ａ）は基準視点及び左視点における奥行マップを用いる場合、（ｂ）は基準視点及び右視点における奥行マップを用いる場合を示す。
【図６】本発明におけるオクルージョンホール検出の手順を説明するための説明図である。
【図７】本発明の第１実施形態に係る立体映像復号化装置の構成を示すブロック図である。
【図８】本発明の第１実施形態に係る立体映像復号化装置における射影映像合成手段の構成を示すブロック図である。
【図９】本発明の第１実施形態に係る立体映像復号化装置における復号化処理の概要を説明するための説明図である。
【図１０】本発明の第１実施形態に係る立体映像符号化装置の動作を示すフローチャートである。
【図１１】本発明の第１実施形態に係る立体映像復号化装置の動作を示すフローチャートである。
【図１２】本発明の第２実施形態に係る立体映像符号化装置の構成を示すブロック図である。
【図１３】本発明の第２実施形態に係る立体映像符号化装置における符号化処理の概要を説明するための説明図である。
【図１４】本発明の第２実施形態に係る立体映像復号化装置の構成を示すブロック図である。
【図１５】本発明の第２実施形態に係る立体映像復号化装置における復号化処理の概要を説明するための説明図である。
【図１６】本発明の第２実施形態に係る立体映像符号化装置の動作を示すフローチャートである。
【図１７】本発明の第２実施形態に係る立体映像復号化装置の動作を示すフローチャートである。
【図１８】本発明の第２実施形態の変形例に係る立体映像符号化装置におけるフレーム化処理の概要を説明するための説明図であり、（ａ）は奥行マップのフレーム化、（ｂ）は残差映像のフレーム化を示す。
【図１９】本発明の第３実施形態に係る立体映像符号化装置の構成を示すブロック図である。
【図２０】本発明の第３実施形態に係る立体映像符号化装置における符号化処理の概要を説明するための説明図である。
【図２１】（ａ）は本発明の第３実施形態に係る立体映像符号化装置における射影映像予測手段の詳細な構成を示すブロック図であり、（ｂ）はその変形例における射影映像予測手段の構成を示すブロック図である。
【図２２】本発明の第３実施形態に係る立体映像復号化装置の構成を示すブロック図である。
【図２３】本発明の第３実施形態に係る立体映像復号化装置における復号化処理の概要を説明するための説明図である。
【図２４】（ａ）は本発明の第３実施形態に係る立体映像復号化装置における射影映像予測手段の詳細な構成を示すブロック図であり、（ｂ）はその変形例における射影映像予測手段の構成を示すブロック図である。
【図２５】本発明の第３実施形態に係る立体映像符号化装置の動作を示すフローチャートである。
【図２６】本発明の第３実施形態に係る立体映像復号化装置の動作を示すフローチャートである。
【図２７】本発明の第４実施形態に係る立体映像符号化装置の構成を示すブロック図である。
【図２８】本発明の第４実施形態に係る立体映像符号化装置におけるビットストリーム多重化手段の詳細な構成を示すブロック図である。
【図２９】本発明の第４実施形態におけるデータ構造を示す図であり、（ａ）は従来のビットストリーム、（ｂ）は基準視点映像ビットストリーム、（ｃ）は奥行マップビットストリーム、（ｄ）は残差映像ビットストリーム、（ｅ）は補助情報を示す。
【図３０】本発明の第４実施形態における補助情報の内容を説明するための図である。
【図３１】本発明の第４実施形態に係る立体映像復号化装置の構成を示すブロック図である。
【図３２】本発明の第４実施形態に係る立体映像復号化装置におけるビットストリーム分離手段の詳細な構成を示すブロック図である。
【図３３】本発明の第４実施形態に係る立体映像符号化装置の動作を示すフローチャートである。
【図３４】本発明の第４実施形態に係る立体映像復号化装置の動作を示すフローチャートである。
【図３５】従来の立体映像符号化装置の構成を示すブロック図である。
【発明を実施するための形態】
【００９６】
以下、本発明の実施形態について図面を参照して説明する。
＜第１実施形態＞
［立体映像伝送システム］
まず、図１を参照して、本発明の第１実施形態に係る立体映像符号化装置及び立体映像復号化装置を含んだ立体映像伝送システムＳについて説明する。
【００９７】
立体映像伝送システムＳは、カメラなどで撮影された立体映像を奥行マップとともに符号化して伝送し、伝送先において多視点映像を生成するものである。ここでは、立体映像伝送システムＳは、立体映像符号化装置１と、立体映像復号化装置２と、立体映像作成装置３と、立体映像表示装置４と、を備えている。
【００９８】
立体映像符号化装置１は、立体映像作成装置３で作成した立体映像を符号化して、ビットストリームとして伝送路に出力し、立体映像復号化装置２に送信するものである。また、立体映像復号化装置２は、立体映像符号化装置１から送信されるビットストリームを復号化し、多視点映像を生成して、立体映像表示装置４に出力し、立体映像を表示させるものである。
【００９９】
なお、立体映像符号化装置１から立体映像復号化装置２に伝送されるビットストリームは、例えば、複数種類の信号のそれぞれに対応して、複数本のビットストリームとしてもよい。また、後記する第４実施形態のように、これらの信号を多重化して、１本のビットストリームとして伝送するようにしてもよい。後記する他の実施形態についても同様である。
【０１００】
また、立体映像作成装置３は、立体映像を撮影できるカメラやＣＧ（コンピュータグラフィックス）作成装置などであり、立体映像（多視点映像）と、それに付随する奥行マップとを生成し、立体映像符号化装置１に出力するものである。立体映像表示装置４は、立体映像復号化装置２によって生成された多視点映像を入力し、立体映像を表示するものである。
【０１０１】
［立体映像符号化装置の構成］
次に、図２から図４を参照（適宜図１参照）して、第１実施形態に係る立体映像符号化装置１の構成について説明する。
図２に示すように、第１実施形態に係る立体映像符号化装置１（以下、適宜に「符号化装置」と呼ぶ）は、基準視点映像符号化手段１１と、奥行マップ合成手段１２と、奥行マップ符号化手段１３と、奥行マップ復号化手段１４と、射影映像予測手段１５と、残差映像符号化手段１６と、を備えている。また、射影映像予測手段１５は、オクルージョンホール検出手段１５１と、残差映像切出手段１５２とを有して構成されている。
【０１０２】
符号化装置１は、立体映像として、基準となる視点からみた映像である基準視点映像Ｃと、基準視点から水平に左方向に離れた視点である左視点（副視点）からみた映像である左視点映像（副視点映像）Ｌと、これらの映像にそれぞれ対応する基準視点奥行マップＣｄと、左視点奥行マップ（副視点奥行マップ）Ｌｄと、立体映像復号化装置２で生成される多視点映像において映像の生成が指定される視点である左指定視点１〜ｎ（指定視点）と、を入力する。
【０１０３】
なお、本実施形態では、被写体に向かって右側の視点を基準視点とし、左側の視点を左視点（副視点）とするものであるが、これに限定されるものではない。例えば、左側の視点を基準視点とし、右側の視点を副視点としてもよい。また、基準視点と副視点とは、水平方向に離れる場合に限定されず、垂直方向や斜め方向など、視点から被写体を観察する角度が変化するような、任意の方向に離れていてもよい。
【０１０４】
そして、符号化装置１は、これらの入力データに基づいて、基準視点映像Ｃを符号化した符号化基準視点映像ｃを、基準視点映像ビットストリームとして出力し、基準視点と左視点との中間の視点である左合成視点（中間視点）における奥行マップである左合成奥行マップ（中間視点奥行マップ）Ｍｄを符号化した符号化奥行マップｍｄを、奥行ビットマップストリームとして出力し、基準視点映像Ｃと左視点映像Ｌとの差分である左残差映像（残差映像）Ｌｖを符号化した符号化残差映像ｌｖを、残差映像ビットストリームとして出力する。
【０１０５】
また、符号化装置１から出力された各ビットストリームは、伝送路を介して立体映像復号化装置２（図１参照）に伝送される。
【０１０６】
以下、各構成要素について、図４に示した映像及び奥行マップの例を参照しながら説明する。なお、説明を簡単にするため、図４において、基準視点映像Ｃ及び左視点映像Ｌなどに示すように、各映像は、円形の前景にある被写体と、その他の背景となる被写体とから構成されているものとする。
【０１０７】
また、図４の基準視点奥行マップＣｄや左視点奥行マップＬｄに示すように、各奥行マップにおいて、前景にある被写体に対応する画素（円形の領域）は、奥行値が大きな値を有しており、図面において明るく示している。また、背景にある被写体に対応する画素は、奥行値が小さな値を有しており、図面において暗く示している。
【０１０８】
なお、各視点の映像に付随する奥行マップは、基準視点映像Ｃ及び左視点映像Ｌの中に映っている同じ被写体点に対応する画素位置のずれ量に対応する値である奥行値が画素ごとに定められたマップとして、それぞれの視点の映像の画素ごとに、予め与えられているものとする。
【０１０９】
基準視点映像符号化手段１１は、基準視点映像Ｃを外部から入力し、所定の符号化方式によって符号化して符号化基準視点映像ｃを生成し、基準視点映像ビットストリームとして伝送路に出力するものである。
【０１１０】
ここで用いる符号化方式としては、２Ｄ（２次元）映像符号化方式として普及している符号化方式を用いることが好ましい。具体的には、現在放送に用いられているＭＰＥＧ−２（Moving Picture Experts Group-2）規格の符号化方式や、光ディスクレコーダに用いられているＨ．２６４｜ＭＰＥＧ−４  ＡＶＣ（Moving Picture Experts Group-4 Advanced Video Coding）規格の符号化方式を挙げることができる。これによって、普及している従来の２Ｄデコーダのみを備えた復号化装置であっても、立体映像の一部である基準視点映像Ｃを、平面映像として見ることができるという利点がある。
【０１１１】
奥行マップ合成手段（中間視点奥行マップ合成手段）１２は、基準視点奥行マップＣｄと左視点奥行マップＬｄとを外部から入力し、それぞれ、基準視点と左視点との中間の視点である中間視点に射影して、中間視点における奥行マップを生成する。そして、奥行マップ合成手段１２は、生成した中間視点における２つの奥行マップを合成して、左合成奥行マップ（中間視点奥行マップ）Ｍｄを生成し、奥行マップ符号化手段１３に出力する。
【０１１２】
なお、本実施形態で用いる奥行マップは、何れの奥行マップも、基準視点映像Ｃなどの映像と同じ形式の画像データとして取り扱うこととする。例えば、ハイビジョン規格の形式を用いる場合は、輝度成分（Ｙ）として奥行値を設定し、色差成分（Ｐｂ，Ｐｒ）としてそれぞれ所定値（１成分当たり８ビット信号の場合、例えば「１２８」）を設定する。これによって、奥行マップ符号化手段１３によって、左合成奥行マップＭｄを、映像と同様の符号化方式を用いて符号化する場合でも、奥行マップとして有効な情報を有さない色差成分（Ｐｂ，Ｐｒ）による符号化効率の低下を防止することができる。
【０１１３】
また、奥行マップ合成手段１２は、図３（ａ）に示すように、中間視点射影手段１２１、１２２と、マップ合成手段１２３とを有して構成されている。
【０１１４】
中間視点射影手段１２１は、基準視点奥行マップＣｄについて、各画素を、その画素値である奥行値の１／２に対応する画素数だけ、基準視点から見て中間視点の方向と反対側である右方向にシフトさせることにより、中間視点における奥行マップＭＣｄを生成する。その結果、奥行マップＭＣｄ内に、画素をシフトすることによって生じた奥行値（画素値）のない画素が生じ、これをオクルージョンホールと呼ぶ。奥行値がない画素については、その画素位置の所定範囲の近傍の有効な画素における奥行値を、その画素の奥行値とする。この場合において、所定範囲の近傍の画素の奥行値の中で最小の奥行値を、その画素の奥行値とすることが好ましい。これによって、オクルージョンによって前景の被写体の後ろに隠れていた後景（背景）の被写体に対応する画素の奥行値を、ほぼ正しく補間することができる。
中間視点射影手段１２１は、生成した奥行マップＭＣｄをマップ合成手段１２３に出力する。
【０１１５】
ここで、図５（ａ）を参照して、奥行マップの射影について説明する。
図５（ａ）に示すように、基準視点から左視点までの距離をｂ、基準視点から任意の視点である左指定視点までの距離をｃ、左中間視点から左指定視点までの距離をａ、左指定視点から左視点までの距離をｄとする。また、基準視点から左中間視点までの距離及び左中間視点から左視点までの距離は、何れもｂ／２である。
【０１１６】
奥行値とは、基準視点と左視点との距離である距離ｂだけ離れた視点に奥行マップ又は映像を射影する場合に、その画素を、視点のシフト方向と反対側である右方向にシフトさせる画素数（視差量）に対応するものであり、通常は、映像中の最大視差量を最大奥行値に対応させて用いられる。また、この画素数のシフト量は、視点のシフト量に比例する。従って、基準視点における奥行マップを、基準視点からｃだけ離れた指定視点に射影する場合は、各画素を、その奥行値の（ｃ／ｂ）倍に対応する画素数だけ、右側にシフトさせることとなる。なお、視点のシフト方向が右方向の場合は、画素は反対側である右方向にシフトさせる。
【０１１７】
従って、中間視点射影手段１２１において、基準視点における奥行マップを中間視点に射影する場合は、前記したように、奥行値の（（ｂ／２）／ｂ）＝１／２倍に対応する画素数だけ右方向にシフトさせることとなる。
【０１１８】
また、次に説明する中間視点射影手段１２２に示すように、左視点における奥行マップを左視点から見て右方向にある中間視点に射影する場合は、左視点における奥行マップの各画素を、その画素の奥行値の（（ｂ／２）／ｂ）＝１／２倍に対応する画素数だけ左方向にシフトさせることとなる。
【０１１９】
図３（ａ）に戻って、説明を続ける。
中間視点射影手段１２２は、左視点奥行マップＬｄについて、その各画素を、その画素値である奥行値の１／２に対応する画素数だけ、左視点から見て中間視点の方向と反対側である左方向にシフトさせることにより、中間視点における奥行マップＭＬｄを生成する。その結果、奥行マップＭＬｄ内に、オクルージョンホールが生じるので、前記した中間視点射影手段１２１と同様に、これをその画素の周囲の有効な画素の画素値で埋める。
中間視点射影手段１２２は、生成した奥行マップＭＬｄをマップ合成手段１２３に出力する。
【０１２０】
なお、中間視点射影手段１２１，１２２が、それぞれ中間視点における奥行マップＭＣｄ、ＭＬｄを生成するときに、各奥行マップにおける各画素の奥行値の違いから、元の奥行マップ（基準視点奥行マップＣｄ、左視点奥行マップＬｄ）において異なる位置の画素が、シフト後に同じ位置となることがある。画素位置をシフト後に、同じ位置に複数の画素が重なる場合は、その中で最も大きな奥行値を有する画素を、その画素における奥行値とする。これによって、射影後の奥行マップ（中間視点における奥行マップＭＣｄ、ＭＬｄ）において、前景の被写体の奥行値が残り、被写体の重なり関係であるオクルージョン関係を正しく保つことができる。
【０１２１】
マップ合成手段１２３は、中間視点射影手段１２１、１２２から入力した２つの中間視点における奥行マップＭＣｄ、ＭＬｄを１つに合成して、左合成奥行マップＭｄを生成し、奥行マップ符号化手段１３に出力する。
【０１２２】
マップ合成手段１２３は、２つの奥行マップＭＣｄ、ＭＬｄを１つに合成して、左合成奥行マップＭｄを生成するときに、両方の奥行マップＭＣｄ、ＭＬｄについて、同じ画素位置の奥行値の平均値を、その画素における奥行値とする。
【０１２３】
次に、マップ合成手段１２３は、左合成奥行マップＭｄに、３×３、５×５、７×７、９×９、１１×１１、１３×１３、１５×１５、及び１７×１７の画素サイズのメディアンフィルタ処理を順に施す。これによって、フィルタ処理前の奥行マップの品質が悪く、誤った奥行値を多く含む滑らかでない奥行マップであっても、周囲の画素領域内の各画素の奥行値の中央値で置換えられることにより、より滑らかな奥行マップが得られ、立体映像復号化装置２で合成される指定視点映像の品質が改善される。なお、メディアンフィルタ処理を施しても、奥行値が大きく変化する部分は保存されるので、前景と背景の奥行値が混ざり合うことはない。
【０１２４】
奥行マップ符号化手段１３は、奥行マップ合成手段１２から入力した左合成奥行マップＭｄを所定の符号化方式で符号化して符号化奥行マップｍｄを生成し、奥行マップビットストリームとして伝送路に出力する。
【０１２５】
ここで用いる符号化方式は、前記した基準視点映像を符号化した符号化方式と同じでもよいし、例えば、ＨＥＶＣ（High Efficiency Video Coding）のような、より符号化効率の高い符号化方式を用いてもよい。
【０１２６】
奥行マップ復号化手段１４は、奥行マップ符号化手段１３によって生成された符号化奥行マップｍｄである奥行マップビットストリームを、その符号化方式に基づいて復号化し、中間視点における奥行マップである復号化左合成奥行マップ（復号化中間視点奥行マップ）Ｍ’ｄを生成する。奥行マップ復号化手段１４は、生成した復号化左合成奥行マップＭ’ｄをオクルージョンホール検出手段１５１に出力する。
【０１２７】
射影映像予測手段１５は、図２に示すように、基準視点映像Ｃ、左視点映像Ｌ及び左指定視点Ｐｔ１〜Ｐｔｎを外部から入力し、奥行マップ復号化手段１４から復号化左合成奥行マップＭ’ｄを入力し、左残差映像Ｌｖを生成して、残差映像符号化手段１６に出力する。また、射影映像予測手段１５は、オクルージョンホール検出手段１５１と残差映像切出手段１５２とを有して構成されている。
【０１２８】
オクルージョンホール検出手段１５１は、基準視点映像Ｃ及び左指定視点Ｐｔ１〜Ｐｔｎを外部から入力し、奥行マップ復号化手段１４から復号化左合成奥行マップＭ’ｄを入力し、基準視点映像Ｃを左視点、中間視点及び左指定視点Ｐｔ１〜Ｐｔｎに射影したときに発生が予測されるオクルージョンホールとなる画素領域を検出するものである。オクルージョンホール検出手段１５１は、オクルージョンホールとなる画素領域を示す穴マスクＬｈを検出結果として生成し、残差映像切出手段１５２に出力する。
【０１２９】
なお、本実施形態における穴マスクＬｈは、基準視点映像Ｃなどの映像と同じサイズの２値データ（０，１）であり、基準視点映像Ｃを左視点などにオクルージョンホールとならずに射影できた画素については、値「０」が設定され、オクルージョンホールとなる画素については、値「１」に設定するものとする。
【０１３０】
ここで、オクルージョンホールＯＨについて説明する。なお、図４に示すように、基準視点映像Ｃを、左視点における奥行マップである左視点射影奥行マップＬ’ｄを用いて、左視点に射影する場合を例として説明する。
【０１３１】
映像を撮影するカメラの設置場所などである視点位置に近い前景となる被写体の画素は、視点位置のシフトによって、大きくずれた位置に射影される。また、視点位置から遠く離れた背景となる被写体の画素は、視点位置のシフトによって、殆どずれない位置に射影される。このため、図４の左視点射影映像ＬＣとして示したように、前景となる円形の被写体が右方向にずれた後には、前景に隠れていて基準視点映像Ｃには対応する画素がなかった黒く示した三日月状の領域が、画素が射影されない領域として残ることとなる。この画素が射影されない領域がオクルージョンホールＯＨである。
【０１３２】
なお、この説明の例に限らず、映像を、その映像に関する奥行マップ（視点は映像と同じでなくてもよい）を用いて任意の視点に射影する場合に、一般的にオクルージョンホールが発生する。
【０１３３】
一方、前景の被写体が右方向にずれて撮影されている左視点映像Ｌには、このオクルージョンホールＯＨにおける画素が撮影されている。そこで、本実施形態においては、後記する残差映像切出手段１５２によって、左視点映像Ｌから、このオクルージョンホールＯＨにおける画素領域の画素を抽出して左残差映像Ｌｖを生成する。
【０１３４】
これによって、左視点映像Ｌの全部ではなく、基準視点映像Ｃから射影可能な画素領域を除いた残差映像のみを符号化するため、符号化効率がよく、伝送するデータ量を低減することができる。なお、オクルージョンホール検出手段１５１の詳細については後記する。
【０１３５】
なお、左合成奥行マップＭｄが符号化及び復号化により可逆変換される符号化方式を用いる場合は、オクルージョンホールとなる画素領域の検出のため、復号化左合成奥行マップＭ’ｄの代わりに、左合成奥行マップＭｄを用いることもできる。この場合は、奥行マップ復号化手段１４は不要である。しかし、高い圧縮率が得られる符号化方式は、一般的には非逆変換であるため、本実施形態のように、復号化左合成奥行マップＭ’ｄを用いることが好ましい。これによって、立体映像復号化装置２（図１参照）で、復号化左合成奥行マップＭ’ｄを用いて多視点映像を生成する際に発生するオクルージョンホールを正確に予測することができる。
【０１３６】
残差映像切出手段１５２は、外部から左視点映像Ｌを入力し、オクルージョンホール検出手段１５１から穴マスクＬｈを入力し、穴マスクＬｈに示されたオクルージョンホールとなる画素領域における画素を左視点映像Ｌから抽出して左残差映像Ｌｖを生成するものである。残差映像切出手段１５２は、生成した左残差映像Ｌｖを残差映像符号化手段１６に出力する。
【０１３７】
なお、左残差映像Ｌｖは、基準視点映像Ｃや左視点映像Ｌと同じ形式の画像データとする。このとき、オクルージョンホールとならない画素領域の画素については、所定の画素値とする。所定値は、例えば、１成分当たり８ビットの画素データの場合、輝度成分（Ｙ）、色差成分（Ｐｂ，Ｐｒ）とも、中間の画素値である１２８とすることが好ましい。このようにすることで、残差映像がある部分と、残差映像がない部分との変化量を少なくし、左残差映像Ｌｖの符号化処理での歪を小さくすることができる。また、立体映像復号化装置２（図１参照）で左指定視点Ｐｔにおける映像を生成する際に、左残差映像Ｌｖから適切な画素が得られない場合に、左残差映像Ｌｖにおいて、オクルージョンホールとならなかった部分の画素を検出して、その画素について、残差映像のある有効な周囲の画素で補間することが可能となる。
【０１３８】
残差映像符号化手段１６は、残差映像切出手段１５２から左残差映像Ｌｖを入力し、所定の符号化方式で左残差映像Ｌｖを符号化して符号化残差映像ｌｖを生成し、残差映像ビットストリームとして伝送路に出力する。
【０１３９】
ここで用いる符号化方式は、前記した基準視点映像Ｃを符号化した符号化方式と同じでもよいし、ＨＥＶＣのような、より符号化効率の高い符号化方式を用いてもよい。
【０１４０】
次に、図３（ｂ）を参照（適宜図２及び図４参照）して、オクルージョンホール検出手段１５１について、更に詳細に説明する。
オクルージョンホール検出手段１５１は、図３（ｂ）に示すように、第１穴マスク生成手段１５１１と、第２穴マスク生成手段１５１２と、第３穴マスク生成手段１５１３（１５１３１〜１５１３ｎ）と、穴マスク合成手段１５１４と、穴マスク膨張手段１５１５と、を有して構成されている。
【０１４１】
第１穴マスク生成手段１５１１は、基準視点映像Ｃを左視点に射影したときに、オクルージョンホールＯＨとなる画素領域を予測し、当該画素領域を示す穴マスクＬｈ１を生成して穴マスク合成手段１５１４に出力するものである。このために、第１穴マスク生成手段１５１１は、左視点射影手段１５１１ａと、第１ホール画素検出手段１５１１ｂとを有して構成されている。
【０１４２】
左視点射影手段（副視点射影手段）１５１１ａは、奥行マップ復号化手段１４から復号化左合成奥行マップＭ’ｄを入力し、この復号化左合成奥行マップＭ’ｄを左視点に射影して、左視点における奥行マップである左視点射影奥行マップＬ’ｄを生成し、第１ホール画素検出手段１５１１ｂに出力する。
【０１４３】
なお、左視点射影奥行マップＬ’ｄは、中間視点の奥行マップである復号化左合成奥行マップＭ’ｄの各画素について、その画素の奥行値の１／２の値に対応する画素数だけ右方向にシフトすることで生成することができる。すべての画素をシフト後に、同じ画素に複数の画素が重なる場合は、前記した中間視点射影手段１２１，１２２（図３（ａ）参照）により中間視点における奥行マップを生成する場合と同様に、複数の画素の奥行値の中で最大の奥行値を、その画素位置の奥行値とする。また、有効な画素がない場合は、前記したマップ合成手段１２３により中間視点における奥行マップを生成する場合と同様に、その画素位置の所定範囲の近傍の有効な画素における奥行値を、その画素の奥行値とする。この場合において、所定範囲の近傍の画素の奥行値の中で最小の奥行値を、その画素の奥行値としてもよい。
【０１４４】
次に、第１ホール画素検出手段（ホール画素検出手段）１５１１ｂは、外部から基準視点映像Ｃを入力し、左視点射影手段１５１１ａから左視点射影奥行マップＬ’ｄを入力し、左視点射影奥行マップＬ’ｄを用いて、基準視点映像Ｃを左視点に射影した場合に、オクルージョンホールＯＨとなる画素領域を予測して、当該画素領域を示す穴マスクＬｈ１を生成し、穴マスク合成手段１５１４に出力する。
【０１４５】
なお、第１ホール画素検出手段１５１１ｂは、左視点射影手段１５１１ａから入力した左視点射影奥行マップＬ’ｄに、３×３及び５×５画素のメディアンフィルタ処理を順に施して、符号化、復号化、及び射影によって生じた奥行値の誤差を軽減させる。そして、メディアンフィルタ処理を施した後の左視点射影奥行マップＬ’ｄを用いて、オクルージョンホールＯＨとなる画素領域を検出する。
【０１４６】
ここで、左視点射影奥行マップＬ’ｄを用いて、オクルージョンホールＯＨとなる画素領域を予測する方法について図６を参照して説明する。
図６に示すように、奥行マップ（左視点射影奥行マップＬ’ｄ）において、オクルージョンホールとなる画素かどうかの判定対象となっている着目画素（図において×印で示した画素）の右近傍画素（図において●で示した画素）が、着目画素における奥行値よりも大きな奥行値を有している場合は、その着目画素はオクルージョンホールとなる画素であると判定し、オクルージョンホールとなる画素であることを示す穴マスクＬｈを生成する。なお、図６に示した穴マスクＬｈにおいて、オクルージョンホールとなる画素は白で示し、他の画素は黒で示している。
【０１４７】
オクルージョンホールとなる画素の検出方法について、更に詳細に説明する。着目画素における奥行値をｘ、着目画素から右方向に所定の画素数Ｐｍａｘだけ離れた画素における奥行値をｙとする。ここで、右方向に離れた所定の画素数Ｐｍａｘとは、例えば、対応する映像内における最大の視差量に相当する画素数、すなわち、最大の奥行値に対応する視差量とする。次に、着目画素から右方向に奥行値の差ｇ＝（ｙ−ｘ）に対応する視差量となる画素数だけ離れた画素を右近傍画素とする。このとき、右近傍画素における奥行値をｚとする。そして、
（ｚ−ｘ）≧ｋ×ｇ＞（所定値）    ・・・式（１）
となる場合に、着目画素をオクルージョンホールとなる画素であると判定する。
【０１４８】
なお、式（１）において、ｋは所定の係数であり、例えば、「０．８」〜「０．６」程度の値とすることができる。このように「１」未満の係数ｋを乗ずることにより、被写体の形状や奥行値の不正確さのために、前景となる被写体の奥行値が若干変動する場合であっても、正しくオクルージョンホールを検出することができる。
【０１４９】
なお、以上の判定でオクルージョンホールが検出されなかった場合、細い前景被写体を見逃している可能性があるので、更に、前記したＰｍａｘを半分にしながら、前記したオクルージョンホール検出を繰り返すのが好ましい。繰り返し回数は、例えば４回とすることで、見逃しを殆どなくすことができる。
【０１５０】
また、式（１）において、「所定値」は、例えば、「４」とすることができる。着目画素と右近傍画素との間の奥行値の差が所定値より大きいという条件を加えることにより、実質的に殆どオクルージョンが生じない小さな奥行値の不連続部分を検出することがなく、左残差映像Ｌｖとして抽出される画素数を抑制でき、符号化残差映像ｌｖのデータ量を抑制することができる。
【０１５１】
第２穴マスク生成手段１５１２は、図３（ｂ）に示すように、基準視点映像Ｃを中間視点に射影したときに、オクルージョンホールＯＨとなる画素領域を予測し、当該画素領域を示す穴マスクＬｈ２を生成して穴マスク合成手段１５１４に出力するものである。このために、第２穴マスク生成手段１５１２は、第２ホール画素検出手段１５１２ａと、左視点射影手段１５１２ｂと、を有して構成されている。
【０１５２】
第２ホール画素検出手段１５１２ａは、外部から基準視点映像Ｃを入力し、奥行マップ復号化手段１４から復号化左合成奥行マップＭ’ｄを入力し、基準視点映像Ｃを中間視点に射影した場合に、オクルージョンホールとなる画素領域を検出して、当該画素領域を示す中間視点における穴マスクを生成し、左視点射影手段１５１２ｂに出力する。
【０１５３】
このとき、第２ホール画素検出手段１５１２ａは、復号化左合成奥行マップＭ’ｄに、３×３と５×５画素のメディアンフィルタ処理を順に施して、符号化、復号化によって生じた奥行値の誤差を軽減させてから、オクルージョンホールとなる画素領域を検出する。
【０１５４】
なお、第２ホール画素検出手段１５１２ａにおける穴マスクの生成は、用いる奥行マップが異なるだけで、前記した第１ホール画素検出手段１５１１ｂにおける穴マスクＬｈ１の生成と同様に行うことができる。
【０１５５】
左視点射影手段（第２副視点射影手段）１５１２ｂは、第２ホール画素検出手段１５１２ａから中間視点における穴マスクを入力し、この穴マスクを、左視点に射影した穴マスクＬｈ２を生成する。左視点射影手段１５１２ｂは、生成した穴マスクＬｈ２を穴マスク合成手段１５１４に出力する。
【０１５６】
なお、中間視点における穴マスクの左視点への射影は、中間視点における穴マスクの
各画素について、復号化左合成奥行マップＭ’ｄの対応する画素における奥行値の１／２倍に対応する画素数だけ右方向にシフトすることで生成することができる。
【０１５７】
第３穴マスク生成手段１５１３１〜１５１３ｎ（１５１３）は、図３（ｂ）に示すように、基準視点映像Ｃを、それぞれ左指定視点Ｐｔ１〜Ｐｔｎに射影したときに、オクルージョンホールＯＨとなる画素領域を予測し、それぞれ当該画素領域を示す穴マスクＬｈ３１〜Ｌｈ３ｎを生成して穴マスク合成手段１５１４に出力するものである。このために、各第３穴マスク生成手段１５１３（１５１３１〜１５１３ｎ）は、指定視点射影手段１５１３ａと、第３ホール画素検出手段１５１３ｂと、左視点射影手段１５１３ｃと、を有して構成されている。
【０１５８】
指定視点射影手段（指定視点射影手段）１５１３ａは、奥行マップ復号化手段１４から復号化左合成奥行マップＭ’ｄを入力し、この復号化左合成奥行マップＭ’ｄを左指定視点Ｐｔ（Ｐｔ１〜Ｐｔｎ）に射影して、左指定視点Ｐｔ（Ｐｔ１〜Ｐｔｎ）における奥行マップである左指定視点奥行マップを生成し、第３ホール画素検出手段１５１３ｂに出力する。
【０１５９】
なお、左指定視点Ｐｔ１〜Ｐｔｎにおける奥行マップは、図５（ａ）に示したように、中間視点から左指定視点までの距離をａ、基準視点から左視点までの距離をｂとすると、中間視点における奥行マップである復号化左合成奥行マップＭ’ｄの各画素について、その画素における奥行値を（ａ／ｂ）倍した値に対応する画素数だけ、中間視点から見て左指定視点と反対側の方向（図５（ａ）の例では右方向）にシフトさせることで生成することができる。
【０１６０】
第３ホール画素検出手段１５１３ｂは、外部から基準視点映像Ｃを入力し、指定視点射影手段１５１３ａから左指定視点奥行マップを入力し、基準視点映像Ｃを対応する左指定視点Ｐｔ１〜Ｐｔｎに射影した場合に、オクルージョンホールとなる画素領域を検出して、当該画素領域を示すその左指定視点Ｐｔ１〜Ｐｔｎにおける穴マスクを生成し、左視点射影手段１５１３ｃに出力する。
【０１６１】
なお、第３ホール画素検出手段１５１３ｂは、指定視点射影手段１５１３ａから入力した左指定視点射影奥行マップに生じるオクルージョンホールを周囲の有効な画素で補間した後、更に、３×３と５×５画素のメディアンフィルタ処理を順に施して、符号化、復号化、及び射影によって生じた奥行値の誤差を軽減させる。その後、第３ホール画素検出手段１５１３ｂは、左指定視点射影奥行マップを用いてオクルージョンホールとなる画素領域を検出する。
【０１６２】
なお、第３ホール画素検出手段１５１３ｂにおける穴マスクの生成は、用いる奥行マップが異なるだけで、前記した第１ホール画素検出手段１５１１ｂにおける穴マスクＬｈ１の生成と同様に行うことができる。
【０１６３】
左視点射影手段（第３副視点射影手段）１５１３ｃは、第３ホール画素検出手段１５１３ｂから対応する左指定視点Ｐｔ１〜Ｐｔｎにおける穴マスクを入力し、この穴マスクを、左視点に射影した穴マスクＬｈ３１〜Ｌｈ３ｎを生成する。左視点射影手段１５１３ｃは、生成した穴マスクＬｈ３１〜Ｌｈ３ｎを穴マスク合成手段１５１４に出力する。
【０１６４】
なお、左視点における穴マスクＬｈ３１〜Ｌｈ３ｎは、図５（ａ）に示したように、左指定視点から左視点までの距離をｄ、基準視点から左視点までの距離をｂとすると、左指定視点における穴マスクの各画素について、その画素に対応する左指定視点における奥行マップの画素の奥行値を（ｄ／ｂ）倍した値に対応する画素数だけ、右方向にシフトさせることで生成することができる。
【０１６５】
また、左指定視点Ｐｔ１〜Ｐｔｎは、立体映像復号化装置２（図１参照）で生成される多視点映像における視点として、立体映像復号化装置２に入力するものと同じ視点を用いるのが好ましいが、不明な場合は、基準視点位置と副視点（左、又は右視点）位置との間を等間隔に分割した視点を用いてもよい。左指定視点Ｐｔ１〜Ｐｔｎは１つでもよく、２つ以上であってもよい。本実施形態のように、第３穴マスク生成手段１５１３（１５１３１〜１５１３ｎ）を設け、実際に立体映像復号化装置２（図１参照）で指定される左指定視点Ｐｔ１〜Ｐｔｎに射影したときに予測されるオクルージョンホールとなる画素領域の穴マスクＬｈ３１〜Ｌｈ３ｎを追加することにより、より適切な左残差映像Ｌｖを生成することができるため好ましい。
【０１６６】
穴マスク合成手段１５１４は、第１穴マスク生成手段１５１１から穴マスクＬｈ１を、第２穴マスク生成手段１５１２から穴マスクＬｈ２を、第３穴マスク生成手段１５１３１〜１５１３ｎから穴マスクＬｈ３１〜Ｌｈ３ｎを、それぞれオクルージョンホールとなる画素領域の検出結果として入力し、入力したこれらの穴マスク（検出結果）を合成して、１つの穴マスクＬｈ０を生成し、穴マスク膨張手段１５１５に出力する。
【０１６７】
なお、穴マスク合成手段１５１４は、入力した複数の穴マスクＬｈ１、Ｌｈ２、Ｌｈ３１〜Ｌｈ３ｎについて、オクルージョンホールとなる画素領域の論理和を演算し、少なくとも一つの穴マスクにおいて、オクルージョンホールとなる画素は、オクルージョンホールとなる画素とするものである。
【０１６８】
穴マスク膨張手段１５１５は、穴マスク合成手段１５１４から穴マスクＬｈ０を入力し、この穴マスクＬｈ０におけるオクルージョンホールとなる画素領域を、所定の画素数だけ、すべての方向について膨張させるものである。穴マスク膨張手段１５１５は、膨張後の穴マスクＬｈを、残差映像切出手段１５２（図２参照）に出力する。
【０１６９】
ここで、膨張させる所定の画素数とは、例えば、１６画素とすることができる。穴マスクＬｈ０を所定画素数だけ膨張させた穴マスクＬｈを、左残差映像Ｌｖの抽出に用いることによって、立体映像復号化装置２（図１参照）において、多視点映像を生成する際に、視点（指定視点）の違いによるオクルージョンホールの相違をカバーし、適切な画素を左残差映像Ｌｖから複写して用いることができる。
なお、穴マスク膨張手段１５１５は、穴マスク合成手段１５１４の前においてもよい。すなわち、個々の穴マスクを膨張させた後に、論理和演算をしても同じ効果が得られる。
【０１７０】
［立体映像復号化装置の構成］
次に、図７から図９を参照（適宜図１参照）して、第１実施形態に係る立体映像復号化装置２の構成について説明する。立体映像復号化装置２は、図２に示した立体映像符号化装置１から伝送路を介して伝送されるビットストリームを復号化して、多視点映像を生成するものである。
【０１７１】
図７に示すように、第１実施形態に係る立体映像復号化装置２（以下、適宜に「復号化装置」と呼ぶ）は、基準視点映像復号化手段２１と、奥行マップ復号化手段２２と、奥行マップ射影手段２３と、残差映像復号化手段２４と、射影映像合成手段２５と、を備えている。また、射影映像合成手段２５は、基準視点映像射影手段２５１と、残差映像射影手段２５２とを有して構成されている。
【０１７２】
復号化装置２は、符号化装置１から、基準視点映像ビットストリームとして出力される符号化基準視点映像ｃと、奥行ビットマップストリームとして出力される符号化奥行マップｍｄと、残差映像ビットマップストリームとして出力される符号化残差映像ｌｖと、を入力し、これらの入力データを加工して、基準視点における映像である基準視点映像（復号化基準視点映像）Ｃ’と左指定視点（指定視点）Ｐｔにおける映像である左指定視点映像（指定視点映像）Ｐとを生成し、立体映像表示装置４に出力して、立体映像を表示させるものである。なお、復号化装置２が生成する左指定視点映像Ｐは、１つでもよく、２以上であってもよい。
【０１７３】
以下、各構成要素について、図９に示した映像及び奥行マップの例を参照しながら説明する。
【０１７４】
基準視点映像復号化手段２１は、符号化装置１から、基準視点映像ビットストリームとして出力される符号化基準視点映像ｃを入力し、その符号化方式で符号化基準視点映像ｃを復号化して基準視点映像（復号化基準視点映像）Ｃ’を生成するものである。基準視点映像復号化手段２１は、生成した基準視点映像Ｃ’を、射影映像合成手段２５の基準視点映像射影手段２５１に出力するとともに、立体映像表示装置４に多視点映像の一つの映像（基準視点映像）として出力する。
【０１７５】
奥行マップ復号化手段２２は、符号化装置１から、奥行ビットマップストリームとして出力される符号化奥行マップｍｄを入力し、その符号化方式で符号化奥行マップｍｄを復号化して、中間視点における奥行マップである復号化左合成奥行マップ（復号化中間視点奥行マップ）Ｍ’ｄを生成する。この復号化左合成奥行マップＭ’ｄは、符号化装置１の奥行マップ復号化手段１４（図２参照）で生成される復号化左合成奥行マップＭ’ｄと同じものである。奥行マップ復号化手段２２は、生成した復号化左合成奥行マップＭ’ｄを、奥行マップ射影手段２３に出力する。
【０１７６】
奥行マップ射影手段２３は、奥行マップ復号化手段２２から中間視点における奥行マップである復号化左合成奥行マップＭ’ｄを入力し、入力した復号化左合成奥行マップＭ’ｄを左指定視点Ｐｔに射影して、左指定視点Ｐｔにおける奥行マップである左指定視点奥行マップＰｄを生成するものである。奥行マップ射影手段２３は、射影した左指定視点奥行マップＰｄのオクルージョンホールを周囲の画素値で補間した後、更に、３×３及び５×５画素のメディアンフィルタ処理を順に施して、符号化、復号化、及び射影によって生じた誤差を軽減させてから、生成した左指定視点奥行マップＰｄを、射影映像合成手段２５の基準視点映像射影手段２５１及び残差映像射影手段２５２に出力する。
【０１７７】
なお、左指定視点Ｐｔは、復号化装置２で生成する多視点映像における左指定視点Ｐｔであり、復号化装置２において予め定められた設定手段（不図示）から入力してもよく、外部からキーボードなどの入力手段を介したユーザの操作によって入力されるようにしてもよい。また、左指定視点Ｐｔは、１つでも、２以上であってもよい。左指定視点Ｐｔが２以上の場合は、左指定視点Ｐｔごとに、順次に、それぞれの左指定視点Ｐｔにおける左指定視点奥行マップＰｄを生成して、順次に射影映像合成手段２５に出力するものとする。
【０１７８】
残差映像復号化手段２４は、符号化装置１から残差映像ビットストリームとして出力される符号化残差映像ｌｖを入力して、その符号化方式で符号化残差映像ｌｖを復号化して左残差映像（復号化残差映像）Ｌ’ｖを生成し、射影映像合成手段２５の残差映像射影手段２５２に出力するものである。
【０１７９】
射影映像合成手段２５は、基準視点映像復号化手段２１から基準視点映像Ｃ’を、残差映像復号化手段２４から左残差映像Ｌ’ｖを、奥行マップ射影手段２３から左指定視点奥行マップＰｄを、それぞれ入力し、これらの入力データを用いて、左指定視点Ｐｔにおける映像である左指定視点映像Ｐを生成し、多視点映像の一つとして立体映像表示装置４に出力するものである。そのために、射影映像合成手段２５は、基準視点映像射影手段２５１と、残差映像射影手段２５２とを有して構成されている。
【０１８０】
射影映像合成手段２５を構成する基準視点映像射影手段２５１は、基準視点映像復号化手段２１から基準視点映像Ｃ’を、奥行マップ射影手段２３から左指定視点奥行マップＰｄを、それぞれ入力し、左指定視点Ｐｔにおける映像として、基準視点映像Ｃ’を当該左指定視点Ｐｔに射影することができる画素についての左指定視点映像ＰＣを生成する。基準視点映像射影手段２５１は、生成した左指定視点映像ＰＣを残差映像射影手段２５２に出力する。なお、基準視点映像射影手段２５１の詳細な構成については後記する。
【０１８１】
射影映像合成手段２５を構成する残差映像射影手段２５２は、残差映像復号化手段２４から左残差映像Ｌ’ｖを、奥行マップ射影手段２３から左指定視点奥行マップＰｄを、それぞれ入力し、左指定視点Ｐｔにおける映像として、基準視点映像Ｃ’を射影することができない画素、すなわち、オクルージョンホールとなる画素を、左指定視点映像ＰＣに補完して左指定視点映像Ｐを生成する。残差映像射影手段２５２は、生成した左指定視点映像Ｐを立体映像表示装置４（図１参照）に出力する。なお、残差映像射影手段２５２の詳細な構成については後記する。
【０１８２】
続いて、基準視点映像射影手段２５１の詳細な構成について説明する。
基準視点映像射影手段２５１は、図８に示すように、ホール画素検出手段２５１ａと、指定視点映像射影手段２５１ｂと、基準視点映像画素複写手段２５１ｃと、メディアンフィルタ２５１ｄと、穴マスク膨張手段２５１ｅと、を備えて構成されている。
【０１８３】
ホール画素検出手段２５１ａは、奥行マップ射影手段２３から左指定視点奥行マップＰｄを入力し、基準視点映像復号化手段２１から入力した基準視点映像Ｃ’を、この左指定視点奥行マップＰｄを用いて、左指定視点Ｐｔに射影したときにオクルージョンホールとなる画素を検出し、検出した画素領域を示す穴マスクＰ１ｈを検出結果として生成して基準視点映像画素複写手段２５１ｃに出力する。
【０１８４】
ここで、左指定視点奥行マップＰｄを用いて、オクルージョンホールとなる画素を検出する方法について説明する。ホール画素検出手段２５１ａにおけるオクルージョンホールとなる画素の検出方法は、前記した符号化装置１の第１ホール画素検出手段１５１１ｂ（図３（ａ）参照）における左視点射影奥行マップＬ’ｄに代えて、左指定視点奥行マップＰｄを用いて、オクルージョンホールとなる画素かどうかの判定対象となっている着目画素の右近傍画素が、着目画素における奥行値よりも大きな奥行値を有している場合は、その着目画素はオクルージョンホールとなる画素として検出するものである。このとき、それぞれの奥行マップの視点位置及び射影先の視点位置が異なるため、その調整が必要となる。
【０１８５】
図５（ａ）に示したように、基準視点から左視点までの距離をｂ、基準視点から左指定視点までの距離をｃとする。
また、オクルージョンホールとなる画素かどうかの判定対象となっている着目画素における奥行値をｘ、着目画素から右方向に所定の画素数Ｐｍａｘだけ離れた画素における奥行値をｙとする。
【０１８６】
次に、所定の画素数Ｐｍａｘだけ離れた画素における奥行値であるｙと、着目画素における奥行値であるｘとの差ｇ＝（ｙ−ｘ）を（ｃ／ｂ）倍した「（ｙ−ｘ）×（ｃ／ｂ）」に対応する画素数だけ右方向に離れた画素における奥行値をｚとする。このとき、
（ｚ−ｘ）≧ｋ×ｇ＞（所定値）    ・・・式（２）
となる場合に、着目画素をオクルージョンホールとなる画素であると判定する。
【０１８７】
なお、式（２）において、ｋは所定の係数であり、例えば、「０．８」〜「０．６」程度の値とすることができる。このように「１」未満の係数ｋを乗ずることにより、被写体の形状や奥行値の不正確さのために、前景となる被写体の奥行値が若干変動する場合であっても、正しくオクルージョンホールを検出することができる。
【０１８８】
また、式（２）において、「所定値」は、例えば、「４」とすることができる。着目画素と右近傍画素との間の奥行値の差が所定値より大きいという条件を加えることにより、実質的に殆どオクルージョンが生じない小さな奥行値の不連続部分を検出することがなく、後記する基準視点映像画素複写手段２５１ｃによって、基準視点映像Ｃ’を射影した映像である左指定視点射影映像Ｐ１Ｃから適切な画素を複写することができる。
【０１８９】
なお、本実施形態では、右方向に離れた所定の画素数は、４段階に設定して、各段階ごとに同様の判定を行い、少なくとも１つの段階でオクルージョンホールとなる画素であると判定された場合は、その着目画素をオクルージョンホールとなる画素であると判定するものである。
【０１９０】
また、４段階に設定する右方向に離れた所定の画素数Ｐｍａｘとしては、例えば、第１段階として、対応する映像内における最大の視差量に相当する画素数、すなわち、最大の奥行値に対応する画素数とする。第２段階としては、第１段階において設定した画素数の１／２とする。第３段階としては、第１段階において設定した画素数の１／４とする。そして、第４段階としては、第１段階において設定した画素数の１／８とする。
【０１９１】
このように、複数の段階の画素数だけ離れた位置における画素との奥行値の差を参照してオクルージョンホールとなる画素の検出をすることにより、大きな視差量を設定したときにはオクルージョンホールが見逃されていた、幅の狭い前景となる被写体によるオクルージョンホールを適切に検出することができて好ましい。なお、右方向に離れた所定の画素数Ｐｍａｘを設定する段階数は、４段階に限定されず、２〜３段階や、５段階以上としてもよい。
【０１９２】
なお、前記ホール画素検出手段２５１aは、オクルージョンホールを検出する際に、左残差映像（残差映像）Ｌ’ｖに含まれない領域である、画面の右端から所定の範囲では、オクルージョンホール不検出領域として、オクル―ジョンホール検出を行わず、この部分に生じたオクルージョンホールは、穴埋め処理手段２５２ｃで埋めるようにする。これにより、残差映像に含まれないオクル―ジョンホールが、穴マスク膨張手段２５１eにより拡大されるのを防ぎ、合成映像の品質が低下するのを防ぐ。オクルージョンホール不検出領域とする所定の範囲は、例えば、図９に示したように、映像の右端から最大視差量に相当する画素範囲とする。
【０１９３】
指定視点映像射影手段２５１ｂは、基準視点映像復号化手段２１から基準視点映像Ｃ’を、奥行マップ射影手段２３から左指定視点奥行マップＰｄを、それぞれ入力し、基準視点映像Ｃ’を左指定視点Ｐｔに射影した映像である左指定視点射影映像Ｐ１Ｃを生成して、基準視点映像画素複写手段２５１ｃに出力する。
【０１９４】
図５（ａ）に示したように、基準視点から左視点までの距離をｂ、基準視点から左指定視点までの距離をｃとする。このとき、指定視点映像射影手段２５１ｂは、左指定視点奥行マップＰｄの各画素について、その画素位置における奥行値を（ｃ／ｂ）倍した値に対応する画素数だけ左方向にシフトした位置における画素を、基準視点映像Ｃ’から抽出し、抽出した画素値を、参照した奥行値の画素位置における画素値とすることによって、左指定視点射影映像Ｐ１Ｃを生成する。
【０１９５】
基準視点映像画素複写手段２５１ｃは、指定視点映像射影手段２５１ｂから左指定視点射影映像Ｐ１Ｃを、ホール画素検出手段２５１ａから穴マスクＰ１ｈを、それぞれ入力し、これらの入力データから、オクルージョンホールとならずに基準視点映像Ｃ’を左指定視点Ｐｔに射影することができる画素を複写して、左指定視点映像Ｐ２Ｃを生成するものである。
また、基準視点映像画素複写手段２５１ｃは、生成した左指定視点映像Ｐ２Ｃと、入力した穴マスクＰ１ｈとを、メディアンフィルタ２５１ｄに出力する。
【０１９６】
なお、基準視点映像画素複写手段２５１ｃは、左指定視点映像Ｐ２Ｃを生成する際に、左指定視点映像Ｐ２Ｃのすべての画素値について所定値を設定する初期化処理を行う。この所定値とは、前記した符号化装置１の残差映像切出手段１５２（図２参照）において、残差映像のない画素に設定した画素値と同じものとする（例えば、１成分当たり８ビットの場合、輝度成分（Ｙ）、色差成分（Ｐｂ，Ｐｒ）とも、「１２８」）。これによって、オクルージョンホールとなる画素として、この所定値が設定された左指定視点映像Ｐ２Ｃが生成される。
【０１９７】
メディアンフィルタ２５１ｄは、基準視点映像画素複写手段２５１ｃから左指定視点映像Ｐ２Ｃ及び穴マスクＰ１ｈを入力し、それぞれの入力データにメディアンフィルタ処理を施して、それぞれ左指定視点映像ＰＣ及び穴マスクＰ２ｈを生成し、生成した左指定視点映像ＰＣを残差映像射影手段２５２の残差映像画素複写手段２５２ｂに、穴マスクＰ２ｈを穴マスク膨張手段２５１ｅにそれぞれ出力する。
【０１９８】
左指定視点映像Ｐ２Ｃに施すメディアンフィルタ処理は、例えば、３×３の画素サイズのフィルタを用いることができる。これによって、左指定視点射影映像Ｐ１Ｃ中に対応する有効な画素がないにも関わらず、ホール画素検出手段２５１aで検出されなかった孤立したオクルージョンホールとなる画素が、その周囲である３×３の画素領域内の各画素値の中央値で補間される。
【０１９９】
なお、このメディアンフィルタ処理によって、処理前に有効な画素であった画素が、オクルージョンホールとなる画素を示す画素値に置き換わる場合は、この画素についてはメディアンフィルタ処理の結果を適用せずに、メディアンフィルタ処理前の画素値を維持する。
【０２００】
穴マスク膨張手段２５１ｅは、メディアンフィルタ２５１ｄから穴マスクＰ２ｈを入力し、穴マスクＰ２ｈにおけるオクルージョンホールとなる画素領域を、所定の画素数だけ膨張させた穴マスクＰｈを生成し、生成した穴マスクＰｈを残差映像射影手段２５２の残差映像画素複写手段２５２ｂに出力する。
【０２０１】
ここで、膨張させる所定の画素数とは、例えば、８画素とすることができる。この膨張処理によって、前記した基準視点映像画素複写手段２５１ｃによって、左指定視点奥行マップＰｄの生成誤差のために誤って左指定視点射影映像Ｐ１Ｃから複写した画素について、実質的にオクルージョンホールとなる画素である「画素なし」の状態に戻すことができる。なお、この画素については、後記する残差映像射影手段２５２によって適切な画素値が複写される。
【０２０２】
次に、残差映像射影手段２５２の詳細な構成について説明する。
残差映像射影手段２５２は、図８に示すように、指定視点映像射影手段２５２ａと、残差映像画素複写手段２５２ｂと、穴埋め処理手段２５２ｃと、を有して構成されている。
【０２０３】
指定視点映像射影手段２５２ａは、残差映像復号化手段２４から左残差映像Ｌ’ｖを、奥行マップ射影手段２３から左指定視点奥行マップＰｄを、それぞれ入力し、左残差映像Ｌ’ｖを左指定視点Ｐｔに射影した映像である左指定視点射影残差映像ＰＬｖを生成し、残差映像画素複写手段２５２ｂに出力する。
【０２０４】
図５（ａ）に示したように、基準視点から左視点までの距離をｂ、左視点から左指定視点までの距離をｄとする。このとき、指定視点映像射影手段２５２ａは、左指定視点奥行マップＰｄの各画素について、その画素位置における奥行値を（ｄ／ｂ）倍した値に対応する画素数だけ右方向にシフトした位置における画素を、左残差映像Ｌ’ｖから抽出し、抽出した画素値を、参照した奥行値の画素位置における画素値とすることによって、左指定視点射影残差映像ＰＬｖを生成する。
【０２０５】
残差映像画素複写手段２５２ｂは、基準視点映像射影手段２５１のメディアンフィルタ２５１ｄから左指定視点映像ＰＣを、穴マスク膨張手段２５１ｅから穴マスクＰｈを、指定視点映像射影手段２５２ａから左指定視点射影残差映像ＰＬｖを、それぞれ入力し、これらの入力データから、オクルージョンホールとなった画素について、左指定視点射影残差映像ＰＬｖから画素値を抽出して、左指定視点映像ＰＣに複写し、左指定視点Ｐｔにおける映像である左指定視点映像Ｐ１を生成するものである。残差映像画素複写手段２５２ｂは、生成した左指定視点映像Ｐ１を穴埋め処理手段２５２ｃに出力する。
【０２０６】
穴埋め処理手段２５２ｃは、残差映像画素複写手段２５２ｂから左指定視点映像Ｐ１を入力し、この左指定視点映像Ｐ１において、基準視点映像画素複写手段２５１ｃ及び残差映像画素複写手段２５２ｂによって、有効な画素が複写されなかった画素について適切な画素値を設定することで左指定視点映像Ｐを生成し、多視点映像における１つの映像として立体映像表示装置４（図１参照）に出力する。
【０２０７】
穴埋め処理手段２５２ｃは、左指定視点映像Ｐ１の各画素の画素値を調べ、基準視点映像画素複写手段２５１ｃによって初期値として設定した画素値に一致する画素及び画素値が所定の範囲内で初期値と一致する画素を検出し、かかる画素領域であることを示す穴マスクを生成する。ここで、画素値が所定の範囲内で初期値と一致するとは、例えば、各成分の初期値を「１２８」とした場合に、それぞれの成分の値が、１２７から１２９の間の値となることである。これによって、符号化処理などでかかる画素値が初期値から僅かに変化した場合でも、適切に検出することができる。
【０２０８】
穴埋め処理手段２５２ｃは、生成した穴マスクに示された画素領域を、所定の画素数だけ膨張させる。ここで、所定の画素数とは、例えば、１画素とすることができる。穴埋め処理手段２５２ｃは、膨張後のこの画素領域の画素について、その画素の周囲の有効な画素の有効な画素値によって補間することで、左指定視点映像Ｐ１の穴となる画素の適切な画素値を設定する。
【０２０９】
このように、穴マスクに示された画素領域を膨張させて穴埋めを行うことで、左残差映像Ｌ’ｖに含まれなかった画素について、周辺の画素と違和感がないように画素値を設定することができる。また、メディアンフィルタ２５１ｄによるメディアンフィルタ処理によって穴マスクＰ１ｈの画素にずれが発生した場合でも、適切に穴マスクの画素領域となる画素の穴埋めを行うことができる。
【０２１０】
なお、膨張させる画素数として、１画素よりも大きな画素数を設定することにより、より周辺の画素と違和感が少なく穴埋めを行うことができる。この場合は、生成される左指定視点映像Ｐにおける解像度が低下するが、奥行マップの非可逆な符号化・復号化による誤差を吸収して、周辺画素との違和感の少ない穴埋めをすることができる。また、この符号化・復号化による誤差を良好に吸収するために、符号化における圧縮率の大きさに応じて、圧縮率が高いほど膨張させる画素数を大きくするようにしてもよい。
【０２１１】
［立体映像符号化装置の動作］
次に、図１０を参照（適宜図１及び図２参照）して、第１実施形態に係る立体映像符号化装置１の動作について説明する。
【０２１２】
（基準視点映像符号化処理）
符号化装置１は、まず、基準視点映像符号化手段１１によって、外部から入力した基準視点映像Ｃを、所定の符号化方式で符号化して符号化基準視点映像ｃを生成し、基準視点映像ビットストリームとして出力する（ステップＳ１１）。
【０２１３】
（奥行マップ合成処理（中間視点奥行マップ合成処理））
次に、符号化装置１は、奥行マップ合成手段１２によって、外部から入力した基準視点奥行マップＣｄ及び左視点奥行マップＬｄを用いて、基準視点と左視点との中間の視点である中間視点における奥行マップである左合成奥行マップＭｄを合成する（ステップＳ１２）。
【０２１４】
（奥行マップ符号化処理）
次に、符号化装置１は、奥行マップ符号化手段１３によって、ステップＳ１２で合成した左合成奥行マップＭｄを、所定の符号化方式で符号化して符号化奥行マップｍｄを生成し、奥行マップビットストリームとして出力する（ステップＳ１３）。
【０２１５】
（奥行マップ復号化処理）
次に、符号化装置１は、奥行マップ復号化手段１４によって、ステップＳ１３で生成した符号化奥行マップｍｄを復号化して復号化左合成奥行マップＭ’ｄを生成する（ステップＳ１４）。
【０２１６】
（射影映像予測処理）
次に、符号化装置１は、射影映像予測手段１５によって、ステップＳ１４で生成した復号化左合成奥行マップＭ’ｄと、外部から入力した左視点映像Ｌとを用いて、左残差映像Ｌｖを生成する（ステップＳ１５）。
【０２１７】
なお、このステップＳ１５において、符号化装置１は、オクルージョンホール検出手段１５１によって、復号化左合成奥行マップＭ’ｄを用いて、オクルージョンホールとなる画素を検出する（オクルージョンホール検出処理）。そして、符号化装置１は、残差映像切出手段１５２によって、左視点映像Ｌからオクルージョンホール検出手段１５１が検出した画素領域の画素を抽出して（切出して）、左残差映像Ｌｖを生成する（残差映像切出処理）。
【０２１８】
（残差映像符号化処理）
次に、符号化装置１は、残差映像符号化手段１６によって、ステップＳ１５で生成した左残差映像Ｌｖを、所定の符号化方式で符号化して符号化残差映像ｌｖを生成し、残差映像ビットストリームとして出力する（ステップＳ１６）。
【０２１９】
［立体映像復号化装置の動作］
次に、図１１を参照（適宜図１及び図７参照）して、第１実施形態に係る立体映像復号化装置２の動作について説明する。
【０２２０】
（基準視点映像復号化処理）
復号化装置２は、まず、基準視点映像復号化手段２１によって、基準視点映像ビットストリームを復号化して、基準視点映像Ｃ’を生成し、多視点映像の１つの映像として出力する（ステップＳ２１）。
【０２２１】
（奥行マップ復号化処理）
次に、復号化装置２は、奥行マップ復号化手段２２によって、奥行マップビットストリームを復号化して、復号化左合成奥行マップＭ’ｄを生成する（ステップＳ２２）。
【０２２２】
（奥行マップ射影処理）
次に、復号化装置２は、奥行マップ射影手段２３によって、ステップＳ２２で生成した復号化左合成奥行マップＭ’ｄを左指定視点Ｐｔに射影して、左指定視点Ｐｔにおける奥行マップである左指定視点奥行マップＰｄを生成する（ステップＳ２３）。
【０２２３】
（残差映像復号化処理）
次に、復号化装置２は、残差映像復号化手段２４によって、残差映像ビットストリームを復号化して、左残差映像Ｌ’ｖを生成する（ステップＳ２４）。
【０２２４】
（射影映像合成処理）
次に、復号化装置２は、射影映像合成手段２５によって、ステップＳ２３で生成した左指定視点奥行マップＰｄを用いて、ステップＳ２１で生成した基準視点映像Ｃ’と、ステップＳ２４で生成した左残差映像Ｌ’ｖとを、それぞれ左指定視点Ｐｔに射影した映像を合成して、左指定視点Ｐｔにおける映像である左指定視点映像Ｐを生成する（ステップＳ２５）。
【０２２５】
なお、ステップＳ２５において、復号化装置２は、まず、基準視点映像射影手段２５１によって、左指定視点奥行マップＰｄを用いて、基準視点映像Ｃ’を左指定視点Ｐｔに射影したときに、射影できない画素領域であるオクルージョンホールとなる画素を検出し、オクルージョンホールとならない画素領域について、基準視点映像Ｃ’を左指定視点Ｐｔに射影した映像の画素を、左指定視点映像の画素として複写する。
【０２２６】
次に、復号化装置２は、残差映像射影手段２５２によって、オクルージョンホールとなる画素領域について、左指定視点奥行マップＰｄを用いて左残差映像Ｌ’ｖを左指定視点Ｐｔに射影した映像の画素を、左指定視点映像の画素として複写する。これによって、左指定視点映像Ｐが完成する。
【０２２７】
以上説明したように、第１実施形態に係る符号化装置１は、基準視点映像Ｃと、基準視点と左視点との中間の視点である中間視点における奥行マップである左合成奥行マップＭｄと、基準視点映像Ｃから他の視点に射影したときにオクルージョンホールとなる画素領域からなる左残差映像Ｌｖとを符号化して、ビットストリームとして伝送するようにしたため、高い符号化効率で符号化することができる。また、第１実施形態に係る復号化装置２は、その符号化装置１から伝送されてくるこれらの符号化データを復号化し、多視点映像を生成することができる。
【０２２８】
＜第２実施形態＞
次に、本発明の第２実施形態に係る立体映像符号化装置及び立体映像復号化装置を含んだ立体映像伝送システムの構成について説明する。
第２実施形態に係る立体映像符号化装置及び立体映像復号化装置を含んだ立体映像伝送システムは、図１に示した立体映像伝送システムＳにおいて、立体映像符号化装置１及び立体映像復号化装置２に代えて、それぞれ立体映像符号化装置１Ａ（図１２参照）及び立体映像復号化装置２Ａ（図１４参照）を含むこと以外は同様であるから、詳細な説明は省略する。
【０２２９】
［立体映像符号化装置の構成］
次に、図１２及び図１３を参照して、第２実施形態に係る立体映像符号化装置１Ａの構成について説明する。
図１２に示すように、第２実施形態に係る立体映像符号化装置１Ａ（以下、適宜に「符号化装置」と呼ぶ）は、基準視点映像符号化手段１１と、奥行マップ合成手段１２Ａと、奥行マップ符号化手段１３Ａと、奥行マップ復号化手段１４Ａと、射影映像予測手段１５Ａと、残差映像符号化手段１６Ａと、奥行マップフレーム化手段１７と、奥行マップ分離手段１８と、残差映像フレーム化手段１９と、を備えている。
【０２３０】
また、第２実施形態に係る符号化装置１Ａは、基準視点における映像である基準視点映像Ｃ及び左視点における映像である左視点映像（副視点映像）Ｌ、並びにこれらの付随する奥行マップである基準視点奥行マップＣｄ及び左視点奥行マップ（副視点奥行マップ）Ｌｄに加えて、右視点における映像である右視点映像（副視点映像）Ｒ及びこれに付随する奥行マップである右視点奥行（副視点奥行マップ）マップＲｄを入力することが、第１実施形態に係る符号化装置１（図２参照）と異なる。すなわち、第２実施形態に係る符号化装置１Ａは、複数系統（２系統）の立体映像を符号化するものである。
【０２３１】
第２実施形態に係る符号化装置１Ａは、第１実施形態に係る符号化装置１（図２参照）と同様に、基準視点映像Ｃ、左視点映像Ｌ、基準視点奥行マップＣｄ及び左視点奥行マップＬｄを用いて、基準視点と左視点との中間視点である左中間視点における奥行マップである左合成奥行マップ（中間視点奥行マップ）Ｍｄと、左残差映像（残差映像）Ｌｖとを生成する。符号化装置１Ａは、このほかに更に、基準視点映像Ｃ、右視点映像Ｒ、基準視点奥行マップＣｄ及び右視点奥行マップ（副視点奥行マップ）Ｒｄを用いて、基準視点と右視点との中間視点である右中間視点における奥行マップである右合成奥行マップ（中間視点奥行マップ）Ｎｄと、右残差映像Ｒｖとを生成する。
【０２３２】
そして、符号化装置１Ａは、左合成奥行マップＭｄ及び右合成奥行マップＮｄ、並びに左残差映像Ｌｖ及び右残差映像Ｒｖを、それぞれ縮小して結合することにより１つの画像にフレーム化し、それぞれ所定の符号化方式で符号化して、奥行マップビットストリーム及び残差映像ビットストリームとして出力するものである。なお、基準視点映像Ｃについては、第１実施形態に係る符号化装置１（図２参照）と同様に、所定の符号化方式で符号化して、基準視点映像ビットストリームとして出力する。
【０２３３】
なお、基準視点及び右視点における映像及び奥行マップから、右合成奥行マップＮｄ及び右残差映像Ｒｖを生成する方法は、基準視点及び左視点における映像及び奥行マップから、左合成奥行マップＭｄ及び左残差映像Ｌｖを生成する方法において、左右の位置関係を入れ替えるものであるから、詳細な説明は適宜省略する。また、第１実施形態と同様の構成要素については、説明を適宜省略する。
【０２３４】
以下、符号化装置１Ａの構成要素について、図１３に示した映像及び奥行マップの例を参照しながら説明する。なお、第２実施形態では、被写体に向かって３つの視点が水平方向に延伸する直線上に等間隔に離れた位置に設定されている。また、中央の視点を基準視点とし、左側の視点である左視点と、右側の視点である右視点とを副視点とするものである。但し、これに限定されるものではなく、３つの視点は異なる間隔で配置されてもよく、また、基準視点と副視点とは、水平方向に離れる場合に限定されず、垂直方向や斜め方向など、任意の方向に離れていてもよい。
【０２３５】
また、説明を簡単にするため、図１３においては、図４に示した例と同様に、基準視点映像Ｃ、左視点映像Ｌ及び右視点映像Ｒなどに示すように、各映像は、円形の前景にある被写体と、その他の背景となる被写体とから構成されているものとする。
【０２３６】
図１２に示した基準視点映像符号化手段１１は、図２に示した基準視点映像符号化手段１１と同様であるので説明は省略する。
【０２３７】
奥行マップ合成手段（中間視点奥行マップ合成手段）１２Ａは、左奥行マップ合成手段１２Ｌ及び右奥行マップ合成手段１２Ｒを備え、それぞれ基準視点と左視点との中間視点である左中間視点における奥行マップである左合成奥行マップＭｄ及び基準視点と右視点との中間視点である右中間視点における奥行マップである右合成奥行マップＮｄを合成する。奥行マップ合成手段１２Ａは、合成した左合成奥行マップＭｄ及び右合成奥行マップＮｄを、それぞれ奥行マップフレーム化手段１７の縮小手段１７ａ及び縮小手段１７ｂに出力する。
【０２３８】
なお、左奥行マップ合成手段１２Ｌは、図２に示した奥行マップ合成手段１２と同様の構成である。また、右奥行マップ合成手段１２Ｒは、左視点奥行マップＬｄに代えて、右視点奥行マップＲｄを入力し、図５（ｂ）に示したように、基準視点奥行マップＣｄとの間の左右の位置関係が逆になること以外は、左奥行マップ合成手段１２Ｌと同様であるので、詳細な説明は省略する。
【０２３９】
奥行マップフレーム化手段１７は、左奥行マップ合成手段１２Ｌ及び右奥行マップ合成手段１２Ｒから入力した左合成奥行マップＭｄ及び右合成奥行マップＮｄを１つの画像にフレーム化して、フレーム化奥行マップＦｄを生成し、生成したフレーム化奥行マップＦｄを奥行マップ符号化手段１３Ａに出力する。このために、奥行マップフレーム化手段１７は、縮小手段１７ａ，１７ｂと結合手段１７ｃとを有して構成されている。
【０２４０】
縮小手段１７ａ及び縮小手段１７ｂは、それぞれ左奥行マップ合成手段１２Ｌ及び右奥行マップ合成手段１２Ｒから、左合成奥行マップＭｄ及び右合成奥行マップＮｄをそれぞれ入力し、それぞれが入力した奥行マップを縦方向に間引きすることで縮小し、高さ（縦方向の画素数）が１／２となった、左縮小合成奥行マップＭ２ｄ及び右縮小合成奥行マップＮ２ｄを生成し、結合手段１７ｃに出力する。
【０２４１】
なお、縮小手段１７ａ及び縮小手段１７ｂは、それぞれ対応する奥行マップの高さを１／２にする際には、低域通過フィルタによるフィルタ処理を施してから、１ライン置きにデータを間引きするようにするのが好ましい。これによって、間引きによる高域成分の折り返し歪みの発生を防止することができる。
【０２４２】
結合手段１７ｃは、縮小手段１７ａ及び縮小手段１７ｂから、それぞれ左縮小合成奥行マップＭ２ｄ及び右縮小合成奥行マップＮ２ｄを入力し、２つの奥行マップを縦方向に結合して、縮小前の奥行マップと同じ高さの奥行マップとなるフレーム化奥行マップＦｄを生成する。結合手段１７ｃは、生成したフレーム化奥行マップＦｄを、奥行マップ符号化手段１３Ａに出力する。
【０２４３】
奥行マップ符号化手段１３Ａは、奥行マップフレーム化手段１７の結合手段１７ｃからフレーム化奥行マップＦｄを入力し、このフレーム化奥行マップＦｄを所定の符号化方式で符号化して符号化奥行マップｆｄを生成し、奥行マップビットストリームとして伝送路に出力する。
【０２４４】
奥行マップ符号化手段１３Ａは、図２に示した奥行マップ符号化手段１３において、符号化する奥行マップが、単一の奥行マップに代えて、フレーム化された奥行マップであること以外は同様であるから、詳細な説明は省略する。
【０２４５】
奥行マップ復号化手段１４Ａは、奥行マップ符号化手段１３Ａによって生成された符号化奥行マップｆｄである奥行マップビットストリームを、その符号化方式に基づいて復号化し、フレーム化されている奥行マップであるフレーム化奥行マップ（復号化フレーム化奥行マップ）Ｆ’ｄを生成する。奥行マップ復号化手段１４Ａは、生成したフレーム化奥行マップＦ’ｄを奥行マップ分離手段１８の分離手段１８ａに出力する。
【０２４６】
奥行マップ復号化手段１４Ａは、図２に示した奥行マップ復号化手段１４において、復号化する奥行マップが、単一の奥行マップに代えて、フレーム化されている奥行マップであること以外は同様であるから、詳細な説明は省略する。
【０２４７】
奥行マップ分離手段１８は、奥行マップ復号化手段１４Ａから復号化されたフレーム化奥行マップＦ’ｄを入力し、フレーム化されている２つの縮小奥行マップである復号化左縮小合成奥行マップＭ２’ｄ及び復号化右縮小合成奥行マップＮ２’ｄを分離し、元の高さに拡大して復号化左合成奥行マップ（復号化中間視点奥行マップ）Ｍ’ｄ及び復号化右合成奥行マップ（復号化中間視点奥行マップ）Ｎ’ｄを生成し、それぞれ射影映像予測手段１５Ａの左射影映像予測手段１５Ｌ及び右射影映像予測手段１５Ｒに出力する。このために、奥行マップ分離手段１８は、分離手段１８ａと、拡大手段１８ｂ，１８ｃとを有して構成されている。
【０２４８】
分離手段１８ａは、奥行マップ復号化手段１４Ａから、フレーム化奥行マップＦ’ｄを入力し、フレーム化されている復号化左縮小合成奥行マップＭ２’ｄ及び復号化右縮小合成奥行マップＮ２’ｄを分離して、それぞれ拡大手段１８ｂ及び拡大手段１８ｃに出力する。
【０２４９】
拡大手段１８ｂ及び拡大手段１８ｃは、分離手段１８ａから、それぞれ復号化左縮小合成奥行マップＭ２’ｄ及び復号化右縮小合成奥行マップＮ２’ｄを入力し、高さをそれぞれ２倍に拡大して、元の高さの奥行マップである復号化左合成奥行マップＭ’ｄ及び復号化右合成奥行マップＮ’ｄを生成する。拡大手段１８ｂ及び拡大手段１８ｃは、生成した復号化左合成奥行マップＭ’ｄ及び復号化右合成奥行マップＮ’ｄを、それぞれ左射影映像予測手段１５Ｌ及び右射影映像予測手段１５Ｒに出力する。
【０２５０】
なお、縮小された奥行マップの拡大は、各ラインについて、同じラインデータを複製して挿入する単純拡大でもよいが、１ラインごとに挿入される画素の値を、周辺の画素の値にバイキュービックフィルタを掛けて滑らかにつながるように補間すると、縮小された際の画素間引き効果が補正されて好ましい。
【０２５１】
射影映像予測手段１５Ａは、奥行マップ分離手段１８の拡大手段１８ｂ及び拡大手段１８ｃから入力した復号化左合成奥行マップＭ’ｄ及び復号化右合成奥行マップＮ’ｄを用いて、基準視点映像Ｃを、それぞれ左視点など及び右視点などに射影したときにオクルージョンホールとなる画素領域における画素を左視点映像Ｌ及び右視点映像Ｒから抽出して、左残差映像（残差映像）Ｌｖ及び右残差映像（残差映像）Ｒｖを生成するものである。射影映像予測手段１５Ａは、生成した左残差映像Ｌｖ及び右残差映像Ｒｖを、それぞれ残差映像フレーム化手段１９の縮小手段１９ａ及び縮小手段１９ｂに出力する。
【０２５２】
左射影映像予測手段１５Ｌは、基準視点映像Ｃ、左視点映像Ｌ及び左指定視点Ｐｔを外部から入力するとともに、拡大手段１８ｂから復号化された復号化左合成奥行マップＭ’ｄを入力し、左残差映像Ｌｖを生成して、生成した左残差映像Ｌｖを残差映像フレーム化手段１９の縮小手段１９ａに出力する。また、左射影映像予測手段１５Ｌは、図２に示した射影映像予測手段１５と、データの入出力先が異なる以外は、同様の構成であるので、詳細な説明は省略する。なお、図１２に示した例では、外部から入力する左指定視点Ｐｔを１つとしたが、図２に示した例のように、複数の左指定視点Ｐｔを入力するようにしてもよい。
【０２５３】
また、右射影映像予測手段１５Ｒは、左射影映像予測手段１５Ｌにおいて、左視点映像Ｌ、復号化左合成奥行マップＭ’ｄ及び左指定視点Ｐｔに代えて、それぞれ右視点映像Ｒ、復号化右合成奥行マップＮ’ｄ及び右指定視点Ｑｔを入力し、左残差映像Ｌｖに代えて右残差映像Ｒｖを出力することと、基準視点映像Ｃなどと、奥行マップとの左右の位置関係が逆になること以外は、同様の構成であるから、詳細な説明は省略する。
【０２５４】
残差映像フレーム化手段１９は、左射影映像予測手段１５Ｌ及び右射影映像予測手段１５Ｒから入力した左残差映像Ｌｖ及び右残差映像Ｒｖを１つの画像にフレーム化して、フレーム化残差映像Ｆｖを生成し、生成したフレーム化残差映像Ｆｖを残差映像符号化手段１６Ａに出力する。このために、残差映像フレーム化手段１９は、縮小手段１９ａ，１９ｂと結合手段１９ｃとを有して構成されている。
【０２５５】
縮小手段１９ａ及び縮小手段１９ｂは、それぞれ左射影映像予測手段１５Ｌ及び右射影映像予測手段１５Ｒから、左残差映像Ｌｖ及び右残差映像Ｒｖを、それぞれ入力し、入力した残差映像を縦方向に画素間引きすることで縮小し、高さ（縦方向の画素数）が１／２となった、左縮小残差映像Ｌ２ｖ及び右縮小残差映像Ｒ２ｖを生成し、結合手段１９ｃに出力する。
なお、縮小手段１９ａ及び縮小手段１９ｂは、縮小手段１７ａ及び縮小手段１７ｂと同様の構成であるから、詳細な説明は省略する。
【０２５６】
結合手段１９ｃは、縮小手段１９ａ及び縮小手段１９ｂから、それぞれ左縮小残差映像Ｌ２ｖ及び右縮小残差映像Ｒ２ｖを入力し、２つの残差映像を縦方向に結合して、縮小前の１つの残差映像と同じ高さの残差映像となるフレーム化残差映像Ｆｖを生成する。結合手段１９ｃは、生成したフレーム化残差映像Ｆｖを、残差映像符号化手段１６Ａに出力する。
【０２５７】
残差映像符号化手段１６Ａは、残差映像フレーム化手段１９の結合手段１９ｃからフレーム化残差映像Ｆｖを入力し、このフレーム化残差映像Ｆｖを所定の符号化方式で符号化して符号化残差映像ｆｖを生成し、残差映像ビットストリームとして伝送路に出力する。
【０２５８】
残差映像符号化手段１６Ａは、図２に示した残差映像符号化手段１６において、符号化する残差映像が、単一の残差映像に代えて、フレーム化された残差映像であること以外は同様であるから、詳細な説明は省略する。
【０２５９】
［立体映像復号化装置の構成］
次に、図１４及び図１５を参照して、第２実施形態に係る立体映像復号化装置２Ａの構成について説明する。立体映像復号化装置２Ａは、図１２に示した立体映像符号化装置１Ａから伝送路を介して伝送されるビットストリームを復号化して、多視点映像を生成するものである。
【０２６０】
図１４に示すように、第２実施形態に係る立体映像復号化装置２Ａ（以下、適宜に「復号化装置」と呼ぶ）は、基準視点映像復号化手段２１と、奥行マップ復号化手段２２Ａと、奥行マップ射影手段２３Ａと、残差映像復号化手段２４Ａと、射影映像合成手段２５Ａと、奥行マップ分離手段２６と、残差映像分離手段２７と、を備えている。
【０２６１】
また、第２実施形態に係る復号化装置２Ａは、奥行マップビットストリーム及び残差映像ビットストリームとして、複数系統（２系統）の奥行マップ及び残差映像がそれぞれフレーム化された符号化奥行マップｆｄ及び符号化残差映像ｆｖを入力し、フレーム化された奥行マップ及び残差映像を分離して、複数系統の指定視点映像として、左指定視点映像Ｐ及び右指定視点映像Ｑを生成することが、第１実施形態に係る復号化装置２（図７参照）と異なる。
【０２６２】
基準視点映像復号化手段２１は、図７に示した基準視点映像復号化手段２１と同様であるから説明は省略する。
【０２６３】
奥行マップ復号化手段２２Ａは、奥行ビットストリームを復号化して、フレーム化奥行マップ（復号化フレーム化奥行マップ）Ｆ’ｄを生成し、奥行マップ分離手段２６の分離手段２６ａに出力する。
奥行マップ復号化手段２２Ａは、符号化装置１Ａにおける奥行マップ復号化手段１４Ａ（図１２参照）と同様の構成であるので、詳細な説明は省略する。
【０２６４】
奥行マップ分離手段２６は、奥行マップ復号化手段２２Ａから復号化されたフレーム化奥行マップＦ’ｄを入力し、フレーム化されている２つの縮小奥行マップである復号化左縮小合成奥行マップＭ２’ｄ及び復号化右縮小合成奥行マップＮ２’ｄを分離し、元の高さに拡大して復号化左合成奥行マップＭ’ｄ及び復号化右合成奥行マップＮ’ｄを生成する。奥行マップ分離手段２６は、生成した復号化左合成奥行マップＭ’ｄ及び復号化右合成奥行マップＮ’ｄを、それぞれ奥行マップ射影手段２３Ａの左奥行マップ射影手段２３Ｌ及び右奥行マップ射影手段２３Ｒに出力する。このために、奥行マップ分離手段２６は、分離手段２６ａと拡大手段２６ｂ，２６ｃとを有して構成されている。
【０２６５】
なお、奥行マップ分離手段２６は、図１２に示した符号化装置１Ａにおける奥行マップ分離手段１８と同様の構成であるので、詳細な説明は省略する。なお、分離手段２６ａ、拡大手段２６ｂ及び拡大手段２６ｃは、それぞれ図１２に示した分離手段１８ａ、拡大手段１８ｂ及び拡大手段１８ｃに対応する。
【０２６６】
奥行マップ射影手段２３Ａは、左奥行マップ射影手段２３Ｌ及び右奥行マップ射影手段２３Ｒを有して構成され、左右２系統の中間視点における奥行マップを、それぞれの系統の指定視点である左指定視点Ｐｔ及び右指定視点Ｑｔに射影して、それぞれの指定視点における奥行マップである左指定視点奥行マップＰｄ及び右指定視点奥行マップＱｄを生成する。奥行マップ射影手段２３Ａは、生成した左指定視点奥行マップＰｄ及び右指定視点奥行マップＱｄを、それぞれ射影映像合成手段２５Ａの左射影映像合成手段２５Ｌ及び右射影映像合成手段２５Ｒに出力する。
【０２６７】
なお、左指定視点（指定視点）Ｐｔ及び右指定視点（指定視点）Ｑｔは、復号化装置２Ａで生成する多視点映像における左指定視点及び右指定視点であり、復号化装置２Ａにおいて予め定められた設定手段（不図示）から入力してもよく、外部からキーボードなどの入力手段を介したユーザの操作によって入力されるようにしてもよい。また、左指定視点Ｐｔ及び右指定視点Ｑｔは、それぞれ１つでも、２以上であってもよい。左指定視点Ｐｔ及び右指定視点Ｑｔが２以上の場合は、それぞれ左指定視点Ｐｔ及び右指定視点Ｑｔごとに、順次に、それぞれの指定視点における左指定視点奥行マップＰｄ及び右指定視点奥行マップＱｄを生成して、順次に射影映像合成手段２５Ａの左射影映像合成手段２５Ｌ及び右射影映像合成手段２５Ｒに出力するものとする。
【０２６８】
左奥行マップ射影手段２３Ｌは、拡大手段２６ｂから復号化された奥行マップである復号化左合成奥行マップＭ’ｄを入力し、この復号化左合成奥行マップＭ’ｄを左指定視点Ｐｔに射影して、左指定視点Ｐｔにおける左指定視点奥行マップ（指定視点奥行マップ）Ｐｄを生成する。左奥行マップ射影手段２３Ｌは、生成した左指定視点奥行マップＰｄを左射影映像合成手段２５Ｌに出力する。
【０２６９】
また、右奥行マップ射影手段２３Ｒは、拡大手段２６ｃから復号化された奥行マップである復号化右合成奥行マップＮ’ｄを入力し、この復号化右合成奥行マップＮ’ｄを右指定視点Ｑｔに射影して、右指定視点Ｑｔにおける右指定視点奥行マップ（指定視点奥行マップ）Ｑｄを生成する。右奥行マップ射影手段２３Ｒは、生成した右指定視点奥行マップＱｄを右射影映像合成手段２５Ｒに出力する。
【０２７０】
なお、左奥行マップ射影手段２３Ｌは、図７に示した奥行マップ射影手段２３と同様の構成であるから、詳細な説明は省略する。また、右奥行マップ射影手段２３Ｒは、左奥行マップ射影手段２３Ｌとは、基準視点との左右の位置関係が逆であること以外は同様の構成であるから、詳細な説明は省略する。
【０２７１】
残差映像復号化手段２４Ａは、残差映像ビットストリームを復号化して、フレーム化残差映像（復号化フレーム化残差映像）Ｆ’ｖを生成し、残差映像分離手段２７の分離手段２７ａに出力する。
残差映像復号化手段２４Ａは、復号化装置２における残差映像復号化手段２４（図７参照）と、復号化する対象が単一の残差映像かフレーム化された残差映像かが異なるだけで、同様の構成であるので、詳細な説明は省略する。
【０２７２】
残差映像分離手段２７は、残差映像復号化手段２４Ａから復号化されたフレーム化残差映像Ｆ’ｖを入力し、フレーム化されている２つの縮小残差映像である左縮小残差映像Ｌ２’ｖ及び右縮小残差映像Ｒ２’ｖを分離し、元の高さに拡大して左残差映像（復号化残差映像）Ｌ’ｖ及び右残差映像（復号化残差映像）Ｒ’ｖを生成する。残差映像分離手段２７は、生成した左残差映像Ｌ’ｖ及び右残差映像Ｒ’ｖを、それぞれ射影映像合成手段２５Ａの左射影映像合成手段２５Ｌ及び右射影映像合成手段２５Ｒに出力する。このために、残差映像分離手段２７は、分離手段２７ａと拡大手段２７ｂ，２７ｃとを有して構成されている。
【０２７３】
なお、残差映像分離手段２７は、分離する対象が残差映像か奥行マップかが異なるだけで、奥行マップ分離手段２６と同様の構成であるので、詳細な説明は省略する。なお、分離手段２７ａ、拡大手段２７ｂ及び拡大手段２７ｃは、それぞれ分離手段２６ａ、拡大手段２６ｂ及び拡大手段２６ｃに対応する。
【０２７４】
射影映像合成手段２５Ａは、基準視点映像復号化手段２１から入力した基準視点映像Ｃ’と、残差映像分離手段２７から入力した左右２系統の残差映像である左残差映像Ｌ’ｖ及び右残差映像Ｒ’ｖと、奥行マップ射影手段２３Ａから入力した左右２系統の奥行マップである左指定視点奥行マップＰｄ及び右指定視点奥行マップＱｄとから、左右２系統の指定視点である左指定視点Ｐｔ及び右指定視点Ｑｔにおける指定視点映像である左指定視点映像Ｐ及び右指定視点映像Ｑを生成するものである。このために、射影映像合成手段２５Ａは、左射影映像合成手段２５Ｌ及び右射影映像合成手段２５Ｒを有して構成されている。
【０２７５】
左射影映像合成手段２５Ｌは、基準視点映像復号化手段２１から基準視点映像Ｃ’を、残差映像分離手段２７の拡大手段２７ｂから左残差映像Ｌ’ｖを、奥行マップ射影手段２３Ａの左奥行マップ射影手段２３Ｌから左指定視点奥行マップＰｄを、それぞれ入力し、左指定視点映像Ｐを生成する。
【０２７６】
また、右射影映像合成手段２５Ｒは、基準視点映像復号化手段２１から基準視点映像Ｃ’を、残差映像分離手段２７の拡大手段２７ｃから右残差映像Ｒ’ｖを、奥行マップ射影手段２３Ａの右奥行マップ射影手段２３Ｒから右指定視点奥行マップＱｄを、それぞれ入力し、右指定視点映像Ｑを生成する。
【０２７７】
なお、左射影映像合成手段２５Ｌは、図７に示した復号化装置２における射影映像合成手段２５と同様の構成であるから、詳細な説明は省略する。
また、右射影映像合成手段２５Ｒは、左射影映像合成手段２５Ｌとは、基準視点との左右の位置関係が逆であること以外は同様の構成であるから、詳細な説明は省略する。
【０２７８】
以上説明したように、第２実施形態に係る符号化装置１Ａは、複数の系統の立体映像について、奥行マップと残差映像とを、それぞれフレーム化して符号化し、ビットストリームとして出力するため、高い符号化効率で立体映像を符号化することができる。
また、復号化装置２Ａは、その符号化装置１Ａで符号化した立体映像を復号化して、多視点映像を生成することができる。
【０２７９】
［立体映像符号化装置の動作］
次に、図１６を参照（適宜図１２及び図１３参照）して、第２実施形態に係る立体映像符号化装置１Ａの動作について説明する。
【０２８０】
（基準視点映像符号化処理）
符号化装置１Ａは、まず、基準視点映像符号化手段１１によって、外部から入力した基準視点映像Ｃを、所定の符号化方式で符号化して符号化基準視点映像ｃを生成し、基準視点映像ビットストリームとして出力する（ステップＳ３１）。
【０２８１】
（奥行マップ合成処理（中間視点奥行マップ合成処理））
次に、符号化装置１Ａは、奥行マップ合成手段１２Ａによって、外部から入力した基準視点奥行マップＣｄ及び左視点奥行マップＬｄを用いて、基準視点と左視点との中間の視点である左中間視点における奥行マップである左合成奥行マップＭｄを合成するとともに、外部から入力した基準視点奥行マップＣｄ及び右視点奥行マップＲｄを用いて、基準視点と右視点との中間の視点である右中間視点における奥行マップである右合成奥行マップＮｄを合成する（ステップＳ３２）。
【０２８２】
（奥行マップフレーム化処理）
次に、符号化装置１Ａは、奥行マップフレーム化手段１７によって、ステップＳ３２で合成した２つの奥行マップである左合成奥行マップＭｄ及び右合成奥行マップＮｄを縮小して結合することで、１つの画像にフレーム化してフレーム化奥行マップＦｄを生成する（ステップＳ３３）。
【０２８３】
（奥行マップ符号化処理）
次に、符号化装置１Ａは、奥行マップ符号化手段１３Ａによって、ステップＳ３３で生成したフレーム化奥行マップＦｄを、所定の符号化方式で符号化して符号化奥行マップｆｄを生成し、奥行マップビットストリームとして出力する（ステップＳ３４）。
【０２８４】
（奥行マップ復号化処理）
次に、符号化装置１Ａは、奥行マップ復号化手段１４Ａによって、ステップＳ３４で生成した符号化奥行マップｆｄを復号化してフレーム化奥行マップＦ’ｄを生成する（ステップＳ３５）。
【０２８５】
（奥行マップ分離処理）
次に、符号化装置１Ａは、奥行マップ分離手段１８によって、ステップＳ３５で生成した復号化されたフレーム化奥行マップＦ’ｄに結合されている２つの奥行マップを分離し、それぞれ元のサイズに拡大して、復号化左合成奥行マップＭ’ｄ及び復号化右合成奥行マップＮ’ｄを生成する（ステップＳ３６）。
【０２８６】
（射影映像予測処理）
次に、符号化装置１Ａは、射影映像予測手段１５Ａによって、ステップＳ３６で生成した復号化左合成奥行マップＭ’ｄと、外部から入力した左視点映像Ｌとを用いて、左残差映像Ｌｖを生成するとともに、ステップＳ３６で生成した復号化右合成奥行マップＮ’ｄと、外部から入力した右視点映像Ｒとを用いて、右残差映像Ｒｖを生成する（ステップＳ３７）。
【０２８７】
（残差映像フレーム化処理）
次に、符号化装置１Ａは、残差映像フレーム化手段１９によって、ステップＳ３７で生成した２つの残差映像である左残差映像Ｌｖ及び右残差映像Ｒｖを縮小して結合することで、１つの画像にフレーム化してフレーム化残差映像Ｆｖを生成する（ステップＳ３８）。
【０２８８】
（残差映像符号化処理）
そして、符号化装置１Ａは、残差映像符号化手段１６Ａによって、ステップＳ３８で生成したフレーム化残差映像Ｆｖを、所定の符号化方式で符号化して符号化残差映像ｆｖを生成し、残差映像ビットストリームとして出力する（ステップＳ３９）。
【０２８９】
［立体映像復号化装置の動作］
次に、図１７を参照（適宜図１４及び図１５参照）して、第２実施形態に係る立体映像復号化装置２Ａの動作について説明する。
【０２９０】
（基準視点映像復号化処理）
復号化装置２Ａは、まず、基準視点映像復号化手段２１によって、基準視点映像ビットストリームを復号化して、基準視点映像Ｃ’を生成し、多視点映像の１つの映像として出力する（ステップＳ５１）。
【０２９１】
（奥行マップ復号化処理）
次に、復号化装置２Ａは、奥行マップ復号化手段２２Ａによって、奥行マップビットストリームを復号化して、フレーム化奥行マップＦ’ｄを生成する（ステップＳ５２）。
【０２９２】
（奥行マップ分離処理）
次に、復号化装置２Ａは、奥行マップ分離手段２６によって、ステップＳ５２で生成した復号化されたフレーム化奥行マップＦ’ｄに結合されている２つの奥行マップを分離し、それぞれ元のサイズに拡大して、復号化左合成奥行マップＭ’ｄ及び復号化右合成奥行マップＮ’ｄを生成する（ステップＳ５３）。
【０２９３】
（奥行マップ射影処理）
次に、復号化装置２Ａは、奥行マップ射影手段２３Ａによって、ステップＳ５３で生成した復号化左合成奥行マップＭ’ｄを、左指定視点Ｐｔに射影して、左指定視点Ｐｔにおける奥行マップである左指定視点奥行マップＰｄを生成するとともに、ステップＳ５３で生成した復号化右合成奥行マップＮ’ｄを、右指定視点Ｑｔに射影して、右指定視点Ｑｔにおける奥行マップである右指定視点奥行マップＱｄを生成する（ステップＳ５４）。
【０２９４】
（残差映像復号化処理）
また、復号化装置２Ａは、残差映像復号化手段２４Ａによって、残差映像ビットストリームを復号化して、フレーム化残差映像Ｆ’ｖを生成する（ステップＳ５５）。
【０２９５】
（残差映像分離処理）
次に、復号化装置２Ａは、残差映像分離手段２７によって、ステップＳ５５で生成した復号化されたフレーム化残差映像Ｆ’ｖに結合されている２つの残差映像を分離し、それぞれ元のサイズに拡大して、左残差映像Ｌ’ｖ及び右残差映像Ｒ’ｖを生成する（ステップＳ５６）。
【０２９６】
（射影映像合成処理）
そして、復号化装置２Ａは、左射影映像合成手段２５Ｌによって、ステップＳ５４で生成した左指定視点奥行マップＰｄを用いて、ステップＳ５１で生成した基準視点映像Ｃ’と、ステップＳ５５で生成した左残差映像Ｌ’ｖとを、それぞれ左指定視点Ｐｔに射影した映像を合成して、左指定視点Ｐｔにおける映像である左指定視点映像Ｐを生成するとともに、右射影映像合成手段２５Ｒによって、ステップＳ５４で生成した右指定視点奥行マップＱｄを用いて、ステップＳ５１で生成した基準視点映像Ｃ’と、ステップＳ５５で生成した右残差映像Ｒ’ｖとを、それぞれ右指定視点Ｑｔに射影した映像を合成して、右指定視点Ｑｔにおける映像である右指定視点映像Ｑを生成する（ステップＳ５７）。
【０２９７】
＜第２実施形態の変形例＞
次に、本発明の第２実施形態の変形例に係る立体映像符号化装置及び立体映像復号化装置について説明する。
【０２９８】
本変形例に係る立体映像符号化装置は、図１２に示した第２実施形態に係る符号化装置１Ａの奥行マップフレーム化手段１７及び残差映像フレーム化手段１９において、奥行マップ及び残差映像を縮小する際に、図１８（ａ）及び図１８（ｂ）に示すように、横方向に画素を間引いて１／２の幅に縮小し、横方向に並べて結合して、１つの画像にフレーム化するものである。
【０２９９】
このため、変形例に係る立体映像符号化装置は、符号化装置１Ａの奥行マップ分離手段１８において、横方向に縮小して結合されたフレーム化奥行マップＦ’ｄを分離するように構成する。
【０３００】
また、本変形例に係る立体映像復号化装置は、図１４に示した第２実施形態に係る復号化装置２Ａの奥行マップ分離手段２６及び残差映像分離手段２７において、横方向に縮小して結合されたフレーム化奥行マップＦ’ｄ及びフレーム化残差映像Ｆ’ｖを分離するように構成する。
【０３０１】
本変形例に係る立体映像符号化装置及び立体映像復号化装置の構成及び動作は、奥行マップ及び残差映像を横方向に縮小結合し、また分離拡大すること以外は、第２実施形態に係る符号化装置１Ａ及び復号化装置２Ａと同様であるから、詳細な説明は省略する。
【０３０２】
また、第１実施形態、第２実施形態で用いた奥行マップは、基準視点映像Ｃなどの映像と同じ形式の画像データに、輝度成分（Ｙ）として奥行値を設定し、色差成分（Ｐｂ，Ｐｒ）には所定値を設定して取り扱ったが、輝度成分（Ｙ）のみを持つモノクロ画像データとして取り扱ってもよい。これによって、色差成分（Ｐｂ，Ｐｒ）による符号化効率の低下を完全にゼロにすることができる。
【０３０３】
＜第３実施形態＞
次に、本発明の第３実施形態に係る立体映像符号化装置及び立体映像復号化装置を含んだ立体映像伝送システムの構成について説明する。
第３実施形態に係る立体映像符号化装置及び立体映像復号化装置を含んだ立体映像伝送システムは、図１に示した立体映像伝送システムＳにおいて、立体映像符号化装置１及び立体映像復号化装置２に代えて、それぞれ立体映像符号化装置１Ｂ（図１９参照）及び立体映像復号化装置２Ｂ（図２２参照）を含むこと以外は同様であるから、詳細な説明は省略する。
【０３０４】
［立体映像符号化装置の構成］
次に、図１９及び図２０を参照して、第３実施形態に係る立体映像符号化装置１Ｂの構成について説明する。
【０３０５】
図１９に示すように、第３実施形態に係る立体映像符号化装置１Ｂ（以下、適宜に「符号化装置１Ｂ」と呼ぶ）は、基準視点映像符号化手段１１と、奥行マップ合成手段１２Ｂと、奥行マップ符号化手段１３Ｂと、射影映像予測手段１５Ｂと、残差映像符号化手段１６Ｂと、残差映像フレーム化手段１９Ｂと、奥行マップ復元手段３０と、を備えている。
【０３０６】
また、第３実施形態に係る符号化装置１Ｂは、図１２に示した第２実施形態に係る符号化装置１Ａと同様に、基準視点における映像である基準視点映像Ｃ、左視点における映像である左視点映像（副視点映像）Ｌ及び右視点における映像である右視点映像（副視点映像）Ｒ、並びにこれらの映像に付随する奥行マップである基準視点奥行マップＣｄ、左視点奥行マップ（副視点奥行マップ）Ｌｄ及び右視点奥行マップ（副視点奥行マップ）Ｒｄを入力し、それぞれ所定の符号化方式で符号化した符号化基準視点映像ｃ及び符号化残差映像ｆｖを、それぞれ基準視点映像ビットストリーム及び残差映像ビットストリームとして出力する。ここで、符号化装置１Ｂは、入力した３視点における奥行マップＣｄ，Ｌｄ，Ｒｄを、所定の１つの共通視点における奥行マップである合成奥行マップＧｄに合成して符号化し、奥行マップビットストリームとして出力することが、第２実施形態に係る符号化装置１Ａ（図１２参照）と異なる。
なお、第１実施形態又は第２実施形態と同様の構成要素については、同じ符号を付して説明を適宜省略する。
【０３０７】
以下、符号化装置１Ｂの構成要素について、図２０に示した映像及び奥行マップの例を参照しながら説明する。なお、第３実施形態では、第２実施形態と同様に、被写体に向かって３つの視点が水平方向に延伸する直線上に等間隔に離れた位置に設定されている。また、中央の視点を基準視点とし、左側の視点である左視点と、右側の視点である右視点とを副視点とするものである。但し、これに限定されるものではなく、３つの視点は異なる間隔で配置されてもよく、また、基準視点と副視点とは、水平方向に離れる場合に限定されず、垂直方向や斜め方向など、任意の方向に離れていてもよい。
【０３０８】
また、説明を簡単にするため、図２０においては、図１３に示した例と同様に、基準視点映像Ｃ、左視点映像Ｌ及び右視点映像Ｒなどに示すように、各映像は、円形の前景にある被写体と、その他の背景となる被写体とから構成されているものとする。
【０３０９】
図１９に示した基準視点映像符号化手段１１は、図２に示した基準視点映像符号化手段１１と同様であるので説明は省略する。
【０３１０】
奥行マップ合成手段１２Ｂは、左奥行マップ射影手段１２１Ｂ、右奥行マップ射影手段１２２Ｂ、マップ合成手段１２３Ｂ及び縮小手段１２４を備えて構成されている。
左奥行マップ射影手段１２１Ｂ及び右奥行マップ射影手段１２２Ｂは、それぞれ左視点奥行マップＬｄ及び右視点奥行マップＲｄを入力し、それぞれ所定の１つの共通視点に射影した奥行マップである共通視点奥行マップＣＬｄ及び共通視点奥行マップＣＲｄを生成し、マップ合成手段１２３Ｂに出力する。
【０３１１】
本例では、基準視点を共通視点とするため、左奥行マップ射影手段１２１Ｂは、左視点奥行マップＬｄを基準視点に射影するために、各画素について、各画素の奥行値に一致する画素数だけ左方向にシフトさせることで、共通視点奥行マップＣＬｄを生成する。
左視点奥行マップＬｄの射影において、複数の画素値が射影された画素がある場合は、射影された画素値の内の最大値を、その画素の奥行値とする。最大値を共通視点奥行マップＣＬｄの奥行値とすることにより、前景の被写体の奥行値が保存されるため、オクルージョン関係を正しく保って射影することができる。
また、射影されなかった画素がある場合は、その部分は、その画素の左右に近接する射影された画素の内で、小さい方の奥行値を当該画素の奥行値として穴埋めする。これによって、元の視点位置では前景に隠れて見えなかった背景の奥行値が正しく補間される。
【０３１２】
右奥行マップ射影手段１２２Ｂも同様に、右視点奥行マップＲｄを基準視点に射影するために、各画素について、各画素の奥行値に一致する画素数だけ右方向にシフトさせることで、共通視点奥行マップＣＲｄを生成する。右奥行マップ射影手段１２２Ｂについても、左奥行マップ射影手段１２１Ｂと同様に、右視点奥行マップＲｄの射影において、複数の画素値が射影された画素がある場合は、射影された画素値の内の最大値を、その画素の奥行値とする。また、射影されなかった画素がある場合は、その部分は、その画素の左右に近接する射影された画素の内で、小さい方の奥行値を当該画素の奥行値として穴埋めする。
【０３１３】
なお、本例では、外部から入力される３つの視点の重心である基準視点を共通視点としている。このため、基準視点奥行マップＣｄは、射影するする必要がない。
但し、これに限定されるものではなく、任意の視点を共通視点とすることができる。基準視点以外を共通視点とする場合は、基準視点奥行マップＣｄに代えて、基準視点奥行マップＣｄを、その共通視点に射影した奥行マップをマップ合成手段１２３Ｂに入力するように構成すればよい。また、左奥行マップ射影手段１２１Ｂ及び右奥行マップ射影手段１２２Ｂについても、基準視点から共通視点までの距離に応じて、適宜に射影時の画素のシフト量を調整するようにすればよい。
【０３１４】
マップ合成手段１２３Ｂは、左奥行マップ射影手段１２１Ｂ及び右奥行マップ射影手段１２２Ｂから、それぞれ共通視点奥行マップＣＬｄ及び共通視点奥行マップＣＲｄを入力するとともに、外部（例えば、立体映像作成装置３（図１参照））から基準視点奥行マップＣｄを入力し、これらの３つの奥行マップを１つに合成して、共通視点である基準視点における１つの合成奥行きマップＧｄを生成する。
マップ合成手段１２３Ｂは、生成した合成奥行マップＧｄを、縮小手段１２４に出力する。
【０３１５】
本例では、マップ合成手段１２３Ｂは、画素毎に、３つの奥行マップの画素値を平滑化して合成奥行マップＧｄの画素値とすることで、合成奥行マップＧｄを生成する。ここで、画素値の平滑化としては、３つの画素値の算術平均やメディアンフィルタを用いた中央値の算出を挙げることができる。
このように、３つの奥行マップを合成することにより、個々の奥行マップ中に含まれる奥行の誤差が平滑化されて、復号化装置側で立体映像を構成するための多数の視点の映像を合成する際に、合成される視点映像の品質を改善することができる。
【０３１６】
縮小手段１２４は、マップ合成手段１２３Ｂから合成奥行マップＧｄを入力し、入力した合成奥行マップＧｄを縮小した縮小合成奥行マップＧ２ｄを生成する。そして、縮小手段１２４は、生成した縮小合成奥行マップＧ２ｄを奥行マップ符号化手段１３Ｂに出力する。
ここで、縮小手段１２４は、合成奥行マップＧｄの画素を、縦方向及び横方向にそれぞれ１画素置きに間引くことで、縦横それぞれ１／２に縮小した縮小合成奥行マップＧ２ｄを生成する。
【０３１７】
なお、縮小手段１２４は、奥行マップの間引き処理する際には、低域通過フィルタによるフィルタ処理を施さず、直接データを間引くようにするのが好ましい。これによって、フィルタ処理による、元の奥行マップになかったレベルの奥行値の発生を防止することができ、合成映像の品質が保たれる。
【０３１８】
また、縮小率は１／２に限定されるものではなく、１／２の間引き処理を複数回繰り返すことで、１／４、１／８などの縮小率で縮小してもよく、１／３、１／５などの縮小率としてもよい。更に、縦方向と横方向とで縮小率を異なるようにしてもよい。更にまた、縮小手段１２４を省略して、マップ合成手段１２３Ｂから等倍データのままの合成奥行マップＧｄを奥行マップ符号化手段１３Ｂに出力するようにしてもよい。
【０３１９】
奥行マップ符号化手段１３Ｂは、奥行マップ合成手段１２Ｂの縮小手段１２４から縮小合成奥行マップＧ２ｄを入力し、この縮小合成奥行マップＧ２ｄを所定の符号化方式で符号化して符号化奥行マップｇ２ｄを生成し、奥行マップビットストリームとして伝送路に出力する。
本実施形態では、奥行マップビットストリームとして伝送される奥行マップは、３つの視点における奥行マップを１つに合成し、更に縮小されているため、奥行マップのデータ量が低減され、符号化効率が改善される。
【０３２０】
奥行マップ符号化手段１３Ｂは、図２に示した奥行マップ符号化手段１３において、符号化する奥行マップが、等倍サイズの単一の奥行マップに代えて、縮小された奥行マップであること以外は同様であるから、詳細な説明は省略する。
【０３２１】
奥行マップ復元手段３０は、奥行マップ符号化手段１３Ｂによって生成された符号化奥行マップｇ２ｄである奥行マップビットストリームを、その符号化方式に基づいて復号化するとともに、拡大して元のサイズの復号化合成奥行マップＧ’ｄを復元するものである。このために、奥行マップ復元手段３０は、奥行マップ復号化手段３０ａと拡大手段３０ｂとを備えて構成されている。
また、奥行マップ復元手段３０は、復元した復号化合成奥行マップＧ’ｄを射影映像予測手段１５Ｂの左射影映像予測手段１５ＢＬ及び右射影映像予測手段１５ＢＲに出力する。
【０３２２】
奥行マップ復号化手段３０ａは、奥行マップ符号化手段１３Ｂから符号化奥行マップｇ２ｄを入力し、その符号化方式に基づいて復号化して復号化縮小合成奥行マップＧ’２ｄを生成する。奥行マップ復号化手段３０ａは、生成した復号化縮小合成奥行マップＧ’２ｄを拡大手段３０ｂに出力する。奥行マップ復号化手段３０ａは、図２に示した奥行マップ復号化手段１４と同様のものを用いることができるため、詳細な説明は省略する。
【０３２３】
拡大手段３０ｂは、奥行マップ復号化手段３０ａから復号化縮小合成奥行マップＧ’２ｄを入力し、合成奥行マップＧｄと同じサイズの復号化合成奥行マップＧ’ｄを生成する。拡大手段３０ｂは、生成した復号化合成奥行マップＧ’ｄを左射影映像予測手段１５ＢＬ及び右射影映像予測手段１５ＢＲに出力する。
【０３２４】
なお、拡大手段３０ｂは、拡大処理として、縮小手段１２４による縮小処理によって間引かれていた画素を補間するときに、その画素の近傍に存在する複数の画素の画素値（奥行値）の差が小さい場合には、その近傍画素の画素値の平均値をその画素の画素値とする。また、その画素の近傍に存在する複数の画素の画素値の差が大きい場合には、その近傍画素の画素値の最も大きい値をその画素の画素値とする。これによって、前景と背景との境界部分で、前景の奥行値が復元されるため、復号化装置２Ｂ（図２２参照）で合成される多視点映像の品質を保つことができる。
【０３２５】
なお、拡大処理の際に、拡大後の奥行マップに、2次元メディアンフィルタを掛ける。これによって、前景の被写体の奥行値の輪郭部分を滑らかにつなげることができ、この合成奥行マップを用いて生成される合成映像の品質を向上することができる。
【０３２６】
射影映像予測手段１５Ｂは、奥行マップ復元手段３０の拡大手段３０ｂから入力した復号化合成奥行マップＧ’ｄを用いて、基準視点映像Ｃを、それぞれ左視点など及び右視点などに射影したときにオクルージョンホールとなる画素領域における画素を左視点映像Ｌ及び右視点映像Ｒから抽出して、左残差映像（残差映像）Ｌｖ及び右残差映像（残差映像）Ｒｖを生成するものである。射影映像予測手段１５Ｂは、生成した左残差映像Ｌｖ及び右残差映像Ｒｖを、それぞれ残差映像フレーム化手段１９Ｂの縮小手段１９Ｂａ及び縮小手段１９Ｂｂに出力する。
【０３２７】
左射影映像予測手段１５ＢＬは、左視点映像Ｌ及び左指定視点Ｐｔを外部から入力するとともに、拡大手段３０ｂから復号化された復号化合成奥行マップＧ’ｄを入力し、左残差映像Ｌｖを生成して、生成した左残差映像Ｌｖを残差映像フレーム化手段１９Ｂの縮小手段１９Ｂａに出力する。
【０３２８】
ここで、本実施形態における左射影映像予測手段１５ＢＬの詳細な構成について、図２１（ａ）を参照（適宜図１９及び図２０参照）して説明する。
図２１（ａ）に示すように、本実施形態における左射影映像予測手段１５ＢＬは、オクルージョンホール検出手段１５１Ｂと、残差映像切出手段１５２とを備えて構成されている。本実施形態における左射影映像予測手段１５ＢＬは、図２に示した第１実施形態における射影映像予測手段１５とは、オクルージョンホール検出手段１５１に代えて、オクルージョンホール検出手段１５１Ｂを備えることが異なる。
【０３２９】
また、本実施形態におけるオクルージョンホール検出手段１５１Ｂは、第１穴マスク生成手段１５１１Ｂと、第２穴マスク生成手段１５１２Ｂと、第３穴マスク生成手段１５１３Ｂ（１５１３Ｂ１〜１５１３Ｂｎ）と、穴マスク合成手段１５１４と、穴マスク膨張手段１５１５と、を有して構成されている。本実施形態におけるオクルージョンホール検出手段１５１Ｂは、図３（ｂ）に示した第１実施形態におけるオクルージョンホール検出手段１５１とは、第１穴マスク生成手段１５１１、第２穴マスク生成手段１５１２及び第３穴マスク生成手段１５１３（１５１３１〜１５１３ｎ）に代えて、それぞれ第１穴マスク生成手段１５１１Ｂ、第２穴マスク生成手段１５１２Ｂ及び第３穴マスク生成手段１５１３Ｂ（１５１３Ｂ１〜１５１３Ｂｎ）を備えることが異なる。
なお、第１実施形態における射影映像予測手段１５及びオクルージョンホール検出手段１５１と同じ構成要素については、同じ符号を付して、説明は適宜省略する。
【０３３０】
本実施形態における第１穴マスク生成手段１５１１Ｂ、第２穴マスク生成手段１５１２Ｂ及び第３穴マスク生成手段１５１３Ｂは、オクルージョンホール検出のための奥行マップとして、共通視点である基準視点における復号化合成奥行マップＧ’ｄを用いる。このため、基準視点と左視点との中間視点における奥行マップである復号化左合成奥行マップＭ’ｄを用いる第１実施形態における第１穴マスク生成手段１５１１、第２穴マスク生成手段１５１２及び第３穴マスク生成手段１５１３とは、それぞれ第１ホール画素検出手段１５１１ｂ、第２ホール画素検出手段１５１２Ｂｂ及び第３ホール画素検出手段１５１３ｂに入力する奥行マップの射影手段（１５１１Ｂａ，１５１２Ｂａ，１５１３Ｂａ）による射影の際のシフト量が異なる。このシフト量が異なる以外は、第１穴マスク生成手段１５１１Ｂ、第２穴マスク生成手段１５１２Ｂ及び第３穴マスク生成手段１５１３Ｂは、第１実施形態における第１穴マスク生成手段１５１１、第２穴マスク生成手段１５１２及び第３穴マスク生成手段１５１３と同様の機能を有する。
【０３３１】
すなわち、第１穴マスク生成手段１５１１Ｂ、第２穴マスク生成手段１５１２Ｂ及び第３穴マスク生成手段１５１３Ｂは、入力した奥行マップを用いて基準視点映像Ｃを、それぞれ左視点に射影したとき、左中間視点に射影したとき、及び左指定視点に射影したときにオクルージョンホールＯＨとなる領域を予測する。そして、それぞれが予測した領域を左視点に射影し、その射影した領域を示す穴マスクＬｈ１，Ｌｈ２，Ｌｈ３１〜Ｌｈ３ｎを生成して穴マスク合成手段１５１４に出力する。
【０３３２】
なお、オクルージョンホールＯＨの検出は復号化合成奥行マップＧ’ｄのみを用いて行うことができるため、基準視点映像Ｃは不要である。図３（ｂ）に示した第１実施形態におけるオクルージョンホール検出手段１５１においても同様に、基準視点映像Ｃの入力は省略することができる。
【０３３３】
第１穴マスク生成手段１５１１Ｂは、基準視点映像Ｃを左視点に射影したときに、オクルージョンホールＯＨとなる画素領域を予測し、当該画素領域を示す穴マスクＬｈ１を生成して穴マスク合成手段１５１４に出力するものである。このために、第１穴マスク生成手段１５１１Ｂは、左視点射影手段１５１１Ｂａと、第１ホール画素検出手段１５１１ｂとを有して構成されている。
【０３３４】
左視点射影手段１５１１Ｂａは、奥行マップ復元手段３０から復号化合成奥行マップＧ’ｄを入力し、この復号化合成奥行マップＧ’ｄを左視点に射影して、左視点における奥行マップである左視点射影奥行マップＬ’ｄを生成し、第１ホール画素検出手段１５１１ｂに出力する。
左視点射影手段１５１１Ｂａは、図３（ｂ）に示した左視点射影手段１５１１ａとは、奥行マップを射影する際のシフト量が異なるだけで、同様のものを用いることができるため詳細な説明は省略する。
【０３３５】
第２穴マスク生成手段１５１２Ｂは、基準視点映像Ｃを基準視点と左視点との中間の視点である左中間視点に射影したときに、オクルージョンホールＯＨとなる画素領域を予測し、当該画素領域を示す穴マスクＬｈ２を生成して穴マスク合成手段１５１４に出力するものである。このために、第２穴マスク生成手段１５１２Ｂは、左中間視点射影手段１５１２Ｂａと、第２ホール画素検出手段１５１２Ｂｂと、左視点射影手段１５１２Ｂｃと、を有して構成されている。
【０３３６】
左中間視点射影手段１５１２Ｂａは、奥行マップ復元手段３０から復号化合成奥行マップＧ’ｄを入力し、この復号化合成奥行マップＧ’ｄを左中間視点に射影して、左中間視点における奥行マップである復号化左合成奥行マップＭ’ｄを生成し、第２ホール画素検出手段１５１２Ｂｂに出力する。
左中間視点射影手段１５１２Ｂａは、図３（ｂ）に示した左視点射影手段１５１１ａとは、奥行マップを射影する際のシフト量が異なるだけで、同様のものを用いることができるため詳細な説明は省略する。
【０３３７】
また、第２ホール画素検出手段１５１２Ｂｂ及び左視点射影手段１５１２Ｂｃは、それぞれ図３（ｂ）に示した第２ホール画素検出手段１５１２ａ及び左視点射影手段１５１２ｂと同様であるから説明は省略する。
なお、第２穴マスク生成手段１５１２Ｂは、省略してもよい。
【０３３８】
第３穴マスク生成手段１５１３Ｂ１〜１５１３Ｂｎ（１５１３Ｂ）は、基準視点映像Ｃを、それぞれ左指定視点Ｐｔ１〜Ｐｔｎに射影したときに、オクルージョンホールＯＨとなる画素領域を予測し、それぞれ当該画素領域を示す穴マスクＬｈ３１〜Ｌｈ３ｎを生成して穴マスク合成手段１５１４に出力するものである。このために、各第３穴マスク生成手段１５１３Ｂ（１５１３Ｂ１〜１５１３Ｂｎ）は、左指定視点射影手段１５１３Ｂａと、第３ホール画素検出手段１５１３ｂと、左視点射影手段１５１３ｃと、を有して構成されている。
【０３３９】
左指定視点射影手段１５１３Ｂａは、奥行マップ復元手段３０から復号化合成奥行マップＧ’ｄを入力し、この復号化合成奥行マップＧ’ｄを左指定視点Ｐｔ（Ｐｔ１〜Ｐｔｎ）に射影して、左指定視点Ｐｔ（Ｐｔ１〜Ｐｔｎ）における奥行マップである左指定視点奥行マップＰ’ｄを生成し、第３ホール画素検出手段１５１３ｂに出力する。
左指定視点射影手段１５１３Ｂａは、図３（ｂ）に示した左視点射影手段１５１１ａとは、奥行マップを射影する際のシフト量が異なるだけで、同様のものを用いることができるため詳細な説明は省略する。
また、第３穴マスク生成手段１５１３Ｂは、図２１（ａ）に示すように、１又は複数の左指定視点Ｐｔ（Ｐｔ１〜Ｐｔｎ）に射影する際にオクルージョンホールＯＨとなる領域を検出するようにしてもよいし、省略してもよい。
【０３４０】
穴マスク合成手段１５１４、穴マスク膨張手段１５１５及び残差映像切出手段１５２は、第１実施形態と同様のものを用いることができる。
なお、残差映像切出手段１５２において、左視点映像から穴マスクＬｈで示されたオクルージョンホールＯＨとなる領域以外の画素値として、１２８などの固定値とする他に、左視点映像Ｌの全画素値の平均値を用いるようにしてもよい。このようにすることで、残差映像の有効な画素値がある部分（すなわち、オクルージョンホールＯＨとなる領域）と、ない部分（他の領域）との変化量をより少なくし、残差映像の符号化処理における歪を低減することができる。
また、第１実施形態の残差映像切出手段１５２においても、有効な画素値がない領域の画素値として、残差映像の全画素地の平均値を用いるようにしてもよい。
【０３４１】
また、右射影映像予測手段１５ＢＲは、左射影映像予測手段１５ＢＬにおいて、左視点映像Ｌ及び左指定視点Ｐｔに代えて、それぞれ右視点映像Ｒ及び右指定視点Ｑｔを入力し、左残差映像Ｌｖに代えて右残差映像Ｒｖを出力することと、基準視点と奥行マップの視点位置との左右の位置関係が逆になること以外は、同様の構成であるから、説明は省略する。
【０３４２】
図１９及び図２０に戻って、符号化装置１Ｂの構成について説明を続ける。
残差映像フレーム化手段１９Ｂは、左射影映像予測手段１５ＢＬ及び右射影映像予測手段１５ＢＲから入力した左残差映像Ｌｖ及び右残差映像Ｒｖを１つの画像にフレーム化して、フレーム化残差映像Ｆｖを生成し、生成したフレーム化残差映像Ｆｖを残差映像符号化手段１６Ｂに出力する。このために、残差映像フレーム化手段１９Ｂは、縮小手段１９Ｂａ，１９Ｂｂと結合手段１９Ｂｃとを有して構成されている。
【０３４３】
縮小手段１９Ｂａ及び縮小手段１９Ｂｂは、それぞれ左射影映像予測手段１５ＢＬ及び右射影映像予測手段１５ＢＲから、左残差映像Ｌｖ及び右残差映像Ｒｖを、それぞれ入力し、入力した残差映像を縦方向及び横方向に画素間引きすることで縮小し、高さ（縦方向の画素数）及び幅（横方向の画素数）がそれぞれ１／２となった、左縮小残差映像Ｌ２ｖ及び右縮小残差映像Ｒ２ｖを生成し、結合手段１９Ｂｃに出力する。
【０３４４】
一般的に、残差映像が用いられる領域は、復号化装置２Ｂ（図２２参照）側で合成される多視点映像のごく一部であるため、画素間引きを行っても、合成画像の画質は大きく低下しない。従って、残差映像の間引き（縮小処理）を行うことにより、画質を大きく劣化させることなく、符号化効率を向上させることができる。
【０３４５】
また、縮小手段１９Ｂａ及び縮小手段１９Ｂｂは、左残差映像Ｌｖ及び右残差映像Ｒｖを縮小処理する際に、例えば、係数（１，２，１）の３タップフィルタなどを用いた低域通過フィルタ処理を行った後に、間引き処理を施すことが好ましい。これによって、間引きによる高域成分の折り返し歪みの発生を防止することができる。
なお、低域通過フィルタ処理は、縦方向及び横方向について、それぞれの方向に間引く前に前記した係数の１次元フィルタを用いて行うようにすることが、処理量を低減できるため好ましい。但し、これに限定されず、２次元の低域通過フィルタ処理を行った後に、縦方向及び横方向の間引き処理を行うようにしてもよい。
【０３４６】
更に、左縮小残差映像Ｌ２ｖと右縮小残差映像R２ｖの、オクルージョンホールＯＨとなる領域（有効な画素がある領域）とその他の領域との境界部に低域通過フィルタ処理を施すことが好ましい。これによって、有効な画素がある領域とない領域との境界における画素値の変化が平滑化され、符号化処理の効率を向上させることができる。
【０３４７】
また、縮小手段１９Ｂａ及び縮小手段１９Ｂｂは、縦横の縮小率が１／２に限定されず、１／４、１／３など他の縮小率でもよく、縦方向と横方向とで縮小率が異なるようしてもよい。また、サイズを元のままとし、縮小手段１９Ｂａ，１９Ｂｂを省略するようにしてもよい。
【０３４８】
結合手段１９Ｂｃは、縮小手段１９Ｂａ及び縮小手段１９Ｂｂから、それぞれ左縮小残差映像Ｌ２ｖ及び右縮小残差映像Ｒ２ｖを入力し、２つの残差映像を縦方向に結合して、縮小前の元のサイズに対して、縦方向に等倍、横方向に１／２となる１つの映像フレームであるフレーム化残差映像Ｆｖを生成する。結合手段１９Ｂｃは、生成したフレーム化残差映像Ｆｖを、残差映像符号化手段１６Ｂに出力する。
なお、結合手段１９Ｂｃは、２つの残差映像を横方向に結合するようにしてもよい。
【０３４９】
残差映像符号化手段１６Ｂは、残差映像フレーム化手段１９Ｂの結合手段１９Ｂｃからフレーム化残差映像Ｆｖを入力し、このフレーム化残差映像Ｆｖを所定の符号化方式で符号化して符号化残差映像ｆｖを生成し、残差映像ビットストリームとして伝送路に出力する。
残差映像符号化手段１６Ｂは、図２に示した残差映像符号化手段１６において、符号化する残差映像が、単一の残差映像に代えて、フレーム化された残差映像であること以外は同様であるから、詳細な説明は省略する。
【０３５０】
［立体映像復号化装置の構成］
次に、図２２及び図２３を参照して、第３実施形態に係る立体映像復号化装置２Ｂの構成について説明する。立体映像復号化装置２Ｂは、図１９に示した立体映像符号化装置１Ｂから伝送路を介して伝送されるビットストリームを復号化して、多視点映像を生成するものである。
【０３５１】
図２２に示すように、第３実施形態に係る立体映像復号化装置２Ｂ（以下、適宜に「復号化装置２Ｂ」と呼ぶ）は、基準視点映像復号化手段２１と、奥行マップ復元手段２８と、奥行マップ射影手段２３Ｂと、残差映像復号化手段２４Ｂと、射影映像合成手段２５Ｂと、残差映像分離手段２７Ｂと、を備えている。
【０３５２】
また、第３実施形態に係る復号化装置２Ｂは、奥行マップビットストリームとして１系統の奥行マップが符号化された符号化奥行マップｇ２ｄと、残差映像ビットストリームとして複数系統（２系統）の残差映像がフレーム化された符号化残差映像ｆｖとを入力し、フレーム化された残差映像を分離して、複数系統の指定視点映像として、左指定視点映像Ｐ及び右指定視点映像Ｑを生成するものである。
本実施形態に係る復号化装置２Ｂは、３視点における奥行マップＣｄ，Ｌｄ，Ｒｄを、所定の１つの共通視点における奥行マップである合成奥行マップＧｄに合成された１系統の奥行マップを、更に縮小し符号化した符号化縮小合成奥行マップｇ２ｄを入力して用いることが、第２実施形態に係る復号化装置２Ａ（図１４参照）と異なる。
【０３５３】
基準視点映像復号化手段２１は、図７に示した基準視点映像復号化手段２１と同様であるから説明は省略する。
【０３５４】
奥行マップ復元手段２８は、奥行ビットストリームを復号化して、復号化縮小合成奥行マップＧ２’ｄを生成し、更に元のサイズの復号化合成奥行マップＧ’ｄを生成して、奥行マップ射影手段２３Ｂの左奥行マップ射影手段２３ＢＬ及び右奥行マップ射影手段２３ＢＲに出力する。このために、奥行マップ復元手段２８は、奥行マップ復号化手段２８ａと拡大手段２８ｂとを有して構成されている。
奥行マップ復元手段２８は、符号化装置１Ｂにおける奥行マップ復元手段３０（図１９参照）と同様の構成であるので、詳細な説明は省略する。なお、奥行マップ復号化手段２８ａ及び拡大手段２８ｂは、それぞれ図１９に示した奥行マップ復号化手段３０ａ及び拡大手段３０ｂに対応する。
【０３５５】
奥行マップ射影手段２３Ｂは、左奥行マップ射影手段２３ＢＬ及び右奥行マップ射影手段２３ＢＲを有して構成され、共通視点である基準視点における奥行マップを、それぞれの系統の指定視点である左指定視点Ｐｔ及び右指定視点Ｑｔに射影して、それぞれの指定視点における奥行マップである左指定視点奥行マップＰｄ及び右指定視点奥行マップＱｄを生成する。奥行マップ射影手段２３Ｂは、生成した左指定視点奥行マップＰｄ及び右指定視点奥行マップＱｄを、それぞれ射影映像合成手段２５Ｂの左射影映像合成手段２５ＢＬ及び右射影映像合成手段２５ＢＲに出力する。
【０３５６】
なお、本実施形態における奥行マップ射影手段２３Ｂは、図１４に示した奥行マップ射影手段２３Ａと同様に、１つ又は複数の左指定視点（指定視点）Ｐｔ及び右指定視点（指定視点）Ｑｔを入力し、それぞれの指定視点に対応する左指定視点奥行マップＰｄ及び右指定視点奥行マップＱｄを生成して、射影映像合成手段２５Ｂの左射影映像合成手段２５ＢＬ及び右射影映像合成手段２５ＢＲに出力する。
【０３５７】
左奥行マップ射影手段２３ＢＬは、復号化された基準視点における奥行マップである復号化合成奥行マップＧ’ｄを入力し、この復号化合成奥行マップＧ’ｄを左指定視点Ｐｔに射影して、左指定視点Ｐｔにおける左指定視点奥行マップ（指定視点奥行マップ）Ｐｄを生成する。左奥行マップ射影手段２３ＢＬは、生成した左指定視点奥行マップＰｄを左射影映像合成手段２５ＢＬに出力する。
なお、本実施形態における左奥行マップ射影手段２３ＢＬは、図１４に示した第２実施形態における左奥行マップ射影手段２３ＢＬとは、入力する奥行マップの視点位置の違いにより、射影時のシフト量が異なること以外は同様であるから、詳細な説明は省略する。
【０３５８】
また、右奥行マップ射影手段２３ＢＲは、復号化された基準視点における奥行マップである復号化合成奥行マップＧ’ｄを入力し、この復号化合成奥行マップＧ’ｄを右指定視点Ｑｔに射影して、右指定視点Ｑｔにおける右指定視点奥行マップ（指定視点奥行マップ）Ｑｄを生成する。右奥行マップ射影手段２３ＢＲは、生成した右指定視点奥行マップＱｄを右射影映像合成手段２５ＢＲに出力する。
なお、右奥行マップ射影手段２３ＢＲは、左奥行マップ射影手段２３ＢＬとは、基準視点に対する左右の位置関係が逆であること以外は同様の構成であるから、詳細な説明は省略する。
【０３５９】
残差映像復号化手段２４Ｂは、残差映像ビットストリームを復号化して、フレーム化残差映像（復号化フレーム化残差映像）Ｆ’ｖを生成し、残差映像分離手段２７Ｂの分離手段２７Ｂａに出力する。
残差映像復号化手段２４Ｂは、図１４に示した第２実施形態における残差映像復号化手段２４Ａと、復号化する対象のフレーム化残差映像のサイズが異なること以外は同様の構成であるので、詳細な説明は省略する。
【０３６０】
残差映像分離手段２７Ｂは、残差映像復号化手段２４Ｂから復号化されたフレーム化残差映像Ｆ’ｖを入力し、フレーム化されている２つの縮小残差映像である左縮小残差映像Ｌ２’ｖ及び右縮小残差映像Ｒ２’ｖを分離し、元のサイズに拡大して左残差映像（復号化残差映像）Ｌ’ｖ及び右残差映像（復号化残差映像）Ｒ’ｖを生成する。残差映像分離手段２７Ｂは、生成した左残差映像Ｌ’ｖ及び右残差映像Ｒ’ｖを、それぞれ射影映像合成手段２５Ｂの左射影映像合成手段２５ＢＬ及び右射影映像合成手段２５ＢＲに出力する。
【０３６１】
なお、残差映像分離手段２７Ｂは、図１４に示した第２実施形態における残差映像分離手段２７と、分離する対象のフレーム化残差映像のサイズが異なること以外は同様の構成であるので、詳細な説明は省略する。なお、残差映像分離手段２７Ｂにおける分離手段２７Ｂａ、拡大手段２７Ｂｂ及び拡大手段２７Ｂｃは、それぞれ残差映像分離手段２７における分離手段２７ａ、拡大手段２７ｂ及び拡大手段２７ｃに対応する。
【０３６２】
射影映像合成手段２５Ｂは、基準視点映像復号化手段２１から入力した基準視点映像Ｃ’と、残差映像分離手段２７Ｂから入力した左右２系統の残差映像である左残差映像Ｌ’ｖ及び右残差映像Ｒ’ｖと、奥行マップ射影手段２３Ｂから入力した左右２系統の奥行マップである左指定視点奥行マップＰｄ及び右指定視点奥行マップＱｄとから、左右２系統の指定視点である左指定視点Ｐｔ及び右指定視点Ｑｔにおける指定視点映像である左指定視点映像Ｐ及び右指定視点映像Ｑを生成するものである。このために、射影映像合成手段２５Ｂは、左射影映像合成手段２５ＢＬ及び右射影映像合成手段２５ＢＲを有して構成されている。
【０３６３】
左射影映像合成手段２５ＢＬは、基準視点映像復号化手段２１から基準視点映像Ｃ’を、残差映像分離手段２７Ｂの拡大手段２７Ｂｂから左残差映像Ｌ’ｖを、奥行マップ射影手段２３Ｂの左奥行マップ射影手段２３ＢＬから左指定視点奥行マップＰｄを、それぞれ入力し、左指定視点映像Ｐを生成する。
【０３６４】
また、右射影映像合成手段２５ＢＲは、基準視点映像復号化手段２１から基準視点映像Ｃ’を、残差映像分離手段２７Ｂの拡大手段２７Ｂｃから右残差映像Ｒ’ｖを、奥行マップ射影手段２３Ｂの右奥行マップ射影手段２３ＢＲから右指定視点奥行マップＱｄを、それぞれ入力し、右指定視点映像Ｑを生成する。
【０３６５】
ここで、左射影映像合成手段２５ＢＬの詳細な構成について、図２４（ａ）を参照（適宜図２２及び図２３参照）して説明する。
図２４（ａ）に示すように、本実施形態における左射影映像合成手段２５ＢＬは、基準視点映像射影手段２５１Ｂと、残差映像射影手段２５２Ｂとを有して構成されている。
【０３６６】
基準視点映像射影手段２５１Ｂは、基準視点映像復号化手段２１から基準視点映像Ｃ’を、奥行マップ射影手段２３Ｂから左指定視点奥行マップＰｄを、それぞれ入力し、左指定視点Ｐｔにおける映像として、基準視点映像Ｃ’を当該左指定視点Ｐｔに射影することができる画素についての左指定視点映像ＰＣを生成する。基準視点映像射影手段２５１Ｂは、生成した左指定視点映像ＰＣを残差映像射影手段２５２Ｂに出力する。
このために、基準視点映像射影手段２５１Ｂは、ホール画素検出手段２５１Ｂａと、指定視点映像射影手段２５１Ｂｂと、基準視点映像画素複写手段２５１Ｂｃと、穴マスク膨張手段２５１Ｂｄと、を備えて構成されている。
【０３６７】
ホール画素検出手段２５１Ｂａは、奥行マップ射影手段２３Ｂの左奥行マップ射影手段２３ＢＬから左指定視点奥行マップＰｄを入力し、この左指定視点奥行マップＰｄを用いて、基準視点映像Ｃ’を左指定視点Ｐｔに射影したときにオクルージョンホールとなる画素を検出し、検出した画素領域を示す穴マスクＰ１ｈを検出結果として生成して穴マスク膨張手段２５１Ｂｄに出力する。
ホール画素検出手段２５１Ｂａによるオクルージョンホールとなる画素の検出方法は、図８に示した第１実施形態におけるホール画素検出手段２５１ａと同様であるから、詳細な説明は省略する。
【０３６８】
指定視点映像射影手段２５１Ｂｂは、基準視点映像復号化手段２１から基準視点映像Ｃ’を、奥行マップ射影手段２３Ｂの左奥行マップ射影手段２３ＢＬから左指定視点奥行マップＰｄを、それぞれ入力し、基準視点映像Ｃ’を左指定視点Ｐｔに射影した映像である左指定視点射影映像Ｐ１Ｃを生成して、基準視点映像画素複写手段２５１Ｂｃに出力する。
なお、指定視点映像射影手段２５１Ｂｂは、図８に示した第１実施形態における指定視点映像射影手段２５１ｂと同様であるから、詳細な説明は省略する。
【０３６９】
基準視点映像画素複写手段２５１Ｂｃは、指定視点映像射影手段２５１Ｂｂから左指定視点射影映像Ｐ１Ｃを、穴マスク膨張手段２５１Ｂｄから穴マスクＰ２ｈを、それぞれ入力し、これらの入力データから、オクルージョンホールとならずに基準視点映像Ｃ’を左指定視点Ｐｔに射影することができる画素を複写して、左指定視点映像ＰＣを生成するものである。
また、基準視点映像画素複写手段２５１Ｂｃは、生成した左指定視点映像ＰＣを、残差映像射影手段２５２Ｂの残差映像画素複写手段２５２Ｂｂに出力する。
なお、基準視点映像画素複写手段２５１Ｂｃは、図８に示した第１実施形態における基準視点映像画素複写手段２５１ｃと同様であるから、詳細な説明は省略する。
【０３７０】
穴マスク膨張手段２５１Ｂｄは、ホール画素検出手段２５１Ｂａから穴マスクＰ１ｈを入力し、穴マスクＰ１ｈにおけるオクルージョンホールとなる画素領域を、所定の画素数だけ膨張させた穴マスクＰ２ｈを生成し、生成した穴マスクＰ２ｈを基準視点映像画素複写手段２５１Ｂｃと、残差映像射影手段２５２Ｂの共通穴検出手段２５２Ｂｅに出力する。
【０３７１】
ここで、膨張させる所定の画素数とは、例えば、２画素とすることができる。この膨張処理によって、左指定視点奥行マップＰｄの生成誤差のために、基準視点映像画素複写手段２５１Ｂｃが誤って左指定視点射影映像Ｐ１Ｃから画素を複写することを防止することができる。
【０３７２】
残差映像射影手段２５２Ｂは、残差映像復号化手段２４Ｂから左残差映像Ｌ’ｖを、奥行マップ射影手段２３Ｂの左奥行マップ射影手段２３ＢＬから左指定視点奥行マップＰｄを、それぞれ入力し、左指定視点Ｐｔにおける映像として、基準視点映像Ｃ’を射影することができない画素、すなわち、オクルージョンホールとなる画素を、左指定視点映像ＰＣに補完して左指定視点映像Ｐを生成する。残差映像射影手段２５２Ｂは、生成した左指定視点映像Ｐを立体映像表示装置４（図１参照）に出力する。
このために、残差映像射影手段２５２Ｂは、指定視点映像射影手段２５２Ｂａと、残差映像画素複写手段２５２Ｂｂと、穴埋め処理手段２５２Ｂｃと、ホール画素検出手段２５２Ｂｄと、共通穴検出手段２５２Ｂｅと、を有して構成されている。
【０３７３】
指定視点映像射影手段２５２Ｂａは、残差映像分離手段２７Ｂの拡大手段２７Ｂｂから左残差映像Ｌ’ｖを、奥行マップ射影手段２３Ｂの左奥行マップ射影手段２３ＢＬから左指定視点奥行マップＰｄを、それぞれ入力し、左残差映像Ｌ’ｖを左指定視点Ｐｔに射影した映像である左指定視点射影残差映像ＰＬｖを生成し、残差映像画素複写手段２５２Ｂｂに出力する。
【０３７４】
残差映像画素複写手段２５２Ｂｂは、基準視点映像射影手段２５１Ｂの基準視点映像画素複写手段２５１Ｂｃから左指定視点映像ＰＣを、穴マスク膨張手段２５１Ｂｄから穴マスクＰ２ｈを、指定視点映像射影手段２５２Ｂａから左指定視点射影残差映像ＰＬｖを、ホール画素検出手段２５２Ｂｄから穴マスクＰ３ｈを、それぞれ入力する。そして、残差映像画素複写手段２５２Ｂｂは、穴マスクＰ２ｈを参照して、左指定視点映像ＰＣにおいてオクルージョンホールとなっている画素について、左指定視点射影残差映像ＰＬｖから画素値を抽出して左指定視点映像ＰＣに複写し、左指定視点Ｐｔにおける映像である左指定視点映像Ｐ１を生成する。このとき、残差映像画素複写手段２５２Ｂｂは、左残差映像Ｌ’ｖを左指定視点奥行マップＰｄを用いて左指定視点Ｐｔにおける映像として射影することができない画素領域（オクルージョンホール）を示す穴マスクＰ３ｈを参照して、穴マスクＰ３ｈにおいてオクルージョンホールとなる画素については左指定視点射影残差映像ＰＬｖから画素を複写しない。
残差映像画素複写手段２５２Ｂｂは、生成した左指定視点映像Ｐ１を穴埋め処理手段２５２Ｂｃに出力する。
【０３７５】
穴埋め処理手段２５２Ｂｃは、残差映像画素複写手段２５２Ｂｂから左指定視点映像Ｐ１を、共通穴検出手段２５２Ｂｅから穴マスクＰ４ｈを、それぞれ入力する。穴埋め処理手段２５２Ｂｃは、この左指定視点映像Ｐ１において、基準視点映像画素複写手段２５１Ｂｃ又は残差映像画素複写手段２５２Ｂｂの何れによっても有効な画素が複写されなかった画素を示す穴マスクＰ４ｈを参照して、これらの穴となっている画素について、その画素の周囲の有効な画素値を用いて穴埋めして左指定視点映像Ｐを生成する。穴埋め処理手段２５２Ｂｃは、生成した左指定視点映像Ｐを、多視点映像における１つの映像として立体映像表示装置４（図１参照）に出力する。
【０３７６】
ホール画素検出手段２５２Ｂｄは、奥行マップ射影手段２３Ｂの左奥行マップ射影手段２３ＢＬから左指定視点奥行マップＰｄを入力し、この左指定視点奥行マップＰｄを用いて、左視点における映像である左残差映像Ｌ’ｖを左指定視点Ｐｔに射影したときにオクルージョンホールとなる画素を検出し、検出した画素領域を示す穴マスクＰ３ｈを検出結果として生成して残差映像画素複写手段２５２Ｂｂに出力する。
【０３７７】
ホール画素検出手段２５２Ｂｄは、左指定視点が左視点よりも右側に位置することを仮定して、オクルージョンホールとなる画素を検出するものである。このため、ホール画素検出手段２５２Ｂｄによるオクルージョンホールとなる画素の検出方法は、図８に示した第１実施形態におけるホール画素検出手段２５１ａにおいて、着目画素の左近傍に位置する画素の画素値（奥行値）が、着目画素の画素値よりも大きく、所定の条件を満たす場合にオクルージョンホールとなる画素であると判定するものである。
なお所定の条件とは、左右の関係が入れ替わること以外は、ホール画素検出手段２５１ａによる判定条件と同様である。
【０３７８】
共通穴検出手段２５２Ｂｅは、穴マスク膨張手段２５１Ｂｄから穴マスクＰ２ｈを、ホール画素検出手段２５２Ｂｄから穴マスクＰ３ｈを、それぞれ入力する。そして、共通穴検出手段２５２Ｂｅは、画素毎に穴マスクＰ２ｈと穴マスクＰ３ｈとの論理積を算出して、穴マスクＰ４ｈを生成し、穴埋め処理手段２５２Ｂｃに出力する。
なお、穴マスクＰ４ｈは、前記したように、左指定視点映像Ｐ１において基準視点映像画素複写手段２５１Ｂｃ又は残差映像画素複写手段２５２Ｂｂの何れによっても有効な画素が複写されずに、有効な画素値を有さない穴となっている画素を示すものである。
【０３７９】
図２２に戻って、右射影映像合成手段２５ＢＲは、左射影映像合成手段２５ＢＬとは、基準視点に対する左右の位置関係が逆であること以外は同様の構成であるから、詳細な説明は省略する。
【０３８０】
以上説明したように、第３実施形態に係る符号化装置１Ｂは、複数の系統の立体映像について、奥行マップを共通視点である基準視点における１つの奥行マップに合成して符号化するとともに、残差映像をフレーム化して符号化し、ビットストリームとして出力するため、高い符号化効率で立体映像を符号化することができる。
また、復号化装置２Ｂは、その符号化装置１Ｂで符号化した立体映像を復号化して、多視点映像を生成することができる。
【０３８１】
［立体映像符号化装置の動作］
次に、図２５を参照（適宜図１９参照）して、第３実施形態に係る立体映像符号化装置１Ｂの動作について説明する。
【０３８２】
（基準視点映像符号化処理）
符号化装置１Ｂは、まず、基準視点映像符号化手段１１によって、外部から入力した基準視点映像Ｃを、所定の符号化方式で符号化して符号化基準視点映像ｃを生成し、基準視点映像ビットストリームとして出力する（ステップＳ７１）。
【０３８３】
（奥行マップ合成処理）
次に、符号化装置１Ｂは、奥行マップ合成手段１２Ｂによって、外部から入力した基準視点奥行マップＣｄ、左視点奥行マップＬｄ及び右視点奥行マップＲｄを合成し、基準視点を共通視点として、共通視点における１つの奥行マップを生成する（ステップＳ７２）。本実施形態においては、このステップＳ７２は、次に示す３つのサブステップから構成される。
【０３８４】
まず、符号化装置１Ｂは、左奥行マップ射影手段１２１Ｂ及び右奥行マップ射影手段１２２Ｂによって、それぞれ左視点奥行マップＬｄ及び右視点奥行マップＲｄを、共通視点である基準視点に射影して、共通視点奥行マップＣＬｄ及び共通視点奥行マップＣＲｄを生成する。
次に、符号化装置１Ｂは、マップ合成手段１２３Ｂによって、共通視点（基準視点）における３つの奥行きマップである基準視点奥行マップＣｄ、共通視点奥行マップＣＬｄ及び共通視点奥行マップＣＲｄを１つに合成して、合成奥行マップＧｄを生成する。
最後に、符号化装置１Ｂは、縮小手段１２４によって、合成奥行マップＧｄを縮小して縮小合成奥行マップＧ２ｄを生成する。
【０３８５】
（奥行マップ符号化処理）
次に、符号化装置１Ｂは、奥行マップ符号化手段１３Ｂによって、ステップＳ７２で生成した縮小合成奥行マップＧ２ｄを、所定の符号化方式で符号化して符号化奥行マップｇ２ｄを生成し、奥行マップビットストリームとして出力する（ステップＳ７３）。
【０３８６】
（奥行マップ復元処理）
次に、符号化装置１Ｂは、奥行マップ復元手段３０によって、ステップＳ７３で生成した符号化奥行マップｇ２ｄを復元して復号化合成奥行マップＧ’ｄを生成する（ステップＳ７４）。本実施形態においては、このステップＳ７４は、次に示す２つのサブステップから構成される。
【０３８７】
まず、符号化装置１Ｂは、奥行マップ復号化手段３０ａによって、符号化奥行マップｇ２ｄを復号化して復号化縮小合成奥行マップＧ２’ｄを生成する。
そして、符号化装置１Ｂは、拡大手段３０ｂによって、復号化縮小合成奥行マップＧ２’ｄを元のサイズに拡大して復号化合成奥行マップＧ’ｄを生成する。
【０３８８】
（射影映像予測処理）
次に、符号化装置１Ｂは、射影映像予測手段１５Ｂの左射影映像予測手段１５ＢＬによって、ステップＳ７４で生成した復号化合成奥行マップＧ’ｄと、外部から入力した左視点映像Ｌとを用いて、左残差映像Ｌｖを生成するとともに、射影映像予測手段１５Ｂの右射影映像予測手段１５ＢＲによって、復号化合成奥行マップＧ’ｄと、外部から入力した右視点映像Ｒとを用いて、右残差映像Ｒｖを生成する（ステップＳ７５）。
【０３８９】
（残差映像フレーム化処理）
次に、符号化装置１Ｂは、残差映像フレーム化手段１９Ｂによって、ステップＳ７５で生成した２つの残差映像である左残差映像Ｌｖ及び右残差映像Ｒｖを縮小して結合することで、１つの画像にフレーム化してフレーム化残差映像Ｆｖを生成する（ステップＳ７６）。
【０３９０】
（残差映像符号化処理）
そして、符号化装置１Ｂは、残差映像符号化手段１６Ｂによって、ステップＳ７６で生成したフレーム化残差映像Ｆｖを、所定の符号化方式で符号化して符号化残差映像ｆｖを生成し、残差映像ビットストリームとして出力する（ステップＳ７７）。
【０３９１】
［立体映像復号化装置の動作］
次に、図２６を参照（適宜図２２参照）して、第３実施形態に係る立体映像復号化装置２Ｂの動作について説明する。
【０３９２】
（基準視点映像復号化処理）
復号化装置２Ｂは、まず、基準視点映像復号化手段２１によって、基準視点映像ビットストリームを復号化して、基準視点映像Ｃ’を生成し、多視点映像の１つの映像として出力する（ステップＳ９１）。
【０３９３】
（奥行マップ復元処理）
次に、復号化装置２Ｂは、奥行マップ復元手段２８によって、奥行マップビットストリームを復号化して、復号化合成奥行マップＧ’ｄを生成する（ステップＳ９２）。本実施形態においては、このＳ９２は、次に示す２つのサブステップから構成される。
【０３９４】
まず、復号化装置２Ｂは、奥行マップ復号化手段２８ａによって、奥行マップビットストリームとして伝送される符号化奥行マップｇ２ｄを復号化して復号化縮小合成奥行マップＧ２’ｄを生成する。
そして、復号化装置２Ｂは、拡大手段２８ｂによって、復号化縮小合成奥行マップＧ２’ｄを元のサイズに拡大して復号化合成奥行マップＧ’ｄを生成する。
【０３９５】
（奥行マップ射影処理）
次に、復号化装置２Ｂは、奥行マップ射影手段２３Ｂの左奥行マップ射影手段２３ＢＬによって、ステップＳ９２で生成した復号化合成奥行マップＧ’ｄを、左指定視点Ｐｔに射影して、左指定視点Ｐｔにおける奥行マップである左指定視点奥行マップＰｄを生成するとともに、右奥行マップ射影手段２３ＢＲによって、復号化合成奥行マップＧ’ｄを、右指定視点Ｑｔに射影して、右指定視点Ｑｔにおける奥行マップである右指定視点奥行マップＱｄを生成する（ステップＳ９３）。
【０３９６】
（残差映像復号化処理）
また、復号化装置２Ｂは、残差映像復号化手段２４Ｂによって、残差映像ビットストリームを復号化して、フレーム化残差映像Ｆ’ｖを生成する（ステップＳ９４）。
【０３９７】
（残差映像分離処理）
次に、復号化装置２Ｂは、残差映像分離手段２７Ｂの分離手段２７Ｂａによって、ステップＳ９４で生成した復号化されたフレーム化残差映像Ｆ’ｖに結合されている２つの残差映像を分離し、更に拡大手段２７Ｂｂ及び拡大手段２７Ｂｃによって、それぞれ元のサイズに拡大して、左残差映像Ｌ’ｖ及び右残差映像Ｒ’ｖを生成する（ステップＳ９５）。
【０３９８】
（射影映像合成処理）
そして、復号化装置２Ｂは、左射影映像合成手段２５ＢＬによって、ステップＳ９３で生成した左指定視点奥行マップＰｄを用いて、ステップＳ９１で生成した基準視点映像Ｃ’と、ステップＳ９５で生成した左残差映像Ｌ’ｖとを、それぞれ左指定視点Ｐｔに射影した映像を合成して、左指定視点Ｐｔにおける映像である左指定視点映像Ｐを生成するとともに、右射影映像合成手段２５ＢＲによって、ステップＳ９３で生成した右指定視点奥行マップＱｄを用いて、ステップＳ９１で生成した基準視点映像Ｃ’と、ステップＳ９５で生成した右残差映像Ｒ’ｖとを、それぞれ右指定視点Ｑｔに射影した映像を合成して、右指定視点Ｑｔにおける映像である右指定視点映像Ｑを生成する（ステップＳ９６）。
【０３９９】
復号化装置２Ｂによって、ステップＳ９１で生成された基準視点映像Ｃ’と、ステップ９６で生成された左指定視点映像Ｐ及び右指定視点映像Ｑとは、多視点映像として、例えば、図１に示した立体映像表示装置４に出力され、多視点立体映像が表示される。
【０４００】
＜第３実施形態の変形例＞
次に、本発明の第３実施形態の変形例に係る立体映像符号化装置及び立体映像復号化装置について説明する。
【０４０１】
［立体映像符号化装置の構成］
まず、図１９及び図２１（ｂ）を参照して、本変形例に係る立体映像符号化装置の構成について説明する。
本変形例に係る立体映像符号化装置（全体構成は図示しないが、以下、適宜に「符号化装置１Ｃ」と呼ぶ）は、図１９に示した第３実施形態に係る符号化装置１Ｂの射影映像予測手段１５Ｂにおいて、左視点映像Ｌからオクルージョンホールとなる領域の画素を切出すこと（論理演算型）により左残差映像Ｌｖを生成することに代えて、左視点映像Ｌと符号化基準視点映像ｃを復号化した復号化基準視点映像Ｃ’を左視点に射影した映像との画素値の差を画素毎に映像全体について算出すること（減算型）により左残差映像Ｌｖを生成するものである。また、右残差映像Ｒｖの生成についても同様に、右視点映像Ｒと復号化基準視点映像Ｃ’を右視点に射影した映像との画素値の差を画素毎に映像全体について算出することにより右残差映像Ｒｖを生成する。
【０４０２】
なお、右残差映像Ｒｖの生成は、左残差映像Ｌｖの生成において、左視点映像Ｌに代えて右視点映像Ｒを用い、復号化基準視点映像Ｃ’を左視点に射影した映像を用いることに代えて復号化基準視点映像Ｃ’を右視点に射影した映像を用いること以外は同様であるから、説明は適宜省略する。
【０４０３】
本変形例に係る符号化装置１Ｃは、左残差映像Ｌｖを生成するために、図２１（ａ）に示した第３実施形態における左射影映像予測手段１５ＢＬに代えて、図２１（ｂ）に示した左射影映像予測手段１５ＣＬを備える。なお、右射影映像予測手段についても、同様である。
また、符号化装置１Ｃは、図１９に示した第３実施形態に係る符号化装置１Ｂにおいて、更に基準視点映像符号化手段１１が生成した符号化基準視点映像ｃを復号化する基準視点映像復号化手段（不図示）を備えるものとする。なお、この基準視点映像復号化手段は、図２２に示した基準視点映像復号化手段２１と同じものである。
【０４０４】
図２１（ｂ）に示すように、本変形例における左射影映像予測手段１５ＣＬは、左視点射影手段１５３と、残差算出手段１５４とを備えて構成されている。
左射影映像予測手段１５ＣＬは、不図示の基準視点映像復号化手段から復号化基準視点映像Ｃ’を、奥行マップ復元手段３０の拡大手段３０ｂから復号化合成奥行マップＧ’ｄを、それぞれ入力し、左残差映像Ｌｖを残差映像フレーム化手段１９Ｂの縮小手段１９Ｂａに出力する。
【０４０５】
左視点射影手段１５３は、不図示の基準視点映像復号化手段から復号化基準視点映像Ｃ’を入力し、復号化基準視点映像Ｃ’を左視点に射影して左視点映像Ｌ’Ｃを生成する。左視点射影手段１５３は、生成した左視点映像Ｌ’Ｃを残差算出手段１５４に出力する。このとき、左視点映像Ｌ’Ｃにおいて復号化基準視点映像Ｃ’から射影されない画素、すなわちオクルージョンホールとなる画素がある場合は、その画素の画素値として、所定の値を設定する。この所定の値は、例えば、各成分８ビットのデータの場合、各成分を、ともに画素値の取り得る範囲の中央値である「１２８」とすることが好ましい。これによって、左視点映像Ｌの画素値との差が各成分ともに符号を含めて８ビット以下のデータとなるため、符号化の効率を向上することができる。
【０４０６】
残差算出手段１５４は、左視点射影手段１５３から左視点映像Ｌ’Ｃを入力するとともに、外部から左視点映像Ｌを入力し、左視点映像Ｌと左視点映像Ｌ’Ｃとの間の差分である左残差映像Ｌｖを生成する。具体的には、残差算出手段１５４は、各画素の成分ごとに、映像全体について左視点映像Ｌの画素値から左視点映像Ｌ’Ｃの画素値を減算した値である差を画素値とする左残差映像Ｌｖを生成する。
残差算出手段１５４は、生成した左残差映像Ｌｖを残差映像フレーム化手段１９Ｂの縮小手段１９Ｂａに出力する。
【０４０７】
本変形例では、残差映像を生成する際に、復号化基準視点映像Ｃ’を用いるようにしたため、復号化装置側で残差映像を加算して指定視点映像を復元する際と、基準視点映像が同じ条件となり、より高品質な多視点映像とすることができる。
なお、残差映像を生成する際に、復号化基準視点映像Ｃ’に代えて基準視点映像Ｃを用いるようにしてもよい。これによって、基準視点映像復号化手段（不図示）を省略することができる。
【０４０８】
本変形例に係る符号化装置１Ｃのその他の構成については、第３実施形態に係る符号化装置１Ｂと同様であるから説明は省略する。
【０４０９】
［立体映像復号化装置の構成］
次に、図２２及び図２４（ｂ）を参照して、本変形例に係る立体映像復号化装置の構成について説明する。本変形例に係る立体映像復号化装置は、前記した変形例に係る符号化装置１Ｃから伝送路を介して伝送されるビットストリームを復号化して、多視点映像を生成するものである。
【０４１０】
すなわち、本変形例に係る立体映像復号化装置（全体構成は図示しないが、以下、適宜に「復号化装置２Ｃ」と呼ぶ）は、図２２に示した第３実施形態に係る復号化装置２Ｂの射影映像合成手段２５Ｂにおいて、前記した論理演算型により生成した左残差映像Ｌｖを用いて左指定視点映像Ｐを生成することに代えて、前記した減算型により生成した左残差映像Ｌｖを用いて左指定視点映像Ｐを生成するものである。
【０４１１】
また、右指定視点映像Ｑの生成についても同様に、右視点映像Ｒと復号化基準視点映像Ｃ’を右視点に射影した映像との画素毎の画素値の差を算出することにより生成した右残差映像Ｒｖを用いて生成する。
なお、右指定視点映像Ｑの生成は、左指定視点映像Ｐの生成において、左残差映像Ｌｖに代えて右残差映像Ｒｖを用い、射影する方向が、基準視点に対して左右逆となること以外は同様であるから、説明は適宜省略する。
【０４１２】
本変形例に係る復号化装置２Ｃは、左指定視点映像Ｐを生成するために、図２４（ａ）に示した第３実施形態における左射影映像合成手段２５ＢＬに代えて、図２４（ｂ）に示した左射影映像合成手段２５ＣＬを備える。なお、右射影映像合成手段についても、同様である。
【０４１３】
図２４（ｂ）に示すように、本変形例における左射影映像合成手段２５ＣＬは、図２４（ａ）に示した左射影映像合成手段２５ＢＬと同様に、基準視点映像復号化手段２１から基準視点映像Ｃ’を、残差映像分離手段２７Ｂの拡大手段２７Ｂｂから左残差映像Ｌ’ｖを、奥行マップ射影手段２３Ｂの左奥行マップ射影手段２３ＢＬから左指定視点奥行マップＰｄを、それぞれ入力し、左指定視点映像Ｐを生成する。
このために、左射影映像合成手段２５ＣＬは、基準視点映像射影手段２５１Ｃと、残差映像射影手段２５２Ｃとを有して構成されている。
【０４１４】
基準視点映像射影手段２５１Ｃは、図２４（ａ）に示した基準視点映像射影手段２５１Ｂとは、穴マスク膨張手段２５１Ｂｄを有さないことと、基準視点映像画素複写手段２５１Ｂｃに代えて基準視点映像画素複写手段２５１Ｃｃを有することと、ホール画素検出手段２５１Ｂａが生成した穴マスクＰ１ｈを基準視点映像画素複写手段２５１Ｃｃ及び共通穴検出手段２５２Ｂｅに出力することと、が異なる。
なお、第３実施形態と同様の構成については、同じ符号を付して適宜説明を省略する。
【０４１５】
なお、減算型で残差映像を生成する場合は、論理演算型で残差映像を生成する場合と異なり、残差映像は全画素が有効な画素値を有するので、論理演算型のように有効画素が無い部分が指定視点映像の合成に使われる恐れはなく、穴マスクＰ１ｈを膨張する必要がない。
【０４１６】
基準視点映像画素複写手段２５１Ｃｃは、指定視点映像射影手段２５１Ｂｂから左指定視点射影映像Ｐ１Ｃを、ホール画素検出手段２５１Ｂａから穴マスクＰ１ｈを、それぞれ入力する。そして、基準視点映像画素複写手段２５１Ｃｃは、穴マスクＰ１ｈを参照して、左指定視点射影映像Ｐ１Ｃにおいてオクルージョンホールとならない領域の画素を、左指定視点射影映像Ｐ１Ｃから複写して左指定視点映像ＰＣを生成する。
【０４１７】
このとき、基準視点映像画素複写手段２５１Ｃｃは、オクルージョンホールとなる領域の画素については、前記した左視点射影手段１５３（図２１（ｂ）参照）がオクルージョンホールとなる画素に対して設定した所定の値を、その画素の画素値として設定する。これによって、左指定視点映像ＰＣにおいてオクルージョンホールとなっている画素についても、後記する残差加算手段２５２ｆによって、当該画素に左指定視点射影残差映像ＰＬｖの画素が加算されることで、適切な画素値が復元される。
また、基準視点映像画素複写手段２５１Ｃｃは、生成した左指定視点映像ＰＣを残差映像射影手段２５２Ｃの残差加算手段２５２ｆに出力する。
【０４１８】
残差映像射影手段２５２Ｃは、図２４（ａ）に示した残差映像射影手段２５２Ｂとは、指定視点映像射影手段２５２Ｂａ及び残差映像画素複写手段２５２Ｂｂに代えて、それぞれ指定視点映像射影手段２５２Ｃａ及び残差加算手段２５２ｆを有することと、穴マスクＰ２ｈに代えて、穴マスクＰ１ｈを共通穴検出手段２５２Ｂｅに入力することとが異なる。
なお、第３実施形態と同様の構成については、同じ符号を付して適宜説明を省略する。
【０４１９】
本変形例における指定視点映像射影手段２５２Ｃａは、第３実施形態における指定視点映像射影手段２５２Ｂａとは、射影する対象である左残差映像Ｌ’ｖが論理演算型で生成したものに代えて、減算型で生成したものであることが異なる。
指定視点映像射影手段２５２Ｃａは、左指定視点奥行マップＰｄを用いて、左残差映像Ｌ’ｖを左指定視点に射影することで左指定視点射影残差映像ＰＬｖを生成し、生成した左指定視点射影残差映像ＰＬｖを残差加算手段２５２ｆに出力する。
【０４２０】
また、指定視点映像射影手段２５２Ｃａは、左残差映像Ｌ’ｖを左指定視点に射影したときにオクルージョンホールとなる画素については、所定の値を設定する。ここで、所定の値として、画素の全成分について「０」を設定する。これによって、この射影により生成された左指定視点射影残差映像ＰＬｖにおいてオクルージョンホールとなっている画素が、後記する残差加算手段２５２ｆによって、左指定視点映像ＰＣの画素に加算された場合でも、通常は残差映像内でオクルージョンホールとなる画素部分は、基準視点映像内にこの画素に対応する有効な画素が存在するので、適切な画素値が復元される。
なお、指定視点映像射影手段２５２Ｃａのその他の構成は、第３実施形態における指定視点映像射影手段２５２Ｂａと同様であるから、詳細な説明は省略する。
【０４２１】
残差加算手段２５２ｆは、基準視点映像画素複写手段２５１Ｃｃから左指定視点映像ＰＣを、指定視点映像射影手段２５２Ｃａから左指定視点射影残差映像ＰＬｖを、それぞれ入力する。そして、残差加算手段２５２ｆは、左指定視点射影残差映像ＰＬｖと、左指定視点映像ＰＣとの対応する各画素同士を加算し、左指定視点Ｐｔにおける映像である左指定視点映像Ｐ１を生成する。
残差加算手段２５２ｆは、生成した左指定視点映像Ｐ１を穴埋め処理手段２５２Ｂｃに出力する。
【０４２２】
共通穴検出手段２５２Ｂｅは、ホール画素検出手段２５１Ｂａから左指定視点映像Ｐｃについての穴マスクＰ１ｈを、ホール画素検出手段２５２Ｂｄから左指定視点射影残差映像ＰＬｖについての穴マスクＰ３ｈを、それぞれ入力する。そして、共通穴検出手段２５２Ｂｅは、画素毎に穴マスクＰ１ｈと穴マスクＰ３ｈとの論理積を算出して共通穴マスクである穴マスクＰ４ｈを生成し、穴埋め処理手段２５２Ｂｃに出力する。
【０４２３】
穴埋め処理手段２５２Ｂｃは、この左指定視点映像Ｐ１において、基準視点映像画素複写手段２５１Ｃｃによって有効な画素が複写されず、かつ、残差加算手段２５２ｆによって有効な残差が加算されなかった画素を示す穴マスクＰ４ｈを参照して、これらの穴となっている画素について、その画素の周囲の有効な画素値を用いて穴埋めして左指定視点映像Ｐを生成する。穴埋め処理手段２５２Ｂｃは、生成した左指定視点映像Ｐを、多視点映像における１つの映像として立体映像表示装置４（図１参照）に出力する。
【０４２４】
本変形例における共通穴検出手段２５２Ｂｅは、ホール画素検出手段２５１Ｂａから穴マスクＰ１ｈを、ホール画素検出手段２５２Ｂｄから穴マスクＰ３ｈを、それぞれ入力する。そして、共通穴検出手段２５２Ｂｅは、画素毎に穴マスクＰ１ｈと穴マスクＰ３ｈとの論理積を算出して、穴マスクＰ４ｈを生成し、穴埋め処理手段２５２Ｂｃに出力する。
なお、穴マスクＰ４ｈは、前記したように、左指定視点映像Ｐ１において基準視点映像画素複写手段２５１Ｃｃによって有効な画素が複写されず、かつ、残差加算手段２５２ｆによって有効な残差が加算されなかったため、有効な画素値を有さずに穴となっている画素を示すものである。
【０４２５】
本変形例に係る符号化装置１Ｃの動作は、図２５に示した第３実施形態に係る符号化装置１Ｂの動作において、基準視点映像符号化処理ステップＳ７１と射影映像予測処理ステップＳ７５との間に、基準視点映像復号化手段（不図示）によって、ステップＳ７１で生成された符号化基準視点映像ｃを復号化して復号化基準視点映像Ｃ’を生成するステップを行うことと、射影映像予測処理ステップＳ７５において、図２１（ｂ）に示した左射影映像予測手段１５ＣＬ及びこれと同様の構成を有する右射影映像予測手段（不図示）を備えた射影映像予測手段（不図示）によって、減算型の左残差映像Ｌｖ及び右残差映像Ｒｖを生成することが異なる。その他の処理は第３実施形態に係る符号化装置１Ｂと同様であるから、説明は省略する。
【０４２６】
また、本変形例に係る復号化装置２Ｃの動作は、図２６に示した第３実施形態に係る復号化装置２Ｂの射影映像合成処理ステップＳ９６において、図２４（ｂ）に示した左射影映像合成手段２５ＣＬ及びこれと同様の構成を有する右射影映像合成手段（不図示）を備えた射影映像合成手段（不図示）によって、減算型の左残差映像Ｌｖ及び右残差映像Ｒｖを用いて左指定視点映像Ｐ及び右指定視点映像Ｑを生成することが異なる。その他の処理は第３実施形態に係る復号化装置２Ｂと同様であるから、説明は省略する。
【０４２７】
本変形例のように、減算型で残差映像を生成することにより、論理演算型で残差映像を生成する場合に比べ、残差映像のデータ量は増加するが、復号化装置側で、基準視点映像の射影では近似しきれない微妙な色の違いなどを、残差信号で補正することができるので、より高品質の多視点映像を生成することができる。
また、減算型で残差映像を生成する射影映像予測手段についての本変形例の構成は、第１実施形態における射影映像予測手段１５及び第２実施形態における射影映像予測手段１５Ａに適用することもできる。同様に、減算型の残差映像を用いて指定視点映像を生成する射影映像合成手段についての本変形例の構成は、第１実施形態における射影映像合成手段２５及び第２実施形態における射影映像合成手段２５Ａに適用することもできる。
【０４２８】
＜第４実施形態＞
次に、本発明の第４実施形態に係る立体映像符号化装置及び立体映像復号化装置を含んだ立体映像伝送システムの構成について説明する。
第４実施形態に係る立体映像符号化装置及び立体映像復号化装置を含んだ立体映像伝送システムは、図１に示した立体映像伝送システムＳにおいて、立体映像符号化装置１及び立体映像復号化装置２に代えて、それぞれ立体映像符号化装置５（図２７参照）及び立体映像復号化装置６（図３１参照）を含むものである。また、立体映像符号化装置５から立体映像復号化装置６へ伝送されるビットストリームは、基準視点映像ビットストリーム、奥行マップビットストリーム、残差映像ビットストリーム及び指定視点映像を合成する際に必要な補助情報が多重化された多重化ビットストリームである。
なお、ビットストリームが多重化されること以外は、前記した各実施形態における立体映像伝送システムと同様であるから、共通する構成についての詳細な説明は適宜省略する。
【０４２９】
［立体映像符号化装置の構成］
次に、図２７を参照して、第４実施形態に係る立体映像符号化装置５の構成について説明する。
図２７に示すように、第４実施形態に係る立体映像符号化装置５（以下、適宜に「符号化装置５」と呼ぶ）は、ビットストリーム多重化手段５０と符号化処理部５１とを備えて構成されている。
【０４３０】
符号化処理部５１は、前記した第１実施形態、第２実施形態、第３実施形態及びその変形例に係る符号化装置１，１Ａ，１Ｂ，１Ｃ（以下、適宜「符号化装置１等」と呼ぶ）に相当し、外部（例えば、図１に示した立体映像作成装置３）から複数の視点映像Ｃ，Ｌ，Ｒ及びこれらに付随する奥行マップＣｄ，Ｌｄ，Ｒｄを入力して、基準視点映像ビットストリーム、奥行マップビットストリーム及び残差映像ビットストリームをビットストリーム多重化手段５０に出力するものである。
また、ビットストリーム多重化手段５０は、符号化処理部５１から出力される各ビットストリーム及び外部から入力した補助情報ｈを多重化した多重化ビットストリームを生成し、復号化装置６（図３１参照）に出力するものである。
【０４３１】
符号化処理部５１は、前記したように符号化装置１等に相当するものであり、基準視点映像符号化手段５１１と、奥行マップ合成手段５１２と、奥行マップ符号化手段５１３と、奥行マップ復元手段５１４と、射影映像予測手段５１５と、残差映像符号化手段５１６と、を備えている。
以下、符号化処理部５１の各構成要素について図２７を参照（適宜図２、図１２及び図１９参照）して説明する。なお、符号化処理部５１の各構成要素は、符号化装置１等における１又は２以上の構成要素によって構成することができるため、両者の構成要素の対応関係を示し、詳細な説明は適宜省略する。
【０４３２】
基準視点映像符号化手段５１１は、外部から基準視点映像Ｃを入力して、基準視点映像Ｃを所定の符号化方式で符号化した符号化基準視点映像ｃを生成し、ビットストリーム多重化手段５０に出力する。
基準視点映像符号化手段５１１は、符号化装置１等における基準視点映像符号化手段１１に相当するものである。
【０４３３】
奥行マップ合成手段５１２は、外部から基準視点奥行マップＣｄ、左視点奥行マップＬｄ及び右視点奥行マップＲｄを入力して、これらの奥行マップを適宜合成して合成奥行マップＧ２ｄを生成し、奥行マップ符号化手段５１３に出力する。外部から入力する奥行マップは、３つの限定されるものではなく、２又は４以上であってもよい。また、合成奥行マップは、縮小されたものでもよく、２以上の合成奥行マップがフレーム化され、更に縮小されたものでもよい。
【０４３４】
なお、図２７においては、説明の便宜上、各構成要素間に入出力されるデータの符号は、符号化処理部５１の構成として図１９に示した第３実施形態に係る符号化装置１Ｂを用いた場合の符号（Ｇ２ｄ，ｇ２ｄ、Ｇ２’ｄ，Ｆｖ，ｆｖ，ｃ）を例として示している。他の実施形態に係る符号化装置１等を用いる場合は、適宜符号を読み替えるものとする。後記する図２８についても同様である。
【０４３５】
奥行マップ合成手段５１２は、符号化装置１の奥行マップ合成手段１２、符号化装置１Ａの奥行マップ合成手段１２Ａ及び奥行マップフレーム化手段１７、又は符号化装置１Ｂ，１Ｃの奥行マップ合成手段１２Ｂ、に相当するものである。
【０４３６】
奥行マップ符号化手段５１３は、奥行マップ合成手段５１２から合成奥行マップＧ２ｄを入力して、所定の符号化方式で符号化して符号化奥行マップｇ２ｄを生成し、奥行マップ復元手段５１４及びビットストリーム多重化手段５０に出力する。
奥行マップ符号化手段５１３は、符号化装置１の奥行マップ符号化手段１３、符号化装置１Ａの奥行マップ符号化手段１３Ａ、又は符号化装置１Ｂ，１Ｃの奥行マップ符号化手段１３Ｂ、に相当するものである。
【０４３７】
奥行マップ復元手段５１４は、奥行マップ符号化手段５１３から符号化奥行マップｇ２ｄを入力し、符号化奥行マップｇ２ｄを復号化し、復号化合成奥行マップＧ’ｄを生成する。奥行マップ復元手段５１４は、生成した復号化合成奥行マップＧ’ｄを射影映像予測手段５１５に出力する。
【０４３８】
ここで、奥行マップ復元手段５１４に入力される符号化奥行マップは、単一の合成奥行マップに限定されず、複数の奥行マップがフレーム化され、更に縮小されているものであってもよい。奥行マップ復元手段５１４は、入力された符号化奥行マップがフレーム化されている場合は、復号化の後に個々の合成奥行マップに分離し、また縮小されている場合は、復号化の後に又は分離した後に元のサイズに拡大して出力するものとする。
【０４３９】
奥行マップ復元手段５１４は、符号化装置１の奥行マップ復号化手段１４、符号化装置１Ａの奥行マップ復号化手段１４Ａ及び奥行マップ分離手段１８、又は符号化装置１Ｂ，１Ｃの奥行マップ復元手段３０、に相当するものである。
【０４４０】
射影映像予測手段５１５は、奥行マップ復元手段５１４から復号化合成奥行マップＧ’ｄを、外部から左視点映像Ｌ、右視点映像Ｒ及び必要に応じて指定視点Ｐｔ，Ｑｔの情報を、それぞれ入力して、残差映像Ｆｖを生成する。射影映像予測手段５１５は、生成した残差映像Ｆｖを残差映像符号化手段５１６に出力する。
ここで、生成する残差映像は、１つの残差映像であってもよく、基準視点と複数の他の視点との間における残差映像が１つにフレーム化されたものでもよく、更に縮小されたものでもよい。何れの場合も、生成された残差映像は、１視点映像として残差映像符号化手段５１６に出力される。
【０４４１】
射影映像予測手段５１５は、符号化装置１の射影映像予測手段１５、符号化装置１Ａの射影映像予測手段１５Ａ及び残差映像フレーム化手段１９、符号化装置１Ｂの射影映像予測手段１５Ｂ及び残差映像フレーム化手段１９Ｂ、又は符号化装置１Ｃの射影映像予測手段１５Ｃ（不図示）、に相当するものである。
【０４４２】
なお、符号化処理部５１として、第３実施形態の変形例に係る符号化装置１Ｃを用いる場合は、符号化処理部５１は、更に基準視点映像復号化手段（不図示）を備えるものとする。この基準視点映像復号化手段（不図示）は、基準視点映像符号化手段５１１から出力される符号化基準視点映像ｃを復号化して復号化基準視点映像Ｃ’を生成し、生成した復号化基準視点映像Ｃ’を射影映像予測手段５１５に出力するものである。
この基準視点映像復号化手段（不図示）は、図７に示した基準視点映像復号化手段２１と同様のものを用いることができる。
なお、基準視点映像復号化手段を備えず、射影映像予測手段５１５は、基準視点映像Ｃを入力して用いるようにしてもよい。
【０４４３】
残差映像符号化手段５１６は、射影映像予測手段５１５から残差映像Ｆｖを入力し、所定の符号化方式により符号化して符号化残差映像ｆｖを生成する。残差映像符号化手段５１６は、生成した符号化残差映像ｆｖをビットストリーム多重化手段５０に出力する。
残差映像符号化手段５１６は、符号化装置１の残差映像符号化手段１６、符号化装置１Ａの残差映像符号化手段１６Ａ、又は符号化装置１Ｂ，１Ｃの残差映像符号化手段１６Ｂ、に相当するものである。
【０４４４】
次に、図２８及び図２９を参照（適宜図２７参照）して、ビットストリーム多重化手段５０の構成について説明する。
図２８に示すように、ビットストリーム多重化手段５０は、スイッチ（切替手段）５０１と、補助情報ヘッダ付加手段５０２と、奥行ヘッダ付加手段５０３と、残差ヘッダ付加手段５０４と、を備えて構成されている。
なお、図２８においては、説明の便宜上、符号化処理部５１として、符号化装置１Ｂを用いた場合を想定して、各ビットストリームについて説明するが、これに限定されるものではない。他の実施形態における符号化装置１等を用いる場合は、残差映像Ｆｖなどの信号名を、適宜読み替えるものとする。
【０４４５】
ビットストリーム多重化手段５０は、符号化処理部５１から基準視点映像ビットストリーム、奥行マップビットストリーム及び残差映像ビットストリームを入力するとともに、これらのビットストリームに含まれる映像についての属性を示す補助情報ｈを外部（例えば、図１に示した立体映像作成装置３）から入力し、これらのビットストリーム及び補助情報ｈをそれぞれ識別できるように識別情報を付加して、多重化ビットストリームを生成するものである。
【０４４６】
スイッチ（切替手段）５０１は、４つの入力端子Ａ１〜Ａ４と１つの出力端子Ｂとの接続を切り替えて、入力端子Ａ１〜Ａ４に入力される信号の１つを選択して出力端子Ｂから出力することにより、４つの入力端子Ａ１〜Ａ４に入力されたビットストリームを多重化して出力するものである。
【０４４７】
ここで、入力端子Ａ１には、補助情報ヘッダ付加手段５０２から所定のヘッダが付加された補助情報のビットストリームが入力される。入力端子Ａ２には、符号化処理部５１の基準視点映像符号化手段５１１から基準視点映像ビットストリームとして符号化基準視点映像ｃが入力される。入力端子Ａ３には、奥行ヘッダ付加手段５０３から所定のヘッダが付加された奥行マップビットストリームが入力される。入力端子Ａ４には、残差ヘッダ付加手段５０４から所定のヘッダが付加された残差映像ビットストリームが入力される。
【０４４８】
ここで、ビットストリームのデータ構造について説明する。
まず、本実施形態に係る符号化装置５において、基準視点映像符号化手段５１１、奥行マップ符号化手段５１３及び残差映像符号化手段５１６が生成するビットストリームは、何れも、１視点映像として符号化されたことを示すヘッダを有するものとする。
【０４４９】
基準視点映像符号化手段５１１、奥行マップ符号化手段５１３及び残差映像符号化手段５１６が、例えば、ＭＰＥＧ−４  ＡＶＣ符号化方式において、１視点映像として符号化した場合は、図２９（ａ）に示すように、これらの符号化手段が出力するビットストリーム７０は、その符号化方式の仕様書に規定されている「１視点映像」ビットストリーム構造に準じて、何れも同じヘッダを有している。
【０４５０】
具体的には、これらの先頭にユニークな開始コード７０１（例えば、３バイト長のデータ「００１」）があり、続いて１視点映像のビットストリームであることを示す１視点映像ヘッダ（第１識別情報）７０２（例えば、１バイトデータであって、下位５ビットが「００００１」）があり、その後に、１視点映像のビットストリーム本体７０３が続いている。ビットストリームの終了は、例えば、３バイト以上の「０」が連続する終了コードを検出することで認識することがきる。
なお、ビットストリーム本体７０３には、開始コード及び終了コードと一致するビット列は含まれないように符号化されているものとする。
【０４５１】
なお、この例の場合、ビットストリームの最後に終了コードとして３バイト長の「０００」をフッタとして付加してもよいが、１バイトの「０」を付加するようにしてもよい。１バイトの「０」を付加することにより、このビットストリームの後ろに続くビットストリームにおけるヘッダの開始コードの先頭の２バイトの「００」と合わせて、３バイトの「０００」が出現するため、ビットストリームの終了を認識することができる。
【０４５２】
また、開始コードを４バイトとし、上位の３バイトを「０００」、下位の１バイトを「１」とすることにより、ビットストリームの終端に「０」を付加することなく、後ろに続くビットストリームのヘッダの開始コードの先頭の３バイトの「０００」によって、前のビットストリームの終了を認識することができる。
【０４５３】
符号化処理部５１からビットストリーム多重化手段５０に入力される３系統のビットストリームは、何れも図２９（ａ）に示したビットストリーム７０の構造を有するものである。そこで、ビットストリーム多重化手段５０は、符号化手段によって付与された既存のヘッダに、符号化処理部５１から入力する３系統のビットストリームが、それぞれ、基準視点映像のものか、奥行マップのものか、残差映像のものかを識別するための識別情報としてヘッダ及びフラグを追加する。また、ビットストリーム多重化手段５０は、これらのビットストリームの他に、本実施形態に係る復号化装置６（図３１参照）で、多視点映像を合成するために必要な補助情報について、立体映像に関する補助情報であること識別するための識別情報としてヘッダ及びフラグを付加して出力する。
【０４５４】
具体的には、ビットストリーム多重化手段５０は、基準視点映像符号化手段５１１が出力するビットストリームについて、図２９（ｂ）に示すように、ビットストリーム７１の構造を変えることなく、そのまま、基準視点映像ビットストリームとして、スイッチ５０１を介して出力する。これにより、このビットストリームを受信するのが、１視点映像を復号化する既存の復号化装置である場合は、このビットストリームを、１視点映像として従来通り復号化することができ、映像の復号化装置としての互換性を保つことができる。
【０４５５】
奥行ヘッダ付加手段５０３は、符号化処理部５１の奥行マップ符号化手段５１３から奥行ビットストリームとして符号化奥行マップｇ２ｄを入力し、既存のヘッダに所定の識別情報を挿入することで、図２９（ｃ）に示すビットストリーム７２の構造を有するビットストリームを生成してスイッチ５０１に出力する。
【０４５６】
具体的には、奥行ヘッダ付加手段５０３は、奥行マップ符号化手段５１３から入力した奥行マップビットストリームに含まれる１視点映像ビットストリームの開始コード７０１を検出し、その直後に、この奥行マップビットストリームが、立体映像に関するデータであることを示す１バイトの「立体映像ヘッダ（第２識別情報）７０４」を挿入する。立体映像ヘッダ７０４の値は、下位５ビットの値を、例えば、ＭＰＥＧ−４  ＡＶＣの規格で、これまでに規定されてないヘッダ値である、例えば「１１０００」とする。これによって、立体映像ヘッダ７０４以降のビットストリームが、本発明による立体映像に関するビットストリームであることが示される。また、このように立体映像ヘッダ７０４としてユニークな値を割当てることで、１視点映像を復号化する既存の復号化装置が、立体映像ヘッダ７０４を有するビットストリームを受信した場合は、以降のビットストリームを、不明なデータとして無視することができる。このため、既存の復号化装置の誤動作を防止することができる。
【０４５７】
更に、奥行ヘッダ付加手段５０３は、立体映像ヘッダ７０４以降のビットストリームが奥行マップビットストリームであることを示すために、立体映像ヘッダ７０４の後ろに、更に１バイトの奥行フラグ（第３識別情報）７０５を挿入し、スイッチ５０１を介して、他のビットストリームと多重化して出力する。奥行フラグ７０５としては、例えば８ビットの「１００００００００」の値を割当てることができる。
これによって、本発明の復号化装置６（図３１参照）は、このビットストリームが、奥行マップビットストリームであることを識別することができる。
【０４５８】
残差ヘッダ付加手段５０４は、符号化処理部５１の残差映像符号化手段５１６から残差映像ビットストリームとして符号化残差映像ｆｖを入力し、既存のヘッダに所定の識別情報を挿入することで、図２９（ｄ）に示すビットストリーム７３の構造を有するビットストリームを生成してスイッチ５０１に出力する。
【０４５９】
具体的には、残差ヘッダ付加手段５０４は、残差映像符号化手段５１６から入力した残差映像ビットストリームに含まれる１視点映像ビットストリームの開始コード７０１を、奥行ヘッダ付加手段５０３と同様にして検出し、その直後に、この残差映像ビットストリームが立体映像に関するデータであることを示す１バイトの立体映像ヘッダ７０４（例えば、下位５ビットの値が「１１０００」）と、更に残差映像であることを示す１バイトの残差フラグ（第４識別情報）７０６とを挿入し、スイッチ５０１を介して、他のビットストリームと多重化して出力する。
なお、残差フラグ７０６としては、奥行フラグ７０５とは異なる値、例えば８ビットの「１０１０００００」の値を割当てることができる。
【０４６０】
前記した奥行マップビットストリームの場合と同様に、立体映像ヘッダ７０４を挿入することによって、１視点映像を復号化する既存の復号化装置の誤動作を防止することができる。また、残差フラグ７０６を挿入することにより、本発明の復号化装置６（図３１参照）は、このビットストリームが、残差映像マップビットストリームであることを識別することができる。
【０４６１】
補助情報ヘッダ付加手段５０２は、外部（例えば、図１に示した立体映像作成装置３）から復号化装置６が多視点映像を合成するために必要な補助情報ｈを入力し、所定のヘッダを付加して、図２９（ｅ）に示すビットストリーム７４の構造を有するビットストリームを生成してスイッチ５０１に出力するものである。
【０４６２】
補助情報ヘッダ付加手段５０２は、外部から入力した補助情報ｈの先頭に、前記した開始コード７０１（例えば、３バイトのデータ「００１」）を付加し、その直後に、以降のビット列が立体映像に関するデータであることを示す立体映像ヘッダ７０４（例えば、下位５ビットの値が「１１０００」）を付加する。更に、補助情報ヘッダ付加手段５０２は、立体映像ヘッダ７０４の後ろに、以降のデータが、補助情報であること示す１バイトの補助情報フラグ（第５識別情報）７０７を付加する。
なお、補助情報フラグ７０７としては、奥行フラグ７０５でも残差フラグ７０６でもない値、例えば８ビットの「１１００００００」の値を割当てることができる。
【０４６３】
このように、補助情報ヘッダ付加手段５０２は、開始コード７０１と立体映像ヘッダ７０４と補助情報フラグ７０７とを補助情報本体に付加した後に、スイッチ５０１を介して、他のビットストリームと多重化して出力する。
前記した奥行マップビットストリーム及び残差映像ビットストリームの場合と同様に、立体映像ヘッダ７０４を挿入することによって、１視点映像を復号化する既存の復号化装置の誤動作を防止することができる。また、補助情報フラグ７０７を挿入することにより、本発明の復号化装置６（図３１参照）は、このビットストリームが、多視点映像の合成に必要な補助情報ビットストリームであることを識別することができる。
【０４６４】
スイッチ５０１は、補助情報ビットストリーム、基準視点映像ビットストリーム、奥行マップビットストリーム、及び残差映像ビットストリームが、この順に選択されるように切り替えることにより、これらのビットストリームを多重化ビットストリームとして出力する。
【０４６５】
次に、図３０を参照して、補助情報の構成の具体例について説明する。
補助情報は、符号化装置５で符号化されて出力される多視点映像についての属性を示す情報である。補助情報には、例えば、モード、最近距離、最遠距離、焦点距離、並びに基準視点及び副視点の各位置を示す情報が含まれ、多視点映像に付随して符号化装置５から復号化装置６に出力される。
復号化装置６は、符号化装置５から入力したビットストリームを復号化して得られた奥行マップ、基準視点映像及び残差映像を用いて、これらの映像を指定視点に射影して指定視点における射影映像を合成する際に、必要に応じて補助情報を参照する。
【０４６６】
また、補助情報は、前記した他の実施形態に係る復号化装置２等においても、奥行マップや映像を他の視点に射影する際に適宜参照されるものである。
例えば、図５に示したような、各視点の位置を示す情報が補助情報に含まれ、奥行マップや映像を射影する際のシフト量を算出するときに用いられる。
【０４６７】
本発明の復号化装置６（図３１参照）が多視点映像の合成に必要な補助情報は、図２９（ｅ）に示した補助情報本体７０８として、例えば、図３０に示したパラメータの名前とその値とをスペースで区切り、並べて構成する。また、各パラメータの順番を固定にし、その値のみを順にスペースで区切り、並べて構成してもよい。更にまた、パラメータのデータ長と並び順とを予め定めておき、パラーメタの値をその順に並べて構成し、先頭からのバイト数でパラメータの種類を識別するようにしてもよい。
以下、図３０に示したパラメータについて説明する。
【０４６８】
「モード」は、符号化された残差映像及び合成奥行マップが、例えば、第１実施形態に係る符号化装置１により生成された「２ビュー１デプス」のものか、第２実施形態に係る符号化装置１Ａにより生成された「３ビュー２デプス」のものか、第３実施形態に係る符号化装置１Ｂにより生成された「３ビュー１デプス」のものか、などの立体映像データの生成モードを示すものである。例えば、前記した各実施形態に対応して、それぞれ、値「０」、「１」、「２」などを割当てて区別することができる。
なお、ここで「ビュー」とは、基準視点映像ビットストリームと残差映像ビットストリームに含まれる映像の視点数の合計を示すものである。また「デプス」とは、奥行マップビットストリームに含まれる合成奥行マップの視点数を示すものである。
【０４６９】
「最近距離」は、外部から入力される多視点映像に映っている被写体の内、最もカメラに近い被写体までの距離を示す。また、「最遠距離」は、外部から入力される多視点映像に映っている被写体の内、最もカメラから遠い被写体までの距離を示し、ともに復号化装置６（図３１参照）において指定視点映像を合成する際に、奥行マップの値を視差量に変換する時に使い、画素をシフトさせる量を決めるために用いられる。
【０４７０】
「焦点距離」は、入力される多視点映像を撮影したカメラの焦点距離を示し、復号化装置６（図３１参照）で合成する指定視点映像の位置を決めるために用いられる。なお、焦点距離は、多視点映像を撮影したカメラの撮像素子や立体映像表示装置の画素サイズを単位として定めることができる。但し、これに限定されるものではない。
【０４７１】
「左視点座標値」、「基準視点座標値」及び「右視点座標値」は、それぞれ、左視点映像、中央である基準視点映像及び右視点映像を撮影したカメラのＸ座標を表わし、復号化装置６（図３１参照）で合成する指定視点映像の位置を決めるために用いられる。
【０４７２】
補助情報は、以上に説明したパラメータに限らず、他のパラメータを含んでもよい。例えば、カメラ内の撮像素子の中心位置が、カメラの光軸からずれている場合に、そのずれ量を示す値を更に含んでもよい。この値は、合成映像の位置を補正するために用いることができる。
【０４７３】
なお、補助情報は、ビットストリームのフレーム毎に変化するパラメータがある場合、変化するパラメータと変化しないパラメータを、別々の補助情報として多重化ビットストリームに挿入してもよい。例えば、モード、焦点距離などのように、一連の立体映像についてのビットストリーム全体で変わらないパラメータを含む補助情報は、この一連のビットストリームの先頭に1回のみ挿入する。そして、フレーム毎に変わる可能性のある最近距離、最遠距離、左視点座標、右視点座標などのパラメータは、別の補助情報として、フレーム毎にビットストリームに挿入してもよい。
【０４７４】
この場合は、ビットストリームの中の開始コード７０１（図２９参照）は、フレーム毎に付いているものとし、補助情報の種類を区別するために、複数種類の補助情報フラグ７０７として、例えば８ビットの「１１００００００」の値と、「１１０００００１」の値とを定義し、前記したのと同じ手順で、途中で変化するパラメータを含む補助情報をフレーム毎に挿入する。このようにすることで、補助情報の重複を防ぐことができ、符号化効率を改善することができる。
【０４７５】
なお、途中で変化する補助情報を一連のビットストリーム中に、フレーム毎に挿入する場合は、各フレームに属する基準視映像ビットストリーム、奥行マップビットストリーム、残差映像ビットストリーム及び補助情報の内で、補助情報を最初に多重化ビットストリームに出力することが好ましい。これによって、復号化装置６（図３１参照）において、この補助情報を用いて多視点映像を生成する際の遅延時間を小さくすることができる。
【０４７６】
［立体映像復号化装置の構成］
次に、図３１を参照して、第４実施形態に係る立体映像復号化装置６の構成について説明する。立体映像復号化装置６は、図２７に示した立体映像符号化装置５から伝送路を介して伝送されるビットストリームを復号化して、多視点映像を生成するものである。
図３１に示すように、第４実施形態に係る立体映像復号化装置６（以下、適宜に「復号化装置６」と呼ぶ）は、ビットストリーム分離手段６０と復号化処理部６１とを備えて構成されている。
【０４７７】
ビットストリーム分離手段６０は、符号化装置５（図２７参照）から多重化ビットストリームを入力し、入力した多重化ビットストリームを、基準視点映像ビットストリームと、奥行マップビットストリームと、残差映像ビットストリームと、補助情報とに分離する。ビットストリーム分離手段６０は、分離した、基準視点映像ビットストリームを基準視点映像復号化手段６１１に、奥行マップビットストリームを奥行マップ復元手段６１２に、残差映像ビットストリームを残差映像復元手段６１４に、補助情報を奥行マップ射影手段６１３及び射影映像合成手段６１５に、それぞれ出力する。
【０４７８】
また、復号化処理部６１は、ビットストリーム分離手段６０から基準視点映像ビットストリーム、奥行マップビットストリーム及び残差映像ビットストリームを、外部（例えば、図１に示した立体映像表示装置４）から合成する多視点についいての指定視点Ｐｔ，Ｑｔを、それぞれ入力し、基準視点映像Ｃ’を復号化するとともに、左指定視点映像Ｐ及び右指定視点映像Ｑを合成することで多視点映像（Ｃ’，Ｐ，Ｑ）を生成するものである。
また、復号化処理部６１は、生成した多視点映像を、例えば、図１に示した立体映像表示装置４に出力する。そして、立体映像表示装置４は、この多視点映像を視認可能に表示する。
【０４７９】
なお、本実施形態に係る復号化装置６おいて、入力する基準視点映像ビットストリーム、奥行マップビットストリーム及び残差映像ビットストリームは、前記した符号化装置５に対応して、ＭＰＥＧ−４  ＡＶＣ符号化方式で符号化され、図２９に示したビットストリーム構造を有するものとして説明する。
【０４８０】
まず、復号化処理部６１について説明する。
復号化処理部６１は、前記した第１実施形態、第２実施形態、第３実施形態及びその変形例に係る復号化装置２，２Ａ，２Ｂ，２Ｃ（以下、適宜「復号化装置２等」と呼ぶ）に相当するものであり、基準視点映像復号化手段６１１と、奥行マップ復元手段６１２と、奥行マップ射影手段６１３と、残差映像復元手段６１４と、射影映像合成手段６１５と、を備えている。
【０４８１】
以下、復号化処理部６１の各構成要素について、図３１を参照（適宜図７、図１４及び図２２参照）して説明する。なお、復号化処理部６１の各構成要素は、復号化装置２等における１又は２以上の構成要素によって構成することができるため、両者の構成要素の対応関係を示し、詳細な説明は適宜省略する。
【０４８２】
基準視点映像復号化手段６１１は、ビットストリーム分離手段６０から基準視点映像ビットストリームとして符号化基準視点映像ｃを入力して、その符号化方式で復号化して復号化基準視点映像Ｃ’を生成し、生成した復号化基準視点映像Ｃ’を多視点映像の基準視点映像として外部（例えば、図１に示した立体映像表示装置４）に出力する。
基準視点映像復号化手段６１１は、復号化装置２等における基準視点映像復号化手段２１に相当するものである。
【０４８３】
奥行マップ復元手段６１２は、ビットストリーム分離手段６０から奥行マップビットストリームとして符号化奥行マップｇ２ｄを入力して、その符号化方式で復号化して復号化合成奥行マップＧ’ｄを生成し、生成した復号化合成奥行マップＧ’ｄを奥行マップ射影手段６１３に出力する。
なお、奥行マップ復元手段６１２は、入力した符号化合成奥行きマップがフレーム化されている場合は、復号化した後にフレーム化されている奥行マップを分離し、符号化合成奥行きマップが縮小されている場合は、復号化した後に又は分離した後に元のサイズに拡大して、奥行マップ射影手段６１３に出力するものとする。
【０４８４】
奥行マップ復元手段６１２は、復号化装置２における奥行マップ復号化手段２２、復号化装置２Ａにおける奥行マップ復号化手段２２Ａ及び奥行マップ分離手段２６、又は復号化装置２Ｂ，２Ｃにおける奥行マップ復元手段２８、に相当するものである。
【０４８５】
奥行マップ射影手段６１３は、奥行マップ復元手段６１２から復号化合成奥行マップＧ’ｄを、ビットストリーム分離手段６０から補助情報ｈを、外部（例えば、図１に示した立体映像表示装置４）から左指定視点Ｐｔ及び右指定視点Ｑｔを、それぞれ入力して、左指定視点Ｐｔ及び右指定視点Ｑｔにおける奥行マップである左指定視点奥行マップＰｄ及び右指定視点奥行マップＱｄを生成し、生成した左指定視点奥行マップＰｄ及び右指定視点奥行マップＱｄを射影映像合成手段６１５に出力する。
【０４８６】
なお、奥行マップ射影手段６１３は、外部から入力する指定視点は２つに限定されるものではなく、１つでもよく、３つ以上でもよい。また、奥行マップ射影手段６１３は、奥行マップ復元手段６１２から入力する復号化合成奥行マップは１つに限定されるものではなく、２以上であってもよい。また、奥行マップ射影手段６１３は、入力したそれぞれの指定視点に対応して指定視点奥行マップを生成して、射影映像合成手段６１５に出力するものとする。
【０４８７】
奥行マップ射影手段６１３は、復号化装置２における奥行マップ射影手段２３、復号化装置２Ａにおける奥行マップ射影手段２３Ａ、復号化装置２Ｂ，２Ｃにおける奥行マップ射影手段２３Ｂ、に相当するものである。
【０４８８】
残差映像復元手段６１４は、ビットストリーム分離手段６０から残差映像ビットストリームとして符号化残差映像ｆｖを入力して、その符号化方式で復号化して左残差映像Ｌ’ｖ及び右残差映像Ｒ’ｖを生成し、生成した左残差映像Ｌ’ｖ及び右残差映像Ｒ’ｖを射影映像合成手段６１５に出力する。
なお、残差映像復元手段６１４は、符号化残差映像がフレーム化されている場合は、復号化した後にフレーム化されている残差映像を分離し、符号化残差映像が縮小されている場合は、復号化した後に又は分離した後に元のサイズに拡大して、射影映像合成手段６１５に出力するものとする。
【０４８９】
残差映像復元手段６１４は、復号化装置２における残差映像復号化手段２４、復号化装置２Ａにおける残差映像復号化手段２４Ａ及び残差映像分離手段２７、又は復号化装置２Ｂ，２Ｃにおける残差映像復号化手段２４Ｂ及び残差映像分離手段２７Ｂ、に相当するものである。
【０４９０】
射影映像合成手段６１５は、基準視点映像復号化手段６１１から復号化基準視点映像Ｃ’を、奥行マップ射影手段６１３から左右の指定視点奥行マップＰｄ，Ｑｄを、残差映像復元手段６１４から左残差映像Ｌ’ｖ及び右残差映像Ｒ’ｖを、ビットストリーム分離手段から補助情報ｈを、それぞれ入力して、左右の指定視点Ｐｔ，Ｑｔにおける指定視点映像Ｐ，Ｑを生成する。射影映像合成手段６１５は、生成した指定視点映像Ｐ，Ｑを多視点映像の指定視点映像として外部（例えば、図１に示した立体映像表示装置４）に出力する。
【０４９１】
射影映像合成手段６１５は、復号化装置２における射影映像合成手段２５、復号化装置２Ａにおける射影映像合成手段２５Ａ、復号化装置２Ｂ，２Ｃにおける射影映像合成手段２５Ｂ、に相当するものである。
【０４９２】
次に、図３２を参照（適宜図２９及び図３１参照）して、ビットストリーム分離手段６０について説明する。
ビットストリーム分離手段６０は、符号化装置５（図２７参照）から入力した多重化ビットストリームを、指定視点映像ビットストリームと、奥行マップビットストリームと、残差映像ビットストリームと、補助情報とに分離して、復号化処理部６１の各部に出力するものである。このために、ビットストリーム分離手段６０は、図３２に示すように、基準視点映像ビットストリーム分離手段６０１と、奥行マップビットストリーム分離手段６０２と、残差映像ビットストリーム分離手段６０３と、補助情報分離手段６０４と、を備えて構成されている。
【０４９３】
基準視点映像ビットストリーム分離手段６０１は、符号化装置５（図２７参照）から多重化ビットストリームを入力して、多重化ビットストリームから基準視点映像ビットストリームを分離し、基準視点映像ビットストリームとして分離した符号化基準視点映像ｃを基準視点映像復号化手段６１１に出力する。
また、基準視点映像ビットストリーム分離手段６０１は、入力した多重化ビットストリームが基準視点映像ビットストリーム以外のビットストリームの場合は、多重化ビットストリームを奥行マップビットストリーム分離手段６０２に転送する。
【０４９４】
具体的には、基準視点映像ビットストリーム分離手段６０１は、入力した多重化ビットストリームの先頭から、その値を調べ、ＭＰＥＧ−４  ＡＶＣ符号化方式で規定されている開始コード７０１である、３バイトの値「００１」を探す。基準視点映像ビットストリーム分離手段６０１は、開始コード７０１を検出すると、その直後にある1バイトのヘッダの値を調べ、立体映像ヘッダ７０４であることを示す値（例えば、下位５ビットが、「１１０００」）かどうかを確認する。
【０４９５】
このヘッダが立体映像ヘッダ７０４でない場合は、基準視点映像ビットストリーム分離手段６０１は、この開始コード７０１から終了コードである３バイトの「０００」が検出されるまでのビット列を、基準視点映像ビットストリームとして、基準視点映像復号化手段６１１に出力する。
【０４９６】
一方、開始コード７０１の直後のヘッダが立体映像ヘッダ７０４である場合は、基準視点映像ビットストリーム分離手段６０１は、この開始コード７０１も含めて以降のビットストリームを、終了コード（例えば３バイトの「０００」）が検出されるまで、奥行マップビットストリーム分離手段６０２に転送する。
【０４９７】
奥行マップビットストリーム分離手段６０２は、基準視点映像ビットストリーム分離手段６０１から多重化ビットストリームを入力し、入力した多重化ビットストリームから奥行ビットマップストリームを分離し、奥行マップビットストリームとして分離した符号化奥行マップｇ２ｄを奥行マップ復元手段６１２に出力する。
また、奥行マップビットストリーム分離手段６０２は、入力した多重化ビットストリームが奥行マップビットストリーム以外のビットストリームの場合は、多重化ビットストリームを残差映像ビットストリーム分離手段６０３に転送する。
【０４９８】
具体的には、奥行マップビットストリーム分離手段６０２は、前記した基準視点映像ビットストリーム分離手段６０１と同様に、多重化ビットストリームの中の開始コード７０１を検出し、その直後の１バイトのヘッダが、立体映像ヘッダ７０４であれば、更にその直後の１バイトのフラグが奥行フラグ７０５かどうかを確認する。
【０４９９】
このフラグが、奥行フラグ７０５を示す値（例えば、８ビットの「１０００００００」）の場合は、奥行マップビットストリーム分離手段６０２は、開始コード７０１はそのままにして、１バイトの立体映像ヘッダ７０４と１バイトの奥行フラグ７０５とを削除したビットストリームを、終了コード（例えば、３バイトの「０００」）が検出されるまで、奥行マップビットストリームとして、奥行マップ復元手段６１２に出力する。
【０５００】
すなわち、奥行マップビットストリーム分離手段６０２は、多重化ビットストリームから分離した奥行マップビットストリームから、符号化装置５（図２７参照）のビットストリーム多重化手段５０によって挿入された立体映像ヘッダ７０４と奥行フラグ７０５とを削除して、図２９（ａ）に示した、１視点映像のビットストリームの構造を有するビットストリームに戻して、奥行マップ復元手段６１２に出力する。
これによって、奥行マップ復元手段６１２は、奥行マップビットストリーム分離手段６０２から入力される奥行マップビットストリームを１視点映像として復号化することができる。
【０５０１】
一方、立体映像ヘッダ７０４の直後のフラグが奥行フラグ７０５でない場合は、奥行マップビットストリーム分離手段６０２は、開始コード７０１から終了コードが検出されるまでのビットストリームを、終了コードまで含めて、残差映像ビットストリーム分離手段６０３に転送する。
【０５０２】
残差映像ビットストリーム分離手段６０３は、奥行マップビットストリーム分離手段６０２から多重化ビットストリームを入力し、入力した多重化ビットストリームから残差映像ビットマップストリームを分離し、残差映像ビットストリームとして分離した符号化残差映像ｆｖを残差映像復元手段６１４に出力する。
また、残差映像ビットストリーム分離手段６０３は、入力した多重化ビットストリームが残差映像ビットストリーム以外のビットストリームの場合は、多重化ビットストリームを補助情報分離手段６０４に転送する。
【０５０３】
具体的には、残差映像ビットストリーム分離手段６０３は、前記した基準視点映像ビットストリーム分離手段６０１と同様に、多重化ビットストリームの中の開始コード７０１を検出し、その直後の１バイトのヘッダが、立体映像ヘッダ７０４であれば、更にその直後の１バイトのフラグが残差フラグ７０６かどうかを確認する。
【０５０４】
このフラグが、残差フラグ７０６を示す値（例えば、８ビットの「１０１０００００」）の場合は、残差映像ビットストリーム分離手段６０３は、開始コード７０１はそのままにして、１バイトの立体映像ヘッダ７０４と１バイトの残差フラグ７０６とを削除したビットストリームを、終了コード（例えば、３バイトの「０００」）が検出されるまで、残差映像ビットストリームとして、残差映像復元手段６１４に出力する。
【０５０５】
すなわち、残差映像ビットストリーム分離手段６０３は、多重化ビットストリームから分離した残差映像ビットストリームから、符号化装置５（図２７参照）のビットストリーム多重化手段５０によって挿入された立体映像ヘッダ７０４と残差フラグ７０６とを削除して、図２９（ａ）に示した、１視点映像のビットストリームの構造を有するビットストリームに戻して、残差映像復元手段６１４に出力する。
これによって、残差映像復元手段６１４は、残差映像ビットストリーム分離手段６０３から入力される残差映像ビットストリームを１視点映像として復号化することができる。
【０５０６】
一方、立体映像ヘッダ７０４の直後のフラグが残差フラグ７０６でない場合は、残差映像ビットストリーム分離手段６０３は、開始コード７０１から終了コードが検出されるまでのビットストリームを、終了コードまで含めて、補助情報分離手段６０４に転送する。
【０５０７】
補助情報分離手段６０４は、残差映像ビットストリーム分離手段６０３から多重化ビットストリームを入力し、入力した多重化ビットストリームから補助情報ｈを分離し、分離した補助情報ｈを奥行マップ射影手段６１３及び射影映像合成手段６１５に出力する。
また、補助情報分離手段６０４は、入力した多重化ビットストリームが補助情報以外のビットストリームの場合は、不明なデータとして無視する。
【０５０８】
具体的には、補助情報分離手段６０４は、前記した基準視点映像ビットストリーム分離手段６０１と同様に、多重化ビットストリームの中の開始コード７０１を検出し、その直後の１バイトのヘッダが、立体映像ヘッダ７０４であれば、更にその直後の１バイトのフラグが補助情報フラグ７０７かどうかを確認する。
【０５０９】
このフラグが、補助情報フラグ７０７を示す値（例えば、８ビットの「１１００００００」）の場合は、補助情報分離手段６０４は、補助情報フラグ７０７の次のビットから終了コードが検出されるまでのビット列を補助情報ｈとして分離する。
補助情報分離手段６０４は、分離した補助情報ｈを、奥行マップ射影手段６１３及び射影映像合成手段６１５に出力する。
また、補助情報分離手段６０４は、入力した多重化ビットストリームが補助情報以外のビットストリームの場合は、不明なデータとして無視する。
【０５１０】
なお、ビットストリーム分離手段６０において、基準視点映像ビットストリーム分離手段６０１、奥行マップビットストリーム分離手段６０２、残差映像ビットストリーム分離手段６０３及び補助情報分離手段６０４によって、各ビットストリームを分離する順は図３２に示した例に限定されず、任意に変更することができる。また、これらの分離処理を並列に行うようにしてもよい。
【０５１１】
［立体映像符号化装置の動作］
次に、図３３を参照（適宜図２７〜図２９参照）して、符号化装置５の動作について説明する。
【０５１２】
（基準視点映像符号化処理）
図３３に示すように、まず、符号化装置５は、基準視点映像符号化手段５１１によって、外部から基準視点映像Ｃを入力して、基準視点映像Ｃを所定の符号化方式で符号化した符号化基準視点映像ｃを生成し、生成した符号化基準視点映像ｃを基準視点映像ビットストリームとしてビットストリーム多重化手段５０に出力する（ステップＳ１１１）。
【０５１３】
（奥行マップ合成処理）
次に、符号化装置５は、奥行マップ合成手段５１２によって、外部から基準視点奥行マップＣｄ、左視点奥行マップＬｄ及び右視点奥行マップＲｄを入力して、これらの奥行マップを適宜合成して合成奥行マップＧ２ｄを生成し、奥行マップ符号化手段５１３に出力する（ステップＳ１１２）。
【０５１４】
（奥行マップ符号化処理）
次に、符号化装置５は、奥行マップ符号化手段５１３によって、奥行マップ合成手段５１２から合成奥行マップＧ２ｄを入力して、所定の符号化方式で符号化して符号化奥行マップｇ２ｄを生成し、生成した符号化奥行マップｇ２ｄを奥行マップビットストリームとして奥行マップ復元手段５１４及びビットストリーム多重化手段５０に出力する（ステップＳ１１３）。
【０５１５】
（奥行マップ復元処理）
次に、符号化装置５は、奥行マップ復元手段５１４によって、奥行マップ符号化手段５１３から符号化奥行マップｇ２ｄを入力し、符号化奥行マップｇ２ｄを復号化し、復号化合成奥行マップＧ’ｄを生成する。奥行マップ復元手段５１４は、生成した復号化合成奥行マップＧ’ｄを射影映像予測手段５１５に出力する（ステップＳ１１４）。
【０５１６】
（射影映像予測処理）
次に、符号化装置５は、射影映像予測手段５１５によって、奥行マップ復元手段５１４から復号化合成奥行マップＧ’ｄを、外部から左視点映像Ｌ、右視点映像Ｒ及び必要に応じて指定視点Ｐｔ，Ｑｔの情報を、それぞれ入力して、残差映像Ｆｖを生成する。射影映像予測手段５１５は、生成した残差映像Ｆｖを残差映像符号化手段５１６に出力する（ステップＳ１１５）。
【０５１７】
（残差映像符号化処理）
次に、符号化装置５は、残差映像符号化手段５１６によって、射影映像予測手段５１５から残差映像Ｆｖを入力し、所定の符号化方式により符号化して符号化残差映像ｆｖを生成する。残差映像符号化手段５１６は、生成した符号化残差映像ｆｖを残差映像ビットストリームとしてビットストリーム多重化手段５０に出力する（ステップＳ１１６）。
【０５１８】
（ビットストリーム多重化処理）
次に、符号化装置５は、ビットストリーム多重化手段５０によって、ステップＳ１１１で生成した符号化基準視点映像ｃである基準視点映像ビットストリームと、ステップＳ１１３で生成した符号化奥行マップｇ２ｄである奥行マップビットストリームと、ステップＳ１１６で生成した符号化残差映像ｆｖである残差映像ビットストリームと、外部から基準視点映像Ｃなどとともに入力した補助情報ｈと、を多重化して、多重化ビットストリームとして復号化装置６（図３１参照）に出力する（ステップＳ１１７）。
【０５１９】
なお、ビットストリーム多重化手段５０は、基準視点映像ビットストリームについて、既存のヘッダを改変することなくそのまま多重化する。
また、ビットストリーム多重化手段５０は、奥行ヘッダ付加手段５０３によって、奥行マップビットストリームについて、既存のヘッダの開始コード７０１の直後に立体映像ヘッダ７０４と奥行フラグ７０５とを挿入して多重化する。
また、ビットストリーム多重化手段５０は、残差ヘッダ付加手段５０４によって、残差映像ビットストリームについて、既存のヘッダの開始コード７０１の直後に立体映像ヘッダ７０４と残差フラグ７０６とを挿入して多重化する。
また、ビットストリーム多重化手段５０は、補助情報ヘッダ付加手段５０２によって、補助情報ｈについて、ヘッダとして開始コード７０１と立体映像ヘッダ７０４と補助情報フラグ７０７とを付加して多重化する。
【０５２０】
以上のようにして、符号化装置５は、基準視点映像ビットストリームと、奥行マップビットストリームと、残差映像ビットストリームと、これらに付随する補助情報のビットストリームとが多重化された、多重化ビットストリームを復号化装置６（図３１参照）に出力する。
【０５２１】
［立体映像復号化装置の動作］
次に、図３４を参照（適宜図２９、図３１及び図３２参照）して、復号化装置６の動作について説明する。
【０５２２】
（ビットストリーム分離処理）
図３４に示すように、まず、復号化装置６は、ビットストリーム分離手段６０によって、符号化装置５（図２７参照）から多重化ビットストリームを入力し、入力した多重化ビットストリームを、基準視点映像ビットストリームと、奥行マップビットストリームと、残差映像ビットストリームと、補助情報ｈとに分離する。ビットストリーム分離手段６０は、分離した、基準視点映像ビットストリームを基準視点映像復号化手段６１１に、奥行マップビットストリームを奥行マップ復元手段６１２に、残差映像ビットストリームを残差映像復元手段６１４に、補助情報ｈを奥行マップ射影手段６１３及び射影映像合成手段６１５に、それぞれ出力する（ステップＳ１２１）。
【０５２３】
なお、ビットストリーム分離手段６０は、基準視点映像ビットストリーム分離手段６０１によって、開始コード７０１の直後のヘッダが立体映像ヘッダ７０４でないビットストリームを基準視点映像ビットストリームとして分離する。
【０５２４】
また、ビットストリーム分離手段６０は、奥行マップビットストリーム分離手段６０２によって、開始コード７０１の直後のヘッダが立体映像ヘッダ７０４であり、かつ、更にその直後のフラグが奥行フラグ７０５であるビットストリームを奥行マップビットストリームとして分離し、立体映像ヘッダ７０４と奥行フラグ７０５とを除去したビットストリームを出力する。
【０５２５】
また、ビットストリーム分離手段６０は、残差映像ビットストリーム分離手段６０３によって、開始コード７０１の直後のヘッダが立体映像ヘッダ７０４であり、かつ、更にその直後のフラグが残差フラグ７０６であるビットストリームを残差映像ビットストリームとして分離し、立体映像ヘッダ７０４と残差フラグ７０６とを除去したビットストリームを出力する。
【０５２６】
また、ビットストリーム分離手段６０は、補助情報分離手段６０４によって、開始コード７０１の直後のヘッダが立体映像ヘッダ７０４であり、かつ、更にその直後のフラグが補助情報フラグ７０７であるビットストリームを補助情報ストリームとして分離し、補助情報本体７０８を補助情報ｈとして出力する。
【０５２７】
（基準視点映像復号化処理）
次に、復号化装置６は、基準視点映像復号化手段６１１によって、ビットストリーム分離手段６０から基準視点映像ビットストリームとして符号化基準視点映像ｃを入力して、その符号化方式で復号化して復号化基準視点映像Ｃ’を生成し、生成した復号化基準視点映像Ｃ’を多視点映像の基準視点映像として外部に出力する（ステップＳ１２２）。
【０５２８】
（奥行マップ復元処理）
次に、復号化装置６は、奥行マップ復元手段６１２によって、ビットストリーム分離手段６０から奥行マップビットストリームとして符号化奥行マップｇ２ｄを入力して、その符号化方式で復号化して復号化合成奥行マップＧ’ｄを生成し、生成した復号化合成奥行マップＧ’ｄを奥行マップ射影手段６１３に出力する（ステップＳ１２３）。
【０５２９】
（奥行マップ射影処理）
次に、復号化装置６は、奥行マップ射影手段６１３によって、奥行マップ復元手段６１２から復号化合成奥行マップＧ’ｄを、ビットストリーム分離手段６０から補助情報ｈを、外部から左指定視点Ｐｔ及び右指定視点Ｑｔを、それぞれ入力して、左指定視点Ｐｔ及び右指定視点Ｑｔにおける奥行マップである左指定視点奥行マップＰｄ及び右指定視点奥行マップＱｄを生成し、生成した左指定視点奥行マップＰｄ及び右指定視点奥行マップＱｄを射影映像合成手段６１５に出力する（ステップＳ１２４）。
【０５３０】
（残差映像復元処理）
次に、復号化装置６は、残差映像復元手段６１４によって、ビットストリーム分離手段６０から残差映像ビットストリームとして符号化残差映像ｆｖを入力して、その符号化方式で復号化して左残差映像Ｌ’ｖ及び右残差映像Ｒ’ｖを生成し、生成した左残差映像Ｌ’ｖ及び右残差映像Ｒ’ｖを射影映像合成手段６１５に出力する（ステップＳ１２５）。
【０５３１】
（射影映像合成処理）
次に、復号化装置６は、射影映像合成手段６１５によって、基準視点映像復号化手段６１１から復号化基準視点映像Ｃ’を、奥行マップ射影手段６１３から左右の指定視点奥行マップＰｄ，Ｑｄを、残差映像復元手段６１４から左残差映像Ｌ’ｖ及び右残差映像Ｒ’ｖを、ビットストリーム分離手段から補助情報ｈを、それぞれ入力して、左右の指定視点Ｐｔ，Ｑｔにおける指定視点映像Ｐ，Ｑを生成する。射影映像合成手段６１５は、生成した指定視点映像Ｐ，Ｑを多視点映像の指定視点映像として外部に出力する（ステップＳ１２６）。
【０５３２】
以上のようにして、復号化装置６は、符号化装置５（図２７参照）から入力した多重化ビットストリームから、基準視点映像ビットストリームと、奥行マップビットストリームと、残差映像ビットストリームと、補助情報ｈとを分離し、これらの分離したデータを用いて立体映像を生成する。
【０５３３】
以上、第１実施形態、第２実施形態、第３実施形態、第４実施形態及びこれらの変形例に係る立体映像符号化装置１，１Ａ，１Ｂ，１Ｃ，５及び立体映像復号化装置２，２Ａ，２Ｂ，２Ｃ，６について、これらの装置は、各構成手段を専用のハードウェアを用いて構成することができるが、これに限定されるものではない。例えば、これらの装置は、一般的なコンピュータにプログラムを実行させ、コンピュータ内の演算装置や記憶装置を動作させることにより実現することができる。このプログラム（立体映像符号化プログラム及び立体映像復号化プログラム）は、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭなどの記録媒体に書き込んで配布することも可能である。
【０５３４】
また、本発明によれば、多数の視点映像を必要とする裸眼立体映像を、少数の視点映像と、その奥行マップとして、効率良く圧縮符号化して伝送でき，高能率かつ高品質な立体映像を低コストで提供することが可能となる。従って、本発明を用いた立体映像蓄積・伝送装置やサービスは、多数の視点映像を必要とする裸眼立体映像であっても、容易にデータを蓄積・伝送可能であるとともに，高品質な立体映像を提供することができる。
【０５３５】
また、本発明は、立体テレビ放送や立体映像レコーダ、立体映画、立体映像を用いた教育機器や展示機器、インターネットサービスなどに広く用いて、その効果を発揮することができる。更に、本発明は、視聴者が自由に視点位置を変えられる自由視点テレビや自由視点映画に用いても、その効果を発揮することができる。
【０５３６】
また、本発明の立体映像符号化装置で生成された多視点映像は、多視点映像を復号化できない既存の復号化装置であっても、１視点映像として利用することができる。
【符号の説明】
【０５３７】
１、１Ａ、１Ｂ  立体映像符号化装置
１１    基準視点映像符号化手段
１２、１２Ａ、１２Ｂ  奥行マップ合成手段
１２１、１２２  中間視点射影手段
１２３  マップ合成手段
１３、１３Ａ、１３Ｂ  奥行マップ符号化手段
１４、１４Ａ、３０ａ  奥行マップ復号化手段
１５、１５Ａ、１５Ｂ、１５Ｃ  射影映像予測手段
１５１、１５１Ｂ  オクルージョンホール検出手段
１５１１  第１穴マスク生成手段
１５１１ａ  左視点射影手段（副視点射影手段）
１５１１ｂ  第１ホール画素検出手段（ホール画素検出手段）
１５１２  第２穴マスク生成手段
１５１２ａ  第２ホール画素検出手段
１５１２ｂ  左視点射影手段（第２副視点射影手段）
１５１３  第３穴マスク生成手段
１５１３ａ  指定視点射影手段
１５１３ｂ  第３ホール画素検出手段
１５１３ｃ  左視点射影手段（第３副視点射影手段）
１５１４  穴マスク合成手段
１５１５  穴マスク膨張手段
１５２  残差映像切出手段
１５３  左視点射影手段（副視点射影手段）
１５４  残差算出手段
１６、１６Ａ、１６Ｂ  残差映像符号化手段
１７    奥行マップフレーム化手段
１８    奥行マップ分離手段
１９、１９Ｂ    残差映像フレーム化手段
２、２Ａ、２Ｂ  立体映像復号化装置
２１    基準視点映像復号化手段
２２、２２Ａ、２８ａ  奥行マップ復号化手段
２３、２３Ａ、２３Ｂ  奥行マップ射影手段
２４、２４Ａ、２４Ｂ  残差映像復号化手段
２５、２５Ａ、２５Ｂ、２５Ｃ  射影映像合成手段
２５１、２５１Ｂ、２５１Ｃ  基準視点映像射影手段
２５１ａ  ホール画素検出手段
２５１ｂ  指定視点映像射影手段
２５１ｃ  基準視点映像画素複写手段
２５１ｄ  メディアンフィルタ
２５１ｅ  穴マスク膨張手段
２５２、２５２Ｂ、２５２Ｃ  残差映像射影手段
２５２ａ  指定視点映像射影手段
２５２ｂ  残差映像画素複写手段
２５２ｃ  穴埋め処理手段
２５２ｆ  残差加算手段
２６    奥行マップ分離手段
２７、２７Ｂ  残差映像分離手段
２８    奥行マップ復元手段
３０    奥行マップ復元手段
５      立体映像符号化装置
５０    ビットストリーム多重化手段
５０１  スイッチ（切替手段）
５０２  補助情報ヘッダ付加手段
５０３  奥行ヘッダ付加手段
５０４  残差ヘッダ付加手段
５１    符号化処理部
５１１  基準視点映像符号化手段
５１２  奥行マップ合成手段
５１３  奥行マップ符号化手段
５１４  奥行マップ復元手段
５１５  射影映像予測手段
５１６  残差映像符号化手段
６      立体映像復号化装置
６０    ビットストリーム分離手段
６０１  基準視点映像ビットストリーム分離手段
６０２  奥行マップビットストリーム分離手段
６０３  残差映像ビットストリーム分離手段
６０４  補助情報分離手段
６１    復号化処理部
６１１  基準視点映像復号化手段
６１２  奥行マップ復元手段
６１３  奥行マップ射影手段
６１４  残差映像復元手段
６１５  射影映像合成手段
７０１  開始コード
７０２  １視点映像ヘッダ（第１識別情報）
７０３  ビットストリーム本体
７０４  立体映像ヘッダ（第２識別情報）
７０５  奥行フラグ（第３識別情報）
７０６  残差フラグ（第４識別情報）
７０７  補助情報フラグ（第５識別情報）
７０８  補助情報本体
【図１】
2013073316.tif 000003
【図２】
2013073316.tif 000004
【図３】
2013073316.tif 000005
【図４】
2013073316.tif 000006
【図５】
2013073316.tif 000007
【図６】
2013073316.tif 000008
【図７】
2013073316.tif 000009
【図８】
2013073316.tif 000010
【図９】
2013073316.tif 000011
【図１０】
2013073316.tif 000012
【図１１】
2013073316.tif 000013
【図１２】
2013073316.tif 000014
【図１３】
2013073316.tif 000015
【図１４】
2013073316.tif 000016
【図１５】
2013073316.tif 000017
【図１６】
2013073316.tif 000018
【図１７】
2013073316.tif 000019
【図１８】
2013073316.tif 000020
【図１９】
2013073316.tif 000021
【図２０】
2013073316.tif 000022
【図２１】
2013073316.tif 000023
【図２２】
2013073316.tif 000024
【図２３】
2013073316.tif 000025
【図２４】
2013073316.tif 000026
【図２５】
2013073316.tif 000027
【図２６】
2013073316.tif 000028
【図２７】
2013073316.tif 000029
【図２８】
2013073316.tif 000030
【図２９】
2013073316.tif 000031
【図３０】
2013073316.tif 000032
【図３１】
2013073316.tif 000033
【図３２】
2013073316.tif 000034
【図３３】
2013073316.tif 000035
【図３４】
2013073316.tif 000036
【図３５】
2013073316.tif 000037
【国際調査報告】
2013073316.tif 000038
2013073316.tif 000039
2013073316.tif 000040
2013073316.tif 000041