(57)【要約】【課題】全周囲立体画像表示装置に対して被写体の全周囲の視点画像を効率的に入力する。【解決手段】図３は、各撮像タイミングに同時に撮像された１８枚からなる全周囲の視点画像Ａ００乃至Ａ１７を時間方向に並べる順序を示している。同時に撮像された全周囲の視点画像のそれぞれを１枚のフレームとし、その視点の違いを時間方向の違いとみなして並べると、撮像された順序でフレームが配置されている一般的な動画像と同様に、前後する視点画像の内容が類似したものとなる。したがって、図３に示された順序で並べられた各視点画像は、一般的な動画像と同様、フレーム内予測、およびフレーム間予測を利用した既存の符号化方式により、一般的なビデオ符号化信号に変換することができる。本発明は、全周囲立体画像表示装置などを含む３次元画像表示システムに適用することができる。【選択図】図３
2011082622.tif 000002
【特許請求の範囲】
【請求項１】
被写体を全周囲から見た状態の立体像を表示する画像表示装置に対して、前記被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像を供給する画像信号処理装置において、
入力された前記全周囲の視点画像を、それぞれに対応する視点の違いを撮像順序の違いとみなして時間方向に並べる配置手段と、
視点の違いが撮像順序の違いとみなされて時間方向に並べられた各視点画像を１枚のフレームとし、少なくともフレーム間予測を含む符号化方式によって前記視点画像をエンコードすることによりビデオ符号化信号を生成するエンコード手段と
を含む画像信号処理装置。
【請求項２】
前記被写体の前記視点に対する相対的に動きを示すパラメータに基づき、視点の違いが撮像順序の違いとみなされて時間方向に並べられた各視点画像の相関関係が高いフレームのパターンを特定し、特定した前記パターンを通知することにより、少なくともフレーム間予測を含む符号化方式によって前記視点画像をエンコードする前記エンコード手段を制御する制御手段を
さらに含む請求項１に記載の画像信号処理装置。
【請求項３】
視点の違いが撮像順序の違いとみなされて時間方向に並べられた各視点画像に基づき、前記被写体の前記視点に対する相対的に動きを示すパラメータに推定し、推定した前記パラメータを前記制御手段に通知する推定手段を
さらに含む請求項２に記載の画像信号処理装置。
【請求項４】
被写体を全周囲から見た状態の立体像を表示する画像表示装置に対して、前記被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像を供給する画像信号処理装置の画像信号処理方法において、
前記画像信号処理装置による、
入力された前記全周囲の視点画像を、それぞれに対応する視点の違いを撮像順序の違いとみなして時間方向に並べる配置ステップと、
視点の違いが撮像順序の違いとみなされて時間方向に並べられた各視点画像を１枚のフレームとし、少なくともフレーム間予測を含む符号化方式によって前記視点画像をエンコードすることによりビデオ符号化信号を生成するエンコードステップと
を含む画像信号処理方法。
【請求項５】
被写体を全周囲から見た状態の立体像を表示する画像表示装置に対して、前記被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像を供給する画像信号処理装置の制御用のプログラムであって、
入力された前記全周囲の視点画像を、それぞれに対応する視点の違いを撮像順序の違いとみなして時間方向に並べる配置ステップと、
視点の違いが撮像順序の違いとみなされて時間方向に並べられた各視点画像を１枚のフレームとし、少なくともフレーム間予測を含む符号化方式によって前記視点画像をエンコードすることによりビデオ符号化信号を生成するエンコードステップと
を含む処理を画像信号処理装置のコンピュータに実行させるプログラム。
【請求項６】
被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像を、それぞれに対応する視点の違いを撮像順序の違いとみなして時間方向に並べる配置手段と、
視点の違いが撮像順序の違いとみなされて時間方向に並べられた各視点画像を１枚のフレームとし、少なくともフレーム間予測を含む符号化方式によって前記視点画像をエンコードすることによりビデオ符号化信号を生成するエンコード手段と
を備える画像信号処理装置から入力された前記ビデオ符号化信号に基づき、前記被写体を全周囲から見た状態の立体像を表示する画像表示装置において、
前記画像信号処理装置から入力された前記ビデオ符号化信号をデコードして前記全周囲の視点画像を再生するデコード手段と、
再生された前記全周囲の視点画像をディスプレイに表示させる表示制御手段と
を含む画像表示装置。
【請求項７】
被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像を、それぞれに対応する視点の違いを撮像順序の違いとみなして時間方向に並べる配置手段と、
視点の違いが撮像順序の違いとみなされて時間方向に並べられた各視点画像を１枚のフレームとし、少なくともフレーム間予測を含む符号化方式によって前記視点画像をエンコードすることによりビデオ符号化信号を生成するエンコード手段と
を備える画像信号処理装置から入力された前記ビデオ符号化信号に基づき、前記被写体を全周囲から見た状態の立体像を表示する画像表示装置の画像表示方法において、
画像表示装置による、
前記画像信号処理装置から入力された前記ビデオ符号化信号をデコードして前記全周囲の視点画像を再生するデコードステップと、
再生された前記全周囲の視点画像をディスプレイに表示させる表示制御ステップと
を含む画像表示方法。
【請求項８】
被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像を、それぞれに対応する視点の違いを撮像順序の違いとみなして時間方向に並べる配置手段と、
視点の違いが撮像順序の違いとみなされて時間方向に並べられた各視点画像を１枚のフレームとし、少なくともフレーム間予測を含む符号化方式によって前記視点画像をエンコードすることによりビデオ符号化信号を生成するエンコード手段と
を備える画像信号処理装置から入力された前記ビデオ符号化信号に基づき、前記被写体を全周囲から見た状態の立体像を表示する画像表示装置の制御用のプログラムであって、
前記画像信号処理装置から入力された前記ビデオ符号化信号をデコードして前記全周囲の視点画像を再生するデコードステップと、
再生された前記全周囲の視点画像をディスプレイに表示させる表示制御ステップと
を含む処理を画像表示装置のコンピュータに実行させるプログラム。
【請求項９】
被写体を全周囲から見た状態の立体像を表示する画像表示装置と、
前記被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像を前記画像表示装置に供給する画像信号処理装置とからなる画像表示システムにおいて、
前記画像信号処理装置は、
入力された前記全周囲の視点画像を、それぞれに対応する視点の違いを撮像順序の違いとみなして時間方向に並べる配置手段と、
視点の違いが撮像順序の違いとみなされて時間方向に並べられた各視点画像を１枚のフレームとし、少なくともフレーム間予測を含む符号化方式によりエンコードすることによりビデオ符号化信号を生成するエンコード手段と
を含み、
前記画像表示装置は、
前記画像信号処理装置から入力された前記ビデオ符号化信号をデコードして前記全周囲の視点画像を再生するデコード手段と、
再生された前記全周囲の視点画像をディスプレイに表示させる表示制御手段と
を含む
画像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号処理装置、画像信号処理方法、画像表示装置、画像表示方法、プログラム、および画像表示システムに関し、例えば、被写体の立体像を表示させる場合に用いて好適な画像信号処理装置、画像信号処理方法、画像表示装置、画像表示方法、プログラム、および画像表示システムに関する。
【背景技術】
【０００２】
従来、テレビジョン受像機などに採用されている平面ディスプレイに立体視可能な画像を表示する技術が存在する。この技術は、例えば、ディスプレイを見る人の左右の眼の視差を利用するものがある。具体的には、例えば、同一の平面ディスプレイに左目用の画像と右目用の画像を表示し、さらに偏光フィルタなどを介することにより、左目では左目用の画像だけが、右目では右目用の画像だけが見られるようにして立体視を実現している。
【０００３】
これに対し、被写体を中心とする円周上に設けた複数の視点から撮像した（または、コンピュータグラフィックスにより被写体を全周囲から見た状態を想定して生成した）視点の異なる複数の画像（以下、視点画像と称する）を用い、被写体の全周囲に亘る立体画像を表示できる全周囲立体画像表示装置が数多く提案されている（例えば、特許文献１または２参照）。
【０００４】
これらの全周囲立体画像表示装置は、表示部が円筒形状を成しており、任意の方向から円筒形状の側面を見るユーザに対して、被写体が立体的に視認できるように映像を表示するようになされている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１７７７０９号公報
【特許文献２】特開２００５−１１４７７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したように、全周囲立体画像表示装置に対しては全周囲の視点画像を入力することになるので、そのデータ量は膨大となる。したがって、全周囲立体画像表示装置に対し、全周囲の視点画像をエンコードしてから入力し、全周囲立体画像表示装置においてそれをデコードして表示することが考えられる。
【０００７】
しかしながら、現状においては、全周囲の視点画像を効率的にエンコードする方法が確立されていない。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、被写体の全周囲の視点画像を効率的にエンコードする方法を確立することにより、全周囲立体画像表示装置に対して被写体の全周囲の視点画像を効率的に入力できるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の第１の側面である画像信号処理装置は、被写体を全周囲から見た状態の立体像を表示する画像表示装置に対して、前記被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像を供給する画像信号処理装置において、入力された前記全周囲の視点画像を、それぞれに対応する視点の違いを撮像順序の違いとみなして時間方向に並べる配置手段と、視点の違いが撮像順序の違いとみなされて時間方向に並べられた各視点画像を１枚のフレームとし、少なくともフレーム間予測を含む符号化方式によって前記視点画像をエンコードすることによりビデオ符号化信号を生成するエンコード手段とを含む。
【００１０】
本発明の第１の側面である画像信号処理装置は、前記被写体の前記視点に対する相対的に動きを示すパラメータに基づき、視点の違いが撮像順序の違いとみなされて時間方向に並べられた各視点画像の相関関係が高いフレームのパターンを特定し、特定した前記パターンを通知することにより、少なくともフレーム間予測を含む符号化方式によって前記視点画像をエンコードする前記エンコード手段を制御する制御手段をさらに含むことができる。
【００１１】
本発明の第１の側面である画像信号処理装置は、視点の違いが撮像順序の違いとみなされて時間方向に並べられた各視点画像に基づき、前記被写体の前記視点に対する相対的に動きを示すパラメータに推定し、推定した前記パラメータを前記制御手段に通知する推定手段をさらに含むことができる。
【００１２】
本発明の第１の側面である画像信号処理方法は、被写体を全周囲から見た状態の立体像を表示する画像表示装置に対して、前記被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像を供給する画像信号処理装置の画像信号処理方法において、前記画像信号処理装置による、入力された前記全周囲の視点画像を、それぞれに対応する視点の違いを撮像順序の違いとみなして時間方向に並べる配置ステップと、視点の違いが撮像順序の違いとみなされて時間方向に並べられた各視点画像を１枚のフレームとし、少なくともフレーム間予測を含む符号化方式によって前記視点画像をエンコードすることによりビデオ符号化信号を生成するエンコードステップとを含む。
【００１３】
本発明の第１の側面であるプログラムは、被写体を全周囲から見た状態の立体像を表示する画像表示装置に対して、前記被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像を供給する画像信号処理装置の制御用のプログラムであって、入力された前記全周囲の視点画像を、それぞれに対応する視点の違いを撮像順序の違いとみなして時間方向に並べる配置ステップと、視点の違いが撮像順序の違いとみなされて時間方向に並べられた各視点画像を１枚のフレームとし、少なくともフレーム間予測を含む符号化方式によって前記視点画像をエンコードすることによりビデオ符号化信号を生成するエンコードステップとを含む処理を画像信号処理装置のコンピュータに実行させる。
【００１４】
本発明の第１の側面においては、入力された全周囲の視点画像が、それぞれに対応する視点の違いが撮像順序の違いとみなされて時間方向に並べられ、並べられた各視点画像が１枚のフレームとされ、少なくともフレーム間予測を含む符号化方式によって視点画像が符号化されることによりビデオ符号化信号が生成される。
【００１５】
本発明の第２の側面である画像表示装置は、被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像を、それぞれに対応する視点の違いを撮像順序の違いとみなして時間方向に並べる配置手段と、視点の違いが撮像順序の違いとみなされて時間方向に並べられた各視点画像を１枚のフレームとし、少なくともフレーム間予測を含む符号化方式によって前記視点画像をエンコードすることによりビデオ符号化信号を生成するエンコード手段とを備える画像信号処理装置から入力された前記ビデオ符号化信号に基づき、前記被写体を全周囲から見た状態の立体像を表示する画像表示装置において、前記画像信号処理装置から入力された前記ビデオ符号化信号をデコードして前記全周囲の視点画像を再生するデコード手段と、再生された前記全周囲の視点画像をディスプレイに表示させる表示制御手段とを含む。
【００１６】
本発明の第２の側面である画像表示方法は、被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像を、それぞれに対応する視点の違いを撮像順序の違いとみなして時間方向に並べる配置手段と、視点の違いが撮像順序の違いとみなされて時間方向に並べられた各視点画像を１枚のフレームとし、少なくともフレーム間予測を含む符号化方式によって前記視点画像をエンコードすることによりビデオ符号化信号を生成するエンコード手段とを備える画像信号処理装置から入力された前記ビデオ符号化信号に基づき、前記被写体を全周囲から見た状態の立体像を表示する画像表示装置の画像表示方法において、画像表示装置による、前記画像信号処理装置から入力された前記ビデオ符号化信号をデコードして前記全周囲の視点画像を再生するデコードステップと、再生された前記全周囲の視点画像をディスプレイに表示させる表示制御ステップとを含む。
【００１７】
本発明の第２の側面であるプログラムは、被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像を、それぞれに対応する視点の違いを撮像順序の違いとみなして時間方向に並べる配置手段と、視点の違いが撮像順序の違いとみなされて時間方向に並べられた各視点画像を１枚のフレームとし、少なくともフレーム間予測を含む符号化方式によって前記視点画像をエンコードすることによりビデオ符号化信号を生成するエンコード手段とを備える画像信号処理装置から入力された前記ビデオ符号化信号に基づき、前記被写体を全周囲から見た状態の立体像を表示する画像表示装置の制御用のプログラムであって、前記画像信号処理装置から入力された前記ビデオ符号化信号をデコードして前記全周囲の視点画像を再生するデコードステップと、再生された前記全周囲の視点画像をディスプレイに表示させる表示制御ステップとを含む処理を画像表示装置のコンピュータに実行させる。
【００１８】
本発明の第２の側面においては、画像信号処理装置から入力されたビデオ符号化信号がデコードされて全周囲の視点画像が再生され、再生された前記全周囲の視点画像がディスプレイに表示される。
【００１９】
本発明の第３の側面である画像表示システムは、被写体を全周囲から見た状態の立体像を表示する画像表示装置と、前記被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像を前記画像表示装置に供給する画像信号処理装置とからなる画像表示システムにおいて、前記画像信号処理装置が、入力された前記全周囲の視点画像を、それぞれに対応する視点の違いを撮像順序の違いとみなして時間方向に並べる配置手段と、視点の違いが撮像順序の違いとみなされて時間方向に並べられた各視点画像を１枚のフレームとし、少なくともフレーム間予測を含む符号化方式によりエンコードすることによりビデオ符号化信号を生成するエンコード手段とを含み、前記画像表示装置が、前記画像信号処理装置から入力された前記ビデオ符号化信号をデコードして前記全周囲の視点画像を再生するデコード手段と、再生された前記全周囲の視点画像をディスプレイに表示させる表示制御手段とを含む。
【００２０】
本発明の第３の側面においては、画像信号処理装置により、入力された全周囲の視点画像が、それぞれに対応する視点の違いが撮像順序の違いとみなされて時間方向に並べられ、並べられた各視点画像が１枚のフレームとされ、少なくともフレーム間予測を含む符号化方式によって視点画像が符号化されることによりビデオ符号化信号が生成される。また、画像表示装置により、画像信号処理装置から入力されたビデオ符号化信号がデコードされて全周囲の視点画像が再生され、再生された前記全周囲の視点画像がディスプレイに表示される。
【発明の効果】
【００２１】
本発明の第１の側面によれば、画像表示装置に対して被写体の全周囲の視点画像を効率的に入力することができる。
【００２２】
本発明の第２の側面によれば、被写体の全周囲の視点画像が効率的に符号化されているビデオ符号化信号に基づいて、被写体を全周囲から見た状態の立体像として表示することができる。
【００２３】
本発明の第３の側面によれば、画像表示装置に対して被写体の全周囲の視点画像を効率的に入力し、被写体を全周囲から見た状態の立体像として表示することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明を適用した３次元画像表示システムの構成例を示すブロック図である。
【図２】全周囲の視点画像を１８枚で構成した場合を説明する図である。
【図３】全周囲の視点画像を時間方向に並べる順序を示す図である。
【図４】被写体自身の回転速度に応じた第１の相関パターンを示す図である。
【図５】被写体自身の回転速度に応じた第２の相関パターンを示す図である。
【図６】被写体自身の回転速度に応じた第３の相関パターンを示す図である。
【図７】相関が高い視点画像の探索方法を説明するための図である。
【図８】相関が高い視点画像の探索方法を説明するための図である。
【図９】相関が高い視点画像の探索方法を説明するための図である。
【図１０】図１の画像信号処理装置の構成例を示すブロック図である。
【図１１】画像信号処理装置によるビデオ符号化信号を説明するフローチャートである。
【図１２】図１の全周囲立体画像表示装置の構成例を示すブロック図である。
【図１３】コンピュータの構成例を示すプログラムである。
【発明を実施するための形態】
【００２５】
以下、発明を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
【００２６】
［３次元画像表示システムの構成例］
図１は、本発明を適用した３次元画像表示システムの構成例を示している。この３次元画像表示システム１０は、画像信号処理装置２０、全周囲立体画像表示装置３０、および平面ディスプレイ４０から構成される。
【００２７】
画像信号処理装置２０は、外部から入力される全周囲の視点画像をその視点の違いを撮像順序の違いとみなし、撮像順序に従って視点画像を並べ、各視点画像をそれぞれ１枚のフレームとみなしてエンコードし、その結果得られるビデオ符号化信号を全周囲立体画像表示装置３０に出力する。
【００２８】
全周囲立体画像表示装置３０は、複数のスリット３２が設けられた円筒部３１に表示部５４（図１２）が内蔵されて構成される。全周囲立体画像表示装置３０は、画像信号処理装置２０から入力されるビデオ符号化信号をデコードし、その結果得られる全周囲の視点画像を所定の順序で表示部５４に表示する。このとき、円筒部３１は回転駆動される。任意の方向から円筒部３１の側面を見るユーザは、スリット３２を介して表示部５４の映像を漏れ見ることになり、これによりユーザは被写体の全周囲に亘る立体像を視認することができる。
【００２９】
さらに、全周囲立体画像表示装置３０は、ビデオ符号化信号のデコード結果として得られる全周囲の視点画像を平面ディスプレイ４０に供給する。なお、全周囲立体画像表示装置３０から平面ディスプレイ４０に対して、ビデオ符号化信号を供給し、平面ディスプレイ４０においてそれをデコードするようにしてもよい。
【００３０】
なお、この全周囲立体画像表示装置３０には、特願２００８−３１７５２２として本出願人が提案済みの全周囲立体画像表示装置を適用することができる。
【００３１】
平面ディスプレイ４０は、全周囲立体画像表示装置３０を介して画像信号処理装置２０から入力される全周囲の視点画像を表示する。
【００３２】
［全周囲の視点画像の説明］
図２は、被写体を中心とする円周上を１８等分して１８か所の視点を設け、各視点から被写体を同時に撮像して視点画像を得る場合を示している。なお、実際に被写体を撮像するのではなく、ＣＧ（コンピュータグラフィックス）などにより、各視点から被写体を同時に見た状態を想定して視点画像を生成するようにしてもよい。
【００３３】
同図の場合、１回の撮像タイミング毎に１８枚の視点画像が得られる。ここで、所定の位置（例えば、被写体を正面）を基準としてそこから見た視点画像をＡ００とし、以降、視点を２０°おきにずらして得られる視点画像をＡ０１，Ａ０２，…Ａ１７とする。
【００３４】
なお、被写体の全周囲に設ける視点の数、換言すれば、視点画像の枚数は１８に限られるものではなく、より少なくしたり、より多くしたりしてもよい。ただし、この数が多ければ多いほど、被写体の立体像が滑らかに表示することができる。
【００３５】
［全周囲の視点画像を時間方向に並べる順序］
図３は、各撮像タイミングに同時に撮像された１８枚からなる全周囲の視点画像Ａ００乃至Ａ１７を時間方向に並べる順序を示している。以下、撮像タイミングtnに同時に撮像された１８枚の視点画像Ａ００tn乃至Ａ１７tnと称し、撮像タイミングtn+1以降に同時に撮像された１８枚の視点画像Ａ００tn+1乃至Ａ１７tn+1などと称する。
【００３６】
すなわち、撮像タイミングtnに同時に撮像された１８枚の視点画像Ａ００tn乃至Ａ１７tnのそれぞれを１枚のフレームとし、その視点の違いを撮影順序の違いとみなして視点画像Ａ００tn，Ａ０１tn，・・・，Ａ１６tn，Ａ１７tnの順序に並べる。これに続けて、視点画像Ａ００tn+1，Ａ０１tn+1，・・・，Ａ１６tn+1，Ａ１７tn+1の順序に並べる。以降においても同様とする。
【００３７】
このように、同時に撮像された全周囲の視点画像のそれぞれを１枚のフレームとし、その視点の違いを撮像順序に違いとみなして並べると、撮像された順序でフレームが配置されている一般的な動画像と同様に、前後する視点画像の内容が類似したものとなる。また、視点画像Ａ１７tnと視点画像Ａ００tn+1のように撮像タイミングが異なっていても、その間隔が短ければ、画像の内容が類似したものとなる。
【００３８】
したがって、図３に示された順序で並べられた各視点画像は、一般的な動画像と同様、フレーム内予測、およびフレーム間予測を利用した既存の符号化方式（例えば、MPEG2方式、H264など）により、一般的なビデオ符号化信号に変換することができる。
【００３９】
ただし、視点の数を増やして全周囲の視点画像の枚数が増加した場合、得られるビデオ符号化信号のフレームレートが増加してしまい、エンコード処理およびデコード処理の負荷が大きくなってしまう。
【００４０】
そのような場合、エンコード処理に際して視点画像を間引いてエンコードし、デコード後に間引いた視点画像を補間により生成するようにしてもよい。
【００４１】
あるいは、エンコード処理およびデコード処理をそれぞれ複数のチャンネルに分けて並行して処理できるようであれば、全周囲の視点画像を複数チャンネルに分割して処理するようにしてもよい。この場合、視点画像の圧縮率は低下するが、処理の高速化が期待できる。
【００４２】
上述したように、図３に示されたように全周囲の視点画像を並べれば、既存の符号化方式により、一般的なビデオ符号化信号に変換することができる。
【００４３】
ただし、被写体が相対的に回転運動をしている場合、撮像タイミングが異なる視点画像どうしの相関関係を利用して、より圧縮率が高くなるようにエンコードすることができる。
【００４４】
［被写体が相対的に回転した場合の相関パターン］
図４は、撮像タイミングtnとtn+1の間に１視点間（いまの場合、２０°）だけ被写体が相対的に回転する速度で右方向に回転している場合に対応する第１の相関パターンを示している。
【００４５】
この場合、同図に矢印で示すように、視点画像Ａ００tnと視点画像Ａ１７n+1、視点画像Ａ０１tnと視点画像Ａ００n+1、視点画像Ａ０２tnと視点画像Ａ０１n+1，・・・の組み合わせの相関が高いので、相関が高いフレームを利用したフレーム間予測を利用して符号化を行う。
【００４６】
図５は、被写体が相対的に撮像タイミングtnとtn+1の間に１視点間（いまの場合、２０°）だけ回転する速度で左方向に回転している場合に対応する第２の相関パターンを示している。
【００４７】
この場合、同図に矢印で示すように、視点画像Ａ００tnと視点画像Ａ０１n+1、視点画像Ａ０１tnと視点画像Ａ０２n+1、視点画像Ａ０３tnと視点画像Ａ０４n+1，・・・の組み合わせの相関が高いので、相関が高いフレームを利用したフレーム間予測を利用して符号化を行う。
【００４８】
図６は、被写体が相対的に撮像タイミングtnとtn+1の間に２視点間（いまの場合、４０°）だけ回転する速度で右方向に回転している場合に対応する第３の相関パターンを示している。
【００４９】
この場合、同図に矢印で示すように、視点画像Ａ００tnと視点画像Ａ１６n+1、視点画像Ａ０１tnと視点画像Ａ１７n+1、視点画像Ａ０２tnと視点画像Ａ００n+1，・・・の組み合わせの相関が高いので、相関が高いフレームを利用したフレーム間予測を利用して符号化を行う。
【００５０】
なお、被写体の相対的な回転速度とその回転方向を示すパラメータが取得できる場合（例えば、視点画像をＣＧによって生成している場合など）には、取得したパラメータに基づいて、例えば、図４乃至図６に示されたように相関パターンを特定して符号化を行う。
【００５１】
［相関が高い視点画像の探索方法］
次に、被写体自身の回転速度とその回転方向を示すパラメータを取得できない場合に相関が高い視点画像の探索する方法について説明する。
【００５２】
被写体自身の回転速度とその回転方向を示すパラメータを取得できない場合には、特定の視点画像について撮像タイミングが異なる他の視点画像と比較して相関が高いものを探索する。さらに、特定の視点画像と探索された視点画像の組み合わせに基づいて、被写体自身の回転速度とその回転方向を示すパラメータを推定し、推定したパラメータに基づいて、例えば、図４乃至図６に示されたように、相関パターンを特定して符号化を行う。
【００５３】
具体的には、図７に示すように、撮像タイミングtnの視点画像Ａαtnに注目し、図８に示すように、撮像タイミングtn+1の視点画像Ａαtn+1と視点が近い数枚の視点画像と視点画像Ａαtnとをそれぞれ比較する。そして、両者の差分が最小となるものを相関が高いものとして特定する。図８に示すように、視点画像Ａαtn+1に対しては視点画像Ａα−２tn+1が最も相関が高いと特定された場合、被写体が相対的に撮像タイミングtnとtn+1の間に２視点間だけ回転する速度で右方向に回転していると推定される。この場合、図９に示すように、相関パターンが特定されて符号化が行われる。
【００５４】
［画像信号処理装置２０の構成例と動作］
次に、３次元画像表示システム１０を構成する画像信号処理装置２０の詳細な構成例について説明する。
【００５５】
図１０は、画像信号処理装置２０の詳細な構成例を示している。画像信号処理装置２０は、視点画像バッファ２１、探索部２２、エンコード制御部２３、およびエンコーダ２４から構成される。
【００５６】
画像信号処理装置２０には、外部から全周囲の視点画像が入力される。また、画像信号処理装置２０には、撮像時の被写体自身の回転速度とその回転方向を示すパラメータが供給される。ただし、当該パラメータが供給されないこともある。
【００５７】
視点画像バッファ２１は、外部から順次入力される全周囲の視点画像をバッファリングしつつ、図３に示されたように、各撮像タイミングに同時に撮像された全周囲の視点画像を、それぞれの視点の違いを撮像順序に違いとみなして時間方向に並べる。
【００５８】
探索部２２は、撮像時の被写体自身の回転速度とその回転方向を示すパラメータが供給されない場合、図７および図８を用いて上述した方法により、被写体自身の回転速度および回転方向のパラメータを動的に推定してエンコード制御部２３に出力する。
【００５９】
エンコード制御部２３は、外部から入力されるか、または探索部２２から入力される被写体自身の回転速度および回転方向のパラメータに基づいて、エンコーダ２４によるエンコード処理を動的に制御する。具体的には、入力された当該パラメータに応じ、相関関係が高い視点画像の組み合わせ（相関パターン）をエンコーダ２４に通知して、フレーム間予測に基づく視点画像の符号化を実行させる。
【００６０】
エンコーダ２４は、エンコード制御部２３からの制御に従い、視点画像バッファ２１にバッファリグされて並べ変えられている視点画像を時系列に配置されているフレームとみなしてエンコードし、その結果得られるビデオ符号化信号を後段に出力する。
【００６１】
なお、探索部２２およびエンコード制御部２３を省略し、エンコーダ２４にて既存の符号化方式により視点画像をエンコードするようにしてもよい。
【００６２】
次に、図１１は、画像信号処理装置２０によるビデオ符号化信号生成処理を説明するフローチャートである。
【００６３】
ステップＳ１において、画像信号処理装置２０は、外部から全周囲の視点画像を取得する。取得した全周囲の視点画像は視点画像バッファ２１に入力される。ステップＳ２において、視点画像バッファ２１は、外部から入力された全周囲の視点画像をバッファリングしつつ、図３に示されたように、各撮像タイミングに同時に撮像された全周囲の視点画像を時間方向に並べる。
【００６４】
ステップＳ３において、探索部２２は、視点画像バッファ２１にバッファリングされている画像を参照し、図７および図８を用いて上述した方法により、被写体自身の回転速度および回転方向のパラメータを推定してエンコード制御部２３に出力する。
【００６５】
ステップＳ４において、エンコーダ２４は、エンコード制御部２３からの制御に従い、視点画像バッファ２１にバッファリグされて並べ変えられている視点画像を時系列に配置されているフレームとみなしてエンコードし、その結果得られるビデオ符号化信号を後段に出力する。
【００６６】
以上説明したように、ビデオ符号化信号生成処理によれば、被写体の全周囲画像を時系列に配置されたフレームとみなしてエンコードし、ビデオ符号化信号として効率的に後段に供給することができる。
【００６７】
［全周囲立体画像表示装置３０の構成例と動作］
次に、図１２は、画像信号処理装置２０からビデオ符号化信号が入力される全周囲立体画像表示装置３０の構成例を示している。
【００６８】
全周囲立体画像表示装置３０は、デコーダ５１、視点画像バッファ５２、表示制御部５３、および表示部５４から構成される。
【００６９】
デコーダ５１は、前段の画像信号処理装置３０から入力されるビデオ符号化信号をデコードし、その結果得られる視点画像を視点画像バッファ５２に出力する。視点画像バッファ５２は、デコーダ５１から入力される視点画像をバッファリングする。
【００７０】
表示制御部５３は、視点画像バッファ５２にバッファリングされている各視点画像を所定の順序に従って読み出して表示部５４に表示させる。
【００７１】
全周囲立体画像表示装置３０においては、前段の画像信号処理装置３０からビデオ符号化信号が入力され、これがデコーダ５１によってデコードされ、その結果得られる視点画像が視点画像バッファ５２にバッファリングされる。そして、バッファリングされた視点画像が所定の順序で読み出されて表示部５４に表示される。
【００７２】
ところで、上述した画像信号処理装置２０または全周囲立体画像表示装置３０の一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【００７３】
図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【００７４】
このコンピュータ１００において、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【００７５】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
【００７６】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【００７７】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【００７８】
また、プログラムは、１台のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
【００７９】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【００８０】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【００８１】
１０  ３次元画像表示システム，  ２０  画像信号処理装置，  ２１  視点画像バッファ，  ２２  探索部，  ２３  エンコード制御部，  ２４  エンコーダ，  ３０  全周囲立体画像表示装置，  ４０  平面ディスプレイ，  ５１  デコーダ，  ５２  視点画像バッファ，  ５３  表示制御部，  ５４  表示部，１００  コンピュータ，  １０１  CPU
【図１】
2011082622.tif 000003
【図２】
2011082622.tif 000004
【図３】
2011082622.tif 000005
【図４】
2011082622.tif 000006
【図５】
2011082622.tif 000007
【図６】
2011082622.tif 000008
【図７】
2011082622.tif 000009
【図８】
2011082622.tif 000010
【図９】
2011082622.tif 000011
【図１０】
2011082622.tif 000012
【図１１】
2011082622.tif 000013
【図１２】
2011082622.tif 000014
【図１３】
2011082622.tif 000015