(57)【要約】【課題】全周囲立体画像表示装置に対して、被写体の全周囲の視点画像と制御データを汎用性がある方法で入力する。【解決手段】DVIフレームに配置される各視点画像の最上段の１行が情報ラインとされ、情報ラインの各画素の画素値のうち、Ｒ，Ｇ，Ｂの各値の最下位の１ビットが情報ビットとして利用される。１８０枚の視点画像が配置された１枚のDVIフレームあたり、51840ビット（＝１８０（枚）×９６（画素）×３（ビット））の情報ビットを確保することができる。このように、画素値のうち、Ｒ，Ｇ，Ｂの各値の最下位の１ビットを情報ビットとして利用すれば、画質の劣化を最小限に留めることができる。本発明は、全周囲立体画像表示装置などを含む３次元画像表示システムに適用することができる。【選択図】図４
2011082675.tif 000002
【特許請求の範囲】
【請求項１】
被写体を全周囲から見た状態の立体像を表示する画像表示装置に対して、前記被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像を供給する画像信号処理装置において、
入力された前記全周囲の視点画像をバッファリングするバッファリング手段と、
バッファリングされた前記全周囲の視点画像を、任意のビデオ規格のフレーム上に配置することにより前記任意のビデオ規格の前記フレームを生成する生成手段と、
生成された前記フレーム上の所定の位置の画素の画素値を、前記画像表示装置を制御するための制御データに置換して、前記任意のビデオ規格のビデオ信号として出力する置換手段と
を含む画像信号処理装置。
【請求項２】
前記置換手段は、生成された前記フレーム上の所定の位置の画素の画素値の最下位ビットを前記制御データに置換する
請求項１に記載の画像信号処理装置。
【請求項３】
前記置換手段は、生成された前記フレーム上の所定の位置の画素の画素値の全体を前記制御データに置換する
請求項１に記載の画像信号処理装置。
【請求項４】
前記置換手段は、生成された前記フレーム上の複数の所定の位置の画素の画素値を前記制御データに置換することにより、前記制御データを多重化して記録する
請求項２または３に記載の画像信号処理装置。
【請求項５】
前記制御データには、前記画像表示装置に対して、入力された前記ビデオ信号を他のディスプレイに出力するかを指示する情報が含まれている
請求項１乃至４に記載の画像信号処理装置。
【請求項６】
被写体を全周囲から見た状態の立体像を表示する画像表示装置に対して、前記被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像を供給する画像信号処理装置の画像信号処理方法において、
前記画像信号処理装置による、
入力された前記全周囲の視点画像をバッファリングするバッファリングステップと、
バッファリングされた前記全周囲の視点画像を、任意のビデオ規格のフレーム上に配置することにより前記任意のビデオ規格の前記フレームを生成する生成ステップと、
生成された前記フレーム上の所定の位置の画素の画素値を、前記画像表示装置を制御するための制御データに置換して、前記任意のビデオ規格のビデオ信号として出力する置換ステップと
を含む画像信号処理方法。
【請求項７】
被写体を全周囲から見た状態の立体像を表示する画像表示装置に対して、前記被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像を供給する画像信号処理装置の制御用のプログラムであって、
入力された前記全周囲の視点画像をバッファリングするバッファリングステップと、
バッファリングされた前記全周囲の視点画像を、任意のビデオ規格のフレーム上に配置することにより前記任意のビデオ規格の前記フレームを生成する生成ステップと、
生成された前記フレーム上の所定の位置の画素の画素値を、前記画像表示装置を制御するための制御データに置換して、前記任意のビデオ規格のビデオ信号として出力する置換ステップと
を含む処理を画像信号処理装置のコンピュータに実行させるプログラム。
【請求項８】
被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像をバッファリングするバッファリング手段と、
バッファリングされた前記全周囲の視点画像を、任意のビデオ規格のフレーム上に配置することにより前記任意のビデオ規格の前記フレームを生成する生成手段と、
生成された前記フレーム上の所定の位置の画素の画素値を、画像表示装置を制御するための制御データに置換して、前記任意のビデオ規格のビデオ信号として出力する置換手段と
を備える画像信号処理装置から入力された前記ビデオ信号に基づき、前記被写体を全周囲から見た状態の立体像を表示する画像表示装置において、
前記ビデオ信号から前記制御データを抽出する抽出手段と、
前記ビデオ信号から前記全周囲の視点画像を読み出し、抽出された前記制御データに従って、読み出した前記全周囲の視点画像をディスプレイに表示させる表示制御手段と
を含む画像表示装置。
【請求項９】
前記制御データに含まれている、入力された前記ビデオ信号を他のディスプレイに出力するかを指示する情報に応じて、入力された前記ビデオ信号を他のディスプレイに出力する出力手段を
さらに含む請求項８に記載の画像信号処理装置。
【請求項１０】
被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像をバッファリングするバッファリング手段と、
バッファリングされた前記全周囲の視点画像を、任意のビデオ規格のフレーム上に配置することにより前記任意のビデオ規格の前記フレームを生成する生成手段と、
生成された前記フレーム上の所定の位置の画素の画素値を、画像表示装置を制御するための制御データに置換して、前記任意のビデオ規格のビデオ信号として出力する置換手段と
を備える画像信号処理装置から入力された前記ビデオ信号に基づき、前記被写体を全周囲から見た状態の立体像を表示する画像表示装置の画像表示方法において、
前記画像表示装置による、
前記ビデオ信号から前記制御データを抽出する抽出ステップと、
前記ビデオ信号から前記全周囲の視点画像を読み出し、抽出された前記制御データに従って、読み出した前記全周囲の視点画像をディスプレイに表示させる表示制御ステップと
を含む画像表示方法。
【請求項１１】
被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像をバッファリングするバッファリング手段と、
バッファリングされた前記全周囲の視点画像を、任意のビデオ規格のフレーム上に配置することにより前記任意のビデオ規格の前記フレームを生成する生成手段と、
生成された前記フレーム上の所定の位置の画素の画素値を、画像表示装置を制御するための制御データに置換して、前記任意のビデオ規格のビデオ信号として出力する置換手段と
を備える画像信号処理装置から入力された前記ビデオ信号に基づき、前記被写体を全周囲から見た状態の立体像を表示する画像表示装置の制御用のプログラムであって、
前記ビデオ信号から前記制御データを抽出する抽出ステップと、
前記ビデオ信号から前記全周囲の視点画像を読み出し、抽出された前記制御データに従って、読み出した前記全周囲の視点画像をディスプレイに表示させる表示制御ステップと
を含む処理を画像表示装置のコンピュータに実行させるプログラム。
【請求項１２】
被写体を全周囲から見た状態の立体像を表示する画像表示装置と、
前記被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像を前記画像表示装置に供給する画像信号処理装置とからなる画像表示システムにおいて、
前記画像信号処理装置は、
入力された前記全周囲の視点画像をバッファリングするバッファリング手段と、
バッファリングされた前記全周囲の視点画像を、任意のビデオ規格のフレーム上に配置することにより前記任意のビデオ規格の前記フレームを生成する生成手段と、
生成された前記フレーム上の所定の位置の画素値を、前記画像表示装置を制御するための制御データに置換して、前記任意のビデオ規格のビデオ信号として出力する置換手段と
を含み、
前記画像表示装置は、
前記画像信号処理装置から入力された前記ビデオ信号から前記制御データを抽出する抽出手段と、
前記ビデオ信号から前記全周囲の視点画像を読み出し、抽出された前記制御データに従って、読み出した前記全周囲の視点画像をディスプレイに表示させる表示制御手段と
を含む
画像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号処理装置、画像信号処理方法、画像表示装置、画像表示方法、プログラム、および画像表示システムに関し、例えば、被写体の立体像を表示させる場合に用いて好適な画像信号処理装置、画像信号処理方法、画像表示装置、画像表示方法、プログラム、および画像表示システムに関する。
【背景技術】
【０００２】
従来、テレビジョン受像機などに採用されている平面ディスプレイに立体視可能な画像を表示する技術が存在する。この技術は、例えば、ディスプレイを見る人の左右の眼の視差を利用するものがある。具体的には、例えば、同一の平面ディスプレイに左目用の画像と右目用の画像を表示し、さらに偏光フィルタなどを介することにより、左目では左目用の画像だけが、右目では右目用の画像だけが見られるようにして立体視を実現している。
【０００３】
これに対し、被写体を中心とする円周上に設けた複数の視点から撮影した（または、コンピュータグラフィックスにより被写体を全周囲から見た状態を想定して生成した）視点の異なる複数の画像（以下、視点画像と称する）を用い、被写体の全周囲に亘る立体画像を表示できる全周囲立体画像表示装置が数多く提案されている（例えば、特許文献１または２参照）。
【０００４】
これらの全周囲立体画像表示装置は、表示部が円筒形状を成しており、任意の方向から円筒形状の側面を見るユーザに対して、被写体が立体的に視認できるように映像を表示するようになされている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１７７７０９号公報
【特許文献２】特開２００５−１１４７７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、テレビジョン受像機に代表される従来の平面ディスプレイに供給されるNTSC (National Television System Committee）信号などにおいては、画像データの合間に同期信号などの制御信号を含ませて伝送して平面ディスプレイの表示を制御していた。
【０００７】
一方、上述した全周囲立体画像表示装置に対しても、全周囲の視点画像と全周囲立体画像表示装置の表示を制御するための制御データを入力する必要がある。しかしながら、現状においては全周囲立体画像表示装置に対して、全周囲の視点画像と制御データを入力するための標準的な方法が確立されていない。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、全周囲立体画像表示装置に対して、被写体の全周囲の視点画像と制御データを汎用性がある方法で入力できるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の第１の側面である画像信号処理装置は、被写体を全周囲から見た状態の立体像を表示する画像表示装置に対して、前記被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像を供給する画像信号処理装置において、入力された前記全周囲の視点画像をバッファリングするバッファリング手段と、バッファリングされた前記全周囲の視点画像を、任意のビデオ規格のフレーム上に配置することにより前記任意のビデオ規格の前記フレームを生成する生成手段と、生成された前記フレーム上の所定の位置の画素の画素値を、前記画像表示装置を制御するための制御データに置換して、前記任意のビデオ規格のビデオ信号として出力する置換手段とを含む。
【００１０】
前記置換手段は、生成された前記フレーム上の所定の位置の画素の画素値の最下位ビットを前記制御データに置換するようにすることができる。
【００１１】
前記置換手段は、生成された前記フレーム上の所定の位置の画素の画素値の全体を前記制御データに置換するようにすることができる。
【００１２】
前記置換手段は、生成された前記フレーム上の複数の所定の位置の画素の画素値を前記制御データに置換することにより、前記制御データを多重化して記録するようにすることができる。
【００１３】
前記制御データには、前記画像表示装置に対して、入力された前記ビデオ信号を他のディスプレイに出力するかを指示する情報が含まれているようにすることができる。
【００１４】
本発明の第１の側面である画像信号処理方法は、被写体を全周囲から見た状態の立体像を表示する画像表示装置に対して、前記被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像を供給する画像信号処理装置の画像信号処理方法において、前記画像信号処理装置による、入力された前記全周囲の視点画像をバッファリングするバッファリングステップと、バッファリングされた前記全周囲の視点画像を、任意のビデオ規格のフレーム上に配置することにより前記任意のビデオ規格の前記フレームを生成する生成ステップと、生成された前記フレーム上の所定の位置の画素の画素値を、前記画像表示装置を制御するための制御データに置換して、前記任意のビデオ規格のビデオ信号として出力する置換ステップとを含む。
【００１５】
本発明の第１の側面であるプログラムは、被写体を全周囲から見た状態の立体像を表示する画像表示装置に対して、前記被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像を供給する画像信号処理装置の制御用のプログラムであって、入力された前記全周囲の視点画像をバッファリングするバッファリングステップと、バッファリングされた前記全周囲の視点画像を、任意のビデオ規格のフレーム上に配置することにより前記任意のビデオ規格の前記フレームを生成する生成ステップと、生成された前記フレーム上の所定の位置の画素の画素値を、前記画像表示装置を制御するための制御データに置換して、前記任意のビデオ規格のビデオ信号として出力する置換ステップとを含む処理を画像信号処理装置のコンピュータに実行させる。
【００１６】
本発明の第１の側面においては、入力された全周囲の視点画像がバッファリングされ、バッファリングされた前記全周囲の視点画像が、任意のビデオ規格のフレーム上に配置されることにより任意のビデオ規格のフレームが生成され、生成されたフレーム上の所定の位置の画素の画素値が、画像表示装置を制御するための制御データに置換されて、任意のビデオ規格のビデオ信号として出力される。
【００１７】
本発明の第２の側面である画像表示装置は、被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像をバッファリングするバッファリング手段と、バッファリングされた前記全周囲の視点画像を、任意のビデオ規格のフレーム上に配置することにより前記任意のビデオ規格の前記フレームを生成する生成手段と、生成された前記フレーム上の所定の位置の画素の画素値を、画像表示装置を制御するための制御データに置換して、前記任意のビデオ規格のビデオ信号として出力する置換手段とを備える画像信号処理装置から入力された前記ビデオ信号に基づき、前記被写体を全周囲から見た状態の立体像を表示する画像表示装置において、前記ビデオ信号から前記制御データを抽出する抽出手段と、前記ビデオ信号から前記全周囲の視点画像を読み出し、抽出された前記制御データに従って、読み出した前記全周囲の視点画像をディスプレイに表示させる表示制御手段とを含む。
【００１８】
本発明の第２の側面である画像表示装置は、前記制御データに含まれている、入力された前記ビデオ信号を他のディスプレイに出力するかを指示する情報に応じて、入力された前記ビデオ信号を他のディスプレイに出力する出力手段をさらに含むことができる。
【００１９】
本発明の第２の側面である画像表示方法は、被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像をバッファリングするバッファリング手段と、バッファリングされた前記全周囲の視点画像を、任意のビデオ規格のフレーム上に配置することにより前記任意のビデオ規格の前記フレームを生成する生成手段と、生成された前記フレーム上の所定の位置の画素の画素値を、画像表示装置を制御するための制御データに置換して、前記任意のビデオ規格のビデオ信号として出力する置換手段とを備える画像信号処理装置から入力された前記ビデオ信号に基づき、前記被写体を全周囲から見た状態の立体像を表示する画像表示装置の画像表示方法において、前記画像表示装置による、前記ビデオ信号から前記制御データを抽出する抽出ステップと、前記ビデオ信号から前記全周囲の視点画像を読み出し、抽出された前記制御データに従って、読み出した前記全周囲の視点画像をディスプレイに表示させる表示制御ステップとを含む。
【００２０】
本発明の第２の側面であるプログラムは、被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像をバッファリングするバッファリング手段と、バッファリングされた前記全周囲の視点画像を、任意のビデオ規格のフレーム上に配置することにより前記任意のビデオ規格の前記フレームを生成する生成手段と、生成された前記フレーム上の所定の位置の画素の画素値を、画像表示装置を制御するための制御データに置換して、前記任意のビデオ規格のビデオ信号として出力する置換手段とを備える画像信号処理装置から入力された前記ビデオ信号に基づき、前記被写体を全周囲から見た状態の立体像を表示する画像表示装置の制御用のプログラムであって、前記ビデオ信号から前記制御データを抽出する抽出ステップと、前記ビデオ信号から前記全周囲の視点画像を読み出し、抽出された前記制御データに従って、読み出した前記全周囲の視点画像をディスプレイに表示させる表示制御ステップとを含む処理を画像表示装置のコンピュータに実行させる。
【００２１】
本発明の第２の側面においては、ビデオ信号から制御データが抽出され、ビデオ信号から全周囲の視点画像が読み出され、抽出された制御データに従って、読み出された全周囲の視点画像がディスプレイに表示される。
【００２２】
本発明の第３の側面である画像表示システムは、被写体を全周囲から見た状態の立体像を表示する画像表示装置と、前記被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像を前記画像表示装置に供給する画像信号処理装置とからなる画像表示システムにおいて、前記画像信号処理装置が、入力された前記全周囲の視点画像をバッファリングするバッファリング手段と、バッファリングされた前記全周囲の視点画像を、任意のビデオ規格のフレーム上に配置することにより前記任意のビデオ規格の前記フレームを生成する生成手段と、生成された前記フレーム上の所定の位置の画素値を、前記画像表示装置を制御するための制御データに置換して、前記任意のビデオ規格のビデオ信号として出力する置換手段とを含む。また、前記画像表示装置が、前記画像信号処理装置から入力された前記ビデオ信号から前記制御データを抽出する抽出手段と、前記ビデオ信号から前記全周囲の視点画像を読み出し、抽出された前記制御データに従って、読み出した前記全周囲の視点画像をディスプレイに表示させる表示制御手段とを含む。
【００２３】
本発明の第３の側面においては、画像信号処理装置により、入力された全周囲の視点画像がバッファリングされ、バッファリングされた前記全周囲の視点画像が、任意のビデオ規格のフレーム上に配置されることにより任意のビデオ規格のフレームが生成され、生成されたフレーム上の所定の位置の画素の画素値が、画像表示装置を制御するための制御データに置換されて、任意のビデオ規格のビデオ信号として出力される。そして、画像表示装置により、ビデオ信号から制御データが抽出され、ビデオ信号から全周囲の視点画像が読み出され、抽出された制御データに従って、読み出された全周囲の視点画像がディスプレイに表示される。
【発明の効果】
【００２４】
本発明の第１の側面によれば、被写体の全周囲の視点画像と制御データを任意のビデオ規格のビデオ信号として画像表示装置に入力することが可能となる。
【００２５】
本発明の第２の側面によれば、被写体の全周囲の視点画像と制御データが含まれている任意のビデオ規格のビデオ信号として取得し、被写体を全周囲から見た状態の立体像を表示することが可能となる。
【００２６】
本発明の第３の側面によれば、被写体の全周囲の視点画像と制御データを任意のビデオ規格のビデオ信号として画像表示装置に入力することができ、画像表示装置において被写体を全周囲から見た状態の立体像を表示することが可能となる。
【図面の簡単な説明】
【００２７】
【図１】本発明を適用した３次元画像表示システムの構成例を示すブロック図である。
【図２】全周囲の視点画像を３６０枚で構成した場合を説明する図である。
【図３】３６０枚の視点画像を２枚のDVIフレームに格納する例を示す図である。
【図４】情報ビットの位置を示す図である。
【図５】情報ビットに４重記録される制御データの例を示す図である。
【図６】図１の画像信号処理装置の構成例を示すブロック図である。
【図７】画像信号処理装置による制御データ埋め込み処理を説明するフローチャートである。
【図８】図１の全周囲立体画像表示装置の構成例を示すブロック図である。
【図９】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２８】
以下、発明を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
【００２９】
［３次元画像表示システムの構成例］
図１は、本発明を適用した３次元画像表示システムの構成例を示している。この３次元画像表示システム１０は、画像信号処理装置２０、全周囲立体画像表示装置３０、および平面ディスプレイ４０から構成される。
【００３０】
画像信号処理装置２０は、外部から入力される全周囲の視点画像を、一般的な平面ディスプレイ（液晶モニタ、テレビジョン受像機など）４０に対して入力可能な汎用性があるビデオ規格のフレーム上に配置して全周囲立体画像表示装置３０に出力する。以下、当該汎用性のあるビデオ規格にDVI(digital Visual interface)規格を採用して説明するが、当該汎用性のあるビデオ規格はDVI規格に限定されるものではない。
【００３１】
全周囲立体画像表示装置３０は、複数のスリット３２が設けられた円筒部３１に表示部５５（図８）が内蔵されて構成される。全周囲立体画像表示装置３０は、画像信号処理装置２０から入力されるDVI規格のビデオ信号（以下、DVI信号とも称する）の各フレーム（以下、DVIフレームとも称する）から、制御データを抽出するとともに、全周囲の視点画像を抽出し、抽出した制御データに従い、全周囲の視点画像を所定の順序で表示部５５に表示する。このとき、円筒部３１は回転駆動される。任意の方向から円筒部３１の側面を見るユーザは、スリット３２を介して表示部５５の映像を漏れ見ることになり、これによりユーザは被写体の全周囲に亘る立体像を視認することができる。
【００３２】
さらに、全周囲立体画像表示装置３０は、抽出した制御データに応じて、画像信号処理装置２０から入力されるDVI信号を平面ディスプレイ４０に中継する。
【００３３】
なお、この全周囲立体画像表示装置３０には、特願２００８−３１７５２２として本出願人が提案済みの全周囲立体画像表示装置を適用することができる。
【００３４】
平面ディスプレイ４０は、全周囲立体画像表示装置３０を介して画像信号処理装置２０から入力されるDVI信号の画像を表示する。
【００３５】
なお、画像信号処理装置２０において、視点画像を格納したDVI規格のフレームを所定の符号化方式（MPEG２方式など）によりエンコードして出力するようにし、全周囲立体画像表示装置３０および平面ディスプレイ４０において、それをデコードしてから表示するようにしてもよい。
【００３６】
［全周囲の視点画像の説明］
図２は、被写体を中心とする円周上を３６０等分して３６０か所の視点を設け、各視点から被写体を同時に撮影して視点画像を得る場合を示している。なお、実際に被写体を撮影するのではなく、コンピュータグラフィックスなどにより、各視点から被写体を同時に見た状態を想定して視点画像を生成するようにしてもよい。
【００３７】
同図の場合、３６０枚の視点画像が得られる。ここで、所定の位置（例えば、被写体を正面）を基準としてそこから見た視点画像をＡ000とし、以降、視点を１°おきにずらして得られる視点画像をＡ001，Ａ002，…Ａ359とする。
【００３８】
なお、被写体の全周囲に設ける視点の数、換言すれば、視点画像の枚数は３６０に限られるものではなく、より少なくしたり、より多くしたりしてもよい。ただし、この数が多ければ多いほど、被写体の立体像が滑らかに表示することができる。
【００３９】
［視点画像をDVIフレームに格納する配置例］
図３は、全周囲の視点画像Ａ000乃至Ａ359を２枚のDVIフレームに格納する例を示している。この例の場合、全周囲の視点画像Ａ000至Ａ359のうちの偶数番目のものをevenフレームに、奇数番目のものをoddフレームに分け、さらに、各フレームの同じ位置に隣接していた視点画像を格納する。すなわち、１枚のDVIフレームに１８０枚の視点画像を配置するので、DVIフレームの画像サイズが1920×1080画素であれば、各視点画像の画像サイズを96×120画素とする必要がある。
【００４０】
なお、全周囲の視点画像を区分けするDVIフレームの枚数は２枚に限るものではない。
例えば、全周囲の視点画像Ａ000乃至Ａ359を３等分して３枚のDVIフレームに格納したり、４等分して４枚のDVIフレームに格納したりしてもよい。
【００４１】
［情報ビットの位置］
図４は、全周囲立体画像表示装置３０に対する制御データを視点画像に埋め込むための位置、すなわち、情報ビットの位置を示している。
【００４２】
同図Ａに示すように、１枚のDVIフレームに配置される１８０枚の各視点画像において、同図Ｂに示すように、最上段の１行（＝９６画素）が制御データを格納するための情報ライン(Info line)とされる。なお、各視点画像における情報ラインの位置は、最上段に限るものではない。
【００４３】
さらに、同図Ｃに示すように、情報ラインの各画素の画素値のうち、Ｒ，Ｇ，Ｂの各値の最下位の１ビットが情報ビット(Info bit)として利用される。すなわち、情報ラインに属する各画素について３ビットの情報ビットを確保することができる。
【００４４】
したがって、１８０枚の視点画像が配置された１枚のDVIフレームあたり、51840ビット（＝１８０（枚）×９６（画素）×３（ビット））の情報ビットを確保することができる。このように、画素値のうち、Ｒ，Ｇ，Ｂの各値の最下位の１ビットを情報ビットとして利用すれば、画質の劣化を最小限に留めることができる。
【００４５】
ただし、同図Ａに示すように、１枚のDVIフレームを４つのブロック（ブロックＡ乃至Ｄ）に分割し、各ブロックの情報ビットに同一の制御データを多重化して記録する、すなわち、制御データを４重記録するようにする。この場合、12960ビット（＝51840／４）の制御データを格納することができる。このように、制御データを多重記録することにより、制御データに生じたエラー（消失、ビット反転など）に対処することができる。
【００４６】
なお、制御データの多重記録は４重に限るものではなく、エラーに対処するためには、３重以上であればよい。制御データを同一のDVIフレーム内で空間方向に多重化するのではなく、異なるタイミングで撮像された視点画像が配置された時間的に前後するDVIフレームを用いて時間方向に多重化するようにしてよい。
【００４７】
また、例えば、画素の画素値のＲ，Ｇ，Ｂの各値に８ビットである場合、情報ラインに属していない画素については、Ｒ，Ｇ，Ｂの値としてそのまま８ビット（２５６階調）を採用するようにし、情報ラインに属している画素については、最下位の１ビットを制御データに置換しつつも、Ｒ，Ｇ，Ｂの値としては７ビット（１２８階調）とするのではなく、最下位の１ビットが０であるとみなして８ビット（２５６階調）の値として処理するようにする。
【００４８】
［制御データの例］
図５は、１枚のDVIフレームに４重記録される制御データの例を示している。上述したように、１枚のDVIフレームに設けられた51840ビットの情報ビットに制御データを４重記録する場合、12960ビットの制御データを記録することができる。
【００４９】
例えば、12960ビットのうち、第１番目の１ビット（第１ビット）には、当該DVIフレームがevenフレームであるか、またはoddフレームであるかを示すフレームＩＤを記録する。例えば、evenフレームである場合、フレームＩＤを０とし、oddフレームである場合、フレームＩＤを１とする。
【００５０】
第２番目の１ビット（第２ビット）には、第３番目のビット以降を制御データの格納用に使用するか否かを示す拡張フラグを記録する。例えば、使用しない場合、拡張フラグを０とし、使用する場合、拡張フラグを１とする。
【００５１】
第３番目の１ビット（第３ビット）には、当該DVIフレームを２次元モニタ（図１の平面ディスプレイ４０など）に表示するか、または３次元モニタ（図１の全周囲立体視画像表示装置３０など）に表示するかを示すモニタフラグを記録する。例えば、２次元モニタに表示する場合、モニタフラグを０とし、３次元モニタに表示する場合、モニタフラグを１とする。
【００５２】
なお、モニタフラグを、例えば２ビットに増やして４種類の値をとり得るようにし、２次元モニタのみに表示する場合にはモニタフラグを０１とし、３次元モニタのみに表示する場合にはモニタフラグを１０とし、２次元モニタと３次元モニタの両方に表示する場合にはモニタフラグを１１とするなどとするようにしてもよい。
【００５３】
第４番目以降（第４乃至12960ビット）には、第２番目の１ビットに記録される拡張フラグが０である場合、すなわち、拡張ビットが使用されない場合、当該画素が本来有している画素値の最下位ビットの値を記録する。第２番目の１ビットに記録される拡張ビットが１である場合、すなわち、拡張ビットが使用される場合、第４番目以降（第４乃至12960ビット）は、制御データを記録するための予備領域（リザーブ）として確保される。
【００５４】
［画像信号処理装置２０の構成例］
次に、３次元画像表示システム１０を構成する画像信号処理装置２０の詳細な構成例について説明する。
【００５５】
図６は、画像信号処理装置２０の詳細な構成例を示すブロック図である。画像信号処理装置２０は、視点画像バッファ２１、リサイズ部２２、フレーム生成部２３、および制御データ埋め込み部２４から構成される。
【００５６】
視点画像バッファ２１は、外部から入力される全周囲の視点画像をバッファリングし、フレーム生成部２３からの出力制御信号に従い、バッファリングした視点画像を所定の順序でリサイズ部２２に出力する。
【００５７】
リサイズ部２２は、視点画像バッファ２１から入力された視点画像を、１枚のDVIフレームに配置する視点画像の枚数に応じてリサイズ（縮小または拡大）してフレーム生成部２３に出力する。いまの場合、全周囲の視点画像Ａ000乃至Ａ359のうち、180枚の視点画像に配置するので、DVIフレームが１２９０×１０８０画素であるならば、各視点画像を９６×１２０画素にリサイズする。
【００５８】
フレーム生成部２３は、リサイズ部２２から入力されるリサイズ後の視点画像を、図２に示されたように配置することによりDVIフレームを生成して制御データ埋め込み部２４に出力する。
【００５９】
制御データ埋め込み部２４は、フレーム生成部２３から入力される各DVIフレームの情報ビット（各視点画像の最上段に設けた情報ラインに属する画素の画素値の最下位ビット）に制御データを格納して後段の全周囲立体画像表示装置３０に出力する。
【００６０】
［画像信号処理装置２０の動作］
次に、画像信号処理装置２０の動作について説明する。
【００６１】
外部から画像信号処理装置２０に全周囲の視点画像が入力されると、それらは視点画像バッファ２１にバッファリングされる。フレーム生成部２３が視点画像バッファ２１に対して出力制御信号を出力すると、これに従い、視点画像バッファ２１は、バッファリングしている視点画像を所定の順序でリサイズ部２２に出力する。
【００６２】
リサイズ部２２は、視点画像バッファ２１から入力された視点画像をリサイズしてフレーム生成部２３に出力する。フレーム生成部２３は、リサイズ部２２から入力されたリサイズ後の視点画像のうち、偶数番目のものはevenフレームに、奇数番目のものはoddフレームに配置することによりDVIフレームを生成して制御データ埋め込み部２４に出力する。
【００６３】
制御データ埋め込み部２４は、フレーム生成部２３から入力された各DVIフレームの情報ビットに制御データを格納して後段の全周囲立体画像表示装置３０に出力する。
【００６４】
ここで、制御データ埋め込み部２４による制御データ埋め込み処理について詳述する。図７は、制御データ埋め込み部２４による制御データ埋め込み処理を説明するフローチャートである。
【００６５】
なお、以下に説明する制御データ埋め込み処理は、制御データ埋め込み部２４がGPU(Graphics Processing Unit)を内蔵し、DirectXを利用することを前提としている。
【００６６】
ステップＳ１において、制御データ埋め込み部２４は、フレーム生成部２３から入力されたDVIフレームを、自己に内蔵されたバックバッファに描画する。ステップＳ２において、制御データ埋め込み部２４は、バックバッファに描画したDVIフレームをテクスチャにコピーする。
【００６７】
ステップＳ３において、制御データ埋め込み部２４は、シェダープログラムを用いることにより、テクスチャにコピーされたDVIフレームを、その情報ライン（各視点画像の最上段の１行）に属する各画素の情報ビット（Ｒ，Ｇ，Ｂの各値の画素値の最下位ビット）の値を０に落としながら、バックバッファに上書きする。
【００６８】
ステップＳ４において、制御データ埋め込み部２４は、テクスチャをゼロクリア（黒塗りつぶし）した後、テクスチャ上においてDVIフレームの情報ビットに、制御データとしての所定の値を上書きする。例えば、DVIフレームがevenフレームである場合、情報ビットの第１番目にフレームＩＤとして０を上書きする。反対に、DVIフレームがoddフレームである場合、情報ビットの第１番目にフレームＩＤとして１を上書きする。
【００６９】
ステップＳ５において、制御データ埋め込み部２４は、バックバッファ上のDVIフレーム（ステップＳ３で情報ビットが０に落とされているもの）に、テクスチャ上のDVIフレームのうちの情報ラインだけをアルファ合成する。このとき、バックバッファ上のDVIフレームと、テクスチャ上のDVIフレームのうちの情報ラインとの合成比率は、双方ともに１００％とする。以上で、制御データ埋め込み処理は終了される。
【００７０】
上述した制御データ埋め込み処理によれば、制御データ埋め込み部２４に内蔵されたバックバッファに、情報ビットに制御データが埋め込まれたDVIフレームが描画されていることになり、これをDVI信号として出力すれば、視点画像の画質の劣化を最小限に留めて、視点画像と制御データを後段に供給することが可能となる。
【００７１】
なお、上述した制御データ埋め込み処理では、条件分岐が設けられていないので、条件分岐を含む処理を苦手とするGPUの特性に合致しているので、制御データ埋め込み部２４がGPUを内蔵することにより、制御データ埋め込み処理をリアルタイムに実行することができる。
【００７２】
［制御データの他の埋め込み方法］
ところで、上述した制御データ埋め込み処理のように、情報ラインに属する画素の画素値の最下位ビットだけを書き換える処理が困難である場合がある。
【００７３】
その場合には、DVIフレームの各ブロック毎に１画素だけ、その画素値の全体を制御データのフレームＩＤを格納するために用いるようにすればよい。具体的には、例えば、各ブロックの左上隅の１画素の画素値（R,G,B）を、evenフレームである場合には（0,0,0）に、oddフレームである場合には（1,0,0）にするようにすればよい。このようにした場合、DVIフレームにおいて、４画素だけが黒点（(0,0,0)または(1,0,0)）に固定されることになるが、この画素を表示する際には、隣接する画素を用いて画素値を補間して表示するようにすればよい。なお、フレームＩＤ以外の制御データについても同様にして格納すればよい。
【００７４】
ただし、制御データのフレームＩＤとして４画素を黒点に固定すると、当該DVIフレームをMPEG2方式などによって圧縮符号化した場合、復号後にその黒点が残らない、すなわち、制御データのフレームＩＤが後段に伝達されないことが起こり得る。
【００７５】
そこで、DVIフレームが圧縮符号化されるような場合には、DVIフレームの各ブロック毎に数画素から成る所定の領域を設け、所定の領域に属する全ての画素の画素値を制御データのフレームＩＤを格納するために用いるようにすればよい。
【００７６】
具体的には、例えば、各ブロックの左上隅に所定の領域を設け、evenフレームである場合にのみ、そこに属する画素の画素値（R,G,B）を輝点（例えば、最大値（255,255,255））に変更し、oddフレームである場合にはそのまま変更しないようにすればよい。このようにした場合、DVIフレームがevenフレームである場合にのみ、DVIフレーム上の４か所の所定の領域が輝点となるが、この領域の画素を表示する際には、隣接する視点画像の同じ領域の画素を用いて画素値を補間して表示するようにすればよい。
【００７７】
制御データのフレームＩＤとして所定の領域を輝点とすれば、当該DVIフレームがMPEG2方式などによって圧縮符号化された場合でも、復号後に輝点が周囲ににじんだり、薄くなったりはするものの輝点を残すことができる。したがって、制御データとしてのフレームＩＤを含むDVIフレーム圧縮符号化して後段に供給しても、後段において制御データとしてのフレームＩＤを読み出すことができる。
【００７８】
DVIフレームに制御データを埋め込むさらに他の方法としては、視点画像を配置したDVIフレームに、例えば電子透かしを用いて制御データを埋め込むようにしてもよい。
【００７９】
なお、上述した制御データ埋め込み処理、およびその他の方法はいずれも視点画像の画素値に制御データを埋め込んでいるので、DVI信号以外の汎用性のあるビデオ信号に適用することができる。
【００８０】
［全周囲立体画像表示装置３０の構成例と動作］
次に、図８は、画像信号処理装置２０からのDVI信号が入力される全周囲立体画像表示装置３０の構成例を示している。
【００８１】
全周囲立体画像表示装置３０は、スイッチ５１、制御データ抽出部５２、スイッチ制御部５３、表示制御部５４、表示部５５、およびDVI信号出力部５６から構成される。
【００８２】
スイッチ５１は、前段の画像信号処理装置３０から入力されるDVI信号を、スイッチ制御部５３からの制御に従い、表示制御部５４またはDVI信号出力部５６の一方に出力する。
【００８３】
制御データ抽出部５２は、前段の画像信号処理装置３０から入力されるDVI信号から制御データを抽出し、必要に応じて制御データのエラー訂正を行う。そして、制御データ抽出部５２は、抽出した制御データのうちのモニタフラグをスイッチ制御部５３に出力する。また、制御データ抽出部５２は、抽出した制御データのうちのフレームＩＤおよび拡張フラグを表示制御部５４に出力する。
【００８４】
スイッチ制御部５３は、制御データ抽出部５２から入力される制御データとしてのモニタフラグに従ってスイッチ５１の切り替えを制御する。すなわち、モニタフラグが０である場合には、スイッチ５１の出力をDVI信号出力部５６に切り替えさせ、モニタフラグが１である場合には、スイッチ５１の出力を表示制御部５４に切り替えさせる。
【００８５】
表示制御部５４は、スイッチ５１を介して入力されるDVI信号のDVIフレームから視点画像を抽出する。さらに、表示制御部５４は、制御データ抽出部５２から入力される制御データとしてのフレームＩＤおよび拡張フラグを参照しつつ、抽出した視点画像を表示部５５に表示させる。
【００８６】
DVI信号出力部５６は、スイッチ５１を介して入力されるDVI信号を後段の平面ディスプレイ４０に出力する。
【００８７】
全周囲立体画像表示装置３０においては、前段の画像信号処理装置３０からのDVI信号がスイッチ５１および制御データ抽出部５２に入力される。制御データ抽出部５２では、DVI信号から制御データのうちのモニタフラグが抽出されてスイッチ制御部５３に出力される。スイッチ制御部５３は、モニタフラグに基づいて、スイッチ５１の出力先を表示部５５またはDVI信号出力部５６に切り替える。したがって、DVI信号に含まれる制御データにより、DVI信号に対応する画像の表示先を表示部５５またはDVI信号出力部５６に切り替えることができる。
【００８８】
ところで、上述した画像信号処理装置２０または全周囲立体画像表示装置３０の一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【００８９】
図９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【００９０】
このコンピュータ１００において、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【００９１】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
【００９２】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【００９３】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【００９４】
また、プログラムは、１台のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
【００９５】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【００９６】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【００９７】
１０  ３次元画像表示システム，  ２０  画像信号処理装置，  ２１  視点画像バッファ，  ２２  リサイズ部，  ２３  フレーム生成部，  ２４  制御データ埋め込み部，  ３０  全周囲立体画像表示装置，  ４０  平面ディスプレイ，  ５１  スイッチ，  ５２  制御データ抽出部，  ５３  スイッチ制御部，  ５４  表示制御部，  ５５  表示部，  ５６  DVI信号出力部，１００  コンピュータ，  １０１  CPU
【図１】
2011082675.tif 000003
【図２】
2011082675.tif 000004
【図３】
2011082675.tif 000005
【図４】
2011082675.tif 000006
【図５】
2011082675.tif 000007
【図６】
2011082675.tif 000008
【図７】
2011082675.tif 000009
【図８】
2011082675.tif 000010
【図９】
2011082675.tif 000011