(57)【要約】【課題】従来の平面ディスプレイにて対応可能な汎用性があるビデオ規格のフレームに、被写体の全周囲の視点画像を格納する方法を確立する。【解決手段】全周囲の視点画像Ａ００乃至Ａ１７を複数のDVIフレームに格納する場合、例えば、各フレームの同じ位置に隣接していた視点画像を配し、さらに、９０°だけ右に回転させてから、図７の第５の配置例と同様、各フレームの同じ位置に隣接していた視点画像を格納する。同図に示すように、視点画像を９０°だけ回転させることにより、全周囲立体画像表示装置における表示方向とDVIフレームの画素の読み出しを一致させることができる。これにより、全周囲立体画像表示装置にて速やかに表示を行うことができる。本発明は、全周囲立体画像表示装置に対して画像信号を供給する画像信号処理装置に適用することができる。【選択図】図８
2011087119.tif 000002
【特許請求の範囲】
【請求項１】
被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像を、前記被写体を立体視可能に表示する表示装置に供給する画像信号処理装置において、
入力された前記全周囲の視点画像をバッファリングするバッファリング手段と、
バッファリングされた前記前記全周囲の視点画像を、所定のビデオ規格のフレーム上に配置することにより前記所定のビデオ規格のビデオ信号を生成する配置手段と
を含む画像信号処理装置。
【請求項２】
前記配置手段は、バッファリングされた前記全周囲の視点画像を複数の前記フレームに区分けて配置する
請求項１に記載の画像信号処理装置。
【請求項３】
前記配置手段は、バッファリングされた前記全周囲の視点画像を複数の前記フレームに区分け、前記複数のフレーム上の同じ位置に、視点が隣接する前記視点画像を配置する
請求項２に記載の画像信号処理装置。
【請求項４】
バッファリングされた前記全周囲の視点画像を所定の角度だけ回転させる回転手段を
さらに含み、
前記配置手段は、回転された前記全周囲の視点画像を前記フレーム上に配置する
請求項１乃至３に記載の画像信号処理装置。
【請求項５】
前記全周囲の視点画像が配置された前記複数のフレームに基づき、前記円周上に複数設けられた視点間に想定した仮想的な視点にそれぞれ対応する複数の視点画像が配置された中間フレームを生成する生成手段を
さらに含む請求項２乃至３に記載の画像信号処理装置。
【請求項６】
被写体を中心とする円周上に複数設けられた視点から同時に撮像された前記複数の視点画像を、撮像タイミングが異なるように調整する調整手段を
さらに含む請求項２乃至３に記載の画像信号処理装置。
【請求項７】
被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像を、前記被写体を立体視可能に表示する表示装置に供給する画像信号処理装置の画像信号処理方法において、
前記画像信号装置による、
入力された前記全周囲の視点画像をバッファリングするバッファリングステップと、
バッファリングされた前記前記全周囲の視点画像を、所定のビデオ規格のフレーム上に配置することにより前記所定のビデオ規格のビデオ信号を生成する配置ステップと
を含む画像信号処理方法。
【請求項８】
被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像を、前記被写体を立体視可能に表示する表示装置に供給する画像信号処理装置の制御用のプログラムであって、
入力された前記全周囲の視点画像をバッファリングするバッファリングステップと、
バッファリングされた前記前記全周囲の視点画像を、所定のビデオ規格のフレーム上に配置することにより前記所定のビデオ規格のビデオ信号を生成する配置ステップと
を含む処理を画像信号処理装置のコンピュータに実行させるプログラム。
【請求項９】
被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像をバッファリングするバッファリング手段と、
バッファリングされた前記前記全周囲の視点画像を、所定のビデオ規格のフレーム上に配置することにより前記所定のビデオ規格のビデオ信号を生成する配置手段と
を備える画像信号処理装置から入力された前記ビデオ信号に基づき、前記被写体を全周囲から見た状態の立体像を表示する画像表示装置において、
前記画像信号処理装置から入力された前記ビデオ信号の前記フレームから、前記全周囲の視点画像を抽出する抽出手段と、
抽出された前記全周囲の視点画像をディスプレイに表示させる表示制御手段と
を含む画像表示装置。
【請求項１０】
前記画像信号処理装置から入力された前記ビデオ信号を他の表示装置に出力するビデオ信号出力手段を
さらに含む請求項９に記載の画像表示装置。
【請求項１１】
被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像をバッファリングするバッファリング手段と、
バッファリングされた前記前記全周囲の視点画像を、所定のビデオ規格のフレーム上に配置することにより前記所定のビデオ規格のビデオ信号を生成する配置手段と
を備える画像信号処理装置から入力された前記ビデオ信号に基づき、前記被写体を全周囲から見た状態の立体像を表示する画像表示装置の画像表示方法において、
前記画像表示装置による、
前記画像信号処理装置から入力された前記ビデオ信号の前記フレームから、前記全周囲の視点画像を抽出する抽出ステップと、
抽出された前記全周囲の視点画像をディスプレイに表示させる表示制御ステップと
を含む画像表示方法。
【請求項１２】
被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像をバッファリングするバッファリング手段と、
バッファリングされた前記前記全周囲の視点画像を、所定のビデオ規格のフレーム上に配置することにより前記所定のビデオ規格のビデオ信号を生成する配置手段と
を備える画像信号処理装置から入力された前記ビデオ信号に基づき、前記被写体を全周囲から見た状態の立体像を表示する画像表示装置の制御用のプログラムであって、
前記画像信号処理装置から入力された前記ビデオ信号の前記フレームから、前記全周囲の視点画像を抽出する抽出ステップと、
抽出された前記全周囲の視点画像をディスプレイに表示させる表示制御ステップと
を含む処理を画像表示装置のコンピュータに実行させるプログラム。
【請求項１３】
被写体を全周囲から見た状態の立体像を表示する画像表示装置と、
前記被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像を前記画像表示装置に供給する画像信号処理装置とからなる画像表示システムにおいて、
前記画像信号処理装置は、
入力された前記全周囲の視点画像をバッファリングするバッファリング手段と、
バッファリングされた前記前記全周囲の視点画像を、所定のビデオ規格のフレーム上に配置することにより前記所定のビデオ規格のビデオ信号を生成する配置手段と
を含み、
画像表示装置は、
前記画像信号処理装置から入力された前記ビデオ信号の前記フレームから、前記全周囲の視点画像を抽出する抽出手段と、
抽出された前記全周囲の視点画像をディスプレイに表示させる表示制御手段と
を含む
画像表示システム。
【請求項１４】
被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像が所定のビデオ規格のフレーム上に配置されている
ビデオ信号。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号処理装置、画像信号処理方法、画像表示装置、画像表示方法、プログラム、画像表示システム、およびビデオ信号に関し、特に、被写体を立体的に表示可能な表示装置に対して画像信号を供給する場合に用いて好適な画像信号処理装置、画像信号処理方法、画像表示装置、画像表示方法、プログラム、画像表示システム、およびビデオ信号に関する。
【背景技術】
【０００２】
従来、テレビジョン受像機などに採用されている平面ディスプレイに立体視可能な画像を表示する技術が存在する。この技術は、例えば、ディスプレイを見る人の左右の眼の視差を利用するものがある。具体的には、例えば、同一の平面ディスプレイに左目用の画像と右目用の画像を表示し、さらに偏光フィルタなどを介することにより、左目では左目用の画像だけが、右目では右目用の画像だけが見られるようにして立体視を実現している。
【０００３】
これに対し、被写体を中心とする円周上に設けた複数の視点から撮像した（または、コンピュータグラフィックスにより被写体を全周囲から見た状態を想定して生成した）視点の異なる複数の画像（以下、視点画像と称する）を用い、被写体の全周囲に亘る立体画像を表示できる全周囲立体画像表示装置が数多く提案されている（例えば、特許文献１または２参照）。
【０００４】
これらの全周囲立体画像表示装置は、表示部が円筒形状を成しており、任意の方向から円筒形状の側面を見るユーザに対して、被写体が立体的に視認できるように映像を表示するようになされている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１７７７０９号公報
【特許文献２】特開２００５−１１４７７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したように、全周囲立体画像表示装置に対しては、全周囲の視点画像を入力することになる。しかしながら、現状においては、全周囲立体画像表示装置に対して全周囲の視点画像を入力するための標準的なビデオ信号の規格が存在しない。
【０００７】
このため、全周囲立体画像表示装置に適したビデオ信号の入力方法を確立したい、複数の視点画像を効率的に符号化したい、編集などに際して被写体の全周囲の視点画像を平面ディスプレイにも表示したいなどの要求があるものの、これらは実現されていない。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、従来の平面ディスプレイにて対応可能な汎用性があるビデオ規格のフレームに、被写体の全周囲の視点画像を格納する方法を確立できるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の第１の側面である画像信号処理装置は、被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像を、前記被写体を立体視可能に表示する表示装置に供給する画像信号処理装置において、入力された前記全周囲の視点画像をバッファリングするバッファリング手段と、バッファリングされた前記前記全周囲の視点画像を、所定のビデオ規格のフレーム上に配置することにより前記所定のビデオ規格のビデオ信号を生成する配置手段とを含む。
【００１０】
前記配置手段は、バッファリングされた前記全周囲の視点画像を複数の前記フレームに区分けて配置するようにすることができる。
【００１１】
前記配置手段は、バッファリングされた前記全周囲の視点画像を複数の前記フレームに区分け、前記複数のフレーム上の同じ位置に、視点が隣接する前記視点画像を配置するようにすることができる。
【００１２】
本発明の第１の側面である画像信号処理装置は、バッファリングされた前記全周囲の視点画像を所定の角度だけ回転させる回転手段をさらに含むことができ、前記配置手段は、回転された前記全周囲の視点画像を前記フレーム上に配置するようにすることができる。
【００１３】
本発明の第１の側面である画像信号処理装置は、前記全周囲の視点画像が配置された前記複数のフレームに基づき、前記円周上に複数設けられた視点間に想定した仮想的な視点にそれぞれ対応する複数の視点画像が配置された中間フレームを生成する生成手段をさらに含むことができる。
【００１４】
本発明の第１の側面である画像信号処理装置は、被写体を中心とする円周上に複数設けられた視点から同時に撮像された前記複数の視点画像を、撮像タイミングが異なるように調整する調整手段をさらに含むことができる。
【００１５】
本発明の第１の側面である画像信号処理方法は、被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像を、前記被写体を立体視可能に表示する表示装置に供給する画像信号処理装置の画像信号処理方法において、前記画像信号装置による、入力された前記全周囲の視点画像をバッファリングするバッファリングステップと、バッファリングされた前記前記全周囲の視点画像を、所定のビデオ規格のフレーム上に配置することにより前記所定のビデオ規格のビデオ信号を生成する配置ステップとを含む。
【００１６】
本発明の第１の側面であるプログラムは、被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像を、前記被写体を立体視可能に表示する表示装置に供給する画像信号処理装置の制御用のプログラムであって、入力された前記全周囲の視点画像をバッファリングするバッファリングステップと、バッファリングされた前記前記全周囲の視点画像を、所定のビデオ規格のフレーム上に配置することにより前記所定のビデオ規格のビデオ信号を生成する配置ステップとを含む処理を画像信号処理装置のコンピュータに実行させる。
【００１７】
本発明の第１の側面においては、入力された全周囲の視点画像がバッファリングされ、バッファリングされた前記全周囲の視点画像が、所定のビデオ規格のフレーム上に配置されることにより所定のビデオ規格のビデオ信号が生成される。
【００１８】
本発明の第２の側面である画像表示装置は、被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像をバッファリングするバッファリング手段と、バッファリングされた前記前記全周囲の視点画像を、所定のビデオ規格のフレーム上に配置することにより前記所定のビデオ規格のビデオ信号を生成する配置手段とを備える画像信号処理装置から入力された前記ビデオ信号に基づき、前記被写体を全周囲から見た状態の立体像を表示する画像表示装置において、前記画像信号処理装置から入力された前記ビデオ信号の前記フレームから、前記全周囲の視点画像を抽出する抽出手段と、抽出された前記全周囲の視点画像をディスプレイに表示させる表示制御手段とを含む。
【００１９】
本発明の第２の側面である画像表示装置は、前記画像信号処理装置から入力された前記ビデオ信号を他の表示装置に出力するビデオ信号出力手段をさらに含むことができる。
【００２０】
本発明の第２の側面である画像表示方法は、被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像をバッファリングするバッファリング手段と、バッファリングされた前記前記全周囲の視点画像を、所定のビデオ規格のフレーム上に配置することにより前記所定のビデオ規格のビデオ信号を生成する配置手段とを備える画像信号処理装置から入力された前記ビデオ信号に基づき、前記被写体を全周囲から見た状態の立体像を表示する画像表示装置の画像表示方法において、前記画像表示装置による、前記画像信号処理装置から入力された前記ビデオ信号の前記フレームから、前記全周囲の視点画像を抽出する抽出ステップと、抽出された前記全周囲の視点画像をディスプレイに表示させる表示制御ステップとを含む。
【００２１】
本発明の第２の側面であるプログラムは、被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像をバッファリングするバッファリング手段と、バッファリングされた前記前記全周囲の視点画像を、所定のビデオ規格のフレーム上に配置することにより前記所定のビデオ規格のビデオ信号を生成する配置手段とを備える画像信号処理装置から入力された前記ビデオ信号に基づき、前記被写体を全周囲から見た状態の立体像を表示する画像表示装置の制御用のプログラムであって、前記画像信号処理装置から入力された前記ビデオ信号の前記フレームから、前記全周囲の視点画像を抽出する抽出ステップと、抽出された前記全周囲の視点画像をディスプレイに表示させる表示制御ステップとを含む処理を画像表示装置のコンピュータに実行させる。
【００２２】
本発明の第２の側面においては、画像信号処理装置から入力されたビデオ信号のフレームから、全周囲の視点画像が抽出され、抽出された全周囲の視点画像がディスプレイに表示される。
【００２３】
本発明の第３の側面である画像表示システムは、被写体を全周囲から見た状態の立体像を表示する画像表示装置と、前記被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像を前記画像表示装置に供給する画像信号処理装置とからなる画像表示システムにおいて、前記画像信号処理装置が、入力された前記全周囲の視点画像をバッファリングするバッファリング手段と、バッファリングされた前記前記全周囲の視点画像を、所定のビデオ規格のフレーム上に配置することにより前記所定のビデオ規格のビデオ信号を生成する配置手段とを含み、画像表示装置が、前記画像信号処理装置から入力された前記ビデオ信号の前記フレームから、前記全周囲の視点画像を抽出する抽出手段と、抽出された前記全周囲の視点画像をディスプレイに表示させる表示制御手段とを含む。
【００２４】
本発明の第３の側面においては、画像信号処理装置により、入力された全周囲の視点画像がバッファリングされ、バッファリングされた前記全周囲の視点画像が、所定のビデオ規格のフレーム上に配置されることにより所定のビデオ規格のビデオ信号が生成される。また、画像表示装置により、画像信号処理装置から入力されたビデオ信号のフレームから、全周囲の視点画像が抽出され、抽出された全周囲の視点画像がディスプレイに表示される。
【００２５】
本発明の第４の側面であるビデオ信号は、被写体を中心とする円周上に複数設けられた視点にそれぞれ対応する複数の視点画像からなる全周囲の視点画像が所定のビデオ規格のフレーム上に配置されている。
【発明の効果】
【００２６】
本発明の第１の側面によれば、全周囲の視点画像を、従来の平面ディスプレイにて対応可能な汎用性があるビデオ規格のビデオ信号として画像表示装置に供給することができる。
【００２７】
本発明の第２の側面によれば、従来の平面ディスプレイにて対応可能な汎用性があるビデオ規格のビデオ信号に基づいて、被写体を全周囲から見た状態の立体像を表示することができる。
【００２８】
本発明の第３の側面によれば、全周囲の視点画像を、従来の平面ディスプレイにて対応可能な汎用性があるビデオ規格のビデオ信号として画像表示装置に供給することができる。画像表示装置にて、被写体を全周囲から見た状態の立体像を表示することができる。
【００２９】
本発明の第４の側面によれば、従来の平面ディスプレイにて対応可能な汎用性があるビデオ規格のフレームに、被写体の全周囲の視点画像を格納することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明を適用した３次元画像表示システムの構成例を示すブロック図である。
【図２】全周囲の視点画像を１８枚で構成した場合を説明する図である。
【図３】視点画像をDVIフレームに格納する第１の配置例を示す図である。
【図４】視点画像をDVIフレームに格納する第２の配置例を示す図である。
【図５】視点画像をDVIフレームに格納する第３の配置例を示す図である。
【図６】視点画像をDVIフレームに格納する第４の配置例を示す図である。
【図７】視点画像をDVIフレームに格納する第５の配置例を示す図である。
【図８】視点画像をDVIフレームに格納する第６の配置例を示す図である。
【図９】第６の配置例の効果を説明する図である。
【図１０】中間フレームの生成方法を説明する図である。
【図１１】図１の画像信号処理装置の構成例を示すブロック図である。
【図１２】図１１の中間フレーム生成部の詳細な構成例を示すブロック図である。
【図１３】DVI信号生成処理を説明するフローチャートである。
【図１４】各視点画像の表示タイミングを示す図である。
【図１５】各視点画像の撮像タイミングの調整方法を示す図である。
【図１６】中間フレーム生成処理を説明するフローチャートである。
【図１７】図１の全周囲立体画像表示装置の構成例を示すブロック図である。
【図１８】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００３１】
以下、発明を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
【００３２】
［３次元画像表示システムの構成例］
図１は、本発明を適用した３次元画像表示システムの構成例を示している。この３次元画像表示システム１０は、画像信号処理装置２０、全周囲立体画像表示装置３０、および平面ディスプレイ４０から構成される。
【００３３】
画像信号処理装置２０は、外部から入力される全周囲の視点画像を、一般的な平面ディスプレイ（液晶モニタ、テレビジョン受像機など）４０に対して入力可能な汎用性があるビデオ規格のフレーム上に配置して全周囲立体画像表示装置３０に出力する。以下、当該汎用性のあるビデオ規格にDVI(digital Visual interface)規格を採用して説明するが、当該汎用性のあるビデオ規格はDVI規格に限定されるものではない。
【００３４】
また、画像信号処理装置２０は、入力された全周囲の視点画像を格納した複数のフレームを用いて、入力された各視点画像にそれぞれ対応する視点の中間を視点とした場合の視点画像が格納された中間フレームを生成することができる。例えば、全周囲の視点画像として、視点を２０°おきにずらした１８枚の視点画像を２枚のフレームに分けて格納した場合、最終的に視点を１０°おきにずらした３６枚の視点画像が４枚のフレームに分けて格納された状態を生成することができる（図１０を参照して詳述する）。
【００３５】
全周囲立体画像表示装置３０は、複数のスリット３２が設けられた円筒部３１に所定の表示部７４（図１７）が内蔵されて構成される。全周囲立体画像表示装置３０は、画像信号処理装置２０から入力されるDVI規格のビデオ信号（以下、DVI信号とも称する）の各フレーム（以下、DVIフレームとも称する）から、全周囲の視点画像を抽出して所定の順序で表示部７４に表示する。このとき、円筒部３１は回転駆動される。任意の方向から円筒部３１の側面を見るユーザは、スリット３２を介して表示部の映像を漏れ見ることになり、これによりユーザは被写体の全周囲に亘る立体像を視認することができる。
【００３６】
さらに、全周囲立体画像表示装置３０は、画像信号処理装置２０から入力されるDVI信号を平面ディスプレイ４０に中継する。
【００３７】
なお、この全周囲立体画像表示装置３０には、特願２００８−３１７５２２として本出願人が提案済みの全周囲立体画像表示装置を適用することができる。
【００３８】
平面ディスプレイ４０は、全周囲立体画像表示装置３０を介して画像信号処理装置２０から入力されるDVI信号の画像を表示する。
【００３９】
なお、画像信号処理装置２０において、視点画像を格納したDVI規格のフレームを所定の符号化方式（MPEG２方式など）によりエンコードして出力するようにし、全周囲立体画像表示装置３０および平面ディスプレイ４０において、それをデコードしてから表示するようにしてもよい。
【００４０】
［全周囲の視点画像の説明］
図２は、被写体の中心とする円周上を１８等分して１８か所の視点を設け、各視点から被写体を同時に撮像して視点画像を得る場合を示している。なお、実際に被写体を撮像するのではなく、コンピュータグラフィックスなどにより、各視点から被写体を同時に見た状態を想定して視点画像を生成するようにしてもよい。
【００４１】
同図の場合、１８枚の視点画像が得られる。ここで、所定の位置（例えば、被写体を正面）を基準としてそこから見た視点画像をＡ００とし、以降、視点を２０（＝３６０／１８）°おきにずらして得られる視点画像をＡ０１，Ａ０２，…Ａ１７とする。
【００４２】
なお、被写体の全周囲に設ける視点の数、換言すれば、視点画像の数は１８に限られるものではなく、より少なくしたり、より多くしたりしてもよい。例えば、視点を１°おきにずらして、全周囲で３６０枚の視点画像A000乃至A359を得るようにしてよい。この数が多ければ多いほど、被写体の立体像を滑らかに表示することができる。
【００４３】
［視点画像をDVIフレームに格納する第１の配置例］
図３は、全周囲の視点画像Ａ００乃至Ａ１７を１８枚のDVIフレームに格納する例を示している。換言すれば、１枚の視点画像を１枚のDVIフレームに格納することになる。したがって、DVIフレームの画像サイズが1920×1080画素であれば、各視点画像の画像サイズも1920×1080画素とすることができる。なお、ここで挙げたDVIフレームのサイズは一例であって、これに限定されるものではない。以下に説明する第２の配置例以降においても同様である。
【００４４】
［視点画像をDVIフレームに格納する第２の配置例］
図４は、全周囲の視点画像Ａ００乃至Ａ１７を１枚のDVIフレームに格納する例を示している。この場合、DVIフレームの画像サイズが1920×1080画素であれば、各視点画像の画像サイズは320×360画素とする必要がある。
【００４５】
［視点画像をDVIフレームに格納する第３の配置例］
図５は、全周囲の視点画像Ａ００乃至Ａ１７を２枚のDVIフレームに格納する例を示している。この場合、全周囲の視点画像Ａ００乃至Ａ１７のうちの偶数番目のものをevenフレームに、奇数番目のものをoddフレームに分け、さらに、各フレームの同じ位置に隣接していた視点画像を格納する。また、この場合、DVIフレームの画像サイズが1920×1080画素であれば、各視点画像の画像サイズは640×360画素とする必要がある。
【００４６】
［視点画像をDVIフレームに格納する第４の配置例］
図６は、全周囲の視点画像Ａ００乃至Ａ１７を３枚のDVIフレームに格納する例を示している。換言すれば、６枚の視点画像を１枚のDVIフレームに格納することになる。この場合、DVIフレームの画像サイズが1920×1080画素であれば、各視点画像の画像サイズは640×540画素とする必要がある。また、同図の場合、単に、全周囲の視点画像Ａ００乃至Ａ１７を順に３枚のフレームに分けているが、上述した第３の配置例と同様、各フレームの同じ位置に隣接していた視点画像を格納するようにしてよい（第４の配置例）。
【００４７】
［視点画像をDVIフレームに格納する第５の配置例］
図７は、全周囲の視点画像Ａ００乃至Ａ１７を３枚のDVIフレームに分け、各フレームの同じ位置に隣接していた視点画像を格納する例を示している。隣接していた視点画像は、類似しているので、第５の配置例は、第４の配置例に比較して、各DVIフレームのそれぞれを１枚の画像としてみた場合の差異が小さいはずである。よって、これらのDVIフレームを、フレーム間予測を用いた符号化方式によりエンコードすれば、第５の配置例の方が第４の配置例よりも符号量の削減が期待できる。
【００４８】
［視点画像をDVIフレームに格納する第６の配置例］
図８は、全周囲の視点画像Ａ００乃至Ａ１７を９０°だけ右に回転させてから、図７の第５の配置例と同様、各フレームの同じ位置に隣接していた視点画像を格納する例を示している。
【００４９】
同図に示すように、視点画像を９０°だけ右に回転させる意図は、全周囲立体画像表示装置３０における表示部の表示方向に起因する。
【００５０】
全周囲立体画像表示装置３０における表示部の表示方向は、図９Ａに示すように、被写体の視点画像を縦方向の列として表示する。一方、DVIフレームからの画素の読み出しは水平方向に行われる。
【００５１】
したがって、図７の第５の配置例の場合、図９Ｂに示すように、被写体の横方向に読み出される。よって、全周囲立体画像表示装置３０にて、図９Ａに示すように被写体の視点画像を縦方向の列として表示するためには、初めに被写体の視点画像の全体を読み出す必要がある。
【００５２】
これに対して、図８の第６の配置例の場合、図９Ｃに示すように、被写体の縦方向に読み出され、全周囲立体画像表示装置３０における表示方向と一致するので、初めに被写体の視点画像の全体を読み出す必要がない、第５の配置例の場合に比較して、全周囲立体画像表示装置３０にて速やかに表示を行うことができる。
【００５３】
［中間フレーム生成処理の概要］
図１０は、全周囲の視点画像が格納されたDVIフレームを補間することによって中間フレームを生成する処理の概要を示している。
【００５４】
なお、この中間フレーム生成処理は、図５に示された視点画像をDVIフレームに格納する第３の配置例のように、全周囲の視点画像のうちの偶数番目のものをevenフレームに、奇数番目のものをoddフレームに分け、さらに、各フレームの同じ位置に隣接していた視点画像を格納した場合に適用できる。
【００５５】
具体的には、同図Ａに示すevenフレーム（ここではｎフレームと称する）と同図Ｂに示すoddフレーム（ここではｎ＋１フレームと称する）とに基づき、ソニー株式会社が開発したモーションフロー技術やMPEGにおける予測技術を適用して、同図Ｄに示す中間フレーム（ここではｎ＋０．５フレームと称する）を生成する。
【００５６】
また、同図Ａに示すｎフレームに格納されている視点画像の配置を１か所ずつ左方向にずらすことにより、同図Ｃに示すシフトフレームを生成し、ｎ＋１フレームとシフトフレームとに基づき、モーションフロー技術やMPEGにおける予測技術を適用して、同図Ｅに示す中間フレーム（ここではｎ＋１．５フレームと称する）を生成する。
【００５７】
ここで生成されたｎ＋０．５フレームは、仮想的に倍増された視点にそれぞれ対応する視点画像Ａ１．５，Ａ２．５，…，Ａ１６．５が格納されたものとなる。また、ｎ＋１．５フレームは、仮想的に倍増された視点にそれぞれ対応する視点画像Ａ２．５，Ａ３．５，…，Ａ１７．５が格納されたものとなる。
【００５８】
したがって、全周囲を１０°おきにずらした視点にそれぞれ対応する３６枚の視点画像が４枚のDVIフレーム（evenフレーム、中間フレーム（ｎ＋０．５フレーム）、evenフレーム、および中間フレーム（ｎ＋１．５フレーム））に格納された状態で取得できたことになる。
【００５９】
なお、この中間フレーム生成処理は、図８に示されたように、視点画像が回転された状態でDVIフレームに格納されていても実行可能である。
【００６０】
また、上述した中間フレーム生成処理では、全周囲の視点画像の数を２倍に増加させたが、これを応用して、全周囲の視点画像の数を２倍以外の倍率に増加させるようにしてもよい。
【００６１】
さらに、上述した中間フレーム生成処理では、全周囲の視点画像の数を空間方向に増加させるようにしたが、これを、全周囲の視点画像の数を時間方向に増加させる場合に適用してもよい。
［画像信号処理装置２０の構成例］
次に、３次元画像表示システム１０を構成する画像信号処理装置２０の詳細な構成例について説明する。
【００６２】
図１１は、画像信号処理装置２０の詳細な構成例を示すブロック図である。画像信号処理装置２０は、視点画像バッファ２１、撮像タイミング調整部２２、リサイズ部２３、回転部２４、フレーム生成部２５、および中間フレーム生成部２６から構成される。
【００６３】
視点画像バッファ２１は、外部から入力される全周囲の視点画像をバッファリングし、フレーム生成部２５からの出力制御信号に従い、バッファリングした視点画像を所定の順序でリサイズ部２３に出力する。
【００６４】
撮像タイミング調整部２２は、バッファリングされた全周囲の視点画像の撮像タイミングを調整する（詳細後述）。
【００６５】
リサイズ部２３は、視点画像バッファ２１から入力された視点画像を、１枚のDVIフレームに格納する視点画像の枚数に応じてリサイズ（縮小または拡大）して回転部２４に出力する。なお、１枚のDVIフレームに１枚の視点画像を格納する場合、リサイズ部２３は、視点画像バッファ２１から入力された視点画像をそのまま回転部２４に出力する。
【００６６】
回転部２４は、リサイズ後の視点画像を９０°だけ回転させてフレーム生成部２５に出力する。
【００６７】
フレーム生成部２５は、回転部２４から入力される、リサイズされて回転された視点画像を、上述した第１乃至６の配置例と同様に配置することによりDVIフレームを生成して中間フレーム生成部２６に出力する。また、フレーム生成部２５は、中間フレーム生成部２６にて中間フレームを生成する場合、シフトフレームを生成して中間フレーム生成部２６に出力する。
【００６８】
中間フレーム生成部２６は、フレーム生成部２５から入力されるDVIフレーム、およびシフトフレームを用いて中間フレームを生成し、フレーム生成部２５から入力されたDVIフレームと生成した中間フレームを後段の全周囲立体画像表示装置３０に出力する。
【００６９】
図１２は、中間フレーム生成部２６の詳細な構成例を示すブロック図である。中間フレーム生成部２６は、フレームバッファ５１、および補間部５２から構成される。
【００７０】
フレームバッファ５１は、フレーム生成部２５から入力されるDVIフレーム、およびシフトフレームをバッファリングする。補間部５２は、フレームバッファ５１にバッファリングされたDVIフレーム（図１０におけるｎフレームとｎ＋１フレーム）に基づいて、中間フレーム（図１０におけるｎ＋０．５フレーム）を生成する。また、補間部５２は、フレームバッファ５１にバッファリングされたDVIフレーム（図１０におけるｎフレーム）とシフトフレームに基づいて、中間フレーム（図１０におけるｎ＋１．５フレーム）を生成する。
【００７１】
［画像信号処理装置２０の動作］
次に、画像信号処理装置２０の動作について説明する。図１３は、画像信号処理装置２０によるDVI信号生成処理を説明するフローチャートである。
【００７２】
なお、DVI信号生成処理では、図５の第３の配置例と、図８の第６の配置例、および図１０の中間フレームを組み合わせて実行するものとする。すなわち、図２に示された全周囲の視点画像Ａ００乃至Ａ１７をevenフレームとoddフレームに分け、各フレームの同じ位置に、隣接していた視点画像を９０°回転させてから格納し、さらに、中間フレームも生成する。
【００７３】
ステップＳ１において、画像信号処理装置２０は、外部から全周囲の視点画像Ａ００乃至Ａ１７を入力する。入力された全周囲の視点画像Ａ００乃至Ａ１７は、視点画像バッファ２１にバッファリングされる。
【００７４】
ステップＳ２において、撮像タイミング調整部２２は、バッファリングされている全周囲の視点画像Ａ００乃至Ａ１７の撮像タイミングを調整する。ここで、撮像タイミングの調整とは、同時に撮像された全周囲の視点画像Ａ００乃至Ａ１７を、その表示タイミングに合わせて、撮像タイミングが徐々にずれているかのように調整する処理を指す。
【００７５】
具体的に説明する。タイミングｔに同時に撮像された全周囲の視点画像Ａ００乃至Ａ１７は、図１４に示すように、それぞれが１フレームの表示期間Ｔを１８等分した時間だけ表示開始のタイミングをずらして、それぞれ表示期間Ｔだけ表示される。そして、次に、タイミングｔ＋１に同時に撮像された全周囲の視点画像Ａ００乃至Ａ１７がそれぞれ表示されることになる。しかしながら、このままであると、利用者が視認する立体像に不連続な印象を与えてしまうことがある。
【００７６】
これを防ぐために、タイミングｔに同時に撮像された全周囲の視点画像Ａ００乃至Ａ１７を、タイミングｔ＋１に同時に撮像された全周囲の視点画像Ａ００乃至Ａ１７に基づいて、その撮像タイミングを図１５に示すように調整する。すなわち、視点画像Ａ０１はそのまま、視点画像Ａ０１は１／１８だけ、視点画像Ａ０２は２／１８だけ、・・・、視点画像Ａ１６は１６／１８だけ、視点画像Ａ１７については１７／１８だけ撮像タイミングがずれている状態の視点画像を、モーションフロー技術やMPEGにおける予測技術を適用して生成するようにする。
【００７７】
このように、全周囲の視点画像Ａ００乃至Ａ１７の撮像タイミングを調整することは、円筒部３１に内蔵された表示部が大型化された場合、利用者が視点をずらしながら円筒部３１を見た場合、円筒部３１の回転速度が遅い場合などにおいて、特に有効であり、視認される立体像に不連続感が生じてしまうことの抑止が期待できる。
【００７８】
図１３に戻る。撮像タイミングが調整された全周囲の視点画像は、フレーム生成部２５からの出力制御信号に従い、視点画像バッファ２１からリサイズ部２３に入力される。
【００７９】
ステップＳ３において、リサイズ部２３は、視点画像バッファ２１から入力された視点画像Ａ００乃至Ａ１７をリサイズして回転部２４に出力する。いまの場合、１８枚の視点画像が２枚のDVIフレームに格納されるので、DVIフレームが１９２０×１０８０画素であるならば、各視点画像が６４０×３６０画素にリサイズされる。
【００８０】
ステップＳ４において、回転部２４は、リサイズ後の全周囲の視点画像をＡ００乃至Ａ１７を９０°だけ回転させてフレーム生成部２５に出力する。
【００８１】
ステップＳ５において、フレーム生成部２５は、回転部２４から入力されたリサイズ、回転後の全周囲の視点画像を、evenフレームとoddフレームに分け、かつ、視点が隣り合っていた視点画像（例えば、視点画像Ａ００とＡ０１、Ａ０２とＡ０３など）を各フレームの同じ位置に配置して、DVIフレーム（evenフレーム、およびoddフレーム）を生成して中間フレーム生成部２６に出力する。
【００８２】
ステップＳ６において、中間フレーム生成部２６は、フレーム生成部２５から入力されるDVIフレーム（evenフレーム（ｎフレーム）、およびoddフレーム（ｎ＋１フレーム））、およびシフトフレームを用いて中間フレームを生成する。
【００８３】
ステップＳ７において、中間フレーム生成部２６は、フレーム生成部２５から入力されたDVIフレーム（evenフレーム（ｎフレーム）、およびoddフレーム（ｎ＋１フレーム））と、生成した中間フレーム（ｎ＋０．５フレーム、およびｎ＋１．５フレーム）を後段の全周囲立体画像表示装置３０に出力する。この結果、全周囲立体画像表示装置３０に入力される４枚のフレームには、全周囲を３６等分した３６枚の視点画像が含まれていることになるので、利用者により視認される立体像がより滑らかに表示されることが期待できる。
【００８４】
ここで、ステップＳ６における中間フレーム生成処理について図１６を参照して詳述する。
【００８５】
ステップＳ２１において、フレーム生成部２５は、ステップＳ２５で生成したDVIフレーム（evenフレーム（ｎフレーム）、およびoddフレーム（ｎ＋１フレーム））を中間フレーム生成部２６に出力する。中間フレーム生成部２６では、入力されたｎフレーム、およびｎ＋１フレームがフレームバッファ５１にバッファリングされる。
【００８６】
さらに、ステップＳ２１において、中間フレーム生成部２６の補間部５２は、バッファリングされたｎフレームとｎ＋１フレームとから中間フレーム（ｎ＋０．５フレーム）を生成する。
【００８７】
ステップＳ２２において、フレーム生成部２５は、ステップＳ２５で生成したevenフレーム（ｎフレーム）内の視点画像がシフトされた状態のシフト画像を生成して中間フレーム生成部２６に出力する。中間フレーム生成部２６では、入力されたシフトフレームがフレームバッファ５１にバッファリングされる。
【００８８】
ステップＳ２３において、補間部５２は、バッファリングされているｎ＋１フレームとシフトフレームから中間フレームｎ＋１．５フレームを生成する。以上で、中間フレーム生成処理は終了される。
【００８９】
以上で、画像信号処理装置２０によるDVI信号生成処理の説明を終了する。
【００９０】
［全周囲立体画像表示装置３０の構成例と動作］
次に、図１７は、画像信号処理装置２０から出力されたDVI信号信号が入力される全周囲立体画像表示装置３０の構成例を示している。
【００９１】
全周囲立体画像表示装置３０は、視点画像分離部７１、視点画像バッファ７２、表示制御部７３、表示部７４、およびDVI信号出力部７５から構成される。
【００９２】
視点画像分離部７１は、前段の画像信号処理装置２０から入力されるDVI信号の各DVIフレームから視点画像を抽出して視点画像バッファ７２に出力する。視点画像バッファ７２は、視点画像分離部７１から入力される視点画像をバッファリングする。
【００９３】
表示制御部７３は、視点画像バッファ７２にバッファリングされている各視点画像を所定の順序に従って読み出して表示部７４に表示させる。
【００９４】
DVI信号出力部７５は、前段の画像信号処理装置２０から入力されるDVI信号を後段（例えば、平面ディスプレイ４０）に中継する。
【００９５】
全周囲立体画像表示装置３０においては、前段の画像信号処理装置２０からDVI信号が入力され、これが視点画像分離部７１によって視点画像に分離され、視点画像バッファ７２にバッファリングされる。そして、バッファリングされた視点画像が表示制御部７３により所定の順序で読み出されて表示部７４に表示される。
【００９６】
以上で、全周囲立体画像表示装置３０の説明を終了する。
【００９７】
ところで、上述した画像信号処理装置２０または全周囲立体画像表示装置３０の一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【００９８】
図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【００９９】
このコンピュータ１００において、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【０１００】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
【０１０１】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０１０２】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１０３】
また、プログラムは、１台のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
【０１０４】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１０５】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１０６】
１０  ３次元画像表示システム，  ２０  画像信号処理装置，  ２１  視点画像バッファ，  ２２  撮像タイミング調整部，  ２３  リザイズ部，  ２４  回転部，  ２５  フレーム生成部，  ２６  中間フレーム生成部，  ３０  全周囲立体画像表示装置，  ４０  平面ディスプレイ，  ５１  フレームバッファ，  ５２  補間部，  ７１  視点画像分離部，  ７２  視点画像バッファ，  ７３  表示制御部，  ７４  表示部，  ７５  DVI信号出力部，  １００  コンピュータ，  １０１  CPU
【図１】
2011087119.tif 000003
【図２】
2011087119.tif 000004
【図３】
2011087119.tif 000005
【図４】
2011087119.tif 000006
【図５】
2011087119.tif 000007
【図６】
2011087119.tif 000008
【図７】
2011087119.tif 000009
【図８】
2011087119.tif 000010
【図９】
2011087119.tif 000011
【図１０】
2011087119.tif 000012
【図１１】
2011087119.tif 000013
【図１２】
2011087119.tif 000014
【図１３】
2011087119.tif 000015
【図１４】
2011087119.tif 000016
【図１５】
2011087119.tif 000017
【図１６】
2011087119.tif 000018
【図１７】
2011087119.tif 000019
【図１８】
2011087119.tif 000020