(57)【要約】【課題】視認方向が制限されることなく、複数の観察者が、全天周における、それぞれ任意の方向の立体映像を連続的に視認する。【解決手段】立体映像システム１００は、それぞれの光軸が平行となるように配された３以上の広画角撮像装置１１０と、３以上の広画角撮像装置によって生成された３以上の全天周映像データを合成して左眼用全天周映像データおよび右眼用全天周映像データを生成する全天周映像生成装置１２０と、全天周映像生成装置によって生成された左眼用全天周映像データに基づく左眼用全天周映像、および、右眼用全天周映像データに基づく右眼用全天周映像を全天周スクリーン１３４に交互に表示する全天周表示装置１３０とを備える。【選択図】図１
2013150125.tif 000002
【特許請求の範囲】
【請求項１】
それぞれの光軸が平行となるように配された３以上の広画角撮像装置と、
前記３以上の広画角撮像装置によって生成された３以上の全天周映像データを合成して左眼用全天周映像データおよび右眼用全天周映像データを生成する全天周映像生成装置と、
前記全天周映像生成装置によって生成された前記左眼用全天周映像データに基づく左眼用全天周映像、および、前記右眼用全天周映像データに基づく右眼用全天周映像を全天周スクリーンに交互に表示する全天周表示装置と、
を備えた立体映像システムであって、
前記全天周映像生成装置は、
前記３以上の広画角撮像装置の中心近傍に位置する撮像軸と前記全天周表示装置の表示軸とを重ねた場合において、前記表示軸を中心として周方向に分割された複数の分割領域毎に、前記表示軸方向から視て、前記分割領域の時計回り方向の境界より左側に位置する１または複数の広画角撮像装置から選択された１の左眼用広画角撮像装置および前記分割領域の反時計回り方向の境界より右側に位置する１または複数の広画角撮像装置から選択された１の右眼用広画角撮像装置の組み合わせを関連付ける分割領域情報を記憶する分割領域記憶部と、
前記分割領域情報に基づいて、前記分割領域それぞれに関連付けられた前記左眼用広画角撮像装置の全天周映像データから前記分割領域と径方向および中心角が等しい部分映像データを抽出し、全天周に亘って合成して前記左眼用全天周映像データを生成し、前記分割領域それぞれに関連付けられた前記右眼用広画角撮像装置の全天周映像データから前記分割領域と径方向および中心角が等しい部分映像データを抽出し、全天周に亘って合成して前記右眼用全天周映像データを生成する映像合成部と、
を備えることを特徴とする立体映像システム。
【請求項２】
前記左眼用広画角撮像装置および前記右眼用広画角撮像装置の組み合わせは、前記分割領域の時計回り方向の境界より左側に位置する１または複数の広画角撮像装置のいずれかと前記分割領域の反時計回り方向の境界より右側に位置する１または複数の広画角撮像装置のいずれかとの前記表示軸を中心とする中心角の二等分線と、前記分割領域の中心角の二等分線との成す角が最も小さい前記広画角撮像装置の組み合わせであることを特徴とする請求項１に記載の立体映像システム。
【請求項３】
前記分割領域の中心角の二等分線との成す角が最も小さい前記広画角撮像装置の組み合わせが複数存在する場合、前記左眼用広画角撮像装置および前記右眼用広画角撮像装置の組み合わせは、その複数の組み合わせのうち、前記広画角撮像装置同士の前記中心角が最も小さい組み合わせであることを特徴とする請求項２に記載の立体映像システム。
【請求項４】
それぞれの光軸が平行となるように配された３以上の広画角撮像装置によって撮像された３以上の全天周映像データを合成し、全天周スクリーンに交互に表示するための左眼用全天周映像データおよび右眼用全天周映像データを生成する全天周映像生成装置であって、
前記３以上の広画角撮像装置の中心近傍に位置する撮像軸と全天周表示装置の表示軸とを重ねた場合において、前記表示軸を中心として周方向に分割された複数の分割領域毎に、前記表示軸方向から視て、前記分割領域の時計回り方向の境界より左側に位置する１または複数の広画角撮像装置から選択された１の左眼用広画角撮像装置および前記分割領域の反時計回り方向の境界より右側に位置する１または複数の広画角撮像装置から選択された１の右眼用広画角撮像装置の組み合わせを関連付ける分割領域情報を記憶する分割領域記憶部と、
前記分割領域情報に基づいて、前記分割領域それぞれに関連付けられた前記左眼用広画角撮像装置の全天周映像データから前記分割領域と径方向および中心角が等しい部分映像データを抽出し、全天周に亘って合成して前記左眼用全天周映像データを生成し、前記分割領域それぞれに関連付けられた前記右眼用広画角撮像装置の全天周映像データから前記分割領域と径方向および中心角が等しい部分映像データを抽出し、全天周に亘って合成して前記右眼用全天周映像データを生成する映像合成部と、
を備えることを特徴とする全天周映像生成装置。
【請求項５】
それぞれの光軸が平行となるように配された３以上の広画角撮像装置と、全天周映像生成装置と、全天周表示装置とを用いた立体映像制御方法であって、
前記３以上の広画角撮像装置の中心近傍に位置する撮像軸と前記全天周表示装置の表示軸とを重ねた場合において、前記表示軸を中心として周方向に分割された複数の分割領域毎に、前記表示軸方向から視て、前記分割領域の時計回り方向の境界より左側に位置する１または複数の広画角撮像装置から選択された１の左眼用広画角撮像装置および前記分割領域の反時計回り方向の境界より右側に位置する１または複数の広画角撮像装置から選択された１の右眼用広画角撮像装置の組み合わせを関連付ける分割領域情報が前記全天周映像生成装置に記憶されており、
前記３以上の広画角撮像装置が３以上の全天周映像データを生成し、
前記全天周映像生成装置が、
前記分割領域情報に基づいて、前記分割領域それぞれに関連付けられた前記左眼用広画角撮像装置の映像データから前記分割領域と径方向および中心角が等しい部分映像データを抽出し、全天周に亘って合成して左眼用全天周映像データを生成し、
前記分割領域情報に基づいて、前記分割領域それぞれに関連付けられた前記右眼用広画角撮像装置の映像データから前記分割領域と径方向および中心角が等しい部分映像データを抽出し、全天周に亘って合成して右眼用全天周映像データを生成し、
前記全天周表示装置が、前記左眼用全天周映像データに基づく左眼用全天周映像、および、前記右眼用全天周映像データに基づく右眼用全天周映像を全天周スクリーンに交互に表示することを特徴とする立体映像制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体映像を知覚させるための立体映像システム、全天周映像生成装置、および、立体映像制御方法に関する。
【背景技術】
【０００２】
近年、平面のディスプレイ上に、両眼視差（水平視差）を有する２つの映像を提示し、観察者に対してあたかも被写体像が立体的に存在するように知覚させる立体映像の技術が脚光を浴びている。かかる技術で用いられる２つの映像は、異なる光軸（視点）それぞれにおいて撮像された映像、または、異なる光軸で撮像したものに相当するＣＧ（Computer Graphics）の映像である。かかる２つの映像に含まれる被写体像の遠近方向の結像位置は、２つの映像間における被写体像の両眼視差の大小によって定まる。
【０００３】
また、広範囲に立体的な映像を表現する技術も検討されている。例えば、複数の広画角撮像装置を、同一円周上に等間隔、かつ、その光軸が鉛直上向きになるように配し、撮像された複数の全天周映像データのうち、隣接する広画角撮像装置による２つの全天周映像データを、所定の方向に対する平面で表される平面映像データに幾何変換し、その平面映像データに基づく映像を観察者に提示して、観察者に所定の方向の立体映像を知覚させる技術が開示されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−２５８０５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した特許文献１の技術では、全天周映像データを平面映像データに幾何変換するため、まず、観察者が観察する所定の方向を特定しなくてはならず、立体的に視認可能な方向が制限されてしまう。また、所定の方向を１つに定めなくてはならないので、複数の観察者が、１つの平面ディスプレイを通じて、それぞれ異なる複数の方向の立体映像を知覚するといったことができなかった。
【０００６】
また、特許文献１の技術では、隣接する広画角撮像装置による２つの全天周映像データを用いて平面映像データを抽出しているので、一方の広画角撮像装置の方向に相当する方向が視認し難くなり、立体映像が不連続な方向も生じ、臨場感に乏しくなるといった問題もあった。
【０００７】
そこで本発明は、このような課題に鑑み、視認方向が制限されることなく、複数の観察者が、全天周における、それぞれ任意の方向の立体映像を連続的に視認可能な立体映像システム、全天周映像生成装置、および、立体映像制御方法を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明は下記の立体映像システム、全天周映像生成装置、および、立体映像制御方法を提供するものである。
（１）それぞれの光軸が平行となるように配された３以上の広画角撮像装置と、前記３以上の広画角撮像装置によって生成された３以上の全天周映像データを合成して左眼用全天周映像データおよび右眼用全天周映像データを生成する全天周映像生成装置と、前記全天周映像生成装置によって生成された前記左眼用全天周映像データに基づく左眼用全天周映像、および、前記右眼用全天周映像データに基づく右眼用全天周映像を全天周スクリーンに交互に表示する全天周表示装置と、を備えた立体映像システムであって、前記全天周映像生成装置は、前記３以上の広画角撮像装置の中心近傍に位置する撮像軸と前記全天周表示装置の表示軸とを重ねた場合において、前記表示軸を中心として周方向に分割された複数の分割領域毎に、前記表示軸方向から視て、前記分割領域の時計回り方向の境界より左側に位置する１または複数の広画角撮像装置から選択された１の左眼用広画角撮像装置および前記分割領域の反時計回り方向の境界より右側に位置する１または複数の広画角撮像装置から選択された１の右眼用広画角撮像装置の組み合わせを関連付ける分割領域情報を記憶する分割領域記憶部と、前記分割領域情報に基づいて、前記分割領域それぞれに関連付けられた前記左眼用広画角撮像装置の全天周映像データから前記分割領域と径方向および中心角が等しい部分映像データを抽出し、全天周に亘って合成して前記左眼用全天周映像データを生成し、前記分割領域それぞれに関連付けられた前記右眼用広画角撮像装置の全天周映像データから前記分割領域と径方向および中心角が等しい部分映像データを抽出し、全天周に亘って合成して前記右眼用全天周映像データを生成する映像合成部と、を備えることを特徴とする立体映像システム。
（２）前記左眼用広画角撮像装置および前記右眼用広画角撮像装置の組み合わせは、前記分割領域の時計回り方向の境界より左側に位置する１または複数の広画角撮像装置のいずれかと前記分割領域の反時計回り方向の境界より右側に位置する１または複数の広画角撮像装置のいずれかとの前記表示軸を中心とする中心角の二等分線と、前記分割領域の中心角の二等分線との成す角が最も小さい前記広画角撮像装置の組み合わせであることを特徴とする上記（１）に記載の立体映像システム。
（３）前記分割領域の中心角の二等分線との成す角が最も小さい前記広画角撮像装置の組み合わせが複数存在する場合、前記左眼用広画角撮像装置および前記右眼用広画角撮像装置の組み合わせは、その複数の組み合わせのうち、前記広画角撮像装置同士の前記中心角が最も小さい組み合わせであることを特徴とする上記（２）に記載の立体映像システム。
（４）それぞれの光軸が平行となるように配された３以上の広画角撮像装置によって撮像された３以上の全天周映像データを合成し、全天周スクリーンに交互に表示するための左眼用全天周映像データおよび右眼用全天周映像データを生成する全天周映像生成装置であって、前記３以上の広画角撮像装置の中心近傍に位置する撮像軸と全天周表示装置の表示軸とを重ねた場合において、前記表示軸を中心として周方向に分割された複数の分割領域毎に、前記表示軸方向から視て、前記分割領域の時計回り方向の境界より左側に位置する１または複数の広画角撮像装置から選択された１の左眼用広画角撮像装置および前記分割領域の反時計回り方向の境界より右側に位置する１または複数の広画角撮像装置から選択された１の右眼用広画角撮像装置の組み合わせを関連付ける分割領域情報を記憶する分割領域記憶部と、前記分割領域情報に基づいて、前記分割領域それぞれに関連付けられた前記左眼用広画角撮像装置の全天周映像データから前記分割領域と径方向および中心角が等しい部分映像データを抽出し、全天周に亘って合成して前記左眼用全天周映像データを生成し、前記分割領域それぞれに関連付けられた前記右眼用広画角撮像装置の全天周映像データから前記分割領域と径方向および中心角が等しい部分映像データを抽出し、全天周に亘って合成して前記右眼用全天周映像データを生成する映像合成部と、を備えることを特徴とする全天周映像生成装置。
（５）それぞれの光軸が平行となるように配された３以上の広画角撮像装置と、全天周映像生成装置と、全天周表示装置とを用いた立体映像制御方法であって、前記３以上の広画角撮像装置の中心近傍に位置する撮像軸と前記全天周表示装置の表示軸とを重ねた場合において、前記表示軸を中心として周方向に分割された複数の分割領域毎に、前記表示軸方向から視て、前記分割領域の時計回り方向の境界より左側に位置する１または複数の広画角撮像装置から選択された１の左眼用広画角撮像装置および前記分割領域の反時計回り方向の境界より右側に位置する１または複数の広画角撮像装置から選択された１の右眼用広画角撮像装置の組み合わせを関連付ける分割領域情報が前記全天周映像生成装置に記憶されており、前記３以上の広画角撮像装置が３以上の全天周映像データを生成し、前記全天周映像生成装置が、前記分割領域情報に基づいて、前記分割領域それぞれに関連付けられた前記左眼用広画角撮像装置の映像データから前記分割領域と径方向および中心角が等しい部分映像データを抽出し、全天周に亘って合成して左眼用全天周映像データを生成し、前記分割領域情報に基づいて、前記分割領域それぞれに関連付けられた前記右眼用広画角撮像装置の映像データから前記分割領域と径方向および中心角が等しい部分映像データを抽出し、全天周に亘って合成して右眼用全天周映像データを生成し、前記全天周表示装置が、前記左眼用全天周映像データに基づく左眼用全天周映像、および、前記右眼用全天周映像データに基づく右眼用全天周映像を全天周スクリーンに交互に表示することを特徴とする立体映像制御方法。
【発明の効果】
【０００９】
本発明によれば、視認方向が制限されることなく、複数の観察者が、全天周における、それぞれ任意の方向の立体映像を連続的に視認可能となる。
【図面の簡単な説明】
【００１０】
【図１】立体映像システムの概略的な関係を示した機能ブロック図である。
【図２】全天周映像生成装置の概略的な機能を示した機能ブロック図である。
【図３】分割領域を説明するための平面図である。
【図４】分割領域情報を説明するための説明図である。
【図５】左眼用全天周映像データおよび右眼用全天周映像データを説明するための説明図である。
【図６】左眼用全天周映像データおよび右眼用全天周映像データを説明するための説明図である。
【図７】全天周表示装置の概略的な機能を示した機能ブロック図である。
【図８】分割領域情報を説明するための説明図である。
【図９】分割領域の他の分割態様を説明するための説明図である。
【図１０】他の分割態様による分割領域を説明するための平面図である。
【図１１】他の分割領域情報を説明するための説明図である。
【図１２】立体映像制御方法の具体的な処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１２】
（立体映像システム１００）
図１は、立体映像システム１００の概略的な関係を示した機能ブロック図である。立体映像システム１００は、広画角撮像装置１１０と、全天周映像生成装置１２０と、全天周表示装置１３０と、立体視メガネ１４０とを含んで構成される。
【００１３】
広画角撮像装置１１０は、広画角レンズを通じて周囲３６０度の全天周囲に亘る対象物（被写体）を撮像し、全天周映像データを生成する。ここで、広画角レンズは、標準レンズに比べ画角（視野角）が比較的広い、または、焦点距離が比較的短いレンズをいい、例えば、広画角レンズを中心とする半球状に広がる空間を撮像することができる。ここでは、広画角レンズを用いる例を示すが、魚眼レンズや円錐状（アキシコン）プリズムを用いることもできる。
【００１４】
また、当該立体映像システム１００において広画角撮像装置１１０は３以上準備され（図１の例では４）、図１中破線矢印で示したように、それぞれの光軸が平行となるような姿勢で、３以上の広画角撮像装置１１０の中心近傍に位置し全天周表示装置１３０の表示軸１３２に相当する撮像軸１１２を中心に周方向に等間隔に配される。ただし、本実施形態を実現するためには、広画角撮像装置１１０同士を結ぶ結線が同一線上とならないように配されれば足り、同一円周上や等間隔に配される必要はない。
【００１５】
全天周映像生成装置１２０は、３以上の広画角撮像装置１１０によって生成された３以上の全天周映像データを合成して観察者１０の左眼で視認するための左眼用全天周映像データおよび観察者１０の右眼で視認するための右眼用全天周映像データを生成する。
【００１６】
全天周表示装置１３０は、全天周映像生成装置１２０によって生成された左眼用全天周映像データに基づく左眼用全天周映像、および、右眼用全天周映像データに基づく右眼用全天周映像を、端部が水平面上にある半球状に形成された全天周スクリーン１３４に交互に表示する。ここで、全天周スクリーン１３４は、半球状に限定されず、球の一部を成すようなスクリーンであれば足りる。
【００１７】
立体視メガネ１４０は、観察者１０が装着したとき、観察者１０の左眼の前方に位置する左眼用シャッタと、観察者１０の右眼の前方に位置する右眼用シャッタとを備え、双方のシャッタを排他的に開閉する。具体的に、全天周表示装置１３０が左眼用全天周映像を表示している間、左眼用シャッタを開状態とすると共に、右眼用シャッタを閉状態とし、全天周表示装置１３０が右眼用全天周映像を表示している間、右眼用シャッタを開状態とすると共に、左眼用シャッタを閉状態とする。こうして、観察者１０は、立体視メガネ１４０を通じて全天周スクリーン１３４に交互に表示された左眼用全天周映像および右眼用全天周映像をそれぞれ対応する眼のみで視認することができ、視認方向が制限されることなく、全天周スクリーン１３４のいずれの方向においても立体映像を全天周囲に連続的に視認することが可能となる。以下では、このような全天周の立体映像を実現可能な全天周映像生成装置１２０および全天周表示装置１３０の具体的構成を詳細に説明する。
【００１８】
（全天周映像生成装置１２０）
図２は、全天周映像生成装置１２０の概略的な機能を示した機能ブロック図である。図２に示すように、全天周映像生成装置１２０は、映像データ取得部２１０と、分割領域記憶部２１２と、映像合成部２１４と、映像データ出力部２１６とを含んで構成される。ここでは、映像データ取得部２１０と、映像合成部２１４と、映像データ出力部２１６とをそれぞれ独立したハードウェアとして構成するが、中央処理装置（ＣＰＵ）におけるソフトウェアとして実現することもできる。
【００１９】
映像データ取得部２１０は、光軸の異なる（視差を有する）３以上の広画角撮像装置１１０によって生成された３以上の全天周映像データを取得する。ここで、３以上の全天周映像データは独立して個々に取得されてもよいし、一体的なデータとして取得されてもよい。
【００２０】
分割領域記憶部２１２は、ＲＯＭ、ＥＥＰＲＯＭ、不揮発性ＲＡＭ、フラッシュメモリ、ＨＤＤ等の不揮発性のメモリで構成され、分割領域に関する情報を含む分割領域情報を記憶する。
【００２１】
図３は、分割領域２３０を説明するための平面図であり、図４は、分割領域情報２３２を説明するための説明図である。図３では、説明の便宜上、全天周表示装置１３０の分割領域２３０と撮像軸１１２を中心とした広画角撮像装置１１０の配置とを重ねて（全天周表示装置１３０の表示軸１３２と撮像軸１１２とを重ねて）表している。分割領域２３０は、図３に示すように、全天周表示装置１３０の表示軸１３２、または、表示軸１３２に相当する３以上の広画角撮像装置１１０の撮像軸１１２（以後、説明の便宜上、撮像軸１１２の表現を用いる）を中心として周方向に分割された領域である。
【００２２】
図３では、分割領域２３０として周方向に１２等分に分割する例を挙げている。したがって、分割領域２３０は、図３中、分割領域２３０ａ、２３０ｂ、２３０ｃ、２３０ｄ、２３０ｅ、２３０ｆ、２３０ｇ、２３０ｈ、２３０ｉ、２３０ｊ、２３０ｋ、２３０ｌで示すように、図３上方の０時方向を基準方向として、その基準方向から表示軸１３２を中心とした時計回りに、それぞれ中心角（隣接する２つの分割領域２３０との２つの境界線が成す角）３０度の扇状に形成される。
【００２３】
また、広画角撮像装置１１０は、４つ準備され、周方向に等間隔で配置されているとする。そして、基準方向から表示軸１３２を中心とした時計回りの絶対角をθとした場合に、０時方向に広画角撮像装置１１０ａを位置させ、３時方向（絶対角θ＝９０度）に広画角撮像装置１１０ｂを位置させ、６時方向（絶対角θ＝１８０度）に広画角撮像装置１１０ｃを位置させ、９時方向（絶対角θ＝２７０度）に広画角撮像装置１１０ｄを位置させる。
【００２４】
また、分割領域情報２３２には、図４の如く、図３の分割領域２３０毎に、１または複数の広画角撮像装置１１０から選択された１の左眼用広画角撮像装置および１の右眼用広画角撮像装置の組み合わせが関連付けられている。
【００２５】
例えば、図４の任意の分割領域２３０ａに焦点を当てると、図３における撮像軸１１２方向から視て、撮像軸１１２を通る分割領域２３０ａの時計回り方向の境界線を延長した弦２３４ａより左側（ハッチングで示す領域）に位置する１または複数の広画角撮像装置１１０から選択された、例えば、広画角撮像装置１１０ｄを、当該分割領域２３０ａの左眼用広画角撮像装置とする。
【００２６】
また、撮像軸１１２方向から視て、撮像軸１１２を通る分割領域２３０ａの反時計回り方向の境界線を延長した弦２３６ａより右側（クロスハッチングで示す領域）に位置する１または複数の広画角撮像装置１１０から選択された、例えば、広画角撮像装置１１０ｂを、当該分割領域２３０ａの右眼用広画角撮像装置とする。図４の分割領域情報２３２では、各分割領域２３０に、左眼用広画角撮像装置および右眼用広画角撮像装置が関連付けられる。かかる左眼用広画角撮像装置および右眼用広画角撮像装置は、分割領域２３０における対象物に対して適切な視差を得られるように選択される。その具体的な選択手順は、後ほど詳述する。
【００２７】
映像合成部２１４は、分割領域記憶部２１２の分割領域情報２３２を参照し、その分割領域情報２３２に基づいて、分割領域２３０それぞれに関連付けられた左眼用広画角撮像装置の全天周映像データから、当該分割領域２３０と径方向および中心角が等しい部分映像データを抽出し、全天周に亘って、分割領域２３０に対応する部分映像データを合成して（組み合わせて）左眼用全天周映像データを生成する。同様に、映像合成部２１４は、分割領域２３０それぞれに関連付けられた右眼用広画角撮像装置の全天周映像データから、当該分割領域２３０と径方向および中心角が等しい部分映像データを抽出し、全天周に亘って合成して右眼用全天周映像データを生成する。
【００２８】
図５および図６は、左眼用全天周映像データおよび右眼用全天周映像データを説明するための説明図である。例えば、図４の分割領域情報２３２に従って左眼用全天周映像データを生成する場合、図５（ａ）のように、各広画角撮像装置１１０（１１０ａ、１１０ｂ、１１０ｃ、１１０ｄ）から分割領域２３０と径方向および中心角が等しい部分映像データが抽出される。したがって、１の左眼用全天周映像データには、各広画角撮像装置１１０から、それぞれ３つ分の部分映像データが提供されることになる。同様に、図４の分割領域情報２３２に従って右眼用全天周映像データを生成する場合、図５（ｂ）のように、各広画角撮像装置１１０から部分映像データが抽出される。ここでも、１の右眼用全天周映像データには、各広画角撮像装置１１０から、それぞれ３つ分の部分映像データが提供されることになる。
【００２９】
これを広画角撮像装置１１０毎に視ると、任意の時点では、図６（ａ）の如く、各広画角撮像装置１１０から、ハッチングで示した、それぞれ３つ分の部分映像データが抽出され、左眼用全天周映像データとなり、次の時点では、図６（ｂ）の如く、各広画角撮像装置１１０から、クロスハッチングで示した、それぞれ３つ分の部分映像データが抽出され、右眼用全天周映像データとなる。例えば、広画角撮像装置１１０ａからは、左眼用全天周映像データを生成するタイミングで分割領域２３０ｂ、２３０ｃ、２３０ｄに相当する部分映像データが抽出され、右眼用全天周映像データを生成するタイミングで分割領域２３０ｉ、２３０ｊ、２３０ｋに相当する部分映像データが抽出されることとなる。
【００３０】
映像データ出力部２１６は、映像合成部２１４が生成した左眼用全天周映像データおよび右眼用全天周映像データを全天周表示装置１３０に出力する。ここで、左眼用全天周映像データと右眼用全天周映像データとは独立して個々に出力されてもよいし、一体的なデータとして出力されてもよい。また、映像データ出力部２１６が一旦記憶装置に左眼用全天周映像データおよび右眼用全天周映像データを書き込み、事後的に全天周表示装置１３０に表示することもできる。
【００３１】
（全天周表示装置１３０）
図７は、全天周表示装置１３０の概略的な機能を示した機能ブロック図である。図７に示すように、全天周表示装置１３０は、全天周映像データ取得部２５０と、時分割処理部２５２と、投射部２５４と、上述した全天周スクリーン１３４とを含んで構成される。
【００３２】
全天周映像データ取得部２５０は、全天周映像生成装置１２０が生成した左眼用全天周映像データおよび右眼用全天周映像データを取得する。
【００３３】
時分割処理部２５２は、全天周映像データ取得部２５０が取得した左眼用全天周映像データおよび右眼用全天周映像データを交互に時分割して投射部２５４に送信する。例えば、広画角撮像装置１１０が６０ｆｐｓで撮像されている場合、左眼用全天周映像データおよび右眼用全天周映像データを１フレームで表示完結するため、時分割処理部２５２は、１２０ｆｐｓで左眼用全天周映像データおよび右眼用全天周映像データを送信することとなる。具体的に、時分割処理部２５２は、左眼用全天周映像データおよび右眼用全天周映像データを１フレーム毎にフレームメモリ（図示せず）に記憶し、これを２倍のフレームレートで交互に読み出して投射部２５４に送信する。
【００３４】
また、時分割処理部２５２は、立体視メガネ１４０のシャッタ（左眼用シャッタおよび右眼用シャッタ）を左眼用全天周映像データおよび右眼用全天周映像データに同期させて開閉するためのシャッタ同期信号を生成し、立体視メガネ１４０に伝達する。こうして、観察者１０は、立体視メガネ１４０を通じて全天周スクリーン１３４に交互に表示された左眼用全天周映像および右眼用全天周映像をそれぞれ対応する眼のみで視認することができる。
【００３５】
投射部２５４は、プロジェクタ等、映像を投射する装置と、その投射端に接続される魚眼レンズとで構成され、時分割処理部２５２から受信した左眼用全天周映像データに基づく左眼用全天周映像および右眼用全天周映像データに基づく左眼用全天周映像を、その時系列に従って全天周スクリーン１３４に表示する。
【００３６】
（選択手順）
図８は、分割領域情報２３２を説明するための説明図である。以下では、分割領域２３０に関連付ける左眼用広画角撮像装置および右眼用広画角撮像装置の具体的な選択手順を説明する。
【００３７】
例えば、図８のように、広画角撮像装置１１０（１１０ａ、１１０ｂ、１１０ｃ、１１０ｄ）を絶対角θ＝０度、９０度、１８０度、２７０度に配置し、分割領域２３０を１２等分（中心角３０度）したとする。このとき、任意の分割領域２３０に関連付けられる広画角撮像装置１１０の組み合わせ（左眼用広画角撮像装置および右眼用広画角撮像装置の組み合わせ）は、以下のようにして決定される。
【００３８】
まず、任意の分割領域２３０の中心角の二等分線を導出する。そして、任意の分割領域２３０の時計回り方向の境界より左側に位置する１または複数の広画角撮像装置１１０のいずれかと、任意の分割領域２３０の反時計回り方向の境界より右側に位置する１または複数の広画角撮像装置１１０のいずれかとの複数の組み合わせに関し、それぞれ中心角の二等分線を導出する。そして、任意の分割領域２３０の中心角の二等分線と、広画角撮像装置１１０同士の中心角の二等分線との成す角が最も小さい広画角撮像装置１１０の組み合わせを、任意の分割領域２３０に関連付ける。
【００３９】
例えば、図８の任意の分割領域２３０ａに焦点を当て、まず、分割領域２３０ａの中心角の二等分線２７０を導出する。かかる二等分線２７０は絶対角θ＝１５度に位置する。
【００４０】
そして、撮像軸１１２方向から視て、撮像軸１１２を通る分割領域２３０ａの時計回り方向の境界線を延長した弦２３４ａより左側（ハッチングで示す領域）に位置する１または複数の広画角撮像装置１１０（１１０ａ、１１０ｄ）から１の広画角撮像装置１１０を適当に抽出し、さらに、撮像軸１１２方向から視て、撮像軸１１２を通る分割領域２３０ａの反時計回り方向の境界線を延長した弦２３６ａより右側（クロスハッチングで示す領域）に位置する１または複数の広画角撮像装置１１０（１１０ｂ、１１０ｃ）から１の広画角撮像装置１１０を適当に抽出する。
【００４１】
ここでは、仮に、絶対角θ＝０度に位置する広画角撮像装置１１０ａと絶対角θ＝９０度に位置する広画角撮像装置１１０ｂとの組み合わせ、広画角撮像装置１１０ａと絶対角θ＝１８０度に位置する広画角撮像装置１１０ｃとの組み合わせ、絶対角θ＝２７０度に位置する広画角撮像装置１１０ｄと広画角撮像装置１１０ｂとの組み合わせの３つの組み合わせを挙げる。これらの中心角の二等分線２７２、２７４、２７６は、それぞれ、絶対角θ＝４５度、９０度、０度に位置する。
【００４２】
したがって、分割領域２３０ａの中心角の二等分線２７０と成す角が最も小さいのは、広画角撮像装置１１０ｄと広画角撮像装置１１０ｂとの組み合わせの中心角の二等分線２７６ということになり（成す角＝１５度）、図４の如く、分割領域２３０ａに関連付けられる左眼用広画角撮像装置は広画角撮像装置１１０ｄとなり、右眼用広画角撮像装置は広画角撮像装置１１０ｂとなる。他の分割領域２３０ｂ、２３０ｃ、２３０ｄ、２３０ｅ、２３０ｆ、２３０ｇ、２３０ｈ、２３０ｉ、２３０ｊ、２３０ｋ、２３０ｌに関しても同様な計算を行うことで、図４に示す分割領域情報２３２が生成される。
【００４３】
分割領域２３０に上記のような選択手順で左眼用広画角撮像装置および右眼用広画角撮像装置を関連付ける理由を以下に示す。分割領域２３０の中心角の二等分線は、観察者１０が当該分割領域２３０に頭を向け、分割領域２３０を観察したとした場合の平均的な視認方向である。また、左眼用広画角撮像装置および右眼用広画角撮像装置の中心角の二等分線は、左眼用広画角撮像装置および右眼用広画角撮像装置に視点があるとした場合の平均的な視認方向を示す。したがって、分割領域２３０の中心角の二等分線と広画角撮像装置１１０同士の中心角の二等分線との成す角が大きいと、観察者１０は正面を向いて分割領域２３０の映像を視認しているのに、あたかも水平面の斜め方向を視認している（横目で視ている）ような映像を知覚し、違和感を覚えることとなる。ここでは、上記成す角が最も小さい広画角撮像装置１１０の組み合わせを選択することで、立体映像を違和感なく、また、全周囲を連続的に視認することができる。
【００４４】
また、広画角撮像装置１１０が、例えば周方向に等間隔に８つ配されている場合、広画角撮像装置１１０同士の中心角の二等分線が等しい組み合わせが複数生じ得る。このように、分割領域２３０の中心角の二等分線との成す角が最も小さい広画角撮像装置１１０の組み合わせが複数存在する場合、左眼用広画角撮像装置および右眼用広画角撮像装置の組み合わせを、その複数の組み合わせのうち、広画角撮像装置１１０同士の中心角が最も小さい組み合わせとしてもよい。
【００４５】
こうすることで、広画角撮像装置１１０間の離間距離が最も小さく、その位置が分割領域２３０に最も近い広画角撮像装置１１０の組み合わせを選択できるので、より違和感のない立体映像を観察者１０に提供することが可能となる。
【００４６】
このようにして生成された図４の分割領域情報２３２では、結果的にある規則性が生じる。例えば、分割領域２３０ａでは、左眼用広画角撮像装置が広画角撮像装置１１０ｄであり、右眼用広画角撮像装置が広画角撮像装置１１０ｂである。そして、分割領域２３０ａに時計回りに隣接する分割領域２３０ｂでは、左眼用広画角撮像装置が広画角撮像装置１１０ａであり、右眼用広画角撮像装置が、分割領域２３０ａ同様、広画角撮像装置１１０ｂである。また、分割領域２３０ｂに時計回りに隣接する分割領域２３０ｃでは、左眼用広画角撮像装置が、分割領域２３０ｂ同様、広画角撮像装置１１０ａであり、右眼用広画角撮像装置が広画角撮像装置１１０ｃである。
【００４７】
このように、分割領域２３０が時計回りに移行するに連れ、広画角撮像装置１１０の組み合わせが変化するが、その場合に、いずれか一方の広画角撮像装置１１０のみが変化することがあっても、双方が一度に変化することはない。したがって、観察者１０が、分割領域２３０を跨がって視線を移動したとしても、少なくとも、いずれか一方の広画角撮像装置１１０の映像は連続的に表示されるので、映像の連続性を担保でき、自然な立体映像を提供することが可能となる。
【００４８】
また、ここでは、理解を容易にするために分割領域２３０毎に部分映像データを抽出する広画角撮像装置１１０を切り換える例を挙げて説明したが、分割領域２３０の境界に接した双方の部分映像データに予め定められた所定の比重をかけて加算し、部分映像データを合成する所謂ブレンディングを行なうことで更に連続的で自然な立体映像を提供することもできる。
【００４９】
上述した実施形態では、分割領域２３０の分割態様や広画角撮像装置１１０の配置態様を予め定め、その制限の下、分割領域情報２３２を生成した。ここでは、広画角撮像装置１１０の配置態様が定まっている場合の最適な分割領域２３０の分割態様、および、対象物の撮像精度による広画角撮像装置１１０の配置態様について述べる。
【００５０】
例えば、上述した図８の例、即ち、広画角撮像装置１１０を絶対角θ＝０度、９０度、１８０度、２７０度に配置し、分割領域２３０を１２等分（中心角３０度）した例では、分割領域２３０ａおよび分割領域２３０ｌの２つの領域、即ち中心角６０度の範囲を、広画角撮像装置１１０ｄと広画角撮像装置１１０ｂとの組み合わせでサポートし、分割領域２３０ｂ、即ち中心角３０度の範囲を、広画角撮像装置１１０ａと広画角撮像装置１１０ｂとの組み合わせでサポートしている。即ち、２つの広画角撮像装置１１０によってサポートされる範囲が異なることとなる。
【００５１】
すると、分割領域２３０によっては、観察者の観察方向と、広画角撮像装置１１０同士の中心角の二等分線との成す角との最大値に偏りが生じ、視認方向によっては見難い部分が生じてしまう。そこで、本実施形態では、このような偏りが生じないように、分割領域２３０の分割態様を定めることができる。
【００５２】
図９は、分割領域２３０の他の分割態様を説明するための説明図である。例えば、図９のように、広画角撮像装置１１０（１１０ａ、１１０ｂ、１１０ｃ、１１０ｄ）を絶対角θ＝０、９０、１８０、２７０度に配置すると、そのうち２つの広画角撮像装置１１０の組み合わせが成す角の二等分線は、図９中破線で示した８つの方向（絶対角θ＝０度、４５度、９０度、１３５度、１８０度、２２５度、２７０度、３１５度）に絞られる。そこで、図９中一点鎖線で示した、隣接する二等分線の中心角のさらに二等分線（絶対角θ＝２２．５度、６７．５度、１１２．５度、１５７．５度、２０２．５度、２４７．５度、２９２．５度、３３７．５度）を分割領域２３０の境界とすると、絶対角θが２２．５度オフセットされ、４５度ずつ８等分された分割領域２３０が形成される。かかる構成では、任意の２つの広画角撮像装置１１０によってサポートされる範囲が±２２．５度と等しくなる。このようにして、分割領域２３０毎の撮像精度の偏りを回避することが可能となる。
【００５３】
また、上述した実施形態では、広画角撮像装置１１０を周方向に間隔が均等となるように配置したが、かかる場合に限らず、対象物の撮像精度に応じて広画角撮像装置１１０の配置態様を変更することもできる。
【００５４】
図１０は、他の分割態様による分割領域２３０を説明するための平面図であり、図１１は、他の分割領域情報２３２を説明するための説明図である。例えば、所望する所定の方向、ここでは基準方向の撮像精度を向上したい場合、図１０に示すように、広画角撮像装置１１０をその方向に密に配置し、他の方向を疎とする。ここでは、０時方向、２時方向（絶対角θ＝６０度）、６時方向（絶対角θ＝１８０度）、１０時方向（絶対角θ＝３００度）の広画角撮像装置１１０を、それぞれ広画角撮像装置１１０ｅ、１１０ｆ、１１０ｇ、１１０ｈとし、絶対角θ＝１５〜６０度、６０〜１０５度、１０５〜１５０度、１５０〜２１０度、２１０〜２２５度、２２５〜３００度、３００〜３４５度、３４５〜１５度の分割領域２３０を、それぞれ分割領域２３０ｍ、２３０ｎ、２３０ｏ、２３０ｐ、２３０ｑ、２３０ｒ、２３０ｓ、２３０ｔとする。すると、分割領域情報２３２は、図１１のようになる。
【００５５】
かかる実施形態においては、０時方向近辺において、広画角撮像装置１１０を細かく切り換えることで撮像精度を高め、歪みを抑えて誤差を少なくすることができ、また、図１１に示すように、観察者１０が、分割領域２３０を跨がって視線を移動したとしても、少なくとも、いずれか一方の広画角撮像装置１１０の映像は連続的に表示されるので、映像の連続性を担保でき、自然な立体映像を提供することが可能となる。このような広画角撮像装置１１０の配置態様は、所定の方向の撮像精度を上げる場合に特に有効であり、例えば、４つの広画角撮像装置１１０全てが０時の方向を進行方向として移動する自動車等に装着した場合に適している。
【００５６】
以下、上述した立体映像システム１００による立体映像制御方法の具体的な処理の流れを図１２のフローチャートを用いて説明する。
【００５７】
（立体映像制御方法）
図１２によれば、全天周映像生成装置１２０の分割領域記憶部２１２は、全天周表示装置１３０の表示軸１３２を中心として周方向に分割された複数の分割領域２３０毎に、表示軸１３２方向から視て、分割領域２３０の時計回り方向の境界より左側に位置する１または複数の広画角撮像装置１１０から選択された１の左眼用広画角撮像装置および分割領域２３０の反時計回り方向の境界より右側に位置する１または複数の広画角撮像装置１１０から選択された１の右眼用広画角撮像装置の組み合わせを関連付けた分割領域情報２３２を予め記憶している（Ｓ３００）。
【００５８】
光軸の異なる（視差を有する）３以上の広画角撮像装置１１０は３以上の全天周映像データを生成する（Ｓ３０２）。
【００５９】
全天周映像生成装置１２０の映像データ取得部２１０は、広画角撮像装置１１０によって生成された３以上の全天周映像データを直接取得する（Ｓ３０４）。
【００６０】
全天周映像生成装置１２０の映像合成部２１４は、分割領域記憶部２１２から分割領域情報２３２を読み出し（Ｓ３０６）、分割領域情報２３２に基づいて、分割領域２３０それぞれに関連付けられた左眼用広画角撮像装置の映像データから分割領域２３０と径方向および中心角が等しい部分映像データを抽出し、全天周に亘って合成して左眼用全天周映像データを生成し（Ｓ３０８）、分割領域それぞれに関連付けられた右眼用広画角撮像装置の映像データから分割領域と径方向および中心角が等しい部分映像データを抽出し、全天周に亘って合成して右眼用全天周映像データを生成する（Ｓ３１０）。
【００６１】
全天周映像生成装置１２０の映像データ出力部２１６は、映像合成部２１４が生成した左眼用全天周映像データおよび右眼用全天周映像データを全天周表示装置１３０に出力する（Ｓ３１２）。
【００６２】
全天周表示装置１３０の全天周映像データ取得部２５０は、全天周映像生成装置１２０が生成した左眼用全天周映像データおよび右眼用全天周映像データを直接取得する（Ｓ３１４）。
【００６３】
そして、全天周表示装置１３０の時分割処理部２５２は、全天周映像データ取得部２５０が取得した左眼用全天周映像データおよび右眼用全天周映像データを交互に時分割して投射部２５４に送信し（Ｓ３１６）、投射部２５４は、時分割処理部２５２から受信した左眼用全天周映像データおよび右眼用全天周映像データを、その時系列に従って全天周スクリーン１３４に表示する（Ｓ３１８）。以後、ステップＳ３０２からの処理を繰り返す。上記ステップＳ３０４やＳ３１４では、データを直接取得しているが、一旦記憶媒体に記憶したデータを事後的に取得することもできる。
【００６４】
以上、説明したように、本実施形態の立体映像システム１００によれば、視認方向が全天周に亘って制限されることなく、全天周の立体映像を連続的に視認することが可能となる。また、本実施形態の立体映像システム１００では、観察者１０の人数に制限もなく、複数の観察者１０がそれぞれ独立した方向を同時に同一のスクリーン（全天周スクリーン１３４）で視認することができる。
【００６５】
さらに、コンピュータを全天周映像生成装置１２０として機能させる全天周映像生成プログラムや、その全天周映像生成プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記録媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【００６６】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００６７】
例えば、上述した実施形態では、特に鉛直上向き方向の全天周囲を撮像する例を挙げたが、かかる場合に限られず、鉛直下向きや水平方向等、様々な方向に対する全天周囲を撮像してもよい。
【００６８】
なお、本明細書の立体映像制御方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【００６９】
本発明は、立体映像を知覚させるための立体映像システム、全天周映像生成装置、および、立体映像制御方法に利用することができる。
【符号の説明】
【００７０】
１００  …立体映像システム
１１０  …広画角撮像装置
１１２  …撮像軸
１２０  …全天周映像生成装置
１３０  …全天周表示装置
１３２  …表示軸
１３４  …全天周スクリーン
１４０  …立体視メガネ
２１０  …映像データ取得部
２１２  …分割領域記憶部
２１４  …映像合成部
２１６  …映像データ出力部
２３０  …分割領域
２３２  …分割領域情報
【図１】
2013150125.tif 000003
【図２】
2013150125.tif 000004
【図３】
2013150125.tif 000005
【図４】
2013150125.tif 000006
【図５】
2013150125.tif 000007
【図６】
2013150125.tif 000008
【図７】
2013150125.tif 000009
【図８】
2013150125.tif 000010
【図９】
2013150125.tif 000011
【図１０】
2013150125.tif 000012
【図１１】
2013150125.tif 000013
【図１２】
2013150125.tif 000014