(57)【特許請求の範囲】
【請求項１】
入力された３次元の原映像から時系列映像を生成する映像生成装置と、前記映像生成装置によって生成された前記時系列映像を表示する映像表示装置と、前記映像表示装置によって表示される前記時系列映像を観察する複数の観察者の頭部にそれぞれ装着される複数の頭部装着型表示装置と、前記映像表示装置に対する前記頭部装着型表示装置の個別の位置姿勢をそれぞれ計測する位置姿勢計測装置と、を備える立体映像表示装置であって、
前記映像生成装置は、
前記位置姿勢計測装置によって計測された前記位置姿勢に従って、複数の観察者が前記３次元の原映像を観察した場合における、各観察者の左目に入る左目映像と、各観察者の右目に入る右目映像と、を生成する両眼映像生成手段と、
前記両眼映像生成手段によって生成された前記左目映像および前記右目映像を予め定められたフレームレートで読み出し、当該読み出した各観察者の左目用フレームおよび右目用フレームを、観察者ごとに交互に切り替えて時系列に沿って配置しなおすことで、前記時系列映像を生成する映像切替手段と、
前記映像切替手段によって生成された前記時系列映像における観察者ごとの前記左目用フレームおよび前記右目用フレームの切替タイミングを取得し、当該切替タイミングに従ってバッファ制御信号を生成する視野映像制御手段と、を備え、
前記頭部装着型表示装置は、
前記観察者の左目の視野を示す左目視野映像を撮影する左目視野映像撮影手段と、
前記観察者の右目の視野を示す右目視野映像を撮影する右目視野映像撮影手段と、
前記視野映像制御手段から入力された前記バッファ制御信号に従って、前記左目視野映像撮影手段によって撮影された前記左目視野映像をホールドする左目視野映像バッファ手段と、
前記視野映像制御手段から入力された前記バッファ制御信号に従って、前記右目視野映像撮影手段によって撮影された前記右目視野映像をホールドする右目視野映像バッファ手段と、
前記左目視野映像バッファ手段によってホールドされた前記左目視野映像を表示する左目視野映像表示手段と、
前記右目視野映像バッファ手段によってホールドされた前記右目視野映像を表示する右目視野映像表示手段と、
を備えることを特徴とする立体映像表示装置。
【請求項２】
前記両眼映像生成手段は、仮想空間上において、前記位置姿勢計測装置によって計測された前記位置姿勢における左目および右目の位置を算出し、当該左目および右目の位置にそれぞれ仮想カメラを配置し、当該仮想カメラによって前記３次元の原映像をレンダリングすることで、前記左目映像および前記右目映像を生成することを特徴とする請求項１に記載の立体映像表示装置。
【請求項３】
前記両眼映像生成手段は、仮想空間上において、前記位置姿勢計測装置によって計測された前記位置姿勢における左目および右目の位置を算出し、インテグラルフォトグラフィにおける要素画像および要素レンズ群の設定値を示すＩＰ設定パラメータに従って、左目および右目の各位置で各要素レンズにおいて観察できる要素画像を算出することで、前記左目映像および前記右目映像を生成することを特徴とする請求項１に記載の立体映像表示装置。
【請求項４】
前記映像生成装置は、前記位置姿勢計測装置によって計測された前記頭部装着型表示装置における前記左目視野映像撮影手段および前記右目視野映像撮影手段の位置姿勢と、予め定められた前記左目視野映像撮影手段および前記右目視野映像撮影手段の撮影画角とにより、前記左目視野映像撮影手段による左視野映像および前記右目視野映像撮影手段による右視野映像に前記映像表示装置が撮影されているかを逐次判定する撮影判定手段を備え、
前記両眼映像生成手段は、前記撮影判定手段によって前記映像表示装置が撮影されていないと判定されている観察者の前記左目映像および前記右目映像を生成せず、
前記映像切替手段は、前記撮影判定手段によって前記映像表示装置が撮影されていないと判定されている観察者の前記左目映像および前記右目映像を含めずに前記時系列映像を生成することを特徴とする請求項１から請求項３のいずれか一項に記載の立体映像表示装置。
【請求項５】
入力された３次元の原映像から時系列映像を生成する映像生成装置と、前記映像生成装置によって生成された前記時系列映像を表示する映像表示装置と、前記映像表示装置によって表示される前記時系列映像を観察する複数の観察者の頭部にそれぞれ装着される複数の頭部装着型表示装置と、前記映像表示装置に対する前記頭部装着型表示装置の個別の位置姿勢をそれぞれ計測する位置姿勢計測装置と、を備え、前記頭部装着型表示装置が、前記観察者の左目の視野を示す左目視野映像を撮影する左目視野映像撮影手段と、前記観察者の右目の視野を示す右目視野映像を撮影する右目視野映像撮影手段と、前記映像生成装置から入力されたバッファ制御信号に従って、前記左目視野映像撮影手段によって撮影された前記左目視野映像をホールドする左目視野映像バッファ手段と、前記映像生成装置から入力された前記バッファ制御信号に従って、前記右目視野映像撮影手段によって撮影された前記右目視野映像をホールドする右目視野映像バッファ手段と、前記左目視野映像バッファ手段によってホールドされた前記左目視野映像を表示する左目視野映像表示手段と、前記右目視野映像バッファ手段によってホールドされた前記右目視野映像を表示する右目視野映像表示手段と、を備える立体映像表示装置において、前記映像生成装置のコンピュータを、
前記位置姿勢計測装置によって計測された前記位置姿勢に従って、複数の観察者が前記３次元の原映像を観察した場合における、各観察者の左目に入る左目映像と、各観察者の右目に入る右目映像と、を生成する両眼映像生成手段、
前記両眼映像生成手段によって生成された前記左目映像および前記右目映像を予め定められたフレームレートで読み出し、当該読み出した各観察者の左目用フレームおよび右目用フレームを、観察者ごとに交互に切り替えて時系列に沿って配置しなおすことで、前記時系列映像を生成する映像切替手段、
前記映像切替手段によって生成された前記時系列映像における観察者ごとの前記左目用フレームおよび前記右目用フレームの切替タイミングを取得し、当該切替タイミングに従って前記バッファ制御信号を生成して前記左目視野映像バッファ手段および前記右目視野映像バッファ手段に対して出力する視野映像制御手段、
として機能させるための映像生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体映像表示技術の分野に係り、複数の観察者に共有された現実空間にある１つの映像表示装置に立体映像を表示する立体映像表示装置および映像生成プログラムに関するものである。
【背景技術】
【０００２】
従来、立体映像表示技術として、両眼視差を有する一対の左目画像と右目画像を時分割で交互に表示し、液晶シャッター眼鏡を用いて観察者の左目および右目にそれぞれ左目画像および右目画像を呈示することで立体感を得る液晶シャッター方式がある。
【０００３】
２０１０年に複数の電機メーカーから上記の液晶シャッター方式の３Ｄテレビが市販され、３Ｄテレビの一般家庭への普及が期待されたが、それほど広く普及するには至らなかった。その理由としては、第一に、液晶シャッター眼鏡をかける煩わしさ、第二に、観察者が頭を左右に移動した際に立体像の見えが変化しないという運動視差の欠落、第三に、観察者の両眼の視線が交わる点の位置（輻輳位置）と目のピントが合う位置（焦点調節位置）の不一致による視覚疲労等が挙げられる。
【０００４】
これら３つの問題点を解決するために、現在、インテグラルイメージング方式や電子ホログラフィ方式等の像再生型立体映像技術が検討されている。これらの技術は、微少なレンズや回折格子を用いて立体像から放たれる光線を再現する技術であり、理想的には実物体が放つ光と全く同様の光を再現することができる。そのため、観察者の両眼に入る光と、実体物が放つ光とが全く同じになることから、観察者は視覚的には実物体と立体像の区別ができないとされている。
【０００５】
しかしながら、実物体が放つ光と全く同様の光を再現するためには、極微細なレンズや光学素子が必要となるが、現時点での微細化技術および表示パネル技術では実物体が放つ光と全く同様の光には及ばず、単眼に入る映像はＶＧＡ画質（６４０×４８０）に達していない。そのため、実物体が放つ光をどの程度標本化すれば観察者が自然な立体感を得られるのか等の設計指針の実証はできていない状況である。なお、前記した「標本化」とは、例えば立体映像を再生する際に、各要素レンズに対して要素画像をいくつ割り当てて、何方向の光を用いて再現するか等の立体映像再生時の条件のことを意味している。また、像再生型立体映像技術では、実物体が放つある範囲の光を全て再現しているため、観察者が存在しない空間への光まで再現していることになり、当該観察者にとっては無駄な情報となっている。
【０００６】
一方、ヴァーチャルリアリティ技術では、例えば観察者の頭の位置や向きに応じて立体像の左右像を生成し、ヘッドマウントディスプレイ（ＨＭＤ：Head-Mounted Display）に取り付けられた左右の目の前面にある表示パネルに表示することで、実物体が放つ光を効率よく観察者の目に向けることを可能としている。このようなヴァーチャルリアリティ技術では、前記した像再生型立体映像技術と異なり、観察者の左右の目に入る立体像からの光を頭の位置や向きがどのくらい変化したら切り替えるのかを自由に設定可能であるため、観察者が自然と感じる標本化レベルを評価することが可能である。なお、前記した「立体像の標本化レベルを変える」とは、立体像を再現する光の方向数を変えることを意味している。
【０００７】
さらに、この技術を発展させた複合現実感（ＭＲ：Mixed Reality）技術では、立体像と観察者の目の前にある現実世界とを合成することにより、観察者にあたかも目の前の現実世界に立体像が存在しているような感覚を生じさせることが可能である。この複合現実感を用いて像再生型立体映像をシミュレーションすれば、現時点における微細化技術および表示パネル技術では検証ができない、実際の視聴環境における像再生型立体映像技術の標本化パラメータの評価が可能となる。但し、観察者の両眼間距離は異なるため、現実世界と立体像とを自然に合成することは難しい。
【０００８】
そこで、例えば特許文献１では、ヘッドマウントディスプレイに取り付けられた２台のカメラで撮影された現実世界の映像と、コンピュータグラフィックス（ＣＧ：Computer Graphics）で生成された立体映像とを合成するための方法が提案されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００６−２８５６０９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献１で提案された発明は、現実世界の映像と立体映像とを合成する際の調整が複雑であり、処理に手間がかかるという問題があった。
【００１１】
本発明はかかる点に鑑みてなされたものであって、複雑な調整を行うことなく、複数の観察者に対して同じ立体映像を同時に呈示することができる立体映像表示装置および映像生成プログラムを提供することを課題とする。
【課題を解決するための手段】
【００１２】
前記課題を解決するために本発明に係る立体映像表示装置は、入力された３次元の原映像から時系列映像を生成する映像生成装置と、前記映像生成装置によって生成された前記時系列映像を表示する映像表示装置と、前記映像表示装置によって表示される前記時系列映像を観察する複数の観察者の頭部にそれぞれ装着される複数の頭部装着型表示装置と、前記映像表示装置に対する前記頭部装着型表示装置の個別の位置姿勢をそれぞれ計測する位置姿勢計測装置と、を備える立体映像表示装置であって、前記映像生成装置が、両眼映像生成手段と、映像切替手段と、視野映像制御手段と、を備え、前記頭部装着型表示装置が、左目視野映像撮影手段と、右目視野映像撮影手段と、左目視野映像バッファ手段と、右目視野映像バッファ手段と、左目視野映像表示手段と、右目視野映像表示手段と、を備える構成とした。
【００１３】
かかる構成によれば、立体映像表示装置は、両眼映像生成手段によって、前記位置姿勢計測装置によって計測された前記位置姿勢に従って、複数の観察者が前記３次元の原映像を観察した場合における、各観察者の左目に入る左目映像と、各観察者の右目に入る右目映像と、を生成する。また、立体映像表示装置は、映像切替手段によって、前記両眼映像生成手段によって生成された前記左目映像および前記右目映像を予め定められたフレームレートで読み出し、当該読み出した各観察者の左目用フレームおよび右目用フレームを、観察者ごとに交互に切り替えて時系列に沿って配置しなおすことで、前記時系列映像を生成する。そして、立体映像表示装置は、視野映像制御手段によって、前記映像切替手段によって生成された前記時系列映像における観察者ごとの前記左目用フレームおよび前記右目用フレームの切替タイミングを取得し、当該切替タイミングに従ってバッファ制御信号を生成する。また、立体映像表示装置は、左目視野映像撮影手段によって、前記観察者の左目の視野を示す左目視野映像を撮影し、右目視野映像撮影手段によって、前記観察者の右目の視野を示す右目視野映像を撮影する。また、立体映像表示装置は、左目視野映像バッファ手段によって、前記視野映像制御手段から入力された前記バッファ制御信号に従って、前記左目視野映像撮影手段によって撮影された前記左目視野映像をホールドする。また、立体映像表示装置は、右目視野映像バッファ手段によって、前記視野映像制御手段から入力された前記バッファ制御信号に従って、前記右目視野映像撮影手段によって撮影された前記右目視野映像をホールドする。そして、立体映像表示装置は、左目視野映像表示手段によって、前記左目視野映像バッファ手段によってホールドされた前記左目視野映像を表示し、右目視野映像表示手段によって、前記右目視野映像バッファ手段によってホールドされた前記右目視野映像を表示する。
【００１４】
また、前記課題を解決するために、本発明に係る映像生成プログラムは、前記立体映像表示装置において、前記映像生成装置のコンピュータを、前記両眼映像生成手段、前記映像切替手段、前記視野映像制御手段、として機能させることとした。
【発明の効果】
【００１５】
本発明によれば、観察者の位置に応じた映像を時系列に配置して時系列映像として映像表示装置に表示し、頭部装着型表示装置によって映像表示装置に表示された当該時系列映像を含む現実世界を撮影し、撮影された左目および右目の視野映像を適宜ホールドして表示することで、現実世界の映像と立体映像との調整を行うことなく、複数の観察者の観察位置に応じて立体映像を個別に呈示することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明に係る立体映像表示装置の構成を模式的に示す図である。
【図２】本発明の第１実施形態に係る立体映像表示装置の構成を示すブロック図である。
【図３】本発明に係る立体映像表示装置における時系列映像の構成を模式的に示す図である。
【図４】本発明に係る立体映像表示装置における視野映像を説明するための説明図であり、（ａ）は、第１観察者、第ｎ観察者および映像表示装置の位置関係を示す図、（ｂ）は、第１観察者の左目視野映像のｍフレームおよび右目視野映像のｍフレームを示す図、（ｃ）は、第ｎ観察者の左目視野映像のｍフレームおよび右目視野映像のｍフレームを示す図、である。
【図５】本発明に係る立体映像表示装置における視野映像の制御タイミングチャートである。
【図６】本発明に係る立体映像表示装置における視野映像を説明するための説明図であり、（ａ）は、バッファホールド制御信号によってホールドされた第１観察者の左目映像のｍフレームおよび右目映像のｍフレームを示す図、（ｂ）は、バッファホールド制御信号によってホールドされた第ｎ観察者の左目映像のｍフレームおよび右目映像のｍフレームを示す図、（ｃ）は、バッファホールド制御信号によってホールドされた第１観察者の左目映像のｍ＋１フレームおよび右目映像のｍ＋１フレームを示す図、（ｄ）は、バッファホールド制御信号によってホールドされた第ｎ観察者の左目映像のｍ＋１フレームおよび右目映像のｍ＋１フレームを示す図、である。
【図７】本発明の第１実施形態に係る立体映像表示装置の処理内容を示すフローチャートであり、（ａ）は、位置姿勢計測装置の処理内容を示すフローチャート、（ｂ）は、映像生成装置の処理内容を示すフローチャート、（ｃ）は、映像表示装置の処理内容を示すフローチャート、（ｄ）は、頭部装着型表示装置の処理内容を示すフローチャート、である。
【図８】本発明に係る立体表示装置における視野映像撮影手段の画角を説明するための説明図であり、（ａ）は、映像表示装置を横から見た場合であって、視野映像撮影手段の垂直画角を示す図、（ｂ）は、映像表示装置を上から見た場合であって、視野映像撮影手段の水平画角を示す図、である。
【図９】本発明の第２実施形態に係る立体映像表示装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下、本発明に係る立体映像表示装置について、図面を参照しながら説明する。以下の説明において、同一の名称および符号については原則として同一の構成を示しており、詳細説明を適宜省略する。
【００１８】
＜第１実施形態＞
本発明の第１実施形態に係る立体映像表示装置１の構成について、図１〜図６を参照しながら説明する。立体映像表示装置１は、例えば図１に示すように、家庭内等でｎ名（図１ではｎ＝２）の観察者がそれぞれ頭部装着型表示装置４０を頭部に装着し、映像表示装置３０の表示映像を観察した場合において、各観察者に対して、それぞれの位置に応じた立体映像を表示するものである。また、立体映像表示装置１は、図１に示すように、位置姿勢計測装置１０と頭部装着型表示装置４０とが無線で接続されており、後記するように、位置姿勢計測装置１０によって頭部装着型表示装置４０の個別の位置姿勢を計測できるように構成されている。さらに、立体映像表示装置１は、図１に示すように、位置姿勢計測装置１０および映像生成装置２０、映像生成装置２０および映像表示装置３０がそれぞれ有線で接続されており、データの入出力が可能となるように構成されている。
【００１９】
ここで、前記した特許文献１で提案された発明は、複数の観察者の観察位置に応じて立体映像を個別に呈示することができたが、本発明のように現実世界に設置された映像表示装置３０で表示する場合は、複数の観察者が同じ映像を見るため、観察位置に応じて立体映像を変えることが必要となる。
【００２０】
例えば図１に示す例において、第１観察者は映像表示装置３０に対して左側の位置に座っており、第ｎ観察者は映像表示装置３０に対して右側の位置に立っている。そのため、立体映像表示装置１は、第１観察者に対しては左側の座った位置から立体像を観察した状態に相当する立体映像を表示し、第ｎ観察者に対しては右側の立った位置から立体像を観察した状態に相当する立体映像を表示する。つまり、立体映像表示装置１は、同じ映像表示装置３０の表示映像を観察する複数の観察者に対して、それぞれの位置に対応している立体映像を表示する。立体映像表示装置１は、図２に示すように、位置姿勢計測装置１０と、映像生成装置２０と、映像表示装置３０と、頭部装着型表示装置４０と、を備えている。
【００２１】
位置姿勢計測装置１０は、頭部装着型表示装置４０の位置姿勢を計測するものである。位置姿勢計測装置１０は、具体的には映像表示装置３０に対する頭部装着型表示装置４０（第１観察者用頭部装着型表示装置４０Ａ〜第ｎ観察者用頭部装着型表示装置４０Ｂ）の個別の位置姿勢をそれぞれ計測する。ここで、前記した「位置姿勢」とは、具体的には頭部装着型表示装置４０の６自由度（並進３自由度および回転３自由度）のことを意味している。位置姿勢計測装置１０は、図２に示すように、位置姿勢の計測結果を映像生成装置２０の両眼映像生成手段２１に対して出力する。
【００２２】
位置姿勢計測装置１０の具体的な構成は、頭部装着型表示装置４０の６自由度を取得できるものであれば特に限定されず、磁気式センサや光学式センサ、超音波センサ等の既知の技術を用いることができる。また、位置姿勢計測装置１０が配置される場所についても特に限定されず、映像生成装置２０内、頭部装着型表示装置４０内、あるいは図２に示すようにこれらの外部、のいずれの場所に配置されても構わない。
【００２３】
映像生成装置２０は、入力された３次元の原映像から時系列映像を生成するものである。ここで、前記した「３次元の原映像」とは、例えばコンピュータグラフィックスのような３次元情報を持つ映像や、インテグラルフォトグラフィによって撮影された映像のことを意味している。また、前記した「時系列映像」とは、複数の観察者の左目および右目に入る映像が時系列に沿って交互に配置された映像のことを意味している。なお、時系列映像の具体的構成については後記する（図３参照）。映像生成装置２０は、図２に示すように、両眼映像生成手段２１と、映像切替手段２２と、視野映像制御手段２３と、を備えている。
【００２４】
両眼映像生成手段２１（第１観察者用両眼映像生成手段２１Ａ〜第ｎ観察者用両眼映像生成手段２１Ｂ）は、３次元の原映像と、頭部装着型表示装置４０の位置姿勢とから、各観察者の左目と右目に入る映像を生成するものである。両眼映像生成手段２１は、映像表示装置３０の観察者をｎ名とした場合、図２に示すように第１観察者用両眼映像生成手段２１Ａ〜第ｎ観察者用両眼映像生成手段２１Ｂから構成される。なお、これら第１観察者用両眼映像生成手段２１Ａ〜第ｎ観察者用両眼映像生成手段２１Ｂは、それぞれ同一の機能を備えている。そのため、以下ではこれら第１観察者用両眼映像生成手段２１Ａ〜第ｎ観察者用両眼映像生成手段２１Ｂの個別の説明に代えて、これらを包含する両眼映像生成手段２１の説明を行うこととする。
【００２５】
両眼映像生成手段２１は、具体的には図２に示すように、外部から入力された３次元の原映像から、位置姿勢計測装置１０によって計測された頭部装着型表示装置４０の位置姿勢に従って、複数の観察者の左目映像および右目映像を生成する。ここで、前記した「左目映像」とは、観察者が映像表示装置３０に目を向けて３次元の原映像を観察した場合において、各観察者の左目に入る映像のことを意味し、前記した「右目映像」とは、同様の場合において右目に入る映像のことを意味している。
【００２６】
なお、後記するように、映像表示装置３０によって実際に表示される映像は、３次元の原映像ではなく時系列映像である。そのため、両眼映像生成手段２１は、より具体的には映像表示装置３０の位置に３次元の原映像を表示した場合の観察者の左目映像および右目映像を演算によって求める。また、ここでの右目映像および左目映像は、３次元の原映像に対する各観察者の右目と左目の位置を考慮した視差映像であり、後記する右目視野映像および左目視野映像（図４（ｂ）および図４（ｃ）参照）のように映像以外の部分は含まれない。
【００２７】
両眼映像生成手段２１において、第１観察者用両眼映像生成手段２１Ａは第１観察者の左目映像および右目映像を生成してこれを映像切替手段２２に出力し、第ｎ観察者用両眼映像生成手段２１Ｂは、第ｎ観察者の左目映像および右目映像を生成してこれを映像切替手段２２に出力する。すなわち、第１観察者用両眼映像生成手段２１Ａ〜第ｎ観察者用両眼映像生成手段２１Ｂは、それぞれ対応する第１観察者〜第ｎ観察者の左目映像および右目映像を生成し、それぞれ映像切替手段２２に対して出力する。
【００２８】
ここで、両眼映像生成手段２１は、例えばコンピュータグラフィックスにおいて仮想カメラに基づいてレンダリングするプロセスを利用して、前記した左目映像および右目映像を生成することができる。この場合、両眼映像生成手段２１は、まず仮想空間上において、位置姿勢計測装置１０によって計測された位置姿勢における左目および右目の位置を算出して当該左目および右目の位置にそれぞれ仮想カメラを配置する。次に、両眼映像生成手段２１は、仮想カメラによって外部から入力された３次元の原映像をレンダリングすることで、左目映像および右目映像を生成することができる。なお、前記した「左目および右目の位置」とは、具体的には後記する頭部装着型表示装置４０における、左目視野映像撮影手段４１ａの光学中心および右目視野映像撮影手段４１ｂの光学中心のことを意味している。両眼映像生成手段２１は、以上のような処理を経ることで、観察者ごとの左目映像および右目映像を正確かつ簡便に生成することができる。
【００２９】
また、両眼映像生成手段２１は、前記した仮想カメラに基づくレンダリング以外にも、例えばインテグラルフォトグラフィ（ＩＰ）等の像再生型立体映像表示装置の光学的特性に基づいてレンダリングすることで、前記した左目映像および右目映像を生成することができる。この場合、両眼映像生成手段２１は、まず仮想空間上において、位置姿勢計測装置１０によって計測された位置姿勢における左目および右目の位置を算出する。次に、両眼映像生成手段２１は、インテグラルフォトグラフィにおける要素画像および要素レンズ群の設定値を示すＩＰ設定パラメータに従って、左目および右目の各位置で各要素レンズにおいて観察できる要素画像を算出することで、左目映像および右目映像を生成する。
【００３０】
すなわち両眼映像生成手段２１は、仮想空間上における３次元の原映像のある点から生じる光と方向が対応する光によって再現された要素画像が、仮想要素レンズの後ろに配置されていることを想定する。次に、両眼映像生成手段２１は、要素画像の数や配置、仮想要素レンズの曲率等のＩＰ設定パラメータを設定し、観察者の目にどの要素画像の光が入ってくるかを、当該左目および右目の位置に基づいて算出する。なお、どの目の位置にどの要素画像の光が入るかは前記したＩＰパラメータに依存しているため、上記方法により、それぞれの仮想レンズごとに、左目および右目に入る要素画像を決定することができる。そして、全ての仮想要素レンズについて計算を行うことで、任意の目の位置に対応した２次元画像、すなわち左目映像および右目映像を生成することができる。両眼映像生成手段２１は、以上のような処理を経ることで、例えば像再生型立体映像装置のいくつかのパラメータを変えた場合の見え方を再現することができるため、これにより観察者ごとの左目映像および右目映像を正確かつ簡便に生成することができる。
【００３１】
また、上記の手法は、入力されたＩＰ映像から実際の要素レンズや光学素子を用いることなく左目映像および右目映像を演算によって生成することができるため、従来の像再生型立体映像技術のように極微細なレンズや光学素子を必要とせず、またこのようなハードウェアの限界を超えて、実物体が放つ光と全く同様の光を再現することができる。そのため、上記の手法を利用することで、従来は不可能であった実物体が放つ光をどの程度標本化すれば観察者が自然な立体感を得られるのか等の設計指針の実証も可能となる。さらに、上記の手法は、従来の像再生型立体映像技術とは異なり、観察者が存在しない空間への光は再現していないため、当該観察者にとって無駄な情報も生成していない。
【００３２】
なお、像再生型立体映像装置の光学的特性に基づくレンダリングによって左目映像および右目映像を生成する場合、図２に示すように、映像生成装置２０には、外部から３次元の原映像の他にＩＰ設定パラメータも入力される。この「ＩＰ設定パラメータ」とは、例えばインテグラルフォトグラフィにおける要素レンズの数、径、厚さ、ピッチ、開口率、要素画像の大きさ、パネルの解像度等のインテグラルフォトグラフィにおける各種設定値のことを意味している。
【００３３】
映像切替手段２２は、複数の観察者の左目映像および右目映像を読出フレームごとに切り替えて時系列映像を生成するものである。映像切替手段２２は、具体的には図２に示すように、両眼映像生成手段２１によって生成された各観察者の左目映像および右目映像を一時的に図示しないメモリにそれぞれ保存する。次に、映像切替手段２２は、当該メモリに保存された各観察者の左目映像および右目映像を予め定められたフレームレートでそれぞれ読み出す。これにより、各観察者の左目映像は複数の左目用フレームに切り出され、各観察者の右目映像は複数の右目用フレームに切り出されることになる。そして、映像切替手段２２は、当該読み出した各観察者の左目用フレームおよび右目用フレームを、観察者ごとに交互に切り替えて時系列に沿って配置しなおすことで、時系列映像を生成する。また、映像切替手段２２は、図２に示すように、生成した時系列映像を映像表示装置３０に対して出力する。
【００３４】
ここで、前記した左目映像および右目映像を読み出す際のフレームレートは、例えば外部から入力される３次元の原映像のフレーム数が「ｋフレーム／秒」であり、観察者の数がｎ名である場合、「２×ｋ×ｎフレーム／秒」とすることが好ましい。また、映像表示装置３０や頭部装着型表示装置４０によってフレームレートの上限値が決まっている場合は、観察者の数ｎを減らして前記した「２×ｋ×ｎフレーム／秒」の範囲に収まるようにするか、あるいはフレームレートを映像表示装置３０や頭部装着型表示装置４０の上限値に設定すればよい。
【００３５】
また、前記した時系列映像は、具体的には図３に示すように、映像切替手段２２が読み出した読出フレーム（ｍ、ｍ＋１、・・・）ごとに時系列で配置され、かつ、複数の観察者の左目用フレームと右目用フレームとが交互に配置された構成を備えている。映像切替手段２２は、例えば観察者の数がｎ名である場合、前記した図示しないメモリから、図３に示すように「ｍフレームの第１観察者の左目用フレーム」、「ｍフレームの第１観察者の右目用フレーム」、「ｍフレームの第ｎ観察者の左目用フレーム」、「ｍフレームの第ｎ観察者の右目用フレーム」、「ｍ＋１フレームの第１観察者の左目用フレーム」、「ｍ＋１フレームの第１観察者の右目用フレーム」、「ｍ＋１フレームの第ｎ観察者の左目用フレーム」、「ｍ＋１フレームの第ｎ観察者の右目用フレーム」の順番で読み出して配置しなおすことで時系列映像を生成する。
【００３６】
視野映像制御手段２３は、頭部装着型表示装置４０によって撮影される視野映像を制御するものである。視野映像制御手段２３は、具体的には映像切替手段２２によって生成された時系列映像における、観察者ごとの左目用フレームおよび右目用フレームの切替タイミングを取得する。そして、視野映像制御手段２３は、前記した切替タイミングに従ってバッファ制御信号を生成し、図２に示すように、このバッファ制御信号を頭部装着型表示装置４０の左目視野映像バッファ手段４２ａおよび右目視野映像バッファ手段４２ｂに対して出力する。
【００３７】
ここで、前記した「切替タイミング」とは、図３に示す時系列映像において、読出フレーム（ｍフレーム、ｍ＋１フレーム、・・・）、観察者、左目用フレームおよび右目用フレーム、がそれぞれ切り替わるタイミングのことを意味しており、前記したような「ｍフレームの第１観察者の左目用フレーム」、「ｍフレームの第１観察者の右目用フレーム」、「ｍフレームの第ｎ観察者の左目用フレーム」、「ｍフレームの第ｎ観察者の右目用フレーム」、「ｍ＋１フレームの第１観察者の左目用フレーム」、「ｍ＋１フレームの第１観察者の右目用フレーム」、「ｍ＋１フレームの第ｎ観察者の左目用フレーム」、「ｍ＋１フレームの第ｎ観察者の右目用フレーム」の順序を示す情報のことを意味している。
【００３８】
また、前記した「バッファ制御信号」とは、具体的にはバッファリフレッシュ制御信号と、バッファホールド制御信号からなる信号である。バッファリフレッシュ制御信号は、後記する頭部装着型表示装置４０の左目視野映像撮影手段４１ａによって撮影され、左目視野映像バッファ手段４２ａによって既にホールドされている左目視野映像をリフレッシュ（消去）するとともに、後記する頭部装着型表示装置４０の右目視野映像撮影手段４１ｂによって撮影され、右目視野映像バッファ手段４２ｂによって既にホールドされている右目視野映像をリフレッシュするものである。また、バッファホールド制御信号は、左目視野映像撮影手段４１ａによって撮影された左目視野映像を左目視野映像バッファ手段４２ａにホールド（蓄積）するとともに、右目視野映像撮影手段４１ｂによって撮影された右目視野映像を右目視野映像バッファ手段４２ｂにホールドするものである。なお、バッファ制御信号による視野映像の制御の詳細と、視野映像の詳細については後記する（図４および図５参照）。
【００３９】
映像表示装置３０は、映像生成装置２０によって生成された時系列映像を表示するものである。映像表示装置３０の具体的な構成は、時系列映像を表示できるものであれば特に限定されず、例えば一般的な液晶ディスプレイ等を用いることができる。なお、映像表示装置３０は、なるべくフレームレートの高いもので構成されることが好ましい。
【００４０】
頭部装着型表示装置４０（第１観察者用頭部装着型表示装置４０Ａ〜第ｎ観察者用頭部装着型表示装置４０Ｂ）は、視野映像を撮影して各観察者に対して表示するものである。頭部装着型表示装置４０は、図１に示すように、映像表示装置３０によって表示される時系列映像を観察する複数の観察者の頭部にそれぞれ装着される。頭部装着型表示装置４０は、映像表示装置３０の観察者をｎ名とした場合、図２に示すように第１観察者用頭部装着型表示装置４０Ａ〜第ｎ観察者用頭部装着型表示装置４０Ｂから構成される。なお、これら第１観察者用頭部装着型表示装置４０Ａ〜第ｎ観察者用頭部装着型表示装置４０Ｂは、それぞれ同一の機能を備えている。そのため、以下ではこれら第１観察者用頭部装着型表示装置４０Ａ〜第ｎ観察者用頭部装着型表示装置４０Ｂの個別の説明に代えて、これらを包含する頭部装着型表示装置４０の説明を行うこととする。
【００４１】
頭部装着型表示装置４０は、図２に示すように、左目視野映像撮影手段４１ａと、右目視野映像撮影手段４１ｂと、左目視野映像バッファ手段４２ａと、右目視野映像バッファ手段４２ｂと、左目視野映像表示手段４３ａと、右目視野映像表示手段４３ｂと、を備えている。なお、頭部装着型表示装置４０は、ここでは無線により位置姿勢計測装置１０に対して信号を送信できるように構成されている。
【００４２】
左目視野映像撮影手段４１ａは、観察者の左目の視野を示す左目視野映像を撮影するものである。左目視野映像撮影手段４１ａは、図２に示すように、撮影した左目視野映像を左目視野映像バッファ手段４２ａに対して出力する。右目視野映像撮影手段４１ｂは、観察者の右目の視野を示す右目視野映像を撮影するものである。右目視野映像撮影手段４１ｂは、図２に示すように、撮影した右目視野映像を右目視野映像バッファ手段４２ｂに対して出力する。これら左目視野映像撮影手段４１ａおよび右目視野映像撮影手段４１ｂは、例えば一般的なビデオカメラ等の撮像装置を用いることができる。
【００４３】
ここで、前記した「視野映像」とは、映像表示装置３０に対する頭部装着型表示装置４０の位置姿勢を考慮した、当該映像表示装置３０が表示する時系列映像を含む観察者の視野全体の映像のことを意味している。以下、例えば図４（ａ）に示すように、映像表示装置３０の左側の位置に第１観察者が座り、映像表示装置３０の右側の位置に第ｎ観察者が立っている場合における視野映像の詳細について説明する。
【００４４】
この場合、第１観察者の左目視野映像は、図４（ｂ）に示すように、第１観察者の左目から見た映像であり、第１観察者が装着する第１観察者用頭部装着型表示装置４０Ａの位置姿勢と、第１観察者の左目の位置との関係から、当該左目視野映像内における映像表示装置３０は映像の右上に位置している。また、第１観察者の右目視野映像は、図４（ｂ）に示すように、第１観察者の右目から見た映像であり、第１観察者が装着する第１観察者用頭部装着型表示装置４０Ａの位置姿勢と、第１観察者の右目の位置との関係から、当該右目視野映像内における映像表示装置３０は、前記した第１観察者の左目視野映像内における映像表示装置３０の位置と比較して左側に位置している。
【００４５】
また、第ｎ観察者の左目視野映像は、図４（ｃ）に示すように、第ｎ観察者の左目から見た映像であり、第ｎ観察者が装着する第ｎ観察者用頭部装着型表示装置４０Ｂの位置姿勢と、第ｎ観察者の左目の位置との関係から、当該左目視野映像内における映像表示装置３０は映像の左下に位置している。また、第ｎ観察者の右目視野映像は、図４（ｃ）に示すように、第ｎ観察者の右目から見た映像であり、第ｎ観察者が装着する第ｎ観察者用頭部装着型表示装置４０Ｂの位置姿勢と、第ｎ観察者の右目の位置との関係から、当該右目視野映像内における映像表示装置３０は、前記した第ｎ観察者の左目視野映像内における映像表示装置３０の位置と比較して左側に位置している。
【００４６】
なお、図４（ａ）に示すように、第１観察者および第ｎ観察者は映像表示装置３０の中心に対して左右にずれた位置にいるため、視野映像における映像表示装置３０は、図４（ｂ）および図４（ｃ）に示すように真正面ではなく、各観察者の位置に応じて左右に傾いているが、ここでは説明の便宜上、当該傾きについては考慮せずに図示している。
【００４７】
左目視野映像バッファ手段４２ａは、視野映像制御手段２３から入力されたバッファ制御信号に従って、左目視野映像撮影手段４１ａによって撮影された左目視野映像を蓄積するものである。左目視野映像バッファ手段４２ａは、一般的なメモリ等を用いることができ、具体的には図２に示すように、視野映像制御手段２３から入力されたバッファリフレッシュ制御信号に従って、左目視野映像撮影手段４１ａから入力されて既にホールド（蓄積）されている左目視野映像の前フレームをリフレッシュ（消去）するとともに、視野映像制御手段２３から入力されたバッファホールド制御信号に従って、左目視野映像撮影手段４１ａによって撮影された左目視野映像の現フレームをホールドする。
【００４８】
右目視野映像バッファ手段４２ｂは、視野映像制御手段２３から入力されたバッファ制御信号に従って、右目視野映像撮影手段４１ｂによって撮影された右目視野映像を蓄積するものである。右目視野映像バッファ手段４２ｂは、一般的なメモリ等を用いることができ、具体的には図２に示すように、視野映像制御手段２３から入力されたバッファリフレッシュ制御信号に従って、右目視野映像撮影手段４１ｂから入力されて既にホールド（蓄積）されている右目視野映像の前フレームをリフレッシュ（消去）するとともに、視野映像制御手段２３から入力されたバッファホールド制御信号に従って、右目視野映像撮影手段４１ｂによって撮影された右目視野映像の現フレームをホールドする。ここで、左目視野映像バッファ手段４２ａおよび右目視野映像バッファ手段４２ｂによる視野映像のリフレッシュ処理およびホールド処理の詳細については後記する（図５参照）。
【００４９】
左目視野映像表示手段４３ａは、左目視野映像バッファ手段４２ａによってホールドされた左目視野映像を表示するものである。また、右目視野映像表示手段４３ｂは、右目視野映像バッファ手段４２ｂによってホールドされた右目視野映像を表示するものである。左目視野映像表示手段４３ａおよび右目視野映像表示手段４３ｂは、一般的な小型の液晶ディスプレイ等を用いることができ、それぞれ第１観察者〜第ｎ観察者の左目および右目の正面に配置される。なお、左目視野映像表示手段４３ａおよび右目視野映像表示手段４３ｂは、なるべくフレームレートの高いもので構成されることが好ましい。
【００５０】
以下、前記したバッファ制御信号による視野映像の制御の詳細について、図５を参照しながら説明する。ここでは、映像切替手段２２から時系列映像が出力され、映像表示装置３０が当該時系列映像を表示する場合を想定する。この場合、図５に示すように、映像切替手段２２による時系列映像のｍフレームにおける第１観察者の左目用フレーム（Ｓｕｂ．１＿Ｌ）の出力が終わるタイミング、すなわち映像表示装置３０による時系列映像のｍフレームにおける第１観察者の左目用フレームの表示が終わるタイミングで、視野映像制御手段２３からバッファホールド制御信号（Ｌ−１制御信号：立ち下がり）およびバッファリフレッシュ制御信号（Ｒ−１制御信号：立ち下がり）が出力される。そして、前記したバッファホールド制御信号（Ｌ−１制御信号）は、第１観察者用頭部装着型表示装置４０Ａの左目視野映像バッファ手段４２ａに入力され、前記したバッファリフレッシュ制御信号（Ｒ−１制御信号）は、第１観察者用頭部装着型表示装置４０Ａの右目視野映像バッファ手段４２ｂに入力される。
【００５１】
次に、前記した左目視野映像バッファ手段４２ａは、バッファホールド制御信号（Ｌ−１制御信号）に従って、図５に示すように、左目視野映像の現フレーム（Ｓｕｂ．１＿Ｌ（ｍフレーム））をホールドし、書き換えを禁止する。これにより、第１観察者用頭部装着型表示装置４０Ａの左目視野映像表示手段４３ａには、左目視野映像の現フレーム（Ｓｕｂ．１＿Ｌ（ｍフレーム））が表示されたままの状態となる。
【００５２】
また同時に、前記した右目視野映像バッファ手段４２ｂは、バッファリフレッシュ制御信号（Ｒ−１制御信号）に従って、図５に示すように、右目視野映像の前フレーム（Ｓｕｂ．１＿Ｒ（ｍ−１フレーム））をリフレッシュし、消去する。そして、図５に示すように、直後に映像切替手段２２による時系列映像のｍフレームにおける第１観察者の右目用フレーム（Ｓｕｂ．１＿Ｒ）が出力される、すなわち映像表示装置３０による時系列映像のｍフレームにおける第１観察者の右目用フレームが表示されることで、第１観察者用頭部装着型表示装置４０Ａの右目視野映像表示手段４３ｂには、右目視野映像の現フレーム（Ｓｕｂ．１＿Ｒ（ｍフレーム））が表示される。
【００５３】
次に、映像切替手段２２による時系列映像のｍフレームにおける第１観察者の右目用フレーム（Ｓｕｂ．１＿Ｒ）の出力が終わるタイミング、すなわち映像表示装置３０による時系列映像のｍフレームにおける第１観察者の右目用フレームの表示が終わるタイミングで、視野映像制御手段２３からバッファホールド制御信号（Ｒ−１制御信号：立ち下がり）が出力される。そして、前記したバッファホールド制御信号（Ｒ−１制御信号）は、第１観察者用頭部装着型表示装置４０Ａの右目視野映像バッファ手段４２ｂに入力される。
【００５４】
次に、前記した右目視野映像バッファ手段４２ｂは、バッファホールド制御信号（Ｒ−１制御信号：立ち下がり）に従って、図５に示すように、右目視野映像の現フレーム（Ｓｕｂ．１＿Ｒ（ｍフレーム））をホールドし、書き換えを禁止する。これにより、第１観察者用頭部装着型表示装置４０Ａの右目視野映像表示手段４３ｂには、右目視野映像の現フレーム（Ｓｕｂ．１＿Ｒ（ｍフレーム））が表示されたままの状態となる。左目視野映像バッファ手段４２ａおよび右目視野映像バッファ手段４２ｂは、図５に示すように、以上のような処理を時系列映像のフレーム（ｍ、ｍ＋１、・・・）ごと、および観察者ごとに行う。
【００５５】
また、例えば観察者が２名（ｎ＝２）である場合、左目視野映像バッファ手段４２ａおよび右目視野映像バッファ手段４２ｂは、視野映像制御手段２３から入力されたバッファホールド制御信号に従って、図６（ａ）〜図６（ｄ）に示すように、［１］第１観察者の左目視野映像のｍフレーム、［２］第１観察者の右目視野映像のｍフレーム、［３］第ｎ観察者の左目視野映像のｍフレーム、［４］第ｎ観察者の右目視野映像のｍフレーム、［５］第１観察者の左目視野映像のｍ＋１フレーム、［６］第１観察者の右目視野映像のｍ＋１フレーム、［７］第ｎ観察者の左目視野映像のｍ＋１フレーム、［８］第ｎ観察者の右目視野映像のｍ＋１フレーム、の順に左目視野映像および右目視野映像をホールドする。これにより、第１観察者および第ｎ観察者に対して、それぞれの位置に応じた立体映像が表示されることになる。なお、左目視野映像および右目視野映像の中には、図６（ａ）〜図６（ｄ）に示すように映像表示装置３０の画面以外の部分の映像も含まれている。この部分の映像は現実世界の映像であるが、前記した特許文献１とは異なり、本発明では現実世界の映像と立体映像とを合成する処理は必要としない。
【００５６】
このように、左目視野映像バッファ手段４２ａ（または右目視野映像バッファ手段４２ｂ）は、視野映像制御手段２３から入力されたバッファリフレッシュ制御信号によって既にホールドされている左目視野映像（または右目視野映像）の前フレームを消去し、その直後に左目視野映像撮影手段４１ａ（または右目視野映像撮影手段４１ｂ）から左目視野映像バッファ手段４２ａ（または右目視野映像バッファ手段４２ｂ）に入力された左目視野映像（または右目視野映像）の現フレームで書き換えられた後、その直後の視野映像制御手段２３から入力されたバッファホールド制御信号によって書き換えが禁止される。そのため、第１観察者用頭部装着型表示装置４０Ａ〜第ｎ観察者用頭部装着型表示装置４０Ｂの左目視野映像表示手段４３ａ（または右目視野映像表示手段４３ｂ）には、その観察者に対応する第１観察者用両眼映像生成手段２１Ａ〜第ｎ観察者用両眼映像生成手段２１Ｂで生成された左目映像および右目映像のみが表示された状態となる。
【００５７】
以上のような構成を備える立体映像表示装置１によれば、図１に示すように、複数のカメラ（左目視野映像撮影手段４１ａおよび右目視野映像撮影手段４１ｂ）で撮影された視野映像を表示する頭部装着型表示装置４０越しに、複数の観察者が共有する１つの映像表示装置３０を観察することにより、当該複数の観察者が同時に１つの立体映像を見ることが可能となる。すなわち、立体映像表示装置１は、観察者の位置に応じた映像を時系列に配置して時系列映像として映像表示装置３０に表示し、頭部装着型表示装置４０によって映像表示装置３０に表示された当該時系列映像を含む現実世界を撮影し、撮影された左目および右目の視野映像を適宜ホールドして表示することで、現実世界の映像と立体映像との調整を行うことなく、複数の観察者の観察位置に応じて立体映像を個別に呈示することができる。
【００５８】
また、複合現実感技術をベースとした本発明に係る立体映像表示装置１によれば、実際の視聴環境に設置された像再生型立体映像表示装置を複数の観察者で観察したときのシミュレーションが可能となり、現時点の微細化技術・表示パネル技術では不可能であった像再生型立体映像表示装置のパラメータの検証を行う事が可能になる。そして、本発明における頭部装着型表示装置４０を観察者の負荷にならないくらいコンパクトに作成することが可能になった際には、観察者が存在しない空間への光まで再現していた従来の像再生型立体映像技術とは異なる、無駄な情報を消費しない効率的な立体映像表示装置として用いることが可能となる。
【００５９】
以下、第１実施形態に係る立体映像表示装置１の全体の処理の流れについて、図７を参照しながら説明する。まず、図７（ａ）に示すように、位置姿勢計測装置１０によって、映像表示装置３０に対する頭部装着型表示装置４０の個別の位置姿勢を計測する（ステップＳ１０）。次に、図７（ｂ）に示すように、映像生成装置２０の両眼映像生成手段２１によって、頭部装着型表示装置４０の位置姿勢に従って、各観察者の左目映像および右目映像を生成する（ステップＳ２０）。次に、図７（ｂ）に示すように、映像生成装置２０の映像切替手段２２によって、左目用フレームおよび右目用フレームを、時系列ごとおよび観察者ごとに交互に切り替えた時系列映像を生成する（ステップＳ２１）。次に、図７（ｂ）に示すように、映像生成装置２０の視野映像制御手段２３によって、時系列映像における観察者ごとの左目用フレームおよび右目用フレームの切替タイミングを取得し、バッファ制御信号を生成する（ステップＳ２２）。
【００６０】
次に、図７（ｃ）に示すように、映像表示装置３０によって、時系列映像を表示する（ステップＳ３０）。次に、図７（ｄ）に示すように、頭部装着型表示装置４０の左目視野映像撮影手段４１ａおよび右目視野映像撮影手段４１ｂによって、左目視野映像および右目視野映像を撮影する（ステップＳ４０）。次に、図７（ｄ）に示すように、頭部装着型表示装置４０の左目視野映像バッファ手段４２ａおよび右目視野映像バッファ手段４２ｂによって、バッファホールド制御信号に従って左目視野映像および右目視野映像をホールド、またはバッファリフレッシュ制御信号に従って左目視野映像および右目視野映像をリフレッシュする（ステップＳ４１）。最後に、頭部装着型表示装置４０の左目視野映像表示手段４３ａおよび右目視野映像表示手段４３ｂによって、前記ホールドされた左目視野映像および右目視野映像を表示する（ステップＳ４２）。以上の処理により、各観察者に対して、それぞれの位置に応じた立体映像が表示されることになる。
【００６１】
＜第２実施形態＞
ここで、前記した第１実施形態に係る立体映像表示装置１は、各観察者の視野映像の中に必ず映像表示装置３０の画面が含まれることを前提としていたが（図４および図６参照）、各観察者の視野が映像表示装置３０から外れることも想定される。
【００６２】
例えば、図８（ａ）に示すように、頭部装着型表示装置４０の視野映像撮影手段（左目視野映像撮影手段４１ａおよび右目視野映像撮影手段４１ｂ）の垂直撮影画角をθＶとした場合、映像表示装置３０は、第ｎ観察者の視野映像撮影手段の垂直撮影画角θＶの範囲内であるが、第１観察者の視野映像撮影手段の垂直撮影画角θＶの範囲外となっている。従って、第ｎ観察者の視野映像の中には映像表示装置３０の画面が含まれない状態となる。
【００６３】
また、図８（ｂ）に示すように、頭部装着型表示装置４０の視野映像撮影手段（左目視野映像撮影手段４１ａおよび右目視野映像撮影手段４１ｂ）の水平撮影画角をθＨとした場合、映像表示装置３０は、第ｎ観察者の視野映像撮影手段の水平撮影画角θＨの範囲内であるが、第１観察者の視野映像撮影手段の水平撮影画角θＨの範囲外となっている。従って、この場合も第ｎ観察者の視野映像の中には映像表示装置３０の画面が含まれない状態となる。以下、このような状況における処理を可能とする第２実施形態に係る立体映像表示装置１Ａの構成について、図９を参照しながら説明する。
【００６４】
第２実施形態に係る立体映像表示装置１Ａは、図９に示すように、位置姿勢計測装置１０と、映像生成装置２０Ａと、映像表示装置３０と、頭部装着型表示装置４０と、を備えている。また、映像生成装置２０Ａは、図９に示すように、前記した両眼映像生成手段２１、映像切替手段２２および視野映像制御手段２３の他に、撮影判定手段２４を備えている。ここで、立体映像表示装置１Ａは、映像生成装置２０Ａにおける撮影判定手段２４以外の構成は前記した立体映像表示装置１と同様であるため、撮影判定手段２４以外の説明は省略する。
【００６５】
撮影判定手段２４は、左目視野映像および右目視野映像に映像表示装置３０が撮影されているか（含まれているか）否かを判定するものである。撮影判定手段２４は、位置姿勢計測装置１０によって計測された頭部装着型表示装置４０（第１観察者用頭部装着型表示装置４０Ａ〜第ｎ観察者用頭部装着型表示装置４０Ｂ）における左目視野映像撮影手段４１ａおよび右目視野映像撮影手段４１ｂの位置姿勢と、当該左目視野映像撮影手段４１ａおよび右目視野映像撮影手段４１ｂの撮影画角θＶ，θＨとにより、左目視野映像および右目視野映像に映像表示装置３０の画面が撮影されているかを逐次判定する。そして、撮影判定手段２４は、その判定結果を両眼映像生成手段２１に対して出力する。なお、前記した「撮影画角θＶ，θＨ」は、左目視野映像撮影手段４１ａおよび右目視野映像撮影手段４１ｂに対して予め設定された値である。
【００６６】
両眼映像生成手段２１は、撮影判定手段２４によって映像表示装置３０が撮影されていないと判定されている間は、左目映像および右目映像を生成しない。従って、映像切替手段２２は、左目映像および右目映像を含めずに時系列映像を生成する。なお、撮影判定手段２４によって映像表示装置３０が撮影されていないと判定されている間は、時系列映像には何も含まれておらず、映像表示装置３０も何も表示していない状態となる。しかしこの場合、観察者はそもそも映像表示装置３０を見ていないため、上記のように時系列映像に何も含まれていない場合であっても当該観察者は何ら違和感を感じない。また、観察者の視野が映像表示装置３０から外れている間も左目映像および右目映像を生成して時系列映像に含めるとした場合、観察者が観察しない立体映像を表示することになり、無駄な処理が発生する。
【００６７】
また、例えば図８（ａ）または図８（ｂ）に示すように、一方の観察者（第１観察者）の視野映像には映像表示装置３０が含まれず、他方の観察者（第ｎ観察者）の視野映像には映像表示装置３０が含まれている場合、映像表示装置３０によって表示される時系列映像には、第１観察者の左目映像および右目映像は含まれていないが、第２観察者の左目映像および右目映像は含まれている。そのため、一方の観察者が映像表示装置３０を見ていない場合であっても、他方の観察者は何ら影響を受けずに立体映像を観察することができる。なお、両眼映像生成手段２１は、撮影判定手段２４から映像表示装置３０が撮影されていると判定されている間は、通常通り左目映像および右目映像を生成し、映像切替手段２２も通常通り処理を行う。
【００６８】
以上のような構成を備える立体映像表示装置１Ａは、観察者の視野が映像表示装置から外れている場合に左目映像および右目映像の生成を行わないため、無駄な処理を省き、効率的に立体映像を表示することができる。
【００６９】
ここで、前記した立体映像表示装置１，１Ａの映像生成装置２０，２０Ａは、一般的なコンピュータを、前記した各手段および各部として機能させるプログラムにより動作させることで実現することができる。このプログラムは、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
【００７０】
この場合、立体映像表示装置１用の映像生成プログラムは、映像生成装置２０と、映像表示装置３０と、頭部装着型表示装置４０と、位置姿勢計測装置１０と、を備える立体映像表示装置１において、映像生成装置２０のコンピュータを、前記した両眼映像生成手段２１、映像切替手段２２、視野映像制御手段２３、として機能させることとする。また、立体映像表示装置１Ａ用の映像生成プログラムは、映像生成装置２０Ａと、映像表示装置３０と、頭部装着型表示装置４０と、位置姿勢計測装置１０と、を備える立体映像表示装置１Ａにおいて、映像生成装置２０Ａのコンピュータを、前記した両眼映像生成手段２１、映像切替手段２２、視野映像制御手段２３、として機能させることとする。
【００７１】
以上、本発明に係る立体映像表示装置および映像生成プログラムについて、発明を実施するための形態により具体的に説明したが、本発明の趣旨はこれらの記載に限定されるものではなく、特許請求の範囲の記載に基づいて広く解釈されなければならない。また、これらの記載に基づいて種々変更、改変等したものも本発明の趣旨に含まれることはいうまでもない。
【００７２】
例えば、前記した立体映像表示装置１は、図１に示すように、位置姿勢計測装置１０および頭部装着型表示装置４０が無線で接続され、位置姿勢計測装置１０および映像生成装置２０、映像生成装置２０および映像表示装置３０がそれぞれ有線で接続されていたが、接続の方式は特に限定されない。すなわち、立体映像表示装置１は、例えば位置姿勢計測装置１０および頭部装着型表示装置４０が有線で接続され、位置姿勢計測装置１０および映像生成装置２０、映像生成装置２０および映像表示装置３０がそれぞれ無線で接続されていても構わない。
【符号の説明】
【００７３】
１，１Ａ  立体映像表示装置
１０  位置姿勢計測装置
２０，２０Ａ  映像生成装置
２１  両眼映像生成手段      
２１Ａ  第１観察者用両眼映像生成手段
２１Ｂ  第ｎ観察者用両眼映像生成手段
２２  映像切替手段
２３  視野映像制御手段
２４  撮影判定手段
３０  映像表示装置
４０  頭部装着型表示装置
４０Ａ  第１観察者用頭部装着型表示装置
４０Ｂ  第ｎ観察者用頭部装着型表示装置
４１ａ  左目視野映像撮影手段
４１ｂ  右目視野映像撮影手段
４２ａ  左目視野映像バッファ手段
４２ｂ  右目視野映像バッファ手段
４３ａ  左目視野映像表示手段
４３ｂ  右目視野映像表示手段
【図１】
0006438694.tif 000002
【図２】
0006438694.tif 000003
【図３】
0006438694.tif 000004
【図４】
0006438694.tif 000005
【図５】
0006438694.tif 000006
【図６】
0006438694.tif 000007
【図７】
0006438694.tif 000008
【図８】
0006438694.tif 000009
【図９】
0006438694.tif 000010