(57)【特許請求の範囲】
【請求項１】
ユーザの位置を計測する計測部と、
前記計測部によって計測されたユーザの位置に応じて映像撮影装置の撮影位置及び撮影方向を決定する撮影位置決定部と、
前記撮影位置決定部によって決定された前記撮影位置及び撮影方向に応じて前記映像撮影装置の位置及び方向を制御する撮影位置制御部と、
を備え、
前記撮影位置決定部は、前記ユーザの位置が所定の条件を満たした場合、前記撮影方向を略固定した状態で、前記撮影位置を変更する映像生成システム。
【請求項２】
ユーザの位置を計測する計測ステップと、
前記計測ステップにおいて計測されたユーザの位置に応じて映像撮影装置の撮影位置及び撮影方向を決定する撮影位置決定ステップと、
前記撮影位置決定ステップにおいて決定された前記撮影位置及び撮影方向に応じて前記映像撮影装置の位置及び方向を制御する撮影位置制御ステップと、
を有し、
前記撮影位置決定ステップにおいて、前記ユーザの位置が所定の条件を満たした場合、前記撮影方向を略固定した状態で、前記撮影位置を変更する映像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像生成技術に関する。
【背景技術】
【０００２】
パノラマ映像の中から自由な部分を選択して視聴することや、ＴＶ会議においてカメラを動かして相手の部屋の好きな領域を視聴することが実現されている。このような技術において、さらに、ユーザが物理的に動かしたディスプレイの動きに合わせてカメラの方向を変える手法が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１６６６１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述した特許文献１の方法では、ユーザ自らが物理的にディスプレイを操作することによって、視聴したい映像をディスプレイに表示させていた。そのため、ユーザにはディスプレイを直接動かすという負担がかかり、ユーザの映像視聴を妨げ煩わしいという問題があった。
【０００５】
上記事情に鑑み、本発明は、ディスプレイに表示させる映像を選択する際に生じる煩わしさを軽減させる技術の提供を目的としている。
【課題を解決するための手段】
【０００６】
本発明の一態様は、ユーザの位置を計測する計測部と、前記計測部によって計測されたユーザの位置に応じて映像撮影装置の撮影位置及び撮影方向を決定する撮影位置決定部と、前記撮影位置決定部によって決定された前記撮影位置及び撮影方向に応じて前記映像撮影装置の位置及び方向を制御する撮影位置制御部と、を備える映像生成システムである。
【０００７】
本発明の一態様は、上記の映像生成システムであって、前記撮影位置決定部は、前記ユーザの位置が所定の条件を満たした場合、前記撮影方向を略固定した状態で、前記撮影位置を変更する。
【０００８】
本発明の一態様は、ユーザの位置を計測する計測ステップと、前記計測ステップにおいて計測されたユーザの位置に応じて映像撮影装置の撮影位置及び撮影方向を決定する撮影位置決定ステップと、前記撮影位置決定ステップにおいて決定された前記撮影位置及び撮影方向に応じて前記映像撮影装置の位置及び方向を制御する撮影位置制御ステップと、を有する映像生成方法である。
【発明の効果】
【０００９】
本発明により、ディスプレイに表示させる映像を選択する際に生じる煩わしさを軽減させることが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明における映像表示システムのシステム構成を示す図である。
【図２】映像表示システムの第一実施形態に備えられる映像生成装置１０（映像生成装置１０ａ）の機能構成を表す概略ブロック図である。
【図３】映像表示システムの第一実施形態に備えられる撮影位置制御装置８０（撮影位置制御装置８０ａ）の機能構成を表す概略ブロック図である。
【図４】撮影位置決定部８０２の処理の具体例を示す図である。
【図５】映像撮影装置８０４によって撮影されるシーンの具体例を示す図である。
【図６】映像生成部１０３が映像を生成する処理の具体例を表す図である。
【図７】ユーザ１がディスプレイ面３０を正面から見ている場合における映像表示システムの処理の具体例を示す図である。
【図８】ユーザ１がディスプレイ面３０を左斜め方向から見ている場合における映像表示システムの処理の具体例を示す図である。
【図９】ユーザ１がディスプレイ面３０を右斜め方向から見ている場合における映像表示システムの処理の具体例を示す図である。
【図１０】本発明の第一実施形態における映像生成方法の処理の流れを示すシーケンス図である。
【図１１】映像表示システムの第二実施形態に備えられる撮影位置制御装置８０（撮影位置制御装置８０ｂ）の機能構成を表す概略ブロック図である。
【図１２】第二実施形態における撮影位置決定部８０２ｂの処理の具体例を示す図である。
【図１３】第二実施形態における撮影位置決定部８０２ｂの処理の具体例を示す図である。
【図１４】本発明の第二実施形態における映像生成方法の処理の流れを示すシーケンス図である。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施形態を、図面を参照しながら説明する。
図１は、本発明における映像表示システムのシステム構成を示す図である。本発明の映像表示システムは、映像生成装置１０、映像表示装置１０７、音声出力装置１０８、撮影位置制御装置８０、映像撮影装置８０４及びネットワーク９０を備える。
映像生成装置１０は、情報処理装置を用いて構成される。映像生成装置１０は、映像撮影装置８０４によって撮影された映像に基づいて、ユーザ１の視点位置に応じた映像を生成する。また、映像生成装置１０は、映像に応じた音声を生成する。また、映像生成装置１０は、ユーザ１の視点位置を表す情報（以下、「視点位置情報」という。）を、ネットワーク９０を介して撮影位置制御装置８０へ送信する。
【００１２】
映像表示装置１０７は、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の表示装置である。映像表示装置１０７は、映像生成装置１０によって生成された映像を表示する。
音声出力装置１０８は、スピーカー、ヘッドホン、イヤホン等の音声出力装置である。音声出力装置１０８は、映像生成装置１０によって生成された音声を出力する。
ユーザ１は、映像表示装置１０７によって表示された映像を見ること、音声出力装置１０８によって出力された音声を聞くことが可能である。
【００１３】
撮影位置制御装置８０は、ユーザ１の視点位置情報を映像生成装置１０から受信する。撮影位置制御装置８０は、視点位置情報に基づいて映像撮影装置８０４の位置（撮影位置）を制御する。
映像撮影装置８０４は、ビデオカメラ等の、映像を撮影する装置を用いて構成される。映像撮影装置８０４には、撮影された映像とともに再生すべき音声を取得するマイクが設けられても良い。映像撮影装置８０４は、撮影位置及び撮影方向を変更に構成される。例えば、映像撮影装置８０４は、撮影位置及び撮影方向を変更するためのアクチュエータを備えるように構成されても良い。映像撮影装置８０４は、撮影位置制御装置８０によって制御された撮影位置及び撮影方向で撮影を行う。映像撮影装置８０４は、撮影された映像を、ネットワーク９０を介して映像生成装置１０へ送信する。
以下、映像表示システムの具体的な構成例（第一実施形態及び第二実施形態）について説明する。
【００１４】
［第一実施形態］
図２は、映像表示システムの第一実施形態に備えられる映像生成装置１０（映像生成装置１０ａ）の機能構成を表す概略ブロック図である。映像生成装置１０ａは、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、映像生成プログラムを実行する。映像生成プログラムの実行によって、映像生成装置１０ａは、通信部１０１、視点位置計測部１０２、映像生成部１０３、音声再生部１０４を備える装置として機能する。なお、映像生成装置１０ａの各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。また、映像生成プログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、映像生成プログラムは、電気通信回線を介して送受信されても良い。
【００１５】
通信部１０１は、ネットワーク９０を介して映像データを受信する。通信部１０１は、ネットワーク９０を介して、視点位置計測部１０２によって計測された視点位置を表す情報（視点位置情報）を撮影位置制御装置８０ａへ送信する。
視点位置計測部１０２は、ユーザ１の視点位置ＶＵ（ＶＵｘ、ＶＵｙ、ＶＵｚ）を計測する。視点位置計測部１０２は、例えばカメラによって撮影された映像を用いた顔認識及びステレオマッチングを用いて計測する。この場合、視点位置計測部１０２はユーザ１の顔を撮影するためのカメラを備える。ユーザ１の視点位置Ｖは、例えば映像表示装置１０７の映像表示面に相当するディスプレイ面３０（映像面）の中心を原点とした座標系で定義されても良い（以下、この定義にしたがって説明する）。
【００１６】
映像生成部１０３は、受信した映像データに基づいて、映像表示装置１０７に表示させる映像を生成する。映像生成部１０３は、生成した映像を表す信号を映像表示装置１０７に出力する。
音声再生部１０４は、通信部１０１が受信した映像データに含まれる音声を再生し、音声出力装置１０８に出力する。
【００１７】
図３は、映像表示システムの第一実施形態に備えられる撮影位置制御装置８０（撮影位置制御装置８０ａ）の機能構成を表す概略ブロック図である。撮影位置制御装置８０ａは、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、撮影位置制御プログラムを実行する。撮影位置制御プログラムの実行によって、撮影位置制御装置８０ａは、通信部８０１、撮影位置決定部８０２及び撮影位置制御部８０３を備える装置として機能する。なお、撮影位置制御装置８０ａの各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されても良い。また、撮影位置制御プログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、撮影位置制御プログラムは、電気通信回線を介して送受信されても良い。
【００１８】
通信部８０１は、ネットワーク９０を介して、映像生成装置１０ａから視点位置情報を受信する。
撮影位置決定部８０２は、視点位置情報に応じて、撮影位置及び撮影方向を決定する。具体的には、撮影位置決定部８０２は、ディスプレイ面３０に対するユーザ１の視点位置ＶＵの移動を映像撮影装置８０４のカメラ視点の移動として再現するように撮影位置を決定する。また、撮影位置決定部８０２は、決定された撮影位置からディスプレイ面３０の中心点に向いた方向を撮影方向として決定する。
撮影位置制御部８０３は、映像撮影装置８０４の撮影位置及び撮影方向が、撮影位置決定部８０２によって決定された撮影位置及び撮影方向となるように、映像撮影装置８０４の位置及び向きを制御する。
【００１９】
図４は、撮影位置決定部８０２の処理の具体例を示す図である。以下、撮影位置決定部８０２の処理の一例について説明する。図４（Ａ）は、ユーザ１の初期視点位置ＶＵ０の具体例を示す図である。視点位置計測部１０２によって、初期状態におけるユーザ１の視点位置が、初期視点位置ＶＵ０として計測される。図４（Ａ）の例では、ディスプレイ面３０の真正面にユーザ１が位置している場合の視点位置が初期視点位置ＶＵ０（ＶＵ０ｘ，ＶＵ０ｙ，ＶＵ０ｚ）として計測されている。この場合、ディスプレイ面３０の中心（原点Ｏ（Ｏｘ，Ｏｙ，Ｏｚ））と初期視点位置ＶＵ０とを結ぶベクトル３０１は、（ＶＵ０ｘ，ＶＵ０ｙ，ＶＵ０ｚ）として表される。そのため、ベクトル３０１は、初期視点位置ＶＵ０に基づいて取得可能である。
【００２０】
図４（Ｂ）は、映像撮影装置８０４の初期撮影位置ＶＣ０及び初期撮影方向の具体例を示す図である。映像撮影装置８０４は、例えば電源が投入された直後や撮影開始の前処理が行われた場合に、予め設定されている初期位置に移動し、予め設定されている方向を向く。初期位置における映像撮影装置８０４の撮影位置（視点位置）は、ＶＣ０（ＶＣ０ｘ，ＶＣ０ｙ，ＶＣ０ｚ）である。撮影位置決定部８０２は、初期撮影位置ＶＣ０と初期視点位置ＶＵ０とに基づいて、カメラディスプレイ面３１を設定し、カメラディスプレイ面３１のパラメータを記憶する。カメラディスプレイ面３１の中心と初期撮影位置ＶＣ０とを結ぶベクトル３１１は、ディスプレイ面３０の中心と初期視点位置ＶＵ０とを結ぶベクトル３０１と同じである。また、ディスプレイ面３０とカメラディスプレイ面３１との大きさも同じである。
【００２１】
図４（Ｃ）は、初期視点位置ＶＵ０から移動したユーザ１の視点位置ＶＵの具体例を示す図である。視点位置計測部１０２によって、ユーザ１の視点位置ＶＵ（ＶＵｘ，ＶＵｙ，ＶＵｚ）が計測される。図４（Ｃ）の例では、ディスプレイ面３０の斜め方向にユーザ１が位置している場合の視点位置が視点位置ＶＵ（ＶＵｘ，ＶＵｙ，ＶＵｚ）として計測されている。この場合、ディスプレイ面３０の中心（原点Ｏ（Ｏｘ，Ｏｙ，Ｏｚ））と視点位置ＶＵとを結ぶベクトル３０１は、（ＶＵｘ，ＶＵｙ，ＶＵｚ）として表される。そのため、ベクトル３０１は、視点位置ＶＵに基づいて取得可能である。
【００２２】
図４（Ｄ）は、撮影位置決定部８０２によって決定された撮影位置ＶＣの具体例を示す図である。ユーザ１の視点位置ＶＵが図４（Ｃ）に示す通りである場合、撮影位置決定部８０２は、視点位置ＶＵを表す視点位置情報に基づいて図４（Ｄ）に示される位置に撮影位置ＶＣを決定する。映像撮影装置８０４の撮影位置（視点位置）は、ＶＣ（ＶＣｘ，ＶＣｙ，ＶＣｚ）である。撮影位置決定部８０２は、カメラディスプレイ面３１と撮影位置ＶＣとの位置関係が、ディスプレイ面３０と視点位置ＶＵとの位置関係と同じになるように、撮影位置ＶＣを決定する。そのため、カメラディスプレイ面３１の中心と撮影位置ＶＣとを結ぶベクトル３１１は、ディスプレイ面３０の中心と視点位置ＶＵとを結ぶベクトル３０１（図４（Ｃ））と同じである。また、撮影位置決定部８０２は、撮影位置ＶＣとカメラディスプレイ面３１の中心とを結ぶ方向を、撮影方向として決定する。
【００２３】
図５は、映像撮影装置８０４によって撮影されるシーンの具体例を示す図である。映像撮影装置８０４によって撮影されるシーンには、円筒形の第一物体３２及び第二物体３３が位置する。映像撮影装置８０４が初期撮影位置ＶＣ０に位置する場合、第一物体３２は第二物体３３よりも映像撮影装置８０４側に位置している。第一物体３２及び第二物体３３は、初期撮影位置ＶＣ０に位置する映像撮影装置８０４の撮影方向に並んでいる。そのため、初期撮影位置ＶＣ０に位置し初期撮影方向を向いている映像撮影装置８０４からは、第二物体３３を撮影することはできない。
【００２４】
図６は、映像生成部１０３が映像を生成する処理の具体例を表す図である。映像生成部１０３が行う具体的な映像生成方法について、図６を用いて説明する。
映像生成部１０３は、ディスプレイ面３０に表示される映像を、以下のような想定の元で生成する。映像生成部１０３は、ディスプレイ面３０を挟んでユーザ１と反対側に仮想映像面２０を仮想的に設ける。仮想映像面２０は、実在する面ではなく、映像生成部１０３の映像生成処理において想定される仮想的な面である。映像生成部１０３は、仮想映像面２０の角度を、ユーザ１の視線に対して垂直となるように制御する。仮想映像面２０の大きさは、ディスプレイ面３０の大きさよりも大きい。仮想映像面２０には、通信部１０１によって受信された映像データ（映像撮影装置８０４によって撮影された映像データ）が表示される。図６では、映像データの具体例として、図５に示す状態で撮影された映像を示す。図５に示す状態で撮影された映像には、第一物体３２が中央に写っている。ディスプレイ面３０上に位置する座標Ｃ（Ｃｘ，Ｃｙ，Ｃｚ）には、ユーザ１の視点位置ＶＵと座標Ｃとを結ぶ直線が仮想映像面２０に交差する座標であるＨ（ｈｘ，ｈｙ，ｈｚ）の映像が投影される。
【００２５】
ディスプレイ面３０のＯ（Ｏｘ、Ｏｙ、Ｏｚ）は、ディスプレイ面３０の中心であり、空間座標の原点を表す。縦方向をＸ軸、横方向をＹ軸、ユーザ１の視点位置ＶＵから見た場合のディスプレイ面３０に向かった奥行き方向をＺ軸とする。図６では、ディスプレイ面３０はＸ−Ｙ平面上に位置する。
【００２６】
図６に示すように、ユーザ１の視点位置ＶＵにおいて、座標Ｈの画素を座標Ｃの画素に透視投影変換する行列式は式１のように表される。
【００２７】
【数１】
0005779140.tif 000002
【００２８】
映像生成部１０３は、上記の式１の処理を仮想映像面２０の各画素に行う。映像生成部１０３は、このような処理によって仮想映像面２０の映像をディスプレイ面３０に透視投影し、映像を生成する。ディスプレイ面３０に投影された映像が、映像表示装置１０７に出力される映像である。なお、符号２０−１は、ディスプレイ面３０に透視投影される仮想映像面２０の映像範囲を示す。
【００２９】
次に、図７〜図９を用いてユーザ１の視点位置ＶＵの違いによる映像の違いについて説明する。
図７は、ユーザ１がディスプレイ面３０を正面から見ている場合における映像表示システムの処理の具体例を示す図である。図７（Ａ）は、ユーザ１がディスプレイ面３０を正面から見ている場合におけるユーザ１の状態を表す図である。図７（Ｂ）は、ユーザ１の視点位置ＶＵに応じて映像撮影装置８０４の撮影位置及び撮影方向が制御された状態の具体例を示す図である。この場合、映像撮影装置８０４は、カメラディスプレイ面３１に対して正面に位置する。
【００３０】
図７（Ｃ）は、図７（Ｂ）の状態における映像撮影装置８０４によって撮影された映像に基づいて映像生成部１０３によって生成された映像３０−１の具体例を表す図である。図７の場合、映像撮影装置８０４はカメラディスプレイ面３１に対して正面に位置しているため、第二物体３３は第一物体３２の陰に隠れて撮影されない。そのため、映像３０−１には、第一物体３２のみが写っている。
【００３１】
図８は、ユーザ１がディスプレイ面３０を左斜め方向から見ている場合における映像表示システムの処理の具体例を示す図である。図８（Ａ）は、ユーザ１がディスプレイ面３０を左斜め方向から見ている場合におけるユーザ１の状態を表す図である。ユーザ１の視線方向の変化に伴い、仮想映像面２０の角度も変化している。図８（Ｂ）は、ユーザ１の視点位置ＶＵに応じて映像撮影装置８０４の撮影位置及び撮影方向が制御された状態の具体例を示す図である。この場合、映像撮影装置８０４は、カメラディスプレイ面３１に対して左斜め方向に位置し、カメラディスプレイ面３１の中心に向いている。
【００３２】
図８（Ｃ）は、図８（Ｂ）の状態における映像撮影装置８０４によって撮影された映像に基づいて映像生成部１０３によって生成された映像３０−１の具体例を表す図である。図８の場合、映像撮影装置８０４はカメラディスプレイ面３１に対して左斜め方向に位置しているため、第二物体３３の左側の一部が撮影される。そのため、映像３０−１には、第一物体３２に加えて第二物体３３の左側の一部が写っている。
【００３３】
図９は、ユーザ１がディスプレイ面３０を右斜め方向から見ている場合における映像表示システムの処理の具体例を示す図である。図９（Ａ）は、ユーザ１がディスプレイ面３０を右斜め方向から見ている場合におけるユーザ１の状態を表す図である。ユーザ１の視線方向の変化に伴い、仮想映像面２０の角度も変化している。図９（Ｂ）は、ユーザ１の視点位置ＶＵに応じて映像撮影装置８０４の撮影位置及び撮影方向が制御された状態の具体例を示す図である。この場合、映像撮影装置８０４は、カメラディスプレイ面３１に対して右斜め方向に位置し、カメラディスプレイ面３１の中心に向いている。
【００３４】
図９（Ｃ）は、図９（Ｂ）の状態における映像撮影装置８０４によって撮影された映像に基づいて映像生成部１０３によって生成された映像３０−１の具体例を表す図である。図９の場合、映像撮影装置８０４はカメラディスプレイ面３１に対して右斜め方向に位置しているため、第二物体３３の右側の一部が撮影される。そのため、映像３０−１には、第一物体３２に加えて第二物体３３の右側の一部が写っている。
【００３５】
図１０は、本発明の第一実施形態における映像生成方法の処理の流れを示すシーケンス図である。
まず、視点位置計測部１０２がユーザの視点位置を計測する（ステップＳ１０１）。次に、通信部１０１が、視点位置情報を撮影位置制御装置８０ａに送信する（ステップＳ１０２）。撮影位置制御装置８０ａの通信部８０１は、映像生成装置１０ａから視点位置情報を受信する（ステップＳ１０３）。撮影位置決定部８０２は、受信された視点位置情報と、前処理の実行において記憶したカメラディスプレイ面３１の位置とに基づいて、撮影位置及び撮影方向を決定する（ステップＳ１０４）。撮影位置制御部８０３は、決定された撮影位置及び撮影方向に応じて、映像撮影装置８０４の位置及び方向を制御する（ステップＳ１０５）。映像撮影装置８０４は、制御された位置及び方向で映像を撮影する（ステップＳ１０６）。映像撮影装置８０４は、撮影された映像のデータ（映像データ）を映像生成装置１０ａに送信する（ステップＳ１０７）。
【００３６】
映像生成装置１０ａの通信部１０１は、映像撮影装置８０４から映像データを受信する（ステップＳ１０８）。映像生成部１０３は、視点位置計測部１０２によって計測されたユーザ１の視点位置ＶＵに応じた映像を、透視射影変換を行うことによって、通信部１０１が受信した映像データに基づいて生成する（ステップＳ１０９）。映像表示装置１０７は、映像生成部１０３が生成した映像を表示する。また、音声出力装置１０８は音声再生部１０４が再生した音声を出力する。図１０に示す処理は、繰り返し実行される。
【００３７】
上述したように、撮影位置制御装置８０ａは、ユーザ１の視点位置ＶＵに応じて映像撮影装置８０４の位置及び方向を制御する。具体的には、撮影位置制御装置８０ａは、ユーザ１の視点位置ＶＵの移動と同様に映像撮影装置８０４を移動させる。そのため、ユーザは、ディスプレイ（映像表示装置１０７）に表示される映像を変更する際に、自身の視点位置を変えるだけでよい。したがって、ディスプレイに表示させる映像を選択する際に生じる煩わしさを軽減させることが可能となる。
【００３８】
また、上述した処理により、映像表示装置１０７に表示される映像において、運動視差を実現させることができる。そのため、例えば図７〜９に示すように、正面からは映像として写らなかった物体（第二物体３３）を、視点を移動させることによって映像として写すことが可能となる。そのため、映像表示装置１０７の映像表示面を介してその奥に広がる映像をのぞき込んで見るという仮想体験をユーザ１に提供することが可能となる。したがって、ユーザ１は、視覚的に窓一枚を挟んで映像上の風景が広がっているかのような臨場感を感じることができる。
【００３９】
＜変形例＞
映像生成装置１０ａは、ネットワーク９０ではなく、他の伝送網を介して映像撮影装置８０４から映像を受信しても良い。例えば、映像生成装置１０ａは、放送網を介して映像撮影装置８０４から映像を受信しても良い。
カメラディスプレイ面３１の大きさは、ディスプレイ面３０の大きさと異なるように構成されても良い。この場合、カメラディスプレイ面３１の大きさとベクトル３１１の大きさとの比が、ディスプレイ面３０の大きさとベクトル３０１の大きさとの比に一致するように構成されても良い。
【００４０】
映像撮影装置８０４が撮影する映像データは、どのような映像であっても良い。映像撮影装置８０４が撮影する映像データは、例えば２次元映像であっても良いし、立体視のために利用される２台のカメラ等で撮影された視差映像であっても良い。
視点位置計測部１０２がユーザ１の視点位置を計測する方法には、どのような方法が適用されても良い。視点位置計測部１０２がユーザ１の視点位置を計測する方法の具体例として以下のような方法がある。
ａ）光学式又は磁気式のモーショントラッキング技術を用いた方法
ｂ）カメラのオートフォーカス機能によるフォーカス機能情報を取得し、ユーザ１の視点位置を計測する方法
ｃ）ユーザ１の頭部又はユーザ１の身体の位置を計測し、計測された位置をユーザ１の視点位置として代替する方法
【００４１】
仮想映像面２０の配置位置及び大きさは任意である。また、仮想映像面２０の形は、平面に限定される必要は無く、円形であっても良いし他の形であっても良い。また、立体視のために左右の目に用いる２つの映像がある場合には、映像生成部１０３は２枚の仮想映像面２０それぞれに処理を行う。また、仮想映像面２０とディスプレイ面３０との距離は、ユーザが設定できるように構成されても良いし、放送者側が放送する内容によって設定できるように構成されても良い。
【００４２】
映像生成部１０３が映像を生成する方法として、上述した式１の変換方法以外の方法を用いて映像を生成してもよい。
映像表示装置１０７は、プロジェクタなどの投影機を用いて構成されても良い。この場合、映像が投影される投影面の位置がディスプレイ面３０の位置となる。映像生成部１０３は、投影面の位置に関する情報を取得して映像を生成する。
映像生成装置１０と映像表示装置１０７とが一体化して構成されても良い。映像生成装置１０ａの各機能部は、必ずしも一体で構成される必要はなく、複数の装置に分けて構成されても良い。
【００４３】
［第二実施形態］
図１１は、映像表示システムの第二実施形態に備えられる撮影位置制御装置８０（撮影位置制御装置８０ｂ）の機能構成を表す概略ブロック図である。撮影位置制御装置８０ｂは、撮影位置決定部８０２に代えて撮影位置決定部８０２ｂを備える点で撮影位置制御装置８０ａと異なり、他の構成は撮影位置制御装置８０ａと同様である。
【００４４】
撮影位置決定部８０２ｂは、撮影位置決定部８０２が行う処理に加えて、さらに以下のような処理を行う。撮影位置決定部８０２ｂは、ユーザ１の視点位置ＶＵが所定の条件を満たしたか否か判断する。所定の条件は、ユーザ１の視点位置ＶＵがユーザ１にとって負担となっている位置であることを示す条件である。例えば、最初に検出された視点位置（初期視点位置ＶＵ０）から所定の時間の間、ユーザ１の視点位置ＶＵが所定の距離以上移動したままの状態である場合、撮影位置決定部８０２ｂは所定の条件が満たされたと判断しても良い。なお、所定の距離は、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向それぞれ異なる値として設定されても良い。撮影位置決定部８０２ｂは、所定の条件が満たされたと判断した場合、映像撮影装置８０４を、撮影方向を略固定した状態で、撮影位置を変更する処理（以下、「平行移動処理」という。）を行う。具体的には、撮影位置決定部８０２ｂは、所定の条件が満たされた時点におけるユーザ１の視点位置ＶＵに応じて、撮影方向を固定した状態で、撮影位置を移動させる。
【００４５】
ユーザ１が視点位置ＶＵで観察している範囲の風景を、初期視点位置ＶＵ０で観察させるために必要な映像撮影装置８０４の移動量Ｔ（Ｔｘ，Ｔｙ，Ｔｚ）は、式２のように表される。ただし、必ずしも完全に初期視点位置ＶＵ０で観察させる映像を、視点位置ＶＵで観察している範囲の風景と同一に合わせる必要がない場合には、撮影位置決定部８０２ｂは、式２以外の処理によって移動量Ｔを算出しても良い。撮影位置決定部８０２ｂは、平行移動処理によって、カメラディスプレイ面３１の位置も移動させる。
【数２】
0005779140.tif 000003
【００４６】
図１２及び図１３は、第二実施形態における撮影位置決定部８０２ｂの処理の具体例を示す図である。図１２（Ａ）は、所定の条件が満たされた時点におけるユーザ１の視点位置ＶＵの具体例を表す。この場合、ユーザ１の視点位置ＶＵは、ディスプレイ面３０の左側に位置している。図１２（Ｂ）は、撮影位置及び撮影方向の具体例を示す図である。図１２（Ｂ）において、符号３１−１は、所定の条件が満たされた時点（平行移動処理前）におけるカメラディスプレイ面３１の位置を表す。符号８０４−１は、所定の条件が満たされた時点における撮影位置及び撮影方向に制御されている映像撮影装置を表す。符号３１−２は、平行移動処理後のカメラディスプレイ面３１の位置を表す。符号８０４−２は、平行移動処理後の影位置及び撮影方向に制御されている映像撮影装置を表す。平行移動処理によって、撮影されるシーン中の第一物体３２とカメラディスプレイ面３１との位置関係が変化する。
【００４７】
図１２（Ｃ）は、所定の条件が満たされた時点において映像表示装置１０７に表示されている映像の具体例を示す図である。図１２（Ｄ）は、平行移動処理後に映像表示装置１０７に表示されている映像の具体例を示す図である。平行移動処理によって、映像３０−１の右側に偏っていた第一物体３２が、映像３０−１の左側に移動し、大きさが小さくなっている。
【００４８】
図１３（Ａ）は、平行移動処理後のユーザ１の視点位置の移動例を示す図である。図１３（Ａ）において、破線で示される円は、移動前のユーザ１の位置を表している。図１２（Ｄ）に示すように、平行移動処理後の映像３０−２では、物体３２が左側かつ小さく映っている。そのため、ユーザ１は、第一物体３２を画面の中央に大きく表示させるため、自然と視点位置ＶＵの位置に移動を行う。
【００４９】
図１３（Ｂ）は、図１３（Ａ）に示されるようにユーザ１の視点位置ＶＵが移動した場合の、撮影位置及び撮影方向の変化例を示す図である。撮影位置決定部８０２ｂは、第一実施形態における撮影位置決定部８０２と同様の処理によって、ユーザ１の視点位置ＶＵに応じて撮影位置及び撮影方向を決定する。このとき、撮影位置決定部８０２ｂは、平行移動処理によって変更されたカメラディスプレイ面３１の位置に基づいて処理を行う。
【００５０】
図１３（Ｃ）は、映像撮影装置８０４の撮影位置及び撮影方向が、図１３（Ｂ）のように制御された後の映像３０−１の具体例を示す図である。
【００５１】
図１４は、本発明の第二実施形態における映像生成方法の処理の流れを示すシーケンス図である。図１４において、図１０と同じ処理については同じ符号を付して説明を省略する。ステップＳ１０３の後、撮影位置決定部８０２ｂは、視点位置の移動が条件を満たしたか否か判定する（ステップＳ２０１）。所定の条件を満たしていない場合（ステップＳ２０１−ＮＯ）、撮影位置決定部８０２ｂは、ステップＳ１０４の処理に移行する。一方、所定の条件を満たしている場合（ステップＳ２０１−ＹＥＳ）、撮影位置決定部８０２ｂは、平行移動処理を実行する（ステップＳ２０２）。その後、平行移動処理によって決定した撮影位置及び撮影方向に基づいて、撮影位置制御部８０３が映像撮影装置８０４の撮影位置及び撮影方向を制御する（ステップＳ１０５）。
【００５２】
上述した第二実施形態では、第一実施形態と同様の効果を得ることができる。
また、ユーザ１の視点位置ＶＵが初期視点位置ＶＵ０から大きく移動したままである場合のように所定の条件が満たされた場合、平行移動処理が実行される。移動後は、ユーザ１が見たいと推定される映像を、ユーザ１の視点位置ＶＵが初期視点位置ＶＵ０付近に位置する状態で見ることができるように映像が生成される。一般的に、ユーザはリラックスした状態（映像表示装置１０７を見やすい体の状態）で映像を見始める。そのため、初期視点位置ＶＵ０付近に視点位置Ｖが位置する場合、ユーザ１はリラックスした状態であると想定できる。したがって、第二実施形態によれば、ユーザ１はリラックスした状態で所望の映像を視聴することができる。
【００５３】
＜変形例＞
第二実施形態における撮影位置制御装置８０ｂは、第一実施形態における撮影位置制御装置８０ａと同様に変形して構成されても良い。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００５４】
１…ユーザ，  １０…映像生成装置，  ２０…仮想映像面，  ２０−１…映像範囲，  ３０…ディスプレイ面，  ３０−１…映像，３０−１…カメラディスプレイ面，  ３２…第一物体，  ３３…第二物体，  １０１…通信部，  １０２…視点位置計測部，  １０３…映像生成部，  １０４…音声再生部，  １０７…映像表示装置，  １０８…音声出力装置，  ８０…撮影位置制御装置，  ８０１…通信部，  ８０２，８０２ｂ…撮影位置決定部，  ８０３…撮影位置制御部，  ８０４…映像撮影装置，  ９０…ネットワーク
【図１】
0005779140.tif 000004
【図２】
0005779140.tif 000005
【図３】
0005779140.tif 000006
【図４】
0005779140.tif 000007
【図５】
0005779140.tif 000008
【図６】
0005779140.tif 000009
【図７】
0005779140.tif 000010
【図８】
0005779140.tif 000011
【図９】
0005779140.tif 000012
【図１０】
0005779140.tif 000013
【図１１】
0005779140.tif 000014
【図１２】
0005779140.tif 000015
【図１３】
0005779140.tif 000016
【図１４】
0005779140.tif 000017