(57)【要約】【課題】特定被写体を常に追跡して映像を生成すると同時に自動的に任意の視点位置及び視線方向を制御して被写体をより見やすい位置から見た映像を提供する。【解決手段】異なる視点位置及び視線方向に配置した多数のカメラによる多眼映像撮影部１からの映像情報から任意の視点位置及び視線方向での映像を合成する。被写体位置及び向き検出部２にて被写体の位置や向きを検出し、仮想カメラ位置及び方向算出部３にて被写体に対する仮想カメラの視点位置と視線方向を算出する。また、映像生成部４では、多眼映像撮影部１からの多眼映像データを用い、仮想カメラ位置及び方向算出部３から送られてきた仮想カメラの視点位置と視線方向の情報に従って、画像を生成する。【選択図】図１
2006310936.tif 000002
【特許請求の範囲】
【請求項１】
ある被写体を一つ以上の視点位置及び視線方向から撮影した映像から任意の仮想カメラの視点位置及び視線方向における映像を合成あるいは選択する映像システムにおいて、所定の条件を満たす仮想カメラの視点位置及び視線方向を算出する算出手段を備えたことを特徴とする任意視点映像生成システム。
【請求項２】
一つ以上の被写体の位置及び向きを検出する手段を備え、該検出手段によって得られた一つ以上の被写体の位置及び向きの情報を用いて前記所定の条件を満たす仮想カメラの視点位置及び視線方向を算出することを特徴とする請求項１に記載の任意視点映像生成システム。
【請求項３】
前記所定の条件は、被写体に対して仮想カメラが特定の方向に位置しかつ該仮想カメラの視線方向が被写体の方向を向くことであることを特徴とする請求項２に記載の任意視点映像生成システム。
【請求項４】
前記所定の条件は、仮想カメラの視線方向を固定して視点位置を変え、被写体を仮想カメラの視点位置及び視線方向から常に撮影できることであることを特徴とする請求項２に記載の任意視点映像生成システム。
【請求項５】
前記所定の条件は、複数の被写体を仮想カメラの視点位置及び視線方向における映像内に収めることであることを特徴とする請求項２乃至４のいずれか１に記載の任意視点映像生成システム。
【請求項６】
前記所定の条件は、被写体の視点位置及び視線方向と仮想カメラの視点位置及び視線方向が一致することであることを特徴とする請求項２に記載の任意視点映像生成システム。
【請求項７】
被写体の位置及び方向の情報に対し不感帯域を設けた処理を行うことを特徴とする請求項２乃至６のいずれか１に記載の任意視点映像生成システム。
【請求項８】
被写体の位置及び方向の情報に対しローパスフィルタ処理を加えることを特徴とする請求項２乃至７のいずれか１に記載の任意視点映像生成システム。
【請求項９】
一つ以上の被写体の位置及び向きを検出する検出手段は、一つ以上の被写体を一つ以上の視点位置及び視線方向から撮影した多眼映像を用いて検出する検出手段であることを特徴とする請求項２乃至８のいずれか１に記載の任意視点映像生成システム。
【請求項１０】
前記一つ以上の被写体の位置及び向きを検出する検出手段は、一つ以上の被写体を上方より撮影した映像を用いて検出する検出手段であることを特徴とする請求項２乃至８のいずれか１に記載の任意視点映像生成システム。
【請求項１１】
前記一つ以上の被写体の位置及び向きを検出する検出手段は、被写体自体に該被写体の位置及び向きを検出できるセンサを有し、該センサにより取得した該被写体の位置及び向きの情報を用いて検出する検出手段であることを特徴とする請求項２乃至８のいずれか１に記載の任意視点映像生成システム。
【請求項１２】
請求項９乃至１１に記載の検出手段のうちの、任意の検出手段を組み合わせた検出手段を有することを特徴とする請求項２乃至８のいずれか１に記載の任意視点映像生成システム。
【請求項１３】
前記算出手段による算出結果を用い、前記ある被写体を一つ以上の視点位置及び視線方向から撮影した映像をもとに、前記仮想カメラの視点位置及び視線方向における映像を合成する任意視点映像生成技術を用いることを特徴とする請求項１乃至１２のいずれか１に記載の任意視点映像生成システム。
【請求項１４】
前記算出手段による算出結果を用い、前記ある被写体を一つ以上の視点位置及び視線方向から撮影した映像から任意の仮想カメラの視点位置及び視線方向における映像に最も類似した映像を選択し、該選択した映像を任意の仮想カメラの視点位置及び視線方向における映像とすることを特徴とする請求項１乃至１２のいずれか１に記載の任意視点映像生成システム。
【請求項１５】
ある被写体を一つ以上の視点位置及び視線方向から撮影した映像を所定時間遅延させ、遅延させた映像をもとに任意の仮想カメラの視点位置及び視線方向における映像を合成し、あるいは、遅延させた映像から任意の仮想カメラの視点位置及び視線方向における映像に最も類似した映像を選択し、任意の仮想カメラの視点位置及び視線方向における映像とすることを特徴とする請求項１乃至１４のいずれか１に記載の任意視点映像生成システム。
【請求項１６】
ある被写体を一つ以上の視点位置及び視線方向から撮影した映像を所定時間遅延させ、仮想カメラの視点位置及び視線方向の算出を前記映像より相対的に先に行うことを特徴とする請求項１５に記載の任意視点映像生成システム。
【請求項１７】
仮想カメラの視点位置及び視線方向において生成した映像を出力する手段を備えることを特徴とする請求項１乃至１６のいずれか１に記載の任意視点映像生成システム。
【請求項１８】
前記生成した映像を出力する手段として、２次元表示のディスプレイを用いることを特徴とする請求項１７に記載の任意視点映像生成システム。
【請求項１９】
前記生成した映像を出力する手段として、立体表示ディスプレイを用いることを特徴とする請求項１７に記載の任意視点映像生成システム。
【請求項２０】
前記生成した映像内の被写体が逆光になる条件を検出する手段を備え、前記生成した映像内の被写体が逆光にならないことを前記所定の条件とすることを特徴とする請求項１乃至１９のいずれか１に記載の任意視点映像生成システム。
【請求項２１】
ある被写体を一つ以上の視点位置及び視線方向から撮影した映像を用いて逆光の検出を行うことを特徴とする請求項２０に記載の任意視点映像生成システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、任意視点映像生成システム、より詳細には、それぞれ異なる視点位置及び視線方向に配置した多数のカメラによる映像情報から、実際にはカメラの存在しない視点位置及び視線方向での映像すなわち仮想カメラの視点位置及び視線方向における映像を生成する任意視点映像生成システムに関する。
【背景技術】
【０００２】
多くの研究機関・大学等で、実際には存在しない仮想カメラを想定し、該仮想カメラを用いて被写体を所望の任意視線方向及び任意視点位置から見た映像を生成する任意視点映像生成技術が研究されている。これは、あるシーン（被写体）を現実の多数のカメラを用いて撮影し、その映像データを処理することで、実際にはカメラの存在しない地点に仮想カメラがあるものと想定し、あたかも、この仮想カメラが撮影したように映像を生成する技術である。例えば非特許文献１や非特許文献２のような技術を用いれば、利用者が仮想カメラの視点位置や視線方向を操作して、特定被写体をずっと追跡して映像を見ることが可能である。スポーツ中継を例に採ると、自分のひいきの選手を常に追跡して見ることができる。
一方、移動する選手をカメラで撮影する場合に、自動的にカメラ方向を制御して選手を追跡する自動追跡技術がある（例えば、特許文献１参照）。
【特許文献１】特開２００４−８０１６３号公報
【非特許文献１】北原，佐藤，大田，“多眼ステレオ法を用いた運動視差の再現可能な３次元画像表示―表示画像の生成と評価―”，テレビジョン学会誌，Ｖｏｌ.５０，Ｎｏ.９，ｐｐ．１２６８ − １２７６（１９９６）
【非特許文献２】プリム，藤井，谷本：“自由視点テレビのためのリアルタイムシステム”，信学技報，ＩＥ２００２−１２０（２００２）
【非特許文献３】稲本，斎藤：“視点位置の内挿に基づく３次元サッカー映像の自由視点観賞システム”，映像情報メディア学会誌，Ｖｏｌ．５８，Ｎｏ．４，ｐｐ．５２９ − ５３９（２００４）
【非特許文献４】木村，斎藤：“テニスの多視点画像からのプレイヤー視点映像の生成法”，電子情報通信学会総合大会，Ｄ−１２−１７２（２００４）
【非特許文献５】大谷，岸野：“遺伝的アルゴリズムを用いた多眼画像からの人物の姿勢のモデルベース推定”，映像情報メディア学会誌，Ｖｏｌ．５１，Ｎｏ．１２，ｐｐ．２１０７ − ２１１５（１９９７）
【非特許文献６】湊，斎藤：“多視点サッカー映像を用いた選手の動作解析”，電子情報通信学会総合大会，Ｄ−１２−１２３（２００４）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述のごとき任意視点映像生成技術を用いれば、特定の選手を常に追跡して見ることが可能であるが、利用者は、選手の移動に合わせて常に仮想カメラの視点位置や視線方向を調節する必要があり、利用者への負担が大きいという問題がある。負担を軽減するためには、自動的に選手を追跡できる機能があることが望ましい。
【０００４】
しかし、上記特許文献１で挙げた自動追跡技術では、カメラ位置は固定であり、カメラ位置と選手の位置の関係によっては、例えば、選手がカメラから遠ざかると選手の映像が小さくなる、または、選手の背中しか撮影できなくなるなど、選手について所望の映像が得られない場合があるという問題がある。
【０００５】
本発明は、上記の問題点を解決するために、任意視点映像生成の際に、下記の２点を実現するものである。
（１）特定選手を常に追跡して、仮想カメラの視点位置及び視線方向での映像を生成する。
（２）選手の位置や向きに応じて自動的に仮想カメラの視点位置及び視線方向を制御し、選手を見やすい位置から見た映像を提供する。
例えば、常に選手の正面で一定の距離になる位置及び方向に仮想カメラを自動的に移動させて、該仮想カメラの視点位置及び視線方向での映像を生成することを実現する。
【課題を解決するための手段】
【０００６】
本発明の第１の手段は、ある被写体を一つ以上の視点位置及び視線方向から撮影した映像から任意の仮想カメラの視点位置及び視線方向における映像を合成あるいは選択する映像システムにおいて、所定の条件を満たす仮想カメラの視点位置及び視線方向を算出する算出手段を備えたことを特徴とするものである。
【０００７】
本発明の第２の手段は、前記第１の手段において、一つ以上の被写体の位置及び向きを検出する手段を備え、該検出手段によって得られた一つ以上の被写体の位置及び向きの情報を用いて前記所定の条件を満たす仮想カメラの視点位置及び視線方向を算出することを特徴とするものである。
【０００８】
本発明の第３の手段は、前記第２の手段において、前記所定の条件は、被写体に対して仮想カメラが特定の方向に位置しかつ該仮想カメラの視線方向が被写体の方向を向くことであることを特徴とするものである。
【０００９】
本発明の第４の手段は、前記第２の手段において、前記所定の条件は、仮想カメラの視線方向を固定して視点位置を変え、被写体を仮想カメラの視点位置及び視線方向から常に撮影できることであることを特徴とするものである。
【００１０】
本発明の第５の手段は、前記第２乃至第４の手段において、前記所定の条件は、複数の被写体を仮想カメラの視点位置及び視線方向における映像内に収めることであることを特徴とするものである。
【００１１】
本発明の第６の手段は、前記第２の手段において、前記所定の条件は、被写体の視点位置及び視線方向と仮想カメラの視点位置及び視線方向が一致することであることを特徴とするものである。
【００１２】
本発明の第７の手段は、前記第２乃至第６の手段において、被写体の位置及び方向の情報に対し不感帯域を設けた処理を行うことを特徴とするものである。
【００１３】
本発明の第８の手段は、前記第２乃至第７の手段において、被写体の位置及び方向の情報に対しローパスフィルタ処理を加えることを特徴とするものである。
【００１４】
本発明の第９の手段は、前記第２乃至第８の手段において、一つ以上の被写体の位置及び向きを検出する検出手段は、一つ以上の被写体を一つ以上の視点位置及び視線方向から撮影した多眼映像を用いて検出する検出手段であることを特徴とするものである。
【００１５】
本発明の第１０の手段は、前記第２乃至第８の手段において、前記一つ以上の被写体の位置及び向きを検出する検出手段は、一つ以上の被写体を上方より撮影した映像を用いて検出する検出手段であることを特徴とするものである。
【００１６】
本発明の第１１の手段は、前記第２乃至第８の手段において、前記一つ以上の被写体の位置及び向きを検出する検出手段は、被写体自体に該被写体の位置及び向きを検出できるセンサを有し、該センサにより取得した該被写体の位置及び向きの情報を用いて検出する検出手段であることを特徴とするものである。
【００１７】
本発明の第１２の手段は、前記第２乃至第８の手段において、請求項９乃至１１の手段うちの、任意の検出手段を組み合わせた検出手段を有することを特徴とするものである。
【００１８】
本発明の第１３の手段は、前記第１乃至第１２の手段において、前記算出手段による算出結果を用い、前記ある被写体を一つ以上の視点位置及び視線方向から撮影した映像をもとに、前記仮想カメラの視点位置及び視線方向における映像を合成する任意視点映像生成技術を用いることを特徴とするものである。
【００１９】
本発明の第１４の手段は、前記第１乃至第１２の手段において、前記算出手段による算出結果を用い、前記ある被写体を一つ以上の視点位置及び視線方向から撮影した映像から任意の仮想カメラの視点位置及び視線方向における映像に最も類似した映像を選択し、該選択した映像を任意の仮想カメラの視点位置及び視線方向における映像とすることを特徴とするものである。
【００２０】
本発明の第１５の手段は、前記第１乃至第１４の手段において、ある被写体を一つ以上の視点位置及び視線方向から撮影した映像を所定時間遅延させ、遅延させた映像をもとに任意の仮想カメラの視点位置及び視線方向における映像を合成し、あるいは、遅延させた映像から任意の仮想カメラの視点位置及び視線方向における映像に最も類似した映像を選択し、任意の仮想カメラの視点位置及び視線方向における映像とすることを特徴とするものである。
【００２１】
本発明の第１６の手段は、前記第１５の手段において、ある被写体を一つ以上の視点位置及び視線方向から撮影した映像を所定時間遅延させ、仮想カメラの視点位置及び視線方向の算出を前記映像より相対的に先に行うことを特徴とするものである。
【００２２】
本発明の第１７の手段は、前記第１乃至第１６の手段において、仮想カメラの視点位置及び視線方向において生成した映像を出力する手段を備えることを特徴とするものである。
【００２３】
本発明の第１８の手段は、前記第１７の手段において、前記生成した映像を出力する手段として、２次元表示のディスプレイを用いることを特徴とするものである。
【００２４】
本発明の第１９の手段は、前記第１７の手段において、前記生成した映像を出力する手段として、立体表示ディスプレイを用いることを特徴とするものである。
【００２５】
本発明の第２０の手段は、前記第１乃至第１９の手段において、前記生成した映像内の被写体が逆光になる条件を検出する手段を備え、前記生成した映像内の被写体が逆光にならないことを前記所定の条件とすることを特徴とするものである。
【００２６】
本発明の第２１の手段は、前記第２０の手段において、ある被写体を一つ以上の視点位置及び視線方向から撮影した映像を用いて逆光の検出を行うことを特徴とするものである。
【発明の効果】
【００２７】
本発明の映像システムによると、被写体が移動しても、該被写体の移動に合わせて仮想カメラの視点位置及び視線方向を自動的に変化させ、常に、一定の見やすい相対位置から被写体を観察することが可能である。
また、複数の被写体がある場合に、常にそれらが画面内に入るよう仮想カメラの視点位置及び視線方向を自動的に変化させることが可能である。
また、被写体位置及び向きと仮想カメラの視点位置及び視線方向が一致するよう自動的に変化させることで、被写体が見ている光景を合成することが可能である。
また、被写体位置及び向きの情報に対して不感帯域処理を加えることで、被写体位置及び向きの情報が細かく変化した場合でも、あるレベルα以下の細かい変化を無視することができ、仮想カメラの位置又は／及び方向が細かく変化しすぎることを防ぎ、安定した画像を生成することを可能とする。そのため、利用者が映像に酔うことを防止できる。
また、被写体位置及び向きの情報に対してローパスフィルタ処理をかけることが可能である。該処理により被写体位置及び方向の情報の高周波成分を取り除き、仮想カメラの位置が細かく変化しすぎることを防ぎ、安定した画像を生成することを可能とする。そのため利用者が映像に酔うことを防止できる。
また、映像を遅延させることで被写体位置及び向きの情報の処理を相対的に先読み処理することで、被写体の未来の動きを先取りして仮想カメラ位置及び方向の制御を行うことが可能である。
また、生成画面が逆光状態であるかどうかを判定することで、逆光状態になる仮想カメラの視点位置及び視線方向は避けるよう、仮想カメラの視点位置及び視線方向を制御することが可能である。
【発明を実施するための最良の形態】
【００２８】
第１の実施例：
図１は、本発明による任意視点映像生成システムの第１の実施例を説明するための要部概略構成を示すブロック図で、図中、１０は本発明による任意視点映像生成システムを示し、該任意視点映像生成システム１０は、多眼映像撮影部１、被写体位置及び向き検出部２、仮想カメラ位置及び方向算出部３、映像生成部４、映像出力部５から構成される。
【００２９】
多眼映像撮影部１は、被写体の周囲に多数のカメラを配置し、被写体を様々な視点位置及び視線方向から撮影した映像データ群を得るものである。
【００３０】
被写体位置及び向き検出部２は、一つ以上の被写体の位置や向きを検出する処理を行い、検出処理した情報を仮想カメラ位置及び方向算出部３に送る。
【００３１】
被写体の位置や向きの検出手段について以下に述べる。
被写体の位置に関しては、例えば、非特許文献３ないし非特許文献４では、多眼映像データから複数の被写体の位置を求める手法が述べられている。また、例えば非特許文献５ないし非特許文献６では、多眼映像データから被写体の向きを推定する手法が述べられている。これらの手法を用いれば、多眼映像撮影部１０１から得られる多眼映像データから複数の被写体の位置や向きを検出することが可能である。
また別の方法としては、被写体にあらかじめＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）やジャイロセンサのような被写体の位置や向きを検出できるセンサを持たせ、該センサから取得した情報を利用し、被写体の位置や向きを検出する、という手段を用いることも可能である。
もちろん、その他の手段を用いてもかまわないし、それらの手段を複合して用いてもかまわない。
【００３２】
仮想カメラ位置及び方向算出部３は、被写体位置及び向き検出部２から得られた被写体の位置や向きの情報を用いて、被写体に対する仮想カメラの視点位置と視線方向の情報を算出する。この算出方法に関しては、後で、より詳細に説明する。
【００３３】
映像生成部４では、多眼映像撮影部１からの多眼映像データを用い、仮想カメラ位置及び方向算出部３から送られてきた仮想カメラの視点位置及び視線方向の情報に従って、該仮想カメラから被写体をみた仮想画像を生成する。この仮想画像の生成方法として例えば下記のＡ，Ｂ２つの方法が考えられる。
【００３４】
Ａ．非特許文献１や非特許文献２に記載の任意視点映像生成技術を用い、多眼映像データから、仮想カメラの視点位置及び視線方向における映像を合成する方法である。この場合、元々カメラの存在しない視点位置及び視線方向における映像も合成して表示することが可能である。仮想カメラの視点位置及び視線方向の変化に応じて、映像もスムーズに変化する。また、任意視点映像生成技術を用いれば、左右の目の間隔だけ離れた２つの視点での映像を合成することで、立体表示可能な映像を生成することも可能である。
【００３５】
Ｂ．仮想カメラの視点位置及び視線方向に最も近い映像を、多眼映像データの中から選び出して表示するものである。簡易的な方法であり、複雑な画像合成処理が不要なのが利点である。その代わりに、元々カメラの存在している場所からの映像しか見ることができず、仮想カメラの位置と方向の変化に対し、該仮想カメラの位置と方向に最も近いカメラへと時々映像が切り替わる形になる。
もちろん、その他の方法を用いてもかまわない。
【００３６】
映像出力部５は、映像生成部４で生成された映像を表示する。一般的な２次元ディスプレイである場合や、立体視が可能な３次元ディスプレイである場合が考えられる。
【００３７】
仮想カメラ位置及び方向算出部３における処理は、被写体に応じていくつかの処理方法が考えられる。以下、それぞれについて詳細に説明する。
【００３８】
図２は、スポーツ中継に本発明を適用した場合において、仮想カメラの視点位置及び視線方向を算出する第１の例を説明するための図で、図中、２１は被写体として想定したサッカーの選手、２２は仮想カメラ、矢印Ａはサッカーの選手２１の正面の向き、矢印Ｂはサッカーの選手２１の移動方向、矢印Ｃは仮想カメラ２２の視線方向を示している。図２では、サッカーの選手２１が、周りを見渡すために体の向き、つまり、正面の向き（矢印Ａ）を変えながら、順次、矢印Ｂ方向へ移動している様子を鳥瞰している。
【００３９】
ここで、被写体位置及び向き検出部２から得られた特定被写体の位置や向きの情報を用いれば、常に被写体に対して一定の距離及び方向に仮想カメラ２２が位置し、仮想カメラ２２が常に被写体の方向（矢印Ｃ）を向くように制御することが可能である。
【００４０】
図２では、被写体の選手２１が位置や方向を変えても、常に選手２１の正面方向（矢印Ａ）で一定の距離に仮想カメラ２２が位置し被写体の方向（矢印Ｃ）を向くよう制御している様子を示している。この制御により、選手２１の位置や方向に関わらず、常に選手２１を正面から一定の距離で見た場合の映像を生成することが可能となる。もちろん、被写体の正面方向だけではなく、被写体の背面、側面、上面など任意の方向に対して同様の処理が可能である。このように仮想カメラ位置を制御することで、常に、一定の見やすい相対位置から被写体を観察することが可能となる。
【００４１】
図３は、スポーツ中継に本発明を適用した場合において、仮想カメラの視点位置を算出する第２の例を説明するための図で、図中、２１は被写体として想定した短距離走の選手、２２は仮想カメラ、矢印Ａは短距離走の選手２１の正面の向き、矢印Ｂは短距離走の選手２１の移動方向、矢印Ｃは仮想カメラ２２の視線方向を示している。図３では、短距離走の選手２１が他の選手の様子を知るために周りを見渡しながら走っている様子を示している。
【００４２】
このとき、被写体位置及び向き検出部２から得られた特定被写体の位置の情報を用いれば、仮想カメラ２２の絶対的な方向は固定したまま常に被写体を撮影し続けるように仮想カメラ２２の視点位置を制御することが可能である。図３に示した第２の例においては、仮想カメラ２２の視線方向（矢印Ｃ）がコース（短距離走の選手２１の移動方向Ｂ）と常に直角になるよう保ちながら、選手２１を画面の中央に捕らえるよう仮想カメラ２２の視点位置を移動させている。このように、仮想カメラ２２の視点位置を制御することにより、例えば１００ｍ走において常に選手の真横の位置から見ることが可能となり、どの選手が現在先頭なのかがはっきりとわかる映像を生成することができる。もちろん、コースと直角になる方向だけではなく任意の方向に仮想カメラの向きを固定して同様の処理を行うことが可能である。
【００４３】
図４及び図５は、スポーツ中継に本願発明を適用した場合において、仮想カメラの位置を算出する第３の例を説明するための図で、図４及び図５において、２１は被写体として想定したサッカーの選手、２２は仮想カメラ、２３はボール、矢印Ａはサッカーの選手２１の正面の向き、矢印Ｄは該矢印Ｄが示した範囲が仮想カメラ２２の撮影範囲であることを示している。そして、図４では、選手２１の近くにボール２３が存在する状況を、図５では、選手２１がボール２３を蹴ったため選手２１からボール２３が離れつつある状況を示しているとする。このとき、被写体位置及び向き検出部２から得られた特定被写体の位置の情報を用いれば、図４及び図５のいずれの場合でも選手２１とボール２３の両方が撮影範囲内に入るように仮想カメラ２２の位置を制御することが可能である。
【００４４】
図５において、仮想カメラ２２の位置を、図４における仮想カメラ２２の位置より後方に移動させることで、選手２１とボール２３の両方を撮影範囲に収めている。また、前記仮想カメラの位置及び方向を算出する第１及び第２の例と組み合わせて、前記第３の例を用いることも可能である。
【００４５】
図６は、スポーツ中継に本発明を適用した場合において、仮想カメラの視点位置及び視線方向を算出する第４の例を説明するための図で、２１は被写体として想定したサッカーの選手、２２は仮想カメラ、矢印Ｂはサッカーの選手２１の移動方向、矢印Ｅはサッカーの選手２１の正面の向き及び仮想カメラ２２の視線方向を示している。図６では、サッカーの選手２１が、周りを見渡すために体の向き、つまり、正面の向き（矢印Ｅ）を変えながら、矢印Ｂ方向へ移動している様子を示している。
【００４６】
ここで、被写体位置及び向き検出部２から得られた特定被写体の位置及び向きの情報を用いれば、仮想カメラ２２の位置及び向きと、選手２１の視点位置及び向きを一致させることで、選手２１の視点位置から選手２１の向いている方向を見た場合の映像、すなわち選手が見ている光景を合成することが可能である。図６では、選手２１の視点位置及び視線方向に合わせ、仮想カメラ２２の位置及び方向が追従している様子を示した。
【００４７】
第２の実施例：
図７は、本発明による任意視点映像生成システムの第２の実施例を説明するための要部概略構成を示すブロック図で、図中、１０は本発明による任意視点映像生成システムで、該任意視点映像生成システム１０は、多眼映像撮影部１、被写体位置及び向き検出部２、仮想カメラ位置及び方向算出部３、映像生成部４、映像出力部５、情報記録部６から構成される。つまり、図１に示した第１の実施例に対して、情報記録部６を追加したもので、この情報記録部６は、被写体位置及び向き検出部２から得られた特定被写体の位置や向きの情報を処理する際に必要となる不感帯域情報や、特定被写体の位置や向きの過去の情報を記録する部分である。
【００４８】
図８は、被写体の向きの情報（被写体の方向情報）に対して不感帯域を設けて被写体の方向情報を算出する例を説明したフロー図である。
まず、被写体位置及び向き検出部２から被写体の向きの情報（角度Ｆとする）を取得する（ステップＳ１）。
次に、角度Ｆが情報記録部６に記録されている不感帯域の範囲内かどうかを判定する（ステップＳ２）。
不感帯域の範囲内である場合には（ステップＳ２でＹＥＳ）、情報記録部６から一時点前の被写体の向き情報を読み出し、仮想カメラの視点位置及び視線方向の算出のためのデータとして出力する（ステップＳ３）。
不感帯域の範囲外である場合には（ステップＳ２でＮＯ）、まず、情報記録部６に新たな不感帯域の下限値として角度Ｆ−α、上限値として角度Ｆ＋αを上書きし（ステップＳ４）、情報記録部６に被写体の向き情報の新しい値として角度Ｆを記録し（ステップＳ５）、角度Ｆを仮想カメラの視点位置及び視線方向の算出用データとして出力する（ステップＳ６）。
最後に、仮想カメラの視点位置及び視線方向を算出する（ステップＳ７）。
以上の処理を映像の各フレームごとに行う。なお、αは、不感帯域のレベル（基準値）である。
【００４９】
不感帯域を設けた処理を行わない場合、被写体の向きの変化に追従するために仮想カメラ位置及び方向が常に細かな変化をし、生成画像を見た利用者が映像に酔う可能性がある。
これに対して、上記の不感帯域処理を加えることで、被写体の向きの情報（角度Ｆ）が細かく変化した場合でも、あるレベルα以下の細かい変化を無視することができ、仮想カメラの位置又は／及び方向が細かく変化しすぎることを防ぎ、安定した画像を生成することを可能とする。そのため、利用者が映像に酔うことを防止できる。
【００５０】
なお、図８では被写体の向きの情報に適用した場合の例を説明したが、被写体の位置情報に対して同様の処理を加えることももちろん可能である。
【００５１】
また、過去の被写体位置及び方向の情報を情報記録部６に記録しておき、時系列で並べた被写体位置及び方向の情報に対してローパスフィルタ処理をかけることが可能である。該処理により被写体位置及び方向の情報の高周波成分を取り除き、仮想カメラの位置が細かく変化しすぎることを防ぎ、安定した画像を生成することを可能とする。そのため利用者が映像に酔うことを防止できる。
【００５２】
第３の実施例：
図９は、本発明による任意視点映像生成システムの第３の実施例を説明するための要部概略構成を示すブロック図で、図中、１０は本発明による任意視点映像生成システムで、該任意視点映像生成システム１０は、多眼映像撮影部１、被写体位置及び向き検出部２、仮想カメラ位置及び方向算出部３、映像生成部４、映像出力部５、情報記録部６、映像遅延部７から構成される。つまり、図７に示した第２の実施例に対して、映像遅延部７を追加したものである。
【００５３】
映像遅延部７は、多眼映像撮影部１からの多眼映像データを一旦蓄積し、遅延させてから映像生成部４に送り出す機能を実行する。このように映像を遅延させることで、被写体位置及び向き検出部２から得られる被写体の位置及び向き情報は、映像に対して相対的に前の時間の情報となる。よって、被写体の位置及び向き情報を先読みするのと同等の処理（以下では仮想先読み処理と呼ぶ）を行うことが可能となる。
【００５４】
第３の実施例の具体的な例を、図１０と図１１を用いて説明する。図１０、図１１において、２１は被写体として想定したサッカーの選手、２２は仮想カメラ、２３はサッカーボール、矢印Ａはサッカーの選手２１の正面の向き、矢印Ｄは該矢印Ｄが示した範囲が仮想カメラ２２の撮影範囲であることを示している。そして、図１０では、選手２１の近くにボールが存在する状況を、図１１では、選手２１がボール２３を蹴ったため選手からボール２３が離れつつある状況を示しているとする。
【００５５】
図４および図５で説明した実施例１では、図４および図５のいずれの場合でも選手２１とボール２３の両方が画面に入るように仮想カメラの位置を制御することが可能であることを示した。この実施例１に対して、さらに、仮想先読み処理を加えると、選手２１がボール２３を蹴ってボール２３が離れていくことが先にわかるので早めに仮想カメラの視点位置及び視線方向を動かし、ボール２３の進行方向が画面内（撮影範囲を示す矢印Ｄ内）に入るように仮想カメラの視点位置及び視線方向を制御することが可能となる。
【００５６】
図１０に示した仮想カメラ２２の位置と図４に示した仮想カメラ２２の位置を比較すると、図１０においては、選手２１がボール２３を蹴ることを先読みして仮想カメラ２２の位置及び向きを制御するため、ボール２３の進行方向を画面内に入れるような仮想カメラの位置及び向きとなっている。同様に、図１１に示した仮想カメラ２２の位置と図５の仮想カメラ２２の位置を比較すると、図１１に示した仮想カメラ２２の位置は、ボール２３の進行方向を画面内に入れるような位置及び向きになっている。
【００５７】
このような仮想先読み処理を行うことで、視聴者がよりボールを追いやすくなる。また、ボールの進行方向の先にあるものを見やすくなる。あるいは、処理が遅延するため、ボールが画面から出てしまう事を防ぐことが可能となる。
【００５８】
なお、仮想カメラの視点位置及び視線方向の制御に用いる情報として、被写体の位置及び向き情報以外の情報も用いることが可能である。例えば、生成画面が逆光状態であるかどうかを判定する手段を用い、逆光状態になる仮想カメラの視点位置及び視線方向は避けるよう、仮想カメラの視点位置及び視線方向を制御することが可能である。あるいは、多眼映像撮影部１の映像から高輝度の被写体を判定し、該被写体が生成画面に入らないように仮想カメラの視点位置及び視線方向を制御することで、逆光状態になる仮想カメラの視点位置及び視線方向を避けることも可能である。
【００５９】
このように、生成画面が逆光状態にならないことを仮想カメラの視点位置及び視線方向を算出するための所定の条件とすることも可能である。他にも、仮想カメラの視点位置及び視線方向を算出するために様々な所定の条件を用いることが可能である。
【００６０】
また、前記逆光状態になる仮想カメラの視点位置及び視線方向を避けるように仮想カメラの視点位置及び視線方向を制御する処理と、前記被写体の位置や方向の情報を用いて仮想カメラの視点位置及び視線方向を算出する処理を併用することも可能である。
【００６１】
なお、本特許では図１ないし図７ないし図９のように、多眼映像撮影部１によって得られたデータを直接映像生成部４ないし映像遅延部７に入力する形で説明を行ったが、実施の形態はこれに限るものではない。例えば、放送に適用する形、すなわち多眼映像撮影部１で撮影した多眼映像データを電波やネットワークで送信し、視聴者がそれを受信して処理するシステムにおいても、同様の仕組みを適用可能である。また、パッケージメディアに適用する形、すなわち多眼映像撮影部１で撮影した多眼映像データを一旦何らかの記録媒体に記録し、視聴者側でそれを読み出して処理するシステムにおいても、同様の仕組みを適用可能である。
【図面の簡単な説明】
【００６２】
【図１】本発明による映像システムの第１の実施例を説明するための要部概略構成を示すブロック図である。
【図２】仮想カメラの位置及び方向を算出する第１の例を説明するための図である。
【図３】仮想カメラの位置を算出する第２の例を説明するための図である。
【図４】仮想カメラの位置を算出する第３の例を説明するための図である。
【図５】仮想カメラの位置を算出する第３の例を説明するための図である。
【図６】仮想カメラの位置及び方向を算出する第４の例を説明するための図である。
【図７】本発明による映像システムの第２の実施例を説明するための要部概略構成を示すブロック図である。
【図８】被写体の向きの情報（被写体の方向情報）に対し不感帯域を設け、該被写体の方向情報を算出する処理を説明したフロー図である。
【図９】本発明による映像システムの第３の実施例を説明するための要部概略構成を示すブロック図である。
【図１０】本発明の第３の実施例を説明するための図である。
【図１１】本発明の第３の実施例を説明するための図である。
【符号の説明】
【００６３】
１…多眼映像撮影部、２…被写体位置及び向き検出部、３…仮想カメラ位置及び方向算出部、４…映像生成部、５…映像出力部、６…情報記録部、７…映像遅延部、２１…選手、２２…仮想カメラ、２３…ボール。
【図１】
2006310936.tif 000003
【図２】
2006310936.tif 000004
【図３】
2006310936.tif 000005
【図４】
2006310936.tif 000006
【図５】
2006310936.tif 000007
【図６】
2006310936.tif 000008
【図７】
2006310936.tif 000009
【図８】
2006310936.tif 000010
【図９】
2006310936.tif 000011
【図１０】
2006310936.tif 000012
【図１１】
2006310936.tif 000013