(57)【要約】【課題】本願発明は、被写体の位置及び数に関わらず多視点映像を生成できる多視点映像生成装置を提供する。【解決手段】多視点映像生成装置２０は、多視点映像生成装置２０のユーザインタフェースであるＵＩ部２１と、多視点映像の対象として選択された視点のフレーム画像にタグを付加するセレクタ部２２と、各全天球カメラ１２の位置及び方向を表すカメラパラメータを予め設定するカメラパラメータ設定部２３と、撮影映像を正方映像に変換する魚眼映像補正変換部２４と、設定した正方映像の注視点から三次元空間上での注視点を求める注視点設定部２５と、三次元空間上での注視点に基づいて、切り出した被写体領域をカメラ切り替え順序で並べることで多視点映像を生成する多視点映像生成部２６とを備える。【選択図】図１
2017028510.tif 000002
【特許請求の範囲】
【請求項１】
魚眼レンズ又は超広角レンズで構成される全天球カメラのそれぞれが被写体を撮影した撮影映像から、前記被写体を異なる視点で表示した多視点映像を生成する多視点映像生成装置であって、
前記全天球カメラ毎の位置及び方向を表すカメラパラメータを予め設定するカメラパラメータ設定部と、
前記全天球カメラの方向を中心とした幾何学変換により、前記撮影映像を正方映像に変換する映像変換部と、
前記正方映像に含まれる前記被写体の位置を注視点として設定し、設定した前記正方映像の注視点から三次元空間上での注視点を求める注視点設定部と、
前記三次元空間上での注視点に基づいて、前記正方映像に含まれる被写体領域を切り出し、切り出した前記被写体領域を予め設定されたカメラ切り替え順序で並べることで、前記多視点映像を生成する多視点映像生成部と、
を備えることを特徴とする多視点映像生成装置。
【請求項２】
前記注視点設定部は、複数の前記全天球カメラの正方映像内で前記注視点を設定し、それぞれの前記全天球カメラから当該注視点までの方向を表した注視方向ベクトルを求め、最尤法により、それぞれの前記注視方向ベクトルの交点を前記三次元空間上での注視点として求めることを特徴とする請求項１に記載の多視点映像生成装置。
【請求項３】
コンピュータを、請求項１又は請求項２に記載の多視点映像生成装置として機能させるための多視点映像生成プログラム。
【請求項４】
魚眼レンズ又は超広角レンズで構成される複数の全天球カメラと、
請求項１又は請求項２に記載の多視点映像生成装置と、を備えることを特徴とする多視点映像生成システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明は、全天球カメラのそれぞれが被写体を撮影した撮影映像から、被写体を異なる視点で表示した多視点映像を生成する多視点映像生成装置及びそのプログラム、並びに、多視点映像生成システムに関する。
【背景技術】
【０００２】
従来から、多視点映像表現として、被写体を取り囲むように多視点カメラを配置し、撮影映像を撮影カメラの並びに沿って切り替えることで、時間を止めて被写体の周囲を視点が回り込むような映像表現が行われている。この多視点映像表現を実現する従来技術としては、特許文献１，２に記載の多視点映像システムが知られている。この多視点映像システムは、図６のように、多視点カメラ９を被写体Ｔに向けるので、被写体Ｔが移動する場合、この被写体Ｔに追随して撮影カメラの姿勢を変える必要がある。
なお、図６では、多視点カメラ９の追随範囲を破線で図示した。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１３３６６０号公報
【特許文献２】特開２００６−１１５２９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、従来の多視点映像システムでは、図６のように、多視点カメラ９の追随範囲から被写体Ｔ２が外れているので、被写体Ｔ２の多視点映像を生成できないという問題がある（被写体Ｔ３も同様）。さらに、従来の多視点映像システムは、多視点カメラ９の画角が限られているため、互いに離れた被写体Ｔ２，Ｔ３を同時に撮影できないという問題もある。
【０００５】
そこで、本願発明は、被写体の位置及び数に関わらず多視点映像を生成できる多視点映像生成装置及びそのプログラム、並びに、多視点映像生成システムを提供することを課題とする。
【課題を解決するための手段】
【０００６】
前記した課題を解決するため、本願発明に係る多視点映像生成装置は、魚眼レンズ又は超広角レンズで構成される全天球カメラのそれぞれが被写体を撮影した撮影映像から、被写体を異なる視点で表示した多視点映像を生成する多視点映像生成装置であって、カメラパラメータ設定部と、映像変換部と、注視点設定部と、多視点映像生成部と、を備える構成とした。
【０００７】
かかる構成によれば、多視点映像生成装置は、カメラパラメータ設定部によって、前記全天球カメラ毎の位置及び方向を表すカメラパラメータを予め設定する。
多視点映像生成装置は、映像変換部によって、通常の撮影カメラよりも画角が広い全天球カメラで撮影された撮影映像を、その全天球カメラの方向を中心とした幾何学変換により正方映像に変換する。従って、この正方映像には、通常の撮影カメラで追随可能な範囲から外れた被写体や離れた位置の被写体も写っている。
【０００８】
多視点映像生成装置は、注視点設定部によって、前記正方映像に含まれる前記被写体の位置を注視点として設定し、設定した前記正方映像の注視点から三次元空間上での注視点を求める。
多視点映像生成装置は、多視点映像生成部によって、前記三次元空間上での注視点に基づいて、前記正方映像に含まれる被写体が含まれる被写体領域を切り出し、切り出した前記被写体領域を予め設定されたカメラ切り替え順序で並べることで、前記多視点映像を生成する。
このように、多視点映像生成装置は、通常の撮影カメラで追随範囲から外れた被写体や離れた位置の被写体が写っている撮影映像から、多視点映像を生成する。
【０００９】
また、前記した課題を解決するため、本願発明に係る多視点映像生成システムは、魚眼レンズ又は超広角レンズで構成される全天球カメラと、本願発明に係る多視点映像生成装置と、を備える構成とした。
かかる構成によれば、多視点映像生成システムは、通常の撮影カメラで追随範囲から外れた被写体や離れた位置の被写体が写っている撮影映像から、多視点映像を生成する。
【発明の効果】
【００１０】
本願発明によれば、以下のような優れた効果を奏する。
本願発明によれば、通常の撮影カメラで追随範囲から外れた被写体や離れた位置の被写体が写っている撮影映像を用いるため、被写体の位置及び数に関わらず多視点映像を生成することができる。
【図面の簡単な説明】
【００１１】
【図１】本願発明の実施形態に係る多視点映像生成システムの構成を示すブロック図である。
【図２】図１の全天球カメラを説明する説明図である。
【図３】図１の注視点設定部による注視点の設定を説明する説明図である。
【図４】図１の多視点映像生成装置の動作を示すフローチャートである。
【図５】本願発明の変形例に係る多視点映像生成装置の動作を示すフローチャートである。
【図６】従来の多視点映像システムを説明する説明図である。
【発明を実施するための形態】
【００１２】
以下、本願発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、実施形態において、同一の手段及び同一の処理には同一の符号を付し、説明を省略した。
【００１３】
［多視点映像生成システムの構成］
図１を参照し、本願発明の実施形態に係る多視点映像生成システム１の構成について説明する。
多視点映像生成システム１は、カメラ群１０が被写体Ｔ（図２）を撮影した撮影映像から、被写体Ｔを異なる視点で表示した多視点映像を生成するものであり、図１のように、カメラ群１０と、多視点映像生成装置２０とを備える。
なお、本実施形態では、被写体Ｔが静止していることとする。
【００１４】
カメラ群１０は、複数の全天球カメラ１２を備えるものである。
全天球カメラ１２（１２１〜１２ｎ）は、その周囲を撮影可能なカメラであり、１個又は複数の魚眼レンズ（不図示）で構成される（ｎは２以上の自然数）。ここで、全天球カメラ１２は、複数の魚眼レンズで構成される場合、全周囲（全天球）を撮影できるように、一定角度で魚眼レンズが内蔵される。そして、全天球カメラ１２は、魚眼レンズ毎に、周囲が撮影された撮影映像を多視点映像生成装置２０に出力する。つまり、全天球カメラ１２は、１個の魚眼レンズで構成される場合、１枚の撮影映像を出力し、複数の魚眼レンズで構成される場合、魚眼レンズと同数の撮影映像を出力する。
【００１５】
図２のように、全天球カメラ１２が５台の場合を考える。この場合、全天球カメラ１２１〜１２５は、各全天球カメラ１２１〜１２５の位置を中心に、全方向で一定距離までの範囲を撮影範囲Ａ１〜Ａ５とする。このように、全天球カメラ１２は、その全周囲を撮影できるので、被写体Ｔ１〜Ｔ３が撮影範囲から外れることが少なく、互いに離れた被写体Ｔ１〜Ｔ３を同時に撮影することができる。
なお、図２では、５台の全天球カメラ１２１〜１２５を直線状に配置することとしたが、全天球カメラ１２の台数及び配置はこれに制限されない。
【００１６】
＜多視点映像生成装置の構成＞
図１に戻り、多視点映像生成装置２０の構成について説明する。
多視点映像生成装置２０は、ＵＩ部２１と、セレクタ部２２と、カメラパラメータ設定部２３と、魚眼映像補正変換部（映像変換部）２４と、注視点設定部２５と、多視点映像生成部２６とを備える。
【００１７】
ＵＩ部２１は、多視点映像生成装置２０のユーザインタフェース（ＵＩ：User Interface）である。このＵＩ部２１は、マウス、キーボード、回転ダイヤル等の操作手段（不図示）を備え、ユーザが各種情報を設定するものである。例えば、ユーザが設定する情報としては、カメラ切り替え順序、注視点の位置、切り出しサイズ、セカンダリカメラがあげられる。
【００１８】
カメラ切り替え順序とは、多視点映像を生成する際、各全天球カメラ１２で撮影された撮影映像のフレーム画像を切り替える順序のことである。言い換えるなら、カメラ切り替え順序は、全天球カメラ１２（視点）を切り替える順序を表している。ここで、全天球カメラ１２１〜１２ｎのうち、カメラ切り替え順序で指定された視点に対応する１台の全天球カメラ１２をマスターカメラと呼ぶ。
【００１９】
注視点の位置とは、映像で追従すべき被写体の位置（画像座標）のことである。
画像座標とは、映像中の位置を示す座標のことである。
切り出しサイズとは、多視点映像として切り出される領域の高さ及び幅のことである。
セカンダリカメラとは、後記する注視点を設定する対象となる全天球カメラ１２である。このセカンダリカメラとして、全天球カメラ１２１〜１２ｎのうち、マスターカメラ以外の１台の全天球カメラ１２が設定される。
【００２０】
セレクタ部２２は、各全天球カメラ１２から入力された撮影映像（魚眼映像）のうち、多視点映像として表示されるものを選択（セレクト）するものである。
まず、セレクタ部２２は、各全天球カメラ１２から入力された撮影映像のフレーム画像をタイムコードで同期させる。次に、セレクタ部２２は、ＵＩ部２１から入力されたカメラ切り替え順序に従って、多視点映像の対象として選択された視点のフレーム画像にタグを付加する。例えば、５台の全天球カメラ１２から撮影映像が入力された場合、同一のタイムコードを有するフレーム画像が５枚存在する。従って、セレクタ部２２は、５枚のフレーム画像のうち、カメラ切り替え順序が示すマスターカメラのフレーム画像にタグを付加する。
【００２１】
また、セレクタ部２２は、ＵＩ部２１から入力されたセカンダリカメラのフレーム画像にもタグを付加する。
その後、セレクタ部２２は、タグが付加されたマスターカメラ及びセカンダリカメラの撮影映像（フレーム画像）を魚眼映像補正変換部２４に出力する。
【００２２】
カメラパラメータ設定部２３は、各全天球カメラ１２の位置及び方向を表すカメラパラメータを予め設定するものである。例えば、カメラパラメータ設定部２３は、特開２００６−１１５２９８号公報に記載された手法を用いて、カメラパラメータを設定する。そして、カメラパラメータ設定部２３は、設定されたカメラパラメータを魚眼映像補正変換部２４に出力する。
なお、カメラパラメータ設定部２３には、全天球カメラ１２の位置を変更したとき、カメラパラメータを設定すればよい。
【００２３】
このカメラパラメータは、全天球カメラ１２を三次元空間に配置したときの位置及び方向を表す。すなわち、全天球カメラ１２は、全周囲を撮影できるため、その中心となる方向を設定する必要がある。
ここで、カメラパラメータは、三次元空間の注視点の位置を設定する際、２台以上の全天球カメラ１２からの注視方向ベクトル同士の演算に用いられる。また、カメラパラメータは、正方映像から切り出す際、三次元空間に設定された注視点の位置と各全天球カメラ１２との位置関係から、注視点及び被写体が含まれる領域を求めるための演算にも用いられる。
【００２４】
魚眼映像補正変換部２４は、セレクタ部２２から入力された撮影映像を幾何学変換により正方映像に変換するものである。
ここで、撮影映像を構成するフレーム画像は、全天球カメラ１２で撮影されているため、直線状の物体も歪んでいる。従って、魚眼映像補正変換部２４は、幾何学変換として、共線条件を用いた正像変換をフレーム画像に施す。このとき、撮影映像には全天球カメラ１２の全周囲が撮影されているため、この撮影映像の全範囲を正方映像に変換できない。そこで、魚眼映像補正変換部２４は、カメラパラメータ設定部２３から入力された基準方向を中心に正像変換を行う。さらに、魚眼映像補正変換部２４は、変換したフレーム画像をタイムコード順に並べることで長方形状又は正方形状の正方映像を生成する。
【００２５】
その後、魚眼映像補正変換部２４は、生成したマスターカメラ及びセカンダリカメラの正方映像を注視点設定部２５に出力する。また、魚眼映像補正変換部２４は、生成したマスターカメラの正方映像を多視点映像生成部２６に出力する。
【００２６】
なお、正像変換の手法は、下記参考文献１に記載されているため、これ以上の説明を省略する。
参考文献１：F Devernay,Straight lines have to be straight:Automatic calibration and removal of distortion from scenes of structured enviorments,Machine Vision Appl.,12-1(2001-8),14-24
【００２７】
ここで、１個の全天球カメラ１２が複数の魚眼レンズで構成され、魚眼レンズ毎に撮影映像が入力された場合を考える。この場合、多視点映像生成システム１では、正方映像への変換を行うために、全天球カメラ１２毎に、全周囲が撮影された１枚のフレーム画像を得る必要がある。そこで、魚眼映像補正変換部２４は、下記参考文献２に記載のスティッチを施し、同一の全天球カメラ１２から入力されたフレーム画像を全て繋ぎ合わせる。
【００２８】
参考文献２：Deng Wu, Automatic Spherical Panorama Generation with Two Fisheye Images.Proceedings of the 7th World Congress on Intelligent Control and Automation,June 25-27,Chongqing,China
【００２９】
注視点設定部２５は、魚眼映像補正変換部２４から入力された正方映像に注視点を設定する。そして、注視点設定部２５は、設定した正方映像の注視点から三次元空間上での注視点を求めるものである。
【００３０】
まず、注視点設定部２５は、魚眼映像補正変換部２４から入力されたマスターカメラの正方映像（フレーム画像）をディスプレイ（不図示）に表示する。すると、ユーザは、ディスプレイに表示されたフレーム画像に含まれる被写体Ｔの位置を、注視点の位置として設定する。これに応じて、注視点設定部２５は、ＵＩ部２１から、マスターカメラの正方映像における注視点の位置が入力される。このとき、マスターカメラの注視方向は、マスターカメラから注視点までの注視方向ベクトルで表すことができる。
続いて、注視点設定部２５は、マスターカメラと同様の手順で、セカンダリカメラの正方映像における注視点の位置が入力される。このとき、セカンダリカメラの注視方向は、セカンダリカメラから注視点までの注視方向ベクトルで表すことができる。
【００３１】
図３のように、注視点設定部２５は、マスターカメラの注視方向ベクトルαと、セカンダリカメラの注視方向ベクトルβの交点を求め、求めた交点を三次元空間上での注視点として設定する。厳密には、注視方向ベクトルα，βが交差しないことがある。そこで、注視点設定部２５は、最尤法を用いて、三次元空間上での注視点を設定する。
【００３２】
具体的には、注視点設定部２５は、注視方向ベクトルαを法線とする二次元正規分布確率密度関数を設定する。また、注視点設定部２５は、注視方向ベクトルβについても、同様に二次元正規分布確率密度関数を設定する。そして、注視点設定部２５は、注視方向ベクトルα，βにおける二次元正規分布確率密度関数の積により、三次元確率密度関数を生成する。さらに、注視点設定部２５は、生成した三次元確率密度関数が最大となる点を三次元空間上での注視点として設定する。
なお、図３では、三次元確率密度の高低をドットの濃淡で図示した。
その後、注視点設定部２５は、魚眼映像補正変換部２４を介して、設定した三次元空間上での注視点を多視点映像生成部２６に出力する。
【００３３】
多視点映像生成部２６は、注視点設定部２５から入力された三次元空間上での注視点に基づいて、魚眼映像補正変換部２４から入力されたマスターカメラの正方映像から、被写体領域を切り出す。そして、多視点映像生成部２６は、ＵＩ部２１から入力されたカメラ切り替え順序で切り出した被写体領域を並べることで、多視点映像を生成するものである。
【００３４】
具体的には、多視点映像生成部２６は、カメラパラメータが示す全天球カメラ１２の方向を基準として、三次元空間上での注視点から被写体Ｔの位置（例えば、被写体Ｔの重心位置の画像座標）を求める。そして、多視点映像生成部２６は、この被写体Ｔの位置を中心として、切り出しサイズの領域を被写体領域として求める。その後、多視点映像生成部２６は、正方映像のフレーム画像から被写体領域を切り出し、切り出した被写体領域をカメラ切り替え順序で並べ、多視点映像を生成する。
【００３５】
［多視点映像生成装置の動作］
図４を参照し、多視点映像生成装置２０の動作について説明する（適宜図１参照）。
ユーザは、所定位置に全天球カメラ１２を配置する（ステップＳ１）。
なお、ステップＳ１は、多視点映像生成装置２０の動作でないため、破線で図示した。
【００３６】
多視点映像生成装置２０は、カメラパラメータ設定部２３によって、カメラパラメータを設定する（ステップＳ２）。
ユーザは、ＵＩ部２１を介して、カメラ切り替え順序等の各種情報を設定する（ステップＳ３）。
【００３７】
多視点映像生成装置２０は、セレクタ部２２によって、マスターカメラ及びセカンダリカメラの撮影映像にタグを付加する。
多視点映像生成装置２０は、魚眼映像補正変換部２４によって、タグが付加された撮影映像を幾何学変換により正方映像に変換する。
多視点映像生成装置２０は、注視点設定部２５によって、変換された正方映像をディスプレイに表示する。すると、ユーザは、ディスプレイに表示された正方映像において、注視点の位置を設定する。これに応じて、注視点設定部２５は、ＵＩ部２１から、正方映像における注視点の位置が入力される（ステップＳ４）。
【００３８】
多視点映像生成装置２０は、注視点設定部２５によって、マスターカメラから注視点までの注視方向ベクトルと、セカンダリカメラから注視点までの注視方向ベクトルとを求める。
多視点映像生成装置２０は、注視点設定部２５によって、マスターカメラの注視方向ベクトルと、セカンダリカメラの注視方向ベクトルの交点を求め、求めた交点を三次元空間上での注視点として設定する（ステップＳ５）。
【００３９】
多視点映像生成装置２０は、多視点映像生成部２６によって、全天球カメラ１２の方向を基準として、三次元空間上での注視点から被写体Ｔの位置を求め、求めた被写体Ｔの位置を中心として、切り出しサイズの領域を被写体領域として求める（ステップＳ６）。
【００４０】
多視点映像生成装置２０は、多視点映像生成部２６によって、正方映像から、求めた被写体領域を切り出す（ステップＳ７）。
多視点映像生成装置２０は、多視点映像生成部２６によって、切り出した被写体領域をカメラ切り替え順序で並べ、多視点映像を生成する（ステップＳ８）。
【００４１】
以上のように、本願発明の実施形態に係る多視点映像生成システム１は、通常の撮影カメラの追随範囲から外れた被写体や離れた位置の被写体も写っている撮影映像を用いるため、被写体の位置及び数に関わらず多視点映像を生成することができる。
【００４２】
以上、本願発明の各実施形態を詳述してきたが、本願発明は前記した実施形態に限られるものではなく、本願発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【００４３】
前記した実施形態では、被写体Ｔ（図２）が静止していることとして説明したが、被写体Ｔが動くときもある。
すなわち、撮影中又は編集中に被写体Ｔが移動した場合、ＵＩ部２１を介して、ユーザが被写体Ｔに注視点を追従させることで、三次元空間上での注視点を移動させる。追従にあたっては、（１）マスターカメラ及びセカンダリカメラの選択、（２）マスターカメラの正方映像における切り出し領域の移動、（３）マスターカメラから被写体（注視点）までの距離を適宜入力する。つまり、前記（１）及び（２）により注視点の移動経路を決定し、（３）により注視点の移動速度を適宜入力する。
【００４４】
この場合、図５のように、多視点映像生成装置２０の動作が、前記した実施形態と異なるので、これを説明する。
多視点映像生成装置２０は、注視点設定部２５によって、変換された正方映像をディスプレイに表示する。すると、ユーザは、ディスプレイに表示された正方映像において、注視点の経路を設定する。これに応じて、注視点設定部２５は、ＵＩ部２１から、正方映像における注視点の経路が入力される（ステップＳ１０）。
【００４５】
なお、注視点経路とは、被写体Ｔの動きに合わせた注視点の移動経路のことである。
他の点、ステップＳ１０の処理は、ステップＳ４と同様のため、説明を省略する。
【００４６】
多視点映像生成装置２０は、注視点設定部２５によって、全天球カメラ１２から三次元空間上での注視点経路を設定する（ステップＳ１１）。
このように、多視点映像生成装置２０は、被写体Ｔが移動する場合でも、第１実施形態と同様、被写体の位置及び数に関わらず多視点映像を生成することができる。
【００４７】
前記した実施形態では、全天球カメラが魚眼レンズで構成されることとして説明したが、これに限定されない。例えば、全天球カメラは、１以上の超広角レンズで構成されてもよい。
前記した実施形態では、マスターカメラ及びセカンダリカメラという２台の全天球カメラを用いて注視点を設定したが、これに限定されない。つまり、多視点映像生成装置は、３台以上の全天球カメラを用いて注視点を設定してもよい。
【００４８】
前記した実施形態では、多視点映像生成装置を独立したハードウェアとして説明したが、本願発明は、これに限定されない。例えば、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、多視点映像生成装置として協調動作させる多視点映像生成プログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【符号の説明】
【００４９】
１  多視点映像生成システム
１０  カメラ群
１２，１２１〜１２５  全天球カメラ
２０  多視点映像生成装置
２１  ＵＩ部
２２  セレクタ部
２３  カメラパラメータ設定部
２４  魚眼映像補正変換部（映像変換部）
２５  注視点設定部
２６  多視点映像生成部
【図１】
2017028510.tif 000003
【図２】
2017028510.tif 000004
【図４】
2017028510.tif 000005
【図５】
2017028510.tif 000006
【図６】
2017028510.tif 000007
【図３】
2017028510.tif 000008