(57)【特許請求の範囲】
【請求項１】
仮想的な視点である仮想視点において撮影したかのような仮想画像を、前記仮想視点以外の位置に設置した複数の撮像装置からの画像に基づいて作成する場合に、前記撮像装置に用いられる光学装置であって、
前記仮想視点の位置を第１の焦点とし、前記複数の撮像装置のうち自装置に対応する１つの撮像装置の光学中心の位置を第２の焦点とする楕円の円周に沿った形状の鏡面であって、前記仮想視点からの光線を反射して自装置に対応する前記撮像装置へ入射させる位置に設けられる鏡面と、
を備え、
前記仮想視点の位置を中心とする球面上に配置される前記複数の撮像装置のそれぞれに１つずつ設けられる、
光学装置。
【請求項２】
前記鏡面の大きさを、前記撮像装置の画角に応じて定める
請求項１に記載の光学装置。
【請求項３】
前記楕円の円周に沿った前記鏡面は、複数の平面鏡により構成される
請求項１又は請求項２に記載の光学装置。
【請求項４】
前記複数の平面鏡の角度及び位置を調整する鏡駆動部と、
任意の曲率の楕円の円周を近似する鏡面を形成するように前記複数の平面鏡の角度及び位置を調整するよう前記鏡駆動部を制御する鏡制御部と、
をさらに備える請求項３に記載の光学装置。
【請求項５】
仮想的な視点である仮想視点において撮影したかのような仮想画像を、前記仮想視点以外の位置に設置した撮像装置からの画像に基づいて作成する場合に、前記撮像装置に用いられる光学装置であって、
複数の平面鏡により構成される鏡面であって、前記仮想視点の位置を第１の焦点とし、前記撮像装置の光学中心の位置を第２の焦点とする楕円の円周に沿った形状を有し、前記仮想視点からの光線を反射して前記撮像装置へ入射させる位置に設けられる鏡面と、
前記複数の平面鏡の角度及び位置を調整する鏡駆動部と、
任意の曲率の楕円の円周を近似する鏡面を形成するように前記複数の平面鏡の角度及び位置を調整するよう前記鏡駆動部を制御する鏡制御部と、
を備える光学装置。
【請求項６】
請求項１から５のいずれか一項に記載の光学装置と、
前記撮像装置と、
を備える撮像システム。
【請求項７】
請求項４又は５に記載の光学装置と、
前記撮像装置と、
前記鏡制御部からの制御に応じて前記複数の平面鏡が任意の曲率の楕円の円周を近似する鏡面を形成した場合に、前記楕円の第２の焦点に前記撮像装置の光学中心が位置するように前記撮像装置の位置を調整する駆動部と、
を備える撮像システム。
【請求項８】
前記撮像装置及び前記光学装置による撮影方向を調整する方向駆動部と、
前記楕円の第１の焦点が前記仮想視点に位置するように前記方向駆動部を制御する方向制御部と、
をさらに備える請求項７に記載の撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮影するために用いる光学装置及び撮像システムに関する。
【背景技術】
【０００２】
近年、周囲３６０度を含む全天の画像である全天球画像を撮影できるカメラ（以下、全天球カメラという。）およびその全天球画像の視聴において利用者が向いた方向を視聴することができるヘッドマウントディスプレイ（ＨＭＤ）が普及し始めている。そして、ネットワークを介して全天球画像を配信するサービスが注目を集めている。上記のような全天球画像は、ＨＭＤで視聴することで高い臨場感を得ることができ、スポーツやアーティストのライブ等のコンテンツの視聴における利用が期待されている。
【０００３】
一般に、これらの全天球画像は、所望の視点に全天球カメラを設置することで撮影することができる。しかしながら、競技中のサッカーコートの中やバスケットコートの中は、全天球カメラを設置しようとすると競技者の邪魔となるため、全天球カメラを設置することができない。しかし、競技中のサッカーコートの中やバスケットコートの中に立っているかのような映像を視聴してみたいという要望がある。そこで、通常では全天球カメラを設置することのできない場所に仮想的な視点である仮想視点を設定して、仮想視点を含む領域を撮影する複数のカメラを設置し、それらのカメラからの画像を合成することにより、この仮想視点において全天球カメラで撮影したかのような全天球画像を得る技術が考案されている（例えば、非特許文献１。）。以下の説明において、仮想視点における全天球画像を、仮想全天球画像という。
【０００４】
仮想全天球画像を複数のカメラからの画像の合成によって得る画像処理システムの具体例について説明する。図１０は、従来の仮想全天球画像を得るための画像処理システムを示す図である。図１０に示すように、画像処理システム１は、全天球カメラ２と、Ｎ台の複数のカメラ３−１、３−２、３−３、…、３−Ｎ（以下、カメラ群３とする。）と、画像処理装置４と、表示装置５とを備える。画像処理システム１は、フットサルのコート１０内に仮想視点１１を設定した場合に、コート１０の周囲に設置したカメラ群３からの画像の合成によって仮想視点１１における仮想全天球画像を得る。
【０００５】
全天球カメラ２は、全天球画像を撮影するカメラである。全天球カメラ２は、試合が行われる前のタイミングでコート１０内の仮想視点１１の位置に設置される。全天球カメラ２は、予め、仮想視点１１の位置から仮想全天球画像の背景となる背景画像２０を撮影する。全天球カメラ２で撮影された背景画像２０は、画像処理装置４に入力されて蓄積される。
【０００６】
コート１０の周囲には、Ｎ台の複数のカメラ群３が設置されている。図１０においてＮは４以上の自然数である。カメラ群３は、それぞれ仮想視点１１を含む画角となるようにコート１０の周囲に設置されている。画像処理装置４は、背景画像２０に対して合成するため各カメラ群３が出力する入力画像に対して画像処理を行う。画像処理装置４は、全天球カメラ２より取得した背景画像２０に画像処理後の入力画像を合成して仮想全天球画像を生成する。表示装置５は、画像処理装置４で生成した仮想全天球画像を表示する装置であり、液晶ディスプレイ等である。
【０００７】
画像処理システム１における画像処理の具体例を説明する。図１１は、画像処理システム１における画像処理される画像の具体例を示す図である。図１１（Ａ）は、仮想視点１１の位置に設置された全天球カメラ２で撮影された背景画像２０の例を示す図である。仮想視点１１を中心とする３６０度の画像となっている。背景画像２０は、競技開始前に撮影される画像であるのでコート１０内に競技を行う選手等は映っていない。
【０００８】
図１１（Ｂ）は、左からカメラ３−１で撮影した入力画像２１と、カメラ３−２で撮影した入力画像２２と、カメラ３−３で撮影した入力画像２３とを示している。画像処理装置４は、入力画像２１〜２３のそれぞれから仮想視点１１を含み、かつ、フットサルの選手を含む領域２１１、２２１、２３１を切り出す。画像処理装置４は、切り出した領域２１１、２２１、２３１の画像に対して、画像処理を行うことで背景画像２０に貼り付け可能な部分画像２１１ａ、２２１ａ、２３１ａを生成する。
【０００９】
画像処理装置４は、背景画像２０に対して部分画像２１１ａ、２２１ａ、２３１ａを合成することで、仮想全天球画像２４を生成する。図１１（Ｃ）は、画像処理装置４が生成する仮想全天球画像２４の例を示す図である。図１１（Ｃ）に示すように、仮想全天球画像２４は、所定の領域に部分画像２１１ａ、２２１ａ、２３１ａを貼り付けているので、コート１０上で競技を行っているフットサルの選手が映っている画像である。
【００１０】
従来の画像処理システム１は、合成に用いているカメラ群３の光学中心および仮想視点１１において想定する仮想全天球カメラの光学中心はそれぞれ異なる。このため、合成された仮想全天球画像２４は幾何学的に正しくない画像を含む。これを防ぐためには、画像処理装置４は、部分画像２１１ａ、２２１ａ、２３１ａを、仮想視点１１からの距離を示す奥行きの一点で整合性が保たれるよう画像処理を行い背景画像２０に貼り付ける必要がある。しかしながら、整合性が保たれる奥行きに存在せずに別の奥行に存在している物体（例えば、競技中の選手）の部分画像を貼り付ける場合には、画像処理により奥行きの整合性を保つことができない。このような奥行に整合性のない物体は、仮想全天球画像２４において、その画像が分身（多重像）したり、消失したりする現象が発生する。
【００１１】
以下に、図面を用いて仮想全天球画像２４において、物体の画像が分身したり、消失したりする現象について説明する。図１２は、画像処理システム１における課題を説明するための図である。図１２において、撮影範囲４１は、カメラ３−１の撮影範囲の一部であって図１１（Ｂ）に示した領域２１１の撮影範囲を示す。撮影範囲４２は、カメラ３−２の撮影範囲の一部であって図１１（Ｂ）に示した領域２２１の撮影範囲を示す。撮影範囲４３は、カメラ３−３の撮影範囲の一部であって図１１（Ｂ）に示した領域２３１の撮影範囲を示す。すなわち、撮影範囲４１〜４３は、入力画像から切り出す切り出し領域に対応する撮影範囲を示している。また、仮想視点１１からの距離（奥行）が異なる３つの被写体（選手）４９〜５１が存在する。
【００１２】
図１２において破線で示している仮想視点１１からの第１の距離を示す奥行４６は、各撮影範囲４１〜４３が、重なりなく並んでいる。このような奥行４６に位置する被写体４９は、その画像が分身したり消失したりすることがなく、奥行に整合性のある被写体４９である。仮想視点１１からの第２の距離を示す奥行４７は、各撮影範囲４１〜４３が、横線部分４４に示すように重なっている。このような奥行４７に位置する被写体５０は、その画像が分身してしまうので、奥行に整合性のない被写体５０となる。仮想視点１１からの第３の距離を示す奥行４８は、各撮影範囲４１〜４３の間が斜線部分４５に示すように空いている。このような奥行４８に位置する被写体５１は、その画像の一部が消失してしまうので、奥行に整合性のない被写体５１となる。
【先行技術文献】
【非特許文献】
【００１３】
【非特許文献１】高橋康輔、外３名、「複数カメラ映像を用いた仮想全天球映像合成に関する検討」、信学技報、2015年06月01日、vol.115, no.76、MVE2015-5、p.43-48
【発明の概要】
【発明が解決しようとする課題】
【００１４】
仮想全天球画像２４において、物体の画像が分身したり、消失したりする問題を解決する一つの方法として、カメラ群３の設置数を仮想全天球画像の画素数と同じ数だけ設置する方法がある。しかし、カメラの数が膨大となるので現実的な解決方法ではない。
【００１５】
上記事情に鑑み、本発明は、仮想視点の周囲に設置するカメラの数を抑制しながら画質の劣化を抑制した仮想全天球画像を提供する光学装置及び撮像システムを提供することを目的としている。
【課題を解決するための手段】
【００１６】
本発明の一態様は、仮想的な視点である仮想視点において撮影したかのような仮想画像を、前記仮想視点以外の位置に設置した撮像装置からの画像に基づいて作成する場合に、前記撮像装置に用いる光学装置であって、前記仮想視点の位置を第１の焦点とし、前記撮像装置の光学中心の位置を第２の焦点とする楕円の円周に沿った形状の鏡面を備え、前記鏡面は、前記楕円の円周上であって、前記仮想視点からの光線を反射して前記撮像装置へ入射させる位置に設けられる光学装置である。
【００１７】
本発明の一態様は、前記の光学装置であって、前記鏡面の大きさを、前記撮像装置の画角に応じて定める。
【００１８】
本発明の一態様は、前記の光学装置であって、前記楕円の円周に沿った前記鏡面は、複数の平面鏡により構成される。
【００１９】
本発明の一態様は、前記の光学装置であって、前記複数の平面鏡の角度及び位置を調整する鏡駆動部と、任意の曲率の楕円の円周を近似する鏡面を形成するように前記複数の平面鏡の角度及び位置を調整するよう前記鏡駆動部を制御する鏡制御部と、をさらに備える。
【００２０】
本発明の一態様は、前記の光学装置と、前記撮像装置と、を備える撮像システムである。
【００２１】
本発明の一態様は、前記の光学装置と、前記撮像装置と、前記鏡制御部からの制御に応じて前記複数の平面鏡が任意の曲率の楕円の円周を近似する鏡面を形成した場合に、前記楕円の第２の焦点に前記撮像装置の光学中心が位置するように前記撮像装置の位置を調整する駆動部と、を備える撮像システムである。
【００２２】
本発明の一態様は、前記の撮像システムであって、前記撮像装置及び前記光学装置による撮影方向を調整する方向駆動部と、前記楕円の第１の焦点が前記仮想視点に位置するように前記方向駆動部を制御する方向制御部と、をさらに備える。
【発明の効果】
【００２３】
本発明により、仮想視点の周囲に設置するカメラの数を抑制しながら画質の劣化を抑制した仮想全天球画像を提供することができる。
【図面の簡単な説明】
【００２４】
【図１】第１の実施形態における画像処理システムの概略を示す図である。
【図２】第１の実施形態におけるカメラシステム群６の構成例を示す図である。
【図３】第１の実施形態における画像処理装置３０の構成例を示す図である。
【図４】入力画像の各画素と背景画像２０の各画素との対応関係を示すテーブルの取得方法について説明する図である。
【図５】入力画像の各画素と全天球画像の各画素との対応関係を示す対応情報テーブル３０３の具体例を示す図である。
【図６】画像合成部３２における合成処理を示すフロー図である。
【図７】第１の実施形態における画像処理装置３０が仮想全天球画像を作成する動作を示すフロー図である。
【図８】カメラシステム群６における各カメラシステムの撮影範囲の広さと、その撮影範囲の広さに応じて必要となる各カメラシステムの設置個数との関係について説明する図である。
【図９】第２の実施形態におけるカメラシステム６−１ａの構成例を示す図である。
【図１０】従来の仮想全天球画像を得るための画像処理システムを示す図である。
【図１１】画像処理システム１における画像処理される画像の具体例を示す図である。
【図１２】画像処理システム１における課題を説明するための図である。
【発明を実施するための形態】
【００２５】
以下、図面を参照して、本発明の実施形態について説明する。
（第１の実施形態）
図１は、第１の実施形態における画像処理システムの概略を示す図である。図１に示す画像処理システム１Ａにおいて、図１０に示した従来の画像処理システム１と同じ構成には、同一符号を付しており、説明を簡略化する。
【００２６】
図１に示すように、画像処理システム１Ａは、全天球カメラ２と、Ｍ台の複数のカメラシステム６−１、６−２、６−３、…、６−Ｍ（以下、カメラシステム群６とする。）と、画像処理装置３０と、表示装置５とを備える。画像処理システム１Ａは、フットサルのコート１０内に仮想視点１１を設定した場合に、コート１０の周囲に設置したカメラシステム群６からの画像の合成によって仮想視点１１における仮想全天球画像を得る。
【００２７】
全天球カメラ２は、全天球画像を撮影するカメラである。全天球カメラ２は、競技が行われる前のタイミングでコート１０内の仮想視点１１の位置に設置される。全天球カメラ２は、予め、仮想視点１１の位置から仮想全天球画像の背景となる背景画像２０を撮影する。全天球カメラ２で撮影された背景画像２０は、画像処理装置４に入力されて蓄積される。全天球カメラ２は、競技中も仮想視点１１に設置したままだと競技の支障となるため、競技開始前に仮想視点１１の位置から取り除かれる。
【００２８】
コート１０の周囲には、Ｍ台の複数のカメラシステム群６が設置されている。カメラシステム群６の各カメラシステム６−１、６−２、６−３、…、６−Ｍは、背景画像２０に対して合成する入力画像を動画で撮影するカメラシステムであり、それぞれ仮想視点１１を含む画角となるようにコート１０の周囲を取り囲むように設置されている。Ｍは、２以上の整数であり、同程度の画質の仮想全天球画像を得ようとするのであればコート１０が大きいほど大きな値となり、コート１０の大きさが同じであれば仮想全天球画像の画質を高いものにしようとするほど大きな値となる。
【００２９】
画像処理装置３０は、各カメラシステム群６からの入力画像に対して画像処理を施して、全天球カメラ２より取得した背景画像２０に画像処理後の入力画像を合成する処理を行う。表示装置５は、画像処理装置３０で生成した仮想全天球画像を表示する装置であり、液晶ディスプレイ、ヘッドマウントディスプレイ（ＨＭＤ）等である。
【００３０】
表示装置５がＨＭＤである場合、図１には示していないが画像処理装置３０から映像信号等を受信する受信部と、受信部を介して受信した映像信号を表示する液晶ディスプレイや有機ＥＬディスプレイ等で構成される画面と、視聴者の頭の動きを検出する検出部とを備える。ＨＭＤの画面に表示される映像は、仮想全天球画像に基づいた仮想全天球映像の一部であり視野と呼ぶ。ＨＭＤは、検出部が検出した視聴者の頭の動きに応じて表示する映像の範囲である視野を変更する機能を有する。
【００３１】
頭を上下左右に動かすことに応じて視聴している映像が変化するので、ＨＭＤを頭に装着した視聴者は、仮想視点１１の位置から競技を見ているかのような映像を視聴することができる。このように、ＨＭＤを装着した視聴者は、あたかも仮想視点１１に立って競技を観戦しているかのような臨場感のある映像を視聴することができる。
【００３２】
次に、カメラシステム群６の構成例について説明する。図２は、第１の実施形態におけるカメラシステム群６の構成例を示す図である。図２に示すように、カメラシステム６−１は、楕円１３−１の一部と同じ曲率の曲面を有して仮想視点１１からの光線を反射する楕円鏡Ｍ−１と、楕円１３−１の焦点に配置され楕円鏡Ｍ−１が反射する光線を受光するカメラＣ−１とを備える。カメラシステム６−２は、楕円１３−２の一部と同じ曲率の曲面を有して仮想視点１１からの光線を反射する楕円鏡Ｍ−２と、楕円１３−２の焦点に配置され楕円鏡Ｍ−２が反射する光線を受光するカメラＣ−２とを備える。カメラシステム６−３は、楕円１３−３の一部と同じ曲率の曲面を有して仮想視点１１からの光線を反射する楕円鏡Ｍ−３と、楕円１３−３の焦点に配置され楕円鏡Ｍ−３が反射する光線を受光するカメラＣ−３とを備える。仮想視点１１は、楕円１３−１〜１３−３のカメラＣ−１〜Ｃ−３が設置された焦点ではない方の焦点に位置する。
【００３３】
図２に示すように、カメラシステム６−１〜６−３は、楕円の一つの焦点から出た光を楕円の円周に沿った鏡面で反射させるともう一つの焦点に向かうという性質を利用して、仮想視点１１からの光線を効率的にカメラＣ−１〜Ｃ−３に集光している。これにより、カメラシステム６−１〜６−３は、仮想視点１１を視点とする撮影範囲１２−１〜１２−３に示す範囲をそれぞれ撮影することができる。各カメラシステム群６で撮影される入力画像は、所定のフレーム周期を有する動画像であり、各フレームには撮影時間が関連付けられている。なお、図２は、カメラシステム６−１〜６−３の３台のみ示しているが、他のカメラシステム６−４〜６−Ｍについても同様の構成である。
【００３４】
次に、第１の実施形態における画像処理システム１Ａの画像処理装置３０の構成例について説明する。
図３は、第１の実施形態における画像処理装置３０の構成例を示す図である。図３に示すように、画像処理装置３０は、画像入力部３１と、画像合成部３２と、表示処理部３３と、各カメラシステム群６が撮影した入力画像を格納する入力画像格納部３０１と、背景画像２０を格納する背景画像格納部３０２と、入力画像の各画素と背景画像２０の各画素との対応関係を示すテーブルを格納する対応情報テーブル３０３とを備える。
【００３５】
入力画像格納部３０１は、カメラシステム群６内の各カメラシステムを特定するカメラコードに関連付けて各カメラシステム群６で撮影した入力画像を格納する。入力画像は、撮影時刻と関連付けられた動画の画像データを含むものである。入力画像格納部３０１は、例えば、カメラシステム６−１で撮影した入力画像を、カメラシステム６−１を特定するカメラコードに関連付けて格納する。
【００３６】
背景画像格納部３０２は、全天球カメラ２で撮影した全天球画像である背景画像２０を格納する。背景画像格納部３０２は、例えば、コート１０内の仮想視点１１に設置した全天球カメラ２で撮影した図１１（Ａ）に示す背景画像２０を格納する。格納する背景画像２０は、１フレーム分の画像データでも所定時間分の動画の画像データでもよい。所定時間分の画像データを格納する場合は、背景画像２０において周期的に変化する部分（例えば電光掲示板が映っている部分があり、かつ、電光掲示板の表示内容が周期的に変化している部分。）があれば、その周期に応じた時間分の画像データを背景画像２０として格納すればよい。
【００３７】
画像処理装置３０が全天球カメラ２から背景画像２０を取得する構成はどのような構成であってもよい。例えば、画像処理装置３０が全天球カメラ２と有線又は無線で通信可能な通信部を備えて、その通信部を介して背景画像２０を取得する構成であってもよい。また、全天球カメラ２に着脱可能な記録媒体を用いて当該記録媒体に背景画像２０を記録して、記録後の記録媒体を画像処理装置３０に接続して、画像処理装置３０が記録媒体から背景画像２０を読み出す構成により、背景画像２０を取得する構成であってもよい。また、画像処理装置３０が、カメラシステム群６から入力画像を取得する構成も全天球カメラ２の場合と同様にどのような構成であってもよい。
【００３８】
画像入力部３１は、入力画像格納部３０１から入力画像を取得し、背景画像格納部３０２から背景画像２０を取得して、入力画像及び背景画像２０を画像合成部３２へ出力する。画像合成部３２は、対応情報テーブル３０３を参照して入力画像の各画素の値を、背景画像２０の対応する画素の値として貼り付けて合成することで仮想全天球画像を生成する。
【００３９】
ここで、対応情報テーブル３０３に格納する入力画像の各画素と背景画像２０の各画素との対応関係を示すテーブルの取得方法について説明する。図４は、入力画像の各画素と背景画像２０の各画素との対応関係を示すテーブルの取得方法について説明する図である。図４に示すように、点光源５４を全天球カメラ２及びカメラシステム６−１で撮影することでテーブルを取得する。なお、説明を簡単にするため図４に示すカメラシステム６−１の処理のみを示しているが、他のカメラシステム６−２〜６−Ｍにおいても同様の処理を行う。
【００４０】
まず、コート１０内の仮想視点１１に全天球カメラ２を設置して、図２に示したカメラシステム６−１の撮影範囲１２−１内で点光源５４を点灯する。図４において撮像面５７は、全天球カメラ２において被写体像が結像する撮像面を仮想的に示したものである。点光源５４からの光は、全天球カメラ２において撮像面５７の画素５７Ａで受光される。全天球カメラ２は、点光源５４を撮影した全天球画像５５を出力する。図４に示すように、仮想視点１１における全天球画像５５には、画素５５Ａに点光源５４の光が写っている。全天球画像５５の画素５５Ａは、撮像面５７の画素５７Ａに対応する画素である。点光源５４を移動させて撮影範囲１２−１の全ての画素に対応する位置で撮影を行う。撮影を終えると全天球カメラ２を仮想視点１１から取り去る。
【００４１】
次に、カメラシステム６−１は、撮影範囲１２−１内で点灯する点光源５４を撮影して、画像５６を出力する。図４において、撮像面５８は、カメラＣ−１において被写体像が結像する撮像面を仮想的に示したものである。点光源５４からの光は、仮想視点１１を通過して楕円鏡Ｍ−１で反射されてカメラＣ−１において撮像面５８の画素５８Ａで受光される。図４に示すように、カメラシステム６−１で撮影した画像５６には、画素５６Ａに点光源５４の光が写っている。画像５６の画素５６Ａは、撮像面５８の画素５８Ａに対応する画素である。全天球カメラ２の時と同様に、点光源５４を移動させて撮影範囲１２−１の全ての画素に対応する位置で撮影を行う。点光源５４を点灯させる位置とその順番は、全天球カメラ２の時と同じとする。
【００４２】
以上の処理により、同じ位置で点灯させた点光源５４が写っている画素を対応させることで、入力画像の各画素と全天球画像（＝背景画像２０）の各画素との対応関係を示すテーブルを作成する。図５は、入力画像の各画素と全天球画像の各画素との対応関係を示す対応情報テーブル３０３の具体例を示す図である。図５に示すように、全天球画像の各画素の識別子ｑｊ（ｊ＝１〜Ｎｑ）及び画素アドレスを示すｑ１：（０、０）、ｑ２：（０、１）、…、ｑＮｑ：（３８３９、１９１９）と、カメラシステム群６の識別子Ｓｉ（ｉ＝１〜Ｍ）及び識別子Ｓｉで特定されるカメラシステムからの入力画像の画素アドレスを示すＳ１、（１００、５０）、Ｓ１、（１００、５２）、…、Ｓｍ、（１００、２００）とを対応させている。
【００４３】
識別子Ｓ１、Ｓ２、…、Ｓｍは、カメラシステム６−１、６−２、…、６−Ｍを特定する識別子である。図５に示した対応情報テーブル３０３は、全天球画像の全画素に対してカメラシステム群６の入力画像の画素との対応情報を格納したが、これに限定されるものではない。例えば、対応情報テーブル３０３は、全天球画像の一部の画素に対してのみカメラシステム群６の入力画像の画素との対応情報を格納してもよい。例えば、全天球画像において、カメラシステム群６が対応していない領域があれば、その領域の対応情報は格納する必要がない。
【００４４】
次に、画像合成部３２における、対応情報テーブル３０３を参照して入力画像の各画素の値を、背景画像２０の対応する画素の値として貼り付ける処理について説明する。図６は、画像合成部３２における合成処理を示すフロー図である。画像合成部３２は、背景画像２０の各画素ｑｊに関するループを開始する（ステップＳ１０１）。具体的には、画像合成部３２は、背景画像２０の画素ｑ１の処理から画素ｑＮｑまでの処理のループを開始する。
【００４５】
画像合成部３２は、対応情報テーブル３０３を参照して、背景画像２０の画素ｑｊに対応するカメラシステムの識別子Ｓｉ及び識別子Ｓｉのカメラシステムで撮影した入力画像の画素アドレスを特定し、特定した画素アドレスの画素の値を、背景画像２０の画素ｑｊの値とする（ステップＳ１０２）。画像合成部３２は、背景画像２０の画素ｑＮｑ対する処理を終えたか否かを判断することで、ループを終了させるか否かを判断する（ステップＳ１０３）。ここで画素ｑＮｑ対する処理を終えていなければ、画像合成部３２は、ステップＳ１０１に戻り、画素ｑＮｑ対する処理を終えていれば合成処理を終了する。以上の処理により、画像合成部３２は、対応情報テーブル３０３を参照してカメラシステム群６からの入力画像の各画素の値を、背景画像２０の対応する画素の値として貼り付けて合成して得た仮想全天球画像を出力する。
【００４６】
表示処理部３３は、画像合成部３２が出力する仮想全天球画像を表示装置５において表示可能な映像信号に変換して出力する。仮想全天球画像は、図１１（Ｃ）に示した通り、歪みを含む画像であり、かつ、仮想視点１１を中心とする３６０度の景色を含む画像であるので、表示処理部３３は、仮想全天球画像から表示装置５に表示させる範囲の画像を切り出して、切り出した画像の歪みを補正する機能を有する。
【００４７】
画像処理装置３０は、入力画像格納部３０１及び背景画像格納部３０２を備える構成としたが、これに限定されるものではない。例えば、入力画像格納部３０１及び背景画像格納部３０２を備える画像格納装置を別に設け、画像処理装置３０は、画像格納装置から入力画像格納部３０１及び背景画像格納部３０２を取得する構成であってもよい。また、画像処理装置３０は、入力画像格納部３０１を備えずに、カメラシステム群６から入力される入力画像をリアルタイムで取得して、取得した入力画像を順次処理する構成としてもよい。
【００４８】
次に、画像処理システム１Ａにおいて仮想全天球画像を作成する動作について説明する。図７は、第１の実施形態における画像処理装置３０が仮想全天球画像を作成する動作を示すフロー図である。図７に示す動作は、入力画像に基づいて各撮影時刻における仮想全天球画像を生成する処理の前に、予め対応情報テーブル３０３を取得する処理、背景画像２０を取得して背景画像格納部３０２に格納する処理及び入力画像を取得して入力画像格納部３０１に格納する処理も含まれる。
【００４９】
仮想視点１１に全天球カメラ２を設置し、点光源５４を全天球画像の各画素に対応する位置に所定の順番で移動させて、移動先の各位置で点灯してその全天球画像を撮影する（ステップＳ２０１）。全天球カメラ２を仮想視点１１から取り去って、カメラシステム群６の各カメラシステムは、点光源５４をステップＳ２０１の時と同じ位置、同じ順番で移動させて、移動先の各位置で点灯してその画像をする。具体的には、カメラシステム群６の各カメラシステムは、自身の撮影範囲に点光源５４が存在する場合に、画像の撮影を行う。同じ位置で点灯させた点光源５４が写っている画素を対応させることで、全天球画像の各画素ｑｊと識別子Ｓｉで特定されるカメラシステムで撮影され入力画像の画素との対応関係を示すテーブルである対応情報テーブル３０３を作成する（ステップＳ２０２）。
【００５０】
仮想視点１１に全天球カメラ２が設置され、全天球カメラ２は、背景画像２０を撮影する（ステップＳ２０３）。撮影された背景画像２０は、背景画像格納部３０２に格納される。次に、全天球カメラ２を仮想視点１１から取り去った後に、例えばコート１０おける競技開始と共に、カメラシステム群６は入力画像の撮影を開始する（ステップＳ２０４）。これにより、画像処理装置３０は、カメラシステム群６が撮影した入力画像を入力画像格納部３０１に格納する。
【００５１】
画像合成部３２は、対応情報テーブル３０３を参照してカメラシステム群６からの入力画像の各画素の値を、背景画像２０の対応する画素の値として貼り付けて合成して得た仮想全天球画像を出力する（ステップＳ２０５）。
【００５２】
以上に説明したように、第１の実施形態における画像処理装置３０は、楕円鏡を備えカメラシステム群６を用いて所定の撮影範囲からの仮想視点１１を通る光線に基づく被写体像を撮影して入力画像を取得し、この入力画像を背景画像２０に合成して仮想全天球画像を生成することができる。これにより、第１の実施形態における画像処理装置３０は、仮想全天球画像に含まれる被写体において分身が起こったり、消失が起こったりすることを抑制し、かつ、カメラシステム群６に含まれる各カメラシステムを所定の撮影範囲が重ならない間隔で設置することができる。すなわち、第１の実施形態における画像処理装置３０は、仮想視点の周囲に設置するカメラシステムの数を抑制し、かつ、画質の劣化を抑制した仮想全天球画像を得ることができる。第１の実施形態における画像処理装置３０は、仮想視点の周囲に設置する限られた数のカメラシステムの中で、より精度の高い仮想全天球画像を得ることができる。
【００５３】
上述した画像処理システム１Ａの動作の変形例として、カメラシステム群６で撮影した入力画像をリアルタイムで背景画像２０に合成して仮想全天球画像を生成する動作について説明する。リアルタイムで仮想全天球画像を生成する場合、画像処理システム１Ａは、図７の処理において、ステップＳ２０１〜Ｓ２０３までの処理を事前に行い、ステップＳ２０４、Ｓ２０５の処理をリアルタイムで行う。リアルタイムで仮想全天球画像を生成するとは、例えば、入力画像が１秒間に６０フレームを有する動画像であれば、画像処理システム１Ａが、その動画像の入力画像を処理して、１秒間に６０フレームを有する仮想全天球画像を生成することである。
【００５４】
ここで、カメラシステム群６における各カメラシステムの撮影範囲の広さと、その撮影範囲の広さに応じて必要となる各カメラシステムの設置個数（Ｍ個）との関係について説明する。図８は、カメラシステム群６における各カメラシステムの撮影範囲の広さと、その撮影範囲の広さに応じて必要となる各カメラシステムの設置個数（Ｍ個）との関係について説明する図である。図８では、楕円鏡Ｍ−１とカメラＣ−１とを備えるカメラシステム６−１を例に挙げて説明する。
【００５５】
楕円鏡Ｍ−１の鏡面と同じ曲率となる楕円の長軸をａ、短軸をｂとすると、この楕円の円周は、楕円の中心を原点とするｘｙ軸の座標を用いると以下の（式１）で表される。
【数１】
0006392736.tif 000002
楕円の中心をＯとし、２つの焦点をｆ０、ｆ１とした時、中心Ｏから各焦点ｆ０、ｆ１までの距離は以下の（式２）で表される。
【数２】
0006392736.tif 000003
【００５６】
図８に示すように、一方の焦点ｆ０に光学中心が一致し、かつカメラＣ−１の光軸と楕円の長軸が一致するようにカメラＣ−１を設置する。また、もう一方の焦点ｆ１に仮想視点１１があるとする。カメラＣ−１の画角を示す直線と楕円の交点をＰ＝（ｘ、ｙ）とする。直線Ｐ−ｆ０と光軸がなす角をθ０とし、直線Ｐ−ｆ１と光軸がなす角をθ１とする。θ０及びθ１は、それぞれ以下の（式３）及び（式４）で表される。
【数３】
0006392736.tif 000004
【００５７】
そして、カメラＣ−１の画角は、２θ０で表され、カメラシステム６−１の撮影範囲は、２θ１で表される。カメラＣ−１の実質的な画角は、楕円鏡Ｍ−１の大きさに応じて決まる。なお、楕円鏡Ｍ−１の大きさを、カメラＣ−１の画角に応じて決めてもよい。カメラシステム６−１の撮影範囲の大きさ２θ１とカメラシステム６−１の個数は、背景画像２０に対して合成したい範囲が角度θである場合に、以下の（式５）を満たす個数ｍである。なお、（式５）において、θｉとはカメラシステム６−ｉ（１≦ｉ≦ｍ）の撮影範囲を示す。（式５）に示すように、背景画像２０に対して合成したい範囲の角度θの値が大きくなれば、カメラシステム６−１の個数ｍの値も大きくなる。
【数４】
0006392736.tif 000005
【００５８】
（第２の実施形態）
第２の実施形態におけるカメラシステムの構成例について説明する。図２等に示した第１の実施形態におけるカメラシステム群６の各カメラシステムの楕円鏡の曲率は固定である。これに対して、第２の実施形態におけるカメラシステムは、各カメラシステムの楕円鏡の曲率を変更可能に構成したものである。これにより、楕円鏡の鏡面に基づく楕円の焦点に設定する仮想視点１１の位置を変更することができる。
【００５９】
図９は、第２の実施形態におけるカメラシステム６−１ａの構成例を示す図である。カメラシステム６−１ａは、カメラＣ−１ａ、焦点位置を変更可能な楕円鏡Ｍ−１ａ及び撮影方向を駆動する撮影方向駆動部８４を備えるカメラ部８５と、撮影方向駆動部８４に対して撮影方向を制御する信号を出力するカメラ制御部８６とを具備する。カメラＣ−１ａは、駆動部８３により図９に示す矢印方向（カメラＣ−１ａの光軸方向）に位置を変更することができる。駆動部８３は、楕円鏡Ｍ−１ａの焦点位置の変更に応じて、カメラＣ−１ａの位置を変更する。
【００６０】
楕円鏡Ｍ−１ａは、平面鏡８０−１〜８０−５と、平面鏡８０−１〜８０−５のそれぞれに設けられ各平面鏡８０−１〜８０−５の角度及び位置を変更する鏡駆動部８１−１〜８１−５と、鏡駆動部８１−１〜８１−５に対して、平面鏡８０−１〜８０−５により第１の焦点（カメラシステム６−１ａ側の焦点）が所望の位置となる曲率の楕円を近似する配置となるよう制御信号を出力する鏡制御部８２とを備える。楕円鏡Ｍ−１ａが近似する楕円の第１の焦点が変更されると、カメラシステム６−１ａから第２の焦点（仮想視点１１側の焦点）までの距離も変更される。そのような場合でも仮想視点１１の位置で複数のカメラシステムの第２の焦点が重なるように、カメラ制御部８６は、カメラ部８５の撮影方向を制御する。
【００６１】
なお、カメラシステム６−１ａは、図１に示すようにコート１０の周囲にＭ個配置されるものであり、Ｍ個のカメラシステム６−１ａの楕円鏡Ｍ−１ａの鏡面に基づく楕円の第２の焦点は仮想視点１１の位置に一致する。第２の実施形態におけるカメラシステム６−１ａを用いることで、カメラシステム６−１ａから仮想視点１１までの距離を任意の距離に変更することができる。
【００６２】
なお、カメラシステム６−１ａの楕円鏡Ｍ−１ａにおいて、鏡面の楕円への近似の精度を変更するため平面鏡８０−１〜８０−５の数を変えてもよい。平面鏡の数を増やして個々の平面鏡のサイズを小さくするほど、楕円への近似の精度が高くなる。
【００６３】
上述した第１の実施形態の画像処理システム１Ａは、仮想視点１１に設置した全天球カメラ２で撮影した全天球画像を背景画像２０としたが、仮想視点１１に広角で撮影可能な広角カメラを設置して撮影した広角画像を背景画像２０としてもよい。このような場合は、画像処理システム１Ａは、広角画像である背景画像２０に対して部分画像を合成することで仮想広角画像を生成する。ただし、仮想広角画像に写る範囲は、仮想全天球画像に比べて狭い範囲となる。
【００６４】
上述した第１の実施形態の画像処理システム１Ａは、全天球カメラ２を含む構成としたが、背景画像２０となる全天球画像を得ることができる構成であれば、全天球カメラ２を含まない構成でもよい。上述した第１の実施形態の画像処理装置３０は、入力画像格納部３０１と、背景画像格納部３０２とを備える構成としたが、これに限定されるものではない。入力画像格納部３０１及び背景画像格納部３０２を備える装置を別に設けて、画像処理装置３０は、その装置から入力画像及び背景画像２０を取得する構成でもよい。
【００６５】
上述した第１の実施形態における画像処理装置３０が備える各機能部及び第２の実施形態におけるカメラシステム６−１ａが備える鏡制御部８２及びカメラ制御部８６は、例えば、コンピュータで実現することができる。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【００６６】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【産業上の利用可能性】
【００６７】
本発明の光学装置及び撮像システムは、サッカー等のスポーツの映像やコンサート、ライブなどの映像のように、様々な奥行きのオブジェクト（人など）がシーン内に存在する映像を仮想全天球映像として視聴者に視聴させるシステムを構築する場合に用いることができる。
【符号の説明】
【００６８】
１Ａ…画像処理システム，  ２…全天球カメラ，  ６…カメラシステム群，  ６−１〜６−Ｎ、６−１ａ…カメラシステム，  ４、３０…画像処理装置，  ５…表示装置，  ２０…背景画像，  ３１…画像入力部，  ３２…画像合成部，  ３３…表示処理部，  ８０−１〜８０−５…平面鏡，  ８１−１〜８１−５…鏡駆動部，  ８２…鏡制御部，  ８３…駆動部，  ８４…撮影方向駆動部，  ８５…カメラ部，  ８６…カメラ制御部，  ３０１…入力画像格納部，  ３０２…背景画像格納部，  ３０３…対応情報テーブル，  Ｃ−１、Ｃ−２、Ｃ−３、Ｃ−１ａ…カメラ，  Ｍ−１、Ｍ−２、Ｍ−３、Ｍ−１ａ…楕円鏡
【図１】
0006392736.tif 000006
【図２】
0006392736.tif 000007
【図３】
0006392736.tif 000008
【図４】
0006392736.tif 000009
【図５】
0006392736.tif 000010
【図６】
0006392736.tif 000011
【図７】
0006392736.tif 000012
【図８】
0006392736.tif 000013
【図９】
0006392736.tif 000014
【図１０】
0006392736.tif 000015
【図１１】
0006392736.tif 000016
【図１２】
0006392736.tif 000017