(57)【特許請求の範囲】
【請求項１】
マスターカメラ及び前記マスターカメラの周囲に二次元状に配置されたリファレンスカメラからなる多視点カメラで被写体を撮影した多視点映像から、ＩＰ立体表示装置で表示するＩＰ立体映像を生成するために、前記多視点カメラを制御する多視点カメラ制御装置であって、
前記マスターカメラの画角、及び、前記被写体の位置である注視点から前記マスターカメラまでの距離を表すデプスが、撮影パラメータとして予め設定される撮影パラメータ設定手段と、
前記ＩＰ立体表示装置における画面のサイズ、及び、前記画面に対する前記被写体の飛び出し量が表示パラメータとして予め設定され、前記撮影パラメータ及び前記表示パラメータに基づいて、前記マスターカメラの画角に収まるように前記ＩＰ立体映像の再現領域を設定する再現領域設定手段と、
前記ＩＰ立体映像の再現領域が前記リファレンスカメラの画角に収まるように前記リファレンスカメラの姿勢及び画角を制御するリファレンスカメラ制御手段と、
前記マスターカメラの撮影に同期させて、姿勢及び画角が制御された前記リファレンスカメラに撮影を指令する撮影指令手段と、
を備えることを特徴とする多視点カメラ制御装置。
【請求項２】
前記マスターカメラ及び前記マスターカメラを中心として正六角形状に配置された前記リファレンスカメラからなる前記多視点カメラにおける隣接カメラ間のベースラインを、予め設定された許容視差角から算出するベースライン算出手段、をさらに備えることを特徴とする請求項１に記載の多視点カメラ制御装置。
【請求項３】
前記再現領域設定手段は、ＩＰ立体空間と実空間との縮尺比ｋを、前記撮影パラメータに含まれる画角θ及びデプスｄ、前記ＩＰ立体空間で定義された前記表示パラメータに含まれる画面のサイズＷ及び飛び出し量Δが含まれる式（１）により算出し、
【数１】
0006622621.tif 000012
算出した前記縮尺比ｋにより前記ＩＰ立体空間で定義された表示パラメータを前記実空間の縮尺に変換することで、前記ＩＰ立体映像の再現領域を設定することを特徴とする請求項１又は請求項２に記載の多視点カメラ制御装置。
【請求項４】
前記リファレンスカメラ制御手段は、
ｎ台目の前記リファレンスカメラが前記ＩＰ立体映像の再現領域でｋ個目の頂点ｇｋを向いたときの単位ベクトルＯｎｋを、前記リファレンスカメラの回転行列Ｒｎ及び並進ベクトルｔｎが含まれる式（６）により算出し、
【数２】
0006622621.tif 000013
前記リファレンスカメラの姿勢としてのパン値Ｐｎ及びチルト値Ｔｎを、前記単位ベクトルＯｎｋを三次元方向成分ｅｎｋ１，ｅｎｋ２，ｅｎｋ３で表した式（７）、カメラキャリブレーション時の前記リファレンスカメラのパン値Ｐ０ｎが含まれる式（８）、及び、カメラキャリブレーション時の前記リファレンスカメラのチルト値Ｔ０ｎが含まれる式（９）により算出し、
【数３】
0006622621.tif 000014
【数４】
0006622621.tif 000015
【数５】
0006622621.tif 000016
前記リファレンスカメラの画角θｎを式（１０）により算出する
【数６】
0006622621.tif 000017
ことを特徴とする請求項１から請求項３の何れか一項に記載の多視点カメラ制御装置。
【請求項５】
コンピュータを、請求項１から請求項４の何れか一項に記載の多視点カメラ制御装置として機能させるための多視点カメラ制御プログラム。
【請求項６】
マスターカメラ及び前記マスターカメラの周囲に二次元状に配置されたリファレンスカメラからなる多視点カメラと、
請求項１から請求項４の何れか一項に記載の多視点カメラ制御装置と、
を備えることを特徴とする多視点映像撮影システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明は、多視点カメラを制御する多視点カメラ制御装置及びそのプログラム、並びに、多視点映像撮影システムに関する。
【背景技術】
【０００２】
従来より、多視点カメラを用いて、ＩＰ（Integral Photography）立体映像を生成する手法が提案されている（例えば、非特許文献１）。この非特許文献１に記載の手法は、図２３のように、多視点カメラＣを水平方向に配置し、この多視点カメラＣで被写体９０の多視点映像を撮影するものである。そして、非特許文献１に記載の手法は、撮影した多視点映像から三次元モデルを生成し、生成した三次元モデルをＩＰ立体映像（要素画像群）に変換している。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】“多視点映像からのインテグラル立体像生成手法”、池谷、久富、片山、岩舘、映像情報メディア学会誌、Vol.67、No.7、pp.J229-J240(2013)
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、従来技術では、以下のように多視点カメラＣの配置及び撮影手法がＩＰ方式に適しておらず、ＩＰ立体映像の品質が低下するという問題がある。具体的には、従来技術では、多視点カメラＣを水平方向に配置しているため、ＩＰ立体の視域における垂直方向の光線を取得できない。さらに、従来技術では、多視点カメラＣが同一サイズで被写体を撮影するため、画角が狭すぎる場合には画角からＩＰ立体映像の再現領域が外れ、画角が広すぎる場合には画角に含まれる再現領域の解像度が低くなる。
なお、ＩＰ立体映像の再現領域とは、ＩＰ立体表示装置がＩＰ立体映像を再現する実空間内の領域のことである。
【０００５】
そこで、本願発明は、ＩＰ立体映像の品質を向上させる多視点カメラ制御装置及びそのプログラム、並びに、多視点映像撮影システムを提供することを課題とする。
【課題を解決するための手段】
【０００６】
前記した課題を解決するため、本願発明に係る多視点カメラ制御装置は、マスターカメラ及びマスターカメラの周囲に二次元状に配置されたリファレンスカメラからなる多視点カメラで被写体を撮影した多視点映像から、ＩＰ立体表示装置で表示するＩＰ立体映像を生成するために、多視点カメラを制御する多視点カメラ制御装置であって、撮影パラメータ設定手段と、再現領域設定手段と、リファレンスカメラ制御手段と、撮影指令手段と、を備える構成とした。
【０００７】
かかる構成によれば、多視点カメラ制御装置は、撮影パラメータ設定手段によって、マスターカメラの画角、及び、被写体の位置である注視点からマスターカメラまでの距離を表すデプスが、撮影パラメータとして予め設定される。
【０００８】
多視点カメラ制御装置は、再現領域設定手段によって、ＩＰ立体表示装置における画面のサイズ、及び、画面に対する被写体の飛び出し量が表示パラメータとして予め設定され、撮影パラメータ及び表示パラメータに基づいて、マスターカメラの画角に収まるようにＩＰ立体映像の再現領域を設定する。
そして、多視点カメラ制御装置は、リファレンスカメラ制御手段によって、ＩＰ立体映像の再現領域がリファレンスカメラの画角に収まるようにリファレンスカメラの姿勢及び画角を制御する。
【０００９】
このように、多視点カメラ制御装置は、リファレンスカメラの画角にＩＰ立体映像の再現領域が収まるので、再現領域が狭すぎる又は広すぎることがない。従って、多視点カメラ制御装置は、リファレンスカメラの画角からＩＰ立体映像の再現領域が外れたり、その画角が広過ぎて再現領域の解像度が低下するのを防止できる。
【００１０】
多視点カメラ制御装置は、撮影指令手段によって、マスターカメラの撮影に同期させて、姿勢及び画角が制御されたリファレンスカメラに撮影を指令する。
このとき、多視点カメラが高さ方向で二次元状に配置されているため、ＩＰ立体の視域における垂直方向の光線を取得できる。
【００１１】
なお、本願発明に係る多視点カメラ制御装置は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を前記した各手段として協調動作させる多視点カメラ制御プログラムで実現することもできる。
【００１２】
また、前記した課題を解決するため、本願発明に係る多視点映像撮影システムは、マスターカメラ及びマスターカメラの周囲に二次元状に配置されたリファレンスカメラからなる多視点カメラと、本願発明に係る多視点カメラ制御装置と、を備える構成とした。
【００１３】
かかる構成によれば、多視点映像撮影システムは、多視点カメラが二次元状に配置されているため、ＩＰ立体の視域における垂直方向の光線を取得できる。
さらに、多視点映像撮影システムは、リファレンスカメラの画角からＩＰ立体映像の再現領域が外れたり、その画角が広過ぎて再現領域の解像度が低下するのを防止できる。
【発明の効果】
【００１４】
本願発明によれば、以下のような優れた効果を奏する。
本願発明に係る多視点カメラ制御装置及びそのプログラム、並びに、多視点映像撮影システムは、ＩＰ立体の視域における水平方向の光線に加えて垂直方向の光線も取得できると共に、ＩＰ立体映像の再現領域が外れることやその解像度が低下するのを防止できるので、ＩＰ立体映像の品質を向上させることができる。
【図面の簡単な説明】
【００１５】
【図１】本願発明の実施形態に係る多視点映像撮影システムの説明図である。
【図２】図１の多視点カメラで撮影された多視点映像の説明図である。
【図３】図１の多視点映像撮影システムの全体構成図である。
【図４】図３の多視点カメラの配置を説明する説明図である。
【図５】図３の多視点カメラ制御装置の構成を示すブロック図である。
【図６】図５の撮影パラメータ設定手段に設定される撮影パラメータの説明図である。
【図７】図５の再現領域設定手段に設定される再現領域の説明図であり、再現領域を垂直方向から見た図である。
【図８】図７の再現領域を水平方向から見た説明図である。
【図９】図５のベースライン算出手段におけるベースラインの算出を説明する説明図である。
【図１０】図５のリファレンスカメラ制御手段における姿勢の制御を説明する説明図である。
【図１１】図５のリファレンスカメラ制御手段における画角の制御を説明する説明図である。
【図１２】図５の多視点カメラ制御装置の動作を示すフローチャートである。
【図１３】本願発明の実施例において、再現領域及び視域の視覚化を表した画像である。
【図１４】本願発明の実施例において、ステレオカメラペア数の色による視覚化を表した画像である。
【図１５】本願発明の実施例において、画角内の再現領域の視覚化を表した画像である。
【図１６】本願発明の実施例における多視点カメラの配置を表した画像である。
【図１７】比較例における多視点カメラの配置を表した画像である。
【図１８】本願発明の実施例において、ステレオカメラペア数と再現領域内の各点の色との関係を表した画像である。
【図１９】本願発明の実施例において、再現領域内の各点のステレオカメラペア数を表した画像である。
【図２０】比較例において、再現領域内の各点のステレオカメラペア数を表した画像である。
【図２１】本願発明の実施例において、多視点映像と再現領域との関係を表した画像である。
【図２２】比較例において、多視点映像と再現領域との関係を表した画像である。
【図２３】従来技術の多視点カメラの配置を説明する説明図である。
【発明を実施するための形態】
【００１６】
［多視点映像撮影システムの概略］
以下、本願発明の実施形態について、適宜図面を参照しながら詳細に説明する。
図１，図２を参照し、本願発明の実施形態に係る多視点映像撮影システム１（図３）の概略について説明する。
【００１７】
多視点映像撮影システム１は、多視点映像を撮影するものである。このとき、多視点映像撮影システム１は、後記するマスターカメラＣＭの撮影領域（画角）を考慮したＩＰ立体映像の再現領域αの設定、多視点カメラＣの正六角形状配置、及び、再現領域αに対応した多視点カメラＣの制御を行うことに特徴がある。
【００１８】
まず、図示を省略したカメラマンが、マスターカメラＣＭを操作し、そのときの撮影パラメータを設定する。続いて、マスターカメラＣＭの画角を基準として、ＩＰ立体映像の再現領域（以下、「再現領域」）αを設定する。図１のように、再現領域αは、四角錐台の領域となる。
【００１９】
次に、隣接カメラ間のベースラインを等間隔にするため、リファレンスカメラＣｎ（Ｃ１〜Ｃ６）を正六角形状に配置する。このとき、隣接カメラ間のベースラインは、三次元モデルを生成する奥行推定処理の許容視差角から算出する。
なお、添え字ｎは、何台目のリファレンスカメラＣｎであるかを表しており、１≦ｎ≦６を満たす整数である。
【００２０】
最後に、再現領域αを形成する四角錐台の８頂点がリファレンスカメラＣｎの画角に収まるように、リファレンスカメラＣｎの姿勢及び画角を制御する。その後、マスターカメラＣＭ及びリファレンスカメラＣｎで被写体９０を撮影し、多視点映像を生成する。
【００２１】
図２には、正六角形状に配置された多視点カメラＣに対応させて、多視点カメラＣで撮影された多視点映像を図示した。つまり、図２では、中央がマスターカメラＣＭの撮影映像であり、その周囲がリファレンスカメラＣｎの撮影映像である。図２のように、各リファレンスカメラＣｎの撮影映像には、再現領域αが丁度収まっている。
なお、図２では、説明を分かり易くするため、再現領域αを図示したが、実際の多視点映像には再現領域αが表示されない。
【００２２】
［多視点映像撮影システムの全体構成］
図３を参照し、多視点映像撮影システム１の全体構成について説明する。
図３のように、多視点映像撮影システム１は、多視点カメラＣと、多視点カメラ制御装置２と、三次元モデル生成装置３とを備える。
【００２３】
多視点カメラＣは、マスターカメラＣＭと、マスターカメラＣＭの周囲に高さ方向（垂直方向）で二次元状に配置されたリファレンスカメラＣｎとを備える。つまり、多視点カメラＣは、リファレンスカメラＣｎが、水平方位だけでなく、垂直方向にも配置されている。
【００２４】
本実施形態では、多視点カメラＣは、マスターカメラＣＭと、このマスターカメラＣＭを中心として正六角形状に配置された６台のリファレンスカメラＣｎとを備える。このとき、多視点カメラＣは、マスターカメラＣＭと、マスターカメラＣＭの左右に位置するリファレンスカメラＣ３，Ｃ６とを結んだ軸線が水平となるように配置されている。また、多視点カメラＣは、ケーブルを介して、多視点カメラ制御装置２及び三次元モデル生成装置３に接続されている。
【００２５】
マスターカメラＣＭとは、カメラマンが操作する撮影カメラのことである。つまり、マスターカメラＣＭは、カメラマンが、マスターカメラＣＭの姿勢（パン、チルト）、画角、デプスを操作すると、そのときの姿勢、画角及びデプスを撮影パラメータとして、多視点カメラ制御装置２に出力する。そして、マスターカメラＣＭは、カメラマンがシャッターを切ると、被写体９０を撮影し、その撮影映像を三次元モデル生成装置３に出力する。このとき、マスターカメラＣＭは、撮影映像を撮影したタイミングを多視点カメラ制御装置２に通知する（撮影通知）。
【００２６】
リファレンスカメラＣｎとは、三次元モデルを生成するときの奥行推定処理において、ステレオマッチングに用いる撮影映像を撮影する撮影カメラのことである。本実施形態では、リファレンスカメラＣｎは、パン、チルト、ズーム（画角）を制御可能な雲台に搭載されている。そして、リファレンスカメラＣｎは、多視点カメラ制御装置２からの制御信号に応じて、姿勢（パン、チルト）及びズーム（画角）を駆動する。さらに、リファレンスカメラＣｎは、多視点カメラ制御装置２から、撮影が指令されたタイミングで被写体９０を撮影し、その撮影映像を三次元モデル生成装置３に出力する。
【００２７】
なお、多視点カメラＣは、図４のように、隣接カメラ間のベースラインＢ、つまり、マスターカメラＣＭと各リファレンスカメラＣｎとの距離、及び、隣接するリファレンスカメラＣｎ同士の距離を手動で調整する。例えば、多視点カメラＣは、マスターカメラＣＭ及び各リファレンスカメラＣｎを三脚（不図示）に搭載する。この場合、カメラマン等が、多視点カメラ制御装置２が出力したベースライン情報を参照し、マスターカメラＣＭ及び各リファレンスカメラＣｎを手動で移動させる。
【００２８】
多視点カメラ制御装置２は、多視点カメラＣが多視点映像を撮影する際、多視点カメラＣ（リファレンスカメラＣｎ）を制御するものである。この多視点カメラ制御装置２の詳細は、後記する。
【００２９】
三次元モデル生成装置３は、マスターカメラＣＭの撮影映像から、被写体９０の三次元モデルを生成するものである。このとき、三次元モデル生成装置３は、奥行推定処理を行うため、マスターカメラＣＭと各リファレンスカメラＣｎとの撮影映像を用いて、ステレオマッチングを行う。そして、三次元モデル生成装置３は、生成した三次元モデルを外部（例えば、図示を省略したＩＰ立体映像生成装置）に出力する。
【００３０】
なお、三次元モデル生成装置３は、以下の参考文献に詳細に記載されているため、これ以上の説明を省略する。
参考文献：“多視点映像からのインテグラル立体像生成手法”、池谷、久富、片山、岩舘、映像情報メディア学会誌、Vol.67、No.7、pp.J229-J240(2013)
【００３１】
［多視点カメラ制御装置の構成］
図５を参照し、多視点カメラ制御装置２の構成について説明する。
図５のように、多視点カメラ制御装置２は、撮影パラメータ設定手段２０と、再現領域設定手段２２と、ベースライン算出手段２４と、リファレンスカメラ制御手段２６と、撮影指令手段２８とを備える。
【００３２】
＜撮影パラメータ設定手段＞
撮影パラメータ設定手段２０は、マスターカメラＣＭから、マスターカメラＣＭの姿勢、画角θ及びデプスｄが、マスターカメラＣＭに関する撮影パラメータとして設定（入力）されるものである。そして、撮影パラメータ設定手段２０は、設定された撮影パラメータを再現領域設定手段２２に出力する。
【００３３】
すなわち、カメラマンは、図６のように、マスターカメラＣＭを操作して、被写体９０を撮影するときのマスターカメラＣＭの姿勢（パン、チルト）、画角θ及びデプスｄを決定する。すると、マスターカメラＣＭが、その姿勢、画角θ及びデプスｄを撮影パラメータ設定手段２０に出力する。
なお、デプスｄとは、マスターカメラＣＭと注視点Ｇとの距離のことである。
また、注視点Ｇとは、被写体９０の位置のことである。つまり、注視点Ｇは、ＩＰ立体映像として主に表示したい被写体９０の位置を表す。
【００３４】
＜再現領域設定手段＞
再現領域設定手段２２は、撮影パラメータ設定手段２０から入力された撮影パラメータ、及び、予め設定された表示パラメータに基づいて、マスターカメラＣＭの画角θに収まるように再現領域αを設定するものである。
【００３５】
まず、再現領域設定手段２２は、外部（例えば、映像制作者）から表示パラメータが設定（入力）される。
表示パラメータは、ＩＰ立体映像を表示するＩＰ立体表示装置（不図示）に関するパラメータである。この表示パラメータは、ＩＰ立体映像を表示するＩＰ立体空間において定義されている。また、表示パラメータには、ＩＰ立体表示装置の再現範囲Ｄと、ＩＰ立体表示装置の視域Ωと、ＩＰ立体表示装置における画面のサイズＷと、ＩＰ立体表示装置の画面からの被写体９０の飛び出し量Δとが含まれる
【００３６】
次に、再現領域設定手段２２は、ＩＰ立体空間と実空間との縮尺比ｋを以下の式（１）により算出する。この式（１）は、撮影パラメータに含まれる画角θ及びデプスｄと、撮影パラメータに含まれる画面のサイズＷ及び飛び出し量Δとで表される。従って、再現領域設定手段２２は、撮影パラメータ及び表示パラメータを式（１）に代入することで、縮尺比ｋを算出できる。
【００３７】
【数１】
0006622621.tif 000002
【００３８】
次に、再現領域設定手段２２は、図７のように、算出した縮尺比ｋを用いて、ＩＰ立体空間内で定義された表示パラメータを実空間の縮尺（スケール）に変換することで、実空間（世界座標系）内に再現領域α´を設定する。図７の再現領域α´は、マスターカメラＣＭの光軸と平行な面上において、平面状の領域として設定される。例えば、マスターカメラＣＭの光軸が水平方向を向いている場合、水平面上で再現領域α´が設定される。
【００３９】
なお、図７では、説明をわかりやすくするために、再現領域α´を中太線で図示し、ＩＰ立体表示装置における画面βを太線で図示した。
また、実空間とは、世界座標系と同意である。
また、世界座標系とは、任意位置を原点として設定された三次元座標系のことである。
【００４０】
実空間内では、再現領域α´の奥行き範囲がｋＤで表され、実空間での飛び出し量はｋΔで表される。従って、再現領域α´の奥再現領域幅ｋＷＲが以下の式（２）で表され、手前再現領域幅ｋＷＦが以下の式（３）で表される。
【００４１】
【数２】
0006622621.tif 000003
【００４２】
【数３】
0006622621.tif 000004
【００４３】
図８のように、実際には、マスターカメラＣＭが垂直方向にも画角を有する。そこで、再現領域設定手段２２は、マスターカメラＣＭの垂直方向の画角も考慮して、四角錐台状の再現領域αに設定する。すなわち、再現領域設定手段２２は、平面状の再現領域α´を四角錐台状の再現領域αに拡張する。このようにして、多視点カメラ制御装置２は、マスターカメラの画角θに再現領域αを適合する。
【００４４】
その後、再現領域設定手段２２は、設定した再現領域を表す再現領域情報と、縮尺比ｋと、撮影パラメータと、表示パラメータとをベースライン算出手段２４に出力する。
【００４５】
＜ベースライン算出手段＞
ベースライン算出手段２４は、多視点カメラＣにおける隣接カメラ間のベースライン（隣接カメラ間の距離）を、予め設定された許容視差角から算出するものである。
なお、許容視差角とは、高精度な三次元モデルを生成するために許容される隣接カメラの輻輳角のことであり、例えば、奥行推定処理（奥行推定アルゴリズム）に応じて、適切な値で予め設定される。
【００４６】
本実施形態では、ベースライン算出手段２４は、図９のように、隣接カメラ間のベースラインＢを式（４）により算出する。この式（４）は、許容視差角Φと、撮影パラメータに含まれるデプスｄと、撮影パラメータに含まれる再現範囲Ｄ及び飛び出し量Δとで表される。従って、ベースライン算出手段２４は、許容視差角Φと、撮影パラメータと、表示パラメータとを式（４）に代入することで、ベースラインＢを算出できる。
【００４７】
【数４】
0006622621.tif 000005
【００４８】
そして、ベースライン算出手段２４は、算出したベースラインＢを表したベースライン情報を外部（例えば、図示を省略したディスプレイ）に出力する。すると、カメラマン等が、ベースライン情報に従って、マスターカメラＣＭ及び各リファレンスカメラＣｎを手動で配置する。
【００４９】
ここで、図９のように、ベースラインＢは、視域Ωの外周面が多視点カメラＣに達したときに形成される円錐体の底面の半径ｒ以上となる必要がある。このようにベースラインＢを算出することで、ＩＰ立体映像において、円錐体状の視域ΩをベースラインＢに包含できる。
【００５０】
なお、ベースラインＢが半径ｒ未満の場合、各リファレンスカメラＣｎが配置された正六角形の６頂点を中心として、一辺の長さがベースラインＢと等しくなる正六角形を新たに求める。そして、新たな正六角形の各頂点にリファレンスカメラＣｎを追加して配置する。この場合、リファレンスカメラＣｎは、内側の正六角形に６台、外側の正六角形に１２台、合計１８台が二重の正六角形状に配置されることになる。
【００５１】
その後、ベースライン算出手段２４は、再現領域設定手段２２から入力された再現領域情報と、縮尺比ｋと、撮影パラメータと、表示パラメータとをリファレンスカメラ制御手段２６に出力する。
なお、図５では、ベースラインＢを手動で設定するため、ベースライン算出手段２４からリファレンスカメラＣｎへの出力を破線で図示した。
【００５２】
＜リファレンスカメラ制御手段＞
リファレンスカメラ制御手段２６は、再現領域αがリファレンスカメラＣｎの画角に収まるように、リファレンスカメラＣｎの姿勢及び画角を制御するものである。
まず、リファレンスカメラ制御手段２６は、再現領域情報から、再現領域αを形成する四角錐台における頂点ｇｋの世界座標を取得する。添え字ｋは、８個の頂点のうち、何れの頂点であるかを表しており、１≦ｋ≦８を満たす整数である。
【００５３】
ここで、カメラ座標系ｘｎ及び世界座標系ｘの関係は、以下の式（５）で表される。
なお、カメラ座標系ｘｎとは、リファレンスカメラＣｎの主点を原点とした三次元座標系のことである。
また、Ｒ０ｎはカメラキャリブレーション時のリファレンスカメラＣｎの回転行列を表し、ｔ０ｎはカメラキャリブレーション時のリファレンスカメラＣｎの並進ベクトルを表す。
【００５４】
【数５】
0006622621.tif 000006
【００５５】
従って、リファレンスカメラ制御手段２６は、以下の式（６）を用いて、各リファレンスカメラＣｎのカメラ座標系において、原点から頂点ｇｋまでの単位ベクトルＯｎｋを算出する。
また、ＲｎはリファレンスカメラＣｎの回転行列を表し、ｔｎはリファレンスカメラＣｎの並進ベクトルを表す。
【００５６】
【数６】
0006622621.tif 000007
【００５７】
次に、リファレンスカメラ制御手段２６は、図１０のように、再現領域αの全頂点ｇｋが各リファレンスカメラＣｎの画角に収まるように、各リファレンスカメラＣｎのパン値Ｐｎ及びチルト値Ｔｎを算出する。本実施形態では、パン値Ｐｎは、リファレンスカメラＣｎが再現領域αの各頂点ｇｋを向いたときのパン最大値とパン最小値との平均から求める（チルトＴｎも同様）。
【００５８】
ここで、式（６）の単位ベクトルＯｎｋは、以下の式（７）のように、水平方向成分ｅｎｋ１、垂直方向成分ｅｎｋ２、奥行方向成分ｅｎｋ３からなる三次元方向成分に分解できる。従って、リファレンスカメラ制御手段２６は、以下の式（８）及び式（９）を用いて、各リファレンスカメラＣｎのパン値Ｐｎ及びチルト値Ｔｎを算出できる。
なお、Ｐ０ｎはカメラキャリブレーション時のリファレンスカメラＣｎのパン値を表し、Ｔ０ｎはカメラキャリブレーション時のリファレンスカメラＣｎのチルト値を表す。また、Ｍａｘは最大値を選択する関数を表し、Ｍｉｎは最小値を選択する関数を表す。また、添え字Ｔは、転置を表す。
【００５９】
【数７】
0006622621.tif 000008
【００６０】
【数８】
0006622621.tif 000009
【００６１】
【数９】
0006622621.tif 000010
【００６２】
次に、リファレンスカメラ制御手段２６は、図１１のように、各リファレンスカメラＣｎがパン値Ｐｎ及びチルト値Ｔｎの姿勢になったとき、再現領域αの全頂点ｇｋが各リファレンスカメラＣｎの画角θｎに収まるように画角θｎを算出する。
【００６３】
具体的には、リファレンスカメラ制御手段２６は、下記の式（１０）を用いて、各リファレンスカメラＣｎの画角θｎを算出する。この式（１０）は、ＩＦ直後の条件式が成立する場合、ＩＦの下段に記載された演算を行い、条件式が成立しない場合、ＥＬＳＥの下段に記載された演算を実行することを示す。
【００６４】
【数１０】
0006622621.tif 000011
【００６５】
式（１０）の条件式では、リファレンスカメラＣｎが再現領域αの各頂点ｇｋを向いた際、パン最大値及びパン最小値の差と、チルトの最大値及び最小値の差とを比較している。言い換えるなら、式（１０）の条件式では、あるリファレンスカメラＣｎから再現領域αを見た際、再現領域αの幅又は高さの何れが大きくなるかを比較している。このとき、再現領域αの高さに関しては、リファレンスカメラＣｎのアスペクト比（１６：９）を加味している。
【００６６】
ここで、式（１０）の条件式が成立する場合、再現領域αの幅が高さ以上と言えるので、この再現領域αの幅を基準として、リファレンスカメラＣｎの画角θｎを算出する。
一方、式（１０）の条件式が成立しない場合、再現領域αの高さが幅以上と言えるので、この再現領域αの高さを基準として、リファレンスカメラＣｎの画角θｎを算出する。
【００６７】
その後、リファレンスカメラ制御手段２６は、算出した姿勢（パン値Ｐｎ、チルト値Ｔｎ）及び画角θｎの制御信号を生成し、生成した制御信号をリファレンスカメラＣｎに出力する。
【００６８】
＜撮影指令手段＞
撮影指令手段２８は、マスターカメラＣＭの撮影に同期させて、姿勢及び画角が制御されたリファレンスカメラＣｎに撮影を指令するものである。本実施形態では、撮影指令手段２８は、マスターカメラＣＭから撮影通知が入力されたタイミングで、撮影映像の撮影を全リファレンスカメラＣｎに指令する。
【００６９】
［多視点カメラ制御装置の動作］
図１２を参照し、多視点カメラ制御装置２の動作について説明する（適宜図５参照）。
図１２のように、多視点カメラ制御装置２は、撮影パラメータ設定手段２０によって、マスターカメラＣＭのパン、チルト、画角θ、デプスｄ等の撮影パラメータを設定する（ステップＳ１）。
【００７０】
多視点カメラ制御装置２は、再現領域設定手段２２によって、ＩＰ立体表示装置の再現範囲Ｄ、視域Ω、画面のサイズＷ、飛び出し量Δ等の表示パラメータを設定する。
次に、多視点カメラ制御装置２は、再現領域設定手段２２によって、ＩＰ立体空間と実空間との縮尺比ｋを前記式（１）により算出する。
次に、多視点カメラ制御装置２は、縮尺比ｋを用いて、再現領域αを設定する（ステップＳ２）。
【００７１】
多視点カメラ制御装置２は、ベースライン算出手段２４によって、前記式（４）を用いて、多視点カメラＣにおける隣接カメラ間のベースラインＢを算出する（ステップＳ３）。
【００７２】
多視点カメラ制御装置２は、リファレンスカメラ制御手段２６によって、再現領域αの各頂点ｇｋの世界座標を取得する。
次に、多視点カメラ制御装置２は、リファレンスカメラ制御手段２６によって、前記式（６）を用いて、リファレンスカメラＣｎから頂点ｇｋまでの単位ベクトルＯｎｋを算出する。
次に、多視点カメラ制御装置２は、リファレンスカメラ制御手段２６によって、前記式（７）〜式（９）を用いて、各リファレンスカメラＣｎのパン値Ｐｎ及びチルト値Ｔｎを算出する。
次に、多視点カメラ制御装置２は、リファレンスカメラ制御手段２６によって、前記式（１０）を用いて、リファレンスカメラＣｎの画角θｎを算出する。
次に、多視点カメラ制御装置２は、リファレンスカメラ制御手段２６によって、算出したリファレンスカメラＣｎのパン値Ｐｎ、チルト値Ｔｎ及び画角θｎの制御信号をリファレンスカメラＣｎに出力する（ステップＳ４）。
【００７３】
多視点カメラ制御装置２は、撮影指令手段２８によって、マスターカメラＣＭから撮影通知が入力されたタイミングで、撮影映像の撮影を全リファレンスカメラＣｎに指令する（ステップＳ５）。
【００７４】
［作用・効果］
以上のように、本願発明の実施形態に係る多視点映像撮影システム１は、多視点カメラＣが正六角形状に配置されているので、ＩＰ立体の視域における垂直方向の光線も取得することができる。
さらに、多視点映像撮影システム１は、再現領域αが丁度収まるようにリファレンスカメラＣｎの姿勢及び画角θｎを制御するので、リファレンスカメラＣｎの画角θｎから再現領域αが外れたり、画角θｎが広すぎて再現領域αの解像度が低下するのを防止できる。
さらに、多視点映像撮影システム１は、許容視差角Φから、隣接カメラ間のベースラインＢを算出するので、ステレオカメラペア数を十分に確保でき、奥行推定処理の精度が低下しない。
このようにして、多視点映像撮影システム１は、ＩＰ立体映像の品質を向上させることができる。
【００７５】
なお、ステレオカメラペア数とは、奥行推定処理でステレオマッチングを行う際、対応点を取得可能な撮影映像を撮影したマスターカメラＣＭとリファレンスカメラＣｎとのペアの数のことである。
【００７６】
［変形例］
以上、本願発明の実施形態を詳述してきたが、本願発明は前記した実施形態に限られるものではなく、本願発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した実施形態では、多視点カメラが正六角形状に配置されることとして説明したが、本願発明は、多視点カメラが四角形状、円状、又は、正多角形状に配置されてもよい。
【００７７】
前記した実施形態では、正六角形状に配置された多視点カメラにおいて、マスターカメラと、マスターカメラの左右に位置するリファレンスカメラとを結んだ軸線が水平であることとして説明したが、この軸線が水平にならずともよい。
【００７８】
前記した実施形態では、多視点映像撮影システムがＩＰ方式に対応することとして説明したが、本願発明は、これに限定されない。例えば、多視点映像撮影システムは、レンチュキュラ等の一次元方向のみに運動視差を有する立体方式にも対応できる。この場合、多視点映像撮影システムは、多視点カメラを一次元方向（例えば、水平方向）に配置すればよい。
【００７９】
前記した実施形態では、隣接カメラ間のベースラインを手動で調整することとして説明したが、本願発明は、これに限定されない。例えば、多視点カメラは、各リファレンスカメラを支持すると共に、ベースラインを調整可能な支持機構（不図示）に搭載する。そして、支持機構は、多視点カメラ制御装置２からのベースライン情報を参照し、隣接カメラ間のベースラインを自動的に調整する。
【００８０】
前記した実施形態では、多視点カメラ制御装置を独立したハードウェアとして説明したが、本願発明は、これに限定されない。例えば、多視点カメラ制御装置は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した各手段として協調動作させる多視点カメラ制御プログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【実施例】
【００８１】
多視点映像撮影システムと従来手法との比較実験を、シミュレータにより行った。
このシミュレータは、再現領域及び視域の視覚化（図１３）、ステレオカメラペア数の色による視覚化（図１４）、及び、画角内の再現領域の視覚化（図１５）を行うことができる。
【００８２】
この比較実験では、シミュレータの仮想空間内に多視点カメラ及び被写体（人物）を配置した。この被写体には、光線の取得を検証するため、その頭頂部に凹部を意図的に形成した。そして、この比較実験では、シミュレータの多視点カメラで多視点映像を生成し、この多視点映像に奥行推定処理して、被写体の３次元モデルを生成した。
【００８３】
多視点映像撮影システム（以後、「実施例」）では、図１６の太枠内のように、多視点カメラを正六角形状に配置した。従来手法（以後、「比較例」）では、図１７の太枠内のように、多視点カメラを水平方向に配置した。その他、比較実験のシミュレーション環境は、以下のとおりである。
【００８４】
多視点カメラの台数  ７台
被写体までの距離（デプスｄ）  ５ｍ
ベースラインＢ  １．２６ｍ
画角θ  ５９°
許容視差角Φ  ２０°
再現範囲Ｄ  １０ｃｍ
視域Ω  ３０°
画面サイズＷ  ２４．３１ｃｍ（１１インチ）
飛び出し量Δ  ５ｃｍ
【００８５】
最初に、ステレオカメラペア数の比較実験について説明する。
図１８のように、この比較実験では、再現領域におけるステレオカメラペア数を色で表現した。つまり、赤色の場合はステレオカメラペア数が０であり、黄色から青色になるにつれてステレオカメラペア数が増加し、青色のときステレオカメラペア数が最大で１２となる。
【００８６】
図１９は、実施例において、再現領域内の各点を撮影したステレオカメラペア数を、図１８の色で表現したものである。図１９のように、実施例では、被写体部分のステレオカメラペア数が１２であり、比較例よりも多くなることがわかった。その結果、実施例では、奥行推定の精度が低下しないと考えられる。さらに、実施例では、被写体の頭頂部に設けられた凹部を目視できたので、垂直方向の光線を取得できることもわかった。
【００８７】
図２０は、比較例において、再現領域内の各点を撮影したステレオカメラペア数を、図１８の色で表現したものである。図２０のように、比較例では、被写体部分のステレオカメラペア数が６であり、実施例よりも少なくなることがわかった。その結果、比較例では、奥行推定の精度が低下すると考えられる。さらに、比較例では、被写体の頭頂部に設けられた凹部を目視できなかったので、垂直方向の光線を取得できないこともわかった。
【００８８】
次に、再現領域の比較実験についてを説明する。
図２１は、実施例において、多視点映像と再現領域との関係を表したものである。図２１では、図１のマスターカメラＣＭの撮影映像が一番左側であり、リファレンスカメラＣ３の撮影映像が左から２番目であり、リファレンスカメラＣ６の撮影映像が左から３番目である。また、図２１では、リファレンスカメラＣ２の撮影映像が左から４番目であり、リファレンスカメラＣ１の撮影映像が左から５番目であり、リファレンスカメラＣ５の撮影映像が左から６番目であり、リファレンスカメラＣ４の撮影映像が一番右側である。
【００８９】
図２２は、比較例において、多視点映像と再現領域との関係を表したものである。図２２では、マスターカメラＣＭの撮影映像が一番左側であり、左から２番目以降がリファレンスカメラの撮影映像である。
【００９０】
実施例では、図２１のように、再現領域がリファレンスカメラの画角に丁度収まることがわかった。一方、比較例では、図２２のように、多視点映像から再現領域がはみ出しており、再現領域がリファレンスカメラの画角に収まらないことがわかった。
【符号の説明】
【００９１】
１  多視点映像撮影システム
２  多視点カメラ制御装置
３  三次元モデル生成装置
２０  撮影パラメータ設定手段
２２  再現領域設定手段
２４  ベースライン算出手段
２６  リファレンスカメラ制御手段
２８  撮影指令手段
Ｃ  多視点カメラ
ＣＭ  マスターカメラ
Ｃｎ（Ｃ１〜Ｃ６）  リファレンスカメラ
【図１】
0006622621.tif 000018
【図２】
0006622621.tif 000019
【図３】
0006622621.tif 000020
【図４】
0006622621.tif 000021
【図５】
0006622621.tif 000022
【図６】
0006622621.tif 000023
【図７】
0006622621.tif 000024
【図８】
0006622621.tif 000025
【図９】
0006622621.tif 000026
【図１０】
0006622621.tif 000027
【図１１】
0006622621.tif 000028
【図１２】
0006622621.tif 000029
【図１３】
0006622621.tif 000030
【図１４】
0006622621.tif 000031
【図１５】
0006622621.tif 000032
【図１６】
0006622621.tif 000033
【図１７】
0006622621.tif 000034
【図１８】
0006622621.tif 000035
【図１９】
0006622621.tif 000036
【図２０】
0006622621.tif 000037
【図２１】
0006622621.tif 000038
【図２２】
0006622621.tif 000039
【図２３】
0006622621.tif 000040