(57)【要約】【課題】カメラを大規模な撮像対象空間に配置することによって、カメラ配置が比較的疎となる場合にも、カメラパラメータを高精度でキャリブレーションすることができる撮像システム、撮像方法を提供すること。【解決手段】撮像システムは、複数の２次元映像を撮像するカメラにより３次元空間中の撮像対象物を撮像する第１撮像部と、複数のカメラの近傍に位置するカメラとほぼ同方向を向いた状態で対象物を撮像する第２撮像部と、第２撮像部により撮像された補完映像と、第１撮像部により撮像された映像とに基づいて、多視点から撮像された画像群を取得する取得部と、取得部により取得された画像群に対して弱校正を適用することにより、多視点から撮像された画像の射影変換行列を推定する推定部と、推定部により推定された射影変換行列から、第１撮像部のカメラパラメータの高精度推定を実行するキャリブレーション部と、を備える。【選択図】図１
2019032660.tif 000002
【特許請求の範囲】
【請求項１】
複数の２次元映像を撮像するカメラにより３次元空間中の撮像対象物を撮像する第１撮像部と、
前記複数のカメラの近傍に位置するカメラとほぼ同方向を向いた状態で対象物を撮像する第２撮像部と、
前記第２撮像部により撮像された補完映像と、前記第１撮像部により撮像された映像とに基づいて、多視点から撮像された画像群を取得する取得部と、
前記取得部により取得された前記画像群に対して弱校正を適用することにより、前記多視点から撮像された画像の射影変換行列を推定する推定部と、
前記推定部により推定された射影変換行列から、前記第１撮像部のカメラパラメータの高精度推定を実行するキャリブレーション部と、を備える、
撮像システム。
【請求項２】
前記第２撮像部は前記第１撮像部に用いられるカメラ間を移動し撮像するカメラである、
請求項１に記載の撮像システム。
【請求項３】
前記第２撮像部は動画撮像が可能なカメラである、
請求項１に記載の撮像システム。
【請求項４】
前記第２撮像部は、前記第１撮像部にて前記撮像対象物を撮像する以前にのみ撮像行為を実施し、前記第１撮像部を構成するカメラの高精度パラメータ推定が完了した時点でその利用を終了する、
請求項１から請求項３のうちいずれか１項に記載の撮像システム。
【請求項５】
複数の２次元映像を撮像するカメラにより３次元空間中の撮像対象物を撮像する第１撮像方法と、
前記複数のカメラの近傍に位置するカメラとほぼ同方向を向いた状態で対象物を撮像する第２撮像方法と、
前記第２撮像方法により撮像された補完映像と、前記第１撮像方法により撮像された映像とに基づき、多視点から撮像された画像群を取得する取得方法と、
前記取得方法により取得された前記画像群に対して弱校正を適用することにより、前記多視点から撮像された画像の射影変換行列を推定する推定方法と、
前記推定方法により推定された射影変換行列から、前記第１撮像方法のカメラパラメータの高精度推定を実行するキャリブレーション方法とを備える、
撮像方法。
【請求項６】
前記第２撮像方法は前記第１撮像方法に用いられるカメラ間を移動し撮像するカメラを利用する方法である、
請求項５に記載の撮像方法。
【請求項７】
前記第２撮像方法は動画撮像が可能なカメラを用いた方法であることを特徴とする、
請求項５に記載の撮像方法。
【請求項８】
前記第２撮像方法は、前記第１撮像方法にて前記撮像対象物を撮像する以前にのみ撮像行為を実施し、前記第１撮像方法を構成するカメラの高精度パラメータ推定が完了した時点でその利用を終了する、
請求項５から請求項７のうちいずれか１項に記載の撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点からの映像を安価かつ簡便に実現する撮像システム、撮像方法に関する。
【背景技術】
【０００２】
多視点から撮像した映像を用いて、３次元的な目標物追跡や３次元な物体形状復元など、空間における被撮像体を推定する撮像方法の研究開発が盛んに行われている。撮影された画像と３次元空間と関係を求めるために、２次元的な映像を撮像するカメラの正確なカメラパラメータ推定（カメラキャリブレーション）が必要である。ここで”カメラ”とは、広く一般的に利用されている２次元映像を撮像する機器を表す。基本的なカメラキャリブレーション処理の方法として弱校正がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１２６４０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、弱校正を行う場合、撮像対象とする３次元空間の広がりに比べ、カメラが疎に配置されていると、撮像した映像間に十分な対応点や相関関係が得られず、射影関係の推定精度が低下し、撮像映像から復元される３次元情報と実際の３次元空間中に存在する撮像対象物との幾何学的な関係に大きな乖離を生ずることが知られている。
【０００５】
本発明は、カメラを大規模な撮像対象空間に配置することによって、カメラ配置が比較的疎となる場合にも、カメラパラメータを高精度でキャリブレーションすることができる撮像システム、撮像方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
撮像システムは、複数の２次元映像を撮像するカメラにより３次元空間中の撮像対象物を撮像する第１撮像部と、前記複数のカメラの近傍に位置するカメラとほぼ同方向を向いた状態で対象物を撮像する第２撮像部と、前記第２撮像部により撮像された補完映像と、前記第１撮像部により撮像された映像とに基づいて、多視点から撮像された画像群を取得する取得部と、前記取得部により取得された前記画像群に対して弱校正を適用することにより、前記多視点から撮像された画像の射影変換行列を推定する推定部と、前記推定部により推定された射影変換行列から、前記第１撮像部のカメラパラメータの高精度推定を実行するキャリブレーション部と、を備える。
【発明の効果】
【０００７】
本発明に係る撮像システム、撮像方法によると、疎に配置したカメラの外部パラメータ（位置、姿勢）および内部パラメータ（焦点距離、画像中心、レンズ歪み、画素の縦横比）を高精度に推定する、つまりカメラキャリブレーションすることができ、３次元空間中の撮像対象物の高品位３次元情報を安価かつ簡便に推定ことが可能となる。
【図面の簡単な説明】
【０００８】
【図１】提案手法による撮像方式を示す図である。
【図２】提案手法による撮像方式から取得された補完画像である。
【図３】提案手法による撮像方式から取得された補完画像である。
【図４】提案手法による撮像方式から取得された補完画像である。
【図５】提案手法による撮像方式から取得された補完画像である。
【図６】提案手法による撮像方式から取得された補完画像である。
【図７】提案手法による撮像方式から取得された補完画像である。
【図８】提案手法による撮像方式から取得された補完画像である。
【図９】撮像環境における世界座標系を示す図である。
【図１０】撮像環境における世界座標系を示す図である。
【図１１】提案手法による世界座標系の推定値と真値の比較結果を示す図である。
【図１２】Ｘｏと真値とのユークリッド距離を計算して算出された誤差を示す図である。
【図１３】Ｙｏと真値とのユークリッド距離を計算して算出された誤差を示す図である。
【図１４】撮像画像にConvolutional Pose Machinesを適用して検出した２次元骨格情報とそこから推定される３次元骨格を示す図である。
【図１５】撮像画像にConvolutional Pose Machinesを適用して検出した２次元骨格情報とそこから推定される３次元骨格を示す図である。
【図１６】提案手法に基づいて推定された３次元骨格位置（補完画像毎）を示す図である。
【図１７】３次元骨格の首下の位置座標を用いた推定精度の比較結果を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明による多視点映像撮像システム、撮像方法の実施形態を、図面を参照して説明する。
【００１０】
１．  はじめに
３次元空間における被撮像体の３次元情報復元で必要となる、撮像対象の３次元空間とカメラにより撮像された２次元映像の射影関係を求めるためには、カメラの外部パラメータと内部パラメータ（合わせてカメラパラメータとする）が必要である。基本的なカメラパラメータを特定するキャリブレーション処理は、空間中に３次元位置が既知なランドマークを設置し、その観測位置との対応関係から射影変換行列を推定する強校正と呼ばれる方法である。
【００１１】
しかし、強校正を一般的な空間に適用する場合、ランドマークの設置作業の手間や費用が問題となる。他方、ランドマークを必要としない方法として弱校正がある。多視点画像間の対応情報からカメラ間の相対的な位置姿勢情報としての外部パラメータや内部パラメータを推定する。しかし、カメラが疎に配置されている場合、撮像された２次元映像間において十分な対応点が得られず、射影関係の推定精度が低下するという問題が存在する。体育館やスタジアムなどの大規模空間では、密にカメラを配置することが難しい場合が多く、疎に配置したカメラを高精度でキャリブレーションする手法の実現が望まれている。
【００１２】
本研究では、モバイルカメラで移動しながら撮影した映像と疎に配置したカメラの画像を統合することにより、安価かつ簡便に密な多視点画像群を構築し弱校正の推定精度を向上することで、カメラパラメータの推定精度を向上させる。
【００１３】
２．関連研究
カメラパラメータの推定法として、ランドマーク（チェッカーボード）を利用した手法が代表的である。カメラパラメータの推定精度向上を目的とした研究では、動的なシルエットからエピポーラ幾何を計算する方法や、カラーコードの活用などが知られており、カメラパラメータの推定誤差を縮小する。また、水中や医療内視鏡など、カメラキャリブレーションの困難な環境や用途に対応した研究も報告されている。
【００１４】
上述の例では、何れも比較的小規模な３次元空間を対象としている。一方で、大規模空間では空間全体を網羅するようにランドマークを配置する方法以外に現実的な手法は取られておらず、多くの労力や費用が必要である。この問題を解決するために、虹を利用したカメラキャリブレーション手法が提案されたが、自然現象である虹は利用できるときと場所を特定することが極めて困難であり、大規模空間用ランドマークとしての適用は極めて困難である。
【００１５】
ランドマークの設置を必要としない、多視点から撮像された２次元映像間の対応点情報を利用したキャリブレーションを行う弱校正と呼ばれる手法が盛んに研究されている。撮像された２次元映像間の対応点を追加することによって頑健なキャリブレーションを実現した例も報告されているが、カメラが疎に配置される場合には十分な対応点を得ることが困難でありカメラパラメータ推定精度が低下する結果、復元される３次元情報の品質が劣化する問題が存在する。
【００１６】
本発明の目的は、疎に配置された２次元映像撮像カメラのみで大規模空間中の撮像対象物の高品位な３次元情報を復元に資するカメラパラメータ手法を実現することである。撮像初期段階に疎に配置されたカメラの間を別のカメラにて撮像した映像（補完映像）を用い該補完映像を利用して疎設置したカメラのパラメータを高精度かつ容易に確定することで、疎に配置されたカメラからの映像のみで３次元空間中の撮像対象物の高品位な３次元情報復元を実現する。
【００１７】
３．多視点カメラキャリブレーション手法
３．１  撮影方法および弱校正を用いた射影変換行列の取得
図１に示すように、疎に配置した固定カメラによって複数視点画像を撮影する。同時に、固定カメラの間を隣接する固定カメラとほぼ同じ方向を向いた状態でモバイルカメラを移動させながらビデオを撮影する。ビデオをフレームに分割した補完画像と疎な多視点画像により、固定カメラを含む密な多視点画像群を獲得する。それらの画像群に対して弱校正を適用することにより、全ての多視点画像の射影変換行列を推定する。
【００１８】
推定した射影変換行列から、疎な多視点画像に対応するものを抜き出すことにより、ランドマークを設置することなく疎に配置した固定カメラの高精度なカメラキャリブレーションを実現する。さらに、推定精度を高めるためには十分な対応点が検出される必要があることから、撮影空間中に対応点が十分に取れる程の画像特徴が存在すると、より望ましい。
【００１９】
３．２  ３次元座標の算出
任意の点の弱校正座標系における３次元座標をＭｓｆｍ＝［Ｘｓ、Ｙｓ、Ｚｓ、１］Ｔとし、それがカメラ座標系においてｍ＝［ｕ、ｖ、１］Ｔで観測されている場合、弱校正座標系とカメラ座標系間の射影関係は、３．１節の手法により取得した弱校正座標系におけるカメラの射影変換行列Ｐを用いて式（１）のように表される。
【００２０】
【数１】
2019032660.tif 000003
【００２１】
複数視点画像において同様に射影関係を推定し、それらの射影変換行列を用いたステレオ法により、画像上での観測座標からその３次元座標を算出する。
【００２２】
３．３  弱校正座標系から撮影空間の世界座標系への変換
弱校正座標系は、観測される対応点の分布に基づいて座標系が設定されるため、撮影毎に原点や各軸の方向が変化してしまう。異なる撮影データにおいて統一的な計測を実現するために、撮影空間の世界座標系を設定し、弱校正座標系から世界座標系への変換を行う。
世界座標系における任意の点をＭｗｏｒｌｄ＝［Ｘｗ、Ｙｗ、Ｚｗ］Ｔとすると、弱校正座標系から世界座標系の変換は、式（２）に示すように、回転行列Ｒと並進ベクトルｔを用いた剛体変換で表される。
【００２３】
【数２】
2019032660.tif 000004
【００２４】
ここで、３次元剛体変換行列Ｄは、
【数３】
2019032660.tif 000005
であり、
【００２５】
【数４】
2019032660.tif 000006
と表され、式（４）を用いることで。弱校正座標系から世界座標系へ変換が実現される。
【００２６】
図９、図１０に本発明の実施例の一例を示す。多視点映像の撮影シーンから、２本の直線（エッジ）が垂直に交わり、かつ、大きさが既知の物体が存在する領域を世界座標系の原点としている。ベクトルｔは、世界座標系の原点に対応した弱校正座標系の点Ｓｏから原点ｏｓｆｍへの平行移動量として与えられる。
【００２７】
また、スケールは、世界座標系で大きさが既知の物体を用いて、それに対応した弱校正座標系での大きさとの比によって求める。世界座標系のｘ、ｙ、ｚ軸上の点に対応した弱校正座標系における点Ｓｘ、Ｓｙ、Ｓｚを用いて、式（５）によって表される弱校正座標系の正規直交基底ベクトルを算出し、各ベクトルｅｉの成分から回転行列Ｒを求める。
【００２８】
【数５】
2019032660.tif 000007
【００２９】
弱校正座標系から世界座標系へ変換することで、世界座標系における被写体の３次元位置を算出することが出来る。
【００３０】
４．  多視点カメラキャリブレーション手法の精度評価と評価実験結果
本実施例では、体育館においてバドミントンの練習風景を撮影する。図１に示すように、光軸が世界座標系のＸ軸、Ｙ軸と直交するように固定カメラを２台設置する。図９、図１０に各カメラで撮影した画像例を示す。コートのコーナに原点、コートラインに沿ってＸ軸、Ｙ軸が設定されている。競技規則上バドミントンコートラインは、図９、図１０の（１）（２）の距離が６．１ｍ、（１）（３）の距離が１３．４ｍと定められている。この値を用いてスケールパラメータを推定する。
【００３１】
多視点映像を撮影するカメラはソニー（登録商標）社ＦＤＲ  ＡＸ−１を用いた。横３８４０画素×縦２１６０画素の解像度の映像を毎秒３０枚撮影する。また、同性能のカメラで二つの固定カメラ間を移動しながら同じ空間を撮影する。映像をフレームに分割することにより補完画像を取得する。本実験では、撮影した体育館の構造上、図１のように移動した。
【００３２】
カメラキャリブレーションの精度を評価するために、移動撮影映像からフレームを切り出す間隔を調整し、３００枚、１５０枚、７５枚、４０枚、２０枚、１０枚、５枚の補完画像を用意する。図２−図８に示すように、撮影した補完画像に対して弱校正処理を適用する。推定されたカメラパラメータを用いて、図９、図１０に示す世界座標系の原点（１）ｏｗｏｒｌｄ、（２）Ｘｏ、（３）Ｙｏを算出し、３次元位置の推定精度を検証する。
【００３３】
４．１  補完画像枚数による世界座標系の推定誤差
図１１に示すように、世界座標系の推定値（原点（１）ｏｗｏｒｌｄ、（２）Ｘｏ、（３）Ｙｏ）と競技規則で定められた値（（１）（２）６．１ｍ、（１）（３）１３．４ｍを用いた（１）（２）（３）の３次元位置）を比較する。少数枚の補完画像からの推定処理では世界座標系における誤差が大きいことが確認できる。
【００３４】
（２）Ｘｏ、（３）Ｙｏと真値のユークリッド距離の算出誤差を図１２及び図１３に示す。補完画像３００枚、１５０枚、７５枚の場合は１０ｃｍ以下の誤差で３次元位置推定が可能であることがわかる。また、補完画像が２０枚を下回ると誤差が急激に大きくなる。最小値は３００枚の補完画像を用いた場合で平均誤差値は４．３ｃｍ、最大値は２０枚の補完画像を用いた場合で平均誤差値２２９．５ｃｍであった。
【００３５】
図１２及び図１３の結果を見ると補完画像４０枚と２０枚の場合の平均誤差に大きな差があることがわかる。それぞれの輻輳角は、補完画像４０枚を用いた場合が約６度、補完画像２０枚を用いた場合が約１２度であった。この結果から、本手法を有効に機能させるためには、輻輳角が６度程度となるように補完画像を切り出すことが望ましいと考えられる。例えば、本実験環境では、図１のカメラ間は約４０ｍ（縦約２０ｍ、横約２０ｍ）である。この場合、秒速１ｍの速度で歩行しながら撮影した映像を、毎秒１フレームで切り出すと輻輳角が６度程度の間隔で得られる。
【００３６】
４．２  本発明による３次元映像撮像方法を用いた３次元骨格位置姿勢推定
本発明の応用事例の一つとしてバドミントン選手の３次元的な姿勢推定を行った。本発明手法を利用し、被写体となる選手の姿勢推定精度がどのように変化するかを実測した。撮影画像中での被写体の姿勢推定にはConvolutional Neural Network（ＣＮＮ：深層学習）を利用した人物の骨格位置推定手法を利用した。撮影した多視点カメラ画像にConvolutional Pose Machinesを適用した結果を図１４および図１５の左側に示す。２視点で撮影した画像から検出した骨格情報から３次元骨格位置を推定した結果を図１４および図１５の右側に示す。この際ステレオ処理に利用する射影変換行列は本発明を用いて推定した。
【００３７】
推定した３次元骨格の首下の位置を用いて、３次元位置推定誤差の比較実験を行った。３００枚の補完画像を用いて推定した３次元骨格位置（図１６参照）とその他の結果を比較する。図１７に示すように、誤差の最小値は１５０枚の補完画像を用いた平均誤差値２．７ｃｍであり、２０枚以下になると急激に誤差が増加することが確認された。
【図１】
2019032660.tif 000008
【図２】
2019032660.tif 000009
【図３】
2019032660.tif 000010
【図４】
2019032660.tif 000011
【図５】
2019032660.tif 000012
【図６】
2019032660.tif 000013
【図７】
2019032660.tif 000014
【図８】
2019032660.tif 000015
【図９】
2019032660.tif 000016
【図１０】
2019032660.tif 000017
【図１１】
2019032660.tif 000018
【図１２】
2019032660.tif 000019
【図１３】
2019032660.tif 000020
【図１４】
2019032660.tif 000021
【図１５】
2019032660.tif 000022
【図１６】
2019032660.tif 000023
【図１７】
2019032660.tif 000024