(57)【特許請求の範囲】
【請求項１】
Ｆ台（Ｆは、３以上の自然数）のカメラが、同一の物体を同時に撮影することにより得られた映像データから、前記物体の３次元形状を復元する３次元物体復元方法であって、
前記Ｆ台のカメラは、
互いの方向を一定に保った状態で、前記物体を同時に撮影するものであって、
前記物体に対して、Ｎ個（Ｎは、２以上の自然数）の異なる位置と方向から撮影するものであり、
前記物体に対するｉ番目（ｉは、Ｎ以下の自然数）の位置と方向から撮影することにより得られた映像データにおけるＰi個（Ｐiは、自然数）の特徴点の画像上の座標（ｘfp (i)，ｙfp(i)）（ｆは、Ｆ以下の自然数であり、ｐは、Ｐi以下の自然数である。）について、式(eq1)のＷx(i)及び式(eq2)のＷy(i)に対して、式(eq3)の２Ｆ行Ｑ列（Ｑは、Ｐiの総和）の第１の拡大計測行列Ｗを求めるステップと、
前記第１の拡大計測行列Ｗに対して、特徴点の重心を原点とする座標系へ変換して因子分解することにより、前記Ｎ個の異なる位置と方向から撮影して得られた情報に対してまとめて因子分解を実行して、前記物体の３次元形状を復元するステップを含む３次元物体復元方法。
【数１】
0004822307.tif 000011
【請求項２】
式(eq4)により、前記ｉ番目の方向に応じてＷx(i)及びＷy(i)を管理する２ＦＮ行Ｑ列の初期拡大計測行列Ｗinを生成するステップを含み、
前記第１の拡大計測行列Ｗを求めるステップにおいて、前記第１の拡大計測行列Ｗは、前記初期拡大計測行列Ｗinにおいて、Ｗx(i)及びＷy(i)をそれぞれブロック移動することにより生成され、
前記物体の３次元形状を復元するステップにおいて、
前記第１の拡大計測行列Ｗ及び要素が全て１のＱ行Ｑ列の行列ＥQに対して、Ｗ−（Ｗ・ＥQ）／Ｑを計算することにより、第２の拡大計測行列［Ｗ］を生成し、
前記第２の拡大計測行列［Ｗ］に因子分解を適用して［Ｗ］＝［カメラの姿勢行列Ｍ］・［物体の形状行列Ｓ］に分解し、前記物体の形状行列Ｓを基に計測結果の表示を行う、請求項１記載の３次元物体復元方法。
【数２】
0004822307.tif 000012
【請求項３】
Ｆ台（Ｆは、３以上の自然数）のカメラが、同一の物体を同時に撮影することにより得られた映像データから、前記物体の３次元形状を復元する３次元物体復元装置であって、
前記Ｆ台のカメラは、
互いの方向を一定に保った状態で、前記物体を同時に撮影するものであって、
前記物体に対して、Ｎ個（Ｎは、２以上の自然数）の異なる位置と方向から撮影するものであり、
前記物体に対するｉ番目（ｉは、Ｎ以下の自然数）の位置と方向から撮影することにより得られた映像データにおけるＰi個（Ｐiは、自然数）の特徴点の画像上の座標（ｘfp(i)，ｙfp(i)）（ｆは、Ｆ以下の自然数であり、ｐは、Ｐi以下の自然数である。）について、式(eq5)のＷx(i)及び式(eq6)のＷy(i)に対して、式(eq7)の２Ｆ行Ｑ列（Ｑは、Ｐiの総和）の第１の拡大計測行列Ｗを求める手段と、
前記第１の拡大計測行列Ｗに対して、特徴点の重心を原点とする座標系へ変換して因子分解することにより、前記Ｎ個の異なる位置と方向から撮影して得られた情報に対してまとめて因子分解を実行して、前記物体の３次元形状を復元する手段を備える３次元物体復元装置。
【数３】
0004822307.tif 000013
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、多視点画像計測つまり移動ビデオカメラ群が適用された３次元物体復元を行う多視点画像計測による３次元復元方法およびその装置に関する。
すなわち、本発明の該当する産業上の利用分野としては、次のようなケース等が適合する。
福祉機器開発のための高齢者や障害者の動作解析、
リハビリにおける訓練効果の評価、
スポーツ・ダンスや歯磨き等の動作解析、
動物の行動解析による生態・動態調査、
ビデオゲームやバーチャルリアリテイ(Virtual reality),コンピュータグラフィックス,  電子博物館等における３次元モデルの作成、
物体の破壊過程の復元とその解析等である。
【０００２】
【従来の技術】
本発明がなされた技術的背景となる従来例について触れておく。
先ず、３次元物体復元として、従来はステレオビジョンが主流である。
また、カメラパラメータを復元計算に使わない、因子分解法という３次元復元法がある[ 金出, 森田: 画像系列からの３次元形状と運動の復元，電子情報通信学会誌，80-5,479/487(1997)] 。
さらに、複数台のカメラを物体の周囲に固定することにより、前記剛体・変形体の区別なく、物体の3 次元復元を行う方法が提案された[ タン, 川端, 石川: 因子分解法を用いた変形物体の形状復元, 映像情報メディア学会誌,52-3,406/408(1998)]。この方法は因子分解法を基礎にしているので、事前のカメラキャリブレーション(Camera calibration) が不要である。
さらにまた、時刻ごとに因子分解を適用して逐次的に変形体の３次元復元を行う方法も提案されている[ その第1 として、Tan,J.K.,Ishikawa,S.,Ikeuchi,H.,Nohara,I.Hata,S.:"Recovering human motion by factorization",Proc.the 3rd Symposium on Sensing via Image Information,111-114(June,1997)があり、その第2 としてTan,J.K.,Kawabata,S.,Ishikawa,S.,"An efficient technique for motion recovery based on multiple views",Proc.IAPR Workshop on MachinVision Applications,270-273(Nov.,1998)も存在し、その第3 として特開2001-78226: 画像生成装置及び方法が見られる] 。
【０００３】
【発明が解決しようとする課題】
ところが、前記ステレオビジョンシステムは、事前にカメラキャリブレーションが必要なので、場所によっては使用し難い。つまり、事前にカメラキャリブレーションを要し、屋外、高齢者・障害者宅・体内等、人や生体の動作の３次元復元と解析に関する需要に、十分応えられない。
また、前記因子分解法は、１台のカメラを使って前記剛体の周囲を撮影し、全てのフレームで共通に観察される部分の３次元復元を行うが、人のように時間とともに形の変る前記変形体の復元はできない。
さらに、前記複数台のカメラを物体の周囲に固定する方法は、カメラを固定して用いるので、フィールドスポーツのように大きな動きや移動を伴う物体の復元には適さない。
さらにまた、前記時刻ごとに因子分解を適用して逐次的に変形体の３次元復元を行う方法は、復元結果を時間軸方向につなぐためにランドマーク(Landmark)が必要であり、また復元計算に含まれる誤差が各時刻で独立であるため、復元結果のつなぎ合わせが難しい。
ここにおいて本発明は、カメラを移動物体と共に移動しながら撮影し、拡大計測行列に基づく因子分解法を適用して移動物体等の３次元復元を行う方法とその装置を提供することを目的とする。
【０００４】
【課題を解決するための手段】
上記問題を解決するため、本発明の請求項１の発明は、Ｆ台（Ｆは、３以上の自然数）のカメラが、同一の物体を同時に撮影することにより得られた映像データから、前記物体の３次元形状を復元する３次元物体復元方法であって、前記Ｆ台のカメラは、互いの方向を一定に保った状態で、前記物体を同時に撮影するものであって、前記物体に対して、Ｎ個（Ｎは、２以上の自然数）の異なる位置と方向から撮影するものであり、前記物体に対するｉ番目（ｉは、Ｎ以下の自然数）の位置と方向から撮影することにより得られた映像データにおけるＰi個（Ｐiは、自然数）の特徴点の画像上の座標（ｘfp(i)，ｙfp(i)）（ｆは、Ｆ以下の自然数であり、ｐは、Ｐi以下の自然数である。）について、式(eq1)のＷx(i)及び式(eq2)のＷy(i)に対して、式(eq3)の２Ｆ行Ｑ列（Ｑは、Ｐiの総和）の第１の拡大計測行列Ｗを求めるステップと、前記第１の拡大計測行列Ｗに対して、特徴点の重心を原点とする座標系へ変換して因子分解することにより、前記Ｎ個の異なる位置と方向から撮影して得られた情報に対してまとめて因子分解を実行して、前記物体の３次元形状を復元するステップを含むものである。
【０００５】
本発明の請求項２の発明は、請求項１記載の３次元物体復元方法であって、式(eq4)により、前記ｉ番目の方向に応じてＷx(i)及びＷy(i)を管理する２ＦＮ行Ｑ列の初期拡大計測行列Ｗinを生成するステップを含み、前記第１の拡大計測行列Ｗを求めるステップにおいて、前記第１の拡大計測行列Ｗは、前記初期拡大計測行列Ｗinにおいて、Ｗx(i)及びＷy(i)をそれぞれブロック移動することにより生成され、前記物体の３次元形状を復元するステップにおいて、前記第１の拡大計測行列Ｗ及び要素が全て１のＱ行Ｑ列の行列ＥQに対して、Ｗ−（Ｗ・ＥQ）／Ｑを計算することにより、第２の拡大計測行列［Ｗ］を生成し、前記第２の拡大計測行列［Ｗ］に因子分解を適用して［Ｗ］＝［カメラの姿勢行列Ｍ］・［物体の形状行列Ｓ］に分解し、前記物体の形状行列Ｓを基に計測結果の表示を行うものである。
【０００６】
本発明の請求項３の発明は、Ｆ台（Ｆは、３以上の自然数）のカメラが、同一の物体を同時に撮影することにより得られた映像データから、前記物体の３次元形状を復元する３次元物体復元装置であって、前記Ｆ台のカメラは、互いの方向を一定に保った状態で、前記物体を同時に撮影するものであって、前記物体に対して、Ｎ個（Ｎは、２以上の自然数）の異なる位置と方向から撮影するものであり、前記物体に対するｉ番目（ｉは、Ｎ以下の自然数）の位置と方向から撮影することにより得られた映像データにおけるＰi個（Ｐiは、自然数）の特徴点の画像上の座標（ｘfp(i)，ｙfp(i)）（ｆは、Ｆ以下の自然数であり、ｐは、Ｐi以下の自然数である。）について、式(eq1)のＷx(i)及び式(eq2)のＷy(i)に対して、式(eq3)の２Ｆ行Ｑ列（Ｑは、Ｐiの総和）の第１の拡大計測行列Ｗを求める手段と、前記第１の拡大計測行列Ｗに対して、特徴点の重心を原点とする座標系へ変換して因子分解することにより、前記Ｎ個の異なる位置と方向から撮影して得られた情報に対してまとめて因子分解を実行して、前記物体の３次元形状を復元する手段を備えるものである。
【０００７】
0004822307.tif 000002
【０００８】
【発明の実施の形態】
以下、本発明の実施の形態について図に基づいて説明する。
図１は、本発明の装置全体の概要を示す構成図である。
Ａ．  初めにビデオ映像データの取得の手順を説明する。
[101]   Ｆ台(F=3 or F＞3) のカメラ（カメラ群１１，１２，１３）で対象の物体を撮影する。
このときカメラ群は、互いの方向を一定に保つ。この条件の基に、これらのカメラ群は固定しても移動してもよい。
移動させながら物体を撮影する場合は、図１に示すように移動機器１４に固定してもよい。この移動機器は、自動走行する機能を具えたもの、またマニュアルで走行させるものを含む。
【０００９】
[102]   カメラ群を移動させながら、測定対象となる物体を撮影する。
移動は、回転および平行移動を含む任意の軌道で行われる。測定対象には特徴点( マーカー) を付けてもよい。
[103]   Ｆ台のカメラから得られるＦ個の映像に対し、ビデオキャプチャボード１６を介して、サンプリング間隔Ｔs で各映像をコンピュータＰＣ・１５内のディスク（メモリ）に格納する。これらのサンプリングされた映像をＩf(t)[ ただし、t=1,2,…N であり、またf=1,2,…F ] で表す。
【００１０】
Ｂ．  そして、拡大計測行列の作成に入る。
[104]   時刻ｔ( ｔ=1,2, …,N) におけるＦ枚の映像Ｉf(t)(f=1,2, …Ｆ) をディスクより読み出す。
[105]   時刻ｔにおける特徴点Ｐp(t)(p=1,2, …Ｐt)の、カメラf の画像上での座標は〔xfp(t), ｙfp(t) 〕と表される。
Ｆ枚の映像間で対応の取れる特徴点を選び、その画像座標を（式１）で定義される行列Ｗ(t) に書き込む。
ｘ座標は第ｆ行，第ｐ列に、ｙ座標は第 (Ｆ＋ｆ) 行, 第ｐ列に書き込まれる。
特徴点の対応付けは正規化相関等を用いる。
【００１１】
0004822307.tif 000003
行列Ｗ(t) の上半分および下半分をそれぞれＷx(t), Ｗy(t)で表す。
【００１２】
[106] （式１）の行列Ｗ(t)(t=1,2,…,N) を全てまとめて、次の２ＦＮ行，Ｑ列の行列Ｗinを作る。行列Ｗinは初期拡大計測行列と呼ばれる。
【００１３】
0004822307.tif 000004
【００１４】
（式２）の行列Ｗinは灰色のブロック内のみ座標値が記入され、他の成分は全て不明である。
Ｆ台のカメラが、その互いの方向を一定に保ったままで任意に動くため、物体に対するその方向も変化する。その変化毎に、新しいＦ行に座標値が書き込まれる。
Ｆ台のカメラは、複数の連続するサンプル時刻にわたり方向が変化しなくてもかまわないが（例えば数サンプリング時刻毎に移動する等）、（式２）では簡明のために、サンプリング時刻ｔごとに移動機器が移動して、カメラ群の方向が変化する場合を示している。
[107] （式２）の行列において、t=2,3,…,Nの各ブロックを、次式に示すように最初のＦ行の位置（破線ブロックの部分）に移す。
【００１５】
0004822307.tif 000005
【００１６】
[108]   特徴点の重心を原点とする座標系に変換するために、以下の式を用いて、（式５）の第１の拡大計測行列Ｗより第２の拡大計測行列 [Ｗ] を生成する。
[Ｗ] ＝Ｗ−（Ｗ・ＥQ ) ／Ｑ    ……………………（式６）
ここで、ＥQ は要素が全て１のＱ×Ｑ行列、Ｑは（式３）で与えられる全特徴点数である。 [Ｗ] は第２の拡大計測行列と呼ぶ。
【００１７】
Ｃ．  特徴点の３次元座標の計算を行う。
[109]   第２の拡大計測行列 [Ｗ] に対して因子分解（前記カメラパラメータを復元計算に使わない、因子分解法という３次元復元法であって[ 金出, 森田: 画像系列からの３次元形状と運動の復元，電子情報通信学会誌，80-5,479/487(1997)] ）を適用し、次式のようにカメラの姿勢行列Ｍと物体の形状行列Ｓの積に分解する。
[Ｗ] ＝Ｍ・Ｓ                  ……………………（式７）
姿勢行列Ｍは、時刻t=1 におけるＦ台のカメラの方向を与える。
また、形状行列Ｓは、（式２）で与えらえる初期拡大計測行列Ｗinに画像座標の記入された、全特徴点Ｐp(t)(p=1,2, …,Pi,t=1,2,…,N) の３次元座標を与える。
形状行列Ｓによって、対象となる物体の３次元復元が完了する。
【００１８】
Ｄ.  復元結果の表示を行う
[110] （式７）で与えられる形状行列Ｓを基に、結果の表示を行う。
この方法によって復元されるのは点（特徴点）であるから、ワイヤーフレーム表現、または市販の３次元モデリングソフトウェア(Modeling software)を用いた表現等で表示する。
【００１９】
図２は、本発明におけるアルゴリズムの流れを示す流れ図である。
以下にその操作手順を説明する。図２において、
ステップＳ21ではＦ台のカメラによって対象物体の映像を得る〔[101] 〜[103]]。
ステップＳ22は拡大計測行列作成のステップであって、ステップ23〜25がその作成内容である。すなわち、
その作成ためにはステップＳ23で、各サンプル時刻におけるＦ枚の画像上で特徴点間の対応付けを行い、初期拡大計測行列Ｗinを作成する。
ステップＳ24では、初期拡大計測行列Ｗin内でのブロック移動によって第１の拡大計測行列Ｗを作成する〔[104] 〜[106] 〕。
ステップＳ25では、座標原点を物体上の特徴点の重心に移動させ、第１の拡大計測行列Ｗを、その重心からの偏差で座標を表した第２の拡大計測行列 [Ｗ] に変換する。
ステップＳ26は特徴点の3 次元座標の計算を行うステップである。
そこではステップＳ27で、[ Ｗ] ＝Ｍ・Ｓの因子分解を実行し、カメラの姿勢行列Ｍと物体上の特徴点の３次元位置を与える形状行列Ｓを求める。
ステップＳ28では形状行列Ｓを用いて、復元結果を３次元表示する。
【００２０】
次に、実施の形態における具体的作用・動作を詳細に説明する。
図３は、本発明の具体的作用を一つの例によって示した運動する人の撮影の説明図である。
カメラ３台(F=3) を載せた移動器具を２回移動させ、初期位置を含めて３箇所の異なる位置と方向Ｌ1,Ｌ2,Ｌ3 で、運動する人を撮影するものとする。
それぞれの位置において経過する時間を、Ｌ1=t1〜t2, Ｌ2=t3, Ｌ3=t4〜t5  とする。
また、各時刻で観測される特徴点数を４個とし、それぞれを、
Ｆp(t)  (p=1,2,3,4   t=1,2,3,4,5)   で表す。
なお、ここでは、時刻ｔにカメラｆの画面上で観察される特徴点Ｐp(t)の座標を、ｘfp(t),ｙfp(t) の代わりにｘtfp,ｙtfp で表記する。
【００２１】
図４は、本発明のこの一実施の形態での時刻t=1 における右膝の特徴点Ｐ3(1)の画像座標と対応付けの説明図である。
それによる画像間の特徴点の対応付けの結果、（式２）に対応する次式が得られる。
0004822307.tif 000006
この行列に対し、第４〜９行の値を第１〜３行に、また第１３〜１８行の値を第１０〜１２行に移動させ、（式４）に対応する式は（式９）で与えられる。
【００２２】
0004822307.tif 000007
この結果、（式５）に対応する次の（式１０）を得る。
【００２３】
0004822307.tif 000008
【００２４】
各行の平均値を求める。
0004822307.tif 000009
ただし、f=1,2,3 である。
次式によって、行毎に各成分からこの平均値を引く。
0004822307.tif 000010
【００２５】
第２の拡大計測行列 [Ｗ] を因子分解すれば、次式が得られる。
[Ｗ] ＝Ｍ・Ｓ          ……………………………（式１３）
ここで、Ｍは位置Ｌ1 におけるカメラの方向を与える行列、Ｓは全特徴点
Ｐp(t) (p=1,2,3,4;t=1,2,3,4,5)の３次元座標を与える形状行列である。
以上の処理によって、移動機器に固定された３台のカメラにより観察される、人物上の特徴点Ｐp(t)(p=1,2,3,4;t=1,2,3,4,5) の３次元座標が求められる。
【００２６】
【発明の効果】
因子分解法を基礎とした従来の物体復元法[ タン, 川端, 石川: 因子分解法を用いた変形物体の形状復元, 映像情報メディア学会誌,52-3,406/408(1998)]では、対象を撮影するカメラの位置と方向が固定されているため、カメラの前で行われる運動・動作等の復元しか行えない。サッカーやランニングなど移動範囲の大きな運動等に関しては、カメラの前面を通過する対象の復元しか行えず、運動等の全体を復元するには撮影システムを対象から十分離す必要があるが、相対的に対象物が小さくなり、特徴点の追跡が困難になる。
然るに本発明では、以上の問題を克服し、既提案の上記物体復元法を次のように改良している。すなわち、撮影システムを可動にして、移動する対象物体と共に移動しながらその物体を撮影し、複数台のカメラで共通して観察される部分の３次元形状が復元するという、特段の作用を持つことができるのである。
この結果、本発明特有の効果として、カメラ群とともに移動する人から観察される情景が３次元復元されることになる。
これは、撮影システム（移動機器）が動く代わりに、撮影システム前面の、対象物体を含む情景が相対的に動いていると考えることに等しい。このことを（式４）または（式９）に示した操作で実現している。
なお、同様の効果は、移動機器に２台のカメラを固定したステレオビジョンシステムでも実現できるが、本発明との違いは、ステレオビジョンシステムでは事前のカメラキャリブレーションが必要であるのに対し、本発明はカメラキャリブレーションが一切必要ないという顕著な効果も認められる点である。
さらに、本発明によれば次のような復元が可能である。
移動物体と共に移動しながら撮影することにより、運動・移動する人（複数可）などの動作の復元が可能である。
物体の周囲を周回しながら撮影することにより、建物・銅像などの全周復元が可能である（ただし全周モデル作成のためには、つなぎ合わせ処理が必要になる。）。また、手話をする人など、移動を伴わない人の動作の、任意方向からの復元が可能である。
現在地点で、適当な垂直軸の回りに回転しながら周囲を撮影することにより、剛体・変形体を含む周囲の情景のパノラマ復元が可能である。
【図面の簡単な説明】
【図１】本発明の一実施の形態を示すシステムの概要図
【図２】本発明の一実施の形態における変形物体の形状復元の処理の流れを示す図
【図３】本発明の実施の形態での一つの例によって運動する人の撮影を表す説明図
【図４】本発明の一実施の形態での時刻t=1 における右膝の特徴点Ｐ3(1)の画像座標と対応付けを示す図
【符号の説明】
１０  復元対象
１１  カメラ１
１２  カメラｆ
１３  カメラＦ
１４  移動機器
１５  ＰＣ（Personal Computer)
１６  ビデオキャプチャボード(Video capture board)
【図１】
0004822307.tif 000014
【図２】
0004822307.tif 000015
【図３】
0004822307.tif 000016
【図４】
0004822307.tif 000017