(57)【要約】【課題】  ビデオカメラ等を使って手動操作により撮影した画像から外界の物体の空間情報を獲得、復元するときに、それぞれ焦点距離が変化するため、従来の因子分解法を利用することができず、ピント調整のために変化する焦点距離を同時に復元しなければならないという問題を解決する。【解決手段】  因子分解処理部６３で、各画像の特徴点の時間的変化量を示す画像座標値から行列データを作成し、作成した行列データを特異値分解し雑音除去を行って運動情報を表す行列データと３次元情報を表す行列データとを得て、運動情報の成分において運動を規定するために設定した条件を満足する変換行列を求め、運動情報となる行列データにこの変換行列を作用させてカメラ視点運動を復元し、３次元情報を表す行列データにこの変換行列の逆行列を作用させて物体形状を構成する３次元情報を復元し、焦点距離推定部６４で焦点距離を推定する。【選択図】  図６
2006106929.tif 000002
【特許請求の範囲】
【請求項１】
カメラ手段によって取得した対象物の時系列画像に設定した画像座標系において、各画像の特徴点の時間的変化量を示す画像座標値を観測する特徴点観測手段と、
前記画像座標値から行列データを作成し、当該行列データから前記カメラ手段のカメラ視点運動と前記対象物の外観形状を構成する3次元形状とを復元する因子分解処理手段と、
前記復元したカメラ視点運動と3次元形状とから各特徴点に関する画像座標系でのカメラ視点運動の再投影誤差である再投影座標値を求め、当該再投影座標値と前記観測した画像座標値とから前記カメラ手段の焦点距離を推定する焦点距離推定手段と、
前記再投影誤差と前記観測した画像座標値に焦点距離のスケール倍した値との間の誤差が規定値以下に収束しているかを判断し、収束していない場合には焦点距離でスケール倍した各特徴点の画像座標値を新たな行列要素として行列データを作成して前記因子分解処理手段からの処理を反復させる反復処理手段と、を備えることを特徴とするパラメータ推定装置。
【請求項２】
前記焦点距離推定手段では、カメラ視点運動と3次元形状とから各特徴点に関する画像座標系でのカメラ視点運動の再投影誤差である再投影座標値を求め、当該再投影座標値と観測した画像座標値とから、スケールファクタ比と焦点距離とを推定し、
前記反復処理手段では、前記再投影誤差と観測した画像座標値にスケールファクタ比を掛けた焦点距離のスケール倍した値との間の誤差が規定値以下に収束しているかを判断し、収束していない場合にはスケールファクタ比を掛けた焦点距離でスケール倍した各特徴点の画像座標値を新たな行列要素として行列データを作成して前記因子分解処理手段からの処理を反復させ、誤差が前記規定値以下に収束するまで当該反復処理を行い、
前記反復処理が終了した時に、前記推定した焦点距離およびスケールファクタ比を用いてスケールファクタ比を算出するスケールファクタ比算出手段を備える、ことを特徴とする請求項１に記載のパラメータ推定装置。
【請求項３】
前記因子分解処理手段では、
前記作成した行列データを特異値分解し雑音除去を行って運動情報を表す行列データと３次元情報を表す行列データとを得て、
前記運動情報の成分において、運動を規定するために設定した条件を満足する変換行列を求め、運動情報となる行列データにこの変換行列を作用させてカメラ視点運動を復元し、
前記３次元情報を表す行列データにこの変換行列の逆行列を作用させて物体形状を構成する３次元情報を復元することを特徴とする請求項１または２に記載のパラメータ推定装置。
【請求項４】
特徴点観測手段がカメラ手段によって取得した対象物の時系列画像に設定した画像座標系において、各画像の特徴点の時間的変化量を示す画像座標値を観測する特徴点観測ステップと、
因子分解処理手段が前記画像座標値から行列データを作成し、当該行列データから前記カメラ手段のカメラ視点運動と前記対象物の外観形状を構成する3次元形状とを復元する因子分解処理ステップと、
焦点距離推定手段が前記復元したカメラ視点運動と3次元形状とから各特徴点に関する画像座標系でのカメラ視点運動の再投影誤差である再投影座標値を求め、当該再投影座標値と前記観測した画像座標値とから前記カメラ手段の焦点距離を推定する焦点距離推定ステップと、
反復処理手段が前記再投影誤差と前記観測した画像座標値に焦点距離のスケール倍した値との間の誤差が規定値以下に収束しているかを判断し、収束していない場合には焦点距離でスケール倍した各特徴点の画像座標値を新たな行列要素として行列データを作成して前記因子分解処理手段からの処理を反復させる反復処理ステップと、を備えることを特徴とするパラメータ推定方法。
【請求項５】
前記焦点距離推定ステップでは、カメラ視点運動と3次元形状とから各特徴点に関する画像座標系でのカメラ視点運動の再投影誤差である再投影座標値を求め、当該再投影座標値と観測した画像座標値とから、スケールファクタ比と焦点距離とを推定し、
前記反復処理ステップでは、前記再投影誤差と観測した画像座標値にスケールファクタ比を掛けた焦点距離のスケール倍した値との間の誤差が規定値以下に収束しているかを判断し、収束していない場合にはスケールファクタ比を掛けた焦点距離でスケール倍した各特徴点の画像座標値を新たな行列要素として行列データを作成して前記因子分解処理ステップからの処理を反復させ、誤差が前記規定値以下に収束するまで当該反復処理を行い、
前記反復処理が終了した時に、スケールファクタ比算出手段が前記推定した焦点距離およびスケールファクタ比を用いてスケールファクタ比を算出するスケールファクタ比算出ステップを備える、ことを特徴とする請求項４に記載のパラメータ推定方法。
【請求項６】
前記因子分解処理ステップでは、
前記作成した行列データを特異値分解し雑音除去を行って運動情報を表す行列データと３次元情報を表す行列データとを得て、
前記運動情報の成分において、運動を規定するために設定した条件を満足する変換行列を求め、運動情報となる行列データにこの変換行列を作用させてカメラ視点運動を復元し、
前記３次元情報を表す行列データにこの変換行列の逆行列を作用させて物体形状を構成する３次元情報を復元することを特徴とする請求項４または５に記載のパラメータ推定方法。
【請求項７】
上記の請求項１〜６のいずれか１項に記載のパラメータ推定装置またはパラメータ推定方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とするパラメータ推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像入力装置（例えば、カメラ等）を使って取得した車載画像、室内画像、歩行撮影画像、船上からの海上画像、空撮画像などの時系列画像全般に利用可能で、カメラで取得した時系列画像から、カメラ視点の並進運動と光軸周りの回転（ヨー回転）、及び、時系列画像に映っている外界の３次元形状、すなわち、被写体（物体）の外観形状を構成する３次元情報を復元し、同時に、カメラ内部パラメータの焦点距離を推定する技術に関する。
【背景技術】
【０００２】
コンピュータビジョン分野では、時系列画像データから対象物の形状を計測または獲得する手法には、ステレオ計測やエピポーラ面解析を用いた３次元解析手法がある。この手法によれば、物体が撮影されている複数の時系列画像から、空間形状または空間構造に関する３次元位置情報、及び、カメラ視点に関する運動を復元することができる。
【０００３】
しかし、カメラを動かしながら撮影した時系列画像にはランダム性の雑音が混入し、カメラ運動や物体形状を高精度に復元することが困難である。
【０００４】
これに対して、因子分解法はランダム性の雑音が混入するようなビデオ画像などの時系列画像において、ユークリッド空間でのカメラ運動と物体形状をロバスト、かつ、高精度に復元する技術が開示されている(例えば、特許文献１参照。)。
【０００５】
しかし、この手法では、カメラの内部パラメータ（焦点距離など）を既知としており、事前にカメラキャリブレーションによりカメラ内部パラメータを校正しておく必要がある。
【０００６】
一方、ディジタル・スチルカメラやハンディカメラなどにはオートフォーカス機能が搭載されており、被写体との距離に合わせてピント調節を行い、ピントの合った画像の取得が可能である。これにより、オートフォーカスで撮影された画像は各画像において焦点距離が微妙に調整される。従来の因子分解法ではカメラの内部パラメータが固定（画像において焦点距離が変わらず一定）であることを前提としてカメラ運動と３次元形状を復元するため、オートフォーカスで撮影された画像には応用することができなかった。
【０００７】
これに対して、簡易な撮影ターゲット（紙に印刷した白黒の市松模様パターン）をハンドフリーで撮影した画像から、カメラの内部パラメータを推定する技術も開示されている(例えば、非特許文献１参照。)。しかし、時間的に変化する内部パラメータに対しては、この技術は適用できなかった。
【特許文献１】特開２００３−２７１９２５号公報
【非特許文献１】Ｚ．Ｚｈａｎｇ，「Ａ  Ｆｌｅｘｉｂｌｅ  Ｎｅｗ  Ｔｅｃｈｎｉｑｕｅ  ｆｏｒ  Ｃａｍｅｒａ  Ｃａｌｉｂｒａｔｉｏｎ」，ＩＥＥＥ  Ｔｒａｎｓ．Ｐａｔｔｅｒｎ  Ａｎａｌ．＆  Ｍａｃｈ．Ｉｎｔｅｌｌ，Ｖｏｌ．２２，Ｎｏ．１１，ｐｐ．１３３０−１３３４，２０００．
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ステレオ視の原理を応用した計測方法により、ディジタル・スチルカメラやハンディタイプのビデオカメラを使って手動操作により撮影した画像から外界の物体の空間情報を獲得、復元するとき、各画像でのピント合わせが必要であり、被写体との距離に応じてフォーカスを調整するというオートフォーカス機能により、画像ごとにピントが調整された画像が得られる。しかし、それぞれ焦点距離が変化するため、従来の因子分解法を利用することができず、ピント調整のために変化する焦点距離を同時に復元しなければならないという問題がある。
【０００９】
本発明は、かかる事情に鑑みてなされたもので、その目的は上記課題を解決したカメラパラメータ推定技術を提供することにある。
【課題を解決するための手段】
【００１０】
本発明では、焦点距離を推定するための投影モデルを
【００１１】
【数１】
2006106929.tif 000003
【００１２】
と仮定し、この投影モデルに基づいてカメラ運動、３次元形状、焦点距離を復元する。式１では、第ｉフレームの画像において観測される第ｊ番目の特徴点の画像座標値を（ｘij，ｙij）、そのときの焦点距離をｆi，ＸＹ並進運動を（Ｔｘi，Ｔｙi）、光軸周りの回転をθiとする。また、画像座標値（ｘij，ｙij）は主点（ｐｒｉｎｃｉｐｌｅ  ｐｏｉｎｔ）を原点としており、主点は既知とし、画像面の横縦のアスペクト比は１：１とする。
【００１３】
上記を全フレーム（ｉ＝１，２，・・・，Ｆ）、全特徴点（ｊ＝１，２，・・・，Ｐ）に対して行列表記すると、
【００１４】
【数２】
2006106929.tif 000004
【００１５】
となる。ここで、ｆi＝１（ｉ＝１，２，・・・，Ｆ）とした場合は、式２の右辺はカメラ運動を平面運動と仮定し、因子分解法を利用することでカメラ運動と３次元形状を復元することができる。ところが、焦点距離ｆiはオートフォーカス機能等により変化してフレームごとに異なっているため、式２の左辺のｆiを同時に推定しなければならない。そこで、式２の左辺に示す焦点距離でスケール倍した画像座標値（ｘij／ｆi，ｙji／ｆi）から平面運動と３次元形状を復元する。
【００１６】
因子分解法により復元した平面運動と３次元形状から再投影座標値（Δｕij，Δｖij）は、
【００１７】
【数３】
2006106929.tif 000005
【００１８】
と表される。これを全特徴点に対して展開すると、
【００１９】
【数４】
2006106929.tif 000006
【００２０】
となるため、
【００２１】
【数５】
2006106929.tif 000007
【００２２】
【数６】
2006106929.tif 000008
【００２３】
という計算により、各フレーム（ｉ＝１，２，・・・，Ｆ）での焦点距離ｆiが得られる。
【００２４】
また、画像面の横縦スケールファクタ比が１：βのときは、
【００２５】
【数７】
2006106929.tif 000009
【００２６】
で与え、各フレームでの焦点距離ｆiとして、αi＝ｆi，βi＝βｆiとする。全フレーム、全特徴点で連立すると、
【００２７】
【数８】
2006106929.tif 000010
【００２８】
となり、この場合も、上記と同様に考えて、
【００２９】
【数９】
2006106929.tif 000011
【００３０】
で求めることができる。
【００３１】
本発明では、平面運動で撮像した時系列画像からカメラ運動と３次元形状を復元し、カメラ内部パラメータのスケールファクタ比と焦点距離を推定するため、図１に示すようにカメラ１１を平面レール１２の上を平行移動させ、または、図２に示すように平面板２１上で光軸と平行な支柱２２で支えられたカメラ２３を移動させて撮像することにより、平面運動での時系列画像を取得でき、その時系列画像中の特徴点の画像座標値（ｘij，ｙij）を観測することで、式２、式８の投影モデルに基づいて、オートフォーカスによる焦点距離の変化を考慮した式４、式５、式６、式９の計算により焦点距離、画像横縦のスケールファクタ比１：βを求めることができる。
【発明の効果】
【００３２】
本発明により、カメラ等を使って取得した時系列画像全般（移動手段を利用して撮影した車載画像、海上画像、空撮画像、屋内画像など）から、オートフォーカス機能が働いた状況でも、カメラ運動と３次元形状とを同時に復元し、オートフォーカス機能により変化した焦点距離を推定することができる。
【００３３】
本発明はカメラが平面運動する状況に適用可能であり、図３、図４の撮像手段とすることで特徴点観測手段での特徴点の画像座標値を高精度に観測することに効果がある。これにより、カメラ運動と３次元形状、カメラ内部パラメータをより高精度に復元、推定することができる。なお、本発明で使用する計算は、大半が線形演算で構成されるため、コンピュータ言語での実装が容易である。
【発明を実施するための最良の形態】
【００３４】
以下、本発明の実施形態を図面を用いて説明する。
【００３５】
(実施形態１)
図３はカメラを平行移動させて時系列画像を取得するシステムであり、回転式ハンドル３１の操作により平面レール３２上のワイヤ３３に固定したカメラ３４を平行移動させながら撮像を行うものである。
【００３６】
図４はカメラを回転移動させて時系列画像を取得するシステムであり、平面板４１のカメラを移動させる円４２に光軸と平行な支柱４３により固定されたカメラ４４を半径Ｒの円周上を平面運動させながら撮像を行うものである。
【００３７】
図５は図３、図４に記載のシステムにより時系列画像を取得したときのカメラと対象物との位置関係を表す図である。運動の中心は視点としており、視点を原点としたカメラ座標系ＸＹＺ，原点Ｏとした世界座標系ＸｗＹｗＺｗを設定する。この座標系において、カメラ運動として、Ｔi（Ｔｘi，Ｔｙi）の並進運動と光軸（Ｚ軸）周りのヨー回転θiとする。対象物の点Ｐj（Ｘj，Ｙj，Ｚj）はカメラにより画像面において投影中心（主点）を原点とした画像座標値（ｘij，ｙij）へ投影されるとする。なお、説明の都合上、初期フレームでの視点とＯは一致しているものとし、光軸はＺｗ軸と平行関係にあり、θiはＸとＸｗ軸との成す角とするが、このことは一般性を損なうものではない。
【００３８】
図６は本発明のパラメータ推定装置の基本構成図である。図６に示すようにパラメータ推定装置は、時系列画像を蓄積した時系列画像データベース６１、各画像における特徴点の座標値を観測する特徴点観測部６２、画像座標値からなる行列データからカメラ運動と３次元形状を復元する因子分解処理部６３、カメラ内部パラメータの焦点距離を推定する焦点距離推定部６４、カメラ運動と３次元形状、焦点距離が得られるまで処理を繰り返すための反復処理部６５から構成される。
【００３９】
この構成において、時系列画像データベース６１には、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する、または、ネットワークを介したリモートなデータ資源を利用する形態でもどちらでも構わない。
【００４０】
さらに、図７はリアルタイムで処理する場合のパラメータ推定装置の構成図である。図７に示すように本構成では時系列画像データベース６１を有しておらず、画像入力部７１から入力された画像を特徴点観測部７２が処理を行う構成になっている。このように、本発明は必ずしも各データベース部などの記憶装置を必要としない。
【００４１】
図６に示すパラメータ推定装置では、まず、特徴点観測部６２において、対象物を撮影した時系列画像を時系列画像データベース６１からフレームＦ分の画像系列を取り出す。この取り出した画像系列において特徴点追跡を行う。特徴点は従来から用いられているような以下の手順により抽出する。
【００４２】
図８に示すように画像１の領域１において、
（１）各画素に対する２×２のヘッセ行列を求める。次に、
（２）各点の３×３近傍領域において極大点かどうか判定し、極大点以外の点を削除する（ｎｏｎ−ｍａｘｉｍａ  ｓｕｐｐｒｅｓｓｉｏｎ）。さらに、
（３）得られた各点のヘッセ行列の固定値σl，σs（σs≦σl）を求め、σsがσp以上となる点を抽出する。最後に、
（４）抽出した点のσsの大きさの順にソートし、上位の点から順番にその点（ｐl）より上位の点（ｐh）がσd画素以内の距離に存在するかどうかを判定し、もし、存在する場合は下位の点ｐlを削除する。さらに、抽出した特徴点（ｊ＝１，２，・・・，Ｐ）をＫＬＴ法（Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ）により画像ｉ（ｉ＝２，・・・，Ｆ）にわたって追跡し、画像座標値（ｘij，Ｙij）を観測する。このようにして得られた特徴の画像座標値を
【００４３】
【数１０】
2006106929.tif 000012
【００４４】
に示す配列に並べた２Ｆ×Ｐの行列データ（行列データ［Ａ］）を用意する。
【００４５】
次に、因子分解処理部６３、焦点距離推定部６４、及び、反復処理部６５の処理内容について、図９の処理フロー図を用いて説明する。
【００４６】
まず、因子分解処理部６３が行列データの入力を行う(Ｓ１)。
【００４７】
次に、因子分解処理部６３が行列分解データの生成を行う(Ｓ２)。すなわち、係数δijを
【００４８】
【数１１】
2006106929.tif 000013
【００４９】
のように初期化し、保持しておいた式８の２Ｆ×Ｐの行列データ［Ａ］から
【００５０】
【数１２】
2006106929.tif 000014
【００５１】
に示すデータを求めておき、これを行列分解データ［Ｂ］として保持しておく。
【００５２】
次に、因子分解処理部６３が特異値分解を行う(Ｓ３)。すなわち、行列分解データ［Ｂ］を入力データとして特異値分解により
【００５３】
【数１３】
2006106929.tif 000015
【００５４】
に示す３つの行列［Ｕ］，［Ｗ］，［Ｖ］に行列分解する。ここで、［Ｕ］は２Ｆ×Ｐサイズの行列、［Ｗ］はＰ×Ｐサイズの対角行列、［Ｖ］はＰ×Ｐサイズの行列である。
【００５５】
次に、因子分解処理部６３が雑音除去を行う(Ｓ４)。すなわち、
【００５６】
【数１４】
2006106929.tif 000016
【００５７】
の第二項に示すように、ランク４以降の各行列の成分を削除する。この削除のときは、行列［Ｕ］を取り出し、この行列の要素において第４から第Ｐ列目までを削除し、残りの成分からなる行列を保持し、行列［Ｗ］を取り出し、この行列の要素において第４から第Ｐ行目並びに第４から第Ｐ列目までを削除し、残りの成分からなる行列を保持し、行列［Ｖ］を取り出し、この行列の要素において第４から第Ｐ行目までを削除し、残りの成分からなる行列をそれぞれ保持する。
【００５８】
【数１５】
2006106929.tif 000017
【００５９】
次に、第４から第Ｐ行目並びに第４から第Ｐ列目までを削除した行列［Ｗ］の対角要素の平方をとった行列から、
【００６０】
【数１６】
2006106929.tif 000018
【００６１】
【数１７】
2006106929.tif 000019
【００６２】
に示す行列［Ｕ’］と行列［Ｖ’］を得る。
【００６３】
次に、因子分解処理部６３が変換行列算出を行う(Ｓ５)。すなわち、保持してある行列［Ｕ’］を取り出し、
【００６４】
【数１８】
2006106929.tif 000020
【００６５】
【数１９】
2006106929.tif 000021
【００６６】
【数２０】
2006106929.tif 000022
【００６７】
に示す連立する条件式における対称行列［Ｃ］の各要素にかかる係数を計算する。なお、対称行列［Ｃ］は
【００６８】
【数２１】
2006106929.tif 000023
【００６９】
に表されている。
【００７０】
これらの係数計算は、行列演算により容易に得られるものであり、この条件式を全フレームに対して計算する。次に、全フレームの式１８〜式２０に示す連立する条件式に対して、最小二乗法などの数値計算を利用して３×３サイズの行列［Ｃ］の各要素を決定する。求めた行列［Ｃ］を
【００７１】
【数２２】
2006106929.tif 000024
【００７２】
に示すように固有値分解する。ここで、固有値行列の平方と固有値行列から、
【００７３】
【数２３】
2006106929.tif 000025
【００７４】
の行列［Ｃ’］を生成し、この行列要素を成分にもつ行列［Ｑ］を
【００７５】
【数２４】
2006106929.tif 000026
【００７６】
に従って算出する。
【００７７】
次に因子分解処理部６３が平面運動復元を行う(Ｓ６)。すなわち、求めた行列［Ｑ］と、保持しておいた行列［Ｕ’］から、
【００７８】
【数２５】
2006106929.tif 000027
【００７９】
の行列演算により行列［Ｍ’］を計算する。行列［Ｍ’］から各フレーム（第ｉフレーム）の行列要素（ｍix，ｎix）または（ｍiy，ｎiy）を取り出し、
【００８０】
【数２６】
2006106929.tif 000028
【００８１】
を使って、ヨー回転θiを復元する。次に、行列［Ｍ’］から各フレーム（第ｉフレーム）の行列要素（Ｔiu，Ｔiv）を取り出す。この（Ｔiu，Ｔiv）から、
【００８２】
【数２７】
2006106929.tif 000029
【００８３】
を使って第ｉフレームにおけるユークリッド空間でのＸＹ並進運動（Ｔｘi，Ｔｙi）を計算する。
【００８４】
次に、因子分解処理部６３が３次元情報復元を行う(Ｓ７)。すなわち、先に保持しておいた行列［Ｖ’］と、変換行列算出で得られた行列［Ｑ］から、
【００８５】
【数２８】
2006106929.tif 000030
【００８６】
に示す行列演算を行い、行列［Ｓ’］を求める。次に、行列［Ｓ’］の要素に対して、
【００８７】
【数２９】
2006106929.tif 000031
【００８８】
に示す変換を行い、これを要素とする行列を［Ｐ］とする。行列［Ｐ］の列ベクトルは、それぞれ第ｊ番目の特徴点のユークリッド空間での３次元座標値（Ｘj，Ｙj，Ｚj）になっている。
【００８９】
次に、焦点距離推定部６４が焦点距離推定を行う(Ｓ８)。すなわち、平面運動復元と３次元情報復元で復元したカメラ運動と３次元形状から
【００９０】
【数３０】
2006106929.tif 000032
【００９１】
に示す（Δｕij，Δｖij）を得て、各フレームでの画像座標値（ｘij，ｙij）から、式６の演算により焦点距離ｆiを求める。
【００９２】
次に、反復処理部６５が、
【００９３】
【数３１】
2006106929.tif 000033
【００９４】
【数３２】
2006106929.tif 000034
【００９５】
に示す誤差△Ｅを算出する(Ｓ９)。この誤差がある一定値以下に収束しているかを判断し(Ｓ１０)、ある一定値以下に収束している場合は処理を終了する。もし、そうでない場合は、
【００９６】
【数３３】
2006106929.tif 000035
【００９７】
に従って係数δijを更新する(Ｓ１１)。さらに、この係数更新に伴い式１２により行列分解データ［Ｂ］を更新する。これを誤差△Ｅが一定値以下に収束するまで反復を繰り返す。
【００９８】
以上、実施形態１により、時系列画像の特徴点の画像座標値から、カメラ視点の運動：光軸周りの回転とＸＹ軸方向の並進運動、及び、物体形状を構成する３次元情報を復元し、同時に、カメラ内部パラメータの焦点距離を推定することができる。
【００９９】
(実施形態２)
図１０は本発明のパラメータ推定装置の基本構成図である。図１０に示すようにパラメータ推定装置は、時系列画像を蓄積した時系列画像データベース１０１、各画像における特徴点の座標値を観測する特徴点観測部１０２、画像座標値からなる行列データからカメラ運動と３次元形状を復元する因子分解処理部１０３、カメラ内部パラメータの焦点距離を推定する焦点距離推定部１０４、カメラ運動と３次元形状、焦点距離が得られるまで処理を繰り返すための反復処理部１０５、カメラ内部パラメータの画像の横縦のスケールファクタ比を求めるスケールファクタ比算出部１０６から構成される。
【０１００】
この構成において、時系列画像データベース１０１には、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する、または、ネットワークを介したリモートなデータ資源を利用する形態でもどちらでも構わない。
【０１０１】
さらに、図１１はリアルタイムで処理する場合の処理構成図である。図１１に示すように本構成では時系列画像データベース１０１を有しておらず、画像入力部１１１から入力された画像を特徴点観測部１１２が処理を行う構成になっている。このように、本発明は必ずしも各データベース部などの記憶装置を必要としない。
【０１０２】
本実施形態は、実施形態１と比べると、焦点距離推定部１０４、１１４、スケールファクタ比算出部１０６、１１６の処理が異なっているため、以下の説明では、この部分についてだけ記載する。
【０１０３】
図１２は図１０に示すパラメータ推定装置における因子分解処理部１０３、焦点距離推定部１０４、反復処理部１０５、スケールファクタ比算出部１０６、の処理フローである。Ｓ１〜Ｓ７については、実施形態１の図３の説明と同一であるので省略する。
【０１０４】
焦点距離推定部１０４での処理は、式３０に示す（Δｕij，Δｖij）を得て、各フレームでの画像座標値（ｘij，ｙij）から、式９の演算によりαi，βiを求める(Ｓ２１)。このとき、焦点距離はαiで得られる。
【０１０５】
反復処理部１０５では、式３１に示す誤差△Ｅを算出する(Ｓ２２)。この誤差がある一定値以下に収束しているかを判断し(Ｓ２３)、ある一定値以下に収束している場合は処理を終了する。もし、そうでない場合は、
【０１０６】
【数３４】
2006106929.tif 000036
【０１０７】
により行列分解データ［Ｂ］を更新する(Ｓ２４)。これを誤差△Ｅが一定値以下に収束するまで反復を繰り返す。
【０１０８】
反復処理が終了したとき、スケールファクタ比算出部１０６が、βi／αiの平均値を求めて画像の横縦のスケールファクタ比１：βを得る(Ｓ２５)。
【０１０９】
以上、実施形態２により、時系列画像の特徴点の画像座標値から、カメラ視点の運動：光軸周りの回転とＸＹ軸方向の並進運動、及び、物体形状を構成する３次元情報を復元し、同時に、カメラ内部パラメータの焦点距離、画像横縦のスケールファクタ比を推定することができる。
【０１１０】
なお、実施形態１及び２に記載のパラメータ推定装置は、例えば、パラメータ推定装置を構成するコンピュータ装置が有するＣＰＵによって実現され、必要とする特徴点観測、因子分解処理、焦点距離推定、反復処理、スケールファクタ比算出などをアプリケーションプログラムとして搭載することができる。
【０１１１】
また、コンピュータ装置には上記説明した特徴点観測、因子分解処理、焦点距離推定、反復処理、スケールファクタ比算出など行った処理結果や計算結果等のデータを内部メモリや外部記憶装置等に書き込み・読み出しができるようにしてもよい。
【０１１２】
また、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のＣＰＵ(ＭＰＵ)が記録媒体に格納されたプログラムコードを読み出し実行することによっても実現できる。その場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＨＤＤ、等は本発明を構成する。
【図面の簡単な説明】
【０１１３】
【図１】カメラが平面レールの上で移動する場合を示す図。
【図２】カメラが平面板の上で移動する場合を示す図。
【図３】平面レールの上で移動させる仕組みにおいて、回転式ハンドルによりカメラを移動させて撮像する例。
【図４】カメラが平面板の上で半径Ｒの回転をさせて撮像する例。
【図５】カメラ視点と３次元位置、及び、本発明の説明で使用する座標系を示す図、
【図６】パラメータ推定装置の基本構成図。
【図７】パラメータ推定装置の基本構成図。
【図８】時系列画像での特徴点の観測を示す図。
【図９】因子分解処理部、焦点距離推定部、及び、反復処理部に関する処理フロー図。
【図１０】パラメータ推定装置の基本構成図。
【図１１】パラメータ推定装置の基本構成図。
【図１２】因子分解処理部、焦点距離推定部、反復処理部、及び、スケールファクタ比算出部に関する処理フロー図。
【符号の説明】
【０１１４】
１１…カメラ
１２…平面レール
２１…平面板
２２…支柱
２３…カメラ
３１…回転式ハンドル
３２…平面レール
３３…ワイヤ
３４…カメラ
４１…平面板
４２…カメラを移動させる円
４３…支柱
４４…カメラ
６１…時系列画像データベース
６２…特徴点観測部
６３…因子分解処理部
６４…焦点距離推定部
６５…反復処理部
７１…画像入力部
７２…特徴点観測部
７３…因子分解処理部
７４…焦点距離推定部
７５…反復処理部
１０１…時系列画像データベース
１０２…特徴点観測部
１０３…因子分解処理部
１０４…焦点距離推定部
１０５…反復処理部
１０６…スケールファクタ比算出部
１１１…画像入力部
１１２…特徴点観測部
１１３…因子分解処理部
１１４…焦点距離推定部
１１５…反復処理部
１１６…スケールファクタ比算出部
【図１】
2006106929.tif 000037
【図２】
2006106929.tif 000038
【図３】
2006106929.tif 000039
【図４】
2006106929.tif 000040
【図５】
2006106929.tif 000041
【図６】
2006106929.tif 000042
【図７】
2006106929.tif 000043
【図８】
2006106929.tif 000044
【図９】
2006106929.tif 000045
【図１０】
2006106929.tif 000046
【図１１】
2006106929.tif 000047
【図１２】
2006106929.tif 000048