(57)【要約】【課題】  ビデオカメラ等を使って手動操作により撮影した画像から外界の物体の空間情報を獲得、復元するときに、それぞれ焦点距離が変化するため、従来の因子分解法を利用することができず、ピント調整のために変化する焦点距離を同時に復元しなければならないという問題を解決する。【解決手段】  カメラ手段によって取得した対象物の時系列画像に設定した画像座標系において、各画像の特徴点の時間的変化量を示す画像座標値を観測する特徴点観測部５２、画像座標値から行列データを作成し、カメラ手段のカメラ視点運動、及び前対象物の３次元形状を復元する因子分解処理部５３、復元したカメラ視点運動及び３次元形状から再投影座標値を求め、この再投影座標値、及び観測した画像座標値からカメラ手段のレンズ歪パラメータを推定するパラメータ推定部５４、再投影座標値、及び画像座標値から光軸並進運動を復元する光軸並進運動復元部５５を備えるレンズ歪推定装置。【選択図】  図５
2006195789.tif 000002
【特許請求の範囲】
【請求項１】
カメラ手段によって取得した対象物の時系列画像に設定した画像座標系において、前記各画像の特徴点の時間的変化量を示す画像座標値を観測する特徴点観測手段と、
前記画像座標値から行列データを作成し、当該行列データから前記カメラ手段のカメラ視点運動、及び前記対象物の３次元形状を復元する因子分解処理手段と、
前記復元したカメラ視点運動及び３次元形状から再投影座標値を求め、当該再投影座標値、及び前記観測した画像座標値から前記カメラ手段のレンズ歪パラメータを推定するパラメータ推定手段と、
前記再投影座標値、及び前記画像座標値から光軸並進運動を復元する光軸並進運動復元手段と、
前記行列データから評価値を算出して、当該評価値が規定した許容値以下に収束しているかを判断し、当該判断に基づいて前記パラメータ推定手段、又は前記光軸並進運動推定手段のいずいれかに処理を行わせるかを決定する反復処理手段と、を備えることを特徴とするレンズ歪推定装置。
【請求項２】
カメラ手段によって取得した対象物の時系列画像に設定した画像座標系において、前記各画像の特徴点の時間的変化量を示す画像座標値を観測する特徴点観測手段と、
前記画像座標値にレンズ歪係数及び主点を用いて座標変換した座標値を要素とする漸近行列を生成し、当該漸近行列を特異値分解し、雑音除去を行って運動情報を表す行列データ、及び３次元情報を表す行列データを得て、前記運動情報の行列データの行列要素において、運動を規定するために設定した条件を満足する変換行列を求め、運動情報を表す行列データにこの変換行列を作用させてカメラ視点運動を復元し、前記３次元情報を表す行列データにこの変換行列の逆行列を作用させて物体形状を構成する３次元情報を復元する因子分解処理手段と、
前記復元したカメラ視点運動及び３次元形状から再投影座標値を求め、当該再投影座標値を関係付ける未校正投影モデルにおいてレンズ歪係数及び主点を未知数とした評価関数を設定し、当該評価関数を最適にするレンズ歪係数及び主点を求めることにより前記カメラ手段のレンズ歪パラメータを推定するパラメータ推定手段と、
前記再投影座標値、並びに前記画像座標値に前記レンズ歪係数及び主点を用いて変換した座標値から構成される値を要素とする行列データから光軸並進運動を復元する光軸並進運動復元手段と、
前記漸近行列を行列分解したときの主成分からカメラ視点運動への漸近値を表す評価値を算出して、当該評価値が規定した許容値以下に収束しているかを判断し、当該判断に基づいて前記パラメータ推定手段、又は前記光軸並進運動復元手段のいずいれかに処理を行わせるかを決定する反復処理手段と、を備えることを特徴とするレンズ歪推定装置。
【請求項３】
カメラ手段によって取得した対象物の時系列画像に設定した画像座標系において、前記各画像の特徴点の時間的変化量を示す画像座標値を観測する特徴点観測手段と、
前記画像座標値から行列データを作成し、当該行列データから前記カメラ手段のカメラ視点運動、及び前記対象物の３次元形状を復元する因子分解処理手段と、
前記復元したカメラ視点運動及び３次元形状から再投影座標値を求め、当該再投影座標値、及び前記観測した画像座標値から前記カメラ手段のレンズ歪パラメータを推定するパラメータ推定手段と、
前記再投影座標値、及び前記画像座標値から光軸並進運動、及び焦点距離を復元する光軸並進運動・焦点距離復元手段と、
前記行列データから評価値を算出して、当該評価値が規定した許容値以下に収束しているかを判断し、当該判断に基づいて前記パラメータ推定手段、又は前記光軸並進運動・焦点距離復元手段のいずいれかに処理を行わせるかを決定する反復処理手段と、を備えることを特徴とするレンズ歪推定装置。
【請求項４】
カメラ手段によって取得した対象物の時系列画像に設定した画像座標系において、前記各画像の特徴点の時間的変化量を示す画像座標値を観測する特徴点観測手段と、
前記画像座標値にレンズ歪係数及び主点を用いて座標変換した座標値を要素とする漸近行列を生成し、当該漸近行列を特異値分解し、雑音除去を行って運動情報を表す行列データ、及び３次元情報を表す行列データを得て、前記運動情報の行列データの行列要素において、運動を規定するために設定した条件を満足する変換行列を求め、運動情報を表す行列データにこの変換行列を作用させてカメラ視点運動を復元し、前記３次元情報を表す行列データにこの変換行列の逆行列を作用させて物体形状を構成する３次元情報を復元する因子分解処理手段と、
前記復元したカメラ視点運動及び３次元形状から再投影座標値を求め、当該再投影座標値を関係付ける未校正投影モデルにおいてレンズ歪係数及び主点を未知数とした評価関数を設定し、当該評価関数を最適にするレンズ歪係数及び主点を求めることにより前記カメラ手段のレンズ歪パラメータを推定するパラメータ推定手段と、
前記再投影座標値、並びに前記画像座標値に前記レンズ歪係数及び主点を用いて変換した座標値から構成される値を要素とする行列データから光軸並進運動、及び焦点距離を復元する光軸並進運動・焦点距離復元手段と、
前記漸近行列を行列分解したときの主成分からカメラ視点運動への漸近値を表す評価値を算出して、当該評価値が規定した許容値以下に収束しているかを判断し、当該判断に基づいて前記パラメータ推定手段、又は前記光軸並進運動・焦点距離復元手段のいずいれかに処理を行わせるかを決定する反復処理手段と、を備えることを特徴とするレンズ歪推定装置。
【請求項５】
特徴点観測手段が、カメラ手段によって取得した対象物の時系列画像に設定した画像座標系において、前記各画像の特徴点の時間的変化量を示す画像座標値を観測する特徴点観測ステップと、
因子分解処理手段が、前記画像座標値から行列データを作成し、当該行列データから前記カメラ手段のカメラ視点運動、及び前記対象物の３次元形状を復元する因子分解処理ステップと、
パラメータ推定手段が、前記復元したカメラ視点運動及び３次元形状から再投影座標値を求め、当該再投影座標値、及び前記観測した画像座標値から前記カメラ手段のレンズ歪パラメータを推定するパラメータ推定ステップと、
光軸並進運動復元手段が、前記再投影座標値、及び前記画像座標値から光軸並進運動を復元する光軸並進運動復元ステップと、
反復処理手段が、前記行列データから評価値を算出して、当該評価値が規定した許容値以下に収束しているかを判断し、当該判断に基づいて前記パラメータ推定ステップ、又は前記光軸並進運動推定ステップのいずいれの処理を行うかを決定する反復処理ステップと、を備えることを特徴とするレンズ歪推定方法。
【請求項６】
特徴点観測手段が、カメラ手段によって取得した対象物の時系列画像に設定した画像座標系において、前記各画像の特徴点の時間的変化量を示す画像座標値を観測する特徴点観測ステップと、
因子分解処理手段が、前記画像座標値にレンズ歪係数及び主点を用いて座標変換した座標値を要素とする漸近行列を生成し、当該漸近行列を特異値分解し、雑音除去を行って運動情報を表す行列データ、及び３次元情報を表す行列データを得て、前記運動情報の行列データの行列要素において、運動を規定するために設定した条件を満足する変換行列を求め、運動情報を表す行列データにこの変換行列を作用させてカメラ視点運動を復元し、前記３次元情報を表す行列データにこの変換行列の逆行列を作用させて物体形状を構成する３次元情報を復元する因子分解処理ステップと、
パラメータ推定手段が、前記復元したカメラ視点運動及び３次元形状から再投影座標値を求め、当該再投影座標値を関係付ける未校正投影モデルにおいてレンズ歪係数及び主点を未知数とした評価関数を設定し、当該評価関数を最適にするレンズ歪係数及び主点を求めることにより前記カメラ手段のレンズ歪パラメータを推定するパラメータ推定ステップと、
光軸並進運動復元手段が、前記再投影座標値、並びに前記画像座標値に前記レンズ歪係数及び主点を用いて変換した座標値から構成される値を要素とする行列データから光軸並進運動を復元する光軸並進運動復元ステップと、
反復処理手段が、前記漸近行列を行列分解したときの主成分からカメラ視点運動への漸近値を表す評価値を算出して、当該評価値が規定した許容値以下に収束しているかを判断し、当該判断に基づいて前記パラメータ推定ステップ、又は前記光軸並進運動復元ステップのいずいれの処理を行うかを決定する反復処理ステップと、を備えることを特徴とするレンズ歪推定方法。
【請求項７】
特徴点観測手段が、カメラ手段によって取得した対象物の時系列画像に設定した画像座標系において、前記各画像の特徴点の時間的変化量を示す画像座標値を観測する特徴点観測ステップと、
因子分解処理手段が、前記画像座標値から行列データを作成し、当該行列データから前記カメラ手段のカメラ視点運動、及び前記対象物の３次元形状を復元する因子分解処理ステップと、
パラメータ推定手段が、前記復元したカメラ視点運動及び３次元形状から再投影座標値を求め、当該再投影座標値、及び前記観測した画像座標値から前記カメラ手段のレンズ歪パラメータを推定するパラメータ推定ステップと、
光軸並進運動・焦点距離復元手段が、前記再投影座標値、及び前記画像座標値から光軸並進運動、及び焦点距離を復元する光軸並進運動・焦点距離復元ステップと、
反復処理手段が、前記行列データから評価値を算出して、当該評価値が規定した許容値以下に収束しているかを判断し、当該判断に基づいて前記パラメータ推定ステップ、又は前記光軸並進運動・焦点距離復元ステップのいずいれの処理を行うかを決定する反復処理ステップと、を備えることを特徴とするレンズ歪推定方法。
【請求項８】
特徴点観測手段が、カメラ手段によって取得した対象物の時系列画像に設定した画像座標系において、前記各画像の特徴点の時間的変化量を示す画像座標値を観測する特徴点観測ステップと、
因子分解処理手段が、前記画像座標値にレンズ歪係数及び主点を用いて座標変換した座標値を要素とする漸近行列を生成し、当該漸近行列を特異値分解し、雑音除去を行って運動情報を表す行列データ、及び３次元情報を表す行列データを得て、前記運動情報の行列データの行列要素において、運動を規定するために設定した条件を満足する変換行列を求め、運動情報を表す行列データにこの変換行列を作用させてカメラ視点運動を復元し、前記３次元情報を表す行列データにこの変換行列の逆行列を作用させて物体形状を構成する３次元情報を復元する因子分解処理ステップと、
パラメータ推定手段が、前記復元したカメラ視点運動及び３次元形状から再投影座標値を求め、当該再投影座標値を関係付ける未校正投影モデルにおいてレンズ歪係数及び主点を未知数とした評価関数を設定し、当該評価関数を最適にするレンズ歪係数及び主点を求めることにより前記カメラ手段のレンズ歪パラメータを推定するパラメータ推定ステップと、
光軸並進運動・焦点距離復元手段が、前記再投影座標値、並びに前記画像座標値に前記レンズ歪係数及び主点を用いて変換した座標値から構成される値を要素とする行列データから光軸並進運動、及び焦点距離を復元する光軸並進運動・焦点距離復元ステップと、
反復処理手段が、前記漸近行列を行列分解したときの主成分からカメラ視点運動への漸近値を表す評価値を算出して、当該評価値が規定した許容値以下に収束しているかを判断し、当該判断に基づいて前記パラメータ推定ステップ、又は前記光軸並進運動・焦点距離復元ステップのいずいれの処理を行うかを決定する反復処理ステップと、を備えることを特徴とするレンズ歪推定方法。
【請求項９】
上記請求項１〜８のいずれかに記載のレンズ歪推定装置、又はレンズ歪推定方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とするレンズ歪推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ等の画像入力装置を使って取得した車載画像、室内画像、歩行撮影画像、船上からの海上画像、空撮画像などの時系列画像全般に利用可能で、取得した時系列画像から、カメラ視点の並進運動と光軸周りの回転（ヨー回転）、及び、時系列画像に映っている外界の３次元形状、すなわち被写体（物体）の外観形状を構成する３次元情報を復元し、同時にカメラ内部のレンズ歪パラメータ、及び焦点距離を推定する技術に関するものである。
【背景技術】
【０００２】
コンピュータビジョン分野では、時系列画像から対象物の形状を計測又は獲得する手法として、ステレオ計測やエピポーラ面解析を用いた３次元解析手法がある。この手法によれば、物体が撮影されている複数の時系列画像から、空間形状又は空間構造に関する３次元位置情報、及びカメラ視点に関する運動を復元することができる。しかし、カメラを動かしながら撮影した時系列画像にはランダム性の雑音が混入し、カメラ運動や物体形状を高精度に復元することが困難である。これに対して、因子分解法はランダム性の雑音が混入するようなビデオ画像などの時系列画像において、ユークリッド空間でのカメラ運動と物体形状をロバスト、かつ、高精度に復元することができる。しかし、この手法では、カメラの内部パラメータ（レンズ歪、焦点距離など）を既知としており、事前にカメラキャリブレーションによりカメラ内部パラメータを校正しておく必要がある。
【０００３】
ディジタル・スチルカメラやハンディカメラなどの市販カメラの光学系は複数のレンズで構成されており、理想的なピンホールカメラモデルから離れている。例えば、図１３に示すように、矩形形状１３２をカメラ１３１で撮影すると得られる画像１３３においてその矩形形状は樽型に歪む。この歪は主点を中心とし、主点から離れるほどその歪度合いは大きくなる。このようなレンズ歪を求めるには、図１４に示すように、三脚１４１上にカメラ１４２を固定し、市松模様などの３次元形状のターゲット１４３を奥行き方向に正確に移動させて、各奥行きでの３次元パターンを複数枚撮影し、得られた画像と既知の３次元座標値との対応関係からレンズ歪を求める手法が主流である。これに対して、図１５では、プリンタで印刷した程度の簡易な２次元のパターンを複数枚撮影した画像から、画像と既知の２次元座標値との対応関係からレンズ歪を算出する手法も存在する(例えば、非特許文献１参照。)。これらは精度よくレンズ歪を求めることができるが、いずれも既知の空間中の３次元座標値を与える必要があり、特に、図１４の場合はキャリブレーションするための高価で専用の器具が必要となる。
【０００４】
一方、市販カメラにはオートフォーカス機能が搭載されており、被写体との距離に合わせてピント調節を行い、ピントの合った画像の取得が可能である。レンズ歪を計測するときにはオートフォーカスで撮影された画像は各画像において焦点距離が微妙に調整される。この場合、レンズ歪と合わせて、このような焦点距離までも同時に推定する必要がある。
【非特許文献１】Ｚ．Ｚｈａｎｇ；“Ａ  Ｆｌｅｘｉｂｌｅ  Ｎｅｗ  Ｔｅｃｈｎｉｑｕｅ  ｆｏｒ  Ｃａｍｅｒａ  Ｃａｌｉｂｒａｔｉｏｎ”，ＩＥＥＥ  Ｔｒａｎｓ．Ｐａｔｔｅｒｎ  Ａｎａｌ．＆  Ｍａｃｈ．Ｉｎｔｅｌｌ，Ｖｏｌ．２２，Ｎｏ．１１，ｐｐ．１３３０−１３３４，２０００．
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ディジタル・スチルカメラやハンディタイプのビデオカメラを使って手動操作により撮影した画像において、被写体との距離に応じてフォーカスを調整するというオートフォーカス機能により、画像ごとにピントが調整された画像が得られる。このようなオートフォーカスでは時系列画像においては、それぞれ焦点距離が変化するため、外界の物体の空間情報を獲得・復元するとき従来の因子分解法を利用することができず、ピント調整のために変化する焦点距離を同時に復元しなければならないという問題がある。
【０００６】
さらに、市販カメラにはレンズ歪があり、カメラで取得した画像では矩形形状が樽型に歪む。このようなレンズ歪があると、画像計測では正確な計測が困難であり、コンピュータビジョンにおいても３次元形状復元に影響を及ぼす。このために、事前にレンズ歪パラメータを求めておき、処理の対象とする画像に対してレンズ歪の補正を行い、レンズ歪がない画像にしておく必要がある。又は、画像座標値をレンズ歪に対して補正する幾何的変換を行うことでも同じことができるようになる。しかし、このようなカメラキャリブレーション作業は特殊な装置や既知の情報を必要としており、ユーザが簡易に操作してレンズ歪のない画像を取得することが容易ではなかった。
【０００７】
かかる事情に鑑みて本発明はなされたものであり、その目的は、上記課題を解決したレンズ歪パラメータ推定技術を提供することにある。
【課題を解決するための手段】
【０００８】
本発明では、レンズ歪及び主点であるレンズ歪パラメータ、並びに焦点距離及び光軸並進運動を推定するための未校正投影モデルを
【０００９】
【数１】
2006195789.tif 000003
【００１０】
【数２】
2006195789.tif 000004
【００１１】
【数３】
2006195789.tif 000005
【００１２】
【数４】
2006195789.tif 000006
【００１３】
【数５】
2006195789.tif 000007
【００１４】
と仮定し、この投影モデルに基づいてカメラ運動、３次元形状（Ｘj，Ｙj，Ｚj）、レンズ歪係数ｋl、主点（Ｃｘ，Ｃｙ）、及び焦点距離ｆi光軸並進運動Ｔｚiを復元する。数式１では、第ｉフレームの画像において観測される第ｊ番目の特徴点の画像座標値を（ｘij，ｙij）、そのときの焦点距離をｆi、ＸＹ並進運動を（Ｔｘi，Ｔｙi）、光軸周りの回転をθiとする。また、画像座標値（ｘij，ｙij）は主点（ｐｒｉｎｃｉｐｌｅ  ｐｏｉｎｔ）を中心とした画像面において観測された座標値であり、画像面の横縦のアスペクト比は１：１とする。
【００１５】
上記を全フレーム（ｉ＝１，２，・・・，Ｆ）、全特徴点（ｊ＝１，２，・・・，Ｐ）に対して行列表記すると、
【００１６】
【数６】
2006195789.tif 000008
【００１７】
となる。
【００１８】
焦点距離ｆiはオートフォーカス機能等により変化してフレームごとに異なっている。また、画像から得られる観測座標値は（ｘij，ｙij）であり、数式６を満たすように、数式６の右辺に示すように因子分解して平面運動と３次元形状を復元するにはレンズ歪パラメータ、及び焦点距離と光軸並進運動を求めて、数式６の左辺の行列要素を準備しなければならない。
【００１９】
本発明では、数式６の左辺の行列要素を段階的に得ながら、数式６の右辺に示す行列に分解できるように、反復的に平面運動投影型の因子分解法(例えば、特開２００３−２７１９２５号参照。)を使う。また、数式６の左辺の行列要素を得るには焦点距離と光軸並進運動、及びレンズ歪パラメータが必要であるが、焦点距離及び光軸並進運動は時間的に可変であり、レンズ歪パラメータは時間的に一定であるために、同時に推定することは容易ではない。
【００２０】
そこで、本発明では、焦点距離及び光軸並進運動を復元する処理とレンズ歪パラメータを推定する処理とに分けて、この問題に対処する。
【００２１】
すなわち、焦点距離と光軸並進運動、及び平面運動・３次元形状が与えられたとすると、数式６は以下のように考えることができる。
【００２２】
【数７】
2006195789.tif 000009
【００２３】
【数８】
2006195789.tif 000010
【００２４】
数式８は平面運動投影型の因子分解法で得られる平面運動と３次元形状で算出される再投影座標値（ｘ’ij，ｙ’ij）であり、この座標値と観測座標値（ｘij，ｙij）が与えられたときに、数式７の等式を満たすように、レンズ歪パラメータを求める問題に帰着させる。この場合、全フレーム（ｉ＝１，２，・・・，Ｆ）、全特徴点（ｊ＝１，２，・・・，Ｐ）で加算して、
【００２５】
【数９】
2006195789.tif 000011
【００２６】
を評価関数として考え、数式９を最小化にするレンズ歪パラメータを求める。
【００２７】
パラメータ最適化には、最急降下法、並びにＰｏｗｅｌｌ法やＴａｙｌｏｒの微分補正法などの非線形最小二乗法、さらには、ニューラルネットワークを利用する。
【００２８】
一方、レンズ歪パラメータと平面運動・３次元形状が与えられたとすると、数式６は
【００２９】
【数１０】
2006195789.tif 000012
【００３０】
として考えることができる。
上記を全フレーム（ｉ＝１，２，・・・，Ｆ）、全特徴点（ｊ＝１，２，・・・，Ｐ）に対して行列表記すると、
【００３１】
【数１１】
2006195789.tif 000013
【００３２】
となる。この数式１１から、焦点距離と光軸並進運動を求める計算は
【００３３】
【数１２】
2006195789.tif 000014
【００３４】
【数１３】
2006195789.tif 000015
【００３５】
となる。ここで、数式１１の左辺はランクが２であるため、数式１２、数式１３の計算の前に、数式１１の右辺に示すｗijを要素とする行列［Ｗ］を特異値分解し、ランク３以降の成分を除去しておく。これにより、雑音に対してロバストな焦点距離及び光軸並進運動の復元が可能となる。
【００３６】
このように、焦点距離及び光軸並進運動を復元する処理とレンズ歪パラメータを推定する処理を反復的に実行する過程で、数式６の左辺の行列要素をもつ行列（漸近行列）を得て、平面運動投影に基づく因子分解法を使用し、数式６の右辺の行列分解を行う。
【００３７】
この反復において、平面運動への漸近を示す評価値として、漸近行列の要素と平面運動での再投影座標値の間の誤差、又は、漸近行列を特異値分解したときの特異値行列の特定の成分を使用することにより、漸近値の度合いにより焦点距離及び光軸並進運動を復元するか、レンズ歪パラメータを推定するかを決定し、漸近値を段階的に処理を切り替えながら０へ近づける。この漸近が完了することで、焦点距離及び光軸並進運動を復元して、レンズ歪パラメータを推定し、さらに、カメラ運動及び３次元形状を復元することができる。
【００３８】
上記説明は、焦点距離と光軸並進運動、及びレンズ歪パラメータの双方を求めるものであるが、焦点距離推定を行わずに光軸並進運動とレンズ歪パラメータを求めることも可能であり、この場合には上記において焦点距離ｆiを無視した場合の投影モデルを使って上記と同様に扱うことができる。このとき、光軸並進運動復元は、以下の計算により行う。
【００３９】
【数１４】
2006195789.tif 000016
【００４０】
【数１５】
2006195789.tif 000017
【００４１】
ただし、数式１４の左辺はランクが１であるため、数式１４の計算の前に、ｗijを要素とする行列［Ｗ］を特異値分解し、ランク２以降の成分を除去しておく。これにより、雑音に対してロバストな光軸並進運動の復元が可能となる。また、反復に必要な係数δijは
【００４２】
【数１６】
2006195789.tif 000018
【００４３】
となる。
【発明の効果】
【００４４】
請求項１〜９に記載の発明によれば、カメラ手段を使って取得した時系列画像全般（移動手段を利用して撮影した車載画像、海上画像、空撮画像、屋内画像など）から、オートフォーカス機能が働いた状況でもレンズ歪パラメータを推定することが可能であり、さらに請求項３、４、７、及び８に記載の発明によれば焦点距離も推定することができる。
【００４５】
また、請求項１〜９に記載の発明はカメラが平面運動する状況に適用可能である。
【００４６】
また、請求項１〜９に記載の発明ではカメラ運動及び次元形状、及びカメラ内部パラメータをより高精度に復元、推定することが可能であり、これらの処理に使用する計算は、大半が線形演算で構成されるため、コンピュータ言語での実装が容易である。
【００４７】
また、請求項１〜９に記載の発明ではレンズ歪パラメータを推定できるので、取得した画像に幾何的補正を行い、レンズ歪を低減した透視投影像を取得できる。すなわち、レンズ歪パラメータを用いて各画素の座標値を変換し、その座標値に画素を埋め込む（画像を幾何的に補正する）ことにより、レンズ歪を低減した透視投影での画像を取得することが可能となる。
【発明を実施するための最良の形態】
【００４８】
(実施形態１)
図１はカメラ１１を平面板１２の上に固定し、半径Ｒの円周上を平面運動させて画像取得するシステムの構成図である。また、図２は垂直に立てた平面板２２に光軸が垂直となるように固定されたカメラ２１が半径Ｒの円周上を平面運動して時系列画像を取得するシステムの構成図である。これらの撮影手段を利用することで、カメラを平面運動させて時系列画像を取得できる。
【００４９】
また、図１、図２に示すような回転台を必要とせず、簡易な手段でカメラを平面運動させて画像取得するシステムを図３に示す。このシステムでは、机などの平面な面上３２に垂直に立つ壁３３に、カメラ３１の背中を合わせて、スライドさせながら撮影することで、平面運動での時系列画像を取得できる。
【００５０】
図４は図１、図２、図３に記載のシステムにより時系列画像を取得したときのカメラと対象物との位置関係を表す図である。運動の中心は視点としており、視点を原点としたカメラ座標系ＸＹＺ，原点Ｏとした世界座標系ＸｗＹｗＺｗを設定する。この座標系において、カメラ運動として、Ｔi（Ｔｘi，Ｔｙi，Ｔｚi）の並進運動と光軸（Ｚ軸）周りのヨー回転θiとする。対象物の点Ｐj（Ｘj，Ｙj，Ｚj）はカメラにより画像面において投影中心（主点）を原点とした画像面へ投影され、画像座標値（ｘij，ｙij）として観測される。なお、説明の都合上、初期フレームでの視点とＯは一致しているものとし、光軸はＺｗ軸と平行関係にあり、θiはＸとＸｗ軸との成す角とするが、このことは一般性を損なうものではない。
【００５１】
実施形態１を図５〜図９を用いて説明する。図５は実施形態１におけるパラメータ推定装置の基本構成図であり、実施形態１のパラメータ推定装置は、時系列画像を蓄積した時系列画像データベース５１、各画像における特徴点の座標値を観測する特徴点観測部５２、画像座標値からなる行列データからカメラ運動と３次元形状を復元する因子分解処理部５３、レンズ歪パラメータを推定するパラメータ推定部５４、光軸方向の並進運動を復元する光軸並進運動復元部５５、カメラ運動と３次元形状及びレンズ歪パラメータが得られるまで処理を繰り返すための反復処理部５６から構成される。
【００５２】
時系列画像データベース５１には、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用することが可能であり、ネットワークを介したリモートなデータ資源を利用することも可能である。また、図６はリアルタイムで処理を行う場合のパラメータ推定装置の基本構成図である。図６に示すように、パラメータ推定装置は必ずしも各データベース部などの記憶装置を必要としない。
【００５３】
このような構成のパラメータ推定装置において、まず、特徴点観測部５２が対象物を撮影した時系列画像として時系列画像データベースからフレーム数Ｆの画像系列を取り出す。この取り出した画像系列において特徴点追跡を行う。特徴点は従来から用いられているような以下の手順により抽出する。
【００５４】
図７に示すように画像１の領域１において
（１）各画素に対する２×２のヘッセ行列を求める。
（２）各点の３×３近傍領域において極大点かどうか判定し、極大点以外の点を削除する（ｎｏｎ−ｍａｘｉｍａ  ｓｕｐｐｒｅｓｓｉｏｎ）。
（３）得られた各点のヘッセ行列の固有値σl，σs（σs≦σl）を求め、σsがσp以上となる点を抽出する。
（４）抽出した点のσsの大きさの順にソートし、上位の点から順番にその点（ｐl）より上位の点（ｐh）が所定のσd画素以内の距離に存在するかどうかを判定し、もし、存在する場合は下位の点ｐlを削除する。さらに、抽出した特徴点（ｊ＝１，２，・・・，Ｐ）をＫＬＴ法（Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ）により画像ｉ（ｉ＝２，・・・，Ｆ）にわたって追跡し、画像座標値（ｘij，ｙij）を観測する。このようにして得られた特徴の画像座標値を
【００５５】
【数１７】
2006195789.tif 000019
【００５６】
に示す配列に並べた２Ｆ×Ｐの行列データ（行列データ[Ａ]）を用意する。
【００５７】
次に、因子分解処理部５３、パラメータ推定部５４、光軸並進運動復元部５５、及び反復処理部５６の処理内容について、図８の処理フロー図にそって説明する。
【００５８】
まず、因子分解処理部５３が、行列［Ａ］入力を行う(Ｓ８０１)。
【００５９】
漸近行列の生成(Ｓ８０２)では、レンズ歪係数ｋl、主点（Ｃｘ，Ｃｙ）、及び光軸並進運動Ｔｚiを
【００６０】
【数１８】
2006195789.tif 000020
【００６１】
のように初期化し、保持しておいた数式１７の２Ｆ×Ｐの行列データ［Ａ］の行列要素（ｘij，ｙij）から、数式２にしたがってκij，（ｕij，ｖij）を、数式３により係数δijを計算する。
【００６２】
これらの値を
【００６３】
【数１９】
2006195789.tif 000021
【００６４】
に示す配列に並べた２Ｆ×Ｐの行列を漸近行列［Ｂ］として保持しておく。ただし、初期状態として、処理モードを「パラメータ推定」にしておく。
【００６５】
漸近行列［Ｂ］を入力データとして特異値分解(Ｓ８０３)により
【００６６】
【数２０】
2006195789.tif 000022
【００６７】
に示す３つの行列［Ｕ］，［Ｗ］，［Ｖ］に行列分解する。ここで、［Ｕ］は２Ｆ×Ｐサイズの行列、［Ｗ］はＰ×Ｐサイズの対角行列、［Ｖ］はＰ×Ｐサイズの行列である。
【００６８】
雑音除去(Ｓ８０４)では、
【００６９】
【数２１】
2006195789.tif 000023
【００７０】
の第二項に示すように、ランク４以降の各行列の成分を削除する。
【００７１】
この削除のときは、下記の数式２２に示すように、行列［Ｕ］を取り出し、この行列の要素において第４から第Ｐ列目までを削除し、残りの成分からなる行列を保持し、行列［Ｗ］を取り出し、この行列の要素において第４から第Ｐ行目及び第４から第Ｐ列目までを削除し、残りの成分からなる行列を保持し、行列［Ｖ］を取り出し、この行列の要素において第４から第Ｐ行目までを削除し、残りの成分からなる行列をそれぞれ保持する。
【００７２】
【数２２】
2006195789.tif 000024
【００７３】
ただし、特異値行列の（４，４）成分Ｗ44は保持しておく。次に、第４から第Ｐ行目及び第４から第Ｐ列目までを削除した行列［Ｗ］の対角要素の平方根をとった行列から、
【００７４】
【数２３】
2006195789.tif 000025
【００７５】
【数２４】
2006195789.tif 000026
【００７６】
に示す行列［Ｕ’］及び行列［Ｖ’］を得る。
【００７７】
変換行列算出(Ｓ８０５)では、保持してある行列［Ｕ’］を取り出し、
【００７８】
【数２５】
2006195789.tif 000027
【００７９】
【数２６】
2006195789.tif 000028
【００８０】
【数２７】
2006195789.tif 000029
【００８１】
に示す連立する条件式における対称行列［Ｃ］（下記の数式２８で表されている）
【００８２】
【数２８】
2006195789.tif 000030
【００８３】
の各要素にかかる係数を計算する。これらの係数計算は、行列演算により容易に得られるものであり、この条件式を全フレームに対して計算する。
【００８４】
次に、全フレームの数式２５〜数式２７に示す連立する条件式に対して、最小二乗法などの数値計算を利用して３×３サイズの行列［Ｃ］の各要素を決定する。この求めた行列［Ｃ］を
【００８５】
【数２９】
2006195789.tif 000031
【００８６】
に示すように固有値分解する。
【００８７】
ここで、固有値行列の平方根と固有値行列から、
【００８８】
【数３０】
2006195789.tif 000032
【００８９】
の行列［Ｃ’］を生成し、この行列要素を成分にもつ行列［Ｑ］を
【００９０】
【数３１】
2006195789.tif 000033
【００９１】
に従って算出する。
【００９２】
平面運動復元(Ｓ８０６)では、求めた行列［Ｑ］と、保持しておいた行列［Ｕ’］から、
【００９３】
【数３２】
2006195789.tif 000034
【００９４】
の行列演算により行列［Ｍ’］を計算する。
【００９５】
この行列［Ｍ’］から各フレーム（第ｉフレーム）の行列要素（ｍix，ｎix）または（ｍiy，ｎiy）を取り出し、
【００９６】
【数３３】
2006195789.tif 000035
【００９７】
を使って、ヨー回転θiを復元する。
【００９８】
次に、行列［Ｍ’］から各フレーム（第ｉフレーム）の行列要素（Ｔiu，Ｔiv）を取り出す。この（Ｔiu，Ｔiv）から、
【００９９】
【数３４】
2006195789.tif 000036
【０１００】
を使って第ｉフレームにおけるユークリッド空間でのＸＹ並進運動（Ｔｘi，Ｔｙi）を計算する。
【０１０１】
３次元情報復元(Ｓ８０７)では、先に保持しておいた行列［Ｖ’］と、変換行列算出で得られた行列［Ｑ］から、
【０１０２】
【数３５】
2006195789.tif 000037
【０１０３】
に示す行列演算を行い、行列［Ｓ’］を求める。
【０１０４】
次に、行列［Ｓ’］の要素に対して、
【０１０５】
【数３６】
2006195789.tif 000038
【０１０６】
に示す変換を行い、これを要素とする行列を［Ｐ］とする。行列［Ｐ］の列ベクトルは、それぞれ第ｊ番目の特徴点のユークリッド空間での３次元座標値（Ｘj，Ｙj，Ｚj）になっている。
【０１０７】
ここで、処理モードが「パラメータ推定」、又は「光軸並進運動復元」のいずれになっているかを判断するが(Ｓ８０８)、初期状態では処理モードが「パラメータ推定」に選択されているため、レンズ歪パラメータ推定が実行される。
【０１０８】
パラメータ推定(Ｓ８０９)では、行列データ［Ａ］の入力から観測座標値（ｘij，ｙij）が与えられる。
【０１０９】
一方、平面運動及び３次元情報を復元した後に、数式８に示す再投影座標値（ｘ’ij，ｙ’ij）を求めておく。
【０１１０】
図９はパラメータ推定(Ｓ８０９)における処理フローである。
【０１１１】
図８に示すように、まず、レンズ歪パラメータを初期化する(Ｓ９０１)。
【０１１２】
次に、パラメータ当てはめに必要な観測座標値（ｘij，ｙij）を行列［Ａ］入力から取り出し、求めておいた数式８の再投影座標値（ｘ’ij，ｙ’ij）を準備する。
【０１１３】
微分係数の計算(Ｓ９０２)は
【０１１４】
【数３７】
2006195789.tif 000039
【０１１５】
【数３８】
2006195789.tif 000040
【０１１６】
【数３９】
2006195789.tif 000041
【０１１７】
【数４０】
2006195789.tif 000042
【０１１８】
【数４１】
2006195789.tif 000043
【０１１９】
【数４２】
2006195789.tif 000044
【０１２０】
【数４３】
2006195789.tif 000045
【０１２１】
【数４４】
2006195789.tif 000046
【０１２２】
【数４５】
2006195789.tif 000047
【０１２３】
に示す値ａ11，ａ12，ａ13，ａ22，ａ23，ａ33，ｂ1，ｂ2，ｂ3を求める。
【０１２４】
続いて、補正量の計算(Ｓ９０３)では、数式３７〜数式４５の値を要素とする行列から
【０１２５】
【数４６】
2006195789.tif 000048
【０１２６】
に示す計算を実行し、補正量を△ｋ1，△Ｃｘ，△Ｃｙを得る。この補正量を
【０１２７】
【数４７】
2006195789.tif 000049
【０１２８】
に示すように加算したものを新たなレンズ歪パラメータとする(Ｓ９０４)。
【０１２９】
このとき、各補正量が許容値以下になるかどうかを判断し(Ｓ９０５)、各補正量が許容値以下になる場合はそのまま処理を終了し、そのときのレンズ歪パラメータを保有しておく。
【０１３０】
一方、補正量が許容値以下とならない場合は、補正量を数式４７に示すように加算したものを新たなレンズ歪パラメータとして、数式３７〜数式４５に示す値ａ11，ａ12，ａ13，ａ22，ａ23，ａ33，ｂ1，ｂ2，ｂ3を求め直し、数式４６に示す計算を実行し、次の補正量を△ｋl，△Ｃｘ，△Ｃｙを得る。
【０１３１】
補正量を数式４７に示すように加算したものを新たなレンズ歪パラメータとし、新たに算出した補正量が許容値以下かどうかを判定する。この補正量を算出するための反復は許容値以下となるまで続ける。
【０１３２】
これにより、数式９の評価関数において、観測座標値（ｘij，ｙij）、及び再投影座標値（ｘ’ij，ｙ’ij）が与えられた場合の最適なレンズ歪パラメータが得られる。
【０１３３】
なお、本実施形態１では放射型のレンズ歪を対象としているが、その他のレンズ歪モデルにも応用ができ、解析的に微分係数と補正量が得られれば、上記と同様に他のレンズ歪モデルにおいても本実施形態１を利用することができる。
【０１３４】
反復処理部５６では、保持しておいたＷ44と１つ前の反復でのＷ44との絶対差分ΔＷを算出し(Ｓ８１１)、この差ΔＷが許容値以下に収束しているかを判断し(Ｓ８１２)、許容値以下に収束していない場合は、現時点で保有している光軸並進運動Ｔｚiとレンズ歪パラメータｋl，（Ｃｘ，Ｃｙ）を使って数式２に示す座標値（κijｕij，κijｖij）を更新する。
【０１３５】
この係数更新に伴い、漸近行列の生成(Ｓ８０２)では
【０１３６】
【数４８】
2006195789.tif 000050
【０１３７】
により漸近行列［Ｂ］を更新する。
【０１３８】
この更新された漸近行列［Ｂ］を新たな入力データとして特異値分解(Ｓ８０３)からの一連の処理を繰り返す。各繰り返しにおいて、差ΔＷが許容値以下に収束したかを判断し(Ｓ８１２)、許容値以下に収束した場合は、パラメータ推定の処理を終了し、処理モードを「光軸並進運動復元」に切り替える(Ｓ８１４)。
【０１３９】
処理モードを「光軸並進運動復元」に切り替えた場合、処理モードの選択以降では「光軸並進運動復元」の処理(Ｓ８１０)を開始する。
【０１４０】
まず、数式２から座標値（κijｕij，κijｖij）と、数式８の再投影座標値（ｘ’ij，ｙ’ij）から数式１０に示す値ｗijを求める。
【０１４１】
次に、ｗijを行列要素とする数式１１のＦ×Ｐの行列［Ｗ］を準備し、行列［Ｗ］を特異値分解により行列［Ｕｗ］，［Ｗｗ］，［Ｖｗ］に分解して、ランク２以降の成分を除去する。すなわち、この削除のときは、行列［Ｕｗ］を取り出し、この行列の要素において第２から第Ｐ列目までを削除し、残りの成分からなる行列を保持し、行列［Ｗｗ］を取り出し、この行列の要素において第２から第Ｐ行目及び第２から第Ｐ列目までを削除し、残りの成分からなる行列を保持し、行列［Ｖｗ］を取り出し、この行列の要素において第２から第Ｐ行目までを削除し、残りの成分からなる行列をそれぞれ保持する。
【０１４２】
さらに、［Ｕｗ］［Ｗｗ］［Ｖｗ］の行列演算を計算してこれを新たな行列［Ｗ］として保持しておく。雑音除去された行列［Ｗ］が得られたら、数式１４、数式１５に示す演算を行い、光軸並進運動Ｔｚiを得る。
【０１４３】
反復処理部５６では、保持しておいたＷ44と１つ前の反復でのＷ44との絶対差分ΔＷを算出し、この差ΔＷが許容値以下に収束しているかを判断し(Ｓ８１２)、許容値以下に収束していない場合は、先の計算で求めた光軸並進運動及び現時点で保有しているレンズ歪パラメータを使用して、数式２に示す座標値（κijｕij，κijｖij）及び、数式１６により係数δijを更新する。
【０１４４】
この係数更新に伴い、漸近行列の生成(Ｓ８０２)では数式１９の漸近行列［Ｂ］を更新する。この更新された［Ｂ］を新たな入力データとして、特異値分解(Ｓ８０３)以降の一連の処理を繰り返す。各繰り返しにおいて、差ΔＷが許容値以下に収束したかを判断し(Ｓ８１２)、許容値以下に収束した場合は、光軸並進運動復元の処理を終了し、処理モードを「パラメータ推定」に切り替える(Ｓ８１４)。
【０１４５】
本実施形態１の処理モードの切り替え(Ｓ８１４)において、パラメータ推定及び光軸並進運動復元間の切り替えの際、切り替え回数がＮ回を超えたかを判断し(Ｓ８１３)、切り替え回数がＮ回を超えた時点で全ての処理を停止し、その時点でのレンズ歪パラメータと光軸並進運動を出力する。
【０１４６】
以上、本実施形態１により、時系列画像の特徴点の画像座標値から、カメラ視点の運動：光軸周りの回転とＸＹＺ軸方向の並進運動、及び物体形状を構成する３次元情報を復元し、同時に、レンズ歪パラメータを推定することができる。
【０１４７】
(実施形態２)
実施形態２を図１０〜図１２を用いて説明する。図１０は実施形態２におけるパラメータ推定装置の基本構成図であり、実施形態２のパラメータ推定装置は、時系列画像を蓄積した時系列画像データベース１０１、各画像における特徴点の座標値を観測する特徴点観測部１０２、画像座標値からなる行列データからカメラ運動及び３次元形状を復元する因子分解処理部１０３、レンズ歪パラメータを推定するパラメータ推定部１０４、焦点距離を推定する光軸並進運動・焦点距離復元部１０５、カメラ運動及び３次元形状、レンズ歪パラメータ、並びに光軸並進運動及び焦点距離が得られるまで処理を繰り返すための反復処理部１０６から構成される。
【０１４８】
時系列画像データベース１０１には、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する、または、ネットワークを介したリモートなデータ資源を利用する形態でもどちらでも構わない。
【０１４９】
また、図１１はリアルタイムで処理を行う場合のパラメータ推定装置の基本構成図である。図１１に示すように、パラメータ推定装置は必ずしも各データベース部などの記憶装置を必要としない。
【０１５０】
なお、本実施形態２は、実施形態１に対して光軸並進運動・焦点距離復元部１０５の処理が異なっているため、以下では、この部分と関連する処理についてのみ記載する。
【０１５１】
ここで、因子分解処理部１０３、パラメータ推定部１０４、光軸並進運動・焦点距離復元部１０５、及び反復処理部１０６の処理内容について、図１２に示す処理フロー図にそって説明する。
【０１５２】
まず、レンズ歪係数ｋl、主点（Ｃｘ，Ｃｙ）、及び光軸並進運動Ｔｚi、焦点距離ｆiを
【０１５３】
【数４９】
2006195789.tif 000051
【０１５４】
のように初期化し(Ｓ１２０１)、漸近行列の生成(Ｓ１２０２)において保持しておいた数式１７の２Ｆ×Ｐの行列データ[Ａ]の行列要素（ｘij，ｙij）から、数式２にしたがって（κijｕij，κijｖij）を、数式３にしたがってδijを計算する。これらの値を要素とする数式１９の２Ｆ×Ｐの漸近行列［Ｂ］として保持しておく。
【０１５５】
なお、特異値分解(Ｓ１２０３)から平面運動復元(Ｓ１２０６)、３次元情報復元の処理(Ｓ１２０７)は実施形態１で説明しているため、ここでは説明を省略する。以降では、実施形態１と異なる光軸並進運動・焦点距離復元に関する処理について説明する。
【０１５６】
処理モードを「光軸並進運動復元・焦点距離推定」に切り替えた場合(Ｓ１２１４)には、処理モードの選択以降では「光軸並進運動復元・焦点距離推定」の処理(Ｓ１２１０)を開始する。
【０１５７】
この処理では、まず、数式２から座標値（κijｕij，κijｖij）を、数式８の再投影座標値（ｘ’ij，ｙ’ij）から数式１０に示す値ｗijを求める。
【０１５８】
次に、ｗijを行列要素とする数式１１のＦ×Ｐの行列［Ｗ］を準備し、行列［Ｗ］を特異値分解により行列［Ｕｗ］，［Ｗｗ］，［Ｖｗ］に分解して、ランク３以降の成分を除去する。すなわち、この削除のときは、行列［Ｕｗ］を取り出し、この行列の要素において第３から第Ｐ列目までを削除し、残りの成分からなる行列を保持し、行列［Ｗｗ］を取り出し、この行列の要素において第３から第Ｐ行及び第３から第Ｐ列目までを削除し、残りの成分からなる行列を保持し、行列［Ｖｗ］を取り出し、この行列の要素において第３から第Ｐ行目までを削除し、残りの成分からなる行列をそれぞれ保持する。さらに、［Ｕｗ］［Ｗｗ］［Ｖｗ］の行列演算を計算してこれを新たな行列［Ｗ］として保持しておく。
【０１５９】
雑音除去された行列［Ｗ］が得られたら、数式１２、数式１３に示す演算を行い、光軸並進運動Ｔｚi及び焦点距離ｆiを得る。
【０１６０】
反復処理部１０６では、保持しておいたＷ44と１つ前の反復でのＷ44との絶対差分ΔＷを算出し、この差ΔＷが許容値以下に収束しているかを判断し(Ｓ１２１２)、許容値以下に収束していない場合は、先の計算で求めた光軸並進運動及び現時点で保有しているレンズ歪パラメータを使って数式２に示す座標値（κijｕij，κijｖij）を、数式３により係数δijを更新する。この係数更新に伴い、漸近行列の生成(Ｓ１２０２)では数式１９の漸近行列［Ｂ］を更新する。
【０１６１】
この更新された［Ｂ］を新たな入力データとして特異値分解(Ｓ１２０３)以降の一連の処理を繰り返す。各繰り返しにおいて、差ΔＷが許容値以下に収束したかを判断し(Ｓ１２１２)、許容値以下に収束した場合は、光軸並進運動・焦点距離復元の処理(Ｓ１２１０)を終了し、処理モードを「パラメータ推定」に切り替える。
【０１６２】
本実施形態２の処理モードの切り替え(Ｓ１２１４)において、パラメータ推定と光軸並進運動・焦点距離復元との間の切り替えの際、切り替え回数がＮ回を超えたかを判断し(Ｓ１２１３)、切り替え回数がＮ回を超えた時点で全ての処理を停止し、その時点でのレンズ歪パラメータ及び光軸並進運動、焦点距離を出力する。
【０１６３】
以上、本実施形態２により、時系列画像の特徴点の画像座標値から、カメラ視点の運動：光軸周りの回転及びＸＹＺ軸方向の並進運動、並びに物体形状を構成する３次元情報を復元し、同時に、レンズ歪パラメータ、焦点距離を推定することができる。
【０１６４】
なお、パラメータ推定装置は、例えば、パラメータ推定装置を構成するコンピュータ装置が有するＣＰＵによって実現され、特徴点観測機能、因子分解処理機能、パラメータ推定機能、光軸並進運動復元機能、焦点距離復元機能、反復処理機能などをアプリケーションプログラムとして搭載することができる。
【０１６５】
また、コンピュータ装置には上記説明した特徴点観測、因子分解処理、パラメータ推定、光軸並進運動復元、焦点距離復元、反復処理など行った処理結果や計算結果等のデータを内部メモリや外部記憶装置等に書き込み・読み出しができるようにしてもよい。
【０１６６】
また、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システム又は装置に供給し、そのシステム又は装置のＣＰＵ(ＭＰＵ)が記録媒体に格納されたプログラムコードを読み出し実行することによっても実現できる。その場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＨＤＤ等は本発明を構成する。
【図面の簡単な説明】
【０１６７】
【図１】カメラを平面板の上に固定し、半径Ｒの円周上を平面運動させて画像取得するシステムの構成図。
【図２】垂直に立てた平面板に光軸が垂直となるように固定されたカメラが半径Ｒの円周上を平面運動して時系列画像を取得するシステムの構成図。
【図３】回転台を必要とせず、簡易な手段でカメラを平面運動させて画像取得するシステムの構成図。
【図４】カメラ視点と３次元位置、及び、本発明の説明で使用する座標系を示す図。
【図５】実施形態１におけるパラメータ推定装置の構成図。
【図６】実施形態１におけるパラメータ推定装置の構成図。
【図７】特徴点抽出の説明図。
【図８】実施形態１における因子分解処理部、パラメータ推定部、光軸並進運動復元部、及び反復処理部の処理フロー図。
【図９】パラメータ推定の処理フロー図。
【図１０】実施形態２におけるパラメータ推定装置の構成図。
【図１１】実施形態２におけるパラメータ推定装置の構成図。
【図１２】実施形態２における因子分解処理部、パラメータ推定部、光軸並進運動・焦点距離復元部、及び反復処理部の処理フロー図。
【図１３】レンズ歪の説明図。
【図１４】３次元ターゲットを被写体としたレンズ歪測定の説明図。
【図１５】２次元ターゲットを被写体としたレンズ歪測定の説明図。
【符号の説明】
【０１６８】
１１…カメラ
１２…平面板
２１…カメラ
２２…回転平面板
３１…カメラ
３２…平面な面
３３…壁
５１…時系列画像データベース
５２…特徴点観測部
５３…因子分解処理部
５４…パラメータ推定部
５５…光軸並進運動復元部
５６…反復処理部
６１…画像入力部
６２…特徴点観測部
６３…因子分解処理部
６４…パラメータ推定部
６５…光軸並進運動復元部
６６…反復処理部
１０１…時系列画像データベース
１０２…特徴点観測部
１０３…因子分解処理部
１０４…パラメータ推定部
１０５…光軸並進運動・焦点距離復元部
１０６…反復処理部
１１１…画像入力部
１１２…特徴点観測部
１１３…因子分解処理部
１１４…パラメータ推定部
１１５…光軸並進運動・焦点距離復元部
１１６…反復処理部
１３１…カメラ
１３２…被写体形状
１３３…投影像
１４１…三脚
１４２…カメラ
１４３…３次元ターゲット
【図１】
2006195789.tif 000052
【図２】
2006195789.tif 000053
【図３】
2006195789.tif 000054
【図４】
2006195789.tif 000055
【図５】
2006195789.tif 000056
【図６】
2006195789.tif 000057
【図７】
2006195789.tif 000058
【図８】
2006195789.tif 000059
【図９】
2006195789.tif 000060
【図１０】
2006195789.tif 000061
【図１１】
2006195789.tif 000062
【図１２】
2006195789.tif 000063
【図１３】
2006195789.tif 000064
【図１４】
2006195789.tif 000065
【図１５】
2006195789.tif 000066