(57)【要約】【課題】ステレオ視を用い、１枚の画像上で測定範囲を設定するだけで画像内オブジェクトの実寸を算出する。【解決手段】画像計測装置は、測定対象及び参照物体が同時に撮影された２枚の画像の撮影時のアフィン射影行列及び透視射影行列と、両画像間の拘束関係を与える行列とを算出する撮影情報算出部２００と、一方の画像において対象領域を囲んで指定された矩形の辺を、参照物体の像の３つの辺の像の線形結合で表した際の結合係数を算出し、矩形の形状を修正する対象領域決定部３００と、他方の画像において、矩形に対応する領域を対応対象領域として算出する対応対象領域決定部４００と、透視射影行列と、対象領域での矩形の頂点位置と、対応対象領域での矩形の頂点位置を用いて、対象領域へのカメラ中心からの奥行と参照物体へのカメラ中心からの奥行を比較し、対象領域の頂点の３次元座標を算出する対象領域実寸算出部５００と、を有する。【選択図】        図１
2006300656.tif 000002
【特許請求の範囲】
【請求項１】
測定対象、及び、同一平面上になくかつ相互の位置関係が既知である少なくとも６つの点を有する３次元参照物体が同時に撮影された少なくとも２枚の画像から、前記測定対象を囲む矩形領城をなす頂点の３次元座標値を算出する画像計測方法であって、
前記測定対象及び前記３次元参照物体が同時に撮影された少なくとも２枚の画像を入力する段階と、
前記３次元参照物体の像の４つの点の像を前記入力された２枚の画像において取得することにより、前記２枚の画像の撮影時の、アフィンカメラを仮定した射影行列、及び前記２枚の画像間の拘束関係を与える行列を算出して記憶し、さらに、前記４つの点の像に加えて他の２つの点の像を前記２枚の画像において取得することにより、前記２枚の画像を撮影したときの透視射影カメラを仮定した射影行列を算出して記憶する段階と、
実寸測定の対象となる領域を対象領域として、前記２枚の画像のうちの一方の画像において、前記対象領域を囲む画面上での２次元の矩形の指定を受け入れて記憶し、前記矩形の辺を、前記３次元参照物体の像の、１つの点で交わる３つの辺の像の線形結合で表した際の結合係数を算出し、前記矩形の形状を修正して前記矩形の画面上での頂点位置を記憶する段階と、
前記２枚の画像のうちの他方の画像において、前記矩形に対応する領域を対応対象領域として算出し、前記対応対象領域の画面上での頂点位置を記憶する段階と、
前記アフィンカメラを仮定した射影行列と、前記対象領域での頂点位置と、前記対応対象領域での頂点位置を用いて、前記対象領域の頂点の３次元座標を算出し、さらに、前記透視射影カメラを仮定した射影行列を用いて、前記３次元座標が復元された対象領域へのカメラからの距離を算出し、前記復元された対象領域の３次元座標値を算出する段階と、
を有する画像計測方法。
【請求項２】
前記２枚の画像の少なくとも一方と、前記対象領域の画面上での頂点位置と、前記対象領域の頂点位置の３次元座標とを用いて、前記対象領域内の画像データを他の画像あるいは３次元シーンに合成して表示する段階をさらに有する、請求項１に記載の画像計測方法。
【請求項３】
前記矩形領域の画面上での頂点位置を対応対象領域として記憶する段階は、
前記算出された結合係数を用いて、前記３次元参照物体の像の、１つの点で交わる３つの辺の像の線形結合で前記対応対象領域の画面上での頂点位置を算出し評価する段階と、
前記算出された２画面間の拘束を与える行列を用いて、前記対象領域の頂点の前記他方の画像での対応位置を算出し評価する段階と、
前記一方の画像における前記対象領域内の輝度情報から得られる特徴点と、前記他方の画像における前記対応対象領域内の輝度情報から得られる特徴点との間の類似度を算出し評価する段階と、
前記各評価する段階による評価値を基に前記対応対象領域の位置、形状を変化させつつ、前記対応対象領域を決定する段階と、
を有する、請求項１または２に記載の画像による画像計測方法。
【請求項４】
前記一方の画像で指定した対象領域の、前記他方の画像における対応対象領域を決定した後に、前記対応対象領域を新たな対象領域とみなし、再び前記一方の画像における新たな対応対象領域を求める段階を有する、請求項１乃至３のいずれか１項に記載の画像計測方法。
【請求項５】
測定対象、及び、同一平面上になくかつ相互の位置関係が既知である少なくとも６つの点を有する３次元参照物体が同時に撮影された少なくとも２枚の画像から、前記測定対象を囲む矩形領城をなす頂点の３次元座標値を算出する画像計測装置であって、
前記測定対象及び前記３次元参照物体が同時に撮影された少なくとも２枚の画像を入力し、記憶及び／または表示するための画像入力手段と、
前記３次元参照物体の像の４つの点の像を前記入力された２枚の画像において取得することにより、前記２枚の画像の撮影時の、アフィンカメラを仮定した射影行列、及び前記２枚の画像間の拘束関係を与える行列を算出して記憶し、さらに、前記４つの点の像に加えて他の２つの点の像を前記２枚の画像において取得することにより、前記２枚の画像を撮影したときの透視射影カメラを仮定した射影行列を算出して記憶する撮影情報算出手段と、
実寸測定の対象となる領域を対象領域として、前記２枚の画像のうちの一方の画像において、前記対象領域を囲む画面上での２次元の矩形の指定を受け入れて記憶し、前記矩形の辺を、前記３次元参照物体の像の、１つの点で交わる３つの辺の像の線形結合で表した際の結合係数を算出し、前記矩形の形状を修正して前記矩形の画面上での頂点位置を記憶する対象領域決定手段と、
前記２枚の画像のうちの他方の画像において、前記矩形に対応する領域を対応対象領域として算出し、前記対応対象領域の画面上での頂点位置を記憶する対応対象領域決定手段と、
前記アフィンカメラを仮定した射影行列と、前記対象領域での頂点位置と、前記対応対象領域での頂点位置を用いて、前記対象領域の頂点の３次元座標を算出し、さらに、前記透視射影カメラを仮定した射影行列を用いて、前記３次元座標が復元された対象領域へのカメラからの距離を算出し、前記復元された対象領域の３次元座標値を算出する対象領域実寸算出手段と、
を有する画像計測装置。
【請求項６】
前記２枚の画像の少なくとも一方と、前記対象領域の画面上での頂点位置と、前記対象領域の頂点位置の３次元座標とを用いて、前記対象領域内の画像データを他の画像あるいは３次元シーンに合成して表示する対象領域表示手段をさらに有する、請求項５に記載の画像計測装置。
【請求項７】
前記対応対象領域決定手段は、
前記算出された結合係数を用いて、前記３次元参照物体の像の、１つの点で交わる３つの辺の像の線形結合で前記対応対象領域の画面上での頂点位置を算出し評価する領域形状算出手段と、
前記算出された２画面間の拘束を与える行列を用いて、前記対象領域の頂点の前記他方の画像での対応位置を算出し評価する領域位置算出手段と、
前記一方の画像における前記対象領域内の輝度情報から得られる特徴点と、前記他方の画像における前記対応対象領域内の輝度情報から得られる特徴点との間の類似度を算出し評価する特徴量算出手段と、
前記領域形状算出手段、前記領域位置算出手段及び前記特徴量算出手段による評価値を基に前記対応対象領域の位置、形状を変化させつつ、前記対応対象領域を決定する対応領域移動・評価手段と、
を有する請求項５または６に記載の画像による画像計測装置。
【請求項８】
前記一方の画像で指定した対象領域の、前記他方の画像における対応対象領域を決定した後に、前記対応対象領域を新たな対象領域とみなし、再び前記一方の画像における新たな対応対象領域を求める手段を有する、請求項５乃至７のいずれか１項に記載の画像計測装置。
【請求項９】
コンピュータを、
測定対象、及び、同一平面上になくかつ相互の位置関係が既知である少なくとも６つの点を有する３次元参照物体が同時に撮影された少なくとも２枚の画像を入力し、記憶及び／または表示するための画像入力手段、
前記３次元参照物体の像の４つの点の像を前記入力された２枚の画像において取得することにより、前記２枚の画像の撮影時の、アフィンカメラを仮定した射影行列、及び前記２枚の画像間の拘束関係を与える行列を算出し、さらに、前記４つの点の像に加えて他の２つの点の像を前記２枚の画像において取得することにより、前記２枚の画像を撮影したときの透視射影カメラを仮定した射影行列を算出して記憶する撮影情報算出手段、
実寸測定の対象となる領域を対象領域として、前記２枚の画像のうちの一方の画像において前記対象領域を囲む画面上での２次元の矩形の指定を受け入れて記憶し、前記矩形の辺を、前記３次元参照物体の像の、１つの点で交わる３つの辺の像の線形結合で表した際の結合係数を算出し、前記矩形の形状を修正して前記矩形の画面上での頂点位置を記憶する対象領域決定手段、
前記２枚の画像のうちの他方の画像において、前記矩形に対応する領域を対応対象領域として算出し、前記対応対象領域の画面上での頂点位置を記憶する対応対象領域決定手段、
前記アフィンカメラを仮定した射影行列と、前記対象領域での頂点位置と、前記対応対象領域での頂点位置を用いて、前記対象領域の頂点の３次元座標を算出し、さらに、前記透視射影カメラを仮定した射影行列を用いて、前記３次元座標が復元された対象領域へのカメラからの距離を算出し、前記復元された対象領域の３次元座標値を算出する対象領域実寸算出手段、
として機能させるプログラム。
【請求項１０】
前記コンピュータを、さらに、前記２枚の画像の少なくとも一方と、前記対象領域の画面上での頂点位置と、前記対象領域の頂点位置の３次元座標とを用いて、前記対象領域内の画像データを他の画像あるいは３次元シーンに合成して表示する対象領域表示手段として機能させる、請求項９に記載のプログラム。
【請求項１１】
前記対応対象領域決定手段は、
前記算出された結合係数を用いて、前記３次元参照物体の像の、１つの点で交わる３つの辺の像の線形結合で前記対応対象領域の画面上での頂点位置を算出し評価する領域形状算出手段と、
前記算出された２画面間の拘束を与える行列を用いて、前記対象領域の頂点の前記他方の画像での対応位置を算出し評価する領域位置算出手段と、
前記一方の画像における前記対象領域内の輝度情報から得られる特徴点と、前記他方の画像における前記対応対象領域内の輝度情報から得られる特徴点との間の類似度を算出し評価する特徴量算出手段と、
前記領域形状算出手段、前記領域位置算出手段及び前記特徴量算出手段による評価値を基に前記対応対象領域の位置、形状を変化させつつ、前記対応対象領域を決定する対応領域移動・評価手段と、
から構成され、前記コンピュータを前記領域形状算出手段、前記領域位置算出手段、前記特徴量算出手段及び前記対応領域移動・評価手段としても機能させる、請求項９または１０に記載の画像によるプログラム。
【請求項１２】
前記コンピュータを、さらに、前記一方の画像で指定した対象領域の、前記他方の画像における対応対象領域を決定した後に、前記対応対象領域を新たな対象領域とみなし、再び前記一方の画像における新たな対応対象領域を求める手段として機能させる、請求項９乃至１１のいずれか１項に記載のプログラム。
【請求項１３】
コンピュータが読み取り可能な記録媒体であって、請求項９乃至１２のいずれか１項に記載のプログラムを格納した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、実寸及び形状が既知である物体（参照物体）と実寸及び形状が未知である物体（測定対象物体）とを同時に撮影した複数の画像を用いて、測定対象物体を囲む矩形領域の実寸を算出する、画像計測方法及び装置に関する。
【背景技術】
【０００２】
撮影された画像を用いて被写体の実寸を測定することは、いわゆる写真測量の分野で広く行われている。近年、ディジタルカメラに代表されるディジタル画像撮影装置の精度が向上し、またディジタル画像撮影装置で撮影したデータ（ディジタル画像）を記録する記録媒体の容量も増大しているため、撮影及び記録画像における縦横の画素（ピクセル）数すなわち解像度が大きくなり、それによって、ディジタル画像は、フィルムカメラ（銀塩カメラ）により撮影されたアナログ画像に匹敵する画質を有するようになってきている。
ディジタル画像はコンピュータ処理が容易であるため、これらディジタル画像撮影装置の発展に伴い、写真測量の撮影手段としてディジタル画像撮影装置を用いることが主流となってきている。
【０００３】
画像を用いた実寸の測量は、通常、撮影時の視点からの距離をステレオ視を適用して復元するという三角測量原理により行われることがほとんどであり、その原理は非特許文献１をはじめとする多くの文献に記載されている。
【０００４】
以下、ディジタル画像撮影装置を単にカメラ等と称し、ディジタル画像撮影装置によって撮影された画像をディジタル画像、あるいは単に画像と称する。また、測量の対象となる現実世界に設定された３次元デカルト座標系を世界座標系またはワールド座標系と呼び、ワールド座標系の３次元の点を
【０００５】
【数１】
2006300656.tif 000003
【０００６】
などと表す。また、撮影の視点位置（カメラ中心）を原点とする３次元デカルト座標系をカメラ座標系と呼ぶ。また、撮影され記録されたディジタル画像上での２次元デカルト座標系を画像座標系と呼び、画像座標系の２次元の点を
【０００７】
【数２】
2006300656.tif 000004
【０００８】
などと表す。なお、以下の説明において、記載の簡略化のために、各種の記号に関し、混同をきたさない限りにおいて、イタリックのボールド体で記載された例えば
【０００９】
【数３】
2006300656.tif 000005
【００１０】
を、単に活字体（例えばｍ，ｍ′）で記載することがある。
【００１１】
図１は、ステレオ視の原理を表している。図において、ステレオ視に用いられる２枚の画像はそれぞれＩ，Ｉ′で表わされており、Ｏ，Ｏ′はそれぞれ画像Ｉ，Ｉ′のカメラ中心である。Ｏwはワールド座標系の原点であり、
【００１２】
【数４】
2006300656.tif 000006
【００１３】
はワールド座標系における３次元、ｍ，ｍ′はそれぞれＩ，Ｉ′における
【００１４】
【数５】
2006300656.tif 000007
【００１５】
の像である。また、
【００１６】
【数６】
2006300656.tif 000008
【００１７】
はエピポールである。
【００１８】
ここで図１に示すように、ワールド座標系の点
【００１９】
【数７】
2006300656.tif 000009
【００２０】
が異なる複数の画像に撮影されている場合、それぞれの画像に写っている
【００２１】
【数８】
2006300656.tif 000010
【００２２】
の像を対応点と呼ぶ。すなわち、図１においては、画像Ｉ上の点ｍの、画像Ｉ′上における対応点はｍ′であり、逆にｍ′の画像Ｉにおける対応点はｍである。もちろん、複数の画像に重複して撮影されている部分が多ければ、それだけ対応点の数は多い。
【００２３】
さて、ステレオによる測量の原理は以下のとおりである。カメラ中心の位置を変えて撮影した２枚の画像上における参照物体の対応点、すなわち、ワールド座標系での同一位置が、それぞれの画像に写っている位置の画像座標値がわかれば、それぞれの画像を撮影したカメラの射影行列、すなわちワールド座標中のある点が画像中のどの点に射影されたかを計算するための行列がわかる。どのようなカメラモデルを仮定するかにより、必要な対応点の数は異なる。このとき、必要な対応点の画素座標値だけが既知であると、被写体のもとの３次元座標値は相対的なスケールでしか復元できない。
【００２４】
しかし、必要な対応点が写している現実の３次元世界の点の、ワールド座標系での３次元座標値と、その対応点の組のそれぞれの画像での画像座標値がわかれば、すなわち、
【００２５】
【数９】
2006300656.tif 000011
【００２６】
が既知であれば、スケール因子も含めた射影行列を得ることができる。この、ワールド座標系での３次元座標値と、対応点の組のそれぞれの画像での画像座標値との組を、以下記号
【００２７】
【数１０】
2006300656.tif 000012
【００２８】
あるいは単にＳと表すこととする。
【００２９】
この、Ｓがいくつ既知であればよいかも、どのようなカメラモデルを仮定するかにより異なってくる。例えば、非特許文献２や非特許文献３において説明されているアフィンカメラを仮定すると、４組の異なるＳがわかれば、２枚の画像の射影行列を知ることができる。この事情を以下に説明する。
【００３０】
【数１１】
2006300656.tif 000013
【００３１】
をワールド座標系における３次元の点とし、ｍを、実際に撮影されたディジタル画像上の２次元の点とすると、一般に、撮影された画像上の点ｍ＝［ｕ，ｖ］Tとワールド座標空間の点
【００３２】
【数１２】
2006300656.tif 000014
【００３３】
との間には以下の関係が成り立つ。ただし、ＡTは行列あるいはベクトルＡの転置を表す記号である：
【００３４】
【数１３】
2006300656.tif 000015
【００３５】
ここでｓはスケール因子、Ｐは３行４列の射影行列である。
【００３６】
アフィンカメラを仮定して、行列Ｐの未知の成分をｐij（ｉ＝１，２；ｊ＝１，２，３，４）で表すと、非特許文献２、非特許文献３に示されているように、一般に(1)式は以下のように簡略化される：
【００３７】
【数１４】
2006300656.tif 000016
【００３８】
したがって、２枚の画像Ｉ，Ｉ′を撮影したアフィンカメラの射影行列をＰ，Ｐ′、その未知の成分をｐij，ｐ'ij（ｉ＝１，２；ｊ＝１，２，３，４）とし、あるワールド座標の点
【００３９】
【数１５】
2006300656.tif 000017
【００４０】
が画像Ｉ，Ｉ′上の対応点ｍ＝［ｕ，ｖ］T，ｍ′＝［ｕ′，ｖ′］Tに射影されたとすると、次の式が成り立つ：
【００４１】
【数１６】
2006300656.tif 000018
【００４２】
したがって、アフィンカメラを仮定した射影行列を求める場合、(4)式の右辺の行列には１６個の未知数があり、１つの３次元ワールド座標及び画像上の対応点ペアＳごとに４つの方程式が出てくるので、４組の情報がわかればよいことになる。
【００４３】
いったん射影行列Ｐ及びＰ′が求まれば、ワールド座標における未知の点
【００４４】
【数１７】
2006300656.tif 000019
【００４５】
があったとき、その点
【００４６】
【数１８】
2006300656.tif 000020
【００４７】
をそれぞれの画像に射影した点ｍ，ｍ′を見つけることにより、(4)式によって点
【００４８】
【数１９】
2006300656.tif 000021
【００４９】
を求めることができる。これを利用すれば、２枚の画像に撮影された物体上の計測したい点の、２枚の画像上での位置を求めてそのワールド座標での距離を求めれば、撮影されている物体の実寸がわかることになる。
【００５０】
ところで、上述したアフィンカメラよりも現実に近い透視射影カメラを仮定すると、(1)式の代わりに、
【００５１】
【数２０】
2006300656.tif 000022
【００５２】
となる。(5)式において右辺の行列の１２個の成分に同一の実数を乗じても、この式は同じ結果を与えるため、独立な成分の数は１１である。また、１つの式から２つの独立な式を得ることができるので、既知の３次元の点
【００５３】
【数２１】
2006300656.tif 000023
【００５４】
とその画像への像ｍが６つ得られれば、非特許文献２に記載の方法によって、右辺のｐpij（ｉ＝１，２，３；ｊ＝１，２，３，４）を得ることができる。
【００５５】
同様に、前述した既知の３次元の点
【００５６】
【数２２】
2006300656.tif 000024
【００５７】
と、他の画像への像ｍ′が６つ得られれば、ｐ'pij（ｉ＝１，２，３；ｊ＝１，２，３，４）を得ることができる。
【００５８】
以下、アフィンカメラを仮定した射影行列（アフィン射影行列ともいう）と透視射影カメラを仮定した射影行列（透視射影行列ともいう）とを区別するために、透視射影行列については、Ｐp，Ｐp′のように、添え字ｐをつけて表すこととする。
【００５９】
ひとたびＰp及びＰp′が得られたとすると、(5)式を用いて、両画面の対応点ｍ，ｍ′から未知のワールド座標［Ｘw，Ｙw，Ｚw］を計算することが可能になる。その手順は、次の通りである。
【００６０】
１つの３次元ワールド座標とその像とから、以下の３つの式が導かれる：
ｓｕ＝ｐp11Ｘw＋ｐp12Ｙw＋ｐp13Ｚw＋ｐp14，
ｓｖ＝ｐp21Ｘw＋ｐp22Ｙw＋ｐp23Ｚw＋ｐp24，
ｓ＝ｐp31Ｘw＋ｐp32Ｙw＋ｐp33Ｚw＋ｐp34．
第３の式をｕ倍して第１の式から引いたものと、第３の式をｖ倍して第２の式から引いたものとから、下記式が得られる。
【００６１】
(ｐp11−ｕｐp31)Ｘw＋(ｐp12−ｕｐp32)Ｙw＋(ｐp13−ｕｐp33)Ｚw＋ｐp14−ｕｐp34＝０，
(ｐp21−ｖｐp31)Ｘw＋(ｐp22−ｖｐp32)Ｙw＋(ｐp23−ｖｐp33)Ｚw＋ｐp24−ｖｐp34＝０．
他の画像の透視射影行列成分をｐ'pijとして同様の式を得て、それらをまとめると、次のようになる：
【００６２】
【数２３】
2006300656.tif 000025
【００６３】
すなわち、１組のＳから、未知数３つに対して４つの式が得られることになる。この式は、ａij（ｉ，ｊ＝１，２，３，４）を既知の係数、
【００６４】
【数２４】
2006300656.tif 000026
【００６５】
を未知のベクトルとして、次のように書くことができる。
【００６６】
【数２５】
2006300656.tif 000027
【００６７】
このとき、
【００６８】
【数２６】
2006300656.tif 000028
【００６９】
を避けるために、(7)式における左辺の係数行列とその転置行列とを乗算して得られる実対称行列の最小固有値及びその最小固有値に対応する固有ベクトルを、
【００７０】
【数２７】
2006300656.tif 000029
【００７１】
という条件で求めると、その固有ベクトルが(7)式を満たす解であることが広く知られている。この固有ベクトルの全成分を第４成分（ｗ）で除算したものが、求める［ｘ，ｙ，ｚ，１］Tである。
【００７２】
したがって、２枚の画像に撮影された物体上の計測したい点の、２枚の画像上での位置を求めてそのワールド座標系での座標を求めれば、撮影されている物体の実寸が分かることになる。
【００７３】
しかしながらこの方法では、測定の対象となる物体のワールド座標系の点が画像上のどこに射影されているかを、少なくとも２枚の画像にわたり、求めなければならない、という問題があった。また、一方の画像Ｉにおいて、測定の対象点の像を指定し、他方の画像Ｉ′上で対応点探索により対応点を求めたとしても、誤対応が生じると正確な結果が得られない、という問題があった。
【００７４】
従来の手法においては、この対応点を正確に求めることによって、計測の精度を向上しようとするものが開示されている。例えば、特許文献１においては、２枚の画像を平行化することによって対応点付けを行う手法が開示されている。また、特許文献２においては、複数カメラにおいて撮影された画像において、マーカーの位置の対応位置を求めるために、探索窓位置を更新しつつ探索する手法が関示されている。
【００７５】
しかしながら、特許文献１、特許文献２ともに、計測の対象となる範囲を直感的に指定できない、という問題があった。
【００７６】
また、アフィンカメラを仮定して３次元座標値の復元を考慮する場合、アフィン射影においては、カメラから一定の距離にある面にいったん被写体の像を射影し、その後、その面上の像を撮像面に射影するため、復元される奥行情報（カメラからの距離）は一定である。そのため、カメラからの被写体や参照物体までの距離が被写体の厚みに比べて大きくないときや、被写体とカメラとの間の距離と、参照物体とカメラとの間の距離とに差異がある場合には、復元した３次元座標値がよい近似値とはならない、という問題を生ずる。
【特許文献１】特開２００３−１８５４３４号公報
【特許文献２】特開２００１−１４１４１８号公報
【非特許文献１】Toni Scenk著，村井俊治・近津博文監訳，「デジタル写真測量」，（社）日本測量協会発行，２００２年
【非特許文献２】Gang Xu and Zhengyon Zhang, "Epipolar Geometry in Stereo, Motion and Object Recognition: A Unified Approach", Kluwer Academic Publishers, 1996
【非特許文献３】佐藤淳著、「コンピュータ・ビジョン−視覚の幾何学−」、コロナ社発行、１９９９年
【発明の開示】
【発明が解決しようとする課題】
【００７７】
本発明は、画像に撮影されている対象の大きさを計測しようとする際に、１枚の画像上において測定範囲を矩形（すなわち長方形）等で設定すれば、他の画像上において対応点を指定することなく、その測定範囲のワールド座標系における座標値を得て実寸を算出し、その測定範囲を他の画像に合成することにより実寸比較することが可能となる、画像計測方法及び装置を提供することにある。
【課題を解決するための手段】
【００７８】
本発明の画像計測方法は、
測定対象、及び、同一平面上になくかつ相互の位置関係が既知である少なくとも６つの点を有する３次元参照物体が同時に撮影された少なくとも２枚の画像から、測定対象を囲む矩形領城をなす頂点の３次元座標値を算出する画像計測方法であって、
測定対象及び３次元参照物体が同時に撮影された少なくとも２枚の画像Ｉ，Ｉ′を入力する段階と、
３次元参照物体の像の４つの点の像を、入力された２枚の画像Ｉ，Ｉ′において取得することにより、２枚の画像Ｉ，Ｉ′の撮影時の、アフィンカメラを仮定した射影行列、及び２枚の画像Ｉ，Ｉ′間の拘束関係を与える拘束行列を算出し、さらにその４つの点の像に加えて他の２点の像を２枚の画像Ｉ，Ｉ′において取得することにより、２枚の画像Ｉ，Ｉ′の撮影時の、透視射影カメラと仮定した射影行列を算出して記憶する段階と、
実寸測定の対象となる領域を対象領域Ｍとして、一方の画像Ｉにおいて、対象領域Ｍを囲む画面上での２次元の矩形の指定を受け入れて記憶し、その矩形の辺を、３次元参照物体の像の、１つの点で交わる３つの辺の像の線形結合で表した際の結合係数を算出し、矩形の形状を修正して矩形の画面上での頂点位置を記憶する段階と、
他方の画像Ｉ′において、先に指定された矩形の対応領域を対応対象領域Ｍ′として、対応対象領域Ｍ′を算出し、対応対象領域Ｍ′の画面上での頂点位置を記憶する段階と、
算出されたアフィンカメラを仮定した射影行列と、対象領域Ｍでの頂点位置と、対応対象領域Ｍ′での頂点位置を用いて、対象領域Ｍの頂点の３次元ワールド座標を算出し、さらに、透視射影カメラを仮定した射影行列を用いて、３次元座標が復元された対象領域へのカメラからの距離を算出し、復元された対象領域の３次元座標値を算出する段階と、を有する。
【００７９】
本発明においては、射影行列や拘束行列を算出する際には、３次元参照物体の実寸、形状の情報を取得することが好ましい。
【００８０】
本発明では、画像ＩまたはＩ′上での対象領域頂点位置とその３次元ワールド座標を用いて、他の画像あるいは３次元シーンに合成して表示するようにすることができる。
【００８１】
また本発明では、矩形領域の画面上での頂点位置を対応対象領域として記憶する段階は、例えば、算出された結合係数を用いて、３次元参照物体の像の、１つの点で交わる３つの辺の像の線形結合で対応対象領域の画面上での頂点位置を算出し評価する段階と、算出された２画面間の拘束を与える行列を用いて、対象領域の頂点の他方の画像Ｉ′での対応位置を算出し評価する段階と、一方の画像Ｉにおける対象領域Ｍ内の輝度情報から得られる特徴点と、他方の画像Ｉ′における対応対象領域Ｍ′内の輝度情報から得られる特徴点との間の類似度を算出し評価する段階と、各評価する段階による評価値を基に対応対象領域Ｍ′の位置、形状を変化させつつ、対応対象領域Ｍ′を決定する段階と、を有する。
【００８２】
さらに本発明では、一方の画像Ｉで指定した対象領域Ｍの、他方の画像Ｉ′における対応対象領域Ｍ′を決定した後に、その対応対象領域Ｍ′を新たな対象領域とみなし、再び一方の画像Ｉにおける新たな対応対象領域を求めるようにしてもよい。
【００８３】
本発明の画像計測装置は、測定対象、及び、同一平面上になくかつ相互の位置関係が既知である少なくとも６つの点を有する３次元参照物体が同時に撮影された少なくとも２枚の画像から、測定対象を囲む矩形領城をなす頂点の３次元座標値を算出する画像計測装置であって、
測定対象及び３次元参照物体が同時に撮影された少なくとも２枚の画像を入力し、記憶及び／または表示するための画像入力手段と、
３次元参照物体の像の４つの点の像を、入力された２枚の画像において取得することにより、２枚の画像の撮影時の、アフィンカメラを仮定した射影行列、及び２枚の画像間の拘束関係を与える行列を算出して記憶し、さらにその４つの点の像に加えて他の２点の像を２枚の画像において取得することにより、２枚の画像の撮影時の、透視射影カメラと仮定した射影行列を算出して記憶する撮影情報算出手段と、
実寸測定の対象となる領域を対象領域として、２枚の画像のうちの一方の画像において、対象領域を囲む画面上での２次元の矩形の指定を受け入れて記憶し、その矩形の辺を、３次元参照物体の像の、１つの点で交わる３つの辺の像の線形結合で表した際の結合係数を算出し、矩形の形状を修正して矩形の画面上での頂点位置を記憶する対象領域決定手段と、
２枚の画像のうちの他方の画像において、対象領域決定手段での矩形に対応する領域を対応対象領域として算出し、対応対象領域の画面上での頂点位置を記憶する対応対象領域決定手段と、
アフィンカメラを仮定した射影行列と、対象領域での頂点位置と、対応対象領域での頂点位置を用いて、対象領域の頂点の３次元座標を算出し、さらに、透視射影カメラを仮定した射影行列を用いて、３次元座標が復元された対象領域へのカメラからの距離を算出し、復元された対象領域の３次元座標値を算出する対象領域実寸算出手段と、
を有する。
【発明の効果】
【００８４】
本発明は、画像に撮影されている測定対象の範囲を片方の画像のみで矩形により指定しさえすれば、その範囲の実寸を得ることができるというと効果がある。
【発明を実施するための最良の形態】
【００８５】
次に、本発明の好ましい実施の形態について、図面を参照して説明する。図２は、本発明の実施の一形態の計測装置の全体を示すブロック図である。図３は、この計測装置の細部を示すブロック図である。
【００８６】
計測装置は、測定対象、及び、同一平面上になく実寸における相互の位置関係が既知である少なくとも６つの点を有する３次元参照物体（以下、単に参照物体ともいう）が同時に撮影された少なくとも２枚の画像から、測定対象を囲む矩形領城（長方形領域）をなす頂点の３次元座標値を算出するものであって、画像入力部１００と、撮影情報算出部２００と、対象領域決定部３００と、対応対象領域決定部４００と、対象領域実寸算出部５００と、対象領域表示部６００と、を備えている。参照物体における前述の少なくとも６つの点のことを参照点ともいう。
【００８７】
以下の説明において、アフィンカメラを仮定した際の、２つのアフィン射影行列及び相互の拘束関係式を求めるためには、４つの参照点の３次元座標値と、それぞれの２枚の画像への像の２次元座標値が必要である。また、透視射影カメラを仮定した際の、２つの透視射影行列を求めるためには、６つの参照点の３次元座標値と、それぞれの２枚の画像への像の２次元座標値が必要である。したがって、６つの参照点及びその両画像への像の組を２つの透視射影行列の計算に用い、さらにその６組中の４組を２つのアフィン射影行列及び相互の拘束関係式を求めるために用いてもよい。
【００８８】
なお、参照物体において実寸における相互の位置関係が既知であるとは、たとえば参照物体の１つの参照点を原点とみなした場合、適当な座標系を設定することによって、その原点からの３次元座標値によって他の参照点を表すことができ、その座標単位がミリメートルやセンチメートルのように具体的に測定されていることを意味する。
【００８９】
例えば、少なくとも１つの頂点を形成する３つの辺の長さが既知である立方体または直方体または平行六面体を参照物体として想定すると、この参照物体は８個の頂点を有し、これらの頂点を参照点として、そのうちの１つの頂点をワールド座標系の原点（０，０，０）とみなすことができる。そして、原点とみなされた頂点を通る１つの辺をｘ軸に取り、例えば右手系を形成するように他の２辺をｙ軸、ｚ軸に取り、それぞれの辺の長さ（ｄ1，ｄ2及びｄ3とする）を用いて、これらの３辺をなす４つの頂点を３次元ワールド座標系においてそれぞれ（０，０，０），（ｄ1，０，０），（０，ｄ2，０），（０，０，ｄ3）としてアフィン射影行列の算出に用い、この４つの頂点に加え、他の頂点のうちの２つ例えば（ｄ1，ｄ2，０），（０，ｄ2，ｄ3）を用いて透視射影行列の算出を行うことができる。
【００９０】
以下の説明では、アフィン射影行列及び２枚の画像間の拘束式を求めるための４つの参照点として、立方体または直方体または平行六面体における１つの頂点を形成する３つの辺を形成する合計４つの頂点を用いることとし、透視射影行列を求めるための６つの参照点としては、前述した４つの頂点と他の２つの頂点を用いることとする。本発明においては、参照物体としては、このような立方体または直方体または平行六面体でなくても、少なくとも６つの点を有しそのうちの１点から他の各点までの相対的な座標値がわかっているものであれば、どのような形状のものも使用することができ、また、以下に述べる説明はそのような任意の形状のものにもあてはまる。しかしながら、立方体または直方体または平行六面体であればそれらの頂点を参照点とすることにより、各参照点における座標の成分の値のいくつかを０とすることができ、当業者には容易に推測がつくように、計算を簡単なものとすることができる。
【００９１】
画像入力部１００は、画像読込部１０１と画像記憶部１０２と画像表示部１０３とを備えており、測定対象、及び、立方体または直方体または平行六面体をなす参照物体が同時に撮影された少なくとも２枚の画像を入力し、記憶あるいは表示する。撮影情報算出部２００は、参照物体情報入力部２０１と参照物体抽出部２０２と対応点取得部２０３と対応関係算出・記憶部２０４とアフィン射影行列算出・記憶部２０５と透視射影行列算出・記憶部２０６とを備えており、参照物体の実寸、形状の情報を取得し、参照物体の像の６つの頂点の像を入力された２枚の画像（一方の画像と他方の画像）において取得することにより、２枚の画像の撮影時のアフィンカメラを仮定した射影行列、２枚の画像間の拘束関係を与える行列、及び２枚の画像の撮影時の透視射影カメラを仮定した射影行列を算出し記憶する。対象領域決定部３００は、基底ベクトル導出部３０１と対象領域選択部３０２と結合係数導出部３０３と領域変形部３０４と領域位置記憶部３０５とを備えており、一方の画像において実寸測定の対象となる領域（これを対応領域という）を囲む画面上での２次元の矩形の指定を受け入れて記憶し、その矩形の辺を、参照物体の像の、１つの頂点で交わる３つの辺の像の線形結合で表した際の結合係数を算出し、その矩形の形状を修正して矩形の画面上での頂点位置を記憶する。
【００９２】
対応対象領域決定部４００は、領域形状算出部４０１と領域位置算出部４０２と特徴量算出部４０３と対応領域移動・評価部４０４とを備えており、他方の画像において、先に指定された矩形に対応する領域（これを対応対象領域という）を算出し、対応対象領域の画面上での頂点位置を記憶する。特に、領域形状算出部４０１は、算出された結合係数を用いて、参照物体の像の、１つの頂点で交わる３つの辺の像の線形結合によって、対応対象領域の画面上での頂点位置を算出し評価する。領域位置算出部４０２は、算出された２画面間の拘束を与える行列を用いて、対象領域の頂点の別の画像での対応位置を算出し評価する。特徴量算出部４０３は、一方の画像における対象領域内の輝度情報から得られる特徴点と、他方の画像における対応対象領域内の輝度情報から得られる特徴点との間の類似度を算出し評価する。そして対応領域移動・評価部４０４は、領域形状算出部４０１、領域位置算出部４０２及び特徴量算出部４０３による評価値を基に、対応対象領域位置、形状を変化させつつ、対応対象領域を決定する。
【００９３】
対象領域実寸算出部５００は、世界座標算出部５０１と相対座標算出部５０２と奥行算出部５０３と実寸算出部５０４とを備えており、算出されたアフィン射影行列と、対象領域決定部３００により算出され記憶された対象領域の頂点位置と、対応対象領域決定部４００により算出され記憶された対応対象領域の頂点位置とを用いて、対象領域の頂点の３次元座標を算出する。さらに対象領域実寸算出部５００は、透視射影行列を用いて、対象領域の頂点への３次元座標のカメラ中心からの距離と参照物体の原点（ワールド座標系の原点とみなしている）への３次元座標のカメラ中心からの距離との比を算出し、算出した比に基づいて、対象領域の頂点の３次元座標値を修正する。対象領域表示部６００は、テクスチャオブジェクト生成部６０１とポリゴン生成部６０２と画像生成部６０３と表示部６０４とを備えており、入力された画像と、対象領域の画面上での頂点位置と、その３次元座標を用いて、対象領域内の画像データを他の画像あるいは３次元シーンに合成して表示する機能を有する。
【００９４】
次に、この計測装置を用いた、測定対象及び参照物体が同時に撮影された少なくとも２枚の画像から測定対象を囲む矩形領城をなす頂点の３次元座標値を算出する処理を説明する。ここで参照物体は、少なくとも１つの頂点を形成する３つの辺の長さが既知である立方体または直方体または平行六面体である。
【００９５】
まず、画像入力部１００の画像読込部１０１において、測定対象及び参照物体が撮影された少なくとも２枚の画像を入力する。このとき、少なくとも２枚の画像において、撮影するカメラのカメラ中心は移動していることが望ましく、参照物体のひとつの頂点を通る３つの辺が画像上に写っていることが望ましい。また、この３つの辺の像は、画像上において数画素以上の長さを有することが望ましい。また、３つの辺のうち１つは現実の世界において鉛直方向であり、他の２辺はこの鉛直方向の辺に垂直であることが望ましい。以下は、参照物体のひとつの頂点を通る３つの辺が上記の条件を満たしているものとして説明を進める。なお、鉛直ではない２辺は、互いに垂直であることが好ましいが、同一直線上でなければ、垂直でなくてもよい。以下、画像を２枚とし、それぞれの画像をＩ，Ｉ′とする。
【００９６】
次に、画像入力部１００の画像記憶部１０２は、画像読込部１０１で読み込んだ画像を記憶し、またその画像を画像表示部１０３が表示する。この画像の表示は、後述する対象領域決定部３００の対象領域選択部３０２において、ユーザによる矩形の入力を受け付けるためのものである。
【００９７】
以上のようにして画像入力部１００での画像の入力と記憶とが終了すると、次に、撮影情報算出部２００が起動し、その参照物体情報入力部２０１が、あらかじめ入力しておいた参照物体の上述の３つの辺の実寸及び形状を取得する。以下、参照物体の３つの辺が交わる頂点の３次元ワールド座標をＸ0、Ｘ0から引いた鉛直下向きに相当する辺をなす参照物体の頂点の３次元ワールド座標をＸ2とする。また、ワールド座標系においてＸoを原点とみなし、Ｘ0Ｘ2を下向きＹ軸とみなし、Ｘ0を通る残りの２つの辺をＸ軸、Ｚ軸とみなしたときに、これらＸ軸、Ｙ軸、Ｚ軸が右手系をなすようにＸ軸、Ｚ軸を取るものとし、参照物体の残りの２つの辺の、Ｘ軸をなす辺をＸ0Ｘ1、Ｚ軸をなす辺をＸ0Ｘ3とする。本発明においては、ワールド座標系の原点はどこにとっても構わないので、上述のようにＸoを原点とし、Ｘ0Ｘ1をＸ軸、Ｘ0Ｘ2をＹ軸、Ｘ0Ｘ3をＺ軸とすることにする。
【００９８】
参照物体情報入力部２０１は、Ｘ0Ｘ1，Ｘ0Ｘ2，Ｘ0Ｘ3の長さを取得することになる。この長さはユーザが手入力によって入力してもよいし、あらかじめ既知のものとして設定されていてもよいし、例えばネットワークに接続されたデータベースサーバ内のテンプレートモデルと参照物体とを照合し、照合結果に応じてテンプレートモデルでの長さを取得するようにしてもよい。
【００９９】
次に、参照物体抽出部２０２が、画像Ｉ，Ｉ′において参照物体の３つの辺をなす４つの頂点の像を抽出する。すなわち、２枚の画像における４つの頂点の像の座標値を、それぞれの画像に設定された２次元座標値により求める。これは、例えばユーザにより画面上にこれらの画像を表示しながら手入力によって指定してもよいし、参照物体の形状が既知であるとしてHough（ハフ）変換により辺を抽出してあらかじめ登録されていたモデルとのテンプレートマッチングを行ってもよい。４つの頂点の像が抽出されると、対応点取得部２０３が、４つの頂点の画像Ｉ，Ｉ′における像を対応付ける。参照物体抽出部２０２での頂点像の抽出や対応点取得部２０３における対応付けは、上述のように手入力にて同時に実施してもよい。対応点取得部２０３での対応付けには、既知の手法、例えば、ブロックマッチングやオプティカルフローを用いてもよい。
【０１００】
以下、参照物体の４つの頂点Ｘ0，Ｘ1，Ｘ2，Ｘ3の画像Ｉにおける像をそれぞれ
【０１０１】
【数２８】
2006300656.tif 000030
【０１０２】
とおき、画像Ｉ′における像をそれぞれ
【０１０３】
【数２９】
2006300656.tif 000031
【０１０４】
とおく。例えば図４に示す
【０１０５】
【数３０】
2006300656.tif 000032
【０１０６】
はその例である。図４は、対応領域の探索を表す図である。ここで図４(a)は一方の画像Ｉを、図４(b)は他方の画像Ｉ′を示しており、
【０１０７】
【数３１】
2006300656.tif 000033
【０１０８】
はそれぞれ画像Ｉ，Ｉ′における参照物体の頂点の像であり、ｍi，ｍ'i（ｉ＝０，１，２，３）は矩形領域の頂点を表している。また
【０１０９】
【数３２】
2006300656.tif 000034
【０１１０】
は、それぞれ、頂点ｍiの画像Ｉ′におけるエピポーラ線を示す。
【０１１１】
次に、対応関係算出・記憶部２０４は、
【０１１２】
【数３３】
2006300656.tif 000035
【０１１３】
の座標値から、画像Ｉ及びＩ′間に成り立つ拘束関係を用いて、拘束行列を求める。
【０１１４】
一般に、撮影時のカメラ中心が異なる２つの画像において、対応点、すなわち同じ３次元ワールド座標の点のそれぞれの画像上での像を、それぞれｍ，ｍ′とし、ｍ，ｍ′の同次座標表記をそれぞれ
【０１１５】
【数３４】
2006300656.tif 000036
【０１１６】
とすると、
【０１１７】
【数３５】
2006300656.tif 000037
【０１１８】
という拘束式が成り立つ。これを一般化エピポーラ方程式といい、
【０１１９】
【数３６】
2006300656.tif 000038
【０１２０】
は３行３列の行列であって、Fundamental MatrixあるいはＦ行列などといい、非特許文献１〜３記載のように、アフィンカメラを仮定すると、４組の対応点が既知であれば、このＦ行列の成分を計算できることが知られている。以下、このＦ行列のことを活字体で単にＦのように記載することがある。
【０１２１】
また、一方の画像Ｉ上の点ｍの他方の画像Ｉ′における対応点は、次の式を満たす画像Ｉ′上の直線
【０１２２】
【数３７】
2006300656.tif 000039
【０１２３】
上にあるという拘束条件も満たしていることが知られている。
【０１２４】
【数３８】
2006300656.tif 000040
【０１２５】
このような直線
【０１２６】
【数３９】
2006300656.tif 000041
【０１２７】
を一般にエピポーラ線と呼ぶ。
【０１２８】
なお、カメラの焦点距離などの内部パラメータが既知であれば、Ｆの代わりにEssential MatrixあるいはＥ行列などと呼ばれる行列を求めることができるが、本発明では、特に区別せず拘束行列と呼び、改めてＦで表すことにする。すなわち、対応関係算出・記憶部２０４は、
【０１２９】
【数４０】
2006300656.tif 000042
【０１３０】
を用いて、拘束行列Ｆを求めて記憶することになる。
【０１３１】
次に、アフィン射影行列算出・記憶部２０５が、
【０１３２】
【数４１】
2006300656.tif 000043
【０１３３】
を用いて、背景技術で述べた方法によって、一方の画像Ｉの撮影時のアフィン射影行列Ｐ、及び他方の画像Ｉ′の撮影時のアフィン射影行列Ｐ′を算出し、記憶する。
【０１３４】
次に、透視射影行列算出・記憶部２０６が、背景技術において述べた方法によって、アフィン射影行列の算出に用いた４点にさらに他の２点を加えた
【０１３５】
【数４２】
2006300656.tif 000044
【０１３６】
を用いて、一方の画像Ｉの撮影時の透視射影行列Ｐp、及び他方の画像Ｉ′の撮影時の透視射影行列Ｐp′を算出し、記憶する。このとき、６点よりも多い既知の参照点の３次元座標値、及びそのＩ，Ｉ′の像の座標値を用いて、最小二乗法を用いて計算してもよい。
【０１３７】
次に対象領域決定部３００の詳細について説明する。対象領域決定部３００は、画像Ｉにおける測定の対象となる部分を囲む矩形の頂点座標値を決定する。
【０１３８】
まず、基底ベクトル導出部３０１は、上述の
【０１３９】
【数４３】
2006300656.tif 000045
【０１４０】
から、ワールド座標系における
【０１４１】
【数４４】
2006300656.tif 000046
【０１４２】
を求める。
【０１４３】
一方、対象領域選択部３０２は、測定の対象となる領域を設定する。その際、ユーザからの入力により、一方の画像Ｉ上で長方形領域を選択してもよいし、ある対象を囲むような長方形領域を選択してもよい。このようにして設定した領域の頂点を、以下、ｍi（ｉ＝０，１，２，３）とおく。図４(a)の人物像を囲む領域はその例である。本実施形態は、この矩形領域を構成するｍi（ｉ＝０，１，２，３）の、他方の画像Ｉ′における対応点ｍ'i（ｉ＝０，１，２，３）を求めることができる点が主たる特徴である。
【０１４４】
まず、ｍi（ｉ＝０，１，２，３）の３次元ワールド座標系での座標値をＭi（ｉ＝０，１，２，３）とする。３次元ワールド座標系において、長方形Ｍi（ｉ＝０，１，２，３）は、参照物体のＹ軸をなすＸ0Ｘ2に平行な縦辺（図４(a)のｍ1ｍ2とｍ3ｍ0がワールド座標系でなす辺）と、参照物体のＺＸ平面、すなわちＸ0Ｘ1とＸ0Ｘ3とで張られる面に平行な横辺（図４(B)のｍ0ｍ1とｍ2ｍ3がワールド座標系でなす辺）をなすものとする。
【０１４５】
参照物体のＹ軸が３次元ワールド座標系の鉛直線に平行であり、参照物体のＺＸ面が３次元ワールド座標系の水平面と平行であれば、長方形Ｍi（ｉ＝０，１，２，３）は３次元ワールド座標系において水平面に鉛直な長方形で表される面を表すことになる。
【０１４６】
さて、アフィンカメラにおいては、ワールド座標系で平行な直線の組は、画像上でも平行な直線の組に射影されるという性質があるため、ワールド座標系で水平面に平行な直線は画像上でも水平面に平行である。したがって、例えば、
【０１４７】
【数４５】
2006300656.tif 000047
【０１４８】
と表すことができるとすると、そのアフィンカメラによる一方の画像Ｉへの像も
【０１４９】
【数４６】
2006300656.tif 000048
【０１５０】
となり、同様にアフィンカメラによる他方の画像Ｉ′への像も
【０１５１】
【数４７】
2006300656.tif 000049
【０１５２】
となる。
【０１５３】
基底ベクトル導出部３０１での基底ベクトルの導出と対象領域選択部３０２での対象領域の選択が終わると、結合係数算出部３０３は、(12)式を用いて、αx，αzを求める。この段階では、
【０１５４】
【数４８】
2006300656.tif 000050
【０１５５】
が既知であるので、これらは容易に求められる。
【０１５６】
次に、領域変形部３０４が、長方形Ｍi（ｉ＝０，１，２，３）の縦辺が参照物体のＸ0Ｘ2に平行であることから、Ｉ上の像でもｍi（ｉ＝０，１，２，３）の縦辺と、
【０１５７】
【数４９】
2006300656.tif 000051
【０１５８】
とが平行になるようにｍi（ｉ＝０，１，２，３）を移動させる。その際、縦辺の距離を保って、ｍi（ｉ＝０，１，２，３）の２点を移動させてもよい。
【０１５９】
その後、領域位置記憶部３０５は、変形後のｍi（ｉ＝０，１，２，３）を改めてｍi（ｉ＝０，１，２，３）とし、メモリ上に記憶する。以上により、Ｉにおける矩形領域の頂点座標値ｍi（ｉ＝０，１，２，３）が決定され、対象領域決定部３００での処理が終了する。
【０１６０】
次に、他方の画像Ｉ′におけるｍi（ｉ＝０，１，２，３）の対応点ｍ'i（ｉ＝０，１，２，３）を、対応対象領域決定部４００が決定する。対応対象領域決定部４００での処理を説明する。
【０１６１】
まず、領域形状算出部４０１が、対象領域決定部３００の結合定数導出部３０３が求めた結合係数αx，αzを用いて、ｍ'i（ｉ＝０，１，２，３）の横辺の方向ベクトルを算出し、さらに、縦辺の方向ベクトルを
【０１６２】
【数５０】
2006300656.tif 000052
【０１６３】
とする。この方向ベクトルにより、ｍ'i（ｉ＝０，１，２，３）の形状が求まる。しかし、この領域形状算出部４０１での計算のみでは、画像上のどの位置にｍ'iがあるのかが決定できない。一方、領域位置算出部４０２は、エピポーラ線にかかわる拘束行列Ｆにより、ｍi（ｉ＝０，１，２，３）の他方の画像Ｉ′における対応点が、
【０１６４】
【数５１】
2006300656.tif 000053
【０１６５】
上にあることを用いて、ｍ'i（ｉ＝０，１，２，３）の位置を決定する。しかし、この領域位置算出部４０２での計算のみでは、エピポーラ線上のどの点がｍ'iであるかが決定できない。領域形状算出部４０１と領域位置算出部４０２を用いれば、ｍ'iの形状と辺の長さを決定できるが、一意的な位置は決定できない。この段階では、ｍiのどれか１点の対応点が求まればよいので、例えばオプティカルフロー探索やブロックマッチング法などにより、ｍiのどれか１点の対応点を他方の画像Ｉ′上で求めて、ｍ'iを一意的に決定することも考えられるが、ｍiが例えば全て輝度変化のない領域内にあると、そのような対応点を探すことができない。
【０１６６】
そこで、特徴量算出部４０３において、一方の画像Ｉのｍi（ｉ＝０，１，２，３）で囲まれる領域内のある量と、他方の画像Ｉ′のｍ'i（ｉ＝０，１，２，３）で囲まれる領域内のある量とを算出する。具体的には、例えば、それぞれの矩形内の画素が持つ輝度のヒストグラムを比較評価し、最もヒストグラムが類似している位置を対応位置としたり、あるいはそれぞれの矩形内の画素の持つ赤、緑、青成分のヒストグラムを比較評価し、それぞれの最もヒストグラムが類似している位置を対応位置としたり、あるいは、それぞれの矩形内の輝度の分散を求めて最も類似している位置を対応位置としたり、あるいは、画像Ｉのｍiで囲まれる領域内の特徽点を、例えば輝度値によるコーナーとしていくつか求め、各特徴点を、例えば矩形ｍiのある頂点ｍn（ｎ∈｛０，１，２，３｝）を始点として、その矩形の横辺、縦辺を基底ベクトルとしてその一次結合で表し、その特徴点の座標の平均位置（重心位置）を算出する。同様に、その特徴点の他方の画像Ｉ′のｍ'iで囲まれる領域内における対応点を、例えばブロックマッチング法やオプティイカルフロー探索により求め、原点としたｍnに対応するｍ'nを始点とし、ｍ'iの縦辺、横辺を基底ベクトルとしてその対応特徴点の座標の平均位置（重心位置）を算出し、両者の結合係数を比較する、などの方法が用いられる。
【０１６７】
ｍiやｍ'iで囲まれる領域内には、測定の対象となる被写体の像が写っているため、上述したコーナー等の特徴点は存在する可能性が大きく、前述したｍiの対応点を探索する方法よりも処理が容易である。
【０１６８】
次に、対応領域移動・評価部４０４は、ｍ'iのある頂点をエピポーラ線
【０１６９】
【数５２】
2006300656.tif 000054
【０１７０】
上で移動させながら、上述した領域形状算出部４０１、領域位置算出部４０２及び特徴量算出部４０３の処理を繰り返し、領域形状算出部４０１、領域位置算出部４０２及び特徴量算出部４０３の処理によって算出される量があるしきい値より小さければ処理を終了し、そうでなければ再度ｍ'iのある頂点をエピポーラ線
【０１７１】
【数５３】
2006300656.tif 000055
【０１７２】
上で移動させて再びこれらの量の算出を行う。
【０１７３】
算出される量として、例えば、領域形状算出部４０１においては、現在のｍ'iから算出される結合係数α'x，α'zとαx，αzとの差を評価する関数
【０１７４】
【数５４】
2006300656.tif 000056
【０１７５】
を用いてもよいし、その正の平方根を用いてもよい。
【０１７６】
また、領域位置算出部４０２における評価関数として、
【０１７７】
【数５５】
2006300656.tif 000057
【０１７８】
との距離をδiとおき、対応点のエピポーラ線上への拘束の度合いを表す関数
【０１７９】
【数５６】
2006300656.tif 000058
【０１８０】
を用いてもよい。
【０１８１】
また、特徴量算出部４０３における評価関数として、画像ＩとＩ′における特徴点の重心位置の結合係数を（μ，ν），（μ′，ν′）とおき、
【０１８２】
【数５７】
2006300656.tif 000059
【０１８３】
を用いてもよい。
【０１８４】
また、これらの評価関数の重み付きの和を
【０１８５】
【数５８】
2006300656.tif 000060
【０１８６】
として、処理終了の判定基準となるしきい値εを設けて、判定をしてもよい。
【０１８７】
また、例えば、矩形内の画素の輝度あるいは赤成分、緑成分、青成分のヒストグラムを求め、それぞれの画像での各明るさに対する画素数の差の２乗の、全ての明るさに対する和を算出して最も値が小さいところ、と判定してもよいし、あるいは矩形内の画素の輝度あるいは赤成分、緑成分、青成分の分散を求め、それぞれの画像での分散の値の差が最も小さいところ、と判定してもよい。
【０１８８】
なお、このようにして求めたｍ'iを新たに対象領域とみなし、一方の画像Ｉに対して、ｍiを初期値として同様の処理を繰り返してもよい。
【０１８９】
対応対象領域決定部４００によりｍ'iが求まったら、次に、対象領域実寸算出部５００は、Ｍ'iの３次元ワールド座標値を求める。以下、対象領域実寸算出部５００での処理を説明する。
【０１９０】
世界座標算出部５０１は、既に求めた頂点ｍi，ｍ'i（ｉ＝０，１，２，３）及びアフィン射影行列Ｐ，Ｐ′から、背景技術で述べた方法により、Ｍiの３次元ワールド座標値を求める。Ｍiは、３次元ワールド座標において対象物体を囲む長方形（矩形）を表しており、長方形が対象物体を囲む最小の大きさであれば、その長方形の縦横の辺の長さを求めることにより、その対象物体の縦横の大きさを求めることができる。
【０１９１】
Ｍiの３次元ワールド座標値が求められると、相対座標算出部５０２は、Ｍiを適当な相対座標値にする。Ｍiは参照物体のＸ0を原点とする座標値であったので、例えば、Ｍ0を始点として、他の点をＭ0からの位置ベクトルで表す、などの方法により、相対座標値に変換される。もちろん、相対座標値を算出を省略しても差し支えない。以上の処理によって、一方の画像Ｉ上で矩形領域を設定するだけで、その矩形領域の頂点のワールド座標値を算出することができた。
【０１９２】
このようにして求められたＭiは、アフィン射影モデルに基づく復元であるから、アフィン射影による近似の影響を受け、カメラ中心から一定の距離にある平面上に全ての点があるように復元される。すなわち、Ｍiは、カメラ中心から一定の距離にある平面上に射影された対象物体の像を囲み、かつ、縦辺が参照物体のｙ軸に平行で、横辺が参照物体のｘ軸及びｚ軸からなる面に平行な矩形を形成する。したがって、参照物体近辺は比較的良好に近似されるが、カメラ中心から参照物体までの距離とカメラ中心から対象物体までの距離の差が大きくなると、対象物体を囲むＭiの３次元座標値が正確には復元されない。
【０１９３】
そこで、カメラ中心から参照物体までの距離とカメラ中心から対象物体までの距離を透視射影行列を用いて算出する。この透視射影行列は既に透視射影行列算出・記憶部２０６に記憶されている。Ｍiへのカメラ中心からの距離をＺobj、参照物体へのカメラ中心からの距離をＺrefとすれば、Ｍiがなす矩形の大きさはＺobj／Ｚref倍となり、より正確な実寸を取得することが可能になる。
【０１９４】
ところで、以上の説明におけるワールド座標系は、参照物体の適当な１点を原点をみなしたものであるから、上述のようにして取得された座標値を、カメラ中心を原点とした座標値に変換する必要がある。
【０１９５】
カメラ中心を原点とし、カメラからその撮影方向に向かう光軸をＺ軸に取り、このＺ軸に対して右手系をなすようにＸ軸及びＹ軸をとった３次元カメラ中心座標系を考える。ワールド座標系とカメラ中心座標系との間の姿勢の変換を表す回転行列をＲとし、ワールド座標系とカメラ中心座標系との間の原点の並進ベクトルをｔとし、ワールド座標系における座標値を
【０１９６】
【数５９】
2006300656.tif 000061
【０１９７】
とし、カメラ中心座標系における座標値を
【０１９８】
【数６０】
2006300656.tif 000062
【０１９９】
とすると、これらの間には、
【０２００】
【数６１】
2006300656.tif 000063
【０２０１】
の関係が成立する。透視射影行列Ｐpを求めれば、非特許文献２に記載の方法などを用いて、回転行列Ｒ及び並進ベクトルｔを求めることができる。したがって、ワールド座標系による座標値をカメラ中心座標系での座標値に変換できることがわかる。あとは、参照物体を構成する参照点のカメラ中心からの距離の代表値Ｚrefと、Ｍiに囲まれる対象物体のカメラ中心からの距離Ｚobjを求めればよい。
【０２０２】
参照物体を構成するワールド座標系の点として、
【０２０３】
【数６２】
2006300656.tif 000064
【０２０４】
を用いればよく、その代表点として、
【０２０５】
【数６３】
2006300656.tif 000065
【０２０６】
の重心位置を用いてもよい。
【０２０７】
一方、対象物体を構成するワールド座標系の点として、特徴量算出部４０３に関連して上述した、一方の画像Ｉにおいて対象領域にを囲む矩形ｍに含まれる特徴点、及び対応する他の画像Ｉ′における対応対象領域矩形ｍ′に含まれる対応特徴点から、背景技術に記載の方法により、透視射影行列Ｐp，Ｐp′を用いて復元した３次元座標値を用いることができる。その代表点として、それらの重心を用いてもよい。その際、既知のロバスト推定法を用いて、外れ値となるようなデータを除外してもよい。
【０２０８】
奥行算出部５０３は、参照物体の代表点、対象物体の代表点を算出し、さらに、(19)式により、参照物体及び対象物体の代表点を画像Ｉを撮影したカメラ中心座標系に変換し、参照物体の代表点を変換したカメラ中心座標系におけるＺ座標値をＺref、対象物体の代表点を変換したカメラ中心座標系におけるＺ座標値をＺobjとして、それぞれ奥行を算出する。
【０２０９】
実寸計算部５０４は、算出されたＭi（ｉ＝０，１，２，３）を(19)式によってカメラ中心座標系に変換してＭci（ｉ＝０，１，２，３）とし、Ｍciの座標値をＺobj／Ｚref倍とすることで、より正確な座標値を算出する。あるいは、Ｍi（ｉ＝０，１，２，３）の辺の長さのみが重要である場合には、辺の長さをＺobj／Ｚref倍としてもよい。
【０２１０】
ところで、上述のように囲まれた矩形領域は、画像Ｉ上で勝手に囲んだものであるから、その矩形領域の頂点は現実の３次元空間には存在していない。矩形領域の頂点を求めるには、上述のアフィンカメラを仮定した処理、すなわち、カメラ中心からの距離が一定である平面上に被写体があるという前提が必要である。本実施形態の処理は、カメラ中心からの距離が一定であるような矩形領域の座標値及びサイズを求め、それに対してカメラ中心からの距離に応じて拡大縮小処理を行い、実寸を近似的に得る処理である。
【０２１１】
このようにして画像内矩形領域の実寸を知ることができたので、次に、対象領域表示部６００は、画像のその矩形領域を、実寸で定義された３次元のポリゴンとして生成し、また、そのポリゴンに対する画像の矩形領域内の画素のテクスチャマッピングを行う。さらに、同様にして生成された他の対象物体のテクスチャマッピングされたポリゴンと、同じ視界情報を持つシーンにおいて同時に表示することで、互いの大きさ情報を比較することが可能となる。以下、対象領域表示部６００での処理を説明する。
【０２１２】
テクスチャオブジェクト生成部６０１は、一方の画像Ｉとｍi（ｉ＝０，１，２，３）から、Ｉのｍi（ｉ＝０，１，２，３）が囲む領域の画素データを得る。なお、他方の画像Ｉ′とｍ'i（ｉ＝０，１，２，３）から得られるデータでももちろんよい。そしてポリゴン生成部６０２が、頂点Ｍi（ｉ＝０，１，２，３）を持つ四辺形ポリゴンを生成する。ここで、テクスチャオブジェクト生成部６０１で生成した画素データを、ポリゴン生成部６０２が生成したポリゴンにテクスチャマッピングしてもよいし、テクスチャオブジェクト生成部６０１で生成した画素データの形状的な頂点ｍi（ｉ＝０，１，２，３）のワールド座標系での位置Ｍi（ｉ＝０，１，２，３）が既知であることから、ポリゴンを生成せず、射影することとしてもよい。画像生成部６０３は、このように生成された単独あるいは複数のオブジェクトを、ある視界情報を持つシーンにおける面オブジェクトとして生成する。その後、表示部６０４は、画像生成部６０３によって生成された合成シーンを画面上に表示する。
【０２１３】
以上、本発明の好ましい実施形態の計測装置を説明した。上述した計測装置は、専用のハードウェア装置として構成することができるともに、それを実現するためのコンピュータプログラムを、パーソナルコンピュータやワークステーションなどのコンピュータに読み込ませ、そのプログラムを実行させることによっても実現できる。画像計測を行うためのプログラムは、磁気テープやＣＤ−ＲＯＭなどの記録媒体によって、あるいは、ネットワークを介して、コンピュータに読み込まれる。このようなコンピュータは、一般に、ＣＰＵと、プログラムやデータを格納するためのハードディスク装置などの外部記憶装置と、主メモリと、キーボードやマウスさらにはディジタルカメラなどの入力装置と、ＣＲＴや液晶ディスプレイなどの表示装置と、磁気テープやＣＤ−ＲＯＭ等の記録媒体を読み取る読み取り装置とから構成されている。外部記憶装置、主メモリ、入力装置、表示装置及び読み取り装置は、いずれも中央処理装置に接続している。このコンピュータは、上述した計測を行うためのプログラムを格納した記録媒体を読み取り装置に装着し、記録媒体からプログラムを読み出して外部記憶装置に格納し、あるいはネットワークを介してそのようなプログラムをダウンロードして外部記憶装置に格納し、その後、外部記憶装置に格納されたプログラムをＣＰＵが実行することにより、上述した計測装置として機能する。
【０２１４】
以下、コンピュータプログラムとして本実施形態の計測装置を実現した場合における、そのコンピュータプログラムにおける処理ステップについて、図５を用いて説明する。図５は、このようなコンピュータプログラムにおける処理の流れを示しており、ここで、Ｆは画像Ｉ，Ｉ′間のＦ行列であり、
【０２１５】
【数６４】
2006300656.tif 000066
【０２１６】
は画像Ｉ，Ｉ′における参照物体の３軸の像であり、［αx，αz］は対象領域矩形の辺の、参照物体の軸で表した一次結合係数であり、
【０２１７】
【数６５】
2006300656.tif 000067
【０２１８】
は、それぞれ、対象領域矩形のワールド座標値、画像Ｉ，Ｉ′における像である。
【０２１９】
なお、図においてＳＰｘｘｘは、このようなコンピュータプログラムにおいて、ひとかたまりのプログラムブロックとして実装されるステップを示している。ここでｘｘｘの部分の数字は、図３に示した計測装置における各処理部の参照符号と対応付けられている。例えば、ＳＰ２０２は、上述した説明での参照物体抽出部２０２での処理に対応するプログラムブロックである。
【０２２０】
まずＳＰ１０１において、参照物体及び対象物体が同時に撮影された画像を読み込む。本実施形態では、参照物体は直方体をなしており、水平面上に置かれているものとする。また、参照物体及び対象物体は静止しており、カメラ位置を変えて撮影した２枚の画像を読み込むものとする。その際、カメラパラメータ、すなわちズーム倍率等は固定しなくてもよい。本発明においては、２枚の撮影画像間においてカメラが校正されている必要がないからである。次にＳＰ００１において、読み込んだ画像をディジタルデータとして記憶する。その際、画像を識別するための何らかの識別子（例えばファイル名）と同時に記憶してもよい。この説明では、簡単のため、記憶に関わるステップを全てＳＰ００１で表している。当然ながら、各段階における記憶に関わるステップを、全て独立したステップとしてもよい。また、画像の記憶と平行して、ＳＰ１０３において、画像を表示する。
【０２２１】
画像の表示後、ＳＰ２０２において、参照物体の、互いに直交し、１点で交わる３辺の像を、２枚の画像において抽出する。これは、ユーザが画面上でマウス等によりそれらの位置を順序付けて選択してもよいし、２枚の画像間でブロックマッチングやオプティカルフロー探索処理等を行うことにより、一方の画面で選択して他方の画面では対応点として求めるようにしてもよい。その後、ＳＰ２０３において、６頂点の対応付けを行う。これも、ユーザが点を順序付けて選択することで対応付けてもよいし、点を選択後、あらためて対応付けてもよい。
【０２２２】
既に説明したとおり、参照物体における互いに直交し１点で交わる３辺をなす４頂点と、それ以外の２つの頂点とを用いてもよい。
【０２２３】
６頂点の対応付け後、ＳＰ２０４において、６頂点のうちの、上述した１点で交わる３辺をなす４つの頂点の、対応付けられた画像上への像から、２枚の画像のＦ行列を計算し、ＳＰ００１において記憶する。また、参照物体の情報を、例えばテンプレートマッチングやユーザによる手入力、初期設定などにより、ＳＰ２０１において取得する。ここでは、参照物体における直交する３辺の長さを得る。例えば、上述したように、直交する３辺の交点の３次元座標をＸ0、Ｘ0から引いた鉛直下向きに相当する辺をなす参照物体の頂点の３次元座標をＸ2、残りの２辺の端点をＸ1，Ｘ3とし、Ｘ0Ｘ1，Ｘ0Ｘ2，Ｘ0Ｘ3が右手系をなすように３辺を設定する。ただし、Ｘ0Ｘ2はＹ軸である。ここで、各辺の長さがＸ0Ｘ1＝ｄ1，Ｘ0Ｘ2＝ｄ2，Ｘ0Ｘ3＝ｄ3として、Ｘ0＝（０，０，０），Ｘ1＝（ｄ1，０，０），Ｘ2＝（０，ｄ2，０），Ｘ3＝（０，０，ｄ3）とおく。ＳＰ２０１の後、ＳＰ２０５において、Ｘi及びこれらの像
【０２２４】
【数６６】
2006300656.tif 000068
【０２２５】
からアフィン射影行列Ｐ，Ｐ′を求め、ＳＰ００１において記憶する。次に、ＳＰ２０６において、上述した４つの頂点を含む６つの頂点、及びこれらの両画像における対応付けられた像から、透視射影画像Ｐp，Ｐp′を求め、ＳＰ００１において記憶する。
【０２２６】
また、ＳＰ２０３の実行後、上述とは独立した処理として、ＳＰ３０１において、Ｘiの像
【０２２７】
【数６７】
2006300656.tif 000069
【０２２８】
から、基底ベクトルとして、上述の
【０２２９】
【数６８】
2006300656.tif 000070
【０２３０】
を求める。
【０２３１】
さらにまた、ＳＰ２０２の実行後、上述とは独立の処理として、ＳＰ３０２において、ＳＰ２０２で表示された画像の片方であるＩ（一方の画像）に対し、測定の対象となる被写体を囲む最小の長方形領域を指定する。この処理は、ユーザからの入力を受け付けることによって行えばよく、また、長方形の辺は、画像の縦辺、横辺に平行でよい。図４(a)の人物像を囲む領域はその例である。
【０２３２】
ＳＰ３０１とＳＰ３０２の処理が両方とも終わったら、ＳＰ３０３において、ＳＰ３０２で設定された長方形領域の横辺の、
【０２３３】
【数６９】
2006300656.tif 000071
【０２３４】
で表された一次結合係数を求める。例えば、図４(a)において、
【０２３５】
【数７０】
2006300656.tif 000072
【０２３６】
と表し、実数（αx，αz）を求め、ＳＰ００１により記憶する。
【０２３７】
ＳＰ３０３と同様に、ＳＰ３０４において、図４(a)における
【０２３８】
【数７１】
2006300656.tif 000073
【０２３９】
が、長さを保ちつつ
【０２４０】
【数７２】
2006300656.tif 000074
【０２４１】
と平行になるように、ｍ0，ｍ1の位置を修正する。もちろん、ｍ2，ｍ3の位置を修正してもよい。また、この修正により、測定の対象となる被写体が矩形からはみ出してしまったような場合は、ＳＰ３０２に戻って処理を繰り返してもよい。
【０２４２】
このようにして、ｍiを決定し、ＳＰ００１によって記憶する。
【０２４３】
次に、以上説明した処理によって得られた情報を用いて、他方の画像Ｉ′におけるｍiの対応点ｍ'i（ｉ＝０，１，２，３）を決定する。
【０２４４】
本実施形態では、矩形内の特徴点の重心位置の結合係数の差によって評価する方法を用いているが、上述したように、ヒストグラムによる評価や分散による評価を用いて実施してももちろんよい。
【０２４５】
まず、ＳＰ４０３ｄにおいて、ｍ'iを決定する処理が終了したかどうかを判定する。終了していなければ、ＳＰ４０３ｅにおいて、次の画像においてｍ'iを見つけるかどうかの判定を行う。例えば、まだ一方の画像Ｉ上のｍiしか決まっていなければＹｅｓを選択し、他方の画像Ｉ′上のｍ'iを求める処理（以下のＳＰ４０１，ＳＰ４０２）を行う。また、ｍ'iを求めたが、再度、他方の画像Ｉ′上のｍ'iを既知の領域として、例えば一方の画像Ｉ上においてｍiを求める処理を行ってもよい。あるいは、画像が２枚よりも多い場合に、３枚目以降の画像において対応領域を求める処理を行ってもよい。どういう判断基準でこれらの判定を行うかは、一方の画像Ｉ上のｍiに対して他方の画像Ｉ′上のｍ'iを求める処理を行うことを除き、ユーザが設定してもよいし、画像の入力枚数に応じてプログラムが設定してもよい。
【０２４６】
ＳＰ４０１では、結合定数αx，αzに基づき、ｍ'iの辺の方向ベクトルを求める。
【０２４７】
【数７３】
2006300656.tif 000075
【０２４８】
とした場合であれば、図４(b)の
【０２４９】
【数７４】
2006300656.tif 000076
【０２５０】
とし、初期値としてα'x＝αx，α'z＝αzとする。また、縦辺の方向ベクトルは
【０２５１】
【数７５】
2006300656.tif 000077
【０２５２】
とする。
【０２５３】
ＳＰ４０１と平行してＳＰ４０２ａでは、ｍiに対応するエピポーラ線
【０２５４】
【数７６】
2006300656.tif 000078
【０２５５】
を計算する。
【０２５６】
次に、ＳＰ４０１とＳＰ４０２ａの終了後、ＳＰ４０２ｂにおいて、例えば、ｍ'0の位置を
【０２５７】
【数７７】
2006300656.tif 000079
【０２５８】
上で適当に決め、ｍ'0から(22)式の方向に引いた直線と
【０２５９】
【数７８】
2006300656.tif 000080
【０２６０】
との交点をｍ'1とし、また、ｍ'0から
【０２６１】
【数７９】
2006300656.tif 000081
【０２６２】
の方向に引いた直線と
【０２６３】
【数８０】
2006300656.tif 000082
【０２６４】
との交点をｍ'3とする。残りのｍ'2は、ｍ'i（ｉ＝０，１，２，３）が平行四辺形をなすように決めればよい。その後、このようにして決めたｍ'i（ｉ＝０，１，２，３）について、
【０２６５】
【数８１】
2006300656.tif 000083
【０２６６】
を計算する。
【０２６７】
次に、ＳＰ４０４において、まず一方の画像Ｉ上で、ｍiで囲む領域内の特徴点を見つけ、次にその特徴点の他方の画像Ｉ′上での対応点を見つける。対応点を見つけ方としては、ブロックマッチング、オプティカルフロー探索など、どのような手法を用いてもよい。対応点が見つかったもののみ考慮して、その数がＮ組とすると、一方の画像Ｉ上の特徴点ｑn（ｎ＝１，２，…，Ｎ）を全て、
【０２６８】
【数８２】
2006300656.tif 000084
【０２６９】
のように表し、全てのｑnの平均位置ｑを
【０２７０】
【数８３】
2006300656.tif 000085
【０２７１】
により求める。次に、同じように他方の画像Ｉ′についても
【０２７２】
【数８４】
2006300656.tif 000086
【０２７３】
のように求め、
【０２７４】
【数８５】
2006300656.tif 000087
【０２７５】
を計算する。このとき、ｑn及びｑ'nから、既知のロバスト推定法を用いて、外れ値を除外してもよい。
【０２７６】
このようにして特徴量が算出されたら、次に、ＳＰ４０３ａにおいて、これらの評価関数の重み付きの和を
【０２７７】
【数８６】
2006300656.tif 000088
【０２７８】
として計算する。重みｗiは、ｗi＝１／３と均等にしてもよいし、悉意的に順序付けてもよい。この値と、あらかじめ設定された処理終了の判定基準となるしきい値εとを比較し、しきい値よりも小さければ処理を終了してＳＰ４０３ｄに戻り、そうでなければステップＳＰ４０３ｂに進む。
【０２７９】
ＳＰ４０３ｂでは、反復回数があるあらかじめ設定された上限値（ＭＡＸ＿ＩＴＥＲＡＴＥ）を超えるかどうかにより、処理を終了するかどうかを判定し、上限値を超えていれば処理を終了してＳＰ４０３ｄに戻り、そうでなければＳＰ４０３ｃに進む。ＳＰ４０３ｃでは、例えばｍ'0の位置を、
【０２８０】
【数８７】
2006300656.tif 000089
【０２８１】
に沿って例えば１画素分動かし、反復回数を１だけ増分してＳＰ４０２ｂに戻る。移動の大きさは１画素でもよいし、より小さな値でもよいし、反復回数に応じて減じていってもよい。また、移動の方向は、１回目の移動によりＥの値が小さくなれば同じ方向へ、そうでなければ逆の方向へ移動してもよい。
【０２８２】
このようにしてｍ'i（ｉ＝０，１，２，３）が算出されたので、ＳＰ４０３ｄにおいて対応算出終了と判定され、ＳＰ００１において、ｍ'i（ｉ＝０，１，２，３）を記憶する。
【０２８３】
次に、ＳＰ５０１において、ｍi，ｍ'i（ｉ＝０，１，２，３）及びアフィン射影行列Ｐ，Ｐ′から、Ｍi（ｉ＝０，１，２，３）の３次元ワールド座標値を求め、その後、ＳＰ５０２において、Ｍiを適当な相対座標、例えば、他の点をＭiのうち原点とみなした１点からの相対座標で表したり、あるいはカメラ中心座標に変換するなどして、ＳＰ００１において記憶する。
【０２８４】
次に、ＳＰ５０３において、参照物体を構成する６つの頂点の重心位置を求めて画像Ｉを撮影したカメラ中心座標系に変換し、そのＺ座標値Ｚrefを求め、ｑn及びｑ 'nから透視射影行列Ｐp，Ｐp′を用いて復元した３次元ワールド座標値の重心位置を求め、その重心位置をＩを撮影したカメラ中心座標系に変換し、そのＺ座標値Ｚobjを求める。このとき、既知のロバスト推定法を用いて、外れ値を除外してもよい。
【０２８５】
次に、ＳＰ５０４において、Ｍiを適当な相対座標値に変換した座標値にＺobj／Ｚrefを乗じた結果をＳＰ００１において記憶する。これら記憶したデータは、ＳＰ５０５において、外部記憶装置に出力してもよい。
【０２８６】
次に、ＳＰ００２において、これらの情報、すなわち画像の識別子、画像内の矩形領域頂点座標値ｍi（ｉ＝０，１，２，３）及びＭiをメモリあるいは外部記憶装置に記憶されているファイルから読み込む。そして、ＳＰ６０１において、画像のテクスチャオブジェクトを生成し、ＳＰ６０２において、頂点Ｍiを持つ３次元ボリゴンを生成する。その後、ＳＰ６０３ａにおいて表示用のシーン、例えば３次元コンピュータグラフィックスにより生成される３次元シーンを生成し、ＳＰ６０３ｂにおいて、ＳＰ６０２によって生成された３次元ポリゴンに、ＳＰ６０１において生成されたテクスチャオブジェクトをテクスチャマッピングする。また、複数のテクスチャオブジェクトがマッピングされたポリゴンがある際には、これらをシーン内の適当な位置に配置する。最後に、ＳＰ６０４において、以上のシーンとテクスチャマッピングされたポリゴンとを表示し、これによって、例えば異なる撮影現場で撮影された被写体の大きさを、同じシーンで比較表示することが可能となる。
【実施例】
【０２８７】
以下、本発明の実施例を説明する。ここでは、図５を用いながら、上述した処理をコンピュータプログラムによって実行する場合の処理ステップの流れを説明する。
【０２８８】
まず、ＳＰ１０１において、参照物体及び対象物体が同時に撮影された画像を読み込む。この実施例では、参照物体は直方体であって、水平面上に置かれているものとする。また、参照物体及び対象物体は静止しており、カメラ位置を変えて撮影した２枚の画像を読み込むものとする。その際、カメラパラメータ、すなわちズーム倍率などは固定しておかなくてもよい。本発明においては２枚の撮影画像間でカメラが校正されている必要はないからである。
【０２８９】
次に、ＳＰ００１において、読み込んだ画像をデジタルデータとして記憶する。その際、画像を識別するための何らかの識別子（例えばファイル名）と同時に記憶してもよい。本実施例では簡単のため、記憶に関わるステップを全てＳＰ００１で表している。当然のことながら全て独立したステップとしてもよい。
【０２９０】
次に、ＳＰ１０２において、画像を表示する。
【０２９１】
次に、ＳＰ１０３において、参照物体における、互いに直交し１点で交わる３辺の像を、２枚の画像において抽出する。これは、ユーザが画面上でマウスなどによってそれらの像の位置を順序付けて選択してもよいし、あらかじめ２枚の画像間でブロックマッチングやオプティカルフロー探索処理などにより、一方の画像で選択して他方の画像では対応点として自動的に抽出されるようにしてもよい。
【０２９２】
次に、ＳＰ２０３において、上述した４頂点の対応付けを行う。これも、ユーザが、頂点を順序付けて選択することで対応付けてもよいし、あるいは、点を選択後、改めて対応付けてもよい。
【０２９３】
次に、ＳＰ２０４において、４つの対応付けられた頂点から、２枚の画像のＦ行列を計算し、ＳＰ００１において記憶する。また、ＳＰ２０１において、参照物体の情報を、例えばテンプレートマッチングやユーザによる手入力、初期設定などにより、取得する。ここでは、参照物体における直交する３辺の長さを得る。例えば、上述の実施形態で述べたように、直交する３辺の交点の３次元座標をＸ0とし、Ｘ0から引いた鉛直下向きに相当する辺をなす参照物体の頂点の３次元座標をＸ2とし、残りの２辺の端点をＸ1，Ｘ3とし、Ｘ0Ｘ1，Ｘ0Ｘ2，Ｘ0Ｘ3が右手系をなすように３辺を設定する。ただし、Ｘ0Ｘ2はＹ軸である。ここで、各辺の長さがＸ0Ｘ1＝ｄ1，Ｘ0Ｘ2＝ｄ2，Ｘ0Ｘ3＝ｄ3として、Ｘ0＝（０，０，０），Ｘ1＝（ｄ1，０，０），Ｘ2＝（０，ｄ2，０），Ｘ3＝（０，０，ｄ3）とおく。
【０２９４】
次に、ＳＰ２０５において、Ｘiからアフィン射影行列Ｐ，Ｐ′を求め、ＳＰ００１において記憶する。
【０２９５】
次に、ＳＰ５０１において、ｍi，ｍ'i（ｉ＝０，１，２，３）及びＰ，Ｐ′からＭ'iの３次元ワールド座標値を求める。次に、ＳＰ５０２において、Ｍiを適当な相対座標値にし、ＳＰ００１において記憶する。これらの記憶されたデータは、ＳＰ５０５において外部記憶装置に出力してもよい。
【図面の簡単な説明】
【０２９６】
【図１】ステレオ視の原理を表した図である。
【図２】本発明の基本的な構成を表す図である。
【図３】本発明の実施形態を表す構成図である。
【図４】対応領域の探索を表す図である。
【図５】本発明の実施例における処理の流れを表す図である。
【符号の説明】
【０２９７】
１００    画像入力部
２００    撮影情報算出部
３００    対象領域決定部
４００    対応対象領域決定部
５００    対象領域実寸算出部
６００    対象領域表示部
【図１】
2006300656.tif 000090
【図２】
2006300656.tif 000091
【図３】
2006300656.tif 000092
【図４】
2006300656.tif 000093
【図５】
2006300656.tif 000094