(57)【特許請求の範囲】
【請求項１】
平坦な面で構成される構造物を含む第１及び第２のステレオ画像中の平面のパラメータを求めるステレオマッチング方法であって、
前記第１及び第２のステレオ画像の標定要素を読み込むステップと、
指定された前記平坦な面に対応する前記第１のステレオ画像中の第１の領域を読み込むステップと、
前記第１の領域に対応する前記第２のステレオ画像中の第２の領域を、前記第１及び第２の領域のエピポールと前記平坦な面の延長面上に対応点とを有することを含む拘束条件から推定して、前記平面のパラメータを算出することにより、ステレオマッチングを行うステップと
を行うことを特徴とするステレオマッチング方法。
【請求項２】
前記対応点は、
前記エピポールを結ぶ直線と前記平面の延長面とが交差する点であることを特徴とする請求項１記載のステレオマッチング方法。
【請求項３】
前記推定は、非線形最小自乗法によって自動的に平面位置及び方向を推定することを特徴とする請求項１又は２記載のステレオマッチング方法。
【請求項４】
前記拘束条件は、前記平面の向きを含むことを特徴とする請求項１、２又は３記載のステレオマッチング方法。
【請求項５】
前記拘束条件は、前記平面上の少なくとも１点の位置を含むことを特徴とする請求項１、２、３又は４記載のステレオマッチング方法。
【請求項６】
平坦な面で構成される構造物を含む第１及び第２のステレオ画像中から前記構造物の３次元モデルを生成する３次元計測方法であって、
前記第１及び第２のステレオ画像の標定要素を読み込むステップと、
指定された前記平坦な面に対応する第１のステレオ画像中の第１の領域を読み込むステップと、
指定された前記平坦な面に対応する前記第１のステレオ画像中の第１の領域を読み込むステップと、
前記第１の領域に対応する前記第２のステレオ画像中の第２の領域を、前記第１及び第２の領域のエピポールと前記平坦な面の延長面上に対応点とを有することを含む拘束条件から推定して、前記平面のパラメータを算出することにより、ステレオマッチングを行うステップと、
前記ステレオマッチングの結果に基づき前記平坦の面の三次元モデルの画像を生成する３次元モデル生成ステップと
を行うことを特徴とする３次元計測方法。
【請求項７】
平坦な面で構成される構造物を含む第１及び第２のステレオ画像中から前記構造物の３次元モデルを生成する３次元計測装置であって、
前記第１及び第２のステレオ画像の標定要素を読み込む手段と、
指定された前記平坦な面に対応する第１のステレオ画像中の第１の領域を読み込む手段と、
前記第１の領域に対応する前記第２のステレオ画像中の第２の領域を、前記第１及び第２の領域のエピポールが前記平坦な面の延長面上に対応点とを有することを含む拘束条件から推定して、前記平面のパラメータを算出することにより、ステレオマッチングを行う手段と、
前記ステレオマッチングの結果に基づき前記平坦の面の三次元モデルの画像を生成する３次元モデル生成手段と
を有することを特徴とする３次元計測装置。
【請求項８】
平坦な面で構成される構造物を含む第１及び第２のステレオ画像中の平面のパラメータを求めるステレオマッチング方法のプログラムであって、
コンピュータに、
前記第１及び第２のステレオ画像の標定要素を読み込むステップ、
指定された前記平坦な面に対応する前記第１のステレオ画像中の第１の領域を読み込むステップ、
前記第１の領域に対応する前記第２のステレオ画像中の第２の領域を、前記第１及び第２の領域のエピポールと前記平坦な面の延長面上に対応点とを有することを含む拘束条件から推定して、前記平面のパラメータを算出することにより、ステレオマッチングを行うステップ
としての機能を実行させるためのステレオマッチング方法のプログラム。
【請求項９】
平坦な面で構成される構造物を含む第１及び第２のステレオ画像中から前記構造物の３次元モデルを生成する３次元計測のプログラムであって、
コンピュータが、
前記第１及び第２のステレオ画像の標定要素を読み込む手段、
指定された前記平坦な面に対応する第１のステレオ画像中の第１の領域を読み込む手段、
前記第１の領域に対応する前記第２のステレオ画像中の第２の領域を、前記第１及び第２の領域のエピポールと前記平坦な面の延長面上に対応点とを有することを含む拘束条件から推定して、前記平面のパラメータを算出することにより、ステレオマッチングを行う手段、
前記ステレオマッチングの結果に基づき前記平坦の面の三次元モデルの画像を生成する３次元モデル生成手段
としての機能を実行するための３次元計測のプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、地表を撮影した複数の航空写真，衛星画像等の画像から３次元モデルを生成するステレオマッチング方法、３次元計測方法及び３次元計測装置に関する。
【０００２】
【従来の技術】
従来の写真測量では、計測対象を同種のカメラを用いて異なる二箇所の位置（もしくはそれ以上）から撮影し、各画像上で対応点を求め、三角測量の原理に基づいて３次元空間内の位置を決定する。
【０００３】
３次元空間内の位置を自動的に決定する方法としていわゆるステレオマッチング方法が知られているが、従来のスレテオマッチング方法では、主として点や線単位で左右の画像をマッチングさせるものであった。このようなステレオマッチング方法では、ステレオ画像を構成する一方の画像内の１点もしくは規則的な格子上に区分された領域、あるいは線構造（エッジ）に着目し、それに対応する点もしくは領域、あるいは線構造を、もう一方の画像で探索してマッチングさせている。
【０００４】
また、領域に対してその内部が平面であると仮定して自動マッチングを行う技術として、例えば特開２００２−６３５８０号公報に示す不定形窓によるステレオマッチング方法が知られている。
【０００５】
さらに、領域内部の点の対応情報を最適化する方法として最小二乗マッチング（ＬＳＭ：Least Square Matching）方法が知られている。
【０００６】
【発明が解決しようとする課題】
しかしながら、上述の不定形窓によるステレオマッチング方法では、建物等の上面が水平の構造物を適用対象としていたため、不定形領域の平面の方向を水平に拘束しており、任意の方向の平面（例えば傾きのある平面等）を推定することは考慮されていなかった。
【０００７】
また、上述のＬＳＭ方法では、平面の方向や位置について、拘束条件を設定することが困難であった。
【０００８】
本発明は、上述の課題に鑑みてなされたものであり、多角形や画像のラスターマスクで指定される不定形の領域について、それが平面であるという拘束のもとに、面上もしくは図上の全ての点を精密に測定でき、ステレオ画像内に存在する平面領域を精確かつ自動的に計測することができるステレオマッチング方法、３次元計測方法及び３次元計測装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上述の問題を解決するために、本発明に係わるステレオマッチング方法は、
平坦な面で構成される構造物を含む第１及び第２のステレオ画像中の平面のパラメータを求めるステレオマッチング方法であって、
前記第１及び第２のステレオ画像の標定要素を読み込むステップと、
指定された前記平坦な面に対応する前記第１のステレオ画像中の第１の領域を読み込むステップと、
前記第１の領域に対応する前記第２のステレオ画像中の第２の領域を、前記第１及び第２の領域のエピポールと前記平坦な面の延長面上に対応点とを有することを含む拘束条件から推定して、前記平面のパラメータを算出することにより、ステレオマッチングを行うステップと
を行うことを要旨とする。
【００１０】
また、前記対応点は、
前記エピポールを結ぶ直線と前記平面の延長面とが交差する点であることを要旨とする。
また、前記推定は、非線形最小自乗法によって自動的に平面位置及び方向を推定することを要旨とする。
さらに、前記拘束条件は、前記平面の向きを含むことを要旨とする。
また、前記拘束条件は、前記平面上の少なくとも１点の位置を含むことを要旨とする。
【００１１】
また、本発明に係る３次元計測方法は、平坦な面で構成される構造物を含む第１及び第２のステレオ画像中から前記構造物の３次元モデルを生成する３次元計測方法であって、
前記第１及び第２のステレオ画像の標定要素を読み込むステップと、
指定された前記平坦な面に対応する第１のステレオ画像中の第１の領域を読み込むステップと、
指定された前記平坦な面に対応する前記第１のステレオ画像中の第１の領域を読み込むステップと、
前記第１の領域に対応する前記第２のステレオ画像中の第２の領域を、前記第１及び第２の領域のエピポールと前記平坦な面の延長面上に対応点とを有することを含む拘束条件から推定して、前記平面のパラメータを算出することにより、ステレオマッチングを行うステップと、
前記ステレオマッチングの結果に基づき前記平坦の面の三次元モデルの画像を生成する３次元モデル生成ステップと
を行うことを要旨とする。
【００１２】
また、本発明に係わる３次元計測装置は、平坦な面で構成される構造物を含む第１及び第２のステレオ画像中から前記構造物の３次元モデルを生成する３次元計測装置であって、
前記第１及び第２のステレオ画像の標定要素を読み込む手段と、
指定された前記平坦な面に対応する第１のステレオ画像中の第１の領域を読み込む手段と、
前記第１の領域に対応する前記第２のステレオ画像中の第２の領域を、前記第１及び第２の領域のエピポールと前記平坦な面の延長面上に対応点とを有することを含む拘束条件から推定して、前記平面のパラメータを算出することにより、ステレオマッチングを行う手段と、
前記ステレオマッチングの結果に基づき前記平坦の面の三次元モデルの画像を生成する３次元モデル生成手段と
を備えたことを要旨とする。
【００１３】
また、本発明に係わるステレオマッチング方法のプログラムは、平坦な面で構成される構造物を含む第１及び第２のステレオ画像中の平面のパラメータを求めるステレオマッチング方法のプログラムであって、
コンピュータに、
前記第１及び第２のステレオ画像の標定要素を読み込むステップ、
指定された前記平坦な面に対応する前記第１のステレオ画像中の第１の領域を読み込むステップ、
前記第１の領域に対応する前記第２のステレオ画像中の第２の領域を、前記第１及び第２の領域のエピポールと前記平坦な面の延長面上に対応点とを有することを含む拘束条件から推定して、前記平面のパラメータを算出することにより、ステレオマッチングを行うステップ
としての機能を実行させることを要旨とする。
【００１４】
また、本発明に係わる３次元計測のプログラムは、平坦な面で構成される構造物を含む第１及び第２のステレオ画像中から前記構造物の３次元モデルを生成する３次元計測のプログラムであって、
コンピュータが、
前記第１及び第２のステレオ画像の標定要素を読み込む手段、
指定された前記平坦な面に対応する第１のステレオ画像中の第１の領域を読み込む手段、
前記第１の領域に対応する前記第２のステレオ画像中の第２の領域を、前記第１及び第２の領域のエピポールと前記平坦な面の延長面上に対応点とを有することを含む拘束条件から推定して、前記平面のパラメータを算出することにより、ステレオマッチングを行う手段、
前記ステレオマッチングの結果に基づき前記平坦の面の三次元モデルの画像を生成する３次元モデル生成手段
としての機能を実行することを要旨とする。
【００１５】
【発明の実施の形態】
本発明は、例えば航空写真等の複数の画像から３次元モデルを生成する３次元計測装置に適用することができる。
【００１６】
（構成）
本発明の一実施形態に係る３次元計測装置は、例えばプロセッサ（ＭＰＵ）、メモリ、ハードディスクドライブ（ＨＤＤ），光ディスクドライブ等の補助記憶装置、キーボード，ネットワークインターフェース（ＮＩＣ）等の入力装置、ディスプレイ装置，画像信号出力インターフェース等の出力装置を備えるパーソナルコンピュータ，ワークステーション等の一般的な情報処理装置から構成することができる。
【００１７】
このような情報処理装置は、例えばＭＰＵが所定の制御プログラムを実行することにより、図１に示すように、入力されたステレオ画像を保持するステレオ画像保持部１０と、入力された標定要素を保持する標定要素保持部２０と、標定要素に従って変換関数を算出する変換関数算出部３０と、ステレオ画像保持部１０に保持されているステレオ画像をモニタ５０に表示させる画像表示部４０と、入力部６０を介してポインティングデバイス６１ａ，キーボード６１ｂ等から入力された指示情報に応じて不定形窓を設定する不定形窓設定部７０と、同様に拘束条件を設定する拘束条件設定部８０と、設定された不定形窓，拘束条件に応じてステレオ画像のマッチングを行って３次元モデルを生成するステレオマッチング部９０と、生成された３次元モデルを保持する３次元モデル保持部１００として機能する。
【００１８】
ステレオ画像保持部１０，標定要素保持部２０及び３次元モデル保持部１００は、例えば上述のメモリ，ＨＤＤ上の所定の領域等で実現されている。
【００１９】
また、この図１に示す例では、ソフトウェアによって各構成要素を実現しているが、同様の構成をハードウェアで構成することもできる。
【００２０】
この３次元計測装置では、ステレオ写真に写る平面が中心投影の原理に基づき射影変換により、対応付けられることを利用し、その平面上にある３点（どの３点も一直線上にない）の対応関係についてエピポーラ条件を満たす拘束条件を設定することによって、その面の上での射影変換係数を自動的に決定する。以下、この方法を平面ステレオマッチング法と呼ぶ。
【００２１】
また、この３次元計測装置では、平面上の３点のうちの１点もしくは２点の対応を固定するという拘束を加えることができる他、平面を任意の直線方向に平行もしくは垂直であるように拘束を設けることもできる。
【００２２】
この射影変換係数を利用すれば、平面上の任意の点での対応関係がわかり、その座標を決定することによって平面の位置を決定できる。
【００２３】
これにより、ステレオ画像内に写っている平面構造物を一方の画像で多角形として入力するだけで、実体視すること無しに平面で構成される構造物を簡単に入力できるステレオ計測システムが実現できる。
【００２４】
以下、この３次元計測装置の動作を説明する。
【００２５】
（動作）
このように構成された３次元計測装置は、例えば図２に示すように動作する。
【００２６】
１．ステレオ画像及び標定要素の読み込み（Ｓ１）
まず、ステレオ画像保持部１０にステレオ画像Ｉ１，Ｉ２を読み込み、標定要素保持部２０に各々の画像Ｉ１，Ｉ２の標定要素を読み込む。ステレオ画像Ｉ１，Ｉ２は、例えば図３に示すように、地表等の同一の対象物を異なる視点すなわち異なる標定要素で撮影した画像である。
【００２７】
ここで標定要素は写真撮影時の外部標定要素（投影中心位置・姿勢）及び内部標定要素（主点位置・焦点距離・画像解像度等）があり、これらを用いて地上座標と画像座標の間の変換を行う諸関数が与えられる。
【００２８】
例えば、図６に示すように、平坦な面で構成される構造物の標定結果が既知の画像Ｉ１，Ｉ２に移っており、その構造物の面Ａの輪郭が画像Ｉ１，上の多角Ａで指定されているとする。このとき、自動ステレオマッチングにより面Ａが属する３次元空間の平面（より正確には平面Ａの縁の多角形の座標）を決定する方法を考える。なお、ここでいう平面Ａは水平でなくとも良い。
【００２９】
ここで、標定結果が既知とは、カメラの内部標定要素（焦点距離等）や外部標定要素（位置・姿勢）が既知であり、次の変換関数が利用できるとする。
【００３０】
この変換関数は、
（１）３次元地上座標Ｐ（Ｘ，Ｙ，Ｚ）が投影される写真座標ｐ（ｘ，ｙ）を算出するための変換関数が与えられている。
【００３１】
ｐ＝Ｆ（Ｐ）      （１）
と、
（２）画像上の点ｐ（ｘ，ｙ）に対応する地上座標Ｐ（Ｘ，Ｙ，Ｚ）のＸ，Ｙ，Ｚいずれかが既知のとき、その地上座標を求める変換関数が与えられている。
【００３２】
すなわち、
Ｐ＝Ｇｘ（ｐ，Ｘ）      （２ａ）
Ｐ＝Ｇｙ（ｐ，Ｙ）      （２ｂ）
Ｐ＝Ｇｚ（ｐ，Ｚ）      （２ｃ）
と
画像Ｉ１  に関する上記変換関数をＧｘ１、Ｇｙ１、Ｇｚ１、画像Ｉ２  に関する上記変換関数をＧｘ２、Ｇｙ２、Ｇｚ２とする。
【００３３】
（３）２つの画像上の対応点ｐ１（ｘ１，ｙ１）及びｐ２（ｘ２，ｙ２）に対応する地上座標Ｐ（Ｘ，Ｙ，Ｚ）を算出するための変換関数が与えられている。
【００３４】
Ｐ＝Ｇ１２（ｐ１，ｐ２）      （３）
である。
【００３５】
前述の変換関数の詳細について説明を補充する。
【００３６】
１．１．地上座標Ｐから画像座標（写真座標）ｐへの変換
まず、例えば図４に示すように、中心投影画像（すなわち個々の画像）の投影中心の座標をＯ０＝ｔ［ｘ０ｙ０ｚ０］、カメラの地上座標に対する回転角をＴ＝ｔ［ωφκ］、これらを合わせたもの（外部標定要素）をＥ＝ｔ［ｔＴｔＰ０］とする（左肩のｔは転置行列もしくは転置ベクトルであることを示す）。このとき、地上座標Ｐ＝ｔ［ｘｙｚ］はカメラ座標系（投影中心に相対的な３次元座標系）ｐｒで次式で表される。
【００３７】
Ｐｒ＝ｔ［ｘｒｙｒｚｒ］＝Ｒ（Ｔ）（Ｐ−Ｏ０）        （４）
ここで、Ｒ（Ｔ）は、次式で定義される回転行列である。
【００３８】
【数１】
0004149732.tif 000002
（５）
また、Ｐが投影される写真座標（投影中心の像（主点）を原点とする２次元座標）ｐ＝ｔ［ｘｙ］は次式で表される。
【００３９】
【数２】
0004149732.tif 000003
（６）
ここでｃは焦点距離である。式（４）及び式（６）より、カメラの外部標定要素と地上点の３次元座標がわかれば、それに対応する写真座標がわかることを意味する。
【００４０】
１．２．写真座標ｐから地上座標Ｐへの変換
また、写真座標ｐが、ｐ＝（ｘ，ｙ）であるとすると、これはカメラ座標ではｐｒｐ＝（ｘ，ｙ，−ｃ）である。ｐに写っている点の標高がＺであるとすると、この点の地上座標系における３次元座標Ｐ（Ｘ，Ｙ，Ｚ）を求める関数Ｇｚ（ｐ，Ｚ）は次式で与えられる。
【００４１】
【数３】
0004149732.tif 000004
（７）
同様に、関数Ｇｘ（ｐ，Ｘ）及びＧｙ（ｐ，Ｙ）が次のように定義される。
【００４２】
【数４】
0004149732.tif 000005
（８）
ここで、画像Ｉ１に関する式（７）〜式（９）の変換関数をＧｘ１，Ｇｙ１，Ｇｚ１、画像Ｉ２に関する式（７）〜式（９）の変換関数をＧｘ２，Ｇｙ２，Ｇｚ２とする。
【００４３】
【数５】
0004149732.tif 000006
（９）
１．３．対応する写真座標から地上座標ｐへの変換
例えば図５に示すように、地上座標Ｐ（Ｘ，Ｙ，Ｚ）が、画像Ｉ１上の点ｐ１（ｘ１，ｙ１）と画像Ｉ２上の点ｐ２（ｘ２，ｙ２）に投影されているとする。
【００４４】
このとき、以下の手順でｐ１とｐ２から地上座標Ｐ（Ｘ，Ｙ，Ｚ）を求めることができる。
【００４５】
画像Ｉ１の画像投影中心をＯ１、回転行列をＲ１、焦点距離をｃ１、画像Ｉ２の画像投影中心をＯ２、回転行列をＲ２、焦点距離をｃ２とする。ｐ１とｐ２のカメラ座標はそれぞれｐｒｐ１（ｘ１，ｙ１，−ｃ１）及びＰｒｐ２（ｘ２，ｙ２，−ｃ２）であり、これを使ってＯ１からｐ１への単位方向ベクトルＶ１，及びＯ２からｐ２への単位方向ベクトルＶ２を地上座標系で表すと、
【数６】
0004149732.tif 000007
（１０）
【数７】
0004149732.tif 000008
（１１）
である。Ｐは、Ｏ１とｐ１を結ぶ直線Ｌ１と、Ｏ２とｐ２を結ぶ直線Ｌ２の交点である。この交点をＯ１、Ｏ２、Ｖ１、Ｖ２で表すと、
【数８】
0004149732.tif 000009
（１２）
である。
【００４６】
実際には標定要素や点座標の測定値には誤差が含まれており、直線Ｌ１とＬ２は一般に交わらない。このような場合には、Ｌ１とＬ２が最小距離となる点ＰＬ１及びＰＬ２の中点をＰであると定義するのが適当である。すなわち、
Ｐ＝Ｇ１２（ｐ１，ｐ２）＝（ｐＬ１＋ｐＬ２）／２            （１３）
なお、ＰＬ１及びＰＬ２は次式で求められる。
【００４７】
【数９】
0004149732.tif 000010
（１４）
１．４．写真座標と画像座標の変換
コンピュータ上で測定できる座標は画像座標ｐｐｉｘ＝（ｘｐｉｘ，ｙｐｉｘ）であり、写真座標ｐではない。航空写真画像の場合、画像の４隅に写真座標が既知の指標が写しこまれているので、これらの画像座標を測定することによりｐｐｉｘとｐの関係を得ることができる。この関係は順変換・逆変換ともアフイン変換もしくはヘルマート変換で与えることができる。つまり、写真座標と画像座標の間の変換と上述の議論を組み合わせれば、上記の（１）、（２）、（３）の式の画像座標と地上座標間の座標変換関数群を得ることができる。
【００４８】
２．ステレオ画像表示（Ｓ２）
また、画像表示部４０は、ステレオ画像保持部１０に保持されたステレオ画像を画面上に表示する。これにより、モニタ５０の表示画面上には、スレテオ画像Ｉ１（図１中の符号５１ａ），Ｉ２（同５１ｂ），カーソル（５１ｃ）等が表示される。
【００４９】
３．多角形の入力（Ｓ３）
このように、ステレオ画像が表示されると、この３次元計測装置のオペレータは、ポインティングデバイス６１ａ等を操作して、適宜、表示画面上のカーソル５１ｃを移動させ、ステレオ画像Ｉ１（５１ａ）あるいはＩ２（５１ｂ）上で、入力対象となる構造物を構成する多角形５１ｄを指定する。オペレータによって指定された多角形を示す情報は、入力部６０を介して不定形窓設定部７０に供給され、この不定形窓設定部７０が多角形あるいは画像マスク等によって不定形の領域（不定形窓）を設定する。
【００５０】
４．オプション拘束条件入力（Ｓ４）
上述のように多角形を入力すると共に、入力部６０は、マッチングを行うためのオプション拘束条件の有無の指示をオペレータに要求し、オペレータからの指示があれば、オプションの種類、各々のオプションにおいて必要な情報を入力する。拘束条件の有無，各オプション及び必要な情報は、例えばメモリ，ＨＤＤ等に保持されている次のテーブルに従って指定される。
【００５１】
【数１０】
0004149732.tif 000011
例えば入力部６０は、まず、オプションの有無の入力を確認する画像を画像表示部４０を介してモニタ５０に表示させ、オプションが有ると指示された場合には、オプションのタイプを確認する画像を表示させる。これに応じてオプションのタイプが指示されると、上述のテーブルに従って、必要となる条件を取得し、この条件（パラメータ）の入力を要求する画像を表示させる。
【００５２】
各オプションのタイプとパラメータの対応は以下のようになっている。
【００５３】
・拘束条件無し（図７）
拘束条件無しの場合には、パラメータの入力は行わず、次の平面ステレオマッチング法による計測に進む。
【００５４】
・１点固定（図８）もしくは２点固定（図９）
平面上の対応を固定したい点。平面マッチングの際、求める面がこの対応点から計算される３次元座標を必ず通るように拘束する。固定対応点は、入力した多角形点列上の点を指定する。
【００５５】
・平面に平行な直線方向指定（図１０）
平面に平行な直線の方向を指定する。指定の方法としては、次の４つが考えられる。
【００５６】
▲１▼直線の方向ベクトルの数値指定
３次元方向ベクトルを数値で指定する。例えば、直線の方向が鉛直の場合は、方向ベクトルは（０，０，１）である。
【００５７】
▲２▼２点の対応点
２組の対応点の３次元座標を計算し、これらの点を結ぶベクトルを直線方向とする。
【００５８】
▲３▼平面に垂直な他の面の指定
既に決定済みの面がこれから決定する面に垂直な場合は、その面を指定する。その面の法線ベクトルが、求める面に平行な直線方向である。
【００５９】
▲４▼座標軸の指定
Ｚ軸等、特定の座標紬に平行の場合は、その紬を指定する。
【００６０】
・平面方向の指定（図１１）
平面の法線の向きを指定する。指定の方法は、平面に平行な直線の方向ベクトルの指定方法と同じである。
【００６１】
以上のように、オペレータからオプションのタイプとパラメータが入力されると、入力部６０はオプションのタイプとパラメータを示す情報を拘束条件設定部８０に供給する。拘束条件設定部８０は供給された情報に従って拘束条件を設定する。
【００６２】
５．平面ステレオマッチング法による計測（Ｓ５）
上述のように拘束条件が設定されると、ステレオマッチング部９０は、平面ステレオマッチング法によって、多角形を平面であると仮定して多角形等によって指定された不定形の領域の内部について自動的に平面ステレオマッチングを行う。
【００６３】
上術の図６中の平面Ａを表現する適当なパラメータをＤとし、画像Ｉ１上の多角形Ａ内の点ｐ１ｉに対する画像Ｉ２上の対応点ｐ２ｉをＤとｐ１ｉの対応関数Ｈで表す。
【００６４】
ｐ２ｉ＝Ｈ（ｐ１ｉ，Ｄ）                                （１５）
ここで、多角形Ａ内におけるＩ１とＩ２の画素値の差を合計した次の評価関数を定義する。
【００６５】
χ（Ｄ）＝Σｅｉ（Ｄ）２                              （１６）
ｅｉ（Ｄ）＝Ｉ２（Ｈ（ｐ１ｉ，Ｄ））−Ｉ１（ｐ１ｉ）      （１７）
式（１８）の積算は多角形Ａ内の画像Ｉ１の画素全てについて行うものとする。評価関数χを最小化するＤを最適化手法で求めれば、平面Ａを決定することができる。
【００６６】
５．１．平面ＡのパラメータＤ
Ｉ１とＩ２の投影中心をＯ１及びＯ２、Ｉ１上の点をｐ１、Ｉ２上のｐ１の対応点をｐ２とすると、例えば図１２に示すように、ｐ２は必ず三角形Ｏ１Ｏ２ｐ１のなす平面と画像Ｉ２の交わる直線上になければならない。この直線を、ｐ１のエピポーララインと呼ぶ。
【００６７】
例えば図１３に示すように、平面Ａ上の点Ｑ１，Ｑ２，Ｑ３が投影されるＩ１上の位置をｐ１（１），ｐ１（２），ｐ１（３）、Ｉ２上の対応点をｐ２（１），ｐ２（２），ｐ２（３）とする。なお、これらの点は面Ａの内部あるいは周上の点だけではなく、面Ａの外側の仮想平面Ａ上の点でもよい。ｐ’２（１）及びｐ”２（１）がｐ１（１）のエピポーラ線上にあり、同様にｐ’２（２）及びｐ”２（２）がｐ１（２）のエピポーラ線上に、ｐ’２（３）及びｐ”２（３）がｐ１（３）のエピポーラ線上にそれぞれあるとすれば、ｐ２（１），ｐ２（２），ｐ２（３）は実数パラメータの組Ｄ＝［Ｄ１Ｄ２Ｄ３］を用いて、次のように表すことができる。
【００６８】
【数１１】
0004149732.tif 000012
（１８）
Ｄを決めるとｐ２（１），ｐ２（２），ｐ２（３）が決まり、前方交会によりＱ１，Ｑ２，Ｑ３が決まる。空間内の３点が求まれば、それを通る平面が一意に決定されるので、パラメータＤは、平面Ａを決定するパラメータと等価である。
【００６９】
なお、ｐ’２（１），ｐ’２（２），ｐ’２（３）を初期対応点、ｐ”２（１），ｐ”２（２），ｐ”２（３）を補助対応点と呼ぶ。
【００７０】
５．２．対応関数Ｈの導出
例えば図１４に示すように、平面Ａ上のＱのＩ１とＩ２の像をｐ１＝（ｘ１，ｙ１）及びｐ２＝（ｘ２，ｙ２）とすると、ｐ１とｐ２の関係は射影変換になることが知られ、上述の式（１７）中の対応関数Ｈは射影変換である。この射影変換Ｈは射影変換係数（ａ１，…，ａ８）を用いて以下の式で表される。
【００７１】
ｘ２＝（ａ１・ｘ１＋ａ２・ｙ１＋ａ３）／（ａ７・ｘ１＋ａ８・ｙ１＋１）   （１９）
ｙ２＝（ａ４・ｘ１＋ａ５・ｙ１＋ａ６）／（ａ７・ｘ１＋ａ８・ｙ１＋１）   （２０）
射影変換係数は、４組の対応点から決定することができる。上述の５．１．において示したように、パラメータＤによって３組の対応点が決まる。そこで、以下ではもう一組の対応点がカメラの幾何学的配置から決まることを示し、対応関数Ｈを具体的に決定する。
【００７２】
５．２．１．エピポールの対応
例えば図１５に示すように、Ｉ１とＩ２の投影中心Ｏ１及びＯ２を結ぶ直線Ｏ１Ｏ２とＩ１の画像平面の交点をＥ１、Ｉ２の画像平面との交点をＥ２とする。Ｅ１とＥ２は互いの投影中心が写る点であり、エピポールと呼ばれる。実はエピポールは平面Ａと直線Ｏ１Ｏ２の交点ＱＥの像でもある。つまり、２つのエピポールは平面Ａに関する対応点の一つである。エピポールには次のような性質がある。
【００７３】
（１）エピポールは平面Ａの取り方によらず、カメラの幾何学のみに依存する。
【００７４】
エピホールは互いの投影中心が写る点なので、平面Ａの取り方によらない。
【００７５】
（２）全てのエピポーララインはエピポールを通る。
【００７６】
エピポーララインとは、２つの投影中心と一方の画像上の点の３点がなす平面と、もう一方の画像平面の交線であった。また、エピポールは投影中心を結ぶ線と画像平面の交点であるので、必ず上記交線上にある。つまり、エピポールは全てのエピポーラライン上にある。
【００７７】
（３）画像平面と投影中心を結ぶ直線が平行ならエピポールは無限遠点となる。
【００７８】
平行であれば当然交点はない。このとき、全てのエピポーララインは平行となる。つまり、エピポールはエピポーララインの方向の無限遠点であると考えられる。
【００７９】
なお、画像Ｉ１及びＩ２のエピポールＥ１及びＥ２は、上述の式（４）に投影中心を適用することによって得られる。
【００８０】
Ｅ１＝Ｆ１（Ｐ２）                                        （２１）
Ｅ２＝Ｆ２（Ｐ１）                                        （２２）
５．２．２．Ｄを用いた射影変換Ｈの算出方法
（ａ）エピポールが無限遠点でない場合
上述の式（１９）及び式（２０）から、射影変換係数（ａ１，…，ａ８）に関する以下の１次方程式を得ることができる。
【００８１】
ｘ１・ａ１＋ｙ１・ａ２＋ａ３−ｘ２・ｘ１ａ７−ｘ２・ｙ１・ａ８＝ｘ２      （２３）
ｘ１・ａ４＋ｙ１・ａ５＋ａ６−ｙ２・ｘ１ａ７−ｙ２・ｙ１・ａ８＝ｙ２      （２４）
さて、ｐ１（１），ｐ１（２），ｐ１（３）と上述の式（２０）で与えられる対応点ｐ２（１），ｐ２（２），ｐ２（３）に式（２３）及び式（２４）を適用すれば、（ａ１，‥．，ａ８）に関する１次方程式が各点について２つ、合計で６つ与えられる。これに加えて、エピポールの対応をｐ１（４）及びｐ２（４）として加えれば、全部で８つの独立な一次方程式が得られる。これらの方程式を整理すると、Ｍを８×８の行列、Ｖを８次元ベクトルＢ＝ｔ［ａ１，ａ２，ａ３，ａ４，ａ５，ａ６，ａ７，ａ８］として、
Ｍ・Ｂ＝Ｖ                                                （２５）
と表すことができる。この結果、射影変換係数Ｂは次式で与えられる。
【００８２】
Ｂ＝Ｍ−１・Ｖ                                              （２６）
（ｂ）エピポールが無限遠点の場合
以下、同次座標を用いて射影変換を表すことによって、無限遠点の対応関係も統一的に記述できることを示す。
【００８３】
同次座標表現（ｘ１，ｙ１，１）及び（ｘ２，ｙ２，１）を用いると、上述の式（１９）及び式（２０）は次のように表される。
【００８４】
【数１２】
0004149732.tif 000013
（２７）
ここで等号
【数１３】
0004149732.tif 000014
は、等号の両側のベクトルの比が等しい事を意味する。すなわち、
【数１４】
0004149732.tif 000015
（２８）
である。
【００８５】
【数１５】
0004149732.tif 000016
（２９）
に注意すれば、（Ｘ，Ｙ，０）は、方向（Ｘ，Ｙ）の無限遠点を表現することがわかる。
【００８６】
ここでｔ［ＸＹＺ］及びｔ［Ｘ’Ｙ’Ｚ’］を対応点の同次座標表現とすると、
【数１６】
0004149732.tif 000017
（３０）
となり、式（２５）と式（３０）より、
Ｘ’：Ｙ’：Ｚ’＝（ａ１・Ｘ＋ａ２・Ｙ＋ａ３・Ｚ）：（ａ４・Ｘ＋ａ５・Ｙ＋ａ６・Ｚ）：（ａ７・Ｘ＋ａ８・Ｙ＋Ｚ）                    （３１）
となる。これより、もしＺ’≠０ならば、
Ｘ’／Ｚ’＝（ａ１・Ｘ＋ａ２・Ｙ＋ａ３・Ｚ）／（ａ７・Ｘ＋ａ８・Ｙ＋Ｚ） （３２）
Ｙ’／Ｚ’＝（ａ４・Ｘ＋ａ５・Ｙ＋ａ６・Ｚ）／（ａ７・Ｘ＋ａ８・Ｙ＋Ｚ）  （３３）
となる。これらを係数（ａ１，…，ａ８）について整理すると、
Ｚ’・Ｘ・ａ１＋Ｚ’・Ｙ・ａ２＋Ｚ’・Ｚ・ａ３−Ｘ’・Ｘ・ａ７−Ｘ’・Ｘ・ａ８＝Ｘ’・Ｚ’       （３４）
Ｚ’・Ｘ・ａ４＋Ｚ’・Ｙ・ａ５＋Ｚ’・Ｚ・ａ６−Ｙ’・Ｘ・ａ７−Ｙ’・Ｘ・ａ８＝Ｙ’・Ｚ’       （３５）
である。またＺ’＝０ならば、
Ｘ’：Ｙ’＝（ａ１・Ｘ＋ａ２・Ｙ＋ａ３・Ｚ）：（ａ４・Ｘ＋ａ５・Ｙ＋ａ６・Ｚ）（３６）
（ａ７・Ｘ＋ａ８・Ｙ＋Ｚ）＝０                            （３７）
となる。これらを係数（ａ１，…，ａ８）について整理すると、
Ｙ’・Ｘ・ａ１＋Ｙ’・Ｙ・ａ２＋Ｙ’・Ｚ・ａ３−Ｘ’・Ｘ・ａ４−Ｘ’・Ｙ・ａ５−Ｘ’・Ｚ・ａ６＝０（３８）
Ｘ・ａ７−Ｙ・ａ８＝０                                      （３９）
である。これらの式（３８）及び式（３９）を使えば、同次座標表現された無限遠点のエピポールの対応からも、（ａ１，…，ａ８）に関する１次方程式を導き出せる。例えば、エピポーララインが両画像でＸ軸に平行な直線になる場合は、Ｘ方向の無限遠点、即ち（１，０，０）と（１，０，０）が対応する。これを式（３８）及び式（３９）に適用すれば、
ａ４＝０，ａ７＝０となる。
【００８７】
５．３．最小自乗法による最適化
５．３．１．Ｇａｕｓｓ−Ｎｅｗｔｏｎ法による非線形最小自乗法
評価関数χを最小化するＤをＧａｕｓｓ−Ｎｅｗｔｏｎ法による非線形最小自乗法で求める。Ｇａｕｓｓ−Ｎｅｗｔｏｎ法では、最適化時のパラメータの修正量△Ｄ＝［△Ｄ１，△Ｄ２，△Ｄ３］を次の式で与える。
【００８８】
（ｔＪ・Ｊ）・ΔＤ＝−ｔＪ・ｅ                              （４０）
ここで、Ｊはヤコビ行列である。また、全てのモデル上の点において重みは等しいとみなす。なお、Ｊは、
【数１７】
0004149732.tif 000018
（４１）
で与えられる。ここで、ｎはサンプルの個数であり、この場合は積算する画素の個数である。
【００８９】
また、
ｅ＝ｔ［ｅ１ｅ２…ｅｎ］                                    （４２）
である。
【００９０】
上述の変数Ｄの次元は３であり、ｔＪ・Ｊは３×３の行列になるｔＪ・Ｊのｊ行ｋ列成分（ｔＪ・Ｊ）（ｊ、ｋ）は、次の加算式で与えられる。
【００９１】
【数１８】
0004149732.tif 000019
（４３）
ここで、Ｄｊ・ＤｋはＤのｊ番目及びｋ番目の成分である。
【００９２】
また、式（４０）の右辺−ｔＪ・ｅは３行１列の縦ベクトルになる。このベクトルのｊ行成分（−ｔＪ・ｅ）ｊも、次のような加算式で表される。
【００９３】
【数１９】
0004149732.tif 000020
（４４）
行列ｔＪ・ＪをＫ、ベクトル−ｔＪ・ｅをＷとおけば、式（４０）は次のように置き換えられる。
【００９４】
Ｋ・ΔＤ＝Ｗ                                              （４５）
この式（４５）の△Ｄは連立１次方程式で、Ｋ及びＷが計算できれば解くことができる。△Ｄを用いて、次の式でＤを更新する。
【００９５】
【数２０】
Ｄ＋ΔＤ⇒Ｄ                                              （４６）
この処理を評価関数χの変化量がある閾値（△χ）になるまで繰り返し、最適なＤを求めることができる。
【００９６】
５．３．２．パラメータＤと射影変換Ｈに基づく∂ｅｉ／∂Ｄの導出方法
最小自乗法によって、上述の式（１６）を最小化するパラメータＤを求めるためには、∂ｅｉ／∂Ｄとｅｉを計算することが必要となる。ｅｉは、上述の５．２．で求めた射影変換Ｈを上述の式（１７）に適用すればよい。以下、∂ｅｉ／∂Ｄの導出方法について説明する。
【００９７】
ｐ１ｉ＝（ｘｉ，ｙｉ）、ｐ２ｉ＝（ｘｉ′，ｙｉ′）とおくと、式（１７）より、
【数２１】
0004149732.tif 000021
（４７）
となる。ここで、∂Ｉ２／∂ｘｉ’及び∂Ｉ２／∂ｙｉ’は画像Ｉ２のｘ及びｙ方向の微分係数であり、数値微分が可能である。
【００９８】
【数２２】
0004149732.tif 000022
及び
【数２３】
0004149732.tif 000023
は上述の式（２４）及び式（２５）より、
【数２４】
0004149732.tif 000024
（４８）
である。また、上述の式（２６）の両辺をＤｊで微分すると、
【数２５】
0004149732.tif 000025
（４９）
であるから、
【数２６】
0004149732.tif 000026
（５０）
が得られる。∂Ｍ／∂Ｄｊ及び∂Ｖ／∂Ｄｊは、上述の式（１８），式（３４）及び式（３５），式（３８）及び式（３９）を用いて求めることができる。
【００９９】
以上より∂ｅｉ／∂Ｄを求めることができる。
【０１００】
５．４．様々な拘束条件下の平面ステレオマッチング
３次元空間内において、平面に拘束条件を与え、その条件のもとで平面を決定する場合を考える。
【０１０１】
５．４．１．平面上の１点を３次元的に拘束する場合（１点固定）
平面上の１点を３次元的に拘束することは、すなわち平面上の点対応を１点与えることである。この固定点の対応をｐ１（３）及びｐ２（３）とおき、求めるパラメータの自由度を減らすことができる。この際、求めるバラメータはＤ＝［Ｄ１，Ｄ２］となる。
【０１０２】
５．４．２．平面上の２点を３次元的に拘束する場合
平面上の２点を３次元的に拘束するのは、平面上の点対応を２点与えることと同等となる。つまり、２つの拘束点の対応をｐ１（２）とｐ２（２）、及びｐ１（３）とｐ２（３）として与えることにより自由度を減らすことができる。この際、求めるパラメータはＤ＝［Ｄ１］となる。
【０１０３】
なお、この場合は、最小自乗法を適用せず、Ｄを適当な範囲で順次変化させてχ（Ｄ）を計算し、その最小を与えるＤｏｐｔを求める方がよい。
【０１０４】
５．４．３．平面に平行な直線方向を指定する場合
例えば図１６に示すように、平面をある直線方向に平行に拘束すると、その直線方向の無限遠点（消失点）はこれらの平面上の対応点となり得る。消失点を左右画像で求めると、これらをｐ１（３），ｐ２（３）として与えたことと等価になり、求めるパラメータをＤ＝［Ｄ１，Ｄ２］に減らすことができ尋。
【０１０５】
例えば空撮写真による写真測量の場合、建物の壁面等の鉛直面が典型的に多く存在する。このような鉛直壁面については、鉛直方向の消失点（鉛直点）を対応点とすることができる。
【０１０６】
なお、直線の方向ベクトルをｖとすると、その方向の画像Ｉ１，Ｉ２上の消失点Ｅｖ１及びＥｖ２は、上述の式（６）を用いて次のように求めることができる。
【０１０７】
【数２７】
0004149732.tif 000027
（５１）
ここで、Ｐ１及びＰ２は、画像Ｉ１及びＩ２の投影中心である。
【０１０８】
５．４．４．平面方向を指定する場合
平面の方向を指定する場合とは、別の平面に平行になるよう拘束することである。
【０１０９】
例えば図１７に示すように、平行な２平面Π０とΠ１の間で求める平面を最適化することを考える。このとき、次の定理が成立する。
【０１１０】
［定理１］平面Π０とΠ１は平行で、Π０及びΠ１を対応させる射影変換係数行列をそれぞれＨΠ０、ＨΠ１とする。このとき、パラメータＤを用いて得られる射影変換係数Ｈ（Ｄ）
【数２８】
0004149732.tif 000028
（５２）
は、Π０とΠ１に平行な平面の射影変換を与える。
【０１１１】
この式（５２）のＤを０と１の間で変化させると、Π０とΠ１に平行な任意の平面の射影変換係数及び評価関数χ（Ｄ）を順次計算することができる。評価関数χ（Ｄ）を最小にするＤが最適解Ｄｏｐｔである。
【０１１２】
５．５．具体的な実装例
ここでは、多角形Ａで指定される平面Ａを決定し、最終的に面Ａの輪郭の三次元形状を算出する方法を具体的に示す。実装方法は、対応点を利用した方法と、平面方向を指定した場合の２つに分かれる。対応点を利用した方法は、平面方向を指定した場合以外の全てのケースに適用される。
【０１１３】
５．５．１．  対応点を利用した計算方法
５．５．１．１．必要情報の設定（図１８中のＳ１１）
以下の必要情報を設定する。
【０１１４】
（１）面を指定する多角形
上述のＳ３において、ステレオ画像のいずれかの上でなぞられた多角形（画像座標列）で、平面構造物の面の外周を示す。なぞられた方の画像をＩ１、もう一方をＩ２とする。
【０１１５】
（２）画像の標定要素
上述のＳ１で入力された標定要素である。
【０１１６】
（３）面の概略奥行き
面Ａの概略奥行きＺａである。
【０１１７】
（４）対応点情報（Ｓ１２）
上述のＳ４で入力された拘束条件に応じて４点の対応点情報を設定する。４点目には上述のエピポールを自動設定することができる。各対応点情報の設定方法は、例えば上述の拘束条件タイプによって以下の表のように分類される。
【０１１８】
【数２９】
0004149732.tif 000029
ａ．設定方法１（推定による自動設定）
左画像上の点ｐ１（ｋ）の指定と、その初期対応点ｐ’２（ｋ）と補助対応点ｐ”２（ｋ）を自動設定する（ｋは対応点番号）。一般にｐ１（ｋ）は面を指定した多角形Ａの頂点である。
【０１１９】
また、ｐ’２（ｋ）はｐ１（ｋ）の対応点位置の近辺にある点で、概略奥行きＺａと上述の式（６）及び式（７）を使って次の式で求める。
【０１２０】
【数３０】
0004149732.tif 000030
（５３）
Ｐ”２（ｋ）はｐ’２（ｋ）以外の任意のエピポーラライン上の点でよく、エピポールそのものでもよい。
【０１２１】
ｂ．設定方法２（固定対応点を設定）
ユーザが特定の点の対応を固定したい場合の方法である。固定したい対応点をｐ１（ｋ）とｐ２（ｋ）に設定する。
【０１２２】
ｃ．設定方法３（エピポールを設定）
Ｉ１とＩ２のエピポールＥ１とＥ２をそれぞれｐ１（ｋ）とｐ２（ｋ）に設定する。
【０１２３】
ｄ．設定方法４（消失点を設定）
求める平面が平行な直線方向ｖのＩ１とＩ２上の消失点Ｅｖ１とＥｖ２をそれぞれｐ１（ｋ）とｐ２（ｋ）に設定する。
【０１２４】
５．５．１．２．画像の読み込み（Ｓ１３）
画像Ｉ１と画像Ｉ２をステレオ画像保持部１０から読み込む。多角形Ａを与えられている方の画像をＩ１とする。
【０１２５】
５．５．１．３．微分画像の計算（Ｓ１４）
画像のｘ方向微分∂Ｉ２／∂ｘｉ’及びｙ方向微分∂Ｉ２／∂ｙｉ’を計算する。
【０１２６】
５．５．１．４．パラメータＤの初期値の設定（Ｓ１５）
パラメータＤを全て０に設定する。
【０１２７】
５．５．１．５．微分値の計算と積算（Ｓ１６）
画像Ｉ１の指定多角形内の各画素について∂ｅｉ／∂Ｄとｅｉを計算し、積算する事によって行列ｔＪ・Ｊとベクトル−ｔＪ・ｅを計算する。
【０１２８】
５．５．１．６．パラメータＤの更新（Ｓ１７）
式（４５）及び式（４６）に従ってパラメータＤを更新する。
【０１２９】
５．５．１．７．収束判定（Ｓ１８）
パラメータＤの変化△Ｄが閾値Ｄｔｈより小さくなるか、収束計算のループ回数が閾値Ｌｔｈより大きくなった場合、そのときのＤを最適解Ｄｏｐｔとして出力し、収束計算を終了する。条件を満たさない場合は、微分値の計算と積算（Ｓ１６）に戻る。
【０１３０】
５．５．１．８．多角形座標の三次元変換（Ｓ１９）
Ｄｏｐｔで与えられる射影変換Ｈにより、画像Ｉ１上の多角形の各点に対応する画像Ｉ２上の対応点を計算し、更に上述の式（１３）によって各点の三次元座標を計算する。
【０１３１】
５．５．２．  ２平面方向を指定する場合の計算方法
５．５．２．１．必要情報の設定（図１９中のＳ２１）
以下の必要情報を設定する。
【０１３２】
（１）面を指定する多角形
上述のＳ３において、ステレオ画像のいずれかの上でなぞられた多角形（画像座標列）で、平面構造物の面の外周を示す。なぞられた方の画像をＩ１、もう一方をＩ２とする。
【０１３３】
（２）画像の標定要素
上述のＳ１で入力された標定要素である。
【０１３４】
（３）面の概略奥行き
面Ａの概略奥行きＺａである。
【０１３５】
（４）法線方向
上述のＳ４で入力された求める平面に平行な平面の単位法線方向ｖ＝（ｖｘ，ｖｙ，ｖｚ）である。
【０１３６】
５．５．２．２．射影変換係数計算（Ｓ２２）
まず、多角形Ａの重心座標Ａｇを求め、次の式で平面の概略重心Ｐｉｎｉを次の式で求める。
【０１３７】
【数３１】
0004149732.tif 000031
（５４）
△ｖを適当な正の実数として、求める平面が、例えば図２０に示すように、ｐｉｎｉ＋△ｖ・ｖを通る平面Π０とＰｉｎｉ−△ｖ・ｖを通る平面Π１の間に存在するとする。これらの二つの平面の方程式は次式で表される。
【０１３８】
【数３２】
0004149732.tif 000032
（５５）
Π０とΠ１のそれぞれについて、面上の適当な４点（どの３点も一直線上にない）を求め、これらを各画像に投影した４組の対応点から射影変換係数を求めたものをそれぞれＨΠ０、ＨΠ１とする。
【０１３９】
５．５．２．３．画像の読み込み（Ｓ２３）
画像Ｉ１と画像Ｉ２を外部記憶装置から読み込む。多角形を与えられている方の画像を画像Ｉ１とする。
【０１４０】
５．５．２．４．パーラメータＤの初期値の設定（Ｓ２４）
Ｄ＝０                                                      （５６）
とおく。また、最適解の初期値としてＤｏｐｔ＝０とおき、評価関数χの最小値の初期値としてχｍｉｎに十分大きな値を設定しておく。
【０１４１】
５．５．２．５．射影変換係数の算出（Ｓ２５）
上述の式（５２）に基づき、Ｄに対応する射影変換係数Ｈを求める。
【０１４２】
５．５．２．６．評価関数の算出（Ｓ２６）
上述の式（１６）によって評価関数χを求める。
【０１４３】
５．５．２．７．最小判定とχｍｉｎ・Ｄｏｐｔの算出（Ｓ２７，Ｓ２８）
もしχ＜χｍｉｎならば、ＤｏｐｔをＤで、χｍｉｎをχで置き換える。
【０１４４】
５．５．２．８．Ｄの更新（Ｓ２９）
Ｄに正の加算値△Ｄを加える。
【０１４５】
５．５．２．９．ループ終了判定（Ｓ３０）
Ｄ＞１ならば、ループを終了する。そうでないならば、「射影変換の算出」（Ｓ２５）に戻る。
【０１４６】
５．５．２．１０．多角形座標の三次元変換（Ｓ３１）
Ｄｏｐｔで与えられる射影変換Ｈにより、上述の式（１５）によって画像Ｉ１上の多角形の各点に対応する画像Ｉ２上の対応点を計算し、さらに上述の式（１３）によって各点の三次元座標を計算する。
【０１４７】
以上の処理により、多角形等で指定された不定形の領域の内部の各点に３次元座標が与えられる。この後、多角形の計測を続けて行うか否かを判定し（図２中のＳ６）、多角形の計測を続けて行う場合は上述のＳ３（多角形の入力）に戻り、行わない場合には次のＳ７（３次元モデルの出力）に進む。
【０１４８】
６．３次元モデル出力（Ｓ７）
以上のように、ステレオマッチングが終了すると、３次元モデル保持部１００には、例えば各３次元多角形の各頂点の座標等が３次元モデルとして格納された状態となる。このようなデータは、例えば外部からの要求に応じて出力する。
【０１４９】
（効果）
以上説明したように、この３次元計測装置では、多角形や画像のラスターマスクで指定される不定形の領域について、それが平面であるという拘束のもとに、面上もしくは図上の全ての点を精密に測定できる。このため、傾きを有する平面についても平面のパラメータを求めることができる。これにより、ステレオ画像内に存在する平面領域を精確かつ自動的に計測することができる。
【０１５０】
また、この３次元計測装置では、上述のように、平面が通る１つないし２つの点を拘束したり、平面の向きをある直線方向に平行もしくはある平面に平行になるように拘束したりして最適な平面を求めることができる。これにより、ステレオマッチングに必要なパラメータ数を減少させ、入力あるいは演算の負荷を低減させることができる。
【０１５１】
なお、以上の説明では、航空写真から３次元モデルを作成するシステムに本発明を適用した例について説明したが、本発明の適用対象は、これに限定されるものではなく、例えばステレオ写真による建物形状の精密計測、３次元モデルの生成等にも本発明を適用することができる。
【０１５２】
【発明の効果】
本発明に係るステレオマッチング方法では、傾きを有する平面についてもステレオマッチングを行うことできる。これにより、ステレオ画像内に存在する平面領域を精確かつ自動的に計測することができる。
【０１５３】
また、本発明に係る３次元計測方法及び３次元計測装置では、傾きを有する平面についてもステレオマッチングを行って３次元モデルを生成することができる。ことにより、多角形の厳密な計測位置を、ステレオ画像を実体視することなしに計測することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る３次元計測装置の構成例を示すブロック図である。
【図２】前記３次元計測装置の動作を示すフローチャートである。
【図３】ステレオ画像の例を示す図である。
【図４】エリアセンサの幾何学的特性の例を示す図である。
【図５】エリアセンサの幾何学的特性の例を示す図である。
【図６】画像中の多角形と実際の平面の関係の例を示す図である。
【図７】拘束条件を指定するオプションの入力の例を示す図である。
【図８】拘束条件を指定するオプションの入力の例を示す図である。
【図９】拘束条件を指定するオプションの入力の例を示す図である。
【図１０】拘束条件を指定するオプションの入力の例を示す図である。
【図１１】拘束条件を指定するオプションの入力の例を示す図である。
【図１２】エピポーララインを示す概念図である。
【図１３】パラメータＤを示す概念図である。
【図１４】平面上の点の対応を示す概念図である。
【図１５】エピポールを示す概念図である。
【図１６】消失点における対応を示す概念図である。
【図１７】平面方向を拘束する場合を示す概念図である。
【図１８】平面ステレオマッチング処理を示すフローチャートである。
【図１９】平面ステレオマッチング処理を示すフローチャートである。
【図２０】２平面の決定を示す概念図である。
【符号の説明】
１０…ステレオ画像保持部、
２０…標定要素保持部、
３０…変換関数算出部、
４０…画像表示部、
５０…モニタ、
６０…入力部、
７０…不定形窓設定部、
８０…拘束条件設定部、
９０…ステレオマッチング部、
１００…３次元モデル保持部
【図１】
0004149732.tif 000033
【図２】
0004149732.tif 000034
【図３】
0004149732.tif 000035
【図４】
0004149732.tif 000036
【図５】
0004149732.tif 000037
【図６】
0004149732.tif 000038
【図７】
0004149732.tif 000039
【図８】
0004149732.tif 000040
【図９】
0004149732.tif 000041
【図１０】
0004149732.tif 000042
【図１１】
0004149732.tif 000043
【図１２】
0004149732.tif 000044
【図１３】
0004149732.tif 000045
【図１４】
0004149732.tif 000046
【図１５】
0004149732.tif 000047
【図１６】
0004149732.tif 000048
【図１７】
0004149732.tif 000049
【図１８】
0004149732.tif 000050
【図１９】
0004149732.tif 000051
【図２０】
0004149732.tif 000052