(57)【要約】【課題】温度変化、外圧（風）、振動等の影響で初期相互標定係数が変化しても、自動的に標識を認識でき、かつ自動的に新たな相互標定係数が求まるステレオ基線の自動標定方法を得る。【解決手段】固定基線装置による相互標定係数の求め方は、初めに計測対象付近に設置した後述する自動認識用の特殊マークＡｉ（Ａａｉ、Ａｂｉ）をマニュアルで標定し、基本モデル座標系（Ｘｍ、Ｙｍ、Ｚｍ）を定める。次に、随時コンピュータで撮影毎に自動的に左右ステレオ画像上（Ｂａ、Ｂｂ）において、後述する標識である特殊マークＡｉを認識し、認識した特殊マークＡｉの左右同一点の組み合わせを行う。そして、観測されたこれらの特殊マークの座標を用いて相互標定を行い、求めた相互標定係数の縦視差標準偏差が、１つ前に求めたモデルの縦視差標準偏差より小さい場合、自動的に相互標定係数値が置き換わる仕組みとし、これにより標定をマニュアルで実施しなくとも計測精度を維持する事が出来るようにしている。【選択図】      図１
2005037191.tif 000002
【特許請求の範囲】
【請求項１】
対象物上に、直線状の基線装置に一定のカメラ距離を有して下方の撮影できるように固定した少なくとも２台のデジタルカメラで連続撮影して、その左画像、右画像をコンピュータに送信し、該コンピュータが標識を認識することで、相互標定係数を求めてモデル座標系を定義して前記左画像上及び前記右画像上に対応点を自動的に定義する自動標定方法であって、
前記対象物の周囲に、前記標識として、長方形の下地に特殊な十字マークを付した特殊マーク標識を設けて、前記２台のデジタルカメラで前記特殊マーク標識を含む視野で前記対象物を撮影させる工程と、
前記コンピュータは、
前記左画像、右画像からなるステレオ画像から前記特殊マーク標識が存在する可能性が高い長方形状の特殊マーク領域のピクセル座標を順次、求める工程と、
前記特殊マーク領域の画像に対して、規定箇所から前記特殊マーク標識に対応するピクセル値の基準プレートを当てて移動させると共に、前記当て時に両方の残差を順次、求めさる工程と、
前記残差が求められる毎に、前記基準プレートを縦横直線で区切ったｉ個の領域に保存する工程と、
前記基準プレートを区切った前記ｉ個の領域の内で、前記特殊マーク標識の余部の領域に対しての黒部の領域との差を求め、これらの差が一定条件を満たしているときは、前記基準プレートにマッチングするマッチング特殊マーク標識と判定する工程と、
前記ステレオ画像から前記マッチング特殊マーク標識のピクセル座標を求める工程と、
前記マッチング特殊マーク標識と判定したとき、前記マッチング特殊マーク標識のピクセル座標を前記特殊マーク領域のピクセル座標に入れ替え、これを前記標識の認識座標とする工程と
を有することを特徴とする特殊マークによる自動標定方法。
【請求項２】
前記ステレオ画像は、左画像、右画像に区分けされて画面に表示され、
前記認識された特殊マーク標識は、前記左画像及び右画像上で所定記号が付されて表示されることを特徴とする請求項１記載の特殊マークによる自動標定方法。
【請求項３】
前記特殊マーク標識は、前記対象物の左右に直線上に配置され、
前記特殊マーク領域の検出は、前記ステレオ画像に対して水平垂直線分の抽出フィルタで抽出することを特徴とする請求項１又は２記載の特殊マークによる自動標定方法。
【請求項４】
前記基準プレートは、
前記特殊マーク領域の画像に対して、前記特殊マークの余部、黒部を区切った９個の領域を有し、かつそれぞれの領域に前記特殊マーク標識を形成するグレースケール値を割り付けていることを特徴とする請求項１、２又は３記載の特殊マークによる自動標定方法。
【請求項５】
対象物の周囲に、長方形の下地に特殊な十字マークを付した特殊マーク標識を設けて、対象物上に、直線状の基線装置に一定のカメラ距離を有して下方の撮影できるように固定した少なくとも２台のデジタルカメラで連続撮影して、その左画像、右画像をコンピュータに取り込みさせ、該コンピュータが認識した前記特殊マーク標識に基づいて予め求められている相互標定係数に基づくモデル座標系を定義して前記左画像上及び前記右画像上に対応点を自動的に定義する自動標定方法であって、
前記コンピュータは、
前記２台のデジタルカメラからの左画像、右画像からなるステレオ画像を内部に取り込み、この左画像、右画像に対して基準プレートを移動させての残差逐次検定法によって前記特殊マーク標識の概略座標を認識した後に、前記特殊マーク標識の余部に対する黒部の残差を求める微細位置特定処理で前記概略座標に対しての詳細座標を特定する工程と、
前記左画像、右画像上で、前記特殊マーク標識の詳細座標に対応する特殊マーク標識を抽出する工程と、
前記ステレオ画像の左画像、右画像上で特定された前記特殊マーク標識の詳細座標を読み込んで、それぞれの画像に対しての相互標定を行ってそれぞれの相互標定係数を求める工程と、
前記求められた今回の左画像、右画像のそれぞれの相互標定係数の縦視差標準偏差が前記予め設定されている前回の前記左画像、右画像のそれぞれの相互標定係数の縦視差標準偏差とを比較し、差が前回より小さいかどうかを判定する工程と、
前記差が小さいと判定したときは、前記求められている前回の左画像、右画像のそれぞれの相互標定係数の縦視差標準偏差を前記今回の左画像、右画像のそれぞれの相互標定係数の縦視差標準偏差に置き換える工程と
を有することを特徴とする特殊マークによる自動標定方法。
【請求項６】
前記左画像の特殊マーク標識に対応する右画像の特殊マーク標識を、写真座標に変換し、両方のＹ座標同士の差が基準値を満たしているときは前記対応点として抽出させる工程と
を有することを特徴とする特殊マークによる自動標定方法。
【請求項７】
前記コンピュータは、
前記左画像、右画像からなるステレオ画像から前記特殊マーク標識が存在する可能性が高い長方形状の特殊マーク領域のピクセル座標を順次、求める工程と、
前記特殊マーク領域の画像に対して、規定箇所から前記特殊マーク標識に対応するピクセル値の基準プレートを当てて移動させると共に、前記当て時に両方の残差を順次、求めさる工程と、
前記残差が求められる毎に、前記基準プレートを縦横直線で区切ったｉ個の領域に保存する工程と、
前記基準プレートを区切った前記ｉ個の領域の内で、前記特殊マーク標識の余部の領域に対しての黒部の領域との差を求め、これらの差が一定条件を満たしているときは、前記基準プレートにマッチングするマッチング特殊マーク標識と判定する工程と、
前記ステレオ画像から前記マッチング特殊マーク標識のピクセル座標を求める工程と、
前記マッチング特殊マーク標識と判定したとき、前記マッチング特殊マーク標識のピクセル座標を前記特殊マーク領域のピクセル座標に入れ替え、これを前記認識した特殊マーク標識の認識座標とする工程と
を有することを特徴とする請求項５又は６記載の特殊マークによる自動標定方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、固定基線装置に２台のデジタルカメラを固定して連続撮影を行い、相互標定してモデル座標系に関わる相互標定係数を求め、この相互標定係数をデジタルカメラの揺れに応じて更新する自動標定方法に関わる。
【０００２】
また、前述の２台のデジタルカメラで相互標定係数を求めるときの標識の認識方法に関わる。
【０００３】
【従来の技術】
例えば、海の埋立工事は、ベルトコンベア又はトラックで運搬して来た土砂を桟橋上で走行するシップローダから土運搬船に投入して、目的海域まで運搬させて投棄させる。
【０００４】
このとき、土運搬船の運搬量は、土量と回数とに基づいて計算されていた。しかし、業者によっては、目的海域まで運ばないで途中で半分程度捨てて戻って来る運搬船もある。
【０００５】
このため、土運搬船への投入量は、出港時と入港時において正確に計って計っておく必要がある。
【０００６】
土運搬船に積載した大量の積載土量を計測する方法には、次のものがある。
【０００７】
（１）人力による計測
多数の作業員が船上の積載土の上に立ち、積載土のレベル計測を行って積載土の断面を求め、これに計測間隔を乗じ全体の積載土量を求める。
【０００８】
（２）ドラフトによる計測
土投入前後の土運搬船の喫水を計測し、積載土の重量を求め、予め設定しておいた積載土の見かけ比重で除して積載土量を求める。
【０００９】
（３）超音波距離計による計測
土砂投下部（シップローダ）の上方に超音波受波器のアレイを並べ、土運搬船の積載土表面の形状を同時計測し、積載土の断面を求め、これに計測間隔を乗じ全体の積載土量を求める。
【００１０】
（４）光波測距儀による計測
シップローダの上方に光波測距儀のアレイを並べ、土運搬船の積載土表面の形状を同時に計測し、或いは、１つの光波測距儀を旋回させ積載土の断面形状を求め、これに計測間隔を乗じ全体の積載土量を求める。
【００１１】
しかしながら、これは、作業の安全が確保できない、計測値が正確ではない、システムが高価である等の問題がある。
【００１２】
このため、例えば、特許第３０３８４７４号公報（特許文献１）は、図１９に示すように、シップローダ１を設けた桟橋２の両舷に土運搬船３ａ、３ｂを配置し、一方の土運搬船３ａに土砂を搭載しながら、この一方の土運搬船の搭載土砂の形状をアーム６ａに設けたデジタルカメラ７で撮影し、他方の土運搬船３ｂの残土の形状を他方に設けたアーム６ｂのデジタルカメラ７で撮影し、そのステレオ画像データをコンピュータに伝送し、コンピュータにてステレオ画像計測により一方の土運搬船の積載土と他方の土運搬船の残土の断面を計測し、土運搬船の積載土量及び残土量を算出する。
【００１３】
前述のデジタルカメラによる測量は、ステレオ基線装置（アーム６ａ、６ｂ）に固定した２台のデジタルカメラによって同時に撮影されたステレオ写真を用いて計測を行う。そして、ステレオ基線装置にデジタルカメラを固定して相互標定を行い、モデル座標系に関わる相互標定係数（κ１，ψ１，κ２，ψ２，ω２）を求め、モデル座標を算出し、次に２台のデジタルカメラ間隔（基線長）を縮尺として、モデル座標から実空間座標系に展開するものである。
【００１４】
この方法で重要なことは、モデル座標系に変換する係数（κ１，ψ１，κ２，ψ２，ω２）であり、この傾きをいかに正確に求めるかによって全ての精度がきまってしまう。
【００１５】
ステレオ基線装置を用いた相互標定係数の求め方は、最初に基本となるステレオモデルを定め専門技術者がマニュアルで標定を行っていた。
【００１６】
【特許文献１】
特許第３０３８４７４号公報
従来は、ある領域の標識に対して基準のテンプレートを当て、差分をとり、差が規定以下のときに標識位置と判断している。
【００１７】
【発明が解決しようとする課題】
上記の方法は、初期モデルの相互標定係数を求めてから左右デジタルカメラの関係が保たれていれば最適である。つまり、基準点がない状態で写真測量をやることは、対象物（土運搬船）が絶対動かないという前提としてやっている。
【００１８】
しかしながら、屋外等でアームにデジタルカメラを利用すると温度変化、外圧（風）、振動等の影響でデジタルカメラが振動して初期相互標定係数が変化してしまい計測不可となり利用でき無くなる（図１５、図１６を参照）。
【００１９】
具体的な変化については、後述するが大まかに言うと外圧によってカメラの傾き関係（κ１，ψ１，κ２，ψ２，ω２）が変化してしまいエピポーラ幾何（図１６、図１７、図１８を参照）を構成できなくなり、結果として相互標定係数の条件が崩れて精度に大きな影響を与えるという課題があった。つまり、図１７、図１８に示すように、左右デジタルカメラの関係が３軸方向の傾きにおいて、どの軸を中心に変化すると３次元計測値に影響を及びすか、特にＹ軸方向に影響を与える（κ１，κ２，ω２）の値が、画像上で２画素程度、角度にして一定角度以上回転するとＹ軸方向に縦視差が発生し、偏位修正画像の関係が崩れ幾何学的な関係（エピポーラ幾何）が保てなくなり、３次元計測ができなくなる。
【００２０】
すなわち、デジタルカメラが揺れていても、標識を正確に認識でき、この認識結果で相互標定を行ってモデル座標系を構築して、エピポーラを正確に決められるようにしなければならない。
【００２１】
特に、文献１のようなシップローダのアームにデジタルカメラを取付けて写真測量を行うときは、海風による影響が大きい。
【００２２】
このため、対象物が動いた場合は、再び専門技術者がマニュアルで相互標定係数を求めていたという課題があった。
【００２３】
本発明は以上の課題を解決するためになされたもので、温度変化、外圧（風）、振動等の影響で初期相互標定係数が変化しても、自動的に標識を認識でき、かつ自動的に新たな相互標定係数が求まるステレオ基線の自動標定方法を得ることを目的とする。
【００２４】
【課題を解決するための手段】
本発明は、対象物上に、直線状の基線装置に一定のカメラ距離を有して下方の撮影できるように固定した少なくとも２台のデジタルカメラで連続撮影して、その左画像、右画像をコンピュータに送信し、該コンピュータが標識を認識することで、相互標定係数を求めてモデル座標系を定義して前記左画像上及び前記右画像上に対応点を自動的に定義する自動標定方法である。
【００２５】
前記対象物の周囲に、前記標識として、長方形の下地に特殊な十字マークを付した特殊マーク標識を設けて、前記２台のデジタルカメラで前記特殊マーク標識を含む視野で前記対象物を撮影させる工程とを有する。
【００２６】
そして、前記コンピュータは、前記左画像、右画像からなるステレオ画像から前記特殊マーク標識が存在する可能性が高い長方形状の特殊マーク領域のピクセル座標を順次、求める工程と、前記特殊マーク領域の画像に対して、規定箇所から前記特殊マーク標識に対応するピクセル値の基準プレートを当てて移動させると共に、前記当て時に両方の残差を順次、求めさる工程と、前記残差が求められる毎に、前記基準プレートを縦横直線で区切ったｉ個の領域に保存する工程と、前記基準プレートを区切った前記ｉ個の領域の内で、前記特殊マーク標識の余部の領域に対しての黒部の領域との差を求め、これらの差が一定条件を満たしているときは、前記基準プレートにマッチングするマッチング特殊マーク標識と判定する工程と、前記ステレオ画像から前記マッチング特殊マーク標識のピクセル座標を求める工程と、前記マッチング特殊マーク標識と判定したとき、前記マッチング特殊マーク標識のピクセル座標を前記特殊マーク領域のピクセル座標に入れ替え、これを前記標識の認識座標とする工程とを備えたことを要旨とする。
【００２７】
また、対象物の周囲に、長方形の下地に特殊な十字マークを付した特殊マーク標識を設けて、対象物上に、直線状の基線装置に一定のカメラ距離を有して下方の撮影できるように固定した少なくとも２台のデジタルカメラで連続撮影して、その左画像、右画像をコンピュータに取り込みさせ、該コンピュータが認識した前記特殊マーク標識に基づいて予め求められている相互標定係数に基づくモデル座標系を定義して前記左画像上及び前記右画像上に対応点を自動的に定義する自動標定方法である。
【００２８】
前記コンピュータは、
前記２台のデジタルカメラからの左画像、右画像からなるステレオ画像を内部に取り込み、この左画像、右画像に対して基準プレートを移動させての残差逐次検定法によって前記特殊マーク標識の概略座標を認識した後に、前記特殊マーク標識の余部に対する黒部の残差を求める微細位置特定処理で前記概略座標に対しての詳細座標を特定する工程と、前記左画像、右画像上で、前記特殊マーク標識の詳細座標に対応する特殊マーク標識を抽出する工程と、前記ステレオ画像の左画像、右画像上で特定された前記特殊マーク標識の詳細座標を読み込んで、それぞれの画像に対しての相互標定を行ってそれぞれの相互標定係数を求める工程と、前記求められた今回の左画像、右画像のそれぞれの相互標定係数の縦視差標準偏差が前記予め設定されている前回の前記左画像、右画像のそれぞれの相互標定係数の縦視差標準偏差とを比較し、差が前回より小さいかどうかを判定する工程と、前記差が小さいと判定したときは、前記求められている前回の左画像、右画像のそれぞれの相互標定係数の縦視差標準偏差を前記今回の左画像、右画像のそれぞれの相互標定係数の縦視差標準偏差に置き換える工程とを備えたことを要旨とする。
【００２９】
【発明の実施の形態】
固定基線装置による相互標定係数の求め方は、初めに計測対象付近に設置した後述する自動認識用の特殊マークＡｉ（Ａａｉ、Ａｂｉ）をマニュアルで標定し、基本モデル座標系（Ｘｍ、Ｙｍ、Ｚｍ）を定める。次に、随時コンピュータで撮影毎に自動的に左右ステレオ画像上（Ｂａ、Ｂｂ）において、後述する標識である特殊マークＡｉを認識し、認識した特殊マークＡｉの左右同一点の組み合わせを行う。
【００３０】
そして、観測されたこれらの特殊マークの座標を用いて相互標定を行い、求めた相互標定係数の縦視差標準偏差が、１つ前に求めたモデルの縦視差標準偏差より小さい場合、自動的に相互標定係数値が置き換わる仕組みとし、これにより標定をマニュアルで実施しなくとも計測精度を維持する事が出来るようにしている。
【００３１】
すなわち、随時コンピュータが自動的にステレオ画像上において特殊マークを抽出し、左右画像上でマークの組み合わせを行い、相互標定係数をもとめる。求めた相互標定係数の縦視差標準偏差が前の相互標定係数における縦視差標準偏差値より小さい場合、自動的に相互標定係数値が置き換わる仕組みになっている。
【００３２】
そして、本実施の形態は、
▲１▼ステレオ撮影された左右デジタル画像上において計測対象付近に設置した特殊マークをテンプレートマッチング手法で自動的に認識する技術。
【００３３】
▲２▼左右画像上で独立に認識されたマークどうしを組み合わせる技術。
【００３４】
▲３▼初期相互標定係数を縦視差の標準偏差の比較で自動的に入れ替える技術。
【００３５】
である。
【００３６】
＜実施の形態１＞
前述の特殊マークを用いてのシステムについて説明する。本実施の形態では図２に示すように、計測対象物の周囲に対して、直線状の構造物に十字型の特殊マークＡｉを設置している。この特殊マークＡｉは、例えば２ｍ間隔、４ｍの間隔で設けられ、カメラまでの距離が数十ｍであれば、白地（黄色でもよい）が５０ｍｍ程度にされ、黒地が１００ｍｍにされている。また、特殊マークＡｉの余白（白地）が非対象である。これは、特殊マークＡｉが右か左かを判別するためである。
【００３７】
図１は本実施の形態の特殊マークによる自動標定システムの概略構成図である。図１に示すように左右のデジタルカメラ１０ｂ、１０ａをアーム１１に固定して計測対象物を撮影制御装置１２の制御で一定間隔で連続撮影し、このステレオ画像Ｂａ（Ｂａ１、Ｂａ２、…）、Ｂｂ（Ｂｂ１、Ｂｂ２、…）をデータベース３０に得る。
【００３８】
このデータベース３０のステレオ画像Ｂｉを用いて以下の各部によって特殊マークＡｉを認識して、前回の初期相互標定係数を縦視差の標準偏差の比較で自動的に入れ替える。
【００３９】
解析装置１５は、初期相互標定部１７と、線状範囲決定部１８と、特殊マーク抽出部１９と、テンプレートマッチング部２０と、ペアリング部２２と、キャリブレーション部２３と、偏位修正画像作成部２４とを備えている。
【００４０】
初期相互標定部１７は、２台のデジタルカメラ１０ａ、１０ｂによって同時に計測対象物（直線状構造物に特殊マークＡｉをもうけている）を初めに撮影したとき、そのステレオ写真を用い縦視差消去法による相互標定を行い、モデル座標系に関わる相互標定係数（κ１，ψ１，κ２，ψ２，ω２）を求めて、これをデータベース２６に予め保存する。但し、ω１  ＝  ω２  である。
【００４１】
線状範囲決定部１８は、データベース３０に保存されたステレオ画像Ｂａｉ、Ｂｂｉが選択されると、選択されたステレオ画像を取りだし、予め設定されているマスク領域を除いた部分の画像の輝度レベルを調整し、２値化してハフ変換を行い、線状範囲Ｃｉを決定する。つまり、特殊マークＡｉは直線状に配列されているので、この特殊マークＡｉの大まかな範囲が選択されたステレオ画像Ｂａｉのどこかを自動的に決定し、この範囲Ｃｉのデータをデータベース２５に保存する。但し、オペレータが決定する場合もある。そして、ハフ変換によって垂直、水平方向の直線を平均化して、特殊マーク範囲Ｄｉが分かるようになっている。
【００４２】
特殊マーク抽出部１９は、線状範囲Ｃｉが決定する毎に、線状範囲Ｃｉから四角形の領域を特殊マーク範囲Ｄｉとして抽出する。このとき、特殊マーク範囲Ｄｉ（Ｄａｉ、Ｄｂｉ）の座標ｄｉ（ｄａｉ、ｄｂｉ：ピクセル値）を出力する。
【００４３】
テンプレートマッチング部２０は、データベース２６の特殊マーク範囲Ｄｉに対して、予め設定されている基準プレートＡｏ（Ａｏａ、Ａｏｂ：右はＡｏｂ、左はＡｏｂ）を１画素毎に移動しながら逐次残差法により残差を求める。
【００４４】
そして、特殊マークＡｉが位置している可能性が高いと判定したときは、後述する特殊マークＡｉの白地と黒字の差を求める微細位置特定処理を行い、この微細位置特定処理の結果で特殊マーク範囲Ｄｉの座標ｄｉを書き換えて特殊マークＡｉの微細位置Ｇｉ（ＤｉにおけるＡｉの領域）を決定する。
【００４５】
このような処理をステレオ画像Ｂａの線状範囲Ｃａｉの特殊マーク範囲Ｄａｉ、ステレオ画像Ｂｂの線状範囲Ｃｂｉの特殊マーク範囲Ｄｂｉ毎に行う。
【００４６】
ペアリング部２２は、左画像、右画像の特殊マークＡｉの微細位置Ｇｉ（初期はオペレータ入力）が求まる毎に、左画像、微細位置Ｇａｉを有する特殊マークＡＧａｉの番号と同じ番号の右画像の微細位置Ｇｂｉを有する特殊マークＡＧｂｉとを比較し（ＡＧａｉ，ＡＧｂｉ：総称してＡＧｉ）、カメラ座標でのＹ座標値が基準値以下かどうかを判定する。前述の比較は、左画像ＡＧａｉから（κ１，ψ１，κ２，ψ２，ω２）を用いて、右画像上に展開した予測値を計算し、この予測値を右画像の微細位置の各点ＡＧｂｉとＹ座標値の差を求め、基準値以下かどうかを判定する。
【００４７】
基準値以下と判定したときは、対応点（ペア）の候補特殊マークＱｐ（左画像の対応点の候補特殊マークは、Ｑａｐ、右画像の対応点の候補特殊マークはＱｂｐ）と認識する。
【００４８】
キャリブレーション部２３は、テンプレートマッチング部２０で求めたステレオ画像の各対応点の候補特殊マークＱｐｉのいずれか一つに予め保存している既知の５点（特殊マークＡｉ）の左右画像対応点を加え、これらの縦視差標準偏差が規定値以下どうかを判定し、規定値以下のときは、求めたステレオ画像（左右画像）の候補特殊マークＱｐの座標が正しいとして、この６点を特殊マークＡｉのペア座標ＷＱｉとして保存し、ペアリング部２２で予め求め保存している前回の６点の特殊マークの座標Ｇｉをこのペア座標ＷＱｉに入れ替えて、前回のモデル座標系に関わる相互標定係数（κ１，ψ１，κ２，ψ２，ω２）を、座標Ｇｉ（ペア座標ＷＱｉ）に基づいて更新させることで、写真座標系でのペア座標（左右）を得る。
【００４９】
偏位修正画像作成部２４は、キャリブレーション部２３で前回のモデル座標系に関わる相互標定係数（κ１，ψ１，κ２，ψ２，ω２）が座標Ｇｉ（ペア座標ＷＱｉ）に基づいて更新される毎に、ペア座標同士にエピポーララインを生成する。
【００５０】
上記のように構成されたシステムについて以下に動作を説明する。図３は本実施の形態の概略を説明するフローチャートである。
【００５１】
図３に示すように、線状範囲決定部１８及び特殊マーク抽出部１９は、線状構造物抽出を行う（Ｓ３０１）。この線状構造物抽出処理は、特殊マークＡｉ（特殊マーク標識ともいう）を特定するに当たり写真画像上（左、右）上でどの付近に存在しているかを特定するものである。
【００５２】
そして、この処理は、データベースに保存されたステレオ画像の縦横サイズを半分にする。
【００５３】
次に、輪郭検出フイルタリングを行い、ノイズ除去、膨張などを行って、予め容易しているマスク画像を重ねて、水平垂直エッジの抽出を行い二値化処理、ノイズ除去を行う。そして、ハフ変換を行い直線成分（垂直、水平）を検出し、指定された角度より大きいハフ直線を取り除き、近い傾きの直線を一つに纏めて平均化して特殊マークＡｉが存在する線状範囲Ｃｉを決定する。
【００５４】
そして、ステレオ画像上のこの線状範囲Ｃｉの端点座標（ピクセル）を求めて保存する（図４（ａ）参照）。或いは、特殊マークを直線状に配置しない場合に、色情報を元に、マンセル表色系をもちいてＲＧＢからＨＩＳ変換を行い、ステレオ写真画像、左右において黄色い部分を抽出して特定する。
【００５５】
次に、テンプレートマッチング部２０は、テンプレートマッチングを行い（Ｓ３０３）。ペアリング部２２及びキャリブレーション部２３が偏位修正変換処理を行い（Ｓ３０５）、３次元座標計測（Ｓ３０６）、距離体積面積の算出処理（Ｓ３０９）を可能としている。
【００５６】
前述の線状構造物抽出処理とテンプレートマッチング処理とを図５及び図６のフローチャートを用いて以下に説明する。本実施の形態ではデジタルカメラ１０ａ、１０ｂの撮影間隔は２５０秒分の１程度とし、特殊マークＡｉと計測対象物とからなる範囲が一定方向に一定速度で移動又はデジタルカメラ１０ａ、１０ｂが一定方向に一定速度で移動しているとする。
【００５７】
初めにオペレータは画面上でステレオ画像Ｂａｉ、Ｂｂｉを選択する（Ｓ５０１）。
【００５８】
線状範囲決定部１８は、選択されたステレオ画像Ｂａｉ、Ｂｂｉに対して予め設定されているマスク処理を行って、特殊マークＡｉが写っている領域を抽出させる（Ｓ５０２）。
【００５９】
次に、抽出した領域の輝度レベルの調整を行い（Ｓ５０３）、２値化し（５０４）、ハフ変換を行って水平線分、垂直線分を出してそれぞれを平均化する（Ｓ５０５）。これによって、ステレオ画像Ｂａｉ、Ｂｂｉの特殊マークＡｉの領域（線状範囲Ｃｉ）及び特殊マークＡｉを引き当てることが可能となる。つまり、図４（ａ）に示すように、ステレオ画像の線状範囲Ｃｉにおける端点の座標（Ｘ、Ｙのピクセル座標）が線状範囲用ファイルに保存される。
【００６０】
次に、ステレオ画像Ｂａｉ、Ｂｂｉの内の線状範囲Ｃｉのどちらかを設定する（Ｓ５０６）。本実施の形態ではステレオ画像Ｂａｉの線状範囲Ｃａｉとする。
【００６１】
線状範囲決定部１８は、ステレオ画像Ｂａｉの線状範囲ｃａｉのデータをデータベースから引き当て（Ｓ５０７）、この線状範囲Ｃａｉの特殊マーク範囲Ｄａｉを抽出し、その座標（ピクセル）を求め、これを保存する（Ｓ５０９）。この抽出は、特殊マークＡｉは十字形状であるから２値化処理、ハフ変換によって、特殊マークのある箇所は四角形状の線分になるはずである。また、一定間隔に特殊マークＡｉが設けられているのでステレオ画像のどこに写っているかは大体予測がつく。このような予測位置に四角形状が存在したときに、特殊マーク範囲Ｄｉとしてその位置とデータとを抽出する。そして、この抽出データは図４（ｂ）に示すように、  例えば、左のステレオ画像Ｂａｉにおいては、左のステレオ画像Ｂａｉの線状範囲Ｃｉに端点座標Ｌａｉ（Ｌａ１、Ｌａ２）が対応させられ、この端点座標Ｌａｉに特殊マーク範囲番号Ｄａｉが対応させられ、この特殊マーク番号Ｄａｉに範囲ｍａｉ（４隅のピクセル座標）と座標ｄａｉとが対応させられて保存されている（特殊マーク範囲ファイル）いる。
【００６２】
次に、ステレオ画像Ｂａｉの線状範囲Ｃａｉに特殊マーク範囲Ｄａｉが他にあるかどうかを判定する（Ｓ５１０）。
【００６３】
ステップＳ５１０で他に特殊マーク範囲Ｄａｉが存在すると判定したときは、検索範囲を更新する（Ｓ５１１）。本実施の形態では２ｍ、４ｍに相当するピクセル値に更新して処理を再びステップＳ５０８に戻す。
【００６４】
また、ステップＳ５１０で他にないと判定したときは、ステレオ画像Ｂｂｉの線状範囲Ｃｂｉについては全て検索したかどうかを判定する（Ｓ５１２）。全て検索していない場合は、ステレオ画像Ｂｂｉに更新して（Ｓ５１３）、処理をステップＳ５０７に移す。
【００６５】
すなわち、図７に示すように、左右のステレオ画像Ｂａｉ、Ｂｂｉを選択させ、図７（ｂ）に示す線状範囲Ｃｉを抽出している。
【００６６】
そして、特殊マーク抽出部１９が図７（ｃ）に示すように、この線状範囲Ｃｉから順次、特殊マーク範囲Ｄｉを切り出して、その座標値（図４（ｂ）参照）をデータベースに保存している。
【００６７】
次に、図６に示すように、テンプレートマッチング部２０が特殊マーク範囲Ｄｉのデータを抽出し、これを入力画像ｒｉ（ｒａｉ、ｒｂｉ）として内部に取り込む（Ｓ６０１）。
【００６８】
次に、この入力画像ｒｉに対して基準テンプレートＡｏｉを当てる（Ｓ６０２）。
【００６９】
ここで、基準テンプレートについて説明する。Ａ／Ｄ変換サイズは、実務運用上カラーフイルムの粒子サイズである１０μを反映出来る要にしている。このため、２４００ｄｐｉでスキャニングすれば１画素の大きさは約１０μなる。アナログ写真測量でも５０μの標識は点列として観測できる最小の大きさであり、５０μの標識を１０μでＡ／Ｄ変換を行い、４．７×４．７画素を標識としている。従って、例えば、１／１００００の撮影で写真上５０μのサイズをＡ／Ｄ変換した場合、画素としては、４．７×４．７画素となり、１画索が１０．５７５ｃｍであるので観測精度は、±１０ｃｍとなる。
【００７０】
このため、テンプレートマッチングで使用する画像の形状は、データはＲＡＷ形式で２５６色、グレースケール、幅１８０ピクセル、縦方向３００ピクセルのものとしている（図８（ｂ）参照）。つまり、デジタルカメラの焦点距離、対象物との距離、縮尺率等に基づいて、特殊マークに対応するピクセル値を有している。
【００７１】
また、基準プレートは、白地に十字を付した長方形の形状であり、９個に区分けしている。つまり、▲１▼の白地用のファイル、▲２▼の黒字用のファイル、▲３▼の白地用のファイル、▲４▼の黒字用のファイル、▲５▼の黒字用のファイル、▲６▼の黒字用のファイル、▲７▼白地用のファイル、▲８▼の黒字用のファイル、▲９▼の白地用のファイルとを基準プレートに対応させている。
【００７２】
そして、テンプレートマッチング部２０は、残差逐次検定処理（図８（ａ）参照）を行い（Ｓ６０３）、残差が小さいかどうかを判定する（Ｓ６０４）。
【００７３】
残差が大きい場合は、１画素毎に基準テンプレートＡｏｉを移動していき処理をステップＳ６０２に戻して再び残差逐次検定法処理を行う（Ｓ６０５）。
【００７４】
また、ステップＳ６０４において残差が小さいと判定したときは、その入力画像ｒｉとこの入力画像の領域座標ｋｉ（ピクセル値）を抽出して保存する（Ｓ６０６）。そして、図８（ｃ）に示す微細位置特定処理を行う（Ｓ６０７）。
【００７５】
この微細位置特定処理は、図８（ｂ）に示すように基準テンプレートに対応するファイル▲１▼▲２▼▲３▼▲４▼▲５▼▲６▼▲７▼▲８▼▲９▼のデータとの差分を求める。たとえば、（▲１▼−▲２▼、▲１▼−▲５▼、▲１▼−▲４▼）（▲３▼−▲２▼、▲３▼−▲５▼、▲３▼−▲６▼）（▲７▼−▲４▼、▲７▼−▲５▼、▲７▼−▲８▼）の各領域（ファイルのデータ）の差を求め、それぞれの差から基準テンプレートの▲１▼▲２▼▲３▼▲４▼▲５▼▲６▼▲７▼▲８▼▲９▼に近い値かどうかを判定する。つまり、それぞれの差が一定の条件を満たしているかどうかを判断し（Ｓ６０８）、一定の条件を満たしていると判定したときは、先に求めた特殊マーク範囲Ｄｉの座標ｄｉを、微細位置特定処理で得た特殊マークの微細位置Ｇｉの座標範囲に更新する（Ｓ６０９）。つまり、大まかな特殊マーク範囲を抽出し、この特殊マーク範囲から微細位置特定処理によって、特殊マーク範囲に存在する特殊マークを特定している。このため、振動、風等によってデジタルカメラが揺れていても、特殊マーク範囲Ｄｉにおける特殊マークＡｉの領域座標を認識できる。
【００７６】
次に、特殊マーク範囲Ｄｉが他にあるかどうかを判断し（Ｓ６１０）、他にないときは処理を終了し、他に特殊マーク範囲Ｄｉがあるときは、次の特殊マーク範囲Ｄｉの番号に更新する（Ｓ６１１）。
【００７７】
すなわち、左右余白部が非対称とする特殊マークＡｉを元画像に対してエッジフィルター処理、２値化処理、ハフ変換処理を行い大体（カラー画像がある場合は、それを用いて大体の写っている位置を特定する）の写っていると考えられる範囲Ｄｉを特定して、その領域座標ｄｉ（ｄａｉ、ｄｂｉ）を求めて図９に示すように保存し、特定した範囲Ｄｉのデータを入力画像ｒｉとして、テンプレートＡｏｉを１画素ごとに移動させ残差遂次検定法で残差を求める。そして、この差が小さいときには、特殊マークがほぼここにあるとしてその特殊マーク範囲Ｄｉの微細位置Ｇｉの領域座標ｋｉを求めて図９に示すようにして保存する。そして、この範囲Ｄｉの中の特殊マークＡｉの領域を特定するために、微細位置の特定として（▲１▼−▲２▼、▲１▼−▲５▼、▲１▼−▲４▼）（▲３▼−▲２▼、▲３▼−▲５▼、▲３▼−▲６▼）（▲７▼−▲４▼、▲７▼−▲５▼、▲７▼−▲８▼）の各領域の差を求め、差が一定条件を満たしているときに、残差逐次検定法後の特殊マーク範囲Ｄｉの微細位置Ｇｉの領域座標ｋｉ（４隅の座標：特殊マークの範囲）が信頼できるとして、ｄｉ（ｄａｉ、ｄｂｉ）をこのｋｉに入れ替えるテンプレートマッチングを行っている。
【００７８】
すなわち、図１０に示すように、左右のステレオ画像（撮影画像）を読込み、射影・アフイン変換画像を作成して（Ｓ１００１）、端点の座標に基づいて左右の線状範囲Ｃｉを切り抜いて（Ｓ１００２）、探査範囲を特定する（Ｓ１００３）。
【００７９】
そして、テンプレートマッチングを行い（Ｓ１００４）、マッチングするとした特殊マークＡｉの座標（ｄｉ）を取得して左右のペアリングを行う（Ｓ１００５）。この特殊マークＡｉの座標（ｋｉ：微細位置Ｇｉ）を有する特殊マーク位置ＡＧｉを、テンプレートによるマッチングポイント（左の番号ａｉ：ａ１、ａ２、…、右の番号ｂｉ：ｂ１、ｂ２、…）と称して保存する。また、左画像、右画像にこのマッチングポイントを記号で表示してもよい。例えば○印ｏｒ□印。そして、次に撮影したステレオ画像（左、右）のモザイク座標（特殊マーク位置に対応する対応点）を抽出する（Ｓ１００６）。これらのデータは図１４（ｂ）に示すように保存される。
【００８０】
前述のペアリング、キャリブレーションについて図１１，１２を用いて以下に説明する。
【００８１】
初めに、左のステレオ画像、右のステレオ画像の線状範囲Ｃｉ（Ｃａｉ、Ｃｂｉ）を取り込む（Ｓ１１０１）。
【００８２】
次に、対象物の既知点６点を初めに撮影したときの予め記憶されている撮影画像の座標（ＸＬ、ＹＬ、ＺＬ）、（ＸＲ、ＹＲ、ＺＲ：それぞれピクセル値）のファイルを読み込む（Ｓ１１０２）。これは、左右のカメラについて読み込む。
【００８３】
次に、このファイルの６点の座標値に対応する予め記憶されている相互標定係数（κ１，ψ１，κ２，ψ２，ω２）を読み込む（ｏｒｉファイルから）。これは、左右カメラについて行う。
【００８４】
次に、左のステレオ画像の各マッチングポイントａｉと、これに関連する位置、範囲等を読み（Ｓ１１０３）、このマッチングポイントａｉのＡＧａｉの座標（Ｇａｉ）を写真座標系（Ｘｍ、Ｙｍ、Ｚｍ）に変換（図１３を参照）して保存する（図１４（ｂ）参照）する（Ｓ１１０４）。
【００８５】
次に、右のステレオ画像の各マッチングポイントｂｉと、関連する位置、範囲を読み（Ｓ１１０５）、これらのマッチングポイントｂｉのＡＧｂｉの座標（Ｇｂｉ）を写真座標系（Ｘｍ、Ｙｍ、Ｚｍ）に変換して保存（図１４（ｂ））する（Ｓ１１０６）。次に、左画像上のマッチングポイントのデータを保存したファイルのレコード番号Ｒａ１を設定し（Ｓ１１０７）、このレコード番号Ｒａｉに対応する右画像上のレコード番号Ｒｂｉを設定する（Ｓ１１０８）。そして、右の画像上のレコード番号Ｒｂ１のレコードに特殊マークＡＧｉが存在するかどうかを判断する（Ｓ１１０９）。
【００８６】
ステップＳ１１０９において、右画像上に特殊マークＡＧｉが存在しないと判断したときは、左画像のレコード番号Ｒｂｉを次の番号に更新して処理をステップＳ１１０９に戻して特殊マークＡＧｉの有無を判定する（Ｓ１１１０）。
【００８７】
また、ステップＳ１１０９において、特殊マークＡＧｉが右画像のレコードに存在すると判定したときは、右画像の特殊マークＡＧｉのＹ座標と左画像の特殊マークＡＧｉのＹ座標と比較し、その差が５０μｍ以下かどうかを判定する（Ｓ１１１１）。
【００８８】
ステップＳ１１１１において、差が５０μｍ以下ではないと判定したときは、未日画像のレコード番号を次ぎの番号に更新する（Ｓ１１１２）。
【００８９】
また、ステップＳ１１１１において、差が５０μｍ以下と判定したときは、左画像のレコードＲａ１の特殊マークＡＧｉと右画像のレコードＲｂ１の特殊マークＡＧｉとはペア（対応点）と判定し、これらの座標（ペア座標）を取得し、番号に対応させて個補特殊マークＱｐとして保存（図１４（ｃ））する（Ｓ１１１３）。
【００９０】
次に、左画像上のレコード番号Ｒａｉが他にあるかどうかを判定し（Ｓ１１１４）、他にあるときは次のレコード番号Ｒａｉに更新して処理をステップＳ１１０９に戻す（Ｓ１１１５）。
【００９１】
このような処理によって左右画像の各候補特殊マークＡＧｉのペアＷＱｉ（ＷＱａｉ，ＷＱｂｉ）が図１４（ｃ）に示すように求められる。
【００９２】
次に、図１２に示すように、ペアファイルのレコードから候補特殊マークＱｐ（左、右）を全て読み込む（Ｓ１２０１）。そして、これらの一つに予め用意している５点（ステップＳ１１０２の内の５点）を追加してファイルに保存する（Ｓ１２０１）。
【００９３】
そして、追加したこれらの点の相互標定係数（κ１，ψ１，κ２，ψ２，ω２）を求めて、これをファイリングする（Ｓ１２０３）。次に、このファイルの全ての点で縦視差（κ１）が０．０２０ｍｍ以下かどうかを判断する（Ｓ１２０４）。
【００９４】
ステップＳ１２０４において、縦視差（κ１）が０．０２０ｍｍ以下と判定したときは、確かなペア座標ＷＱｉ（図１３ではＰ）として保存する（Ｓ１２０５）。そして、偏位修正画像を生成（図１３を参照）する（Ｓ１２０６）。次に、キャリブレーション処理でステップＳ１２０５で保存したペア座標にステップＳ１１０２の６点を更新して（Ｓ１２０６）、処理をステップＳ１１０１に戻す。
【００９５】
従って、デジタルカメラで一定間隔で対象物を撮影しているとき、デジタルカメラが振動したとしても、その振動状況に応じた相互標定係数が求められるので、図１３に示すように、左右のステレオ画像において対応点が同じレコード上に存在するという条件を得ることができるので、エピボーラ・ラインがずれることがない。
【００９６】
従って、２台のカメラを光学的に固定し、特定の計測対象を随時、計測する場合にリアルタイムにカメラ間の関係を精度良く求める事が可能となる。特に、カメラ間の光学的関係が偶発的、系統的に変化した場合に有効である。
【００９７】
【発明の効果】
以上のように本発明によれば、十字を付した特殊マーク標識を対象物の周囲に配置し、固定基線長装置に付けられた２台のデジタルカメラからのステレオ画像上から特殊マーク標識の概略範囲を求めて、この範囲を取り出し、この範囲に対して、カメラまでの距離、縮尺、焦点距離の基づいて特殊マークに対応した形状の基準プレートを当てながら逐次残差検定法で概略の特殊マーク領域を求め、この特殊マーク領域に対して微細位置特定処理を行うので、デジタルカメラが風、振動等で揺れていたとしても特殊マークのカメラ座標系の位置を特定できるという効果が得られている。
【００９８】
このため、相互標定を行ったときは、カメラの揺れに応じた相互標定係数を求められることになるからモデル座標系での右左画像のエピポーララインを正確に得ることが可能となる。
【００９９】
また、これらの特殊マークの座標を用いて相互標定を行い、求めた相互標定係数の縦視差標準偏差が、１つ前に求めたモデルの縦視差標準偏差より小さい場合、自動的に相互標定係数値が置き換わる仕組みとしたので、標定をマニュアルで実施しなくとも、計測精度を維持する事が出来るという効果が得られている。
【図面の簡単な説明】
【図１】本実施の形態の特殊マークによる自動標定システムの概略構成図である。
【図２】直線状に配置した特殊マークの説明図である。
【図３】本実施の形態の自動標定システムの概略動作を説明するフローチャートである。
【図４】線状範囲の端点座標の保存及び特殊マーク範囲の保存を説明する説明図である。
【図５】線状構造物抽出処理及びテンプレートマッチング処理を説明するフローチャートである。
【図６】線状構造物抽出処理及びテンプレートマッチング処理を説明するフローチャートである。
【図７】左右のステレオ画像の選択と切り出しを説明する説明図である。
【図８】テンプレートマッチング及び微細位置特定処理を説明する説明図である。
【図９】微細位置の入れ替えを説明する説明図である。
【図１０】テンプレートマッチングを説明するフローチャートである。
【図１１】ペアリング及びキャリブレーション処理を説明するフローチャートである。
【図１２】ペアリング及びキャリブレーション処理を説明するフローチャートである。
【図１３】相互標定係数の変換及び偏位修正画像の作成を説明する説明図である。
【図１４】ペアリングファイルの生成過程を説明する説明図である。
【図１５】エピポーララインの生成を説明する説明図である。
【図１６】エピポーラ幾何が構成されたデジタル画像の説明図である。
【図１７】外的要因によるずれが縦視差に与える影響を説明する説明図である。
【図１８】外的要因によるずれが縦視差に与える影響をステレオ画像上で説明する説明図である。
【図１９】特許文献１を説明する説明図である。
【符号の説明】
１０ａ  デジタルカメラ
１０ｂ  デジタルカメラ
１１  アーム
１５  解析装置
１７  初期相互標定部
１８  線状範囲決定部
１９  特殊マーク抽出部
２０  テンプレートマッチング部
２２  ペアリング部
２３  キャリブレーション部
２４  偏位修正画像作成部
【図１】
2005037191.tif 000003
【図２】
2005037191.tif 000004
【図３】
2005037191.tif 000005
【図４】
2005037191.tif 000006
【図５】
2005037191.tif 000007
【図６】
2005037191.tif 000008
【図７】
2005037191.tif 000009
【図８】
2005037191.tif 000010
【図９】
2005037191.tif 000011
【図１０】
2005037191.tif 000012
【図１１】
2005037191.tif 000013
【図１２】
2005037191.tif 000014
【図１３】
2005037191.tif 000015
【図１４】
2005037191.tif 000016
【図１５】
2005037191.tif 000017
【図１６】
2005037191.tif 000018
【図１７】
2005037191.tif 000019
【図１８】
2005037191.tif 000020
【図１９】
2005037191.tif 000021