(57)【要約】【課題】  簡易かつ効率的に３次元測量を実施できる３次元測量装置及びこれを用いた３次元空間物体復元方法を提供する。【解決手段】  矢印１２で示された撮影方向に向かって左側のカメラ１０Ｌと右側のカメラ１０Ｒは、光学系１４Ｌ、１４Ｒとシャッター１６Ｌ、１６Ｒと画像センサー１８Ｌ、１８Ｒとを備えており、光学系１４Ｌ、１４Ｒの焦点距離及び画像センサー１８Ｌ、１８Ｒの主点等の内部標定要素は、キャリブレーションにより予めわかっている。また、カメラ１０Ｌ、１０Ｒは、カメラ固定装置２２により、相互の相対移動が無いように固定され、投影中心及び姿勢角度等の外部標定要素も一義的に決定されている。本発明の３次元測量装置では、左右のカメラ１０Ｌ、１０Ｒで撮影された左右の画像データと、既知の内部標定要素及び外部標定要素とを使用して目標物上の所定の点の３次元座標を求める。【選択図】        図１
2005017262.tif 000002
【特許請求の範囲】
【請求項１】
焦点距離、主点等の内部標定要素が予めわかっている２台あるいは３台以上のカメラと、
前記カメラを相互の相対移動が無いように固定するカメラ固定装置と、
前記カメラの撮影タイミングを同期させるカメラ同期装置と、
前記カメラのうち、撮影方向に向かって左側のカメラで撮影した左画像データと左側のカメラに同期された右側のカメラで撮影した右画像データとによって構成されるステレオ画像データ、前記内部標定要素及び前記カメラの相対移動が無いことによって一義的に決定されるカメラの投影中心、姿勢角度等の外部標定要素を使用して、目標物の３次元座標を求める画像解析手段と、
を備えることを特徴とする３次元測量装置。
【請求項２】
請求項１記載の３次元測量装置において、前記カメラ同期装置は遠隔操作が可能であることを特徴とする３次元測量装置。
【請求項３】
請求項１または請求項２記載の３次元測量装置において、前記画像解析手段は、前記３次元座標を使用して目標物の長さ、幅、高さ等の空間幾何パラメータを求め、この空間幾何パラメータにより目標物の３次元画像を表示画面上に表示することを特徴とする３次元測量装置。
【請求項４】
一定間隔に置かれ相対移動しない２台あるいは２台以上の、焦点距離、主点等の内部標定要素があらかじめわかっているカメラを用いて目標物を同時に撮影し、
前記カメラのうち、撮影方向に向かって左側のカメラで撮影した左画像と右側のカメラで撮影した右画像とによって構成されるステレオ画像データ、前記内部標定要素及び前記カメラの相対移動が無いことによって一義的に決定されるカメラの投影中心、姿勢角度等の外部標定要素を使用して目標物の３次元座標を求め、
前記３次元座標を使用して目標物の３次元画像を表示画面上に表示することを特徴とする３次元空間物体復元方法。
【請求項５】
請求項４記載の３次元空間物体復元方法において、前記左画像及び右画像に識別コードを付し、前記識別コードに基づいて、同時に撮影した左画像及び右画像を認識し、これにより構成されるステレオ画像から目標物の３次元座標及び目標物の長さ、幅、高さなどの空間幾何パラメータを求めることを特徴とする３次元空間物体復元方法。
【請求項６】
請求項５記載の３次元空間物体復元方法において、前記識別コードは撮影時間、地点及びカメラの識別番号によって画像データ管理手段が前記左画像、右画像に付することを特徴とする３次元空間物体復元方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元測量装置及び３次元空間物体復元方法に関し、具体的には、２台あるいは３台以上のカメラを利用し、目標物を同時に撮影することによって、同時に２枚（３枚以上）のデジタル画像を獲得し、獲得できた画像をコンピュータ処理することによって、画像の任意点の３次元座標を求めるものである。
【背景技術】
【０００２】
従来の３次元測量装置は、メジャー、目標物のあるポイントの座標を測定するトータルステーション、目標物と自身との距離を測定するレーザスキャナーなどの伝統的な装置を使用して測量を行うものであった。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、上記従来の３次元測量装置では、測量作業が煩雑になり効率が悪く、現場作業時間が長い上、測量結果から３次元モデル作成に有効なデータ間のリンク手段が欠けるので、効率的で実用的な３次元測量装置を実現することが困難であるという問題があった。
【０００４】
本発明は、上記従来の課題に鑑みなされたものであり、その目的は、簡易かつ効率的に３次元測量を実施できる３次元測量装置及びこれを用いた３次元空間物体復元方法を提供することにある。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明は、３次元測量装置であって、焦点距離、主点等の内部標定要素が予めわかっている２台あるいは３台以上のカメラと、このカメラを相互の相対移動が無いように固定するカメラ固定装置と、カメラの撮影タイミングを同期させるカメラ同期装置と、カメラのうち、撮影方向に向かって左側のカメラで撮影した左画像データと左側のカメラに同期された右側のカメラで撮影した右画像データとによって構成されるステレオ画像データ、内部標定要素及びカメラの相対移動が無いことによって一義的に決定されるカメラの投影中心、姿勢角度等の外部標定要素を使用して、目標物の３次元座標を求める画像解析手段と、を備えることを特徴とする。上記カメラ同期装置は遠隔操作が可能であることが好適である。
【０００６】
また、上記画像解析手段は、３次元座標を使用して目標物の長さ、幅、高さ等の空間幾何パラメータを求め、この空間幾何パラメータにより目標物の３次元画像を表示画面上に表示することを特徴とする。
【０００７】
また、３次元空間物体復元方法であって、一定間隔に置かれ相対移動しない２台あるいは２台以上の、焦点距離、主点等の内部標定要素があらかじめわかっているカメラを用いて目標物を同時に撮影し、カメラのうち、撮影方向に向かって左側のカメラで撮影した左画像と右側のカメラで撮影した右画像とによって構成されるステレオ画像データ、内部標定要素及びカメラの相対移動が無いことによって一義的に決定されるカメラの投影中心、姿勢角度等の外部標定要素を使用して目標物の３次元座標を求め、この３次元座標を使用して目標物の３次元画像を表示画面上に表示することを特徴とする。
【０００８】
また、上記３次元空間物体復元方法は、左画像及び右画像に識別コードを付し、識別コードに基づいて、同時に撮影した左画像及び右画像を認識し、これにより構成されるステレオ画像から目標物の３次元座標及び目標物の長さ、幅、高さなどの空間幾何パラメータを求めることを特徴とする。上記識別コードは撮影時間、地点及びカメラの識別番号によって画像データ管理手段が左画像、右画像に付するように構成される。
【発明の効果】
【０００９】
本発明によれば、キャリブレーション済みで内部標定要素と外部標定要素とが既知であるカメラを使用することにより、３次元測量を実施する際に、被測定目標空間内にターゲットなどの既知点を置く必要が無く、かつ目標物の長さを予め取得する必要が無くなる。このため、３次元測量を簡易かつ効率的に実施できる。本発明にかかる３次元測量装置及びこれを用いた３次元空間物体復元方法は、主にコンピュータディスプレイ等に表示される仮想空間における目標物の復元に利用できる。例えば、工場の３次元復元、建物及び室内の３次元復元、考古学調査現場の３次元復元及び町または生産現場の配置シミュレーションなどに利用可能である。
【発明を実施するための最良の形態】
【００１０】
以下、本発明を実施するための最良の形態（以下、実施形態という）を、図面に従って説明する。
【００１１】
図１には、本発明にかかる３次元測量装置の構成のブロック図が示される。図１において、３次元測量装置には２台のカメラ１０Ｌ、１０Ｒが含まれている。これらのカメラは、矢印１２で示された撮影方向に向かって左側がカメラ１０Ｌであり、右側がカメラ１０Ｒである。カメラ１０Ｌ、１０Ｒは、レンズ等で構成される光学系１４Ｌ、１４Ｒとシャッター１６Ｌ、１６ＲとＣＣＤ等で構成される画像センサー１８Ｌ、１８Ｒとを備えている。また、シャッター１６Ｌ、１６Ｒは、カメラ１０Ｌ、１０Ｒによる撮影タイミングを同期させるカメラ同期装置２０により同時に作動するように構成されている。
【００１２】
上記２台のカメラ１０Ｌ、１０Ｒは、光学系１４Ｌ、１４Ｒの焦点距離及び画像センサー１８Ｌ、１８Ｒがカメラ１０Ｌ、１０Ｒの光軸と交わる点である主点等の内部標定要素が予めわかっているものを使用する。この内部標定要素は、投影中心と画像の位置関係を確定するのに必要な因子であり、撮影光線の軌跡、つまり目標物の形状を正確に復元するために使用される。また、２台のカメラ１０Ｌ、１０Ｒは、カメラ固定装置２２により、相互の相対移動が無いように固定されている。このように左右のカメラ１０Ｌ、１０Ｒを固定することにより、カメラ１０Ｌ、１０Ｒの相対的位置関係が固定されるので、投影中心及び姿勢角度等の外部標定要素を一義的に決定することができる。なお、投影中心及び姿勢角度については後述する。これらの内部標定要素及び外部標定要素は、カメラのキャリブレーションにより予め算出しておく。
【００１３】
カメラ１０Ｌ、１０Ｒにより目標物を撮影することにより得られた画像データは、画像センサー１８Ｌ、１８Ｒから電気的な信号として出力され、左側のカメラ１０Ｌで撮影された左画像データは画像メモリ２４Ｌに格納され、右側のカメラ１０Ｒで撮影された右画像データは画像メモリ２４Ｒに格納される。画像メモリ２４Ｌ、２４Ｒに格納された左画像データ及び右画像データは処理装置２６に送られ、同時に撮影された左右の画像データによりステレオ画像データが構成される。上記左画像データ及び右画像データには、処理装置２６が、撮影時間、地点及びカメラの識別番号に基づき決定される識別コードを付すように構成されている。この場合の処理装置２６が、本発明にかかる画像データ管理手段に相当する。処理装置２６がステレオ画像データを構成する左右の画像データを処理して３次元座標を求める場合には、上記識別コードによって同時に撮影された左右の画像データを識別して使用する。
【００１４】
処理装置２６では、上記ステレオ画像データと上記内部標定要素と上記外部標定要素とを使用して目標物上の所定の点の３次元座標を求める。上述したように、内部標定要素と外部標定要素とは予めわかっているので、これらのデータは処理装置２６に格納しておく。なお、３次元座標を求める手順は後述する。この場合の処理装置２６が、本発明にかかる画像解析手段に相当する。
【００１５】
処理装置２６では、求めた３次元座標を使用して、３次元空間物体である目標物の長さ、幅、高さなどの空間幾何パラメータを求める。また、この空間幾何パラメータにより目標物の３次元画像を生成し、コンピュータのディスプレイ等で構成される表示装置２７の表示画面に表示し復元することができる。これにより、コンピュータのディスプレイ等に目標物の３次元画像を復元し、様々なシミュレーションを行うことができる。このため、工場や建物の室内または町並等の検討を極めて容易に行うことができる。
【００１６】
図２には、上述したカメラ固定装置の例が示される。図２において、カメラ１０Ｌ、１０Ｒは、カメラ固定装置２２を構成する棒状部材２８の両端部に固定されており、棒状部材２８は、支柱３０に固定されている。本実施形態では、支柱３０がキャスター付き支持部３２に取付けられ、カメラ１０Ｌ、１０Ｒを容易に移動できるように構成されている。これにより、広い場所を移動しながら３次元測量を実施でき、３次元測量の作業効率を向上できる。
【００１７】
なお、以上に述べた例ではカメラが２台（１０Ｌ、１０Ｒ）の場合を説明したが、３台以上のカメラを使用してもよい。この場合、目標物の所定の点を同時に撮影できる適宜な２台のカメラを選択し、選択されたカメラからの画像データにより上記ステレオ画像データが構成される。
【００１８】
図３には、図１に示された３次元測量装置により３次元測量を実施する際の座標系の例が示される。３次元測量の目的は取得した画像の情報から幾何変換を経て目標物の３次元空間上の幾何情報（３次元座標）を得ることにある。デジタル画像から目標物の３次元空間上の幾何情報を求めるためには、目標物上の点とこれに対応する像点との間の関係方程式を作成する必要がある。図３に示された座標系は、この関係方程式を作成する際に使用される。
【００１９】
図３において、Ａは被測定対象である目標物上の点であり、実空間上の任意の原点Ｏを通過する任意の座標軸Ｘ、Ｙ、Ｚに対して座標（ＸＡ，ＹＡ，ＺＡ）にある。本実施形態にかかる３次元測量装置は、この座標（ＸＡ，ＹＡ，ＺＡ）を、取得したステレオ画像データから求める装置である。また、本実施形態では、Ａ点を撮影するカメラが撮影方向に向かって左右２台あり、図３にはこのカメラの構成要素のうち画像センサー１８Ｌ、１８Ｒのみが示され、カメラの他の構成要素は省略されている。左右のカメラ１０Ｌ、１０Ｒの外部標定要素である投影中心ＳＬ、ＳＲの座標は、上記原点Ｏに対して、それぞれ（ＸＳＬ，ＹＳＬ，ＺＳＬ）及び（ＸＳＲ，ＹＳＲ，ＺＳＲ）となっている。また、画像センサー１８Ｌのセンサー面は、投影中心ＳＬを中心として原点Ｏを通過するＸ軸に対してωＬ、Ｙ軸に対してφＬ、Ｚ軸に対してκＬだけ回転した姿勢となっており、画像センサー１８Ｒのセンサー面は、投影中心ＳＲを中心として原点Ｏを通過するＸ軸に対してωＲ、Ｙ軸に対してφＲ、Ｚ軸に対してκＲだけ回転した姿勢となっている。この場合の角度ωＬ、φＬ、κＬ及びωＲ、φＲ、κＲがカメラ１０Ｌ、１０Ｒの外部標定要素である姿勢角度である。なお、前述したように、２台のカメラ１０Ｌ、１０Ｒは、カメラ固定装置２２により、相互の相対移動が無いように固定されているので、カメラ１０Ｌ、１０Ｒの投影中心及び姿勢角度は、キャリブレーションを予め行うことにより一義的に決定することができる。
【００２０】
次に、画像センサー１８Ｌ、１８Ｒのセンサー面が光軸と交わる点である主点３４Ｌ、３４Ｒは、画像センサー１８Ｌ、１８Ｒの中心とは若干ずれている。これは、カメラの製造上、画像センサー１８Ｌ、１８Ｒの中心位置にカメラの光軸を完全に一致させることが極めて困難だからである。このとき、画像センサー１８Ｌ、１８Ｒの中心位置を原点とするセンサー面上のｘＲｙＲ、ｘＬｙＬ座標軸における主点３４Ｌ、３４Ｒの座標を（ｘ０Ｌ，ｙ０Ｌ）、（ｘ０Ｒ，ｙ０Ｒ）とする。また、左右のカメラで目標物を撮影した場合、目標物上のＡ点は画像センサー１８Ｌ、１８Ｒ上の点ａＬ、ａＲに像を結ぶが、このａＬ、ａＲの上記ｘＬｙＬ及びｘＲｙＲ座標軸における座標を（ｘＬ，ｙＬ）及び（ｘＲ，ｙＲ）とする。なお、左側カメラの主点３４Ｌと投影中心ＳＬとの距離及び右側カメラの主点３４Ｒと投影中心ＳＲとの距離が、それぞれ左側カメラ及び右側カメラの光学系の焦点距離ｆＬ、ｆＲである。以上に述べた主点３４Ｌ、３４Ｒ及び焦点距離ｆＬ、ｆＲ等の内部標定要素も、キャリブレーションを行うことにより予め求めておく。なお、図３の例では、画像センサー１８Ｌ、１８Ｒにネガティブ像が形成されることになる。
【００２１】
以上に述べた図３の幾何関係から、以下の関係方程式が得られる。なお、この関係方程式の演算処理は、前述した処理装置２６により実行される。
【数１】
2005017262.tif 000003
ここで、上記各式を次のように変換する。
【数２】
2005017262.tif 000004
ただし、
【数３】
2005017262.tif 000005
であり、また、
【数４】
2005017262.tif 000006
【数５】
2005017262.tif 000007
である。
【００２２】
上記（１）式または（２）式を解くことにより、被測定対象である目標物上の点Ａの実空間上での座標（ＸＡ，ＹＡ，ＺＡ）を求めることができる。この場合、上記（１）式または（２）式は方程式が４つあり、求めるべき未知数（ＸＡ，ＹＡ，ＺＡ）より１つ多いので、最小自乗法により解の精度を上げることができる。
【００２３】
次に、上述のようにして算出した目標物上の点Ａの三次元座標（ＸＡ，ＹＡ，ＺＡ）を使用し、以下の式により空間幾何パラメータを求めることができる。この空間幾何パラメータは、前述したように、目標物の３次元形状を復元するために使用される。
【００２４】
まず、
【数６】
2005017262.tif 000008
により、点Ａ１から点Ａ２までの距離ｄを求めることができる。
【００２５】
次に、
【数７】
2005017262.tif 000009
により、点Ａ１とＡ２とを通過する直線と点Ａ３との距離Ｗを求めることができる。このような、点と点との距離及び点と線との距離を組み合わせることにより、目標物の長さ、幅、高さなどの空間幾何パラメータ決定できる。
【００２６】
図４には、図１に示された３次元測量装置を使用して３次元測量を行う場合の工程のフローが示される。図４において、処理装置２６に格納された左側のカメラ１０Ｌに関するＬパラメータすなわち投影中心（ＸＳＬ，ＹＳＬ，ＺＳＬ）、姿勢角度（ωＬ、φＬ、κＬ）、焦点距離ｆＬ及び主点（ｘ０Ｌ，ｙ０Ｌ）と、右側のカメラ１０Ｒに関するＲパラメータすなわち投影中心（ＸＳＲ，ＹＳＲ，ＺＳＲ）、姿勢角度（ωＲ、φＲ、、κＲ）、焦点距離ｆＲ及び主点（ｘ０Ｒ，ｙ０Ｒ）とを初期化する（Ｓ１、Ｓ２）。
【００２７】
次に、左右のカメラ１０Ｌ、１０Ｒにより撮影され、画像メモリ２４Ｌ、２４Ｒに格納されている左画像データと右画像データを、処理装置２６が取得する（Ｓ３、Ｓ４）。取得された画像データには、前述した識別コードが付されるので、この識別コードが一致するか否かを判定する（Ｓ５）。識別コードが一致すれば、同時に撮影された左右の画像データであると判断できる。同時に撮影された左右の画像データを使用しないと、正しく３次元座標を得ることができないので、この判定は重要である。識別コードが一致しない場合は、Ｓ３、Ｓ４のステップに戻り、画像データの取得から再実行する。
【００２８】
識別コードが一致した左画像データと右画像データにより、左側（Ｌ）画像センサー１８Ｌ上に結像した測定点Ａの画像点ａＬの座標（ｘＬ，ｙＬ）及び右側（Ｒ）画像センサー１８Ｒ上に結像した測定点Ａの画像点ａＲの座標（ｘＲ，ｙＲ）を求める（Ｓ６、Ｓ７）。次に、画像センサー１８Ｌ、１８Ｒ上の座標を求めた画像点ａＬと画像点ａＲとが対応しているかすなわち同じ測定点Ａの画像点であるかを判定する（Ｓ８）。この判定は、ディスプレイ上に左画像データと右画像データを表示して人間が目視で行ってもよいし、画像点及びその近傍の一致性を判定するソフトウェアにより行ってもよい。画像点が対応しない場合は、Ｓ６、Ｓ７のステップから再実行する。
【００２９】
画像点ａＬと画像点ａＲとが対応していると判定された場合、左右のカメラ１０Ｌ、１０Ｒのパラメータに、処理装置２６に格納されていたそれぞれの値を導入し（Ｓ９、Ｓ１０）、これと画像点ａＬ、ａＲを使用して前述の方程式（１）、（２）を立てる（Ｓ１１）。この方程式を解き、所定の測定点Ａの３次元座標を求める（Ｓ１２）。以上に述べた工程を繰り返すことにより、被測定空間内にある目標物上の所定の座標を全て求めることができ、３次元測量を行うことができる。
【００３０】
図５には、前述したカメラ同期装置の構成例のブロック図が示される。図５において、カメラ同期装置２０は、撮影信号発振機３６から無線通信により撮影信号が発信されると、受信機３８によりこの信号を受信し、これをトリガとして信号処理機４０により同期信号発生装置４２に動作信号が入力される。動作信号が入力されると、同期信号発生装置４２が左右のカメラ１０Ｌ、１０Ｒのそれぞれのシャッター１６Ｌ、１６Ｒの作動信号を発生し、シャッター１６Ｌ、１６Ｒが同時に作動される。これにより、撮影信号発振機３６による遠隔操作で左右のカメラの１０Ｌ、１０Ｒの撮影タイミングを一致させることができる。
【００３１】
なお、カメラ同期装置２０は、必ずしも遠隔操作により動作する構成としなくてもよい。例えば、撮影信号発振機３６をカメラ同期装置２０と一体化し、カメラ同期装置２０と撮影信号発振機３６とを電気コードで接続してもよい。
【図面の簡単な説明】
【００３２】
【図１】本発明にかかる３次元測量装置の構成のブロック図である。
【図２】カメラ固定装置の例を示す図である。
【図３】図１に示された３次元測量装置により３次元測量を実施する際の座標系の例を示す図である。
【図４】図１に示された３次元測量装置を使用して３次元測量を行う場合の工程のフロー図である。
【図５】カメラ同期装置の構成例のブロック図である。
【符号の説明】
【００３３】
１０Ｌ、１０Ｒ  カメラ、１２  矢印、１４Ｒ、１４Ｌ  光学系、
１６Ｒ、１６Ｌ  シャッター、１８Ｒ、１８Ｌ  画像センサー、２０  カメラ同期装置、２２  カメラ固定装置、２４Ｒ、２４Ｌ  画像メモリ、２６  処理装置、２７  表示装置、２８  棒状部材、３０  支柱、３２  キャスター付き支持部、３４Ｒ、３４Ｌ  主点、
１  撮影信号発振機、３８  受信機、４０  信号処理機、４２  同期信号発生装置。
【図１】
2005017262.tif 000010
【図２】
2005017262.tif 000011
【図３】
2005017262.tif 000012
【図４】
2005017262.tif 000013
【図５】
2005017262.tif 000014