【手続補正書】
【提出日】平成20年7月23日(2008.7.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１４
【補正方法】変更
【補正の内容】
【請求項１４】
面内に計測位置を示すための位置検出用パターンと、標識を識別するためのコードパターンとを有するコード付き標識を含むように測定対象物を２方向から撮影する撮影工程と；
前記撮影工程で撮影された前記測定対象物の一対の撮影画像を記憶する画像データ記憶工程と；
前記一対の撮影画像から前記コード付き標識の位置検出用パターンとコードパターンとを抽出する抽出工程と；
前記抽出工程で抽出されたコード付き標識のコードパターンから、前記コード付き標識の識別コードを判別する識別コード判別工程と； 
前記一対の撮影画像の一方について前記抽出工程で抽出されたコード付き標識の位置検出用パターンから、前記コード付き標識の基準点を設定する基準点設定工程と；
前記一対の撮影画像の他方について前記抽出工程で抽出されたコード付き標識の位置検出用パターンから、前記識別コード判別工程で判別された識別コードを用いて前記基準点に対応する対応点を探索する対応点探索工程と；
前記基準点及び前記対応点とに基づいて、前記一対の撮影画像について標定処理を行う標定工程とを備える；
三次元計測方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
上記課題を解決するために、本発明の第１の態様に係る三次元計測システム１００は、例えば図２に示すように（コード付き標識については図１参照）、面内に計測位置を示すための位置検出用パターンＰ１と、標識を識別するためのコードパターンＰ３とを有するコード付き標識ＣＴを含むように２方向から撮影された測定対象物１の一対の撮影画像を記憶する撮影画像データ記憶部１３と、一対の撮影画像からコード付き標識ＣＴの位置検出用パターンＰ１とコードパターンＰ３とを抽出する抽出部４１と、抽出部４１で抽出されたコード付き標識ＣＴのコードパターンＰ３から、コード付き標識ＣＴの識別コードを判別する識別コード判別部４６と、一対の撮影画像の一方について抽出部４１で抽出されたコード付き標識ＣＴの位置検出用パターンＰ１から、コード付き標識ＣＴの基準点を設定する基準点設定部４２と、一対の撮影画像の他方について抽出部４１で抽出されたコード付き標識ＣＴの位置検出用パターンＰ１から、識別コード判別部４６で判別された識別コードを用いて基準点に対応する対応点を探索する対応点探索部４３と、基準点及び対応点とに基づいて、一対の撮影画像について標定処理を行う標定部４４とを備える。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明の第２の態様は、第１の態様に係る三次元計測システムにおいて、例えば図１に示すように、コードパターンＰ３が複数の色彩が施されたカラーコードパターンであり、コード付き標識ＣＴがカラーコード付き標識である。
ここにおいて、カラーコードパターンには、彩色された単位パターンの配列をコード化したパターンの他に、彩色したレトロターゲットを組み合わせてコード化したパターンも含まれる。このように構成すると、標識に多数の識別番号を付与でき、また、一見してパターンの同異を判別し易い。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明の第３の態様は、第１又は第２の態様に係る三次元計測システムにおいて、例えば図６に示すように、画像撮影装置１０で各撮影画像が少なくとも３個のコード付き標識ＣＴを含むように、かつ隣接し合う撮影画像間では少なくとも２個のコード付き標識ＣＴを共有するようにして撮影した一連の撮影画像について、隣接し合う撮影画像で共有されたコード付き標識ＣＴの識別コードが一致するように、一連の撮影画像の配列を定める配列部４７を備える。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
本発明の第４の態様は、第３の態様に係る三次元計測システムにおいて、標定部４４は、一連の撮影画像について、隣接し合う撮影画像で共有されたコード付き標識ＣＴに係る基準点又は対応点の座標が一致するように、測定対象物１に係る一連の撮影画像について、順次標定を行う。
このように構成すると、ステレオ画像間のエピポーララインを水平で同じ高さにできるので、標定が容易になる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
本発明の第５の態様は、第４の態様に係る三次元計測システムにおいて、一対の撮影画像から、標定部４４で標定された標定要素に基づいて座標系を仮定した一対のモデル画像を形成するモデル画像形成部４８Ａと、一対のモデル画像を記憶するモデル画像記憶部４８Ｂとを備え、モデル画像形成部４８Ａは、一連の撮影画像ついて標定部４４で標定された標定要素に基づいて一連のモデル画像を形成し、配列部４７は、一連のモデル画像について、隣接し合うモデル画像で共有されたコード付き標識ＣＴの識別コードが一致するように配列し、標定部４４は、配列された一連のモデル画像について、隣接し合うモデル画像で共有されたコード付き標識ＣＴに係る基準点又は対応点の座標が一致するように、測定対象物１に係る一連のモデル画像について、順次標定を行い、モデル画像形成部４８Ａは、標定部４４で新たに標定された標定要素に基づいて新たな一連のモデル画像を形成する。
このように構成すると、ステレオ画像間のエピポーララインを水平で同じ高さにできるので、標定が容易になる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
本発明の第６の態様は、第４又は第５の態様に係る三次元計測システムにおいて、標定部４４は、一連のモデル画像について、さらにバンドル法による標定を行い、モデル画像形成部４８Ａは、標定部４４で標定された標定要素に基づいて新たな一連のモデル画像を形成する。
このように構成すると、画像全体に亘る位置座標の調整が行なわれるので、標定による誤差を微小にできる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
本発明の第７の態様は、第４乃至第６のいずれかの態様に係る三次元計測システムにおいて、標定部４４は、標定処理を繰り返すことにより、新たな一連のモデル画像を形成する。
ここにおいて、相互標定（第５の態様に係る標定）とバンドル法による標定（第６の態様に係る標定）を交互に繰り返すのが好ましいが、それぞれの標定を繰り返しても良く、標定処理の順序は任意である。このように構成すると、標定の精度を向上できる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
本発明の第８の態様は、第５乃至第７のいずれかの態様に係る三次元計測システムにおいて、測定対象物１に係る三次元座標データと撮影画像又はモデル画像とを、標定部４４で求められた標定要素を用いて対応付ける画像対応部５６を備える。
このように構成すると、高精度の三次元画像を得ることができる。なお、三次元画像データは絶対座標系で行なうのが好ましいが、相対座標系を用いても良い。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
本発明の第９の態様は、第４乃至第８のいずれかの態様に係る三次元計測システムにおいて、対応点探索部４３は、一対の撮影画像又は一対のモデル画像について、コード付き標識ＣＴを少なくとも４個含むように探索範囲を自動的に定めて、マッチング処理を行う。
このように構成すると、ステレオマッチングの範囲を自動的に定めることができ、三次元計測の自動化を可能にする。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
本発明の第１０の態様は、第２乃至第９のいずれかの態様に係る三次元計測システムにおいて、カラーコード付き標識ＣＴは、面内に色彩の基準として用いる複数の色彩が施された基準色パターンＰ２を有し、基準色パターンＰ２に施された色彩を基準にして、カラーコードパターンＰ３の色彩を補正する色彩補正部３１２を有する。
ここにおいて、典型的には基準色として赤、緑、青が用いられるが、識別可能であればこれに限定されない。このように構成すると、色補正によりカラーコード識別の精度が向上する。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
本発明の第１１の態様は、本発明の第１０の態様に係る三次元計測システムにおいて、抽出部４１は、基準色パターンＰ２に施された色彩と画像撮影装置１０で撮像された測定対象物１の画像の色彩とを比較することにより、カラーコードパターンＰ３を判別する。
このように構成すると、基準色を用いるので、カラーコードパターンの判別精度が向上する。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
本発明の第１２の態様は、第１０又は第１１の態様に係る三次元計測システムにおいて、色彩補正部３１２は、基準色パターンＰ２に施された色彩を基準にして、画像撮影装置１０で撮像された測定対象物１の画像の色彩を補正する。
このように構成すると、測定対象物の画像の色彩を精度良く補正できる。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
本発明の第１３の態様は、第２乃至第１２のいずれかの態様に係る三次元計測システムにおいて、カラーコード付き標識ＣＴを投影する投影装置１２を備える。
このように構成すると、カラーコード付きターゲットを貼付せずに、撮影の自動化が可能になる。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
本発明の第１４の態様に係る三次元計測方法は、例えば図４に示すように（システム構成については図２、コード付き標識については図１参照）、面内に計測位置を示すための位置検出用パターンＰ１と、標識を識別するためのコードパターンＰ３とを有するコード付き標識ＣＴを含むように測定対象物１を２方向から撮影する撮影工程（Ｓ１０）と、撮影工程（Ｓ１０）で撮影された測定対象物１の一対の撮影画像を記憶する画像データ記憶工程（Ｓ１１）と、一対の撮影画像からコード付き標識ＣＴの位置検出用パターンＰ１とコードパターンＰ３とを抽出する抽出工程（Ｓ１４）と、抽出工程（Ｓ１４）で抽出されたコード付き標識ＣＴのコードパターンＰ３から、コード付き標識ＣＴの識別コードを判別する識別コード判別工程（Ｓ１５）と、一対の撮影画像の一方について抽出工程（Ｓ１４）で抽出されたコード付き標識ＣＴの位置検出用パターンＰ１から、コード付き標識ＣＴの基準点を設定する基準点設定工程（Ｓ１８）と、一対の撮影画像の他方について抽出工程（Ｓ１４）で抽出されたコード付き標識ＣＴの位置検出用パターンＰ１から、識別コード判別工程（Ｓ１５）で判別された識別コードを用いて基準点に対応する対応点を探索する対応点探索工程（Ｓ１９）と、基準点及び対応点とに基づいて、一対の撮影画像について標定処理を行う標定工程（Ｓ３０）とを備える。
第１の態様に係る三次元計測システムに相応する三次元計測方法である。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
本発明の第１５の態様は、第１４の態様に係る三次元計測方法において、コードパターンＰ３が複数の色彩が施されたカラーコードパターンであり、コード付き標識ＣＴがカラーコード付き標識である。
第２の態様に係る三次元計測システムに相応する三次元計測方法である。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
基準色部Ｐ２は、照明やカメラ等の撮影条件による色のズレに対応するために、相対比較時の参照用、色ズレを補正するためのカラーキャリブレーション用として使用する。さらに、基準色部Ｐ２は、簡易な方法で作成されたカラーコード付きターゲットＣＴの色彩補正用として使用できる。例えば、色管理がなされていないカラープリンター（インクジェット・レーザー・昇華型等のプリンタ）で印刷したカラーコード付きターゲットＣＴを使用する場合は、使用プリンタ等で色彩に個体差が出るが、基準色部Ｐ２とカラーコード部Ｐ３の色を相対比較し補正することで、個体差の影響を押さえることができる。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
カラーコード部Ｐ３は、その各単位領域への配色の組み合わせによってコードを表現する。コードに使用するコード色の数により表現可能なコード数が変化する。例えば、コード色数がｎの場合、図１（ａ）のカラーコード付きターゲットＣＴ１では、カラーコード部Ｐ３の単位領域が３個のため、ｎ×ｎ×ｎ通りのコードを表せる。信頼度を上げるため、他の単位領域に使用されている色を重複して使用しないという条件を課した場合でも、ｎ×（ｎ−１）×（ｎ−２）通りのコードを表せる。そして、コード色数を増やせばコード数を増加できる。さらに、カラーコード部Ｐ３の単位領域の数とカラーコード数を等しくするという条件を課すと、全てのコード色がカラーコード部Ｐ３に使用されるため、基準色部Ｐ２との比較のみでなく、カラーコード部Ｐ３の各単位領域間で色を相対比較することにより、各単位領域の色彩を確認して識別コードを決定することができ、信頼性を上げることができる。さらに、各単位領域の面積を全て同じにする条件を追加すると、カラーコード付きターゲットＣＴを画像中から検出する際にも使用できる。これは、異なる識別コードをもつカラーコード付きターゲットＣＴ間でも各色の占有する面積が同じになるため、カラーコード部全体からの検出光からはほぼ同様な分散値が得られるからである。また、単位領域間の境界は等間隔に繰り返され、明確な色彩差が検出されるので、このような検出光の繰り返しパターンからもターゲットＣＴを画像中から検出することが可能である。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
白色部Ｐ４は、カラーコード付きターゲットＣＴの向き検出用と色ズレのキャリブレーション用として使用する。ターゲットＣＴの四隅の内、一カ所だけレトロターゲットが配置されない箇所があり、これをターゲットＣＴの向き検出用に使用できる。このように白色部Ｐ４はレトロターゲットと異なるパターンであれば良い。したがって、白色部Ｐ４には目視でコードを確認するための番号などの文字列を印刷しても良く、また、バーコード等のコード領域としても使用しても良い。さらに、検出精度を上げるために、テンプレートマッチング用のテンプレートパターンとして使用することも可能である。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正の内容】
【００４７】
［システムの動作］
図４に、三次元計測システムの動作を説明するフローチャート例を示す。
まず、撮影対象物１にコード付きターゲットを貼付する（Ｓ０１）。コード付きターゲットを貼付する位置は、計測位置となる。本実施の形態では、コード付きターゲットとしてカラーコード付きターゲットＣＴを用いるものとする。次に、デジタルカメラ等の画像撮影装置１０を用いて撮影した測定対象物１の画像（典型的にはステレオ画像）を撮影し（Ｓ１０）、撮影した画像を撮影画像データ記憶部１３に画像登録する（Ｓ１１）。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００８３
【補正方法】変更
【補正の内容】
【００８３】
上述した半自動モードは、左画像上で特徴点をマウスにより指示することにより、自動で右画像の対応点を探索し、ＯＫかどうか表示している。そこで、オペレータはカーソルマーク表示の表示を見て、対応点探索部４３にて検索された右画像上の対応点が適切であれば、検索された対応点を対応点として確定させる（例えば矢印”⇒”から”◎”に変更されている場合）。半自動モードを用いることにより、オペレータは片方の画像を指示するだけでよいので、対応点決定処理を簡単に処理できる。なお、マウスによる指示と確認のための判定は、ボタンを押すことによっても良いが、更にマウスカーソルを移動して左画像上をなぞるだけで、右画像上の対応点を常に判定表示させるように構成しても良い。左画像上のマウスカーソルに対応する右画像上の対応点を判定表示させると、対応点決定処理をさらに容易に処理できる。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００９４
【補正方法】変更
【補正の内容】
【００９４】
まず、以下の共面条件式（式３）により、左右カメラの位置を定めるのに必要とされるパラメータを求める。
【数１】
2007064627.tif 000001
この場合左側のカメラのＸ軸の回転角ω１は０なので、考慮する必要ない。
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】０１０５
【補正方法】変更
【補正の内容】
【０１０５】
図１９は左右画像における探索範囲とテンプレート画像の一例を示す図である。例えば、対応部４０の対応点指示部４５により指示された特徴点となる点を中心とした、Ｎ１×Ｎ１画素の画像Ｔをテンプレート画像Ｔとして左画像から切出す。次に、テンプレート画像Ｔより大きい右画像中のＭ１×Ｍ１画素を探索範囲Ｉ（画素数（Ｍ１−Ｎ１＋１）２）として、探索範囲Ｉ上でテンプレート画像Ｔを動かす。次に、上式の相互相関係数Ｃ（ａ，ｂ）が最大になるような画像位置を求めて、これによりテンプレート画像Ｔが探索されたとみなす。完全に左画像と右画像が一致していれば、相互相関係数値Ｃ（ａ，ｂ）が１．０となる。図１７に戻り、一般的には、標定作業により撮影カメラの位置と傾きを求めて（Ｓ１２０）、その結果を用いて偏位修正画像を作成する作業が行われる（Ｓ１３０）。ここでは、標定部４４の標定結果を用いてモデル画像形成部４８Ａにより、偏位修正画像を作成する処理を行う。
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】０１０９
【補正方法】変更
【補正の内容】
【０１０９】
共線条件式は、投影中心、写真像および地上の対象物が一直線上にあるというバンドル調整の基本式であり、（式１２）のようになる。
【数５】
2007064627.tif 000002
【手続補正２５】
【補正対象書類名】図面
【補正対象項目名】図１７
【補正方法】変更
【補正の内容】
【図１７】
2007064627.tif 000003
【手続補正２６】
【補正対象書類名】図面
【補正対象項目名】図２０
【補正方法】変更
【補正の内容】
【図２０】
2007064627.tif 000004