【手続補正書】
【提出日】平成22年4月6日(2010.4.6)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
上記課題を解決するために、本発明の第１の態様に係る画像処理装置１００は、例えば図２に示すように、相対的に移動する対象物を、隣り合う３以上の画像が重複部分を共有するように時系列的に撮影した一連の撮影画像を取得する撮影画像取得部２と、時系列的に撮影されたいずれかの撮影画像から特徴点を抽出する特徴抽出部３と、一連の撮影画像について特徴点を追跡し、特徴点を相互に対応付ける特徴点追跡部４と、一連の撮影画像から対をなす画像であるステレオ画像を選択するステレオ画像選択部６と、ステレオ画像選択部６で選択されたステレオ画像の相互に対応付けられた特徴点（対象物上の同一点を表す）である対応特徴点を用いて、標定および三次元計測を行なう標定処理・三次元計測部７と、ステレオ画像から三次元計測により求められた対応特徴点の三次元座標の誤差範囲を算定する誤差範囲算定部８１と、誤差範囲算定部８１で算定された対応特徴点の三次元座標の誤差範囲に基づいて、対応特徴点の三次元計測への適否を判定する対応点適否判定部８３と、対応点適否判定部８３で不適切と判定された対応特徴点を削除する誤対応点削除部８４とを備える。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
また、本発明の第２の態様は、第１の態様に係る画像処理装置において、標定処理・三次元計測部７は、対応特徴点から誤対応点削除部８４により削除された対応特徴点を除いて、再度標定および三次元計測を行なう。このように構成すると、誤対応点を除いた精度の高い三次元座標を得られる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
また、本発明の第３の態様は、第１又は第２の態様に係る画像処理装置において、対応点適否判定部８３は、誤差範囲が所定の閾値を越えるステレオ画像の対応特徴点を不適切と判定する。ここにおいて、所定の閾値は例えば平面分解能Δｘｙ、奥行き分解能Δｚのｋ倍とする。このように構成すると、誤差範囲の小さいステレオ画像を用いて三次元計測を行なえるので、三次元座標を高精度化できる。また、不適切な対応特徴点を所定の閾値を用いて自動的に除去できる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
また、本発明の第４の態様は、第１乃至第３のいずれかの態様に係る画像処理装置において、複数の異なるステレオ画像の誤差範囲の重複部分を対応特徴点の許容範囲として設定する許容範囲設定部８２を備え、対応点適否判定部８３は、誤差範囲が許容範囲と重複部分を有するステレオ画像の対応特徴点を適切と判定し、重複部分を有さないステレオ画像の対応特徴点を不適切と判定する。このように構成すると、三次元計測の誤差範囲外となる誤対応点を確実に除去できる。また、二次元画像では分離できなかった擬似特徴点も除去できる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
また、本発明の第５の態様は、第１乃至第３のいずれかの態様に係る画像処理装置において、複数の異なるステレオ画像の誤差範囲の重複部分を対応特徴点の許容範囲として設定する許容範囲設定部８２を備え、対応点適否判定部８３は、許容範囲内に存在する対応特徴点を適切と判定し、許容範囲外に存在する対応特徴点を不適切と判定する。このように構成すると、確度の高い対応特徴点を選んで三次元計測ができ、三次元座標精度を向上できる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
また、本発明の第６の態様は、第４又は第５の態様に係る画像処理装置において、許容範囲設定部８２は、所定数以上のステレオ画像の誤差範囲の重複部分を対応特徴点の許容範囲として設定する。ここにおいて、許容範囲とは誤差範囲から推測される対応点の位置座標が許容される範囲を意味するものである。このように構成すると、対応特徴点の位置座標を許容範囲内として推定できる。このように構成すると、ステレオ画像間のエピポーララインを水平で同じ高さにできるので、標定が容易になる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
また、本発明の第７の態様は、第６の態様に係る画像処理装置において、許容範囲と重複部分を有するステレオ画像の対応特徴点について、１又は誤差範囲の減少関数となる重み係数を用いて重心を求め、重心を対応特徴点の位置座標と算定する。ここにおいて重み係数は１の場合を含み、例えば誤差範囲が所定の閾値を越えるものを不適切と判断した場合は重み係数を１として良い。このように構成すると、対応特徴点の位置座標をほぼ高い確度で算定できる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
また、本発明の第８の態様は、第１乃至第７のいずれかの態様に係る画像処理装置において、標定処理・三次元計測部は、ステレオ画像を偏位修正処理した偏位修正画像を形成し、偏位修正画像に基づいて三次元計測を行う。このように構成すると、偏位修正処理を行なうことにより、三次元計測を容易かつ高精度で行なうことができる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
また、本発明の第９の態様は、第１乃至第８のいずれかの態様に係る画像処理装置において、誤差範囲（σｘｙ，σｚ）は、基線長Ｂ、撮影距離Ｈ、焦点距離ｆと画素サイズΔｐの関数として算定される。このように構成すると、誤差範囲を適切かつ自動的に算定できる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
また、本発明の第１０の態様は、第３乃至第９のいずれかの態様に係る画像処理装置において、ステレオ画像と誤差範囲の対応関係である式（８）（９）に必要な測定要素（Ｈ：撮影距離、Δｐ：画素分解能、ｆ：焦点距離、Ｂ：基線長、ｋ１，ｋ２：係数など）を代入して求められた想定される測定における誤差範囲を示すデータを有する記憶部９を備え、ステレオ画像選択部６は、誤差範囲が所定の閾値以下のステレオ画像を選択する。このように構成すると、誤差範囲の小さいステレオ画像を選択して三次元計測ができ、三次元座標を高精度化できる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
また、本発明の第１１の態様は、第３乃至第９のいずれかの態様に係る画像処理装置において、ステレオ画像と誤差範囲の対応関係に基づき求められる、想定される測定における誤差範囲を示すデータを有する記憶部９を備え、ステレオ画像選択部６は、誤差データから誤差範囲が所定の範囲内のステレオ画像を選択する。このように構成すると、誤差範囲が均質な（例えば撮影距離がほぼ等しい）ステレオ画像を用いて、均質な測定ができる。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
また、本発明の第１２の態様は、第４乃至第１１のいずれかの態様に係る画像処理装置において、対応特徴点と許容範囲の対応関係を表す誤差データを有する記憶部９を備え、ステレオ画像選択部６は、式（８）（９）に必要な測定要素（Ｈ：撮影距離、Δｐ：画素分解能、ｆ：焦点距離、Ｂ：基線長、ｋ１，ｋ２：係数など）を代入して求められた想定される測定における誤差範囲を示すデータから誤差範囲が許容範囲と重複するステレオ画像を選択する。このように構成すると、真の特徴点である確度の高い対応特徴点を選んで三次元計測ができ、高精度の三次元座標を得られる。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
また、本発明の第１３の態様は、第１乃至第１２のいずれかの態様に係る画像処理装置において、ステレオ画像の基線長と三次元座標の測定精度との関係を表す式（９）を利用して、測定で求められる測定精度と、必要な測定要素（Ｈ：撮影距離、Δｐ：画素分解能、ｆ：焦点距離、ｋ１，ｋ２：係数など）を代入して要求精度を満たす基線長のデータを有する記憶部９を備え、ステレオ画像選択部６は、要求精度を満たす基線長となるようにステレオ画像を選択する。このように構成すると、要求性能に見合った三次元計測ができる。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
また、本発明の第１４の態様は、第１乃至第１３のいずれかの態様に係る画像処理装置において、撮影画像に基づかないで撮影位置を計測可能な撮影位置測定部を備える。このように構成すると、撮影画像の追跡処理なしに、或は撮影画像とは独立に撮影位置を計測でき、リアルタイム処理に便宜である。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
また、本発明の第１５の態様は、第１乃至第１４のいずれかの態様に係る画像処理装置において、誤差範囲又は許容範囲を立体的二次元表示する表示装置を備え、撮影画像取得部は一連の撮影画像を撮影する撮影装置を有する。このように構成すると、現地撮影が可能になり、また、立体的二次元表示により擬似特徴点等の誤対応点を判別しやすくなる。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
また、本発明の第１６の態様に係る画像処理方法は、例えば図３に示すように、相対的に移動する対象物を、隣り合う３以上の画像が重複部分を共有するように時系列的に撮影した一連の撮影画像を取得する撮影画像取得工程（Ｓ１００）と、時系列的に撮影されたいずれかの撮影画像から特徴点を抽出する特徴抽出工程（Ｓ１１０）と、一連の撮影画像について特徴点を追跡し、特徴点を相互に対応付ける特徴点追跡工程（Ｓ１２０）と、一連の撮影画像から対をなす画像であるステレオ画像を選択するステレオ画像選択工程（Ｓ１４０）と、ステレオ画像選択工程（Ｓ１４０）で選択されたステレオ画像の相互に対応付けられた特徴点である対応特徴点を用いて、標定を行なう第１の標定工程（Ｓ１５０）と、第１の標定工程（Ｓ１５０）の標定結果を用いて三次元計測を行なう第１の三次元計測工程（Ｓ１６０）と、ステレオ画像から三次元計測により求められた対応特徴点の三次元座標の誤差範囲を算定する誤差範囲算定工程（Ｓ１７０）と、誤差範囲算定工程で算定された対応特徴点の三次元座標の誤差範囲に基づいて、対応特徴点の三次元計測への適否を判定する対応点適否判定工程（Ｓ１８５）と、対応点適否判定工程（Ｓ１８５）で不適切と判定された対応特徴点を削除する誤対応点削除工程（Ｓ１９０）とを備える。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
また、本発明の第１７の態様は、第１６の態様に係る画像処理方法において、対応特徴点から誤対応点削除工程（Ｓ１９０）で削除された対応特徴点を除いて、再度標定を行なう第２の標定工程（Ｓ１５０）と、第２の標定工程（Ｓ１５０）の標定結果を用いて三次元計測を行なう第２の三次元計測工程（Ｓ１６０）とを備える。このように構成すると、誤対応点を除去して三次元計測を行なうので、高精度の三次元座標を求められる。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
また、本発明の第１８の態様は、第１6又は第１７の態様に係る画像処理方法をコンピュータに実行させるためのコンピュータ読み取り可能なプログラムである。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
隣り合う３以上の画像が重複部分を共有することにより、特徴点の追跡が可能になる。特徴点追跡部４において、一連の撮影画像について、特徴点に対応する対応点を探索し、対応付け、特徴点の追跡が行なわれる（Ｓ１２０：特徴点追跡工程）。特徴点の追跡は、第１の画像の特徴点に対して第２の画像の対応する対応点を探索し、対応付けられると次に第２の画像の対応点を新たな特徴点として第３の画像の対応する対応点を探索し、対応付け、特徴点を順次追跡していく。ここでは一連の撮影画像において相互に対応付けられた特徴点を対応特徴点と称する。対応特徴点データは対応点情報メモリ９Ａに記憶され、追跡結果も履歴情報として記憶される。各対応点に関する追跡情報が対応点情報メモリ９Ａに蓄積され、対応点情報メモリ９Ａ内に候補対応点リストが作成される。すなわち、候補対応点リストには、各対応特徴点について撮影画像毎に二次元画面上の座標が記憶される。また、三次元座標計測後は三次元座標も記憶される。また、対応特徴点として適切か否かの判定結果も記憶される。また、対応特徴点が付された撮影画像は原画像と共に、偏位修正処理され、倍率、揺らぎ、傾きが補正され縦視差が除去された偏位修正画像として、画像メモリ１０に記憶される。なお、特徴抽出部３で抽出された特徴点データ及び特徴点追跡部４で対応付けられた対応特徴点データがリアルタイムに順次演算処理部５に供給されれば、移動中の移動体（自動車等）で、早期に標定処理、三次元計測を行ない、ナビゲータに反映できる可能性も高くなる。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００６０
【補正方法】変更
【補正の内容】
【００６０】
図１０に、誤対応点除去の処理フロー例を模式的に示す。ここで、適宜図３を参照して説明する。撮影画像取得部２は重複部分を共有する複数の撮影画像を取得し（Ｓ１００）、取得された撮影画像は画像メモリ１０に記憶される。他方、取得された撮影画像から特徴点が抽出され（Ｓ１１０）、特徴点が追跡されて相互に対応付けられ（Ｓ１２０）、各対応特徴点に関する追跡情報が対応点情報メモリ９Ａに蓄積され、対応点情報メモリ９Ａ内に候補対応点リストが作成される。他方、取得された撮影画像からステレオ画像を選択できる。ステレオ画像情報メモリ９Ｂ内にステレオ画像の候補として選択した組み合わせに関する情報を記憶したステレオペア候補リストが作成される。また、誤差範囲算定部８１で算定された誤差範囲も記憶され、ステレオ画像と誤差範囲の対応関係を表す誤差範囲データを形成できる。したがって、ステレオ画像選択部はこのステレオペア候補リストを参照して、適切なステレオ画像を選択できる。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００６４
【補正方法】変更
【補正の内容】
【００６４】
次に、再びステレオ画像選択工程（Ｓ１４０）に戻り、対応特徴点から誤対応点除去部８４で削除された対応特徴点を除いて、ステレオ画像選択（Ｓ１４０）、再度の標定が行なわれ（Ｓ１５０：第２の標定工程）、続けて、その標定結果を用いて偏位修正処理（Ｓ１５５：第２の偏位修正工程）、再度の三次元計測が行なわれる（Ｓ１６０：第２の三次元計測工程）。第２の標定工程、第２の偏位修正工程及び第２の三次元計測工程では、誤対応点、すなわち検出された不適切な対応特徴点を除いて行なわれるので、より高精度の標定がなされ、三次元座標が算出される。このループの処理（Ｓ１４０〜Ｓ１９０）を繰り返すことにより、計測精度を向上することができる。誤対応点が検出されなくなるまでループの処理を繰り返す。これにより、図３のＳ１９５に進み三次元座標が確定できる条件が整えばここで三次元座標を確定し、計測を終了する。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００７５
【補正方法】変更
【補正の内容】
【００７５】
［第６の実施の形態］
第１の実施の形態では、対応点の追跡処理から撮影位置を計測する例を説明したが、第６の実施の形態では、ＧＰＳからなる撮影位置測定部を有し、他の手段により撮影地点を計測するものである。その他の点については第１の実施の形態と同様である。
図１７に第６の実施の形態における誤対応点除去の処理フロー例を示す。図１０に示す第１の実施の形態の処理フロー例に比して、撮影位置測定部１２が追加され、撮影画像に基づかないで撮影位置を計測可能である。したがって、撮影画像の追跡処理なしに、或は撮影画像とは独立に撮影位置を計測でき、リアルタイム処理に便宜である。また、撮影画像の追跡処理による撮影位置の計測結果を補完できる。他の工程は第１の実施の形態と同様である。また撮影部１３が追加され、現場での撮影が可能である。
撮影位置測定部１２として、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）センサ等を採用可能である。たとえば撮影位置測定部１２をＧＰＳとした場合、撮影地点の三次元座標がＧＰＳから出力される。誤差範囲算定処理（Ｓ１７０）において、ＧＰＳの出力データを用いて基線長Ｂを算出し、三次元座標算出工程（Ｓ１６０）で算出された対応特徴点の三次元座標値とＧＰＳから出力された撮影位置データから撮影距離Ｈを算出し、式（８）、（９）から誤差範囲を算出する。