(57)【特許請求の範囲】
【請求項１】
被写体を撮像した基準画像上における計測点に対応する対応点を、当該基準画像とは異なる視点から前記被写体を撮像した対応画像の中で探索する対応点探索部と、
前記計測点の周辺を前記基準画像から抽出した計測点周辺画像と、前記対応点の周辺を前記対応画像から抽出した対応点周辺画像とを並置して表示部に表示させ、入力部に入力された指示に基づいて前記対応点の位置を調整する対応点調整部と、
前記基準画像上における前記計測点の位置と、前記対応画像上における前記対応点の位置とに基づいて、前記被写体上における前記計測点の三次元座標を算出する算出部と、
を備え、
前記計測点周辺画像と前記対応点周辺画像とを並置する方向が、前記基準画像及び前記対応画像のエピポーラ線に対して垂直な方向であることを特徴とする画像処理装置。
【請求項２】
前記対応点周辺画像が、前記基準画像及び前記対応画像のエピポーラ線に沿った長辺と、前記エピポーラ線に対して垂直な方向に沿った短辺とを有する四辺形状に形成される請求項１に記載の画像処理装置。
【請求項３】
前記対応点調整部は、前記表示部に、前記計測点を前記計測点周辺画像に重畳して表示させるとともに、前記対応点探索部により探索された対応点を前記対応点周辺画像に重畳して表示させることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記対応点調整部は、前記表示部に、前記対応点の位置を調整するためのガイドを前記計測点周辺画像及び前記対応点周辺画像に重畳して表示させる請求項１から３の何れか一項に記載の画像処理装置。
【請求項５】
前記対応点調整部は、前記基準画像及び前記対応画像のエピポーラ線の方向にのみ前記対応点の位置を調整する請求項１から４の何れか一項に記載の画像処理装置。
【請求項６】
前記基準画像を生成する第１撮像装置と、
前記対応画像を生成する第２撮像装置とを更に備え、
前記画像処理装置は、第３撮像装置により撮像された前記被写体の他の対応画像と、前記基準画像と、前記対応画像とに基づいて前記三次元座標を算出し、
前記対応点探索部は、前記計測点に対応する他の対応点を前記他の対応画像の中で探索し、
前記対応点調整部は、前記対応点の位置の調整に関連付けて前記他の対応点の位置を調整する請求項４に記載の画像処理装置。
【請求項７】
前記第１及び前記第２撮像装置が第１方向に沿って配置され、
前記第１及び前記第３撮像装置が前記第１方向に交差する第２方向に沿って配置され、
前記他の対応点の周辺を前記他の対応画像から抽出した他の対応点周辺画像における前記他の対応点の位置の調整方向と、前記対応点周辺画像における前記対応点の位置の調整方向とが同一となるように、前記他の対応点周辺画像、前記計測点周辺画像、及び、前記対応点周辺画像が表示される請求項６に記載の画像処理装置。
【請求項８】
前記表示部を更に備える請求項１から６の何れか一項に記載の画像処理装置。
【請求項９】
被写体を撮像した基準画像上における計測点に対応する対応点を、当該基準画像とは異なる視点から前記被写体を撮像した対応画像の中で探索する対応点探索工程と、
前記計測点の周辺を前記基準画像から抽出した計測点周辺画像と、前記対応点の周辺を前記対応画像から抽出した対応点周辺画像とを並置して表示部に表示させ、入力部に入力された指示に基づいて前記対応点の位置を調整する対応点調整と、
前記基準画像上における前記計測点の位置と、前記対応画像上における前記対応点の位置とに基づいて、前記被写体上における前記計測点の三次元座標を算出する算出工程とを包含し、
前記計測点周辺画像と前記対応点周辺画像とを並置する方向が、前記基準画像及び前記対応画像のエピポーラ線に対して垂直な方向であることを特徴とする画像処理方法。
【請求項１０】
請求項１から８までのいずれか一項に記載の画像処理装置としてコンピュータを機能させるための画像処理プログラムであって、前記対応点探索部、前記対応点調整部および前記算出部としてコンピュータを機能させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の一態様は基準画像および対応画像から計測点の三次元座標を計測する技術に関する。
【背景技術】
【０００２】
従来技術において、２台のカメラ（ステレオカメラ）を用いて被写体の長さまたは三次元位置（座標）等を計測する技術（ステレオ計測）が知られている。ステレオ計測では、異なる位置に配置された２台のカメラを用いて被写体を撮像し、２台のカメラが撮像した２枚の画像間における被写体の視差（一方の画像上の計測点の座標と、計測点に対応する他方の画像上における対応点の座標とのずれ）に基づいて被写体の三次元位置を算出し、被写体の長さ、または被写体までの距離等を計測する。ステレオ計測の計測精度は、被写体までの距離、２台のカメラ間の距離である基線長、レンズの焦点距離、画素数などのカメラの仕様、視差の算出精度、および計測対象点の画像上での位置指定精度などによって変化する。【０００３】
視差を算出する公知の技術として、例えば、画像の類似度を評価するブロックマッチング法がある。ブロックマッチング法は、一方の画像から選択した領域と最も類似度の高い領域を他方の画像から探索する方法であり、評価対象領域の各画像間の位置（座標）のずれから視差を算出するが、画像のノイズ、被写体の角度、および被写体の模様などの影響により、必ずしも視差を正しく算出出来るとは限らない。そこで、視差の算出精度を向上させるための技術として特許文献１に記載の技術がある。特許文献１には、ユーザが、対応点を含む対応領域が表示された対応画像を確認しながら指示部を操作し、基準画像上の基準領域に対応するように当該対応領域を移動させることにより、対応点の座標を調整することができる技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】日本国特許公開公報「特開２００２−５６５９号公報（２００２年１月９日公開）」
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術は、以下の課題を有している。特許文献１では、表示部は、基準領域を示すマークを含む基準画像と、対応領域を示すマークを含む対応画像とをそれぞれ表示し、ユーザが、対応領域を示すマークを移動することで基準領域に対応する対応領域を探索する。当該技術では、被写体が奥行きを有していることにより、基準領域内および対応領域内に視差が極端に異なる部分が含まれる場合、対応領域内の一部を、対応する基準領域内の一部と一致するように、対応画像上の対応領域の位置を調整すると、他の部分にずれが生じるため、ユーザが目視で確認しながら対応領域を動かすことにより対応点を正しい位置に調整することは困難である。また、画像が縮小されて表示されている場合など、対応画像の表示サイズ（拡大率）によっては、ユーザが対応画像を目視で確認しながら対応点の詳細な位置を調整することが困難となる。【０００６】
本発明の一態様は、上記の課題に鑑みてなされたものであり、その目的は、計測点の測定において、ユーザが、対応画像上の対応点の位置を、基準画像上の計測点に対応するように正確に調整することができる技術を提供し、計測点の測定精度を向上することにある。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明の一態様に係る画像処理装置は、被写体を撮像した基準画像上における計測点に対応する対応点を、当該基準画像とは異なる視点から前記被写体を撮像した対応画像の中で探索する対応点探索部と、前記計測点の周辺を前記基準画像から抽出した計測点周辺画像と、前記対応点の周辺を前記対応画像から抽出した対応点周辺画像とを並置して表示部に表示させ、入力部に入力された指示に基づいて前記対応点の位置を調整する対応点調整部と、前記基準画像上における前記計測点の位置と、前記対応画像上における前記対応点の位置とに基づいて、前記被写体上における前記計測点の三次元座標を算出する算出部と、を備える。【０００８】
また、本発明の一態様に係る画像処理方法は、被写体を撮像した基準画像上における計測点に対応する対応点を、当該基準画像とは異なる視点から前記被写体を撮像した対応画像の中で探索する対応点探索工程と、前記計測点の周辺を前記基準画像から抽出した計測点周辺画像と、前記対応点の周辺を前記対応画像から抽出した対応点周辺画像とを並置して表示部に表示させ、入力部に入力された指示に基づいて前記対応点の位置を調整する対応点調整と、前記基準画像上における前記計測点の位置と、前記対応画像上における前記対応点の位置とに基づいて、前記被写体上における前記計測点の三次元座標を算出する算出工程とを包含する。
【発明の効果】
【０００９】
本発明の一態様によれば、計測点の測定において、ユーザが、対応画像上の対応点の位置を、基準画像上の計測点に対応するように正確に調整することができ、計測点の測定精度を向上することができる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態に係る画像処理装置の一構成例を示すブロック図である。
【図２】撮像部によるステレオ計測の原理を説明するための図である。
【図３】本発明の第１の実施形態の態様１に係る画像処理方法を説明するフローチャートである。
【図４】本発明の第１の実施形態の態様２に係る画像処理方法を説明するフローチャートである。
【図５】本発明の第１の実施形態の態様３に係る画像処理方法を説明するフローチャートである。
【図６】本発明の第１の実施形態の態様４に係る画像処理方法を説明するフローチャートである。
【図７】（ａ）は、表示部が表示した基準画像を示す図である。（ｂ）は、表示部が表示した計測点周辺画像および対応点周辺画像を示す図である。
【図８】基準画像ならびに計測点周辺画像および対応点周辺画像を表示した表示部を示す図である。
【図９】（ａ）および（ｂ）は、表示部が表示した計測点周辺画像および対応点周辺画像を示す図である。
【図１０】（ａ）および（ｂ）は、表示部が表示した計測点周辺画像および対応点周辺画像を示す図である。
【図１１】基準画像ならびに計測点周辺画像および対応点周辺画像を表示した表示部を示す図である。
【図１２】基準画像ならびに計測点周辺画像および対応点周辺画像を表示した表示部を示す図である。
【図１３】基準画像ならびに計測点周辺画像および対応点周辺画像を表示した表示部を示す図である。
【図１４】基準画像ならびに計測点周辺画像および対応点周辺画像を表示した表示部を示す図である。
【図１５】（ａ）は、表示部が表示した基準画像および対応画像を示す図である。（ｂ）は、表示部が表示した計測点周辺画像および対応点周辺画像を示す図である。
【図１６】表示部が表示した計測点周辺画像および対応点周辺画像を示す図である。
【発明を実施するための形態】
【００１１】
〔第１の実施形態〕
以下、図面を参照しながら本発明の一実施形態について詳細に説明する。
【００１２】
＜画像処理装置＞
図１は、本実施形態に係る画像処理装置１の構成を示すブロック図である。図１に示すように、画像処理装置１は、撮像部２、記憶部３、入力部４、計測部５（算出部）および表示部１１を備えている。なお、以下では、ステレオ計測において、ユーザが計測点を指定する際に参照する画像を基準画像とし、ユーザが、計測点に対応する対応点を探索するために使用する画像を対応画像とする。
【００１３】
撮像部２は、第１撮像装置１２および第２撮像装置１３（後述する図２に示す）を備えており、各撮像装置が共通の被写体を撮像することにより、基準画像、およびそれに対応する対応画像を取得する。当該撮像装置の例として、レンズモジュール等の光学系、ＣＣＤ（Charge Coupled Device）およびＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサ、アナログ信号処理部、ならびにＡ／Ｄ（Analog/Digital）変換部などを備え、イメージセンサからの信号を画像として出力するものが挙げられる。
【００１４】
本実施形態についての下記の説明では、画像処理装置１が参照する対応画像は、撮像部２が備えている第１撮像装置１２および第２撮像装置１３の何れか一方が撮像した単一の画像である場合の例を示す。しかし、対応画像は、複数の撮像装置がそれぞれ撮像した複数の画像であってもよく、その場合でも、本実施形態の画像処理方法と同様の方法を用いることができる。また、本実施形態に係る画像処理装置１は、撮像部２を備えているが、撮像部２を備えていない態様も、本発明の一態様の範囲に含まれる。その場合、予め、複数の撮像装置により撮像された基準画像および対応画像が計測点測定のために用いられる。
【００１５】
記憶部３は、計測点を計測するときに必要な基線長または焦点距離などのカメラパラメータを記憶している。本実施形態では、記憶部３は、撮像部２のカメラパラメータを記憶しており、撮像部２が含む第１撮像装置１２および第２撮像装置１３の各配置等が変更されることによりカメラパラメータが変化した場合、ユーザが入力部４を介してカメラパラメータを更新してもよいし、記憶部３が、撮像部２から新たなカメラパラメータを受け付けてもよい。
【００１６】
入力部４は、ユーザ（操作者）から、基準画像上の被写体における計測点の入力を受け付ける。入力部４の例として、マウスおよびキーボード等の入力装置が挙げられる。
【００１７】
計測部５は、本発明の一態様の画像処理方法における各工程を実行する部材であり、ＣＰＵまたはＬＳＩなどの半導体回路等であり得る。また、計測部５は、図１に示すように、画像受付部６、計測点受付部７、対応点探索部８、対応点調整部９、および計測値算出部１０を備えている。画像受付部６は、撮像部２が撮像した基準画像および対応画像を受け付ける。計測点受付部７は、ユーザが入力部４を介して基準画像上に入力した計測点（基準画像における、計測点に対応する点）を受け付ける。対応点探索部８は、計測点受付部７が受け付けた基準画像上の計測点に対応する対応点の位置を、対応画像上で、ブロックマッチング法等の従来公知の方法を用いて探索し、設定する。対応点調整部９は、ユーザが、入力部４を介して、対応点探索部８が設定した対応点を、対応点周辺画像上で前記計測点の位置にさらに対応するように調整した対応点の位置を受け付ける。計測値算出部１０は、記憶部３が記憶しているカメラパラメータと、計測点受付部７が受け付けた基準画像上の計測点の位置と、対応点調整部９が受け付けた対応画像上の対応点の位置とを参照し、計測点の三次元座標を算出する。また、計測値算出部１０は、算出した計測点の三次元座標から、計測対象である被写体までの距離、または被写体の長さ等を算出する。
【００１８】
表示部１１は、画像受付部６が受け付けた基準画像および対応画像から抽出した、基準画像における計測点周辺の画像（計測点周辺画像）、および対応画像における対応点周辺の画像（対応点周辺画像）を並置して表示する。また、表示部１１は、当該計測点周辺画像および対応点周辺画像において、計測部５の各部材がそれぞれ処理した結果の計測点の位置および対応点の位置を、処理の途中経過も含め表示する。また、表示部１１は、計測値算出部１０が算出した計測点の位置、および当該位置から算出した被写体に関する情報、ならびに記憶部３が記憶している撮像部２に関する情報なども表示する。
【００１９】
表示部１１として、従来公知の表示装置を用いることができ、例えば、表示部１１は、液晶ディスプレイ等であり得る。また、上述の入力部４と表示部１１とは、一体化されていてもよく、一体化された入力部４および表示部１１の例として、タッチパネルを挙げることができる。タッチパネルとは、表示画面に表示された絵または領域にユーザが触れたことを感知し、感知した情報を信号として外部に出力する装置である。タッチパネルの例として、ユーザが接触した位置の電圧を感知する抵抗膜方式、および指先と導電膜との間での静電容量の変化を捉えて位置を検出する静電容量方式などを挙げることができる。タッチパネルを備えた装置は、ユーザの指の画面上での位置情報または操作に対応した動作を行なうことができる。
【００２０】
＜画像処理方法＞
（ステレオ計測の計測誤差）
本実施形態に係る画像処理方法を説明する前に、まず、ステレオ計測の計測誤差について、図２を参照して説明する。図２は、ステレオ計測の原理を説明するための図である。図２の左側に第１撮像装置１２、図２の右側に第２撮像装置１３が配置されており、それぞれの光軸は、図２のＺ軸方向を向いている。第１撮像装置１２は、撮像素子１４とレンズ１５とを備え、第２撮像装置１３は、撮像素子１６とレンズ１７とを備えている。第１撮像装置１２と第２撮像装置１３との基線長はＢであり、各撮像装置の焦点距離はともにｆである。図２において、第１撮像装置１２を計測時に基準とする撮像装置とし、これの座標系を用いた場合、計測点の３次元座標（Ｘ、Ｙ、Ｚ）は、計測点に対応する視差ｄ（第１撮像装置１２が撮像した画像上の計測点の座標と、第２撮像装置１３が撮像した画像上における対応点の座標とのずれ）、焦点距離ｆ、および基線長Ｂを用いて、以下の式（１）、式（２）、および式（３）によって算出される。
【００２１】
Ｚ＝Ｂ×ｆ／ｄ・・・（１）
Ｘ＝ｘ×Ｚ／ｆ・・・（２）
Ｙ＝ｙ×Ｚ／ｆ・・・（３）
ここで、式（２）のｘ、および式（３）ｙは、それぞれ、第１撮像装置１２が撮像した画像上における計測点Ｋのｘ座標およびｙ座標である。式（１）が示すように、ステレオ計測により計測点の３次元座標のＺ座標を算出するためには、視差ｄを正しく算出する必要がある。また、式（２）、式（３）の右辺にはＺが含まれていることから、視差ｄに誤りがあり、式（１）により算出されたＺ座標が実際の座標からずれてしまった場合は、Ｘ座標、Ｙ座標にもずれが生じる。したがって、視差ｄの算出精度は、ステレオ計測の計測精度に影響する。そこで、本実施形態では、対応点探索部８が探索した対応点が計測点Ｋに対応しておらず、視差に誤りが生じた場合においても、ユーザが対応点を計測点Ｋに対応する位置に調整することで、視差を正しく算出し、計測精度を向上させる方法について、下記で説明する。
【００２２】
（態様１に係る画像処理方法）
図３は、本実施形態の態様１において、画像処理装置１が実行する画像処理方法を示すフローチャートである。なお、表示部１１は、後述するステップＳ０〜Ｓ４の各工程に伴って、画像受付部が受け付けた基準画像および対応画像、ならびに、計測点周辺画像および対応点周辺画像を表示する。そして、ユーザは、表示部１１が表示した画像を参照しながら、入力部４を介して、後述する計測点測定に必要な各作業を実施する。なお、計測点周辺画像および対応点周辺画像については、下記の（ユーザによる対応点の調整）の項目において、より詳細に説明する。
【００２３】
画像受付部６は、撮像部２の第１撮像装置１２および第２撮像装置１３がそれぞれ取得した基準画像および対応画像を受け付ける（ステップＳ０）。なお、基準画像の選択の仕方として、第１撮像装置１２および第２撮像装置１３がそれぞれ撮像した２つの画像のうちのどちらを基準画像としてもよく、ユーザが設定してもよいし、画像受付部６が自動的に設定してもよい。また、ステップＳ０に伴って、表示部１１は、画像受付部６が受け付けた基準画像および対応画像を表示する。また、ステップＳ０に伴って、表示部１１は、画像受付部６が受け付けた基準画像および対応画像から、基準画像における計測点周辺の画像（計測点周辺画像）、および対応画像における対応点周辺の画像（対応点周辺画像）を抽出し、これらの画像を並べて表示する。
【００２４】
次に、計測点受付部７は、ユーザが入力部４を介して基準画像上に入力した計測点を受け付ける（ステップＳ１）。計測点の座標は、例えば、表示部１１が表示した基準画像上の点を、ユーザがマウスまたは十字キーを操作して基準画像上のカーソルを移動させる操作等により、ユーザは、計測点の位置として、所望の位置を選択することができる。また、ユーザは、入力部４を介して、計測点の座標を示す数値を入力することにより、基準画像上の計測点の位置を指定することもできる。ユーザが計測点の座標を示す数値を入力する場合は、表示部１１が表示した基準画像上に、ユーザが入力した座標の位置を示すポインター等の表示を重畳することで、ユーザが計測点の位置を基準画像上で確認できる。
【００２５】
次に、対応点探索部８は、計測点受付部７が受け付けた計測点に対応する対応点を、対応画像上において探索し、設定する（ステップＳ２）。対応点探索部８が対応点を探索する方法として、例えば、ブロックマッチング法などの従来公知の方法を用いることができる。
【００２６】
次に、ユーザは、表示部１１に表示された上述の計測点周辺画像および対応点周辺画像を参照しながら、入力部４を介して、対応点周辺画像上で、計測点の位置にさらに対応するように、対応点探索部８が設定した対応点を調整する（対応点調整工程）。そして、対応点調整部９は、ユーザが調整した対応点の位置を受け付ける（ステップＳ３）。なお、当該工程において、ユーザが、表示部１１に表示された計測点周辺画像および対応点周辺画像を参照しながら、入力部４を介して、対応点の位置を調整する方法については、下記の（ユーザによる対応点の調整）の項目で、より詳細に説明する。
【００２７】
次に、計測値算出部１０は、記憶部３が記憶しているカメラパラメータと、計測点受付部７が受け付けた基準画像上の計測点の位置と、対応点調整部９が受け付けた対応画像上の対応点の位置と、を参照し、これらから計測点の三次元座標を算出する（ステップＳ４、算出工程）。また、計測値算出部１０は、算出した計測点の三次元座標から、計測対象である被写体までの距離、または被写体の長さ等を算出してもよい。なお、計測値算出部１０が算出する計測点の三次元座標は、基準画像または対応画像を撮像した第１撮像装置１２または第２撮像装置１３を基準とした座標であってもよいし、予め設定された任意の座標であってもよく、特に限定されない。また、ステップＳ４に伴って、表示部１１は、計測値算出部１０が算出した計測点の三次元座標、および、これから算出した被写体に関する各測定値を表示してもよい。
【００２８】
（態様２に係る画像処理方法）
図４は、本実施形態の態様２において、画像処理装置１が実行する画像処理方法を示すフローチャートである。本態様に係る画像処理方法は、画像処理装置１が実行するステップＳ０〜４の順番が異なっていること、およびステップＳ４の工程と略同じステップＳ４´を実行すること以外は、態様１の画像処理方法と同様である。そのため、態様１における工程と同じ番号を付した工程に関しては、詳細な説明は省略する。
【００２９】
図４が示すように、画像受付部６は、撮像部２の第１撮像装置１２および第２撮像装置１３がそれぞれ取得した基準画像および対応画像を受け付ける（ステップＳ０）。次に、計測点受付部７は、ユーザが入力部４を介して基準画像上に入力した計測点を受け付ける（ステップＳ１）。次に、対応点探索部８は、計測点受付部７が受け付けた計測点に対応する対応点を、対応画像上において探索し、設定する（ステップＳ２、対応点探索工程）。
【００３０】
次に、計測値算出部１０は、記憶部３が記憶しているカメラパラメータと、計測点受付部７が受け付けた基準画像上の計測点の位置と、対応点探索部８が設定した対応画像上の対応点の位置と、を参照し、これらから計測点の三次元座標を算出する（ステップＳ４´、算出工程）。
【００３１】
次に、ユーザは、表示部に表示された計測点周辺画像および対応点周辺画像を参照しながら、入力部４を介して、対応点周辺画像上で計測点の位置にさらに対応するように、対応点探索部８が設定した対応点を調整する（対応点調整工程）。そして、対応点調整部９は、ユーザが調整した対応点の位置を受け付ける（ステップＳ３）。
【００３２】
次に、計測値算出部１０は、記憶部３が記憶しているカメラパラメータと、計測点受付部７が受け付けた基準画像上の計測点の位置と、対応点調整部９が受け付けた対応画像上の対応点の位置と、を参照し、これらから計測点の三次元座標を再度、算出する（ステップＳ４）。
【００３３】
そして、表示部１１は、ステップＳ４´で計測値算出部１０が算出した計測点の三次元座標と、ステップＳ４で計測値算出部１０が算出した計測点の三次元座標とを表示する。
【００３４】
以上のように、態様２に係る画像処理方法によれば、ユーザは、ステップＳ４´で計測値算出部１０が算出した計測点の三次元座標と、ステップＳ４で計測値算出部１０が算出した計測点の三次元座標とを比較することができる。そして、ユーザは、対応点探索部８が、計測点に対応した対応点を正確に設定しているか否かを確認することができる。
【００３５】
（態様３に係る画像処理方法）
図５は、本実施形態の態様３において、画像処理装置１が実行する画像処理方法を示すフローチャートである。本態様に係る画像処理方法は、ステップＳ４´およびステップＳ５がさらに加わったこと以外は、態様１の画像処理方法と同様である。そのため、態様１における工程と同じ番号を付した工程に関しては、詳細な説明は省略する。
【００３６】
図５が示すように、画像受付部６は、撮像部２の第１撮像装置１２および第２撮像装置１３がそれぞれ取得した基準画像および対応画像を受け付ける（ステップＳ０）。次に、計測点受付部７は、ユーザが入力部４を介して基準画像上に入力した計測点を受け付ける（ステップＳ１）。次に、対応点探索部８は、計測点受付部７が受け付けた計測点に対応する対応点を、対応画像上において探索し、設定する（ステップＳ２、対応点探索工程）。
【００３７】
次に、対応点探索部８は、設定した対応画像上の対応点の位置は調整が必要か否かを判断する（ステップＳ５）。ステップＳ５では、対応点探索部８は、設定した対応点の位置が計測点に対応しているか否かを自動で判定することによって、対応点の位置の調整が必要か否かを判断してもよい。または、対応点探索部８が設定した対応点の位置を表示部が表示し、ユーザが当該表示を参照して、対応点探索部８が設定した対応点の位置が計測点に対応しているか否かを判定し、その結果を入力部４を介して入力することにより、対応点探索部８は、対応点の位置は調整が必要か否かを判断してもよい。
【００３８】
ステップＳ５で、対応点探索部８が、対応点調整は必要であると判断した場合、ユーザは、表示部１１に表示された計測点周辺画像および対応点周辺画像を参照しながら、入力部４を介して、対応点周辺画像上で計測点の位置にさらに対応するように、対応点探索部８が設定した対応点を調整する（対応点調整工程）。そして、対応点調整部９は、ユーザが調整した対応点の位置を受け付ける（ステップＳ３）。次に、計測値算出部１０は、記憶部３が記憶しているカメラパラメータと、計測点受付部７が受け付けた基準画像上の計測点の位置と、対応点調整部９が受け付けた対応画像上の対応点の位置と、を参照し、これらから計測点の三次元座標を算出する（ステップＳ４、算出工程）。
【００３９】
ステップＳ５で、対応点探索部８が、対応点調整は不要であると判断した場合、計測値算出部１０は、記憶部３が記憶しているカメラパラメータと、計測点受付部７が受け付けた基準画像上の計測点の位置と、対応点探索部８が設定した対応画像上の対応点の位置と、を参照し、これらから計測点の三次元座標を算出する（ステップＳ４´、算出工程）。
【００４０】
以上のように、態様３に係る画像処理方法によれば、対応点探索部８が、ユーザによる対応点調整は必要であるか否かを判断することにより、ユーザは、不要な対応点調整を行わずに済むため、本実施形態に係る画像処理方法を効率的に実施することができる。
【００４１】
（態様４に係る画像処理方法）
図６は、本実施形態の態様４において、画像処理装置１が実行する画像処理方法を示すフローチャートである。本態様に係る画像処理方法は、ステップＳ４´およびステップＳ６がさらに加わったこと以外は、態様１の画像処理方法と同様である。そのため、態様１における工程と同じ番号を付した工程に関しては、詳細な説明は省略する。
【００４２】
図６が示すように、画像受付部６は、撮像部２の第１撮像装置１２および第２撮像装置１３がそれぞれ取得した基準画像および対応画像を受け付ける（ステップＳ０）。次に、計測点受付部７は、ユーザが入力部４を介して基準画像上に入力した計測点を受け付ける（ステップＳ１）。次に、対応点探索部８は、計測点受付部７が受け付けた計測点に対応する対応点を、対応画像上において探索し、設定する（ステップＳ２、対応点探索工程）。次に、計測値算出部１０は、記憶部３が記憶しているカメラパラメータと、計測点受付部７が受け付けた基準画像上の計測点の位置と、対応点探索部８が設定した対応画像上の対応点の位置と、を参照し、これらから計測点の三次元座標を算出する（ステップＳ４´、算出工程）。
【００４３】
次に、ユーザは、計測値算出部１０が算出した計測点の三次元座標を参照して、対応点の位置の調整が必要か否かを判定する（ステップＳ６）。そして、ユーザは、その結果を、入力部４を介して入力することにより、対応点探索部８は、対応点の位置は調整が必要か否かを決定することができる。また、ユーザは、必要に応じて対応点探索部８が設定した対応点の位置をも併せて参照して対応点の位置の調整が必要か否かを判定してもよい。また、ステップＳ６では、計測値算出部１０が算出した計測点の三次元座標を参照し、自動で対応点の位置の調整が必要か否かを判断してもよい。自動で判断する場合は、例えば、計測値算出部１０が算出した計測点の三次元座標が、計測に用いたステレオカメラの計測対象範囲外を示す場合に、対応点の位置の調整が必要と判断することができる。
【００４４】
ステップＳ６で、計測値算出部１０が、対応点調整は必要であると決定した場合、ユーザは、表示部１１に表示された計測点周辺画像および対応点周辺画像を参照しながら、入力部４を介して、対応点周辺画像上で計測点の位置にさらに対応するように、対応点探索部８が設定した対応点を調整する（対応点調整工程）。そして、対応点調整部９は、ユーザが調整した対応点の位置を受け付ける（ステップＳ３）。次に、計測値算出部１０は、記憶部３が記憶しているカメラパラメータと、計測点受付部７が受け付けた基準画像上の計測点の位置と、対応点調整部９が受け付けた対応画像上の対応点の位置と、を参照し、これらから計測点の三次元座標を、再度算出する（ステップＳ４、算出工程）。
【００４５】
ステップＳ６で、計測値算出部１０が、対応点調整は不要であると決定した場合、ステップＳ４´において計測値算出部１０は、算出した計測点の三次元座標を実際の計測点の三次元座標であると判断し、計測値測定に関する一連の処理は終了する。
【００４６】
以上のように、態様４に係る画像処理方法によれば、計測値算出部１０が、ユーザによる対応点調整は必要であるか否かを判断することにより、ユーザは、不要な対応点調整を行わずに済むため、本実施形態に係る画像処理方法を効率的に実施することができる。
【００４７】
（ユーザによる対応点の調整）
ステップＳ３において、ユーザは、表示部１１が表示した計測点周辺画像および対応点周辺画像を参照しながら、対応画像上の対応点の位置を調整することを上記で説明した。ここでは、ユーザによるこの対応点の調整と、その時に使用される計測点周辺画像および対応点周辺画像とについて、下記で、より詳細に説明する。なお、下記で参照される図７〜１４は、表示部１１が表示した画像を示している。また、各図の上下方向を鉛直方向とし、左右方向を水平方向とする。
【００４８】
図７の（ａ）は、基準画像２０を示しており、基準画像２０内に示す計測点Ｋは、計測点受付部７がユーザから受け付けた計測点の位置を示している。図７（ｂ）は、ユーザが基準画像２０内から選択した計測点Ｋ周辺の領域を示す画像２１（計測点周辺画像２１）と、対応点探索部８が対応画像（図示せず）から探索した対応点周辺の領域を示す画像２２（対応点周辺画像２２）とを示している。
【００４９】
図７（ｂ）に示すように、計測点周辺画像２１と、対応点周辺画像２２とが並んだ画像を、表示部１１が表示することにより、ユーザは、対応点探索部８が対応点を計測点Ｋに対応するように設定したか否かを、目視にて容易に確認することができる。これにより、ユーザは、対応画像上の対応点が基準画像２０上の計測点Ｋに対応するように、入力部４を介して、当該対応点を調整することができる。
【００５０】
また、表示部１１は、計測点周辺画像および対応点周辺画像を表示する際に、各画像における計測点周辺の領域および対応点周辺の領域を拡大して表示してもよい。これにより、ユーザは、計測点Ｋおよび対応点の詳細な位置を確認しながら、入力部４を介して、対応点の位置を調整することができる。
【００５１】
ユーザは、対応点探索部８による対応点の探索結果が不適切であると判断した場合、対応点周辺の画像上で対応点の調整を行う。または、ユーザは、対応点探索部８による対応点の探索結果が適切であると判断した場合、対応点の調整を行わない。そして、計測値算出部１０は、撮像部２のカメラパラメータ、基準画像２０における計測点Ｋの位置、および対応点探索部８が設定した対応点の位置から、計測点の三次元座標を算出する。対応点探索部８による対応点の探索結果が適切であるか否かをユーザが判定した結果を計測部５が受け付けるために、例えば、表示部１１は、「対応点を調整する」「対応点を調整せずに計測する」というような選択肢を表示してもよい。そして、ユーザは、入力部４のマウス等を操作することにより、「対応点を調整する」「対応点を調整せずに計測する」のいずれか一方を選択することで、対応点探索部８による対応点の探索以降の工程を選択することができる。表示部１１が、入力部４の機能も兼ねたタッチパネルである場合、ユーザは、タッチ操作で、対応点探索部８による対応点の探索以降の工程を選択することもできる。なお、対応点探索部８は、対応点の探索において、計測点Ｋに対応する対応点が探索できなかった場合、ユーザは、対応点の調整が必要であるか否かを選択することなく、入力部４を介して対応点の位置を調整し、対応点調整部９は、当該対応点の位置を受け付けてもよい。これにより、ユーザは、対応点の調整が必要であるか否かを判定する必要がないため、画像処理装置１が実行する画像処理方法を効率的に実行することができる。対応点が計測点Ｋに対応しているか否かを確認する他の方法として、表示部１１が、計測値算出部１０の計測結果を表示し、ユーザは、表示された当該計測結果が、想定していた計測結果と大きく異なる場合、対応点探索部８が設定した対応点が誤っている可能性があると判断することができる。また、図４または図６に示したフローチャートにおける処理のように、計測値算出部１０が、対応点の調整前に計測値を算出し、表示部１１が当該計測値、および計測点Ｋ周辺の領域と対応点周辺の領域とを表示し、ユーザは、これらを参照しながら対応点を調整してもよい。または、図３または図４に示したフローチャートにおける処理のように、対応点調整の要不要の判定無しで、ユーザは、直接、対応点を調整してもよい。
【００５２】
次に、対応点調整部９の対応点調整方法について述べる。図８は、基準画像３０を表示した表示部１１を示している。また、図８において、表示部１１は、計測点Ｋ周辺の領域を示す画像３１（計測点周辺画像３１）と、対応点探索部８が対応画像（図示せず）から探索した対応点周辺の領域を示す画像３２（対応点周辺画像３２）とを表示している。図８に示すように、計測点周辺画像３１と、対応点周辺画像３２とが隣接した位置に配置された画像を、表示部１１が表示すれば、ユーザは、各画像を同時に視認することができるため、対応点の調整時に、対応点の位置が計測点Ｋの位置に対応した位置か否かを判定しやすい。
【００５３】
また、図９（ａ）は、本実施形態の一態様における、計測点Ｋ周辺の領域を示す画像４０（計測点周辺画像４０）と対応点周辺の領域を示す画像４１（対応点周辺画像４１）とを示している。なお、計測点周辺画像４０と対応点周辺画像４１とは、これらのエピポーラ線の方向に並置して表示されている。図９（ａ）における計測点周辺画像４０および対応点周辺画像４１では、ユーザによる調整前であり、計測点Ｋは対応点に対応していない。また、計測点周辺画像４０および対応点周辺画像４１には、点線で示すガイドが重畳して表示されている。このように、表示部１１は、計測点周辺画像４０および対応点周辺画像４１において、計測点および対応点の位置を通るガイド（横ガイド４２）と、横ガイド４２にそれぞれ直交し、かつ各画像の計測点Ｋおよび対応点をそれぞれ通る２つのガイド（縦ガイド４３および４４）とを重畳して表示する。これにより、ユーザは、計測点Ｋと対応点との位置のずれが認識しやすくなり、対応点の位置が計測点Ｋの位置に対応するように、対応点の位置を調整しやすくなる。なお、当該例では、横ガイド４２として、各画像におけるエピポーラ線を同一線上に重ねたものを使用している。一方のカメラで撮像した画像上のある点の、他方のカメラで撮像した画像上での対応位置は、ある直線上に位置することになり、この直線をエピポーラ線という。
【００５４】
図９（ｂ）は、ユーザが図９（ａ）の計測点周辺画像４０および対応点周辺画像４１において対応点を調整した後の計測点周辺画像４０および対応点周辺画像４１を示している。計測点周辺画像４０および対応点周辺画像４１における横ガイドと２つの縦ガイドとの各交点近傍を比較すると、対応点が計測点Ｋに対応していることがわかる。このように、ユーザは、ガイドを参照しながら対応点の位置を調整することにより、対応点の位置が計測点Ｋの位置に対応するように画像４１が調整されていることを確認しながら対応点の位置を調整することができる。
【００５５】
図１０（ａ）は、本実施形態の一態様における、計測点Ｋ周辺の領域を示す画像５０（計測点周辺画像５０）と対応点周辺の領域を示す画像５１（対応点周辺画像５１）とを示しており、画像５０および画像５１には、それぞれ、被写体が写っている。当該被写体のように奥行きがあり、同一被写体内に視差が異なる点がある場合、計測点Ｋ周辺および対応点周辺の領域における各点で視差がそれぞれ異なるため、表示している領域全体の各点において、視差が同一になるように対応画像を調整することは出来ない。そのため、ユーザが計測点Ｋ周辺の領域の一部を、対応点周辺の領域の一部に対応するように、対応点の位置を調整しても、これらの部分の他の部分では各画像で対応せず、ずれが生じてしまうため、ユーザが、計測点Ｋに対応するように対応点を調整することは困難である。
【００５６】
一方、図１０（ｂ）は、図１０（ａ）の計測点周辺画像５０および対応点周辺画像５１における別の形態を示す図である。表示部１１は、図９の計測点周辺画像４０および対応点周辺画像４１と同様に、計測点周辺画像５０および対応点周辺画像５１に、横ガイド５２および縦ガイド５３および５４を重畳する。ユーザは、これを参照することにより、表示領域内に視差が大きく異なる領域が存在する場合でも、容易に対応点の位置を計測点Ｋの位置に対応するように調整することができる。なお、対応点の調整では、ユーザは、表示部１１が表示する対応点周辺の領域をマウス操作で移動させてもよいし、十字キーの入力により移動させてもよい。なお、対応点は、対応画像のエピポーラ線上に存在するため、ユーザが対応点の調整を行う際に、対応点調整部９が、ユーザによる調整可能な方向をエピポーラ線方向に限定することにより、対応点が誤った位置に調整される可能性を低減することができる。ユーザがマウス操作またはタッチ操作で対応点の位置を調整する場合は、正確にエピポーラ線方向に沿って操作することは困難なため、対応点調整部９が、ユーザによる調整可能な方向を限定することにより、エピポーラ線上以外への対応点の誤調整を回避することができる。また、ユーザによる対応点の調整が完了したとき、例えば、表示部１１は、“調整完了”という表示を行い、ユーザは、マウス操作等で対応点の調整を終了するか否かを選択することにより、対応点調整を続行するか否かを決定することもできる。
【００５７】
次に、表示部１１による、さらに好適な表示方法について詳細に述べる。
【００５８】
図１１は、本実施形態の一態様における表示部１１を示しており、表示部１１は、各光軸が同一の水平面上にあるように配置された２つの撮像装置（図示せず）の一方の撮像装置によって撮像された基準画像６０を表示している。そして、表示部１１は、基準画像６０内に重畳された計測点Ｋを表示している。また、表示部１１は、基準画像６０における計測点Ｋ周辺の領域を示す画像６１（計測点周辺画像６１）と、対応画像（図示せず）における対応点周辺の領域を示す画像６２（対応点周辺画像６２）とを、これらの画像の各エピポーラ線に対して垂直な方向に（当該例では、鉛直方向に）並置して表示している。また、表示部１１は、並べて表示した計測点周辺画像６１および対応点周辺画像６２において、計測点Ｋおよび対応点の位置を通るガイド（縦ガイド６３）と、縦ガイド６３にそれぞれ直交し、かつ各画像の計測点Ｋおよび対応点をそれぞれ通る２つのガイド（横ガイド６４および６５）とを重畳して表示している。各光軸が同一の水平面上にあるように配置された２つの撮像装置で撮像された画像の場合、これらの画像の各エピポーラ線は、各画像における水平方向を向いているため、対応点探索部８は、対応画像において、エピポーラ線方向である水平方向のみを探索すればよく、当該探索による対応点のずれも、対応画像における水平方向に生じることになる。したがって、ユーザが対応点を調整する必要がある方向も、対応画像における水平方向である。図１１に示すように、表示部１１は、計測点周辺画像６１と対応点周辺画像６２とを、これらの画像の各エピポーラ線にそれぞれ垂直な方向に並置して表示する。これにより、ユーザは、図９（ａ）に示すように各画像のエピポーラ線が同一線上にあるように配置して表示された計測点周辺画像および対応点周辺画像を参照する場合と比較して、各画像のエピポーラ線方向のずれを認識しやすい。
【００５９】
また、図１２は、本実施形態の一態様における表示部１１を示しており、表示部１１は、各光軸が同一の鉛直面上にあるように並べて配置された２つの撮像装置の一方によって撮像された基準画像７０を表示している。そして、表示部１１は、基準画像７０内に計測点Ｋを重畳して表示している。また、表示部１１は、計測点Ｋ周辺の領域を示す画像７１（計測点周辺画像７１）と対応画像上の対応点周辺の領域を示す画像７２（対応点周辺画像７２）とを、これらの画像の各エピポーラ線に対して垂直な方向に（当該例では、水平方向に）並置して表示している。また、表示部１１は、並べて表示した計測点周辺画像７１および対応点周辺画像７２において、計測点Ｋおよび対応点の位置を通るガイド（横ガイド７３）と、横ガイド７３にそれぞれ直交し、かつ各画像の計測点Ｋおよび対応点をそれぞれ通る２つのガイド（縦ガイド７４および７５）とを重畳して表示している。各光軸が同一の鉛直面上にあるように並べて配置された２つの撮像装置により基準画像および対応画像をそれぞれ撮像した場合、各画像におけるエピポーラ線は、各画像における鉛直方向を向いている。そして、表示部１１は、計測点周辺画像７１と対応点周辺画像７２とを、これらの画像の各エピポーラ線に対してそれぞれ垂直な方向に並べて表示する。そして、並べて表示された計測点周辺画像７１および対応点周辺画像７２を参照することにより、ユーザは、各画像のエピポーラ線方向のずれを認識しながら、対応点を調整することができる。
【００６０】
図１３は、本実施形態の一態様における表示部１１を示しており、表示部１１は、図１１と同様に、各光軸が同一の水平面上にあるように配置された２つの撮像装置（図示せず）のうちの一方の撮像装置によって撮像された基準画像８０を表示している。表示部１１は、基準画像８０内に計測点Ｋを重畳して表示している。また、表示部１１は、基準画像８０における計測点Ｋ周辺の領域を示す画像８１（計測点周辺画像８１）と、対応画像（図示せず）における対応点周辺の領域を示す画像８２（対応点周辺画像８２）とを、これらの画像の各エピポーラ線に対してそれぞれ垂直な方向に（当該例では、鉛直方向に）並べて表示している。また、表示部１１は、並べて表示した画像８１および画像８２において、計測点Ｋおよび対応点の位置を通るガイド（縦ガイド８３）と、縦ガイド８３にそれぞれ直交し、かつ各画像の計測点Ｋおよび対応点をそれぞれ通る２つのガイド（横ガイド８４および８５）とを重畳して表示している。図１３の画像８１および画像８２と、図１１の画像６１および画像６２とは、表示されている領域の縦横比が異なり、図１３の画像８１および画像８２は、横方向に長い形状である。また、画像８１および画像８２の各長辺は、それぞれ各画像のエピポーラ線に沿っている。対応点はエピポーラ線上に存在するため、エピポーラ線が対応画像における水平方向を向いている場合、計測点周辺画像８１と、対応点周辺画像８２との、各エピポーラ線に垂直な方向の幅を小さくすることで、ユーザは、エピポーラ線方向のずれを認識しやすくなる。また、図１３に示すように、表示部１１は、表示部１１の長手方向に長い形状の図形（例えば、四辺形）を表す計測点周辺画像８１および対応点周辺画像８２を表示することにより、図１１に示す表示方法に比べ、表示部１１のスペースを有効に活用できる。
【００６１】
図１４は、本実施形態の一態様における表示部１１を示しており、表示部１１は、基準画像９０、対応画像９１、計測点Ｋ周辺の領域を示す画像９４（計測点周辺画像９４）、および、対応点周辺の領域を示す画像９５（対応点周辺画像９５）を表示している。また、表示部１１は、並べて表示した計測点周辺画像９４および対応点周辺画像９５において、計測点Ｋおよび対応点の位置を通るガイド（縦ガイド９６）と、縦ガイド９６にそれぞれ直交し、かつ各画像の計測点Ｋおよび対応点をそれぞれ通る２つのガイド（横ガイド９７および９８）とを重畳している。また、表示部１１は、基準画像９０において、画像９４に表示されている計測点Ｋ周辺の領域を示すマーカ９２を重畳して表示している。同様に、表示部１１は、対応画像９１において、画像９５に表示されている対応点周辺の領域を示すマーカ９３を重畳して表示している。このように、計測点周辺画像９４、および対応点周辺画像９５が、それぞれ、基準画像９０上および対応画像９１上のどの位置を切り出して表示しているかを、基準画像９０上および対応画像９１上に表示することで、ユーザが、対応点の調整を行う際に、対応点を、計測点Ｋに対応しない位置に調整することを避けることができる。特に、類似の模様が繰り返し現れるような被写体を計測対象とする場合、切り出した領域のみを参照して比較すると類似した領域が複数存在するため、ユーザは、誤った位置を、計測点Ｋの位置に対応した位置であると判断する場合がある。しかし、図１１に示すように、切り出して表示している領域を、基準画像９０上および対応画像９１上に表示すれば、類似の模様が繰り返し現れるような被写体を計測対象とする場合においても、ユーザは、どの位置を切り出して表示しているか認識することができるため、対応点を計測点Ｋに対応するように調整しやすくなる。
【００６２】
また、表示部１１は、計測点周辺画像９４と、対応点周辺画像９５とを、単色画像として表示してもよい。例えば、基準画像９０および対応画像９１がＲＧＢのカラー画像である場合に、表示部１１がこれらの計測点周辺画像９４および対応点周辺画像９５をＧチャネルのみの単色画像として表示すると、カラー画像に生じる色ずれがなくなるため、ユーザは、対応点が調整しやすくなる。また、表示部１１は、基準画像９０および対応画像９１のＲＧＢ値からＹ値を算出して、Ｙ値単色の計測点周辺画像９４および対応点周辺画像９５を表示してもよい。また、表示部１１は、対応点探索部８が対応点の探索に用いる対応画像を、ユーザのための対応点調整用画像として表示してもよい。
【００６３】
また、表示部１１は、計測点周辺の領域の画像と対応点周辺の領域の画像とを重畳し、重畳した画像を、ユーザのための対応点調整用画像として表示してもよい。これにより、ユーザは、重畳された２つの画像上で、対応点が計測点に対応しないために二重になったエッジを確認すること等により、対応点が計測点とずれている状態を認識することができる。また、表示部１１は、２つの画像をそれぞれ異なる色の単色画像として重畳し、重畳した２つの画像を、それぞれ異なる色で表示してもよい。これにより、ユーザは、対応点がずれている状態を認識しやすい。例えば、表示部１１は、計測点周辺の領域の画像をＧ、対応点周辺の領域の画像をＲとして重畳し、重畳した２つの画像をそれぞれ異なる色で表示することにより、対応点は、計測点と正しく重なった位置ではＲとＧが混色し黄色になるが、対応点の位置が計測点の位置とずれている場合は、対応点は、ＲまたはＧの成分が大きくなり、ＲまたはＧのエッジとなって表示されるため、ユーザは、計測点と対応点とのずれを認識しやすい。
【００６４】
また、本実施形態に係る画像処理装置１において、ユーザによる対応点調整用に表示部１１が表示する計測点周辺画像と対応点周辺画像との拡大率を、ユーザが変更することができる構成としてもよい。表示部１１が計測点周辺画像および対応点周辺画像を等倍表示した場合、対応点の調整精度は、１画素であり、ユーザは、１画素精度での調整が可能となる。しかし、表示部１１の画素が小さい場合、ユーザが目視で１画素精度のずれを認識するのは容易ではない。そこで、表示部１１は、計測点周辺画像および対応点周辺画像を等倍表示以上に拡大して表示することで、ユーザは、拡大画像上でずれを認識しやすくなる。ユーザが表示サイズの拡大と縮小を行うために、例えば、表示部１１は、「拡大」「縮小」という表示を行い、ユーザは、マウス操作等でこれらの何れかを選択してもよい。表示サイズを拡大することで、１画素以下の精度のサブピクセル精度での調整も可能となる。また、表示部１１は、視差値に応じて、対応点調整用の計測点周辺画像および対応点周辺画像の表示倍率を変えてもよい。ステレオ計測では、２つの撮像装置から計測点までの距離が遠いほど計測誤差が大きくなるため、２つの撮像装置と遠く離れた被写体を精度良く計測するためには、視差を精度良く算出する必要がある。そこで、２つの撮像装置から計測点までの距離が遠い場合、すなわち、視差が小さい場合は、表示部１１は、対応点調整用の計測点周辺画像および対応点周辺画像の表示倍率を大きくし、ユーザは、拡大された計測点周辺画像および対応点周辺画像を参照しながら詳細な対応点位置の調整を行うことにより、計測点の計測精度を向上することができる。また、２つの撮像装置と被写体との距離が遠い場合は、当該距離が近い場合と比べ、被写体が小さく撮像されるため、撮像装置から遠い位置にある被写体を、表示倍率を拡大して表示したほうが、ユーザはずれを認識しやすい。
【００６５】
以上説明したように、本実施形態では、基準画像における計測点周辺の領域を示す画像と、対応画像における対応点周辺の領域を示す画像とを並べて表示する。そして、ユーザは、並べて表示された計測点周辺画像および対応点周辺画像を参照しながら、対応点の位置を、計測点の位置に対応するように調整する。基準画像における計測点周辺の領域を示す画像と、対応画像における対応点周辺の領域を示す画像とが並んで表示されるため、ユーザは、基準画像と対応画像とを対応させながら、対応点を調整することができる。そして、ユーザが正確に調整した対応点の位置を参照することにより、計測点の測定精度を向上することができる。
【００６６】
〔第２の実施形態〕
次に、本発明の第２の実施形態について説明する。第２の実施形態では、３つ以上の撮像装置で撮像された画像を用いてステレオ計測する場合に、ユーザは、対応点の位置を精度良く簡単に調整しやすい対応点調整方法を用いて、対応点を調整し、計測精度を向上する。本実施形態のように、対応画像が、複数の撮像装置がそれぞれ撮像した複数の画像である場合、基準画像と対応画像との各組み合わせにおいて、第１の実施形態に係る画像処理方法を実施することができ、その組み合わせの数の分だけ、計測点の視差が求まる。従って、これらの計測点の視差の平均を取るなどの方法を用いることにより、最終的に求まる計測点の三次元座標の精度をより高めることができる。
【００６７】
本実施形態に係る画像処理装置（図示せず）は、撮像部２が撮像装置を３つ以上備えていること以外は、第１の実施形態に係る画像処理装置１と同様の構成を有している。従って、第１の実施形態において説明した各部材については、その説明を省略する。また、本実施形態に係る画像処理方法は、第１の実施形態の各工程に伴った、表示部１１による計測点周辺画像および対応点周辺画像の表示方法以外は、同様である。そのため、下記の説明では、表示部１１による計測点周辺画像および対応点周辺画像の表示方法についてのみ詳細に説明する。
【００６８】
図１５（ａ）は、水平方向（第１方向）と鉛直方向（第２方向）との２方向によって形成されるＬ字形に配置された３つの撮像装置で撮像された画像１００、１０１および１０２を示している。画像１０１を基準画像とし、画像１０２は、基準画像である画像１０１を撮像した撮像装置に対し水平方向に並んで配置された撮像装置で撮像された対応画像であり、画像１００は、基準画像である画像１０１を撮像した撮像装置に対し鉛直方向に並んで配置された撮像装置で撮像された対応画像を示している。各画像には被写体が写っており、ユーザが設定した計測点Ｋが、基準画像１０１内に示されている。基準画像１０１上の計測点Ｋをステレオ計測する場合、基準画像１０１と、各画像上の水平方向に並んだ配置関係にある画像１０２を用いてステレオ計測する場合と、基準画像１０１と、各画像上の鉛直方向に並ぶ配置関係にある対応画像１００を用いてステレオ計測した場合のいずれも、基準画像１０１を撮像した撮像装置から見た計測点の３次元座標は同じである。したがって、水平方向に並んで配置された撮像装置の基線長をＢ１、鉛直方向に並んで配置された撮像装置の基線長をＢ２、基準画像１０１および対応画像１０２から得られたＺ座標（基準画像１０１を撮像した撮像装置を基準とした座標において、当該撮像装置から被写体に向かう方向の座標）をＺ１、基準画像１０１および対応画像１００から得られたＺ座標をＺ２、基準画像１０１の計測点Ｋと対応画像１０２の対応点とによって算出された視差をｄ１、基準画像１０１の計測点Ｋと対応画像１００の対応点とによって算出された計測点の視差をｄ２とし、算出される計測点の３次元座標が同一としてＺ１＝Ｚ２とすると、ｄ２は、式（１）より、
ｄ２＝ｄ１×（Ｂ２／Ｂ１）・・・（４）
と表わすことができる。ｄ１とｄ２は、式（４）で示される関係であるから、３つの撮像装置で撮像された画像でのステレオ計測において、２つの対応画像上の各対応点の調整を行う場合は、基準画像１０１上の計測点Ｋに対応するように、一方の対応画像１０２上の対応点を調整することと、基準画像１０１上の計測点Ｋに対応するように、他方の対応画像１００上の対応点を調整することとを連動させて同時に調整することができる。つまり、一方の対応画像１０２上の対応点を調整し、基準画像１０１上の計測点Ｋとの視差がｄ１となる位置に調整する場合に、基準画像１０１上の計測点Ｋと他方の対応画像１００上の対応点との視差ｄ２を式（４）で表わされる値に調整することで、２つの対応画像に関して同時に対応点の調整が可能となる。そのため、基準画像１０１と一方の対応画像１０２とを参照して対応点を調整すること、および基準画像１０１と他方の対応画像１０２とを参照して対応点を調整することを、ユーザがそれぞれ独立に実行する場合に比して、ユーザの負担を軽減させることができる。また、同時に対応点の調整を行うことで、いずれか一方の対応画像１０２では対応点の調整が難しい場合においても、調整のしやすい他方の対応画像１００を参照して対応点の調整を実行することができるため、ユーザは精度良く対応点の調整を行うことができる。
【００６９】
図１５（ｂ）は、計測点Ｋに対応する対応点を調整するための計測点周辺画像および対応点周辺画像を示しており、画像１０３と画像１０４は、それぞれ、基準画像１０１上の計測点Ｋ周囲の画像、および対応画像１００上の対応点周囲の画像であり、画像１０８と画像１０９は、それぞれ、基準画像１０１上の計測点Ｋ周囲の画像、および対応画像１０２上の対応点周囲の画像である。表示部１１は、ユーザが対応点を調整しやすいように、画像１０３と画像１０４とを並べて表示し、また、画像１０８と画像１０９とを並べて表示している。また、表示部１１は、並べて表示した画像１０３および画像１０４において、計測点Ｋおよび対応点の位置を通るガイド（横ガイド１０５）と、横ガイド１０５にそれぞれ直交し、かつ各画像の計測点Ｋおよび対応点をそれぞれ通る２つのガイド（縦ガイド１０６および１０７）とを重畳している。また、表示部１１は、並べて表示した画像１０８および画像１０９において、計測点Ｋおよび対応点の位置を通るガイド（縦ガイド１１０）と、縦ガイド１１０にそれぞれ直交し、かつ各画像の計測点Ｋおよび対応点をそれぞれ通る２つのガイド（横ガイド１１１および１１１）とを重畳している。
【００７０】
基準画像１０１の計測点周辺画像である画像１０３と、対応画像１００の対応点周辺画像である画像１０４は、画像１０３および画像１０４上の鉛直方向に視差が生じるため、ユーザは、画像１０４上の鉛直方向で対応点の調整を行う。また、基準画像の計測点周辺画像である画像１０８と、対応点１０２の対応点周辺画像である画像１０９は、画像１０８および画像１０９上の水平方向に視差が生じるため、ユーザは、画像１０９上の水平方向で対応点の調整を行う。
【００７１】
次に、本実施形態の画像処理方法の別の態様における、表示部１１による計測点周辺画像および対応点周辺画像の表示方法について説明する。
【００７２】
図１６は、Ｌ字形に配置された３つの撮像装置で撮像された画像でステレオ計測する場合の、計測点周辺画像および対応点周辺画像を示している。画像１２１は、基準画像１０１上の計測点Ｋ周辺の領域を示す画像（計測点周辺画像１２１）であり、画像１２１は、対応画像１００上の対応点周辺の領域を示す画像（対応点周辺画像１２０）であり、計測点周辺画像１２１と対応点周辺画像１２０とは、各画像上の鉛直方向に並ぶように配置されている。また、同様に、画像１２５は、基準画像１０１上の計測点Ｋ周辺の領域を示す画像（計測点周辺画像１２５）であり、画像１２６は、対応画像１０２上の対応点周辺の領域を示す画像（対応点周辺画像１２６）であり、計測点周辺画像１２５と対応点周辺画像１２６とは、各画像上の鉛直方向に並ぶように配置されている。また、表示部１１は、並べて表示した画像１２０および画像１２１において、計測点Ｋおよび対応点の位置を通るガイド（縦ガイド１２２）と、縦ガイド１２２にそれぞれ直交し、かつ各画像の計測点Ｋおよび対応点をそれぞれ通る２つのガイド（横ガイド１２３および１２４）とを重畳している。また、表示部１１は、並べて表示した画像１２５および画像１２６において、計測点Ｋおよび対応点の位置を通るガイド（上述の縦ガイド１２２）と、縦ガイド１２２にそれぞれ直交し、かつ各画像の計測点Ｋおよび対応点をそれぞれ通る２つのガイド（横ガイド１２７および１２８）とを重畳している。
【００７３】
なお、画像１２１、１２０、１２５および１２６は、それぞれ、図１５（ｂ）の画像１０３、１０４、１０８および１０９に相当し、また、画像１２１および画像１２０は、それぞれ、画像１０３および画像１０４を９０度回転したものである。画像上の鉛直方向に並んだ配置関係にある各画像を９０度回転することで、画像１２１および画像１２０は、各画像上の水平方向に並んだ配置関係になり、図１５（ｂ）における画像１０３と画像１０４と同様の配置関係になる。そのため、図１５（ｂ）の計測点周辺画像および対応点周辺画像において対応点を調整する場合と同様に、対応点を調整することができる。
【００７４】
対応点調整部９が、ユーザのマウス操作や十字キーの入力に基づいて対応点の調整を行う場合、操作の方向と画像上の対応点が移動する方向とが一致している方が、操作に違和感がない。また、それぞれが対応画像１００および対応画像１０２の一部である画像１２０および１２６上の各対応点の調整方向を統一し、上述のように、画像１２０および１２６上の各対応点を連動させることにより、ユーザは、同一の方向に連動した一方の対応点の位置を確認しながら、他方の対応点を調整することができるため、より精度良く、対応点の調整を実施することができる。
【００７５】
なお、画像を９０度回転して表示する場合は、画像上のエピポーラ線方向が９０度回転する。そのため、対応点調整用の計測点周辺画像および対応点周辺画像の配置方向を９０度回転させ、図１６の計測点周辺画像１２１および対応点周辺画像１２０に示すように、各画像上の水平方向に並んだ配置（画像１０３と画像１０４との配置）のまま、表示部１１の鉛直方向に並ぶように各画像を配置することにより、エピポーラ線方向に対し垂直な方向に並んだ配置を維持することができる。また、４つ以上の撮像装置で撮像された画像でユーザが対応点調整を行う場合も同様に、対応点調整部９が、基準画像上の計測点に対応するように、各対応画像上の対応点の位置を連動させて調整することで、ユーザによる対応点の調整が容易になる。また、各対応画像においてユーザが調整する方向が同一となるように、対応点調整用の計測点周辺画像および対応点周辺画像を回転して表示することで、ユーザによる対応点の調整がさらに容易になる。
【００７６】
〔第３の実施形態〕
（ソフトウェアによる実施形態）
なお、上述した画像処理装置１の各ブロックをコンピュータで実現するようにしても良い。その場合、上述した画像処理装置１を実現するためのプログラム（画像処理プログラム）をコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。ここでいう「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００７７】
また、上述した各実施形態における画像処理方法の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。ステレオ計測の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
【００７８】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【００７９】
〔まとめ〕
本発明の態様１に係る画像処理装置（１）は、第１撮像装置により撮像された被写体の基準画像と第２撮像装置により撮像された前記被写体の対応画像とに基づいて前記被写体の計測点の三次元座標を算出する画像処理装置であって、前記基準画像上の前記計測点に対応する対応点を前記対応画像の中で探索する対応点探索部（８）と、前記対応点探索部により探索された対応点の位置を調整するために、前記計測点の周辺を前記基準画像から抽出した計測点周辺画像と、前記対応点の周辺を前記対応画像から抽出した対応点周辺画像とを並置して表示する表示部（１１）とを備える。
【００８０】
上記の構成によれば、基準画像における計測点周辺の領域を示す画像と、対応画像における対応点周辺の領域を示す画像とを並べて表示する。そして、ユーザは、並べて表示された計測点周辺画像および対応点周辺画像を参照しながら、対応点の位置を、計測点の位置に対応するように調整する。基準画像における計測点周辺の領域を示す画像と、対応画像における対応点周辺の領域を示す画像とが並んで表示されるため、ユーザは、基準画像と対応画像とを対応させながら、対応点を調整することができる。そして、ユーザが正確に調整した対応点の位置を参照することにより、計測点の測定精度を向上することができる。
【００８１】
本発明の態様２に係る画像処理装置（１）は、上記態様１において、前記計測点周辺画像と前記対応点周辺画像とを並置する方向が、前記基準画像及び前記対応画像のエピポーラ線に対して垂直な方向である。
【００８２】
上記の構成によれば、ユーザは、各画像におけるエピポーラ線の方向のずれを確認しやすいため、対応点を調整する精度を向上することができる。
【００８３】
本発明の態様３に係る画像処理装置（１）は、上記態様１または２において、前記対応点周辺画像が、前記基準画像及び前記対応画像のエピポーラ線に沿った長辺と、前記エピポーラ線に対して垂直な方向に沿った短辺とを有する四辺形状に形成される。
【００８４】
上記の構成によれば、ユーザは、エピポーラ線に沿って対応点を調整しやすくなる。
【００８５】
本発明の態様４に係る画像処理装置（１）は、上記態様１〜３において、前記表示部（１１）が、前記対応点の位置を調整するためのガイドを前記計測点周辺画像及び前記対応点周辺画像に重畳して表示する。
【００８６】
上記の構成によれば、ユーザは、ガイドを確認しながら、対応点を調整することができるため、対応点を調整する精度を向上することができる。
【００８７】
本発明の態様５に係る画像処理装置（１）は、上記態様１〜４において、前記対応点の移動に関連する指示が入力される入力部（４）と、前記入力部に入力された指示に基づいて前記対応点の位置を調整する対応点調整部（９）とをさらに備え、前記対応点調整部は、前記基準画像及び前記対応画像のエピポーラ線の方向にのみ前記対応点の位置を調整する。
【００８８】
上記の構成によれば、ユーザによる調整可能な方向を限定することで、エピポーラ線上以外への対応点の誤調整を回避することができる。
【００８９】
本発明の態様６に係る画像処理装置（１）は、上記態様５において、前記画像処理装置は、第３撮像装置により撮像された前記被写体の他の対応画像と、前記基準画像と、前記対応画像とに基づいて前記三次元座標を算出し、前記対応点探索部（８）は、前記計測点に対応する他の対応点を前記他の対応画像の中で探索し、前記対応点調整部（９）は、前記対応点の位置の調整に関連付けて前記他の対応点の位置を調整する。
【００９０】
上記の構成によれば、ユーザが調整した１つの対応画像上の対応点に、別の対応画像上の１つ以上の対応点が連動する。これにより、ユーザは、同時に複数の対応点の調整が可能となる。そのため、基準画像と対応画像とを参照して対応点を調整することを、基準画像と対応画像との組み合わせの数だけ、ユーザがそれぞれ独立に実行する場合に比して、ユーザの負担を軽減させることができる。また、同時に対応点の調整を行うことで、ある対応画像では対応点の調整が難しい場合においても、調整のしやすい他の対応画像を参照して対応点の調整を実行することができるため、ユーザは精度良く対応点の調整を行うことができる。
【００９１】
本発明の態様７に係る画像処理装置（１）は、上記態様６において、前記第１及び前記第２撮像装置が第１方向に沿って配置され、前記第１及び前記第３撮像装置が前記第１方向に交差する第２方向に沿って配置され、前記他の対応点の周辺を前記他の対応画像から抽出した他の対応点周辺画像における前記他の対応点の位置の調整方向と、前記対応点周辺画像における前記対応点の位置の調整方向とが同一となるように、前記他の対応点周辺画像、前記計測点周辺画像、及び、前記対応点周辺画像が表示される。
【００９２】
上記の構成によれば、ユーザは、同一の方向に連動した一方の対応点の位置を確認しながら、他方の対応点を調整することができるため、より精度良く、対応点の調整を実施することができる。
【００９３】
本発明の態様８に係る画像処理方法は、第１撮像装置により撮像された被写体の基準画像と第２撮像装置により撮像された前記被写体の対応画像とに基づいて前記被写体の計測点の三次元座標を算出する画像処理方法であって、前記基準画像上の前記計測点に対応する対応点を前記対応画像の中で探索する対応点探索工程と、前記対応点探索工程により探索された対応点の位置を調整するために、前記計測点の周辺を前記基準画像から抽出した計測点周辺画像と、前記対応点の周辺を前記対応画像から抽出した対応点周辺画像とを並置して表示する表示工程とを包含する。
【００９４】
上記の構成によれば、態様１に係る画像処理装置と同様の効果を奏する。
【００９５】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【００９６】
（関連出願の相互参照）
本出願は、2016年5月30日に出願された日本国特許出願：特願2016-107767に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
【符号の説明】
【００９７】
１  画像処理装置
２  撮像部
３  記憶部
４  入力部
５  計測部（算出部）
６  画像受付部
７  計測点受付部
８  対応点探索部
９  対応点調整部
１０  計測値算出部
１１  表示部
１２  第１撮像装置
１３  第２撮像装置
１４、１６  撮像素子
１５、１７  レンズ
【図１】
0006581723.tif 000002
【図２】
0006581723.tif 000003
【図３】
0006581723.tif 000004
【図４】
0006581723.tif 000005
【図５】
0006581723.tif 000006
【図６】
0006581723.tif 000007
【図７】
0006581723.tif 000008
【図８】
0006581723.tif 000009
【図９】
0006581723.tif 000010
【図１０】
0006581723.tif 000011
【図１１】
0006581723.tif 000012
【図１２】
0006581723.tif 000013
【図１３】
0006581723.tif 000014
【図１４】
0006581723.tif 000015
【図１５】
0006581723.tif 000016
【図１６】
0006581723.tif 000017