(57)【特許請求の範囲】
【請求項１】
画像に含まれる計測点の３次元座標を算出する画像処理装置であって、
前記画像に含まれる４点以上の計測参照点の入力を受け付ける受付部と、
前記受付部にて受け付けられた前記４点以上の計測参照点の全てをフィッティングして得られる近似平面を参照して、前記計測点の座標を補正する補正部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記受付部は、前記近似平面を指定するための前記４点以上の計測参照点の入力を受け付けることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補正部は、前記計測点の補正後の３次元座標を、前記近似平面上の点として算出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記補正部は、前記計測点の補正前の３次元座標と、前記近似平面との位置関係に応じて、前記受付部に前記４点以上の計測参照点を再入力させるか否かを判定することを特徴とする請求項１〜３のいずれか一項に記載の画像処理装置。
【請求項５】
画像処理装置が、画像に含まれる計測点の３次元座標を算出するための画像処理方法であって、
前記画像に含まれる複数の計測参照点であって、２つの近似直線を指定するための前記複数の計測参照点の入力を受け付け、
前記複数の計測参照点をフィッティングして得られる前記２つの近似直線であって、前記複数の計測参照点によって指定された前記２つの近似直線の交点に基づいて、前記計測点の補正後の３次元座標を算出することにより、前記計測点の座標を補正することを特徴とする画像処理方法。
【請求項６】
請求項１から４の何れか１項に記載の画像処理装置としてコンピュータを機能させるための画像処理プログラムであって、上記受付部および上記補正部としてコンピュータを機能させるための画像処理プログラム。
【請求項７】
請求項１から４の何れか１項に記載の画像処理装置を備える撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置の撮像画像から被写体の長さを計測する技術に関する。
【背景技術】
【０００２】
２台のカメラ（ステレオカメラ）を用いて、被写体の長さや３次元位置（座標）を計測する方法（ステレオ計測）が知られている。ステレオ計測では、異なる位置に配置された２台のカメラを用いて被写体を撮像し、２台のカメラが撮像した２枚の画像間における被写体の視差に基づいて被写体の３次元位置を算出し、被写体の長さや被写体までの距離を計測する。ステレオ計測の計測精度は、被写体までの距離や、２台のカメラ間の距離である基線長やレンズの焦点距離、画素数などのカメラの仕様、視差の算出精度や計測対象点の画像上での位置指定精度などによって変化する。
【０００３】
ステレオカメラを使用した計測において、計測精度を向上させる技術として特許文献１に記載の技術がある。特許文献１には、被写体までの距離と奥行きの精度との比（相対誤差）を算出し、相対誤差が大きい場合は、相対誤差が小さくなる位置から再撮影することで計測精度を向上する技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２３２３３０号公報（２０１１年１１月１７日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術は、以下の課題を有している。特許文献１に記載の技術が有する課題について、図１１を用いて説明する。図１１は、従来のステレオ計測における課題を説明するための図であり、（ａ）は、ステレオ計測する様子の一例を示す図であり、（ｂ）は、ステレオ計測する様子の他の例を示す図である。
【０００６】
図１１の（ａ）では、計測点１１００と計測点１１０１をそれぞれ囲む四角形の領域１１０２と領域１１０３は、計測点１１００と計測点１１０１をステレオ計測する場合の誤差範囲を示している。誤差範囲については後述する。また、図１１の（ｂ）は、図１１の（ａ）に比べ、計測点までの距離Ｚが短いため、誤差範囲を示す領域１１０４と領域１１０５の大きさが、図１１の（ａ）に示す領域１１０２、領域１１０３より小さくなっている。
【０００７】
図１１に示すように、計測点までの距離が短くなると、理論的な誤差範囲が小さくなり、被写体までの距離Ｚと奥行きの精度ΔＺとの比である相対誤差が小さくなる。特許文献１では、相対誤差が小さくなる位置から撮影することで計測精度を向上しているが、計測精度は理論的な誤差範囲である領域１１０２、領域１１０３、領域１１０４、領域１１０５の大きさによって決まるため、撮影距離を変えて撮像しても、その撮像距離における理論的な誤差範囲以上に精度の高い計測を行うことはできない。
【０００８】
本発明は、上記の課題に鑑みてなされたものであり、その目的は、計測点の３次元座標の計測精度を向上させる技術を提供することにある。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、本発明の一態様に係る画像処理装置は、複数の画像上に共通して含まれる計測点の３次元座標を算出する画像処理装置であって、前記画像に含まれる点を計測参照点として選択する選択部と、前記計測参照点を参照して、前記計測点の座標を補正する補正部と、を備える。
【００１０】
また、上記の課題を解決するために、本発明の一態様に係る画像処理方法は、複数の画像上に共通して含まれる計測点の３次元座標を算出するための画像処理方法であって、前記画像に含まれる点を計測参照点として選択する選択ステップと、前記計測参照点を参照して、前記計測点の座標を補正する補正ステップと、を含む。
【発明の効果】
【００１１】
本発明によれば、計測点の３次元座標の計測精度を向上させることができる。
【図面の簡単な説明】
【００１２】
【図１】実施形態１に係る画像処理装置の一構成例を示すブロック図である。
【図２】ステレオ計測の原理を示す図である。
【図３】ステレオ計測によって算出される２点間の距離の誤差を示す図であり、（ａ）は、被写体を示しており、（ｂ）は、図３の（ａ）を上から見た図を示しており、（ｃ）は、計測した距離の一例を示す図であり、（ｄ）は、計測した距離の他の例を示す図であり、（ｅ）は、計測した距離のさらに他の例を示す図である。
【図４】本発明の実施形態１において計測点の３次元座標を算出する方法を示す図であり、（ａ）は、図３の（ａ）に示した被写体を撮像した画像の一部を示しており、（ｂ）は、ユーザが指定した複数の点（計測参照点）およびフィッティングして得られる直線を示す図であり、（ｃ）は、計測点の画像上での座標を１点のみ指定した場合の誤差範囲と、フィッティングした直線の交点である補正点の誤差範囲を示しており、（ｄ）は、計測点の指定精度が図４の（ｃ）に示す誤差範囲である場合における、ステレオ計測での３次元座標の誤差範囲を示している。
【図５】図３の（ａ）に示した被写体をＹ方向から見たＸＺ平面図を示している。
【図６】図３の（ａ）に示した被写体をＹ方向から見たＸＺ平面図を示している。
【図７】本発明の実施形態１における計測点の３次元座標をステレオ計測する場合の誤差範囲を示している。
【図８】被写体上の点をステレオ計測する場合を示しており、点線で示す直線は、計測点の画像上での座標が指定された場合の、ステレオ計測によって得られる３次元座標の位置を示している。
【図９】被写体上の点を計測する場合を示しており、点線で示す直線は、計測点の３次元座標が位置する直線である。
【図１０】本発明の実施形態２における誤差範囲と直線とを示す図であり、（ａ）は、誤差範囲と直線との関係を示す一例であり、（ｂ）は、誤差範囲と直線との関係を示す他の例である。
【図１１】従来のステレオ計測における課題を説明するための図であり、（ａ）は、ステレオ計測する様子の一例を示す図であり、（ｂ）は、ステレオ計測する様子の他の例を示す図である。
【発明を実施するための形態】
【００１３】
〔第１の実施形態〕
以下、図面を参照しながら本発明の一実施形態について説明する。
【００１４】
（画像処理装置）
図１は、本実施形態に係る画像処理装置１００の一構成例を示すブロック図である。図１に示すように、画像処理装置１００は、画像取得部１０１、計測部１０２、記憶部１０３、計測点受付部１０４を備えている。
【００１５】
画像取得部１０１は、ステレオカメラで撮像された画像を入力画像として取得する。
【００１６】
計測部１０２は、画像取得部が取得した画像に基づいて計測を行う。また、計測部１０２は、計測値算出部１０５と計測補正部１０６（選択部、補正部）を備えている。
【００１７】
計測値算出部１０５は、計測対象である被写体までの距離や長さを計測し、計測値を算出する。
【００１８】
計測補正部１０６は、計測値算出部１０５が算出した計測値の計測精度が向上するよう補正を行う。
【００１９】
記憶部１０３には、基線長や焦点距離などの計測時に必要なカメラパラメータが記憶されている。計測部１０２が計測する場合、記憶部１０３に記憶された情報を参照する。
【００２０】
計測点受付部１０４では、ユーザ（操作者）から計測対象とする被写体（計測点）を選択する旨の操作を受け付ける機能を備えている。計測点受付部１０４は、操作者によって選択された計測点を示す計測点情報を取得し、取得した計測点情報を計測部１０２に出力する。
【００２１】
各部が行う処理の詳細については、後述する。なお、図１に示す画像処理装置１００は、撮像装置（ステレオカメラ）が備える構成でもよい。
【００２２】
（ステレオ計測の計測誤差）
図２は、ステレオ計測の原理を示す図である。左側に撮像装置２００ａ、右側に撮像装置２００ｂが配置されており、撮像装置２００ａは撮像素子２０１ａとレンズ２０２ａとを備え、撮像装置２００ｂは撮像素子２０１ｂとレンズ２０２ｂとをそれぞれ備えている。２つの撮像装置の基線長はＢであり、焦点距離はともにｆである。図２において、撮像装置２００ａを計測時に基準とする撮像装置とした場合、計測点２０３の３次元座標（Ｘ、Ｙ、Ｚ）は、計測点２０３に対応する視差ｄ（ｄ＝ｄ２−ｄ１）、焦点距離ｆ、基線長Ｂを用いて、以下の式（１）、式（２）、および式（３）によって算出される。
【００２３】
【数１】
0006730029.tif 000002
【００２４】
【数２】
0006730029.tif 000003
【００２５】
【数３】
0006730029.tif 000004
【００２６】
式（２）のｘ、および式（３）ｙはそれぞれ、撮像装置２００ａが撮像した画像上における計測点２０３のｘ座標およびｙ座標である。また、２点間の距離を計測する場合は、２つの計測点のそれぞれの３次元座標を算出することで、２点間の距離を算出することができる。式（１）、式（２）、および式（３）に示すように、ステレオ計測により計測点の３次元座標を算出するためには、カメラの基線長や焦点距離などのカメラパラメータの他に、視差および計測対象点の画像上での座標（２次元座標）が必要となる。
【００２７】
したがって、ステレオ計測では、視差の算出精度や、画像上での計測点の座標を指定する指定精度が計測精度に影響する。視差や画像上で指定した計測点の座標がそれぞれの真値に対して誤差を含む場合、算出される３次元座標も、視差や画像上での計測点の座標の誤差に相当する誤差範囲をもつことになる。すなわち、ステレオ計測により得られた計測点の３次元座標は、計測点の３次元座標の真値に対して誤差範囲分の誤差を含む可能性がある。図２に示す領域２０４は誤差範囲を示しており、ステレオ計測によって得られた３次元座標が図２に示す点２０３である場合、３次元座標の真値は領域２０４内のいずれかに位置することになる。
【００２８】
上述のように、ステレオ計測により算出した３次元座標には、計測点の視差や画像上で座標の誤差に相当する理論的な誤差が生じるため、２点間の距離を計測する場合においても、理論的な誤差を含んだ計測値が得られることになる。ステレオ計測により計測した２点間の距離が誤差を含むことについて、図３を用いて説明する。
【００２９】
図３は、ステレオ計測によって算出される２点間の距離の誤差を示す図であり、（ａ）は、被写体３００と被写体３０１を示しており、２つの被写体が前後に位置している。図３の（ａ）において、被写体３００上の点３０２と被写体３０１上の点３０３の２点を計測点とし、２点間の距離を計測する場合について述べる。
【００３０】
図３の（ｂ）は、図３の（ａ）を上から見た図を示しており、ＸＺ平面図である。図３の（ｂ）における領域３０４は計測点３０２の誤差範囲であり、領域３０５は計測点３０３の誤差範囲である。
【００３１】
図３の（ｃ）は、計測した距離ｄ１の一例を示す図であり、（ｄ）は、計測した距離ｄ２の他の例を示す図であり、（ｅ）は、計測した距離ｄ３のさらに他の例を示す図である。図３の（ｃ）に示す距離ｄ１、図３の（ｄ）に示す距離ｄ２、図３の（ｅ）に示す距離ｄ３は、いずれも計測点３０２と計測点３０３の２点間距離を計測した場合の計測値を示している。また、計測点３０２と計測点３０３の位置が、ステレオ計測で算出された３次元座標の位置（図３の（ｃ）、（ｄ）および（ｅ）では、ＸＺ平面内での位置）を示している。図３の（ｃ）に示す計測点３０２と計測点３０３の位置が正しい３次元座標位置であり、距離ｄ１が、計測点３０２と計測点３０３との距離の真値である。図３の（ｄ）、および図３の（ｅ）に示すように、ステレオ計測では算出される３次元座標が誤差を含むため、２点間の距離を計測する場合にも、距離ｄ２や距離ｄ３のように真値に対して誤差が生じる。そこで、本実施形態では、視差や画像上での座標の誤差を小さくする処理を行い、誤差範囲を小さくすることで計測精度を向上させる方法について、説明する。
【００３２】
図４は、本発明の実施形態１において計測点の３次元座標を算出する方法を示す図であり、（ａ）は、図３の（ａ）に示した被写体３０１を撮像した画像の一部を示している。計測点４０１は、ユーザが計測を所望する計測点であり、被写体３０１のコーナー部分を指している。計測点受付部１０４は、計測点４０１の画像上での座標を受け付け、受け付けた座標を計測部１０２に出力する。画像上での計測点４０１の座標を指定する方法として、例えば、画像を表示する表示装置の画面上のカーソルを計測点上に移動した上で決定キーなどを押すことで選択させてもよいし、表示装置にタッチパネルが備えられている場合は、ユーザのタッチ操作で計測点を指定させてもよい。また、精度良く座標を指定させるために、画像を拡大表示した上で計測点を指定させてもよい。
【００３３】
しかしながら、必ずしも、ユーザが正確に計測点４０１の座標を指定出来るとは限らず、計測点４０１の座標に対して、ユーザが指定した座標に誤差が生じる可能性がある。図４の（ａ）に示す指定点４０２は、ユーザが指定した画像上の位置を示している。図４の（ａ）に示すように、計測点４０１の座標に対して、指定点４０２の座標がずれている場合は、ステレオ計測して算出する計測点４０１の３次元座標にも誤差が生じる。
【００３４】
そこで、本実施形態では、計測補正部１０６が、指定点４０２周辺の情報を用いて指定点４０２の座標を補正して、計測点４０１に近い補正点を求めることにより、計測点の指定精度を向上させ、計測精度を向上させる方法（画像処理方法）について説明する。精度良く計測点を指定する方法として、例えば、計測補正部１０６が指定点４０２の近傍を通る２本の直線を検出し、その交点を補正点とする方法が挙げられる。
【００３５】
図４の（ａ）おいては、計測補正部１０６は、指定点４０２の周辺の直線として、被写体３０１の左側の直線４０３と、被写体３０１の手前上側の直線４０４とを検出する（選択ステップ）。そして、計測補正部１０６は、検出した直線４０３と直線４０４との交点を、補正点とする（補正ステップ）。
【００３６】
直線を検出する方法としては、例えば、ハフ変換などの既知の方法を用いることができる。また、ユーザに、指定点４０２の周辺の直線上の複数の点を指定させ、計測補正部１０６が、指定された複数の点をフィッティングすることで直線（近似直線）を得ることができる。ユーザに指定させる場合は、表示装置に「計測点が通る直線上の点を指定してください」といった表示を行い、計測点受付部１０４が直線上の座標を受け付ける。直線のフィッティングは、例えば、最小二乗法などの既知の方法により行うことができる。
【００３７】
指定点４０２周辺の直線の交点を補正点とすることによる効果を説明するため、ユーザが直線上の複数の点を指定する場合について詳しく説明する。図４の（ｂ）は、ユーザが指定した複数の点（計測参照点）およびフィッティングして得られる直線を示す図である。図４の（ｂ）に示す点４０５、点４０６、点４０７、および点４０８はそれぞれ、図４の（ａ）に示した直線４０３上の点としてユーザが指定した点（計測参照点）を示している。計測補正部１０６は、指定点４０２と、点４０５、点４０６、点４０７、および点４０８をフィッティングすることにより、点線で示す直線４１４を得る。
【００３８】
同様に、図４の（ｂ）に示す点４０９、点４１０、点４１１、点４１２、および点４１３はそれぞれ、図４の（ａ）に示した直線４０４上の点としてユーザが指定した点（計測参照点）を示している。計測補正部１０６は、指定点４０２と、点４０９、点４１０、点４１１、点４１２、および点４１３をフィッティングすることにより、点線で示す直線４１５を得る。そして、計測補正部１０６は、直線４１４と直線４１５（２つの近似直線）の交点を補正点（計測点の画像上の２次元座標）とする。
【００３９】
図４の（ｂ）に示すように、直線４１４と直線４１５の交点（補正点）は、ユーザが指定した画像上の指定点４０２より、計測点４０１に近くなっている。なお、ユーザによって指定されたそれぞれの点は、指定点４０２同様、所望の位置（直線４０３上または直線４０４上の位置）からずれているが、複数の点をフィッティングすることで、直線の位置（直線４０３および直線４０４）と、フィッティングして得られた直線（直線４０４および直線４１５）とのずれが小さくなり、その直線の交点である補正点の指定精度が向上する。
【００４０】
図４の（ｃ）は、計測点４０１の画像上での座標を１点のみ指定した場合の、本来の計測点４０１の画像上の座標に対する指定点の画像上の座標のずれを示す誤差範囲４１６と、フィッティングした直線の交点である補正点の、本来の計測点４０１の画像上の座標に対する補正点の画像上の座標のずれを示す誤差範囲４１７を示している。例えば、ユーザが計測点の画像の座標を整数画素精度で正しく指定した場合の誤差範囲は±０．５画素となり、ユーザの指定位置が整数画素精度以上ずれている場合の誤差範囲は大きくなる。図４の（ｃ）に示すように、フィッティングすることで本来の計測点の画像上の座標に対するずれが小さくなり、画像上の座標の誤差範囲が小さくなる。
【００４１】
図４の（ｄ）は、計測点の指定精度が図４の（ｃ）に示す誤差範囲である場合における、ステレオ計測での３次元座標の誤差範囲を示している。３次元座標は式（１）、式（２）、および式（３）によって算出され、画像上の座標に誤差が含まれる場合、式（２）のｘおよび式（３）のｙの値が誤差範囲内で変化することになるため、対応するＸ座標およびＹ座標に誤差が生じることになる。図４の（ｄ）に示すように、画像上の座標の誤差範囲が誤差範囲４１６の場合、３次元座標の誤差範囲は図４の（ｄ）に示す誤差範囲４１８となる。また、画像上の座標の誤差範囲が誤差範囲４１７の場合、３次元座標の誤差範囲は図４の（ｄ）に示す誤差範囲４１９となる。図４の（ｄ）におけるＺ方向の誤差は視差ｄの誤差によって決まり、例えば、視差ｄが±０．５画素の誤差を含む場合、Ｚ方向の誤差ΔＺは、式（１）より、
【００４２】
【数４】
0006730029.tif 000005
【００４３】
と表わされる。式（２）及び式（３）にはＺ方向の座標Ｚが含まれることから、Ｚ方向の誤差ΔＺは、Ｘ方向およびＹ方向の３次元座標にも影響する。図４の（ｄ）に示すように、計測点の画像上の座標の指定精度が高くなると、ステレオ計測により算出する３次元座標のＸＹ方向の誤差範囲が小さくなり、計測精度が向上する。
【００４４】
なお、図４の（ｂ）を用いて説明した例では、２本の直線の交点を補正点としたが、指定点４０２を通る直線（指定点４０２の周辺の直線）が１本のみ存在する場合には、当該１本の直線を検出し、検出した１本の直線上の点であって、指定点から最も近い点を補正点としてもよい。また、指定点４０２を通る直線（指定点４０２の周辺の直線）が存在せず、指定点４０２が曲線上の点の場合（指定点４０２の周辺に曲線が存在する場合）は、当該曲線を検出し、検出した曲線上の点で、指定点４０２から最も近い点を補正点としてもよい。
【００４５】
次に、視差の誤差に起因する誤差範囲を低減し、計測精度を向上させる方法について述べる。図５は、図３の（ａ）に示した被写体３０１をＹ方向から見たＸＺ平面図を示している。計測点は計測点３０３であり、四角で示す領域５０１は、計測点３０３をステレオ計測する場合の誤差範囲を示している。また、点線で示す直線５０２は、計測点３０３の画像上での座標が指定された状況において、ステレオ計測を行ったとした場合に得られる計測点３０３の３次元座標の位置を示している。換言すれば、直線５０２は、計測点３０３の画像上での座標が指定された状況において、ステレオ計測によって得られる計測点３０３の３次元座標の可能な範囲を示している。
【００４６】
計測点３０３の画像上での２次元座標が決まると、その計測点３０３の３次元座標は、視差値に基づいて直線５０２上を移動することになり、視差が正しく算出される場合は、３次元座標は計測点３０３の位置となる。一方、視差が真値に対して大きく算出される場合は、計測点の実際の位置より手前の位置となり、例えば図５に示す点５０３の位置となる。また、視差が真値に対して小さく算出される場合は、計測点の実際の位置より奥の位置となり、例えば図５に示す点５０４の位置となる。すなわち、算出した視差が真値に対して誤差を含む場合、算出される３次元座標も真値に対して誤差を含むことになる。そこで、本実施形態では、視差の誤差を小さくする処理を行い、視差の誤差に起因する誤差範囲を小さくすることで計測精度を向上させる方法について説明する。
【００４７】
図６は、図３の（ａ）に示す被写体３０１をＹ方向から見たＸＺ平面図を示しており、計測点は計測点３０３である。計測部１０２は、計測点３０３をステレオ計測することにより、算出点６０１の３次元座標を得る。ここで、計測部１０２によるステレオ計測は誤差範囲を含むため、計測点３０３の実際の位置（計測点３０３の３次元座標の真値）と、ステレオ計測によって算出した算出点６０１の３次元座標の位置がずれている。また、点線で示す直線６０２は、画像上での計測点３０３の座標が指定された場合に算出される計測点３０３の３次元座標の可能な範囲を示している。直線６０２が、計測点３０３を通っていない理由は、画像上で指定した計測点３０３の座標に誤差がある場合を想定した図を示しているためであり、画像上で指定した座標が正しければ、直線６０２は計測点３０３を通ることになる。
【００４８】
図６における点６０３、点６０４、点６０５、点６０６、点６０７、点６０８、点６０９は、計測補正部１０６が、計測点３０３の通る直線６１０上の点（計測参照点）をステレオ計測した場合の３次元座標を示している。ステレオ計測では誤差範囲を含むため、計測補正部１０６が算出した上述した点の３次元座標は、直線６１０上に位置するとは限らない。図６に点線で示す直線６１１は、計測補正部１０６がステレオ計測することによって得た点６０３、点６０４、点６０５、点６０６、点６０７、点６０８、点６０９の３次元座標をフィッティングすることによって得られた直線を示している。図６に示すように、計測補正部１０６が算出した各点の３次元座標と直線６１０とのずれに対して、計測補正部１０６が算出した各点をフィッティングした直線６１１と直線６１０とのずれは小さくなる。
【００４９】
そこで、計測部１０２は、直線６１０上の点である計測点３０３の３次元座標が直線６１１上に位置するとして３次元座標を算出する。すなわち、直線６０２と直線６１１の交点を補正点６１２とする。図６の場合、算出される３次元座標は、補正点６１２の３次元座標となるため、補正前の算出点６０１に比べて、計測点３０３との誤差が小さくなっている。上述のように、計測点３０３の周辺の点の３次元座標を参照して計測点の３次元座標を補正することで、視差の誤差に起因する誤差が低減し、計測精度が向上する。
【００５０】
図７は、本発明の実施形態１における計測点７０１の３次元座標をステレオ計測する場合の誤差範囲を示している。図７に示す領域７０２は、計測点７０１の３次元座標のみを算出した場合の誤差範囲を示しており、領域７０３は、計測点７０１の周辺の点の３次元座標を参照して計測点７０１の３次元座標を補正した場合の誤差範囲を示している。計測補正部１０６は、計測点７０１の周辺の点の３次元座標を参照することで、誤差範囲が小さくすることができるので、計測精度を向上させることができる。なお、フィッティングに用いる点の数を増やせば、フィッティングの精度が向上し好適である。また、フィッティングに用いる点の数を増やすため、フィッティングに用いる３次元座標に、計測点自体の３次元座標を含めてもよい。
【００５１】
ここで、計測点の３次元座標の補正について更に詳しく説明する。図６は、ＸＺ平面内を示しているため、計測補正部１０６が直線６１１上の点の３次元座標をフィッティングして算出した直線６１１と、計測点３０３の３次元座標の可能な範囲を示す直線６０２との交点が存在する。しかしながら、３次元空間で直線を定義する場合、必ずしも交点が存在するとは限らない。そこで、２つの直線が交点を有しない場合は、計測点が位置する直線６０２上の点のうち、直線６１１との距離が最も近くなる点（最近接点）を、計測点の補正後の３次元座標とすればよい。また、計測点周辺の点の３次元座標から平面をフィッティングして計測点の３次元座標を補正してもよい。
【００５２】
図８は、本発明の実施形態１における被写体８０１上の点８０２をステレオ計測する場合を示しており、点線で示す直線８０３は、計測点８０２の画像上での座標が指定された場合の、ステレオ計測によって得られる３次元座標の可能な範囲を示している。図８に示す計測点８０２以外の点は、被写体８０１の手前側の四角形の面８０４の周囲の辺上の点（計測参照点）をステレオ計測した３次元座標を示している。また、点線で示す面８０５は、面８０４の周囲の辺上の点をステレオ計測した３次元座標を平面でフィッティングして得られる平面（近似平面）を示している。そして、面８０５と直線８０３との交点を補正点として、計測点の補正後の３次元座標とする。面と直線との交点を算出する場合、面と直線が平行でない限り、必ず交点が存在し好適である。なお、計測点周辺の点の３次元座標を参照して直線や面をフィッティングする場合、計測点の３次元座標が位置する直線との位置関係が直交に近い方が好適である。
【００５３】
図９は、本発明の実施形態１における被写体９０１上の計測点９０２を計測する場合を示しており、点線で示す直線９０３は、計測点９０２の画像上での座標が指定された場合の、ステレオ計測によって得られる３次元座標の可能な範囲を示している。また、点線で示す直線９０４は、被写体９０１の右側の直線上の点の３次元座標をフィッティングして算出した直線であり、点線で示す直線９０５は、被写体９０１の上側の直線上の点の３次元座標をフィッティングして算出した直線である。点９０６は直線９０３と直線９０４の交点であり、点９０７は、直線９０３と直線９０５の交点を示している。
【００５４】
点９０６および点９０７それぞれの点の、計測点９０２からの誤差を比較すると、点９０７と計測点９０２の誤差の方が小さい。直線９０３と直線９０４は平行に近いため、直線の向きや位置のわずかな違いにより、２直線の交点の位置が大きく変化する。一方、直線９０３と直線９０５は直交に近いため、直線の向きや位置の違いに起因する交点の位置の変化が小さい。すなわち、計測点の補正後の３次元座標の変化が小さく、計測誤差が小さくなり好適である。図９を用いて直線と直線の場合について述べたが、面と直線の交点を算出する場合も同様であり、面と直線が直交に近くなる面を、計測点の３次元座標を補正するために参照する面として選択すれば計測精度が高くなり好適である。
【００５５】
以上説明したように、本実施形態では、画像処理装置１００は、ステレオ計測する場合（複数の画像上に共通して含まれる計測点の３次元座標を算出する場合）に、計測点の画像上の指定点の座標や、視差に基づいて算出される算出点の３次元座標を、画像上の計測点周辺の点（画像に含まれる点、計測参照点）を選択し、選択した点の情報を用いて補正することで、計測点の３次元座標を補正する。そのため、画像処理装置１００は、計測点の計測精度を向上させることができる。
【００５６】
なお、上述した実施形態では、画像処理装置１００が計測点の３次元座標を補正する構成について記載したが、画像処理装置１００は、計測点の画像上の指定点のみを補正（計測点の画像上の２次元座標を補正）して、補正後の座標についてステレオ計測して３次元座標を算出することにより、計測精度を向上させることができる。また、画像処理装置１００は、計測点の画像上の指定点をユーザが指定した座標とし、視差に基づいて算出される計測点の３次元座標を補正しても計測精度を向上させることができる。
【００５７】
〔第２の実施形態〕
次に、本発明の第２の実施形態について説明する。第２の実施形態では、計測点の画像上の座標や計測点の３次元座標を補正する際に参照する情報について、より好適な情報を参照することで計測精度を向上する。ここで、説明をより明瞭にするため、以降の説明では、計測点の３次元座標を補正する際に参照する点を計測参照点と称し、計測点と区別する。
【００５８】
上述したように、本発明では、画像処理装置１００は、計測点が通る直線や平面（計測点の周辺の点を参照して算出した直線や平面も含まれる）を計測参照点の３次元座標から算出することで計測精度を向上させることができる。しかしながら、必ずしも算出した直線や平面が、計測点と同一直線または同一平面上に位置するとは限らない。そこで、第２の実施形態では、取得した計測参照点及び計測参照点から算出した参照情報について計測点を補正するために好適な情報か否かを評価する構成について、説明する。
【００５９】
図１０は、本発明の実施形態２における本発明の実施形態２における誤差範囲と直線とを示す図であり、（ａ）は、誤差範囲と直線との関係を示す一例であり、（ｂ）は、誤差範囲と直線との関係を示す他の例である。図１０の（ａ）および（ｂ）では、計測点１００１をステレオ計測する場合のＸＺ平面図を示しており、領域１００２が計測点１００１をステレオ計測する場合の誤差範囲を示している。
【００６０】
図１０の（ａ）に示す点１００３、点１００４、点１００５、点１００６、および点１００７は、計測点１００１の３次元座標を補正するための計測参照点の３次元座標を示している。また、点線で示す直線１００８は、点１００３、点１００４、点１００５、点１００６、および点１００７の３次元座標を計測補正部１０６がフィッティングして得られた直線である。図１０の（ａ）に示す場合では、計測補正部１０６は、直線１００８が計測点１００１の誤差範囲１００２の内部を通っていると判定する。
【００６１】
図１０の（ｂ）に示す点１００９、点１０１０、点１０１１、点１０１２、および点１０１３も、図１０の（ａ）同様、計測点１００１の３次元座標を補正するための計測参照点の３次元座標を示している。また、点線で示す直線１０１４は、点１００９、点１０１０、点１０１１、点１０１２、および点１０１３の３次元座標を計測補正部１０６がフィッティングした直線である。図１０の（ｂ）に示す場合では、計測補正部１０６は、直線１０１４が計測点１００１の誤差範囲１００２の内部を通っていないと判定する。
【００６２】
したがって、図１０の（ａ）の場合では、計測点１００１は、フィッティングした直線１００８上の点である可能性が高く、計測点１００１の３次元座標を補正するための情報として好適な計測参照点が選択されている。しかしながら、図１０の（ｂ）の場合では、計測点１００１は、フィッティングした直線１０１４上の点である可能性が低く、計測点１００１の３次元座標を補正するための情報として好適な計測参照点が選択されているとはいえない。
【００６３】
そこで、図１０の（ｂ）に示す場合においては、計測補正部１０６がより好適な計測参照点を再探索することで、より好適な計測点の３次元座標の補正を行う。すなわち、計測補正部１０６は、フィッティングした直線と計測点の誤差範囲の距離を評価し、両者が離れている場合は、より好適な計測参照点を再探索する。また、３次元座標を補正するための情報として平面を参照する場合も、直線の場合と同様、計測補正部１０６は、フィッティングした平面と計測点の誤差範囲との距離を評価することで、計測点の３次元座標を補正するための情報として選択された計測参照点が好適な否かを判定することができる。
【００６４】
なお、１回目の計測参照点選択を自動で行い、計測参照点を再探索することになった場合、計測補正部１０６は、２回目以降の計測参照点の選択を、ユーザに選択（再選択）させてもよい。この構成により、画像処理装置１００は、１回目の計測参照点の選択を自動で行うので、ユーザの負担を小さくすることができ、好適である。また、再探索となった場合、画像処理装置１００が好適な計測参照点選択が困難なシーンである可能性があるため、計測参照点の選択をユーザに選択させることで、画像処理装置１００は、好適な計測参照点を選択することができ、計測精度が向上させることができる。
【００６５】
次に、より好適に計測参照点を選択する方法について述べる。計測点の計測精度を向上させるため、計測点周辺の直線や平面を参照する方法について述べたが、計測点と同一直線または同一平面に位置する計測参照点は、計測点からの距離が近い方が存在確率が高い。すなわち、計測点からの距離が遠い計測参照点は、計測点と異なる被写体上の点であったり、同一被写体上の点であっても、計測点と同一直線または同一平面上の点ではない確率が高くなったりする。そのため、計測点からの距離が近いほど、計測点と同一直線または同一平面上の点である確率が高くなる。
【００６６】
このように、計測参照点を探索する場合、計測点近傍の点を探索することが好ましい。また、画像の色や明るさを考慮して計測参照点を選択してもよい。計測点近傍に位置し、計測点と同一直線上または同一平面上に位置する点は、計測点と同一被写体上の点である可能性が高く、近接するため計測点と色や明るさが近い可能性が高い。そこで、計測点の色や明るさの類似度を考慮して計測参照点を選択すれば、計測点と同一直線上または同一平面上に位置する点である可能性が高く好適である。
【００６７】
（ソフトウェアによって実現する例）
なお、上述した画像処理装置１００の各ブロック（特に、計測部１０２）をコンピュータで実現するようにしても良い。その場合、上述した画像処理装置１００を実現するためのプログラム（画像処理プログラム）をコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。ここでいう「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００６８】
また、上述した実施形態におけるステレオ計測の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。ステレオ計測の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
【００６９】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【００７０】
〔まとめ〕
本発明の態様１に係る画像処理装置（１００）は、複数の画像上に共通して含まれる計測点の３次元座標を算出する画像処理装置であって、前記画像に含まれる点を計測参照点として選択する選択部（計測補正部１０６）と、前記計測参照点を参照して、前記計測点の座標を補正する補正部（計測補正部１０６）と、を備える。
【００７１】
上記の構成によれば、画像処理装置は、複数の画像上に共通して含まれる計測点の３次元座標を算出する際に、計測参照点を参照して計測点の座標を補正する。そのため、画像処理装置は、例えば、ユーザが所望の計測点を指定できなかった場合であっても、所望の計測点に近い位置に補正することができるため、計測点の３次元座標の計測精度を向上させることができる。
【００７２】
本発明の態様２に係る画像処理装置において、上記態様１における補正部は、前記計測参照点を参照して、前記計測点の３次元座標を補正してもよい。
【００７３】
上記の構成によれば、画像処理装置は、計測参照点を参照して、計測点の３次元座標を補正する。そのため、画像処理装置は、例えば、ユーザが所望の計測点を指定できなかった場合であっても、算出した計測点の３次元座標を、所望の計測点の３次元座標に近い座標に補正できるため、計測点の３次元座標の計測精度を向上させることができる。
【００７４】
本発明の態様３に係る画像処理装置において、上記態様１または２における補正部は、前記計測点の補正後の３次元座標を、前記計測参照点をフィッティングして得られる近似平面と、前記計測点が通る直線との交点として算出してもよい。
【００７５】
上記の構成によれば、画像処理装置は、計測参照点をフィッティングして得られる近似平面と、計測点が通る直線の交点を、補正後の３次元座標とする。そのため、画像処理装置は、計測点が存在する平面、または計測点の近傍にある平面と、計測点が通る直線の交点の３次元座標を、計測点の３次元座標とするので、計測点の３次元座標の計測精度を向上させることができる。
【００７６】
本発明の態様４に係る画像処理装置において、上記態様１または２における補正部は、前記計測点の補正後の３次元座標を、前記計測点が通る直線上の点のうち、前記計測参照点をフィッティングして得られる近似直線との最近接点として算出してもよい。
【００７７】
上記の構成によれば、画像処理装置は、計測点が通る直線と、計測参照点をフィッティングして得られる近似直線との交点が存在しない場合であっても、最接近点を補正後の３次元座標とする。そのため、画像処理装置は、様々な画像上の計測点であっても、３次元座標を算出することができる。
【００７８】
本発明の態様５に係る画像処理装置において、上記態様１または２における補正部は、前記計測点の補正前の３次元座標に対応する誤差範囲を算出し、前記計測参照点をフィッティングして得られる近似平面または前記計測参照点をフィッティングして得られる近似直線と、前記計測点の前記誤差範囲との位置関係を参照して、前記選択部に前記計測参照点を再選択させるか否かを判定してもよい。
【００７９】
上記の構成によれば、画像処理装置は、計測点の補正前の３次元座標に対応する誤差範囲内に、近似平面または近似直線が含まれない場合、計測参照点を再選択する。そのため、画像処理装置は、適切な計測参照点を選択できなかった場合であっても、適切な計測参照点が選択できるまで再選択することができる。
【００８０】
本発明の態様６に係る画像処理装置において、上記態様１における補正部は、前記計測参照点に基づいて、前記計測点の画像上の２次元座標を補正してもよい。
【００８１】
上記の構成によれば、画像処理装置は、計測点の画像上の２次元座標を補正する。そのため、画像処理装置は、補正した２次元座標から３次元座標を算出するので、計測点の３次元座標の計測精度を向上させることができる。
【００８２】
本発明の態様７に係る画像処理装置において、上記態様６における補正部は、前記計測参照点の画像上の２次元座標をフィッティングして得られる２つの近似直線の画像上での交点を、前記計測点の画像上の２次元座標としてもよい。
【００８３】
上記の構成によれば、画像処理装置は、計測点の２次元座標を、所望の計測点の座標に近い座標に補正することができる。そのため、画像処理装置は、補正した２次元座標から３次元座標を算出することにより、計測点の３次元座標の計測精度を向上させることができる。
【００８４】
本発明の態様８に係る画像処理装置は、上記態様１〜７の何れかにおいて、計測点受付部（１０４）をさらに備え、前記計測点受付部は、操作者が選択した点を前記計測参照点として受け付けてもよい。
【００８５】
上記の構成によれば、画像処理装置は、計測参照点を、操作者に選択させる。そのため、画像処理装置は、適切な計測参照点を選択することができる。
【００８６】
本発明の態様９に係る画像処理方法は、複数の画像上に共通して含まれる計測点の３次元座標を算出するための画像処理方法であって、前記画像に含まれる点を計測参照点として選択する選択ステップと、前記計測参照点を参照して、前記計測点の座標を補正する補正ステップと、を含む。
【００８７】
上記の構成によれば、画像処理方法は、上記態様１に係る画像処理装置と同等の効果を奏する。
【００８８】
本発明の態様１０に係る撮像装置は、上記態様１から８の何れかに記載の画像処理装置を備える。
【００８９】
上記の構成によれば、上記態様１から８の何れかに係る画像処理装置を備える撮像装置を実現できる。
【００９０】
本発明の各態様に係る画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置が備える各部（ソフトウェア要素）として動作させることにより上記画像処理装置をコンピュータにて実現させる画像処理装置のプログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【００９１】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【産業上の利用可能性】
【００９２】
本発明は、ステレオ計測に利用することができる。
【符号の説明】
【００９３】
１００  画像処理装置
１０１  画像取得部
１０２  計測部
１０３  記憶部
１０４  計測点受付部
１０５  計測値算出部
１０６  計測補正部（選択部、補正部）
２００ａ、２００ｂ  撮像装置
２０１ａ、２０１ｂ  撮像素子
２０２ａ、２０２ｂ  レンズ
【図１】
0006730029.tif 000006
【図２】
0006730029.tif 000007
【図３】
0006730029.tif 000008
【図４】
0006730029.tif 000009
【図５】
0006730029.tif 000010
【図６】
0006730029.tif 000011
【図７】
0006730029.tif 000012
【図８】
0006730029.tif 000013
【図９】
0006730029.tif 000014
【図１０】
0006730029.tif 000015
【図１１】
0006730029.tif 000016