(57)【要約】【課題】計測精度の悪化を抑制することができる計測装置および計測装置の作動方法を提供する。【解決手段】計測装置において、画像ペア選定部は、複数の第１の画像のうちの１つと、複数の第２の画像のうちの１つとの組み合わせで構成される計測用画像ペアを選定する。計測部は、前記計測用画像ペアを用いて、被写体の第１の計測処理を実行する。前記画像ペア選定部は、前記第１の画像と前記第２の画像との組み合わせが互いに異なる複数の画像ペアの各々に対して、前記被写体の第２の計測処理を実行することにより、前記画像ペア毎に計測値を算出する。前記画像ペア選定部は、前記算出された複数の計測値から基準値を算出する。前記画像ペア選定部は、前記基準値に基づいて、前記複数の画像ペアから前記計測用画像ペアを選定する。【選択図】図１
2019035674.tif 000002
【特許請求の範囲】
【請求項１】
第１の光学系と、
前記第１の光学系に対して視差を有するように配置された第２の光学系と、
前記第１の光学系を通った光が形成する被写体の第１の像、および前記第２の光学系を通った光が形成する前記被写体の第２の像が共通に結像される撮像領域を有し、前記第１の像を第１の撮像タイミングで撮像し、前記第１の像に基づく第１の画像を生成し、前記第２の像を第１の撮像タイミングと異なる第２の撮像タイミングで撮像し、前記第２の像に基づく第２の画像を生成する撮像部と、
複数の第１の撮像タイミングにおける撮像により生成された複数の第１の画像と、複数の第２の撮像タイミングにおける撮像により生成された複数の第２の画像とを取得する制御部と、
前記複数の第１の画像のうちの１つと、前記複数の第２の画像のうちの１つとの組み合わせで構成される計測用画像ペアを選定する画像ペア選定部と、
前記計測用画像ペアを用いて、被写体の第１の計測処理を実行する計測部と、
を有し、
前記画像ペア選定部は、前記第１の画像と前記第２の画像との組み合わせが互いに異なる複数の画像ペアの各々に対して、前記第１の画像または前記第２の画像において設定された測定座標に基づく前記被写体の第２の計測処理を実行することにより、前記画像ペア毎に計測値を算出し、
前記画像ペア選定部は、前記算出された複数の計測値から、前記複数の計測値の最小値以上かつ前記複数の計測値の最大値以下である基準値を算出し、
前記画像ペア選定部は、前記基準値に基づいて、前記複数の画像ペアから前記計測用画像ペアを選定する
ことを特徴とする計測装置。
【請求項２】
前記画像ペア選定部は、前記複数の画像ペアから、前記基準値に最も近い前記計測値の算出に使用された画像ペアを前記計測用画像ペアとして選定する
ことを特徴とする請求項１に記載の計測装置。
【請求項３】
前記画像ペア選定部は、前記画像ペア毎に前記第２の計測処理を複数回実行することにより、前記画像ペア毎かつ前記第２の計測処理毎に前記計測値を算出し、
前記画像ペア選定部は、前記第２の計測処理毎に、各画像ペアの計測値から前記基準値を算出し、
前記画像ペア選定部は、各第２の計測処理の前記基準値と、各画像ペアにおける各第２の計測処理の前記計測値との差分絶対値を算出し、かつ各画像ペアにおける複数の第２の計測処理の前記差分絶対値の和を算出し、
前記画像ペア選定部は、前記差分絶対値の和が最も小さい画像ペアを前記計測用画像ペアとして選定する
ことを特徴とする請求項１に記載の計測装置。
【請求項４】
前記画像ペア選定部は、前記画像ペア毎に前記第２の計測処理を複数回実行することにより、前記画像ペア毎かつ前記第２の計測処理毎に前記計測値を算出し、
前記画像ペア選定部は、前記第２の計測処理毎に、各画像ペアの計測値から前記基準値を算出し、
前記画像ペア選定部は、前記基準値に近い前記計測値がより多く算出された前記画像ペアを前記計測用画像ペアとして選定する
ことを特徴とする請求項１に記載の計測装置。
【請求項５】
前記複数の画像ペアは、基準画像ペアおよび参照画像ペアを含み、
前記基準画像ペアおよび前記参照画像ペアはそれぞれ、前記第１の画像および前記第２の画像の組み合わせで構成され、
前記画像ペア選定部は、前記基準画像ペアの前記第１の画像に対する、前記参照画像ペアの前記第１の画像のぶれ量を算出し、
前記画像ペア選定部は、当該ぶれ量に応じて、前記参照画像ペアの前記第１の画像における前記測定座標を補正する
ことを特徴とする請求項１に記載の計測装置。
【請求項６】
前記画像ペア選定部は、前記第２の計測処理として、前記被写体の寸法の計測処理または前記被写体までの距離の測定処理を行う
ことを特徴とする請求項１に記載の計測装置。
【請求項７】
第１の光学系と、
前記第１の光学系に対して視差を有するように配置された第２の光学系と、
前記第１の光学系を通った光が形成する被写体の第１の像、および前記第２の光学系を通った光が形成する前記被写体の第２の像が共通に結像される撮像領域を有し、前記第１の像を第１の撮像タイミングで撮像し、前記第１の像に基づく第１の画像を生成し、前記第２の像を第１の撮像タイミングと異なる第２の撮像タイミングで撮像し、前記第２の像に基づく第２の画像を生成する撮像部と、
を有する計測装置の作動方法であって、
複数の第１の撮像タイミングにおける撮像により生成された複数の第１の画像と、複数の第２の撮像タイミングにおける撮像により生成された複数の第２の画像とを取得する制御ステップと、
前記複数の第１の画像のうちの１つと、前記複数の第２の画像のうちの１つとの組み合わせで構成される計測用画像ペアを選定する画像ペア選定ステップと、
前記計測用画像ペアを用いて、被写体の第１の計測処理を実行する計測ステップと、
を有し、
前記画像ペア選定ステップは、
前記第１の画像と前記第２の画像との組み合わせが互いに異なる複数の画像ペアの各々に対して、前記第１の画像または前記第２の画像において設定された測定座標に基づく前記被写体の第２の計測処理を実行することにより、前記画像ペア毎に計測値を算出するステップと、
前記算出された複数の計測値から、前記複数の計測値の最小値以上かつ前記複数の計測値の最大値以下である基準値を算出するステップと、
前記基準値に基づいて、前記複数の画像ペアから前記計測用画像ペアを選定するステップと、
を含むことを特徴とする計測装置の作動方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、計測装置および計測装置の作動方法に関する。
【背景技術】
【０００２】
エンジン、タービン、および化学プラントなどの内部の傷および腐食の外観検査を非破壊で行うために工業用内視鏡が広く用いられている。傷および腐食のような不具合が発見された際、その程度に応じて対策方法を切り替える必要がある。そのため、傷および腐食の大きさを測定する計測機能を備えている工業用内視鏡がある。
【０００３】
例えば、特許文献１に示すように、計測内視鏡装置は、視差のある２個の光学系を備える。計測内視鏡装置は、それぞれの光学系により得られる光学像を同時に撮像する。計測内視鏡装置は、生成された２つの画像を用いて、ステレオ計測の原理に基づいて被写体の３次元座標および被写体の大きさを算出する。
【０００４】
特許文献２で示されるステレオ計測装置は、２つの異なる光路（第１の光路および第２の光路とよぶ）を通った光が形成する被写体の２つの像を撮像素子の共通の領域に結像させる光学系を備える。また、ステレオ計測装置は、２つの光路のうちのいずれか一方を通った光のみが形成する被写体像を撮像するように光路を切り替える光路切り替え手段を備える。
【０００５】
特許文献２のステレオ計測装置を用いて被写体の計測を行う場合、第１光路を通った光が形成する第１の被写体像に基づく撮像により画像（第１の画像とよぶ）が生成される。続いて、光路が切り替えられ、かつ第２光路を通った光が形成する第２の被写体像に基づく撮像により画像（第２の画像とよぶ）が生成される。第１の画像および第２の画像が有する視差に基づき、ステレオ計測の原理を用いて被写体の形状が計測される。
【０００６】
特許文献１の計測内視鏡装置では、２つの光路を通った光が形成する２つの被写体像は撮像素子の異なる領域に結像される。これに対して、特許文献２のステレオ計測装置では、２つの光路を通った光が形成する２つの被写体像は撮像素子の共通の領域に結像される。このため、特許文献２のステレオ計測装置では、撮像面積を大きくすることができ、かつ撮像画質を向上させることができる。
【０００７】
一方、特許文献２の手法では、第１の画像と第２の画像とを撮影する間に内視鏡が動くことにより、ステレオ計測のパラメータ（基線長など）に誤差が生じる。そのため、被写体の形状を正確に計測できない。これを解決する手法が特許文献３に開示されている。
【０００８】
特許文献３の内視鏡装置は、第１の画像と第２の画像とを交互に撮影する。２つの第１の画像間の位置ずれ量が所定のしきい値を下回るとき、内視鏡装置は装置のぶれがないと判断し、かつ計測処理を行う。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００４−４９６３８号公報
【特許文献２】特開２０１０−１２８３５４号公報
【特許文献３】特開２０１６−１４８９６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
特許文献３の内視鏡装置は、第１の画像を連続的に撮影し、かつ複数の第１の画像間のぶれ量が所定の閾値以下であるときに計測が実行可能であると判定する。このとき、内視鏡装置は、第２の画像を撮影し、かつ第１の画像および第２の画像を用いて計測を実行する。この判定において第１の画像間のぶれ量のみが使用されており、第２の画像が撮影されたタイミングにおけるぶれ量については考慮されていない。そのため、第１の画像間のぶれ量は小さいが、第２の画像を撮影するタイミングで予期せぬぶれが生じた場合には、内視鏡装置はそれを検知できない可能性がある。その結果、計測が実行可能であると内視鏡装置が判定し、予期せぬぶれから生じる誤差を含んだ計測結果がユーザに提供される恐れがある。
【００１１】
本発明は、計測精度の悪化を抑制することができる計測装置および計測装置の作動方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明は、第１の光学系と、前記第１の光学系に対して視差を有するように配置された第２の光学系と、前記第１の光学系を通った光が形成する被写体の第１の像、および前記第２の光学系を通った光が形成する前記被写体の第２の像が共通に結像される撮像領域を有し、前記第１の像を第１の撮像タイミングで撮像し、前記第１の像に基づく第１の画像を生成し、前記第２の像を第１の撮像タイミングと異なる第２の撮像タイミングで撮像し、前記第２の像に基づく第２の画像を生成する撮像部と、複数の第１の撮像タイミングにおける撮像により生成された複数の第１の画像と、複数の第２の撮像タイミングにおける撮像により生成された複数の第２の画像とを取得する制御部と、前記複数の第１の画像のうちの１つと、前記複数の第２の画像のうちの１つとの組み合わせで構成される計測用画像ペアを選定する画像ペア選定部と、前記計測用画像ペアを用いて、被写体の第１の計測処理を実行する計測部と、を有し、前記画像ペア選定部は、前記第１の画像と前記第２の画像との組み合わせが互いに異なる複数の画像ペアの各々に対して、前記第１の画像または前記第２の画像において設定された測定座標に基づく前記被写体の第２の計測処理を実行することにより、前記画像ペア毎に計測値を算出し、前記画像ペア選定部は、前記算出された複数の計測値から、前記複数の計測値の最小値以上かつ前記複数の計測値の最大値以下である基準値を算出し、前記画像ペア選定部は、前記基準値に基づいて、前記複数の画像ペアから前記計測用画像ペアを選定することを特徴とする計測装置である。
【００１３】
本発明の計測装置において、前記画像ペア選定部は、前記複数の画像ペアから、前記基準値に最も近い前記計測値の算出に使用された画像ペアを前記計測用画像ペアとして選定することを特徴とする。
【００１４】
本発明の計測装置において、前記画像ペア選定部は、前記画像ペア毎に前記第２の計測処理を複数回実行することにより、前記画像ペア毎かつ前記第２の計測処理毎に前記計測値を算出し、前記画像ペア選定部は、前記第２の計測処理毎に、各画像ペアの計測値から前記基準値を算出し、前記画像ペア選定部は、各第２の計測処理の前記基準値と、各画像ペアにおける各第２の計測処理の前記計測値との差分絶対値を算出し、かつ各画像ペアにおける複数の第２の計測処理の前記差分絶対値の和を算出し、前記画像ペア選定部は、前記差分絶対値の和が最も小さい画像ペアを前記計測用画像ペアとして選定することを特徴とする。
【００１５】
本発明の計測装置において、前記画像ペア選定部は、前記画像ペア毎に前記第２の計測処理を複数回実行することにより、前記画像ペア毎かつ前記第２の計測処理毎に前記計測値を算出し、前記画像ペア選定部は、前記第２の計測処理毎に、各画像ペアの計測値から前記基準値を算出し、前記画像ペア選定部は、前記基準値に近い前記計測値がより多く算出された前記画像ペアを前記計測用画像ペアとして選定することを特徴とする。
【００１６】
本発明の計測装置において、前記複数の画像ペアは、基準画像ペアおよび参照画像ペアを含み、前記基準画像ペアおよび前記参照画像ペアはそれぞれ、前記第１の画像および前記第２の画像の組み合わせで構成され、前記画像ペア選定部は、前記基準画像ペアの前記第１の画像に対する、前記参照画像ペアの前記第１の画像のぶれ量を算出し、前記画像ペア選定部は、当該ぶれ量に応じて、前記参照画像ペアの前記第１の画像における前記測定座標を補正することを特徴とする。
【００１７】
本発明の計測装置において、前記画像ペア選定部は、前記第２の計測処理として、前記被写体の寸法の計測処理または前記被写体までの距離の測定処理を行うことを特徴とする。
【００１８】
本発明は、第１の光学系と、前記第１の光学系に対して視差を有するように配置された第２の光学系と、前記第１の光学系を通った光が形成する被写体の第１の像、および前記第２の光学系を通った光が形成する前記被写体の第２の像が共通に結像される撮像領域を有し、前記第１の像を第１の撮像タイミングで撮像し、前記第１の像に基づく第１の画像を生成し、前記第２の像を第１の撮像タイミングと異なる第２の撮像タイミングで撮像し、前記第２の像に基づく第２の画像を生成する撮像部と、を有する計測装置の作動方法であって、複数の第１の撮像タイミングにおける撮像により生成された複数の第１の画像と、複数の第２の撮像タイミングにおける撮像により生成された複数の第２の画像とを取得する制御ステップと、前記複数の第１の画像のうちの１つと、前記複数の第２の画像のうちの１つとの組み合わせで構成される計測用画像ペアを選定する画像ペア選定ステップと、前記計測用画像ペアを用いて、被写体の第１の計測処理を実行する計測ステップと、を有し、前記画像ペア選定ステップは、前記第１の画像と前記第２の画像との組み合わせが互いに異なる複数の画像ペアの各々に対して、前記第１の画像または前記第２の画像において設定された測定座標に基づく前記被写体の第２の計測処理を実行することにより、前記画像ペア毎に計測値を算出するステップと、前記算出された複数の計測値から、前記複数の計測値の最小値以上かつ前記複数の計測値の最大値以下である基準値を算出するステップと、前記基準値に基づいて、前記複数の画像ペアから前記計測用画像ペアを選定するステップと、を含むことを特徴とする計測装置の作動方法である。
【発明の効果】
【００１９】
本発明によれば、計測装置および計測装置の作動方法は、計測精度の悪化を抑制することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１の実施形態の計測装置の構成を示すブロック図である。
【図２】本発明の第１の実施形態における第１の画像および第２の画像の取得シーケンスを示すタイミングチャートである。
【図３】本発明の第１の実施形態におけるステレオ計測の原理を説明するための図である。
【図４】本発明の第１の実施形態におけるステレオ計測の原理を説明するための図である。
【図５】本発明の第１の実施形態における計測の全体の手順を示すフローチャートである。
【図６】本発明の第１の実施形態における画像ペア取得処理の手順を示すフローチャートである。
【図７】本発明の第１の実施形態における画像ペア選定処理の手順を示すフローチャートである。
【図８】本発明の第１の実施形態における画像ペアの取得シーケンスを示すタイミングチャートである。
【図９】本発明の第１の実施形態における測定座標の設定例を示す図である。
【図１０】本発明の第１の実施形態における計測値の例を示す図である。
【図１１】本発明の第１の実施形態における画像ペア選定処理を説明するための図である。
【図１２】本発明の第１の実施形態の変形例における計測の全体の手順を示すフローチャートである。
【図１３】本発明の第１の実施形態の変形例における画像ペア取得および選定処理の手順を示すフローチャートである。
【図１４】本発明の第２の実施形態における画像ペア選定処理の手順を示すフローチャートである。
【図１５】本発明の第２の実施形態における画像ペア選定処理を説明するための図である。
【図１６】本発明の第２の実施形態の変形例における画像ペア選定処理を説明するための図である。
【図１７】本発明の参考形態の計測装置の構成を示すブロック図である。
【図１８】本発明の参考形態における計測の全体の手順を示すフローチャートである。
【図１９】本発明の参考形態における画像ペア取得処理の手順を示すフローチャートである。
【図２０】本発明の参考形態における計測処理の手順を示すフローチャートである。
【図２１】本発明の参考形態における測定座標の設定例を示す図である。
【図２２】本発明の参考形態における計測テーブルの例を示す図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照し、本発明の実施形態を説明する。
【００２２】
（第１の実施形態）
図１は、本発明の第１の実施形態の計測装置１０の構成を示す。例えば、計測装置１０は、計測対象の物体の内部に挿入される挿入部を含む内視鏡装置である。図１に示すように、計測装置１０は、第１の光学系１００、第２の光学系１０１、光路切替部１０２、結像光学系１０３、撮像素子１０４（撮像部）、コントローラ１０５、制御部１０６、フレームメモリ１０７、画像ペア選定部１０８、および計測部１０９を有する。
【００２３】
例えば、第１の光学系１００および第２の光学系１０１は、凹レンズと凸レンズとを組み合わせた対物レンズを有する。第２の光学系１０１は、第１の光学系１００に対して視差を有するように配置されている。つまり、第１の光学系１００および第２の光学系１０１は、視差方向に離間している。視差方向は、第１の光学系１００の光学中心（主点）と第２の光学系１０１の光学中心（主点）とを通る直線の方向である。第１の光学系１００に入射した光は第１の光路を通る。第２の光学系１０１に入射した光は第１の光路と異なる第２の光路を通る。第１の光学系１００は被写体の第１の像を形成し、かつ第２の光学系１０１は被写体の第２の像を形成する。
【００２４】
光路切替部１０２は、第１の像および第２の像のうちのいずれか一方のみが撮像素子１０４に結像されるように、第１の光路と第２の光路との間で光路を切り替える。つまり、光路切替部１０２は、第１の像および第２の像のうちのいずれか一方のみが撮像素子１０４の撮像領域に結像されるように、第１の光路および第２の光路のうちいずれか一方を撮像時の光路として設定する。光路切替部１０２は、第１の光路および第２の光路のうちいずれか一方を通る光のみを透過させ、かつ他方を通る光を遮蔽させるように構成されている。
【００２５】
例えば、光路切替部１０２は、第１の光路および第２の光路のうちいずれか一方のみに挿入される遮光板を含む。光路切替部１０２が第１の光路の光を透過させるとき、遮光板が第２の光路に挿入され、かつ第２の光路の光は遮蔽される。光路切替部１０２が第２の光路の光を透過させるとき、遮光板が第１の光路に挿入され、かつ第１の光路の光は遮蔽される。光路切替部１０２による光路の切替動作は、制御部１０６からの制御信号によって制御される。結像光学系１０３は、第１の光路を通った光と第２の光路を通った光とのいずれか一方に基づく被写体の像を撮像素子１０４の撮像領域に結像させる。第１の光路および第２の光路のうち撮像時の光路として設定された光路のみを通った光に基づく被写体の像が撮像素子１０４の撮像領域に結像される。
【００２６】
撮像素子１０４は、第１の光学系１００を通った光が形成する被写体の第１の像、および第２の光学系１０１を通った光が形成する被写体の第２の像が共通に結像される撮像領域を有する。撮像素子１０４は、第１の像を第１の撮像タイミングで撮像し、かつ第１の像に基づく第１の画像を生成する。撮像素子１０４は、第２の像を第１の撮像タイミングと異なる第２の撮像タイミングで撮像し、かつ第２の像に基づく第２の画像を生成する。第１の画像および第２の画像は、互いに視差を有する。撮像素子１０４は、互いに異なる複数の第１の撮像タイミングで第１の像を撮像し、かつ複数の第１の画像を生成する。撮像素子１０４は、互いに異なる複数の第２の撮像タイミングで第２の像を撮像し、かつ複数の第２の画像を生成する。撮像素子１０４は、第１の画像および第２の画像を制御部１０６に出力する。撮像素子１０４の動作は、制御部１０６からの制御信号によって制御される。
【００２７】
第１の光学系１００、第２の光学系１０１、光路切替部１０２、結像光学系１０３、および撮像素子１０４は、スコープ１２０（内視鏡）を構成する。例えば、内視鏡装置においてスコープ１２０は挿入部に配置される。
【００２８】
コントローラ１０５は、ユーザによって操作される操作部（ユーザインターフェース）である。例えば、操作部は、ボタン、スイッチ、キー、マウス、ジョイスティック、タッチパッド、トラックボール、およびタッチパネルの少なくとも１つである。コントローラ１０５は、「撮影開始」、「計測開始」、「撮影停止」、および「計測結果の取得」などの指示をユーザから受け付ける。コントローラ１０５は、ユーザから受け付けた指示に応じたコマンドを制御部１０６に出力する。
【００２９】
コントローラ１０５からのコマンドは制御部１０６に入力される。制御部１０６は、後述する各部の状態に応じて、コマンドに対応する制御信号を各部に送り、かつ計測のための一連の処理シーケンスを制御する。また、制御部１０６は、複数の第１の撮像タイミングにおける撮像により生成された複数の第１の画像と、複数の第２の撮像タイミングにおける撮像により生成された複数の第２の画像とを取得する。フレームメモリ１０７は、撮像素子１０４によって生成された第１の画像および第２の画像を記憶する。
【００３０】
フレームメモリ１０７は、揮発性または不揮発性のメモリとして構成される。例えば、フレームメモリ１０７は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、およびフラッシュメモリの少なくとも１つである。計測装置１０は、ハードディスクドライブを有してもよい。
【００３１】
画像ペア選定部１０８は、複数の第１の画像のうちの１つと、複数の第２の画像のうちの１つとの組み合わせで構成される計測用画像ペアを選定する。これにより、画像ペア選定部１０８は、計測に適した画像ペアを選定する。計測部１０９は、計測用画像ペアを用いて、被写体の第１の計測処理を実行する。計測部１０９は、第１の計測処理として、被写体の寸法の計測処理または被写体までの距離の測定処理を行う。例えば、被写体の寸法は、被写体上の任意の２点間の距離および被写体上の３点以上で構成される領域の面積等である。被写体までの距離（被写体距離）は、撮像素子１０４が配置されたスコープ１２０または撮像素子１０４から被写体までの距離である。計測部１０９は、２つの画像が有する視差を利用した三角測量によるステレオ計測を行う。計測に適した画像ペアを用いて第１の計測処理を実行することにより、計測部１０９は安定した計測精度を得ることができる。
【００３２】
具体的には、画像ペア選定部１０８は、第１の画像と第２の画像との組み合わせが互いに異なる複数の画像ペアの各々に対して、第１の画像または第２の画像において設定された測定座標に基づく被写体の第２の計測処理を実行することにより、画像ペア毎に計測値を算出する。これにより、画像ペア選定部１０８は、複数の計測値を算出する。各計測値は、複数の画像ペアのうちいずれか１つから算出される。画像ペア選定部１０８は、第２の計測処理として、被写体の寸法の計測処理または被写体までの距離の測定処理を行う。画像ペア選定部１０８は、三角測量によるステレオ計測を行う。画像ペア選定部１０８は、算出された複数の計測値から、複数の計測値の最小値以上かつ複数の計測値の最大値以下である基準値を算出する。画像ペア選定部１０８は、基準値に基づいて、複数の画像ペアから計測用画像ペアを選定する。
【００３３】
計測部１０９が実行する第１の計測処理および画像ペア選定部１０８が実行する第２の計測処理は、互いに異なっていてもよい。計測部１０９が第１の計測処理を実行する機能および画像ペア選定部１０８が第２の計測処理を実行する機能は、共通のモジュールとして構成されてもよい。
【００３４】
図１に示す例では、制御部１０６、画像ペア選定部１０８、および計測部１０９は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。例えば、プロセッサは、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、およびＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）の少なくとも１つである。例えば、論理回路は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）およびＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）の少なくとも１つである。制御部１０６、画像ペア選定部１０８、および計測部１０９は、１つまたは複数のプロセッサを含むことができる。制御部１０６、画像ペア選定部１０８、および計測部１０９は、１つまたは複数の論理回路を含むことができる。
【００３５】
計測装置１０のコンピュータが、制御部１０６、画像ペア選定部１０８、および計測部１０９の動作を規定する命令を含むプログラムを読み込み、かつ読み込まれたプログラムを実行してもよい。つまり、制御部１０６、画像ペア選定部１０８、および計測部１０９の機能はソフトウェアにより実現されてもよい。このプログラムは、例えばフラッシュメモリのような「コンピュータ読み取り可能な記録媒体」により提供されてもよい。また、上述したプログラムは、このプログラムが保存された記憶装置等を有するコンピュータから、伝送媒体を介して、あるいは伝送媒体中の伝送波により計測装置１０に伝送されてもよい。プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように、情報を伝送する機能を有する媒体である。また、上述したプログラムは、前述した機能の一部を実現してもよい。さらに、上述したプログラムは、前述した機能をコンピュータに既に記録されているプログラムとの組合せで実現できる差分ファイル（差分プログラム）であってもよい。
【００３６】
図２は、第１の画像および第２の画像の取得シーケンスを示す。図２における横軸は時刻を示す。
【００３７】
時刻ｔ１よりも前は、撮像時の光路が第１の光路に設定され、かつ第１の画像が連続的に取得される。時刻ｔ１において、撮像時の光路が第１の光路から第２の光路に切り替わる。その後、第２の画像２００が取得される。時刻ｔ１よりも後の時刻ｔ２において、撮像時の光路が第２の光路から第１の光路に切り替わる。その後、第１の画像が再度、連続的に取得される。
【００３８】
互いに近い時刻で取得された第１の画像および第２の画像が画像ペアを構成する。図２に示す例では、光路が切り替わる時刻ｔ２の直後に取得された第１の画像２０１と、その時刻ｔ２の直前に取得された第２の画像２００とが画像ペアを構成する。光路が切り替わる時刻ｔ１の直前に取得された第１の画像２０２と、その時刻ｔ１の直後に取得された第２の画像２００とが画像ペアを構成してもよい。光路が繰り返し切り替わることにより、複数の画像ペアが取得される。
【００３９】
ステレオ計測の原理を説明する。図３は、第１の画像および第２の画像における２次元座標を示す。第１の画像３００において、被写体上の計測位置を示す測定座標ｐ（ｕ，ｖ）が設定される。測定座標ｐ（ｕ，ｖ）と対応する対応点座標ｐ’（ｕ’，ｖ’）が第２の画像３０１に設定される。対応点座標ｐ’（ｕ’，ｖ’）は、第２の画像３０１において測定座標ｐ（ｕ，ｖ）と同一の被写体位置を示す。
【００４０】
図４は、実空間における３次元座標を示す。計測対象である被写体位置Ｐの座標は（Ｘ，Ｙ，Ｚ）である。図４において、ＸＹＺ座標系およびＸ’Ｙ’Ｚ’座標系が示されている。ＸＹＺ座標系は、第１の光学系１００の光学中心を原点とする座標系である。Ｘ’Ｙ’Ｚ’座標系は、第２の光学系１０１の光学中心を原点とする座標系である。被写体位置Ｐの座標は、ＸＹＺ座標系の座標として示されている。第１の画像４００の中心を原点とするＵＶ座標系における測定座標は（ｕ，ｖ）である。第２の画像４０１の中心を原点とするＵ’Ｖ’座標系における対応点座標は（ｕ’，ｖ’）である。画像ペア選定部１０８および計測部１０９は、第１の画像４００および第２の画像４０１を用いてステレオ計測を行う。
【００４１】
視差量ｄは式（１）により与えられる。例えば、視差量ｄは、画素数として与えられる。
ｄ＝ｕ−ｕ’  ・・・（１）
【００４２】
画像ペア選定部１０８および計測部１０９は、三角測量の原理に基づく式（２）、式（３）、および式（４）を用いて、任意の測定座標に対応する物理座標（３次元座標）を求めることができる。各式において、ｂは基線長、すなわち第１の光学系１００の光学中心と第２の光学系１０１の光学中心との距離である。ｆは、焦点距離である。δは、撮像素子１０４の画素サイズである。算出されたＺの値は被写体距離を示す。画像ペア選定部１０８および計測部１０９は、複数の物理座標を用いて２点間の距離および領域の面積等を算出することができる。
【００４３】
【数１】
2019035674.tif 000003
【００４４】
第１の実施形態において、測定座標は第１の画像に設定される。測定座標が第２の画像に設定され、かつその測定座標に対応する対応点座標が第１の画像に設定されてもよい。
【００４５】
図５から図７は、第１の実施形態における計測の手順を示す。図５から図７を用いて計測の詳細を説明する。
【００４６】
図５は、計測の全体の手順を示す。コントローラ１０５が計測開始の指示をユーザから受け付けることにより、図５に示す処理が開始される。計測が開始された後、画像ペア取得処理（ステップＳ１００）が実行されることにより、複数の画像ペアが取得される。ステップＳ１００の後、画像ペア選定処理（ステップＳ１１０）が実行されることにより、複数の画像ペアから１つの画像ペアが計測用画像ペアとして選定される。
【００４７】
ステップＳ１１０の後、計測部１０９は、ステップＳ１１０において選定された計測用画像ペアを構成する第１の画像および第２の画像に基づいて計測処理（第１の計測処理）を実行する。これにより、計測部１０９は、被写体の寸法または被写体までの距離を算出する。例えば、表示部（モニタ）が計測装置１０に接続され、かつ第１の画像が表示部に出力される。表示部は第１の画像を表示する。第１の画像および第２の画像が表示部に出力され、かつ表示部が第１の画像および第２の画像を表示してもよい。ユーザは、コントローラ１０５を操作し、かつ表示部に表示された第１の画像上で測定座標を指示する。コントローラ１０５は、測定座標の指示をユーザから受け付け、かつその測定座標の情報を制御部１０６に出力する。制御部１０６は、測定座標の情報を計測部１０９に出力する。計測部１０９は、計測用画像ペアの第１の画像に、ユーザによって指示された測定座標を設定する。計測部１０９は、図３および図４に示すステレオ計測により被写体の寸法または被写体までの距離の計測値を算出する。計測部１０９は、計測結果を制御部１０６に出力する（ステップＳ１２０）。ステップＳ１２０における処理が行われることにより、計測が終了する。
【００４８】
制御部１０６は計測結果を表示部に出力し、かつ表示部は計測結果を表示してもよい。これにより、ユーザは、計測結果を確認することができる。
【００４９】
図６は、画像ペア取得処理（ステップＳ１００）の手順を示す。計測が開始されたとき、撮像時の光路は第１の光路に設定されている。第１の光学系１００を通った光に基づく被写体の第１の像が撮像素子１０４の撮像領域に結像される。撮像素子１０４は、第１の像を複数回撮像し、かつ第１の像に基づく複数の第１の画像を生成する。第１の像が撮像されたタイミングが第１の撮像タイミングである。制御部１０６は、複数の第１の画像を撮像素子１０４から取得し、かつ複数の第１の画像をフレームメモリ１０７に記録する（ステップＳ１０００）。
【００５０】
ステップＳ１０００の後、制御部１０６は、フレームメモリ１０７に記憶された複数の第１の画像のうちの少なくとも２枚の連続する第１の画像に基づいて、ぶれ検出を行う。複数の画像間のぶれ量の算出は、公知の指標を用いたテンプレートマッチングにより行われる。例えば、ＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ  Ｃｏｒｒｅｌａｔｉｏｎ）、およびＺＮＣＣ（Ｚｅｒｏ  ｍｅａｎｓ  Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ  Ｃｏｒｒｅｌａｔｉｏｎ）のような指標を使用することができる。制御部１０６は、第１の画像から算出されたぶれ量と所定のしきい値とを比較することにより、ぶれがあるか否かを判定する。これにより、制御部１０６は、光路を切り替えることができるか否かを判定する（ステップＳ１００１）。
【００５１】
ぶれ量がしきい値よりも小さい場合、制御部１０６は、ぶれがないと判定する。その場合、制御部１０６は、光路を切り替えることができると判定する。ぶれ量がしきい値よりも大きい場合、制御部１０６は、ぶれがあると判定する。その場合、制御部１０６は、光路を切り替えることができないと判定する。
【００５２】
ステップＳ１００１において、ぶれがある、すなわち光路を切り替えることができないと制御部１０６が判定した場合、ステップＳ１０００における処理が実行される。ステップＳ１００１において、ぶれがない、すなわち光路を切り替えることができると制御部１０６が判定した場合、制御部１０６は、光路切替部１０２に、光路の切替を指示し、かつ第２の光路を設定させる。これにより、第２の光路上の遮光板が第２の光路から除去され、かつ第１の光路上に遮光板が挿入される。第２の光学系１０１を通った光に基づく被写体の第２の像が撮像素子１０４の撮像領域に結像される（ステップＳ１００２）。
【００５３】
ステップＳ１００２の後、撮像素子１０４は、第２の像を１回撮像し、かつ第２の像に基づく１つの第２の画像を生成する。第２の像が撮像されたタイミングが第２の撮像タイミングである。制御部１０６は、第２の画像を撮像素子１０４から取得し、かつ第２の画像をフレームメモリ１０７に記録する（ステップＳ１００３）。
【００５４】
ステップＳ１００３の後、制御部１０６は、光路切替部１０２に、光路の切替を指示し、かつ第１の光路を設定させる。これにより、第１の光路上の遮光板が第１の光路から除去され、かつ第２の光路上に遮光板が挿入される。第１の光学系１００を通った光に基づく被写体の第１の像が撮像素子１０４の撮像領域に結像される（ステップＳ１００４）。
【００５５】
ステップＳ１００４の後、撮像素子１０４は、第１の像を１回撮像し、かつ第１の像に基づく１つの第１の画像を生成する。制御部１０６は、第１の画像を撮像素子１０４から取得する。制御部１０６は、取得された第１の画像をフレームメモリ１０７に記録する（ステップＳ１００５）。
【００５６】
ステップＳ１００５の後、制御部１０６は、ステップＳ１００５において取得された第１の画像と、ステップＳ１００３において取得された第２の画像とを画像ペアとして関連付ける。これにより、制御部１０６は、画像ペアを設定する（ステップＳ１００６）。ステップＳ１００１においてぶれがないと判定された場合に画像ペアが取得されることにより、第１の画像および第２の画像の撮像タイミング間における撮像素子１０４のぶれがなるべく小さい状態で画像ペアを取得できる可能性が高まる。
【００５７】
ステップＳ１００６の後、制御部１０６は、フレームメモリ１０７に記録された画像ペアの数ｎが、所定のしきい値である最大ペア数ｎ＿ｍａｘに達しているか否かを判定する（ステップＳ１００７）。最大ペア数ｎ＿ｍａｘは、２以上の整数である。
【００５８】
ステップＳ１００７において、画像ペアの数ｎが最大ペア数ｎ＿ｍａｘに達していないと制御部１０６が判定した場合、ステップＳ１０００における処理が実行される。ステップＳ１００７において、画像ペアの数ｎが最大ペア数ｎ＿ｍａｘに達したと制御部１０６が判定した場合、画像ペア取得処理が終了する。
【００５９】
図６に示す処理では、光路が切り替わる前に取得された複数の第１の画像から検出されたぶれ量に基づいて、画像ペアを取得するか否かが判定される。画像ペアの取得方法は、これに限らない。例えば、特許文献３に開示されている方法と同様に、ステップＳ１０００において取得された第１の画像と、ステップＳ１００５において取得された第１の画像とから検出されたぶれ量に基づいて、画像ペアを使用するか否かが判定されてもよい。例えば、ぶれがないと判定された場合、画像ペアは画像ペア選定処理で使用される。ぶれがあると判定された場合、画像ペアは画像ペア選定処理で使用されない。
【００６０】
図８は、画像ペアの取得シーケンスを示す。図８における横軸は時刻を示す。図８において、第１の画像の取得シーケンスの一部は省略されている。
【００６１】
図８において、５つの画像ペアが取得される様子が示されている。ステップＳ１０００からステップＳ１００７における処理が繰り返し実行されることにより、複数の画像ペアが取得される。画像ペアを構成する第１の画像および第２の画像の組み合わせは、複数の画像ペアで互いに異なる。画像ペアを構成する第１の画像および第２の画像は、互いに視差を有する。また、画像ペアを構成する第１の画像および第２の画像の撮像タイミングは互いに異なる。そのため、第１の画像および第２の画像には、視差に加えて未知のぶれが存在する可能性がある。また、５つの画像ペアを構成する第１の画像の撮像タイミングは互いに異なり、かつ５つの画像ペアを構成する第２の画像の撮像タイミングは互いに異なる。そのため、互いに異なる２つの画像ペアを構成する２つの第１の画像には未知のぶれが存在する可能性がある。同様に、互いに異なる２つの画像ペアを構成する２つの第２の画像には未知のぶれが存在する可能性がある。
【００６２】
図７は、画像ペア選定処理（ステップＳ１１０）の手順を示す。画像ペア選定部１０８は、各画像ペアの第１の画像に測定座標を設定する（ステップＳ１１００）。
【００６３】
図９は、測定座標の設定例を示す。以下では、５つの画像ペアが取得された場合の例を説明する。５つの画像ペアは、番号ｎで識別される。番号ｎは、１から５のいずれか１つである。例えば、番号ｎが１である画像ペアは、画像ペア（ｎ＝１）と記載される。画像ペア（ｎ＝１）の第１の画像は、第１の画像（ｎ＝１）と記載される。第１の画像９０１（ｎ＝１）内の被写体９０２上に測定座標ｐ０，ｐ１，ｐ２，ｐ３，ｐ４が設定される。例えば、測定座標ｐ０は、第１の画像９０１（ｎ＝１）の中心に設定される。測定座標ｐ１，ｐ２，ｐ３，ｐ４は、測定座標ｐ０の周囲に設定される。同様に、他の画像ペアの第１の画像（ｎ＝２，３，４，５）において、測定座標ｐ０，ｐ１，ｐ２，ｐ３，ｐ４が設定される。
【００６４】
上述したように、互いに異なる２つの画像ペアを構成する２つの第１の画像には未知のぶれが存在する可能性がある。そのため、画像ペア選定部１０８は、各第１の画像における測定座標を被写体上の同等の位置に設定するための処理を実行する。以下では、その処理について説明する。
【００６５】
複数の画像ペアのうちいずれか１つは基準画像ペアに設定される。基準画像ペアを除く複数の画像ペアのうちいずれか１つは参照画像ペアに設定される。つまり、複数の画像ペアは、基準画像ペアおよび参照画像ペアを含む。基準画像ペアおよび参照画像ペアはそれぞれ、第１の画像および第２の画像の組み合わせで構成される。例えば、基準画像ペアは、番号ｎが１である画像ペア（ｎ＝１）である。参照画像ペアは、番号ｎが２から４である画像ペア（ｎ＝２，３，４）である。
【００６６】
画像ペア選定部１０８は、基準画像ペアの第１の画像に対する、参照画像ペアの第１の画像のぶれ量を算出する。例えば、画像ペア選定部１０８は、第１の画像（ｎ＝１）に対する第１の画像（ｎ＝２）のぶれ量を算出する。ぶれ量は、前述した一般的なテンプレートマッチングにより算出できる。画像ペア選定部１０８は、算出されたぶれ量に応じて、参照画像ペアの第１の画像における測定座標を補正する。例えば、画像ペア選定部１０８は、第１の画像（ｎ＝２）における各測定座標が第１の画像（ｎ＝１）における各測定座標と同一になるように測定座標を第１の画像（ｎ＝２）に設定する。その後、画像ペア選定部１０８は、第１の画像（ｎ＝１）に対する第１の画像（ｎ＝２）のぶれ量に基づいて、第１の画像（ｎ＝２）における各測定座標を補正する。これにより、複数の画像ペアの第１の画像間のぶれの影響が低減される。その結果、画像ペア選定部１０８は、より計測に適した画像ペアを選定することができる。画像ペア選定部１０８は、第１の画像（ｎ＝３）および第１の画像（ｎ＝４）における各測定座標も上記と同様の処理により補正する。
【００６７】
ステップＳ１１００の後、画像ペア選定部１０８は、複数の画像ペアの各測定座標における計測処理（第２の計測処理）を実行する（ステップＳ１１０１）。
【００６８】
ステップＳ１１０１において画像ペア選定部１０８は、画像ペア毎に第２の計測処理を複数回実行することにより、画像ペア毎かつ第２の計測処理毎に計測値を算出する。例えば、第２の計測処理において画像ペア選定部１０８は、ステレオ計測により２点間距離を算出する。
【００６９】
図１０は、ステップＳ１１０１における計測処理により算出された計測値の例を示す。計測値は２点間距離ｄである。例えば、２点間距離ｄ（ｐ０，ｐ１）は、測定座標ｐ０および測定座標ｐ１の間の実空間上の距離である。図１０に示す例では、画像ペア選定部１０８は、５つの画像ペア（ｎ＝１，２，３，４，５）の各々に対して、２点間距離を算出する第２の計測処理を６回実行する。したがって、５つの画像ペアの各々に対して、６つの計測値が得られる。図１０に示す例では、画像ペア毎に、２点間距離ｄ（ｐ０，ｐ１）、２点間距離ｄ（ｐ０，ｐ２）、２点間距離ｄ（ｐ０，ｐ３）、２点間距離ｄ（ｐ０，ｐ４）、２点間距離ｄ（ｐ１，ｐ３）、および２点間距離ｄ（ｐ２，ｐ４）が得られる。第２の計測処理で使用される測定座標の組み合わせは第２の計測処理毎に異なる。
【００７０】
ステップＳ１１０１の後、画像ペア選定部１０８は、第２の計測処理毎に、各画像ペアの計測値から基準値を算出する（ステップＳ１１０２）。ステップＳ１１０２の後、画像ペア選定部１０８は、各第２の計測処理の基準値と、各画像ペアにおける各第２の計測処理の計測値との差分絶対値を算出し、かつ各画像ペアにおける複数の第２の計測処理の差分絶対値の和を算出する（ステップＳ１１０３）。
【００７１】
ステップＳ１１０３の後、画像ペア選定部１０８は、複数の画像ペアから、基準値に最も近い計測値の算出に使用された画像ペアを計測用画像ペアとして選定する。具体的には、画像ペア選定部１０８は、差分絶対値の和が最も小さい画像ペアを計測用画像ペアとして選定する（ステップＳ１１０４）。ステップＳ１１０４における処理が実行されることにより、画像ペア選定処理が終了する。
【００７２】
図１１を参照し、ステップＳ１１０２からステップＳ１１０４における処理の詳細を説明する。ステップＳ１１０２において画像ペア選定部１０８は、各画像ペアにおける同じ計測処理の計測値に基づいて基準値を算出する。例えば、画像ペア選定部１０８は、５つの２点間距離ｄ（ｐ０，ｐ１）に基づいて基準値を算出する。つまり、画像ペア選定部１０８は、図１１における横方向に並ぶ５つの計測値に基づいて基準値を算出する。図１１に示す例では、基準値は中央値である。５つの２点間距離ｄ（ｐ０，ｐ１）は、７．２、７．３、７．６、７．８、および６．７である。これらの中央値は７．３である。画像ペア選定部１０８は、他の２点間距離についても同様に中央値を算出する。
【００７３】
ステップＳ１１０３において画像ペア選定部１０８は、基準値と計測値との差分絶対値を画像ペア毎かつ第２の計測処理毎に算出する。例えば、画像ペア（ｎ＝２）における２点間距離ｄ（ｐ０，ｐ１）は７．３である。したがって、基準値すなわち中央値である７．３と、計測値すなわち２点間距離ｄ（ｐ０，ｐ１）である７．３との差分絶対値は０である。同様に画像ペア選定部１０８は、画像ペア（ｎ＝２）における各２点間距離と各中央値との差分絶対値を算出する。１つの画像ペアに対して６つの２点間距離および６つの中央値が算出されるため、画像ペア毎に６つの差分絶対値が算出される。画像ペア選定部１０８は、画像ペア毎に６つの差分絶対値の和を算出する。例えば、画像ペア（ｎ＝２）の６つの計測値は、７．３、５．９、６．９、６．８、１３．６、および１１．８である。各計測値に対応する中央値は、７．３、５．８、６．９、６．８、１３．６、および１１．８である。したがって、画像ペア（ｎ＝２）の６つの差分絶対値は、０、０．１、０、０、０、および０である。そのため、６つの差分絶対値の和は０．１である。
【００７４】
ステップＳ１１０４において画像ペア選定部１０８は、５つの画像ペア（ｎ＝１，２，３，４，５）のうち差分絶対値の和が最も小さい画像ペアを計測用画像ペアとして選定する。図１１に示す例では、画像ペア（ｎ＝１，２，３，４，５）の差分絶対値の和はそれぞれ、０．４、０．１、０．７、１．９、および２．４である。画像ペア（ｎ＝２）の差分絶対値の和が最も小さい。そのため、画像ペア選定部１０８は、画像ペア（ｎ＝２）を計測用画像ペアとして選定する。
【００７５】
画像ペアの取得タイミングで大きなぶれが発生している場合、計測値が基準値から大きく外れる。差分絶対値の和を算出することにより、画像ペア選定部１０８は、基準値から大きく外れた計測値の影響を除いた画像ペアの尤もらしさを指標として算出することができる。計測用画像ペアが選定された後、計測用画像ペアとして選定された画像ペアを除く画像ペアはフレームメモリ１０７から破棄されてもよい。
【００７６】
測定座標は、図９に示す例に限らない。例えば、第１の画像において複数の測定座標がグリッド状かつ密に設定されてもよい。これにより、計測精度のさらなる安定化が期待できる。また、ユーザが画像ペアの選定のための第２の計測処理に使用される測定座標を指定できてもよい。これにより、ユーザが注目する被写体位置における計測精度のさらなる安定化が期待できる。
【００７７】
画像ペアの選定のための計測値は２点間距離に限らない。計測値は、測定座標の設定方法に応じて適宜変更できる。例えば、計測値は、複数の測定座標で囲まれた任意の領域の面積であってもよい。Ｚ方向のぶれ量が、無視できるほど小さいと予め分かっている場合には、計測値は、測定座標における被写体距離（Ｚ座標）であってもよい。計算の簡略化のために、被写体距離の代わりに、第１の画像および第２の画像の間の視差量が計測値として使用されてもよい。測定座標における視差量は、前述した式（１）により算出される。
【００７８】
基準値は中央値に限らない。基準値は、平均値および最頻値等であってもよい。基準値の算出において、他の計測値から大きく外れた計測値は使用されなくてもよい。
【００７９】
上記の例では、計測値の解析結果に基づいて複数の画像ペアから１つの画像ペアが計測用画像ペアとして選定される。しかし、他の画像ペアと有意な差がある画像ペアが２つ以上ある場合、画像ペア選定部１０８は、計測値とそれ以外の指標との組み合わせに基づいて計測用画像ペアを選定してもよい。例えば、取得時刻がより新しい画像を含む画像ペアが選定されてもよい。
【００８０】
上記のように、画像ペア選定部１０８は、画像ペア毎に算出された基準値に基づいて、複数の画像ペアから計測用画像ペアを選定する。予期せぬぶれが生じたときに撮影された第２の画像を含む画像ペアが取得された場合でも画像ペア選定部１０８は、その影響が除外された、計測に適した画像ペアを選定することができる。したがって、計測装置１０は、計測精度の悪化を抑制することができる。
【００８１】
画像ペアの選定のためのユーザによる操作は不要である。そのため、計測装置１０は、通常のステレオ計測における操作性と同様の操作性をユーザに提供することができる。
【００８２】
基準値に最も近い計測値の算出に使用された画像ペアが計測用画像ペアとして選定される。そのため、画像ペア選定部１０８は、ぶれの影響により基準値から大きく外れた計測値の算出に使用された画像ペアの選定を避けることができる。
【００８３】
画像ペア選定部１０８は、基準画像ペアの第１の画像に対する、参照画像ペアの第１の画像のぶれ量を算出する。画像ペア選定部１０８は、そのぶれ量に応じて、参照画像ペアの第１の画像における測定座標を補正する。そのため、画像ペア選定部１０８は、より計測に適した画像ペアを選定することができる。
【００８４】
（第１の実施形態の変形例）
図６に示す画像ペア取得処理では５つの画像ペアが取得され、図７に示す画像ペア選定処理では５つの画像ペアが使用される。適切なペア数は、被写体および撮影シーンに応じて異なる場合がある。例えば、ぶれが生じにくい被写体または撮影シーンでは、画像ペアの数は少なくてもよい。一方、風が吹いている場合には、画像にぶれが発生しやすい。そのため、画像ペアの数は多いほうがよい。第１の実施形態の変形例では、被写体および撮影シーンに応じて、取得される画像ペアの数が変化する。
【００８５】
図１２および図１３は、第１の実施形態の変形例における計測の手順を示す。図１２および図１３を用いて計測の詳細を説明する。
【００８６】
図１２は、計測の全体の手順を示す。コントローラ１０５が計測開始の指示をユーザから受け付けることにより、図１２に示す処理が開始される。計測が開始された後、画像ペア取得および選定処理（ステップＳ１３０）が実行されることにより、複数の画像ペアが取得され、かつ複数の画像ペアから１つの画像ペアが計測用画像ペアとして選定される。ステップＳ１３０の後、ステップＳ１２０における処理が実行される。この処理は、図５に示すステップＳ１２０における処理と同様である。
【００８７】
図１３は、画像ペア取得および選定処理（ステップＳ１３０）の手順を示す。図１３に示すように、ステップＳ１０００からステップＳ１００６における処理が実行される。図１３に示すステップＳ１０００からステップＳ１００６における処理はそれぞれ、図６に示すステップＳ１０００からステップＳ１００６における処理と同様である。
【００８８】
ステップＳ１００６の後、制御部１０６は、フレームメモリ１０７に記録された画像ペアの数ｎが、所定のしきい値ｔｈｒに達しているか否かを判定する（ステップＳ１３００）。しきい値ｔｈｒは、２以上の整数である。しきい値ｔｈｒは、設計的に定められる。
【００８９】
ステップＳ１３００において、画像ペアの数ｎがしきい値ｔｈｒに達していないと制御部１０６が判定した場合、ステップＳ１０００における処理が実行される。ステップＳ１３００において、画像ペアの数ｎがしきい値ｔｈｒに達したと制御部１０６が判定した場合、ステップＳ１１００における処理が実行される。図１３に示すように、ステップＳ１１００からステップＳ１１０３における処理が実行される。図１３に示すステップＳ１１００からステップＳ１１０３における処理はそれぞれ、図７に示すステップＳ１１００からステップＳ１１０３における処理と同様である。
【００９０】
ステップＳ１１０３の後、制御部１０６は、終了条件が満たされるか否かを判定する（ステップＳ１３０１）。
【００９１】
例えば、２つの画像ペアが取得される場合、２つの画像ペア間の各計測値の差分絶対値の和が所定の値以下であることが終了条件である。例えば、画像ペア毎に６つの計測値が算出された場合、計測値毎に２つの画像ペア間の差分絶対値が算出される。６つの差分絶対値の和が所定の値以下である場合、終了条件が満たされる。
【００９２】
３つ以上の画像ペアが取得される場合、新たに取得された画像ペアから算出された計測値が、以前に取得された各画像ペアから算出された計測値と同様であることが終了条件である。例えば、新たな計測値が以前の計測値の最大値と最小値との範囲内に含まれることが終了条件である。
【００９３】
ステップＳ１３０１において、終了条件が満たされないと制御部１０６が判定した場合、ステップＳ１０００における処理が実行される。つまり、終了条件が満たされるまで、画像ペアの取得が繰り返される。ステップＳ１３０１において、終了条件が満たされたと制御部１０６が判定した場合、ステップＳ１１０４における処理が実行される。図１３に示すステップＳ１１０４における処理は、図７に示すステップＳ１１０４における処理と同様である。
【００９４】
実装されるメモリ容量の制約等により、記録可能な画像ペアの数に制限がある場合がある。終了条件が満たされないと判定されたとき、計測値の多くが想定範囲から外れる画像ペアはフレームメモリ１０７から破棄されてもよい。
【００９５】
上記のように、ステップＳ１３０１において制御部１０６は、第１の画像ペアから算出された第１の計測値が、第１の画像ペアよりも前に取得された第２の画像ペアから算出された第２の計測値に近いか否かを判定する。複数の画像ペアは、第１の画像ペアおよび第２の画像ペアを含む。第１の計測値が第２の計測値に近くないと制御部１０６が判定した場合、撮像素子１０４は新たな第１の画像および第２の画像を生成し、かつ制御部１０６はその新たな第１の画像および第２の画像を取得する。これにより、計測装置１０は、被写体および撮影シーンによらず、計測精度の悪化を抑制することができる。
【００９６】
（第２の実施形態）
図１に示す計測装置１０を使用して本発明の第２の実施形態を説明する。第２の実施形態において画像ペア選定部１０８は、画像ペア毎に第２の計測処理を複数回実行することにより、画像ペア毎かつ第２の計測処理毎に計測値を算出する。画像ペア選定部１０８は、第２の計測処理毎に、各画像ペアの計測値から基準値を算出する。画像ペア選定部１０８は、基準値に近い計測値がより多く算出された画像ペアを計測用画像ペアとして選定する。
【００９７】
第２の実施形態において、第１の実施形態における図７に示す処理は、図１４に示す処理に変更される。図１４は、画像ペア選定処理（ステップＳ１１０）の手順を示す。図１４に示す処理について、図７に示す処理と異なる点を説明する。
【００９８】
図１４に示すように、ステップＳ１１００からステップＳ１１０３における処理が実行される。図１４に示すステップＳ１１００からステップＳ１１０３における処理はそれぞれ、図７に示すステップＳ１１００からステップＳ１１０３における処理と同様である。
【００９９】
ステップＳ１１０３の後、画像ペア選定部１０８は、複数の画像ペアから、基準値に最も近い計測値の算出に使用された画像ペアを計測用画像ペアとして選定する。具体的には、画像ペア選定部１０８は、基準値に近い計測値がより多く算出された画像ペアを計測用画像ペアとして選定する（ステップＳ１１１０）。ステップＳ１１１０における処理が実行されることにより、画像ペア選定処理が終了する。
【０１００】
図１５を参照し、ステップＳ１１１０における処理の詳細を説明する。中央値および差分絶対値の算出処理は、第１の実施形態における処理と同様である。図１５に示す例では、画像ペア（ｎ＝２）の６つの計測値は、７．３、５．９、６．９、６．８、１３．６、および１１．８である。各計測値に対応する中央値は、７．３、５．８、６．９、６．８、１３．６、および１１．８である。したがって、画像ペア（ｎ＝２）の６つの差分絶対値は、０、０．１、０、０、０、および０である。
【０１０１】
ステップＳ１１１０において画像ペア選定部１０８は、差分絶対値がしきい値以下であるか否かを画像ペア毎に判定する。例えば、しきい値は０である。画像ペア選定部１０８は、差分絶対値がしきい値以下である計測値の数を画像ペア毎にカウントする。以下では、この処理を投票と呼ぶ。画像ペア（ｎ＝２）の６つの差分絶対値のうち５つがしきい値以下である。そのため、カウント数すなわち投票結果は５である。画像ペア選定部１０８は、カウント数が最も大きい画像ペアを計測用画像ペアとして選定する。図１５に示す例では、画像ペア（ｎ＝１，２，３，４，５）のカウント数はそれぞれ、１、５、２、０、および０である。画像ペア（ｎ＝２）のカウント数５が最も大きい。そのため、画像ペア選定部１０８は、画像ペア（ｎ＝２）を計測用画像ペアとして選定する。
【０１０２】
第１の実施形態では、差分絶対値の和に基づいて計測用画像ペアが選定される。仮に１つの計測値が基準値と著しく異なり、かつその計測値以外の計測値が妥当である場合、差分絶対値の和が大きくなる場合がある。その結果、多くの計測値が妥当である画像ペアが計測用画像ペアとして選定されない可能性がある。
【０１０３】
第２の実施形態では、上記の投票により、画像ペア選定部１０８は、より多くの計測値が妥当である画像ペアを計測用画像ペアとして選定することができる。画像ペア選定部１０８は、より計測に適した画像ペアを選定することができる。
【０１０４】
計測装置１０は、第１の実施形態における画像ペア選定処理と第２の実施形態における画像ペア選定処理とを切り替えることができてもよい。計測装置１０は、撮影シーンの要求に応じて、適用される処理を選択すればよい。
【０１０５】
（第２の実施形態の変形例）
上記の処理では、画像ペア選定処理により１つの画像ペアが計測用画像ペアとして選定される。第２の実施形態の変形例では、複数の画像ペアが選定され、かつその後の処理に使用される。
【０１０６】
図１６は、第２の実施形態における画像ペア選定処理の結果を示す。画像ペア（ｎ＝１，２）の６つの計測値の全てが中央値と一致する。そのため、画像ペア（ｎ＝１）および画像ペア（ｎ＝２）のカウント数すなわち投票結果は６である。画像ペア（ｎ＝１）および画像ペア（ｎ＝２）のカウント数６が最も大きい。そのため、画像ペア選定部１０８は、画像ペア（ｎ＝１）および画像ペア（ｎ＝２）を選定する。
【０１０７】
複数の画像ペアが選定されたときに実行される処理の第１の例を説明する。画像ペア選定部１０８は、選定された複数の画像ペアを処理対象として、さらに第２の画像ペア選定処理を実行する。例えば、画像ペア選定部１０８は、選定された複数の画像ペアのうち、取得時刻がより新しい画像を含む画像ペアを計測用画像ペアとして選定する。画像ペア選定部１０８は、選定された複数の画像ペアのうち、画質がより良い画像を含む画像ペアを計測用画像ペアとして選定する。例えば、画質は、画像のコントラスト等である。計測精度が同等となる複数の画像のうち、より画質が良い画像ペアを使用することにより、ユーザビリティを向上させることができる。
【０１０８】
複数の画像ペアが選定されたときに実行される処理の第２の例を説明する。選定された複数の画像ペアのうちいずれか１つが測定座標の設定のための第１の計測用画像ペアに設定される。第１の計測用画像ペアがユーザに提示される、すなわち表示部に表示される。計測部１０９は、第１の計測用画像ペアを用いて、ユーザによって指示された測定座標に基づいて第１の計測処理を実行することにより、１つの第１の計測値を算出する。また、計測部１０９は、選定された複数の画像ペアのうち、第１の計測用画像ペアを除く第２の計測用画像ペアの第１の画像に対して、第１の計測用画像ペアの第１の画像に設定された測定座標と同等の位置に測定座標を設定する。計測部１０９は、第２の計測用画像ペアを用いて第１の計測処理を実行することにより、１つまたは複数の第２の計測値を算出する。計測部１０９は、第１の計測値および第２の計測値を使用して、最適な計測値を選定する。例えば、最適な計測値は、中央値、平均値、および最頻値等である。
【０１０９】
上記のように、複数の画像ペアが計測用画像ペアとして選定された場合でも、計測部１０９は、最適な計測値を得ることができる。
【０１１０】
（参考形態）
図１７は、本発明の参考形態の計測装置１１の構成を示す。図１７に示す構成について、図１に示す構成と異なる点を説明する。
【０１１１】
図１７に示す計測装置１１は、図１に示す計測装置１０に示す画像ペア選定部１０８の代わりに計測結果算出部１１０を有する。計測部１０９は、第１の画像と第２の画像との組み合わせが互いに異なる複数の画像ペアの各々に対して、第１の画像または第２の画像において設定された測定座標に基づく被写体の計測処理を実行することにより、画像ペア毎に計測値を算出する。計測結果算出部１１０は、計測部１０９によって算出された複数の計測値に基づいて計測結果を算出する。
【０１１２】
計測結果算出部１１０は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。計測結果算出部１１０は、１つまたは複数のプロセッサを含むことができる。計測結果算出部１１０は、１つまたは複数の論理回路を含むことができる。
【０１１３】
上記以外の点について、図１７に示す構成は、図１に示す構成と同様である。
【０１１４】
図１８から図２０は、参考形態における計測の手順を示す。図１８から図２０を用いて計測の詳細を説明する。
【０１１５】
図１８は、計測の全体の手順を示す。コントローラ１０５が計測開始の指示をユーザから受け付けることにより、図１８に示す処理が開始される。計測が開始されたとき、撮像時の光路は第１の光路に設定されている。第１の光学系１００を通った光に基づく被写体の第１の像が撮像素子１０４の撮像領域に結像される。撮像素子１０４は、第１の像を撮像し、かつ第１の像に基づく第１の画像を生成する。制御部１０６は、第１の画像を撮像素子１０４から取得し、かつ第１の画像をフレームメモリ１０７に記録する（ステップＳ１４０）。
【０１１６】
ステップＳ１４０の後、計測部１０９は、ステップＳ１４０において取得された第１の画像に測定座標を設定する（ステップＳ１５０）。図９に示すように所定の測定座標が設定されてもよい。以下では、ユーザによって指示された測定座標が設定される例を説明する。
【０１１７】
図２１は、測定座標の設定例を示す。第１の画像２１０１内の被写体２１０２上に測定座標ｐ５および測定座標ｐ６が設定される。参考形態において、測定座標は第１の画像に設定される。測定座標が第２の画像に設定され、かつその測定座標に対応する対応点座標が第１の画像に設定されてもよい。
【０１１８】
ステップＳ１５０の後、画像ペア取得処理（ステップＳ１０１）が実行されることにより、複数の画像ペアが取得される。ステップＳ１０１の後、計測処理（ステップＳ１６０）が実行されることにより、計測結果が取得される。
【０１１９】
ステップＳ１６０の後、制御部１０６は、終了条件が満たされるか否かを判定する（ステップＳ１７０）。例えば、終了条件は、ユーザの停止指示等である。ステップＳ１７０において、終了条件が満たされないと制御部１０６が判定した場合、ステップＳ１０１における処理が実行される。つまり、終了条件が満たされるまで、画像ペア取得処理および計測処理が繰り返される。ステップＳ１７０において、終了条件が満たされたと制御部１０６が判定した場合、計測が終了する。
【０１２０】
図１９は、画像ペア取得処理（ステップＳ１０１）の手順を示す。図１９に示すように、ステップＳ１０００からステップＳ１００６における処理が実行される。図１９に示すステップＳ１０００からステップＳ１００６における処理はそれぞれ、図６に示すステップＳ１０００からステップＳ１００６における処理と同様である。ステップＳ１００６における処理が実行されることにより、画像ペア取得処理が終了する。参考形態における画像ペア取得処理が１回実行されたとき、１つの画像ペアが取得される。
【０１２１】
図２０は、計測処理（ステップＳ１６０）の手順を示す。計測部１０９は、複数の画像ペアの各測定座標における計測処理を実行する（ステップＳ１６００）。ステップＳ１６００における処理は、図７に示すステップＳ１１０１における処理と同様である。ステップＳ１６００において算出された複数の計測値は計測値群を構成する。
【０１２２】
ステップＳ１６００の後、計測部１０９は、ステップＳ１６００において算出された計測値群をフレームメモリ１０７に記録する。取得された画像ペアの数が１である場合、計測部１０９は、ステップＳ１６００において算出された計測値群で構成された計測値テーブルをフレームメモリ１０７に記録する。取得された画像ペアの数が２以上である場合、計測部１０９は、ステップＳ１６００において算出された計測値群をフレームメモリ１０７内の計測値テーブルに追加する（ステップＳ１６０１）。
【０１２３】
図２２は、計測値テーブルの例を示す。計測値テーブルは、画像ペア毎に算出された複数の計測値を含む。計測値は、被写体距離ｚおよび２点間距離ｄである。例えば、被写体距離ｚ（ｐ５）は、測定座標ｐ５までの実空間上の距離である。被写体距離ｚ（ｐ６）は、測定座標ｐ６までの実空間上の距離である。２点間距離ｄ（ｐ０，ｐ１）は、測定座標ｐ０および測定座標ｐ１の間の実空間上の距離である。図２２に示す例では、計測部１０９は、各画像ペアが取得される毎に、計測処理を３回実行する。したがって、各画像ペアに対して、３つの計測値が得られる。計測処理で使用される測定座標の組み合わせは計測処理毎に異なる。
【０１２４】
ステップＳ１６０１の後、計測結果算出部１１０は、計測部１０９によって算出された複数の計測値に基づいて計測結果を算出し、かつ計測結果を制御部１０６に出力する（ステップＳ１６０２）。
【０１２５】
ステップＳ１６０２における処理の詳細を説明する。取得された画像ペアの数が１である場合、画像ペア（ｎ＝１）から算出された計測値のみがフレームメモリ１０７に記録されている。計測結果算出部１１０は、画像ペア（ｎ＝１）から算出された計測値を計測結果として制御部１０６に出力する。取得された画像ペアの数が２以上である場合、各計測処理に対応する複数の計測値がフレームメモリ１０７に記録されている。計測結果算出部１１０は、各計測処理に対応する複数の計測値に基づいて各計測処理の計測結果を算出する。
【０１２６】
図２２に示す例では、３つの画像ペア（ｎ＝１，２，３）の各々から算出された計測値が計測値テーブルに含まれる。例えば、被写体距離ｚ（ｐ５）の計測値は１１．１、１１．２、および１１．４である。計測結果算出部１１０は、３つの計測値に基づいて被写体距離ｚ（ｐ５）の計測結果を算出する。例えば、計測結果算出部１１０は、３つの計測値の中央値を計測結果として決定する。計測結果算出部１１０は、３つの計測値の平均値および最頻値等を計測結果として決定してもよい。計測結果の算出において、他の計測値から大きく外れた計測値は使用されなくてもよい。同様に計測結果算出部１１０は、被写体距離ｚ（ｐ６）および２点間距離ｄ（ｐ０，ｐ１）の計測結果を算出する。計測結果は、必ずしも最も新しい画像ペアから算出された計測値であるとは限らない。
【０１２７】
ステップＳ１６０２の後、制御部１０６は、フレームメモリ１０７に記録された第１の画像および第２の画像を破棄する（ステップＳ１６０３）。ステップＳ１６０３は必須ではない。ステップＳ１６０３における処理が実行されることにより、計測処理が終了する。
【０１２８】
表示部が計測装置１１に接続されている場合、制御部１０６は計測結果を表示部に出力し、かつ表示部は計測結果を表示してもよい。これにより、ユーザは、計測結果を確認することができる。画像ペアが取得される毎に計測結果が更新される。
【０１２９】
計測結果算出部１１０は、計測結果の信頼度を算出してもよい。信頼度は、計測結果の算出に使用された複数の計測値の標準偏差等である。制御部１０６は信頼度を表示部に出力し、かつ表示部は信頼度を表示してもよい。これにより、ユーザは、計測結果の信頼性を確認することができる。
【０１３０】
上記のように、計測部１０９は画像ペア毎に計測値を算出し、かつ計測結果算出部１１０は、計測部１０９によって算出された複数の計測値に基づいて計測結果を算出する。新たな画像ペアが取得されたとき、計測部１０９は、新たに取得された画像ペアから算出された計測値と、既に算出された計測値とに基づいて計測結果を更新する。ユーザが、逐次更新される計測結果を参考にして被写体を観察したい場合、計測装置１１は、計測精度の悪化を抑制することができる。測定対象箇所が予め分かっている場合、およびユーザが被写体および撮影シーンの傾向を把握したい場合等に参考形態の計測装置１１を利用できる。
【０１３１】
計測値が算出された後、計測値の算出に使用された画像は不要である。そのため、画像を破棄することにより、計測装置１１はメモリの容量を節約することができる。
【０１３２】
以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
【符号の説明】
【０１３３】
１０，１１  計測装置
１００  第１の光学系
１０１  第２の光学系
１０２  光路切替部
１０３  結像光学系
１０４  撮像素子
１０５  コントローラ
１０６  制御部
１０７  フレームメモリ
１０８  画像ペア選定部
１０９  計測部
１１０  計測結果算出部
１２０  スコープ
【図１】
2019035674.tif 000004
【図２】
2019035674.tif 000005
【図３】
2019035674.tif 000006
【図４】
2019035674.tif 000007
【図５】
2019035674.tif 000008
【図６】
2019035674.tif 000009
【図７】
2019035674.tif 000010
【図８】
2019035674.tif 000011
【図９】
2019035674.tif 000012
【図１０】
2019035674.tif 000013
【図１１】
2019035674.tif 000014
【図１２】
2019035674.tif 000015
【図１３】
2019035674.tif 000016
【図１４】
2019035674.tif 000017
【図１５】
2019035674.tif 000018
【図１６】
2019035674.tif 000019
【図１７】
2019035674.tif 000020
【図１８】
2019035674.tif 000021
【図１９】
2019035674.tif 000022
【図２０】
2019035674.tif 000023
【図２１】
2019035674.tif 000024
【図２２】
2019035674.tif 000025