(57)【特許請求の範囲】
【請求項１】
複数の撮影画像の合成画像上の第一位置の入力を受け付ける第一位置受付部と、
前記第一位置に応じて、前記複数の撮影画像から、一つの選択画像を選択する画像選択部と、
前記選択画像上の第二位置の入力を受け付ける第二位置受付部と、
を備えていることを特徴とする位置指定装置。
【請求項２】
前記複数の撮影画像は、互いに露出量の異なる複数の撮影画像であることを特徴とする請求項１に記載の位置指定装置。
【請求項３】
前記画像選択部は、前記複数の撮影画像の各々について、前記第一位置を含む部分領域における階調飽和の度合いに基づいて、前記選択画像を選択することを特徴とする請求項１または２に記載の位置指定装置。
【請求項４】
前記画像選択部は、前記複数の撮影画像の各々について、前記第一位置を含む部分領域における階調飽和の度合いを算出し、当該階調飽和の度合いが最も小さい撮影画像を、前記選択画像として選択することを特徴とする、請求項１から３のいずれか１項に記載の位置指定装置。
【請求項５】
前記複数の撮影画像は、互いに焦点位置の異なる複数の撮影画像であることを特徴とする請求項１に記載の位置指定装置。
【請求項６】
前記画像選択部は、前記複数の撮影画像の各々について、前記第一位置を含む部分領域における合焦の度合いに基づいて、前記選択画像を選択することを特徴とする請求項１または５に記載の位置指定装置。
【請求項７】
前記画像選択部は、前記複数の撮影画像の各々について、前記第一位置を含む部分領域における合焦の度合いを算出し、当該合焦の度合いが最も大きい撮影画像を、前記選択画像として選択することを特徴とする、請求項１、５または６に記載の位置指定装置。
【請求項８】
前記複数の撮影画像は、被写体が同一である複数の撮影画像であり、
前記選択画像に対応する奥行情報を取得し、前記奥行情報を参照して、前記選択画像上の前記第二位置に対応する前記被写体上の位置の三次元座標を算出する計測部をさらに備えていることを特徴とする請求項１に記載の位置指定装置。
【請求項９】
前記複数の撮影画像は、被写体が同一である複数の撮影画像であり、
前記選択画像に対応する参照画像を取得し、前記参照画像を参照して、前記選択画像上の前記第二位置に対応する前記被写体上の位置の三次元座標を算出する計測部をさらに備えていることを特徴とする請求項１に記載の位置指定装置。
【請求項１０】
前記複数の撮影画像を撮影する撮影部、および、前記複数の撮影画像の合成画像を生成する合成部をさらに備えていることを特徴とする請求項１から３のいずれか１項に記載の位置指定装置。
【請求項１１】
前記第二位置受付部は、前記選択画像上の前記第二位置とは異なる第三位置の入力をさらに受け付けるようになっており、
前記画像選択部は、前記第三位置に応じて、前記選択画像を再選択し、
前記第二位置受付部は、前記選択画像上の第二位置および第三位置の入力を再度受け付けるようになっていることを特徴とする請求項１から４のいずれか１項に記載の位置指定装置。
【請求項１２】
表示装置および入力装置を備えていることを特徴とする請求項１から１１の何れか一項に記載の位置指定装置。
【請求項１３】
複数の撮影画像の合成画像上の第一位置の指定を受け付ける第一位置受付工程と、
前記受付工程において受け付けた第一位置に応じて、前記複数の撮影画像から、一つの選択画像を選択する画像選択工程と、
画像選択工程において選択した前記一つの選択画像上の第二位置の指定を受け付ける第二位置受付工程と、を包含していることを特徴とする位置指定方法。
【請求項１４】
請求項１に記載の位置指定装置としてコンピュータを機能させるための位置指定プログラムであって、前記第一位置受付部、前記画像選択部および前記第二位置受付部としてコンピュータを機能させるための位置指定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の一態様は、位置指定装置および位置指定方法に関する。
【背景技術】
【０００２】
カメラによる撮影において、被写界深度の深い画像を撮影する技術として、焦点位置の異なる複数の画像を撮影し、画像内の各画素において、複数の撮影画像のうち適切な画素、すなわち焦点のあった画素を選択して合成することで、被写界深度の深い画像を生成する技術が知られている。【０００３】
また、ダイナミックレンジの広い画像を撮影する技術として、露出量の異なる複数の画像を撮影し、画像内の各画素において、複数の撮影画像のうち適切な画素、すなわち露出のあった画素を選択して合成することで、ダイナミックレンジの広い画像を生成する技術が知られている。【０００４】
例えば、特許文献１には、同一被写体を撮影して得られた異なる露光量の複数の入力画像を用いて、ダイナミックレンジが改善されており、かつ、劣化が少ないより自然な画像を得る方法が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】日本国特許公開公報「特開２０１２−１６５２５９号公報（２０１２年  ８月３０日公開）」
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、近年、撮影画像中の任意の計測点の三次元画像を算出する計測技術が開発されている。例えば、撮影位置が異なる複数の撮影画像から視差を算出し、各画像の撮影位置の情報を参照して、任意の計測点の三次元情報を算出する技術が知られている。また、撮影画像に対応する奥行き情報を参照し、任意の計測点の三次元情報を算出する技術も知られている。【０００７】
このような計測技術では、ユーザーは、例えば、表示装置に表示された撮影画像を確認して、入力装置を介して、撮影画像中の計測点の位置を指定する。このとき、従来の自動露出制御を使用して撮影された場合等において、撮影画像中に階調飽和が生じる場合がある。特に、画角が広い画像では階調飽和が生じやすい。また、撮像画像の被写界深度が浅い場合もある。このような場合、ユーザーは、撮影画像中の階調飽和が生じている部分および合焦していない部分において、意図する位置に計測点を指定することが困難になる。【０００８】
ここで、例えば、特許文献１に記載の技術を用いれば、階調飽和が抑制された合成画像を取得することができる。そのため、当該合成画像に対してユーザーが計測点の位置を指定するように構成することにより、ユーザーは、容易に、意図する位置に計測点を指定することができるかもしれない。しかしながら、特許文献１に記載の技術では、合成画像を得るために煩雑な画像処理が必要である。そのため、新規な構成によって、計測点を所望の位置に指定するための位置指定技術を実現することは有用である。【０００９】
本発明の一態様は、上記の問題点に鑑みてなされたものであり、その目的は、計測点を所望の位置に指定するための位置指定技術を実現することにある。
【課題を解決するための手段】
【００１０】
上記の課題を解決するために、本発明の一態様に係る位置指定装置は、被写体が同一である複数の撮影画像、および、前記複数の撮影画像の合成画像を取得する画像取得部と、前記合成画像を表示装置に表示させ、入力装置を介した前記合成画像上の第一位置の入力を受け付ける第一位置受付部と、前記第一位置に応じて、前記複数の撮影画像から、一つの選択画像を選択する画像選択部と、前記選択画像の少なくとも一部を前記表示装置に表示させ、前記入力装置を介した前記選択画像上の第二位置の入力を受け付ける第二位置受付部と、を備えている構成である。
【発明の効果】
【００１１】
本発明の一態様によれば、計測点を所望の位置に指定することができるという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】本発明の第一の実施形態に係る位置指定装置の一構成例を示すブロック図である。
【図２】本発明の幾つかの実施形態に係る位置指定装置の処理を示すフローチャートである。
【図３】本発明の第一の実施形態に係る位置指定装置の出力画像の一例を示す図である。
【図４】本発明の第一の実施形態に係る位置指定装置の出力画像の一例を示す図である。
【図５】撮影時の画素値から表示装置に表示する際の画素値への変換グラフである。
【図６】本発明の第二の実施形態に係る位置指定装置の出力画像の一例を示す図である。
【図７】本発明の第三の実施形態に係る計測装置の一構成例を示すブロック図である。
【図８】本発明の第三の実施形態に係る計測装置の処理を示すフローチャートである。
【図９】本発明の第四の実施形態に係る計測装置の一構成例を示すブロック図である。
【図１０】本発明の幾つかの実施形態に係る計測装置の処理を示すフローチャートである。
【図１１】三角測量の方法を説明する図である。
【図１２】ブロックマッチングの方法を説明する図である。
【図１３】本発明の第五の実施形態に係る計測装置の一構成例を示すブロック図である。
【図１４】本発明の第五の実施形態に係る計測装置における撮像装置の合成処理部の一構成例を示すブロック図である。
【図１５】合成処理部の処理を示すフローチャートである。
【図１６】本発明の第六の実施形態に係る計測装置の一構成例を示すブロック図である。
【図１７】本発明の第六の実施形態に係る計測装置の出力画像の一例を示す図である。
【図１８】エッジ強度を検出するためのフィルタの係数の例を示す図である。
【発明を実施するための形態】
【００１３】
〔１．実施形態１〕
以下、図面を参照しながら本発明の第一の実施形態に係る位置指定装置１について具体的に説明する。
【００１４】
図１は、本発明の第一の実施形態に係る位置指定装置１の一構成例を示すブロック図である。図１に示すように、位置指定装置１は、制御部１０、表示装置１１および入力装置１２を備えている。制御部１０、表示装置１１および入力装置１２は、一体化されていてもよいし、別体として構成されていてもよい。
【００１５】
制御部１０は、位置指定装置１を統括的に制御する制御部であり、画像取得部１０１、第一位置受付部１０２、画像選択部１０３および第二位置受付部１０４として機能する。制御部１０の処理の詳細については後述する。
【００１６】
制御部１０は、図示しないＣＰＵ（Central Processing Unit）等のプロセッサや、ＲＡＭ（Random Access Memory）等の主記憶装置等を備え、記憶装置に格納されたプログラムを実行して処理を行う処理装置や、ＦＰＧＡ（Field Programmable Gate Array）等のプログラム可能な集積回路、各処理を実行する集積回路を備えるハードウェアであってもよい。
【００１７】
表示装置１１としては、例えば、ＣＲＴ、液晶ディスプレイ、有機ＥＬディスプレイ等の表示デバイスを利用することができる。また、入力装置１２としては、例えば、マウス、ペンタブレット、タッチパネル等を利用することができる。
【００１８】
（１）位置指定装置１の概要
位置指定装置１は、被写体が同一である複数の撮影画像（以下、単に「撮影画像」と称する場合がある。）、および、上記複数の撮影画像の合成画像（以下、単に「合成画像」と称する場合がある。）を取得する。次いで、位置指定装置１は、合成画像を表示装置１１に表示させ、ユーザー（操作者）が指定した合成画像上の位置（第一位置）の指定を、入力装置１２を介して受け付ける。次いで、位置指定装置１は、受け付けた第一位置に応じて、複数の撮影画像から一つの選択画像を選択する。次いで、位置指定装置１は、選択画像の少なくとも一部を表示装置１１に表示させ、ユーザーが指定した選択画像上の位置（第二位置）の指定を、入力装置１２を介して受け付ける。これにより、ユーザーが撮影画像上の計測点を所望の位置に指定することができる。
【００１９】
（２）位置指定処理の一例
位置指定装置１における位置指定処理の一例について、図２〜図４を参照して以下に説明する。図２は、本実施形態に係る位置指定装置１の処理を示すフローチャートである。また、図３および図４は、本実施形態に係る位置指定装置１の出力画像の一例を示す図である。
【００２０】
（ステップＳ０１０１：画像取得工程）
本実施形態に係る位置指定装置１において、画像取得部１０１は、被写体が同一である複数の撮影画像と、当該複数の撮影画像の合成画像とを取得する。
【００２１】
ここで、上記「被写体が同一である複数の撮影画像」としては、特に限定されない。例えば、同一被写体を異なる撮影条件で撮影した複数の撮影画像を用いることができる。上記「撮影条件」としては、例えば、露光量、焦点位置等を挙げることができる。
【００２２】
本実施形態では、上記「被写体が同一である複数の撮影画像」が、同一被写体を異なる露光量で撮影した複数の撮影画像であり、上記「複数の撮影画像の合成画像」が、複数の撮影画像を合成しダイナミックレンジを拡大した合成画像である場合について説明する。一実施形態において、当該「複数の撮影画像の合成画像」は、各画素の画素値を、複数の撮影画像における当該画素の画素値の平均値としたものであり得る。ダイナミックレンジを拡大した合成画像を生成する他の方法として、複数の撮影画像において、当該画素を中心とした一定領域のコントラスト差を撮影画像ごとに算出し、コントラスト差が最も大きい撮影画像を選択して合成することでも実現できる。
【００２３】
一態様において、画像取得部１０１は、例えば、有線または無線接続を介して、外部の撮影装置および画像処理装置から、複数の撮影画像および合成画像を取得するようになっていてもよいし、位置指定装置１が、撮影部および画像処理部を備え、画像取得部１０１は、当該撮影部および画像処理部から、複数の撮影画像および合成画像を取得するようになっていてもよい。
【００２４】
（ステップＳ０１０２：第一位置受付工程）
次いで、第一位置受付部１０２は、合成画像を表示装置１１に表示させ、ユーザー（操作者）が指定した合成画像上の位置（第一位置）の指定を、入力装置１２を介して受け付ける。例えば、ユーザーが、マウス、タッチパッド等の入力装置１２を操作して表示装置１１に表示された合成画像上の位置（第一位置）を指定したとき、入力装置１２が、入力情報を第一位置受付部１０２に出力することによって、第一位置受付部１０２は、合成画像上の位置（第一位置）の入力を受け付ける。
【００２５】
図３の（ａ）に示すように、合成画像２１０は、ダイナミックレンジが拡大された合成画像であり、明るい領域にある点２１１を含む被写体Ａおよび暗い領域にある点２１２を含む被写体Ｂが、階調飽和の無い状態で存在している。そのため、ユーザーは、表示装置１１に表示された合成画像上の任意の位置を正しく認識することができ、入力装置１２を介して所望の位置を指定することができる。
【００２６】
これに対して、図３の（ｂ）および（ｃ）には、それぞれ異なる露光量で撮影した撮影画像２１０ａおよび２１０ｂを示す。すなわち、図３の（ｂ）および（ｃ）に示す撮影画像２１０ａおよび２１０ｂは、図３の（ａ）に示す合成画像２１０を合成するための複数の撮影画像に相当する。図３の（ｂ）に示した撮影画像２１０ａは、図３の（ｃ）に示した撮影画像２１０ｂよりも露光時間を短く設定して撮影した画像である。
【００２７】
図３の（ｂ）に示した撮影画像２１０ａでは、明るい領域にある点２１１ａを含む被写体Ａの領域は階調が飽和しておらず、点２１２ａを含む被写体Ｂの領域は、明るさが不足しているため階調が黒く飽和している。もし仮に、第一位置受付部１０２が、撮像画像２１０ａを表示装置１１に表示させた場合、ユーザーは、点２１１ａの位置については正しく認識することができるが、点２１２ａの位置については、階調飽和が生じているために、正しく認識することができず、点２１２ａの位置を適切に指定することは困難である。
【００２８】
また、図３の（ｃ）に示した撮影画像２１０ｂは、図３の（ｂ）に示した画像２１０ａよりも露光時間を長く設定して撮影されているので、暗い領域にある点２１２ｂを含む被写体Ｂの領域は階調が飽和しておらず、点２１１ｂを含む被写体Ａの領域は、明る過ぎるために階調が白く飽和している。もし仮に、第一位置受付部１０２が、撮像画像２１０ｂを表示装置１１に表示させた場合、ユーザーは、点２１２ｂの位置については正しく認識することができるが、点２１１ｂの位置については、階調飽和が生じているために、正しく認識することができず、点２１１ｂの位置を適切に指定することは困難である。
【００２９】
したがって、第一位置受付部１０２が、図３の（ａ）に示すような合成画像２１０を表示装置１１に表示させることによって、ユーザーは表示装置１１に表示された合成画像２１０を見て、合成画像２１０上の所望の位置（第一位置）を探すことが容易となる。さらには、明るい領域にある点２１１の位置および暗い領域にある点２１２の位置の両方を、同一の合成画像２１０上で指定することが可能となる。
【００３０】
なお、第一位置受付部１０２は、合成画像２１０上の所望の点の位置の入力を受け付けてもよいし、合成画像２１０上の所望の領域の位置の入力を受け付けてもよい。
【００３１】
以上で説明したように、ステップＳ０１０２において位置指定のために表示されている画像は、ダイナミックレンジが拡大された合成画像２１０である。ダイナミックレンジが拡大された合成画像２１０を表示して、合成画像２１０上の位置（第一位置）を指定することで、明暗の差が大きいシーンを撮影した画像であっても階調飽和がないため、画像全体を視認しやすくなる。例えば、明暗の差が大きいシーンを撮影した画像上の任意の位置を指定する場合に、ダイナミックレンジが拡大された合成画像２１０では階調飽和がない。よって、明るい領域および暗い領域の両方を同一の画像上で確認することができるため、合成画像２１０は、ユーザーが画像上の指定したい位置を探索するための画像として好適である。また、合成画像２１０上の位置（第一位置）を指定することで、明るい領域おける位置および暗い領域における位置の両方を、同一の画像上で指定することが可能となる。
【００３２】
（ステップＳ０１０３：画像選択工程）
次いで、画像選択部１０３は、ステップＳ０１０２において受け付けた第一位置に応じて、複数の撮影画像から、一つの選択画像を選択する。
【００３３】
選択画像の選択方法としては、例えば、画像選択部１０３は、複数の撮影画像の各々について、上記第一位置を含む部分領域における階調飽和の度合いを算出し、当該階調飽和の度合いが最も小さい撮影画像を、選択画像として選択することができる。ここで、上記「第一位置を含む部分領域」は、第一位置に対応する撮影画像上の位置（第一位置対応位置）を含む撮影画像中の部分領域が意図される。部分領域の大きさは特に限定されず、例えば、予め定められた画素数の矩形領域とすることができる。
【００３４】
より具体的に説明すると、第一位置受付部１０２が、第一位置として、合成画像２１０上の点２１１の入力を受け付けると（図３の（ａ））、画像選択部１０３は、撮影画像上の点２１１に対応する点（対応点）を含む撮影画像中の部分領域における階調飽和の度合いを、複数の撮影画像の各々についてそれぞれ算出する。例えば、画像選択部１０３は、撮影画像２１０ａについて対応点２１１ａを含む撮影画像２１０ａ中の部分領域における階調飽和の度合いを算出し（図３の（ｂ））、同様に、撮影画像２１０ｂについて対応点２１１ｂを含む撮影画像２１０ｂ中の部分領域における階調飽和の度合いを算出する（図３の（ｃ））。そして、画像選択部１０３は、階調飽和の度合いが最も小さい撮影画像を、複数の撮影画像の中から選択画像として１つ選択する。本実施形態では、画像選択部１０３は、撮影画像２１０ａ（図３の（ｂ））を選択画像として選択する。画像選択部１０３は、選択画像を、記憶装置に保存してもよい。
【００３５】
一態様において、画像選択部１０３は、上記「階調飽和の度合い」として、部分領域内の飽和している画素数を算出し、飽和している画素数が少なければ、階調飽和の度合が低いと判断する。この場合、「階調飽和の度合いが最も小さい撮影画像」とは、複数の撮影画像の中で、部分領域内の飽和している画素数が最少となる撮影画像となる。
【００３６】
（ステップＳ０１０４：第二位置受付工程）
次いで、第二位置受付部１０４は、選択画像としての撮影画像２１０ａ（すなわち、選択画像２１０ａ’）の少なくとも一部を表示装置１１に表示させ、ユーザーが指定した選択画像上の位置（第二位置）の指定を、入力装置１２を介して受け付ける。
【００３７】
選択画像の表示装置１１への表示方法としては、第二位置受付部１０４は、表示装置１１に、選択画像の全体を表示させてもよく、選択画像上の第一位置対応位置を含む部分画像を表示させてもよい。また、第二位置受付部１０４は、表示装置１１に、部分画像を等倍で表示させてもよく、拡大して表示させてもよい。また、第二位置受付部１０４は、表示装置１１に、選択画像のみを表示させてもよく、選択画像を合成画像に重畳して表示させてもよい。本実施形態では、図４の（ａ）に示すように、第二位置受付部１０４は、表示装置１１に、選択画像としての撮影画像２１０ａ（すなわち、選択画像２１０ａ’）上の対応点２１１ａを含む部分画像を拡大して、拡大表示画像１１１として、合成画像２１０に重畳して表示させている。
【００３８】
そして、第二位置受付部１０４は、入力装置１２を介して、表示装置１１に拡大表示画像１１１として表示された選択画像２１０ａ’の部分画像上の点２１１ａ’（第二位置）の位置の入力を受け付ける（図４の（ａ））。選択画像２１０ａ’としての撮影画像２１０ａ（図３の（ｂ））は、対応点２１１ａ付近の領域で階調飽和がない。そのため、ユーザーは、指定したい点を容易に視認することが可能である。また、第二位置受付部１０４が、表示装置１１に、選択画像２１０ａ’を拡大表示させた場合、ユーザーは、指定したい点の位置を確認したり、指定したりすることが容易にできるようになる。
【００３９】
尚、撮影画像２１０ａ上の対応点２１１ａと、第二位置として指定される選択画像２１０ａ’の部分画像上の点２１１ａ’とは同一座標である必要性はない。ユーザーは、指定したい点の凡その位置を合成画像２１０上で第一位置として指定し、選択画像２１０ａ’上で、指定したい点の正確な位置を改めて指定することができる。つまり、撮影画像２１０ａ上の対応点２１１ａは、指定したい点の凡その位置であるので、選択画像２１０ａ’を確認することによって、指定したい点の正確な位置が確定した結果、第二位置として指定される選択画像２１０ａ’の部分画像上の点２１１ａ’の座標が、撮影画像２１０ａ上の対応点２１１ａの座標とは異なる座標となる場合があり得る。
【００４０】
位置指定装置１は、ダイナミックレンジを拡大した合成画像を全体表示することで、ユーザーが画像上の指定したい位置を探す際の視認性を高めることができる。さらに、ユーザーが指定した合成画像上の位置（第一位置）に応じて、階調飽和の度合いが最も小さい撮影画像を選択画像として選択し、当該選択画像上の位置（第二位置）を指定することができるので、ユーザーが指定したい画像上の位置を正確に指定することが可能となる。
【００４１】
ダイナミックレンジの広い合成画像を合成するために同一被写体について露出量の異なる複数の撮影画像を撮影すると、複数の撮影画像間で撮影時間が異なるため、撮像の間の撮像装置の位置の移動や、被写体の移動に起因するずれが生じる。このため、ずれが生じた撮影画像から合成した合成画像は二重像となり、計測点の位置を正確に指定できないという問題が生じる。そこで、特許文献１に開示した発明のように、同一被写体を撮影して得られた異なる露光量の複数の画像を、位置ずれを防止しながら合成して、位置ずれによる劣化のない高品位な合成画像を取得する技術が知られている。位置ずれによる劣化のない高品位な合成画像を取得するには、煩雑な画像処理が必要である。その結果、このような合成画像を計測点の位置指定に使用すると、高品位な合成画像を取得するために煩雑な画像処理が必要となるため、ユーザーが画像上の所望の計測点の位置を簡易に指定することができない。
【００４２】
これに対して、位置指定装置１は、合成画像を、ユーザーが画像上の所望の計測点の位置を探索するために使用し、合成画像上で探索した位置（第一位置）に応じて選択した選択画像上で計測点を指定するので、被写体の位置ずれを考慮した高品位な合成画像を取得する必要性がなく、また、たとえ合成画像が二重像であったとしても、選択画像上で計測点を指定するので、二重像となった合成画像上で計測点の位置を正確に指定できないという問題もない。また、合成画像上で探索した位置（第一位置）に応じて選択した選択画像においては、第一位置の付近で階調飽和がないため、選択画像上の位置を指定することが可能となる。よって、本実施形態に係る位置指定装置１によれば、ユーザーが画像上の所望の計測点の位置を簡易且つ正確に指定することができる。
【００４３】
（３）位置指定装置１の変形例
（i）ステップＳ０１０３（画像選択工程）の変形例
ステップＳ０１０３は、以下のサブステップをさらに含んでいてもよい：
（ａ）、画像選択部１０３が、ステップＳ０１０３において選択した一つの選択画像に補正を施すことによって、補正条件が異なる複数の補正画像を得る工程（サブステップＳ０１０３１；画像補正工程）
（ｂ）画像選択部１０３が、第一位置受付工程において受け付けた第一位置に応じて、上記補正条件が異なる複数の補正画像から、一つの選択画像を選択する工程（サブステップＳ０１０３２；補正画像選択工程）。
【００４４】
選択画像のコントラストを補正すると、ユーザーの視認性が向上して好適である。コントラスト補正方法の例を、図５を用いて説明する。図５の（ａ）は、計測点周辺が暗いときに明るくする場合の、撮影時の画素値から表示装置に表示する際の画素値への変換グラフを示している。計測点の画素値が低く暗いため、計測点の画素値を表示可能なレンジの中心付近にし、且つ計測点周辺の画素値のコントラストを上げることで視認性を高めている。
【００４５】
図５の（ｂ）は、計測点周辺が明るいときに暗くする場合の、撮影時の画素値から表示装置に表示する際の画素値への変換グラフである。計測点の画素値が高く明るいため、計測点の画素値をレンジの中心付近にし、且つ計測点周辺のコントラストを上げることで視認性を高めている。
【００４６】
図５の（ｃ）は、計測点周辺が中間の明るさのときの、撮影時の画素値から表示装置に表示する際の画素値への変換グラフであり、コントラストを上げる処理となっている。以上の処理により、計測点周辺の画素値に応じてコントラストを補正し、ユーザーの視認性を向上させることができる。
【００４７】
サブステップ（ａ）における画像補正としては、コントラスト補正以外に、例えば、γ補正、彩度補正等を挙げることができる。例えば、サブステップ（ａ）によって得られた補正画像が、コントラスト補正を施した補正画像である場合は、サブステップ（ｂ）は、例えば、画像選択部１０３が、複数の補正画像の各々について、第一位置を含む部分領域内のコントラスト差を算出し、当該コントラスト差が最も大きい補正画像を、選択画像として選択する工程であってもよい。ここで、上記「第一位置を含む部分領域」は、第一位置に対応する補正画像上の位置（第一位置対応位置）を含む補正画像中の部分領域が意図される。部分領域の大きさは特に限定されない。尚、部分領域内のコントラスト差は、当該部分領域内の画素値の最大値から画素値の最小値を減じた値として算出することができる。
【００４８】
また、例えば、サブステップ（ａ）によって得られる補正画像が、彩度補正を施した補正画像である場合は、サブステップ（ｂ）は、例えば、画像選択部１０３が、複数の補正画像の各々について、第一位置を含む部分領域内の彩度差を算出し、当該彩度差が最も大きい補正画像を、選択画像として選択する工程であってもよい。尚、部分領域内の彩度差は、例えば、部分領域内の各画素値をＨＳＶ値に変換し、彩度Ｓの値について部分領域内の画素値の最大値から最小値の差を減じた値として算出することができる。
【００４９】
また、例えば、サブステップ（ａ）によって得られる補正画像がγ補正を施した補正画像である場合は、サブステップ（ｂ）は、例えば、画像選択部１０３が、複数の補正画像の各々について、第一位置を含む部分領域内のコントラスト差を算出し、補正画像および元画像のうち、当該コントラスト差が最大となる画像を、選択画像として選択する工程であってもよい。
【００５０】
また、別の実施形態において、ステップＳ０１０３（画像選択工程）では、画像選択部１０３は、画像補正を施した複数の撮影画像から、ステップＳ０１０２において受け付けた第一位置に応じて、一つの選択画像を選択してもよい。例えば、コントラスト補正を施した複数の撮影画像の各々について、第一位置を含む部分領域内のコントラスト差を算出し、当該コントラスト差が最も大きい撮影画像を、選択画像として選択する工程であってもよい。コントラストを補正した撮影画像を選択画像として選択することにより、ユーザーの視認性が向上して好適である。複数の撮影画像に施される画像補正としては、コントラスト補正以外に、例えば、γ補正、彩度補正等を挙げることができる。
【００５１】
これにより、後段のステップＳ０１０４（第二位置受付工程）において、補正画像上で第二位置の入力を受け付けることになるため、ユーザーが第二位置をより正確に指定し易くなる。
【００５２】
画像選択部１０３は、公知の画像処理技術により、選択画像に補正を施して、補正条件が異なる複数の補正画像を作成する。画像選択部１０３は、作成した複数の補正画像から、第一位置に応じて、一つの選択画像を選択する。
【００５３】
画像選択部１０３は、例えば、複数の補正画像の各々について、第一位置を含む部分領域内のコントラスト差を算出し、当該コントラスト差が最も大きい補正画像を、選択画像として選択する。尚、部分領域内のコントラスト差は、当該部分領域内の画素値の最大値から画素値の最小値を減じた値として算出することができる。
【００５４】
（ii）ステップＳ０１０４（第二位置受付工程）の変形例
ステップＳ０１０４は、以下のサブステップをさらに含んでいてもよい：
（ａ）第二位置受付部１０４が、選択画像上の第二位置とは異なる第三位置の入力をさらに受け付ける工程（サブステップＳ０１０４１）
第二位置受付部１０４は、選択画像２１０ａ’上の第二位置とは異なる第三位置の指定を、入力装置１２を介してさらに受け付けるようになっていてもよい。
【００５５】
例えば、ユーザーが、入力装置１２を操作して表示装置１１に拡大表示画像１１１として表示された選択画像２１０ａ’の部分画像上の点２１１ａ’（第二位置）とは異なる点２１３（第三位置）を指定したとき（図４の（ｂ））、入力装置１２が、点２１３の入力情報を制御部１０に出力することによって、第二位置受付部１０４は、選択画像２１０ａ’上の点２１３（第三位置）の入力を受け付ける。
【００５６】
選択画像２１０ａ’としての撮影画像２１０ａ（図３の（ｂ））は、対応点２１１ａの領域で階調飽和がなく、ユーザーが指定したい点を視認することが可能である。このため、点２１１ａ’（第二位置）と同一の部分画像内に存在している点２１３（第三位置）についても、階調飽和がなく、ユーザーは視認可能である。また、第二位置受付部１０４が、表示装置１１に、選択画像２１０ａ’を拡大表示させることによって、ユーザーは、指定したい点の位置を確認したり、指定したりすることが容易にできるようになる。点２１１ａ’（第二位置）とは異なる位置として、任意の個数の位置（例えば、第四位置、第五位置等）を、第三位置と同様に指定することができるため、説明は省略する。
【００５７】
上述したとおり、ダイナミックレンジの広い合成画像を合成するために同一被写体について露出量の異なる複数の撮影画像を撮影すると、複数の撮影画像間で撮影時間が異なるため、撮像の間の撮像装置の位置の移動や、被写体の移動に起因するずれが生じる。このため、ずれが生じた撮影画像から合成した合成画像は二重像となり、計測点の位置を正確に指定できないという問題が生じる。そこで、位置指定装置１では、合成画像を、ユーザーが画像上の所望の計測点の位置を探索するために使用し、合成画像上で探索した位置（第一位置）に応じて選択した選択画像上で計測点（第二位置）を指定するので、被写体の位置ずれを考慮した高品位な合成画像を取得する必要性がなく、また、二重像となった合成画像上で計測点の位置を正確に指定できないという問題もない。また、図４の（ｂ）に示すように、単一の選択画像上で、第二位置とは異なる位置（例えば、第三位置、第四位置等）を指定するため、各撮影画像間の被写体のずれを考慮する必要が無い。よって、第二位置と第二位置とは異なる任意の位置との間の距離や、第二位置と第二位置とは異なる複数の任意の位置とで囲まれた領域の面積等の計測が可能となる。
【００５８】
〔２．実施形態２〕
以下、図面を参照しながら本発明の第二の実施形態に係る位置指定装置１について具体的に説明する。
【００５９】
本発明の第二の実施形態に係る位置指定装置１では、「被写体が同一である複数の撮影画像」として、同一被写体を異なる焦点位置で撮影した複数の撮影画像を、「撮影画像の合成画像」として、同一被写体を異なる焦点位置で撮影した複数の撮影画像から合成された被写界深度を拡大した合成画像を取得する例を説明する。
【００６０】
（１）位置指定装置１の概要
本実施形態に係る位置指定装置１の概要については、位置指定装置１が取得する「複数の撮影画像」が、同一被写体を異なる焦点位置で撮影した複数の撮影画像であり、「合成画像」が、当該複数の撮影画像から合成された被写界深度を拡大した合成画像であること以外は、上記「１．実施形態１」の項で説明したとおりである。
【００６１】
（２）位置指定処理の一例
位置指定装置１における位置指定処理の一例について、図２および図６を参照して以下に説明する。図２は、本実施形態に係る位置指定装置１の処理を示すフローチャートである。また、図６は、本実施形態に係る位置指定装置１の出力画像の一例を示す図である。
【００６２】
（ステップＳ０１０１：画像取得工程）
本実施形態に係る位置指定装置１において、画像取得部１０１は、同一被写体を異なる焦点位置で撮影した複数の撮影画像と、当該複数の撮影画像から合成された被写界深度を拡大した合成画像とを取得する。
【００６３】
（ステップＳ０１０２：第一位置受付工程）
次いで、第一位置受付部１０２は、合成画像を表示装置１１に表示させ、ユーザー（操作者）が指定した合成画像上の位置（第一位置）の指定を、入力装置１２を介して受け付ける。
【００６４】
図６の（ａ）に示すように、合成画像２２０は、被写界深度が深化された合成画像であり、点２２２を含む被写体Ｃと、点２２１を含む被写体Ｄとが何れも合焦した状態で存在している。被写体Ｃは、被写体Ｄよりも撮影位置からの距離が遠い位置に存在している。
【００６５】
これに対して、図６の（ｂ）および（ｃ）には、それぞれ異なる焦点距離で撮影した撮影画像２２０ａおよび２２０ｂを示す。すなわち、図６の（ｂ）および（ｃ）に示す撮影画像２２０ａおよび２２０ｂは、図６の（ａ）に示す合成画像２２０を合成するための複数の撮影画像に相当する。図６の（ｂ）に示した撮影画像２２０ａは、図６の（ｃ）に示した撮影画像２２０ｂよりも撮影位置に近い位置に焦点が合うように焦点位置を設定して撮影した画像である。
【００６６】
図６の（ｂ）に示した撮影画像２２０ａでは、点２２１ａを含む被写体Ｄの領域は焦点が合っており、点２２２ａの領域を含む被写体Ｃは、焦点が合っておらずぼけている。もし仮に、第一位置受付部１０２が、撮像画像２２０ａを表示装置１１に表示させた場合、ユーザーは、点２２１ａの位置については正しく認識することができるが、点２２２ａの位置については、ぼやけているために、正しく認識することができず、点２２２ａの位置を適切に指定することは困難である。
【００６７】
また、図６の（ｃ）に示した撮影画像２２０ｂでは、点２２２ｂを含む被写体Ｃの領域は焦点が合っており、点２２１ｂの領域を含む被写体Ｄは、焦点が合っておらずぼけている。もし仮に、第一位置受付部１０２が、撮像画像２２０ｂを表示装置１１に表示させた場合、ユーザーは、点２２２ｂの位置については正しく認識することができるが、点２２１ｂの位置については、ぼやけているために、正しく認識することができず、点２２１ｂの位置を適切に指定することは困難である。
【００６８】
したがって、第一位置受付部１０２が、図６の（ａ）に示すような合成画像２２０を表示装置１１に表示させることによって、ユーザーは表示装置１１に表示された合成画像２２０を見て、合成画像２２０上の所望の位置（第一位置）を探すことが容易となる。また、被写体間の距離の差が大きい場面を撮影した画像であっても画像全体を視認しやすくなる。さらには、撮影位置から近い領域にある点２１１および撮影位置から遠い領域にある点２１２の両方を、同一の合成画像２２０上で指定することが可能となり、被写体のぼけにより所望の点が指定できなくなることを防ぐことができる。
【００６９】
なお、第一位置受付部１０２は、合成画像２２０上の所望の点の位置の入力を受け付けてもよいし、合成画像２２０上の所望の領域の位置の入力を受け付けてもよい。
【００７０】
（ステップＳ０１０３）
次いで、画像選択部１０３は、ステップＳ０１０２において受け付けた第一位置に応じて、複数の撮影画像から、一つの選択画像を選択する。
【００７１】
選択画像の選択方法としては、例えば、画像選択部１０３は、複数の撮影画像の各々について、上記第一位置を含む部分領域における合焦の度合いを算出し、当該合焦の度合いが最も大きい撮影画像を、選択画像として選択することができる。ここで、上記「第一位置を含む部分領域」は、第一位置に対応する撮影画像上の位置（第一位置対応位置）を含む撮影画像中の部分領域が意図される。部分領域の大きさは特に限定されず、例えば、予め定められた画素数の矩形領域とすることができる。このようにして選択された選択画像では、第一位置を含む部分領域内で、焦点が合っている被写体が多くなる。
【００７２】
より具体的に説明すると、第一位置受付部１０２が、第一位置として、合成画像２２０上の点２２１の入力を受け付けると（図６の（ａ））、画像選択部１０３は、撮影画像上の点２２１に対応する点（対応点）を含む撮影画像中の部分領域における合焦の度合いを、複数の撮影画像の各々についてそれぞれ算出する。例えば、画像選択部１０３は、撮影画像２２０ａについて対応点２２１ａを含む撮影画像中の部分領域における合焦の度合いを算出し（図６の（ｂ））、同様に、撮影画像２２０ｂについて対応点２２１ｂを含む撮影画像中の部分領域における合焦の度合いを算出する（図６の（ｃ））。そして、画像選択部１０３は、合焦の度合いが最も大きい撮影画像を、複数の撮影画像の中から選択画像として１つ選択する。本実施形態では、画像選択部１０３は、撮影画像２２０ａ（図６の（ｂ））を選択画像として選択する。画像選択部１０３は、選択画像を、記憶装置に保存してもよい。
【００７３】
一態様において、画像選択部１０３は、上記「合焦の度合い」（合焦度）を、各画素の周囲、あらかじめ設定した範囲のコントラスト差によって評価し、コントラスト差が大きければ合焦度が高いと判断する。よって、「合焦の度合いが最も大きい撮影画像」とは、複数の撮影画像の中で、部分領域内のコントラスト差が最大となる撮影画像である。
【００７４】
（ステップＳ０１０４：第二位置受付工程）
次いで、第二位置受付部１０４は、選択画像としての撮影画像２２０ａの少なくとも一部を表示装置１１に表示させ、ユーザーが指定した選択画像上の位置（第二位置）の指定を、入力装置１２を介して受け付ける。
【００７５】
選択画像の表示装置１１への表示方法については、上記「１．実施形態１」の項で説明したとおりである。
【００７６】
位置指定装置１は、被写界深度を拡大した合成画像を全体表示することで、ユーザーが画像上の指定したい位置を探す際の視認性を高めることができる。さらに、ユーザーが指定した合成画像上の位置（第一位置）に応じて、合焦の度合いが最も大きい撮影画像を選択画像として選択し、当該選択画像上の位置（第二位置）を指定することができるので、ユーザーが指定したい画像上の位置を正確に指定することが可能となる。焦点位置が異なる撮影画像では、焦点位置の変化とともに画角が変化する場合が有り、撮影画像上において被写体の位置がずれる可能性がある。つまり、異なる焦点位置の撮影画像を合成して被写界深度を拡大した合成画像は、手ブレや被写体ブレがなくても二重像となる可能性がある。
【００７７】
位置指定装置１は、合成画像を、ユーザーが画像上の所望の計測点の位置を探索するために使用し、合成画像上で探索した位置（第一位置）に応じて選択した選択画像上で計測点を指定するので、被写体の位置ずれを考慮した高品位な合成画像を取得する必要性がなく、また、たとえ合成画像が二重像であったとしても、選択画像上で計測点を指定するので、二重像となった合成画像上で計測点の位置を正確に指定できないという問題もない。
【００７８】
（３）位置指定装置１の変形例
上記「１．実施形態１」の項で説明した位置指定装置１の変形例は、本実施形態に係る位置指定装置１にも適用することができる。
【００７９】
また、本実施形態では、「被写体が同一である複数の撮影画像」として、同一被写体を異なる焦点位置で撮影した複数の撮影画像を、「撮影画像の合成画像」として、同一被写体を異なる焦点位置で撮影した複数の撮影画像から合成された被写界深度を拡大した合成画像を使用する例を説明したが、上記「１．実施形態１」の項で説明した露出設定と組み合わせることもできる。つまり、「被写体が同一である複数の撮影画像」として、同一被写体を異なる焦点位置および露光量で撮影した複数の撮影画像を、「撮影画像の合成画像」として、同一被写体を異なる焦点位置および露光量で撮影した複数の撮影画像から合成された、ダイナミックレンジおよび被写界深度を拡大した合成画像を使用することも可能である。
【００８０】
かかる画像を使用する場合、選択画像の選択方法としては、例えば、複数の撮影画像の各々について、上記第一位置を含む部分領域における階調飽和の度合いおよび合焦の度合いをそれぞれ算出し、当該階調飽和の度合いが最も小さく且つ合焦の度合いが最も大きい撮影画像を、選択画像として選択することができる。ここで、上記「第一位置を含む部分領域」は、第一位置に対応する撮影画像上の位置（第一位置対応位置）を含む撮影画像中の部分領域が意図される。部分領域の大きさは特に限定されない。
〔３．実施形態３〕
以下、図面を参照しながら本発明の第三の実施形態に係る計測装置１００（位置指定装置）について具体的に説明する。
【００８１】
図７は、本発明の第三の実施形態に係る計測装置１００の一構成例を示すブロック図である。
【００８２】
図７に示すように、計測装置１００は、制御部１０、表示装置１１および入力装置１２を備えている。制御部１０、表示装置１１および入力装置１２は、一体化されていてもよいし、別体として構成されていてもよい。
【００８３】
制御部１０は、計測装置１００を統括的に制御する制御部であり、画像取得部１０１、第一位置受付部１０２、画像選択部１０３、第二位置受付部１０４および計測部１０５として機能する。制御部１０の処理の詳細については後述する。
【００８４】
（１）計測装置１００の概要
計測装置１００は、被写体が同一である複数の撮影画像（以下、単に「撮影画像」と称する場合がある。）、および、上記複数の撮影画像の合成画像（以下、単に「合成画像」と称する場合がある。）を取得する。次いで、計測装置１００は、合成画像を表示装置１１に表示させ、ユーザー（操作者）が指定した合成画像上の位置（第一位置）の指定を、入力装置１２を介して受け付ける。次いで、計測装置１００は、受け付けた第一位置に応じて、複数の撮影画像から一つの選択画像を選択する。次いで、計測装置１００は、選択画像の少なくとも一部を表示装置１１に表示させ、ユーザーが指定した選択画像上の位置（第二位置）の指定を、入力装置１２を介して受け付ける。次いで、計測装置１００は、選択画像に対応する奥行情報を取得し、選択画像上の第二位置に対応する被写体上の位置の三次元位置（座標）を算出する。これにより、ユーザーが撮影画像上の所望の計測点の三次元位置（座標）を計測することができる。
【００８５】
上記「１．実施形態１」および「２．実施形態２」の項で説明したとおり、計測装置１００の制御部１０が、画像取得部１０１、第一位置受付部１０２、画像選択部１０３および第二位置受付部１０４として機能することで、ユーザーが画像上の所望の計測点を正確且つ容易に指定することが可能となる。このようにして取得した選択画像上の位置情報（第二位置情報）を基に、選択画像に対応する奥行情報を参照して、計測装置１００は、選択画像上の第二位置に対応する被写体上の位置（計測点）の三次元位置（座標）を、誤差を低減して正確に計測することが可能となる。
【００８６】
（２）計測処理の一例
計測装置１００における計測処理の一例について、図８を参照して以下に説明する。図８は、本実施形態に係る計測装置１００の処理を示すフローチャートである。
【００８７】
（ステップＳ０１０１〜ステップＳ０１０４）
上記「１．実施形態１」および「２．実施形態２」の項で説明したとおりであるため説明を省略する。
【００８８】
（ステップＳ０１０５：奥行情報取得工程）
計測部１０５は、奥行情報を受け付ける。このとき計測部１０５が受け付ける奥行情報は、選択画像（すなわち、第二位置の指定に使用した撮影画像）に対応する奥行情報である。
【００８９】
（ステップＳ０１０６：三次元位置計測工程）
計測部１０５は、第二位置情報および奥行情報参照して、選択画像上の第二位置に対応する被写体上の位置（計測点）の三次元位置（座標）を算出する。計測部１０５は、計測結果を出力し、記憶装置（図示しない）に保存したり、表示装置１１に表示させたりする。
【００９０】
奥行情報の取得方法としては、例えば、ステレオペアを用いた方法、超音波の反射時間を計算し距離を算出する方法、赤外線によるＴＯＦ（Time Of Flight）法、パターン光を照射して距離を算出する方法等を利用することができる。また、画像の焦点距離等のカメラパラメータと組み合わせることで、計測点の左右上下方向の三次元情報も算出することが可能である。
【００９１】
計測装置１００によれば、合成画像上で第一位置を指定することにより、第一位置を探索する際の視認性を高めることができる。さらに、ユーザーが指定した合成画像上の位置（第一位置）に応じて、複数の撮影画像の中から選択画像を選択し、当該選択画像上の位置（第二位置）を指定することができるので、ユーザーが指定したい画像上の位置を正確に指定することが可能となる。その結果、所望の位置のより正確な三次元情報を取得することが可能となる。
【００９２】
（３）計測装置１００の変形例
上記「１．実施形態１」および「２．実施形態２」の項で説明した位置指定装置１の変形例は、計測装置１００にも適用することができる。
〔４．実施形態４〕
以下、図面を参照しながら本発明の第四の実施形態に係る計測装置１００（位置指定装置）について具体的に説明する。
【００９３】
図９は、本発明の第四の実施形態に係る計測装置１００の一構成例を示すブロック図である。図９に示すように、計測装置１００は、制御部１０、表示装置１１および入力装置１２を備えている。制御部１０、表示装置１１および入力装置１２は、一体化されていてもよいし、別体として構成されていてもよい。
【００９４】
制御部１０は、計測装置１００を統括的に制御する制御部であり、画像取得部１０１、第一位置受付部１０２、画像選択部１０３、第二位置受付部１０４および計測部１０５として機能する。制御部１０の処理の詳細については後述する。
【００９５】
（１）計測装置１００の概要
計測装置１００は、被写体が同一である複数の撮影画像（以下、単に「撮影画像」と称する場合がある。）、および上記複数の撮影画像の合成画像（以下、単に「合成画像」と称する場合がある。）を取得する。次いで、計測装置１００は、合成画像を表示装置１１に表示させ、ユーザー（操作者）が指定した合成画像上の位置（第一位置）の指定を、入力装置１２を介して受け付ける。次いで、計測装置１００は、受け付けた第一位置に応じて、複数の撮影画像から一つの選択画像を選択する。次いで、計測装置１００は、選択画像の少なくとも一部を表示装置１１に表示させ、ユーザーが指定した選択画像上の位置（第二位置）の指定を、入力装置１２を介して受け付ける。次いで、計測装置１００は、選択画像に対応する参照画像をさらに取得し、参照画像を参照して、選択画像上の第二位置に対応する被写体上の位置の三次元位置（座標）を算出する。
【００９６】
上記「１．実施形態１」および「２．実施形態２」の項で説明したとおり、計測装置１００の制御部１０が、画像取得部１０１、第一位置受付部１０２、画像選択部１０３および第二位置受付部１０４として機能することで、ユーザーが画像上の所望の計測点を正確且つ容易に指定することが可能となる。このようにして取得した選択画像上の位置情報（第二位置情報）を基に、選択画像に対応する参照画像を参照して、選択画像上の第二位置に対応する被写体上の位置（計測点）の三次元位置（座標）を、誤差を低減して正確に算出することが可能となる。
【００９７】
（２）計測処理の一例
計測装置１００における計測処理の一例について、図１０を参照して以下に説明する。図１０は、本実施形態に係る計測装置１００の処理を示すフローチャートである。
【００９８】
（ステップＳ０１０１〜ステップＳ０１０４）
上記「１．実施形態１」および「２．実施形態２」の項で説明したとおりであるため説明を省略する。
【００９９】
（ステップＳ０２０５：参照画像取得工程）
計測部１０５は、選択画像に対応する参照画像を取得する。参照画像とは、選択画像と同一の被写体を異なる撮影位置から撮影した画像であり、選択画像とともに、ステレオ画像を構成する画像である。一態様において、計測部１０５は、複数の撮影画像の各々に対応する参照画像を予め取得し、その中から選択画像に対応する参照画像を選択することにより、選択画像に対応する参照画像を取得するようにしてもよい。
【０１００】
（ステップＳ０１０６：三次元位置計測工程）
計測部１０５は、選択画像に対応する参照画像を参照して、第二位置に対応した奥行情報を算出し、第二位置情報および奥行情報参照して、選択画像上の第二位置に対応する被写体上の位置（計測点）の三次元位置（座標）を算出する。計測部１０５は、計測結果を出力し、記憶装置（図示しない）に保存したり、表示装置１１に表示させたりする。
【０１０１】
奥行情報は、例えば、三角測量、ブロックマッチング等の方法を利用して算出することができる。
【０１０２】
ここで、選択画像とこれに対応する参照画像とを含むステレオ画像を用いた奥行情報の算出方法の一例として、三角測量の方法を、図１１を用いて説明する。図１１は、三角測量の方法を説明する図である。
【０１０３】
図１１に示すように、基準画像撮像部４と参照画像撮像部６とは、共通の撮影範囲を持つよう設置され、互いの相対位置が変化しないように固定される。また、基準画像撮像部４と参照画像撮像部６との相対的な位置関係を予め計測しておく。被写体Ｅ上の計測点αの三次元座標４４は、基準画像撮像部４の撮影画像５０上の対応計測点α’の画像座標４９から、基準画像撮像部４の焦点４７と対応計測点α’の画像座標４９とを通る直線４１上に位置する。
【０１０４】
そして、直線４１上に複数の探索点４２（例えば、探索点４２ａ、４２ｂおよび４２ｃ）を設定し、参照画像撮像部６の焦点４８と各探索点４２とを通る各探索直線４３（例えば、探索直線４３ａ、４３ｂおよび４３ｃ）を設定する。参照画像撮像部６の撮影画像（図示しない）上の各対応探索点を、基準画像撮像部４の撮影画像５０上の対応計測点α’と、それぞれ比較し、同一の物体が撮影されている対応探索点を検出する。この対応探索点に対応する直線４１上の探索点（この場合、探索点４２ｃ）が、被写体Ｅにおける計測点αの三次元座標４４となる。基準画像撮像部４の焦点４７と参照画像撮像部６の焦点４８とを通る直線である基線４６、被写体Ｅにおける計測点αの三次元座標４４と焦点４８とを通る直線４５、および直線４１の３本の直線の位置関係から、基準画像撮像部４および参照画像撮像部６に対する、被写体Ｅにおける計測点αの相対的な三次元座標４４を算出することができる。
【０１０５】
具体的には、基線４６上の焦点４７と焦点４８との間の距離βを予め計測する。そして、直線４１と基線４６とのなす角度θ１、および直線４５と基線４６とのなす角度θ２をそれぞれ算出する。距離β、角度θ１および角度θ２から、三角形の合同性により、被写体Ｅにおける計測点αの三次元座標４４を算出することができる。
【０１０６】
角度θ１および角度θ２の算出方法は、カメラ投影モデルを利用することで算出することができる。カメラ投影モデルの詳細を図１１を参照して以下に説明する。
【０１０７】
撮像デバイスやレンズなどを含んで構成される撮像部は、焦点と撮影対象を結ぶ直線が投影面と交差する投影面上の座標に、被写体の画像が記録されると考えることができる。そのため、図１１に示すように、基準画像撮像部４の焦点４７と、投影面（撮影画像５０が投影される面）上における対応計測点α’の画像座標４９の三次元空間上の位置がわかれば、焦点４７と対応計測点α’の画像座標４９とを通る直線４１の位置を算出することができる。尚、基準画像撮像部４の投影面の位置は、基準画像撮像部４の光軸５１の向きおよび焦点位置によって規定される。
【０１０８】
そこで、図１１に示すように、基準画像撮像部４および参照画像撮像部６について、センサ画素ピッチ、センサと焦点との位置関係をあらかじめ計測しておく。これらが既知ならば、対応計測点α’の画像座標４９に対応する直線４１の実空間上の位置を算出することができる。これにより直線４１および直線４５の、基準画像撮像部４および参照画像撮像部６に対する相対位置を算出できる。基準画像撮像部４と参照画像撮像部６の相対位置をあらかじめ計測しておけば、角度θ１および角度θ２を算出することができ、基準画像撮像部４および参照画像撮像部６に対する、被写体Ｅにおける計測点αの三次元座標４４の相対位置を算出することができる。
【０１０９】
ここで、同一被写体を異なる焦点位置で撮影した場合には、焦点位置ごとに焦点４７と投影面との位置関係が変化する。そこで、撮影時の焦点位置ごとに、焦点４７と投影面との位置関係をあらかじめ計測しておけば、直線４１の相対位置を算出することができるため、被写体Ｅにおける計測点αの三次元座標４４を算出することができる。
【０１１０】
次に、ブロックマッチングの方法を、図１２を用いて説明する。図１２に示すように、基準画像撮像部４で撮影した撮影画像５０上の対応計測点α’の画像座標４９と、参照画像撮像部６で撮影した参照画像５３上の対応探索点の画像座標５４（図１１には図示していない）とを比較する。そして、画像座標４９と画像座標５４との類似度が高ければ同一物体が撮影されている、すなわち、対応探索点に対応する三次元空間上の探索点４２（図１１）が、被写体Ｅ上の計測点αの三次元座標４４であると判断できる。
【０１１１】
類似度の評価としては、ＳＡＤ（Sum of Absolute Difference）やＳＳＤ（Sum of Squared Difference）等の評価関数を使用することができる。ＳＡＤ値の算出方法を以下に説明する。対応計測点α’の画像座標４９に該当する画素をｘ５、対応探索点の画像座標５４に該当する画素をｘ’５とすると、図１２に示すように、ｘ５またはｘ’５の周囲３×３個の画素の画素値を、以下の数式（１）を用いて計算することでＳＡＤ値を求めることができる。
【０１１２】
【数１】
0006641485.tif 000002
【０１１３】
対応計測点α’の画像座標４９と対応探索点の画像座標５４に同じ物体が映っていれば、各画素の画素値は近い値になるため、ＳＡＤ値が小さくなる。そのため、直線４１上に設定した各探索点４２（図１１）の内、ＳＡＤ値が最も小さい探索点を選ぶことによって計測点αの三次元座標４４を算出することができる。
【０１１４】
このとき、比較対象として利用する基準画像撮像部４および参照画像撮像部６で撮影された画像のペアとしては、同期撮影したものを利用すると、手ブレや被写体ブレによるペア間のずれが起こらないため好ましい。また、同期撮影時に露出設定を同じにすることで、ＳＡＤ値による検出結果の信頼性が高くなるため好ましい。また、比較対象として利用する基準画像および参照画像のペアとしては、コントラスト差が最大となる画像ペアを利用すると、ＳＡＤ値に差が出やすくなり、計測点αの三次元座標４４の算出精度が向上するため好ましい。例えば、飽和領域が多い画像では類似領域が増加するため、飽和領域が少ない画像を比較対象として利用することによって、検出誤差が発生する可能性を低減させることができる。
【０１１５】
（３）計測装置１００の変形例
上記「１．実施形態１」および「２．実施形態２」の項で説明した位置指定装置１の変形例は、計測装置１００にも適用することができる。
【０１１６】
（i）ステップＳ０１０１（画像取得工程）およびステップＳ０２０５（参照画像情報取得工程）の変形例
図９では、複数の参照画像が計測部１０５によって取得される構成を示したが、画像取得部１０１が撮影画像および合成画像を取得するときに、画像取得部１０１が参照画像も取得する構成としてもよい。すなわち、ステップＳ０１０１（画像取得工程）において、複数の撮影画像、合成画像および複数の参照画像を取得してもよい。
【０１１７】
また、計測部１０５は、第二位置情報と、選択画像およびこれに対応する参照画像を含むステレオ画像とを取得する構成としてもよい。
【０１１８】
（ii）ステップＳ０１０４（第二位置受付工程）の変形例
ステップＳ０１０４は、以下のサブステップをさらに含んでいてもよい：
（ａ）第二位置受付部１０４が、選択画像上の第二位置とは異なる第三位置の入力をさらに受け付ける工程（サブステップＳ０１０４１）
選択画像上の第二位置とは異なる第三位置を指定する方法については、「１．実施形態１」の項で説明したとおりである。
【０１１９】
（iii）ステップＳ０１０６（三次元位置計測工程）の変形例
ステップＳ０１０６は、以下のサブステップをさらに含んでいてもよい：
（ａ）計測部１０５が、第二位置の奥行情報を算出した選択画像に対応する参照画像を参照して、選択画像上の第三位置に対応する被写体上の位置（計測点）の三次元位置（座標）を計測する（サブステップＳ０１０６１）。
【０１２０】
第二位置とは異なる第三位置を、第二位置の指定に使用した選択画像と同一の選択画像上で指定し、単一の選択画像内で２点間の距離を算出することで、被写体の動きの影響による計測誤差を低減することができる。これにより、２点間の距離を高精度で算出することが可能となる。また、さらに、単一の選択画像内で第四位置、第五位置を指定し、選択画像上の第四位置、第五位置に対応する被写体上の位置（計測点）の三次元位置（座標）をそれぞれ計測することで、面積等の他の計測値を、高精度で算出することが可能となる。
【０１２１】
（iv）画像取得部が取得する画像の他の例
本実施形態では、奥行情報の算出に、ステレオ画像（すなわち、撮影画像と参照画像との２枚の画像）を利用する例を説明したが、ステレオ画像の代わりに、同一被写体を３つ以上の異なる位置で撮影した画像（すなわち、撮影画像と、２つ以上の参照画像との組合せ）を利用する場合も、同様の効果を得ることが可能である。
【０１２２】
〔５．実施形態５〕
以下、図面を参照しながら本発明の第五の実施形態に係る計測装置１００（位置指定装置）について具体的に説明する。
【０１２３】
図１３は、本発明の第五の実施形態に係る計測装置１００の一構成例を示すブロック図である。図１３に示すように、計測装置１００は、制御部１０、表示装置１１、入力装置１２および撮像装置８を備えている。制御部１０、表示装置１１および入力装置１２は、一体化されていてもよいし、別体として構成されていてもよい。
【０１２４】
制御部１０は、計測装置１００を統括的に制御する制御部であり、画像取得部１０１、第一位置受付部１０２、画像選択部１０３、第二位置受付部１０４および計測部１０５として機能する。制御部１０の処理の詳細については後述する。
【０１２５】
撮像装置８は、基準画像撮像部４（撮影部）、制御部５、参照画像撮像部６（撮影部）および合成処理部７（合成部）を備えている。基準画像撮像部４および参照画像撮像部６は、ＣＣＤ（Charge Coupled Device、電荷結合素子）等の撮像デバイスやレンズ等で構成され得る。
【０１２６】
また、図１４は、本発明の第五の実施形態に係る計測装置１００における撮像装置８の合成処理部７の一構成例を示すブロック図である。合成処理部７は、位置合わせ部７１、合焦度判定部７２、および画像合成部７３を備えている。
【０１２７】
（１）計測装置１００の概要
計測装置１００の撮像装置８は、予め設定した複数の撮影条件（露光量、焦点位置等）で、同一被写体を撮影する。次いで、撮像装置８は、被写体が同一である複数の撮影画像を取得し、当該複数の撮影画像から合成画像を合成する。次いで、計測装置１００は、被写体が同一である複数の撮影画像、および上記合成画像を取得する。次いで、計測装置１００は、合成画像を表示装置１１に表示させ、ユーザー（操作者）が指定した合成画像上の位置（第一位置）の指定を、入力装置１２を介して受け付ける。次いで、計測装置１００は、受け付けた第一位置に応じて、複数の撮影画像から一つの選択画像を選択する。次いで、計測装置１００は、選択画像の少なくとも一部を表示装置１１に表示させ、ユーザーが指定した選択画像上の位置（第二位置）の指定を、入力装置１２を介して受け付ける。次いで、計測装置１００は、複数の撮影画像の各々に対応する参照画像をさらに取得し、選択画像に対応する参照画像を参照して、選択画像上の第二位置に対応する被写体上の位置の三次元位置（座標）を算出する。
【０１２８】
上記「１．実施形態１」および「２．実施形態２」の項で説明したとおり、計測装置１００の制御部１０が、画像取得部１０１、第一位置受付部１０２、画像選択部１０３および第二位置受付部１０４として機能することで、ユーザーが画像上の所望の計測点を正確且つ容易に指定することが可能となる。このようにして取得した選択画像上の位置情報（第二位置情報）を基に、選択画像に対応する参照画像を参照して、選択画像上の第二位置に対応する被写体上の位置（計測点）の三次元位置（座標）を、誤差を低減して正確に算出することが可能となる。
【０１２９】
（２）計測処理の一例
計測装置１００における計測処理の一例について、図１０、図１４および図１５を参照して以下に説明する。図１０は、本実施形態に係る計測装置１００の処理を示すフローチャートである。図１４は、本実施形態に係る計測装置１００の合成処理部７の一構成例を示すブロック図である。図１５は、合成処理部７の処理を示すフローチャートである。
【０１３０】
計測装置１００は、図１０に示すステップＳ０１０１の前に、撮像装置８の基準画像撮像部４および参照画像撮像部６が、予め設定した複数の撮影条件（露光量、焦点位置等）で、同一被写体を撮影し、基準画像撮像部４が撮影した撮影画像を合成処理部７が合成して合成画像を取得する、ステップＳ０２０１〜ステップＳ０２０４を含んでいる。ここで、まず、ステップＳ０２０１〜ステップＳ０２０４について図１５を参照して以下に説明する。
【０１３１】
（ステップＳ０２０１：撮像工程）
基準画像撮像部４および参照画像撮像部６は、予め設定した複数の撮影条件（露光量、焦点位置等）で、同一被写体を撮影する。本実施形態では、基準画像撮像部４および参照画像撮像部６が、異なる焦点位置で撮影を行う場合について説明する。
【０１３２】
制御部５は、基準画像撮像部４および参照画像撮像部６のシャッタータイミング制御や、絞り、センサ感度、シャッター速度、焦点位置等の撮影設定の制御を行う。制御部５は、シャッターボタン（図示せず）等からの入力信号を受け取ると、基準画像撮像部４および参照画像撮像部６を、予め設定した複数の撮影条件（露光量や焦点位置）で画像を撮影するよう制御する。
【０１３３】
制御部５は、各撮影について、基準画像撮像部４および参照画像撮像部６が略同時にシャッターを切り、画像を同期撮影するよう制御する。異なる焦点位置で撮影を行う場合、各同期撮影における焦点位置は、基準画像撮像部４および参照画像撮像部６が同期撮影する画像ペアごとに、焦点の合う被写体までの距離が略同一になるように、すなわち、同じ撮影対象に焦点が合うように設定する。尚、本実施形態では、基準画像撮像部４に対し参照画像撮像部６を右にずれた位置に配置しているが、基準画像撮像部４に対し参照画像撮像部６を左にずれた位置に配置してもよいし、上下方向にずれた位置に配置してもよい。また、本実施形態では、参照画像撮像部６を１台、すなわち撮像部を計２台としているが、参照画像撮像部を２台以上利用することも可能である。
【０１３４】
基準画像撮像部４および参照画像撮像部６は、撮影した複数の撮影画像を、画像取得部１０１に出力する。また、基準画像撮像部４は、撮影した複数の撮影画像を、合成処理部７に出力する。尚、本実施形態では画像のデータを合成処理部７や画像取得部１０１に逐次出力する構成として説明しているが、撮影画像を計測装置１００内の記憶部（図示しない）に一旦保存し、合成処理部７や画像取得部１０１が記憶部（図示しない）のデータを取得する構成とすることも可能である。
【０１３５】
（ステップＳ０２０２：位置合わせ工程）
基準画像撮像部４が、同一被写体を異なる焦点位置で撮影を行った場合には、合成処理部７は、焦点位置が異なる複数の撮影画像の位置合わせを実施し、各画素で合焦度を評価して合焦度の高い画像の画素を加重平均し、被写界深度を拡大した合成画像を生成する。
【０１３６】
位置合わせ部７１は、基準画像撮像部４から取得した焦点位置が異なる複数の撮影画像の位置合わせを行う。前述したように、各画像で画角が変化している可能性が有るので、画像間で特徴点の座標を比較し、各特徴点が同一の座標となるように調整する。これにより、画像内の被写体の位置を略同一とすることができる。
【０１３７】
（ステップＳ０２０３：合焦度判定工程）
次いで、合焦度判定部７２は、各画像の各画素の合焦度を判定する。合焦度は、各画素の周囲、あらかじめ設定した範囲のコントラスト差によって評価する。コントラスト差が大きければ合焦度が高いと判断する。
【０１３８】
（ステップＳ０２０４：画像合成工程）
次いで、画像合成部７３は、判定した合焦度に基づき画像を合成する。画像合成には一般的な合成方法を利用することができる。合成画像の各画素の画素値は、以下の数式（２）を用いて算出することができる。数式（２）中、Ｎは撮影画像の枚数を、ｐｉは撮影画像ｉの注目画素の画素値を、ｃｉは注目画素の合焦度を、ｐａｆは合成画像の注目画素の画素値を表している。
【０１３９】
【数２】
0006641485.tif 000003
【０１４０】
合焦度に応じて撮影画像の画素値を加重平均して各画素の画素値を求めることで、被写界深度を拡大した画像を合成することができる。生成した合成画像は、合成処理部７（画像合成部７３）から画像取得部１０１に出力される。
【０１４１】
（ステップＳ０１０１〜ステップＳ０１０４）
上記「２．実施形態２」の項で説明したとおりであるため説明を省略する。
【０１４２】
（ステップＳ０２０５およびステップＳ０１０６）
上記「４．実施形態４」の項で説明したとおりであるため説明を省略する。
【０１４３】
（３）計測装置１００の変形例
上記「１．実施形態１」および「２．実施形態２」の項で説明した位置指定装置１の変形例は、計測装置１００にも適用することができる。また、上記「３．実施形態３」および「４．実施形態４」の項で説明した計測装置１００の変形例は、本実施形態に係る計測装置１００にも適用することができる。
【０１４４】
（i）他の撮影条件における例
本実施形態では、基準画像撮像部４および参照画像撮像部６が、異なる焦点位置で撮影を行う場合について説明したが、基準画像撮像部４および参照画像撮像部６は、異なる露光量で撮影を行うことも可能である。
【０１４５】
この場合、ステップＳ０２０１では、各同期撮影における露光量の設定値は、基準画像撮像部４および参照画像撮像部６が同期撮影する画像ペアごとに同じ設定にすればよい。
【０１４６】
また、ステップＳ０２０４では、画像合成部７３は、露光量が異なる複数の撮影画像の位置合わせを実施し、各画素において適切な階調の画像の画素を加重平均し、各画像の露光量の差を考慮して階調を調整することで、ダイナミックレンジを拡大した合成画像を生成する。合成画像のビット数が増加する場合には、トーンマッピングをする等、階調変換により所望のビット数としてもよい。
【０１４７】
〔６．実施形態６〕
計測装置１００は、計測装置１００（具体的には、基準画像撮像部４の焦点）から計測点の三次元位置までの距離を算出する機能のみならず、例えば、２点間の距離を算出する機能も有している。以下にその方法を説明する。
【０１４８】
以下、図面を参照しながら本発明の第六の実施形態に係る計測装置１００（位置指定装置）について具体的に説明する。
【０１４９】
図１６は、本発明の第六の実施形態に係る計測装置１００の一構成例を示すブロック図である。図１６に示すように、計測装置１００は、制御部１０、表示装置１１、入力装置１２および撮像装置８を備えている。制御部１０、表示装置１１および入力装置１２は、一体化されていてもよいし、別体として構成されていてもよい。
【０１５０】
制御部１０は、計測装置１００を統括的に制御する制御部であり、画像取得部１０１、第一位置受付部１０２、画像選択部１０３、第二位置受付部１０４および計測部１０５として機能する。制御部１０の処理の詳細については後述する。
【０１５１】
撮像装置８は、基準画像撮像部４（撮影部）、制御部５、参照画像撮像部６（撮影部）および合成処理部７（合成部）を備えている。
【０１５２】
（１）計測装置１００の概要
計測装置１００の撮像装置８は、予め設定した複数の撮影条件（露光量、焦点位置等）で、同一被写体を撮影する。次いで、撮像装置８は、被写体が同一である複数の撮影画像を取得し、当該複数の撮影画像から合成画像を合成する。次いで、計測装置１００は、被写体が同一である複数の撮影画像、および上記合成画像を取得する。次いで、計測装置１００は、合成画像を表示装置１１に表示させ、ユーザー（操作者）が指定した合成画像上の位置（第一位置）の指定を、入力装置１２を介して受け付ける。次いで、計測装置１００は、受け付けた第一位置に応じて、複数の撮影画像から一つの選択画像を選択する。次いで、計測装置１００は、選択画像の少なくとも一部を表示装置１１に表示させ、ユーザーが指定した選択画像上の位置（第二位置）の指定を、入力装置１２を介して受け付ける。次いで、計測装置１００は、ユーザーが指定した選択画像上の第二位置とは異なる第三位置の指定を、入力装置１２を介して受け付けるが、第三位置に応じて、選択画像を再選択する。次いで、計測装置１００は、再選択した画像（再選択画像）の少なくとも一部を表示装置１１に表示させ、ユーザーが指定した選択画像上の第二位置および第三位置の指定を、入力装置１２を介して再度受け付ける。次いで、計測装置１００は、複数の撮影画像の各々に対応する参照画像をさらに取得し、上記再選択画像に対応する参照画像を参照して、再選択画像上の第二位置に対応する被写体上の位置の三次元位置（座標）および第三位置に対応する被写体上の位置の三次元位置（座標）を算出する。
【０１５３】
上記「１．実施形態１」および「２．実施形態２」の項で説明したとおり、計測装置１００の制御部１０が、画像取得部１０１、第一位置受付部１０２、画像選択部１０３および第二位置受付部１０４として機能することで、ユーザーが画像上の所望の計測点を正確且つ容易に指定することが可能となる。さらに、第三位置に応じて、選択画像を再選択することによって、ユーザーが画像上の複数の計測点を正確且つ容易に指定することが可能となる。このようにして取得した再選択画像上の位置情報（第二位置情報および第三位置情報）を基に、再選択画像に対応する参照画像を参照して、再選択画像上の第二位置に対応する被写体上の位置の三次元位置（座標）および第三位置に対応する被写体上の位置の三次元位置（座標）を、誤差を低減して正確に算出することが可能となる。
【０１５４】
（２）計測処理の一例
計測装置１００における計測処理の一例を以下に説明する。
【０１５５】
（ステップＳ０２０１〜ステップＳ０２０４）
上記「５．実施形態５」の項で説明したとおりであるため説明を省略する。
【０１５６】
（ステップＳ０１０１〜ステップＳ０１０３）
上記「１．実施形態１」および「２．実施形態２」の項で説明したとおりであるため説明を省略する。
【０１５７】
（ステップＳ０１０４：第二位置受付工程）
第二位置受付部１０４は、選択画像としての撮影画像の少なくとも一部を表示装置１１に表示させ、ユーザーが指定した選択画像上の位置（第二位置）の指定を、入力装置１２を介して受け付ける。そして、第二位置受付部１０４は、入力装置１２を介した、選択画像上の第二位置とは異なる第三位置の入力をさらに受け付ける。
【０１５８】
すなわち、第二位置受付部１０４は、２つの計測点間の距離を算出するために、入力装置１２を介して、２つの計測点の位置（第二位置および第三位置）の入力を受け付ける。複数個の計測点の位置の指定方法は、上記「１．実施形態１」の項で説明したとおりである。ここで、２つ目の計測点（すなわち、第三位置）を指定する場合は、第二位置の指定に利用した選択画像上で第三位置を指定するので、距離を計測する複数の計測点が同時に撮影された状態となり、２点間の距離を精度良く算出することができる。
【０１５９】
このとき、例えば、異なる露光量で撮影を行った場合、２箇所の計測点（すなわち、第三位置）の状態として、次の２通りの場合が考えられる。１つ目の計測点（第二位置）の指定に使用した選択画像上で、
（１）２つ目に指定したい計測点（第三位置）において階調の飽和が無い。
【０１６０】
（２）２つ目に指定したい計測点（第三位置）において、白または黒に階調が飽和している。
【０１６１】
まず、（１）の場合は、第二位置受付部１０４は、１つ目の計測点（第二位置）の指定に使用した選択画像を表示装置１１に表示させた状態で、２つ目の計測点（第三位置）の位置の入力を受け付ければよい。これに対して、（２）の場合は、画像選択部１０３が、選択画像を再選択し、第二位置受付部１０４は、再選択された選択画像を表示装置１１に表示させた状態で、１つ目および２つ目の計測点の位置の入力を再度受け付ける。すなわち、ステップＳ０１０４は、以下のサブステップＳ０１０４１〜Ｓ０１０４１を含んでいる。
【０１６２】
（サブステップＳ０１０４１：第三位置受付工程）
第二位置受付部１０４は、ユーザーが指定した選択画像上の第二位置とは異なる第三位置の指定を、入力装置１２を介して受け付ける。図１７に示すように、第二位置受付部１０４は、２つ目の計測点α２（第三位置）の指定を、入力装置１２を介して受け付ける。尚、図１７中のα１は、１つ目の計測点（第二位置）を表している。
【０１６３】
（サブステップＳ０１０４２：判定工程）
画像選択部１０３は、選択画像上の第三位置に応じて、選択画像の再選択が必要か否かを判定する。画像選択部１０３が、選択画像の再選択が必要と判断した場合、画像選択部１０３は、選択画像を再選択する工程を行う。一方で、画像選択部１０３が、選択画像の再選択が不要と判断した場合、第三位置を受け付ける処理は終了する。
【０１６４】
画像選択部１０３は、例えば、選択画像上の第三位置における階調飽和の有無を拡大表示画像１１１のエッジ強度によって自動判定する。そして、画像選択部１０３は、選択画像上の第三位置における階調飽和が無いと判定した場合は、選択画像の再選択が不要と判定し、選択画像上の第三位置における階調飽和が有ると判定した場合は、選択画像の再選択が必要と判定する。
【０１６５】
ここで、エッジ強度の算出方法を下記に説明する。図１８はエッジ強度を検出するためのフィルタの係数の例である。画像中のエッジ検出したい位置の画素を中心とした３×３画素に対して、図１８に示す係数を乗算した９つの数値を加算する。算出した数値の絶対値が大きいほど、エッジ強度が大きいと判断できるため、算出した数値の絶対値が予め設定した閾値以下の場合に、エッジ強度が極めて小さいと判断することで、白で階調が飽和または黒で階調が飽和を判定することができる。
【０１６６】
尚、画像選択部１０３は、ユーザーによる操作の検出結果に応じて、選択画像の再選択が必要か否かを判定してもよい。例えば、図１７に示すように、計測点α１の指定に利用した選択画像２１０ａ’において、計測点α２の階調が白または黒に飽和している場合に、ユーザーは、選択画像の再選択が必要と判定して、判定ボタン２５を押す。一方で、計測点α１の指定に利用した選択画像２１０ａ’において、計測点α２の階調飽和していない場合、ユーザーは、選択画像の再選択が不要と判定して、判定ボタン２５を押さない。このとき、画像選択部１０３は、ユーザーによる判定ボタン２５の押下の検出結果に応じて、選択画像の再選択が必要か否かを判定すればよい。
【０１６７】
（サブステップＳ０１０４３：選択画像再選択工程）
画像選択部１０３は、第三位置に応じて、複数の撮影画像から、一つの選択画像を再度選択する。
【０１６８】
このときの選択画像の選択方法としては、例えば、画像選択部１０３は、複数の撮影画像の各々について、上記第三位置を含む部分領域における階調飽和の度合いを算出し、当該階調飽和の度合いが最も小さい撮影画像を、再選択画像として選択することができる。ここで、上記「第三位置を含む部分領域」は、第三位置に対応する撮影画像上の位置（第三位置対応位置）を含む撮影画像中の部分領域が意図される。部分領域の大きさは特に限定されず、例えば、予め定められた画素数の矩形領域とすることができる。
【０１６９】
より具体的に説明すると、画像選択部１０３は、図１７に示す計測点α１の指定に利用した選択画像２１０ａ’において、計測点α２の階調が飽和している場合、複数の撮影画像の各々について、計測点α１領域および計測点α２領域の両方のコントラストを算出して、各計測点について階調が飽和していない撮影画像を選択する。このとき、複数の撮影画像の中から、計測点α１および計測点α２のコントラストが共に高い画像を、再選択画像として選択すると、ブロックマッチングの類似度最大の位置が明確になり、対応計測点算出のロバスト性が高くなるため好適である。計測点α１および計測点α２のコントラストが共に高い画像を選択する方法としては、たとえば、各計測点のコントラスト値を加算した値がもっとも高い画像を選択することで実現できる。
【０１７０】
また、焦点位置を変えて撮影した撮影画像の場合は、計測点α１および計測点α２の焦点が共に合っている（合焦している）画像を選択するとよい。計測点の焦点が合っている（合焦している）かどうかは、計測点周辺のコントラストが高いほど焦点が合っている（合焦している）と判断できるため、焦点位置を変えて撮影した撮影画像についても同様に計測点α１および計測点α２のコントラストが共に高い画像を選択するとよい。
【０１７１】
（サブステップＳ０１０４４：第三位置再受付工程）
第二位置受付部１０４は、再選択画像の少なくとも一部を表示装置１１に表示させ、ユーザーが指定した再選択画像上の第三位置の指定を、入力装置１２を介して再度受け付ける。
【０１７２】
（サブステップＳ０１０４５：第二位置再受付工程）
第二位置受付部１０４は、ユーザーが指定した再選択画像上の第二位置の指定を、入力装置１２を介して再度受け付ける。
【０１７３】
これにより、同一の選択画像上で第二位置としての計測点α１および第三位置としての計測点α２を指定することができ、これによって、計測点α１および計測点α２間の距離の計測が可能となる。
【０１７４】
（ステップＳ０２０５：参照画像取得工程）
計測部１０５は、複数の撮影画像の各々に対応する参照画像をさらに取得し、当該複数の参照画像の中から、選択画像（または再選択画像）に対応する参照画像を選択する。
【０１７５】
（ステップＳ０１０６：三次元位置計測工程）
計測部１０５は、選択画像（または再選択画像）に対応する参照画像を参照して、第二位置に対応した奥行情報を算出し、第二位置情報および奥行情報参照して、選択画像上の第二位置に対応する被写体上の位置（計測点）の三次元位置（座標）を算出する。同様にして、選択画像上の第二位置に対応する被写体上の位置（計測点）の三次元位置（座標）を算出する。計測部１０５は、計測結果を出力し、記憶装置（図示しない）に保存したり、表示装置１１に表示させたりする。
【０１７６】
２つの計測点の相対位置を算出することで、２つの計測点間の長さを算出することができる。尚、本実施形態では、２点間の距離の算出方法を示したが、計測点の数を増やして、例えば、点と直線の間の距離、２直線間の距離、複数の点を結ぶ範囲の面積等を計測結果として算出することも可能である。
【０１７７】
以上で説明したように、異なる撮影条件で撮影した複数の撮影画像から合成画像を生成し、合成画像を、ユーザーが画像上の所望の計測点の位置を探索するために使用し、合成画像上で探索した位置（第一位置）に応じて選択した選択画像上で、または第三位置に応じて再選択した再選択画像上で、第二位置および第三位置を指定するので、計測点の探索のための画像全体の視認性が高くなり、また、被写体の位置ずれを考慮した高品位な合成画像を取得する必要性がない。また、たとえ合成画像が二重像であったとしても、選択画像上で計測点を指定するので、二重像を回避し所望の点の位置を指定することが可能となる。
【０１７８】
（３）計測装置１００の変形例
本実施形態では、撮像装置を一体化した計測装置としているが、撮像装置を計測装置とは別の装置としてもよい。例えば、上述したような撮像装置によって撮影、合成処理をした画像を、ＲＡＭ、フラッシュメモリ、ＨＤＤ等の記憶装置に記憶し、計測装置は、記憶装置から画像を読み取って表示装置に表示することもできる。また、撮影画像を保存し、計測装置で合成処理を行ってもよい。
【０１７９】
〔ソフトウェアによる実現例〕
位置指定装置１（計測装置１００）の制御ブロック（特に制御部１０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
【０１８０】
後者の場合、位置指定装置１（計測装置１００）は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の一つの目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【０１８１】
〔まとめ〕
本発明の態様１に係る位置指定装置（１）は、被写体が同一である複数の撮影画像、および、前記複数の撮影画像の合成画像を取得する画像取得部（１０１）と、前記合成画像を表示装置（１１）に表示させ、入力装置（１２）を介した前記合成画像上の第一位置の入力を受け付ける第一位置受付部（１０２）と、前記第一位置に応じて、前記複数の撮影画像から、一つの選択画像を選択する画像選択部（１０３）と、前記選択画像の少なくとも一部を前記表示装置（１１）に表示させ、前記入力装置（１２）を介した前記選択画像上の第二位置の入力を受け付ける第二位置受付部（１０４）と、を備えている構成である。
【０１８２】
上記の構成によれば、位置指定装置は、合成画像を、ユーザーが画像上の所望の計測点の位置を探索するために使用し、合成画像上で探索した位置（第一位置）に応じて選択した選択画像上で計測点を指定するので、被写体の位置ずれを考慮した高品位な合成画像を取得する必要性がなく、また、たとえ合成画像が二重像であったとしても、選択画像上で計測点を指定するので、二重像となった合成画像上で計測点の位置を正確に指定できないという問題もない。また、合成画像上で探索した位置（第一位置）に応じて選択した選択画像においては、第一位置の付近で階調飽和がないため、選択画像上の位置を指定することが可能となる。よって、本発明の態様１に係る位置指定装置によれば、ユーザーが画像上の所望の計測点の位置を簡易且つ正確に指定することができる。
【０１８３】
本発明の態様２に係る位置指定装置（計測装置１００）は、上記の態様１において、前記選択画像に対応する奥行情報を取得し、前記奥行情報を参照して、前記選択画像上の前記第二位置に対応する前記被写体上の位置（計測点）の三次元座標を算出する計測部（１０５）をさらに備えている構成としてもよい。
【０１８４】
上記の構成によれば、計測点の三次元座標を算出することができる。
【０１８５】
本発明の態様３に係る位置指定装置（計測装置１００）は、上記の態様１において、前記選択画像に対応する参照画像を取得し、前記参照画像を参照して、前記選択画像上の前記第二位置に対応する前記被写体上の位置（計測点）の三次元座標を算出する計測部（１０５）をさらに備えている構成としてもよい。
【０１８６】
上記の構成によれば、計測点の三次元座標を算出することができる。
【０１８７】
本発明の態様４に係る位置指定装置（計測装置１００）は、上記の態様１から３のいずれか１態様において、前記複数の撮影画像を撮影する撮影部（基準画像撮像部４）、および、前記複数の撮影画像の合成画像を生成する合成部（合成処理部７）をさらに備えている構成としてもよい。
【０１８８】
上記の構成によれば、計測点の三次元座標を算出することができる。
【０１８９】
本発明の態様５に係る位置指定装置（計測装置１００）は、上記の態様１から４のいずれか１態様において、前記第二位置受付部（第三位置受付部）は、前記入力装置（１２）を介した、前記選択画像上の前記第二位置とは異なる第三位置の入力をさらに受け付けるようになっており、前記画像選択部（１０３）は、前記第三位置に応じて、前記選択画像（再選択画像）を再選択し、前記第二位置受付部（第三位置受付部）は、前記画像選択部が再選択した前記選択画像（再選択画像）の少なくとも一部を前記表示装置（１１）に表示させ、前記入力装置（１２）を介した前記選択画像上の第二位置および第三位置の入力を再度受け付けるようになっている構成としてもよい。
【０１９０】
上記の構成によれば、複数の計測点の三次元座標を算出することができる。
【０１９１】
本発明の態様６に係る位置指定装置（１）は、上記の態様１から５のいずれか１態様において、前記画像選択部（１０３）は、前記複数の撮影画像の各々について、前記第一位置を含む部分領域における階調飽和の度合いを算出し、当該階調飽和の度合いが最も小さい撮影画像を、前記選択画像として選択する構成としてもよい。
【０１９２】
上記の構成によれば、位置指定装置は、ユーザーが指定した合成画像上の位置（第一位置）に応じて、階調飽和の度合いが最も小さい撮影画像を選択画像として選択し、当該選択画像上の位置（第二位置）を指定することができるので、ユーザーが指定したい画像上の位置を正確に指定することが可能となる。
【０１９３】
本発明の態様７に係る位置指定装置（１）は、上記の態様１から５のいずれか１態様において、前記画像選択部（１０３）は、前記複数の撮影画像の各々について、前記第一位置を含む部分領域における合焦の度合いを算出し、当該合焦の度合いが最も大きい撮影画像を、前記選択画像として選択する構成としてもよい。
【０１９４】
上記の構成によれば、位置指定装置は、ユーザーが指定した合成画像上の位置（第一位置）に応じて、合焦の度合いが最も大きい撮影画像を選択画像として選択し、当該選択画像上の位置（第二位置）を指定することができるので、ユーザーが指定したい画像上の位置を正確に指定することが可能となる。
【０１９５】
本発明の態様８に係る位置指定方法は、被写体が同一である複数の撮影画像の合成画像上の第一位置の指定を受け付ける第一位置受付工程（ステップＳ０１０２）と、前記受付工程（ステップＳ０１０２）において受け付けた第一位置に応じて、前記複数の撮影画像から、一つの選択画像を選択する画像選択工程（ステップＳ０１０３）と、画像選択工程（ステップＳ０１０３）において選択した前記一つの選択画像上の第二位置の指定を受け付ける第二位置受付工程（ステップＳ０１０４）とを包含している方法である。
【０１９６】
上記の構成によれば、ユーザーが画像上の所望の計測点の位置を簡易且つ正確に指定することができる。
【０１９７】
本発明の各態様に係る位置指定装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記位置指定装置が備える各部（ソフトウェア要素）として動作させることにより上記位置指定装置をコンピュータにて実現させる位置指定装置の制御プログラム（位置指定プログラム）、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【０１９８】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【０１９９】
（関連出願の相互参照）
本出願は、2016年8月9日に出願された日本国特許出願：特願2016-156917に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
【符号の説明】
【０２００】
１  位置指定装置
４  基準画像撮像部
５  制御部
６  参照画像撮像部
７  合成処理部
８  撮像装置
１０  制御部
１１  表示装置
１２  入力装置
１００  計測装置
１０１  画像取得部
１０２  第一位置受付部
１０３  画像選択部
１０４  第二位置受付部
１０５  計測部
【図１】
0006641485.tif 000004
【図２】
0006641485.tif 000005
【図３】
0006641485.tif 000006
【図４】
0006641485.tif 000007
【図５】
0006641485.tif 000008
【図６】
0006641485.tif 000009
【図７】
0006641485.tif 000010
【図８】
0006641485.tif 000011
【図９】
0006641485.tif 000012
【図１０】
0006641485.tif 000013
【図１１】
0006641485.tif 000014
【図１２】
0006641485.tif 000015
【図１３】
0006641485.tif 000016
【図１４】
0006641485.tif 000017
【図１５】
0006641485.tif 000018
【図１６】
0006641485.tif 000019
【図１７】
0006641485.tif 000020
【図１８】
0006641485.tif 000021