(57)【要約】【課題】計測に使用される複数の点を複数の画像に設定することができる計測方法、計測装置、およびプログラムを提供する。【解決手段】計測装置において表示制御部は、１枚の第１の画像をディスプレイの第１の領域に表示する。第１の点が前記第１の画像に設定された後、前記表示制御部は、前記第１の領域における前記第１の画像を非表示にし、かつ１枚の第２の画像を前記第１の領域に表示する。設定部は、前記第１の画像に前記第１の点を設定し、前記第２の画像に第２の点を設定する。生成部は、各画像が生成されたときのカメラの位置および姿勢に基づいて被写体の３次元形状を生成する。計測部は、少なくとも前記第１の点、前記第２の点、および前記３次元形状に基づいて前記被写体の大きさを計測する。【選択図】図２
2020126358.tif 000002
【特許請求の範囲】
【請求項１】
表示制御部が被写体の２次元画像である１枚の第１の画像をディスプレイの第１の領域に表示する第１の画像表示ステップと、
設定部が前記第１の領域に表示された前記第１の画像に第１の点を設定する第１の設定ステップと、
前記第１の点が前記第１の画像に設定された後、前記表示制御部が前記第１の領域における前記第１の画像を非表示にし、かつ前記被写体の２次元画像である複数の第２の画像に含まれる１枚の前記第２の画像を前記第１の領域に表示し、前記第１の画像および前記複数の第２の画像からなる画像群の各画像の視野の一部は、前記画像群の他の画像の視野の一部と重なる第２の画像表示ステップと、
前記設定部が前記第１の領域に表示された前記第２の画像に第２の点を設定する第２の設定ステップと、
前記画像群の各画像が生成されたときのカメラの位置および姿勢に基づいて生成部が前記被写体の３次元形状を生成する生成ステップと、
計測部が少なくとも前記第１の点、前記第２の点、および前記３次元形状に基づいて前記被写体の大きさを計測する計測ステップと、
を有する計測方法。
【請求項２】
前記第１の画像が前記第１の領域に表示されている間、前記表示制御部が少なくとも２枚の第３の画像を前記第１の領域と異なる前記ディスプレイの第２の領域に表示し、各々の前記第３の画像は、前記複数の第２の画像に含まれるいずれか１枚の前記第２の画像に対応する第３の画像表示ステップをさらに有し、
前記第２の領域に表示された前記少なくとも２枚の前記第３の画像のうちの１枚を選択する指示が受け付けられた後、前記表示制御部は、前記第２の画像表示ステップにおいて前記第１の画像を非表示にし、かつ選択された前記第３の画像に対応する前記第２の画像を前記第１の領域に表示する
ことを特徴とする請求項１に記載の計測方法。
【請求項３】
前記第１の領域における前記第１の画像の面積は前記第２の領域における前記第２の画像の面積よりも大きいことを特徴とする請求項２に記載の計測方法。
【請求項４】
前記表示制御部は、前記第３の画像表示ステップにおいて、前記第１の画像に対応する第４の画像を前記第２の領域に強調表示する
ことを特徴とする請求項２または請求項３に記載の計測方法。
【請求項５】
前記表示制御部は、前記第２の画像表示ステップにおいて、前記第１の領域に表示された前記第２の画像に対応する前記第３の画像を強調表示することを特徴とする請求項２から請求項４のいずれか一項に記載の計測方法。
【請求項６】
前記表示制御部は、前記第３の画像表示ステップにおいて、前記少なくとも２枚の前記第３の画像を各画像の視野の関係に基づく順番に前記第２の領域に並べることを特徴とする請求項２から請求項５のいずれか一項に記載の計測方法。
【請求項７】
前記複数の第２の画像に含まれる２枚の前記第２の画像の互いの視野の重なりの大きさが所定量を超える場合、前記表示制御部は、前記第３の画像表示ステップにおいて、前記２枚の前記第２の画像の一方のみに対応する前記第３の画像を前記第２の領域に表示することを特徴とする請求項２から請求項６のいずれか一項に記載の計測方法。
【請求項８】
前記表示制御部は、前記第３の画像表示ステップにおいて、前記第１の画像の視野に含まれず、かつ前記少なくとも２枚の前記第２の画像のうちの２枚以上の視野に共通に含まれる領域を前記第３の画像上に強調表示することを特徴とする請求項２から請求項７のいずれか一項に記載の計測方法。
【請求項９】
前記表示制御部は、前記第２の画像表示ステップにおいて、前記第１の領域に表示された前記第２の画像の視野に含まれず、かつ前記少なくとも２枚の前記第２の画像のうちの２枚以上の視野に共通に含まれる領域を前記第３の画像上に強調表示することを特徴とする請求項２から請求項８のいずれか一項に記載の計測方法。
【請求項１０】
前記表示制御部は、前記第２の画像表示ステップおよび前記第３の画像表示ステップの少なくとも一方において、前記少なくとも２枚の前記第２の画像のうちの１枚のみの視野に含まれる領域を前記第３の画像上に強調表示することを特徴とする請求項８または請求項９に記載の計測方法。
【請求項１１】
前記表示制御部は、前記第３の画像表示ステップにおいて、前記第１の画像のみの視野に含まれる領域を前記第１の画像上に強調表示することを特徴とする請求項８から請求項１０のいずれか一項に記載の計測方法。
【請求項１２】
前記表示制御部は、前記第２の画像表示ステップにおいて、前記第１の領域に表示された前記第２の画像のみの視野に含まれる領域を前記第１の領域に表示された前記第２の画像上に強調表示することを特徴とする請求項８から請求項１１のいずれか一項に記載の計測方法。
【請求項１３】
前記表示制御部が、前記第１の点または前記第２の点に対応する第３の点を含む領域を前記第３の画像上に拡大表示する点表示ステップをさらに有することを特徴とする請求項２から請求項１２のいずれか一項に記載の計測方法。
【請求項１４】
前記第１の点が前記第１の画像に設定され、かつ視野の移動方向の指示が受け付けられた後、前記表示制御部は、前記第１の領域における前記第１の画像を非表示にし、かつ前記第１の画像の視野から前記移動方向に移動した視野を持つ前記第２の画像を前記第１の領域に表示することを特徴とする請求項１に記載の計測方法。
【請求項１５】
合成部が前記複数の第２の画像を貼り合わせることにより合成画像を生成する合成ステップと、
前記表示制御部が前記合成画像を前記第１の領域と異なる前記ディスプレイの第２の領域に表示する合成画像表示ステップと、
をさらに有し、
前記第１の点が前記第１の画像に設定され、かつ前記合成画像上の領域を指定する指示が受け付けられた後、前記表示制御部は、前記第２の画像表示ステップにおいて前記第１の画像を非表示にし、かつ指定された前記領域を含む前記第２の画像を前記第１の領域に表示する
ことを特徴とする請求項１に記載の計測方法。
【請求項１６】
前記表示制御部が前記３次元形状を示す３次元画像を前記第１の領域と異なる前記ディスプレイの第２の領域に表示する３次元画像表示ステップをさらに有し、
前記第１の点が前記第１の画像に設定され、かつ前記３次元画像上の領域を指定する指示が受け付けられた後、前記表示制御部は、前記第２の画像表示ステップにおいて前記第１の画像を非表示にし、かつ指定された前記領域に対応する領域を含む前記第２の画像を前記第１の領域に表示する
をさらに有することを特徴とする請求項１に記載の計測方法。
【請求項１７】
前記第２の点が設定された後、前記表示制御部が前記第１の領域における前記第２の画像を非表示にし、前記第１の画像を前記第１の領域に表示し、かつ前記第１の点を前記第１の画像上に強調表示する第４の画像表示ステップと、
前記第１の点が強調表示された後、前記設定部が前記第１の画像に設定された前記第１の点の位置を修正する修正ステップと、
をさらに有することを特徴とする請求項１から請求項１６のいずれか一項に記載の計測方法。
【請求項１８】
前記画像群に含まれる各画像は、第１の視点から見た前記被写体の画像と、前記第１の視点と異なる第２の視点から見た前記被写体の画像とを含むステレオ画像であることを特徴とする請求項１から請求項１７のいずれか一項に記載の計測方法。
【請求項１９】
被写体の２次元画像である１枚の第１の画像をディスプレイの第１の領域に表示し、第１の点が前記第１の画像に設定された後、前記第１の領域における前記第１の画像を非表示にし、かつ前記被写体の２次元画像である複数の第２の画像に含まれる１枚の前記第２の画像を前記第１の領域に表示し、前記第１の画像および前記複数の第２の画像からなる画像群の各画像の視野の一部は、前記画像群の他の画像の視野の一部と重なる表示制御部と、
前記第１の領域に表示された前記第１の画像に前記第１の点を設定し、前記第１の領域に表示された前記第２の画像に第２の点を設定する設定部と、
前記画像群の各画像が生成されたときのカメラの位置および姿勢に基づいて前記被写体の３次元形状を生成する生成部と、
少なくとも前記第１の点、前記第２の点、および前記３次元形状に基づいて前記被写体の大きさを計測する計測部と、
を有する計測装置。
【請求項２０】
被写体の２次元画像である１枚の第１の画像をディスプレイの第１の領域に表示する第１の画像表示ステップと、
前記第１の領域に表示された前記第１の画像に第１の点を設定する第１の設定ステップと、
前記第１の点が前記第１の画像に設定された後、前記第１の領域における前記第１の画像を非表示にし、かつ前記被写体の２次元画像である複数の第２の画像に含まれる１枚の前記第２の画像を前記第１の領域に表示し、前記第１の画像および前記複数の第２の画像からなる画像群の各画像の視野の一部は、前記画像群の他の画像の視野の一部と重なる第２の画像表示ステップと、
前記第１の領域に表示された前記第２の画像に第２の点を設定する第２の設定ステップと、
前記画像群の各画像が生成されたときのカメラの位置および姿勢に基づいて前記被写体の３次元形状を生成する生成ステップと、
少なくとも前記第１の点、前記第２の点、および前記３次元形状に基づいて前記被写体の大きさを計測する計測ステップと、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、計測方法、計測装置、およびプログラムに関する。
【背景技術】
【０００２】
互いに異なる複数の視点で得られた複数の画像を使用して被写体の３次元形状を再構成する技術が開発されている。本明細書ではこの技術をＳｆＭ（Ｓｔｒｕｃｔｕｒｅ  ｆｒｏｍ  Ｍｏｔｉｏｎ）と呼ぶ。この技術を使用することにより、動画または複数の静止画に基づいて被写体の３次元形状を再構成し、かつ被写体の大きさを計測することが可能となる。
【０００３】
この技術を使用することにより３次元形状の再構成（３Ｄ再構成）が実行された場合、原理的に、絶対寸法を持たずに相対的なスケールを持つ３次元形状が再構成される。そのため、得られた３次元形状に既知の寸法を設定することにより、絶対寸法（長さの次元）における計測を実行することが可能となる。例えば、特許文献１および特許文献２には、ＳｆＭと絶対寸法入力とを組み合わせることにより３Ｄ再構成および計測を実行することが開示されている。
【０００４】
特許文献１には、ＳｆＭと既知のカメラの動きとを組み合わせることにより、絶対寸法における３Ｄ再構成および計測を実行する方法が開示されている。特許文献２には、ユーザーが画像上で指定した既知の被写体寸法に基づいて絶対寸法における３Ｄ再構成および計測を実行する方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３３４７３８５号公報
【特許文献２】特開２００５−１８９０５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ＳｆＭを使用する被写体の３Ｄ再構成において、従来のステレオ計測と比較して、３Ｄ再構成の範囲を広げられるという利点が存在する。ステレオ計測では左右の２枚の画像が使用されるが、ＳｆＭでは３枚以上の画像を使用できる。この利点があるため、被写体が１枚の画像の視野に入らないような大きな寸法を持つ場合であっても、カメラが被写体に近づいたまま複数視点で画像を取得することにより、計測精度を維持しつつ計測を実行することができる。このような１枚の画像の視野に入らないような大きな寸法を計測する場合には、互いに異なる複数の視点で得られた複数の画像において、寸法計測を行うための計測点および既知の基準となる長さを決める基準点を指定する必要がある。計測点は被写体上の計測位置を示す。基準点は、被写体上の基準寸法の位置を示す。
【０００７】
しかしながら、特許文献１および特許文献２において、１枚の画像の視野に入らないような離れた２つの位置に存在する点が計測点または基準点として設定されることは想定されていない。例えば、特許文献１では、実際に計測を実行するためのユーザーの操作手順およびユーザーインターフェースに関する事項は開示されていない。特許文献２では、１つの画像上に複数の点を設定する状況のみが想定されている。
【０００８】
本発明は、計測に使用される複数の点を複数の画像に設定することができる計測方法、計測装置、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、表示制御部が被写体の２次元画像である１枚の第１の画像をディスプレイの第１の領域に表示する第１の画像表示ステップと、設定部が前記第１の領域に表示された前記第１の画像に第１の点を設定する第１の設定ステップと、前記第１の点が前記第１の画像に設定された後、前記表示制御部が前記第１の領域における前記第１の画像を非表示にし、かつ前記被写体の２次元画像である複数の第２の画像に含まれる１枚の前記第２の画像を前記第１の領域に表示し、前記第１の画像および前記複数の第２の画像からなる画像群の各画像の視野の一部は、前記画像群の他の画像の視野の一部と重なる第２の画像表示ステップと、前記設定部が前記第１の領域に表示された前記第２の画像に第２の点を設定する第２の設定ステップと、前記画像群の各画像が生成されたときのカメラの位置および姿勢に基づいて生成部が前記被写体の３次元形状を生成する生成ステップと、計測部が少なくとも前記第１の点、前記第２の点、および前記３次元形状に基づいて前記被写体の大きさを計測する計測ステップと、を有する計測方法である。
【００１０】
本発明の計測方法は、前記第１の画像が前記第１の領域に表示されている間、前記表示制御部が少なくとも２枚の第３の画像を前記第１の領域と異なる前記ディスプレイの第２の領域に表示し、各々の前記第３の画像は、前記複数の第２の画像に含まれるいずれか１枚の前記第２の画像に対応する第３の画像表示ステップをさらに有し、前記第２の領域に表示された前記少なくとも２枚の前記第３の画像のうちの１枚を選択する指示が受け付けられた後、前記表示制御部は、前記第２の画像表示ステップにおいて前記第１の画像を非表示にし、かつ選択された前記第３の画像に対応する前記第２の画像を前記第１の領域に表示することを特徴とする。
【００１１】
本発明の計測方法において、前記第１の領域における前記第１の画像の面積は前記第２の領域における前記第２の画像の面積よりも大きいことを特徴とする。
【００１２】
本発明の計測方法において、前記表示制御部は、前記第３の画像表示ステップにおいて、前記第１の画像に対応する第４の画像を前記第２の領域に強調表示することを特徴とする。
【００１３】
本発明の計測方法において、前記表示制御部は、前記第２の画像表示ステップにおいて、前記第１の領域に表示された前記第２の画像に対応する前記第３の画像を強調表示することを特徴とする。
【００１４】
本発明の計測方法において、前記表示制御部は、前記第３の画像表示ステップにおいて、前記少なくとも２枚の前記第３の画像を各画像の視野の関係に基づく順番に前記第２の領域に並べることを特徴とする。
【００１５】
本発明の計測方法において、前記複数の第２の画像に含まれる２枚の前記第２の画像の互いの視野の重なりの大きさが所定量を超える場合、前記表示制御部は、前記第３の画像表示ステップにおいて、前記２枚の前記第２の画像の一方のみに対応する前記第３の画像を前記第２の領域に表示することを特徴とする。
【００１６】
本発明の計測方法において、前記表示制御部は、前記第３の画像表示ステップにおいて、前記第１の画像の視野に含まれず、かつ前記少なくとも２枚の前記第２の画像のうちの２枚以上の視野に共通に含まれる領域を前記第３の画像上に強調表示することを特徴とする。
【００１７】
本発明の計測方法において、前記表示制御部は、前記第２の画像表示ステップにおいて、前記第１の領域に表示された前記第２の画像の視野に含まれず、かつ前記少なくとも２枚の前記第２の画像のうちの２枚以上の視野に共通に含まれる領域を前記第３の画像上に強調表示することを特徴とする。
【００１８】
本発明の計測方法において、前記表示制御部は、前記第２の画像表示ステップおよび前記第３の画像表示ステップの少なくとも一方において、前記少なくとも２枚の前記第２の画像のうちの１枚のみの視野に含まれる領域を前記第３の画像上に強調表示することを特徴とする。
【００１９】
本発明の計測方法において、前記表示制御部は、前記第３の画像表示ステップにおいて、前記第１の画像のみの視野に含まれる領域を前記第１の画像上に強調表示することを特徴とする。
【００２０】
本発明の計測方法において、前記表示制御部は、前記第２の画像表示ステップにおいて、前記第１の領域に表示された前記第２の画像のみの視野に含まれる領域を前記第１の領域に表示された前記第２の画像上に強調表示することを特徴とする。
【００２１】
本発明の計測方法において、前記表示制御部が、前記第１の点または前記第２の点に対応する第３の点を含む領域を前記第３の画像上に拡大表示する点表示ステップをさらに有することを特徴とする。
【００２２】
本発明の計測方法において、前記第１の点が前記第１の画像に設定され、かつ視野の移動方向の指示が受け付けられた後、前記表示制御部は、前記第１の領域における前記第１の画像を非表示にし、かつ前記第１の画像の視野から前記移動方向に移動した視野を持つ前記第２の画像を前記第１の領域に表示することを特徴とする。
【００２３】
本発明の計測方法は、合成部が前記複数の第２の画像を貼り合わせることにより合成画像を生成する合成ステップと、前記表示制御部が前記合成画像を前記第１の領域と異なる前記ディスプレイの第２の領域に表示する合成画像表示ステップと、をさらに有し、前記第１の点が前記第１の画像に設定され、かつ前記合成画像上の領域を指定する指示が受け付けられた後、前記表示制御部は、前記第２の画像表示ステップにおいて前記第１の画像を非表示にし、かつ指定された前記領域を含む前記第２の画像を前記第１の領域に表示することを特徴とする。
【００２４】
本発明の計測方法は、前記表示制御部が前記３次元形状を示す３次元画像を前記第１の領域と異なる前記ディスプレイの第２の領域に表示する３次元画像表示ステップをさらに有し、前記第１の点が前記第１の画像に設定され、かつ前記３次元画像上の領域を指定する指示が受け付けられた後、前記表示制御部は、前記第２の画像表示ステップにおいて前記第１の画像を非表示にし、かつ指定された前記領域に対応する領域を含む前記第２の画像を前記第１の領域に表示することを特徴とする。
【００２５】
本発明の計測方法は、前記第２の点が設定された後、前記表示制御部が前記第１の領域における前記第２の画像を非表示にし、前記第１の画像を前記第１の領域に表示し、かつ前記第１の点を前記第１の画像上に強調表示する第４の画像表示ステップと、前記第１の点が強調表示された後、前記設定部が前記第１の画像に設定された前記第１の点の位置を修正する修正ステップと、をさらに有することを特徴とする。
【００２６】
本発明の計測方法において、前記画像群に含まれる各画像は、第１の視点から見た前記被写体の画像と、前記第１の視点と異なる第２の視点から見た前記被写体の画像とを含むステレオ画像であることを特徴とする。
【００２７】
本発明は、被写体の２次元画像である１枚の第１の画像をディスプレイの第１の領域に表示し、第１の点が前記第１の画像に設定された後、前記第１の領域における前記第１の画像を非表示にし、かつ前記被写体の２次元画像である複数の第２の画像に含まれる１枚の前記第２の画像を前記第１の領域に表示し、前記第１の画像および前記複数の第２の画像からなる画像群の各画像の視野の一部は、前記画像群の他の画像の視野の一部と重なる表示制御部と、前記第１の領域に表示された前記第１の画像に前記第１の点を設定し、前記第１の領域に表示された前記第２の画像に第２の点を設定する設定部と、前記画像群の各画像が生成されたときのカメラの位置および姿勢に基づいて前記被写体の３次元形状を生成する生成部と、少なくとも前記第１の点、前記第２の点、および前記３次元形状に基づいて前記被写体の大きさを計測する計測部と、を有する計測装置である。
【００２８】
本発明は、被写体の２次元画像である１枚の第１の画像をディスプレイの第１の領域に表示する第１の画像表示ステップと、前記第１の領域に表示された前記第１の画像に第１の点を設定する第１の設定ステップと、前記第１の点が前記第１の画像に設定された後、前記第１の領域における前記第１の画像を非表示にし、かつ前記被写体の２次元画像である複数の第２の画像に含まれる１枚の前記第２の画像を前記第１の領域に表示し、前記第１の画像および前記複数の第２の画像からなる画像群の各画像の視野の一部は、前記画像群の他の画像の視野の一部と重なる第２の画像表示ステップと、前記第１の領域に表示された前記第２の画像に第２の点を設定する第２の設定ステップと、前記画像群の各画像が生成されたときのカメラの位置および姿勢に基づいて前記被写体の３次元形状を生成する生成ステップと、少なくとも前記第１の点、前記第２の点、および前記３次元形状に基づいて前記被写体の大きさを計測する計測ステップと、をコンピュータに実行させるためのプログラムである。
【発明の効果】
【００２９】
本発明によれば、計測方法、計測装置、およびプログラムは、計測に使用される複数の点を複数の画像に設定することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の第１の実施形態による計測装置のハードウェア構成を示すブロック図である。
【図２】本発明の第１の実施形態による計測装置が有するＣＰＵの機能構成を示すブロック図である。
【図３】本発明の第１の実施形態による計測装置が実行する処理の手順を示すフローチャートである。
【図４】本発明の第１の実施形態による計測装置が実行する処理の手順を示すフローチャートである。
【図５】本発明の第１の実施形態による計測装置が有するディスプレイに表示される画像の例を示す図である。
【図６】本発明の第１の実施形態による計測装置が有するディスプレイに表示される画像の例を示す図である。
【図７】本発明の第１の実施形態による計測装置が有するディスプレイに表示される画像の例を示す図である。
【図８】本発明の第１の実施形態における各画像とその視野を示す図である。
【図９】本発明の第１の実施形態における各画像とその視野を示す図である。
【図１０】本発明の第１の実施形態による計測装置が有するディスプレイに表示される画像の例を示す図である。
【図１１】本発明の第１の実施形態による計測装置が有するディスプレイに表示される画像の例を示す図である。
【図１２】本発明の第１の実施形態における画像取得の状況を示す模式図である。
【図１３】本発明の第１の実施形態における３次元モデルを生成するための処理の手順を示すフローチャートである。
【図１４】本発明の第１の実施形態の第１の変形例による計測装置が有するディスプレイに表示される画像の例を示す図である。
【図１５】本発明の第１の実施形態の第１の変形例による計測装置が有するディスプレイに表示される画像の例を示す図である。
【図１６】本発明の第１の実施形態の第２の変形例による計測装置が実行する処理の手順を示すフローチャートである。
【図１７】本発明の第１の実施形態の第２の変形例による計測装置が有するディスプレイに表示される画像の例を示す図である。
【図１８】本発明の第２の実施形態による計測装置が有するＣＰＵの機能構成を示すブロック図である。
【図１９】本発明の第２の実施形態による計測装置が実行する処理の手順を示すフローチャートである。
【図２０】本発明の第２の実施形態による計測装置が実行する処理の手順を示すフローチャートである。
【図２１】本発明の第２の実施形態における各画像の視野を示す図である。
【図２２】本発明の第２の実施形態における各画像の視野を示す図である。
【図２３】本発明の第２の実施形態において２枚以上の画像の視野に共通に含まれる領域を示す図である。
【図２４】本発明の第２の実施形態における各画像の視野を示す図である。
【図２５】本発明の第２の実施形態による計測装置が有するディスプレイに表示される画像の例を示す図である。
【図２６】本発明の第２の実施形態による計測装置が有するディスプレイに表示される画像の例を示す図である。
【図２７】本発明の第２の実施形態の変形例による計測装置が有するディスプレイに表示される画像の例を示す図である。
【図２８】本発明の第２の実施形態の変形例による計測装置が有するディスプレイに表示される画像の例を示す図である。
【図２９】本発明の第３の実施形態による計測装置が有するＣＰＵの機能構成を示すブロック図である。
【図３０】本発明の第３の実施形態による計測装置が実行する処理の手順を示すフローチャートである。
【図３１】本発明の第３の実施形態による計測装置が有するディスプレイに表示される画像の例を示す図である。
【図３２】本発明の第３の実施形態の変形例による計測装置が実行する処理の手順を示すフローチャートである。
【図３３】本発明の第３の実施形態の変形例による計測装置が有するディスプレイに表示される画像の例を示す図である。
【図３４】本発明の第４の実施形態による計測装置が有するＣＰＵの機能構成を示すブロック図である。
【図３５】本発明の第４の実施形態による計測装置が実行する処理の手順を示すフローチャートである。
【図３６】本発明の第４の実施形態による計測装置が実行する処理の手順を示すフローチャートである。
【図３７】本発明の第５の実施形態による計測装置が実行する処理の手順を示すフローチャートである。
【図３８】本発明の第５の実施形態による計測装置が有するディスプレイに表示される画像の例を示す図である。
【図３９】本発明の第５の実施形態による計測装置が有するディスプレイに表示される画像の例を示す図である。
【図４０】本発明の第５の実施形態の変形例による計測装置が有するディスプレイに表示される画像の例を示す図である。
【図４１】本発明の第５の実施形態の変形例による計測装置が有するディスプレイに表示される画像の例を示す図である。
【図４２】本発明の第６の実施形態の計測システムの構成を示すブロック図である。
【図４３】本発明の第６の実施形態の計測装置のハードウェア構成を示すブロック図である。
【図４４】本発明の第６の実施形態による計測装置が有するＣＰＵの機能構成を示すブロック図である。
【図４５】本発明の第６の実施形態による３Ｄモデル生成装置のハードウェア構成を示すブロック図である。
【図４６】本発明の第６の実施形態による３Ｄモデル生成装置が有するＣＰＵの機能構成を示すブロック図である。
【図４７】本発明の第６の実施形態による計測装置が実行する処理の手順を示すフローチャートである。
【図４８】本発明の第６の実施形態による３Ｄモデル生成装置が実行する処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００３１】
以下、図面を参照し、本発明の実施形態を説明する。本発明の各実施形態の計測装置は、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）のような装置である。ＰＣの種類は限定されず、デスクトップ、ラップトップ、およびタブレットのいずれであってもよい。計測装置は、特定の装置またはシステムに実装された組み込み機器であってもよい。計測装置は、クラウド上の環境であっても構わない。被写体は、工業製品である。
【００３２】
（第１の実施形態）
本発明の第１の実施形態を説明する。図１は、第１の実施形態の計測装置１のハードウェア構成を示す。図１に示す計測装置１は、画像入力装置１０、ハードディスク１１、操作部１２、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１３、メモリ１４、およびディスプレイ１５を有する。
【００３３】
画像入力装置１０は、画像を外部装置から受け付ける。例えば、画像入力装置１０はケーブルあるいは無線で外部装置と接続される。例えば、外部装置は、ハードディスクまたはメモリのような記憶装置である。記憶装置に記憶された画像が画像入力装置１０に入力される。外部装置は、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）またはインターネットのようなネットワーク上の機器であってもよい。画像入力装置１０はその機器と通信を実行し、かつ画像をその機器から受信してもよい。
【００３４】
ハードディスク１１は、画像入力装置１０によって受け付けられた画像を記憶する。計測装置１は、ハードディスクの代わりにＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）を有してもよい。
【００３５】
操作部１２は、ユーザーインターフェース（入力インターフェース）である。操作部１２は、マウス１２ａおよびキーボード１２ｂを有する。ユーザーは、マウス１２ａおよびキーボード１２ｂを操作することにより、計測点および基準点等の情報を入力する。操作部１２は、ボタン、スイッチ、キー、ジョイスティック、タッチパッド、トラックボール、およびタッチパネルの少なくとも１つを含んでもよい。
【００３６】
ＣＰＵ１３は、被写体の３次元形状の生成（再構成）および計測のための処理を実行する。ＣＰＵ１３の機能については、図２を参照して後述する。
【００３７】
メモリ１４は、揮発性または不揮発性のメモリである。例えば、メモリ１４は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、およびフラッシュメモリの少なくとも１つである。メモリ１４は、画像入力装置１０によって受け付けられた画像またはＣＰＵ１３によって処理された画像を記憶する。
【００３８】
ディスプレイ１５は、液晶ディスプレイ等のようなモニタである。ディスプレイ１５は、タッチパネルディスプレイであってもよい。その場合、操作部１２およびディスプレイ１５は一体化される。
【００３９】
図２は、ＣＰＵ１３の機能構成を示す。画像再生部２０、３Ｄモデル取得部２１、および計測処理部２２によってＣＰＵ１３の機能が構成される。
【００４０】
画像再生部２０は、画像記憶制御部２００、画像再生制御部２０１、および基準画像選択部２０２を有する。
【００４１】
画像記憶制御部２００は、画像入力装置１０によって受け付けられた時系列画像をハードディスク１１またはメモリ１４に記憶する。時系列画像（画像群）は、カメラによって生成された少なくとも３枚の画像を含む。時系列画像に含まれる各画像は、被写体の２次元画像である。時系列画像に含まれる各画像は、時系列画像に含まれる他の画像と時系列順に関連付けられている。例えば、時系列画像は動画である。時系列画像は、タイムスタンプが付加された連続静止画群であってもよい。動画または静止画の拡張子は限定されない。
【００４２】
画像再生制御部２０１は、時系列画像を再生し、かつ時系列画像をディスプレイ１５に表示する。画像再生制御部２０１は、早送り、一時停止、および巻き戻し等の基本的な画像再生機能を含む。
【００４３】
基準画像選択部２０２は、被写体の３次元形状を示す３Ｄモデルの生成に使用される基準画像を選択する。計測点または基準点を指定したい画像が表示されたとき、ユーザーは、操作部１２を操作することにより、３Ｄモデル生成開始指示を入力する。基準画像選択部２０２は、３Ｄモデル生成開始指示を操作部１２から受け付ける。３Ｄモデル生成開始指示が受け付けられたとき、基準画像選択部２０２は、ディスプレイ１５に表示されている画像を基準画像として選択する。
【００４４】
３Ｄモデル取得部２１は、画像抽出部２１０、および３Ｄモデル生成部２１１を有する。
【００４５】
画像抽出部２１０は、基準画像選択部２０２によって選択された基準画像に基づいて、少なくとも３枚の画像を時系列画像から抽出する。以下の例では、少なくとも３枚の画像は、基準画像選択部２０２によって選択された基準画像を含む。
【００４６】
３Ｄモデル生成部２１１は、画像抽出部２１０によって抽出された各画像が生成されたときのカメラの位置および姿勢を推定する。３Ｄモデル生成部２１１は、推定された位置および姿勢に基づいて、被写体の３Ｄモデルを生成する。３Ｄモデル（３次元座標群）は、被写体の３次元座標のデータを含む。３Ｄモデルは、ユーザーによって指定された少なくとも２つの点のみの３次元座標のデータを含んでもよい。例えば、後述する基準点および計測点が画像に設定された後、３Ｄモデル生成部２１１は、各点が設定された画像に基づいて、各点のみの３次元座標のデータを含む３Ｄモデルを生成してもよい。
【００４７】
生成された３Ｄモデルは、ディスプレイ１５に表示されてもよい。あるいは、生成された３Ｄモデルは、ディスプレイ１５に表示されなくてもよい。本発明の実施形態は、生成された３Ｄモデルが表示されるか否かには影響を受けない。
【００４８】
計測処理部２２は、基準点設定部２２０、表示制御部２２１、基準長設定部２２２、表示画像選択部２２３、計測点設定部２２４、座標変換部２２５、および計測部２２６を有する。
【００４９】
ユーザーは、操作部１２を操作することにより、基準寸法の位置を示す基準点の位置情報（座標）を入力する。基準点設定部２２０は、基準点の位置情報を操作部１２から受け付ける。基準点の位置情報が受け付けられたとき、基準点設定部２２０は、ディスプレイ１５に表示されている画像に基準点を設定する。位置情報が示す画像上の位置に基準点が設定される。基準点の位置情報は、ハードディスク１１またはメモリ１４に記憶される。基準点が特定の画像に関連付けられることにより、基準点が設定される。
【００５０】
ユーザーは、操作部１２を操作することにより、基準寸法を示す基準長を入力する。基準長設定部２２２は、基準長を操作部１２から受け付ける。基準長は、３Ｄモデルを実際の被写体のスケールと合わせるために使用される。基準長が受け付けられたとき、基準長設定部２２２は、ディスプレイ１５に表示されている画像に基準長を設定する。基準長は、ハードディスク１１またはメモリ１４に記憶される。基準長が特定の画像に関連付けられることにより、基準長が設定される。
【００５１】
以下では、ユーザーからの指示に基づいて基準点および基準長が設定される場合を想定している。基準点および基準長が自動で設定されてもよい。例えば、ユーザーが予め指定した基準点および基準長の情報がハードディスク１１またはメモリ１４に記憶される。その情報は、過去に計測が実行されたときに設定された基準点および基準長を示してもよい。その情報に基づいて基準点および基準長が設定される。
【００５２】
ユーザーは、操作部１２を操作することにより、計測位置を示す計測点の位置情報（座標）を入力する。計測点設定部２２４は、計測点の位置情報を操作部１２から受け付ける。計測点の位置情報が受け付けられたとき、計測点設定部２２４は、ディスプレイ１５に表示されている画像に計測点を設定する。位置情報が示す画像上の位置に計測点が設定される。計測点の位置情報は、ハードディスク１１またはメモリ１４に記憶される。計測点が特定の画像に関連付けられることにより、計測点が設定される。計測を実行するためには、少なくとも２つの計測点が必要である。
【００５３】
計測点または基準点の指定は、ユーザーが計測点または基準点を計測装置１に指示することを意味する。ユーザーは、画像上の位置を指定することにより計測点または基準点を指定する。計測点の設定は、計測点設定部２２４が計測点を画像に関連付けることを意味する。基準点の設定は、基準点設定部２２０が基準点を画像に関連付けることを意味する。
【００５４】
以下では、計測点および基準点の任意の一方を指すために、画像に設定された点を指定点と記載する場合がある。指定点は、計測点および基準点を含む表現である。説明の分かりやすさを重要視するために、指定点ではなく計測点または基準点を使用する場合もある。
【００５５】
本明細書では、便宜上、「点」という言葉を使っているが、指定点は画面上の１ピクセルに対応する１点である必要はない。指定点は、任意の大きさの領域を含んでもよい。指定点は、サブピクセル単位で指定できる領域を含んでもよい。
【００５６】
表示制御部２２１は、画像抽出部２１０によって抽出された少なくとも３枚の画像のうちの１枚をディスプレイ１５に表示する。３Ｄモデルが生成された後、表示制御部２２１は、基準画像選択部２０２によって選択された基準画像（第１の画像）をディスプレイ１５に表示する。ユーザーが入力した指定点の位置情報に基づいて指定点が基準画像に設定された後、表示制御部２２１は、ディスプレイ１５に表示された画像を切り替える。つまり、表示制御部２２１は、基準画像を非表示にし、かつ基準画像を除く他の画像（第２の画像）をディスプレイ１５に表示する。ユーザーが入力した指定点の位置情報に基づいて指定点がその画像に設定される。計測が実行された後、表示制御部２２１は、計測結果を画像上に表示する。
【００５７】
ユーザーは、操作部１２を操作することにより、画像切り替え指示を入力する。表示画像選択部２２３は、画像切り替え指示を操作部１２から受け付ける。画像切り替え指示が受け付けられたとき、表示画像選択部２２３は、画像抽出部２１０によって抽出された少なくとも３枚の画像から１枚の画像を選択する。表示制御部２２１は、表示画像選択部２２３によって選択された画像をディスプレイ１５に表示する。
【００５８】
座標変換部２２５は、基準点および基準長を使用することにより座標変換を実行する。具体的には、座標変換部２２５は、３Ｄモデル生成部２１１によって生成された３Ｄモデルを、長さの次元を持つ３Ｄモデルへ変換する。座標変換が実行される前、３Ｄモデルは長さの次元を持たず、３Ｄモデル上の長さは確定していない。その３Ｄモデルは、実際の被写体の大きさと相似関係のみを持つ。
【００５９】
計測部２２６は、少なくとも２つの計測点および３Ｄモデルに基づいて各計測点に対応する３次元座標を算出する。計測部２２６は、各計測点に対応する３次元座標に基づいて被写体の３次元での寸法を計測する。３Ｄモデルの生成に使用された画像上の位置とその３Ｄモデル上の位置とは、互いに関連付けられている。画像上で計測点が指定された後、計測部２２６は、その計測点に対応する３次元座標を取得することができる。同様に、画像上で基準点が指定された後、座標変換部２２５は、その基準点に対応する３次元座標を取得することができる。
【００６０】
図２に示すＣＰＵ１３内のブロックの少なくとも１つがＣＰＵ１３とは別の回路で構成されてもよい。ＣＰＵ１３内の各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。例えば、プロセッサは、ＣＰＵ、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、およびＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）の少なくとも１つである。例えば、論理回路は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）およびＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）の少なくとも１つである。ＣＰＵ１３内の各部は、１つまたは複数のプロセッサを含むことができる。ＣＰＵ１３内の各部は、１つまたは複数の論理回路を含むことができる。
【００６１】
ＣＰＵ１３が、プログラムを読み込み、かつ読み込まれたプログラムを実行してもよい。そのプログラムは、ＣＰＵ１３の動作を規定する命令を含む。つまり、ＣＰＵ１３の機能はソフトウェアにより実現されてもよい。そのプログラムは、例えばフラッシュメモリのような「コンピュータ読み取り可能な記録媒体」により提供されてもよい。そのプログラムは、そのプログラムを保持するコンピュータから、伝送媒体を経由して、あるいは伝送媒体中の伝送波により計測装置１に伝送されてもよい。プログラムを伝送する「伝送媒体」は、情報を伝送する機能を有する媒体である。情報を伝送する機能を有する媒体は、インターネット等のネットワーク（通信網）および電話回線等の通信回線（通信線）を含む。上述したプログラムは、前述した機能の一部を実現してもよい。さらに、上述したプログラムは、差分ファイル（差分プログラム）であってもよい。コンピュータに既に記録されているプログラムと差分プログラムとの組合せが、前述した機能を実現してもよい。
【００６２】
第１の実施形態において、便宜上、計測を実行するために必要な最小の数の指定点がユーザーによって指定される場合を想定している。最小の数は４つである。指定点の数が４つを超える場合であっても、４点が指定される場合と計測方法は基本的には同じである。そのため、４つを超える指定点が指定される場合の説明を省略する。
【００６３】
以下では、２つの基準点が指定され、かつ２つの基準点間の基準長が指定される。以下では、２つの計測点が指定される。
【００６４】
図３および図４を参照し、３Ｄモデルの生成および計測のために実行される処理の手順を説明する。図３および図４は、ＣＰＵ１３が実行する処理の手順を示す。
【００６５】
画像記憶制御部２００は、画像入力装置１０を制御し、複数の画像を含む時系列画像を受け付ける（ステップＳ１０１）。ステップＳ１０１の後、画像記憶制御部２００は時系列画像をハードディスク１１またはメモリ１４に記憶する（ステップＳ１０２）。ステップＳ１０２の後、画像再生制御部２０１は、時系列画像をハードディスク１１またはメモリ１４から読み出し、かつ時系列画像に含まれる各画像をディスプレイ１５に順に表示する（ステップＳ１０３）。
【００６６】
画像が表示された後、ユーザーは、基本的な画像再生機能を使用することにより、時系列画像に含まれる各画像を確認する。ユーザーは、計測対象が被写体上にあるか否かを確認する。計測対象が被写体上にあることをユーザーが確認した場合、ユーザーは、操作部１２を操作することにより、３Ｄモデル生成開始指示を入力する。基準画像選択部２０２は、３Ｄモデル生成開始指示を操作部１２から受け付け、かつディスプレイ１５に表示されている画像を基準画像として選択する（ステップＳ１０４）。
【００６７】
図５は、ステップＳ１０４においてディスプレイ１５に表示される画像の例を示す。画像ＳＩ１００、メニューＭＥ１、およびシークバーＢＡ１がディスプレイ１５の画面上に表示される。
【００６８】
画像ＳＩ１００は、時系列画像に含まれる１枚の静止画である。メニューＭＥ１は、時系列画像の再生機能をユーザーに提供する。シークバーＢＡ１は、時系列画像における画像ＳＩ１００の位置を示す。
【００６９】
ボタンＢＴ１０、ボタンＢＴ１１、およびボタンＢＴ１２がメニューＭＥ１上に表示される。ボタンＢＴ１０は、時系列画像の再生を指示するためのボタンである。ボタンＢＴ１１は、時系列画像の再生を一時停止するためのボタンである。ボタンＢＴ１２は、３Ｄモデル生成開始指示を入力するためのボタンである。ユーザーは、操作部１２を通して各ボタンを押すことができる。ディスプレイ１５がタッチパネルである場合、ユーザーは、各ボタンを画面上で押すことができる。
【００７０】
ユーザーは、ボタンＢＴ１０またはボタンＢＴ１１を押すことにより時系列画像の再生を制御する。ユーザーは、そのような操作を行っている間、時系列画像の各画像に計測対象があるか否かを確認する。計測対象が写った画像ＳＩ１００が表示されているとき、ユーザーは、ボタンＢＴ１１を押すことにより時系列画像の再生を一時停止する。ユーザーは、ボタンＢＴ１２を押すことにより３Ｄモデル生成開始指示を入力する。
【００７１】
３Ｄモデル生成開始指示が入力された後、ユーザーは、操作部１２を操作することにより、被写体の３Ｄモデルを生成するための条件を示す情報を入力する。３Ｄモデル生成部２１１は、入力された情報に基づいて、被写体の３Ｄモデルを生成するための条件を受け付ける（ステップＳ１０５）。具体的には、その条件は、カメラの内部パラメーター、カメラの歪み補正パラメーター、および設定値等を含む。設定値は、３Ｄモデルを生成するための各種処理に使用される。これらの条件の全てをユーザーが指定する必要はない。ＣＰＵ１３がこれらの条件の少なくとも１つを自動的に設定してもよい。３Ｄモデル生成部２１１が受け付けた情報は、ハードディスク１１またはメモリ１４に記憶される。
【００７２】
ステップＳ１０５の後、画像抽出部２１０は、少なくとも３枚の画像を時系列画像から抽出する（ステップＳ１０６）。少なくとも３枚の画像は、基準画像選択部２０２によって選択された基準画像を含む。画像抽出部２１０は、ステップＳ１０６において抽出された少なくとも３枚の画像をハードディスク１１またはメモリ１４に記憶する（ステップＳ１０７）。
【００７３】
例えば、画像抽出部２１０は、基準画像が持つ時刻よりも後の所定期間内の時刻を持つ画像を時系列画像から抽出する。画像抽出部２１０は、基準画像が持つ時刻よりも前の所定期間内の時刻を持つ画像を時系列画像から抽出し、かつ基準画像の時刻よりも後の所定期間内の時刻を持つ画像を時系列画像から抽出してもよい。画像抽出部２１０は、基準画像が持つ時刻よりも前の所定期間内の時刻を持つ画像のみを時系列画像から抽出してもよい。
【００７４】
画像抽出部２１０は、基準画像が持つ時刻よりも後の時刻を持つ所定の枚数の画像を時系列画像から抽出してもよい。画像抽出部２１０は、基準画像が持つ時刻よりも前の時刻を持つ所定の枚数の画像を時系列画像から抽出し、かつ基準画像が持つ時刻よりも後の時刻を持つ所定の枚数の画像を時系列画像から抽出してもよい。画像抽出部２１０は、基準画像が持つ時刻よりも前の時刻を持つ所定の枚数の画像のみを時系列画像から抽出してもよい。
【００７５】
画像抽出部２１０が少なくとも３枚の画像を時系列画像から抽出する方法は上記の方法に限らない。画像抽出部２１０によって抽出された少なくとも３枚の画像は、基準画像を含む必要はない。
【００７６】
ステップＳ１０７の後、３Ｄモデル生成部２１１は、画像抽出部２１０によって抽出された各画像が生成されたときのカメラの位置および姿勢を推定する。３Ｄモデル生成部２１１は、推定された位置および姿勢に基づいて、被写体の３Ｄモデルを生成する（ステップＳ１０８）。生成された３Ｄモデルは、ハードディスク１１またはメモリ１４に記憶される。
【００７７】
ステップＳ１０８の後、表示制御部２２１は、画像抽出部２１０によって抽出された少なくとも３枚の画像のうちの１枚をディスプレイ１５の第１の領域に表示する。具体的には、表示制御部２２１は、基準画像選択部２０２によって選択された基準画像をディスプレイ１５の第１の領域に表示する（ステップＳ１０９）。
【００７８】
図６は、ステップＳ１０９においてディスプレイ１５に表示される画像の例を示す。基準画像ＳＩ１０１、メニューＭＥ２、および８つのボタンＢＴ２０がディスプレイ１５の画面上に表示される。
【００７９】
基準画像ＳＩ１０１は、ディスプレイ１５の第１の領域１５１に表示される。８つのボタンＢＴ２０は、第１の領域１５１に表示された画像を切り替えるためのボタンである。ユーザーは、操作部１２を通して各ボタンＢＴ２０を押すことができる。ディスプレイ１５がタッチパネルである場合、ユーザーは、各ボタンＢＴ２０を画面上で押すことができる。各ボタンＢＴ２０は、画像を切り替えるときに視野が移動する方向を示す。ユーザーが各ボタンＢＴ２０を押した場合に実行される処理については後述する。
【００８０】
メニューＭＥ２は、計測機能をユーザーに提供する。計測モードＭＤ２０、基準長設定ＲＬ２０、および計測結果ＭＲ２０がメニューＭＥ２上に表示される。計測モードＭＤ２０は、２点間距離計測、線基準計測、および面基準計測等のいずれか１つを示す。図６に示す例では、計測モードＭＤ２０は２点間距離計測を示す。ユーザーは、操作部１２を操作することにより、計測モードＭＤ２０の設定を変更することができる。基準長設定ＲＬ２０は、ユーザーによって入力された基準長を示す。ユーザーは、操作部１２を操作することにより、基準長を基準長設定ＲＬ２０に入力することができる。図６に示す例では、基準長がまだ入力されていないため、基準長は表示されていない。計測結果ＭＲ２０は、計測部２２６によって計測された寸法を示す。図６に示す例では、計測がまだ実行されていないため、寸法は表示されていない。
【００８１】
基準画像ＳＩ１０１がディスプレイ１５に表示された後、ユーザーは、基準点、基準長、および計測点を指定する。以下では、ユーザーが２つの基準点、基準長、および２つの計測点をこの順番で指定する例を説明する。この順番に制約はなく、順番が入れ替わってもよい。
【００８２】
ユーザーは、操作部１２を操作することにより、ディスプレイ１５に表示された基準画像ＳＩ１０１上の第１の基準点および第２の基準点を指定する。基準点設定部２２０は、ユーザーによって指定された第１の基準点および第２の基準点を操作部１２から受け付ける。基準点設定部２２０は、ユーザーによって指定された第１の基準点および第２の基準点を基準画像ＳＩ１０１に設定する（ステップＳ１１０）。ディスプレイ１５がタッチパネルである場合、ユーザーは、ディスプレイ１５における各基準点の位置をタッチすることにより、各基準点を指定することができる。
【００８３】
２つの基準点が指定された後、ユーザーは、操作部１２を操作することにより、２つの基準点間の距離を示す基準長を指定する。ユーザーは、自身が既に把握している長さを数値として指定する。基準長設定部２２２は、ユーザーによって指定された基準長を操作部１２から受け付ける。基準長設定部２２２は、ユーザーによって指定された基準長を基準画像ＳＩ１０１に設定する（ステップＳ１１１）。
【００８４】
ステップＳ１１１の後、座標変換部２２５は、ステップＳ１０８において生成された３Ｄモデルを、長さの次元を持つ３Ｄモデルに変換する（ステップＳ１１２）。このとき、座標変換部２２５は、ステップＳ１１０において設定された２つの基準点と、ステップＳ１１１において設定された基準長とを使用する。
【００８５】
基準長の入力は必須ではない。例えば、２つの基準点間の距離が“１”または“１００％”と規格化された場合、相対的な寸法の計測は可能である。例えば、基準長が２ｍｍに設定された場合には、長さの次元を有する絶対的な寸法の計測が可能である。
【００８６】
図７は、ステップＳ１１１において基準長が設定された後にディスプレイ１５に表示される画像の例を示す。図６に示す部分と同じ部分の説明を省略する。
【００８７】
第１の基準点Ｐｒ２１および第２の基準点Ｐｒ２２が基準画像ＳＩ１０１上に表示される。各基準点を示すマークが画像上に表示される。以下では、このマークを基準点と呼ぶ。ユーザーによって指定された基準長（２ｍｍ）が基準長設定ＲＬ２０に表示される。
【００８８】
以下では、ユーザーが指定したい計測点が基準画像ＳＩ１０１に写っていない場合を想定している。ユーザーは、操作部１２を操作することにより、８つのボタンＢＴ２０のうちの１つを押す。これにより、ユーザーは画像切り替え指示を入力する。ステップＳ１１２の後、表示画像選択部２２３は、画像切り替え指示を操作部１２から受け付ける（ステップＳ１１３）。
【００８９】
ステップＳ１１３の後、表示画像選択部２２３は、ユーザーによって押されたボタンＢＴ２０が示す方向にある視野を持つ１枚の画像をステップＳ１０６において抽出された少なくとも３枚の画像から選択する（ステップＳ１１４）。
【００９０】
図８を参照し、ステップＳ１１４において実行される処理の例を説明する。図８は、各画像とその視野を示す。画像ＳＩ３００からＳＩ３０４は、ステップＳ１０６において抽出された５枚の画像である。５枚の画像は時系列順に並んでいる。カメラは、画像ＳＩ３００、画像ＳＩ３０１、画像ＳＩ３０２、画像ＳＩ３０３、および画像ＳＩ３０４をこの順に生成する。画像ＳＩ３００は基準画像である。
【００９１】
図８に示す各画像の下側に、各画像が撮影されたときの視野が示されている。画像ＳＩ３０１の視野Ｆ１０１は、画像ＳＩ３００の視野Ｆ１００よりも右方向ＤＲ１０１に移動する。画像ＳＩ３０２の視野Ｆ１０２は、画像ＳＩ３０１の視野Ｆ１０１よりも右方向ＤＲ１０２に移動する。画像ＳＩ３０３の視野Ｆ１０３は、画像ＳＩ３０２の視野Ｆ１０２よりも上方向ＤＲ１０３に移動する。画像ＳＩ３０４の視野Ｆ１０４は、画像ＳＩ３０３の視野Ｆ１０３よりも左上方向ＤＲ１０４に移動する。
【００９２】
例えば、表示画像選択部２２３は、時系列順において隣接する２枚の画像間の視野の移動方向を各画像に関連付ける。ユーザーがボタンＢＴ２０を押したとき、表示画像選択部２２３は、押されたボタンＢＴ２０が示す方向にある視野を持つ１枚の画像を選択する。
【００９３】
例えば、図８に示す画像ＳＩ３００がディスプレイ１５に表示されている場合、右を示すボタンＢＴ２０のみが有効になり、かつそれ以外のボタンＢＴ２０は無効になる。一方、図８に示す画像ＳＩ３０２がディスプレイ１５に表示されている場合、上を示すボタンＢＴ２０および左を示すボタンＢＴ２０のみが有効になり、かつそれら以外のボタンＢＴ２０は無効になる。
【００９４】
視野の移動方向を各画像に関連付ける方法は、上記の方法に限らない。例えば、表示画像選択部２２３は、任意の２枚の画像間の視野の移動方向を各画像に関連付けてもよい。任意の２枚の画像は、時系列順において隣接するとは限らない。
【００９５】
図９を参照し、任意の２枚の画像間の視野の移動方向を各画像に関連付ける処理の例を説明する。図９は、各画像とその視野を示す。画像ＳＩ３１０からＳＩ３１４は、ステップＳ１０６において抽出された５枚の画像である。５枚の画像は時系列順に並んでいる。カメラは、画像ＳＩ３１０、画像ＳＩ３１１、画像ＳＩ３１２、画像ＳＩ３１３、および画像ＳＩ３１４をこの順に生成する。
【００９６】
図９に示す各画像の下側に、各画像が撮影されたときの視野が示されている。画像ＳＩ３１１の視野Ｆ１１１は、画像ＳＩ３１０の視野Ｆ１１０よりも右方向ＤＲ１１１に移動する。画像ＳＩ３１２の視野Ｆ１１２は、画像ＳＩ３１１の視野Ｆ１１１よりも上方向ＤＲ１１２に移動する。画像ＳＩ３１３の視野Ｆ１１３は、画像ＳＩ３１２の視野Ｆ１１２よりも左方向ＤＲ１１３に移動する。画像ＳＩ３１４の視野Ｆ１１４は、画像ＳＩ３１３の視野Ｆ１１３よりも下方向ＤＲ１１４に移動する。
【００９７】
表示画像選択部２２３は、画像ＳＩ３１０と他の画像との間の視野の移動方向を分析する。画像ＳＩ３１１の視野Ｆ１１１は、画像ＳＩ３００の視野Ｆ１００よりも右方向に移動する。画像ＳＩ３１２の視野Ｆ１１２は、画像ＳＩ３００の視野Ｆ１００よりも右上方向に移動する。画像ＳＩ３１３の視野Ｆ１１３および画像ＳＩ３１４の視野Ｆ１１４は、画像ＳＩ３００の視野Ｆ１００よりも上方向に移動する。画像ＳＩ３１０がディスプレイ１５に表示されている場合、右を示すボタンＢＴ２０、右上を示すボタンＢＴ２０、および上を示すボタンＢＴ２０のみが有効になり、かつそれら以外のボタンＢＴ２０は無効になる。
【００９８】
２枚の画像間の視野の移動方向を示す情報を計測装置１が使用できる限り、その情報はどのような方法で生成されてもよい。
【００９９】
オプティカルフローまたはテンプレートマッチングのような公知の画像処理技術が、視野の移動方向を検出するために使用できる。上記の例では、８方向を示す８つのボタンＢＴ２０がディスプレイ１５に表示される。視野の移動方向を指定するためのボタンの数は８つに限らない。４方向を示す４つのボタンまたは１６方向を示す１６個のボタンがディスプレイ１５に表示されてもよい。ボタンの代わりにスクロールバー等が表示されてもよい。ユーザーがディスプレイ１５に表示された画像を切り替えることができる限り、ディスプレイ１５上のユーザーインターフェースはどのような部品であってもよい。
【０１００】
ステップＳ１１４の後、表示制御部２２１は、基準画像を非表示にし、かつステップＳ１１４において選択された画像をディスプレイ１５の第１の領域に表示する（ステップＳ１１５）。
【０１０１】
図１０は、ステップＳ１１５においてディスプレイ１５に表示される画像の例を示す。図７に示す部分と同じ部分の説明を省略する。
【０１０２】
図７に示す基準画像ＳＩ１０１は、図８に示す画像ＳＩ３００に対応する。図７に示す第１の基準点Ｐｒ２１および第２の基準点Ｐｒ２２がユーザーによって指定され、かつ１つのボタンＢＴ２０が押されたとき、表示制御部２２１は、図１０に示す画像ＳＩ１０２をディスプレイ１５の第１の領域１５１に表示する。このとき、図７に示す基準画像ＳＩ１０１は非表示になる。画像ＳＩ１０２は、図８に示す画像ＳＩ３０２に対応する。図１０に示す例では、右を示すボタンＢＴ２０が２回押された場合を想定している。
【０１０３】
基準画像ＳＩ１０１の全体が非表示にならなくてもよい。第１の基準点Ｐｒ２１および第２の基準点Ｐｒ２２を含む基準画像ＳＩ１０１の一部の領域が非表示になり、その領域に画像ＳＩ１０２が表示されてもよい。非表示になった領域を除く基準画像ＳＩ１０１の残りの領域は表示されてもよい。
【０１０４】
画像が切り替わった後、ユーザーは、操作部１２を操作することにより、ディスプレイ１５に表示された画像上の第１の計測点および第２の計測点を指定する。計測点設定部２２４は、ユーザーによって指定された第１の計測点および第２の計測点を操作部１２から受け付ける。計測点設定部２２４は、ユーザーによって指定された第１の計測点および第２の計測点を、ディスプレイ１５に表示された画像に設定する（ステップＳ１１６）。ディスプレイ１５がタッチパネルである場合、ユーザーは、ディスプレイ１５における各計測点の位置をタッチすることにより、各計測点を指定することができる。
【０１０５】
ステップＳ１１６の後、計測部２２６は、第１の計測点および第２の計測点の各々に対応する３Ｄモデル上の点を検出する。計測部２２６は、検出された各点の３次元座標に基づいて、ユーザーによって指定された２つの計測点で規定される寸法を計測する（ステップＳ１１７）。
【０１０６】
ステップＳ１１７の後、表示制御部２２１は、ステップＳ１１７において計測された寸法を計測結果としてディスプレイ１５に表示する（ステップＳ１１８）。例えば、計測結果は、ディスプレイ１５に表示された画像に重畳される。ステップＳ１１８が実行されたとき、図３および図４に示す処理が終了する。
【０１０７】
図１１は、ステップＳ１１８においてディスプレイ１５に表示される画像の例を示す。図１０に示す部分と同じ部分の説明を省略する。
【０１０８】
第１の計測点Ｐｍ２１および第２の計測点Ｐｍ２２が画像ＳＩ１０２上に表示される。各計測点を示すマークが画像上に表示される。以下では、このマークを計測点と呼ぶ。第１の計測点Ｐｍ２１および第２の計測点Ｐｍ２２は、図７に示す基準画像ＳＩ１０１に写っていない。第１の計測点Ｐｍ２１および第２の計測点Ｐｍ２２の間の距離が計測結果ＭＲ２０として表示される。
【０１０９】
ＣＰＵ１３が実行する処理の順番は、図３および図４に示す順番に限らない。例えば、ステップＳ１１２が実行される前にステップＳ１０８が実行される限り、ステップＳ１０８は、ステップＳ１０７とステップＳ１１７との間のどのタイミングで実行されてもよい。
【０１１０】
ステップＳ１１３からステップＳ１１６が繰り返し実行されてもよい。ステップＳ１１６において、少なくとも１つの計測点が設定される。したがって、２枚以上の画像の各々に少なくとも１つの計測点が設定されてもよい。
【０１１１】
３Ｄモデル生成部２１１がステップＳ１０８において実行する具体的な処理の手順について説明する。３Ｄモデル生成部２１１は、画像抽出部２１０によって抽出された少なくとも３枚の画像と、ステップＳ１０５において受け付けられた条件とを使用する。以下では、３Ｄモデル生成部２１１が、２枚の画像を使用する例について説明する。２枚の画像を撮影したとき、カメラの２つの視点は互いに異なる。３枚以上の画像が使用される場合でも、基本原理は、２枚の画像が使用される場合と変わらない。以下で説明される方法は、３枚以上の画像が使用される場合にも適用できる。
【０１１２】
図１２は、被写体の２枚の画像が取得される場合の画像取得の状況を模式的に示す。図１２に示すように、最初にカメラの撮像状態ｃ１において画像Ｉ１が取得される。次に、カメラの撮像状態ｃ２において画像Ｉ２が取得される。撮像状態ｃ１と撮像状態ｃ２とでは、撮像位置および撮像姿勢の少なくとも１つが異なる。図１２において、撮像状態ｃ１と撮像状態ｃ２とでは、撮像位置および撮像姿勢の両方が異なる。
【０１１３】
本発明の各実施形態では、画像Ｉ１および画像Ｉ２は同じカメラで取得されることを想定している。また、本発明の各実施形態では、カメラの対物光学系のパラメーターが変化しないことを想定している。対物光学系のパラメーターは、焦点距離、歪曲収差、およびイメージセンサのピクセルサイズ等である。以下では、対物光学系のパラメーターを便宜上、内部パラメーターと略す。このような条件を仮定したとき、カメラの光学系の特性が記述された内部パラメーターは、カメラの位置および姿勢に関わらず共通に使用できる。本発明の各実施形態では、内部パラメーターは工場出荷時に取得されていることを想定している。また、本発明の各実施形態では、画像の取得時には内部パラメーターは既知であることを想定している。
【０１１４】
本発明の各実施形態では、２枚以上の画像が１つのカメラによって取得されることを想定している。しかし、本発明はこれに限らない。例えば、複数のカメラによって取得された複数の画像を使用して３Ｄモデルを復元する場合においても、本発明を適用できる。この場合、画像Ｉ１および画像Ｉ２は、互いに異なるカメラを使用して取得され、カメラ毎に別々の内部パラメーターが保持されてさえいればよい。仮に内部パラメーターが未知であっても、内部パラメーターを変数として計算を行うことはできる。そのため、内部パラメーターが既知であるか否かにより以後の手順が大きく変わることはない。
【０１１５】
図１３を参照し、取得された２枚の画像に基づいて被写体の３次元座標を計算するための手順について説明する。図１３は、３Ｄモデルの生成のための処理の手順を示す。
【０１１６】
まず、３Ｄモデル生成部２１１は、特徴点検出処理を実行する（ステップＳ１０８ａ）。３Ｄモデル生成部２１１は、特徴点検出処理において、取得された２枚の画像の各々の特徴点を検出する。特徴点とは、画像に写っている被写体情報のうち、画像輝度勾配の大きいコーナーおよびエッジ等を指す。この特徴点を検出する方法として、ＳＩＦＴ（Ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）およびＦＡＳＴ（Ｆｅａｔｕｒｅｓ  ｆｒｏｍ  Ａｃｃｅｌｅｒａｔｅｄ  Ｓｅｇｍｅｎｔ  Ｔｅｓｔ）等が使用される。このような方法を用いることにより画像内の特徴点を検出することができる。
【０１１７】
図１２は、画像Ｉ１から特徴点ｍ１が検出され、かつ画像Ｉ２から特徴点ｍ２が検出された例を示す。図１２では各画像の１つの特徴点のみが表示されているが、実際には各画像において複数の特徴点が検出される。各画像で検出される特徴点の数は異なる可能性がある。各画像から検出された各特徴点は特徴量というデータに変換される。特徴量は、特徴点の特徴を表すデータである。
【０１１８】
ステップＳ１０８ａの後、３Ｄモデル生成部２１１は、特徴点対応付け処理を実行する（ステップＳ１０８ｂ）。３Ｄモデル生成部２１１は、特徴点対応付け処理において、特徴点検出処理（ステップＳ１０８ａ）により検出された各特徴点に対して、画像間で特徴量の相関を比較する。特徴量の相関が比較され、各画像において特徴量が近い特徴点が見つかった場合、３Ｄモデル生成部２１１は、その情報をハードディスク１１またはメモリ１４に保持する。これにより、３Ｄモデル生成部２１１は、各画像の特徴点を互いに対応付ける。一方、特徴量が近い特徴点が見つからなかった場合には、３Ｄモデル生成部２１１は、その特徴点の情報を破棄する。
【０１１９】
ステップＳ１０８ｂの後、３Ｄモデル生成部２１１は、互いに対応付けられた２枚の画像の特徴点（特徴点ペア）の座標をハードディスク１１またはメモリ１４から読み出す。３Ｄモデル生成部２１１は、読み出された座標に基づいて、位置および姿勢の算出処理を実行する（ステップＳ１０８ｃ）。３Ｄモデル生成部２１１は、位置および姿勢の算出処理において、画像Ｉ１を取得したカメラの撮像状態ｃ１と画像Ｉ２を取得したカメラの撮像状態ｃ２との間の相対的な位置および姿勢を算出する。より具体的には、３Ｄモデル生成部２１１は、エピポーラ制約を利用した以下の方程式（１）を解くことにより、行列Ｅを算出する。
【０１２０】
【数１】
2020126358.tif 000003
【０１２１】
行列Ｅは基本行列と呼ばれる。基本行列Ｅは、画像Ｉ１を取得したカメラの撮像状態ｃ１と画像Ｉ２を取得したカメラの撮像状態ｃ２との間の相対的な位置および姿勢を保持する行列である。方程式（１）において、行列ｐ１は、画像Ｉ１から検出された特徴点の座標を含む行列である。行列ｐ２は、画像Ｉ２から検出された特徴点の座標を含む行列である。基本行列Ｅは、カメラの相対的な位置および姿勢に関する情報を含んでいるため、カメラの外部パラメーターに相当する。基本行列Ｅは、公知のアルゴリズムを使用して解くことができる。
【０１２２】
図１２に示すように、カメラの位置変化量がｔであり、かつカメラの姿勢変化量がＲである場合、式（２）および式（３）が成り立つ。
【０１２３】
【数２】
2020126358.tif 000004
【０１２４】
式（２）において、ｘ軸方向の移動量はｔｘと表され、ｙ軸方向の移動量はｔｙと表され、かつｚ軸方向の移動量はｔｚと表される。式（３）において、ｘ軸周りの回転量αはＲｘ（α）と表され、ｙ軸周りの回転量βはＲｙ（β）と表され、かつｚ軸周りの回転量γはＲｚ（γ）と表される。基本行列Ｅが算出された後、３次元座標の復元精度を高めるためにバンドル調整という最適化処理が実行されてもよい。
【０１２５】
ステップＳ１０８ｃの後、３Ｄモデル生成部２１１は、ステップＳ１０８ｃにおいて算出されたカメラの相対的な位置および姿勢（位置変化量ｔおよび姿勢変化量Ｒ）に基づいて、被写体の３次元形状の復元処理を実行する（ステップＳ１０８ｄ）。３Ｄモデル生成部２１１は、３次元形状の復元処理において、被写体の３Ｄモデルを生成する。被写体の３次元形状を復元する手法としては、ＰＭＶＳ（Ｐａｔｃｈ−ｂａｓｅｄ  Ｍｕｌｔｉ−ｖｉｅｗ  Ｓｔｅｒｅｏ）、および平行化ステレオによるマッチング処理等が挙げられる。しかし、特に手段を限定する訳ではない。ステップＳ１０８ｄが実行されたとき、図１３に示す処理が終了する。
【０１２６】
上記の例では、計測装置１は時系列画像を処理することを想定している。計測装置１が処理する画像が時系列画像である必要はない。例えば、計測装置１は、タイムスタンプが付いていない複数の画像を使用して、上記の処理と同様の処理を実行してもよい。タイムスタンプが存在しない場合、画像再生制御部２０１は、複数の画像を時系列順に並べることができない。そのため、例えば画像再生制御部２０１は、複数の画像をファイル名の順番に並び替えた後、その順番に従って画像を再生してもよい。
【０１２７】
本発明の各態様の計測方法は、第１の画像表示ステップ、第１の設定ステップ、第２の画像表示ステップ、第２の設定ステップ、生成ステップ、および計測ステップを有する。表示制御部２２１は、第１の画像表示ステップ（ステップＳ１０９）において、１枚の第１の画像をディスプレイ１５の第１の領域１５１に表示する。第１の画像は、被写体の２次元画像である。図６に示す例では、表示制御部２２１は、基準画像ＳＩ１０１を第１の領域１５１に表示する。基準点設定部２２０は、第１の設定ステップ（ステップＳ１１０）において、第１の領域１５１に表示された第１の画像に第１の点を設定する。第１の点は、図７に示す第１の基準点Ｐｒ２１および第２の基準点Ｐｒ２２の少なくとも１つに対応する。
【０１２８】
第１の点が第１の画像に設定された後、表示制御部２２１は、第２の画像表示ステップ（ステップＳ１１５）において、第１の領域１５１における第１の画像を非表示にし、かつ複数の第２の画像に含まれる１枚の第２の画像を第１の領域１５１に表示する。複数の第２の画像は、被写体の２次元画像である。図１０に示す例では、表示制御部２２１は、画像ＳＩ１０２を第１の領域１５１に表示する。画像群の各画像の視野の一部は、画像群の他の画像の視野の一部と重なる。画像群は、第１の画像および複数の第２の画像からなる。計測点設定部２２４は、第２の設定ステップ（ステップＳ１１６）において、第１の領域１５１に表示された第２の画像に第２の点を設定する。第２の点は、図１１に示す第１の計測点Ｐｍ２１および第２の計測点Ｐｍ２２の少なくとも１つに対応する。
【０１２９】
３Ｄモデル生成部２１１は、画像群の各画像が生成されたときのカメラの位置および姿勢に基づいて被写体の３次元形状（３Ｄモデル）を生成する。座標変換部２２５および計測部２２６は、計測ステップ（ステップＳ１１２およびステップＳ１１７）において、少なくとも第１の点、第２の点、および３次元形状に基づいて被写体の大きさを計測する。
【０１３０】
画像群は、第１の画像および複数の第２の画像からなる。画像群は、ステップＳ１０６において抽出された少なくとも３枚の画像からなる。第１の画像は、図６および図７に示す基準画像ＳＩ１０１に対応する。複数の第２の画像に含まれる１枚の第２の画像は、図１０および図１１に示す画像ＳＩ１０２に対応する。
【０１３１】
画像群は、３Ｄモデルの生成に使用される。図１２に示す原理に従って３Ｄモデルが生成されるためには、各画像の視野の少なくとも一部と、それ以外の少なくとも１枚の画像の各々の視野の少なくとも一部とが共通である必要がある。第１の画像の視野（第１の視野）および１枚の第２の画像の視野（第２の視野）は、共通領域を含む。第１の視野において共通領域以外の領域と、第２の視野において共通領域以外の領域とは、互いに異なる。
【０１３２】
第１の点が設定される第１の画像上の領域と、第２の点が設定される第２の画像上の領域とは、上記の共通領域に含まれない。第１の点が設定される第１の画像上の領域は、第２の点が設定される領域を除く第２の画像上の領域と共通である。第２の点が設定される第２の画像上の領域は、第２の点が設定される第２の画像以外の第２の画像上の領域と共通である。
【０１３３】
第１の点が第１の画像に設定され、かつ視野の移動方向の指示が受け付けられた後、表示制御部２２１は、ステップＳ１１５において、第１の領域１５１における第１の画像を非表示にする。さらに、表示制御部２２１は、第１の画像の視野からその移動方向に移動した視野を持つ第２の画像を第１の領域１５１に表示する。図７および図１０に示す例では、１つのボタンＢＴ２０が押されたとき、視野の移動方向の指示が受け付けられる。
【０１３４】
第１の実施形態において、第１の画像がディスプレイ１５の第１の領域１５１に表示される。第１の基準点Ｐｒ２１および第２の基準点Ｐｒ２２が第１の画像に設定された後、第１の画像が非表示になり、かつ１枚の第２の画像が第１の領域１５１に表示される。第１の計測点Ｐｍ２１および第２の計測点Ｐｍ２２が第２の画像に設定される。計測装置１は、計測に使用される複数の点を複数の画像に設定することができる。
【０１３５】
３次元計測のための２つの指定点が互いに離れており、１枚の画像の視野に入らない場合がある。計測装置１が、ディスプレイ１５に表示される画像を切り替えるため、各指定点が写った画像が順に表示される。ユーザーは、各画像上の指定点を指定することができる。そのため、計測におけるユーザーの操作性が向上する。
【０１３６】
ユーザーは、１つの方向を示すボタンＢＴ２０を押すことにより、その方向に移動した視野を持つ画像を第１の領域１５１に表示させることができる。画像を切り替えるための操作が簡易になるため、計測におけるユーザーの操作性が向上する。
【０１３７】
（第１の実施形態の第１の変形例）
本発明の第１の実施形態の第１の変形例を説明する。第１の実施形態に示す例では、２つの基準点が第１の画像に設定され、かつ２つの計測点が第２の画像に設定される。本発明の実施形態は、この例に限らない。少なくとも１つの指定点が第１の画像に設定され、かつ第１の画像に設定された指定点と異なる少なくとも１つの指定点が第２の画像に設定されさえすればよい。第１の画像に設定される指定点は、基準点および計測点のどちらであってもよい。第２の画像に設定される指定点は、基準点および計測点のどちらであってもよい。
【０１３８】
図１４および図１５は、ディスプレイ１５に表示される画像の例を示す。図７に示す部分と同じ部分の説明を省略する。
【０１３９】
図１４に示す第１の基準点Ｐｒ２１、第２の基準点Ｐｒ２２、および第１の計測点Ｐｍ２１がユーザーによって指定され、かつ基準画像ＳＩ１０１に設定される。３つの点が設定された後、ボタンＢＴ２０が押される。基準画像ＳＩ１０１に代えて、図１５に示す画像ＳＩ１０２がディスプレイ１５の第１の領域１５１に表示される。第２の計測点Ｐｍ２２がユーザーによって指定され、かつ画像ＳＩ１０２に設定される。図１４および図１５に示す場合も本発明の実施形態に含まれる。
【０１４０】
基準画像ＳＩ１０１上の第１の計測点Ｐｍ２１および画像ＳＩ１０２上の第１の計測点Ｐｍ２１は被写体上の同じ点である。画像ＳＩ１０２が表示されたとき、基準画像ＳＩ１０１上の第１の計測点Ｐｍ２１と同じ第１の計測点Ｐｍ２１が画像ＳＩ１０２上に表示される。そのため、計測におけるユーザーの操作性が向上する。画像ＳＩ１０２上の第１の計測点Ｐｍ２１の表示は必須ではない。
【０１４１】
（第１の実施形態の第２の変形例）
本発明の第１の実施形態の第２の変形例を説明する。第１の実施形態の第２の変形例の計測装置１は、指定点の修正機能を有する。計測装置１は、画像の表示履歴を記憶する。計測装置１は、表示履歴に基づいて、非表示になった画像を再度表示する。ユーザーが、ディスプレイ１５に表示されていない指定点の位置を修正したい場合、ユーザーは、その指定点が設定された画像を再度表示させ、かつその指定点の位置を修正することができる。
【０１４２】
図４に示す処理は、図１６に示す処理に変更される。図１６を参照し、計測のために実行される処理の手順を説明する。図１６は、ＣＰＵ１３が実行する処理の手順を示す。図４に示す処理と同じ処理の説明を省略する。
【０１４３】
ステップＳ１１６の後、表示制御部２２１は、修正指示を受け付けたか否かを判断する（ステップＳ１２１）。例えば、修正指示を入力するためのボタンが、ステップＳ１１５においてディスプレイ１５上に表示される。ユーザーは、操作部１２を通してそのボタンを押すことにより、修正指示を入力する。表示制御部２２１は、ステップＳ１２１において、修正指示を操作部１２から受け付けたか否かを判断する。
【０１４４】
修正指示を受け付けていないと表示制御部２２１が判断した場合、ステップＳ１１７が実行される。修正指示を受け付けたと表示制御部２２１が判断した場合、表示制御部２２１は、ハードディスク１１またはメモリ１４に記憶された表示履歴に基づいて、ディスプレイ１５に表示されるべき画像を判断する。表示履歴は、ディスプレイ１５に既に表示された画像を示す情報を含む。表示履歴は、ステップＳ１１５が実行される前に表示された基準画像の情報を含む。そのため、表示制御部２２１は、ディスプレイ１５上の画像を非表示にし、かつ基準画像をディスプレイ１５に表示する。さらに、表示制御部２２１は、ステップＳ１１０において設定された第１の基準点および第２の基準点を基準画像上に表示する（ステップＳ１２２）。
【０１４５】
基準画像が再度表示された後、ユーザーは、操作部１２を操作することにより、ディスプレイ１５に表示された基準画像上の第１の基準点および第２の基準点のうちの少なくとも１つの位置を修正する。例えば、ユーザーは、基準点を基準画像上で移動させることにより基準点の位置を修正する。基準点設定部２２０は、ユーザーによって修正された少なくとも１つの基準点を操作部１２から受け付ける。基準点設定部２２０は、ユーザーによって修正された少なくとも１つの基準点を基準画像に設定する（ステップＳ１２３）。
【０１４６】
第１の基準点の位置が修正された場合、ステップＳ１１０において設定された第１の基準点の位置情報（座標）が更新される。第２の基準点の位置が修正された場合、ステップＳ１１０において設定された第２の基準点の位置情報（座標）が更新される。
【０１４７】
図１７は、ステップＳ１２２においてディスプレイ１５に表示される画像の例を示す。図７に示す部分と同じ部分の説明を省略する。
【０１４８】
修正指示が入力される前、図１１に示す画像ＳＩ１０２がディスプレイ１５に表示されている。修正指示が入力されたとき、表示制御部２２１は、図１７に示す基準画像ＳＩ１０１をディスプレイ１５の第１の領域１５１に表示する。このとき、画像ＳＩ１０２は非表示になる。
【０１４９】
画像ＳＩ１０２の全体が非表示にならなくてもよい。第１の計測点Ｐｍ２１および第２の計測点Ｐｍ２２を含む画像ＳＩ１０２の一部の領域が非表示になり、その領域に基準画像ＳＩ１０１が表示されてもよい。非表示になった領域を除く画像ＳＩ１０２の残りの領域は表示されてもよい。
【０１５０】
第１の基準点Ｐｒ２１および第２の基準点Ｐｒ２２が基準画像ＳＩ１０１上に表示される。ユーザーが第２の基準点Ｐｒ２２の修正を希望する場合、ユーザーは、操作部１２を操作することにより、第２の基準点Ｐｒ２２を希望位置に移動させる。例えば、ユーザーは、第２の基準点Ｐｒ２２を第２の基準点Ｐｒ２３に移動させる。
【０１５１】
ステップＳ１２３の後、ステップＳ１２４が実行される。ステップＳ１２４は、ステップＳ１１１と同様である。ステップＳ１２４の後、ステップＳ１２５が実行される。ステップＳ１２５は、ステップＳ１１２と同様である。ステップＳ１２５の後、ステップＳ１１７が実行される。
【０１５２】
ステップＳ１１６において設定された第１の計測点および第２の計測点のうちの少なくとも１つが修正されてもよい。計測点の修正方法は、図１７に示す方法と同様である。
【０１５３】
本発明の各態様の計測方法は、第４の画像表示ステップおよび修正ステップを有してもよい。第２の点（第１の計測点または第２の計測点）が設定された後、表示制御部２２１は、第４の画像表示ステップ（ステップＳ１２２）において、ディスプレイ１５の第１の領域１５１における第２の画像（画像ＳＩ１０２）を非表示にする。表示制御部２２１は、第４の画像表示ステップ（ステップＳ１２２）において、第１の画像（基準画像ＳＩ１０１）を第１の領域１５１に表示し、かつ第１の点（第１の基準点または第２の基準点）を第１の画像上に強調表示する。第１の点が強調表示された後、基準点設定部２２０は、修正ステップ（ステップＳ１２３）において、第１の画像に設定された第１の点の位置を修正する。
【０１５４】
図１７に示す例では、表示制御部２２１は、第２の基準点Ｐｒ２２のマークを基準画像ＳＩ１０１上に表示することにより、第１の点を強調表示する。ユーザーが第１の点を第１の画像上で認識できる限り、第１の点を強調表示する方法は上記の方法に限らない。
【０１５５】
第１の実施形態の第２の変形例において、非表示になった画像が再度表示される。基準点設定部２２０は、ユーザーからの指示に基づいて、その画像上に強調表示された指定点の位置を修正する。計測装置１は、指定点の修正機能を提供することができる。
【０１５６】
（第２の実施形態）
本発明の第２の実施形態を説明する。第１の実施形態において、ユーザーが画像を他の画像に切り替えたい場合、ユーザーは、図７に示すボタンＢＴ２０を押す。しかしながら、所望の指定点が写っている画像を表示するためには、どのボタンＢＴ２０を押せばよいのかがユーザーには分からない可能性がある。あるいは、ボタンＢＴ２０を何回押せばよいのかがユーザーには分からない可能性がある。そのため、所望の指定点が写っている画像をユーザーが探すのに時間がかかる可能性がある。
【０１５７】
第２の実施形態において、基準画像選択部２０２によって選択された基準画像はディスプレイ１５の第１の領域に表示され、かつ画像抽出部２１０によって抽出された画像はディスプレイ１５の第２の領域に表示される。ユーザーは、ディスプレイ１５の第２の領域に表示された１枚の画像を選択する。そのとき、第１の領域上の基準画像は非表示になり、かつユーザーによって選択された１枚の画像が第１の領域に表示される。そのため、ユーザーが第１の領域上の画像を他の画像に容易に切り替えることができる。
【０１５８】
図２に示すＣＰＵ１３は、図１８に示すＣＰＵ１３ａに変更される。図１８は、ＣＰＵ１３ａの機能構成を示す。図２に示す構成と同じ構成の説明を省略する。図１８に示すブロックの少なくとも１つがＣＰＵ１３ａとは別の回路で構成されてもよい。
【０１５９】
図１８に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図１８に示す各部は、１つまたは複数のプロセッサを含むことができる。図１８に示す各部は、１つまたは複数の論理回路を含むことができる。
【０１６０】
図２に示す計測処理部２２は、計測処理部２２ａに変更される。計測処理部２２ａは、基準点設定部２２０、表示制御部２２１、基準長設定部２２２、表示画像選択部２２３、計測点設定部２２４、座標変換部２２５、計測部２２６、および領域検出部２２７を有する。
【０１６１】
表示制御部２２１は、画像抽出部２１０によって抽出された少なくとも３枚の画像をディスプレイ１５の第２の領域に表示する。ユーザーは、第２の領域に表示された少なくとも３枚の画像のうちの１枚を選択する指示を入力する。このとき、表示制御部２２１は、ディスプレイ１５の第１の領域上の画像を非表示にし、かつ選択された画像を第１の領域に表示する。
【０１６２】
領域検出部２２７は、画像抽出部２１０によって抽出された少なくとも３枚の画像を処理する。領域検出部２２７は、複数の画像間で視野が互いに重なる領域を検出する。この領域における計測の実行は可能である。領域検出部２２７は、１枚の画像のみの視野に含まれる領域を検出する。この領域は、他の画像の視野には含まれない。この領域における計測の実行は不可能である。領域検出部２２７は、計測精度が低い領域を検出する。表示制御部２２１は、領域検出部２２７によって検出された少なくとも１つの領域を画像上に表示する。
【０１６３】
図４に示す処理は、図１９に示す処理に変更される。図１９を参照し、計測のために実行される処理の手順を説明する。図１９は、ＣＰＵ１３ａが実行する処理の手順を示す。図４に示す処理と同じ処理の説明を省略する。
【０１６４】
ステップＳ１０９の後、表示制御部２２１は、ステップＳ１０６において抽出された少なくとも３枚の画像をディスプレイ１５の第２の領域に表示する（ステップＳ１３１）。ディスプレイ１５の第２の領域は、基準画像が表示される第１の領域と異なる。例えば、ステップＳ１０６において抽出された少なくとも３枚の画像の全てがディスプレイ１５の第２の領域に表示される。少なくとも３枚の画像の一部のみがディスプレイ１５の第２の領域に表示されてもよい。
【０１６５】
例えば、領域検出部２２７は、少なくとも３枚の画像に含まれる２枚の画像の互いの視野の重なりの大きさを算出する。領域検出部２２７は、２枚の画像の全ての組み合わせに対して視野の重なりの大きさを算出する。視野の重なりの大きさが所定量を超える場合、表示制御部２２１は、ステップＳ１３１において、視野が互いに重なる２枚の画像の一方のみをディスプレイ１５の第２の領域に表示する。以下では、少なくとも３枚の画像の全てがディスプレイ１５の第２の領域に表示される例を説明する。
【０１６６】
ステップＳ１３１の後、領域検出部２２７は、共通領域を検出する（ステップＳ１３２）。共通領域は、ディスプレイ１５の第１の領域に表示された基準画像の視野に含まれない。共通領域は、ディスプレイ１５の第２の領域に表示された少なくとも３枚の画像のうち２枚以上の画像の視野に共通に含まれる。共通浪域は、基準画像に写らず、かつディスプレイ１５の第２の領域に表示された少なくとも３枚の画像のうち２枚以上の画像に写っている。検出された領域における計測の実行は可能である。
【０１６７】
図２０を参照し、ステップＳ１３２において実行される処理の例を説明する。図２０は、計測の実行が可能な領域を検出するための処理の手順を示す。以下では、図８に示す画像ＳＩ３００からＳＩ３０４を使用する例を説明する。
【０１６８】
ステップＳ１３１の後、領域検出部２２７は、ステップＳ１０６において抽出された少なくとも３枚の画像の全てで画像ペアを作成する（ステップＳ１３２ａ）画像ペアは、２枚の画像の組み合わせである。例えば、領域検出部２２７は、５枚の画像の全てを使用することにより１０組の画像ペアを作成する。
【０１６９】
ステップＳ１３２ａの後、領域検出部２２７は、作成された複数の画像ペアのうちの１つを選択する。領域検出部２２７は、選択された画像ペアの２枚の画像間で互いに重なる視野に含まれる領域を検出する（ステップＳ１３２ｂ）。
【０１７０】
図２１（ａ）および図２１（ｂ）は、画像の視野を示す。画像ＳＩ３００の視野Ｆ１２０ａおよび画像ＳＩ３０１の視野Ｆ１２０ｂが図２１（ａ）に示されている。領域Ｒ１２０ａｂは、視野Ｆ１２０ａおよび視野Ｆ１２０ｂに共通に含まれる。画像ＳＩ３００の視野Ｆ１２０ａと画像ＳＩ３０２の視野Ｆ１２０ｃとが図２１（ｂ）に示されている。領域Ｒ１２０ａｃは、視野Ｆ１２０ａおよび視野Ｆ１２０ｃに共通に含まれる。領域検出部２２７は、ステップＳ１３２ｂにおいて、領域Ｒ１２０ａｂおよび領域Ｒ１２０ａｃを検出する。領域検出部２２７は、他の画像ペアに対しても上記と同様の処理を実行する。
【０１７１】
ステップＳ１３２ｂの後、領域検出部２２７は、ステップＳ１３２ｂにおける処理が全ての画像ペアに対して完了したか否かを判断する（ステップＳ１３２ｃ）。ステップＳ１３２ｂにおける処理が完了していない画像ペアがあると領域検出部２２７が判断した場合、ステップＳ１３２ｂが実行される。このとき、ステップＳ１３２ｂにおける処理に使用された画像ペアを除く他の画像ペアが使用される。
【０１７２】
ステップＳ１３２ｂにおける処理が全ての画像ペアに対して完了したと領域検出部２２７が判断した場合、領域検出部２２７は、共通領域を検出する（ステップＳ１３２ｄ）。領域検出部２２７は、ステップＳ１３２ｄにおいて、計測の実行が可能な領域を検出する。
【０１７３】
図２２は、画像の視野を示す。画像ＳＩ３００の視野Ｆ１２０ａ、画像ＳＩ３０１の視野Ｆ１２０ｂ、画像ＳＩ３０２の視野Ｆ１２０ｃ、画像ＳＩ３０３の視野Ｆ１２０ｄ、および画像ＳＩ３０４の視野Ｆ１２０ｅが図２２に示されている。画像ＳＩ３００は、基準画像であり、かつディスプレイ１５の第１の領域に表示される。画像ＳＩ３０１、画像ＳＩ３０２、画像ＳＩ３０３、および画像ＳＩ３０４は、ディスプレイ１５の第２の領域に表示される。
【０１７４】
領域検出部２２７は、ステップＳ１３２ｄにおいて共通領域Ｒ１２０ｂｃｄｅを検出する。共通領域Ｒ１２０ｂｃｄｅは、図２２に示す太い線で囲まれた領域である。共通領域Ｒ１２０ｂｃｄｅは、視野Ｆ１２０ａに含まれない。共通領域Ｒ１２０ｂｃｄｅは、視野Ｆ１２０ｂ、視野Ｆ１２０ｃ、視野Ｆ１２０ｄ、および視野Ｆ１２０ｅのうちの少なくとも２つに共通に含まれる。
【０１７５】
図２３（ａ）および図２３（ｂ）は、２枚以上の画像の視野に共通に含まれる共通領域Ｒ１２０ｂｃｄｅを示す。共通領域Ｒ１２０ｂｃｄｅは、視野Ｆ１２０ｂの領域Ｒ１２０ｂおよび視野Ｆ１２０ｃの領域Ｒ１２０ｃを含む。また、共通領域Ｒ１２０ｂｃｄｅは、視野Ｆ１２０ｄの領域Ｒ１２０ｄおよび視野Ｆ１２０ｅの領域Ｒ１２０ｅを含む。共通領域Ｒ１２０ｂｃｄｅの任意の位置は、領域Ｒ１２０ｂ、領域Ｒ１２０ｃ、領域Ｒ１２０ｄ、および領域Ｒ１２０ｅのうちの少なくとも２つに含まれる。
【０１７６】
領域検出部２２７は、共通領域Ｒ１２０ｂｃｄｅを以下の方法で検出してもよい。領域検出部２２７は、画像ＳＩ３００からＳＩ３０４を使用して画像ペアを作成する。領域検出部２２７は、各画像ペアの２枚の画像間で互いに重なる視野に含まれる領域の論理和を算出する。領域検出部２２７は、その論理和から、画像ＳＩ３００の視野Ｆ１２０ａに含まれる領域を減算することにより、共通領域Ｒ１２０ｂｃｄｅを検出する。
【０１７７】
ステップＳ１３２ｄの後、領域検出部２２７は、ディスプレイ１５に表示された１枚の画像の視野のみに含まれる領域を検出する（ステップＳ１３２ｅ）。領域検出部２２７は、ステップＳ１３２ｅにおいて、計測の実行が不可能な領域を検出する。
【０１７８】
図２４は、画像の視野を示す。領域Ｒ１２０ａｂｃｄｅは、５枚の画像ＳＩ３００からＳＩ３０４の画像の視野に共通に含まれる。領域Ｒ１２０ａｂｃｄｅは、図２４に示す太い線で囲まれた領域である。領域Ｒ１２０ａｂｃｄｅは、視野Ｆ１２０ａ、視野Ｆ１２０ｂ、視野Ｆ１２０ｃ、視野Ｆ１２０ｄ、および視野Ｆ１２０ｅのうちの少なくとも２つに共通に含まれる。
【０１７９】
領域検出部２２７は、ステップＳ１３２ｅにおいて、各画像の視野から領域Ｒ１２０ａｂｃｄｅと重なる領域を減算することにより、１枚の画像の視野のみに含まれる領域を検出する。具体的には、領域検出部２２７は、領域Ｒ１２０Ｎａ、領域Ｒ１２０Ｎｃ、領域Ｒ１２０Ｎｄ、および領域Ｒ１２０Ｎｅを検出する。領域Ｒ１２０Ｎａは、視野Ｆ１２０ａのみに含まれる。領域Ｒ１２０Ｎｃは、視野Ｆ１２０ｃのみに含まれる。領域Ｒ１２０Ｎｄは、視野Ｆ１２０ｄのみに含まれる。領域Ｒ１２０Ｎｅは、視野Ｆ１２０ｅのみに含まれる。
【０１８０】
ステップＳ１３２ｅの後、領域検出部２２７は、ディスプレイ１５の第１の領域に表示された基準画像と、ディスプレイ１５の第２の領域に表示された少なくとも３枚の画像との各々において計測精度が低い領域を検出する（ステップＳ１３２ｆ）。例えば、領域検出部２２７は、３Ｄモデル上の点を２次元画像に再投影したときの２次元画像上の座標と理想的な直線（エピポーラライン）との差（再投影誤差）に基づいて、計測精度が低い領域を検出する。領域検出部２２７は、２次元画像上の点における物体距離に基づいて計測精度が低い領域を検出してもよい。領域検出部２２７は、２枚の２次元画像を使用するマッチング処理の中間生成物として得られる相関値に基づいて計測精度が低い領域を検出してもよい。計測精度が低い領域を検出する方法は、これらの方法に限らない。
【０１８１】
ステップＳ１３２ｆの後、表示制御部２２１は、ステップＳ１３２ｄにおいて検出された共通領域をディスプレイ１５の第２の領域の画像上に表示する（ステップＳ１３３）。表示制御部２２１は、ステップＳ１３３において、計測の実行が可能な領域をディスプレイ１５の第２の領域の画像上に表示する。
【０１８２】
ステップＳ１３３の後、表示制御部２２１は、ステップＳ１３２ｅにおいて検出された領域をディスプレイ１５の第１の領域の画像上およびディスプレイ１５の第２の領域の画像上に表示する（ステップＳ１３４）。表示制御部２２１は、ステップＳ１３４において、計測の実行が不可能な領域をディスプレイ１５の第１の領域の画像上およびディスプレイ１５の第２の領域の画像上に表示する。
【０１８３】
ステップＳ１３４の後、表示制御部２２１は、ステップＳ１３２ｆにおいて検出された領域をディスプレイ１５の第１の領域の画像上およびディスプレイ１５の第２の領域の画像上に表示する（ステップＳ１３５）。表示制御部２２１は、ステップＳ１３５において、計測精度が低い領域をディスプレイ１５の第１の領域の画像上およびディスプレイ１５の第２の領域の画像上に表示する。ステップＳ１３５の後、ステップＳ１１０が実行される。
【０１８４】
図２５は、ステップＳ１１０において２つの基準点が設定された後にディスプレイ１５に表示される画像の例を示す。図７に示す部分と同じ部分の説明を省略する。
【０１８５】
基準画像ＳＩ１１０、画像ＳＩ２００、画像ＳＩ２０１、画像ＳＩ２０２、画像ＳＩ２０３、画像ＳＩ２０４、およびメニューＭＥ２がディスプレイ１５の画面上に表示される。基準画像ＳＩ１１０は、ディスプレイ１５の第１の領域１５１に表示される。第１の基準点Ｐｒ２１および第２の基準点Ｐｒ２２が基準画像ＳＩ１０１上に表示される。
【０１８６】
画像ＳＩ２００、画像ＳＩ２０１、画像ＳＩ２０２、画像ＳＩ２０３、および画像ＳＩ２０４は、ステップＳ１０６において抽出された少なくとも３枚の画像に対応する。これらの画像の各々の視野は、ステップＳ１０６において抽出された各画像の視野と同じである。これらの画像は、ディスプレイ１５の第２の領域１５２に表示される。
【０１８７】
第２の領域１５２は、第１の領域１５１と異なる。第１の領域１５１は、ユーザーが基準点および計測点を指定するための画像が表示される領域である。第２の領域１５２は、複数の画像間で視野が重複するか否かをユーザーが確認するための領域である。第２の領域１５２は、第１の領域１５１の下に配置されている。第２の領域１５２において５枚の画像が横方向に一列に並べられている。
【０１８８】
第１の領域１５１における基準画像ＳＩ１１０の面積は第２の領域１５２における各画像の面積よりも大きい。言い換えると、基準画像ＳＩ１１０の面積は、第２の領域１５２に表示されたどの画像の面積よりも大きい。例えば、第２の領域１５２に表示された５枚の画像の各々は、ステップＳ１０６において抽出された各画像のサムネイルである。画像ＳＩ２００は、基準画像ＳＩ１１０に対応する。
【０１８９】
領域Ｒ１３０Ｎａおよび領域Ｒ１３０Ｗａが基準画像ＳＩ１１０上に表示される。領域Ｒ１３１Ｎａおよび領域Ｒ１３１Ｗａが画像ＳＩ２００上に表示される。領域Ｒ１３１ｂおよび領域Ｒ１３１Ｗｂが画像ＳＩ２０１上に表示される。領域Ｒ１３１ｃ、領域Ｒ１３１Ｎｃ、および領域Ｒ１３１Ｗｃが画像ＳＩ２０２上に表示される。領域Ｒ１３１ｄ、領域Ｒ１３１Ｎｄ、および領域Ｒ１３１Ｗｄが画像ＳＩ２０３上に表示される。領域Ｒ１３１ｅおよび領域Ｒ１３１Ｎｅが画像ＳＩ２０４上に表示される。
【０１９０】
領域Ｒ１３１ｂ、領域Ｒ１３１ｃ、領域Ｒ１３１ｄ、および領域Ｒ１３１ｅは、ステップＳ１３２ｄにおいて検出された領域である。これらの領域における計測の実行は可能である。これらの領域は、基準画像ＳＩ１１０の視野に含まれない。これらの領域の各々は、第２の領域１５２に表示された２枚以上の画像（画像ＳＩ２００を除く）の視野に共通に含まれる。ユーザーは、第２の領域１５２に表示された画像において計測点を指定できる領域を確認することができる。
【０１９１】
これらの領域は、第２の領域１５２の画像上に強調表示される。例えば、これらの領域は、計測の実行が可能であることを示す色で表示される。計測の実行が可能な領域をユーザーが認識できる限り、その領域を強調表示する方法は上記の方法に限らない。
【０１９２】
領域Ｒ１３０Ｎａ、領域Ｒ１３１Ｎａ、領域Ｒ１３１Ｎｃ、領域Ｒ１３１Ｎｄ、および領域Ｒ１３１Ｎｅは、ステップＳ１３２ｅにおいて検出された領域である。これらの領域における計測の実行は不可能である。これらの領域の各々は、第１の領域１５１または第２の領域１５２に表示された１枚の画像のみの視野に含まれる。ユーザーは、第１の領域１５１に表示された基準画像ＳＩ１１０において基準点を指定できない領域を確認することができる。ユーザーは、第２の領域１５２に表示された画像において計測点を指定できない領域を確認することができる。
【０１９３】
これらの領域は、第１の領域１５１の画像上および第２の領域１５２の画像上に強調表示される。例えば、これらの領域は、計測の実行が不可能であることを示す色で表示される。計測の実行が不可能な領域をユーザーが認識できる限り、その領域を強調表示する方法は上記の方法に限らない。
【０１９４】
領域Ｒ１３０Ｗａ、領域Ｒ１３１Ｗａ、領域Ｒ１３１Ｗｂ、領域Ｒ１３１Ｗｃ、および領域Ｒ１３１Ｗｄは、ステップＳ１３２ｆにおいて検出された領域である。これらの領域における計測精度は低い。ユーザーは、第１の領域１５１に表示された基準画像ＳＩ１１０または第２の領域１５２に表示された画像において精度が低い計測結果が得られる領域を確認することができる。
【０１９５】
これらの領域は、第１の領域１５１の画像上および第２の領域１５２の画像上に強調表示される。例えば、これらの領域は、計測精度が低いことを示す色で表示される。計測精度が低い領域をユーザーが認識できる限り、その領域を強調表示する方法は上記の方法に限らない。
【０１９６】
表示順設定ＯＲ２０がメニューＭＥ２上に表示される。表示順設定ＯＲ２０は、第２の領域１５２において画像が並ぶ順番を示す。ユーザーは、操作部１２を操作することにより、画像が並ぶ順番を表示順設定ＯＲ２０に入力することができる。ユーザーは、画像が並ぶ順番をユーザーの好みに従って切り替えることができる。
【０１９７】
図２５に示す例では、５枚の画像は視野の順番に並べられている。表示制御部２２１は、ステップＳ１３１において、５枚の画像を各画像の視野の関係に基づく順番に第２の領域１５２に並べる。表示制御部２２１は、図４に示すステップＳ１１４と同様の処理を実行することにより、各画像の視野の関係を得ることができる。第２の領域１５２において隣接する２枚の画像の視野は互いに重なる。
【０１９８】
５枚の画像は時系列順に並べられてもよい。時系列順が表示順設定ＯＲ２０に入力された場合、表示制御部２２１は、ステップＳ１３１において、５枚の画像を各画像に関連付けられた時刻の関係に基づく順番に第２の領域１５２に並べる。例えば、５枚の画像は、各画像が取得された時刻の順番に第２の領域１５２に並べられる。５枚の画像は、視野および時刻のいずれとも無関係に並べられてもよい。
【０１９９】
マークＭＫ２０が画像ＳＩ２００上に表示される。マークＭＫ２０は、第１の領域１５１に表示された画像と同じ画像を示す。マークＭＫ２０は、動画再生が一時停止されたときに表示されるマークと同じである。そのため、ユーザーは、第１の領域１５１に表示された画像と第２の領域１５２に表示された画像とを関連付けやすい。
【０２００】
表示制御部２２１は、ステップＳ１３１において、第１の領域１５１に表示された基準画像ＳＩ１１０に対応する画像ＳＩ２００を第２の領域１５２に強調表示する。図２５に示す例では、表示制御部２２１は、マークＭＫ２０を画像ＳＩ２００上に表示する。ユーザーが第１の領域１５１に表示された基準画像ＳＩ１１０と第２の領域１５２に表示された画像ＳＩ２００とを関連付けることができる限り、画像ＳＩ２００を強調表示する方法は上記の方法に限らない。
【０２０１】
ユーザーは、第１の設定と第２の設定とを切り替えることができてもよい。第１の設定において、マークＭＫ２０が表示される。第２の設定において、マークＭＫ２０は表示されない。
【０２０２】
画像ＳＩ２００は、基準画像である。画像ＳＩ２００が基準画像であることを示すために、画像ＳＩ２００は太い線で囲まれる。表示制御部２２１は、ステップＳ１３１において、基準画像ＳＩ１１０に対応する画像ＳＩ２００を第２の領域１５２に強調表示する。図２５に示す例では、表示制御部２２１は、画像ＳＩ２００を太い線で囲む。ユーザーが第２の領域１５２に表示された画像ＳＩ２００と基準画像ＳＩ１１０とを関連付けることができる限り、画像ＳＩ２００を強調表示する方法は上記の方法に限らない。
【０２０３】
ユーザーは、第１の設定と第２の設定とを切り替えることができてもよい。第１の設定において、画像ＳＩ２００が太い線で囲まれる。第２の設定において、画像ＳＩ２００は太い線で囲まれない。
【０２０４】
図２５に示す例では、第１の領域１５１に表示された画像と同じ画像が第２の領域１５２に表示される。第１の領域１５１に表示された画像と同じ画像が第２の領域１５２に表示される必要はない。ユーザーは、第１の設定と第２の設定とを切り替えることができてもよい。第１の設定において、第１の領域１５１に表示された画像と同じ画像が第２の領域１５２に表示される。第２の設定において、第１の領域１５１に表示された画像と同じ画像は第２の領域１５２に表示されない。
【０２０５】
以下では、ユーザーが第１の基準点Ｐｒ２１、第２の基準点Ｐｒ２２、および基準長を指定した後、画像ＳＩ２０２上の２つの計測点を指定したい場合を想定している。
【０２０６】
ユーザーは、操作部１２を操作することにより、第２の領域１５２に表示された５枚の画像のうちの１枚を選択する。具体的には、ユーザーは、画像ＳＩ２０２を選択する。これにより、ユーザーは画像切り替え指示を入力する。画像切り替え指示は、ユーザーによって選択された１枚の画像の情報を含む。ステップＳ１１２の後、表示画像選択部２２３は、画像切り替え指示を操作部１２から受け付ける（ステップＳ１３６）。ディスプレイ１５がタッチパネルである場合、ユーザーは、第２の領域１５２に表示された５枚の画像のうちの１枚をタッチすることにより、１枚の画像を選択することができる。
【０２０７】
ステップＳ１３６の後、表示画像選択部２２３は、ユーザーによって選択された１枚の画像をステップＳ１０６において抽出された少なくとも３枚の画像から選択する（ステップＳ１３７）。ステップＳ１３７の後、表示制御部２２１は、ステップＳ１１５において、第１の領域１５１上の画像を非表示にし、かつ表示画像選択部２２３によって選択された画像を第１の領域１５１に表示する。
【０２０８】
上記の例では、ユーザーは、第２の領域１５２に表示された少なくとも３枚の画像のうちの１枚を選択する。ユーザーは、第２の領域１５２上で画像を選択する必要はない。例えば、ユーザーは、音声またはジェスチャーなどを使用することによって画像を選択してもよい。
【０２０９】
図２６は、ステップＳ１１８においてディスプレイ１５に表示される画像の例を示す。図２５に示す部分と同じ部分の説明を省略する。
【０２１０】
画像ＳＩ２０２がユーザーによって選択されたとき、表示制御部２２１は、画像ＳＩ１１１をディスプレイ１５の第１の領域１５１に表示する。このとき、図２５に示す基準画像ＳＩ１１０は非表示になる。画像ＳＩ１１１は、ディスプレイ１５の第２の領域１５２に表示された画像ＳＩ２０２に対応する。第１の計測点Ｐｍ２１および第２の計測点Ｐｍ２２が画像ＳＩ１１１上に表示される。第１の計測点Ｐｍ２１および第２の計測点Ｐｍ２２の間の距離が計測結果ＭＲ２０として表示される。
【０２１１】
領域Ｒ１３２Ｎｃおよび領域Ｒ１３２Ｗｃが画像ＳＩ１１１上に表示される。領域Ｒ１３３ａ、領域Ｒ１３１Ｎａ、および領域Ｒ１３１Ｗａが画像ＳＩ２００上に表示される。領域Ｒ１３３ｂおよび領域Ｒ１３１Ｗｂが画像ＳＩ２０１上に表示される。領域Ｒ１３１Ｎｃおよび領域Ｒ１３１Ｗｃが画像ＳＩ２０２上に表示される。領域Ｒ１３３ｄ、領域Ｒ１３１Ｎｄ、および領域Ｒ１３１Ｗｄが画像ＳＩ２０３上に表示される。領域Ｒ１３３ｅおよび領域Ｒ１３１Ｎｅが画像ＳＩ２０４上に表示される。マークＭＫ２０が画像ＳＩ２０２上に表示される。
【０２１２】
領域Ｒ１３３ａ、領域Ｒ１３３ｂ、領域Ｒ１３３ｄ、および領域Ｒ１３３ｅは、計測の実行が可能な領域である。これらの領域は、画像ＳＩ１１１の視野に含まれない。これらの領域の各々は、第２の領域１５２に表示された２枚以上の画像（画像ＳＩ２０２を除く）の視野に共通に含まれる。領域検出部２２７は、ステップＳ１３２ｄと同様の処理を実行することにより、計測の実行が可能な領域を検出することができる。
【０２１３】
領域Ｒ１３２Ｎｃ、領域Ｒ１３１Ｎａ、領域Ｒ１３１Ｎｃ、領域Ｒ１３１Ｎｄ、および領域Ｒ１３１Ｎｅは、計測の実行が不可能な領域である。これらの領域の各々は、第１の領域１５１または第２の領域１５２に表示された１枚の画像のみの視野に含まれる。領域検出部２２７は、ステップＳ１３２ｅと同様の処理を実行することにより、計測の実行が不可能な領域を検出することができる。
【０２１４】
領域Ｒ１３２Ｗｃ、領域Ｒ１３１Ｗａ、領域Ｒ１３１Ｗｂ、領域Ｒ１３１Ｗｃ、および領域Ｒ１３１Ｗｄは、計測精度が低い領域である。領域検出部２２７は、ステップＳ１３２ｆと同様の処理を実行することにより、計測精度が低い領域を検出することができる。
【０２１５】
ＣＰＵ１３ａが実行する処理の順番は、図３、図１９、および図２０に示す順番に限らない。例えば、ステップＳ１１２が実行される前にステップＳ１０８が実行される限り、ステップＳ１０８は、ステップＳ１０７とステップＳ１１７との間のどのタイミングで実行されてもよい。
【０２１６】
ステップＳ１３６からステップＳ１１６が繰り返し実行されてもよい。ステップＳ１１６において、少なくとも１つの計測点が設定される。したがって、２枚以上の画像の各々に少なくとも１つの計測点が設定されてもよい。ユーザーが、図２６に示す画像ＳＩ１１１を他の画像に切り替えて計測点を設定したい場合、ユーザーは、計測の実行が可能な領域などを参考にして画像を切り替えることができる。
【０２１７】
本発明の各態様の計測方法は、第３の画像表示ステップを有してもよい。第１の画像がディスプレイ１５の第１の領域１５１に表示されている間、表示制御部２２１は、第３の画像表示ステップ（ステップＳ１３１）において、少なくとも２枚の第３の画像をディスプレイ１５の第２の領域１５２に表示する。各々の第３の画像は、複数の第２の画像に含まれるいずれか１枚の第２の画像に対応する。第２の領域１５２に表示された少なくとも２枚の第３の画像のうちの１枚を選択する指示が受け付けられた後、表示制御部２２１は、第２の画像表示ステップ（ステップＳ１１５）において、第１の領域１５１上の第１の画像を非表示にし、かつ選択された第３の画像に対応する第２の画像を第１の領域１５１に表示する。
【０２１８】
第１の画像は、基準画像ＳＩ１１０に対応する。複数の第２の画像は、ステップＳ１０６において抽出される画像に対応する。少なくとも２枚の第３の画像は、画像ＳＩ２０１、画像ＳＩ２０２、画像ＳＩ２０３、および画像ＳＩ２０４に対応する。図２５および図２６に示す例では、表示制御部２２１は、ステップＳ１１５において、基準画像ＳＩ１１０を非表示にし、かつ選択された画像ＳＩ２０２に対応する画像ＳＩ１１１を第１の領域１５１に表示する。
【０２１９】
表示制御部２２１は、ステップＳ１３１において、基準画像ＳＩ１１０（第１の画像）に対応する画像ＳＩ２００（第４の画像）を第２の領域１５２に強調表示する。図２５に示す例では、表示制御部２２１は、マークＭＫ２０を画像ＳＩ２００上に表示する。
【０２２０】
表示制御部２２１は、ステップＳ１１５において、第１の領域１５１に表示された画像ＳＩ１１１（第２の画像）に対応する画像ＳＩ２０２（第３の画像）を強調表示する。図２６に示す例では、表示制御部２２１は、マークＭＫ２０を画像ＳＩ２０２上に表示する。
【０２２１】
表示制御部２２１は、ステップＳ１３２において、基準画像ＳＩ１１０（第１の画像）の視野に含まれず、かつ少なくとも２枚の第２の画像のうちの２枚以上の視野に共通に含まれる領域を第３の画像上に強調表示する。図２５に示す例では、表示制御部２２１は、領域Ｒ１３１ｂ、領域Ｒ１３１ｃ、領域Ｒ１３１ｄ、および領域Ｒ１３１ｅを第２の領域１５２の各画像上に表示する。
【０２２２】
表示制御部２２１は、ステップＳ１１５において、第１の領域１５１に表示された画像ＳＩ１１１（第２の画像）の視野に含まれず、かつ少なくとも２枚の第２の画像のうちの２枚以上の視野に共通に含まれる領域を第３の画像上に強調表示する。図２６に示す例では、表示制御部２２１は、領域Ｒ１３３ａ、領域Ｒ１３３ｂ、領域Ｒ１３３ｄ、および領域Ｒ１３３ｅを第２の領域１５２の各画像上に表示する。
【０２２３】
表示制御部２２１は、ステップＳ１３４およびステップＳ１１５において、少なくとも２枚の第２の画像のうちの１枚のみの視野に含まれる領域を第３の画像上に強調表示する。図２５および図２６に示す例では、表示制御部２２１は、領域Ｒ１３１Ｎａ、領域Ｒ１３１Ｎｃ、領域Ｒ１３１Ｎｄ、および領域Ｒ１３１Ｎｅを第２の領域１５２の各画像上に表示する。
【０２２４】
表示制御部２２１は、ステップＳ１３４において、基準画像ＳＩ１１０（第１の画像）のみの視野に含まれる領域を基準画像ＳＩ１１０上に強調表示する。図２５に示す例では、表示制御部２２１は、領域Ｒ１３０Ｎａを基準画像ＳＩ１１０上に表示する。
【０２２５】
表示制御部２２１は、ステップＳ１１５において、第１の領域１５１に表示された画像ＳＩ１１１（第２の画像）のみの視野に含まれる領域を第１の領域１５１に表示された画像ＳＩ１１１上に強調表示する。図２６に示す例では、表示制御部２２１は、領域Ｒ１３２Ｎｃを画像ＳＩ１１１上に表示する。
【０２２６】
表示制御部２２１は、ステップＳ１３５およびステップＳ１１５において、計測精度が低い領域を第３の画像上に強調表示する。図２５および図２６に示す例では、表示制御部２２１は、領域Ｒ１３１Ｗａ、領域Ｒ１３１Ｗｂ、領域Ｒ１３１Ｗｃ、および領域Ｒ１３１Ｗｄを第２の領域１５２の各画像上に表示する。
【０２２７】
表示制御部２２１は、ステップＳ１３５において、計測精度が低い領域を基準画像ＳＩ１１０（第１の画像）上に強調表示する。図２５に示す例では、表示制御部２２１は、領域Ｒ１３０Ｗａを基準画像ＳＩ１１０上に表示する。
【０２２８】
表示制御部２２１は、ステップＳ１１５において、計測精度が低い領域を第１の領域１５１に表示された画像ＳＩ１１１上に強調表示する。図２６に示す例では、表示制御部２２１は、領域Ｒ１３２Ｗｃを画像ＳＩ１１１上に表示する。
【０２２９】
第２の実施形態において、第１の画像がディスプレイ１５の第１の領域１５１に表示され、かつ少なくとも２枚の第３の画像がディスプレイ１５の第２の領域１５２に表示される。第１の基準点Ｐｒ２１および第２の基準点Ｐｒ２２が第１の画像に設定され、かつ第２の領域１５２に表示された少なくとも２枚の第３の画像のうちの１枚を選択する指示が受け付けられる。その後、第１の画像が非表示になり、かつ選択された第３の画像に対応する第２の画像が第１の領域１５１に表示される。第１の計測点Ｐｍ２１および第２の計測点Ｐｍ２２が第２の画像に設定される。ユーザーは、指定点の指定に使用したい画像を第２の領域１５２に表示された少なくとも２枚の第３の画像から容易に選択することができる。そのため、計測におけるユーザーの操作性が向上する。
【０２３０】
計測の実行が可能な領域が第２の領域１５２における第３の画像上に表示される。ユーザーは、第２の領域１５２に表示された第３の画像において指定点を指定できる領域を確認することができる。
【０２３１】
計測の実行が不可能な領域が第１の領域１５１における第１の画像上または第１の領域１５１における第２の画像上に表示される。ユーザーは、第１の領域１５１に表示された第１の画像または第２の画像において指定点を指定できない領域を確認することができる。
【０２３２】
計測の実行が不可能な領域が第２の領域１５２における第３の画像上に表示される。ユーザーは、第２の領域１５２に表示された第３の画像において指定点を指定できない領域を確認することができる。
【０２３３】
計測精度が低い領域が第１の領域１５１における第１の画像上、第１の領域１５１における第２の画像上、または第２の領域１５２における第３の画像上に表示される。ユーザーは、各画像において計測精度が低い領域を確認することができる。
【０２３４】
（第２の実施形態の変形例）
本発明の第２の実施形態の変形例を説明する。第２の実施形態において、３Ｄモデルの生成に使用される少なくとも３枚の画像はディスプレイ１５の第２の領域において横方向に一列に並べられる。少なくとも３枚の画像が横方向に並べられる必要はない。例えば、少なくとも３枚の画像は縦方向に並べられてもよい。少なくとも３枚の画像の一部が横方向に並べられ、残りが縦方向に並べられてもよい。少なくとも３枚の画像は、ディスプレイ１５の第１の領域の周辺に並べられてもよい。例えば、少なくとも３枚の画像が配置される位置は、第１の領域に表示された画像を基準とする視野の移動方向に基づいて決定される。
【０２３５】
以下では、２つの場合について説明する。第１の場合において、少なくとも３枚の画像は横方向および縦方向に並べられる。第２の場合において、少なくとも３枚の画像は、視野の移動方向に基づいて第１の領域の周辺に並べられる。
【０２３６】
図２７は、第１の場合においてディスプレイ１５に表示される画像の例を示す。図２５に示す部分と同じ部分の説明を省略する。
【０２３７】
基準画像ＳＩ１１０、画像ＳＩ２００、画像ＳＩ２０１、画像ＳＩ２０２、画像ＳＩ２０３、画像ＳＩ２０４、およびメニューＭＥ２がディスプレイ１５の画面上に表示される。基準画像ＳＩ１１０は、ディスプレイ１５の第１の領域１５１に表示される。画像ＳＩ２００、画像ＳＩ２０１、および画像ＳＩ２０２は、ディスプレイ１５の第２の領域１５２に表示される。画像ＳＩ２００、画像ＳＩ２０３、および画像ＳＩ２０４は、ディスプレイ１５の第３の領域１５３に表示される。
【０２３８】
第３の領域１５３は、第１の領域１５１とおよび第２の領域１５２のいずれとも異なる。第３の領域１５３は、第１の領域１５１の左に配置されている。第２の領域１５２の長軸方向と第３の領域１５３の長軸方向とは、直交する。第２の領域１５２において３枚の画像が横方向に一列に並べられている。第３の領域１５３において３枚の画像が縦方向に一列に並べられている。
【０２３９】
第２の領域１５２および第３の領域１５３に各画像を並べる方法を説明する。表示制御部２２１は、図４に示すステップＳ１１４と同様の処理を実行し、第１の領域１５１に表示された基準画像と、画像抽出部２１０によって抽出された少なくとも３枚の画像との間の視野の移動方向を検出する。表示制御部２２１は、検出された移動方向に基づいて、少なくとも３枚の画像を第２の領域１５２および第３の領域１５３に割り当てる。具体的には、表示制御部２２１は、基準画像の視野から左または右に移動した視野を持つ画像を第２の領域１５２に割り当てる。表示制御部２２１は、基準画像の視野から上または下に移動した視野を持つ画像を第３の領域１５３に割り当てる。
【０２４０】
少なくとも２枚の画像が第２の領域１５２に割り当てられた場合、表示制御部２２１は、それらの画像を視野の順番または時系列順に並び変え、かつ第２の領域１５２に表示する。１枚の画像が第２の領域１５２に割り当てられた場合、表示制御部２２１は、その画像を第２の領域１５２に表示する。また、表示制御部２２１は、基準画像と同じ画像を第２の領域１５２に表示する。
【０２４１】
少なくとも２枚の画像が第３の領域１５３に割り当てられた場合、表示制御部２２１は、それらの画像を視野の順番または時系列順に並び変え、かつ第３の領域１５３に表示する。１枚の画像が第３の領域１５３に割り当てられた場合、表示制御部２２１は、その画像を第３の領域１５３に表示する。また、表示制御部２２１は、基準画像と同じ画像を第３の領域１５３に表示する。
【０２４２】
図２７において、計測の実行が可能な領域は表示されていないが、その領域が表示されてもよい。図２７において、計測の実行が不可能な領域は表示されていないが、その領域が表示されてもよい。図２７において、計測精度が低い領域は表示されていないが、その領域が表示されてもよい。以下では、ディスプレイ１５に表示される画像を示す図において、これらの領域の表示は省略される。いずれの図においても、これらの領域が表示されてもよい。
【０２４３】
３Ｄモデルの生成に使用される各画像は、基準画像の視野から縦方向（上または下）または横方向（左または右）に移動した視野を持つ。図２７に示す例では、各画像は、２方向のいずれか１つに関連付けられた領域に配置される。そのため、ユーザーは、第２の領域１５２または第３の領域１５３に表示された画像と第１の領域１５１に表示された基準画像との視野の関係を理解しやすい。ユーザーは、第２の領域１５２および第３の領域１５３に表示された少なくとも３枚の画像のうちの所望の画像を指定することができる。
【０２４４】
図２８は、第２の場合においてディスプレイ１５に表示される画像の例を示す。図２７に示す部分と同じ部分の説明を省略する。
【０２４５】
第２の領域１５２および第３の領域１５３に加えて、第４の領域１５４および第５の領域１５５が第１の領域１５１の周囲に配置されている。第４の領域１５４は、第１の領域１５１、第２の領域１５２、および第３の領域１５３のいずれとも異なる。第４の領域１５４は、第１の領域１５１の右に配置されている。第２の領域１５２の長軸方向と第４の領域１５４の長軸方向とは、直交する。画像ＳＩ２０１が第４の領域１５４に表示される。第５の領域１５５は、第１の領域１５１、第２の領域１５２、第３の領域１５３、および第４の領域１５４のいずれとも異なる。第５の領域１５５は、第１の領域１５１の上に配置されている。第２の領域１５２の長軸方向と第５の領域１５５の長軸方向とは、平行である。画像ＳＩ２０３が第５の領域１５５に表示される。
【０２４６】
第２の領域１５２、第３の領域１５３、第４の領域１５４、および第５の領域１５５に各画像を並べる方法を説明する。表示制御部２２１は、図４に示すステップＳ１１４と同様の処理を実行し、第１の領域１５１に表示された基準画像と、画像抽出部２１０によって抽出された少なくとも３枚の画像との間の視野の移動方向を検出する。表示制御部２２１は、検出された移動方向に基づいて、少なくとも３枚の画像を第１の領域１５１の周囲の４つの領域に割り当てる。具体的には、表示制御部２２１は、基準画像の視野から下に移動した視野を持つ画像を第２の領域１５２に割り当てる。表示制御部２２１は、基準画像の視野から左に移動した視野を持つ画像を第３の領域１５３に割り当てる。表示制御部２２１は、基準画像の視野から右に移動した視野を持つ画像を第４の領域１５４に割り当てる。表示制御部２２１は、基準画像の視野から上に移動した視野を持つ画像を第５の領域１５５に割り当てる。
【０２４７】
画像ＳＩ２０１は、基準画像ＳＩ１１０の視野から右に移動した視野を持つ。そのため、画像ＳＩ２０１は第４の領域１５４に表示される。画像ＳＩ２０３は、基準画像ＳＩ１１０の視野から上に移動した視野を持つ。そのため、画像ＳＩ２０３は第５の領域１５５に表示される。
【０２４８】
図２７に示す画像ＳＩ２０２の視野は、画像ＳＩ２０１の視野よりも右にある。図２８において、画像ＳＩ２００に対応する基準画像ＳＩ１１０が第１の領域１５１に表示されているとき、画像ＳＩ２０２は表示されない。図２７に示す画像ＳＩ２０４の視野は、画像ＳＩ２０３の視野よりも上にある。図２８において、画像ＳＩ２００に対応する基準画像ＳＩ１１０が第１の領域１５１に表示されているとき、画像ＳＩ２０４は表示されない。
【０２４９】
３Ｄモデルの生成に使用される各画像は、基準画像の視野から上、下、左、および右の４方向のいずれか１つに移動した視野を持つ。図２８に示す例では、各画像は、４方向のいずれか１つに関連付けられた領域に配置される。そのため、ユーザーは、４つの領域の各々に表示された画像と第１の領域１５１に表示された基準画像との視野の関係を理解しやすい。ユーザーは、４つの領域に表示された画像のうちの所望の画像を指定することができる。
【０２５０】
（第３の実施形態）
本発明の第３の実施形態を説明する。第２の実施形態において、一部が互いに重複する視野を持つ複数の画像がディスプレイ１５の第２の領域に表示される。そのため、ディスプレイ１５の画面の利用効率が低い場合がある。
【０２５１】
第３の実施形態において、画像抽出部２１０によって抽出された少なくとも３枚の画像に基づいて生成された合成画像がディスプレイ１５の第２の領域に表示される。ユーザーは、ディスプレイ１５の第２の領域に表示された合成画像上の領域を指定する。そのとき、ディスプレイ１５の第１の領域上の基準画像は非表示になり、かつユーザーによって指定された領域を含む画像がディスプレイ１５の第１の領域に表示される。そのため、ディスプレイ１５の画面を効率的に使用することができる。
【０２５２】
図２に示すＣＰＵ１３は、図２９に示すＣＰＵ１３ｂに変更される。図２９は、ＣＰＵ１３ｂの機能構成を示す。図２に示す構成と同じ構成の説明を省略する。図２９に示すブロックの少なくとも１つがＣＰＵ１３ｂとは別の回路で構成されてもよい。
【０２５３】
図２９に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図２９に示す各部は、１つまたは複数のプロセッサを含むことができる。図２９に示す各部は、１つまたは複数の論理回路を含むことができる。
【０２５４】
図２に示す計測処理部２２は、計測処理部２２ｂに変更される。計測処理部２２ｂは、基準点設定部２２０、表示制御部２２１、基準長設定部２２２、表示画像選択部２２３、計測点設定部２２４、座標変換部２２５、計測部２２６、および合成部２２８を有する。
【０２５５】
合成部２２８は、合成画像を生成する。表示制御部２２１は、合成画像をディスプレイ１５の第２の領域に表示する。ユーザーは、合成画像上の領域を指定する指示を入力する。このとき、表示制御部２２１は、ディスプレイ１５の第１の領域上の画像を非表示にし、かつ指定された領域を含む画像を第１の領域に表示する。
【０２５６】
図４に示す処理は、図３０に示す処理に変更される。図３０を参照し、計測のために実行される処理の手順を説明する。図３０は、ＣＰＵ１３ｂが実行する処理の手順を示す。図４に示す処理と同じ処理の説明を省略する。
【０２５７】
ステップＳ１０９の後、合成部２２８は、ステップＳ１０６において抽出された少なくとも３枚の画像に基づいて合成画像を生成する（ステップＳ１４１）。一般的には、合成画像は、パノラマ画像、貼り合わせ画像、またはスティッチング画像などと呼ばれる。合成画像を生成するために公知の技術手段を使用できる。
【０２５８】
ステップＳ１４１の後、表示制御部２２１は、合成部２２８によって生成された合成画像をディスプレイ１５の第２の領域に表示する（ステップＳ１４２）。ディスプレイ１５の第２の領域は、基準画像が表示される第１の領域と異なる。
【０２５９】
以下では、ユーザーが指定したい計測点が第１の領域上の基準画像に写っていない場合を想定している。ユーザーは、操作部１２を操作することにより、第２の領域に表示された合成画像上の注目領域を指定する。これにより、ユーザーは画像切り替え指示を入力する。画像切り替え指示は、ユーザーによって指定された注目領域の情報を含む。ステップＳ１１２の後、表示画像選択部２２３は、画像切り替え指示を操作部１２から受け付ける（ステップＳ１４３）。
【０２６０】
例えば、ユーザーは、矩形などの領域を指定することにより注目領域を指定する。ユーザーは、点を指定することにより、その点を含む所定の大きさを持つ注目領域を指定してもよい。ディスプレイ１５がタッチパネルである場合、ユーザーは、合成画像上の注目領域の位置をタッチすることにより、注目領域を指定することができる。
【０２６１】
ステップＳ１４３の後、表示画像選択部２２３は、ユーザーによって指定された注目領域を含む１枚の画像をステップＳ１０６において抽出された少なくとも３枚の画像から選択する（ステップＳ１４４）。
【０２６２】
少なくとも２枚の画像が注目領域を含む場合、表示画像選択部２２３は、計測点を指定するのに適切な１枚の画像を選択する。例えば、表示画像選択部２２３は、注目領域のコントラストが最も高い画像を選択してもよい。表示画像選択部２２３は、注目領域の解像度が最も高い画像を選択してもよい。表示画像選択部２２３は、注目領域の面積が最も大きい画像を選択してもよい。ユーザーによって指定された注目領域の少なくとも一部を含む画像が選択される限り、画像を選択する方法は上記の方法に限らない。
【０２６３】
ステップＳ１４４の後、表示制御部２２１は、ステップＳ１１５において、第１の領域上の画像を非表示にし、かつ表示画像選択部２２３によって選択された画像を第２の領域に表示する。
【０２６４】
図３１は、ステップＳ１１１において基準長が設定された後にディスプレイ１５に表示される画像の例を示す。図７に示す部分と同じ部分の説明を省略する。
【０２６５】
計測モードＭＤ２０、基準長設定ＲＬ２０、および計測結果ＭＲ２０がメニューＭＥ３上に表示される。合成画像ＣＩ３０がメニューＭＥ３上の第２の領域１５２ａに表示される。合成部２２８によって生成された合成画像の全部または一部が合成画像ＣＩ３０として表示される。
【０２６６】
領域Ｒ１４０が合成画像ＣＩ３０上に表示される。領域Ｒ１４０は、基準画像ＳＩ１０１に対応する合成画像ＣＩ３０上の領域である。表示制御部２２１は、ステップＳ１４２において、領域Ｒ１４０を合成画像ＣＩ３０上に強調表示する。図３１に示す例では、表示制御部２２１は、領域Ｒ１４０を太い線で囲む。ユーザーが合成画像ＣＩ３０上の領域Ｒ１４０と基準画像ＳＩ１０１とを関連付けることができる限り、領域Ｒ１４０を強調表示する方法は上記の方法に限らない。
【０２６７】
ユーザーは、合成画像ＣＩ３０上の注目領域Ｒ１４１を指定する。注目領域Ｒ１４１は、合成画像ＣＩ３０上に表示されてもよい。あるいは、注目領域Ｒ１４１は、合成画像ＣＩ３０上に表示されなくてもよい。
【０２６８】
第１の基準点Ｐｒ３１および第２の基準点Ｐｒ３２が合成画像ＣＩ３０上に表示される。第１の基準点Ｐｒ３１は、基準画像ＳＩ１０１上で指定された第１の基準点Ｐｒ２１に対応する。第２の基準点Ｐｒ３２は、基準画像ＳＩ１０１上で指定された第２の基準点Ｐｒ２２に対応する。表示制御部２２１は、ステップＳ１１０において、第１の基準点Ｐｒ３１および第２の基準点Ｐｒ３２を強調表示する。図３１に示す例では、表示制御部２２１は、各基準点のマークを合成画像ＣＩ３０上に表示する。ユーザーが第１の領域１５１に表示された基準画像ＳＩ１０１上の指定点と第２の領域１５２ａに表示された合成画像ＣＩ３０上の点とを関連付けることができる限り、合成画像ＣＩ３０上の点を強調表示する方法は上記の方法に限らない。
【０２６９】
ＣＰＵ１３ｂが実行する処理の順番は、図３および図３０に示す順番に限らない。例えば、ステップＳ１１２が実行される前にステップＳ１０８が実行される限り、ステップＳ１０８は、ステップＳ１０７とステップＳ１１７との間のどのタイミングで実行されてもよい。
【０２７０】
ステップＳ１４１は、ステップＳ１０７とステップＳ１１０との間のどのタイミングで実行されてもよい。ステップＳ１４１が実行された後にステップＳ１４２が実行される限り、ステップＳ１４２は、ステップＳ１０７とステップＳ１４３との間のどのタイミングで実行されてもよい。
【０２７１】
ステップＳ１４３からステップＳ１１６が繰り返し実行されてもよい。ステップＳ１１６において、少なくとも１つの計測点が設定される。したがって、２枚以上の画像の各々に少なくとも１つの計測点が設定されてもよい。
【０２７２】
本発明の各態様の計測方法は、合成ステップおよび合成画像表示ステップを有してもよい。合成部２２８は、合成ステップ（ステップＳ１４１）において、複数の第２の画像を貼り合わせることにより合成画像を生成する。表示制御部２２１は、合成画像表示ステップ（ステップＳ１４２）において、合成画像ＣＩ３０をディスプレイ１５の第２の領域１５２ａに表示する。第１の点が第１の画像に設定され、かつ合成画像ＣＩ３０上の注目領域Ｒ１４１を指定する指示が受け付けられた後、表示制御部２２１は、ステップＳ１１５において、ディスプレイ１５の第１の領域１５１上の第１の画像を非表示にし、かつ指定された注目領域Ｒ１４１を含む第２の画像を第１の領域１５１に表示する。
【０２７３】
第１の画像は、基準画像ＳＩ１０１に対応する。複数の第２の画像は、ステップＳ１０６において抽出される画像に対応する。複数の第２の画像は、基準画像ＳＩ１０１を含んでもよいし、基準画像ＳＩ１０１を含まなくてもよい。第１の点は、図３１に示す第１の基準点Ｐｒ２１および第２の基準点Ｐｒ２２の少なくとも１つに対応する。
【０２７４】
本発明の各態様の計測方法は、点表示ステップをさらに有してもよい。表示制御部２２１は、点表示ステップにおいて、第１の点または第２の点に対応する第３の点を合成画像ＣＩ３０上に強調表示する。図３１に示す例では、表示制御部２２１は、ステップＳ１１０において、第１の基準点Ｐｒ３１および第２の基準点Ｐｒ３２を合成画像ＣＩ３０上に表示する。
【０２７５】
第２の点は、ステップＳ１１６において設定された第１の計測点および第２の計測点の少なくとも１つに対応する。表示制御部２２１は、ステップＳ１１６において、第１の計測点および第２の計測点を合成画像ＣＩ３０上に表示してもよい。
【０２７６】
第３の実施形態において、合成画像ＣＩ３０がディスプレイ１５の第２の領域１５２ａに表示される。そのため、ディスプレイ１５の画面を効率的に使用することができる。例えば、図３１に示す第１の領域１５１を、図２５に示す第１の領域１５１よりも大きくすることができる。
【０２７７】
第１の領域１５１に表示された画像上で指定点が指定された後、その指定点に対応する点が合成画像ＣＩ３０上に表示される。ユーザーは、３Ｄモデルの生成に使用される少なくとも３枚の画像における指定点の位置を合成画像ＣＩ３０上で確認することができる。
【０２７８】
（第３の実施形態の変形例）
本発明の第３の実施形態の変形例を説明する。３Ｄモデル生成部２１１によって生成された３Ｄモデルの画像（３Ｄ画像）がディスプレイ１５の第２の領域に表示される。ユーザーは、ディスプレイ１５の第２の領域に表示された３Ｄ画像上の領域を指定する。そのとき、ディスプレイ１５の第１の領域上の基準画像は非表示になり、かつユーザーによって指定された領域を含む画像がディスプレイ１５の第１の領域に表示される。
【０２７９】
第３の実施形態の変形例の計測装置１は、図２に示すＣＰＵ１３を有する。
【０２８０】
図４に示す処理は、図３２に示す処理に変更される。図３２を参照し、計測のために実行される処理の手順を説明する。図３２は、ＣＰＵ１３が実行する処理の手順を示す。図４に示す処理と同じ処理の説明を省略する。
【０２８１】
ステップＳ１０９の後、表示制御部２２１は、３Ｄモデルの画像（３Ｄ画像）をディスプレイ１５の第２の領域に表示する（ステップＳ１５１）。ディスプレイ１５の第２の領域は、基準画像が表示される第１の領域と異なる。ステップＳ１５１の後、ステップＳ１１０が実行される。
【０２８２】
以下では、ユーザーが指定したい計測点が第１の領域上の基準画像に写っていない場合を想定している。ユーザーは、操作部１２を操作することにより、第２の領域に表示された３Ｄ画像上の注目領域を指定する。これにより、ユーザーは画像切り替え指示を入力する。画像切り替え指示は、ユーザーによって指定された注目領域の情報を含む。ステップＳ１１２の後、表示画像選択部２２３は、画像切り替え指示を操作部１２から受け付ける（ステップＳ１５２）。
【０２８３】
ステップＳ１５２の後、表示画像選択部２２３は、ユーザーによって指定された注目領域に対応する領域を含む１枚の画像をステップＳ１０６において抽出された少なくとも３枚の画像から選択する（ステップＳ１５３）。３Ｄモデルの生成に使用された画像上の位置とその３Ｄモデル上の位置とは、互いに関連付けられている。表示画像選択部２２３は、ステップＳ１５３において、３Ｄモデル上で指定された注目領域と関連付けられた領域を含む画像を選択する。
【０２８４】
ステップＳ１５３の後、表示制御部２２１は、ステップＳ１１５において、第１の領域上の画像を非表示にし、かつ表示画像選択部２２３によって選択された画像を第２の領域に表示する。
【０２８５】
図３３は、ステップＳ１１１において基準長が設定された後にディスプレイ１５に表示される画像の例を示す。図３１に示す部分と同じ部分の説明を省略する。
【０２８６】
３Ｄ画像Ｉ５０がメニューＭＥ３上の第２の領域１５２ａに表示される。３Ｄモデル生成部２１１によって生成された３Ｄモデルの全部または一部の画像が３Ｄ画像Ｉ５０として表示される。
【０２８７】
領域Ｒ１５０が３Ｄ画像Ｉ５０上に表示される。領域Ｒ１５０は、基準画像ＳＩ１０１に対応する３Ｄ画像Ｉ５０上の領域である。表示制御部２２１は、ステップＳ１５１において、領域Ｒ１５０を３Ｄ画像Ｉ５０上に強調表示する。図３３に示す例では、表示制御部２２１は、領域Ｒ１５０を太い線で囲む。ユーザーが３Ｄ画像Ｉ５０上の領域Ｒ１５０と基準画像ＳＩ１０１とを関連付けることができる限り、領域Ｒ１５０を強調表示する方法は上記の方法に限らない。
【０２８８】
ユーザーは、３Ｄ画像Ｉ５０上の注目領域Ｒ１５１を指定する。ユーザーが注目領域Ｒ１５１を指定する前に３Ｄ画像Ｉ５０の拡大、縮小、回転、または平行移動などがユーザーからの指示に従って実行されてもよい。注目領域Ｒ１５１は、３Ｄ画像Ｉ５０上に表示されてもよい。あるいは、注目領域Ｒ１５１は、３Ｄ画像Ｉ５０上に表示されなくてもよい。
【０２８９】
第１の基準点Ｐｒ４１および第２の基準点Ｐｒ４２が３Ｄ画像Ｉ５０上に表示される。第１の基準点Ｐｒ４１は、基準画像ＳＩ１０１上で指定された第１の基準点Ｐｒ２１に対応する。第２の基準点Ｐｒ４２は、基準画像ＳＩ１０１上で指定された第２の基準点Ｐｒ２２に対応する。表示制御部２２１は、ステップＳ１１０において、第１の基準点Ｐｒ４１および第２の基準点Ｐｒ４２を強調表示する。図３３に示す例では、表示制御部２２１は、各基準点のマークを３Ｄ画像Ｉ５０上に表示する。ユーザーが第１の領域１５１に表示された基準画像ＳＩ１０１上の指定点と第２の領域１５２ａに表示された３Ｄ画像Ｉ５０上の点とを関連付けることができる限り、３Ｄ画像Ｉ５０上の点を強調表示する方法は上記の方法に限らない。
【０２９０】
ＣＰＵ１３が実行する処理の順番は、図３および図３２に示す順番に限らない。例えば、ステップＳ１１２が実行される前にステップＳ１０８が実行される限り、ステップＳ１０８は、ステップＳ１０７とステップＳ１１７との間のどのタイミングで実行されてもよい。ステップＳ１５１は、ステップＳ１０８とステップＳ１５２との間のどのタイミングで実行されてもよい。
【０２９１】
ステップＳ１５２からステップＳ１１６が繰り返し実行されてもよい。ステップＳ１１６において、少なくとも１つの計測点が設定される。したがって、２枚以上の画像の各々に少なくとも１つの計測点が設定されてもよい。
【０２９２】
本発明の各態様の計測方法は、３次元画像表示ステップを有してもよい。表示制御部２２１は、３次元画像表示ステップ（ステップＳ１５１）において、被写体の３次元形状を示す３Ｄ画像Ｉ５０（３次元画像）をディスプレイ１５の第２の領域１５２ａに表示する。第１の点が第１の画像に設定され、かつ３Ｄ画像Ｉ５０上の注目領域Ｒ１５１を指定する指示が受け付けられた後、表示制御部２２１は、ステップＳ１１５において、ディスプレイ１５の第１の領域１５１上の第１の画像を非表示にし、かつ指定された注目領域Ｒ１５１に対応する領域を含む第２の画像を第１の領域１５１に表示する。
【０２９３】
第１の画像は、基準画像ＳＩ１０１に対応する。複数の第２の画像は、ステップＳ１０６において抽出される画像に対応する。複数の第２の画像は、基準画像ＳＩ１０１を含んでもよいし、基準画像ＳＩ１０１を含まなくてもよい。第１の点は、図３３に示す第１の基準点Ｐｒ２１および第２の基準点Ｐｒ２２の少なくとも１つに対応する。
【０２９４】
本発明の各態様の計測方法は、点表示ステップをさらに有してもよい。表示制御部２２１は、点表示ステップにおいて、第１の点または第２の点に対応する第３の点を３Ｄ画像Ｉ５０上に強調表示する。図３３に示す例では、表示制御部２２１は、ステップＳ１１０において、第１の基準点Ｐｒ４１および第２の基準点Ｐｒ４２を３Ｄ画像Ｉ５０上に表示する。
【０２９５】
第２の点は、ステップＳ１１６において設定された第１の計測点および第２の計測点の少なくとも１つに対応する。表示制御部２２１は、ステップＳ１１６において、第１の計測点および第２の計測点を３Ｄ画像Ｉ５０上に表示してもよい。
【０２９６】
第３の実施形態の変形例において、３Ｄ画像Ｉ５０がディスプレイ１５の第２の領域１５２ａに表示される。そのため、ディスプレイ１５の画面を効率的に使用することができる。例えば、図３３に示す第１の領域１５１を、図２５に示す第１の領域１５１よりも大きくすることができる。
【０２９７】
第１の領域１５１に表示された画像上で指定点が指定された後、その指定点に対応する点が３Ｄ画像Ｉ５０上に表示される。ユーザーは、３Ｄモデルの生成に使用される少なくとも３枚の画像における指定点の位置を３Ｄ画像Ｉ５０上で確認することができる。
【０２９８】
（第４の実施形態）
本発明の第４の実施形態を説明する。上記の各実施形態において、計測装置１が、単眼で取得された画像を使用してＳｆＭを実行する場合を想定している。第４の実施形態において、画像群に含まれる各画像は、第１の視点から見た被写体の画像と、第１の視点と異なる第２の視点から見た被写体の画像とを含むステレオ画像である。画像群は、画像抽出部２１０によって抽出された少なくとも３枚の画像からなる。第４の実施形態において、計測装置１は、少なくとも３枚のステレオ画像、カメラの位置、およびカメラの姿勢に基づいて３Ｄモデルを生成する。計測装置１は、Ｐｅｒｓｐｅｃｔｉｖｅ  ｎ  Ｐｏｉｎｔ問題（ＰｎＰ問題）を解くことにより、カメラの位置および姿勢を推定する。
【０２９９】
図２に示すＣＰＵ１３は、図３４に示すＣＰＵ１３ｃに変更される。図３４は、ＣＰＵ１３ｃの機能構成を示す。図２に示す構成と同じ構成の説明を省略する。図３４に示すブロックの少なくとも１つがＣＰＵ１３ｃとは別の回路で構成されてもよい。
【０３００】
図３４に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図３４に示す各部は、１つまたは複数のプロセッサを含むことができる。図３４に示す各部は、１つまたは複数の論理回路を含むことができる。
【０３０１】
図２に示す計測処理部２２は、計測処理部２２ｃに変更される。計測処理部２２ｃは、表示制御部２２１、表示画像選択部２２３、計測点設定部２２４、および計測部２２６を有する。計測処理部２２ｃは、図２に示す基準点設定部２２０、基準長設定部２２２、および座標変換部２２５を有していない。
【０３０２】
図４に示す処理は、図３５および図３６に示す処理に変更される。図３５および図３６を参照し、計測のために実行される処理の手順を説明する。図３５および図３６は、ＣＰＵ１３ｃが実行する処理の手順を示す。図４に示す処理と同じ処理の説明を省略する。
【０３０３】
ステップＳ１０７の後、３Ｄモデル生成部２１１は、画像抽出部２１０によって抽出された各画像が生成されたときのカメラの位置および姿勢を推定する。３Ｄモデル生成部２１１は、公知の技術（例えばＯｐｅｎ  Ｓｏｕｒｃｅ  Ｓｏｆｔｗａｒｅなど）を使用してＰｎＰ問題を解くことにより、カメラの位置および姿勢を推定することができる。３Ｄモデル生成部２１１は、推定されたカメラの位置および姿勢に基づいて３Ｄモデルを生成する（ステップＳ１６１）。ステップＳ１６１の後、ステップＳ１０９が実行される。
【０３０４】
第４の実施形態において、３Ｄモデル生成部２１１はステレオ画像を使用する。そのため、３Ｄモデル生成部２１１は、ＳｆＭを使用せずに、１枚のステレオ画像内の２枚の画像に基づいて各画素の３次元座標を容易に算出することができる。３Ｄモデル生成部２１１は、ステップＳ１０６において抽出された少なくとも３枚の画像の各画素の３次元座標を含む３Ｄモデルを繋ぎ合わせることにより、広い範囲の３Ｄモデルを得る。
【０３０５】
第４の実施形態において、ステレオ画像が使用されるため、基準点および基準長は必要ない。そのため、図４に示すステップＳ１１１およびステップＳ１１２は実行されない。
【０３０６】
以下では、ユーザーが２つの計測点を指定し、かつ計測部２２６が２点間距離計測を実行する場合を想定している。
【０３０７】
基準画像がディスプレイ１５に表示された後、ユーザーは、操作部１２を操作することにより、ディスプレイ１５に表示された画像上の第１の計測点を指定する。計測点設定部２２４は、ユーザーによって指定された第１の計測点を操作部１２から受け付ける。計測点設定部２２４は、ユーザーによって指定された第１の計測点を、ディスプレイ１５に表示された基準画像に設定する（ステップＳ１６２）。ステップＳ１６２の後、ステップＳ１１３が実行される。ユーザーが指定したい第２の計測点が基準画像に写っていないため、ステップＳ１１３からＳ１１５が実行され、ディスプレイ１５の第１の領域上の画像が切り替わる。
【０３０８】
画像が切り替わった後、ユーザーは、操作部１２を操作することにより、ディスプレイ１５に表示された画像上の第２の計測点を指定する。計測点設定部２２４は、ユーザーによって指定された第２の計測点を操作部１２から受け付ける。計測点設定部２２４は、ユーザーによって指定された第２の計測点を、ディスプレイ１５に表示された画像に設定する（ステップＳ１６３）。ステップＳ１６３の後、ステップＳ１１７が実行される。
【０３０９】
ステップＳ１１３からステップＳ１６３が繰り返し実行されてもよい。したがって、２枚以上の画像の各々に計測点が設定されてもよい。
【０３１０】
第４の実施形態以外の実施形態において、ステレオ画像が使用されてもよい。
【０３１１】
第４の実施形態において、計測装置１は、計測に使用される複数の点を複数のステレオ画像に設定することができる。３次元計測のための２つの指定点が互いに離れており、１枚のステレオ画像の視野に入らない場合がある。計測装置１が、ディスプレイ１５に表示されるステレオ画像を切り替えるため、各指定点が写ったステレオ画像が順に表示される。ユーザーは、各ステレオ画像上の指定点を指定することができる。そのため、計測におけるユーザーの操作性が向上する。
【０３１２】
（第５の実施形態）
本発明の第５の実施形態を説明する。ユーザーは、ディスプレイ１５の第１の領域に表示された画像上で指定点を指定する。第５の実施形態において、計測装置１は、指定点に対応する点をディスプレイ１５の第２の領域上の画像に表示する。このとき、計測装置１は、その点の周辺を拡大した画像を表示する。
【０３１３】
ユーザーによって指定点が指定されていないとき、３Ｄモデルを生成するための各画像における視野の全体がディスプレイ１５の第２の領域に表示される。ユーザーは、第１の領域に表示された画像に含まれない領域を第２の領域上の画像で確認することができる。ユーザーによって指定点が指定されたとき、その指定点に対応する点の周辺が拡大され、かつ第２の領域に表示される。ユーザーは、指定点の周辺のみを詳細に確認することができる。
【０３１４】
第５の実施形態の計測装置１は、図１８に示すＣＰＵ１３ａを有する。
【０３１５】
図１９に示す処理は、図３７に示す処理に変更される。図３７を参照し、計測のために実行される処理の手順を説明する。図３７は、ＣＰＵ１３ａが実行する処理の手順を示す。図１９に示す処理と同じ処理の説明を省略する。
【０３１６】
ステップＳ１３１の後、基準点設定部２２０は、計測装置１が基準点の入力を待つ状態にあるか否かを判断する（ステップＳ１７１）。例えば、ユーザーが、基準点の入力開始を指示するためのボタンを押した場合、計測装置１は基準点の入力を待つ状態にある。
【０３１７】
計測装置１が基準点の入力を待つ状態にないと基準点設定部２２０が判断した場合、基準点設定部２２０は、ステップＳ１７１を繰り返し実行する。この場合、ユーザーは、ディスプレイ１５の第１の領域に表示されている画像上でカーソルを移動させ、画像のＲＧＢ値を表示させてもよい。あるいは、ユーザーは、マウス１２ａを使用してクリック動作を実行することにより、画像を拡大または縮小させてもよい。ユーザーは、欠陥があるか否かを詳細に確認することができる。
【０３１８】
計測装置１が基準点の入力を待つ状態にあると基準点設定部２２０が判断した場合、ユーザーは、基準点を指定できる。ユーザーは、操作部１２を操作することにより、ディスプレイ１５の第１の領域に表示された基準画像上の第１の基準点を指定する。基準点設定部２２０は、ユーザーによって指定された第１の基準点を操作部１２から受け付ける。基準点設定部２２０は、ユーザーによって指定された第１の基準点を、ディスプレイ１５の第１の領域に表示された基準画像に設定する（ステップＳ１７２）。
【０３１９】
ステップＳ１７２の後、表示制御部２２１は、ディスプレイ１５の第２の領域に表示された少なくとも３枚の画像において対応点を検出する。その対応点は、ステップＳ１７２において設定された第１の基準点に対応する。表示制御部２２１は、検出された対応点の周辺を拡大した画像をディスプレイ１５の第２の領域に表示する（ステップＳ１７３）。
【０３２０】
第１の基準点が設定された後、ユーザーは、操作部１２を操作することにより、ディスプレイ１５の第１の領域に表示された基準画像上の第２の基準点を指定する。基準点設定部２２０は、ユーザーによって指定された第２の基準点を操作部１２から受け付ける。基準点設定部２２０は、ユーザーによって指定された第２の基準点を、ディスプレイ１５の第１の領域に表示された基準画像に設定する（ステップＳ１７４）。
【０３２１】
ステップＳ１７４の後、表示制御部２２１は、ディスプレイ１５の第２の領域に表示された少なくとも３枚の画像において対応点を検出する。その対応点は、ステップＳ１７４において設定された第２の基準点に対応する。表示制御部２２１は、対応点の周辺を拡大した画像をディスプレイ１５の第２の領域に表示する（ステップＳ１７５）。ステップＳ１７５の後、ステップＳ１１１が実行される。
【０３２２】
図３８は、ステップＳ１３１においてディスプレイ１５に表示される画像の例を示す。図２５と同じ部分の説明を省略する。
【０３２３】
基準画像ＳＩ１２０、画像ＳＩ２２０、画像ＳＩ２２１、画像ＳＩ２２２、画像ＳＩ２２３、およびメニューＭＥ４がディスプレイ１５の画面上に表示される。基準画像ＳＩ１２０は、ディスプレイ１５の第１の領域１５１に表示される。
【０３２４】
画像ＳＩ２２０、画像ＳＩ２２１、画像ＳＩ２２２、および画像ＳＩ２２３は、ステップＳ１０６において抽出された少なくとも３枚の画像に対応する。これらの画像の各々の視野は、ステップＳ１０６において抽出された各画像の視野と同じである。これらの画像は、ディスプレイ１５の第２の領域１５２に表示される。画像ＳＩ２２１は、基準画像ＳＩ１２０に対応する。ユーザーが指定点を指定する前、画像ＳＩ２２０、画像ＳＩ２２１、画像ＳＩ２２２、および画像ＳＩ２２３の各々の視野の全体が表示される。
【０３２５】
ボタンＢＴ３０がメニューＭＥ４上に表示される。ボタンＢＴ３０は、基準点の指定を開始するための指示を入力するためのボタンである。ユーザーは、操作部１２を通してボタンＢＴ３０を押すことができる。ディスプレイ１５がタッチパネルである場合、ユーザーは、ボタンＢＴ３０を画面上で押すことができる。ユーザーがボタンＢＴ３０を押した場合、計測装置１は基準点の入力を待つ状態になる。
【０３２６】
図３９は、ステップＳ１７３においてディスプレイ１５に表示される画像の例を示す。図３８と同じ部分の説明を省略する。
【０３２７】
第１の基準点Ｐｒ５１が基準画像ＳＩ１２０上に表示される。表示制御部２２１は、ステップＳ１７３において、画像ＳＩ２２０、画像ＳＩ２２１、画像ＳＩ２２２、および画像ＳＩ２２３の各々において対応点を検出する。画像ＳＩ２２１は基準画像ＳＩ１２０と同じであるため、基準画像ＳＩ１２０上の第１の基準点Ｐｒ５１の座標と関連付けられた座標にある対応点が検出される。表示制御部２２１は、画像ＳＩ２２０、画像ＳＩ２２２、および画像ＳＩ２２３の各々と基準画像ＳＩ１２０とを使用してマッチング処理を実行する。表示制御部２２１は、画像ＳＩ２２０、画像ＳＩ２２２、および画像ＳＩ２２３の各々にある対応点をマッチング処理の結果として得る。
【０３２８】
対応点が検出された場合、表示制御部２２１は、対応点の周辺を拡大した画像を生成する。例えば、対応点の周辺領域が第２の領域１５２上の各画像から抽出され、かつ拡大される。対応点の周辺領域は、対応点を中心とし所定の大きさを持つ。ユーザーは、操作部１２を通して拡大率の設定を変更してもよい。
【０３２９】
表示制御部２２１は、画像ＳＩ２２０を非表示にし、かつ画像ＳＩ２２０ａを第２の領域１５２に表示する。画像ＳＩ２２０ａは、画像ＳＩ２２０において検出された対応点の周辺を拡大した画像である。対応点Ｐｒ５２が画像ＳＩ２２０ａ上に表示される。
【０３３０】
表示制御部２２１は、画像ＳＩ２２１を非表示にし、かつ画像ＳＩ２２１ａを第２の領域１５２に表示する。画像ＳＩ２２１ａは、画像ＳＩ２２１において検出された対応点の周辺を拡大した画像である。対応点Ｐｒ５３が画像ＳＩ２２１ａ上に表示される。
【０３３１】
表示制御部２２１は、画像ＳＩ２２２を非表示にし、かつ画像ＳＩ２２２ａを第２の領域１５２に表示する。画像ＳＩ２２２ａは、画像ＳＩ２２２において検出された対応点の周辺を拡大した画像である。対応点Ｐｒ５４が画像ＳＩ２２２ａ上に表示される。
【０３３２】
画像ＳＩ２２０ａ、画像ＳＩ２２１ａ、および画像ＳＩ２２２ａの各々は、ステップＳ１０６において抽出された画像の一部を拡大した画像である。基準画像ＳＩ１２０上の第１の基準点Ｐｒ５１に対応する点が画像ＳＩ２２３上にない。そのため、表示制御部２２１は、対応点が画像ＳＩ２２３上に存在しないことをユーザーに通知する。例えば、画像ＳＩ２２３はグレーアウトされる。
【０３３３】
ユーザーは、拡大された画像上の対応点を確認する。ユーザーは、基準画像ＳＩ１２０に対応する画像ＳＩ２２１ａ上の対応点Ｐｒ５３を確認することにより、第１の基準点Ｐｒ５１が所望の位置に設定されたか否かを判断することができる。ユーザーは、画像ＳＩ２２０ａ上の対応点Ｐｒ５２および画像ＳＩ２２２ａ上の対応点Ｐｒ５４を確認することにより、画像ＳＩ２２０ａおよび画像ＳＩ２２２ａの各々において対応点が正しく検出されたか否かを判断することができる。
【０３３４】
第１の基準点Ｐｒ５１が指定されたとき、対応点が図３８に示す画像ＳＩ２２０、画像ＳＩ２２１、および画像ＳＩ２２２上に表示されてもよい。この場合、対応点の周辺の画像は拡大されなくてもよい。ユーザーは、各画像上の対応点の位置に基づいて、各画像の視野の関係を理解しやすい。
【０３３５】
ステップＳ１１２の後、表示制御部２２１は、ディスプレイ１５の第２の領域に表示された画像の拡大率を元に戻す（ステップＳ１７６）。第２の領域に拡大画像が表示されている間、ユーザーは対応点の周辺以外の領域を確認できない。そのため、ユーザーが第２の領域に表示された画像上で計測点を探しにくい。画像の拡大率が元に戻るため、ユーザーが計測点を探しやすい。ステップＳ１７６の後、ステップＳ１３６が実行される。
【０３３６】
ステップＳ１１５の後、計測点設定部２２４は、計測装置１が計測点の入力を待つ状態にあるか否かを判断する（ステップＳ１７７）。例えば、ユーザーが、計測点の入力開始を指示するためのボタンを押した場合、計測装置１は計測点の入力を待つ状態にある。
【０３３７】
計測装置１が計測点の入力を待つ状態にないと計測点設定部２２４が判断した場合、計測点設定部２２４は、ステップＳ１７７を繰り返し実行する。
【０３３８】
計測装置１が計測点の入力を待つ状態にあると計測点設定部２２４が判断した場合、ユーザーは、計測点を指定できる。ユーザーは、操作部１２を操作することにより、ディスプレイ１５の第１の領域に表示された画像上の第１の計測点を指定する。計測点設定部２２４は、ユーザーによって指定された第１の計測点を操作部１２から受け付ける。計測点設定部２２４は、ユーザーによって指定された第１の計測点を、ディスプレイ１５の第１の領域に表示された画像に設定する（ステップＳ１７８）。
【０３３９】
ステップＳ１７８の後、表示制御部２２１は、ディスプレイ１５の第２の領域に表示された少なくとも３枚の画像において対応点を検出する。その対応点は、ステップＳ１７８において設定された第１の計測点に対応する。表示制御部２２１は、検出された対応点の周辺を拡大した画像をディスプレイ１５の第２の領域に表示する（ステップＳ１７９）。
【０３４０】
第１の計測点が設定された後、ユーザーは、操作部１２を操作することにより、ディスプレイ１５の第１の領域に表示された画像上の第２の計測点を指定する。計測点設定部２２４は、ユーザーによって指定された第２の計測点を操作部１２から受け付ける。計測点設定部２２４は、ユーザーによって指定された第２の計測点を、ディスプレイ１５の第１の領域に表示された画像に設定する（ステップＳ１８０）。
【０３４１】
ステップＳ１８０の後、表示制御部２２１は、ディスプレイ１５の第２の領域に表示された少なくとも３枚の画像において対応点を検出する。その対応点は、ステップＳ１８０において設定された第２の計測点に対応する。表示制御部２２１は、対応点の周辺を拡大した画像をディスプレイ１５の第２の領域に表示する（ステップＳ１８１）。ステップＳ１８１の後、ステップＳ１１７が実行される。
【０３４２】
指定点を指定するためのカーソルがディスプレイ１５の第１の領域上の画像に表示される場合、表示制御部２２１は、カーソルの位置を定期的に検出してもよい。カーソルが画像上で移動中であっても、表示制御部２２１は、検出されたカーソルの位置を指定点とみなしてもよい。表示制御部２２１は、ディスプレイ１５の第２の領域に表示された各画像において対応点を検出してもよい。その対応点は、カーソルの位置に対応する。表示制御部２２１は、対応点の周辺を拡大した画像をディスプレイ１５の第２の領域に表示してもよい。ユーザーがカーソルを移動させている間、拡大画像が更新され続ける。カーソルが移動している間は第２の領域上の画像は拡大されず、カーソルが停止したときのみ第２の領域上の画像が拡大されてもよい。
【０３４３】
図３７において、図１９に示すステップＳ１３２からＳ１３５は省略されている。図３７に示す処理は、ステップＳ１３２からＳ１３５を含んでもよい。
【０３４４】
ＣＰＵ１３ａが実行する処理の順番は、図３および図３７に示す順番に限らない。例えば、ステップＳ１１２が実行される前にステップＳ１０８が実行される限り、ステップＳ１０８は、ステップＳ１０７とステップＳ１１７との間のどのタイミングで実行されてもよい。
【０３４５】
ステップＳ１３６からステップＳ１８１が繰り返し実行されてもよい。したがって、２枚以上の画像の各々に計測点が設定されてもよい。
【０３４６】
本発明の各態様の計測方法は、点表示ステップを有してもよい。表示制御部２２１は、点表示ステップ（ステップＳ１７３、ステップＳ１７５、ステップＳ１７９、およびステップＳ１８１）において、第１の点または第２の点に対応する第３の点を含む領域を第３の画像上に拡大表示する。
【０３４７】
第１の点は、第１の基準点および第２の基準点の少なくとも１つに対応する。第２の点は、第１の計測点および第２の計測点の少なくとも１つに対応する。図３９に示す例では、表示制御部２２１は、対応点Ｐｒ５２を画像ＳＩ２２０ａ上に表示し、対応点Ｐｒ５３を画像ＳＩ２２１ａ上に表示し、対応点Ｐｒ５４を画像ＳＩ２２２ａ上に表示する。対応点Ｐｒ５２、対応点Ｐｒ５３、および対応点Ｐｒ５４の各々は、第３の点に対応する。画像ＳＩ２２０ａ、画像ＳＩ２２１ａ、および画像ＳＩ２２２ａの各々は、第３の画像に対応する。
【０３４８】
第５の実施形態において、指定点がディスプレイ１５の第１の領域上の画像に設定され、かつ指定点に対応する点を拡大した画像がディスプレイ１５の第２の領域に表示される。ユーザーは、指定点が所望の位置に設定されたか否かを判断することができる。また、ユーザーは、対応点が正しく検出されたか否かを判断することができる。
【０３４９】
第２の領域１５２上の画像の拡大率が制御される。ユーザーが指定点を指定しない場合、第２の領域上の画像は拡大されない。ユーザーは、第２の領域上の画像の全体を確認することができる。ユーザーは、第１の領域に表示された画像に含まれない領域を第２の領域上の画像で確認することができる。ユーザーが指定点を指定する場合、第２の領域上の画像は拡大される。ユーザーは、指定点の周辺のみを詳細に確認することができる。
【０３５０】
（第５の実施形態の変形例）
本発明の第５の実施形態の変形例を説明する。計測装置１は、ユーザーから指示を受け付け、かつディスプレイ１５の第２の領域に表示された画像上の対応点の位置を修正してもよい。ユーザーは、操作部１２を通して対応点の位置を修正することができる。
【０３５１】
以下では、２つの場合について説明する。第１の場合において、ユーザーは、ディスプレイ１５の第１の領域上の画像の視野と同じ視野を持つ画像上の対応点の位置を修正する。対応点の位置が修正されたとき、第１の領域に表示された画像上の指定点の位置が修正される。ユーザーは、指定点を正確に指定することができる。第２の場合において、ユーザーは、ディスプレイ１５の第１の領域上の画像の視野と異なる視野を持つ画像上の対応点の位置を修正する。対応点の位置が修正されたとき、カメラの位置および姿勢が再度算出され、かつ３Ｄモデルが再度生成される。この場合、計測の誤差が小さくなる。
【０３５２】
図４０は、第１の場合においてディスプレイ１５に表示される画像の例を示す。図３９に示す部分と同じ部分の説明を省略する。
【０３５３】
第１の基準点Ｐｒ６１が基準画像ＳＩ１２０上に表示される。対応点Ｐｒ６２が画像ＳＩ２２１ａ上に表示される。画像ＳＩ２２１ａは、基準画像ＳＩ１２０に対応する画像ＳＩ２２１（図３８）の一部を拡大した画像である。ユーザーは、対応点Ｐｒ６２を確認する。以下では、ユーザーは、対応点Ｐｒ６２が所望の位置と異なると考え、かつ対応点Ｐｒ６２の位置を修正したい場合を想定している。この場合、ユーザーは、操作部１２を操作することにより、対応点Ｐｒ６２を画像ＳＩ２２１ａ上で移動させる。図４０に示す例では、対応点Ｐｒ６２が移動し、かつ対応点Ｐｒ６２ａとして表示される。
【０３５４】
基準画像ＳＩ１２０上の座標と画像ＳＩ２２１上の座標とは、互いに関連付けられている。そのため、基準画像ＳＩ１２０上の座標と画像ＳＩ２２１ａ上の座標とは、互いに関連付けられている。表示制御部２２１は、基準画像ＳＩ１２０上の第１の基準点Ｐｒ６１を画像ＳＩ２２１ａ上の対応点Ｐｒ６２ａと同じ位置に修正する。図４０に示す例では、第１の基準点Ｐｒ６１が移動し、かつ第１の基準点Ｐｒ６１ａとして表示される。
【０３５５】
図４１は、第２の場合においてディスプレイ１５に表示される画像の例を示す。図３９に示す部分と同じ部分の説明を省略する。
【０３５６】
第１の基準点Ｐｒ６３が基準画像ＳＩ１２０上に表示される。対応点Ｐｒ６４が画像ＳＩ２２０ａ上に表示され、かつ対応点Ｐｒ６５が画像ＳＩ２２２ａ上に表示される。ユーザーは、対応点Ｐｒ６４および対応点Ｐｒ６５を確認する。以下では、ユーザーは、対応点Ｐｒ６４および対応点Ｐｒ６５が第１の基準点Ｐｒ６３と異なると考え、かつ対応点Ｐｒ６４および対応点Ｐｒ６５の位置を修正したい場合を想定している。この場合、ユーザーは、操作部１２を操作することにより、対応点Ｐｒ６４を画像ＳＩ２２０ａ上で移動させ、かつ対応点Ｐｒ６５を画像ＳＩ２２２ａ上で移動させる。図４０に示す例では、対応点Ｐｒ６４が移動し、かつ対応点Ｐｒ６４ａとして表示される。また、対応点Ｐｒ６５が移動し、かつ対応点Ｐｒ６５ａとして表示される。
【０３５７】
対応点の修正が完了した後、ユーザーは、操作部１２を操作することにより、メニューＭＥ４上のボタンＢＴ３１を押す。ボタンＢＴ３１は、カメラの位置および姿勢の計算を再度実行するためのボタンである。ボタンＢＴ３１が押されたとき、３Ｄモデル生成部２１１は、修正された対応点の情報に基づいて、カメラの位置および姿勢を再度算出する。３Ｄモデル生成部２１１は、算出されたカメラの位置および姿勢に基づいて３Ｄモデルを再度生成する。
【０３５８】
第５の実施形態の変形例において、計測装置１は、ディスプレイ１５の第１の領域上の画像の視野と同じ視野を持つ画像上の対応点の位置を修正する。ユーザーは、操作部１２を通して対応点の位置を修正することにより、指定点を正確に指定することができる。計測装置１は、ディスプレイ１５の第１の領域上の画像の視野と異なる視野を持つ画像上の対応点の位置を修正する。ユーザーは、操作部１２を通して対応点の位置を修正することにより、計測の誤差を小さくすることができる。
【０３５９】
（第６の実施形態）
本発明の第６の実施形態を説明する。第６の実施形態において、２つの装置が連携する。第１の装置は、ユーザーから指示を受け付けて処理を実行し、かつ処理結果をユーザーに通知する。第１の装置は、画像の表示および指定点の設定などに関する処理を実行する。第２の装置は、３Ｄモデルの生成などに関する処理を実行する。例えば、第１の装置の携帯性は優れているが、第１の装置の計算リソースは小さい。第２の装置の携帯性は優れていないが、第２の装置の計算リソースは豊富である。第６の実施形態において、２つの装置の利点が生かされる。大型の装置などを持ち運びにくい現場において、画像を使用する計測が求められる状況がある。そのような状況において、第６の実施形態は効果的である。
【０３６０】
図４２は、第６の実施形態の計測システム２の構成を示す。図４２に示す計測システム２は、計測装置１ｄおよび３Ｄモデル生成装置３を有する。
【０３６１】
図４３は、計測装置１ｄのハードウェア構成を示す。図１に示す構成と同じ構成の説明を省略する。図４３に示す計測装置１ｄは、画像入力装置１０、ハードディスク１１、操作部１２、ＣＰＵ１３ｄ、メモリ１４、ディスプレイ１５、および通信装置１６を有する。
【０３６２】
通信装置１６は、３Ｄモデル生成装置３と通信を実行する。例えば、通信装置１６はケーブルあるいは無線で３Ｄモデル生成装置３と接続される。通信装置１６と３Ｄモデル生成装置３との間の通信は、ＬＡＮまたはインターネットを経由して実行されてもよい。
【０３６３】
図４４は、ＣＰＵ１３ｄの機能構成を示す。図２に示す構成と同じ構成の説明を省略する。図４４に示すブロックの少なくとも１つがＣＰＵ１３ｄとは別の回路で構成されてもよい。
【０３６４】
図４４に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図４４に示す各部は、１つまたは複数のプロセッサを含むことができる。図４４に示す各部は、１つまたは複数の論理回路を含むことができる。
【０３６５】
図２に示す３Ｄモデル取得部２１は、３Ｄモデル取得部２１ｄに変更される。３Ｄモデル取得部２１ｄは、画像抽出部２１０および通信制御部２１２を有する。通信制御部２１２は通信装置１６を制御することにより、３Ｄモデル生成装置３と通信を実行する。通信制御部２１２は、３Ｄモデルを生成するための条件と、３Ｄモデルを生成するための少なくとも３枚の画像とを３Ｄモデル生成装置３に送信する。通信制御部２１２は、３Ｄモデルを３Ｄモデル生成装置３から受信する。
【０３６６】
図４５は、３Ｄモデル生成装置３のハードウェア構成を示す。図４５に示す３Ｄモデル生成装置３は、通信装置３０、ハードディスク３１、操作部３２、ＣＰＵ３３、メモリ３４、およびディスプレイ３５を有する。
【０３６７】
通信装置３０は、計測装置１ｄと通信を実行する。ハードディスク３１は、通信装置３０によって受信された少なくとも３枚の画像を記憶する。３Ｄモデル生成装置３は、ハードディスクの代わりにＳＳＤを有してもよい。
【０３６８】
操作部３２は、ユーザーインターフェース（入力インターフェース）である。操作部３２は、マウス３２ａおよびキーボード３２ｂを有する。
【０３６９】
ＣＰＵ３３は、被写体の３次元形状の生成（再構成）のための処理を実行する。ＣＰＵ３３の機能については、図４６を参照して後述する。
【０３７０】
メモリ３４は、揮発性または不揮発性のメモリである。メモリ３４は、通信装置１６によって受信された少なくとも３枚の画像またはＣＰＵ３３によって処理された画像を記憶する。ディスプレイ３５は、液晶ディスプレイ等のようなモニタである。
【０３７１】
図４６は、ＣＰＵ３３の機能構成を示す。図４６に示すブロックの少なくとも１つがＣＰＵ３３とは別の回路で構成されてもよい。
【０３７２】
図４６に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図４６に示す各部は、１つまたは複数のプロセッサを含むことができる。図４６に示す各部は、１つまたは複数の論理回路を含むことができる。
【０３７３】
通信制御部３３０および３Ｄモデル生成部３３１によってＣＰＵ３３の機能が構成される。通信制御部３３０は、通信装置３０を制御することにより、計測装置１ｄと通信を実行する。通信制御部３３０は、３Ｄモデルを生成するための条件と、３Ｄモデルを生成するための少なくとも３枚の画像とを計測装置１ｄから受信する。通信制御部３３０は、３Ｄモデルを計測装置１ｄに送信する。３Ｄモデル生成部３３１は、図２に示す３Ｄモデル生成部２１１と同様の機能を有する。
【０３７４】
図４７および図４８を参照し、３Ｄモデルの生成および計測のために実行される処理の手順を説明する。図４７は、計測装置１ｄのＣＰＵ１３ｄが実行する処理の手順を示す。図４８は、３Ｄモデル生成装置３のＣＰＵ３３が実行する処理の手順を示す。図３に示す処理と同じ処理の説明を省略する。
【０３７５】
ステップＳ１０７の後、計測装置１ｄの通信制御部２１２は、ステップＳ１０５において受け付けられた条件と、ステップＳ１０６において抽出された少なくとも３枚の画像とを３Ｄモデル生成装置３に送信する（ステップＳ１８１）。ステップＳ１８１の後、計測装置１ｄの通信制御部２１２は、３Ｄモデルを３Ｄモデル生成装置３から受信する（ステップＳ１８２）。受信された３Ｄモデルは、ハードディスク１１またはメモリ１４に記憶される。ステップＳ１８２の後、図４に示す処理が実行される。
【０３７６】
３Ｄモデル生成装置３の通信制御部３３０は、３Ｄモデルを生成するための条件と、少なくとも３枚の画像とを計測装置１ｄから受信する（ステップＳ２０１）。受信された情報は、ハードディスク３１またはメモリ３４に記憶される。
【０３７７】
ステップＳ２０１の後、３Ｄモデル生成部３３１は、画像抽出部２１０によって抽出された各画像が生成されたときのカメラの位置および姿勢を推定する。３Ｄモデル生成部３３１は、推定された位置および姿勢に基づいて、被写体の３Ｄモデルを生成する（ステップＳ２０２）。ステップＳ２０２は、図３に示すステップＳ１０８と同様である。
【０３７８】
ステップＳ２０２の後、通信制御部３３０は、ステップＳ２０２において生成された３Ｄモデルを計測装置１ｄに送信する（ステップＳ２０３）。ステップＳ２０３が実行されたとき、図４８に示す処理が終了する。
【０３７９】
上記の例では、複数の処理が２つの装置間で分散される。装置の数に制約はなく、かつ各装置が実行する処理に制約はない。例えば、複数の３Ｄモデル生成装置３が、時間のかかる処理を実行してもよい。
【０３８０】
第１のユーザーが計測装置１ｄの操作を担当し、かつ第２のユーザーが３Ｄモデル生成装置３の操作を担当してもよい。例えば、第２のユーザーは、３Ｄモデル生成装置３を使用して指定点を指定してもよい。３Ｄモデル生成装置３は、指定点の情報と３Ｄモデルとに基づいて計測を実行し、計測結果を計測装置１ｄに送信してもよい。
【０３８１】
第６の実施形態において、複数の装置が連携して処理を実行する。複数の装置のうち少なくとも１つは、携帯性は優れているが、計算リソースは小さいという特徴を持つ。複数の装置の少なくとも１つは、携帯性は優れていないが、計算リソースは豊富であるという特徴を持つ。計測システム２は、複数の装置の利点を生かして計測を実行することができる。
【０３８２】
以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
【符号の説明】
【０３８３】
１，１ｄ  計測装置
２  計測システム
３  ３Ｄモデル生成装置
１０  画像入力装置
１１，３１  ハードディスク
１２，３２  操作部
１２ａ，３２ａ  マウス
１２ｂ，３２ｂ  キーボード
１３，１３ａ，１３ｂ，１３ｃ，１３ｄ，３３  ＣＰＵ
１４，３４  メモリ
１５，３５  ディスプレイ
１６，３０  通信装置
２０  画像再生部
２１，２１ｄ  ３Ｄモデル取得部
２２，２２ａ，２２ｂ，２２ｃ  計測処理部
２００  画像記憶制御部
２０１  画像再生制御部
２０２  基準画像選択部
２１０  画像抽出部
２１１，３３１  ３Ｄモデル生成部
２１２，３３０  通信制御部
２２０  基準点設定部
２２１  表示制御部
２２２  基準長設定部
２２３  表示画像選択部
２２４  計測点設定部
２２５  座標変換部
２２６  計測部
２２７  領域検出部
２２８  合成部
【図１】
2020126358.tif 000005
【図２】
2020126358.tif 000006
【図３】
2020126358.tif 000007
【図４】
2020126358.tif 000008
【図５】
2020126358.tif 000009
【図６】
2020126358.tif 000010
【図７】
2020126358.tif 000011
【図８】
2020126358.tif 000012
【図９】
2020126358.tif 000013
【図１０】
2020126358.tif 000014
【図１１】
2020126358.tif 000015
【図１２】
2020126358.tif 000016
【図１３】
2020126358.tif 000017
【図１４】
2020126358.tif 000018
【図１５】
2020126358.tif 000019
【図１６】
2020126358.tif 000020
【図１７】
2020126358.tif 000021
【図１８】
2020126358.tif 000022
【図１９】
2020126358.tif 000023
【図２０】
2020126358.tif 000024
【図２１】
2020126358.tif 000025
【図２２】
2020126358.tif 000026
【図２３】
2020126358.tif 000027
【図２４】
2020126358.tif 000028
【図２５】
2020126358.tif 000029
【図２６】
2020126358.tif 000030
【図２７】
2020126358.tif 000031
【図２８】
2020126358.tif 000032
【図２９】
2020126358.tif 000033
【図３０】
2020126358.tif 000034
【図３１】
2020126358.tif 000035
【図３２】
2020126358.tif 000036
【図３３】
2020126358.tif 000037
【図３４】
2020126358.tif 000038
【図３５】
2020126358.tif 000039
【図３６】
2020126358.tif 000040
【図３７】
2020126358.tif 000041
【図３８】
2020126358.tif 000042
【図３９】
2020126358.tif 000043
【図４０】
2020126358.tif 000044
【図４１】
2020126358.tif 000045
【図４２】
2020126358.tif 000046
【図４３】
2020126358.tif 000047
【図４４】
2020126358.tif 000048
【図４５】
2020126358.tif 000049
【図４６】
2020126358.tif 000050
【図４７】
2020126358.tif 000051
【図４８】
2020126358.tif 000052