(57)【要約】【課題】精度が悪い計測結果が得られる可能性を減らすことができる計測方法、計測装置、およびプログラムを提供する。【解決手段】選択部は、被写体の複数の２次元画像に含まれる１枚の第１の画像を選択する。画像設定部は、選択された前記第１の画像に基づいて前記複数の２次元画像から抽出された１枚の第２の画像と前記第１の画像との一方を計測画像として設定する。抽出部は、少なくとも１枚の第３の画像を前記複数の２次元画像から抽出する。生成部は、各画像が生成されたときのカメラの位置および姿勢に基づいて前記被写体の３次元形状を生成する。判断部は、前記第１の画像、前記計測画像、および前記第３の画像の少なくとも１つを対象として画像が計測に適しているか否かを判断する。【選択図】図５
2020134242.tif 000002
【特許請求の範囲】
【請求項１】
被写体の複数の２次元画像に含まれる１枚の第１の画像を選択するための第１の指示が入力装置を通して受け付けられたとき、選択部が前記第１の画像を選択する選択ステップと、
選択された前記第１の画像に基づいて前記複数の２次元画像から抽出された１枚の第２の画像と前記第１の画像との一方を画像設定部が計測画像として設定する画像設定ステップと、
前記画像設定ステップが実行された後、抽出部が前記計測画像と異なる少なくとも１枚の第３の画像を前記複数の２次元画像から抽出し、前記計測画像および前記少なくとも１枚の第３の画像からなる画像群の各画像が生成されたときのカメラの視点と、前記画像群の他の画像が生成されたときの前記カメラの視点とは互いに異なる抽出ステップと、
前記抽出ステップが実行された後、前記画像群の各画像が生成されたときの前記カメラの位置および姿勢に基づいて生成部が前記被写体の３次元形状を生成する生成ステップと、
前記第１の画像、前記計測画像、および前記第３の画像の少なくとも１つを対象として画像が計測に適しているか否かを判断部が判断する判断ステップと、
表示制御部が前記計測画像をディスプレイに表示する第１の画像表示ステップと、
前記計測画像が表示された後、点設定部が前記計測画像に少なくとも２つの計測点を設定する点設定ステップと、
前記画像が計測に適していると前記判断部が前記判断ステップにおいて判断した場合のみ、計測部が前記少なくとも２つの計測点および前記３次元形状に基づいて前記被写体の大きさを計測する計測ステップと、
を有し、
前記判断ステップは、前記選択ステップの実行タイミングと前記計測ステップの実行タイミングとの間に少なくとも１回実行される
ことを特徴とする計測方法。
【請求項２】
前記判断ステップは、前記抽出ステップの実行タイミングと前記計測ステップの前記実行タイミングとの間に少なくとも１回実行されることを特徴とする請求項１に記載の計測方法。
【請求項３】
前記画像が計測に適していると前記判断部が前記判断ステップにおいて判断した場合、前記計測ステップが実行される前に前記表示制御部が前記３次元形状を示す３次元画像を前記ディスプレイに表示する第２の画像表示ステップをさらに有することを特徴とする請求項２に記載の計測方法。
【請求項４】
前記計測ステップが実行される前に前記表示制御部が第１のカーソルを前記計測画像上に表示し、かつ前記計測画像上の前記第１のカーソルの位置に対応する前記３次元画像上の位置に第２のカーソルを表示するカーソル表示ステップをさらに有することを特徴とする請求項３に記載の計測方法。
【請求項５】
前記計測ステップが実行される前に算出部が前記画像群に基づいて前記３次元形状上の各位置の信頼度を算出し、前記信頼度は、前記計測ステップが実行されたと仮定した場合に計測された前記大きさの精度を示す信頼度算出ステップと、
前記計測ステップが実行される前に前記表示制御部が前記信頼度を前記３次元画像上に表示する信頼度表示ステップと、
をさらに有することを特徴とする請求項３または請求項４に記載の計測方法。
【請求項６】
前記計測ステップが実行される前に前記表示制御部が前記３次元形状上の位置と対応しない前記計測画像上の位置を含む領域を前記計測画像上に表示する領域表示ステップをさらに有することを特徴とする請求項３から請求項５のいずれか一項に記載の計測方法。
【請求項７】
前記画像が計測に適していないと前記判断部が前記判断ステップにおいて判断した場合に、前記判断ステップの結果に基づいて、前記画像が計測に適していないと判断された理由を示す情報を出力部が出力する出力ステップをさらに有することを特徴とする請求項２に記載の計測方法。
【請求項８】
前記画像が計測に適していないと前記判断部が前記判断ステップにおいて判断した場合に、前記画像が計測に適していないことを示す情報を出力部が出力する出力ステップをさらに有し、
前記情報が出力された後、前記選択ステップまたは前記画像設定ステップが再度実行される
ことを特徴とする請求項２に記載の計測方法。
【請求項９】
前記判断ステップが実行された後、前記計測画像を手動と自動とのいずれか一方で変更することを示す変更方法情報を受付部が前記入力装置を通して受け付ける情報入力ステップをさらに有し、
前記変更方法情報が前記計測画像を自動で変更することを示している場合、前記画像設定ステップが再度実行され、
前記変更方法情報が前記計測画像を手動で変更することを示している場合、前記選択ステップが再度実行される
ことを特徴とする請求項２から請求項７のいずれか一項に記載の計測方法。
【請求項１０】
前記複数の２次元画像の各画像は、各画像が生成された時刻と関連付けられており、
前記画像設定部は、再度実行された前記画像設定ステップにおいて、前記計測画像が生成された時刻を基準とする所定期間に生成され、かつ前記計測画像と異なる１枚の画像を前記複数の２次元画像から抽出し、かつ抽出された画像を新たな前記計測画像として設定する
ことを特徴とする請求項９に記載の計測方法。
【請求項１１】
前記画像設定部は、再度実行された前記画像設定ステップにおいて、前記計測画像と前記複数の２次元画像の各画像との間の動き量を算出し、
前記画像設定部は、再度実行された前記画像設定ステップにおいて、前記動き量が所定の閾値未満であり、かつ前記計測画像と異なる１枚の画像を前記複数の２次元画像から抽出し、かつ抽出された画像を新たな前記計測画像として設定する
ことを特徴とする請求項９に記載の計測方法。
【請求項１２】
前記判断ステップが実行された後、前記計測画像を変更するための第２の指示が前記入力装置を通して受け付けられた場合、前記画像設定ステップが再度実行され、
前記複数の２次元画像の各画像は、各画像が生成された時刻と関連付けられており、
前記画像設定部は、再度実行された前記画像設定ステップにおいて、前記計測画像が生成された時刻を基準とする所定期間に生成され、かつ前記計測画像と異なる１枚の画像を前記複数の２次元画像から抽出し、かつ抽出された画像を新たな前記計測画像として設定する
ことを特徴とする請求項２から請求項７のいずれか一項に記載の計測方法。
【請求項１３】
前記判断ステップが実行された後、前記計測画像を変更するための第２の指示が前記入力装置を通して受け付けられた場合、前記画像設定ステップが再度実行され、
前記画像設定部は、再度実行された前記画像設定ステップにおいて、前記計測画像と前記複数の２次元画像の各画像との間の動き量を算出し、
前記画像設定部は、再度実行された前記画像設定ステップにおいて、前記動き量が所定の閾値未満であり、かつ前記計測画像と異なる１枚の画像を前記複数の２次元画像から抽出し、かつ抽出された画像を新たな前記計測画像として設定する
ことを特徴とする請求項２から請求項７のいずれか一項に記載の計測方法。
【請求項１４】
前記画像が計測に適していると前記判断部が前記判断ステップにおいて判断した場合、前記計測ステップが実行される前に前記計測画像上の位置を示す位置情報を受付部が前記入力装置を通して受け付ける位置入力ステップをさらに有し、
前記位置入力ステップが実行された後、前記抽出ステップが再度実行され、
前記抽出部は、前記抽出ステップにおいて、前記位置情報が示す位置を含む前記少なくとも１枚の第３の画像を前記複数の２次元画像から抽出する
ことを特徴とする請求項２から請求項６のいずれか一項に記載の計測方法。
【請求項１５】
前記抽出部は、前記抽出ステップにおいて、前記複数の２次元画像の各画像の特徴点を画像間で追跡し、
前記判断ステップは、前記抽出ステップの実行タイミングと前記生成ステップの実行タイミングとの間に実行され、
前記判断部は、前記抽出部が前記特徴点を追跡した結果に基づいて前記判断ステップを実行する
ことを特徴とする請求項２から請求項１４のいずれか一項に記載の計測方法。
【請求項１６】
前記判断ステップは、前記生成ステップの実行タイミングと前記計測ステップの前記実行タイミングとの間に実行され、
前記判断部は、前記生成部が前記３次元形状を生成した結果に基づいて前記判断ステップを実行する
ことを特徴とする請求項２から請求項１４のいずれか一項に記載の計測方法。
【請求項１７】
被写体の複数の２次元画像に含まれる１枚の第１の画像を選択するための第１の指示が入力装置を通して受け付けられたとき、前記第１の画像を選択する選択部と、
選択された前記第１の画像に基づいて前記複数の２次元画像から抽出された１枚の第２の画像と前記第１の画像との一方を計測画像として設定する画像設定部と、
前記計測画像が設定された後、前記計測画像と異なる少なくとも１枚の第３の画像を前記複数の２次元画像から抽出し、前記計測画像および前記少なくとも１枚の第３の画像からなる画像群の各画像が生成されたときのカメラの視点と、前記画像群の他の画像が生成されたときの前記カメラの視点とは互いに異なる抽出部と、
前記少なくとも１枚の第３の画像が抽出された後、前記画像群の各画像が生成されたときの前記カメラの位置および姿勢に基づいて前記被写体の３次元形状を生成する生成部と、
前記第１の画像、前記計測画像、および前記第３の画像の少なくとも１つを対象として画像が計測に適しているか否かを判断する判断部と、
前記計測画像をディスプレイに表示する表示制御部と、
前記計測画像が表示された後、前記計測画像に少なくとも２つの計測点を設定する点設定部と、
前記画像が計測に適していると前記判断部が判断した場合のみ、前記少なくとも２つの計測点および前記３次元形状に基づいて前記被写体の大きさを計測する計測部と、
を有し、
前記判断部は、前記第１の画像が選択されたタイミングと前記大きさが計測されたタイミングとの間に少なくとも１回、前記画像が計測に適しているか否かを判断する
ことを特徴とする計測装置。
【請求項１８】
被写体の複数の２次元画像に含まれる１枚の第１の画像を選択するための第１の指示が入力装置を通して受け付けられたとき、前記第１の画像を選択する選択ステップと、
選択された前記第１の画像に基づいて前記複数の２次元画像から抽出された１枚の第２の画像と前記第１の画像との一方を計測画像として設定する画像設定ステップと、
前記画像設定ステップが実行された後、前記計測画像と異なる少なくとも１枚の第３の画像を前記複数の２次元画像から抽出し、前記計測画像および前記少なくとも１枚の第３の画像からなる画像群の各画像が生成されたときのカメラの視点と、前記画像群の他の画像が生成されたときの前記カメラの視点とは互いに異なる抽出ステップと、
前記抽出ステップが実行された後、前記画像群の各画像が生成されたときの前記カメラの位置および姿勢に基づいて前記被写体の３次元形状を生成する生成ステップと、
前記第１の画像、前記計測画像、および前記第３の画像の少なくとも１つを対象として画像が計測に適しているか否かを判断する判断ステップと、
前記計測画像をディスプレイに表示する第１の画像表示ステップと、
前記計測画像が表示された後、前記計測画像に少なくとも２つの計測点を設定する点設定ステップと、
前記画像が計測に適していると前記判断ステップにおいて判断された場合のみ、前記少なくとも２つの計測点および前記３次元形状に基づいて前記被写体の大きさを計測する計測ステップと、
をコンピュータに実行させるためのプログラムであって、
前記判断ステップは、前記選択ステップの実行タイミングと前記計測ステップの実行タイミングとの間に少なくとも１回実行される
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、計測方法、計測装置、およびプログラムに関する。
【背景技術】
【０００２】
互いに異なる複数の視点で得られた複数の画像を使用して被写体の３次元形状を再構成する技術が開発されている。本明細書ではこの技術をＳｆＭ（Ｓｔｒｕｃｔｕｒｅ  ｆｒｏｍ  Ｍｏｔｉｏｎ）と呼ぶ。この技術を使用することにより、動画または複数の静止画に基づいて被写体の３次元形状を再構成し、かつ被写体の大きさを計測することが可能となる。
【０００３】
この技術を使用することにより３次元形状の再構成（３Ｄ再構成）が実行された場合、原理的に、絶対寸法を持たずに相対的なスケールを持つ３次元形状が再構成される。そのため、得られた３次元形状に既知の寸法を設定することにより、絶対寸法（長さの次元）における計測を実行することが可能となる。例えば、特許文献１および特許文献２には、ＳｆＭと絶対寸法入力とを組み合わせることにより３Ｄ再構成および計測を実行することが開示されている。
【０００４】
特許文献１には、ＳｆＭと既知のカメラの動きとを組み合わせることにより、絶対寸法における３Ｄ再構成および計測を実行する方法が開示されている。特許文献２には、ユーザーが画像上で指定した既知の被写体寸法に基づいて絶対寸法における３Ｄ再構成および計測を実行する方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３３４７３８５号公報
【特許文献２】特開２００５−１８９０５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献２では、ユーザーが動画内の任意のフレーム（画像）を選択し、かつ選択されたフレーム内の所望する位置に基準点（基準長）と計測点とを指定する。この指定が終わった後、装置は、指定された点を含む複数の点を利用することにより、複数のフレーム間で特徴点を追跡する。装置は、特徴点に対応する他のフレーム上の対応点の位置が誤っているか否かをユーザーに確認させる。対応点の位置が誤っている場合には、ユーザーによって対応点の位置が正しい位置に変更される。これにより、特許文献２では、基準長の値が反映された計測結果を得ることができる３次元計測が実現されている。
【０００７】
しかしながら、特許文献２には、ユーザーが選択したフレームの確認については開示されていない。例えば、カメラの視点の位置が変わったとき、検査画像におけるハレーション等の状態が変わる、あるいは特定の被写体では特徴点の数が大きく変化する場合がある。そのため、ＳｆＭおよび３次元計測の実施に適していないフレームがしばしば発生する。仮に、選択されたフレームが適していない場合には、３次元計測の結果の精度が悪くなりうる。
【０００８】
本発明は、精度が悪い計測結果が得られる可能性を減らすことができる計測方法、計測装置、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、被写体の複数の２次元画像に含まれる１枚の第１の画像を選択するための第１の指示が入力装置を通して受け付けられたとき、選択部が前記第１の画像を選択する選択ステップと、選択された前記第１の画像に基づいて前記複数の２次元画像から抽出された１枚の第２の画像と前記第１の画像との一方を画像設定部が計測画像として設定する画像設定ステップと、前記画像設定ステップが実行された後、抽出部が前記計測画像と異なる少なくとも１枚の第３の画像を前記複数の２次元画像から抽出し、前記計測画像および前記少なくとも１枚の第３の画像からなる画像群の各画像が生成されたときのカメラの視点と、前記画像群の他の画像が生成されたときの前記カメラの視点とは互いに異なる抽出ステップと、前記抽出ステップが実行された後、前記画像群の各画像が生成されたときの前記カメラの位置および姿勢に基づいて生成部が前記被写体の３次元形状を生成する生成ステップと、前記第１の画像、前記計測画像、および前記第３の画像の少なくとも１つを対象として画像が計測に適しているか否かを判断部が判断する判断ステップと、表示制御部が前記計測画像をディスプレイに表示する第１の画像表示ステップと、前記計測画像が表示された後、点設定部が前記計測画像に少なくとも２つの計測点を設定する点設定ステップと、前記画像が計測に適していると前記判断部が前記判断ステップにおいて判断した場合のみ、計測部が前記少なくとも２つの計測点および前記３次元形状に基づいて前記被写体の大きさを計測する計測ステップと、を有し、前記判断ステップは、前記選択ステップの実行タイミングと前記計測ステップの実行タイミングとの間に少なくとも１回実行されることを特徴とする計測方法である。
【００１０】
本発明の計測方法において、前記判断ステップは、前記抽出ステップの実行タイミングと前記計測ステップの前記実行タイミングとの間に少なくとも１回実行されることを特徴とする。
【００１１】
本発明の計測方法は、前記画像が計測に適していると前記判断部が前記判断ステップにおいて判断した場合、前記計測ステップが実行される前に前記表示制御部が前記３次元形状を示す３次元画像を前記ディスプレイに表示する第２の画像表示ステップをさらに有することを特徴とする。
【００１２】
本発明の計測方法は、前記計測ステップが実行される前に前記表示制御部が第１のカーソルを前記計測画像上に表示し、かつ前記計測画像上の前記第１のカーソルの位置に対応する前記３次元画像上の位置に第２のカーソルを表示するカーソル表示ステップをさらに有することを特徴とする。
【００１３】
本発明の計測方法は、前記計測ステップが実行される前に算出部が前記画像群に基づいて前記３次元形状上の各位置の信頼度を算出し、前記信頼度は、前記計測ステップが実行されたと仮定した場合に計測された前記大きさの精度を示す信頼度算出ステップと、前記計測ステップが実行される前に前記表示制御部が前記信頼度を前記３次元画像上に表示する信頼度表示ステップと、をさらに有することを特徴とする。
【００１４】
本発明の計測方法は、前記計測ステップが実行される前に前記表示制御部が前記３次元形状上の位置と対応しない前記計測画像上の位置を含む領域を前記計測画像上に表示する領域表示ステップをさらに有することを特徴とする。
【００１５】
本発明の計測方法は、前記画像が計測に適していないと前記判断部が前記判断ステップにおいて判断した場合に、前記判断ステップの結果に基づいて、前記画像が計測に適していないと判断された理由を示す情報を出力部が出力する出力ステップをさらに有することを特徴とする。
【００１６】
本発明の計測方法は、前記画像が計測に適していないと前記判断部が前記判断ステップにおいて判断した場合に、前記画像が計測に適していないことを示す情報を出力部が出力する出力ステップをさらに有し、前記情報が出力された後、前記選択ステップまたは前記画像設定ステップが再度実行されることを特徴とする。
【００１７】
本発明の計測方法は、前記判断ステップが実行された後、前記計測画像を手動と自動とのいずれか一方で変更することを示す変更方法情報を受付部が前記入力装置を通して受け付ける情報入力ステップをさらに有し、前記変更方法情報が前記計測画像を自動で変更することを示している場合、前記画像設定ステップが再度実行され、前記変更方法情報が前記計測画像を手動で変更することを示している場合、前記選択ステップが再度実行されることを特徴とする。
【００１８】
本発明の計測方法において、前記複数の２次元画像の各画像は、各画像が生成された時刻と関連付けられており、前記画像設定部は、再度実行された前記画像設定ステップにおいて、前記計測画像が生成された時刻を基準とする所定期間に生成され、かつ前記計測画像と異なる１枚の画像を前記複数の２次元画像から抽出し、かつ抽出された画像を新たな前記計測画像として設定することを特徴とする。
【００１９】
本発明の計測方法において、前記画像設定部は、再度実行された前記画像設定ステップにおいて、前記計測画像と前記複数の２次元画像の各画像との間の動き量を算出し、前記画像設定部は、再度実行された前記画像設定ステップにおいて、前記動き量が所定の閾値未満であり、かつ前記計測画像と異なる１枚の画像を前記複数の２次元画像から抽出し、かつ抽出された画像を新たな前記計測画像として設定することを特徴とする。
【００２０】
本発明の計測方法において、前記判断ステップが実行された後、前記計測画像を変更するための第２の指示が前記入力装置を通して受け付けられた場合、前記画像設定ステップが再度実行され、前記複数の２次元画像の各画像は、各画像が生成された時刻と関連付けられており、前記画像設定部は、再度実行された前記画像設定ステップにおいて、前記計測画像が生成された時刻を基準とする所定期間に生成され、かつ前記計測画像と異なる１枚の画像を前記複数の２次元画像から抽出し、かつ抽出された画像を新たな前記計測画像として設定することを特徴とする。
【００２１】
本発明の計測方法において、前記判断ステップが実行された後、前記計測画像を変更するための第２の指示が前記入力装置を通して受け付けられた場合、前記画像設定ステップが再度実行され、前記画像設定部は、再度実行された前記画像設定ステップにおいて、前記計測画像と前記複数の２次元画像の各画像との間の動き量を算出し、前記画像設定部は、再度実行された前記画像設定ステップにおいて、前記動き量が所定の閾値未満であり、かつ前記計測画像と異なる１枚の画像を前記複数の２次元画像から抽出し、かつ抽出された画像を新たな前記計測画像として設定することを特徴とする。
【００２２】
本発明の計測方法は、前記画像が計測に適していると前記判断部が前記判断ステップにおいて判断した場合、前記計測ステップが実行される前に前記計測画像上の位置を示す位置情報を受付部が前記入力装置を通して受け付ける位置入力ステップをさらに有し、前記位置入力ステップが実行された後、前記抽出ステップが再度実行され、前記抽出部は、前記抽出ステップにおいて、前記位置情報が示す位置を含む前記少なくとも１枚の第３の画像を前記複数の２次元画像から抽出することを特徴とする。
【００２３】
本発明の計測方法において、前記抽出部は、前記抽出ステップにおいて、前記複数の２次元画像の各画像の特徴点を画像間で追跡し、前記判断ステップは、前記抽出ステップの実行タイミングと前記生成ステップの実行タイミングとの間に実行され、前記判断部は、前記抽出部が前記特徴点を追跡した結果に基づいて前記判断ステップを実行することを特徴とする。
【００２４】
本発明の計測方法において、前記判断ステップは、前記生成ステップの実行タイミングと前記計測ステップの前記実行タイミングとの間に実行され、前記判断部は、前記生成部が前記３次元形状を生成した結果に基づいて前記判断ステップを実行することを特徴とする。
【００２５】
本発明は、被写体の複数の２次元画像に含まれる１枚の第１の画像を選択するための第１の指示が入力装置を通して受け付けられたとき、前記第１の画像を選択する選択部と、選択された前記第１の画像に基づいて前記複数の２次元画像から抽出された１枚の第２の画像と前記第１の画像との一方を計測画像として設定する画像設定部と、前記計測画像が設定された後、前記計測画像と異なる少なくとも１枚の第３の画像を前記複数の２次元画像から抽出し、前記計測画像および前記少なくとも１枚の第３の画像からなる画像群の各画像が生成されたときのカメラの視点と、前記画像群の他の画像が生成されたときの前記カメラの視点とは互いに異なる抽出部と、前記少なくとも１枚の第３の画像が抽出された後、前記画像群の各画像が生成されたときの前記カメラの位置および姿勢に基づいて前記被写体の３次元形状を生成する生成部と、前記第１の画像、前記計測画像、および前記第３の画像の少なくとも１つを対象として画像が計測に適しているか否かを判断する判断部と、前記計測画像をディスプレイに表示する表示制御部と、前記計測画像が表示された後、前記計測画像に少なくとも２つの計測点を設定する点設定部と、前記画像が計測に適していると前記判断部が判断した場合のみ、前記少なくとも２つの計測点および前記３次元形状に基づいて前記被写体の大きさを計測する計測部と、を有し、前記判断部は、前記第１の画像が選択されたタイミングと前記大きさが計測されたタイミングとの間に少なくとも１回、前記画像が計測に適しているか否かを判断することを特徴とする計測装置である。
【００２６】
本発明は、被写体の複数の２次元画像に含まれる１枚の第１の画像を選択するための第１の指示が入力装置を通して受け付けられたとき、前記第１の画像を選択する選択ステップと、選択された前記第１の画像に基づいて前記複数の２次元画像から抽出された１枚の第２の画像と前記第１の画像との一方を計測画像として設定する画像設定ステップと、前記画像設定ステップが実行された後、前記計測画像と異なる少なくとも１枚の第３の画像を前記複数の２次元画像から抽出し、前記計測画像および前記少なくとも１枚の第３の画像からなる画像群の各画像が生成されたときのカメラの視点と、前記画像群の他の画像が生成されたときの前記カメラの視点とは互いに異なる抽出ステップと、前記抽出ステップが実行された後、前記画像群の各画像が生成されたときの前記カメラの位置および姿勢に基づいて前記被写体の３次元形状を生成する生成ステップと、前記第１の画像、前記計測画像、および前記第３の画像の少なくとも１つを対象として画像が計測に適しているか否かを判断する判断ステップと、前記計測画像をディスプレイに表示する第１の画像表示ステップと、前記計測画像が表示された後、前記計測画像に少なくとも２つの計測点を設定する点設定ステップと、前記画像が計測に適していると前記判断ステップにおいて判断された場合のみ、前記少なくとも２つの計測点および前記３次元形状に基づいて前記被写体の大きさを計測する計測ステップと、をコンピュータに実行させるためのプログラムであって、前記判断ステップは、前記選択ステップの実行タイミングと前記計測ステップの実行タイミングとの間に少なくとも１回実行されることを特徴とするプログラムである。
【発明の効果】
【００２７】
本発明によれば、計測方法、計測装置、およびプログラムは、精度が悪い計測結果が得られる可能性を減らすことができる。
【図面の簡単な説明】
【００２８】
【図１】本発明の第１の実施形態による計測装置のハードウェア構成を示すブロック図である。
【図２】本発明の第１の実施形態による計測装置が有するＣＰＵの機能構成を示すブロック図である。
【図３】本発明の第１の実施形態における画像取得の状況を示す模式図である。
【図４】本発明の第１の実施形態における３次元モデルを生成するための処理の手順を示すフローチャートである。
【図５】本発明の第１の実施形態による計測装置が実行する処理の手順を示すフローチャートである。
【図６】本発明の第１の実施形態による計測装置が実行する処理の手順を示すフローチャートである。
【図７】本発明の第２の実施形態による計測装置が有するＣＰＵの機能構成を示すブロック図である。
【図８】本発明の第２の実施形態による計測装置が実行する処理の手順を示すフローチャートである。
【図９】本発明の第２の実施形態による計測装置が実行する処理の手順を示すフローチャートである。
【図１０】本発明の第２の実施形態による計測装置が実行する処理の手順を示すフローチャートである。
【図１１】本発明の第２の実施形態による計測装置が有するディスプレイに表示される画像の例を示す図である。
【図１２】本発明の第２の実施形態による計測装置が有するディスプレイに表示される画像の例を示す図である。
【図１３】本発明の第２の実施形態による計測装置が有するディスプレイに表示される画像の例を示す図である。
【図１４】本発明の第２の実施形態による計測装置が有するディスプレイに表示される画像の例を示す図である。
【図１５】本発明の第２の実施形態の変形例による計測装置が実行する処理の手順を示すフローチャートである。
【図１６】本発明の第３の実施形態による計測装置が有するＣＰＵの機能構成を示すブロック図である。
【図１７】本発明の第３の実施形態による計測装置が実行する処理の手順を示すフローチャートである。
【図１８】本発明の第３の実施形態による計測装置が実行する処理の手順を示すフローチャートである。
【図１９】本発明の第３の実施形態による計測装置が有するディスプレイに表示される画像の例を示す図である。
【図２０】本発明の第４の実施形態の計測システムの構成を示すブロック図である。
【図２１】本発明の第４の実施形態の計測装置のハードウェア構成を示すブロック図である。
【図２２】本発明の第４の実施形態による計測装置が有するＣＰＵの機能構成を示すブロック図である。
【図２３】本発明の第４の実施形態による３Ｄモデル生成装置のハードウェア構成を示すブロック図である。
【図２４】本発明の第４の実施形態による３Ｄモデル生成装置が有するＣＰＵの機能構成を示すブロック図である。
【図２５】本発明の第４の実施形態による計測装置が実行する処理の手順を示すフローチャートである。
【図２６】本発明の第４の実施形態による３Ｄモデル生成装置が実行する処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００２９】
以下、図面を参照し、本発明の実施形態を説明する。本発明の各実施形態の計測装置は、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）のような装置である。ＰＣの種類は限定されず、デスクトップ、ラップトップ、およびタブレットのいずれであってもよい。計測装置は、特定の装置またはシステムに実装された組み込み機器であってもよい。計測装置は、クラウド上の環境であっても構わない。被写体は、工業製品である。
【００３０】
（第１の実施形態）
本発明の第１の実施形態を説明する。図１は、第１の実施形態の計測装置１のハードウェア構成を示す。図１に示す計測装置１は、画像入力装置１０、ハードディスク１１、操作部１２、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１３、メモリ１４、およびディスプレイ１５を有する。
【００３１】
画像入力装置１０は、画像を外部装置から受け付ける。例えば、画像入力装置１０はケーブルあるいは無線で外部装置と接続される。例えば、外部装置は、ハードディスクまたはメモリのような記憶装置である。記憶装置に記憶された画像が画像入力装置１０に入力される。外部装置は、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）またはインターネットのようなネットワーク上の機器であってもよい。画像入力装置１０はその機器と通信を実行し、かつ画像をその機器から受信してもよい。
【００３２】
ハードディスク１１は、画像入力装置１０によって受け付けられた画像を記憶する。計測装置１は、ハードディスクの代わりにＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）を有してもよい。
【００３３】
操作部１２は、ユーザーインターフェース（入力インターフェース）である。操作部１２は、マウス１２ａおよびキーボード１２ｂを有する。ユーザーは、マウス１２ａおよびキーボード１２ｂを操作することにより、計測点および基準点等の情報を入力する。操作部１２は、ボタン、スイッチ、キー、ジョイスティック、タッチパッド、トラックボール、およびタッチパネルの少なくとも１つを含んでもよい。
【００３４】
ＣＰＵ１３は、被写体の３次元形状の生成（再構成）および計測のための処理を実行する。ＣＰＵ１３の機能については、図２を参照して後述する。
【００３５】
メモリ１４は、揮発性または不揮発性のメモリである。例えば、メモリ１４は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、およびフラッシュメモリの少なくとも１つである。メモリ１４は、画像入力装置１０によって受け付けられた画像またはＣＰＵ１３によって処理された画像を記憶する。
【００３６】
ディスプレイ１５は、液晶ディスプレイ等のようなモニタである。ディスプレイ１５は、タッチパネルディスプレイであってもよい。その場合、操作部１２およびディスプレイ１５は一体化される。
【００３７】
図２は、ＣＰＵ１３の機能構成を示す。画像再生部２０、３Ｄモデル取得部２１、画像判断部２２、および計測処理部２３によってＣＰＵ１３の機能が構成される。
【００３８】
画像再生部２０は、画像記憶制御部２００、画像再生制御部２０１、および基準画像選択部２０２を有する。
【００３９】
画像記憶制御部２００は、画像入力装置１０によって受け付けられた時系列画像をハードディスク１１またはメモリ１４に記憶する。時系列画像は、カメラによって生成された少なくとも２枚の画像を含む。時系列画像に含まれる各画像は、被写体の２次元画像である。時系列画像に含まれる各画像は、時系列画像に含まれる他の画像と時系列順に関連付けられている。例えば、時系列画像は動画である。時系列画像は、タイムスタンプが付加された連続静止画群であってもよい。動画または静止画の拡張子は限定されない。
【００４０】
画像再生制御部２０１は、時系列画像を再生し、かつ時系列画像をディスプレイ１５に表示する。画像再生制御部２０１は、早送り、一時停止、および巻き戻し等の基本的な画像再生機能を含む。
【００４１】
基準画像選択部２０２は、被写体の３次元形状を示す３Ｄモデルの生成に使用される画像を抽出するための基準となる基準画像を選択する。計測点または基準点を指定したい画像が表示されたとき、ユーザーは、操作部１２を操作することにより、画像選択指示を入力する。基準画像選択部２０２は、画像選択指示を操作部１２から受け付ける。画像選択指示が受け付けられたとき、基準画像選択部２０２は、ディスプレイ１５に表示されている画像を基準画像として選択する。
【００４２】
３Ｄモデル取得部２１は、計測画像設定部２１０、画像抽出部２１１、および３Ｄモデル生成部２１２を有する。
【００４３】
計測画像設定部２１０は、基準画像選択部２０２によって選択された基準画像を計測画像として設定する。あるいは、計測画像設定部２１０は、基準画像に基づいて時系列画像から抽出された１枚の画像を計測画像として設定する。例えば、基準画像が生成されたときのカメラの視点と、計測画像が生成されたときのカメラの視点とは互いに異なる。２つの視点の間の距離が小さければ、基準画像と異なる計測画像が設定されてもよい。つまり、基準画像の視野と計測画像の視野との違いは小さい。基準画像と計測画像との間の各画素の動き量が小さくてもよい。基準画像が生成された時刻と計測画像が生成された時刻との差が小さくてもよい。
【００４４】
画像抽出部２１１は、計測画像設定部２１０によって設定された計測画像に基づいて、少なくとも１枚の画像を時系列画像から抽出する。画像抽出部２１１によって抽出された少なくとも１枚の画像と計測画像とは、画像群を構成する。
【００４５】
３Ｄモデル生成部２１２は、画像群の各画像が生成されたときのカメラの位置および姿勢を推定する。３Ｄモデル生成部２１２は、推定された位置および姿勢に基づいて、被写体の３Ｄモデルを生成する。３Ｄモデル（３次元座標群）は、被写体の３次元座標のデータを含む。３Ｄモデルは、ユーザーによって指定された少なくとも２つの点のみの３次元座標のデータを含んでもよい。例えば、後述する基準点および計測点が画像に設定された後、３Ｄモデル生成部２１２は、各点が設定された画像に基づいて、各点のみの３次元座標のデータを含む３Ｄモデルを生成してもよい。
【００４６】
画像判断部２２は、基準画像判断部２２０、計測画像判断部２２１、抽出画像判断部２２２、およびモデル画像判断部２２３を有する。
【００４７】
基準画像判断部２２０は、基準画像選択部２０２によって選択された基準画像が計測に適しているか否かを判断する。例えば、基準画像判断部２２０は、基準画像の明るさ、基準画像のテクスチャ、または基準画像のブレ状態等に基づいて、基準画像が計測に適しているか否かを判断することができる。
【００４８】
計測画像判断部２２１は、計測画像設定部２１０によって設定された計測画像が計測に適しているか否かを判断する。例えば、計測画像判断部２２１が実行する処理は、基準画像判断部２２０が実行する処理と同様である。
【００４９】
抽出画像判断部２２２は、画像抽出部２１１によって抽出された少なくとも１枚の画像が計測に適しているか否かを判断する。例えば、抽出画像判断部２２２は、画像抽出部２１１が実行した処理において得られた結果に基づいて、画像が計測に適しているか否かを判断する。
【００５０】
モデル画像判断部２２３は、３Ｄモデルの生成に使用された画像群が計測に適しているか否かを判断する。例えば、モデル画像判断部２２３は、３Ｄモデル生成部２１２が実行した処理において得られた結果に基づいて、画像群が計測に適しているか否かを判断する。
【００５１】
基準画像判断部２２０、計測画像判断部２２１、抽出画像判断部２２２、およびモデル画像判断部２２３の各々が実行する処理の詳細については、後述する。以下では、基準画像判断部２２０、計測画像判断部２２１、抽出画像判断部２２２、およびモデル画像判断部２２３を区別する必要がない場合、画像判断部２２を説明に使用する。
【００５２】
画像判断部２２は、計測に適していない画像が使用され、かつ精度が悪い計測結果が得られる可能性を減らすために、計測への画像の適性を判断する。画像において精度が悪い計測結果が得られる領域が多い場合、画像が計測に適していないとみなすことができる。画像において精度が悪い計測結果が得られる領域が少ない場合、画像が計測に適しているとみなすことができる。
【００５３】
画像判断部２２は、画像が計測に適しているとみなすことができる判断基準を画像が満たすか否かを判断する。画像が判断基準を満たさない場合、画像判断部２２は、画像が計測に適していないと判断する。画像が判断基準を満たす場合、画像判断部２２は、画像が計測に適していると判断する。
【００５４】
計測処理部２３は、基準点設定部２３０、画像表示部２３１、基準長設定部２３２、座標変換部２３３、計測点設定部２３４、および計測部２３５を有する。
【００５５】
ユーザーは、操作部１２を操作することにより、基準寸法の位置を示す基準点の位置情報（座標）を入力する。基準点設定部２３０は、基準点の位置情報を操作部１２から受け付ける。基準点の位置情報が受け付けられたとき、基準点設定部２３０は、ディスプレイ１５に表示されている画像に基準点を設定する。位置情報が示す画像上の位置に基準点が設定される。基準点の位置情報は、ハードディスク１１またはメモリ１４に記憶される。基準点が特定の画像に関連付けられることにより、基準点が設定される。
【００５６】
ユーザーは、操作部１２を操作することにより、基準寸法を示す基準長を入力する。基準長設定部２３２は、基準長を操作部１２から受け付ける。基準長は、３Ｄモデルを実際の被写体のスケールと合わせるために使用される。基準長が受け付けられたとき、基準長設定部２３２は、ディスプレイ１５に表示されている画像に基準長を設定する。基準長は、ハードディスク１１またはメモリ１４に記憶される。基準長が特定の画像に関連付けられることにより、基準長が設定される。
【００５７】
以下では、ユーザーからの指示に基づいて基準点および基準長が設定される場合を想定している。基準点および基準長が自動で設定されてもよい。例えば、ユーザーが予め指定した基準点および基準長の情報がハードディスク１１またはメモリ１４に記憶される。その情報は、過去に計測が実行されたときに設定された基準点および基準長を示してもよい。その情報に基づいて基準点および基準長が設定される。
【００５８】
ユーザーは、操作部１２を操作することにより、計測位置を示す計測点の位置情報（座標）を入力する。計測点設定部２３４は、計測点の位置情報を操作部１２から受け付ける。計測点の位置情報が受け付けられたとき、計測点設定部２３４は、ディスプレイ１５に表示されている画像に計測点を設定する。位置情報が示す画像上の位置に計測点が設定される。計測点の位置情報は、ハードディスク１１またはメモリ１４に記憶される。計測点が特定の画像に関連付けられることにより、計測点が設定される。計測を実行するためには、少なくとも２つの計測点が必要である。
【００５９】
計測点または基準点の指定は、ユーザーが計測点または基準点を計測装置１に指示することを意味する。ユーザーは、画像上の位置を指定することにより計測点または基準点を指定する。計測点の設定は、計測点設定部２３４が計測点を画像に関連付けることを意味する。基準点の設定は、基準点設定部２３０が基準点を画像に関連付けることを意味する。
【００６０】
以下では、計測点および基準点の任意の一方を指すために、画像に設定された点を指定点と記載する場合がある。指定点は、計測点および基準点を含む表現である。説明の分かりやすさを重要視するために、指定点ではなく計測点または基準点を使用する場合もある。
【００６１】
本明細書では、便宜上、「点」という言葉を使っているが、指定点は画面上の１ピクセルに対応する１点である必要はない。指定点は、任意の大きさの領域を含んでもよい。指定点は、サブピクセル単位で指定できる領域を含んでもよい。
【００６２】
画像表示部２３１は、計測画像設定部２１０によって設定された計測画像をディスプレイ１５に表示する。計測が実行された後、画像表示部２３１は、計測結果を計測画像上に表示する。
【００６３】
座標変換部２３３は、基準点および基準長を使用することにより座標変換を実行する。具体的には、座標変換部２３３は、３Ｄモデル生成部２１２によって生成された３Ｄモデルを、長さの次元を持つ３Ｄモデルへ変換する。座標変換が実行される前、３Ｄモデルは長さの次元を持たず、３Ｄモデル上の長さは確定していない。その３Ｄモデルは、実際の被写体の大きさと相似関係のみを持つ。
【００６４】
計測部２３５は、少なくとも２つの計測点および３Ｄモデルに基づいて各計測点に対応する３次元座標を算出する。計測部２３５は、各計測点に対応する３次元座標に基づいて被写体の３次元での寸法を計測する。３Ｄモデルの生成に使用された画像上の位置とその３Ｄモデル上の位置とは、互いに関連付けられている。画像上で計測点が指定された後、計測部２３５は、その計測点に対応する３次元座標を取得することができる。同様に、画像上で基準点が指定された後、座標変換部２３３は、その基準点に対応する３次元座標を取得することができる。
【００６５】
図２に示すＣＰＵ１３内のブロックの少なくとも１つがＣＰＵ１３とは別の回路で構成されてもよい。ＣＰＵ１３内の各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。例えば、プロセッサは、ＣＰＵ、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、およびＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）の少なくとも１つである。例えば、論理回路は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）およびＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）の少なくとも１つである。ＣＰＵ１３内の各部は、１つまたは複数のプロセッサを含むことができる。ＣＰＵ１３内の各部は、１つまたは複数の論理回路を含むことができる。
【００６６】
ＣＰＵ１３が、プログラムを読み込み、かつ読み込まれたプログラムを実行してもよい。そのプログラムは、ＣＰＵ１３の動作を規定する命令を含む。つまり、ＣＰＵ１３の機能はソフトウェアにより実現されてもよい。そのプログラムは、例えばフラッシュメモリのような「コンピュータ読み取り可能な記録媒体」により提供されてもよい。そのプログラムは、そのプログラムを保持するコンピュータから、伝送媒体を経由して、あるいは伝送媒体中の伝送波により計測装置１に伝送されてもよい。プログラムを伝送する「伝送媒体」は、情報を伝送する機能を有する媒体である。情報を伝送する機能を有する媒体は、インターネット等のネットワーク（通信網）および電話回線等の通信回線（通信線）を含む。上述したプログラムは、前述した機能の一部を実現してもよい。さらに、上述したプログラムは、差分ファイル（差分プログラム）であってもよい。コンピュータに既に記録されているプログラムと差分プログラムとの組合せが、前述した機能を実現してもよい。
【００６７】
３Ｄモデル生成部２１２が３Ｄモデルを生成するために実行する具体的な処理の手順について説明する。３Ｄモデル生成部２１２は、画像抽出部２１１によって抽出された少なくとも１枚の画像と、計測画像設定部２１０によって設定された計測画像と、３Ｄモデルを生成するための条件とを使用する。
【００６８】
具体的には、３Ｄモデルを生成するための条件は、カメラの内部パラメーター、カメラの歪み補正パラメーター、および設定値等を含む。設定値は、３Ｄモデルを生成するための各種処理に使用される。これらの条件の全てをユーザーが指定する必要はない。ＣＰＵ１３がこれらの条件の少なくとも１つを自動的に設定してもよい。
【００６９】
以下では、３Ｄモデル生成部２１２が、２枚の画像を使用する例について説明する。２枚の画像を撮影したとき、カメラの２つの視点は互いに異なる。３枚以上の画像が使用される場合でも、基本原理は、２枚の画像が使用される場合と変わらない。以下で説明される方法は、３枚以上の画像が使用される場合にも適用できる。
【００７０】
図３は、被写体の２枚の画像が取得される場合の画像取得の状況を模式的に示す。図３に示すように、最初にカメラの撮像状態ｃ１において画像Ｉ１が取得される。次に、カメラの撮像状態ｃ２において画像Ｉ２が取得される。撮像状態ｃ１と撮像状態ｃ２とでは、撮像位置および撮像姿勢の少なくとも１つが異なる。図３において、撮像状態ｃ１と撮像状態ｃ２とでは、撮像位置および撮像姿勢の両方が異なる。
【００７１】
本発明の各実施形態では、画像Ｉ１および画像Ｉ２は同じカメラで取得されることを想定している。また、本発明の各実施形態では、カメラの対物光学系のパラメーターが変化しないことを想定している。対物光学系のパラメーターは、焦点距離、歪曲収差、およびイメージセンサのピクセルサイズ等である。以下では、対物光学系のパラメーターを便宜上、内部パラメーターと略す。このような条件を仮定したとき、カメラの光学系の特性が記述された内部パラメーターは、カメラの位置および姿勢に関わらず共通に使用できる。本発明の各実施形態では、内部パラメーターは工場出荷時に取得されていることを想定している。また、本発明の各実施形態では、画像の取得時には内部パラメーターは既知であることを想定している。
【００７２】
本発明の各実施形態では、２枚以上の画像が１つのカメラによって取得されることを想定している。しかし、本発明はこれに限らない。例えば、複数のカメラによって取得された複数の画像を使用して３Ｄモデルを復元する場合においても、本発明を適用できる。この場合、画像Ｉ１および画像Ｉ２は、互いに異なるカメラを使用して取得され、カメラ毎に別々の内部パラメーターが保持されてさえいればよい。仮に内部パラメーターが未知であっても、内部パラメーターを変数として計算を行うことはできる。そのため、内部パラメーターが既知であるか否かにより以後の手順が大きく変わることはない。
【００７３】
図４を参照し、取得された２枚の画像に基づいて被写体の３次元座標を計算するための手順について説明する。図４は、３Ｄモデルの生成のための処理の手順を示す。
【００７４】
まず、３Ｄモデル生成部２１２は、特徴点検出処理を実行する（ステップＳＡ）。３Ｄモデル生成部２１２は、特徴点検出処理において、取得された２枚の画像の各々の特徴点を検出する。特徴点とは、画像に写っている被写体情報のうち、画像輝度勾配の大きいコーナーおよびエッジ等を指す。この特徴点を検出する方法として、ＳＩＦＴ（Ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）およびＦＡＳＴ（Ｆｅａｔｕｒｅｓ  ｆｒｏｍ  Ａｃｃｅｌｅｒａｔｅｄ  Ｓｅｇｍｅｎｔ  Ｔｅｓｔ）等が使用される。このような方法を用いることにより画像内の特徴点を検出することができる。
【００７５】
図３は、画像Ｉ１から特徴点ｍ１が検出され、かつ画像Ｉ２から特徴点ｍ２が検出された例を示す。図３では各画像の１つの特徴点のみが表示されているが、実際には各画像において複数の特徴点が検出される。各画像で検出される特徴点の数は異なる可能性がある。各画像から検出された各特徴点は特徴量というデータに変換される。特徴量は、特徴点の特徴を表すデータである。
【００７６】
ステップＳＡの後、３Ｄモデル生成部２１２は、特徴点対応付け処理を実行する（ステップＳＢ）。３Ｄモデル生成部２１２は、特徴点対応付け処理において、特徴点検出処理（ステップＳＡ）により検出された各特徴点に対して、画像間で特徴量の相関を比較する。特徴量の相関が比較され、各画像において特徴量が近い特徴点が見つかった場合、３Ｄモデル生成部２１２は、その情報をハードディスク１１またはメモリ１４に保持する。これにより、３Ｄモデル生成部２１２は、各画像の特徴点を互いに対応付ける。一方、特徴量が近い特徴点が見つからなかった場合には、３Ｄモデル生成部２１２は、その特徴点の情報を破棄する。
【００７７】
ステップＳＢの後、３Ｄモデル生成部２１２は、互いに対応付けられた２枚の画像の特徴点（特徴点ペア）の座標をハードディスク１１またはメモリ１４から読み出す。３Ｄモデル生成部２１２は、読み出された座標に基づいて、位置および姿勢の算出処理を実行する（ステップＳＣ）。３Ｄモデル生成部２１２は、位置および姿勢の算出処理において、画像Ｉ１を取得したカメラの撮像状態ｃ１と画像Ｉ２を取得したカメラの撮像状態ｃ２との間の相対的な位置および姿勢を算出する。より具体的には、３Ｄモデル生成部２１２は、エピポーラ制約を利用した以下の方程式（１）を解くことにより、行列Ｅを算出する。
【００７８】
【数１】
2020134242.tif 000003
【００７９】
行列Ｅは基本行列と呼ばれる。基本行列Ｅは、画像Ｉ１を取得したカメラの撮像状態ｃ１と画像Ｉ２を取得したカメラの撮像状態ｃ２との間の相対的な位置および姿勢を保持する行列である。方程式（１）において、行列ｐ１は、画像Ｉ１から検出された特徴点の座標を含む行列である。行列ｐ２は、画像Ｉ２から検出された特徴点の座標を含む行列である。基本行列Ｅは、カメラの相対的な位置および姿勢に関する情報を含んでいるため、カメラの外部パラメーターに相当する。基本行列Ｅは、公知のアルゴリズムを使用して解くことができる。
【００８０】
図３に示すように、カメラの位置変化量がｔであり、かつカメラの姿勢変化量がＲである場合、式（２）および式（３）が成り立つ。
【００８１】
【数２】
2020134242.tif 000004
【００８２】
式（２）において、ｘ軸方向の移動量はｔｘと表され、ｙ軸方向の移動量はｔｙと表され、かつｚ軸方向の移動量はｔｚと表される。式（３）において、ｘ軸周りの回転量αはＲｘ（α）と表され、ｙ軸周りの回転量βはＲｙ（β）と表され、かつｚ軸周りの回転量γはＲｚ（γ）と表される。基本行列Ｅが算出された後、３次元座標の復元精度を高めるためにバンドル調整という最適化処理が実行されてもよい。
【００８３】
ステップＳＣの後、３Ｄモデル生成部２１２は、ステップＳＣにおいて算出されたカメラの相対的な位置および姿勢（位置変化量ｔおよび姿勢変化量Ｒ）に基づいて、被写体の３次元形状の復元処理を実行する（ステップＳＤ）。３Ｄモデル生成部２１２は、３次元形状の復元処理において、被写体の３Ｄモデルを生成する。被写体の３次元形状を復元する手法としては、ＰＭＶＳ（Ｐａｔｃｈ−ｂａｓｅｄ  Ｍｕｌｔｉ−ｖｉｅｗ  Ｓｔｅｒｅｏ）、および平行化ステレオによるマッチング処理等が挙げられる。しかし、特に手段を限定する訳ではない。ステップＳＤが実行されたとき、図４に示す処理が終了する。
【００８４】
図５を参照し、計測のために実行される処理の手順を説明する。図５は、ＣＰＵ１３が実行する処理の手順を示す。
【００８５】
画像記憶制御部２００は、画像入力装置１０を制御し、複数の画像を含む時系列画像を受け付ける。画像記憶制御部２００は時系列画像をハードディスク１１またはメモリ１４に記憶する。画像再生制御部２０１は、時系列画像をハードディスク１１またはメモリ１４から読み出し、かつ時系列画像に含まれる各画像をディスプレイ１５に順に表示する（ステップＳ１）。
【００８６】
画像が表示された後、ユーザーは、基本的な画像再生機能を使用することにより、時系列画像に含まれる各画像を確認する。ユーザーは、計測対象が被写体上にあるか否かを確認する。計測対象が被写体上にあることをユーザーが確認した場合、ユーザーは、操作部１２を操作することにより、画像選択指示を入力する。基準画像選択部２０２は、画像選択指示を操作部１２から受け付け、かつディスプレイ１５に表示されている画像を基準画像として選択する（ステップＳ２）。
【００８７】
ステップＳ２の後、基準画像判断部２２０は、ステップＳ２において選択された基準画像が計測に適しているか否かを判断する（ステップＳ３）。
【００８８】
基準画像判断部２２０がステップＳ３において実行する処理の詳細を説明する。例えば、基準画像判断部２２０は、画像の輝度値に基づいてハレーション領域を検出し、かつそのハレーション領域が画像全体に対して占める割合を算出する。その割合が所定の閾値よりも大きい場合、基準画像判断部２２０は、基準画像が計測に適していないと判断する。その割合が所定の閾値以下である場合、基準画像判断部２２０は、基準画像が計測に適していると判断する。画像全体の輝度値が所定の閾値よりも小さい場合には、基準画像判断部２２０は、画像の明るさが十分ではないと判断し、かつ基準画像が計測に適していないと判断してもよい。画像全体の輝度値が所定の閾値以上である場合には、基準画像判断部２２０は、基準画像が計測に適していると判断してもよい。例えば、画像全体の輝度値は画像における全ての画素の輝度値の平均である。
【００８９】
基準画像判断部２２０は、例えば微分フィルタを使用することにより画像内のエッジを検出し、かつエッジ検出の結果をスコア化してもよい。これにより、基準画像判断部２２０は、画像内の特徴量を分析する、あるいはブレ等の発生状況を分析することができる。特徴量が少ない、またはブレの量が多い場合、基準画像判断部２２０は、基準画像が計測に適していないと判断する。特徴量が多い、またはブレの量が少ない場合、基準画像判断部２２０は、基準画像が計測に適していると判断する。
【００９０】
ステップＳ３において基準画像が計測に適していないと基準画像判断部２２０が判断した場合、ステップＳ２が実行される。この場合、ユーザーは、画像再生機能を使用することにより、時系列画像に含まれる各画像を確認する。ユーザーは、画像選択指示を再度入力する。
【００９１】
ステップＳ３において基準画像が計測に適していると基準画像判断部２２０が判断した場合、計測実行指示が受け付けられる（ステップＳ４）。例えば、計測実行指示を入力するためのボタン等が画像上に表示される。ユーザーが操作部１２を操作することによりそのボタンを押したとき、計測実行指示が受け付けられる。ステップＳ４は必須ではない。ステップＳ３において基準画像が計測に適していると基準画像判断部２２０が判断した場合、ステップＳ４が実行されずにステップＳ５が実行されてもよい。
【００９２】
ステップＳ４の後、計測画像設定部２１０は、ステップＳ２において選択された基準画像を計測画像として設定する。あるいは、計測画像設定部２１０は、基準画像に基づいて時系列画像から抽出された１枚の画像を計測画像として設定する（ステップＳ５）。
【００９３】
計測画像設定部２１０がステップＳ５において基準画像と異なる計測画像を設定する方法を説明する。例えば、計測画像設定部２１０は、基準画像が生成された時刻を基準とする所定期間に生成された１枚の画像を時系列画像から抽出する。具体的には、計測画像設定部２１０は、基準画像が持つ時刻よりも後の所定期間内の時刻を持つ画像を時系列画像から抽出する。あるいは、計測画像設定部２１０は、基準画像が持つ時刻よりも前の所定期間内の時刻を持つ画像を時系列画像から抽出する。計測画像設定部２１０は、抽出された画像を計測画像として設定する。基準画像が生成された時刻と、計測画像が生成された時刻との差は、所定時間以内である。
【００９４】
計測画像設定部２１０は、計測画像と、時系列画像に含まれる各画像との間の動き量を算出してもよい。その動き量が所定の閾値未満である場合、計測画像設定部２１０は、その動き量の算出に使用された画像を計測画像として設定してもよい。
【００９５】
計測画像として設定された画像は、ハードディスク１１またはメモリ１４に記憶される。例えば、計測画像であることを示すフラグが画像に付加される。計測画像を使用する処理が実行されるとき、そのフラグが付加された画像がハードディスク１１またはメモリ１４から読み出され、かつ計測画像として使用される。
【００９６】
ステップＳ５の後、計測画像判断部２２１は、ステップＳ５において設定された計測画像が計測に適しているか否かを判断する（ステップＳ６）。ステップＳ６は、処理対象が計測画像である点を除いて、ステップＳ３と同様である。基準画像と計測画像とが同一である場合、ステップＳ６は実行されずにステップＳ７が実行される。
【００９７】
ステップＳ６において計測画像が計測に適していないと計測画像判断部２２１が判断した場合、ステップＳ２が実行される。この場合、ユーザーは、画像再生機能を使用することにより、時系列画像に含まれる各画像を確認する。ユーザーは、画像選択指示を再度入力する。
【００９８】
ステップＳ６において計測画像が計測に適していると計測画像判断部２２１が判断した場合、画像抽出部２１１は、計測画像と異なる少なくとも１枚の画像を時系列画像から抽出する。画像抽出部２１１は、抽出された少なくとも１枚の画像をハードディスク１１またはメモリ１４に記憶する（ステップＳ７）。
【００９９】
画像抽出部２１１がステップＳ７において実行する処理の詳細を説明する。例えば、画像抽出部２１１は、計測画像内の少なくとも１つの特徴点を検出する。画像抽出部２１１は、特徴点に対応する点を時系列画像の他の画像において検出する。画像抽出部２１１は、計測画像内の特徴点と、他の画像において検出された点とを対応付ける。画像抽出部２１１は、対応付けの結果に基づいて特徴点の動き量を画像毎に算出する。画像抽出部２１１は、所定値以上の動き量が算出された画像を抽出する。
【０１００】
計測画像以外に複数枚の画像が必要な場合、画像抽出部２１１は、上記の方法で抽出された画像内の特徴点と他の画像内の点とを上記の方法と同様の方法で対応付ける。画像抽出部２１１は、特徴点の動き量を画像毎に算出し、かつ所定値以上の動き量が算出された画像を抽出する。画像抽出部２１１は、新たに抽出された画像の特徴点に基づいて他の画像を抽出する。画像抽出部２１１は、この処理を繰り返すことにより、必要な枚数の画像を抽出する。
【０１０１】
ステップＳ７の後、抽出画像判断部２２２は、ステップＳ７において抽出された少なくとも１枚の画像（抽出画像）が計測に適しているか否かを判断する（ステップＳ８）。
【０１０２】
抽出画像判断部２２２がステップＳ８において実行する処理の詳細を説明する。画像抽出部２１１は、ステップＳ７において画像ペア毎に特徴点を対応付ける。画像ペアは、特徴点が対応付けられた２枚の画像からなる。抽出画像判断部２２２は、この処理の結果を利用する。１枚の画像がステップＳ７において抽出された場合、抽出画像判断部２２２は、計測画像と、抽出画像との間の特徴点の対応付けの結果に基づいて判断を実行する。少なくとも２枚の画像がステップＳ７において抽出された場合、１つの画像ペアは計測画像と１枚の抽出画像とを含み、残りの画像ペアの各々は２枚の抽出画像を含む。
【０１０３】
例えば、抽出画像判断部２２２は、２枚の画像間で対応付けられた特徴点の数を算出する。あるいは、抽出画像判断部２２２は、その特徴点の座標を取得する。特徴点の数が所定値よりも小さい場合、あるいは特徴点の座標の分布が画像内の一部の領域に偏っている場合、３Ｄモデルの生成精度が低下する可能性がある。そのため、抽出画像判断部２２２は、抽出画像が計測に適していないと判断することができる。特徴点の数が所定値以上である場合、あるいは特徴点の座標の分布が画像内の一部の領域に偏っていない場合、抽出画像判断部２２２は、抽出画像が計測に適していると判断することができる。
【０１０４】
抽出画像判断部２２２は、特徴点の座標の分布が一部の領域に偏っているか否かを以下の方法で判断することができる。例えば、抽出画像判断部２２２は、画像を縦方向に２等分かつ横方向に２等分することにより、画像を４等分する。４つの領域の少なくとも１つにおいて、特徴点の数が他の領域内の特徴点の数の１／１０以下である場合、抽出画像判断部２２２は、特徴点の座標の分布が偏っていると判断することができる。
【０１０５】
少なくとも２枚の画像がステップＳ７において抽出された場合、抽出画像判断部２２２は、各画像ペアの特徴点の対応付けの結果に基づいて判断を実行する。少なくとも１つの画像ペアが計測に適していない場合に抽出画像判断部２２２は、抽出画像が計測に適していないと判断してもよい。全ての画像ペアが計測に適している場合に抽出画像判断部２２２は、抽出画像が計測に適していると判断してもよい。あるいは、計測に適している画像ペアが全くない場合に抽出画像判断部２２２は、抽出画像が計測に適していないと判断してもよい。少なくとも１つの画像ペアが計測に適している場合に抽出画像判断部２２２は、抽出画像が計測に適していると判断してもよい。
【０１０６】
少なくとも２枚の画像がステップＳ７において抽出された場合、抽出画像判断部２２２は、一部の画像を含む画像ペアのみを使用して上記の処理を実行してもよい。例えば、抽出画像判断部２２２は、ステップＳ７において抽出された少なくとも２枚の画像から代表的な少なくとも１枚の画像を選択する。抽出画像判断部２２２は、選択された各画像を含む画像ペアを使用して上記の処理を実行する。
【０１０７】
ステップＳ８において抽出画像が計測に適していないと抽出画像判断部２２２が判断した場合、ステップＳ２が実行される。この場合、ユーザーは、画像再生機能を使用することにより、時系列画像に含まれる各画像を確認する。ユーザーは、画像選択指示を再度入力する。
【０１０８】
ステップＳ８において抽出画像が計測に適していると抽出画像判断部２２２が判断した場合、３Ｄモデル生成部２１２は、画像群の各画像が生成されたときのカメラの位置および姿勢を推定する。画像群は、ステップＳ５において設定された計測画像と、ステップＳ７において抽出された少なくとも１枚の画像とを含む。３Ｄモデル生成部２１２は、推定された位置および姿勢に基づいて、被写体の３Ｄモデルを生成する（ステップＳ９）。生成された３Ｄモデルは、ハードディスク１１またはメモリ１４に記憶される。ステップＳ９は、図４に示す処理を含む。
【０１０９】
ステップＳ９の後、モデル画像判断部２２３は、３Ｄモデルの生成に使用された画像群が計測に適しているか否かを判断する（ステップＳ１０）。
【０１１０】
モデル画像判断部２２３がステップＳ１０において実行する処理の詳細を説明する。例えば、モデル画像判断部２２３は、３Ｄモデル上の点を２次元画像に再投影したときの２次元画像上の座標と理想的な直線（エピポーラライン）との差（再投影誤差）を算出する。再投影誤差は、カメラの位置および姿勢の推定精度を示す。モデル画像判断部２２３は、複数の点の再投影誤差の平均を画像群の画像毎に算出する。その平均が所定値よりも大きい場合、モデル画像判断部２２３は、その平均の算出に使用された画像が計測に適していないと判断する。その平均が所定値以下である場合、モデル画像判断部２２３は、その平均の算出に使用された画像が計測に適していると判断する。
【０１１１】
モデル画像判断部２２３は、ステップＳＤにおけるマッチング処理の結果を使用してもよい。例えば、モデル画像判断部２２３は、マッチング処理において得られる各画素の相関値を使用してもよい。複数画素の相関値の平均が所定値よりも小さい場合、モデル画像判断部２２３は、その平均の算出に使用された画像が計測に適していないと判断する。その平均が所定値以上である場合、モデル画像判断部２２３は、その平均の算出に使用された画像が計測に適していると判断する。
【０１１２】
画像群に含まれる少なくとも１枚の画像が計測に適していない場合にモデル画像判断部２２３は、画像群が計測に適していないと判断してもよい。画像群に含まれる全ての画像が計測に適している場合にモデル画像判断部２２３は、画像群が計測に適していると判断してもよい。あるいは、計測に適している画像が画像群に全くない場合にモデル画像判断部２２３は、画像群が計測に適していないと判断してもよい。画像群に含まれる少なくとも１枚の画像が計測に適している場合にモデル画像判断部２２３は、その画像が計測に適していると判断してもよい。
【０１１３】
モデル画像判断部２２３は、３Ｄモデルの生成に使用された少なくとも２枚の画像の一部のみを使用して上記の処理を実行してもよい。例えば、モデル画像判断部２２３は、３Ｄモデルの生成に使用された少なくとも２枚の画像から代表的な少なくとも１枚の画像を選択する。モデル画像判断部２２３は、選択された画像を使用して上記の処理を実行する。
【０１１４】
ステップＳ１０において画像群が計測に適していないとモデル画像判断部２２３が判断した場合、ステップＳ２が実行される。この場合、ユーザーは、画像再生機能を使用することにより、時系列画像に含まれる各画像を確認する。ユーザーは、画像選択指示を再度入力する。
【０１１５】
ステップＳ１０において画像群が計測に適しているとモデル画像判断部２２３が判断した場合、画像表示部２３１は、ステップＳ５において設定された計測画像をディスプレイ１５に表示する（ステップＳ１１）。
【０１１６】
ステップＳ１１の後、寸法計測処理が実行される（ステップＳ１２）。寸法計測処理が実行されたとき、図５に示す処理が終了する。
【０１１７】
図６を参照し、ステップＳ１２における寸法計測処理の手順を説明する。図６は、ＣＰＵ１３が実行する処理の手順を示す。
【０１１８】
以下では、便宜上、計測を実行するために必要な最小の数の指定点がユーザーによって指定される場合を想定している。最小の数は４つである。指定点の数が４つを超える場合であっても、４点が指定される場合と計測方法は基本的には同じである。そのため、４つを超える指定点が指定される場合の説明を省略する。
【０１１９】
以下では、２つの基準点が指定され、かつ２つの基準点間の基準長が指定される。以下では、２つの計測点が指定される。
【０１２０】
計測画像がディスプレイ１５に表示された後、ユーザーは、基準点、基準長、および計測点を指定する。以下では、ユーザーが２つの基準点、基準長、および２つの計測点をこの順番で指定する例を説明する。この順番に制約はなく、順番が入れ替わってもよい。
【０１２１】
ユーザーは、操作部１２を操作することにより、ディスプレイ１５に表示された計測画像上の２つの基準点を指定する。基準点設定部２３０は、ユーザーによって指定された２つの基準点を操作部１２から受け付ける。基準点設定部２３０は、ユーザーによって指定された２つの基準点を計測画像に設定する（ステップＳ２１）。ディスプレイ１５がタッチパネルである場合、ユーザーは、ディスプレイ１５における各基準点の位置をタッチすることにより、各基準点を指定することができる。
【０１２２】
２つの基準点が指定された後、ユーザーは、操作部１２を操作することにより、２つの基準点間の距離を示す基準長を指定する。ユーザーは、自身が既に把握している長さを数値として指定する。基準長設定部２３２は、ユーザーによって指定された基準長を操作部１２から受け付ける。基準長設定部２３２は、ユーザーによって指定された基準長を計測画像に設定する（ステップＳ２２）。
【０１２３】
ステップＳ２２の後、座標変換部２３３は、ステップＳ９において生成された３Ｄモデルを、長さの次元を持つ３Ｄモデルに変換する（ステップＳ２３）。このとき、座標変換部２３３は、ステップＳ２１において設定された２つの基準点と、ステップＳ２２において設定された基準長とを使用する。
【０１２４】
基準長の入力は必須ではない。例えば、２つの基準点間の距離が“１”または“１００％”と規格化された場合、相対的な寸法の計測は可能である。例えば、基準長が２ｍｍに設定された場合には、長さの次元を有する絶対的な寸法の計測が可能である。
【０１２５】
基準長が指定された後、ユーザーは、操作部１２を操作することにより、ディスプレイ１５に表示された画像上の２つの計測点を指定する。計測点設定部２３４は、ユーザーによって指定された２つの計測点を操作部１２から受け付ける。計測点設定部２３４は、ユーザーによって指定された２つの計測点を、ディスプレイ１５に表示された画像に設定する（ステップＳ２４）。ディスプレイ１５がタッチパネルである場合、ユーザーは、ディスプレイ１５における各計測点の位置をタッチすることにより、各計測点を指定することができる。
【０１２６】
ステップＳ２４の後、計測部２３５は、２つの計測点の各々に対応する３Ｄモデル上の点を検出する。計測部２３５は、検出された各点の３次元座標に基づいて、ユーザーによって指定された２つの計測点で規定される寸法を計測する（ステップＳ２５）。
【０１２７】
ステップＳ２５の後、画像表示部２３１は、ステップＳ２５において計測された寸法を計測結果としてディスプレイ１５に表示する（ステップＳ２６）。例えば、計測結果は、ディスプレイ１５に表示された画像に重畳される。ステップＳ２６が実行されたとき、寸法計測処理が終了する。
【０１２８】
寸法計測処理において実行される処理は、図６に示す処理に限らない。例えば、寸法計測処理は、計測モードを選択する処理を含んでもよい。複数の計測モードが用意されてもよい。複数の計測モードは、上記のように２点間の距離を計測するモードを含んでもよい。複数の計測モードは、１つの点と基準直線との間の距離を計測するモードを含んでもよい。複数の計測モードは、１つの点と基準面との間の距離を計測するモードを含んでもよい。複数の計測モードは、これらのモードと異なるモードを含んでもよい。計測に必要な計測点の数は計測モードに応じて異なる。
【０１２９】
図５に示す処理は、４つの判断処理（ステップＳ３、ステップＳ６、ステップＳ８、およびステップＳ１０）を含む。４つの判断処理の全てが実行される必要はない。例えば、ステップＳ３およびステップＳ６が省略され、かつステップＳ８およびステップＳ１０のみが実行されてもよい。あるいは、ステップＳ８およびステップＳ１０が省略され、かつステップＳ３およびステップＳ６のみが実行されてもよい。４つの判断処理のうちの１つのみが実行されてもよい。
【０１３０】
４つの判断処理のうちの１つにおいて画像が計測に適していないと判断された場合、ステップＳ５が実行されてもよい。この場合、計測画像設定部２１０は、ステップＳ５が前回実行されたときに設定された計測画像と異なる画像を計測画像として設定する。
【０１３１】
ＣＰＵ１３が実行する処理の順番は、図５に示す順番に限らない。例えば、ステップＳ１１は、ステップＳ５とステップＳ１２との間のどのタイミングで実行されてもよい。ステップＳ１０は、ステップＳ９とステップＳ２５との間のどのタイミングで実行されてもよい。
【０１３２】
本発明の各態様の計測方法は、選択ステップ、画像設定ステップ、抽出ステップ、生成ステップ、判断ステップ、第１の画像表示ステップ、点設定ステップ、および計測ステップを有する。被写体の複数の２次元画像に含まれる１枚の第１の画像（基準画像）を選択するための第１の指示が操作部１２（入力装置）を通して受け付けられたとき、基準画像選択部２０２は、選択ステップ（ステップＳ２）において、第１の画像を選択する。計測画像設定部２１０は、画像設定ステップ（ステップＳ５）において、１枚の第２の画像と第１の画像との一方を計測画像として設定する。第２の画像は、第１の画像に基づいて複数の２次元画像から抽出される。画像設定ステップが実行された後、画像抽出部２１１は、抽出ステップ（ステップＳ７）において、計測画像と異なる少なくとも１枚の第３の画像を複数の２次元画像から抽出する。画像群の各画像が生成されたときのカメラの視点と、画像群の他の画像が生成されたときのカメラの視点とは互いに異なる。画像群は、計測画像および少なくとも１枚の第３の画像からなる。
【０１３３】
抽出ステップが実行された後、３Ｄモデル生成部２１２は、生成ステップ（ステップＳ９）において、画像群の各画像が生成されたときのカメラの位置および姿勢に基づいて被写体の３次元形状（３Ｄモデル）を生成する。画像判断部２２は、判断ステップ（ステップＳ３、ステップＳ６、ステップＳ８、およびステップＳ１０）において、第１の画像、計測画像、および第３の画像の少なくとも１つを対象として画像が計測に適しているか否かを判断する。画像表示部２３１（表示制御部）は、第１の画像表示ステップ（ステップＳ１１）において、計測画像をディスプレイ１５に表示する。計測画像が表示された後、計測点設定部２３４は、点設定ステップ（ステップＳ２４）において、計測画像に少なくとも２つの計測点を設定する。画像が計測に適していると画像判断部２２が判断ステップにおいて判断した場合のみ、計測部２３５は、計測ステップ（ステップＳ２５）において、少なくとも２つの計測点および３次元形状に基づいて被写体の大きさを計測する。判断ステップは、選択ステップの実行タイミングと計測ステップの実行タイミングとの間に少なくとも１回実行される。
【０１３４】
画像群は、３Ｄモデルの生成に使用される。図３に示す原理に従って３Ｄモデルが生成されるためには、各画像の視野の少なくとも一部と、それ以外の少なくとも１枚の画像の各々の視野の少なくとも一部とが共通である必要がある。計測画像の視野（第１の視野）および１枚の第３の画像の視野（第２の視野）は、共通領域を含む。第１の視野において共通領域以外の領域と、第２の視野において共通領域以外の領域とは、互いに異なる。
【０１３５】
判断ステップは、第１から第４のタイミングの少なくとも１つに実行される。第１のタイミングは、選択ステップの実行タイミングと画像設定ステップの実行タイミングとの間にある。第２のタイミングは、画像設定ステップの実行タイミングと抽出ステップの実行タイミングとの間にある。第３のタイミングは、抽出ステップの実行タイミングと生成ステップの実行タイミングとの間にある。第４のタイミングは、生成ステップの実行タイミングと計測ステップの実行タイミングとの間にある。
【０１３６】
画像が計測に適していないと画像判断部２２が判断ステップにおいて判断した場合、選択ステップまたは画像設定ステップが再度実行される。選択ステップが再度実行された後、画像設定ステップが再度実行される。画像設定ステップが再度実行された後、抽出ステップ、生成ステップ、判断ステップ、第１の画像表示ステップ、点設定ステップ、および計測ステップを含むシーケンスの少なくとも一部が再度実行される。
【０１３７】
選択ステップが再度実行されたとき、前回の選択ステップにおいて選択された第１の画像と異なる第１の画像が選択されることが期待される。そのため、画像設定ステップが再度実行されたとき、前回の画像設定ステップにおいて設定された計測画像と異なる画像が計測画像として設定される可能性がある。画像が計測に適していないと判断され、かつ画像設定ステップが再度実行される場合も、前回の画像設定ステップにおいて設定された計測画像と異なる画像が計測画像として設定される可能性がある。そのため、判断ステップが再度実行されたとき、画像が計測に適していると判断される可能性が高まる。
【０１３８】
判断ステップは、抽出ステップの実行タイミングと計測ステップの実行タイミングとの間に少なくとも１回実行されてもよい。この場合、判断ステップは、選択ステップの実行タイミングと抽出ステップの実行タイミングとの間に実行されてもよいし、選択ステップの実行タイミングと抽出ステップの実行タイミングとの間に実行されなくてもよい。
【０１３９】
画像抽出部２１１は、抽出ステップにおいて、複数の２次元画像の各画像の特徴点を画像間で追跡してもよい。判断ステップは、抽出ステップの実行タイミングと生成ステップの実行タイミングとの間に実行されてもよい。画像判断部２２は、画像抽出部２１１が特徴点を追跡した結果に基づいて判断ステップを実行してもよい。
【０１４０】
判断ステップは、生成ステップの実行タイミングと計測ステップの実行タイミングとの間に実行されてもよい。画像判断部２２は、３Ｄモデル生成部２１２が３次元形状を生成した結果に基づいて判断ステップ（ステップＳ１０）を実行してもよい。
【０１４１】
第１の実施形態において、計測ステップが実行される前に画像判断部２２は計測への画像の適性を判断する。画像が計測に適していると画像判断部２２が判断した場合のみ、計測部２３５は計測を実行する。計測に適していない画像が計測のための処理に使用されにくいため、計測装置１は、精度が悪い計測結果が得られる可能性を減らすことができる。上記の判断が実行されない場合と比較して、計測装置１は、信頼性が高い計測結果を得ることができる。
【０１４２】
ステップＳ３またはステップＳ６において画像が計測に適していないと判断された場合、計測装置１は無駄な処理の実行を回避することができる。ステップＳ８またはステップＳ１０において判断結果を得るための処理時間は、ステップＳ３またはステップＳ６において判断結果を得るための処理時間よりも長い。しかしながら、ステップＳ８またはステップＳ１０において判断が実行される場合、以下の効果が得られる。ステップＳ８またはステップＳ１０において、３Ｄモデルの生成に使用される複数の画像の処理結果に基づいて判断が実行される。そのため、１枚の画像に基づいて判断が実行される場合と比較して、判断の精度が高い。
【０１４３】
（第２の実施形態）
本発明の第２の実施形態において、図２に示すＣＰＵ１３は、図７に示すＣＰＵ１３ａに変更される。図７は、ＣＰＵ１３ａの機能構成を示す。図２に示す構成と同じ構成の説明を省略する。図７に示すブロックの少なくとも１つがＣＰＵ１３ａとは別の回路で構成されてもよい。
【０１４４】
図７に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図７に示す各部は、１つまたは複数のプロセッサを含むことができる。図７に示す各部は、１つまたは複数の論理回路を含むことができる。
【０１４５】
画像再生部２０、３Ｄモデル取得部２１、画像判断部２２、計測処理部２３、およびＯＫ処理部２４によってＣＰＵ１３ａの機能が構成される。ＯＫ処理部２４は、３Ｄモデル表示部２４０、信頼度算出部２４１、信頼度表示部２４２、カーソル表示部２４３、領域表示部２４４、および受付部２４５を有する。
【０１４６】
３Ｄモデル表示部２４０は、３Ｄモデル生成部２１２によって生成された３Ｄモデルの画像（３Ｄ画像）をディスプレイ１５に表示する。信頼度算出部２４１は、３Ｄモデルの生成に使用された画像群に基づいて３Ｄモデル上の各位置の信頼度を算出する。信頼度は、寸法計測処理が実行されたと仮定した場合に計測された被写体の大きさの精度を示す。つまり、信頼度は計測結果の精度の予想値を示す。寸法計測処理が実行される前に信頼度算出部２４１は信頼度を算出する。信頼度算出部２４１が実行する処理の詳細については、後述する。信頼度表示部２４２は、信頼度算出部２４１によって算出された信頼度を３Ｄ画像上に表示する。
【０１４７】
カーソル表示部２４３は、第１のカーソルを計測画像上に表示する。計測画像上の位置と３Ｄモデル上の位置とは、互いに関連付けられている。カーソル表示部２４３は、計測画像上の位置とその３Ｄモデル上の位置との関係に基づいて、第１のカーソルの位置に対応する３Ｄモデル上の位置を算出する。カーソル表示部２４３は、第１のカーソルの位置に対応する３Ｄ画像上の位置に第２のカーソルを表示する。
【０１４８】
３Ｄモデルは、計測画像の全ての画素に対応する３次元座標を持つとは限らない。３Ｄモデル生成部２１２が３Ｄモデルを生成できない画素が計測画像上にある場合、その画素に対応する部分は３Ｄモデルにおいて欠落する。その部分は３次元座標を持たない。ユーザーによって指定された計測点に対応する３Ｄモデル上の位置が３次元座標を持たない場合、計測部２３５は計測を実行できない。領域表示部２４４は、３次元形状上の位置と対応しない計測画像上の位置を含む領域を計測不可能領域として計測画像上に表示する。受付部２４５は、ユーザーが操作部１２を通して入力する情報を受け付ける。
【０１４９】
ＯＫ処理部２４は、３Ｄモデル表示部２４０のみを有してもよい。ＯＫ処理部２４は、３Ｄモデル表示部２４０を有し、かつ信頼度算出部２４１および信頼度表示部２４２のみを有してもよい。ＯＫ処理部２４は、３Ｄモデル表示部２４０を有し、かつカーソル表示部２４３のみを有してもよい。ＯＫ処理部２４は、３Ｄモデル表示部２４０を有し、かつ領域表示部２４４のみを有してもよい。
【０１５０】
図５に示す処理は、図８に示す処理に変更される。図８を参照し、計測のために実行される処理の手順を説明する。図８は、ＣＰＵ１３ａが実行する処理の手順を示す。図５に示す処理と同じ処理の説明を省略する。
【０１５１】
ステップＳ１１の後、ＯＫ処理が実行される（ステップＳ３１）。ＯＫ処理が実行されたとき、図８に示す処理が終了する。
【０１５２】
図９を参照し、ステップＳ３１におけるＯＫ処理の手順を説明する。図９は、ＣＰＵ１３ａが実行する処理の手順を示す。
【０１５３】
ＯＫ処理が開始されたとき、計測アシスト処理が実行される（ステップＳ４１）。計測画像上の全ての画素に対して３次元形状を復元することは非常に困難である。３次元形状を復元できていない領域が存在する場合がある。あるいは、３次元形状を復元できているが信頼性は低い領域が存在する場合がある。計測アシスト処理において、その領域の情報がユーザーに提示される。
【０１５４】
図１０を参照し、ステップＳ４１における計測アシスト処理の手順を説明する。図１０は、ＣＰＵ１３ａが実行する処理の手順を示す。
【０１５５】
３Ｄモデル表示部２４０は、３Ｄ画像をディスプレイ１５に表示する（ステップＳ５１）。
【０１５６】
図１１は、ステップＳ５１においてディスプレイ１５に表示される画像の例を示す。計測画像Ｇ１０がステップＳ１１においてディスプレイ１５の画面上に表示される。３Ｄ画像Ｇ２０がステップＳ５１においてディスプレイ１５の画面上に表示される。計測画像Ｇ１０および３Ｄ画像Ｇ２０は横方向に並べられる。計測画像Ｇ１０および３Ｄ画像Ｇ２０が縦方向に並べられてもよい。図１１に示す例では、計測画像Ｇ１０および３Ｄ画像Ｇ２０は重ならない。計測画像Ｇ１０の一部と３Ｄ画像Ｇ２０の一部とが互いに重なってもよい。
【０１５７】
３Ｄ画像の領域Ｒ１０において、３次元形状は復元されていない。そのため、領域Ｒ１０における３次元座標のデータは存在しない。領域Ｒ１０において計測は実行できない。ユーザーは、計測画像Ｇ１０上のどの領域において３次元形状が復元できなかったのかを確認することができる。
【０１５８】
ステップＳ５１の後、信頼度算出部２４１は、３Ｄモデルの生成に使用された画像群に基づいて３Ｄモデル上の各位置の信頼度を算出する（ステップＳ５２）。
【０１５９】
信頼度算出部２４１がステップＳ５２において実行する処理の詳細を説明する。例えば、信頼度算出部２４１は、ステップＳＤにおけるマッチング処理の結果に基づいて信頼度を算出する。各画素の相関値がマッチング処理において得られる。相関値が小さい場合、信頼度は低い。相関値が大きい場合、信頼度は高い。
【０１６０】
信頼度算出部２４１は、画像群の明るさ、画像群のテクスチャ、または画像群のブレ状態等に基づいて信頼度を算出してもよい。例えば、ハレーション領域に含まれる画素の信頼度は低い。ハレーション領域に含まれない画素の信頼度は高い。あるいは、特徴量が少ない領域に含まれる画素の信頼度は低い。特徴量が多い領域に含まれる画素の信頼度は高い。あるいは、ブレの影響を大きく受ける画素の信頼度は低い。カメラと被写体との間の距離が小さい場合、画素はブレの影響を大きく受ける。ブレの影響をあまり受けない画素の信頼度は高い。カメラと被写体との間の距離が大きい場合、画素はブレの影響をあまり受けない。
【０１６１】
ステップＳ５２の後、信頼度表示部２４２は、ステップＳ５１において算出された信頼度を３Ｄ画像上に表示する（ステップＳ５３）。
【０１６２】
図１２は、ステップＳ５３においてディスプレイ１５に表示される画像の例を示す。図１１に示す部分と同じ部分の説明を省略する。領域Ｒ２０、領域Ｒ２１、および領域Ｒ２２が３Ｄ画像Ｇ２０上に表示される。領域Ｒ２０は、信頼度が低い領域である。領域Ｒ２１および領域Ｒ２２は、信頼度が中間の範囲に入る領域である。これらの領域以外の３Ｄ画像Ｇ２０上の領域の信頼度は高い。例えば、各領域は、信頼度に対応する色で表示される。信頼度を示す値が各領域上に表示されてもよい。信頼度をユーザーが認識できる限り、信頼度を表示する方法は上記の方法に限らない。ユーザーは、計測を予定している位置の信頼度を把握することができる。ユーザーは、信頼度が低い位置における計測の実行を避けることができる。
【０１６３】
ステップＳ５３の後、カーソル表示部２４３は、第１のカーソルを計測画像上に表示する。カーソル表示部２４３は、第１のカーソルの位置に対応する３Ｄ画像上の位置に第２のカーソルを表示する（ステップＳ５４）。
【０１６４】
図１３は、ステップＳ５４においてディスプレイ１５に表示される画像の例を示す。図１２に示す部分と同じ部分の説明を省略する。第１のカーソルＣ１０が計測画像Ｇ１０上に表示され、かつ第２のカーソルＣ１１が３Ｄ画像Ｇ２０上に表示される。第１のカーソルＣ１０は、最初に計測画像Ｇ１０上の所定位置に表示されてもよい。
【０１６５】
ユーザーは、操作部１２を操作することにより、第１のカーソルＣ１０を移動させることができる。ユーザーは、第１のカーソルＣ１０の位置情報を操作部１２に入力する。受付部２４５は、その位置情報を操作部１２から受け付ける。カーソル表示部２４３は、その位置情報が示す計測画像Ｇ１０上の位置を検出する。カーソル表示部２４３は、検出された位置に第１のカーソルＣ１０を表示する。カーソル表示部２４３は、計測画像Ｇ１０上の位置と３Ｄ画像Ｇ２０上の位置との関係に基づいて、第１のカーソルＣ１０の位置に対応する３Ｄ画像Ｇ２０上の位置を算出する。カーソル表示部２４３は、算出された位置に第２のカーソルＣ１１を表示する。第１のカーソルＣ１０の位置および第２のカーソルＣ１１の位置は定期的に更新される。ディスプレイ１５がタッチパネルである場合、ユーザーは計測画像Ｇ１０上の位置をタッチすることによりカーソルの位置情報を操作部１２に入力することができる。
【０１６６】
第１のカーソルＣ１０および第２のカーソルＣ１１が表示されるため、ユーザーは、計測画像Ｇ１０と３Ｄ画像Ｇ２０との位置の関係を把握することができる。ユーザーは、３次元形状を復元できていない計測画像Ｇ１０上の位置および信頼度が低い計測画像Ｇ１０上の位置を把握することができる。
【０１６７】
ステップＳ５４の後、領域表示部２４４は、計測不可能領域を計測画像上に表示する（ステップＳ５５）。ステップＳ５５が実行されたとき、図６に示す計測アシスト処理が終了する。
【０１６８】
図１４は、ステップＳ５５においてディスプレイ１５に表示される画像の例を示す。図１３に示す部分と同じ部分の説明を省略する。領域Ｒ３０が計測画像Ｇ１０上に表示される。領域Ｒ３０は、計測部２３５が計測を実行できない領域である。領域Ｒ３０において３次元形状が復元されていないため、領域Ｒ３０内の各位置は３次元形状上の位置と対応しない。例えば、領域Ｒ３０は、計測の実行が不可能であることを示す色で表示される。計測の実行が不可能であることをユーザーが認識できる限り、計測不可能領域を表示する方法は上記の方法に限らない。ユーザーは、計測を実行できない計測画像Ｇ１０上の位置を把握することができ、かつその位置における計測の実行を避けることができる。
【０１６９】
図９を再度参照する。ステップＳ４１の後、ユーザーは、計測を予定している位置において計測の実行が可能であるか否かを判断する。ユーザーは、操作部１２を操作することにより、判断結果を入力する。受付部２４５は、その判断結果を操作部１２から受け付ける（ステップＳ４２）。
【０１７０】
ステップＳ４２において計測の実行が可能であることを示す判断結果を受付部２４５が受け付けた場合、寸法計測処理（ステップＳ１２）が実行される。寸法計測処理が実行されたとき、図９に示すＯＫ処理が終了する。
【０１７１】
ステップＳ４２において計測の実行が不可能であることを示す判断結果が受け付けられた場合、計測画像を変更する必要がある。ユーザーは、操作部１２を操作することにより、計測画像の変更方法を示す情報を入力する。計測画像の変更方法は、手動変更と自動変更とのいずれか一方である。受付部２４５は、その情報を操作部１２から受け付ける（ステップＳ４３）。
【０１７２】
ステップＳ４３において手動変更を示す情報を受付部２４５が受け付けた場合、ステップＳ２が実行される。この場合、ユーザーは、画像再生機能を使用することにより、時系列画像に含まれる各画像を確認する。ユーザーは、画像選択指示を再度入力する。基準画像が手動で変更され、変更された基準画像に基づいてステップＳ５において計測画像が設定される。
【０１７３】
ステップＳ４３において自動変更を示す情報を受付部２４５が受け付けた場合、計測画像設定部２１０は、ステップＳ５が前回実行されたときに設定された計測画像と異なる１枚の画像を時系列画像から抽出する。計測画像設定部２１０は、抽出された画像を計測画像として設定する（ステップＳ４４）。
【０１７４】
計測画像設定部２１０がステップＳ４４において計測画像を設定する方法を説明する。例えば、計測画像設定部２１０は、前回設定された計測画像が生成された時刻を基準とする所定期間に生成された１枚の画像を時系列画像から抽出する。具体的には、計測画像設定部２１０は、計測画像が持つ時刻よりも後の所定期間内の時刻を持つ画像を時系列画像から抽出する。あるいは、計測画像設定部２１０は、計測画像が持つ時刻よりも前の所定期間内の時刻を持つ画像を時系列画像から抽出する。計測画像設定部２１０は、抽出された画像を新たな計測画像として設定する。古い計測画像が生成された時刻と、新たな計測画像が生成された時刻との差は、所定時間以内である。
【０１７５】
計測画像設定部２１０は、前回設定された計測画像と、時系列画像に含まれる各画像との間の動き量を算出してもよい。その動き量が所定の閾値未満である場合、計測画像設定部２１０は、その動き量の算出に使用された画像を新たな計測画像として設定してもよい。
【０１７６】
新たな計測画像の候補が抽出された後、計測画像設定部２１０は、その計測画像内に大きなハレーション領域がないこと、およびその計測画像に大きなブレが発生していないことを確認してもよい。新たな計測画像内に大きなハレーション領域がある場合、または新たな計測画像に大きなブレが発生している場合、計測画像設定部２１０は、新たな計測画像を抽出し直してもよい。
【０１７７】
ステップＳ４４の後、画像表示部２３１は、ステップＳ４４において設定された計測画像をディスプレイ１５に表示する（ステップＳ４５）。
【０１７８】
ステップＳ４５の後、ユーザーは、計測を予定している位置が計測画像内に含まれているか否かを判断する。ユーザーは、操作部１２を操作することにより、判断結果を入力する。受付部２４５は、その判断結果を操作部１２から受け付ける（ステップＳ４６）。
【０１７９】
ステップＳ４６において計測を予定している位置が計測画像内に含まれていることを示す判断結果を受付部２４５が受け付けた場合、ステップＳ６が実行される。ステップＳ４６において計測を予定している位置が計測画像内に含まれていないことを示す判断結果が受け付けられた場合、計測画像を変更する必要がある。そのため、ステップＳ４３が実行される。
【０１８０】
上記のように、ステップＳ４１の後、ユーザーは、計測の実行が可能であるか否かを判断する。計測の実行が可能である場合、ユーザーは、操作部１２を操作することにより、基準点または計測点等を指定してもよい。ステップＳ４２において基準点または計測点等がユーザーによって指定された場合に、受付部２４５は、計測の実行が可能であることを示す判断結果を受け付けてもよい。この場合、ステップＳ１２が実行される。計測の実行が不可能である場合のみ、ユーザーは、ボタンの押下等を実行することにより判断結果を入力してもよい。
【０１８１】
ステップＳ４１における計測アシスト処理が実行されなくてもよい。つまり、ステップＳ１１が実行された後、計測アシスト処理が実行されずにステップＳ４２が実行されてもよい。計測アシスト処理が実行されない場合、ユーザーは、計測画像の状態を確認し、計測を予定している位置において計測の実行が可能であるか否かを判断する。
【０１８２】
計測アシスト処理が実行される場合、ステップＳ５２からステップＳ５５は必須ではない。ステップＳ５３、ステップＳ５４、およびステップＳ５５のうちの１つのみ、または２つのみが実行されてもよい。ステップＳ５３が実行されない場合、ステップＳ５２は必須ではない。
【０１８３】
ステップＳ４３は必須ではない。計測画像の変更方法は予め設定されてもよい。手動変更が予め設定されている場合、ステップＳ４３が実行されずにステップＳ２が実行されてもよい。自動変更が予め設定されている場合、ステップＳ４３が実行されずにステップＳ４４が実行されてもよい。
【０１８４】
ステップＳ４５およびステップＳ４６は必須ではない。ステップＳ４４の後、ステップＳ４５およびステップＳ４６が実行されずにステップＳ６が実行されてもよい。
【０１８５】
本発明の各態様の計測方法は、第２の画像表示ステップを有してもよい。画像が計測に適していると画像判断部２２が判断ステップ（ステップＳ３、ステップＳ６、ステップＳ８、およびステップＳ１０）において判断した場合、計測ステップ（ステップＳ２５）が実行される前に３Ｄモデル表示部２４０（表示制御部）は、第２の画像表示ステップ（ステップＳ５１）において、被写体の３次元形状を示す３次元画像（３Ｄ画像）をディスプレイ１５に表示する。
【０１８６】
本発明の各態様の計測方法は、カーソル表示ステップを有してもよい。計測ステップが実行される前にカーソル表示部２４３（表示制御部）は、カーソル表示ステップ（ステップＳ５４）において、第１のカーソルを計測画像上に表示し、かつ計測画像上の第１のカーソルの位置に対応する３次元画像上の位置に第２のカーソルを表示する。
【０１８７】
本発明の各態様の計測方法は、算出ステップおよび信頼度表示ステップを有してもよい。計測ステップが実行される前に信頼度算出部２４１は、信頼度算出ステップ（ステップＳ５２）において、３次元形状の生成に使用された画像群に基づいて３次元形状上の各位置の信頼度を算出する。信頼度は、計測ステップが実行されたと仮定した場合に計測された被写体の大きさの精度を示す。計測ステップが実行される前に信頼度表示部２４２（表示制御部）は、信頼度表示ステップ（ステップＳ５３）において、信頼度を３次元画像上に表示する。
【０１８８】
本発明の各態様の計測方法は、領域表示ステップを有してもよい。計測ステップが実行される前に領域表示部２４４（表示制御部）は、領域表示ステップ（ステップＳ５５）において、３次元形状上の位置と対応しない計測画像上の位置を含む領域を計測画像上に表示する。
【０１８９】
本発明の各態様の計測方法は、情報入力ステップを有してもよい。判断ステップが実行された後、受付部２４５は、情報入力ステップ（ステップＳ４３）において、操作部１２（入力装置）を通して変更方法情報を受け付ける。変更方法情報は、計測画像を手動と自動とのいずれか一方で変更することを示す。変更方法情報が計測画像を自動で変更することを示している場合、画像設定ステップ（ステップＳ４４）が再度実行される。変更方法情報が計測画像を手動で変更することを示している場合、選択ステップ（ステップＳ２）が再度実行される。
【０１９０】
選択ステップが再度実行された後、画像設定ステップが再度実行される。画像設定ステップが再度実行された後、抽出ステップ（ステップＳ７）、生成ステップ（ステップＳ９）、判断ステップ、第１の画像表示ステップ（ステップＳ１１）、点設定ステップ（ステップＳ２４）、および計測ステップ（ステップＳ２５）を含むシーケンスの少なくとも一部が再度実行される。
【０１９１】
複数の２次元画像の各画像は、各画像が生成された時刻と関連付けられている。計測画像設定部２１０は、再度実行された画像設定ステップ（ステップＳ４４）において、計測画像が生成された時刻を基準とする所定期間に生成され、かつ計測画像と異なる１枚の画像を複数の２次元画像から抽出してもよい。計測画像設定部２１０は、再度実行された画像設定ステップにおいて、抽出された画像を新たな計測画像として設定してもよい。
【０１９２】
計測画像設定部２１０は、再度実行された画像設定ステップ（ステップＳ４４）において、計測画像と複数の２次元画像の各画像との間の動き量を算出してもよい。計測画像設定部２１０は、再度実行された画像設定ステップにおいて、動き量が所定の閾値未満であり、かつ計測画像と異なる１枚の画像を複数の２次元画像から抽出してもよい。計測画像設定部２１０は、再度実行された画像設定ステップにおいて、抽出された画像を新たな計測画像として設定してもよい。
【０１９３】
判断ステップが実行された後、計測画像を変更するための第２の指示が操作部１２（入力装置）を通して受け付けられた場合、画像設定ステップ（ステップＳ４４）が再度実行されてもよい。
【０１９４】
第２の実施形態において、画像が計測に適していると判断された場合、寸法計測処理が実行される前に計測アシスト処理が実行される。計測アシスト処理が実行されたとき、３Ｄ画像が表示される。そのため、ユーザーは、３次元形状が復元できなかった計測画像上の領域を確認することができる。仮に、ユーザーが所望する位置において計測を実行できない場合であっても、計測装置１は、計測画像を変更するための処理を早い段階で開始することができる。ユーザーが計測画像上で実際に計測点を指定し、かつ計測が不可能であることに気付く場合と比較して、無駄な時間の発生を抑制することができる。
【０１９５】
計測アシスト処理において計測結果の信頼度が表示されるため、ユーザーは、信頼度が低い位置における計測の実行を避けることができる。ユーザーは、計測を予定している位置の信頼度に基づいて、計測画像を変更するか否かを判断することができる。
【０１９６】
計測画像および３Ｄ画像の各々の上にカーソルが表示されるため、ユーザーは、３次元形状を復元できていない計測画像上の位置および信頼度が低い計測画像上の位置を把握することができる。計測が不可能な領域が計測画像上に表示されるため、ユーザーは、計測が不可能な位置における計測の実行を避けることができる。
【０１９７】
計測画像の変更方法として手動変更と自動変更とが用意されている。自動変更が実行された場合、ユーザーが計測画像を変更するための手間を軽減することができる。自動変更が所定回数実行され、かつユーザーが所望する計測画像が設定されなかった場合、ユーザーは自動変更ではなく手動変更を選択することができる。ユーザーは、１枚の計測画像を変更する度に自動変更または手動変更を選択することができる。そのため、ユーザーの操作性が向上する。
【０１９８】
（第２の実施形態の変形例）
本発明の第２の実施形態の変形例において、図９に示す処理は、図１５に示す処理に変更される。図１５を参照し、ステップＳ３１におけるＯＫ処理の手順を説明する。図１５は、ＣＰＵ１３ａが実行する処理の手順を示す。図９に示す処理と同じ処理の説明を省略する。
【０１９９】
ステップＳ４２において計測の実行が不可能であることを示す判断結果が受け付けられた場合、計測画像を変更する必要がある。ユーザーは、操作部１２を操作することにより、計測の実行を所望する計測画像上の位置を示す位置情報を入力する。受付部２４５は、その位置情報を操作部１２から受け付ける（ステップＳ５１）。ユーザーは、計測画像上の少なくとも２つの位置を指定してもよい。ステップＳ５１の後、ステップＳ７が実行される。
【０２００】
画像抽出部２１１は、ステップＳ７において、位置情報が示す位置を視野内に含む少なくとも１枚の画像を時系列画像から抽出する。そのため、ユーザーが指定した位置において精度が高い計測結果が得られる可能性が高まる。ステップＳ７が再度実行されたとき、位置情報が示す位置を視野内に含む少なくとも１枚の画像に加えて、位置情報が示す位置を視野内に含まない少なくとも１枚の画像が抽出されてもよい。
【０２０１】
ステップＳ７が再度実行され、ステップＳ８またはステップＳ１０において画像が計測に適していないと判断された場合、ステップＳ２が再度実行される。ステップＳ７が再度実行され、ステップＳ８およびステップＳ１０において画像が計測に適していると判断された場合、ステップＳ４２が再度実行される。ステップＳ４２において、計測の実行が可能であるとユーザーが判断した場合、寸法計測処理が実行される。このとき、ユーザーがステップＳ５１において指定した位置に計測点が自動で設定されてもよい。
【０２０２】
本発明の各態様の計測方法は、位置入力ステップを有してもよい。画像が計測に適していると画像判断部２２が判断ステップ（ステップＳ３、ステップＳ６、ステップＳ８、およびステップＳ１０）において判断した場合、計測ステップ（ステップＳ２５）が実行される前に、受付部２４５は、位置入力ステップ（ステップＳ５１）において、計測画像上の位置を示す位置情報を、操作部１２（入力装置）を通して受け付ける。位置入力ステップが実行された後、抽出ステップ（ステップＳ７）が再度実行される。画像抽出部２１１は、抽出ステップにおいて、位置情報が示す位置を含む少なくとも１枚の第３の画像を複数の２次元画像から抽出する。抽出ステップが再度実行された後、生成ステップ（ステップＳ９）、判断ステップ、第１の画像表示ステップ（ステップＳ１１）、点設定ステップ（ステップＳ２４）、および計測ステップ（ステップＳ２５）を含むシーケンスの少なくとも一部が再度実行される。
【０２０３】
画像が計測に適していると判断されたが、ユーザーが所望する位置において計測を実行できない場合がある。ユーザーが、計測の実行を所望する位置を示す位置情報を入力した場合、その位置を視野内に含む少なくとも１枚の画像が抽出され、かつ３Ｄモデルが再度生成される。そのため、ユーザーが計測の実行を所望する位置において計測が実行され、かつ計測結果が得られる可能性が高まる。また、ユーザーが指定した位置において状態が良い画像が抽出され、かつその画像が３Ｄモデルの生成に使用されるため、精度が高い計測結果が得られる可能性が高まる。
【０２０４】
図９に示すＯＫ処理において、ユーザーが計測の実行を所望する位置の状態が悪い計測画像が繰り返し設定される可能性がある。図１５に示すＯＫ処理において、ユーザーが、計測の実行を所望する位置を指定できる。そのため、ユーザーが計測の実行を所望する位置において計測が実行され、かつ計測結果が得られる可能性が高まる。また、ユーザーが指定した位置において状態が良い画像が抽出され、かつその画像が３Ｄモデルの生成に使用されるため、精度が高い計測結果が得られる可能性が高まる。
【０２０５】
（第３の実施形態）
本発明の第３の実施形態において、図２に示すＣＰＵ１３は、図１６に示すＣＰＵ１３ｂに変更される。図１６は、ＣＰＵ１３ｂの機能構成を示す。図２に示す構成と同じ構成の説明を省略する。図１６に示すブロックの少なくとも１つがＣＰＵ１３ｂとは別の回路で構成されてもよい。
【０２０６】
図１６に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図１６に示す各部は、１つまたは複数のプロセッサを含むことができる。図１６に示す各部は、１つまたは複数の論理回路を含むことができる。
【０２０７】
画像再生部２０、３Ｄモデル取得部２１、画像判断部２２、計測処理部２３、およびＮＧ処理部２５によってＣＰＵ１３ｂの機能が構成される。ＮＧ処理部２５は、理由通知部２５０および受付部２５１を有する。
【０２０８】
画像が計測に適していないと判断された場合、理由通知部２５０は、判断処理の結果に基づいて、画像が計測に適していないと判断された理由をユーザーに通知する。受付部２５１は、ユーザーが操作部１２を通して入力する情報を受け付ける。
【０２０９】
図５に示す処理は、図１７に示す処理に変更される。図１７を参照し、計測のために実行される処理の手順を説明する。図１７は、ＣＰＵ１３ｂが実行する処理の手順を示す。図５に示す処理と同じ処理の説明を省略する。
【０２１０】
ステップＳ３において画像が計測に適していないと画像判断部２２が判断した場合、画像表示部２３１は、ステップＳ２において選択された基準画像をディスプレイ１５に表示する（ステップＳ６１）。ステップＳ６、ステップＳ８、およびステップＳ１０のいずれか１つにおいて画像が計測に適していないと画像判断部２２が判断した場合、画像表示部２３１は、ステップＳ５において設定された計測画像をディスプレイ１５に表示する（ステップＳ６１）。
【０２１１】
ステップＳ６１の後、ＮＧ処理が実行される（ステップＳ６２）。ステップＳ６２の後、ステップＳ２が実行される。
【０２１２】
図１８を参照し、ステップＳ６２におけるＮＧ処理の手順を説明する。図１８は、ＣＰＵ１３ｂが実行する処理の手順を示す。
【０２１３】
理由通知部２５０は、画像が計測に適していないと判断された理由を示すメッセージを生成する。理由通知部２５０は、そのメッセージをディスプレイ１５に表示する（ステップＳ７１）。
【０２１４】
画像が計測に適していないと判断された場合、その理由は判断処理の実行タイミング毎に異なる。画像が計測に適していると判断するための判断基準は、判断処理の実行タイミング毎に異なる。
【０２１５】
ステップＳ３において画像が計測に適していないと判断された場合、基準画像の明るさ、基準画像のテクスチャ、または基準画像のブレ状態が計測に適していないことが想定される。理由通知部２５０は、ステップＳ３において満たされなかった判断基準に対応する理由を示すメッセージをディスプレイ１５に表示する。例えば、基準画像の明るさが判断基準を満たさなかった場合、理由通知部２５０は、基準画像の明るさに関する理由を示すメッセージをディスプレイ１５に表示する。
【０２１６】
ステップＳ６において画像が計測に適していないと判断された場合、計測画像の明るさ、計測画像のテクスチャ、および計測画像のブレ状態の少なくとも１つが計測に適していないことが想定される。理由通知部２５０は、ステップＳ６において満たされなかった判断基準に対応する理由を示すメッセージをディスプレイ１５に表示する。例えば、計測画像のテクスチャが判断基準を満たさなかった場合、理由通知部２５０は、計測画像のテクスチャに関する理由を示すメッセージをディスプレイ１５に表示する。
【０２１７】
ステップＳ８において画像が計測に適していないと判断された場合、特徴点の数または特徴点の座標の分布が計測に適していないことが想定される。理由通知部２５０は、ステップＳ８において満たされなかった判断基準に対応する理由を示すメッセージをディスプレイ１５に表示する。例えば、特徴点の数が判断基準を満たさなかった場合、理由通知部２５０は、特徴点の数に関する理由を示すメッセージをディスプレイ１５に表示する。
【０２１８】
ステップＳ１０において画像が計測に適していないと判断された場合、カメラの位置および姿勢の推定結果またはマッチング処理の結果が計測に適していないことが想定される。カメラの位置および姿勢の推定結果は、再投影誤差に基づいて判断される。マッチング処理の結果は、相関値に基づいて判断される。理由通知部２５０は、ステップＳ１０において満たされなかった判断基準に対応する理由を示すメッセージをディスプレイ１５に表示する。例えば、カメラの位置および姿勢の推定結果が判断基準を満たさなかった場合、理由通知部２５０は、カメラの位置および姿勢の推定結果に関する理由を示すメッセージをディスプレイ１５に表示する。
【０２１９】
理由通知部２５０は、画像が計測に適していないと判断された理由を示すメッセージを音声で出力してもよい。画像が計測に適していないと判断された理由をユーザーが確認できる限り、その理由をユーザーに通知する方法は上記の方法に限らない。
【０２２０】
図１９は、ステップＳ７１においてディスプレイ１５に表示される画像の例を示す。画像Ｇ１１がディスプレイ１５の画面上に表示される。画像Ｇ１１は、基準画像または計測画像である。メッセージＭ１０がディスプレイ１５の画面上に表示される。
【０２２１】
画像が計測に適していないため、計測画像を変更する必要がある。画像が計測に適していない理由が通知された後、ユーザーは、操作部１２を操作することにより、計測画像の変更方法を示す情報を入力する。計測画像の変更方法は、手動変更と自動変更とのいずれか一方である。受付部２４５は、その情報を操作部１２から受け付ける（ステップＳ７２）。ステップＳ３において画像が計測に適していないと判断された場合、ステップＳ７２が実行されずにステップＳ２が実行される。
【０２２２】
ステップＳ７２において手動変更を示す情報を受付部２４５が受け付けた場合、ステップＳ２が実行される。この場合、ユーザーは、画像再生機能を使用することにより、時系列画像に含まれる各画像を確認する。ユーザーは、画像選択指示を再度入力する。基準画像が手動で変更され、かつステップＳ３において画像が計測に適していると判断された後、変更された基準画像に基づいてステップＳ５において計測画像が設定される。
【０２２３】
ステップＳ７２において自動変更を示す情報を受付部２４５が受け付けた場合、計測画像設定部２１０は、ステップＳ５が前回実行されたときに設定された計測画像と異なる１枚の画像を時系列画像から抽出する。計測画像設定部２１０は、抽出された画像を計測画像として設定する（ステップＳ７３）。
【０２２４】
ステップＳ７３の後、画像表示部２３１は、ステップＳ７３において設定された計測画像をディスプレイ１５に表示する（ステップＳ７４）。
【０２２５】
ステップＳ７４の後、ユーザーは、計測を予定している位置において計測を予定している位置が計測画像内に含まれているか否かを判断する。ユーザーは、操作部１２を操作することにより、判断結果を入力する。受付部２４５は、その判断結果を操作部１２から受け付ける（ステップＳ７５）。
【０２２６】
ステップＳ７５において計測を予定している位置が計測画像内に含まれていることを示す判断結果を受付部２４５が受け付けた場合、ステップＳ６が実行される。ステップＳ７５において計測を予定している位置が計測画像内に含まれていないことを示す判断結果が受け付けられた場合、計測画像を変更する必要がある。そのため、ステップＳ７２が実行される。ステップＳ７２からステップＳ７５は、図９に示すステップＳ４３からステップＳ４６と同様である。
【０２２７】
ステップＳ７２は必須ではない。計測画像の変更方法は予め設定されてもよい。手動変更が予め設定されている場合、ステップＳ７２が実行されずにステップＳ２が実行されてもよい。自動変更が予め設定されている場合、ステップＳ７２が実行されずにステップＳ７３が実行されてもよい。
【０２２８】
ステップＳ７４およびステップＳ７５は必須ではない。ステップＳ７３の後、ステップＳ７４およびステップＳ７５が実行されずにステップＳ６が実行されてもよい。
【０２２９】
ステップＳ７１において、画像が計測に適していないことのみを示すメッセージがディスプレイ１５に表示されてもよい。この場合、画像が計測に適していないと判断された理由はユーザーに通知されない。メッセージが表示された後、ステップＳ２またはステップＳ５が再度実行されてもよい。ステップＳ２において画像が計測に適していないと判断され、ステップＳ６１およびステップＳ７１が実行される場合がある。この場合、ステップＳ２が再度実行される。
【０２３０】
本発明の各態様の計測方法は、出力ステップをさらに有してもよい。画像が計測に適していないと画像判断部２２が判断ステップ（ステップＳ３、ステップＳ６、ステップＳ８、およびステップＳ１０）において判断した場合、理由通知部２５０（出力部）は、出力ステップ（ステップＳ７１）において、判断ステップの結果に基づいて、画像が計測に適していないと判断された理由を示す情報を出力する。
【０２３１】
画像が計測に適していないと画像判断部２２が判断ステップにおいて判断した場合に、理由通知部２５０は、画像が計測に適していないことを示す情報を出力してもよい。その情報が出力された後、選択ステップ（ステップＳ２）または画像設定ステップ（ステップＳ５）が再度実行されてもよい。
【０２３２】
第３の実施形態において、画像が計測に適していないと判断された理由がユーザーに通知される。計測画像が手動で変更される場合、ユーザーは、この理由を参考にして画像を選択することができる。ユーザーが上記の理由を把握していない状態で画像を選択する場合と比較して、画像が計測に適していると判断される可能性が高まる。
【０２３３】
ユーザーは、ステップＳ７２において、上記の理由を参考にして変更方法を選択することができる。例えば、画像のテクスチャが薄いため、画像が計測に適していないと判断される場合がある。その場合、ユーザーは、手動変更を選択し、かつ模様が多い画像を選択する。これにより、画像が計測に適していると判断される可能性が高まる。ユーザーが自動変更を選択した場合、自動で設定された計測画像が前回の理由と同じ理由で計測に適していないと判断される可能性がある。ユーザーは判断の理由を考慮して変更方法を選択できるため、ユーザーの操作性が向上する。
【０２３４】
（第４の実施形態）
本発明の第４の実施形態を説明する。第４の実施形態において、２つの装置が連携する。第１の装置は、ユーザーから指示を受け付けて処理を実行し、かつ処理結果をユーザーに通知する。第１の装置は、画像の表示および指定点の設定などに関する処理を実行する。第２の装置は、３Ｄモデルの生成などに関する処理を実行する。例えば、第１の装置の携帯性は優れているが、第１の装置の計算リソースは小さい。第２の装置の携帯性は優れていないが、第２の装置の計算リソースは豊富である。第４の実施形態において、２つの装置の利点が生かされる。大型の装置などを持ち運びにくい現場において、画像を使用する計測が求められる状況がある。そのような状況において、第４の実施形態は効果的である。
【０２３５】
図２０は、第４の実施形態の計測システム２の構成を示す。図２０に示す計測システム２は、計測装置１ｃおよび３Ｄモデル生成装置３を有する。
【０２３６】
図２１は、計測装置１ｃのハードウェア構成を示す。図１に示す構成と同じ構成の説明を省略する。図２１に示す計測装置１ｃは、画像入力装置１０、ハードディスク１１、操作部１２、ＣＰＵ１３ｃ、メモリ１４、ディスプレイ１５、および通信装置１６を有する。
【０２３７】
通信装置１６は、３Ｄモデル生成装置３と通信を実行する。例えば、通信装置１６はケーブルあるいは無線で３Ｄモデル生成装置３と接続される。通信装置１６と３Ｄモデル生成装置３との間の通信は、ＬＡＮまたはインターネットを経由して実行されてもよい。
【０２３８】
図２２は、ＣＰＵ１３ｃの機能構成を示す。図２に示す構成と同じ構成の説明を省略する。図２２に示すブロックの少なくとも１つがＣＰＵ１３ｃとは別の回路で構成されてもよい。
【０２３９】
図２２に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図２２に示す各部は、１つまたは複数のプロセッサを含むことができる。図２２に示す各部は、１つまたは複数の論理回路を含むことができる。
【０２４０】
図２に示す３Ｄモデル取得部２１は、３Ｄモデル取得部２１ｃに変更される。３Ｄモデル取得部２１ｃは、計測画像設定部２１０、画像抽出部２１１、および通信制御部２１３を有する。通信制御部２１３は通信装置１６を制御することにより、３Ｄモデル生成装置３と通信を実行する。通信制御部２１３は、３Ｄモデルを生成するための少なくとも２枚の画像を３Ｄモデル生成装置３に送信する。通信制御部２１３は、３Ｄモデルを３Ｄモデル生成装置３から受信する。
【０２４１】
図２３は、３Ｄモデル生成装置３のハードウェア構成を示す。図２３に示す３Ｄモデル生成装置３は、通信装置３０、ハードディスク３１、操作部３２、ＣＰＵ３３、メモリ３４、およびディスプレイ３５を有する。
【０２４２】
通信装置３０は、計測装置１ｃと通信を実行する。ハードディスク３１は、通信装置３０によって受信された少なくとも２枚の画像を記憶する。３Ｄモデル生成装置３は、ハードディスクの代わりにＳＳＤを有してもよい。
【０２４３】
操作部３２は、ユーザーインターフェース（入力インターフェース）である。操作部３２は、マウス３２ａおよびキーボード３２ｂを有する。
【０２４４】
ＣＰＵ３３は、被写体の３次元形状の生成（再構成）のための処理を実行する。ＣＰＵ３３の機能については、図２４を参照して後述する。
【０２４５】
メモリ３４は、揮発性または不揮発性のメモリである。メモリ３４は、通信装置１６によって受信された少なくとも２枚の画像またはＣＰＵ３３によって処理された画像を記憶する。ディスプレイ３５は、液晶ディスプレイ等のようなモニタである。
【０２４６】
図２４は、ＣＰＵ３３の機能構成を示す。図２４に示すブロックの少なくとも１つがＣＰＵ３３とは別の回路で構成されてもよい。
【０２４７】
図２４に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図２４に示す各部は、１つまたは複数のプロセッサを含むことができる。図２４に示す各部は、１つまたは複数の論理回路を含むことができる。
【０２４８】
通信制御部３３０および３Ｄモデル生成部３３１によってＣＰＵ３３の機能が構成される。通信制御部３３０は、通信装置３０を制御することにより、計測装置１ｃと通信を実行する。通信制御部３３０は、３Ｄモデルを生成するための少なくとも２枚の画像を計測装置１ｃから受信する。通信制御部３３０は、３Ｄモデルを計測装置１ｃに送信する。３Ｄモデル生成部３３１は、図２に示す３Ｄモデル生成部２１２と同様の機能を有する。
【０２４９】
図２５および図２６を参照し、３Ｄモデルの生成および計測のために実行される処理の手順を説明する。図２５は、計測装置１ｃのＣＰＵ１３ｃが実行する処理の手順を示す。図２６は、３Ｄモデル生成装置３のＣＰＵ３３が実行する処理の手順を示す。図５に示す処理と同じ処理の説明を省略する。
【０２５０】
ステップＳ８において画像が計測に適していると抽出画像判断部２２２が判断した場合、計測装置１ｃの通信制御部２１３は、ステップＳ５において設定された計測画像と、ステップＳ７において抽出された少なくとも１枚の画像とを３Ｄモデル生成装置３に送信する（ステップＳ８１）。ステップＳ８１の後、計測装置１ｃの通信制御部２１３は、３Ｄモデルを３Ｄモデル生成装置３から受信する。また、通信制御部２１３は、３Ｄモデルを生成するために実行されたマッチング処理の結果等を３Ｄモデル生成装置３から受信する（ステップＳ８２）。受信された３Ｄモデルは、ハードディスク１１またはメモリ１４に記憶される。ステップＳ８２の後、ステップＳ１０が実行される。
【０２５１】
３Ｄモデル生成装置３の通信制御部３３０は、少なくとも２枚の画像を計測装置１ｃから受信する（ステップＳ９１）。受信された情報は、ハードディスク３１またはメモリ３４に記憶される。
【０２５２】
ステップＳ９１の後、３Ｄモデル生成部３３１は、カメラの位置および姿勢を推定する。３Ｄモデル生成部３３１は、推定された位置および姿勢に基づいて、被写体の３Ｄモデルを生成する（ステップＳ９２）。ステップＳ９２は、図５に示すステップＳ９と同様である。
【０２５３】
ステップＳ９２の後、通信制御部３３０は、ステップＳ９２において生成された３Ｄモデルを計測装置１ｃに送信する。また、通信制御部３３０は、マッチング処理の結果等を計測装置１ｃに送信する（ステップＳ９３）。ステップＳ９３が実行されたとき、図２６に示す処理が終了する。
【０２５４】
上記の例では、複数の処理が２つの装置間で分散される。装置の数に制約はなく、かつ各装置が実行する処理に制約はない。例えば、複数の３Ｄモデル生成装置３が、時間のかかる処理を実行してもよい。
【０２５５】
第４の実施形態において、複数の装置が連携して処理を実行する。複数の装置のうち少なくとも１つは、携帯性は優れているが、計算リソースは小さいという特徴を持つ。複数の装置の少なくとも１つは、携帯性は優れていないが、計算リソースは豊富であるという特徴を持つ。計測システム２は、複数の装置の利点を生かして計測を実行することができる。
【０２５６】
以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
【符号の説明】
【０２５７】
１，１ｃ  計測装置
２  計測システム
３  ３Ｄモデル生成装置
１０  画像入力装置
１１，３１  ハードディスク
１２，３２  操作部
１２ａ，３２ａ  マウス
１２ｂ，３２ｂ  キーボード
１３，１３ａ，１３ｂ，１３ｃ，３３  ＣＰＵ
１４，３４  メモリ
１５，３５  ディスプレイ
１６，３０  通信装置
２０  画像再生部
２１，２１ｃ  ３Ｄモデル取得部
２２  画像判断部
２３  計測処理部
２４  ＯＫ処理部
２５  ＮＧ処理部
２００  画像記憶制御部
２０１  画像再生制御部
２０２  基準画像選択部
２１０  計測画像設定部
２１１  画像抽出部
２１２，３３１  ３Ｄモデル生成部
２１３，３３０  通信制御部
２２０  基準画像判断部
２２１  計測画像判断部
２２２  抽出画像判断部
２２３  モデル画像判断部
２３０  基準点設定部
２３１  画像表示部
２３２  基準長設定部
２３３  座標変換部
２３４  計測点設定部
２３５  計測部
２４０  ３Ｄモデル表示部
２４１  信頼度算出部
２４２  信頼度表示部
２４３  カーソル表示部
２４４  領域表示部
２４５，２５１  受付部
２５０  理由通知部
【図１】
2020134242.tif 000005
【図２】
2020134242.tif 000006
【図３】
2020134242.tif 000007
【図４】
2020134242.tif 000008
【図５】
2020134242.tif 000009
【図６】
2020134242.tif 000010
【図７】
2020134242.tif 000011
【図８】
2020134242.tif 000012
【図９】
2020134242.tif 000013
【図１０】
2020134242.tif 000014
【図１１】
2020134242.tif 000015
【図１２】
2020134242.tif 000016
【図１３】
2020134242.tif 000017
【図１４】
2020134242.tif 000018
【図１５】
2020134242.tif 000019
【図１６】
2020134242.tif 000020
【図１７】
2020134242.tif 000021
【図１８】
2020134242.tif 000022
【図１９】
2020134242.tif 000023
【図２０】
2020134242.tif 000024
【図２１】
2020134242.tif 000025
【図２２】
2020134242.tif 000026
【図２３】
2020134242.tif 000027
【図２４】
2020134242.tif 000028
【図２５】
2020134242.tif 000029
【図２６】
2020134242.tif 000030