(57)【要約】  座標算出装置１０は、対象物において特定箇所が指定された場合に、対象物を撮影した画像の中から、特定箇所を含む画像を２以上選択する、画像選択部１１と、選択された画像毎に、特定箇所において互いに対応する点の位置を特定し、そして、画像毎に特定された点の位置と、画像毎に予め算出されているカメラ行列とを用いて、特定箇所の３次元座標を算出する、３次元座標算出部１２と、対象物の点群データを用いて、対象物の３次元モデルを画面上に表示し、更に、算出された３次元座標に基づいて、指定された特定箇所を３次元モデル上で表示する、３次元モデル表示部１３と、を備えている。
2020111139.tif 000002
【特許請求の範囲】
【請求項１】
対象物において特定箇所が指定された場合に、前記対象物を撮影した画像の中から、前記特定箇所を含む画像を２以上選択する、画像選択手段と、
選択された前記画像それぞれ毎に、前記特定箇所において互いに対応する点の位置を特定し、そして、前記画像それぞれ毎に特定された前記点の位置と、前記画像それぞれ毎に予め算出されているカメラ行列とを用いて、前記特定箇所の３次元座標を算出する、３次元座標算出手段と、
前記対象物の点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、３次元モデル表示手段と、
を備えている、
ことを特徴とする座標算出装置。
【請求項２】
請求項１に記載の座標算出装置であって、
前記対象物の点群データが、前記対象物を撮影した複数の画像それぞれから、特徴点を抽出し、抽出した各特徴点を用いて構築されている、
ことを特徴とする座標算出装置。
【請求項３】
対象物において特定箇所が指定された場合に、前記対象物を含む複数の画像から、２以上の前記画像に含まれ、且つ、指定された前記特定箇所に関連する特徴点を抽出する、特徴点抽出手段と、
前記複数の画像を用いて構築された前記対象物の点群データを用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標を指定された前記特定箇所の３次元座標とする、３次元座標算出手段と、
前記点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、３次元モデル表示手段と、
を備えている、
ことを特徴とする座標算出装置。
【請求項４】
請求項３に記載の座標算出装置であって、
前記対象物の点群データを作成する、点群データ作成手段を更に備え、
前記点群データ作成手段は、前記対象物を含む前記複数の画像それぞれにおいて、当該画像以外の画像との間で対応する特徴点が抽出されている場合に、前記特徴点が抽出されている前記画像の中から、ペア画像を選択し、
選択された前記ペア画像それぞれ毎に、当該画像を撮影したカメラについて予め算出されているカメラ行列から、当該画像を撮影したカメラの位置の３次元座標と回転行列とを求め、更に、前記カメラの位置の３次元座標と前記回転行列とを用いて、前記ペア画像それぞれの両者に対応する前記特徴点の３次元座標を算出し、
前記３次元座標が算出された前記特徴点を用いて、前記点群データを作成する、
ことを特徴とする座標算出装置。
【請求項５】
（ａ）対象物において特定箇所が指定された場合に、前記対象物を撮影した画像の中から、前記特定箇所を含む画像を２以上選択し、
（ｂ）選択された前記画像それぞれ毎に、前記特定箇所において互いに対応する点の位置を特定し、そして、前記画像それぞれ毎に特定された前記点の位置と、前記画像それぞれ毎に予め算出されているカメラ行列とを用いて、前記特定箇所の３次元座標を算出し、
（ｃ）前記対象物の点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、
ことを特徴とする座標算出方法。
【請求項６】
請求項５に記載の座標算出方法であって、
前記対象物の点群データが、前記対象物を撮影した複数の画像それぞれから、特徴点を抽出し、抽出した各特徴点を用いて構築されている、
ことを特徴とする座標算出方法。
【請求項７】
（ａ）対象物において特定箇所が指定された場合に、前記対象物を含む複数の画像から、２以上の前記画像に含まれ、且つ、指定された前記特定箇所に関連する特徴点を抽出し、
（ｂ）前記複数の画像を用いて構築された前記対象物の点群データを用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標を指定された前記特定箇所の３次元座標とし、
（ｃ）前記点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、
ことを特徴とする座標算出方法。
【請求項８】
請求項７に記載の座標算出方法であって、
更に、（ｄ）前記対象物の点群データを作成し、
前記（ｄ）において、前記対象物を含む前記複数の画像それぞれにおいて、当該画像以外の画像との間で対応する特徴点が抽出されている場合に、前記特徴点が抽出されている前記画像の中から、ペア画像を選択し、
選択された前記ペア画像それぞれ毎に、当該画像を撮影したカメラについて予め算出されているカメラ行列から、当該画像を撮影したカメラの位置の３次元座標と回転行列とを求め、更に、前記カメラの位置の３次元座標と前記回転行列とを用いて、前記ペア画像それぞれの両者に対応する前記特徴点の３次元座標を算出し、
前記３次元座標が算出された前記特徴点を用いて、前記点群データを作成する、
ことを特徴とする座標算出方法。
【請求項９】
コンピュータに、
（ａ）対象物において特定箇所が指定された場合に、前記対象物を撮影した画像の中から、前記特定箇所を含む画像を２以上選択する、ステップと、
（ｂ）選択された前記画像それぞれ毎に、前記特定箇所において互いに対応する点の位置を特定し、そして、前記画像それぞれ毎に特定された前記点の位置と、前記画像それぞれ毎に予め算出されているカメラ行列とを用いて、前記特定箇所の３次元座標を算出する、ステップと、
（ｃ）前記対象物の点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、ステップと、
を実行させる命令を含む、プログラムを記録している、コンピュータ読み取り可能な記録媒体。
【請求項１０】
請求項９に記載のコンピュータ読み取り可能な記録媒体であって、
前記対象物の点群データが、前記対象物を撮影した複数の画像それぞれから、特徴点を抽出し、抽出した各特徴点を用いて構築されている、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項１１】
コンピュータに、
（ａ）対象物において特定箇所が指定された場合に、前記対象物を含む複数の画像から、２以上の前記画像に含まれ、且つ、指定された前記特定箇所に関連する特徴点を抽出する、ステップと、
（ｂ）前記複数の画像を用いて構築された前記対象物の点群データを用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標を指定された前記特定箇所の３次元座標とする、ステップと、
（ｃ）前記点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、ステップと、
を実行させる命令を含む、プログラムを記録している、コンピュータ読み取り可能な記録媒体。
【請求項１２】
請求項１１に記載のコンピュータ読み取り可能な記録媒体であって、
前記プログラムが、前記コンピュータに、
（ｄ）前記対象物の点群データを作成する、ステップを実行させる命令を更に含み、
前記（ｄ）のステップにおいて、前記対象物を含む前記複数の画像それぞれにおいて、当該画像以外の画像との間で対応する特徴点が抽出されている場合に、前記特徴点が抽出されている前記画像の中から、ペア画像を選択し、
選択された前記ペア画像それぞれ毎に、当該画像を撮影したカメラについて予め算出されているカメラ行列から、当該画像を撮影したカメラの位置の３次元座標と回転行列とを求め、更に、前記カメラの位置の３次元座標と前記回転行列とを用いて、前記ペア画像それぞれの両者に対応する前記特徴点の３次元座標を算出し、
前記３次元座標が算出された前記特徴点を用いて、前記点群データを作成する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物の特定箇所の座標を点群データ上で算出するための、座標算出装置及び座標算出方法に関し、更には、これらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
近年、橋梁等の構造物の外観に現れた欠陥を、構造物の画像から検出することが行われている。例えば、特許文献１は、カメラで撮影した構造物の画像から、構造物の表面に発生した微細なひび等の欠陥を検出する装置を開示している。【０００３】
具体的には、特許文献１に開示された装置は、まず、カメラで撮影した画像に対して画像解析を実行して、構造物の表面に発生した欠陥を検出し、更に、測距計によって欠陥までの距離を測定する。続いて、特許文献１に開示された装置は、画像に対応付けられた座標データと測定された距離とを用いて、検出された欠陥のグローバル座標系での座標を算出する。【０００４】
従って、特許文献１に開示された装置によれば、構造物の画像から、構造物の表面に発生した欠陥を検出できるとともに、グローバル座標系での欠陥の座標も算出できるので、構造物の管理者は、欠陥の位置を把握することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第２０１７／１０３９８２号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、欠陥の位置は、座標によって、即ち、数値によって示されているに過ぎず、そして、実際の構造物に座標軸が付加されている訳ではないので、管理者にとって、実際の欠陥の位置を特定することは簡単ではない。【０００７】
本発明の目的の一例は、上記問題を解消し、対象物の特定箇所が映った２次元画像から、特定箇所の３次元モデル上での位置を特定し得る、座標算出装置、座標算出方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の一側面における第１の座標算出装置は、
対象物において特定箇所が指定された場合に、前記対象物を撮影した画像の中から、前記特定箇所を含む画像を２以上選択する、画像選択部と、
選択された前記画像それぞれ毎に、前記特定箇所において互いに対応する点の位置を特定し、そして、前記画像それぞれ毎に特定された前記点の位置と、前記画像それぞれ毎に予め算出されているカメラ行列とを用いて、前記特定箇所の３次元座標を算出する、３次元座標算出部と、
前記対象物の点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、３次元モデル表示部と、
を備えている、
ことを特徴とする。【０００９】
上記目的を達成するため、本発明の一側面における第２の座標算出装置は、
対象物において特定箇所が指定された場合に、前記対象物を含む複数の画像から、２以上の前記画像に含まれ、且つ、指定された前記特定箇所に関連する特徴点を抽出する、特徴点抽出部と、
前記複数の画像を用いて構築された前記対象物の点群データを用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標を指定された前記特定箇所の３次元座標とする、３次元座標算出部と、
前記点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、３次元モデル表示部と、
を備えている、
ことを特徴とする。【００１０】
また、上記目的を達成するため、本発明の一側面における第１の座標算出方法は、
（ａ）対象物において特定箇所が指定された場合に、前記対象物を撮影した画像の中から、前記特定箇所を含む画像を２以上選択する、ステップと、
（ｂ）選択された前記画像それぞれ毎に、前記特定箇所において互いに対応する点の位置を特定し、そして、前記画像それぞれ毎に特定された前記点の位置と、前記画像それぞれ毎に予め算出されているカメラ行列とを用いて、前記特定箇所の３次元座標を算出する、ステップと、
（ｃ）前記対象物の点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、ステップと、
を有する、
ことを特徴とする。【００１１】
また、上記目的を達成するため、本発明の一側面における第２の座標算出方法は、
（ａ）対象物において特定箇所が指定された場合に、前記対象物を含む複数の画像から、２以上の前記画像に含まれ、且つ、指定された前記特定箇所に関連する特徴点を抽出する、ステップと、
（ｂ）前記複数の画像を用いて構築された前記対象物の点群データを用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標を指定された前記特定箇所の３次元座標とする、ステップと、
（ｃ）前記点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、ステップと、
を有する、
ことを特徴とする。【００１２】
更に、上記目的を達成するため、本発明の一側面における第１のコンピュータ読み取り可能な記録媒体は、
コンピュータに、
（ａ）対象物において特定箇所が指定された場合に、前記対象物を撮影した画像の中から、前記特定箇所を含む画像を２以上選択する、ステップと、
（ｂ）選択された前記画像それぞれ毎に、前記特定箇所において互いに対応する点の位置を特定し、そして、前記画像それぞれ毎に特定された前記点の位置と、前記画像それぞれ毎に予め算出されているカメラ行列とを用いて、前記特定箇所の３次元座標を算出する、ステップと、
（ｃ）前記対象物の点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、ステップと、
を実行させる命令を含む、プログラムを記録している、ことを特徴とする。【００１３】
更に、上記目的を達成するため、本発明の一側面における第２のコンピュータ読み取り可能な記録媒体は、
コンピュータに、
（ａ）対象物において特定箇所が指定された場合に、前記対象物を含む複数の画像から、２以上の前記画像に含まれ、且つ、指定された前記特定箇所に関連する特徴点を抽出する、ステップと、
（ｂ）前記複数の画像を用いて構築された前記対象物の点群データを用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標を指定された前記特定箇所の３次元座標とする、ステップと、
（ｃ）前記点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、ステップと、
を実行させる命令を含む、プログラムを記録している、ことを特徴とする。
【発明の効果】
【００１４】
以上のように本発明によれば、欠陥部分等が映った２次元画像から、欠陥部分等の３次元モデル上での位置を特定することができる。
【図面の簡単な説明】
【００１５】
【図１】図１は、本発明の実施の形態１における座標算出装置の概略構成を示すブロック図である。
【図２】図２は、本発明の実施の形態１において座標算出の対象となる対象物の一例を示す斜視図である。
【図３】図３（ａ）及び（ｂ）は、本発明の実施の形態１において３次元座標算出部で行われる処理を示す説明図であり、それぞれ一連の処理を示している。
【図４】図４は、図３（ａ）及び（ｂ）に示された処理の後に、３次元座標算出部で行われる処理を示す説明図である。
【図５】図５は、本発明の実施の形態１における座標算出装置の動作を示すフロー図である。
【図６】図６は、本発明の実施の形態２における座標算出装置の概略構成を示すブロック図である。
【図７】図７は、本発明の実施の形態２における座標算出装置の構成を具体的に示すブロック図である。
【図８】図８は、本発明の実施の形態２において特徴点抽出部で行われる処理を示す説明図である。
【図９】図９は、本発明の実施の形態２における座標算出装置の動作を示すフロー図である。
【図１０】図１０は、点群データの作成のために選択されたペア画像の一例を示す図である。
【図１１】図１１は、カメラ行列から求められる、初期ペア画像のカメラの３次元座標と回転行列との一例を示す図である。
【図１２】図１２は、初期ペア画像の選択後に新たに選択された画像とそれから抽出された特徴点のペアの一例を示す図である。
【図１３】図１３は、特定の領域に存在する地物の３次元モデルの一例を示す図である。
【図１４】図１４は、図１３に示す地物の１つの詳細な３次元モデルの一例を示す図である。
【図１５】図１５は、本発明の実施の形態１または２における座標算出装置を実現するコンピュータの一例を示すブロック図である。
【発明を実施するための形態】
【００１６】
（実施の形態１）
以下、本発明の実施の形態１における、座標算出装置、座標算出方法、及びプログラムについて、図１〜図６を参照しながら説明する。
【００１７】
［装置構成］
最初に、本実施の形態１における座標算出装置の構成について説明する。図１は、本発明の実施の形態１における座標算出装置の概略構成を示すブロック図である。
【００１８】
図１に示す、本実施の形態１における座標算出装置１０は、対象物において指定された特定箇所の位置を算出し、算出した位置を対象物の３次元モデル上で表示する装置である。図１に示すように、座標算出装置１０は、画像選択部１１と、３次元座標算出部１２と、３次元モデル表示部１３とを備えている。
【００１９】
画像選択部１１は、対象物において特定箇所が指定された場合に、対象物を撮影した画像（２次元画像）の中から、特定箇所を含む画像を２以上選択する。３次元座標算出部１２は、まず、選択された画像それぞれ毎に、特定箇所において互いに対応する点の位置を特定する。そして、３次元座標算出部１２は、画像それぞれ毎に特定された点の位置と、画像それぞれ毎に予め算出されているカメラ行列とを用いて、指定された特定箇所の３次元座標を算出する。
【００２０】
また、３次元モデル表示部１３は、対象物の点群データを用いて、対象物の３次元モデルを、表示装置又は別の端末装置等の画面上に表示する。更に、３次元モデル表示部１３は、算出された３次元座標に基づいて、指定された特定箇所を３次元モデル上で表示する。
【００２１】
また、対象物の点群データは、対象物の表面に存在する特徴点の３次元座標の集合で構成されたデータである。点群データは、対象物５０を撮影した複数の画像それぞれから、特徴点を抽出し、抽出した各特徴点を用いて構築することができる。
【００２２】
このように、本実施の形態１では、特定箇所を含む複数の画像から、カメラ行列を用いて、特定箇所の３次元座標が算出され、そして、特定箇所は、算出された３次元座標に基づいて、対象物の３次元モデル上で表示される。つまり、本実施の形態１によれば、対象物の特定箇所が映った２次元画像から、特定箇所の３次元モデル上での位置を特定することが可能となる。
【００２３】
続いて、図２〜図４を用いて、本実施の形態１における座標算出装置の構成及び機能をより具体的に説明する。図２は、本発明の実施の形態１において座標算出の対象となる対象物の一例を示す斜視図である。図３（ａ）及び（ｂ）は、本発明の実施の形態１において３次元座標算出部で行われる処理を示す説明図であり、それぞれ一連の処理を示している。図４は、図３（ａ）及び（ｂ）に示された処理の後に、３次元座標算出部で行われる処理を示す説明図である。
【００２４】
図２に示すように、本実施の形態１では、対象物５０は、建築物である。図２の例では、対象物５０の画像が示されている。画像選択部１１は、本実施の形態１では、予め、対象物５０が写った多数の画像の画像データを取得する。そして、画像選択部１１は、対象物５０において指定された特定箇所の入力を受け付け、受け付けた特定の箇所を含むペア画像を選択する。
【００２５】
例えば、対象物５０の管理者等が、端末装置の画面に、図２に示すように、対象物５０の画像を表示させ、その表示された画像上で、特定箇所を指定したとする。この場合、端末装置は、指定された特定箇所の画像データを、画像選択部１１に入力する。図２において指定された特定箇所は破線で示されている。
【００２６】
画像選択部１１は、指定された特定箇所の画像データが入力されると、この入力を受け付け、予め取得している多数の画像から、指定された特定の箇所を含む画像を、例えば２枚特定し、特定した２枚の画像をペア画像として選択する。
【００２７】
また、特定の箇所は、別の装置によって自動的に指定されても良い。例えば、別の装置が、対象物５０の欠陥部分を機械学習によって学習し、学習した欠陥部分を特定の箇所として、画像選択部１１に入力することもできる。
【００２８】
３次元座標算出部１２は、本実施の形態１では、ペア画像が選択されると、図３（ａ）〜（ｃ）に示す処理を行って、ペア画像に映っている特定箇所の３次元座標を算出する。以下に具体的に説明する。
【００２９】
図３（ａ）に示すように、３次元座標算出部１２は、まず、ペア画像の一方、例えば、画像Ａにおいて、指定された箇所の中心の座標（ｘｔ，ｙｔ）を特定し、更に、画像Ａにおける、中心からの距離がｒ１からｒ２の範囲にある環状の領域内において、３個の特徴点を抽出する。図３（ａ）において、画像Ａから抽出された各特徴点の座標は、それぞれ、（ｘ０，ｙ０）、（ｘ１，ｙ１）、（ｘ２，ｙ２）である。なお、抽出される特徴点の個数は、３個に限定されるものではない。
【００３０】
続いて、図３（ｂ）に示すように、３次元座標算出部１２は、ペア画像の他方である画像Ｂから、画像Ａで抽出された各特徴点に対応する特徴点を抽出する。図３（ｂ）において、画像Ｂから抽出された各特徴点の座標は、それぞれ、（ｘ’０，ｙ’０）、（ｘ’１，ｙ’１）、（ｘ’２，ｙ’２）である。
【００３１】
そして、画像Ａから抽出した各特徴点を、画像Ｂから抽出した各特徴点に変換するための、相関変換行列として、３次元座標算出部１２は、下記の数１を満たす回転行列Ｊ（Ｊ＝（Ｊｘ, Ｊｙ，Ｊｚ））と並進行列ｔ（ｔ＝（ｔｘ,ｔｙ，ｔｚ））とを算出する。なお、ｉ＝０，１，２である。
【００３２】
【数１】
2020111139.tif 000003
【００３３】
そして、３次元座標算出部１２は、上記数１に従い、画像Ａにおける特定箇所の中心の座標（ｘｔ，ｙｔ）に、算出した回転行列Ｒを乗算し、得られた値に、並進行列ｔを加算する。これにより、画像Ｂにおける特定箇所の中心の座標（ｘ’ｔ，ｙ’ｔ）が算出される。なお、本実施の形態では、上述の算出方法以外の方法によって、画像Ｂにおける特定箇所の中心の座標が算出されていても良い。
【００３４】
また、上述の例では、ペア画像それぞれの特定箇所の３次元座標として、特定箇所の中心の３次元座標が抽出されているが、本実施の形態１は、この態様に限定されるものではない。本実施の形態１では、特定箇所の中心以外の点の３次元座標が算出されていても良い。
【００３５】
次に、図４に示すように、３次元座標算出部１２は、画像Ａにおける特定箇所の中心点の座標と、画像Ｂにおける特定箇所の中心点の座標と、画像Ａについて算出されているカメラ行列Ｐと、画像Ｂについて算出されているカメラ行列Ｐ’とを用いて、特定箇所の中心点の３次元座標Ｘを算出する。
【００３６】
具体的には、３次元座標算出部１２は、下記の数２を解くことで３次元座標Ｘを算出する。また、数２における行列Ａは数３で示される。数３において、ｐｉＴは、カメラ行列Ｐの行であり、ｐ’ｉＴは、カメラ行列Ｐ’の行である。
【００３７】
【数２】
2020111139.tif 000004
【００３８】
【数３】
2020111139.tif 000005
【００３９】
［装置動作］
次に、本発明の実施の形態１における座標算出装置１０の動作について図５を用いて説明する。図５は、本発明の実施の形態１における座標算出装置の動作を示すフロー図である。以下の説明においては、適宜図１〜図５を参照する。また、本実施の形態１では、座標算出装置１０を動作させることによって、座標算出方法が実施される。よって、本実施の形態１における座標算出方法の説明は、以下の座標算出装置１０の動作説明に代える。
【００４０】
図５に示すように、最初に、画像選択部１１が、対象物５０において特定箇所が指定されると、指定された特定箇所の入力を受け付ける（ステップＡ１）。
【００４１】
続いて、画像選択部１１は、対象物５０が写った多数の画像の中から、ステップＡ１で入力を受け付けた特定箇所を含むペア画像を選択する（ステップＡ２）。なお、選択される画像はペアには限定されず、３以上であっても良い。また、ステップＡ２では、画像選択部１１は、選択した画像の画像データを３次元座標算出部１２に入力する。
【００４２】
次に、３次元座標算出部１２は、ステップＡ２で選択されたペア画像それぞれ毎に、特定箇所において互いに対応する特徴点を特定する（ステップＡ３）。具体的には、ステップＡ３では、３次元座標算出部１２は、図３（ａ）及び図３（ｂ）に示すように、ペア画像の一方における特定箇所の中心点の座標（ｘｔ，ｙｔ）を特定し、これらから、ペア画像の他方における特定箇所の中心点の座標（ｘ’ｔ，ｙ’ｔ）を算出する。
【００４３】
次に、３次元座標算出部１２は、ペア画像それぞれにおける特定箇所の中心点の座標と、ペア画像それぞれについて算出されているカメラ行列とを用いて、特定箇所の中心点の３次元座標Ｘを算出する（ステップＡ４）。具体的には、ステップＡ４では、３次元座標算出部１２は、上述した数８を解くことで３次元座標Ｘを算出する。
【００４４】
次に、３次元モデル表示部１３は、対象物５０の点群データを用いて、対象物５０の３次元モデルを、表示装置等の画面上に表示し、更に、ステップＡ４で算出された３次元座標Ｘに基づいて、指定された特定箇所を３次元モデル上に表示する（ステップＡ５）。
【００４５】
［実施の形態１における効果］
以上のように本実施の形態１では、指定された特定箇所が写った複数枚の画像から、この特定箇所の３次元座標が算出され、更に、算出された３次元座標は、対象物の３次元モデル上で表示される。このため、対象物が構造物であり、欠陥が発生した箇所が指定されている場合は、構造物の管理者は、簡単に、構造物の３次元モデル上で欠陥が発生した箇所を把握することができる。
【００４６】
［プログラム］
本実施の形態１におけるプログラムは、コンピュータに、図５に示すステップＡ１〜Ａ５を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における座標算出装置と座標算出方法とを実現することができる。この場合、コンピュータのプロセッサは、画像選択部１１、３次元座標算出部１２、及び３次元モデル表示部１３として機能し、処理を行なう。
【００４７】
また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、画像選択部１１、３次元座標算出部１２、及び３次元モデル表示部１３のいずれかとして機能しても良い。
【００４８】
（実施の形態２）
最初に、本実施の形態２における座標算出装置の概略構成について説明する。図６は、本発明の実施の形態２における座標算出装置の概略構成を示すブロック図である。
【００４９】
図６に示す、本実施の形態２における座標算出装置２０も、図１に示した実施の形態１における座標算出装置１０と同様に、対象物において指定された特定箇所の位置を算出し、算出した位置を対象物の３次元モデル上で表示する装置である。図６に示すように、座標算出装置２０は、特徴点抽出部２１と、３次元座標算出部２２と、３次元モデル表示部２３とを備えている。
特徴点抽出部２１は、対象物において特定箇所が指定された場合に、対象物を含む複数の画像から、２以上の画像に含まれ、且つ、指定された特定箇所に関連する特徴点を抽出する。３次元座標算出部２２は、上述の複数の画像を用いて構築された対象物の点群データを用いて、抽出された特徴点の３次元座標を求め、求めた３次元座標を指定された特定箇所の３次元座標とする。
【００５０】
また、３次元モデル表示部２３は、図１に示した３次元モデル表示部１３と同様の機能を備えている。３次元モデル表示部２３は、対象物の点群データを用いて、対象物の３次元モデルを、表示装置又は別の端末装置等の画面上に表示する。更に、３次元モデル表示部２３は、算出された３次元座標に基づいて、指定された特定箇所を３次元モデル上で表示する。
【００５１】
また、対象物の点群データは、実施の形態１でも述べたように、対象物の表面に存在する特徴点の３次元座標の集合で構成されたデータである。
【００５２】
このように、本実施の形態２では、対象物の点群データを用いることによって、特定箇所の３次元座標が算出され、そして、特定箇所は、算出された３次元座標に基づいて、対象物の３次元モデル上で表示される。つまり、本実施の形態２においても、実施の形態１と同様に、対象物の特定箇所が映った２次元画像から、特定箇所の３次元モデル上での位置を特定することが可能となる。
【００５３】
続いて、図７〜図１０を用いて、本実施の形態２における座標算出装置２０の構成及び機能をより具体的に説明する。図７は、本発明の実施の形態２における座標算出装置の構成を具体的に示すブロック図である。図８は、本発明の実施の形態２において特徴点抽出部で行われる処理を示す説明図である。
【００５４】
まず、本実施の形態２においても、対象物は建築物であるとする（図２参照）。また、図７に示すように、本実施の形態２における座標算出装置２０は、上述した特徴点特定部２１、３次元座標算出部２２、及び３次元モデル表示部２３に加えて、対象物の点群データを作成する点群データ作成部２４を備えている。
【００５５】
点群データ作成部２４は、まず、対象物を含む複数の画像それぞれにおいて、その画像以外の画像との間で対応する特徴点が抽出されている場合に、特徴点が抽出されている画像の中から、ペア画像を選択する。次に、点群データ作成部２４は、選択されたペア画像それぞれ毎に、その画像を撮影したカメラについて予め算出されているカメラ行列から、その画像を撮影したカメラの位置の３次元座標と回転行列とを求める。
【００５６】
続いて、点群データ作成部２４は、カメラの位置の３次元座標と回転行列とを用いて、選択したペア画像それぞれの両者に対応する特徴点の３次元座標を算出する。そして、点群データ作成部２４は、３次元座標が算出された特徴点を用いて、点群データを作成する。
【００５７】
特徴点抽出部２１は、本実施の形態２では、まず、対象物５０において指定された特定箇所の入力を受け付ける。具体的には、特徴点抽出部２１は、実施の形態１における画像選択部１１と同様に、管理者等の端末装置又は外部の別の装置から、指定された特定箇所の画像データが入力されると、その入力を受け付ける。
【００５８】
続いて、特徴点抽出部２１は、点群データの生成に用いられた複数の画像の中から、入力された特定箇所を含む２以上の画像を選択し、選択した２以上の画像それぞれから、特定箇所に関連する特徴点を抽出する。具体的には、特徴点抽出部２１は、例えば、図８に示すように、特定箇所に関連する特徴点として、特定箇所の中心点から一定距離内に存在する、最大の特徴量を有する特徴点を抽出する。なお、この場合の中心点は特徴点を抽出るための基準であり、基準は中心点以外の点であっても良い。
【００５９】
３次元座標算出部２２は、本実施の形態２では、特徴点抽出部２１によって抽出された特徴点と、点群データ作成部２４で作成された点群データを構成している各特徴点とを比較する。そして、３次元座標算出部22は、点群データを構成している各特徴点のうち、特徴点抽出部２１によって抽出された特徴点に一致する特徴点を特定し、特定した特徴点の３次元座標を、特徴点抽出部２１によって抽出された特徴点の３次元座標とする。
【００６０】
続いて、３次元座標算出部２２は、特徴点抽出部２１によって抽出された特徴点の３次元座標を算出する。
【００６１】
［装置動作］
次に、本発明の実施の形態２における座標算出装置２０の動作について図９を用いて説明する。図９は、本発明の実施の形態２における座標算出装置の動作を示すフロー図である。以下の説明においては、適宜図７及び図８を参照する。また、本実施の形態２では、座標算出装置２０を動作させることによって、座標算出方法が実施される。よって、本実施の形態２における座標算出方法の説明は、以下の座標算出装置２０の動作説明に代える。
【００６２】
図９に示すように、最初に、点群データ作成部２４が、対象物が写っている複数の画像を用いて、点群データを作成する（ステップＢ１）。なお、ステップＢ１は、後述のステップＢ２が実行される前に行われていれば良く、ステップＢ１の実行時とステップＢ２の実行時との間に一定の期間があっても良い。
【００６３】
次に、特徴点抽出部２１は、対象物５０において特定箇所が指定されると、指定された特定箇所の入力を受け付ける（ステップＢ２）。
【００６４】
続いて、特徴点抽出部２１は、点群データの生成に用いられた複数の画像の中から、入力された特定箇所を含む２以上の画像を選択し、選択した２以上の画像それぞれから、特定箇所に関連する特徴点を抽出する。（ステップＢ３）。
【００６５】
次に、３次元座標算出部２２は、ステップＢ３で抽出された特徴点と、点群データ作成部２４で作成された点群データを構成している各特徴点とを比較する。そして、３次元座標算出部２２は、点群データを構成している各特徴点のうち、特徴点抽出部２１によって抽出された特徴点に一致する特徴点を特定し、特定した特徴点の３次元座標を、ステップＢ３で抽出された特徴点の３次元座標とする（ステップＢ４）。
【００６６】
そして、ステップＢ４で得られた３次元座標は、特定箇所に関連した特徴点の３次元座標であるので、３次元座標算出部２２は、ステップＢ４で得られた３次元座標を、特定箇所の３次元座標として抽出する（ステップＢ５）。
【００６７】
次に、３次元モデル表示部２３は、対象物５０の点群データを用いて、対象物の３次元モデルを、表示装置等の画面上に表示し、更に、ステップＢ５で算出された３次元座標に基づいて、指定された特定箇所を３次元モデル上に表示する（ステップＢ６）。
【００６８】
ここで、図１０〜図１２を用いて、点群データ作成部２４による点群データの作成処理（ステップＢ１）について具体的に説明する。図１０は、点群データの作成のために選択されたペア画像の一例を示す図である。図１１は、カメラ行列から求められる、初期ペア画像のカメラの３次元座標と回転行列との一例を示す図である。図１２は、初期ペア画像の選択後に新たに選択された画像とそれから抽出された特徴点のペアの一例を示す図である。
【００６９】
図１０に示すように、点群データ作成部２４は、最初のペア画像（初期ペア画像）として画像３１と画像３２とを選択する。そして、この場合、画像３１から抽出されている特徴点（ｍ１〜ｍ５）と、画像３２から抽出されている特徴点（ｍ’１〜ｍ’５）とは対応している。ｍ１とｍ’１、ｍ２とｍ’２、ｍ３とｍ’３、ｍ４とｍ’４、ｍ５とｍ’５は、それぞれ特徴点ペアである。また、図１０例では、画像３１はカメラ４１によって撮影され、画像３２はカメラ４２によって撮影されている。図３において、Ｍ（Ｍ１〜Ｍ５）は、各特徴点に対応する対象物上の３次元座標である。
【００７０】
続いて、点群データ作成部２４は、初期ペア画像それぞれから抽出された特徴点ペア（ｍ１〜ｍ５、ｍ’１〜ｍ’５）を用いて、画像３１を撮影したカメラ４１のカメラ行列Ｐと、画像３２を撮影したカメラ４２のカメラ行列Ｐ’とを算出する。また、カメラ行列Ｐ及びカメラ行列Ｐ’は、カメラ４１の位置を原点とすると、それぞれ下記の数４及び数５によって表すことができる。
【００７１】
【数４】
2020111139.tif 000006
【００７２】
【数５】
2020111139.tif 000007
【００７３】
上記数４において、Ｉは、カメラ４１の回転行列である。図１１に示すように、カメラ４１の位置が原点となるので、Ｉ＝（１，１，１）となる。また、上記数１２において、Ｒは、カメラ４２の回転行列である（Ｒ＝（Ｒｘ,Ｒｙ，Ｒｚ））。ｔは、上述したように並進行列であり、カメラ４２の位置の３次元座標に相当する（ｔ＝（ｔｘ,ｔｙ，ｔｚ））。
【００７４】
従って、この場合は、カメラ行列Ｐ及びカメラ行列Ｐ’から逆算することによって、Ｒ及びｔを算出することが出来る。
具体的には、点群データ作成部２４は、各特徴点の座標を用いて、下記の数６〜数８に示す方程式を解くことによって、Ｒ及びｔを算出する。数６〜数８において、ｍハットは、ｍ（ｍ１〜ｍ５）を正規化して得られた画像Ａ上の座標である。同様に、ｍ’ハットは、ｍ’（ｍ’１〜ｍ’５）を正規化して得られた画像Ｂ上の座標である。Ｅは、Ｅｓｓｅｎｔｉａｌ行列、Ｋはカメラのキャリブレーション行列である。
【００７５】
【数６】
2020111139.tif 000008
【００７６】
【数７】
2020111139.tif 000009
【００７７】
【数８】
2020111139.tif 000010
【００７８】
また、キャリブレーション行列Ｋは、下記の数９及び数１０から求めることができる。なお、ｏｘ、ｏｙは、カメラの中心座標である。
【００７９】
【数９】
2020111139.tif 000011
【００８０】
【数１０】
2020111139.tif 000012
【００８１】
次に、点群データ作成部２４は、各カメラの位置の３次元座標と回転行列とを用いて、抽出された特徴点の３次元座標Ｍ（Ｍ１〜Ｍ５）を算出する。具体的には、点群データ作成部２４は、実施の形態１で示した上記数２を解くことで３次元座標Ｍを算出する。なお、この場合は、ＸがＭと読み替えられる。また、この場合も、数２における行列Ａは数３で示される。
【００８２】
次に、図１２に示すように、点群データ作成部２４は、初期ペア画像以外の画像の中から、１つの画像３３を新たに選択し、新たに選択した画像３３と初期ペア画像の１つとを新たなペア画像とする。画像３３は、カメラ４３によって撮影されている。
【００８３】
そして、点群データ作成部２４は、画像３２の特徴点に対応する画像３３の特徴点（ｍ’’１〜ｍ’’３）を特定し、画像３２の特徴点と画像３３との特徴点とを特徴点ペアとする。そして、点群データ作成部２４は、画像３３を撮影したカメラ４３のカメラ行列Ｐｎを算出する。カメラ行列Ｐｎは、下記の数１１によって表すことができる。
【００８４】
【数１１】
2020111139.tif 000013
【００８５】
具体的には、点群データ作成部２４は、画像３３の特定された特徴点を用いて、下記の数１２に示す方程式を解くことによって、カメラ４３のカメラ行列ＰｎのＲｎ及びｔｎを算出する。
【００８６】
【数１２】
2020111139.tif 000014
【００８７】
数１２において、Ｍｉは、新たに選択された画像３３における画像３２と共通する特徴点の３次元座標である。ｍｉハットは、新たに選択された画像３３における特徴点の正規化された座標である。ｄｉは、下記の数１３に示すように、画像５３を撮影したカメラ４３とｍｉハットとの距離を示している。
【００８８】
【数１３】
2020111139.tif 000015
【００８９】
次に、点群データ作成部２４は、算出したカメラ４３のカメラ行列ＰｎのＲｎ及びｔｎを用いて、画像３３の特定された特徴点（ｍ’’１〜ｍ’’３）の３次元座標Ｍｉを算出する。具体的には、点群データ作成部２４は、上記数２を解くことで、特徴点の３次元座標Ｍ（Ｍ１〜Ｍ３）を算出する。以上の処理により、点群データ作成部２４は、対象物の点群データを作成することができる。
【００９０】
［実施の形態２における効果］
以上のように本実施の形態２においても、指定された特定箇所が写った複数枚の画像から、この特定箇所の３次元座標が算出され、更に、算出された３次元座標は、対象物の３次元モデル上で表示される。このため、対象物が構造物であり、欠陥が発生した箇所が指定されている場合は、構造物の管理者は、簡単に、構造物の３次元モデル上で欠陥が発生した箇所を把握することができる。
【００９１】
［プログラム］
本実施の形態２におけるプログラムは、コンピュータに、図９に示すステップＢ１〜Ｂ６を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における座標算出装置と座標算出方法とを実現することができる。この場合、コンピュータのプロセッサは、特徴点特定部２１、３次元座標算出部２２、３次元モデル表示部２３、及び点群データ作成部２４として機能し、処理を行なう。
【００９２】
また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、特徴点特定部２１、３次元座標算出部２２、３次元モデル表示部２３、及び点群データ作成部２４のいずれかとして機能しても良い。
【００９３】
（応用例）
続いて、図１３及び図１４を用いて、上述した実施の形態１及び２の応用例について説明する。図１３は、特定の領域に存在する地物の３次元モデルの一例を示す図である。図１４は、図１３に示す地物の１つの詳細な３次元モデルの一例を示す図である。本応用例では、図１３に示す３次元モデルに、図１４に示す３次元モデルを結合する例について説明する。
【００９４】
図１３に示すように、領域６０に存在する多数の地物６１〜６９の３次元モデル（以下「広範囲３次元モデル」と表記する）が構築されている。また、この広範囲３次元モデルは、領域６０全体を含む多数の画像から点群データを作成することによって構築されている。
【００９５】
また、図１４に示すように、図１３に示された地物６１〜６９のうち、地物６１については、図１３に示された３次元モデルよりも詳細な３次元モデル（以下「詳細３次元モデル」と表記する）が構築されている。図１４に示す地物６１の詳細３次元モデルは、地物６１のみの多数の画像から点群データを作成することによって構築されている。
【００９６】
図１３に示す３次元モデルと、図１４に示す３次元モデルとが存在する場合において、上述した実施の形態１及び２における座標算出装置によれば、前者に後者を結合することができる。以下に詳細に説明する。
【００９７】
最初に、図１３に示すように、座標算出装置は、広範囲３次元モデルの生成に使用した多数の画像の中から、地物６１が映っているペア画像を選択する。次いで、座標算出装置は、選択したペア画像から、３個以上ｎ個以下の地物６１の特徴点ペアを抽出する。ｎは３以上の自然数である。
【００９８】
図１３の例では、３つの特徴点ペア (ｘ１０，ｙ１０)（ｘ’１０，ｙ’１０）、(ｘ１１，ｙ１１)（ｘ’１１，ｙ’１１）、及び(ｘ１２，ｙ１２)（ｘ’１２，ｙ’１２）が抽出されている。そして、座標算出装置は、抽出した特徴点ペアを用いて、地物６１上の各特徴点の３次元座標Ｘ１０，Ｘ１１、及びＸ１２を算出する。
【００９９】
続いて、図１４に示すように、座標算出装置は、地物６１の詳細３次元モデルの生成に使用した多数の画像の中から、図１３で抽出された特徴点と同じ点を含むペア画像を選択する。次いで、座標算出装置は、選択したペア画像から、図１３で抽出された特徴点と同じ点とを、対応する点のペアとして抽出する。
【０１００】
図１４の例では、３つの対応する点のペア (ｘ２０，ｙ２０)（ｘ’２０，ｙ’２０）、(ｘ２１，ｙ２１)（ｘ’２１，ｙ’２１）、及び(ｘ２２，ｙ２２)（ｘ’２２，ｙ’２２）が抽出されている。そして、座標算出装置は、抽出した対応する点のペアを用いて、地物６１上の各対応する点の３次元座標Ｘ２０，Ｘ２１、及びＸ２２を算出する。
【０１０１】
次いで、座標算出装置は、数１４に示す連立方程式を解いて、広範囲３次元モデルから算出した３次元座標と、詳細３次元モデルから算出した３次元座標とを満足する、回転行列Ｒと並進行列ｔとを算出する。
【０１０２】
【数１４】
2020111139.tif 000016
【０１０３】
その後、座標算出装置は、算出した回転行列Ｒと並進行列ｔとを用いて、詳細３次元モデルの元になった点群データの座標系を、広範囲３次元モデルの元になった点群データ座標系に変換する。これにより、広範囲３次元モデルに、詳細３次元モデルを結合することが可能となる。
【０１０４】
（物理構成）
ここで、実施の形態１及び２におけるプログラムを実行することによって、座標算出装置を実現するコンピュータについて図１５を用いて説明する。図１５は、本発明の実施の形態１または２における座標算出装置を実現するコンピュータの一例を示すブロック図である。
【０１０５】
図１５に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。また、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。
【０１０６】
ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
【０１０７】
また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
【０１０８】
データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
【０１０９】
また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。
【０１１０】
なお、本実施の形態における座標算出装置は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、座標算出装置は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
【０１１１】
上述した実施の形態の一部又は全部は、以下に記載する（付記１）〜（付記１２）によって表現することができるが、以下の記載に限定されるものではない。
【０１１２】
（付記１）
対象物において特定箇所が指定された場合に、前記対象物を撮影した画像の中から、前記特定箇所を含む画像を２以上選択する、画像選択部と、
選択された前記画像それぞれ毎に、前記特定箇所において互いに対応する点の位置を特定し、そして、前記画像それぞれ毎に特定された前記点の位置と、前記画像それぞれ毎に予め算出されているカメラ行列とを用いて、前記特定箇所の３次元座標を算出する、３次元座標算出部と、
前記対象物の点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、３次元モデル表示部と、
を備えている、
ことを特徴とする座標算出装置。
【０１１３】
（付記２）
付記１に記載の座標算出装置であって、
前記対象物の点群データが、前記対象物を撮影した複数の画像それぞれから、特徴点を抽出し、抽出した各特徴点を用いて構築されている、
ことを特徴とする座標算出装置。
【０１１４】
（付記３）
対象物において特定箇所が指定された場合に、前記対象物を含む複数の画像から、２以上の前記画像に含まれ、且つ、指定された前記特定箇所に関連する特徴点を抽出する、特徴点抽出部と、
前記複数の画像を用いて構築された前記対象物の点群データを用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標を指定された前記特定箇所の３次元座標とする、３次元座標算出部と、
前記点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、３次元モデル表示部と、
を備えている、
ことを特徴とする座標算出装置。
【０１１５】
（付記４）
付記３に記載の座標算出装置であって、
前記対象物の点群データを作成する、点群データ作成部を更に備え、
前記点群データ作成部は、前記対象物を含む前記複数の画像それぞれにおいて、当該画像以外の画像との間で対応する特徴点が抽出されている場合に、前記特徴点が抽出されている前記画像の中から、ペア画像を選択し、
選択された前記ペア画像それぞれ毎に、当該画像を撮影したカメラについて予め算出されているカメラ行列から、当該画像を撮影したカメラの位置の３次元座標と回転行列とを求め、更に、前記カメラの位置の３次元座標と前記回転行列とを用いて、前記ペア画像それぞれの両者に対応する前記特徴点の３次元座標を算出し、
前記３次元座標が算出された前記特徴点を用いて、前記点群データを作成する、
ことを特徴とする座標算出装置。
【０１１６】
（付記５）
（ａ）対象物において特定箇所が指定された場合に、前記対象物を撮影した画像の中から、前記特定箇所を含む画像を２以上選択する、ステップと、
（ｂ）選択された前記画像それぞれ毎に、前記特定箇所において互いに対応する点の位置を特定し、そして、前記画像それぞれ毎に特定された前記点の位置と、前記画像それぞれ毎に予め算出されているカメラ行列とを用いて、前記特定箇所の３次元座標を算出する、ステップと、
（ｃ）前記対象物の点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、ステップと、
を有する、
ことを特徴とする座標算出方法。
【０１１７】
（付記６）
付記５に記載の座標算出方法であって、
前記対象物の点群データが、前記対象物を撮影した複数の画像それぞれから、特徴点を抽出し、抽出した各特徴点を用いて構築されている、
ことを特徴とする座標算出方法。
【０１１８】
（付記７）
（ａ）対象物において特定箇所が指定された場合に、前記対象物を含む複数の画像から、２以上の前記画像に含まれ、且つ、指定された前記特定箇所に関連する特徴点を抽出する、ステップと、
（ｂ）前記複数の画像を用いて構築された前記対象物の点群データを用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標を指定された前記特定箇所の３次元座標とする、ステップと、
（ｃ）前記点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、ステップと、
を有する、
ことを特徴とする座標算出方法。
【０１１９】
（付記８）
付記７に記載の座標算出方法であって、
（ｄ）前記対象物の点群データを作成する、ステップを更に有し、
前記（ｄ）のステップにおいて、前記対象物を含む前記複数の画像それぞれにおいて、当該画像以外の画像との間で対応する特徴点が抽出されている場合に、前記特徴点が抽出されている前記画像の中から、ペア画像を選択し、
選択された前記ペア画像それぞれ毎に、当該画像を撮影したカメラについて予め算出されているカメラ行列から、当該画像を撮影したカメラの位置の３次元座標と回転行列とを求め、更に、前記カメラの位置の３次元座標と前記回転行列とを用いて、前記ペア画像それぞれの両者に対応する前記特徴点の３次元座標を算出し、
前記３次元座標が算出された前記特徴点を用いて、前記点群データを作成する、
ことを特徴とする座標算出方法。
【０１２０】
（付記９）
コンピュータに、
（ａ）対象物において特定箇所が指定された場合に、前記対象物を撮影した画像の中から、前記特定箇所を含む画像を２以上選択する、ステップと、
（ｂ）選択された前記画像それぞれ毎に、前記特定箇所において互いに対応する点の位置を特定し、そして、前記画像それぞれ毎に特定された前記点の位置と、前記画像それぞれ毎に予め算出されているカメラ行列とを用いて、前記特定箇所の３次元座標を算出する、ステップと、
（ｃ）前記対象物の点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、ステップと、
を実行させる命令を含む、プログラムを記録している、コンピュータ読み取り可能な記録媒体。
【０１２１】
（付記１０）
付記９に記載のコンピュータ読み取り可能な記録媒体であって、
前記対象物の点群データが、前記対象物を撮影した複数の画像それぞれから、特徴点を抽出し、抽出した各特徴点を用いて構築されている、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【０１２２】
（付記１１）
コンピュータに、
（ａ）対象物において特定箇所が指定された場合に、前記対象物を含む複数の画像から、２以上の前記画像に含まれ、且つ、指定された前記特定箇所に関連する特徴点を抽出する、ステップと、
（ｂ）前記複数の画像を用いて構築された前記対象物の点群データを用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標を指定された前記特定箇所の３次元座標とする、ステップと、
（ｃ）前記点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、ステップと、
を実行させる命令を含む、プログラムを記録している、コンピュータ読み取り可能な記録媒体。
【０１２３】
（付記１２）
付記１１に記載のコンピュータ読み取り可能な記録媒体であって、
前記プログラムが、前記コンピュータに、
（ｄ）前記対象物の点群データを作成する、ステップを実行させる命令を更に含み、
前記（ｄ）のステップにおいて、前記対象物を含む前記複数の画像それぞれにおいて、当該画像以外の画像との間で対応する特徴点が抽出されている場合に、前記特徴点が抽出されている前記画像の中から、ペア画像を選択し、
選択された前記ペア画像それぞれ毎に、当該画像を撮影したカメラについて予め算出されているカメラ行列から、当該画像を撮影したカメラの位置の３次元座標と回転行列とを求め、更に、前記カメラの位置の３次元座標と前記回転行列とを用いて、前記ペア画像それぞれの両者に対応する前記特徴点の３次元座標を算出し、
前記３次元座標が算出された前記特徴点を用いて、前記点群データを作成する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【０１２４】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１２５】
この出願は、２０１８年１１月２９日に出願された日本出願特願２０１８−２２４０１５を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【０１２６】
以上のように本発明によれば、欠陥部分等が映った２次元画像から、欠陥部分等の３次元モデル上での位置を特定することができる。本発明は、構造物の維持及び管理、特定の領域における捜索等に利用できる。
【符号の説明】
【０１２７】
１０  座標算出装置（実施の形態１）
１１  画像選択部
１２  ３次元座標算出部
２０  座標算出装置（実施の形態２）
２１  特徴点特定部
２２  ３次元座標算出部
２３  ３次元モデル表示部
２４  点群データ作成部
３１、３２、３３  画像
４１、４２、４３  カメラ
５０  対象物
６０  領域
６１〜６９  地物
１１０  コンピュータ
１１１  ＣＰＵ
１１２  メインメモリ
１１３  記憶装置
１１４  入力インターフェイス
１１５  表示コントローラ
１１６  データリーダ／ライタ
１１７  通信インターフェイス
１１８  入力機器
１１９  ディスプレイ装置
１２０  記録媒体
１２１  バス
【図１】
2020111139.tif 000017
【図２】
2020111139.tif 000018
【図３】
2020111139.tif 000019
【図４】
2020111139.tif 000020
【図５】
2020111139.tif 000021
【図６】
2020111139.tif 000022
【図７】
2020111139.tif 000023
【図８】
2020111139.tif 000024
【図９】
2020111139.tif 000025
【図１０】
2020111139.tif 000026
【図１１】
2020111139.tif 000027
【図１２】
2020111139.tif 000028
【図１３】
2020111139.tif 000029
【図１４】
2020111139.tif 000030
【図１５】
2020111139.tif 000031
【手続補正書】
【提出日】令和3年5月24日(2021.5.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
対象物において特定箇所が指定された場合に、前記対象物を撮影した画像の中から、前記特定箇所を含む画像を２以上選択する、画像選択手段と、
選択された前記画像それぞれ毎に、前記特定箇所において互いに対応する点の位置を特定し、そして、前記画像それぞれ毎に特定された前記点の位置と、前記画像それぞれ毎に予め算出されているカメラ行列とを用いて、前記特定箇所の３次元座標を算出する、３次元座標算出手段と、
前記対象物の点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、３次元モデル表示手段と、
を備えている、
ことを特徴とする座標算出装置。
【請求項２】
請求項１に記載の座標算出装置であって、
前記対象物の点群データが、前記対象物を撮影した複数の画像それぞれから、特徴点を抽出し、抽出した各特徴点を用いて構築されている、
ことを特徴とする座標算出装置。
【請求項３】
対象物において特定箇所が指定された場合に、前記対象物を含む複数の画像から、２以上の前記画像に含まれ、且つ、指定された前記特定箇所に関連する特徴点を抽出する、特徴点抽出手段と、
前記複数の画像を用いて構築された前記対象物の点群データを用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標を指定された前記特定箇所の３次元座標とする、３次元座標算出手段と、
前記点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、３次元モデル表示手段と、
を備えている、
ことを特徴とする座標算出装置。
【請求項４】
請求項３に記載の座標算出装置であって、
前記対象物の点群データを作成する、点群データ作成手段を更に備え、
前記点群データ作成手段は、前記対象物を含む前記複数の画像それぞれにおいて、当該画像以外の画像との間で対応する特徴点が抽出されている場合に、前記特徴点が抽出されている前記画像の中から、ペア画像を選択し、
選択された前記ペア画像それぞれ毎に、当該画像を撮影したカメラについて予め算出されているカメラ行列から、当該画像を撮影したカメラの位置の３次元座標と回転行列とを求め、更に、前記カメラの位置の３次元座標と前記回転行列とを用いて、前記ペア画像それぞれの両者に対応する前記特徴点の３次元座標を算出し、
前記３次元座標が算出された前記特徴点を用いて、前記点群データを作成する、
ことを特徴とする座標算出装置。
【請求項５】
（ａ）対象物において特定箇所が指定された場合に、前記対象物を撮影した画像の中から、前記特定箇所を含む画像を２以上選択し、
（ｂ）選択された前記画像それぞれ毎に、前記特定箇所において互いに対応する点の位置を特定し、そして、前記画像それぞれ毎に特定された前記点の位置と、前記画像それぞれ毎に予め算出されているカメラ行列とを用いて、前記特定箇所の３次元座標を算出し、
（ｃ）前記対象物の点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、
ことを特徴とする座標算出方法。
【請求項６】
請求項５に記載の座標算出方法であって、
前記対象物の点群データが、前記対象物を撮影した複数の画像それぞれから、特徴点を抽出し、抽出した各特徴点を用いて構築されている、
ことを特徴とする座標算出方法。
【請求項７】
（ａ）対象物において特定箇所が指定された場合に、前記対象物を含む複数の画像から、２以上の前記画像に含まれ、且つ、指定された前記特定箇所に関連する特徴点を抽出し、
（ｂ）前記複数の画像を用いて構築された前記対象物の点群データを用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標を指定された前記特定箇所の３次元座標とし、
（ｃ）前記点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、
ことを特徴とする座標算出方法。
【請求項８】
請求項７に記載の座標算出方法であって、
更に、（ｄ）前記対象物の点群データを作成し、
前記（ｄ）において、前記対象物を含む前記複数の画像それぞれにおいて、当該画像以外の画像との間で対応する特徴点が抽出されている場合に、前記特徴点が抽出されている前記画像の中から、ペア画像を選択し、
選択された前記ペア画像それぞれ毎に、当該画像を撮影したカメラについて予め算出されているカメラ行列から、当該画像を撮影したカメラの位置の３次元座標と回転行列とを求め、更に、前記カメラの位置の３次元座標と前記回転行列とを用いて、前記ペア画像それぞれの両者に対応する前記特徴点の３次元座標を算出し、
前記３次元座標が算出された前記特徴点を用いて、前記点群データを作成する、
ことを特徴とする座標算出方法。
【請求項９】
コンピュータに、
（ａ）対象物において特定箇所が指定された場合に、前記対象物を撮影した画像の中から、前記特定箇所を含む画像を２以上選択する、ステップと、
（ｂ）選択された前記画像それぞれ毎に、前記特定箇所において互いに対応する点の位置を特定し、そして、前記画像それぞれ毎に特定された前記点の位置と、前記画像それぞれ毎に予め算出されているカメラ行列とを用いて、前記特定箇所の３次元座標を算出する、ステップと、
（ｃ）前記対象物の点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、ステップと、
を実行させる、プログラム。
【請求項１０】
コンピュータに、
（ａ）対象物において特定箇所が指定された場合に、前記対象物を含む複数の画像から、２以上の前記画像に含まれ、且つ、指定された前記特定箇所に関連する特徴点を抽出する、ステップと、
（ｂ）前記複数の画像を用いて構築された前記対象物の点群データを用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標を指定された前記特定箇所の３次元座標とする、ステップと、
（ｃ）前記点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、ステップと、
を実行させる、プログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、対象物の特定箇所の座標を点群データ上で算出するための、座標算出装置及び座標算出方法に関し、更には、これらを実現するためのプログラムに関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明の目的の一例は、上記問題を解消し、対象物の特定箇所が映った２次元画像から、特定箇所の３次元モデル上での位置を特定し得る、座標算出装置、座標算出方法、及びプログラムを提供することにある。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
更に、上記目的を達成するため、本発明の一側面における第１のプログラムは、
コンピュータに、
（ａ）対象物において特定箇所が指定された場合に、前記対象物を撮影した画像の中から、前記特定箇所を含む画像を２以上選択する、ステップと、
（ｂ）選択された前記画像それぞれ毎に、前記特定箇所において互いに対応する点の位置を特定し、そして、前記画像それぞれ毎に特定された前記点の位置と、前記画像それぞれ毎に予め算出されているカメラ行列とを用いて、前記特定箇所の３次元座標を算出する、ステップと、
（ｃ）前記対象物の点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、ステップと、
を実行させる、ことを特徴とする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
更に、上記目的を達成するため、本発明の一側面における第２のプログラムは、
コンピュータに、
（ａ）対象物において特定箇所が指定された場合に、前記対象物を含む複数の画像から、２以上の前記画像に含まれ、且つ、指定された前記特定箇所に関連する特徴点を抽出する、ステップと、
（ｂ）前記複数の画像を用いて構築された前記対象物の点群データを用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標を指定された前記特定箇所の３次元座標とする、ステップと、
（ｃ）前記点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、ステップと、
を実行させる、ことを特徴とする。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１２０
【補正方法】変更
【補正の内容】
【０１２０】
（付記９）
コンピュータに、
（ａ）対象物において特定箇所が指定された場合に、前記対象物を撮影した画像の中から、前記特定箇所を含む画像を２以上選択する、ステップと、
（ｂ）選択された前記画像それぞれ毎に、前記特定箇所において互いに対応する点の位置を特定し、そして、前記画像それぞれ毎に特定された前記点の位置と、前記画像それぞれ毎に予め算出されているカメラ行列とを用いて、前記特定箇所の３次元座標を算出する、ステップと、
（ｃ）前記対象物の点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、ステップと、
を実行させる、プログラム。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１２１
【補正方法】変更
【補正の内容】
【０１２１】
（付記１０）
付記９に記載のプログラムであって、
前記対象物の点群データが、前記対象物を撮影した複数の画像それぞれから、特徴点を抽出し、抽出した各特徴点を用いて構築されている、
ことを特徴とするプログラム。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１２２
【補正方法】変更
【補正の内容】
【０１２２】
（付記１１）
コンピュータに、
（ａ）対象物において特定箇所が指定された場合に、前記対象物を含む複数の画像から、２以上の前記画像に含まれ、且つ、指定された前記特定箇所に関連する特徴点を抽出する、ステップと、
（ｂ）前記複数の画像を用いて構築された前記対象物の点群データを用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標を指定された前記特定箇所の３次元座標とする、ステップと、
（ｃ）前記点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、ステップと、
を実行させる、プログラム。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１２３
【補正方法】変更
【補正の内容】
【０１２３】
（付記１２）
付記１１に記載のプログラムであって、
前記コンピュータに、
（ｄ）前記対象物の点群データを作成する、ステップを更に実行させ、
前記（ｄ）のステップにおいて、前記対象物を含む前記複数の画像それぞれにおいて、当該画像以外の画像との間で対応する特徴点が抽出されている場合に、前記特徴点が抽出されている前記画像の中から、ペア画像を選択し、
選択された前記ペア画像それぞれ毎に、当該画像を撮影したカメラについて予め算出されているカメラ行列から、当該画像を撮影したカメラの位置の３次元座標と回転行列とを求め、更に、前記カメラの位置の３次元座標と前記回転行列とを用いて、前記ペア画像それぞれの両者に対応する前記特徴点の３次元座標を算出し、
前記３次元座標が算出された前記特徴点を用いて、前記点群データを作成する、
ことを特徴とするプログラム。
【国際調査報告】
2020111139.tif 000032
2020111139.tif 000033
2020111139.tif 000034
2020111139.tif 000035