(57)【要約】【課題】カメラで撮影した画像群から所定の用途のための画像を選択する際に、好適な画像を容易に選択することができ、ユーザの作業の手間を低減できる技術を提供する。【解決手段】本画像表示システムにおける計算機システム１は、撮影された画像群２０１を入力し、画像群２０１の一覧を一覧画面４０１に表示し、ユーザの操作に基づいて画像群２０１から選択された第１画像を個別画面４０２に表示する。計算機システム１は、第１画像とその周辺にある候補画像との組における空間的な位置関係の判断、および撮影範囲に関する重複状態の判断に基づいて、第１画像に対する隣接画像を判断し、個別画面４０２で、ユーザの操作に基づいて、第１画像に対する隣接画像を選択して表示する。【選択図】図３
2020005186.tif 000002
【特許請求の範囲】
【請求項１】
計算機システムによって構成される画像表示システムであって、
前記計算機システムは、
撮影の日時、位置、および方向が異なる複数の画像を含む画像群を入力し、
前記画像群の一覧を一覧画面に表示し、
ユーザの操作に基づいて前記画像群から選択された第１画像を個別画面に表示し、
前記第１画像と前記第１画像に対して空間的に周辺にある候補画像との組における空間的な位置関係の判断、および撮影範囲に関する重複状態の判断に基づいて、前記第１画像に対する隣接画像を判断し、
前記個別画面で、前記ユーザの操作に基づいて、前記第１画像に対する前記隣接画像を第２画像として選択し、前記第２画像を新たな前記第１画像として表示する、
画像表示システム。
【請求項２】
請求項１記載の画像表示システムにおいて、
前記計算機システムは、前記個別画面で、前記第１画像に対し、前記隣接画像の存在および方向を表すリンク画像を表示し、前記リンク画像に対する前記ユーザの操作に基づいて、前記隣接画像を前記第２画像として選択し、前記第２画像を新たな前記第１画像として表示する、
画像表示システム。
【請求項３】
請求項１記載の画像表示システムにおいて、
前記計算機システムは、前記第１画像と前記候補画像との組で、前記重複状態として、前記撮影範囲の重複率を計算し、前記重複率が重複率閾値の範囲内で最小となる前記候補画像を、前記隣接画像として選択する、
画像表示システム。
【請求項４】
請求項１記載の画像表示システムにおいて、
前記計算機システムは、前記画像群の各画像の撮影の位置を含む画像情報を用いて、前記第１画像と前記候補画像との組で、前記空間的な位置関係として、前記第１画像の位置と前記候補画像の位置との距離を計算し、前記距離が最も小さい前記候補画像を、前記隣接画像として選択する、
画像表示システム。
【請求項５】
請求項１記載の画像表示システムにおいて、
前記計算機システムは、前記画像群の各画像の撮影の位置を含む画像情報を用いて、前記第１画像と前記候補画像との組で、前記空間的な位置関係として、前記第１画像の撮影の方向と前記候補画像の撮影の方向とが概略同じである場合と、異なる場合とに分けて、それぞれの場合で前記隣接画像を判断する、
画像表示システム。
【請求項６】
請求項２記載の画像表示システムにおいて、
前記計算機システムは、前記個別画面で、前記リンク画像として、前記第１画像に対する前記隣接画像が存在する方向を表す形状を持つリンク画像を表示する、
画像表示システム。
【請求項７】
請求項２記載の画像表示システムにおいて、
前記空間的な位置関係として、前記第１画像の前記撮影範囲が配置されている第１面内の第１方向に対し、前記隣接画像の前記撮影範囲が配置されている第２面内の第２方向がある場合に、
前記計算機システムは、前記個別画面で、前記リンク画像として、前記第１方向から前記第２方向への変化を表す形状を持つリンク画像を表示する、
画像表示システム。
【請求項８】
請求項１記載の画像表示システムにおいて、
前記第１画像と前記隣接画像との重複領域がある場合に、
前記計算機システムは、前記個別画面で、前記第１画像のうちの前記重複領域を、画像内容を削除した所定の表現で表示する、
画像表示システム。
【請求項９】
請求項１記載の画像表示システムにおいて、
前記第１画像の周辺に未撮影領域がある場合に、
前記計算機システムは、前記個別画面で、前記第１画像の周辺の前記未撮影領域を、前記未撮影領域であることを表す所定の表現で表示する、
画像表示システム。
【請求項１０】
請求項１記載の画像表示システムにおいて、
前記第１画像と前記隣接画像との重複領域がある場合に、
前記計算機システムは、前記個別画面で、前記第１画像のうちの前記重複領域を、前記重複領域の輪郭線または前記重複領域を表す所定の表現で表示する、
画像表示システム。
【請求項１１】
請求項１記載の画像表示システムにおいて、
前記計算機システムは、前記画像群のうち、前記個別画面での前記ユーザの操作を通じて選択された画像群の一覧を、前記一覧画面に表示する、
画像表示システム。
【請求項１２】
請求項１記載の画像表示システムにおいて、
前記計算機システムは、前記画像群のうち、前記個別画面での前記ユーザの操作を通じて選択された画像群を、前記空間的な位置関係に合わせて配置し、前記一覧画面に表示する、
画像表示システム。
【請求項１３】
請求項１記載の画像表示システムにおいて、
前記画像群は、構造物の表面領域の劣化検査の用途のためにカメラで撮影された画像群であり、
前記個別画面は、前記ユーザの前記劣化検査の作業のための操作を受け付ける劣化検査画面である、
画像表示システム。
【請求項１４】
請求項１記載の画像表示システムにおいて、
前記画像群は、構造物の３次元モデル生成の用途のためにカメラで撮影された画像群である、
画像表示システム。
【請求項１５】
請求項１記載の画像表示システムにおいて、
前記画像群は、カメラを搭載した飛行体によって空撮された画像群である、
画像表示システム。
【請求項１６】
計算機システムによって構成される画像表示システムにおける画像表示方法であって、
前記計算機システムにおいて実行されるステップとして、
撮影の日時、位置、および方向が異なる複数の画像を含む画像群を入力するステップと、
前記画像群の一覧を一覧画面に表示するステップと、
ユーザの操作に基づいて前記画像群から選択された第１画像を個別画面に表示するステップと、
前記第１画像と前記第１画像に対して空間的に周辺にある候補画像との組における空間的な位置関係の判断、および撮影範囲に関する重複状態の判断に基づいて、前記第１画像に対する隣接画像を判断するステップと、
前記個別画面で、前記ユーザの操作に基づいて、前記第１画像に対する前記隣接画像を第２画像として選択し、前記第２画像を新たな前記第１画像として表示するステップと、
を有する、画像表示方法。
【請求項１７】
請求項１６記載の画像表示方法において、
前記計算機システムが、前記個別画面で、前記第１画像に対し、前記隣接画像の存在および方向を表すリンク画像を表示し、前記リンク画像に対する前記ユーザの操作に基づいて、前記隣接画像を前記第２画像として選択し、前記第２画像を新たな前記第１画像として表示するステップを有する、
画像表示方法。
【請求項１８】
請求項１６記載の画像表示方法において、
前記計算機システムが、前記第１画像と前記候補画像との組で、前記重複状態として、前記撮影範囲の重複率を計算し、前記重複率が重複率閾値の範囲内で最小となる前記候補画像を、前記隣接画像として選択するステップを有する、
画像表示方法。
【請求項１９】
請求項１６記載の画像表示方法において、
前記計算機システムが、前記画像群の各画像の撮影の位置を含む画像情報を用いて、前記第１画像と前記候補画像との組で、前記空間的な位置関係として、前記第１画像の位置と前記候補画像の位置との距離を計算し、前記距離が最も小さい前記候補画像を、前記隣接画像として選択するステップを有する、
画像表示方法。
【請求項２０】
請求項１６記載の画像表示方法において、
前記計算機システムが、前記画像群の各画像の撮影の位置を含む画像情報を用いて、前記第１画像と前記候補画像との組で、前記空間的な位置関係として、前記第１画像の撮影の方向と前記候補画像の撮影の方向とが概略同じである場合と、異なる場合とに分けて、それぞれの場合で前記隣接画像を判断するステップを有する、
画像表示方法。
【請求項２１】
請求項１７記載の画像表示方法において、
前記計算機システムが、前記個別画面で、前記リンク画像として、前記第１画像に対する前記隣接画像が存在する方向を表す形状を持つリンク画像を表示するステップを有する、
画像表示方法。
【請求項２２】
請求項１７記載の画像表示方法において、
前記空間的な位置関係として、前記第１画像の前記撮影範囲が配置されている第１面内の第１方向に対し、前記隣接画像の前記撮影範囲が配置されている第２面内の第２方向がある場合に、
前記計算機システムが、前記個別画面で、前記リンク画像として、前記第１方向から前記第２方向への変化を表す形状を持つリンク画像を表示するステップを有する、
画像表示方法。
【請求項２３】
請求項１６記載の画像表示方法において、
前記第１画像と前記隣接画像との重複領域がある場合に、
前記計算機システムが、前記個別画面で、前記第１画像のうちの前記重複領域を、画像内容を削除した所定の表現で表示するステップを有する、
画像表示方法。
【請求項２４】
請求項１６記載の画像表示方法において、
前記第１画像の周辺に未撮影領域がある場合に、
前記計算機システムは、前記個別画面で、前記第１画像の周辺の前記未撮影領域を、前記未撮影領域であることを表す所定の表現で表示するステップを有する、
画像表示方法。
【請求項２５】
請求項１６記載の画像表示方法において、
前記第１画像と前記隣接画像との重複領域がある場合に、
前記計算機システムが、前記個別画面で、前記第１画像のうちの前記重複領域を、前記重複領域の輪郭線または前記重複領域を表す所定の表現で表示するステップを有する、
画像表示方法。
【請求項２６】
請求項１６記載の画像表示方法において、
前記計算機システムが、前記画像群のうち、前記個別画面での前記ユーザの操作を通じて選択された画像群の一覧を、前記一覧画面に表示するステップを有する、
画像表示方法。
【請求項２７】
請求項１６記載の画像表示方法において、
前記計算機システムが、前記画像群のうち、前記個別画面での前記ユーザの操作を通じて選択された画像群を、前記空間的な位置関係に合わせて配置し、前記一覧画面に表示するステップを有する、
画像表示方法。
【請求項２８】
請求項１６記載の画像表示方法において、
前記画像群は、構造物の表面領域の劣化検査の用途のためにカメラで撮影された画像群であり、
前記個別画面は、前記ユーザの前記劣化検査の作業のための操作を受け付ける劣化検査画面である、
画像表示方法。
【請求項２９】
請求項１６記載の画像表示方法において、
前記画像群は、構造物の３次元モデル生成の用途のためにカメラで撮影された画像群である、
画像表示方法。
【請求項３０】
請求項１６記載の画像表示方法において、
前記画像群は、カメラを搭載した飛行体によって空撮された画像群である、
画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像群の処理や表示の技術に関する。また、本発明は、構造物の劣化検査支援等に適用して有用な技術に関する。
【背景技術】
【０００２】
各種の用途において、ユーザは、カメラを用いて画像群（動画または複数の静止画）を撮影し、ＰＣ等の計算機に入力する。ユーザは、計算機で処理した画像群や、画像群から選択した個別の画像を、表示画面に表示する。ユーザは、表示画面で、画像群や個別の画像を確認し、用途に応じた作業を行う。作業は、例えば一般的な写真画像の編集作業が挙げられる。
【０００３】
上記画像群を扱う用途の一例として、構造物の表面を撮影した画像から、構造物の表面の劣化等の状態を検査や診断するためのシステムや機能（構造物劣化検査等と記載する場合がある）が挙げられる。保守点検作業を行う作業者であるユーザは、人手によって、あるいはドローンやロボット等を用いて、保守点検対象の構造物の表面をカメラで撮影する。構造物は、各種の建築物やインフラ設備等が挙げられる。ユーザは、カメラで撮影した画像群を、計算機に入力し、計算機で処理した画像群を、表示画面に表示する。ユーザは、表示画面で、画像群から検査対象の個別の画像を選択して表示画面に表示する。ユーザは、例えば目視検査の作業を行う。その場合、ユーザは、表示画面の個別の画像を見て、ひび割れや腐食や剥離等の状態（総称して劣化と記載する場合がある）の有無や箇所を目視で確認し検出する。
【０００４】
上記画像群を扱う用途の他の一例としては、構造物の表面を撮影した画像から、公知のＳＦＭ（Structure For Motion）等の処理に基づいて、構造物の３次元モデルを生成、取得し、表示画面に表示するシステムや機能（構造物３次元モデル生成等と記載する場合がある）が挙げられる。
【０００５】
上記画像表示に係わる先行技術例としては、特開２０００−９０２３２号公報（特許文献１）が挙げられる。特許文献１には、パノラマ画像合成装置等として、デジタルカメラで画像の一部が重複するように被写体像を複数に分割して撮像し、撮像して得られた複数の画像を合成してパノラマ画像を生成するステップ、パノラマ画像の全体プレビューと部分プレビューを同一ウィンドウに同時表示するステップ等について記載されている。
【０００６】
また、上記構造物劣化検査に係わる先行技術例としては、特開平１１−１３２９６１号公報（特許文献２）が挙げられる。特許文献２には、構造物用検査装置として、被検査物を複数に分割して撮像し、撮像された複数の画像データに、対応する位置情報や撮影情報を付加した画像データを記憶し、被検査物の検査位置を指定することにより、画像データを選択し、検査位置およびその周辺の複数の画像データをつなぎ合わせた画像として表示する旨が記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０００−９０２３２号公報
【特許文献２】特開平１１−１３２９６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来の画像表示システムでは、ユーザが表示画面で画像群から所定の用途のための個別の画像を選択する際に、好適な画像の選択が難しい場合や、作業の手間が大きい場合がある。例えば、構造物劣化検査支援の用途の場合に、ユーザが表示画面で多数の画像から検査対象画像を選択する必要がある。その際、画像間で重複（オーバーラップ）する部分が少ない好適な画像の選択が難しい場合があり、劣化検査作業の手間が大きい。
【０００９】
本発明の目的は、画像表示技術に関して、カメラで撮影した画像群から所定の用途のための画像を選択する際に、好適な画像を容易に選択することができ、ユーザの作業の手間を低減できる技術を提供することである。
【課題を解決するための手段】
【００１０】
本発明のうち代表的な実施の形態は、画像表示システムであって、以下に示す構成を有することを特徴とする。一実施の形態の画像表示システムは、計算機システムによって構成される画像表示システムであって、前記計算機システムは、撮影の日時、位置、および方向が異なる複数の画像を含む画像群を入力し、前記画像群の一覧を一覧画面に表示し、ユーザの操作に基づいて前記画像群から選択された第１画像を個別画面に表示し、前記第１画像と前記第１画像に対して空間的に周辺にある候補画像との組における空間的な位置関係の判断、および撮影範囲に関する重複状態の判断に基づいて、前記第１画像に対する隣接画像を判断し、前記個別画面で、前記ユーザの操作に基づいて、前記第１画像に対する前記隣接画像を第２画像として選択し、前記第２画像を新たな前記第１画像として表示する。
【発明の効果】
【００１１】
本発明のうち代表的な実施の形態によれば、画像表示技術に関して、カメラで撮影した画像群から所定の用途のための画像を選択する際に、好適な画像を容易に選択することができ、ユーザの作業の手間を低減できる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態の画像表示システムを含む、構造物劣化検査支援システムの構成を示す図である。
【図２】実施の形態で、ドローンと計算機システムとの連携の構成を示す図である。
【図３】実施の形態の画像表示システムの構成を示す図である。
【図４】実施の形態の画像表示システムの処理フローを示す図である。
【図５】実施の形態で、構造物の空撮の方式の第１例を示す図である。
【図６】実施の形態で、構造物の空撮の方式の第２例を示す図である。
【図７】実施の形態で、撮影範囲について示す図である。
【図８】実施の形態で、空撮進行方向での画像間の重複について示す図である。
【図９】実施の形態で、画像平面視での画像間の重複について示す図である。
【図１０】実施の形態で、隣接画像および重複の例について示す図である。
【図１１】実施の形態で、撮影範囲における重複状態について示す図である。
【図１２】実施の形態で、隣接画像における重複状態について示す図である。
【図１３】実施の形態で、ＳＦＭについて示す図である。
【図１４】実施の形態で、一覧画面の第１例を示す図である。
【図１５】実施の形態で、個別画面の第１例を示す図である。
【図１６】実施の形態で、個別画面の第２例を示す図である。
【図１７】実施の形態で、個別画面の第３例を示す図である。
【図１８】実施の形態で、個別画面の第４例を示す図である。
【図１９】実施の形態で、個別画面の第５例を示す図である。
【図２０】実施の形態で、個別画面の第６例を示す図である。
【図２１】実施の形態で、個別画面（劣化検査画面）の例を示す図である。
【図２２】実施の形態で、構造物３次元モデル画面の例を示す図である。
【図２３】実施の形態で、一覧画面の第２例を示す図である。
【図２４】実施の形態で、一覧画面の第３例を示す図である。
【図２５】実施の形態で、構造物の側面間の画像関係の例を示す図である。
【図２６】実施の形態で、構造物の側面間の画像選択について示す図である。
【図２７】実施の形態で、構造物の空撮の方式の第３例を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において同一部には原則として同一符号を付し、その繰り返しの説明は省略する。
【００１４】
［課題等］
前提技術や課題等について補足説明する。従来、例えば構造物劣化検査支援の用途やそのシステムにおいては、以下のような作業や処理が行われる。作業者であるユーザは、検査対象となる構造物がある現地に出向き、構造物の表面を、カメラを用いて撮影する。その際、構造物の表面の全領域を撮影する場合もあるし、一部の領域に絞り込んで撮影する場合もある。特に、事前に、構造物に関して知識を持つ人（専門技術者）が、構造物の設計図面等から、劣化が生じやすいと考えられる箇所を絞り込み、その箇所を撮影対象箇所とする場合がある。この場合、撮影箇所および画像数を限定して、作業の手間を低減できる。
【００１５】
ユーザは、撮影した画像群のデータを事務所等に持ち帰り、ＰＣ等の計算機に入力する。ユーザは、表示画面で、画像群の一覧から、検査対象画像となる個別の画像を選択し、表示画面に表示する。目視検査を行う場合、ユーザは、画像一枚毎に、目視で、ひび割れ等の劣化状態の有無や箇所を、画像内から探索する。
【００１６】
上記のような人手による構造物の撮影作業や劣化検査作業は、手間が大きい。また、専門技術者等の人員不足や、高コスト等の一般的な課題もある。そこで、対策として、ドローンやＵＡＶ等の飛行体、またはロボット等を用いて、構造物撮影を行う技術もある。この技術の例では、ドローンを自律航行させながら、ドローンに搭載のカメラによって、構造物の表面領域を例えば網羅的に撮影して、自動的に画像群を得る。これにより、ユーザによる検査対象箇所絞り込み作業や現地での人手による撮影作業等を低減することができる。そして、構造物の保守点検および劣化検査の業務の効率化を図ることができる。
【００１７】
また、画像群から構造物の３次元モデルを生成する用途の場合においても、同様に、人手による撮影作業等には手間がかかる。この場合にも、ドローン等の利用によって、撮影作業等を低減することができる。計算機は、入力の画像群から、ＳＦＭ処理に基づいて、構造物の３次元モデルを生成する。これにより、例えば、２次元の設計図面しか無い構造物の場合でも、３次元モデルを得て表示画面に表示することができ、構造物管理等に活用することができる。
【００１８】
上記人手またはドローン等によって得られた画像群は、対象物の表面領域を例えば網羅的に撮影した画像群であり、画像間で重複する領域を持つ場合が多い。すなわち、ある１枚の画像と、その画像に対して空間的な位置関係で周囲にある他の１枚の画像とでは、画像内容において、同じ箇所を写した一部領域が重複している。劣化検査の用途で、構造物の表面領域を漏れ無く検査する場合には、画像群の撮影時に、撮影漏れ領域が無いように、余裕を持たせて一部領域が重複するように撮影される。また、特に、３次元モデル生成の用途では、公知のＳＦＭ処理を適用するために必要な条件として、画像間で十分な重複を持つ画像群が必要である。例えば、カメラの動きの方向に対応する画像の横方向では８０％以上の重複が必要であり、縦方向では６０％以上の重複が必要である。
【００１９】
また、構造物の外観の表面領域では、建築構造や壁面デザイン等から、類似形状箇所も多い。すなわち、画像群の画像内容においては類似箇所が多くなる。そのため、ユーザが、ある画像を見た場合に、どの箇所を撮影した画像であるか認識しにくい場合がある。また、ある画像に対して周辺にある画像がどれか、空間的な位置関係が把握しにくい場合がある。
【００２０】
そのため、ユーザは、表示画面の画像群の一覧から、作業の対象となる個別の画像を選択する際に、好適な画像の選択が難しい場合がある。例えば、劣化検査の用途では、ユーザは、ある１枚の画像内の領域を目視検査した後、次に、その画像の領域に隣接している領域を対象として目視検査したい。しかし、ユーザは、画像間の画像内容の類似が多く異同がわかりにくいことや、画像間の位置関係がわかりにくいことから、隣接領域の画像を選択しにくい。また、ユーザが、画像群の一覧から、ある画像の次の画像を単純に順次に選択する場合、その選択された画像は、隣接領域の画像であるとは限らず、離れた位置の画像となる場合もある。
【００２１】
また、ユーザが、表示画面で、ある画像（第１画像）から、自分で画像内容や空間的な位置関係を判断して、次画像（第２画像）を選択したとする。例えば２枚の画像で同じ物が写っている等の判断がされる。その場合でも、その次画像は、第１画像で既に検査済みの領域が、重複領域として含まれている場合が多い。構造物の表面領域を網羅的に細かく撮影する場合や、３次元モデル生成を行う場合等、用途や場合に応じて、画像群の内容には、画像間での重複領域が生じている。そのため、次画像のうちの重複領域が、再度、目視検査の対象として含まれてしまい、ユーザの負担が増えてしまう。多数の画像の各画像に重複領域があるので、劣化検査等の作業が非効率的になってしまう。
【００２２】
上記のように、従来の画像表示システムでは、例えば構造物の劣化検査支援や３次元モデル生成の用途の場合に、画像群から個別の画像を選択する際の難しさや手間があった。すなわち、従来のシステムでは、ユーザの作業の支援や効率の点で課題があった。
【００２３】
上記課題等を踏まえて、実施の形態の画像表示システムでは、用途に応じて、ユーザが表示画面で画像群から個別の画像を選択する際に、好適な画像を容易に選択でき、作業の手間を低減できるようにユーザを支援する仕組みを提供する。その仕組みは、グラフィカル・ユーザ・インタフェース（ＧＵＩ）を含む。本画像表示システムでは、画像群のうちのある画像から次の対象画像を選択する際に、画像間の重複状態を考慮して、次画像へナビゲーション、リンクさせる仕組みを有する。本画像表示システムは、例えば重複度合いが最小となる画像（隣接画像）を自動的に判断して、その画像を簡単に選択できるようにするリンク画像を提示する。
【００２４】
実施の形態の画像表示システムは、例えば構造物の表面領域を網羅的に画像間で一部重複するように撮影した画像群のデータを入力とする。この画像群は、撮影の日時、位置、および方向等が異なる複数の画像を含む場合がある。本画像表示システムは、ＧＵＩ画面で、画像群の一覧を表示する。本画像表示システムは、画面からユーザ操作によって個別の画像（第１画像）が選択された場合、選択された第１画像を画面に表示する。本画像表示システムは、第１画像に対し、空間的に周辺にある各画像（候補画像）について、画像間（第１画像と候補画像との組）での空間的な位置関係を判断し、画像間での撮影範囲の重複状態を判断する。本画像表示システムは、特に、その重複状態を、重複率として計算する。また、本画像表示システムは、画像間の空間的な位置関係を、画像の位置情報等を用いて判断する。本画像表示システムは、重複率および位置関係等に基づいて、第１画像に対する隣接画像等の画像を判断する。例えば、本画像表示システムは、候補画像のうち、画像間の重複率が、所定の重複率閾値以下で最小となる画像を、隣接画像として選択する。
【００２５】
本画像表示システムは、その隣接画像等の画像を、ユーザが次に対象として選択する候補となる画像（次画像）として提示する。その際、本画像表示システムは、画面で、第１画像に対し、次画像の存在や位置関係を表すリンク画像を表示する。本画像表示システムは、リンク画像が選択操作された場合、そのリンク画像に対応付けられた次画像（第２画像）を、個別の画像（新たな第１画像）として表示する。
【００２６】
上記画像表示システムにより、ユーザは、ある画像から、重複が少ない好適な画像を容易に選択でき、劣化検査等の作業を効率的に行うことができる。第１画像と候補画像（隣接画像等）とでは、空間的な位置関係として、撮影範囲が配置されている面や方向が異なっていてもよい。その場合でも、ユーザは、画面で、第１画像から、リンク画像の操作によって、異なる方向にある第２画像を選択して表示できる。
【００２７】
（実施の形態）
図１〜図２７を用いて、本発明の実施の形態の画像表示システムについて説明する。
【００２８】
［構造物劣化検査支援システム］
図１は、実施の形態の画像表示システムを含む、構造物劣化検査支援システムの全体の構成を示す。実施の形態の画像表示システムは、計算機システム１によって構成されている。図１の劣化検査支援システムは、画像表示システムである計算機システム１と、飛行体であるドローン１０と、劣化検査等の対象物である構造物５とを含む。計算機システム１とドローン１０とが無線通信で接続されている。計算機システム１は、例えばＰＣ２とサーバ３とを有するクライアントサーバシステムで構成される場合を示す。ＰＣ２とサーバ３とが通信網６を介して接続されている。ユーザ（作業者）は、ＰＣ２を操作して本ステムを利用する。ユーザは、ＰＣ２のＧＵＩ画面２２で、本システムに対する指示入力やユーザ設定等を行い、作業の状態や結果等を確認できる。
【００２９】
図１の構造物劣化検査支援システムは、劣化検査支援機能を有し、この劣化検査支援機能は、３次元モデル生成機能を含む。劣化検査支援機能は、劣化検査支援ソフトウェア１００等で実現されている。劣化検査支援機能は、ユーザ（作業者）による構造物５の劣化検査の作業を支援するＧＵＩ画面を提供する機能である。この劣化検査は、カメラ４で撮影された画像に対するユーザの目視による劣化状態の目視検査を含む。この劣化検査は、さらに、計算機による自動診断を含めてもよい。３次元モデル生成機能は、カメラ４の画像群から、ＳＦＭ処理に基づいて、構造物５の３次元モデルを生成し、表示する画面を提供する機能である。
【００３０】
ＰＣ２は、ドローン制御機能２１等を有する計算機であり、個々のユーザ（作業者）が使用するクライアント端末装置である。サーバ３は、例えば事業者のクラウドコンピューティングシステムやデータセンタ等におけるサーバ装置であり、ＰＣ２と連携して計算処理を行う。サーバ３に対し、複数のユーザの複数のＰＣ２等が同様に接続されてもよい。ＰＣ２は、ドローン１０の航行制御およびカメラ４の撮影制御を無線通信で行う。ＰＣ２は、航行制御情報や撮影設定情報等を、ドローン１０へ送信する。
【００３１】
構造物５は、劣化検査および３次元モデル生成の対象物であり、ドローン１０のカメラ４の撮影の被写体である。構造物５は、例として建築物またはインフラ設備等である。建築物は、一般的なビルや住宅や公共建築物等が挙げられる。インフラ設備は、例えば、電力設備、道路交通設備、通信設備、橋梁等が挙げられる。構造物５の表面の所定の領域が対象領域となる。
【００３２】
ドローン１０は、ＰＣ２からの無線通信での遠隔制御に基づいて自律航行を行う飛行体である。ドローン１０は、構造物５の周囲空間において、設定されたルート上を自律航行する。予め、計算機システム１では、撮影計画データｄ２に基づいて、構造物５の対象領域を空撮できるように、ドローン１０の自律航行および空撮に関する制御情報が、空撮設定情報として作成および設定される。空撮設定情報は、ドローン１０の航行のルート、撮影タイミング（撮影日時）、およびカメラ４の撮影設定情報、等を含む。
【００３３】
なお、変形例としては、ユーザがＰＣ２等からドローン１０の航行を操縦する形態としてもよい。
【００３４】
ドローン１０は、カメラ４や各種のセンサ等を搭載している。ドローン１０は、ルート上の航行時に、カメラ４によって構造物５を空撮する。ドローン１０は、撮影時の画像データやセンサデータ等を、無線通信でＰＣ２へ送信する。ドローン１０の公知のセンサ群では、センサデータとして、ドローン１０の位置、方向、速度、加速度等が検出可能である。位置は、３次元座標情報を含み、例えばＧＰＳ、高度センサ、あるいは他の測位システムに基づいて、緯度、経度、高度（地表からの高さ）等の形式で得られる。なお、ＧＰＳを用いる場合、十分な測位精度を前提とする。
【００３５】
カメラ４は、撮影設定情報として、カメラ方向（撮影方向）、撮影タイミング、撮影条件等を含む。カメラ方向は、カメラ位置を基準として対象物５の表面の箇所を向く方向である。撮影タイミングは、連続的な複数の画像（静止画）を撮像するタイミングであり、撮影間隔等で規定される。撮影条件は、露光等の公知のパラメータで規定される。
【００３６】
ＰＣ２は、ドローン制御機能２１、クライアントプログラム２０、ＧＵＩ画面２２等を有する。ドローン制御機能２１は、ドローン１０の航行やカメラ４の撮影を制御する機能である。クライアントプログラム２０は、劣化検査支援ソフトウェア１００のうちのクライアントプログラムである。クライアントプログラム２０は、サーバプログラム３０とクライアントサーバ通信で連携して処理を行う。クライアントプログラム２０は、ドローン制御機能２１や画像表示機能、ＧＵＩ画面２２等を制御する。ＰＣ２のメモリには、クライアントプログラム２０等が処理に用いる各種のデータや情報が記憶される。メモリには、ドローン１０の制御情報や、ドローン１０から取得される画像データやセンサデータ、サーバ３から取得される各種データ等が記憶される。
【００３７】
サーバ３は、サーバプログラム３０、ＤＢ３１等を有する。サーバプログラム３０は、劣化検査支援ソフトウェア１００のうちのサーバプログラムである。サーバプログラム３０は、特に、劣化検査支援処理や３次元モデル生成処理等の計算処理負荷が高い処理を担当する。サーバプログラム３０は、クライアントプログラム２０からの要求に応じて、所定の処理を実行し、処理結果情報を応答する。
【００３８】
ＤＢ３１には、サーバプログラム３０およびクライアントプログラム２０が処理に用いる各種のデータや情報が記憶される。ＤＢ３１は、ＤＢサーバ等で実現されてもよい。ＤＢ３１には、例えば、構造物データｄ１、撮影計画データｄ２、画像データｄ３、検査データｄ４等が格納されている。
【００３９】
構造物データｄ１は、構造物５に関する基本情報や管理情報、設計図面データや３次元データ等を含む。本画像表示システムでは、３次元データは、３次元モデル生成機能によって生成された３次元モデルデータを含む。３次元データは、これに限らず、既存の３次元ＣＡＤシステム等で作成されたデータがある場合にはそれを利用可能である。
【００４０】
撮影計画データｄ２は、劣化検査および空撮に関する計画のデータである。撮影計画データに基づいて、実際のドローン１０による空撮設定情報が作成および設定される。画像データｄ３は、カメラ４で撮影された画像群のデータである。検査データｄ４は、劣化検査の状態や結果等を表すデータである。
【００４１】
計算機システム１の実装構成は、上記例に限らず可能である。例えば、ＰＣ２とサーバ３とが１つの計算機として統合されている形態でもよいし、機能毎に複数の装置に分離されている形態でもよい。ＰＣ２とは別にドローン制御装置を有する形態でもよい。ドローン１０に限らず、他の飛行体やロボット等も適用可能である。ドローン１０は、汎用的なドローンを適用できるが、本画像表示システムのための専用の機能を実装した専用のドローンを適用してもよい。
【００４２】
［ドローン、計算機］
図２は、ドローン１０および計算機システム１におけるドローン制御機能２１に関する概要構成を示す。ドローン１０は、プロペラ駆動部１１、航行制御部１２、センサ１３、ジンバル１４、カメラ４、画像記憶部１５、無線通信部１６、バッテリ１７等を有する。プロペラ駆動部１１は、複数のプロペラを駆動する。航行制御部１２は、ＰＣ２の航行制御部１０２からの航行制御情報に従って、ドローン１０の航行を制御する。そのために、航行制御部１２は、センサ１３の情報を用いながら、プロペラ駆動部１１を駆動制御する。センサ１３は、公知のＧＰＳ受信器、電子コンパス、ジャイロセンサ、加速度センサ等のセンサ群であり、所定のセンサデータを出力する。ジンバル１４は、カメラ４を保持する公知の機構であり、航行時にカメラ４がぶれずに一定の状態になるように自動的に維持する機構である。ドローン１０、ジンバル１４、およびカメラ４の各方向および各位置は、基本的には独立しているパラメータである。
【００４３】
カメラ４は、ＰＣ２の撮影制御部１０４からの撮影制御情報および撮影設定情報に従って、対象物５を空撮し、画像データを出力する。画像記憶部１５は、画像データ等を記憶する。無線通信部１６は、無線通信インタフェース装置を含み、所定の無線通信インタフェースで計算機システム１と無線通信を行う。バッテリ１７は各部へ電力を供給する。
【００４４】
計算機システム１は、プロセッサ１１１、メモリ１１２、通信装置１１３、入力装置１１４、表示装置１１５等を有し、それらがバス等で相互に接続されている。プロセッサ１１は、メモリ１１２に読み出されたプログラムに従った処理を実行する。これにより、劣化検査支援ソフトウェア１００の各機能、ＧＵＩ部１０１等の各部が実現される。
【００４５】
計算機システム１は、ＧＵＩ部１０１、空撮設定部１０７、航行制御部１０２、撮影制御部１０４、センサデータ記憶部１０３、画像データ記憶部１０５、無線通信部１０６、劣化検査支援部１２１、３次元モデル生成部１２２、画像表示制御部１２３等を有する。
【００４６】
ＧＵＩ部１０１は、ＯＳ、ミドルウェア、Ｗｅｂブラウザ等のアプリケーションに基づいて、ユーザに対するＧＵＩ画面２２を構成し、表示装置１１４（例えばタッチパネル）において表示する。ユーザは、ＧＵＩ画面２３に対し、ユーザ設定や指示入力の操作が可能であり、機能毎の状態や結果等を確認可能である。ユーザ設定としては、本画像表示システムの各機能に関する利用有無等の設定や、機能毎の制御用の閾値等の設定が可能である。ＧＵＩ部１０１は、後述の一覧画面や個別画面等の画面に対応する画面データを生成する。
【００４７】
空撮設定部１０７は、ユーザの操作および撮影計画データｄ２に基づいて、空撮設定情報を作成し、計算機システム１およびドローン１０に設定する。航行制御部１０２は、空撮設定情報に基づいて、ドローン１０の航行を制御する。航行制御部１０２は、無線通信を通じて、ドローン１０へ航行制御情報ｄ１０１を送信し、ドローン１０から航行状態を表すセンサデータｄ１０２等を受信する。撮影制御部１０４は、空撮設定情報に基づいて、カメラ４による撮影を制御する。撮影制御部１０４は、無線通信を通じて、ドローン１０へ撮影制御情報ｄ１０３を送信し、ドローン１０から画像データｄ１０４等を受信する。
【００４８】
画像データ記憶部１０５は、ドローン１０から取得される画像データを記憶する。画像データには、撮影日時、センサデータ、撮影設定情報等が適宜に関連付けられて情報管理される。無線通信部１０６は、無線通信インタフェース装置を含み、所定の無線通信インタフェースで、ドローン１０と無線通信を行う。
【００４９】
劣化検査支援部１２１は、劣化検査支援機能に対応する処理を行う。劣化検査支援部１２１は、例えば目視検査の支援処理、あるいは自動診断処理を行う。３次元モデル生成部１２２は、３次元モデル生成機能に対応する処理を行う。画像表示制御部１２３は、画像群の空間的な位置関係の判断や、画像選択に関する制御を行う。
【００５０】
［画像表示システム］
図３は、実施の形態の画像表示システム（計算機システム１）の構成を示す。画像表示システムは、入力（記憶等を含む）としては、画像データｄ３に基づいた画像群２０１および画像情報２０２、構造物データｄ１、撮影計画データｄ２等を有する。実施の形態では、入力の画像データｄ３（画像群２０１）は、主にドローン１０のカメラ４によって得られるが、これに限らず、作業者の人手で撮影された画像群としてもよいし、各種の手段で得られる画像群の組み合わせでもよい。画像群２０１は、各画像の本体のデータである。画像情報２０２は、画像毎に関連付けられた、例えば公知のＥｘｉｆ等の形式のメタデータやプロパティ情報である。画像情報２０２は、例えば、ＩＤ（識別情報）、撮影日時、カメラ位置、カメラ方向、カメラ機種、焦点距離、画角、画像サイズ（画素数）、等の情報を有する。なお、カメラ位置およびカメラ方向は、ＳＦＭ処理部１２２Ａによって生成されたものを用いる。
【００５１】
画像表示システムは、処理（対応する処理部）としては、一覧表示部３０１、個別表示部３０２、画像表示制御部１２３、劣化検査支援部１２１、３次元モデル生成部１２２等を有する。画像表示制御部１２３は、隣接画像判断部３０３、重複率計算部３０４を含む。画像表示システムは、出力（表示、記憶等を含む）としては、一覧画面４０１、個別画面４０２等の画面を出力する。
【００５２】
一覧表示部３０１は、画像群２０１および画像情報２０２（例えばＩＤ、撮影日時）に基づいて、一覧画面４０１を表示する。一覧画面４０１では、画像群２０１の複数の画像が、ＩＤ等を用いた順序で並列に配置されて表示される。
【００５３】
個別表示部３０２は、画像群２０１、および一覧画面４０１での第１画像選択情報３２１に基づいて、個別画面４０２を表示する。個別表示部３０２は、その個別画面４０２内に、ユーザが選択した第１画像３２２を表示する。また、個別表示部３０２は、個別画面４０２内でのリンク画像選択情報３２３に基づいて、リンク画像に対応付けられた第２画像３２４を表示する。
【００５４】
画像表示制御部１２３は、隣接画像判断部３０３等を用いて、画像間の空間的な位置関係や重複度合いを把握し、画像間のリンクや次画像の選択を制御する。
【００５５】
隣接画像判断部３０３は、画像情報２０２と、第１画像選択情報３２１またはリンク画像選択情報３２３（すなわち第２画像選択情報）とに基づいて、第１画像に対する周辺にある候補画像、隣接画像等を判断する。隣接画像は、重複度合いが最小で隣接している画像である。隣接画像判断部３０３は、画像情報２０２のうちの特に位置情報（カメラ位置等）や方向情報（カメラ方向等）を用いて、画像間の位置関係を判断する。また、隣接画像判断部３０３は、重複率計算部３０４で計算した重複率の情報を用いて、隣接画像を判断する。隣接画像判断部３０３は、ある画像（第１画像）とその周辺にある別の画像との位置間の距離を判断し、また、各画像の方向（対応するカメラ方向や、画像の撮影範囲が配置されている面の方向等）の同異を判断する。
【００５６】
重複率計算部３０４は、第１画像選択情報３２１等と、隣接画像判断部３０３の判断による候補画像情報等とに基づいて、画像間の重複率を計算する。
【００５７】
画像表示制御部１２３は、隣接画像判断部３０３で判断された隣接画像等の画像に対応するリンク画像３２５を、個別画面４０２内に表示する。リンク画像３２５は、第１画像の次に選択する候補となる画像（次画像）をナビゲーションするためのリンク画像（ＧＵＩ部品）である。
【００５８】
劣化検査支援部１２１は、個別画面４０２を劣化検査画面として、ユーザ操作に基づいて、目視検査の支援処理等を行い、処理の状態や結果を劣化検査画面に表示し、処理の状態や結果を表す検査データｄ４を作成して保存する。
【００５９】
３次元モデル生成部１２２は、ＳＦＭ処理部１２２Ａを含む。ＳＦＭ処理部１２２Ａは、画像群２０１を入力としてＳＦＭ処理を行うことで、構造物５の３次元モデルとカメラ方向およびカメラ位置の情報とを生成し、対応する３次元モデルデータｄ５を作成する。３次元モデル生成部１２２は、３次元モデルデータｄ５に基づいて、構造物３次元モデル画面を表示する。３次元モデル生成部１２２は、得たカメラ方向およびカメラ位置の情報を、画像情報２０２に記述するか、または画像データｄ３と関連付けて情報管理する。
【００６０】
ユーザは、一覧画面４０１に対し、画像群から所望の画像を第１画像として選択する操作（第１画像選択操作）ＯＰ１を行う。また、ユーザは、個別画面４０２に対し、リンク画像を選択する操作（第２画像選択操作＝リンク画像選択操作）ＯＰ２を行う。また、ユーザは、個別画面４０２（劣化検査画面）の画像に対し、劣化検査操作ＯＰ３を行う。
【００６１】
［処理フロー］
図４は、実施の形態の画像表示システムを含む、構造物劣化検査支援システムの処理フローを示す。図４のフローは、ステップＳ１〜Ｓ１３を有する。以下、ステップの順に説明する。
【００６２】
（Ｓ１）  計算機システム１は、ユーザ操作および構造物５の撮影計画データｄ２等に基づいて、ドローン１０の空撮設定情報を作成して設定する。その空撮設定情報に基づいて、ドローン１０による空撮が実行される。その空撮によって、カメラ４の撮影による画像データ等が、ＰＣ２に送信される。ＰＣ２は、画像データ等を、サーバ３に送信する。サーバ３は、ＤＢ３１に、画像データｄ３等を格納する。
【００６３】
（Ｓ２）  計算機システム１は、ＤＢ３１等から画像データｄ３（画像データ２０１、画像情報２０２）等を読み出して処理用のメモリに保持する。
【００６４】
（Ｓ３）  計算機システム１（特に一覧表示部３０１）は、画像データｄ３（画像群２０１、画像情報２０２）に基づいて、一覧画面４０１（図１４）に、画像群の一覧を表示する。
【００６５】
（Ｓ４）  計算機システム１は、一覧画面４０１でのユーザ操作を受け付け、所定の操作（第１画像選択操作ＯＰ１）を受けた場合、第１画像選択情報３２１を得て、第１画像を選択する。第１画像選択操作ＯＰ１は、例えば１枚の画像のクリック、タップ等である。
【００６６】
（Ｓ５）  計算機システム１（特に個別表示部３０２）は、Ｓ４の操作および第１画像選択情報３２１に基づいて、個別画面４０２（図１５）に、選択された第１画像３２２を表示する。ユーザは、この個別画面４０２を劣化検査画面（図２１）として劣化検査作業を行うことができる。
【００６７】
（Ｓ６）  計算機システム１（特に隣接画像判断部３０３）は、画像情報２０２および第１画像選択情報３２１（またはリンク画像選択情報３２３）に基づいて、第１画像に対する周辺にある各画像（候補画像）を探索する。その際、隣接画像判断部３０３は、画像のカメラ位置やカメラ方向等の情報を用いて、画像間の位置関係を判断する。特に、隣接画像判断部３０３は、第１画像と候補画像との位置間の距離を計算し、その距離に基づいて、第１画像に対する候補画像をピックアップする。その際、隣接画像判断部３０３は、距離が小さい順に、候補画像をピックアップする。また、その際、隣接画像判断部３０３は、予め設定された距離閾値を用いて、距離が距離閾値以内である範囲で、候補画像を絞り込む。なお、この時点では、まだ隣接画像は決定されていない。
【００６８】
また、特に、本処理例では、隣接画像判断部３０３は、候補画像をピックアップする際に、まず、画像のカメラ方向が概略同じである画像、例えば同じ面内に配置されている画像を、先に候補画像としてピックアップする。
【００６９】
（Ｓ７）  計算機システム１（特に重複率計算部３０４）は、Ｓ６で得た候補画像毎に、順に、第１画像と候補画像との組で、画像間の重複率（ＯＬとする）を計算する。その際、重複率計算部３０４は、後述のように、画像毎の撮影範囲を計算し（図７）、その撮影範囲等を用いて、重複率ＯＬを計算する（図１２等）。
【００７０】
（Ｓ８）  計算機システム１（特に隣接画像判断部３０３）は、Ｓ７で得た重複率ＯＬを、予め設定されている所定の重複率閾値（ＴＯＬとする）と比較することで、重複状態を判断する。本処理例では、隣接画像判断部３０３は、候補画像に関するＯＬ値が、ＴＯＬ値以下で０よりも大きく、最小となるかどうかを判断する。計算機システム１は、その条件を満たす候補画像を、隣接画像（重複が最小で隣接している画像）として選択する。計算機システム１は、面内の上下左右等の方向毎に、同様に、隣接画像を判断する。
【００７１】
なお、予め、重複率閾値ＴＯＬが、劣化検査支援ソフトウェア１００のプログラムに設定済みである。これに限らず、ＴＯＬ値をユーザ設定できるようにしてもよい。
【００７２】
（Ｓ９）  計算機システム１は、Ｓ８の結果で、重複状態の条件を満たす隣接画像が見つかったかどうかを確認し、見つかった場合（Ｙ）にはＳ１１へ進み、見つからなかった場合（Ｎ）にはＳ１０へ進む。ここで見つからなかった場合とは、画像のカメラ方向が概略同じである画像、例えば同じ面内に配置されている画像からは見つからなかった場合に対応する。
【００７３】
（Ｓ１０）  Ｓ１０では、計算機システム１は、探索済みの画像以外で、画像の位置間の距離が最も小さい候補画像を、次画像として選択する。後述するが、例えば、この次画像は、第１画像に対してカメラ方向が異なる、別の面（側面等）に配置されている画像となる。あるいは、この次画像は、第１画像と同じ面内であっても重複が無く離れた位置にある画像となる。
【００７４】
（Ｓ１１）  計算機システム１（画像表示制御部１２３）は、個別画面４０２内に、Ｓ８またはＳ１０で選択された画像（次画像）についてのリンク画像３２５（図１５のリンク画像４０３、図１６のリンク画像４０４等）を表示する。特に、画像表示制御部１２３は、第１画像に対する各方向で、次画像の種類に応じたリンク画像３２５を表示する。
【００７５】
（Ｓ１２）  計算機システム１は、個別画面４０２で、リンク画像３２５に対するユーザの所定の操作（第２画像選択操作ＯＰ２）を受け付ける。第２画像選択操作ＯＰ２は、リンク画像に対するクリック、タップ等である。また、計算機システム１は、個別画面４０２で、一覧画面４０１に戻るための操作や終了操作等の他の操作を受け付ける。計算機システム１は、リンク画像３２５に対する選択操作（第２画像選択操作ＯＰ２）を受けた場合（Ｙ）、Ｓ１３へ進み、一覧画面４０１に戻るための操作を受けた場合、Ｓ３へ戻る。
【００７６】
（Ｓ１３）  Ｓ１３では、計算機システム１（特に個別表示部３０２）は、Ｓ１２のリンク画像選択情報（第２画像選択情報）３２４に基づいて、個別画面４０２に、選択されたリンク画像３２５で表される次画像（第２画像）を、新たな第１画像として表示する。Ｓ１３の後、Ｓ６に戻り、同様の繰り返しの処理である。ユーザは、個別画面４０２（劣化検査画面）でその新たな第１画像を見て劣化検査作業が可能である。以後同様に、画像群におけるある画像から他の画像への選択および表示遷移が可能である。
【００７７】
［空撮方式（１）］
図５は、ドローン１０を用いた構造物５の空撮の方式の第１例を示す。空撮の方式は、これに限らない。この空撮の方式は、画像表示システムでの処理や特徴を考慮して、好適な方式が選択されている。計算機システム１のドローン制御機能２１を用いて、撮影計画データｄ２等に基づいて、ドローン１０による空撮のルートや、カメラ４の撮影設定等が、空撮設定情報として設定される。空撮設定情報は、ＤＢ３１等に保持される。
【００７８】
図５の（Ａ）は、構造物５が概略的に長方体である場合における、Ｚ方向の俯瞰の構成を示す。この構造物５は、鉛直に立つ４つの側面Ａ１〜Ａ４を有する。本画像表示システムは、例えばこれらの側面Ａ１〜Ａ４の全表面領域を、網羅的に撮影して劣化検査対象とする。また、構造物５は、例えば角部５０１のように、異なる方向の側面同士が接続されている角部を有する。
【００７９】
本例では、対象物５の側面毎にグループ（側面グループ）として分けて空撮が行われる。本例では、４つの側面Ａ１〜Ａ４に対応して４つのグループに分けられ、対応して４つのルートＲ１〜Ｒ４が設定され、４回に分けて空撮が行われる。本例では、各グループのルートは、基本的に直線状のルート（破線矢印で示す）とされ、カメラ方向（一点鎖線矢印で示す）および対象距離Ｄ０が概略一定となるように制御される。
【００８０】
例えば、最初、側面Ａ１のグループは、ルートＲ１で空撮が行われる。ルートＲ１では、カメラ方向がＹ方向（手前から奥への方向Ｙ１）である。次に、側面Ａ２のグループでは、ルートＲ２で空撮が行われる。ルートＲ２では、カメラ方向がＸ方向（右から左の方向Ｘ１）である。側面Ａ３のルートＲ３、側面Ａ４のルートＲ４についても同様である。
【００８１】
図５の（Ｂ）は、（Ａ）に対応して、構造物５および空撮のルートを斜視で示す。特に、側面Ａ１のグループを空撮するルートＲ１における詳しい設定例を示す。本例では、側面Ａ１（Ｘ−Ｚ平面）の全領域を網羅的に撮影するにあたり、いわゆる線順次走査方式と同様の方式を用いている。この方式では、まず、ドローン１０を、水平方向であるＸ方向において、側面Ａ１の一方端から他方端まで、主走査のように直線状に移動させる。この水平方向の移動の際に、カメラ４の方向および対象距離Ｄ０が概略一定になるように制御される。ドローン１０が側面Ａ１の他方端に到達した後、次に、ドローン１０を、鉛直方向（Ｚ方向）で、副走査のように直線状に移動させる。次に、同様に、Ｘ方向で反対方向に折り返すように、側面Ａ１の他方端から一方端まで、主走査のように直線状に移動させる。その後も同様に主走査、副走査が繰り返される。
【００８２】
なお、実施の形態の例では、主に鉛直に立つ側面を対象として説明しているが、構造物５の屋上等の水平面についても、同様に対象として処理することが可能である。その場合、空撮時のカメラ４の方向は、例えばＺ方向下方となる。また、実施の形態の例では、空撮時のカメラ４の方向としては、側面を平面視する水平方向であるＸ方向やＹ方向とする場合を説明しているが、これに限らず、例えば斜め下方向等にしても、同様に処理することが可能である。
【００８３】
空撮の設定の際には、予め、３次元モデル生成機能のＳＦＭ処理を考慮して、画像間の重複状態が好適になるように、ドローン１０のルート、カメラ４の撮影タイミング（間隔）等が設定される。例えば、ドローン１０およびカメラ４の進行方向での重複状態が８０％程度となるように設定される。この設定に基づいた空撮により、好適な重複状態の画像群が得られる。この画像群を入力としてＳＦＭ処理を確実に行うことができ、高精度の３次元モデルを得ることができる。
【００８４】
ただし、上記３次元モデル生成の用途に対応した画像群を、劣化検査にも用いる場合、画像間の重複領域が多いので、各画像の劣化検査の際に、検査済み領域（すなわち重複領域）が多く、再度検査する領域が多くなってしまい、非効率的である。そのため、効率的な劣化検査を行うためには、それらの画像群から、画像間の重複がなるべく少ない画像群を、劣化検査対象の画像群として選択することが好ましい。しかしながら、この画像選択を人手で行うことには、難しさがあり、手間が多大である。そこで、本画像表示システムでは、この画像選択を支援および効率化できるＧＵＩ等の仕組みを提供している。
【００８５】
［空撮方式（２）］
図６は、ドローン１０を用いた構造物５の空撮の方式の第２例を同様に示す。構造物５の形状等に応じて、このような空撮の方式が適宜に選択される。図６の（Ａ）の構造物５は、本例では、図５の直方体の構造物５の側面Ａ１に対し、さらに、右側（方向Ｘ２）の一部の手前側（方向Ｙ２）に、別の直方体の部分が追加接続されたような形状を有する。この構造物５は、６つの側面ａ１〜ａ６を有し、それらの全表面領域が検査対象であるとする。また、この構造物５は、角部６０１、角部６０２、角部６０３等の角部を有する。角部６０１は、Ｘ方向に延在する側面ａ１と、Ｙ方向に延在する側面ａ２とが接続されている部分であり、ドローン１０からみて凹状になっている角部である。角部６０２は、Ｙ方向に延在する側面ａ２と、Ｘ方向に延在する側面ａ３とが接続されている部分であり、ドローン１０からみて凸状になっている角部である。角部６０３は、Ｘ方向に延在する側面ａ３と、Ｙ方向に延在する側面ａ４とが接続されている部分であり、凸状になっている角部である。
【００８６】
本例では、同様に、対象物５の側面毎にグループとして分けて空撮が行われる。本例では、６つの側面ａ１〜ａ６に対応して６つのグループに分けられ、対応して６つのルートｒ１〜ｒ６が設定され、６回に分けて空撮が行われる。各グループのルートは、直線状のルートとされ、カメラ方向および対象距離Ｄ０が概略一定となるように制御される。全体で、カメラ方向は、方向Ｙ１，方向Ｙ２，方向Ｘ１，方向Ｘ２の４種類に分けられる。例えば、側面ａ１のグループのルートｒ１では、カメラ方向がＹ方向（方向Ｙ１）である。側面ａ２のグループのルートｒ２ででは、カメラ方向がＸ方向（方向Ｘ２）である。側面ａ３のルートｒ３では、カメラ方向がＹ方向（方向Ｙ１）である。側面ａ４のルートｒ４では、カメラ方向がＸ方向（方向Ｘ１）である。他の側面のルートについても同様である。
【００８７】
図６の（Ｂ）は、（Ａ）に対応して、構造物５および空撮のルートを斜視で示す。特に、側面ａ１のルートｒ１や側面ａ３のルートｒ３等における詳しい設定例を示す。図５の（Ｂ）と同様に、側面毎に、線順次走査方式と同様の方式を用いている。
【００８８】
［撮影範囲］
図７は、画像の撮影範囲等について模式図を示す。画像表示システムの画像表示制御部１２３は、以下のように、画像の撮影範囲を計算する。この撮影範囲は、重複率の計算に用いられる。撮影範囲は、画像の縦横の長さ等で規定される、現実世界でのサイズである。撮影範囲の計算のために、焦点距離（Ｆとする）、センササイズ（ＳＳとする）、対象距離（Ｄとする）等を用いる。図７では、Ｚ方向の俯瞰で、構造物５の壁面７０１（例えば側面Ａ１）、ドローン１０の空撮のルートの一部における進行方向Ｋ１（例えばＸ方向）、カメラ４の位置（カメラ位置Ｃとする）、カメラ４の方向（カメラ方向Ｖとする）、カメラ４のセンサ７０２、画像の撮影範囲（ＳＡとする。特にＸ方向の幅を示す。）等を示す。
【００８９】
センサ７０２は、カメラ４の撮像素子であり、図７ではＸ方向の幅の部分を示す。センサ７０２は、所定のセンササイズＳＳ（特にＸ方向の幅を示す）を有する。センササイズＳＳは、カメラ機種に応じたものであり、幅、高さ、対角距離等で規定される。センササイズＳＳは、画像情報２０２に含まれているか、または含まれていなくてもカメラ機種や他の情報から把握可能である。センサ７０２の中央位置を、カメラ位置Ｃとして示す。センサ７０２およびカメラ位置Ｃから、例えばＹ方向にカメラ方向Ｖ（一点鎖線矢印で示す）がある。カメラ方向Ｖが壁面７０１と交わる位置を位置Ｑで示す。位置Ｑは、画像および撮影範囲ＳＡの中心位置に対応する。カメラ方向Ｖにおける、カメラ位置Ｃから壁面７０１（側面Ａ１）の位置Ｑまでの距離において、焦点距離Ｆと対象距離Ｄとがある。焦点距離Ｆは、画像情報２０２から得られる。対象距離Ｄは、対象物までの距離である。対象距離Ｄは、撮影計画データｄ２に基づいて得られる。例えば図５の対象距離Ｄ０から対象距離Ｄが得られる。
【００９０】
計算機システム１（特に重複率計算部３０４）は、センササイズＳＳ、焦点距離Ｆ、対象距離Ｄ等を用いて、撮影範囲ＳＡを計算する。基本的な計算式は、［撮影範囲ＳＡ］＝［センササイズＳＳ］÷［焦点距離Ｆ］×［対象距離Ｄ］である。具体例は以下である。センササイズＳＳとして、横（幅）が２３．５ｍｍ、縦（高さ）が１５．６ｍｍであるとする。焦点距離Ｆが３５ｍｍであるとする。対象距離Ｄが５ｍ（＝５０００ｍｍ）であるとする。撮影範囲ＳＡにおいて、横（Ｘ方向）の幅をＳＡＸ、縦（Ｚ方向）の高さをＳＡＺとした場合に、ＳＡＸ＝（２３．５／３５）×５０００≒３３５７ｍｍ、ＳＡＺ＝（１５．６／３５）×５０００≒２２２９ｍｍとして計算できる。
【００９１】
計算機システム１は、画像群の各画像の撮影範囲ＳＡを同様に計算する。計算機システム１（重複率計算部３０４）は、各画像の撮影範囲ＳＡ等を用いて、画像間の重複率を計算する。また、計算機システム１（隣接画像判断部３０３）は、カメラ位置Ｃ、カメラ方向Ｖ、撮影範囲ＳＡ等の情報を用いて、画像間の位置関係を判断する。
【００９２】
［カメラ位置およびカメラ方向］
計算機システム１は、カメラ位置Ｃやカメラ方向Ｖの情報を処理に用いる。カメラ位置Ｃやカメラ方向Ｖの情報は、例えば以下のような各方式で得ることができる。
【００９３】
（１）計算機システム１は、画像情報２０２内または空撮時のセンサデータ内に、カメラ位置Ｃやカメラ方向Ｖの情報を含んでいる場合には、そのカメラ位置Ｃやカメラ方向Ｖの情報を参照する。例えば、カメラ４自体に、カメラ位置Ｃやカメラ方向Ｖを検出できるセンサを備えてもよい。その場合、カメラ４で撮影した画像の画像データに、その検出したカメラ位置Ｃやカメラ方向Ｖの情報を関連付けることで、その情報を参照可能である。
【００９４】
（２）計算機システム１は、画像情報２０２内にカメラ位置Ｃやカメラ方向Ｖの情報を含んでいない場合、他の情報から、カメラ位置Ｃやカメラ方向Ｖを計算する。例えば、計算機システム１は、空撮時のセンサデータに基づいて、ドローン１０の位置および方向と、ジンバル１４の位置および方向との各情報を得る。計算機システム１は、それらの情報を用いて、計算によって、カメラ位置Ｃおよびカメラ方向Ｖを得る。ドローン１０に設置されているジンバル１４の相対的位置関係と、ジンバル１４に設置されているカメラ４の相対的位置関係とを合わせることで、カメラ位置Ｃ等を計算できる。
【００９５】
（３）計算機システム１は、画像群（例えば連続する３枚の画像）から、ＳＦＭ処理によって、カメラ位置Ｃおよびカメラ方向Ｖを得る。実施の形態の画像表示システムでは、この方式を用いる。３次元モデル生成部１２２のＳＦＭ処理部１２２Ａは、入力の画像群に対するＳＦＭ処理を行うことで、カメラ位置Ｃおよびカメラ方向Ｖを得る。
【００９６】
［画像間の重複（１）］
図８は、空撮進行方向での画像間および撮影範囲間の重複について示す。図８では、Ｚ方向の俯瞰で、壁面７０１に対するルートの一部を示す。空撮時のドローン１０の進行方向Ｋ１は、例えば図５のルートＲ１の主走査の方向Ｘ２や、図６のルートｒ１の主走査の方向Ｘ２である。カメラ方向Ｃは、方向Ｙ１である。進行方向Ｋ１上において、ドローン１０の位置Ｐの例として、位置Ｐ１〜Ｐ７を点で示す。対応して、カメラ位置Ｃの例として位置Ｃ１〜Ｃ７を点で示す。各位置での対象距離Ｄ０は一定である。位置Ｐ１〜Ｐ７や位置Ｃ１〜Ｃ７は、時系列の順序を持つ。また、位置Ｃ１〜Ｃ７等に対応して、画像および撮影範囲の側における中心位置を、位置Ｑ１〜Ｑ７の点で示す。例えば、画像ｇ１〜ｇ７、撮影範囲ＳＡ１〜ＳＡ７を有する。ここでの撮影範囲は、Ｘ方向の幅を示す。例えば、位置Ｐ１および位置Ｃ１で撮影された画像ｇ１の撮影範囲ＳＡが撮影範囲ＳＡ１であり、中心位置が位置Ｑ１である。図８の例では、画像ｇ１〜ｇ７における撮影範囲ＳＡ１〜ＳＡ７は、進行方向Ｋ１において、それぞれの画像間で８０％程度重複している場合を示す。
【００９７】
［画像間の重複（２）］
図９は、図８の例と対応して、平面視（Ｘ−Ｚ平面、例えば側面Ａ１）での画像間の重複について示す。図９では、画像ｇ１〜ｇ７について、重なりの様子がわかりやすいように、Ｚ方向（進行サイド方向Ｋ２）でも少しずれがある場合を図示している。進行方向Ｋ１は、図８と同様に方向Ｘ２である場合を示し、進行サイド方向Ｋ２は、進行方向Ｋ１に対して垂直な鉛直方向である。進行方向Ｋ３は、進行方向Ｋ１に進行サイド方向Ｋ２のずれ（移動成分）を加えた場合の方向である。本例で、斜線パターンで示す重複領域９０１は、画像ｇ１（撮影範囲ＳＡ１）と画像ｇ２（撮影範囲ＳＡ２）との組における重複する領域を示す。重複領域９０２は、画像ｇ１と画像ｇ６（撮影範囲ＳＡ６）との組における重複する領域を示す。
【００９８】
本例で、画像ｇ１〜ｇ７は、３次元モデル生成用に必要な重複率（例えば８０％程度）を確保するように撮影された画像群である。例えば、画像ｇ１とその次の画像ｇ２との組では、重複率ＯＬが８０％以上（例えば８５％）となっている。同様に、画像ｇ１に対する重複率ＯＬは、画像ｇ３では６５％、画像ｇ４では４５％、画像ｇ５では２５％、画像ｇ６では５％となっている。画像ｇ１と画像ｇ７の組では、重複が無く、画像間に隙間がある。
【００９９】
劣化検査用に設定された重複率閾値ＴＯＬが例えば２０％であるとする。画像ｇ１に関して、右側（方向Ｘ１）にある各候補画像（画像ｇ２〜ｇ７等）を考えた場合、前述（図４、Ｓ８）の重複率の条件を満たす画像として、画像ｇ６が選択される。画像ｇ１に対する画像ｇ６の重複率ＯＬ（＝５％）は、重複率閾値ＴＯＬ（＝２０％）以下で０より大きい範囲内で最小となっている。
【０１００】
なお、進行方向Ｋ１（Ｘ方向、画像の横方向）での重複率を考えるだけでなく、進行サイド方向Ｋ２（画像の縦方向）での重複率を同様に考えることができる。本画像表示システムは、進行サイド方向Ｋ２についても所定の重複率閾値を用いて同様に処理する。
【０１０１】
［画像間の重複（３）］
図１０は、図９の例と対応して、平面視（Ｘ−Ｚ平面、例えば側面Ａ１）での隣接画像の例について示す。ユーザが選択した第１画像が例えば画像ｇ１であるとする。本画像表示システムは、画像ｇ１に対し、３次元の空間的に周辺にある各画像を候補画像として調べる。図１０の例では、画像ｇ１に対し、右方向（方向Ｘ２）には、図９と同様に画像ｇ２〜ｇ７等がある。画像ｇ１の右方向に関しては、図９のように重複が最小となる画像（隣接画像）として画像ｇ６が選択される。右方向の隣接画像である画像ｇ６を画像ｇａとしても示す。画像ｇａの位置Ｑａは、画像ｇ６の位置Ｑ６である。画像表示システムは、個別画面４０２に、画像ｇａを表すリンク画像を表示する。
【０１０２】
画像ｇ１に対し、左方向（方向Ｘ１）には、隣接画像として例えば画像ｇｂ（位置Ｑｂ）がある。画像ｇ１と画像ｇｂとの間にある各画像については省略している。同様に、画像ｇ１に対し、上方向（方向Ｚ１）には、隣接画像として例えば画像ｇｃ（位置Ｑｃ）がある。画像ｇ１に対し、下方向（方向Ｚ２）には、隣接画像として例えば画像ｇｄ（位置Ｑｄ）がある。同様に、画像ｇ１に対し、右斜め下方向には、隣接画像として例えば画像ｇｅ（位置Ｑｅ）がある。画像ｇ１に対し、右斜め上方向、左斜め上方向、左斜め下方向にも、図示省略するが、隣接画像がある。ユーザは、個別画面４０２で、第１画像に対して各方向に表示されるリンク画像（対応する隣接画像）から所望の次画像（第２画像）を選択することができる。
【０１０３】
また、本画像表示システムで、ある第１画像（例えば画像ｇ１）に対し、斜め方向にある画像、例えば右斜め下の位置Ｑｅの画像ｇｅを判断する際には、以下の方式を用いてもよい。第１方式としては、位置Ｑ１の画像ｇ１に対し、直接的に斜め方向にある画像を探索し、画像ｇ１と斜め方向にある画像との重複率を計算し、所定の重複率閾値（斜め方向用に設定される）を用いて、隣接画像を判断する。別の第２方式としては、位置Ｑ１の画像ｇ１に対し、先に、左右や上下にある隣接画像を判断し、その判断で得られた隣接画像（例えば画像ｇａ、画像ｇｄ）に対し、さらに、上下や左右にある隣接画像を判断するようにしてもよい。すなわち、第１画像からの２段階で２方向の同様の判断の結果によって、斜め方向の隣接画像を得てもよい。
【０１０４】
［重複率の計算（１）］
図１１〜図１２を用いて、重複率の計算について説明する。重複率の基本的な定義に関しては以下である。理想的には、構造物５の表面領域（対応する撮影範囲ＳＡ）における重複の状態を考える。計算機システム１は、図７の位置Ｑを中心位置とした画像における表面領域において、画像間で重複する領域を考える。計算機システム１は、画像および重複領域のサイズを計算する。画像間での重複領域の重複度合いを表す率が、重複率として定義される。計算機システム１は、画像および重複領域のサイズに基づいて、重複率を計算する。撮影時のカメラ４と構造物５の表面との距離（対象距離Ｄ０）を一定とする場合、各画像内に写っている領域のサイズは、現実世界の物体のサイズと殆ど対応している。よって、その場合、画像の領域のサイズを用いて重複率を計算すれば、十分な効果が得られる。
【０１０５】
図１１は、まず、２枚の画像の撮影範囲ＳＡにおける重複状態について示す。図１１では、Ｚ方向の俯瞰で示す。側面Ａ１等を対象として、カメラ位置Ｃ１から撮影した画像Ｇ１と、カメラ位置Ｃ２から撮影した画像Ｇ２とを示す。画像Ｇ１の位置Ｑ１、画像Ｇ２の位置Ｑ２を示す。位置Ｃ１や位置Ｑ１等は、それぞれ、３次元の位置座標を有する。画像Ｇ１の撮影範囲ＳＡにおけるＸ方向の幅Ｗ１と、画像Ｇ２の撮影範囲ＳＡにおけるＸ方向の幅Ｗ２とを示す。画像Ｇ１と画像Ｇ２との組における重複領域の幅を幅Ｗ１２で示す。例えば、画像Ｇ１と画像Ｇ２とにおけるＸ方向での重複率は、画像Ｇ１の幅Ｗ１と、重複領域の幅Ｗ１２とを用いて計算できる。
【０１０６】
なお、ドローン１０のルートの航行上、風を受けて揺らされること等から、ドローン１０の位置、カメラ４の位置、およびカメラ方向等には、揺れやずれが生じ得る。すなわち、各画像のカメラ方向Ｃが異なる場合がある。その場合でも、構造物５の表面での画像の撮影範囲ＳＡや重複率を同様に計算可能である。
【０１０７】
［重複率の計算（２）］
図１２は、図１１に対応して、平面視（Ｘ−Ｚ平面）の画像における重複状態について示す。また、本例では、位置Ｑ１の画像Ｇ１と位置Ｑ２の画像Ｇ２とで、画像サイズが異なる場合を示す。位置Ｑ１の画像Ｇ１と位置Ｑ２の画像Ｇ２との画像の組における重複領域１２０１（斜線パターン）を示す。画像Ｇ１は、Ｘ方向の幅Ｗとして、幅Ｗ１を有し、Ｚ方向の高さＨとして、高さＨ１を有する。画像Ｇ２は、幅Ｗ２を有し、高さＨ２を有する。画像Ｇ１と画像Ｇ２との組で、重複領域１２０１の幅Ｗ１２、重複領域１２０１の高さＨ１２を示す。画像Ｇ１の非重複部分の幅ＮＷ１、高さＮＨ１、画像Ｇ１の非重複部分の幅ＮＷ２、高さＮＨ２も示す。
【０１０８】
重複率ＯＬとして、ここでは、画像の横方向（Ｘ方向）の重複率（ＯＬＷとする）と、画像の縦方向（Ｚ方向）の重複率（ＯＬＨとする）とを考える。重複率ＯＬは、第１画像に関して、元の長さに対する重複部分の長さの比率で定義できる。本例では、横（Ｘ方向）の重複率ＯＬＷは、ＯＬＷ＝Ｗ１２／Ｗ１で、縦（Ｚ方向）の重複率ＯＬＨは、ＯＬＨ＝Ｈ１２／Ｈ１で計算できる。なお、３次元位置座標（Ｘ，Ｙ，Ｚ）は、２次元画像の処理上では適宜に２次元位置座標（ｘ，ｙ）に変換して処理される。
【０１０９】
図１２の例で、画像Ｇ１の位置Ｑ１の座標を（Ｘ１，Ｙ１，Ｚ１）、画像Ｇ２の位置Ｑ２の座標を（Ｘ２，Ｙ２，Ｚ２）とする。画像Ｇ１の撮影範囲ＳＡにおける、Ｘ方向の左端の位置をＸ３、右端の位置をＸ４とする。画像Ｇ２の撮影範囲ＳＡにおける、Ｘ方向の左端の位置をＸ５、右端の位置をＸ６とする。画像Ｇ１の撮影範囲ＳＡにおける、Ｚ方向の上端の位置をＺ３、下端の位置をＺ４とする。画像Ｇ２の撮影範囲ＳＡにおける、Ｚ方向の上端の位置をＺ５、下端の位置をＺ６とする。本例ではＹ方向の位置は同じである。
【０１１０】
画像Ｇ１の上下左右の各端（辺）の位置は、中心の位置Ｑ１、幅Ｗ１、高さＨ１を用いて以下のように得られる。画像Ｇ１の左端の位置Ｘ３は、Ｘ３＝Ｘ１−（Ｗ１／２）で得られる。画像Ｇ１の右端の位置Ｘ４は、Ｘ４＝Ｘ１＋（Ｗ１／２）で得られる。画像Ｇ１の上端の位置Ｚ３は、Ｚ３＝Ｚ１−（Ｈ１／２）で得られる。画像Ｇ１の下端の位置Ｚ４は、Ｚ４＝Ｚ１＋（Ｗ１／２）で得られる。同様にして、画像Ｇ２の各端の位置（Ｘ５，Ｘ６，Ｚ５，Ｚ６）を得ることができる。各画像の各端の位置を用いて、重複領域１２０１の幅Ｗ１２および高さＨ１２等を計算できる。例えば、Ｗ１２＝Ｘ４−Ｘ５、Ｈ１２＝Ｚ５−Ｚ４である。
【０１１１】
計算の具体例として以下である。画像Ｇ１のサイズ（画素数で表される）が、Ｗ１＝３３９、Ｈ１＝２５２、画像Ｇ２のサイズが、Ｗ２＝３７３、Ｈ２＝２４４、とする。位置Ｑ１の座標（Ｘ１，Ｚ１）が（1420，2395）、位置Ｑ２の座標（Ｘ２，Ｚ２）が（1510，2376）とする。各画像端の座標として、Ｘ３＝1251，Ｘ４＝1589，Ｘ５＝1324，Ｘ６＝1696，Ｚ３＝2520，Ｚ４＝2269，Ｚ５＝2497，Ｚ６＝2254とする。これらの情報を用いて、重複領域１２０１の幅Ｗ１２および高さＨ１２は、Ｗ１２＝２６５、Ｈ１２＝２２８、として得られる。横の重複率ＯＬＷは、ＯＬＷ＝２６５／３３９≒０．７８、すなわち７８％となる。縦の重複率ＯＬＨは、ＯＬＨ＝２２８／２５２≒０．９０、すなわち９０％となる。
【０１１２】
重複率は、上記方式に限らず、例えば以下のような方式で処理してもよい。画像に写っている画像内容における、画素の色や特徴点等で表される表面領域の物の状態を考える。公知の画像処理によって、画像から特徴点や色領域等を抽出可能である。計算機システム１は、各画像内での同じ物（特徴点等で表される）の位置を判断し、その同じ物の位置を基準として、画像間での重複領域を判断する。計算機システム１は、その重複領域のサイズ（画素数で表される）から、重複率を計算する。
【０１１３】
［ＳＦＭ処理］
図１３は、公知のＳＦＭについての説明図を示す。ＳＦＭは、同じ対象物（複数の特徴点で表される）を、複数の視点（カメラ位置）から撮影した複数の画像を用いて、対象物の３次元座標と、カメラ方向およびカメラ位置の情報（カメラパラメータ）とを取得する方式である。例えば、３個のカメラ位置からの３枚の画像を用いて、それらの情報を取得可能である。ＳＦＭでは、カメラの動きに基づいた視差を利用して、対象物の同じ特徴点が、どれだけ変位したかに基づいて、３次元座標を推定計算する。計算された３次元座標が、対象物の構造や形状を表す。図１３の例では、対象物ＯＢ（例えば立方体）に関して、連続的に撮影された３枚の画像ＰＩＣ１〜ＰＩＣ３を示す。対象物ＯＢの特徴点の例として、特徴点Ａ，Ｂを示す。画像ＰＩＣ１〜ＰＩＣ３を入力としたＳＦＭ処理では、各画像から特徴点群（例えば特徴点Ａ，Ｂ）が抽出され、因子分解法等によって、特徴点群の３次元座標が得られる。例えば特徴点Ａの座標（Ｘａ，Ｙａ，Ｚａ）、特徴点Ｂの座標（Ｘｂ，Ｙｂ，Ｚｂ）が得られる。それと共に、カメラ方向（例えば方向Ｊ１〜Ｊ３）およびカメラ位置（例えば位置Ｅ１〜Ｅ３）が推定される。なお、構造物３次元モデル生成機能に関しては、ＳＦＭ方式をベースとした各種の応用的な方式や、他の方式についても、同様に適用可能である。
【０１１４】
［一覧画面（１）］
図１４は、実施の形態で、一覧画面４０１の第１例を示す。一覧画面４０１では、画像群の一覧が表示される。本例では、画像情報２０２におけるＩＤや撮影日時を用いた順序で、画像群２０１の複数の画像（例えば＃１〜＃２４等で示す）が、それぞれサムネイル形式で、縦横に並列に配置されて表示されている。これらの画像群は、例えば３次元モデル生成のために所定の重複率を考慮して撮影された画像群である。他の表示例としては、画像毎に、サムネイルだけでなく、画像情報２０１の情報を表示してもよい。
【０１１５】
［個別画面（１）］
図１５は、個別画面４０２の第１例を示す。個別画面４０２では、一覧画面４０１からユーザが選択した第１画像が、十分に大きな主要領域の枠１５０１に表示される。また、個別画面４０２でリンク画像の選択によって第２画像が選択された場合にも、その第２画像が枠１５０１に表示される。なお、個別画面４０２内の「一覧に戻る」ボタン１５０２の押下等の所定の操作によって、一覧画面４０１に戻ることもできる。
【０１１６】
個別画面４０２内で、第１画像の周辺には、リンク画像４０３が表示される。リンク画像４０３は、言い換えると、ナビゲーション画像である。図１５の例では、第１画像（枠１５０１）の外側において、上下左右、および各斜め（右上、右下、左上、左下）の位置に、それぞれ、リンク画像４０３が表示されている。リンク画像４０３は、矢印形状である場合を示すが、これに限らず、所定の形状のＧＵＩ部品、アイコン画像等とすることができる。リンク画像４０３の他の例としては、サムネイル画像としてもよい。
【０１１７】
これらのリンク画像４０３は、矢印で表す方向にある隣接画像を次画像として選択するための画像、部品である。これらのリンク画像４０３は、ある平面内における隣接画像を選択するための画像、部品である。ユーザは、リンク画像４０３を選択する操作（タップ等）が可能である。
【０１１８】
図１５のＧＵＩ例では、これらのリンク画像４０３は、各方向での実際の隣接画像の有無に係わらず、各方向で全部が表示される。ユーザが、所望のリンク画像４０３（例えば右矢印）を選択操作する。その場合、その選択したリンク画像４０３で表す方向に、隣接画像が存在する場合には、その隣接画像が第２画像として選択される。すなわち、個別画面４０２の枠１５０１内の第１画像に代わり、その選択された第２画像が表示されるように、画面表示状態が遷移される。第２画像は新たな第１画像の扱いとなり、同様にリンク画像４０３が表示される。また、ユーザが選択操作したリンク画像４０３で表す方向に、隣接画像が無い場合には、遷移しない。
【０１１９】
また、このＧＵＩ例では、ユーザが、所望のリンク画像４０３（例えば右矢印）を選択操作した場合において、第１画像がある同一の平面（例えば側面Ａ１）内で、そのリンク画像４０３が表す方向に、隣接画像がある場合には、その隣接画像が選択される。また、そのリンク画像４０３が表す方向に、同一の平面内での隣接画像が無く、前述の角部を介在して、奥や手前の方向に、他の面内の画像がある場合には、その画像が選択される。
【０１２０】
他のＧＵＩ例としては、リンク画像４０３を、枠１５０１内の画像上に重ねて表示してもよい。
【０１２１】
他のＧＵＩ例としては、リンク画像４０３を表示せずに、予めユーザ設定等で規定された所定の操作に応じて、隣接画像（第２画像）を選択させるようにしてもよい。例えば、キーボードのキー毎に、各方向のリンクとしての機能が割り当てられてもよい。
【０１２２】
他のＧＵＩ例としては、リンク画像４０３の代わりに、枠１５０１の線の位置に対する所定の操作によって、その位置に応じた方向の隣接画像を選択可能としてもよい。例えば、枠１５０１の右辺付近を選択操作した場合、右矢印の選択操作と同様の機能を果たす。
【０１２３】
他のＧＵＩ例としては、リンク画像４０３の代わりに、公知のドラッグやスワイプ等の操作としてもよい。例えば、枠１５０１内で、右から左へのスワイプ操作がされた場合に、右矢印の選択操作と同様の機能を果たす。
【０１２４】
［個別画面（２）］
図１６は、個別画面の第２例を示す。図１６のＧＵＩ例では、第１画像に対し、周辺に、角部を介在する他の面の画像（隣接画像に相当する一番近い画像）が存在する場合に、その種類の画像および方向を表す特定のリンク画像４０４が表示される。このリンク画像４０４は、リンク画像４０３とは形状が異なる。例えば、第１画像に対し、同じ側面内の右側には隣接画像が無く、角部を介在して手前や奥にある他の側面に画像がある場合に、そのことを表すリンク画像４０４が表示される。本例では、第１画像に対し、右奥方向に隣接画像がある場合（例えば図２５の角部６０２の付近で側面ａ２の画像＃３に対する側面ａ３の画像＃２１）に、右奥方向を表すリンク画像４０４が表示される。また、第１画像に対し、右前方向に隣接画像がある場合（例えば図２５の角部６０１の付近で側面ａ１の画像に対する側面ａ２の画像）には、右前方向を表すリンク画像４０４が表示される。
【０１２５】
他のリンク画像の例として、リンク画像４０５を示す。第１画像に対し、同じ面内で、Ｚ方向の上側（方向Ｚ１）に隣接画像がある場合、その上方向を表す矢印のリンク画像４０３が表示される。第１画像に対し、同じ面内で、Ｚ方向の上側（方向Ｚ１）に、隣接画像が無く、構造物５の屋上等の水平面に対応する画像が存在する場合、そのことを表すリンク画像４０５が表示される。このリンク画像４０５は、上奥方向を表す形状（例えば斜めに曲がった形状）を持つ。このリンク画像４０５の選択操作によって、その上奥方向にある画像を次画像として選択可能である。
【０１２６】
他のリンク画像の例として、リンク画像４０６を示す。リンク画像４０６は、第１画像に対し、同じ面内のある方向で、重複が最小となる隣接画像が無いが、重複せずに離れた位置に画像がある場合に、そのことを表すリンク画像として表示される。リンク画像４０６は、リンク画像４０３とは異なる形状を持つ。例えば、第１画像に対し、下側（方向Ｚ２）に、隣接画像が無いが、離れた位置に画像がある場合、下方向で離れた位置を表すリンク画像４０６が表示される。このリンク画像４０６の選択操作によって、その離れた位置にある画像を選択可能である。
【０１２７】
［個別画面（３）］
図１７は、個別画面の第３例を示す。この個別画面４０２のＧＵＩ例では、リンク画像４０３を、隣接画像の有無に応じて、限定的に表示する。本例では、第１画像に対し、同一面内の隣接画像として、左、下、および左下の各位置に隣接画像が存在し、他の位置には存在しないとする。この場合に、図示のように、左、下、および左下を表す３つの矢印のリンク画像４０３が表示されている。また、本例では、第１画像の右側で、特に右奥の位置に、他の側面での画像が存在する場合に、図示のように、右奥を表す矢印のリンク画像４０４が表示されている。このＧＵＩ例では、表示情報量が限定されるので、ユーザがより作業をしやすい。
【０１２８】
［個別画面（４）］
図１８は、個別画面の第４例を示す。この個別画面４０２では、枠１５０１内に第１画像を表示する際に、隣接画像との重複領域の画像内容をそのまま表示するのではなく、その重複領域を削除（言い換えるとマスク）した状態で表示する。具体的には、その重複領域は、例えば黒塗りや網掛け等の表現で表示される。本例では、第１画像（または第２画像）は、重複領域４０８を有する。この重複領域４０８は、１つ前に選択されていた前画像（説明のためにその領域を破線で示す）の右辺付近に対し、次画像として選択されて枠１５０１内に表示された画像の左辺付近が重複している領域である。
【０１２９】
このように重複領域４０８を削除表示することで、ユーザは、選択した画像のうちの重複領域４０８については、画像内容を見る必要が無く、視覚的な情報量が低減されているので、作業がしやすい。本例では、ユーザは、この画像の重複領域４０８が、前画像で劣化検査済みであることがわかるので、この画像の劣化検査の際に、この重複領域４０８を再度劣化検査する必要が無い。よって、劣化検査作業の効率化が図れる。
【０１３０】
他のＧＵＩ例としては、重複領域４０８に、さらに、劣化検査済みであることを表す情報を付与して表示してもよい。他のＧＵＩ例としては、重複領域４０８を、枠線の表現で表示してもよい。
【０１３１】
［個別画面（５）］
図１９は、個別画面の第５例を示す。この個別画面４０２では、未撮影領域（欠損領域）を、ユーザにわかるように所定の表現で表示する。未撮影領域（欠損領域）は、対応する画像が存在しない領域である。図１９の（Ａ）は、２枚の画像の関係の例を示す。画像１９１と画像１９２とが重複しており、重複率が大きい場合を示す。未撮影領域１９３は、これらの２枚の画像の外側にある領域であり、これらの２枚の画像を含む画像群では撮影されていない領域の例である。構造物５の側面等の領域のうち、この未撮影領域１９３は、画像としては存在しない。よって、この未撮影領域１９３は、劣化検査等の対象にできない。個別画面４０２では、このような未撮影領域１９３の箇所がユーザにわかるように表示する。これにより、ユーザは、未撮影領域１９３の箇所がわかり、劣化検査漏れ箇所等を認識でき、別途この箇所を撮影して劣化検査を行うといった対応も可能となる。
【０１３２】
また、他の例の未撮影領域１９３ｂを示す。この未撮影領域１９３ｂは、画像１９２と画像１９４との隙間がある場合の領域である。基本的には画像間で重複させるように撮影するが、何らかの理由（例えば空撮時のエラー）で、このように隙間が生じて未撮影領域１９３ｂが生じる場合が考えられる。この場合にも同様に、未撮影領域１９３ｂの存在がわかるように表示される。
【０１３３】
図１９の（Ｂ）および（Ｃ）は、（Ａ）に対応して、個別画面４０２での未撮影領域１９３の表示例を示す。まず、（Ｂ）の例は、枠１５０１内に、選択された画像１９１を、そのまま画像１９１の画像サイズで表示する例を示す。説明上、重複している画像１９２も枠線で示す。この際、枠１５０１の外側に、未撮影領域１９３が存在する。このように、枠１５０１の外側に、未撮影領域１９３がある場合に、未撮影領域１９３を表す画像を所定の表現（例えばドットパターン）で表示してもよい。
【０１３４】
（Ｃ）の例は、（Ｂ）の状態から、ユーザの所定の操作に応じて、画像１９１をシフト（平行移動）して表示した場合を示す。本画像表示システムは、個別画面４０２で枠１５０１内に表示する画像をシフトする機能や、拡大／縮小して表示する機能等も有する。例えば、第１画像に対するドラッグまたはスワイプ等の操作によって、このシフト表示を可能とし、第１画像に対するピンチ操作等によって拡大／縮小表示を可能とする。
【０１３５】
本例では、（Ｂ）の状態から、シフトの操作によって、画像１９１の中心位置（位置Ｑ１ａ）が、例えば左のやや上の位置Ｑ１ｂに移動されている。このシフトによって、枠１５０１内には、画像１９１の一部、未撮影領域１９３の一部１９３ｃ、画像１９２の一部１９２ｃが入っている状態となる。この個別画面４０２では、枠１５０１内に入っている画像部分が表示されると共に、未撮影領域１９３の一部１９３ｃも所定の表現で表示される。
【０１３６】
［個別画面（６）］
図２０は、個別画面の第６例を示す。この個別画面４０２では、ある第１画像に対し、重複している隣接画像がある場合に、その隣接画像の存在がユーザにわかるように、枠線等の表現で表示する。本例では、枠１５０１内の第１画像に対し、右側の位置に隣接画像がある場合に、リンク画像４０３だけでなく、その隣接画像の輪郭（辺）を表す輪郭画像４０９（例えば破線）を表示する。これにより、ユーザは、第１画像に対し、例えば右側に隣接画像があることがわかり、重複度合いもわかる。ユーザは、その隣接画像を選択したい場合、リンク画像４０３またはその輪郭画像４０９を選択操作する。これにより、その隣接画像が選択され、枠１５０１内に表示される。
【０１３７】
また、図２０の例では、個別画面４０２内に、重複率閾値ＴＯＬのユーザ設定用のＧＵＩ部品（重複率閾値設定欄）１５０３を表示している。このＧＵＩ部品１５０３では、現在設定されている重複率閾値ＴＯＬを表示し、そのＴＯＬ値をユーザが可変できるように、スライドバー等が設けられている。本例では、ユーザは、個別画面４０２でＴＯＬ値の状態を確認できる。また、ユーザは、用途や作業状態等に応じて、このＧＵＩ部品１５０３の操作によって、ＴＯＬ値の設定を変更できる。また、図２０の例のように、第１画像と隣接画像との実際の重複率を表示してもよい。
【０１３８】
また、重複率閾値ＴＯＬの設定については、１つの値だけでなく、２つの値で範囲を設定するようにしてもよい。例えば、重複率の範囲が、４０％以上で６０％以下といったように設定され、その場合、その範囲に該当する画像が選択可能となる。
【０１３９】
［劣化検査画面］
図２１は、劣化検査画面の例を示す。実施の形態の画像表示システムでは、個別画面４０２がそのまま劣化検査画面である。ユーザは、個別画面４０２で個別の画像が選択された状態で、そのままその画像を対象として、劣化検査作業を行うことができる。劣化検査画面で、枠１５０１内には、選択された画像が劣化検査対象画像として表示されている。
【０１４０】
劣化検査は、例えば人による目視検査と、計算機による自動診断とがある。本画像表示システムでは、それらの両方の機能に対応している。本例では、ユーザは、劣化検査画面内の画像に対する目視検査を行う。ユーザは、この画像を目視して、劣化の有無や箇所を判断する。例えば、画像内にひび割れ等の劣化箇所２１０１がある場合を示す。この劣化検査画面では、劣化検査支援処理の例として、ユーザが目視検査で見つけた劣化箇所を、マーキングして表示することができる。ユーザは、例えば、劣化箇所２１０１に対し、所定の操作でマーキングを行う。マーキング操作例は、ドラッグ等によって枠で囲む操作である。マーキング画像例としては、赤色の枠２１０２が表示される。
【０１４１】
また、枠１５０１外には、画像情報や構造物情報等を表示してもよい。枠１５０１外には、劣化検査のチェック項目（検査済み／未検査の状態が入力可能）、劣化有無項目、コメント入力欄等を設けてもよい。
【０１４２】
自動診断機能を用いる場合、計算機システム１は、対象画像を入力として、劣化箇所を推定する。画像表示システムは、劣化検査画面で、計算機システム１による自動診断結果情報を表示する。例えば、推定された劣化箇所が、所定の表現で表示される。ユーザは、その結果情報を見て確認や最終判断を行う。
【０１４３】
なお、変形例の画像表示システムでは、個別画面４０２とは別に、劣化検査画面を設けて、所定の操作（例えばダブルタップ等）に基づいてそれらの画面間で遷移させるようにしてもよい。
【０１４４】
［構造物３次元モデル画面］
図２２は、構造物３次元モデル画面の例を示す。本画像表示システムは、一覧画面４０１等で、所定の操作を受けた場合、構造物３次元モデル画面を表示する。本画像表示システムは、３次元モデルデータｄ５に基づいて、構造物３次元モデルを、この画面内の領域に表示し、構造物情報等を合わせて表示する。この領域では、例えば地図（敷地等）上に構造物３次元モデルを重ねて斜視で表示される。この画面に対する所定の操作に応じて、構造物３次元モデルを見る方向や位置等が変更可能である。
【０１４５】
さらに、この構造物３次元モデルに対し、ユーザの所定の操作によって、側面等の領域を選択、指定可能としてもよい。本画像表示システムは、例えばある側面が選択、指定された場合、その側面に対応付けられる画像群を、一覧画面４０１に表示する。あるいは、構造物３次元モデルのうちのある位置が選択、指定された場合に、その位置に対応付けられる画像を、個別画面４０２に表示するようにしてもよい。
【０１４６】
［一覧画面（２）］
図２３は、一覧画面の第２例を示す。この一覧画面４０１では、元の画像群のうち、劣化検査対象の画像群が、一覧で表示される。先に、ユーザが、前述の個別画面４０２を通じて、劣化検査対象の画像群を選択する。その後、画像表示システムは、一覧画面４０１で、それらの劣化検査対象の画像群（選択画像群）を、一覧で表示する。一覧画面４０１内での所定の操作（例えば選択画像群表示ボタン押下）によって、その選択画像群を表示するようにしてもよい。また、この画面では、劣化検査対象の画像群（選択画像群）について、画像毎に、劣化検査情報（例えば検査済み、劣化有無等）を合わせて表示してもよい。
【０１４７】
［一覧画面（３）］
図２４は、一覧画面の第３例を示す。この一覧画面４０１は、図２３の一覧画面４０１に対する変形例として、劣化検査対象の画像群の一覧を表示する際の別の方式を示す。この一覧画面４０１では、劣化検査対象の画像群を、構造物５の表面領域の形状（または生成した構造物３次元モデル）に沿った位置関係で配置して表示する。例えば、この一覧画面４０１内の領域２４０１では、選択された側面グループ毎に、劣化検査対象の画像群（隣接画像群）を表示している。例えば、図２５の側面ａ２に関して、隣接画像群として画像＃１〜＃１２がある。この領域内には、まず、選択されたグループの側面（すなわち一部平面領域）に対応する領域２４０１が表示される。その領域２４０１内に、複数の隣接画像（画像＃１〜＃１２）が、実際の位置関係に合わせて配列されて表示される。また、画像（サムネイル）毎に、検査済みや劣化有無等の状態がわかるように、所定の表現で表示するようにしてもよい。領域２４０１内の１つの画像が選択操作された場合、個別画面４０２でその画像が表示される。
【０１４８】
また、領域２４０１に、他の側面グループを選択するためのリンク画像２４０２を表示してもよい。例えば、右矢印のリンク画像２４０２が選択操作されると、側面ａ３のグループが選択され、領域２４０１内に同様に表示される。また、図２４の側面グループ単位でのリンク画像２４０２を表示する際の例では、左右の矢印形状としているが、これに限らず各種の表現とすることが可能である。例えば、リンク画像２４０２は、図１６のリンク画像４０４の例と同様に、３次元の空間で奥や前の方向に変化することを表す矢印形状としてもよい。例えば、側面ａ２から側面ａ３へのリンクのためのリンク画像２４０２は、右奥を表す曲がった矢印形状で表示される。
【０１４９】
［隣接画像の判断］
図２５や図２６を用いて、空間的な位置関係での隣接画像（次画像）の判断およびＧＵＩ等について説明する。特に、図６の例のように、構造物５の角部を介在する側面同士での画像間の位置関係や次画像の選択判断を行う場合について説明する。複数の画像（および撮影範囲）は、３次元の空間内に配置されている。３次元の構造物５における角部、異なる側面、曲面等を撮影した画像群を扱う場合、対応して、各画像のカメラ方向Ｃが異なる場合がある。そのようにカメラ方向Ｃが異なる画像同士では、重複率や隣接画像の判断が難しい場合がある。そのため、本画像表示システム（特に隣接画像判断部３０３）では、画像の位置および方向の情報（例えばカメラ方向Ｃおよびカメラ方向Ｖ）を用いて、カメラ方向Ｃが異なる場合でも、画像間の位置関係を判断し、ある画像に対する次画像を判断する機能を持つ。本画像表示システムでは、空間内の画像の組での重複率を計算する際に、効率性も考慮して、画像の位置情報を用いて、画像の組を判断する。
【０１５０】
図２５は、図６の例に対応した、構造物５の側面間の画像関係の例を示す。本例では、構造物５の側面ａ２および側面ａ３における隣接画像の例を示す。ここでの隣接画像とは、劣化検査用に好適な画像として選択される画像群を示す。各画像を破線枠で示すが、実際には各画像同士で端部同士が一部重複している。
【０１５１】
側面ａ２では、面内の左側、Ｙ方向の奥側（方向Ｙ１）に、角部６０１があり、面内の右側、Ｙ方向の手前側（方向Ｙ２）に、角部６０２がある。側面ａ３では、面内の左側（方向Ｘ１）に、角部６０２があり、面内の右側（方向Ｘ２）に、角部６０３がある。側面ａ２のグループのルートｒ２において、前述の走査のような空撮によって、画像群が撮影されている。それらの画像群のうち、重複が最小となるように選択された隣接画像群の例を、画像＃１〜＃１２で示す。同様に、側面ａ３のグループのルートｒ３において、前述の走査のような空撮によって、画像群が撮影されている。それらの画像群のうち、重複が最小となるように選択された隣接画像群の例を、画像＃２１〜＃３２で示す。これらの画像番号は、撮影日時の順序とも対応している。重複率が大きいために選択されなかった画像については図示を省略している。
【０１５２】
本画像表示システムは、個別画面４０２で、ユーザが選択した１枚の画像を表示する。例えば、第１画像として画像＃３が選択されたとする。その場合、側面ａ２のＹ−Ｚ平面内のみで考えると、隣接画像としては、画像＃２，＃４，＃５がある。ここで、３次元の空間で考えると、図示のように、角部６０２において、側面ａ２の右端部には側面ａ３の左端部が接続されている。ユーザが個別画面４０２で画像＃３をみた場合に、画像＃３に対し、そのまま右側（方向Ｙ２）には、構造物５が無いので隣接画像が無い。しかしながら、構造物５の表面形状に沿って、側面ａ２から側面ａ３へと曲がる方向を含めて、３次元の位置関係を考えた場合、画像＃３に対して右奥に進む方向には、側面ａ３の画像＃２１が存在する。同様に、側面ａ３の画像＃２１からみた場合、左奥に進む方向には、側面ａ２の画像＃３が存在する。
【０１５３】
劣化検査等の用途では、上記画像＃３と画像＃２１との位置関係のような場合にも、これらの画像間での選択や表示を行うことができると有用である。そこで、本画像表示システムでは、このように、ある側面の画像と別の側面の画像とが連なっている場合（カメラ方向が異なる位置が近い画像がある場合）でも、画像間での選択や表示を可能とする機能を有する。このため、本画像表示システムでは、画像の位置や方向の情報を用いて、画像間の３次元の位置関係を判断し（図２６）、側面間での隣接画像も判断して、リンク画像として提示する。例えば、個別画面４０２で画像＃３が表示された場合、リンク画像としては、左や下を表すリンク画像だけでなく、右奥を表すリンク画像（図１７、リンク画像４０４）も表示される。
【０１５４】
なお、このように側面間での隣接画像の場合、画像間で重複する領域が無い場合がある。そのため、本画像表示システムは、この側面間での隣接画像の判断の際には、同じ平面内での重複率の判断ではなく、３次元の位置関係や距離の判断を主として行う（図４のＳ１０等）。
【０１５５】
同様に、側面ａ２と側面ａ３との関係では、隣接画像として、画像＃４と画像＃２６との組、画像＃９と画像＃２７との組、画像＃１０と画像＃３２との組、が得られる。同様に、他の角部を介在する側面同士においても、それぞれ、隣接画像が得られる。
【０１５６】
図２６は、図２５に対応して、構造物５の側面間での画像選択判断の例について示す。図２６では、側面ａ１、側面ａ２、側面ａ３、角部６０１、角部６０２等を俯瞰で示す。側面ａ１のルートｒ１で、撮影時のカメラ位置Ｃの例として、位置ｃ１，ｃ２，ｃ３を示す。これらの位置は、側面ａ１の角部６０１に近い位置である。いずれの位置でも、カメラ方向は方向Ｙ１であり、対象距離Ｄ０は一定である。例えば位置ｃ３で撮影した時の画像ｇ１１（特に撮影範囲の幅）を示す。また、側面ａ２のルートｒ２で、撮影時のカメラ位置Ｃの例として、位置ｃ４，ｃ５，ｃ６等を示す。これらの位置は、側面ａ２の角部６０１に近い位置である。いずれの位置でも、カメラ方向は方向Ｘ２であり、対象距離Ｄ０は一定である。例えば位置ｃ４（位置ｃ３と殆ど同じ位置であるとする）で撮影した時の画像ｇ１２（特に撮影範囲の幅）を示す。
【０１５７】
本画像表示システムは、側面ａ１の画像ｇ１１に対し、隣接画像として、同じ側面内の隣接画像だけでなく、異なる側面の画像（画像ｇ１２）を判断する。その際、本画像表示システムは、各画像のカメラ位置Ｃの位置情報を用いて、カメラ位置Ｃ間の距離を計算して判断する。本画像表示システムは、例えば、画像ｇ１１の位置ｃ３に対し、同じ側面内の画像（位置ｃ１，ｃ２等の画像）を除いて、カメラ位置Ｃ間の距離が最も小さくなる画像を判断する。本例では、位置ｃ３に対し、位置ｃ４が、距離が最も小さい。よって、位置ｃ４の画像ｇ１２が、側面間の隣接画像としてピックアップされる。本画像表示システムは、画像ｇ１１に対し、画像ｇ１２を、側面間の隣接画像（側面間の場合では重複が無くても隣接画像と称する）として関連付け、対応するリンク画像を表示させる。
【０１５８】
なお、他の処理例として、本画像表示システムは、カメラ位置Ｃを用いるのではなく、近似的に、ドローン位置Ｐの情報を用いて、上記距離を判断してもよい。また、他の処理例として、本画像表示システムは、カメラ位置Ｃではなく、対応する画像および撮影範囲の中心の位置Ｑの情報を用いて、上記距離を判断してもよい。例えば、画像ｇ１１の中心位置が位置ｑ３、画像ｇ１２の中心位置が位置ｑ４であるとする。本画像表示システムは、同じ側面内の画像以外で、画像の中心位置間の距離が最も小さくなる画像を判断する。本例では、位置ｑ３に対し、位置ｑ４が最も距離が小さい。よって、位置ｑ４の画像ｇ１２が、側面間の隣接画像としてピックアップされる。
【０１５９】
角部６０２を介在する側面ａ２と側面ａ３との関係でも、上記と同様に、隣接画像を判断可能である。例えば、側面ａ２における位置ｃ１３（または位置ｑ１３）の画像ｇ１３を第１画像とした場合に、隣接画像として、側面ａ３における位置ｃ１４（または位置ｑ１４）の画像ｇ１４をピックアップできる。
【０１６０】
個別画面４０２で、画像ｇ１１が表示されている場合、リンク画像としては、右前（方向Ｙ２）を表すリンク画像が表示される。このリンク画像の選択によって画像ｇ１２に遷移可能である。個別画面４０２で、画像ｇ１２が表示されている場合、リンク画像としては、左前（方向Ｘ１）を表すリンク画像が表示される。このリンク画像の選択によって画像ｇ１１に遷移可能である。個別画面４０２で、画像ｇ１３が表示されている場合、リンク画像としては、右奥（方向Ｘ２）を表すリンク画像が表示される。このリンク画像の選択によって画像ｇ１４に遷移可能である。個別画面４０２で、画像ｇ１４が表示されている場合、リンク画像としては、左奥（方向Ｙ１）を表すリンク画像が表示される。このリンク画像の選択によって画像ｇ１３に遷移可能である。
【０１６１】
なお、このようなリンク画像を介した表示画像遷移は、カメラ方向Ｃの変更に対応するユーザ視線方向の変更と対応している。本画像表示システムのＧＵＩでは、このような３次元の構造物５の表面形状に沿った方向での画像選択および表示画像遷移を可能としている。これにより、ユーザは、劣化検査等の用途に応じた作業をより効率的にできる。
【０１６２】
なお、上記のように画像の位置や方向の情報を用いて画像の位置関係を判断する形態に限らず可能である。変形例としては、画像処理によって画像内から抽出される特徴点等の判断に基づいて、画像の位置関係を判断するようにしてもよい。
【０１６３】
［空撮方式（３）］
図２７は、応用例として、他の構造物５の空撮の方式の第３例を示す。本例の構造物５は、円柱形状を有する場合を示す。この構造物５の曲面を持つ側面Ａ３０の領域を、劣化検査対象とする場合に、以下のような空撮方式を用いる。図２７の（Ａ）は斜視、（Ｂ）はＺ方向の俯瞰を示す。この方式の空撮設定例では、図示のように、曲面の側面Ａ３０に対し、ドローン１０およびカメラ４を、対象距離Ｄ０を概略一定とするようにして、例えば水平方向に円周状に移動させるルートＲ３０とする。このルートＲ３０では、カメラ方向については、曲面の側面Ａ３０に対して例えば垂直に向くように制御される。例えば、ルートＲ３０上のカメラ位置ｃ３１での画像ｇ３１、カメラ位置ｃ３２での画像ｇ３２、カメラ位置ｃ３３での画像ｇ３３等を示す。
【０１６４】
このような空撮方式で得られた画像群の場合にも、同様に、本画像表示システムの処理が適用可能であり、概略同様の効果が得られる。本画像表示システムは、側面Ａ３０に沿って形成されている複数の画像（撮影範囲）について、同様に、重複率、隣接画像等を判断する。この場合、個別画面４０２では、側面Ａ３０に沿った方向で、各画像を選択可能である。この空撮方式の場合、特に、対象距離Ｄ０を一定とすることで、劣化検査がしやすく、また、ＳＦＭ処理の精度を確保できる。この空撮方式に限らず、前述のように複数の直線状のルートに分ける方式としてもよい。
【０１６５】
［処理タイミング］
実施の形態の画像表示システムでは、計算機システム１は、図４のフロー（Ｓ６）のように、ユーザ操作によってある第１画像が選択されたタイミング毎に、重複率や隣接画像判断の処理を実行している。処理タイミングは、これに限らず可能である。変形例では、計算機システム１（例えばサーバ３）は、予め、画像群のデータが入力されたタイミングや、ユーザによって一括処理実行が指定されたタイミングで、その画像群に対する重複率計算や隣接画像判断処理を一括処理として実行する。この処理の結果、元の画像群に関して、劣化検査等の用途に応じて、対象画像群をまとめて選択可能である。例えば、図２５の例のように、３次元の空間での位置関係を持つ隣接画像群を構成することができる。計算機システム１は、この処理で構成した隣接画像群の情報を、構造物５の３次元モデルデータ等と合わせて管理する。そして、計算機システム１は、ユーザの操作に応じて、ＧＵＩ画面（例えば図２３、図２４）に、その隣接画像群の情報を表示することができる。
【０１６６】
また、入力の画像群は、変更される場合がある。例えば、一部の画像が後から追加される場合もある。例えば、最初の撮影での未撮影領域がある場合に、２回目の撮影でその未撮影領域を対象として撮影される。そのような場合、計算機システム１は、その追加された画像に対し、同様に処理を実行する。すなわち、計算機システム１は、その追加画像を第１画像とし、処理済みの画像群を候補画像として、同様の重複率計算や隣接画像判断処理を再実行する。これにより、その追加画像に関して隣接画像群が構成され、画像群の関係が再構築、更新される。
【０１６７】
［効果等］
上記のように、実施の形態の画像表示システムによれば、ドローン１０のカメラ４で撮影した画像群から劣化検査等の用途のための画像を選択する際に、好適な画像を容易に選択することができ、ユーザの作業の手間を低減できる。用途に応じて、ユーザは、ある画像（第１画像）を見て確認や作業を行い、次にその画像の周囲にある画像から選択し、その画像（第２画像）を見て確認や作業を行う、といった場合が多い。そのような場合に、本画像表示システムでは、画像群の選択や作業を効率的に実現できる。実施の形態では、劣化検査の用途で、ユーザが目視検査の作業を効率的に実現できる。計算機による自動診断を行う場合でも、計算機が、選択画像群に対する処理を効率的に行うことができる。
【０１６８】
上記のように、実施の形態の画像表示システムでは、３次元空間内での位置関係を持つ複数の２次元画像を対象として、画像内の物体に関する重複状態を判断する仕組みを有し、また、その重複状態に応じて画像間の選択や遷移をナビゲーションするＧＵＩ等の仕組みを有する。特に、本画像表示システムでは、構造物５の表面の３次元形状に沿った位置関係や方向での画像の選択や遷移が可能である。
【０１６９】
本画像表示システムでは、ユーザが第１画像を選択して個別画面４０２に表示した際に、その第１画像の周囲にある画像を探索して、重複率に基づいて隣接画像を判断し、対応するリンク画像を提示する。このように、本画像表示システムでは、処理を効率的に行うので、ユーザの待ち時間も少なくすることができる。
【０１７０】
本画像表示システムは、劣化検査や３次元モデル生成の用途に限らず、他の用途にも適用可能である。他の用途に適用する場合でも、画像群および画像間で、用途に応じた重複率に従って好適な画像を選択でき、用途に応じた作業や処理を効率的に行うことができる。
【０１７１】
変形例の画像表示システムとしては、３次元モデル生成機能を持たない形態も可能である。
【０１７２】
本画像表示システムでは、人手またはドローン１０を用いて入力の画像群を得る構成としたが、これに限らず、入力の画像群は、任意の手段で得られたものとしてもよい。また、本画像表示システムでは、特に、劣化検査と３次元モデル生成との両方の用途に使用される画像群を扱う場合を説明した。特に、３次元モデル生成が可能なように撮影された画像群から、劣化検査用に好適な一部の画像群を選択する場合について説明した。これに限らず、ある第１用途のために撮影された第１画像群から、別の第２用途のための第２画像群を選択する場合に、本画像表示システムは有効である。
【０１７３】
以上、本発明を実施の形態に基づいて具体的に説明したが、本発明は前述の実施の形態に限定されず、その要旨を逸脱しない範囲で種々変更可能である。
【符号の説明】
【０１７４】
１…計算機システム、２０１…画像群、２０２…画像情報、ｄ１…構造物データ、ｄ２…撮影計画データ、ｄ４…検査データ、ｄ５…３次元モデルデータ、１２１…劣化検査支援部、１２２…３次元モデル生成部、１２２Ａ…ＳＦＭ処理部、１２３…画像表示制御部、３０１…一覧表示部、３０２…個別表示部、３０３…隣接画像判断部、３０４…重複率計算部、４０１…一覧画面、４０２…個別画面。
【図１】
2020005186.tif 000003
【図２】
2020005186.tif 000004
【図３】
2020005186.tif 000005
【図４】
2020005186.tif 000006
【図５】
2020005186.tif 000007
【図６】
2020005186.tif 000008
【図７】
2020005186.tif 000009
【図８】
2020005186.tif 000010
【図９】
2020005186.tif 000011
【図１０】
2020005186.tif 000012
【図１１】
2020005186.tif 000013
【図１２】
2020005186.tif 000014
【図１３】
2020005186.tif 000015
【図１４】
2020005186.tif 000016
【図１５】
2020005186.tif 000017
【図１６】
2020005186.tif 000018
【図１７】
2020005186.tif 000019
【図１８】
2020005186.tif 000020
【図１９】
2020005186.tif 000021
【図２０】
2020005186.tif 000022
【図２１】
2020005186.tif 000023
【図２２】
2020005186.tif 000024
【図２３】
2020005186.tif 000025
【図２４】
2020005186.tif 000026
【図２５】
2020005186.tif 000027
【図２６】
2020005186.tif 000028
【図２７】
2020005186.tif 000029