(57)【要約】【課題】３次元点群データと画像データのマッチングを行う上で、３次元点群データと画像データとのマッチングを確実に行わせる３次元点群表示装置を得ることを目的とする。【解決手段】３次元点群表示装置１は、監視対象をカメラ２１により撮影して得られた画像データ２２を取得するデータ取得部２と、監視対象のうち、カメラ２１により撮影された範囲の少なくとも一部を含んで計測して得た３次元点群データ３１を画面４ａに表示する処理を行う表示処理部３と、画面４ｂに表示される３次元点群データ３１に対して、ユーザ入力により演算範囲の設定を行う演算範囲設定部６と、を備えている。【選択図】  図１
2019095876.tif 000002
【特許請求の範囲】
【請求項１】
監視対象をカメラにより撮影して得られた画像データを取得するデータ取得部と、
前記監視対象のうち、前記カメラにより撮影された範囲の少なくとも一部を含んで計測して得た３次元点群データを画面に表示する処理を行う表示処理部と、
前記画面に表示される前記３次元点群データに対して、ユーザ入力により演算範囲の設定を行う演算範囲設定部と、
前記演算範囲設定部の設定に基づき前記３次元点群データから選択された選択データと前記データ取得部により取得された前記画像データの各々の特徴情報を抽出する特徴情報抽出部と、
前記特徴情報抽出部による前記抽出の結果に基づき、前記３次元点群データの特徴情報と前記画像データの特徴情報同士をマッチングさせるマッチング部と、
前記マッチング部のマッチングの結果に基づき、前記画面内で前記３次元点群データの上に前記画像データを重畳表示させる重畳表示処理部と、
を備えた３次元点群表示装置。
【請求項２】
前記表示処理部は、前記演算範囲設定部での前記設定を行う場合に、前記画面の内部で前記画像データを表示させる画像データ表示領域を作成する
請求項１に記載の３次元点群表示装置。
【請求項３】
前記画像データ表示領域は、前記画面の角部に配置される
請求項２に記載の３次元点群表示装置。
【請求項４】
前記演算範囲設定部は、前記演算範囲に対応する演算範囲領域を前記画面に表示する
請求項１から３のいずれか一項に記載の３次元点群表示装置。
【請求項５】
前記演算範囲設定部は、ポインティングデバイスを利用して前記演算範囲を設定する
請求項１から４のいずれか一項に記載の３次元点群表示装置。
【請求項６】
前記マッチング部による前記マッチングの結果を判定するマッチング度判定部を有し、
前記判定の結果に応じて、前記演算範囲の再設定を促す警告を報知する
請求項１から５のいずれか一項に記載の３次元点群表示装置。
【請求項７】
前記警告が報知され、前記演算範囲の設定を再度行う場合、警告対象となった前回の前記演算範囲の領域である前回演算範囲領域が前記画面に表示される
請求項６に記載の３次元点群表示装置。
【請求項８】
前記データ取得部は、前記カメラが撮影方向を可変な可動カメラである場合、前記可動カメラにより撮影された複数方向における複数の前記画像データを取得し、
前記特徴情報抽出部は、複数の前記画像データを利用した特徴情報の抽出を行う
請求項１から７のいずれか一項に記載の３次元点群表示装置。
【請求項９】
監視対象をカメラにより撮影して得られた画像データを取得するデータ取得部と、
前記監視対象のうち、前記カメラにより撮影された範囲の少なくとも一部を含んで計測して得た３次元点群データを画面に表示する処理を行う表示処理部と、
前記画面に表示される前記３次元点群データに対して、前記画像データに含まれる属性情報により演算範囲の設定を行う演算範囲設定部と、
前記演算範囲設定部の設定に基づき前記３次元点群データから選択された選択データと前記データ取得部により取得された前記画像データの各々の特徴情報を抽出する特徴情報抽出部と、
前記特徴情報抽出部による前記抽出の結果に基づき、前記３次元点群データの特徴情報と前記画像データの特徴情報同士をマッチングさせるマッチング部と、
前記マッチング部のマッチングの結果に基づき、前記画面内で前記３次元点群データの上に前記画像データを重畳表示させる重畳表示処理部と、
を備えた３次元点群表示装置。
【請求項１０】
監視対象を撮影するカメラと、
前記カメラにより撮影して得られた画像データを取得するデータ取得部と、
前記監視対象のうち、前記カメラにより撮影された範囲の少なくとも一部を含んで計測して得た３次元点群データを画面に表示する処理を行う表示処理部と、
前記画面に表示される前記３次元点群データに対して、ユーザ入力により演算範囲の設定を行う演算範囲設定部と、
前記演算範囲設定部の設定に基づき前記３次元点群データから選択された選択データと前記データ取得部により取得された前記画像データの各々の特徴情報を抽出する特徴情報抽出部と、
前記特徴情報抽出部による前記抽出の結果に基づき、前記３次元点群データの特徴情報と前記画像データの特徴情報同士をマッチングさせるマッチング部と、
前記マッチング部のマッチングの結果に基づき、前記画面内で前記３次元点群データの上に前記画像データを重畳表示させる重畳表示処理部と、
を備えた３次元点群表示システム。
【請求項１１】
前記表示処理部は、前記演算範囲設定部での前記設定を行う場合に、前記画面の内部で前記画像データを表示させる画像データ表示領域を作成する
請求項１０に記載の３次元点群表示システム。
【請求項１２】
監視対象をカメラにより撮影して得られた画像データを取得するデータ取得ステップと、
前記監視対象のうち、前記カメラにより撮影された範囲の少なくとも一部を含んで計測して得た３次元点群データを画面に表示する処理を行う表示処理ステップと、
前記画面に表示される前記３次元点群データに対して、ユーザ入力により演算範囲の設定を行う演算範囲設定ステップと、
前記演算範囲設定ステップでの設定に基づき前記３次元点群データから選択された選択データと前記データ取得ステップにより取得された前記画像データの各々の特徴情報を抽出する特徴情報抽出処理ステップと、
前記特徴情報抽出処理ステップによる前記抽出の結果に基づき、前記３次元点群データの特徴情報と前記画像データの特徴情報同士をマッチングさせるマッチング処理ステップと、
前記マッチング処理ステップでのマッチングの結果に基づき、前記画面内で前記３次元点群データの上に前記画像データを重畳表示させる重畳表示処理ステップと、
を有する３次元点群表示方法。
【請求項１３】
前記表示処理ステップは、前記演算範囲設定ステップでの前記設定を行う場合に、前記画面の内部で前記画像データを表示させる画像データ表示領域を作成する
請求項１２に記載の３次元点群表示方法。
【請求項１４】
監視対象をカメラにより撮影して得られた画像データを取得するデータ取得ステップと、
前記監視対象のうち、前記カメラにより撮影された範囲の少なくとも一部を含んで計測して得た３次元点群データを画面に表示する処理を行う表示処理ステップと、
前記画面に表示される前記３次元点群データに対して、ユーザ入力により演算範囲の設定を行う演算範囲設定ステップと、
前記演算範囲設定ステップでの設定に基づき前記３次元点群データから選択された選択データと前記データ取得ステップにより取得された前記画像データの各々の特徴情報を抽出する特徴情報抽出処理ステップと、
前記特徴情報抽出処理ステップによる前記抽出の結果に基づき、前記３次元点群データの特徴情報と前記画像データの特徴情報同士をマッチングさせるマッチング処理ステップと、
前記マッチング処理ステップのマッチングの結果に基づき、前記画面内で前記３次元点群データの上に前記画像データを重畳表示させる重畳表示処理ステップと、
をコンピュータに実行させるための３次元点群表示プログラム。
【請求項１５】
前記表示処理ステップは、前記演算範囲設定ステップでの前記設定を行う場合に、前記画面の内部で前記画像データを表示させる画像データ表示領域を作成する
請求項１４に記載の３次元点群表示プログラム。
【請求項１６】
請求項１４または１５に記載の３次元点群表示プログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、３次元点群表示装置の表示画面上に、カメラで撮影された画像を半自動でマッチングさせて表示させる、３次元点群表示装置、３次元点群表示システム、３次元点群表示方法、３次元点群表示プログラムおよび記録媒体に関するものである。
【背景技術】
【０００２】
河川等の広域インフラ監視を行う場合、レーザスキャンにより得られた地形や構造物の３次元点群データを３次元点群表示装置に表示させることがある。そして、３次元点群表示装置の画面上にカメラで撮像された動画や静止画といった画像データを重畳表示することで、画像によるリアルタイム状態と周囲の環境を合わせて確認でき、河川の氾濫状況などを正確に把握することが可能となる。この機能を実現するためには、３次元点群データと画像データのマッチングを行う必要がある。
【０００３】
従来、３次元点群データと画像データのマッチングを取るために、周辺の実画像を撮影するカメラ、ＧＰＳ装置から取得したモバイル端末の概略位置の周辺の３次元座標データをサーバから取得し、この取得した３次元座標データと、上記カメラによって撮影された現在の実画像をオルソ補正したものとについて、それぞれ特徴情報を抽出し、この抽出した特徴情報同士をマッチングさせていた（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−１７００６０号公報（段落［０００７］）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１は、モバイル端末での拡張現実を用いて、現実空間の映像に設備情報を重畳表示することを想定したものであり、モバイル端末のユーザは設備に近くにいることが多い。そのため、ＧＰＳから現在の概略位置を取得した後、概略位置を中心に半径２０メートルの領域を含む３次元地図情報の要求を、サーバの３次元地図情報送信部に送信するように構成されていた。
【０００６】
しかしながら、広域インフラ監視を行う場合、カメラの周囲にカメラで撮影している画像の対象が存在するとは限らず、特許文献１のように現在の概略位置のＧＰＳデータを基準とした周囲の３次元地図情報と実画像をマッチングさせようとしてもマッチングできない可能性があった。
【０００７】
本発明は上記のような課題を解決するためになされたものであり、３次元点群データと画像データのマッチングを行う上で、３次元点群データと画像データとのマッチングを確実に行わせる３次元点群表示装置を得ることを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る３次元点群表示装置は、監視対象をカメラにより撮影して得られた画像データを取得するデータ取得部と、監視対象のうち、カメラにより撮影された範囲の少なくとも一部を含んで計測して得た３次元点群データを画面に表示する処理を行う表示処理部と、画面に表示される３次元点群データに対して、ユーザ入力により演算範囲の設定を行う演算範囲設定部と、演算範囲設定部の設定に基づき３次元点群データから選択された選択データとデータ取得部により取得された画像データの各々の特徴情報を抽出する特徴情報抽出部と、特徴情報抽出部による抽出の結果に基づき、３次元点群データの特徴情報と画像データの特徴情報同士をマッチングさせるマッチング部と、マッチング部のマッチングの結果に基づき、画面内で３次元点群データの上に画像データを重畳表示させる重畳表示処理部と、を備えている。
【０００９】
本発明に係る３次元点群表示装置は、監視対象をカメラにより撮影して得られた画像データを取得するデータ取得部と、監視対象のうち、カメラにより撮影された範囲の少なくとも一部を含んで計測して得た３次元点群データを画面に表示する処理を行う表示処理部と、画面に表示される３次元点群データに対して、画像データに含まれる属性情報により演算範囲の設定を行う演算範囲設定部と、演算範囲設定部の設定に基づき３次元点群データから選択された選択データとデータ取得部により取得された画像データの各々の特徴情報を抽出する特徴情報抽出部と、特徴情報抽出部による抽出の結果に基づき、３次元点群データの特徴情報と画像データの特徴情報同士をマッチングさせるマッチング部と、マッチング部のマッチングの結果に基づき、画面内で３次元点群データの上に画像データを重畳表示させる重畳表示処理部と、を備えている。
【００１０】
また、本発明に係る３次元点群表示システムは、監視対象を撮影するカメラと、カメラにより撮影して得られた画像データを取得するデータ取得部と、監視対象のうち、カメラにより撮影された範囲の少なくとも一部を含んで計測して得た３次元点群データを画面に表示する処理を行う表示処理部と、画面に表示される３次元点群データに対して、ユーザ入力により演算範囲の設定を行う演算範囲設定部と、演算範囲設定部の設定に基づき３次元点群データから選択された選択データとデータ取得部により取得された画像データの各々の特徴情報を抽出する特徴情報抽出部と、特徴情報抽出部による抽出の結果に基づき、３次元点群データの特徴情報と画像データの特徴情報同士をマッチングさせるマッチング部と、マッチング部のマッチングの結果に基づき、画面内で３次元点群データの上に画像データを重畳表示させる重畳表示処理部と、を備えている。
【００１１】
また本発明に係る３次元点群表示方法は、監視対象をカメラにより撮影して得られた画像データを取得するデータ取得ステップと、監視対象のうち、カメラにより撮影された範囲の少なくとも一部を含んで計測して得た３次元点群データを画面に表示する処理を行う表示処理ステップと、画面に表示される３次元点群データに対して、ユーザ入力により演算範囲の設定を行う演算範囲設定ステップと、演算範囲設定ステップでの設定に基づき３次元点群データから選択された選択データとデータ取得ステップにより取得された画像データの各々の特徴情報を抽出する特徴情報抽出処理ステップと、特徴情報抽出処理ステップによる抽出の結果に基づき、３次元点群データの特徴情報と画像データの特徴情報同士をマッチングさせるマッチング処理ステップと、マッチング処理ステップでのマッチングの結果に基づき、画面内で３次元点群データの上に画像データを重畳表示させる重畳表示処理スを有している。
【００１２】
また、本発明に係る３次元点群表示プログラムは、監視対象をカメラにより撮影して得られた画像データを取得するデータ取得ステップと、監視対象のうち、カメラにより撮影された範囲の少なくとも一部を含んで計測して得た３次元点群データを画面に表示する処理を行う表示処理ステップと、画面に表示される３次元点群データに対して、ユーザ入力により演算範囲の設定を行う演算範囲設定ステップと、演算範囲設定ステップでの設定に基づき３次元点群データから選択された選択データとデータ取得ステップにより取得された画像データの各々の特徴情報を抽出する特徴情報抽出処理ステップと、特徴情報抽出処理ステップによる抽出の結果に基づき、３次元点群データの特徴情報と画像データの特徴情報同士をマッチングさせるマッチング処理ステップと、マッチング処理ステップのマッチングの結果に基づき、画面内で３次元点群データの上に画像データを重畳表示させる重畳表示処理ステップと、をコンピュータに実行させる。
【００１３】
また、本発明に係る記録媒体は、上記３次元点群表示プログラムが記録されている。
【発明の効果】
【００１４】
また、本発明に係る３次元点群表示装置によれば、３次元点群データと画像データとのマッチングを確実に行わせることが可能になる。
【００１５】
また、本発明に係る３次元点群表示システムによれば、３次元点群データと画像データとのマッチングを確実に行わせることが可能になる。
【００１６】
また、本発明に係る３次元点群表示方法によれば、３次元点群データと画像データとのマッチングを確実に行わせることが可能になる。
【００１７】
また、本発明に係る３次元点群表示プログラムによれば、３次元点群データと画像データとのマッチングを確実に行わせることが可能になる。
【００１８】
また、本発明に係る記録媒体によれば、上記プログラムを記録しており、３次元点群データと画像データとのマッチングを確実に行わせることが可能になる。
【図面の簡単な説明】
【００１９】
【図１】実施の形態１に係る３次元点群表示システムの構成を示すブロック図である。
【図２】実施の形態１に係る３次元点群表示装置のハードウェア構成例を示す図である。
【図３】実施の形態１に係る監視対象として河川を想定した場合のカメラとレーザスキャナの配置の例を示す図である。
【図４】実施の形態１に係る３次元点群表示装置の動作を示すフローチャート図である。
【図５】実施の形態１に係る画像データと、３次元点群データを表示する表示器における画面の内容を示す図である。
【図６】実施の形態１に係る演算範囲設定部として機能するメッセージ入力画面の構成を示す図である。
【図７】実施の形態１に係る特徴情報抽出作業と、マッチング作業の内容を説明するための図である。
【図８】実施の形態１に係る重畳表示処理部が表示器において画像データを３次元点群データに重畳表示させることを示す図である。
【図９】実施の形態２に係る入力部としてポインティングデバイスを利用して演算範囲を設定する場合のブロック図である
【図１０】実施の形態２に係るポインティングデバイスを利用しての演算範囲を設定する設定画面である。
【図１１】実施の形態３に係る演算部の構成を示すブロック図である。
【図１２】実施の形態３に係る３次元点群表示装置の動作を示すフローチャート図である。
【図１３】実施の形態３に係る変形例を示す図である。
【図１４】実施の形態４に係る、３次元点群表示システムの構成を示すブロック図である。
【図１５】実施の形態４に係る３次元点群表示装置の動作を示すフローチャート図である。
【図１６】実施の形態４に係る３次元点群データを表示する表示器における画面の内容を示す図である。
【図１７】実施の形態４に係る変形例の動作を示すフローチャート図である。
【発明を実施するための形態】
【００２０】
以下に、本発明の実施の形態に係る３次元点群表示装置、３次元点群表示システム装置、３次元点群表示方法について図面に基づいて詳細に説明する。なお、各実施の形態により本発明が限定されるものではなく、各実施の形態を組み合わせたり適宜変更したりすることができる。また、各実施の形態で同等の構成については、同一の符号を付してその説明を省略などする。
【００２１】
実施の形態１．
本発明の実施の形態１について、図１から図８を用いて説明する。実施の形態１の概要は、画面に表示される３次元点群データに対してマッチング作業を行う演算範囲の設定を受け付ける演算範囲設定部を設けたことである。
【００２２】
図１は実施の形態１に係る３次元点群表示システム４０の構成を示すブロック図である。３次元点群表示システム４０は、３次元点群表示装置１と、カメラユニット２０と、記憶部３０とを含んでいる。記憶部は３次元点群表示装置１とは別の構成として開示しているが、３次元点群表示装置１自体に十分な記録保存領域があれば、３次元点群表示装置１の中に記憶部３０を設けてもよい。
【００２３】
３次元点群表示装置１は、３次元点群表示装置１の各種機能を実現する３次元点群表示プログラムとしてのプログラムＰ（後に詳述する）と、カメラユニット２０から不図示のネットワーク等を介して送信される画像データ２２および記憶部３０から呼び出される３次元点群データ３１を取得するデータ取得部２と、データ取得部２が取得した画像データ２２、３次元点群データ３１および後述の演算範囲設定部６による演算範囲の設定に関するデータをデータ取得部２から取り込んでディスプレイなどの表示器４に表示する処理を行う表示処理部３と、マウス、トラックボール、キーボードなどの外部の接続機器である入力部７からの入力を受け付ける入力受付部５と、を含んでいる。
【００２４】
また、３次元点群表示装置１は、各種演算を行う演算部８を備えている。演算部８は、データ取得部２で取得した画像データ２２のカメラ２１からの視点と３次元点群データ３１の視点を対応させる視点対応部９と、画像データ２２および３次元点群データ３１を取り込んでエッジ情報などに関する各々の特徴情報を抽出する特徴情報抽出部１０と、抽出した各々の特徴情報に基づき画像データ２２および３次元点群データ３１に関するマッチングを行うマッチング部１１と、を含んでいる。
【００２５】
データ取得部２は、表示器４に表示された不図示のデータ範囲取得画面での入力部７による設定に関する入力を入力受付部５から受信した場合、記憶部３０と通信を行い、表示器４に表示させる３次元点群データ３１のデータ範囲を絞ってデータ取得を行うように構成される。例えば、図３において説明を行う監視対象についての選択をしたり、３次元点群データ３１の取得時期を選択したり、といったことが想定される。また、データ取得部２は、演算部８における演算範囲を設定する演算範囲設定部６を含んでいる。
【００２６】
また、表示処理部３は、マッチング部１１によるマッチングの結果に基づき、３次元点群データ３１の上に画像データ２２を位置合わせして重畳表示する重畳表示処理部１２を有している。
【００２７】
特徴抽出部１０と、マッチング部１１および重畳表示処理部１２の各々の処理をするタイミングについて説明する。ある時点での画像データ２２を利用して行う特徴抽出部１０に特徴抽出の作業および抽出された特徴情報を利用してのマッチング部１１によるマッチングの作業は、少なくとも３次元点群表示システ４０を構築する際に、初期設定として行うだけで十分である。３次元点群表示システム４０を運用する段階では初期設定として行ったマッチング部１１のマッチングの結果を利用して、重畳表示処理部１２が、データ取得部２から都度取得される画像データ２２を３次元点群表示データ３１の各点と対応する位置に重畳表示すればよい。
【００２８】
カメラユニット２０は、河川などの環境や工場などの設備といった監視対象を撮影するカメラ２１と、カメラ２１により撮影された画像データ２２を３次元点群表示装置１のデータ取得部２へ送信するデータ送信部２３とを含んでいる。
【００２９】
なお、カメラ２１により撮影される画像データ２２は静止画であっても動画であってもよい。ただし特徴抽出部１０に特徴抽出の作業および抽出された特徴情報を利用してのマッチング部１１によるマッチングの作業は、画像データ２２が動画の場合には、予め定められた期間に撮影された画像データ２２としての動画データの平均値を利用したり、予め定められた期間における任意の時点での１つの画像を利用したりすることが好ましい。すなわち、リアルタイムに変化する動画に基づいてマッチングを行おうとすると、特徴抽出部１０に特徴抽出の作業および抽出された特徴情報を利用してのマッチング部１１によるマッチングの作業を行おうとすると、計算量が膨大になる可能性があるためである。
【００３０】
記憶部３０は、レーザスキャナ２４（図３を参照）などにより予め監視対象やその周囲をスキャンして取得した複数の点を３次元点群データ３１として格納している。３次元点群データ３１は、たとえば、Ｘ軸、Ｙ軸、Ｚ軸により構成されるワールド座標系の空間における点である。なお、３次元点群データ３１は、不図示のＧＰＳデータなども利用して、各点が、絶対座標を保有してもよい。
【００３１】
図２は、３次元点群表示装置１のハードウェア構成例を示す図である。図２に示すように、３次元点群表示装置１は、プロセッサ１００と、メモリ１０１と、インタフェース回路１０２とを備えている。プロセッサ１００、メモリ１０１、インタフェース回路１０２は、システムバス１０３によりそれぞれ通信可能に接続されている。
【００３２】
プロセッサ１００は、記録媒体としてのメモリ１０１に格納されたプログラムＰを呼び出すことで、コンピュータとしての３次元点群表示装置１ａにおける表示処理部３の機能を実現したり、重畳表示処理部１２の機能を実現したり、演算部８における特徴情報抽出部１０の機能を実現したり、マッチング部１１の機能を実現したり、その他のデータ処理の機能を実現したりする。
【００３３】
さらにプロセッサ１００は、インタフェース回路１０２を介して接続される入力部７においてユーザが入力を行った場合、メモリ１０１における入力受付部５が入力を受け付けることで、記憶部３０の３次元点群データ３１のデータをデータ処理（抽出、加工、変換等）することが可能である。
【００３４】
なお、プロセッサ１００は、処理回路の一例であり、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｅｒ）、およびシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）のうち１以上を含む。メモリ１０１は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｎａｂｌｅ  Ｐｒｏｇｒａｍ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）をはじめとした不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルメモリ、光ディスク、コンパクトディスク、およびＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）のうち１以上を含んでいる。また、本ハードウェアの構成は、実施の形態１について説明したが、本発明の各実施の形態も同様のハードウェア構成を採用することが可能である。
【００３５】
図３は、監視対象として河川２５を想定した場合のカメラ２１とレーザスキャナ２４の配置の例を示す図である。カメラ２１とレーザスキャナ２４は河川２５見渡せる高台２６に設置されている。高台２６は川岸１２５に対して河川２５よりも離れた位置に位置する。
【００３６】
カメラ２１により河川２５を撮影することにより、水位の変化や河川氾濫の可能性などをリアルタイムに監視することが可能となる。カメラ２１は、監視対象である河川２５以外に、周囲の環境や構造物を合わせて撮影することがある。例えば、カメラ２１の撮影方向を撮影方向１２１ａとし、河川２５の近辺に存在する構造物としての倉庫２７や住宅２８を撮影対象として収める撮影フレーム２９とすることで、河川２５の状況を分かりやすく把握できる。
【００３７】
一方、レーザスキャナ２４は、スキャン部が可動式となっており、通常、カメラ２１よりも広いエリアをスキャンして、３次元点群データ３１として記憶部３０に格納される。しかしながらこのような構成に限られず、レーザスキャナ２４は、監視対象のうち、カメラ２１により撮影された範囲の少なくとも一部を含んで計測して３次元点群データ３１を得るように設けられればよい。すなわち、監視対象に対して、画像データ２２と３次元点群データ３１とのデータの範囲が重なる部分を有していればよい。
【００３８】
なお、撮影方向１２１ａとは、例えば、撮影フレーム２９の中心とカメラ２１とを結ぶ方向のことを示す。カメラ２１の撮影方向１２１ａは不図示の方位センサ等により取得され、カメラ２１の撮影位置１２１ｂは不図示のＧＰＳデータ等により取得される。撮影方向１２１ａと撮影位置１２１ｂに関する情報は、たとえば画像データ２２に埋め込まれて記録されている。
【００３９】
なお、マッチング部１１によるマッチングを行うに当たって、カメラ２１による撮影時期と、レーザスキャナ２４によるスキャンの時期は同じ時期か近い時期の方が、画像データ２２と３次元点群データとの相違が少ないために演算部８による各種の演算に好適である。しかしながら、両者のデータの時期が離れていても演算部８による各種の演算を行うことは可能である。
【００４０】
図４は、３次元点群表示装置１の動作を示すフローチャート図である。図１、図５から図８も適宜参照して説明を行う。まず、図１に示すように、データ取得部２は、画像データ２２と３次元点群データ３１とを取得する（図４のデータ取得ステップＳＴ１）。なお、以下の各ステップの説明において、説明を簡略化するために、単にステップＳＴ１、ステップＳＴ２などとステップの名称を省略した形で記載することがあることを述べておく。
【００４１】
図５に示すように、表示処理部３は、データ取得部２から受け取った画像データ２２と３次元点群データ３１とを処理して、画像データ２２と３次元点群データ３１を表示器４に表示する（表示処理ステップＳＴ２）。ワールド座標系である３次元点群データ３１は、スクリーン座標系として視点を切り替え可能に表示器４に表示される。次に、ユーザが入力部７を用いて入力を行い、入力受付部５を介して視点対応部９によりカメラ２１の座標（位置）を表示器４の画面４ａ（図５）のように設定する（視点対応処理ステップＳＴ３）。
【００４２】
その後、カメラ２１の視点と３次元点群データ３１の視点が一致した画面４ｂ（図６）を表示される（視点対応画面表示処理ステップＳＴ４）。視点対応処理ステップＳＴ３および視点対応画面表示処理ステップＳＴ４の内容を図５および図６を用いて詳細に説明する。
【００４３】
図５は、画像データ２２と、３次元点群データ３１を表示する表示器４における画面４ａの内容を示す図である。監視対象となった河川２５やその周囲の構造物と、３次元点群データ３１との関係性を説明する。画面４ａでは、河川２５は点群河川２５ａ、川岸１２５は点群川岸１２５ａ、河川２５と川岸１２５の境界を第１の点群境界２５ａ１、第２の点群境界２５ａ２、倉庫２７は点群倉庫２７ａ、住宅２８は点群住宅２８ａ、カメラ２１は点群カメラ２１ａとして３次元点群データ３１により表示されている。
【００４４】
監視対象となった河川２５やその周囲の構造物と、画像データ２２との関係性を説明する。表示器４は、画面４ａにおいて、角部の表示領域に画像データ２２の内容が画像データ表示領域４１（画像フレーム）を作成し、３次元点群データ３１と画像データ２２とを両方合わせて確認できる。後に詳述する演算範囲設定部６による演算範囲の設定を行う作業が効率的に行える効果を奏する。なお、画像データ表示領域４１に表示される画像データ２２は、リアルタイムに映し出されるものであってもよいし、ある時点で撮影されたものであってもよい。
【００４５】
画像データ表示領域４１では、河川２５は画像河川２５ｂ、河川２５の水の色合い起伏などが画像河川水２５ｂ１、倉庫２７は画像倉庫２７ｂ、住宅２８は画像住宅２８ｂとして画像データ２２により表示されている。
【００４６】
なお、画像データ表示領域４１は画面４ａの角部（たとえば画面４ａの対角の端部領域）に配置されることで、画面４ａにおける３次元点群データ３１の表示領域での視認性の低下を抑制でき、画像データ２２と３次元点群データ３１との両者の状態を効率よく把握することが可能である。ただし、画像データ表示領域４１を設けないで、画面４ａには３次元点群データ３１だけを表示し、画像データ２２は不図示の別の画面に表示するようにしてもよい。
【００４７】
ところで、３次元点群データ３１と画像データ２２とのマッチング部１１によるマッチング作業を行う上では、互いの視点が一致した状態で特徴情報抽出部１０による特徴情報の抽出が好ましい。すなわち、互いの視点がずれていると、特徴情報抽出部１０により抽出された３次元点群データ３１の特徴情報と画像データ２２の特徴情報とが、アスペクト比が異なった状態で抽出されてしまい、マッチング部１１によるマッチング作業が精度よく実行されない恐れがあるためである。ただし、必ずしも視点の一致を行わなくても、ある程度マッチング作業を行うことは可能である。
【００４８】
そこで、３次元点群データ３１と画像データ２２との視点を合わせるために、例えば、画面４ａにおいて、入力部７としてのマウスによるカーソル２９を点群カメラ２１ａの位置に合わせると、点群カメラ２１ａの座標が表示される（視点対応処理ステップＳＴ３）。そして、カメラの視点にビューワの視点を合わせるかどうかのメッセージ４２が表示される。そして、Ｙｅｓのチェックボックスでの「Ｙｅｓ」の選択を行う（視点対応処理ステップＳＴ３）。その後、図６に示すように３次元点群データ３１と画像データ２２との視点が一致するように表示器４は画面４ｂを表示する（図４の視点対応画面表示処理ステップＳＴ４）。
【００４９】
なお、画面４ａに、点群カメラ２１ａが存在しない場合がある。その場合には、たとえば、カメラ２１を設置した際にカメラの設置位置の絶対座標を記録して管理している不図示の設備管理データベースを参照する。そして、参照した絶対座標のデータを入力部７で入力し、点群データ３１の絶対座標と対応させるなどすることで視点対応処理ステップＳＴ３を実行してもよい。
【００５０】
図６は、演算範囲設定部６として機能するメッセージ入力画面４４の構成を示す図である。演算範囲設定部６により、３次元点群データ３１における演算を行う演算範囲の設定を行う（図４の演算範囲設定テップＳＴ５）。すなわち、演算範囲設定部６による演算範囲の設定基づき３次元点群データ３１から選択された選択データ３１ａに対して、演算部８は演算を行う。
【００５１】
なお、演算範囲設定部６の設定によりマッチング部１１によるマッチング作業の範囲のみを設定し特徴情報抽出部１０による特徴情報の抽出は３次元点群データ３１の全領域で行ってもよいし、特徴情報抽出部１０による特徴情報の抽出およびマッチング部１１によるマッチング作業の両者の範囲を設定するようにしてもよい。すなわち、少なくとも、３次元点群データ３１におけるマッチング部１１のマッチング作業の範囲が設定されていればよい。
【００５２】
メッセージ入力画面４４に対する具体的な入力方法について説明する。画像データ２２と３次元点群データ３１とをマッチングさせるためには、画像データ２２全体が包含される３次元点群データ３１の領域を設定することが好ましい。しかしながら３次元点群データ３１において広い領域を演算範囲として設定すると演算部８による演算量が多くなってしまう。そこで、画面フレーム４１と画面４ｂに共通して表示される構造物などを目印に、その周囲の範囲を演算の対象とする演算範囲として設定することが好ましい。
【００５３】
例えば、倉庫２７（点群倉庫２７ａ、画像倉庫２７ｂ）が共通して存在する目印とした場合、点群倉庫２７ａにカーソル２９を合わせて点群倉庫２７ａの座標（Ｘ１，Ｙ１，Ｚ１）を表示させ、その座標の情報を基に、メッセージ入力画面４４に演算範囲（Ｘ１−α１≦Ｘ１≦Ｘ１＋α２、Ｙ１−β１≦Ｘ１≦Ｘ１＋β２、Ｚ１−γ１≦Ｘ１≦Ｘ１＋γ２）を設定する。このように３次元点群データ３１と画像データ２２に共通して表示される構造物の座標を目印に演算範囲を設定することで、演算量を抑えつつ、マッチング作業を確実に実行させることが可能となる。
【００５４】
なお、演算範囲設定テップＳＴ５では、メッセージ入力画面４４で入力した演算範囲に基づき、演算範囲となる演算範囲領域４４ａを画面４ｂに表示するようにしてもよい。このようにすれば、ユーザにとって、どの領域が演算範囲として設定されたかが分かり、設定した演算範囲が不適な場合には、容易に修正を行うことが可能になる。
【００５５】
なお、演算範囲設定部６の例としてメッセージ入力画面４４におけるユーザ入力による演算範囲の設定方法について説明したが、これに限られるものではない。たとえば、画像データ２２に含まれる属性情報を利用して演算範囲を設定してもよい。属性情報としては、たとえば、カメラ２１に関する撮影方向１２１ａおよび撮影位置１２１ｂに関する情報と、必要に応じてカメラ２１に関するレンズなどの情報が想定される。
【００５６】
具体的には、撮影方向１２１ａ、撮影位置１２１ｂ、カメラ２１のレンズの焦点距離などから、画像データ２２が撮影する概略範囲が分かるため、その概略範囲に予め定められたマージンを持たせるような範囲を演算範囲とするようにしてもよい。あるいは、自動的に演算範囲の仮設定を行い、仮設定を踏まえてユーザが調整して正式な演算範囲の設定とするようにしてもよい。
【００５７】
図７は、特徴情報抽出部１０により、データ取得部２を介して取得した画像データ２２および３次元点群データ３１から各々の特徴情報を抽出する特徴情報抽出作業（図４の特徴情報抽出処理ステップＳＴ６）と、マッチング部１１により、設定された演算範囲内での各々の特徴情報が最も一致する画像データ２２の位置とサイズを抽出するマッチング作業（図４のマッチング処理ステップＳＴ７）の内容を説明するための図である。例えば、特徴情報としてエッジ情報が想定される。
【００５８】
エッジ情報とは、画像データ２２および３次元点群データ３１の特徴情報の抽出により得られた、境界線の情報である。例えば、画像データ２２であれば、監視対象が河川の場合、水面と陸部で大きく色合いが異なることから、境界線が抽出できる。また監視対象が道路の場合、舗装された道路と、路肩の色が異なることから、境界線が抽出できる。
【００５９】
一方、３次元点群データ３１であれば、点群はｘ座標、ｙ座標、ｚ座標のデータの集合であり、たとえば監視対象が河川の場合、水面は、ほぼｘｙ平面に平行なのに対し、水面付近の陸部は傾いているため、水面と陸部との境界線を取ることができる。
【００６０】
図７の（Ａ）と（Ｂ）は、３次元点群データ３１に関するエッジ情報の抽出を説明するための図である。図７（Ａ）が初期状態で、図７（Ｂ）がエッジ情報の抽出結果である。説明を分かりやすくするために、画面４ｂにおいては画像データ表示領域４１の表示は省略して記載している。
【００６１】
一方、図７の（Ｃ）と（Ｄ）は画像データ２２に関するエッジ情報の抽出を説明するための図である。図７（Ｃ）が初期状態で、図７（Ｄ）がエッジ情報の抽出結果である。図７の（Ａ）と（Ｂ）と比較しやすいように、図７の（Ｃ）と（Ｄ）の画像データ表示領域４１を拡大して記載している。図７（Ｅ）は、図７の（Ｂ）と（Ｄ）との抽出結果を基にしたマッチング作業の結果を示す図である。
【００６２】
以下、詳細に特徴情報抽出作業およびマッチング作業について説明する。図７（Ｂ）では、第１の点群境界２５ａ１が第１の点群境界エッジ４５ａ１としてエッジ情報が抽出され、第２の点群境界２５ａ２が第２の点群境界エッジ４５ａ２としてエッジ情報が抽出され、点群倉庫２７ａは点群倉庫エッジ４６ａとしてエッジ情報が抽出され、点群住宅２８ａは点群住宅エッジ４７ａとしてエッジ情報が抽出されていることが表示されている。
【００６３】
一方、図７（Ｄ）では、画像河川２５ｂが画像河川エッジ４５ｂとしてエッジ情報が抽出され、画像倉庫２７ｂが画像倉庫エッジ４６ｂとしてエッジ情報が抽出され、画像住宅２８ｂは画像住宅エッジ４７ｂとしてエッジ情報が抽出される。図７（Ｃ）では画像河川水２５ｂ１が表示されていたがエッジ情報としては抽出されないため、図７（Ｄ）には対応するものが存在していない。
【００６４】
なお、図７の（Ｂ）または（Ｄ）において、エッジ処理の状態を把握しながら、エッジ処理をより適切な状態にすべく、たとえばバーの移動によるエッジ抽出に関するパラメータ調整が可能なようにしてもよい。このようにすれば図７（Ｅ）でのマッチング作業の精度向上が期待できる。
【００６５】
図７（Ｅ）は、表示器４が画面４ｃを表示したものである。画面４ｃでは、特徴情報抽出処理ステップＳＴ６で取得したエッジ情報を利用して、マッチング処理ステップＳＴ７でのマッチング作業では３次元点群データ３１のエッジ情報と画像データ２２のエッジ情報の重ね合わせを行った結果を表示している。
【００６６】
具体的には、画面４ｃは画像データ２２のエッジ情報が３次元点群データ３１のエッジ情報に対してもっとも重なる３次元点群データ上の位置および画像データ２２のサイズを抽出して、抽出結果に基づく位置及びサイズを調整しての表示となる。今回のマッチング作業の結果では、点群倉庫エッジ４６ａには画像倉庫エッジ４６ｂがおおよそ重なり、点群住宅４７ａには画像住宅４７ｂがおおよそ重なり、第１の点群境界エッジ４５ａ１には画像河川エッジ４５ｂがおおよそ重なっていることが読み取れる。
【００６７】
図８は、マッチング結果に基づき、重畳表示処理部１２が表示器４において画像データ２２を３次元点群データ３１に重畳表示させることを示す図である（図４の重畳表示処理ステップＳＴ８）。たとえば、図７（Ｅ）における画面４ｃの表示の後、たとえば数秒など予め定められた時間が経過した後か画面４ｃをカーソル２９でクリックするなどすると、図８のように表示される。
【００６８】
具体的には、画像データ２２は、マッチング結果と、撮影方向１２１ａおよび撮影位置１２１ｂに関する情報を利用して、点群データ３１が存在する空間上に３次元座標で出力される。そして、画像データ２２は、アスペクト比（縦横比）を変更せず、マッチング結果に基づき拡大または縮小が行われ、表示処理部３は、３次元点群データ３１に画像データ２２を重畳表示する処理を行う。すなわち、点群河川２５ａには画像河川２５ｂが重畳表示され、点群倉庫２７ａには画像倉庫２７ｂが重畳表示され、点群住宅２８ａには画像住宅２８ｂが重畳表示される。
【００６９】
マッチング部１１で利用した画像データ２２がある時点での画像データである場合には、マッチング結果を利用して、重畳表示処理部１２は、今後、カメラ２１により取得される画像データ２２を３次元点群データ３１に対する適切な位置に重畳表示するようにすればよい。
【００７０】
このようにして、ユーザは画面４ｃにおいて、監視対象のリアルタイムな情報を画像データ２２が表示される画像データ表示領域４１ａに表示される内容で知覚し、画像データ表示領域４１ａの周囲の状況を３次元点群データ３１の内容により把握でき、総合的な監視対象への監視を行うことが可能となる。
【００７１】
なお、図１では、３次元点群表示装置１が演算部８を含んでいることを説明したが、たとえば、計算能力が３次元点群表示装置１よりも高い不図示のサーバやワークステーションに演算部８を格納するようにしてもよい。そうすることで、より短時間で特徴情報抽出作業やマッチング作業を行うことが可能になる。合わせて記憶部３０も不図示のサーバに格納してもよい。
【００７２】
また、図７では特徴情報抽出作業とマッチング作業を画面４ｂや画面４ｃに表示することを説明したが、画面４ｂや画面４ｃに表示をせずに、内部処理として実行するようにしてもよい。表示処理部３の負荷が減ることで３次元点群表示装置１の処理能力に余裕が生まれ、特徴情報抽出作業とマッチング作業の処理速度を内部処理にしない場合と比べて向上させることができる。
【００７３】
本発明の実施の形態１に係る３次元点群表示装置１によれば、監視対象をカメラ２１により撮影して得られた画像データ２２を取得するデータ取得部２と、監視対象のうち、カメラ２１により撮影された範囲の少なくとも一部を含んで計測して得た３次元点群データ３１を画面４ａに表示する処理を行う表示処理部３と、画面４ｂに表示される３次元点群データ３１に対して、ユーザ入力により演算範囲の設定を行う演算範囲設定部６と、演算範囲設定部６の設定に基づき３次元点群データ３１から選択された選択データ３１ａとデータ取得部２により取得された画像データ２２の各々の特徴情報を抽出する特徴情報抽出部１０と、特徴情報抽出部１０による抽出の結果に基づき、３次元点群データ３１の特徴情報と画像データ２２の特徴情報同士をマッチングさせるマッチング部１１と、マッチング部１１のマッチングの結果に基づき、画面４ｃ内で３次元点群データ３１の上に画像データを重畳表示させる重畳表示処理部１２と、を備えたので、ＧＰＳデータを基準とした周囲の３次元地図情報と実画像をマッチングさせる構成と比べて、３次元点群データ３１と画像データ２２とのマッチングを確実に行わせることが可能になる。
【００７４】
また、本発明の実施の形態１に係る３次元点群表示装置１は、表示処理部３は、演算範囲設定部６での設定を行う場合に、画面４ａの内部で画像データ２２を表示させる画像データ表示領域４１を作成するので、演算範囲設定部６による演算範囲の設定を行う作業が効率的に行える効果を奏する。
【００７５】
また、本発明の実施の形態１に係る３次元点群表示装置１によれば、演算範囲設定部６での設定を行う場合に、画像データ表示領域４１は、画面４ａの角部に配置されるので、画面４ａにおける３次元点群データ３１の表示領域での視認性の低下を抑制でき、画像データ２２と３次元点群データ３１との両者の状態を効率よく把握することが可能である。
【００７６】
また、本発明の実施の形態１に係る３次元点群表示装置１によれば、演算範囲設定部６は、ユーザ入力により設定された演算範囲に対応する演算範囲領域４４ａを画面４ｂに表示するので、ユーザにとって、どの領域が演算範囲として設定されたかが分かり、設定した演算範囲が不適な場合には、容易に修正を行うことが可能になる。
【００７７】
本発明の実施の形態１に係る３次元点群表示装置１によれば、監視対象をカメラ２１により撮影して得られた画像データ２２を取得するデータ取得部２と、監視対象のうち、カメラ２１により撮影された範囲の少なくとも一部を含んで計測して得た３次元点群データ３１を画面４ａに表示する処理を行う表示処理部３と、画面４ｂに表示される３次元点群データ３１に対して画像データ２２に含まれる属性情報（たとえば、撮影方向１２１ａおよび撮影位置１２１ｂに関する情報）により演算範囲の設定を行う演算範囲設定部６と、演算範囲設定部６の設定に基づき３次元点群データ３１から選択された選択データ３１ａとデータ取得部２により取得された画像データ２２の各々の特徴情報を抽出する特徴情報抽出部１０と、特徴情報抽出部１０による抽出の結果に基づき、３次元点群データ３１の特徴情報と画像データ２２の特徴情報同士をマッチングさせるマッチング部１１と、マッチング部１１のマッチングの結果に基づき、画面４ｃ内で３次元点群データ３１の上に画像データを重畳表示させる重畳表示処理部１２と、を備えたので、ＧＰＳデータを基準とした周囲の３次元地図情報と実画像をマッチングさせる構成と比べて、３次元点群データ３１と画像データ２２とのマッチングを確実に行わせることが可能になる。
【００７８】
また、本発明の実施の形態１に係る３次元点群表示システム４０によれば、監視対象を撮影するカメラ２１と、カメラ２１により撮影して得られた画像データ２２を取得するデータ取得部２と、監視対象のうち、カメラ２１により撮影された範囲の少なくとも一部を含んで計測して得た３次元点群データ３１を画面４ａに表示する処理を行う表示処理部３と、画面４ｂに表示される３次元点群データ３１に対して、ユーザ入力により演算範囲の設定を行う演算範囲設定部６と、演算範囲設定部６の設定に基づき３次元点群データ３１から選択された選択データ３１ａとデータ取得部２により取得された画像データ２２の各々の特徴情報を抽出する特徴情報抽出部１０と、特徴情報抽出部１０による抽出の結果に基づき、３次元点群データ３１の特徴情報と画像データ２２の特徴情報同士をマッチングさせるマッチング部１１と、マッチング部１１のマッチングの結果に基づき、画面４ｃ内で３次元点群データ３１の上に画像データを重畳表示させる重畳表示処理部１２と、を備えたので、ＧＰＳデータを基準とした周囲の３次元地図情報と実画像をマッチングさせる構成と比べて、３次元点群データ３１と画像データ２２とのマッチングを確実に行わせることが可能になる。
【００７９】
また、本発明の実施の形態１に係る３次元点群表示システム４０によれば、表示処理部３が演算範囲設定部６での設定を行う場合に、画面４ａ内で画像データ２２を表示させる画像データ表示領域４１を作成するので、演算範囲設定部６による演算範囲の設定を行う作業が効率的に行える効果を奏する。
【００８０】
また、本発明の実施の形態１に係る３次元点群表示方法によれば、監視対象をカメラ２１により撮影して得られた画像データ２２を取得するデータ取得ステップＳＴ１と、監視対象のうち、カメラ２１により撮影された範囲の少なくとも一部を含んで計測して得た３次元点群データ３１を画面４ａに表示する処理を行う表示処理ステップＳＴ２と、画面４ｂに表示される３次元点群データに対してユーザ入力により演算範囲の設定を行う重畳表示処理ステップと、演算範囲設定ステップＳＴ５での設定に基づき３次元点群データから選択された選択データ３１ａとデータ取得部により取得された画像データの各々の特徴情報を抽出する特徴情報抽出処理ステップＳＴ６と、特徴情報抽出部による抽出の結果に基づき、３次元点群データ３１の特徴情報と画像データの特徴情報同士をマッチングさせる重畳表示処理ステップＳＴ７と、マッチング処理ステップＳＴ７の結果に基づき、画面４ｃ内で３次元点群データ３１の上に画像データ２２を重畳表示させる重畳表示処理ステップＳＴ８と、を有するので、ＧＰＳデータを基準とした周囲の３次元地図情報と実画像をマッチングさせる構成と比べて、３次元点群データと画像データとのマッチングを確実に行わせることが可能になる。
【００８１】
また、本発明の実施の形態１に係る３次元点群表示方法によれば、表示処理ステップＳＴ２は、演算範囲設定ステップＳＴ５での設定を行う場合に、画面４ｂの内部で画像データ２２を表示させる画像データ表示領域４１を作成するので、演算範囲設定ステップＳＴ５での演算範囲の設定を行う作業が効率的に行える効果を奏する。
【００８２】
また、本発明の実施の形態１に係る３次元点群表示プログラムによれば、監視対象をカメラ２１により撮影して得られた画像データ２２を取得するデータ取得ステップＳＴ１と、監視対象のうち、カメラ２１により撮影された範囲の少なくとも一部を含んで計測して得た３次元点群データ３１を画面４ａに表示する処理を行う表示処理ステップＳＴ２と、画面４ｂに表示される３次元点群データに対してユーザ入力により演算範囲の設定を行う重畳表示処理ステップと、演算範囲設定ステップＳＴ５での設定に基づき３次元点群データから選択された選択データ３１ａとデータ取得部により取得された画像データの各々の特徴情報を抽出する特徴情報抽出処理ステップＳＴ６と、特徴情報抽出部による抽出の結果に基づき、３次元点群データ３１の特徴情報と画像データの特徴情報同士をマッチングさせる重畳表示処理ステップＳＴ７と、マッチング処理ステップＳＴ７の結果に基づき、画面４ｃ内で３次元点群データ３１の上に画像データ２２を重畳表示させる重畳表示処理ステップＳＴ８と、をコンピュータに実行させるので、ＧＰＳデータを基準とした周囲の３次元地図情報と実画像をマッチングさせる構成と比べて、３次元点群データと画像データとのマッチングを確実に行わせることが可能になる。
【００８３】
また、本発明の実施の形態１に係る３次元点群表示プログラムによれば、表示処理ステップＳＴ２は、演算範囲設定ステップＳＴ５での設定を行う場合に、画面４ｂの内部で画像データ２２を表示させる画像データ表示領域４１を作成するので、演算範囲設定ステップＳＴ５での演算範囲の設定を行う作業が効率的に行える効果を奏する。
【００８４】
また、本発明の実施の形態１に係る記録媒体によれば、プログラムＰが記録されているので、プログラムＰによる各種機能を実行することができる。
【００８５】
実施の形態２．
本発明の実施の形態２について、図９および図１０を用いて説明する。実施の形態１では、演算範囲設定部６による演算範囲の設定はＸ軸、Ｙ軸、Ｚ軸の各軸の座標をユーザ入力により行っていたが、本実施の形態では入力部７としてのマウスなどによるカーソル移動の利用により、演算範囲を設定することが異なる部分である。
【００８６】
図９は、入力部７としてポインティングデバイスを利用して演算範囲を設定する場合のブロック図である。ポインティングデバイスとしては、たとえば、マウス７ａやジョイスティック７ｂ、不図示のトラックボールなどが想定される。これらポインティングデバイスからの入力を入力受付部５が受付けて、データ取得部２ａ内の演算範囲設定部６ａにおいてカーソル２９の移動による演算範囲の設定が実行される。
【００８７】
図１０は、ポインティングデバイスを利用しての演算範囲を設定する設定画面である。画面４ｂ内で表示されるスクリーン座標系での表示に対して、ユーザが演算範囲としたい領域を検討する。たとえばマウス７ａの操作によりカーソル２９を移動操作させて、Ｘ軸方向およびＺ軸方向における演算範囲を決める。そして、奥行きであるＹ軸方向の演算範囲を決める際には、視点移動ツール５１を使ってＹ軸方向の視点をずらしつつ、Ｘ軸またはＺ軸におけるカーソル２９の移動操作と同様の操作を行えばよい。
【００８８】
本発明の実施の形態２に係る３次元点群表示装置１は、演算範囲設定部６が、ポインティングデバイス７ａ，７ｂを利用して演算範囲を設定するようにしたので、ユーザが視覚的に演算範囲を行うことが可能になる。すなわち、どの範囲を演算範囲として設定するかを座標となる数字を入力する場合と比べて容易に行える。
【００８９】
実施の形態３．
本発明の実施の形態３について、図１１および図１２を用いて説明する。実施の形態１では、マッチング作業は、設定された演算範囲内で画像データと３次元点群データの各々の特徴情報が最も一致する画像データの位置とサイズを抽出する作業であったが、マッチングの程度がよくない場合に演算範囲を再設定することを促す機能を有することが異なる部分である。
【００９０】
図１１は、演算部８ａの構成を示すブロック図である。演算部８ａは視点対応部９、特徴情報抽出部１０、マッチング部１１のほかに、マッチングの程度を判定するマッチング度判定部１１ａを含んでいる。マッチング度合判定部１１ａは、予め定めたマッチング度に対して、マッチング部１１でのマッチング作業の結果がどの程度のものかを把握するために機能する。マッチング度を求める方式としては、たとえば、３次元点群データ３１において設定された演算範囲の中で、画像データ２２が３次元点群データ３１に対して一致するピクセル数と一致しないピクセル数をカウントし、全ピクセル数のうちの一致するピクセル数の割合から求めるようにしてもよい。
【００９１】
図１２は、３次元点群表示装置１の動作を示すフローチャート図である。ステップＳＴ１からステップＳＴ８は実施の形態１と同様の構成であり、ステップＳＴ２からステップＳＴ４を省略して記載している。マッチング度確認ステップＳＴ１７と演算範囲の再設定を促す警告表示ステップＳＴ１８が実施の形態１とは異なるステップである。
【００９２】
たとえば、マッチング度確認ステップＳＴ１７において予め定めたマッチング度に対してマッチング部１１でのマッチング作業の結果が到達していない場合、警告表示ステップＳＴ１８へとフローが分岐し、表示処理部３が「もう一度演算範囲の設定を行って、演算をやり直してください」などと警告１４４が報知されるように構成される。その後、ユーザは警告１４４の表示を踏まえて、再度演算範囲設定テップＳＴ５へと移行してカーソル２９などにより演算範囲の設定を実行する。なお、警告１４４は文字意外に、音声など、ユーザに伝わるものであれば何でもよい。
【００９３】
本発明の実施の形態３に係る３次元点群表示装置１は、マッチング部１１によるマッチングの結果を判定するマッチング度判定部１１ａを有し、判定の結果に応じて、演算範囲の再設定を促す警告１４４を報知するので、３次元点群データ３１に対する画像データ２２の重畳表示が精度悪く表示されることを防止する効果を奏する。
【００９４】
変形例３ａ
変形例３ａについて図１３を用いて説明する。警告表示ステップＳＴ１８を受けてユーザが再び演算範囲設定ステップＳＴ５での演算範囲の設定を行う際、前回の演算範囲を把握していで新たに演算範囲の設定を行ったとしても、再度のマッチング作業でのマッチング度が向上せず、予め定めたマッチング度の度合いに達しない恐れがある。
【００９５】
そこで、前回の演算範囲の領域を前回演算範囲領域５１として表示し、それを踏まえて、最新演算範囲領域５２として演算範囲を設定することが可能となる。すなわち、前回設定した演算範囲ではマッチング部１１でのマッチング作業に不足していた領域を把握でき、より効率的に最新演算範囲領域５２を設定することが可能となる。
【００９６】
本発明の実施の形態３の変形例３ａに係る３次元点群表示装置１は、警告１４４が報知され、演算範囲の設定を再度行う場合、警告対象となった前回演算範囲領域５１が画面に表示されるので、演算範囲の再設定を行う場合に効率的に再設定を行える効果を奏する。
【００９７】
実施の形態４．
本発明の実施の形態４について、図１４から図１６を用いて説明する。実施の形態１では、カメラが視野の変化がない固定カメラであることを主に想定していたが、本実施の形態４では左右や上下などに角度を変えて撮影できる可動カメラであることを想定し、実施の形態１よりも広いエリアを撮影した画像データを利用してのマッチング作業を行うものである。
【００９８】
図１４は、３次元点群表示システム４０ａの構成を示すブロック図である。実施の形態１の図１における３次元点群表示システム４０と異なる構成について説明する。カメラユニット２０ａは可動カメラ２１ａと、３次元点群表示装置１ａから送られる可動カメラ２１ａを制御する可動カメラ制御信号１３ａを受信するデータ受信部１２３と、を有している。
【００９９】
３次元点群表示装置１ａは、可動カメラ制御信号１３ａを送るカメラ制御部１３と、可動カメラ２１ａと、可動カメラ制御信号１３ａを生成する３次元点群表示プログラムとしてのプログラムＰａと、可動カメラ２１ａにより撮影された複数の画像データ２２を合成して合成画像データ２２ａを作成する画像合成部１４と、を含んでいる。また、記憶部３０は、複数の画像合成部１４が合成する複数の画像データ２２をデータ取得部２から受け取って格納する機能を有する。
【０１００】
入力部７からの入力により入力受付部５が可動カメラ２１ａを制御する指示を受けると、その指示がカメラ制御部１３に送信される。カメラ制御部１３は指示を受信し、カメラユニット２０ａにおけるデータ受信部１２３に対して、可動カメラ制御信号１３ａを送信する。可動カメラ２１ａは可動カメラ制御信号１３ａを受けて、各種動作を行うように構成されている。
【０１０１】
図１５は、可動カメラ制御信号１３ａがカメラ制御部１３から送信され、可動カメラ２１ａが可動カメラ制御信号１３ａを受信した場合における、３次元点群表示システム４０ａの動作を示すフローチャート図である。図１４と図１６も適宜参照しながら３次元点群表示システム４０ａの動作の説明を行う。
【０１０２】
まず、可動カメラ２１ａは初期位置などのある方向で撮影を行う。そして、たとえば、予め定められた複数の角度で、順次、画像データ２２同士の境界部分が重複するように水平方向に連続して撮影を行う（複数撮影ステップＳＴＡ）。そして撮影された画像データ２２は、データ送信部２３およびデータ取得部２を介して、順次、記憶部３０に格納される（画像記憶ステップＳＴＢ）。すなわち、可動カメラ２１ａは、複数の撮影方向での撮影を行う。
【０１０３】
その後、予め定められた複数の角度すべてで可動カメラ２１ａによる撮影が終了した場合、データ取得部２は記憶部３０と通信して、格納した複数の画像データ２２を画像合成部１４に送る。画像合成部１４は受信した複数の画像データ２２を合成して合成画像データ２２ａを作成する（画像データ合成ステップＳＴＣ）。合成画像データ２２ａが作成された後は、実施の形態１と同様に、ステップＳＴ１からステップＳＴ８が実行される。
【０１０４】
図１６は、３次元点群データ３１を表示する表示器４における画面４ｃの内容を示す図である。合成画像データ２２ａを画像データ表示領域４１ａにて表示している。画像データ表示領域４１ａのうち、第１画像データ表示領域４１ａ１に表示される画像データ２２は可動カメラ２１ａの初期位置としての撮影範囲により撮影されたものであり、第２画像データ表示領域４１ａ２に表示される画像データ２２は可動カメラ２１ａの撮影方向を可変させた場合の撮影範囲により撮影されたものである。
【０１０５】
なお、ある撮影方向（たとえば初期位置）での撮影範囲と、撮影方向を可変させた場合の別の撮影方向での撮影範囲の境界を、境界線４２として表示している。仮に合成画像データ２２ａの内部に、普段とは違うノイズが映り込むなどの画像に異常が生じた場合、境界線４２が表示されることで第１画像データ表示領域４１ａ１または第２画像データ表示領域４１ａ２のどちらに原因があるかを容易に把握することができるため、合成画像データ２２ａを再生成する際に効率的である。
【０１０６】
なお、撮影方向を可変させて、連続する撮影範囲を取得した画像データ２２から合成画像データ２２ａを作成した上で、特徴抽出部１０による特徴情報の抽出やマッチング部１１によるマッチングを行うことを説明したが、必ずしも連続する撮影範囲を取得した画像データ２２でなくてもよい。すなわち、ある撮影方向で撮影した図示しない第１画像データと、撮影方向を可変させて撮影した図示しない第２画像データとは、各々の画像データが離散していても良く、この場合には、第１画像データと第２画像データとの関係性として、撮影した角度情報など、各画像データの関係性が把握できればよい。
【０１０７】
このようにして、複数の撮影方向により撮影された複数の画像データ２２を利用することで、実施の形態１の場合と比べて、特徴抽出部１０による特徴情報の抽出を多くすることができ、マッチング部１１によるマッチングの結果がより広範囲なエリアでマッチングさせることができる。その結果、実施の形態１よりも、より正確に、画面４の中で、３次元点群データ３１の上に画像データ２２を重畳表示させることが可能になる。
【０１０８】
本発明の実施の形態４に係る３次元点群表示装置１は、データ取得部２は、カメラ２１が撮影方向を可変な可動カメラ２１ａである場合、可動カメラ２１ａにより撮影された複数方向における複数の画像データ２２を取得し、特徴情報抽出部１０は、複数の画像データ２２を利用した特徴情報の抽出を行うので、より正確に、画面４ｃの中で、３次元点群データ３１の上に画像データ２２を重畳表示させることが可能になる。
【０１０９】
変形例４ａ
この変形例は、可動カメラにより撮影された画像と３次元点群データとを利用して、１命令ごとの撮影方向の単位移動量が不明な可動カメラの仕様を求め、監視業務に役立てようとするものであり、図１７を用いて説明する。
【０１１０】
図１７は本変形例の動作を示すフローチャート図である。ステップＳＴＡからステップＳＴ７までは実施の形態４と同様である。ステップＳＴ９が本変形で追加された内容である。
【０１１１】
ステップＳＴＡでは、図１４に記載のカメラ制御部１３を介して、ユーザは可動カメラ２１に対して、撮影方向を変える命令を送信している。この変形例における可動カメラ２１ａは単位移動量が判明しておらず、たとえば、ユーザは感覚的に１秒間に亘って可動カメラ２１ａを左に動かすための図示しない移動命令ステップを持続する、などとしていた。
【０１１２】
そこで、ステップＳＴＡで撮影方向を変更する際に移動命令ステップに関する情報を記録し、移動命令ステップに関する情報とマッチング処理ステップＳＴ７での結果を利用して、単位移動量計算ステップＳＴ９では単位移動命令ステップごとの可動カメラ２１ａの単位移動量（撮影方向の単位移動量）を求めている。
【０１１３】
単位移動量計算ステップＳＴ９を有することで、単位移動命令ステップごとに可動カメラ２１ａの単位移動量が判明するため、監視業務を行う上で、より精密な運用を行うことができる。
【符号の説明】
【０１１４】
１  ３次元点群表示装置、２  データ取得部、３  表示処理部、４  表示器、４ａ，４ｂ，４ｃ  画面、５  入力受付部、６  演算範囲設定部、７  入力部、７ａ  マウス（ポインティングデバイス）、７ｂ  ジョイスティック（ポインティングデバイス）、８  演算部、９  視点対応部、１０  特徴情報抽出部、１１  マッチング部、１１ａ  マッチング度判定部、１２  重畳表示処理部、２０  カメラユニット、２１  カメラ、２２  画像データ、２３  データ送信部、３０  記憶部、  ３１  ３次元点群データ、  ３１  ａ  選択データ、  ４０  ３次元点群表示システム、４１  画像データ表示領域、４４ａ  演算範囲領域（演算範囲）、４５ａ１  第１の点群境界エッジ（エッジ情報、特徴情報）、４５ａ２  第２の点群境界エッジ（エッジ情報、特徴情報）、４５ｂ  画像河川エッジ（エッジ情報、特徴情報）、４６ａ  点群倉庫エッジ（エッジ情報、特徴情報）、４６ｂ  画像倉庫エッジ（エッジ情報、特徴情報）、４７ａ  点群住宅エッジ（エッジ情報、特徴情報）、４７ｂ  画像住宅エッジ（エッジ情報、特徴情報）、５１  前回演算範囲領域、１０１  メモリ（記録媒体）、１２１ａ  撮影方向（属性情報）、１２１ｂ撮影位置（属性情報）、１４４  警告
Ｐ，Ｐａ  プログラム（３次元点群表示プログラム）、ＳＴ１  データ取得ステップ、ＳＴ２  表示処理ステップ、ＳＴ５  演算範囲設定ステップ、ＳＴ６  特徴情報抽出処理ステップ、ＳＴ７  マッチング処理ステップ、ＳＴ８  重畳表示処理ステップ、ＳＴ９  単位移動量計算ステップ、ＳＴＡ  複数撮影ステップ、ＳＴＢ  画像記憶ステップ、ＳＴＣ  画像データ合成ステップ
【図１】
2019095876.tif 000003
【図２】
2019095876.tif 000004
【図３】
2019095876.tif 000005
【図４】
2019095876.tif 000006
【図５】
2019095876.tif 000007
【図６】
2019095876.tif 000008
【図７】
2019095876.tif 000009
【図８】
2019095876.tif 000010
【図９】
2019095876.tif 000011
【図１０】
2019095876.tif 000012
【図１１】
2019095876.tif 000013
【図１２】
2019095876.tif 000014
【図１３】
2019095876.tif 000015
【図１４】
2019095876.tif 000016
【図１５】
2019095876.tif 000017
【図１６】
2019095876.tif 000018
【図１７】
2019095876.tif 000019