(57)【要約】【課題】対象空間内の物体毎の３次元モデルを使用して対象空間全体の３次元情報をユーザに提供する。【解決手段】３次元情報表示装置は、対象空間内の物体の平面図を含む、対象空間の平面図の画像データを取得する平面図取得部１と、対象空間内の物体毎の３次元モデルデータを取得する３次元モデル取得部２と、画像データが表す対象空間の平面を、３次元データ座標系の基準面とする基準面生成部４と、３次元モデルデータが表す物体の３次元モデルを、基準面上の対応する物体の位置に配置する３次元モデル配置部５と、基準面上に配置された３次元モデルを投影面に投影した画像を生成して表示する３次元情報表示部６とを備える。【選択図】  図１
2020095427.tif 000002
【特許請求の範囲】
【請求項１】
対象空間内の物体の平面図を含む、前記対象空間の平面図の画像データを取得するように構成された平面図取得部と、
前記対象空間内の物体毎の３次元モデルデータを取得するように構成された３次元モデル取得部と、
前記画像データが表す対象空間の平面を、３次元データ座標系の基準面とするように構成された基準面生成部と、
前記３次元モデルデータが表す物体の３次元モデルを、前記基準面上の対応する物体の位置に配置するように構成された３次元モデル配置部と、
前記基準面上に配置された３次元モデルを投影面に投影した画像を生成して表示するように構成された３次元情報表示部とを備えることを特徴とする３次元情報表示装置。
【請求項２】
請求項１記載の３次元情報表示装置において、
前記３次元モデル配置部は、前記３次元モデルの底面が前記基準面上の対応する物体の領域と重なるように、前記３次元モデルを回転、伸縮、平行移動させて前記基準面上の対応する物体の位置に配置することを特徴とする３次元情報表示装置。
【請求項３】
請求項１記載の３次元情報表示装置において、
前記３次元モデル配置部は、ユーザの操作に従って前記３次元モデルを回転、伸縮、平行移動させて前記基準面上の対応する物体の位置に配置することを特徴とする３次元情報表示装置。
【請求項４】
請求項１乃至３のいずれか１項に記載の３次元情報表示装置において、
前記基準面生成部は、ユーザによって入力された前記対象空間の平面図の縮尺情報に基づいて、前記基準面上の長さが実際の距離に等しくなるように、前記画像データが表す対象空間の平面を伸縮させることを特徴とする３次元情報表示装置。
【請求項５】
請求項１乃至４のいずれか１項に記載の３次元情報表示装置において、
前記対象空間内の物体を多視点から撮影した複数の静止画像から、この物体の前記３次元モデルを生成するように構成された３次元モデル生成部をさらに備えることを特徴とする３次元情報表示装置。
【請求項６】
対象空間内の物体の平面図を含む、前記対象空間の平面図の画像データを取得する第１のステップと、
前記対象空間内の物体毎の３次元モデルデータを取得する第２のステップと、
前記画像データが表す対象空間の平面を、３次元データ座標系の基準面とする第３のステップと、
前記３次元モデルデータが表す物体の３次元モデルを、前記基準面上の対応する物体の位置に配置する第４のステップと、
前記基準面上に配置された３次元モデルを投影面に投影した画像を生成して表示する第５のステップとを含むことを特徴とする３次元情報表示方法。
【請求項７】
請求項６記載の３次元情報表示方法において、
前記第４のステップは、前記３次元モデルの底面が前記基準面上の対応する物体の領域と重なるように、前記３次元モデルを回転、伸縮、平行移動させて前記基準面上の対応する物体の位置に配置するステップを含むことを特徴とする３次元情報表示方法。
【請求項８】
請求項６記載の３次元情報表示方法において、
前記第４のステップは、ユーザの操作に従って前記３次元モデルを回転、伸縮、平行移動させて前記基準面上の対応する物体の位置に配置するステップを含むことを特徴とする３次元情報表示方法。
【請求項９】
請求項６乃至８のいずれか１項に記載の３次元情報表示方法において、
前記第３のステップは、ユーザによって入力された前記対象空間の平面図の縮尺情報に基づいて、前記基準面上の長さが実際の距離に等しくなるように、前記画像データが表す対象空間の平面を伸縮させるステップを含むことを特徴とする３次元情報表示方法。
【請求項１０】
請求項６乃至９のいずれか１項に記載の３次元情報表示方法において、
前記対象空間内の物体を多視点から撮影した複数の静止画像から、この物体の前記３次元モデルを生成する第６のステップをさらに含むことを特徴とする３次元情報表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元情報の表示技術に係り、特に建物やプラント、工場等の空間における設備機器等の物体の３次元情報を表示する３次元情報表示装置および方法に関するものである。
【背景技術】
【０００２】
コンピュータの処理能力の向上と映像技術の進歩に伴い、３次元情報が汎用的なコンピュータ、スマートフォン、タブレットなどで描画できるようになってきた。そのため、実世界の３次元モデルを利用した多様なアプリケーションやサービスが登場している。建物やプラント、工場に関しても、実空間の３次元情報の計測とそれを応用した設備管理などの取り組みが進められている。
【０００３】
これまで実空間の３次元情報を生成する３Ｄ（3-dimension）化の手法としては、高精度なレーザスキャナやＬｉＤＡＲ（Light Detection and Ranging，Laser Imaging Detection and Ranging）などが利用されてきたが、レーザスキャナは機材の価格が高価であることや、ＬｉＤＡＲは空間を３Ｄ化するには空間分解能が低いといった課題があった。
【０００４】
近年、コンピュータビジョンの発展に伴い、複数の静止画像から３次元形状を復元することができる、ｖｉｓｕａｌＳＬＡＭ（Simultaneous Localization and Mapping）やＳｆＭ（Structure from Motion）などの技術の開発が進展している。ｖｉｓｕａｌＳＬＡＭやＳｆＭは、複数の静止画像から特徴点を抽出し、特徴点のマッチングから、３次元形状を復元するためのパラメータを算出し、３次元形状を構築する技術である。情報処理技術やソフトウェア技術の発展により、ユーザが利用しやすい複数の３次元形状復元ソフトウェアが開発され、３次元形状復元アルゴリズムの専門的な知識を有していないユーザでも３次元情報を取り扱えるようになり、ユーザが広がっている。
【０００５】
そこで、専門的な知識を有していない一般ユーザでも、正確さを高めた３次元情報を得られるように、より正確なカメラの位置や特徴点の位置情報を算出できるような画像を選択できるという、画像処理方法が開示されている（特許文献１参照）。
【０００６】
特許文献１に開示された方法のような、静止画像を利用して３次元形状を復元する技術は、撮影対象を囲むように撮影する場合や、連続する静止画像の重複する領域が多い場合に、３次元形状の構築が上手くいく。しかしながら、対象物が複数含まれている場合や比較的広い室内を３Ｄ化しようとする場合には、撮影条件によっては、ユーザの期待どおりに３次元情報を得られない場合がある。具体的には、復元された３次元情報の精度が低い場合や、ユーザの望む静止画像が計算に不適または不要な静止画像として、計算対象から除外されてしまう場合がある。しかしながら、ユーザによっては、除外された静止画像内に３次元化形状を復元したい対象が含まれる場合もある。
【０００７】
そのため、精度の高い３次元情報を復元するためには、対象とする空間内の機器毎の静止画像を利用して３次元モデルを構築する必要がある。この方法では、３次元モデルは機器毎に構築されることになるので、個々の３次元モデルの位置関係や、対象とする空間全体の３次元情報をユーザへ提供することはできない。したがって、機器毎に３次元モデルを構築する方法を、建物やプラント、工場のような比較的広い空間を対象とする３次元情報の表示に適用することは困難であった。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許第５０１２６１５号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、上記課題を解決するためになされたもので、対象空間内の物体毎の３次元モデルを使用して対象空間全体の３次元情報をユーザに提供することができる３次元情報表示装置および方法を実現することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の３次元情報表示装置は、対象空間内の物体の平面図を含む、前記対象空間の平面図の画像データを取得するように構成された平面図取得部と、前記対象空間内の物体毎の３次元モデルデータを取得するように構成された３次元モデル取得部と、前記画像データが表す対象空間の平面を、３次元データ座標系の基準面とするように構成された基準面生成部と、前記３次元モデルデータが表す物体の３次元モデルを、前記基準面上の対応する物体の位置に配置するように構成された３次元モデル配置部と、前記基準面上に配置された３次元モデルを投影面に投影した画像を生成して表示するように構成された３次元情報表示部とを備えることを特徴とするものである。
【００１１】
また、本発明の３次元情報表示装置の１構成例において、前記３次元モデル配置部は、前記３次元モデルの底面が前記基準面上の対応する物体の領域と重なるように、前記３次元モデルを回転、伸縮、平行移動させて前記基準面上の対応する物体の位置に配置することを特徴とするものである。
また、本発明の３次元情報表示装置の１構成例において、前記３次元モデル配置部は、ユーザの操作に従って前記３次元モデルを回転、伸縮、平行移動させて前記基準面上の対応する物体の位置に配置することを特徴とするものである。
また、本発明の３次元情報表示装置の１構成例において、前記基準面生成部は、ユーザによって入力された前記対象空間の平面図の縮尺情報に基づいて、前記基準面上の長さが実際の距離に等しくなるように、前記画像データが表す対象空間の平面を伸縮させることを特徴とするものである。
また、本発明の３次元情報表示装置の１構成例は、前記対象空間内の物体を多視点から撮影した複数の静止画像から、この物体の前記３次元モデルを生成するように構成された３次元モデル生成部をさらに備えることを特徴とするものである。
【００１２】
また、本発明の３次元情報表示方法は、対象空間内の物体の平面図を含む、前記対象空間の平面図の画像データを取得する第１のステップと、前記対象空間内の物体毎の３次元モデルデータを取得する第２のステップと、前記画像データが表す対象空間の平面を、３次元データ座標系の基準面とする第３のステップと、前記３次元モデルデータが表す物体の３次元モデルを、前記基準面上の対応する物体の位置に配置する第４のステップと、前記基準面上に配置された３次元モデルを投影面に投影した画像を生成して表示する第５のステップとを含むことを特徴とするものである。
【発明の効果】
【００１３】
本発明によれば、対象空間内の物体毎に構築された３次元モデルを使用して、建物やプラント、工場のような比較的広い対象空間の３次元情報を生成することができ、対象空間全体の３次元情報をユーザに提供することができる。
【図面の簡単な説明】
【００１４】
【図１】図１は、本発明の実施例に係る３次元情報表示装置の構成を示すブロック図である。
【図２】図２は、本発明の実施例に係る３次元情報表示装置の動作を説明するフローチャートである。
【図３】図３は、本発明の実施例に係る３次元情報表示装置の画面に表示された３次元情報の例を示す図である。
【図４】図４は、本発明の実施例に係る３次元情報表示装置の別の構成を示すブロック図である。
【図５】図５は、図４の３次元情報表示装置の動作を説明するフローチャートである。
【図６】図６は、本発明の実施例に係る３次元情報表示装置を実現するコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００１５】
［発明の原理］
対象とする空間全体の３次元情報を把握するために、ユーザは空間全体の３次元モデルを必ずしも必要としているわけではない。一方、建物やプラント、工場等において設備機器が設置されているフロアには、通常の場合、建築時や設備改修時に作成された当該フロアの２次元平面図が存在する。そこで、発明者は、この２次元平面図を３次元データ座標系へ取り込み、設備機器毎に構築した３次元モデルと組み合わせることで、必要十分な３次元情報をユーザへ提供することができることに想到した。
【００１６】
［実施例］
以下、本発明の実施例について図面を参照して説明する。図１は本発明の実施例に係る３次元情報表示装置の構成を示すブロック図である。３次元情報表示装置は、平面図取得部１と、３次元モデル取得部２と、モデルデータベース（以下、モデルＤＢ）３と、基準面生成部４と、３次元モデル配置部５と、３次元情報表示部６と、例えばキーボードやマウス等の操作部７とを備えている。
【００１７】
図２は本実施例の３次元情報表示装置の動作を説明するフローチャートである。まず、平面図取得部１は、対象空間の２次元平面図の画像データＤ１を取得して、モデルＤＢ３に蓄積する（図２ステップＳ１）。平面図には、対象空間内の物体（例えば設備機器）が記載されている。対象空間の平面図のＣＡＤ（Computer-Aided Design）データが存在する場合には、ＣＡＤデータを取得すればよい。一方、紙の平面図しか存在しない場合には、３次元情報表示装置のユーザがスキャナに読み込ませた平面図の画像データを取得すればよい。
【００１８】
続いて、３次元モデル取得部２は、対象空間内の物体毎の３次元モデルデータＤ２を取得して、モデルＤＢ３に蓄積する（図２ステップＳ２）。３次元モデルデータは、３次元（ｘ，ｙ，ｚ）の座標を有する多数の点群（ポイントクラウド）データから構成されるものである。このような３次元モデルデータは、ｖｉｓｕａｌＳＬＡＭやＳｆＭのような、複数の静止画像から３次元モデルを得る手法によって作成することができる。３次元モデルデータは、対象空間内の物体（オブジェクト、本実施例では設備機器）毎に事前に生成されている。
【００１９】
基準面生成部４は、モデルＤＢ３から２次元平面図の画像データＤ１を取得して、この画像データＤ１が表す対象空間の平面を、３次元データ座標系（ＸＹＺ座標系）の基準面とする（図２ステップＳ３）。本実施例では、３次元データ座標系のＺ方向を鉛直方向とし、Ｚ＝０の面を基準面とする。
【００２０】
次に、３次元モデル配置部５は、モデルＤＢ３から対象空間内の物体毎の３次元モデルデータＤ２を取得して、この３次元モデルデータＤ２が表す物体の３次元モデルを、３次元データ座標系の基準面上の対応する物体の位置に配置する（図２ステップＳ４）。このとき、３次元モデル配置部５は、物体の３次元モデルを、基準面上の、ユーザによって指定された物体の位置に配置する。すなわち、物体の３次元モデルと基準面上の物体との対応付けは、ユーザが操作部７を操作することによって行なわれる。
【００２１】
また、３次元モデル配置部５は、３次元モデルの底面が基準面上の対応する物体の領域と最も良く重なるように、３次元モデルを回転、伸縮、平行移動させて、３次元モデルを基準面上の対応する物体の位置に配置する。このとき、３次元モデル配置部５は、３次元モデルを回転、伸縮、平行移動させて、基準面上の対応する物体の領域と最も良く重なる３次元モデルの底面を探索すればよい。３次元モデルの回転、伸縮、平行移動は、３次元モデルの変換行列の計算によって実現される。なお、３次元モデルが倒立している可能性は低いので、ＸＺ平面内の回転角度およびＹＺ平面内の回転角度に制限を設けるようにしてもよい。
【００２２】
あるいは、３次元モデル配置部５は、ユーザの操作部７に対する操作に従って３次元モデルを回転、伸縮、平行移動させるようにしてもよい。
こうして、３次元モデルの回転角度、伸縮率、平行移動量のそれぞれの最適値の自動探索、あるいはユーザの操作による３次元モデルの回転、伸縮、平行移動により、３次元モデルの幅、長さ、回転角度を基準面上の対応する物体の領域に合わせることができる。３次元モデル配置部５は、以上の処理を３次元モデル毎に行なう。
【００２３】
次に、３次元情報表示部６は、３次元モデル配置部５によって３次元データ座標系の基準面上に配置された３次元モデルを投影面（ディスプレイ面）に投影した画像を生成して、生成した画像を表示する（図２ステップＳ５）。３次元モデルに対する視点の位置は、ユーザが操作部７を操作することによって自由に変更することができる。
【００２４】
図３は３次元情報表示装置の画面６０に表示された３次元情報の例を示す図である。図３において、１００は３次元データ座標系の基準面、１０１−１〜１０１−４は基準面１００上の物体（設備機器）の領域、１０２−１〜１０２−３は対応する物体の位置に配置された３次元モデルである。図３の例では、基準面１００および３次元モデル１０２−１〜１０２−３の斜め上方に視点がある例で表示しているが、上記のとおり視点を変えることで画面６０に表示される画像を変更することができる。
【００２５】
こうして、本実施例では、対象空間内の物体毎に構築された３次元モデルを使用して、建物やプラント、工場のような比較的広い対象空間の３次元情報を生成することができ、対象空間全体の３次元情報をユーザに提供することができる。
【００２６】
なお、対象空間の２次元平面図には、図面上の長さと実際の距離との比を示す縮尺情報が記述されている。ユーザは、操作部７を操作して縮尺情報を３次元情報表示装置に入力してもよい。この場合、基準面生成部４は、３次元データ座標系の基準面を生成する際に、基準面上の長さが実際の距離に等しくなるように、２次元平面図の画像データＤ１が表す対象空間の平面を伸縮させるようにしてもよい。
【００２７】
また、本実施例では、３次元モデルを生成する３次元モデル生成部が３次元情報表示装置の外部に設けられる例で説明しているが、図４に示すように３次元モデル生成部８を３次元情報表示装置内に設けるようにしてもよい。この場合の３次元情報表示装置の動作を図５に示す。３次元モデル生成部８は、対象空間の物体を多視点から撮影した複数の静止画像を入力とする。３次元モデル生成部８は、入力された複数の静止画像からｖｉｓｕａｌＳＬＡＭやＳｆＭのような手法によって物体の３次元モデルを生成する（図５ステップＳ０）。このような静止画像の入力と３次元モデルの生成とを、対象空間内の物体毎に行なうようにすればよい。
【００２８】
本実施例で説明した３次元情報表示装置は、ＣＰＵ（Central Processing Unit）、記憶装置及びインターフェースを備えたコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。このコンピュータの構成例を図６に示す。コンピュータは、ＣＰＵ２００と、記憶装置２０１と、インターフェース装置（以下、Ｉ／Ｆと略する）２０２とを備えている。Ｉ／Ｆ２０２には、操作部７やディスプレイなどが接続される。このようなコンピュータにおいて、本発明の３次元情報表示方法を実現させるためのプログラムは記憶装置２０１に格納される。ＣＰＵ２００は、記憶装置２０１に格納されたプログラムに従って本実施例で説明した処理を実行する。
【産業上の利用可能性】
【００２９】
本発明は、３次元情報を表示する技術に適用することができる。
【符号の説明】
【００３０】
１…平面図取得部、２…３次元モデル取得部、３…モデルデータベース、４…基準面生成部、５…３次元モデル配置部、６…３次元情報表示部、７…操作部、８…３次元モデル生成部。
【図１】
2020095427.tif 000003
【図２】
2020095427.tif 000004
【図３】
2020095427.tif 000005
【図４】
2020095427.tif 000006
【図５】
2020095427.tif 000007
【図６】
2020095427.tif 000008