(57)【要約】【課題】魚眼レンズの利用を前提とした高精度な画像計測システム及び画像計測方法を提供する。【解決手段】パーソナルコンピュータは、ＶＲカメラで撮影した画像情報に基づいて、隣接する画像間の撮影位置、撮影方向の初期値を導出し、特徴量の探索範囲を限定して各画像情報の特徴量を抽出し、ローカル座標系の三次元座標を算出するローカル座標系算出手段と、ＶＲカメラの各画像の撮影位置と撮影方向の初期値と、別途手段により計測した測距情報とに基づいて、ローカル座標系の三次元座標を座標変換して、ワールド座標系の三次元座標を算出するワールド座標系算出手段と、仮想空間内において、ワールド座標系の三次元座標に基づいて、オペレータの操作により、三次元の図面化する図面作成手段と、を備える。【選択図】図１
2020139742.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像情報に基づいて建築物の計測を行う画像計測システムであって、
前記建築物を撮影する魚眼レンズを備えたステレオカメラと、
前記ステレオカメラが、姿勢を水平かつ前記建築物の壁面と略平行な状態となるように取り付けられるスタビライザと、
前記ステレオカメラで撮影した前記画像情報と、別途手段により計測した前記建築物の測距情報を記憶・処理する演算処理装置と、
を備え、
前記演算処理装置は、
前記ステレオカメラで撮影した前記画像情報に基づいて、隣接する画像間の撮影位置、撮影方向の初期値を導出し、特徴量の探索範囲を限定して各前記画像情報の特徴量を抽出し、ローカル座標系の三次元座標を算出するローカル座標系算出手段と、
前記ステレオカメラの各前記画像の撮影位置と撮影方向の初期値と、前記別途手段により計測した前記測距情報とに基づいて、前記ローカル座標系の三次元座標を座標変換して、ワールド座標系の三次元座標を算出するワールド座標系算出手段と、
仮想空間内において、前記ワールド座標系の三次元座標に基づいて、オペレータの操作により、三次元の図面化する図面作成手段と、
を備えることを特徴とする画像計測システム。
【請求項２】
前記ステレオカメラと通信可能な情報通信端末を備え、
前記情報通信端末は、前記建築物に配されたコードターゲットの位置情報に基づいて、前記ローカル座標系の三次元座標を算出することを特徴とする請求項１記載の画像計測システム。
【請求項３】
前記ステレオカメラと通信可能な情報通信端末を備え、
前記情報通信端末は、前記建築物の図面情報と、前記画像情報に基づいて、前記画像の撮り忘れを防止する撮り忘れ防止手段を有することを特徴とする請求項１又は２記載の画像計測システム。
【請求項４】
複数の画像情報に基づいて建築物の計測を行う画像計測方法であって、
魚眼レンズを備えたステレオカメラの姿勢を水平かつ前記建築物の壁面と略平行な状態とするスタビライザに、前記ステレオカメラを取り付けた状態で、前記ステレオカメラで、前記建築物の壁面の画像を撮影するとともに、別途手段により前記建築物を計測し、
演算処理装置のローカル座標系算出手段で、前記ステレオカメラで撮影した前記画像情報に基づいて、隣接する前記画像間の撮影位置、撮影方向の初期値を導出し、特徴量の探索範囲を限定して各前記画像情報の特徴量を抽出し、ローカル座標系の三次元座標を算出し、
前記演算処理装置のワールド座標系算出手段で、前記ステレオカメラの各前記画像の撮影位置と撮影方向の初期値と、前記別途手段により計測した前記建築物の測距情報と、に基づいて、ローカル座標系の三次元座標を座標変換して、ワールド座標系の三次元座標を算出し、
前記演算処理装置の図面作成手段において、仮想空間内において、前記ワールド座標系の三次元座標に基づいて、オペレータの操作により、三次元の図面化することを特徴とする画像計測方法。
【請求項５】
前記ステレオカメラと通信可能な情報通信端末において、前記建築物に配されたコードターゲットの位置情報に基づいて、前記ローカル座標系の三次元座標を算出することを特徴とする請求項４記載の画像計測方法。
【請求項６】
前記ステレオカメラと通信可能な情報通信端末において、
前記建築物の図面情報と、前記画像情報に基づいて、撮り忘れ防止手段を用いて、前記画像の撮り忘れを防止することを特徴とする請求項４又は５記載の画像計測方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像計測システム及び画像計測方法に関するものである。
【背景技術】
【０００２】
住宅(建築物)などの外壁に使われるサイディングボードの施工の効率化を目的として、プレカット加工への移行が進んでいるが、外壁の計測には以下のようないくつかの特徴があり、その対応を行う必要がある。
（１) 外壁施工時には、足場が組まれており、さらにその外側にシートがかけられている。そのため、カメラから外壁までの距離は５０ｃｍ程度しかない。
（２) プレカットされた外壁を組み合わせるときに、寸法が合わないと外気や雨水の侵入などの問題が発生するため、±１ｍｍ程度の高い精度での計測が必要である。
（３) 計測から図面作成、データ変換、プレカット加工、外壁材搬入まで、できるだけ短い時間で実施すべきである。そのうち、計測作業は１棟あたり１日以内で完了することが望ましい。
（４) 現場作業で得られた計測データを、事務所で図面化し、工場でプレカットするといった一連の作業の流れをスムーズに行うためには、無線による通信が必須となる。しかし、無線通信で大量のデータを送ることは費用面でも速度面でも問題があるため、データ量を抑制する必要がある。
（５) 足場を上り下りしながら計測作業をする必要があるため、軽量かつコンパクトな撮影機材でなければ実用的ではない。また、作業時の安全性に十分配慮した方法である必要がある。
（６) 外壁施工には多くの費用がかけられないため、十分低コストで計測できる方法が望まれる。
（７) 計測時の壁面は似たパターンの図柄が繰り返して現れるため、通常の画像認識方法では誤認識が発生しやすい。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１８４９７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
サイディングボードの施工の効率化の課題のひとつとして施工現場の状況に合わせてカットするための計測に多くの時間がかかるという問題がある。従来はレーザ計測器を用いて計測していたが、レーザ機器の設置や計測箇所へのプレートの設置などに多くの時間がかかり、効率的とは言えなかった。
【０００５】
そこで、画像を用いた計測手法に切り替えることで、効率的な計測を行うことを目的としたサイディングボード貼り付け形状作成装置として、特許文献１に記載されるものが提案されている。
【０００６】
これによれば、カメラで家屋の壁面を撮像し、カメラで撮像した映像信号をパーソナルコンピュータに取り込み、パーソナルコンピュータに取り込んだ画像信号を表示装置で表示し、家屋の一部の計測データとサイディングボードの形状を書き込み装置で表示装置に書き込み、パーソナルコンピュータは書き込まれた家屋の側面の一部の計測データ及びサイディングボードの形状データに基づいて、家屋の側面の画像信号に前記家屋の側面に貼り付けるサイディングボードの形状を作成していた。
【０００７】
しかし、上記の、特に（１)の特徴は画像計測を行うにあたり極めて不利な条件である。何故なら、通常の画像計測に用いられるカメラの画角は最も広角のものでもせいぜい９０度程度であり、５０ｃｍから撮影した場合の範囲は５０〜７０ｃｍ程度にすぎない。一方壁面の大きさは、一般的な２階建住宅で横６〜１０ｍ程度、高さ６ｍ程度あるので、全体を網羅しようとすると、極めて多くの枚数の写真を撮影し合成しなければならず、全く実用的ではない。（４)の通信の問題だけを考えても非現実的である。
【０００８】
そこで、魚眼レンズを用いた超広角カメラで撮影することで、一度に広い範囲を網羅して撮影枚数を減らすこととする。魚眼レンズは画像の歪みが大きく、解像度も低くなるため、そもそも高精度な計測には向いておらず、（２)のような高い精度での計測は困難である。解像度を上げるため、大型のカメラやレンズを用いると、（５)、（６)のような条件を満たさない。
【０００９】
また、効率化のためには自動処理が必要であるが、魚眼レンズの利用を前提とした高精度な自動画像計測システムは現時点では存在しない。さらに、（７)のような画像処理の自動化において大きな問題となる条件もあり、一般的な画像計測方法では対応できない。
【００１０】
本発明は、上記事情に鑑み、魚眼レンズの利用を前提とした高精度な画像計測システム及び画像計測方法を提供するものである。
【課題を解決するための手段】
【００１１】
請求項１記載の発明では、複数の画像情報に基づいて建築物の計測を行う画像計測システムであって、
前記建築物を撮影する魚眼レンズを備えたステレオカメラと、
前記ステレオカメラが、姿勢を水平かつ前記建築物の壁面と略平行な状態となるように取り付けられるスタビライザと、
前記ステレオカメラで撮影した前記画像情報と、別途手段により計測した前記建築物の測距情報を記憶・処理する演算処理装置と、
を備え、
前記演算処理装置は、
前記ステレオカメラで撮影した前記画像情報に基づいて、隣接する画像間の撮影位置、撮影方向の初期値を算出し、特徴量の探索範囲を限定して各前記画像情報の特徴量を抽出し、ローカル座標系の三次元座標を導出するローカル座標系算出手段と、
前記ステレオカメラの各前記画像の撮影位置と撮影方向の初期値と、前記別途手段により計測した前記測距情報とに基づいて、前記ローカル座標系の三次元座標を座標変換して、ワールド座標系の三次元座標を算出するワールド座標系算出手段と、
仮想空間内において、前記ワールド座標系の三次元座標に基づいて、オペレータの操作により、三次元の図面化する図面作成手段と、
を備えることを特徴とする画像計測システム。
【００１２】
これによれば、魚眼レンズを備えたステレオカメラで画像の撮影枚数を低減し、ステレオカメラの姿勢をスタビライザで水平かつ壁面と略平行な状態として、隣接する画像間の撮影位置、撮影方向の初期値の道出を容易にし、特徴量の探索範囲を限定して各前記画像情報の特徴量を抽出して、点群データの生成を抑え、画像の処理で行うのは各画像の撮影位置と撮影方向の把握と、建築物の壁面との距離の把握のみに絞り、手動で画像をトレースすることで、処理の負担を軽減して効率的に図面を作成することができる。よって、魚眼レンズの利用を前提とした高精度な画像計測システムを提供することができる。
【００１３】
また、前記ローカル座標算出手段は、前記建築物に配されたコードターゲットの位置情報に基づいて、前記ローカル座標系の三次元座標を算出する。
【００１４】
これによれば、壁面上の図柄が同じパターンで繰り返される場合であっても、隣接画像同士で、コードターゲットがそれぞれの画像のどの位置にあるかを把握することで、カメラの撮影位置を把握することを容易することができるので、画像認識での誤認識の発生を防止することができる。
【００１５】
また、前記ステレオカメラと通信可能な情報通信端末を備え、
前記情報通信端末は、前記建築物の図面情報と、前記画像情報に基づいて、前記画像の撮り忘れを防止する撮り忘れ防止手段を有する。
【００１６】
これによれば、撮り忘れ防止手段により、画像の撮り忘れを防止することができるので、現場への再移動、画像の再度の撮影等の、画像の撮り忘れにより生じる作業工数を増やさないことに寄与する。
【００１７】
また、請求項４記載の発明では、複数の画像情報に基づいて建築物の計測を行う画像計測方法であって、
魚眼レンズを備えたステレオカメラの姿勢を水平かつ前記建築物の壁面と略平行な状態とするスタビライザに、前記ステレオカメラを取り付けた状態で、前記ステレオカメラで、前記建築物の壁面の画像を撮影するとともに、別途手段により前記建築物を計測し、
演算処理装置のローカル座標系算出手段で、前記ステレオカメラで撮影した前記画像情報に基づいて、隣接する前記画像間の撮影位置、撮影方向の初期値を導出し、特徴量の探索範囲を限定して各前記画像情報の特徴量を抽出し、ローカル座標系の三次元座標を算出し、
前記演算処理装置のワールド座標系算出手段で、前記ステレオカメラの各前記画像の撮影位置と撮影方向の初期値と、前記別途手段により計測した前記建築物の測距情報と、に基づいて、ローカル座標系の三次元座標を座標変換して、ワールド座標系の三次元座標を算出し、
前記演算処理装置の図面作成手段において、仮想空間内において、前記ワールド座標系の三次元座標に基づいて、オペレータの操作により、三次元の図面化することを特徴とする画像計測方法としている。
【００１８】
また、前記ローカル座標算出手段は、前記建築物に配されたコードターゲットの位置情報に基づいて、前記ローカル座標系の三次元座標を算出することができる。
【００１９】
また、前記ステレオカメラと通信可能な情報通信端末において、前記建築物の図面情報と、前記画像情報に基づいて、撮り忘れ防止手段を用いて、前記画像の撮り忘れを防止することもできる。
【図面の簡単な説明】
【００２０】
【図１】本発明の画像計測システムの概略構成図である。
【図２】サーバの概略説明図である。
【図３】ステレオカメラの概略説明図である。
【図４】情報通信端末の概略説明図である。
【図５】パーソナルコンピュータの概略説明図である。
【図６】スタビライザにＶＲカメラを取り付けた状態を示す図である。
【図７】コードターゲットの例を示す図である。
【図８】コードターゲットの設置例を示す図である。
【図９】撮影の様子を示す図である。
【図１０】情報通信端末の操作表示部を示すイメージ図である。
【図１１】情報通信端末における画像処理の流れを示すフローチャートである。
【図１２】コードターゲットとカメラの座標系の関係を示す図である。
【図１３】ＶＲカメラでのステレオ画像計測の説明図である。
【図１４】パターンマッチングのみを用いた対応点の判定の例を示す画像である。
【図１５】幾何学的な制約条件を与えて対応点をフィルタリングした例を示す画像である。
【図１６】パーソナルコンピュータにおける画像処理の流れを示すフローチャートである。
【図１７】ローカル座標系とワールド座標系の関係を示す図である。
【図１８】画像上で図面作成している様子を示す図である。
【図１９】三次元建築図面から二次立面図への変換処理のイメージ図である。
【図２０】二次元立面図から割付図への変換処理のイメージ図である。
【図２１】割付図からＮＣ工作機データへの変換とデータ転送のイメージ図である。
【発明を実施するための形態】
【００２１】
本発明における画像計測システムの一実施形態を図面に基づいて説明する。
【００２２】
図１に示すように、画像計測システム１０は、サーバ２０と、ＶＲカメラ３０と、情報通信端末４０と、パーソナルコンピュータ６０と、から構成され、別途手段としてのレーザ計測器５０を利用している。
【００２３】
サーバ２０は、図２に示すように、制御部２２、記憶部２３、及び通信部２４、を備えている。本実施形態では、クラウドサーバを用いている。
【００２４】
制御部２２は、ＣＰＵ、ＲＡＭ、ＲＯＭ等から構成されている。記憶部２３は、ＶＲカメラ３０、レーザ計測器５０から送信される画像、測距情報としての測距データ、計測対象となる建築物１００の設計図面等が記憶され、半導体メモリ、ハードディスク装置、コンパクト・ディスク装置等から構成されている。通信部２４は、通信回線を介して、情報通信端末４０、パーソナルコンピュータ６０と通信を行うためのものである。
【００２５】
ステレオカメラとしてのＶＲカメラ３０は、図３に示すように、魚眼レンズ３１、画像処理部３２、記憶部３３、通信部３４、及び、撮像素子３６と、を備えている。本実施形態では、既存の一対の魚眼レンズ３１を備えたＶＲカメラが用いられる。
【００２６】
画像処理部３２は、ＣＰＵ、ＲＡＭ、ＲＯＭ等から構成されている。記憶部３３は、撮影された画像等が記憶され、半導体メモリ、ハードディスク装置、コンパクト・ディスク装置等から構成されている。通信部３４は、Ｗｉ−Ｆｉ（登録商標）により、情報通信端末４０と通信を行うためのものである。
【００２７】
情報通信端末４０は、図４に示すように、制御部４２、記憶部４３、通信部４４、及び、操作表示部４５を備えている。本実施形態では、既存のスマートフォンが用いられる。
【００２８】
制御部４２は、ＣＰＵ、ＲＡＭ、ＲＯＭ等から構成されている。記憶部４３は、ＶＲカメラ３０から送信される画像、レーザ計測器５０で計測される測距情報としての測距データ、計測対象となる建築物１００の設計図面等が記憶され、半導体メモリ、ハードディスク装置、コンパクト・ディスク装置等から構成されている。通信部４４は、通信回線を介してサーバ２０、他の携帯端末等と通信を行うためのものである。また、Ｗｉ−Ｆｉにより、ＶＲカメラ３０と通信可能とされている。操作表示部４５は、タッチパッド機能を有した液晶ディスプレイ等から構成され、レーザ計測器５０で計測される測距データ、出隅の指定等の特記事項、の入力を可能としている。
【００２９】
レーザ計測器５０は、既存のレーザ計測器が用いられ、建築物１００の壁面１０１全体の幅、高さ等を計測する。
【００３０】
パーソナルコンピュータ６０は、図５に示すように、入力部６１、制御部６２、記憶部６３、通信部６４、及び、表示部６５を備えている。
【００３１】
入力部６１は、マウス、キーボード等から構成されている。制御部６２は、ＣＰＵ、ＲＡＭ、ＲＯＭ等から構成されている。記憶部６３は、半導体メモリ、ハードディスク装置、コンパクト・ディスク装置等から構成されている。表示部６５は、液晶ディスプレイ等から構成されている。通信部６４は、通信回線を介してサーバ２０と通信を行うためのものである。
【００３２】
図６に示すスタビライザ７０は、スタビライザ７０本体内に取り付けられている図示しない傾斜センサーをもとに、ＶＲカメラ３０の傾きを感知し、その傾きを補正するように、３軸のブラシレスモータ７１、７２、７３が回転して、水平を保つものである。取付部７４により上下方向において挟持されて、ＶＲカメラ３０が取り付けられる。本実施形態では、３軸のブラシレスジンバルが用いられる。
【００３３】
次に、画像計測システム１０を用いて、建築物１００の壁面１０１にサイディングボードを施工する場合について、図７〜２１に基づいて説明する。
【００３４】
≪ＶＲカメラ３０を用いた撮影方法及び画像処理≫
本実施形態の画像計測システム１０では、図８、９に示すように、建築物１００の壁面１０１に沿って設置された足場１１０上を水平方向に沿って歩行しながら、１ｍ程度の間隔でＶＲカメラ３０を用いて撮影を行う。なお、足場１１０の外側にシート１２０がかけられているため、壁面１０１からＶＲカメラ３０の距離は、５０ｃｍ弱となる。
【００３５】
また、スタビライザ７０にＶＲカメラ３０を取り付けることで、ＶＲカメラ３０の傾きがほぼ一定に保たれる。スタビライザ７０はなくても必要な範囲の撮影そのものは可能であるが、後述するように、安定した精度で計測するための初期値計算のために必要となる。
【００３６】
ＶＲカメラ３０の制御は情報通信端末４０によって行う。情報通信端末４０は建築現場作業でも利用可能なように、十分に頑強で防塵性防滴性を兼ね備えた軽量なものとされている。さらに、扱いが容易であり落下の危険もないように、腕に取り付け可能とされている。
【００３７】
［コードターゲット８０の利用］
計測時の壁面１０１には、養生シートが貼られていて、同じパターンの図柄が繰り返して現れている。このような状態で、通常のパターンマッチングによる対応点探索を行うと、多くの誤対応が発生して正しい撮影位置や撮影方向を得ることができないという問題が発生する。この問題に対処する方法のひとつとして、コードターゲット８０を利用する。
【００３８】
コードターゲット８０は複数のパターンを持ったターゲットで、パターンごとに番号が振られる。その例を図７に示す。それぞれの画像には２枚以上のコードターゲット８０が明瞭に写るように撮影され、隣接画像の重複部分では１枚以上のコードターゲット８０が共通して写るように配置される。コードターゲット８０の設置例を図８に示す。コードターゲット８０は養生シートに予め印刷しておいてもよいし、シールなどに印刷しておき後から貼り付けてもよい。
【００３９】
［情報通信端末４０における画像処理の流れ］
図１０に示す、情報通信端末４０にインストールされた「ＶＲカメラ  アプリ（現場用アプリ）」上で、操作表示部４５において撮影ボタンを押すと、ＶＲカメラ３０で撮影が行われ、Ｗｉ−Ｆｉ（登録商標）により画像が情報通信端末４０に転送される。転送された画像は記憶部４３に記録されるので、現場用アプリでその記憶部４３を監視しておき、新しい画像が記憶部４３に書き込まれたら、画像処理を開始する。
【００４０】
画像処理について、図１１のフローチャートに基づいて説明する。記憶部４３への画像の書き込み検知する（Ｓ１０１）と、左右画像の分離を行い（Ｓ１０２）、ステレオマッチングによる対応点の座標算出を行い（Ｓ１０３）、奥行距離の把握を行う（Ｓ１０４）。
【００４１】
ステップＳ１０３、ステップＳ１０４において、本実施形態では、以下に説明するように、ステレオマッチングによる対応点の座標算出、奥行距離の把握を行う。
【００４２】
ＶＲカメラ３０では、左右の魚眼レンズ３１間の距離Ｂ(基線距離)が既知である。また、両方のカメラがともに同じ方向を向いて設置されている。そのため、壁面１０１上の点について左右画像の対応点を手動などで与えた場合、図１３における画像上の視差（Ｐ１＋Ｐ２）と焦点距離ｆと基線距離ＢとＶＲカメラ３０から壁面１０１までの奥行距離Ｚとの間には、以下のような関係式が成り立つ。
【００４３】
【数１】
2020139742.tif 000003
【００４４】
ステレオ計測では、このような簡単な方法で奥行き方向の奥行距離Ｚを容易に得ることができる。
【００４５】
ただし、奥行距離Ｚが５００ｍｍ程度であるのに対し、基線距離は６４ｍｍ程度であり、その比率で奥行き方法の誤差が増大する。例えば解像度８ｍｍの画像で１画素分の誤差があった場合、奥行き方向の誤差は８ｍｍにもなる。そのため、手動で対応点を取ると予想外に大きな誤差が現れる可能性があるので、自動で画像マッチングを行うことが望ましい。
【００４６】
自動での画像マッチングには、精度を重視して最小二乗マッチングと呼ばれる手法を用いる。これはテンプレートマッチングの一種で、２枚の画像上の指定箇所において最も一致した位置を１画素より高い精度でマッチングする方法である。この方法は、おおよその対応点を予め与える必要があるので、後述するＳｆＭ内で利用されている特徴量を利用した画像マッチング法を前処理として利用する。
【００４７】
奥行距離Ｚが得られれば、以下のようにして指定点のＸ座標Ｙ座標も上述する式（２）によって得ることができる。
【００４８】
【数２】
2020139742.tif 000004
【００４９】
Ｚc＝−Ｚなので、λ＝Ｚ／ｆとなる。これから容易にＸc,Ｙcを得ることができる。
【００５０】
問題となるのは隣接画像同士(１ｍほど離れた位置で撮影した画像同士)の撮影位置と撮影方向の関係であるが、壁面１０１上の複数箇所で対応点をとることが可能であれば、後述するコードターゲット８０と全く同じ処理によって撮影位置と撮影方向の初期値を得ることができる。
【００５１】
そして、ステップＳ１０４に続いて、画像の投影変換を行い（Ｓ１０５）、コードターゲット８０を識別可能か否かを判定する（Ｓ１０６）。
【００５２】
ステップＳ１０６で、コードターゲット８０を識別可能（Ｓ１０６でＹＥＳ）であれば、画像ごとにコードターゲット８０を自動抽出し（Ｓ１０７）、コードターゲット８０識別により隣接画像の対応点を取得する（Ｓ１０８）。
【００５３】
ステップＳ１０７、ステップＳ１０８において、コードターゲット８０は、画像処理により自動的に識別され、画像上のどの場所にどのコードターゲット８０が写っているのかがわかる。重複撮影された隣接画像同士で、同じ番号のコードターゲット８０がそれぞれの画像のどの位置にあるかを把握することで、ＶＲカメラ３０の撮影位置をおおよそ把握することができる。例えば図８においては、図８（５）のコードターゲット８０が隣接する２枚の画像の重複範囲内に写っており、図８（５）のコードターゲット８０が同一の場所にあるはずだという条件から、それぞれの画像を撮影したＶＲカメラ３０の位置が推定される。
【００５４】
ステップＳ１０６で、コードターゲット８０を識別できなければ（Ｓ１０６でＮＯ）、半手動により、隣接画像の対応点を指定し（Ｓ１０９）、既存のＳｆＭの手法により特徴量抽出を行う（Ｓ１１０）。
【００５５】
ステップＳ１１０において、誤判定によるズレが発生した場合には、計測者が、操作表示部４５において、画像をスワイプ（ドラッグ）して修正する。
【００５６】
ステップＳ１０８又はステップＳ１１０の処理後に、隣接画像との位置合わせ（隣接画像間の撮影位置、撮影方向の初期値を算出）を行う（Ｓ１１１）。
【００５７】
ステップＳ１１１について詳説すると、たった１点の対応点が与えられただけでは、それぞれの画像の撮影位置と撮影方向を決定することはできない。コードターゲット８０には図７の（１）に示すように、ローカルな座標系が与えられており、識別と同時に相対的な方向や縮尺を得ることができる。これらの情報をもとにして、直交変換によりＶＲカメラ３０の、画像の撮影位置と撮影方向の概算値がそれぞれ得られるような工夫がなされている（図１２参照）。
【００５８】
コードターゲット８０には３点以上の円が配置されており、それぞれの中心点が画像座標(ｘi，ｙi)として与えられる。カメラの座標系で現れる三次元座標(Ｘc，Ｙc，Ｚc)と画像座標との関係は上述した式（２）で表現される。
【００５９】
ここにｆはＶＲカメラ３０の焦点距離であり固定値である。λは縮尺係数と呼ばれる変数である。λ=-Ｚc/ｆであるから、奥行距離Ｚcが決まれば、Ｘc，Ｙcも決定する。コードターゲット８０には決められた寸法があるため、寸法情報を与えることでおおよその奥行距離Ｚcが推定される(Ｚc／−ｆ≒実寸／画像上の長さ)。よって、コードターゲット８０上の３つ以上の円中心位置について、カメラ座標系での三次元座標(Ｘc，Ｙc，Ｚc)が得られる。
【００６０】
すでに述べたように、コードターゲット８０にはローカルな座標系があり、その座標系で表されるコードターゲット８０の各点の三次元座標を(Ｘt，Ｙt，Ｚt)としたとき、これらには予め既知の値が与えられている。例えば、赤色の円の中心座標は(０，０，０)となっている。コードターゲット８０の座標系とカメラの座標系は以下のような直交変換によって表現される。
【００６１】
【数３】
2020139742.tif 000005
【００６２】
ここにＲは回転行列であり、３つの回転角を未知数とする。また、(Ｘ0，Ｙ0，Ｚ0)はコードターゲット８０の座標原点とＶＲカメラ３０の座標原点との位置の差を表した並進ベクトルであり、３つの未知数がある。これら合計６つの未知数を決定することができれば、ターゲット座標系とカメラ座標系との関係が決定される。詳細については省くが、これらを決定するには、３点以上の座標既知点を用いて式（３）を解けばよい。すでに述べたように、ターゲット座標系での各円中心の座標は予め与えられており、カメラ座標系での各円中心の座標の式（２）によって算出される。コードターゲット８０には３点以上の円があるため、これらについて式（３）を連立することで６つの未知数を解くことができる。
【００６３】
［スタビライザ７０による姿勢制御と初期値取得］
式（３）により未知数を解けると書いたが、一般的にはこの式から直接未知数を解くことができるわけではない。というのは、式（３）に含まれる回転行列Ｒは式（４）に示すように、回転角(θ、φ、κ)に関する複雑な非線形式となっているためである。
【００６４】
【数４】
2020139742.tif 000006
【００６５】
ただし、スタビライザ７０を用いることで、この式を簡素化することができる。回転角のうちφは鉛直角、κは光軸まわりの回転角であるが、これらはスタビライザ７０を用いることで、常にほぼ０に保たれる。残るθは水平角であり、こちらもＶＲカメラ３０が壁面１０１と正対しているのであれば０となるが、実際には完全に０となるように調整することは難しく、撮影を進めるうちにずれてくることが実験により確かめられている。そのため、回転角についてはθのみを未知数として解けばよい。φ＝０、κ＝０を、式（３）に代入すると、以下の式が得られる。
【００６６】
【数５】
2020139742.tif 000007
【００６７】
コードターゲット８０は３つ以上の円で構成されるので、そのうち２点(iとjとする)を用いて、連立して差をとると、以下のような式となりθだけが未知数となる。
【００６８】
【数６】
2020139742.tif 000008
【００６９】
この第２式と第４式を使うことで、θを解くことができる。
このようにして、得られたθの値を式（４）に代入すれば、ただちに(Ｘ0，Ｙ0，Ｚ0)を解くことができる。
【００７０】
ただし、ここで得られた計算値は、小さなコードターゲット８０をもとに解いたものであって、精度は決して高くない。そのため、ここで得られた値は後述する画像マッチング処理とバンドル調整の際の初期値として利用するに留めるものとうする。
【００７１】
そして、画像の簡易合成を行う（Ｓ１１２）、設計図面との位置合わせをし（Ｓ１１３）、画像と位置情報・設計図面の転送を行う（Ｓ１１４）。
【００７２】
ステップＳ１１２、ステップＳ１１３、ステップＳ１１４について補足すると、情報通信端末４０の記憶部４３には、予め計測対象となる建築物１００の設計図面が記憶され、操作表示部４５において、図１０の右上部分に示すように、建築物１００の形状をフレーム状の図面として表示される。なお、図１０においては、コードターゲット８０を省略している。
【００７３】
自動で合成できるのは足場１１０の同じ段にある画像とされ、図１０の網掛け部分に示すように、段ごとに合成処理を行い得られた帯状の合成画像を手動により図面上に当てはめる。また、図面上のどの面に相当するのかを指定するのも手動により指定する。以上のことより、情報通信端末４０は、建築物１００の図面情報と、画像情報に基づいて、画像の撮り忘れを防止する撮り忘れ防止手段を有している。
【００７４】
さらに、出隅の指定など、特記事項がある場合は、図面上にメモを記入する。また、レーザ計測器５０により、壁面１０１全体の幅や長さも別途測っておいて、その値を操作表示部４５で記入する。
【００７５】
図面への合成画像の貼り付けや必要な情報の記入が終わったら、元画像と合成画像、図面、長さなどの情報をサーバ２０に送付する。
【００７６】
≪パーソナルコンピュータ６０における図面作成の処理≫
［ＳｆＭとその改良］
コードターゲット８０は計測対象と比べて非常に小さいため、コードターゲット８０によって推定されるそれぞれの画像の撮影位置や撮影方向の精度は、計測対象において求められる計測精度と比べてずっと低い。そのため、より多くの情報を用いて精度を高める必要がある。より多くの情報とは、画像間の対応点を出来る限り多く、まんべんなく、正確に得ることである。そのためには、特徴量抽出を用いた画像識別を用いるのが一般的であり、この方法はＳｆＭ(Structure from Motion)と呼ばれている。
【００７７】
ＳｆＭは移動しながら撮影した静止画像や動画像をもとに、三次元モデルを生成する仕組みである。具体的には、複数枚の写真を撮影し、それらの写真間の位置関係や対象物の対応関係を特徴量抽出とパターンマッチングの組み合わせによって自動的に求める技術である。
【００７８】
ただし、すでに述べた理由により壁面測定においては、似たパターンが繰り返されることから、一般的なＳｆＭの手法では誤判別が多くなり正常な結果を得ることができない。具体例として、図８に例示される現場における、パターンマッチングのみを用いた対応点の判定の例を図１４に示す。
【００７９】
対応関係の誤りが多数あることが確認できる。このようにうまくいかないのは、初期のパターンマッチングの時点で幾何学的な制約条件を与えず、後から制約条件を与えてフィルタリングするからである。
【００８０】
パーソナルコンピュータ６０にインストールされる図面作成用ソフトウェアの処理について、図１６のフローチャートに基づいて説明する。
【００８１】
情報通信端末４０からの画像・位置データ・設計図面を受取ると（Ｓ３０１）、画像の投影変換(図面作成用：高解像)を行う（Ｓ３０２）、情報通信端末４０から受取った隣接画像間の撮影位置、撮影方向の初期値を流用し（Ｓ３０３）、隣接画像同士の特徴量マッチングを行う（Ｓ３０４）。
【００８２】
ステップＳ３０４について詳説すると、各画像の特徴量を抽出し、隣接画像間の関係をもとに特徴量の探索範囲を限定する。特徴量の類似度をもとにしたマッチングを行い、幾何学的な制約を与えてフィルタリングする、といった処理を行う。
【００８３】
以上の処理に基づいて行われた、画像を図１５に示す。図１４の画像に比して対応関係の誤りが解消されていることがわかる。
【００８４】
本実施形態においては、画像の簡易合成処理を行うにあたり、現場用アプリでも図面作成用ソフトウェアと同じ処理が必要となる部分があり、共通して行う必要がある処理は、現場用アプリの方で行い、図面作成用ソフトウェアではその成果を利用している。例えば、コードターゲット８０の自動抽出と隣接画像との位置関係の把握（あるいは半手動での位置関係の把握）の処理については、現場用アプリが担えばよい部分である。
【００８５】
つまり、「隣接画像間の撮影位置、撮影方向の初期値を算出」までについては、現場用アプリが担当する。
【００８６】
一方、その先の処理は大きく異なる。現場用アプリが目的とするのは、画像が欠落していないかどうか把握することなので、情報通信端末４０で合成される画像は１／２０程度まで縮小され、正確な位置合わせも行われない。
【００８７】
パーソナルコンピュータ６０における図面作成用ソフトウェアの処理では、初期値算出以降の処理や図１６の処理が行われる。
【００８８】
［バンドル調整と寸法調整］
上述した特徴量のマッチングにより、隣接画像間の対応点が決定するが、それだけでは計測全体としての位置関係が定まらない。また、肝心の計測対象の壁面形状も定まらない。そこで全ての画像の撮影位置や撮影方向を未知数とし、全ての対応点の座標も未知数として、これらを決定するための調整計算を行う。この計算をバンドル調整と呼ぶ。この計算の際に、対応点の誤りも統計的に除去される。
【００８９】
上述した座標変換は、隣接画像同士の相対的な関係を求めるためのものであり、個々の画像についてのローカルな座標系で表現されるので、隣接画像により得られる三次元モデルと、さらに隣接した画像により得られる三次元モデルとは連結しない。一方、バンドル調整によって得られる成果は計測現場全体を対象としたワールド座標系で表されるもので、隣接画像により得られる個々の三次元モデルが強固に連結される（図１７参照）。
【００９０】
バンドル調整の本質は非線形最小二乗法であるから、全ての未知数に対して初期値を与える必要がある。
【００９１】
これらは前節までに算出されたローカル座標系での初期値をもとに、直交変換によりワールド座標系に変換して与えることができる。
【００９２】
また、バンドル調整によって得られた値は、形状については正しいが、縮尺については正しくないものとなるので、現場においてレーザ計測器５０で計測した壁面全体の寸法を与えたうえで調整計算することで、縮尺を合わせる。
【００９３】
以上の処理の流れを、上述した図１６のフローチャートの処理に続けて説明する。
【００９４】
隣接画像同士の特徴量マッチングを行うステップＳ３０４に続いて、隣接画像間の座標変換(ローカル座標系)を行い（Ｓ３０５）、計測現場全体の座標変換：初期値計算（ワールド座標系）を行う（Ｓ３０６）。そして、バンドル調整計算を行い（Ｓ３０７）、異常値の除去を行い（Ｓ３０８）。寸法調整を行う（Ｓ３０９）。さらに、手動で図面作成を行う（Ｓ３１０）。
【００９５】
［図面化］
ステップＳ３１０について補説すると、バンドル調整を含むＳｆＭによって行われるのは、各画像の撮影位置と撮影方向の再現、対応点の座標計算までであり、これらによって自動的に壁面１０１の図面が生成されるわけではない。壁面１０１の形状だけでなく、扉や窓や配管の穴などの寸法や配置も含めて図面を作るためには、どうしてもオペレータによる手動での図面化作業が必要である。具体的には、図１８に参照するように、三次元仮想空間内で投影された画像を三次元的にトレースすることで線図にし、さらにカテゴリごとにグループ分けを行う、といった作業である。これにより、三次元の建築図面ができる。
【００９６】
なお、一般的な画像計測システムでは画像に写っている被写体そのものの形状を把握するのに対して、本システムではこれから施工する予定の外壁素材のプレカットのために計測をするので、実際には画像上では写っていない外壁の大きさを測ることになる。
【００９７】
例えば、外壁面の端部の位置は写真に写り込んだ下地材の端部の位置ではなく、下地材の厚み分外側に位置する見えない位置となる。
【００９８】
そのような位置を一般的な画像計測システムで自動計測することはできない。下地材前面の平面と、直交する壁面１０１の下地材全面の平面とを手動で描画し、さらに両者が交差する線の位置を求めて正しい外壁面の端部の位置を、オペレータにより決定することで、半自動で計測することが可能となる。
【００９９】
この図面化作業では、ＶＲカメラ３０の画像を利用することを前提とした壁面測定専用のソフトウェアが用いられる。専用ソフトウェアには以下の独自の工夫がなされている。
■ＶＲカメラ３０で撮影された魚眼画像を歪のない画像に変換して表示する。
■ＳｆＭの成果として得られた画像の撮影位置や撮影方向の情報を読み込み、仮
想三次元空間上で再現する。
■仮想三次元空間での座標取得・寸法計測・描画を実現する仮想メジャーを装備
する。
■仮想メジャーの移動に伴う、隣接画像へのスムーズな切り替えと、画像をまた
いだ図形の描画を行う。
■ＶＲカメラ３０のステレオ画像を利用したリアルタイムでの自動画像マッチン
グによる奥行き位置の推定をする。
■図形のグループ化と属性設定を行う。
■二次元立面図への変換機能を備える。
【０１００】
三次元の建築図面ができたら、図１９に参照するように、それを壁面１０１ごとの２次元的な立面図に変換し、さらに、図２０に参照するように、割付図面に変換する。そのうえで、図２１に参照するように、ＮＣ加工機用のデータに変換することで、サイディングの加工が可能となる。
【０１０１】
以上、説明したように、本実施形態の画像計測システム１０では、複数の画像情報に基づいて建築物１００の計測を行う画像計測システムであって、
建築物１００を撮影する魚眼レンズ３１を備えたステレオカメラとしてのＶＲカメラ３０と、
ＶＲカメラ３０が、姿勢を水平かつ建築物１００の壁面１０１と略平行な状態となるように取り付けられるスタビライザ７０と、
ＶＲカメラ３０で撮影した画像情報と、別途手段としてのレーザ計測器５０で計測した建築物１００の測距情報を記憶・処理する演算処理装置としてのパーソナルコンピュータ６０と、
を備え、
パーソナルコンピュータ６０は、
ＶＲカメラ３０で撮影した画像情報に基づいて、隣接する画像間の撮影位置、撮影方向の初期値を導出し、特徴量の探索範囲を限定して各画像情報の特徴量を抽出し、ローカル座標系の三次元座標を算出するローカル座標系算出手段（制御部６２）と、
ＶＲカメラ３０の各画像の撮影位置と撮影方向の初期値と、レーザ計測器５０で計測した測距情報とに基づいて、ローカル座標系の三次元座標を座標変換して、ワールド座標系の三次元座標を算出するワールド座標系算出手段（制御部６２）と、
仮想空間内において、ワールド座標系の三次元座標に基づいて、オペレータの操作により、三次元の図面化する図面作成手段（制御部６２）と、
を備える。
【０１０２】
これによれば、魚眼レンズ３１を備えたＶＲカメラ３０で画像の撮影枚数を低減し、ＶＲカメラ３０の姿勢をスタビライザ７０で水平かつ壁面１０１と略平行な状態として、隣接する画像間の撮影位置、撮影方向の初期値の算出を容易にし、特徴量の探索範囲を限定して各画像情報の特徴量を抽出して、点群データの生成を抑え、画像の処理で行うのは各画像の撮影位置と撮影方向の把握と、建築物１００の壁面１０１との距離の把握のみに絞り、手動で画像をトレースすることで、処理の負担を軽減して効率的に図面を作成することができる。よって、魚眼レンズ３１の利用を前提とした高精度な画像計測システムを提供することができる。
【０１０３】
また、ＶＲカメラ３０と通信可能な情報通信端末４０を備え、情報通信端末４０は、建築物１００に配されたコードターゲット８０の位置情報に基づいて、ローカル座標系の三次元座標を算出する。
【０１０４】
これによれば、壁面１０１上の図柄が同じパターンで繰り返される場合であっても、隣接画像同士で、コードターゲット８０がそれぞれの画像のどの位置にあるかを把握することで、ＶＲカメラ３０の撮影位置を把握することを容易することができるので、画像認識での誤認識の発生を防止することができる。
【０１０５】
また、ＶＲカメラ３０と通信可能な情報通信端末４０を備え、情報通信端末４０は、建築物１００の図面情報と、画像情報に基づいて、画像の撮り忘れを防止する撮り忘れ防止手段（制御部４２）を有する。
【０１０６】
これによれば、撮り忘れ防止手段（制御部４２）により、画像の撮り忘れを防止することができるので、現場への再移動、画像の再度の撮影等の、画像の撮り忘れにより生じる作業工数を増やさないことに寄与する。
【０１０７】
本発明の画像計測システムは上記構成に限定されるものではない。即ち、本発明の要旨を逸脱しない限り各種の設計変更等が可能である。
【０１０８】
例えば、上記実施形態では、画像計測システム１０は、サーバ２０を経由してパーソナルコンピュータ６０で図面の作成をしているが、サーバ２０で行ったり、パーソナルコンピュータ６０に直接送信して図面の作成をしたり、することも可能である。
【０１０９】
また、上記実施形態では、別途手段として、レーザ計測器５０により建築物１００を計測して測距情報を得ているが、建築物１００の実寸を測距情報として得ることができるのであれば、巻き尺（コンベックス）による計測等、他の計測方法を用いることができる。
【符号の説明】
【０１１０】
１０  画像計測システム
３０  ＶＲカメラ
３１  魚眼レンズ
４０  情報通信端末
４２  制御部
５０  レーザ計測器
６０  パーソナルコンピュータ
６２  制御部
７０  スタビライザ
８０  コードターゲット
１００  建築物
１０１  壁面
【図１】
2020139742.tif 000009
【図２】
2020139742.tif 000010
【図３】
2020139742.tif 000011
【図４】
2020139742.tif 000012
【図５】
2020139742.tif 000013
【図６】
2020139742.tif 000014
【図７】
2020139742.tif 000015
【図８】
2020139742.tif 000016
【図９】
2020139742.tif 000017
【図１０】
2020139742.tif 000018
【図１１】
2020139742.tif 000019
【図１２】
2020139742.tif 000020
【図１３】
2020139742.tif 000021
【図１４】
2020139742.tif 000022
【図１５】
2020139742.tif 000023
【図１６】
2020139742.tif 000024
【図１７】
2020139742.tif 000025
【図１８】
2020139742.tif 000026
【図１９】
2020139742.tif 000027
【図２０】
2020139742.tif 000028
【図２１】
2020139742.tif 000029