(57)【要約】  メモリ（１２，１３，１４，１５）と通信可能なプロセッサを有するコンピュータ装置。メモリ（１２，１３，１４，１５）は、プロセッサ（１１）が実行可能な命令及びデータを有するコンピュータプログラムを格納し、ビルのファサードに関連するレーザスキャンサンプルのサブセットを含むレーザスキャンサンプルのセットを格納し、各レーザスキャンサンプルに関する位置データを格納する。メモリはまた、同一のファサードの写真を、該写真の画素に関する位置データを含めて格納し、該写真は、ファサードの壁面に関するデータと、該壁面におけるテクスチャ要素のデータとを含む。プロセッサ（１１）は、レーザスキャンサンプルを利用している場合に、写真において自動的に壁面とテクスチャ要素とを識別するように構成されている。
2010506328.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータ装置であって、
プロセッサ（１１）が実行可能な命令及びデータを有するコンピュータプログラムを格納し、ビルのファサードに関連するレーザスキャンサンプルのサブセットを含むレーザスキャンサンプルのセットを格納し、各レーザスキャンサンプルに関する位置データを格納するメモリ（１２，１３，１４，１５）と通信するように構成されたプロセッサ（１１）を備え、
前記メモリはまた、同一のファサードの写真を、該写真の画素に関する位置データを含めて格納し、該写真は、前記ファサードの壁面に関するデータと、該壁面におけるテクスチャ要素のデータとを含み、
前記プロセッサ（１１）は、前記レーザスキャンサンプルを利用している場合に、前記写真において自動的に前記壁面と前記テクスチャ要素とを識別するように構成されていることを特徴とするコンピュータ装置。
【請求項２】
前記プロセッサ（１１）は、前記レーザスキャンサンプルのセットから、前記ファサードに関連する前記レーザスキャンサンプルのサブセットを自動的に検出するように構成されていることを特徴とする請求項１に記載のコンピュータ装置。
【請求項３】
前記プロセッサ（１１）は、
各一連の連続レーザサンプルが地面と実質的に直交する独立面に存在する、複数の一連の連続レーザサンプルを収集し、
各独立面におけるレーザスキャンサンプルのヒストグラムを生成し、
前記ヒストグラムのそれぞれにおいて、前記ファサードが位置すると予測されるおよその位置におけるピークを識別し、
前記レーザスキャンサンプルのサブセットを前記ピーク上のレーザスキャンサンプルとして選択する
ように構成されていることを特徴とする請求項２に記載のコンピュータ装置。
【請求項４】
前記プロセッサ（１１）は、前記レーザスキャンサンプルのサブセットのフーリエ解析により、前記ファサードにおけるフロアの高さを識別するように構成されていることを特徴とする請求項１乃至３のいずれか１項に記載のコンピュータ装置。
【請求項５】
前記プロセッサ（１１）は、前記ファサードにおいて中層階のフロアを識別し、平均化された中層階のフロアを生成するように構成されていることを特徴とする請求項４に記載のコンピュータ装置。
【請求項６】
前記プロセッサ（１１）は、前記テクスチャ要素の少なくともいくつかに関連する、前記レーザスキャンサンプルのサブセットにおけるテクスチャ要素レーザスキャンサンプルを識別するように構成されていることを特徴とする請求項１乃至５のいずれか１項に記載のコンピュータ装置。
【請求項７】
前記プロセッサ（１１）は、前記テクスチャ要素レーザスキャンサンプルに関連するマスクを生成し、前記ファサードの写真から前記テクスチャ要素に関連するデータを除去するために該マスクを使用し、除去されたテクスチャ要素を格納するように構成されていることを特徴とする請求項６に記載のコンピュータ装置。
【請求項８】
前記プロセッサは、平均化されたテクスチャ要素を生成し、該平均化されたテクスチャ要素を格納するように構成され、平均化されたテクスチャ要素のそれぞれは、１つのタイプのテクスチャ要素と関連づけられることを特徴とする請求項７に記載のコンピュータ装置。
【請求項９】
前記プロセッサは、平均化されたテクスチャ要素を、前記写真から除去されたテクスチャ要素に関連するデータから生成するように構成されていることを特徴とする請求項８に記載のコンピュータ装置。
【請求項１０】
前記プロセッサは、前記ファサードに関連する壁面のテクスチャデータを選択するように構成されていることを特徴とする請求項１乃至９のいずれか１項に記載のコンピュータ装置。
【請求項１１】
前記レーザスキャンサンプルのセットは、前記ファサードの前方のオブジェクトに関連する更なるレーザスキャンサンプルを含み、
前記更なるレーザスキャンサンプルは、前記ファサードに沿って移動している間に前記レーザスキャナを利用して取得されるファサードよりもレーザスキャナ（３（ｊ））に近いオブジェクトに関連し、
前記プロセッサ（１１）は、前記更なるレーザスキャンサンプルに関連する前記ヒストグラムにおけるピークを補正するように構成されていることを特徴とする請求項３に記載のコンピュータ装置。
【請求項１２】
メモリに格納されたレーザスキャンサンプル及び写真を処理する方法であって、
ビルのファサードに関連するレーザスキャンサンプルのサブセットを含むレーザスキャンサンプルのセットを格納する工程と、
各スキャンサンプルに関する位置データを格納する工程と、
同一のファサードの写真を、該写真の画素に関連する位置データを含めて格納する工程であって、前記写真は、前記ファサードの壁面に関するデータと、該壁面のテクスチャ要素に関するデータとを含む工程と、
前記レーザスキャンサンプルを利用している間に、前記写真内の前記壁面と前記テクスチャ要素とを自動的に識別する工程と
を備えることを特徴とする方法。
【請求項１３】
コンピュータ装置に請求項１２に記載の前記方法を実行させるために、コンピュータ装置にロード可能な命令及びデータを含むコンピュータプログラム。
【請求項１４】
請求項１３に記載のコンピュータプログラムを含む記憶媒体。
【請求項１５】
コンピュータ装置であって、
プロセッサによって実行可能な命令及びデータを有するコンピュータプログラムを格納し、ファサードに沿って移動している間にレーザスキャンサンプルのセットを取得するために利用されるレーザスキャナ（３（ｊ））と第１の距離を有して設置された第１のオブジェクトに関連するサンプルの第１のセットと、前記レーザスキャナと前記第１の距離よりも短い第２の距離を有して設置された第２のオブジェクトに関連するレーザスキャンサンプルの第２のセットとを含むレーザスキャンサンプルのセットを格納するメモリ（１２，１３，１４，１５）と通信し、
前記レーザスキャンサンプルのセットに関連する第１のヒストグラムを生成し、
ピークのない第２のヒストグラムを生成するために、前記レーザスキャンサンプルの第２のセットに関連する前記第１のヒストグラムにおけるピークを補正する
ように構成されたプロセッサ（１１）を備えることを特徴とするコンピュータ装置。
【請求項１６】
レーザスキャンサンプルを処理する方法であって、
ａ）  ファサードに沿って移動している間にレーザスキャンサンプルのセットを取得するために利用されるレーザスキャナ（３（ｊ））と第１の距離を有して設置された第１のオブジェクトに関連するサンプルの第１のセットと、前記レーザスキャナと、前記第１の距離よりも短い第２の距離を有して設置された第２のオブジェクトに関連するレーザスキャンサンプルの第２のセットとを含むレーザスキャンサンプルのセットを格納する工程と、
ｂ）  前記レーザスキャンサンプルのセットに関連する第１のヒストグラムを精製する工程と、
ｃ）  ピークを有しない第２のヒストグラムを生成するために、前記レーザスキャンサンプルの第２のセットに関連する、前記第１のヒストグラムのピークを補正する工程と
を備えることを特徴とする方法。
【請求項１７】
コンピュータ装置に請求項１６に記載の前記方法を実行させるために、コンピュータ装置にロード可能な命令及びデータを含むコンピュータプログラム。
【請求項１８】
請求項１７に記載のコンピュータプログラムを含む記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビルのファサードに関するレーザスキャンサンプルを含むレーザスキャンサンプルを処理するシステム及び方法に関する。アプリケーションの一分野は、カメラからの画像やレーザスキャナからの出力データを含むモバイル・マッピング・システムデータからの、ビルのファサードのテクスチャ要素の検出である。
【背景技術】
【０００２】
モバイル・マッピング・システム（ＭＭＳ）により取得したデータからテクスチャ要素を検出するためのシステムが、ここ数年知られている。そのようなＭＭＳには、ＭＭＳのオンボードプロセッサにより制御されて、環境の写真を撮影する１以上のカメラが提供される。ＭＭＳは、関心のある道路に沿って走る車の形態を採り、その間、プロセッサはカメラを制御してビルファサードの画像を撮影する。オフライン処理では、近年、ファサード画像における窓やドアのようなテクスチャ要素の位置が識別されている。ファサード画像内に存在するこれらのテクスチャ要素は、プロセッサがアクセス可能なライブラリに格納された標準テクスチャ要素で代用される。これらの標準テクスチャ要素は、ファサード像を構築するために用いられるので、ファサード像をそのテクスチャ要素と共に格納しておくのに必要なメモリスペースは、全てのオリジナル画像をそのオリジナルのテクスチャと共に格納しておくのに必要なメモリスペースよりも遙かに小さくなる。更には、未発行のＰＣＴ／ＥＰ２００５／０５５３１７を参照されたい。
【０００３】
テクスチャ３Ｄファサードモデルを構築するためには、ファサード像のraw画像において係るテクスチャ要素を識別するための良好な方法が必要とされる。先行技術には、画像からテクスチャを解析し、分解する方法が存在する。しかしながら、木、車、人、或いは、ファサード像の前にある他の障害物といった誤ったオブジェクトをテクスチャ要素として識別してしまう可能性がむしろ高い。また、高度に進化した画像ベースの技術では、方法を実行するために極度の演算パワーが必要とされる。さらに、先行技術の処理では、ファサード像の代用テクスチャの品質を良好なものとするために、多大なヒューマンインタラクションが必要とされる。手動抽出の速度は、平均で１ｋｍ／ｈであり、平均的規模の町でも何千もの工数がかかることになろう。
【発明の概要】
【０００４】
本発明の目的は、先行技術に比べて少ないマンパワーでファサード像におけるテクスチャ要素及びその位置を検出するシステム及び方法を提供することである。
【０００５】
そのために、本発明は請求項１で規定されるシステムを提供する。
【０００６】
本発明の当該システムは、先行技術よりも自動化された、ファサード像におけるテクスチャ要素の検出をユーザに提供する。よって、マンパワーの観点での膨大な労働力及びお金を節約することができる。現実的なビルのファサードは、例えば、通りに沿ったビルの３Ｄモデルにおいてこれらのテクスチャ要素から構築することができる。
【０００７】
実施形態において、本発明は、方法の独立請求項で規定されるような方法と関連する。
【０００８】
更なる実施形態において、本発明は、係る方法をプロセッサに実行させるための命令及びデータを含むコンピュータプログラムに関連する。
【０００９】
さらに、本発明は、そのようなコンピュータプログラムを含む記憶媒体に関連する。
【００１０】
本発明は、いくつかの図面を参照してより詳細に説明される。当該図面は、発明を説明することを意図したものであって、各請求項及びその均等な実施形態によって規定される発明の範囲の制限を意図するものではない。
【図面の簡単な説明】
【００１１】
【図１】カメラ及びレーザスキャナを有するＭＭＳシステムを示す図である。
【図２】位置及び方向のパラメータを示す図である。
【図３】本発明を実施可能なコンピュータ装置の構成を示す図である。
【図４】本発明に対応する方法のフロー図である。
【図５】レーザスキャンサンプルに基づくヒストグラムを示す図である。
【図６】ビルのファサードをレーザスキャンしたいくつかの例を示す図である。
【図７ａ】図６の最後の例のファサード図である。
【図７ｂ】該ファサード図における分散を示す図である。
【図７ｃ】ビルのファサード図の垂直方向のヒストグラムを示す図である。
【図８】図７ｃのデータについて実行したＦＦＴの出力を示す図である。
【図９ａ】スキャンしたファサード図の中層階を示す図である。
【図９ｂ】図９ａの平均画像を示す図である。
【図１０ａ】、
【図１０ｂ】、
【図１０ｃ】、
【図１０ｄ】図９ａ及び図９ｂの画像からどのようにマスクを抽出するかを示した図である。
【図１１ａ】、
【図１１ｂ】マスクを利用してどのようにファサード図の壁面データを抽出するかを説明する図である。
【図１２】図１０ｄに示すマスクを利用して抽出された、ファサード図のテクスチャ要素を示す図である。
【図１３】上層階、下層階のファサード図の画像である。
【図１４】平均的なテクスチャ要素のみを利用したファサードパターンを示す図である。
【図１５ａ】ファサード図のオリジナル画像である。
【図１５ｂ】本発明により得られたファサード画像である。
【図１５ｃ】格納されているテクスチャ要素のいくつかである。
【発明を実施するための形態】
【００１２】
図１は、車１の形態をとるＭＭＳシステムを示す。車１には１つ以上のカメラ９（i）、i＝１，２，３，・・・、１以上のレーザスキャナ３（ｊ）ｊ＝１，２，３，・・・Ｊが提供される。車１は運転者により好きな道路を運転することができる。車１は、複数のホイール２を備える。さらに、車１は高精度の位置決定装置がある。図１に示すように、位置決定装置は、以下の要素を備える。
【００１３】
・ＧＰＳユニット：アンテナ８に接続され、複数の衛星ＳＬｉ（ｉ＝１，２，３・・・）と通信し、衛星ＳＬｉから受信した信号から位置信号を計算するように構成されている。ＧＰＳユニットは、マイクロプロセッサμＰと接続されている。ＧＰＳユニットから受け取った信号に基づき、マイクロプロセッサμＰは、車１のモニター４に表示すべき適切な表示信号を決定して、運転者に、車がどこに位置していて、どの方向に移動しているかを通知する。
【００１４】
・ＤＭＩ（距離測定装置）：この装置は、１以上のホイール２の回転数を検知して、車１が走行した距離を測定する走行距離計（オドメータ）である。ＤＭＩはまた、マイクロプロセッサμＰと接続され、表示信号をＧＰＳユニットからの出力信号により計算している間に、マイクロプロセッサμＰはＤＭＩにより測定された距離を考慮することができる。
【００１５】
・ＩＭＵ（慣性測定装置）：ＩＭＵは、回転加速度と並進加速度とを３つの直交する方向に沿って測定する３ジャイロユニットとして構成することができる。ＩＭＵはまた、マイクロプロセッサμＰと接続され、表示信号をＧＰＳユニットからの出力信号により計算している間に、マイクロプロセッサμＰはＤＭＩにより測定された距離を考慮することができる。
【００１６】
図１に示すシステムは、所謂”モバイル・マッピング・システム”であり、例えば、車１上に設置された１以上のカメラ９（ｉ）により写真を撮影することで地理的データを収集する。カメラはマイクロプロセッサμＰと接続されている。さらに、注目対象のビル群に沿って車を走らせている間に、レーザスキャナ３（ｊ）は、レーザサンプルを採取する。それらはマイクロプロセッサμＰと接続され、レーザサンプルをマイクロプロセッサμＰに渡す。
【００１７】
ＧＰＳ、ＩＭＵ及びＤＭＩの３つの測定装置を使って、できる限り正確な位置及び方向の測定を行うことが望ましい。これらの位置データ及び方向データは、カメラ９（ｉ）が写真を撮影し、レーザスキャナ３（ｊ）がレーザサンプルを採取している間に測定される。写真及びレーザサンプルの両方は、後の利用のために、写真やサンプルが採取された時の車１の対応する位置及び方向のデータと関連づけられてマイクロプロセッサの適当なメモリに格納される。
【００１８】
写真及びレーザサンプルは、ビル群のファサード像に関する情報を含んでいる。実施形態では、レーザスキャナ３（ｊ）は、本方法に十分な出力となる密度を生成するために最小５０Ｈｚ、解像度１度の出力を生成する。ＭＯＤＥＬ ＬＭＳ２９１−Ｓ０５といったＳＩＣＫ製のレーザスキャナは、そのような出力を生成可能である。
【００１９】
図２は、図１に示すＧＰＳ、ＭＤＩ及びＩＭＵの３つの測定装置から、どの位置信号が得られるかを示している。図２は、マイクロプロセッサμＰが６つの異なるパラメータを計算するように構成されていることを示している。即ち、所定の座標系の原点に対する３つの距離パラメータｘ、ｙ、ｚと、それぞれｘ軸、ｙ軸及びｚ軸に対する回転を示す３つの角度パラメータωx、ωy、ωzとである。ｚ方向は、重力ベクトルの方向に一致している。
【００２０】
車１内のマイクロプロセッサ及びメモリ９は、コンピュータ装置として実現できる。そのようなコンピュータ装置の例を図３に示す。
【００２１】
図３は、算術動作を実行するプロセッサ１１を有するコンピュータ装置１０の全体像を示す。図２に示す実施形態では、プロセッサ１１はマイクロプロセッサ７に相当する。
【００２２】
プロセッサ１１は、ハードディスク１２，読み出し専用メモリ（ＲＯＭ）１３、電気的消去可能なプログラマブル・リード・オンリ・メモリ（ＥＥＰＲＯＭ）１４、ランダム・アクセス・メモリ（ＲＡＭ）１５を含む、複数のメモリコンポーネントに接続されている。これらのメモリタイプの全てが必ずしも必要となるわけではない。さらに、これらのメモリコンポーネントは、プロセッサ１１に対して物理的に近接して位置している必要はなく、プロセッサ１１から離れて位置していても良い。
【００２３】
プロセッサ１１は、ユーザが命令、データ等を入力するための、キーボード１６やマウス１７といった手段と接続されていても良い。タッチスクリーン、トラックボール及び音声コンバータといった当業者に知られた他の入力手段も提供されてもよい。
【００２４】
プロセッサ１１と接続された読み出し部１９が提供される。読み出し部１９は、フロッピ（登録商標）ディスク２０やＣＤＲＯＭ２１といった記憶媒体からデータを読み出したり、可能であればデータを書き込んだりするように構成される。他の記憶媒体には、当業者に知られたテープ、ＤＶＤ、ＣＤ−Ｒ、ＤＶＤ−Ｒ、メモリスティックなどがある。
【００２５】
プロセッサ１１は出力データを紙に印刷するためにプリンタ２３にも接続されており、また、例えばモニター、ＬＣＤ（液晶）画面、或いは当業者に知られた他のタイプのディスプレイのような、ディスプレイ１８にも接続されている。
【００２６】
プロセッサ１１は、スピーカ２９に接続されていても良い。
【００２７】
プロセッサ１１は、例えば回線交換電話網（ＰＳＴＮ）、ローカル・エリア・ネットワーク（ＬＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット等の通信ネットワーク２７に、Ｉ／Ｏ手段２５により接続されていても良い。プロセッサ１１は、他の通信装置とネットワーク２７を介して通信するように構成されていてもよい。
【００２８】
記憶媒体２０，２１は、本発明に対応した方法を実行する能力をプロセッサに提供するように構成されたデータ及び命令の形態を有するコンピュータプログラムを含む。しかしながら、コンピュータプログラムは、通信ネットワーク２７を介してダウンロードされてもよい。
【００２９】
プロセッサ１１は、スタンド・アローン・システムとして、或いは、各プロセッサが長いコンピュータプログラムのなかのサブタスクを実行するように構成された複数の並列動作プロセッサとして、或いは、いくつかのサブプロセッサを有する１つ以上のメインプロセッサとして実現されてもよい。本発明の機能の一部は、ネットワーク２７を介してプロセッサ１１と通信する遠隔プロセッサにより実施されてもよい。
【００３０】
車１に適用された場合、コンピュータ装置は、図３に示す全てのコンポーネントを有している必要はない。例えば、コンピュータ装置は、スピーカやプリンタを有していなくてもよい。車での実施態様では、コンピュータ装置は少なくともプロセッサ１１、適切なプログラムを格納するためのいくつかのメモリ、オペレータから命令やデータを受け付け、オペレータに出力データを提示するためのある種のインタフェースが必要である。
【００３１】
カメラ９（ｉ）やレーザスキャナ３（ｊ）で取得した写真やスキャンのポストプロセッシングのために、図３に示したものと同様の構成を利用することができ、それは車１内に設置される必要はなく、オフライン・ポスト・プロセッシング用にビル内に設置される方が便利である。カメラ９（ｉ）やレーザスキャナ３（ｊ）で取得した写真やスキャンは、メモリ１２−１５のいずれかに格納される。これは、それらのデータをまずＤＶＤやメモリスティックなどに格納し、可能であれば無線で、メモリ９からそれらのデータを送信することによって行われる。
【００３２】
本発明は、ファサード図のテクスチャが、カメラ９（ｉ）で撮った写真と、レーザスキャナ３（ｊ）で採取したレーザスキャンの両方を利用して分解される。当該方法には、画像処理技術及びレーザスキャニング技術の両方の分野における技法のユニークな組合せを利用する。
【００３３】
図４は、本発明に対応する方法のフローチャートを示す。
【００３４】
図４は、以下の動作を示す。
【００３５】
Ａ．動作４２：（レーザスキャナの出力である）レーザスキャンのファサードポイントの抽出
Ｂ．動作４４：レーザスキャンにおいて抽出したポイントのフーリエ解析に基づくフロア高の決定
Ｃ．動作４６：フロア高の平均化
Ｄ．動作４８：レーザスキャンからメジアンベースのライブラリ要素を抽出
Ｅ．動作５０：マルチフロアマスクの生成
Ｆ．動作５２：ファサード写真からディテール除去
Ｇ．動作５４：ファサード・パターン・タイル生成
Ｈ．動作５６：ファサード写真上の複製ディテール認定
Ｉ．動作５８：最高層フロア要素と最低層フロア要素とを処理
Ｊ．動作６０：動作５４，５６及び５８の結果のディテールを格納
Ｋ．動作６２：ライブラリ・サイズの最小化
これらの動作の詳細を以下で説明する。
【００３６】
Ａ．動作４２：レーザスキャンのファサードポイント抽出
レーザスキャナ３（ｊ）は、実施形態では、２Ｄレーザスキャナである。２Ｄレーザスキャナ３（ｊ）は、測定時間、測定角度、及び、レーザスキャナ３（ｊ）から当該角度で視認可能な最近傍の固体オブジェクトまでの距離の３項目のデータを提供する。レーザスキャンにおいてファサードポイントを認定する良好な方法は、ヒストグラム解析を利用することである。図５はそのようなヒストグラムを示す。ヒストグラムは、ＭＭＳシステムが移動する軌道に対して直交する方向において、所定距離でレーザスキャナ３（ｊ）により採取されたレーザスキャンサンプルの数を、車１が移動する所定距離に沿って合計したものである。レーザスキャナは、地表面に対して実質的に直交する面において、例えば１８０度の角度でスキャンする（実際には、ファサードに沿って移動する車１のために垂直面からは若干ずれてしまう。）。例えば、レーザスキャナは、隣接するサンプルから１度ずつ変位させて１８０サンプルを採取することができる。大半の時間は、ＭＭＳシステムは、道路に沿ったラインにそってルートを辿っている（なんらかの理由によりレーンを変更する場合のみ、移動経路はそこからずれることになる。）。従って大半の場合、レーザスキャンは道路の方向に対して垂直な方向で行われる。
【００３７】
図５では、２つのヒストグラムを示している。
【００３８】
１．距離ヒストグラム６１−このヒストグラム６１は、車に近いサンプルを含めた、所定の移動距離毎に合計した車１に対する距離の関数としてレーザスキャンサンプルの数を示している。車１に近い所のピークは、車１に近接するレーザエコーを示している。このピークは、レーザスキャニングによる角度的なスイープのために生ずる、車１に近接して存在する多くのエコーに関連している。さらに、最大距離における第２のピークが存在し、該ピークは車１から最大距離において識別されたオブジェクトに関連している。
【００３９】
２．距離ヒストグラム６３は、唯１つのオブジェクトを示す、車１からのある距離における第２ピークのみを示している。このヒストグラムは、レーザスキャニングの角度分布のために、車１の直接に近接する密度が高いレーザスキャンサンプルを除去することにより得られる。この除去の効果は、所定の距離だけ車１から離れたオブジェクト、即ち、ビル６５のファサードがより見やすくなるということである。
【００４０】
ヒストグラム６３のピークは、車の先頭方向に平行な、平坦な立体物の表面の存在を示している。車１とファサード像６５との概算距離は、利用可能なあらゆる方法により決定することができる。例えば、出願継続中の特許出願（代理人番号Ｐ６０１１５４３）で説明される方法を当該目的のために利用することができる。また、車１が移動する軌道を示すＧＰＳ（或いは他の）データ及び、ビルの設置場所の位置を示すデータを比較し、車１とファサード像６５との間のそのような概算の距離データを計算してもよい。この概算距離について所定エリア内のヒストグラムデータを解析することにより、そのエリアにおける極大ピークが、ファサード像６５のベースとして識別される。この極大ピークから例えば、０．５ｍの垂直距離に収まっている全てのレーザスキャンサンプルは、ファサード像６５の構造的ディテールと見なされ、“ファサードポイント”としてマークされる。全ての他のポイントは、“ゴースト”と見なされ、そのようにマークされる。なお、０．５ｍの距離は、一例として提供したものである。必要に応じて、他の距離も利用可能である。
【００４１】
“ファサード”とマークされたポイントから、車方向に対し垂直な深度マップが生成され、画像として格納される。この深度マップは、極大ピークから例えば０．５ｍの範囲の全てのレーザスキャンサンプルを含んでいる。図６は、そのような画像の例を８つ、８つの異なるビルのファサード像と関連するものとして示している。これらの図６の画像は、異なるグレースケールにより示されている。あるグレーの強度は、道路上でのレーザスキャナの軌道に対して測定された、車１に対する所定の水平投射距離に対応している。
【００４２】
図６において検出されたファサードテクスチャの例は、
１．より明るいグレー色は、バルコニーのように、ファサード像の面よりも近くに存在するオブジェクトを示している。
２．グレー色は、ファサード像の面よりも距離があるオブジェクトを示している。これらは大抵ドアやあまり透明でない窓である。
３．白色は、深度が不明の場所を示しており、これは、解析距離においてレーザサンプルが得られなかったためである。
【００４３】
以下では、図６の最後に示したファサード像について詳細を検討する。
【００４４】
Ｂ．動作４４：レーザスキャンの抽出ポイントについてのフーリエ解析によるフロア高さ、サイズ決定
処理の次の動作では、ビルにおけるフロア数及び単一フロアの高さの計算である。
ステップ４２において生成された画像上で、ウィンドウサイズ３×３の分散フィルタリングが施される。分散フィルタリングは、画像全体における複数の水平ラインに対して適用される。各水平ラインは、地上面から異なる高さを有している。全ての水平ラインについて、完全なラインを超える分散の平均値が計算される。そのような平均データはメモリ内のテーブルに格納される。よってテーブルは、各水平ライン（高さ）について平均された距離分散データを含む。ここで、“距離”とは、車１からの垂直距離のことを言う。画像の高さ要素の周波数特性を認定するために、高速フーリエ変換（ＦＦＴ）がこの平均分散、テーブル内の高さに依存するデータに適用される。そのような変換により、ビルの高さの平均的変化における反復可能なパターンを発見することができる。ビルの車への距離の不変の背景を示す、非常に低い、ゼロ周波数がある。ＦＦＴ出力データにおいて次に低い周波数ピークは、ファサード像の面の外側の窓や他の構造的要素のパターンに起因し、よって、ビルの基本的なフロアパターンを示しているであろう。ＦＦＴ出力データにおける最も高いピークは、窓の外観やファサード像における他のフロアに関連する構造的要素の周波数に対応するであろう。図７ａ、７ｂ、７ｃ及び図８を参照して詳述するように、ＦＦＴ出力データから１つのフロアのサイズ（高さ）を計算することができる。
【００４５】
図７ａ、７ｂ及び７ｃは、図６の最後の例のファサード像、分散フィルタを画像全体に適用した結果、ビルのファサードにおける分散と高さのプロファイル、をそれぞれ示している。即ち、図７ｃは、図７ｂの画像における各水平ラインの分散合計の全てを示している。図７ｂにおける画素の輝度は、当該画素の周辺３×３領域について計算された深度の分散値に対応する。言い換えると、図７ｃにおいて、地表面より上の高さｚでのグレースケール強度における平均的な歪みの割合を把握することができる。ＦＦＴは、垂直方向のビルの高さを時間軸として、分散を信号値として扱うことで、図７ｃのこの分散データに適用される。ＦＦＴの結果は図８に示す通りである。
【００４６】
よって図８のフーリエ変換の出力は、ビルの垂直調和周波数振幅スペクトルｉを示している。垂直軸は、振幅を示し、水平軸は空間周波数を示している。この例では、空間周波数６においてピークが存在している。このピークは、ビルの優位な空間周波数を表しており、フロア間隔（即ち、窓間隔等）と推測される。実際のフロアの高さは、ＦＦＴのパラメータにより決定された空間周波数に比例する。
【００４７】
Ｃ．動作４６：フロアサイズの平均化
動作４４では、フロアサイズ（高さ）を計算した。動作４６では、フロアは平均化される。全体の処理を簡単とし、より正確なものとするために、“中層階フロア”のみを考慮する。“中層階フロア”は、ビルのファサード像において１度以上発生した最小、最大の高さを有するフロアとして定義される。“中層階フロア”は、ファサード像において垂直に反復可能といえる。例えば、大半のビルの低層階のフロアは“中層階フロア”にはならない。その高さは大半の場合、より高いフロアのようには所定の最小最大高さに属しないからである（大半のビルでは、低層階は、他のフロアよりも高い）。同様に、上層階のフロアも大半の場合、“中層階”とはならない。それは、そのフロアよりも更に上の、識別可能で利用可能な窓を有するフロアが存在しないために、本方法によってはその高さを規定することができないからである。
【００４８】
図９ａ及び９ｂは、このことを明らかにしている。図９ａは、最低階及び最上階のフロアを表す画素を除去した（これは、ファサード像の高さから導出したフロアのサイズと、フロア数を利用して行っている）後の図７ａのファサード像を示している。図９ｂは、平均化処理の後の同一のファサード像を示している。
【００４９】
全ての中層階のフロアを平均化することにより、レーザスキャナ３（ｊ）によりキャプチャされたファサードデータの解像度は３倍、例えば所与の例では、１０ｃｍから３ｃｍの解像度に上昇する。本来の解像度では、レーザ出力上の１画素は、カメラで生成される画像の２０画素に相当する。これはレーザスキャナが（現在入手可能な典型的な）カメラより低解像度である場合に、解像度を上昇させる処理が非常に重要となる理由である。このようにして高解像度のマスクを取得することができ、当該マスクは後の処理において画像に適用される。
【００５０】
ヨーロッパの町において多数のビルについてテストした結果、これらのビルの９０％以上が少なくとも２つのそのような中層階フロアを有していることが分かった。従って、ビルにおける２つ以上のフロアの間の高さの類似性の特性は、レーザ解像度を仮想的に向上させるために利用することができる。これは、より高いビルについては特に重要である。というのも、レーザ測定の角度に対する特性により、レーザ解像度はビルの高さに応じて低下するためである。さらに、平均化処理によれば、ファサード像の一部に木が存在するような位置であっても再構成が可能となる。これは、木や他の障害物は動作４２においてフィルタにより除外されるからであり、これらのポイントは平均化の際に考慮されない。動作４６は“フロアパターン”を伝達する。
【００５１】
Ｄ．動作４８：レーザスキャンからのメジアンベースのライブラリ要素の抽出
図１０ａは、図９ｂと同一のレーザスキャンを示すが、３階層分を再生するために複製されている。図１０ｂは、レーザスキャナから車への水平投射距離のレーザスキャナサンプル数を示すヒストグラムである。ここでは、もっとも共通した距離値である（モード値としても知られている）１つのピークをはっきりと示している。モード値を有するサンプルは、ビルの壁面と関連づけられて扱われる。他のサンプルは、テクスチャ要素と関連づけて扱われる。そのような他のサンプルは、主に窓と関連づけられる。
【００５２】
Ｅ．動作５０：マルチフロアマスクの生成
そして、画像は２つの部分或いはマスクに分割される。第１の部分はモード値と関連づけられる全てのサンプルを含み、ファサード像の壁面を示すマスクとして用いられる。第２の部分は、非モード値と関連づけられる全てのサンプルを含み、カメラ９（ｉ）が撮影した写真から得られるライブラリ要素のためのマスクとして用いられる。両マスクはサンプルを含んでおり、各サンプルは位置情報を有している。
【００５３】
当業者にとって、そのような（単数または複数の）カメラ及び（単数または複数の）レーザスキャナは、代替的に、空中を浮遊する乗り物の上に設置されてもよい。レーザスキャナは、ＬＩＤＡＲ（LIght Detection And Ranging or Laser Imaging Detection And Ranging）システムの一部であってもよい。
【００５４】
上述の方法は、メモリ１２−１５のいずれか、或いは別の場所に格納された適切なソフトウェアプログラムの命令に従いプロセッサ１１によって実行されてもよい。本発明は、方法及びそのようなプロセッサを有するコンピュータ装置に関連するが、説明した方法のための適切な命令及びデータを含むコンピュータプログラムにも関連する。また、そのようなコンピュータプログラムを含むＣＤ，ＤＶＤ等のような記憶媒体にも同様に関連する。
【図１】
2010506328.tif 000003
【図２】
2010506328.tif 000004
【図３】
2010506328.tif 000005
【図４】
2010506328.tif 000006
【図８】
2010506328.tif 000007
【図５】
2010506328.tif 000008
【図６】
2010506328.tif 000009
【図７ａ】
2010506328.tif 000010
【図７ｂ】
2010506328.tif 000011
【図７ｃ】
2010506328.tif 000012
【図９ａ】
2010506328.tif 000013
【図９ｂ】
2010506328.tif 000014
【図１０ａ】
2010506328.tif 000015
【図１０ｂ】
2010506328.tif 000016
【図１０ｃ】
2010506328.tif 000017
【図１０ｄ】
2010506328.tif 000018
【図１１ａ】
2010506328.tif 000019
【図１１ｂ】
2010506328.tif 000020
【図１２】
2010506328.tif 000021
【図１３】
2010506328.tif 000022
【図１４】
2010506328.tif 000023
【図１５ａ】
2010506328.tif 000024
【図１５ｂ】
2010506328.tif 000025
【図１５ｃ】
2010506328.tif 000026
【手続補正書】
【提出日】平成20年8月13日(2008.8.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
コンピュータ装置であって、
プロセッサ（１１）が実行可能な命令及びデータを有するコンピュータプログラムを格納し、ビルのファサードに関連するレーザスキャンサンプルのサブセットを含むレーザスキャンサンプルのセットを格納し、各レーザスキャンサンプルに関する位置データを格納するメモリ（１２，１３，１４，１５）と通信するように構成されたプロセッサ（１１）を備え、
前記メモリはまた、同一のファサードの写真を、該写真の画素に関する位置データを含めて格納し、該写真は、前記ファサードの壁面に関するデータと、該ファサードにおけるテクスチャ要素のデータとを含み、
前記プロセッサ（１１）は、前記レーザスキャンサンプルのサブセットを、前記ファサードの前記壁面と関連するサンプルを含む第１の部分と、前記ファサードの前記テクスチャ要素と関連するサンプルを含む第２の部分とに自動的に分離するように構成され、
前記プロセッサ（１１）は、前記第１の部分と第２の部分との少なくとも１つからマスクを生成し、前記レーザスキャンサンプルを利用している場合に、前記写真において前記壁面と前記テクスチャ要素とを自動的に識別し、前記写真からライブラリ要素を抽出するように構成されていることを特徴とするコンピュータ装置。
【請求項２】
前記プロセッサ（１１）は、前記マスクに矩形化処理を施すように構成されていることを特徴とする請求項１に記載のコンピュータ装置。
【請求項３】
前記プロセッサは、前記写真からの前記ライブラリ要素の一部として、前記写真からテクスチャ要素のセットを抽出するように構成されていることを特徴とする請求項１または２に記載のコンピュータ装置。
【請求項４】
前記プロセッサは、前記テクスチャ要素のセットにおける重複するテクスチャ要素を識別し、同一テクスチャ要素をメモリに一度だけ格納するように構成されていることを特徴とする請求項３に記載のコンピュータ装置。
【請求項５】
前記プロセッサ（１１）は、前記写真からの前記ライブラリ要素の一部として、前記写真からタイルを抽出するように構成され、該タイルは前記壁面における繰り返しパターンとして定義されることを特徴とする請求項１乃至４のいずれか１項に記載のコンピュータ装置。
【請求項６】
前記プロセッサ（１１）は、
各一連の連続レーザサンプルが地面と実質的に直交する独立面に存在する、複数の一連の連続レーザサンプルを収集し、
各独立面におけるレーザスキャンサンプルのヒストグラムを生成し、
前記ヒストグラムのそれぞれにおいて、前記ファサードが位置すると予測されるおよその位置におけるピークを識別し、
前記レーザスキャンサンプルのサブセットを前記ピーク上のレーザスキャンサンプルとして選択する
ように構成されていることを特徴とする請求項１乃至５のいずれか１項に記載のコンピュータ装置。
【請求項７】
前記プロセッサ（１１）は、前記レーザスキャンサンプルのサブセットのフーリエ解析により、前記ファサードにおけるフロアの高さを識別するように構成されていることを特徴とする請求項１乃至６のいずれか１項に記載のコンピュータ装置。
【請求項８】
前記プロセッサ（１１）は、前記ファサードにおいて中層階のフロアを識別し、平均化された中層階のフロアを生成するように構成されていることを特徴とする請求項７に記載のコンピュータ装置。
【請求項９】
前記レーザスキャンサンプルのセットは、前記ファサードの前方のオブジェクトに関連する更なるレーザスキャンサンプルを含み、
前記更なるレーザスキャンサンプルは、前記ファサードに沿って移動している間に前記レーザスキャナを利用して取得されるファサードよりもレーザスキャナ（３（ｊ））に近いオブジェクトに関連し、
前記プロセッサ（１１）は、前記更なるレーザスキャンサンプルに関連する前記ヒストグラムにおけるピークを補正するように構成されていることを特徴とする請求項６に記載のコンピュータ装置。
【請求項１０】
メモリに格納されたレーザスキャンサンプル及び写真を処理する方法であって、
ビルのファサードに関連するレーザスキャンサンプルのサブセットを含むレーザスキャンサンプルのセットを格納する工程と、
各スキャンサンプルに関する位置データを格納する工程と、
同一のファサードの写真を、該写真の画素に関連する位置データを含めて格納する工程であって、前記写真は、前記ファサードの壁面に関するデータと、該ファサードのテクスチャ要素に関するデータとを含む工程と、
前記レーザスキャンサンプルのサブセットを、前記ファサードの前記壁面と関連するサンプルを含む第１の部分と、前記ファサードの前記テクスチャ要素と関連するサンプルを含む第２の部分とに自動的に分離する工程と、
前記第１の部分と第２の部分との少なくとも１つからマスクを生成する工程と、
前記レーザスキャンサンプルを利用している場合に、前記写真において前記壁面と前記テクスチャ要素とを自動的に識別し、前記写真からライブラリ要素を抽出する工程と
を備えることを特徴とする方法。
【請求項１１】
コンピュータ装置に請求項１０に記載の前記方法を実行させるために、コンピュータ装置にロード可能な命令及びデータを含むコンピュータプログラム。
【請求項１２】
請求項１１に記載のコンピュータプログラムを含む記憶媒体。
【請求項１３】
コンピュータ装置であって、
プロセッサによって実行可能な命令及びデータを有するコンピュータプログラムを格納し、ファサードに沿って移動している間にレーザスキャンサンプルのセットを取得するために利用されるレーザスキャナ（３（ｊ））と第１の距離を有して設置された第１のオブジェクトに関連するサンプルの第１のセットと、前記レーザスキャナと前記第１の距離よりも短い第２の距離を有して設置された第２のオブジェクトに関連するレーザスキャンサンプルの第２のセットとを含むレーザスキャンサンプルのセットを格納するメモリ（１２，１３，１４，１５）と通信し、
前記レーザスキャンサンプルのセットに関連する第１のヒストグラムを生成し、
ピークのない第２のヒストグラムを生成するために、前記レーザスキャンサンプルの第２のセットに関連する前記第１のヒストグラムにおけるピークを補正する
ように構成されたプロセッサ（１１）を備えることを特徴とするコンピュータ装置。
【請求項１４】
レーザスキャンサンプルを処理する方法であって、
ａ）  ファサードに沿って移動している間にレーザスキャンサンプルのセットを取得するために利用されるレーザスキャナ（３（ｊ））と第１の距離を有して設置された第１のオブジェクトに関連するサンプルの第１のセットと、前記レーザスキャナと、前記第１の距離よりも短い第２の距離を有して設置された第２のオブジェクトに関連するレーザスキャンサンプルの第２のセットとを含むレーザスキャンサンプルのセットを格納する工程と、
ｂ）  前記レーザスキャンサンプルのセットに関連する第１のヒストグラムを精製する工程と、
ｃ）  ピークを有しない第２のヒストグラムを生成するために、前記レーザスキャンサンプルの第２のセットに関連する、前記第１のヒストグラムのピークを補正する工程と
を備えることを特徴とする方法。
【請求項１５】
コンピュータ装置に請求項１４に記載の前記方法を実行させるために、コンピュータ装置にロード可能な命令及びデータを含むコンピュータプログラム。
【請求項１６】
請求項１５に記載のコンピュータプログラムを含む記憶媒体。
【国際調査報告】
2010506328.tif 000027
2010506328.tif 000028
2010506328.tif 000029