(57)【要約】【課題】撮影画像から建物の３次元形状を復元する際、処理の限界やエラーがあった場合でも建物を復元し、撮影経路上の建物を漏れなく再現する。【解決手段】建物再投影部１０４は全方位画像にその位置情報をもとに建物形状モデルを再投影する。未復元領域抽出部１０５は再投影した建物位置をもとに建物形状モデルがまだ復元されていない領域を抽出する。建物存在判定部１０６は未復元領域に建物等が存在するかどうかを判定する。建物壁面抽出部１０７は抽出した未復元領域から建物壁面にあたる部分を抽出する。建物形状モデル復元部１１０は建物壁面の大きさや位置などの三次元情報を付与およびこれを利用して壁面に貼り付けるテクスチャ画像を全方位画像から切り出して作成し建物形状モデルとする。建物形状モデル更新部１０９は得られた建物形状モデルを建物形状モデル蓄積部１０３のデータとして更新する。【選択図】  図１
2006330799.tif 000002
【特許請求の範囲】
【請求項１】
画像入力装置の位置情報と、全方位を一度に撮像する画像入力装置を用いて市街地などの景観を撮影して得た全方位画像とに基づき、被写体である建物に関する建物形状モデルデータを獲得する方法において、
予め生成されている建物形状モデルデータ、前記画像入力装置の位置情報、並びに該画像入力装置のカメラパラメータを使って、該画像入力装置で撮影した画像に該建物形状モデルデータの領域を投影する第一のステップと、
第一のステップで投影した該建物形状モデルデータの領域以外の領域から、建物を復元出来ていない建物未復元領域を抽出する第二のステップと、
第二のステップで抽出した建物未復元領域から建物壁面に該当する領域を抽出する第三のステップと、
第三のステップで抽出した建物壁面に該当する領域に対して、該建物形状モデルのデータ、前記画像入力装置の位置情報、並びに該画像入力装置のカメラパラメータを使って建物形状モデルを復元する第四のステップと、
第四のステップで復元した建物形状モデルを該建物形状モデルデータに追加して更新する第五のステップと、
により、建物形状モデルデータの抜けを補間することを特徴とする建物３次元形状補間方法。
【請求項２】
請求項１の第三のステップにおいて、
同一の建物未復元領域内に抽出された建物垂直エッジのペアで挟まれた領域を建物壁面に該当する領域として抽出することにより、建物形状モデルデータの抜けを補間することを特徴とする建物３次元形状補間方法。
【請求項３】
請求項１の第三のステップにおいて、
抽出した建物未復元領域のすべてを建物壁面領域とすることで建物を含んだ背景を表現する壁面を復元することにより、建物形状モデルデータの抜けを補間することを特徴とする建物３次元形状補間方法。
【請求項４】
請求項１の第四のステップにおいて、
建物形状モデルを復元する際の奥行き値を、復元する建物形状モデルの位置と前記第一のステップにおいて投影した隣接する該建物形状モデルまでの距離を基に算出することにより、建物形状モデルデータの抜けを補間することを特徴とする建物３次元形状補間方法。
【請求項５】
請求項１の第四のステップにおいて、
建物形状モデルを復元する際の奥行き値を、前記第一のステップにおいて投影した隣接する建物形状モデルの奥行き値のいずれか一方とすることにより、建物形状モデルデータの抜けを補間することを特徴とする建物３次元形状補間方法。
【請求項６】
請求項１の第四のステップにおいて、
建物形状モデルを復元する際の高さを、画像上から抽出した建物上辺のエッジの画像中心からの距離を基に算出することにより、建物形状モデルデータの抜けを補間することを特徴とする建物３次元形状補間方法。
【請求項７】
画像入力装置の位置情報と、全方位を一度に撮像する画像入力装置を用いて市街地などの景観を撮影して得た全方位画像とに基づき、被写体である建物に関する建物形状モデルデータを獲得する装置において、
予め生成されている建物形状モデルデータ、前記画像入力装置の位置情報、並びに該画像入力装置のカメラパラメータを使って、該画像入力装置で撮影した画像に該建物形状モデルデータの領域を投影する第一の手段と、
第一の手段で投影した該建物形状モデルデータの領域以外の領域から、建物を復元出来ていない建物未復元領域を抽出する第二の手段と、
第二の手段で抽出した建物未復元領域から建物壁面に該当する領域を抽出する第三の手段と、
第三の手段で抽出した建物壁面に該当する領域に対して、該建物形状モデルのデータ、前記画像入力装置の位置情報、並びに該画像入力装置のカメラパラメータを使って建物形状モデルを復元する第四の手段と、
第四の手段で復元した建物形状モデルを該建物形状モデルデータに追加して更新する第五の手段と、
により、建物形状モデルデータの抜けを補間することを特徴とする建物３次元形状補間装置。
【請求項８】
請求項７の第三の手段において、
同一の建物未復元領域内に抽出された建物垂直エッジのペアで挟まれた領域を建物壁面に該当する領域として抽出する手段を備え、建物形状モデルデータの抜けを補間することを特徴とする建物３次元形状補間装置。
【請求項９】
請求項７の第四の手段において、
建物形状モデルを復元する際の奥行き値を、復元する建物形状モデルの位置と前記第一の手段において投影した隣接する該建物形状モデルまでの距離を基に算出する手段を備え、建物形状モデルデータの抜けを補間することを特徴とする建物３次元形状補間装置。
【請求項１０】
請求項１〜６の少なくとも１項の処理を、コンピュータで実行可能に構成したことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像入力装置等により取得した画像データから、都市空間での建物の３次元形状または構造を復元する方法、装置に係り、特に建物の３次元形状または構造を自動計測または自動獲得するコンピュータビジョン分野、画像計測並びに測量分野で好適に利用できるものである。
【背景技術】
【０００２】
車載カメラなどを利用して撮影した映像から、建物の３次元形状を自動で復元する手法は、人間が最もよく目にする建物側面の形状やテクスチャ情報を取得できるため、様々な手法が提案されてきた（例えば、特許文献１参照）。
【０００３】
しかし、従来のどのような手法を利用した場合でも、手法の限界や、計測誤差などの様々な理由により、撮影経路上で３次元形状を復元できない建物が存在し、撮影経路上にあるすべての建物を網羅的に復元することはできなかった。このため、復元した建物で構成される３次元市街地をウォークスルーした際に、実際に存在する建物が欠けるなどして臨場感やリアリティが大きく低下してしまう問題があった。
【特許文献１】特開２００２−１８３７１４
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、車載カメラなどによって撮影した画像から建物の３次元形状を復元する処理を行う際に、処理の限界やエラーによって復元できない建物があった場合でも、その建物を復元し、撮影経路上の建物を漏れなく再現することを課題としている。
【課題を解決するための手段】
【０００５】
本発明は、全方位カメラによる全方位画像を利用し、前記特許文献１などにより全方位カメラからの建物復元処理を実施した後、復元した建物を全方位画像に逆投影することで、建物が復元できなかった領域を抽出し、復元できなかった領域の中に建物が存在するか否かを判定し、建物が存在する場合には隣接する建物と並んでいる建物と仮定して側面の奥行きや高さを算出することで、復元できなかった領域における建物を建物形状として復元するものである。
【０００６】
これにより、撮影した経路上の建物を漏れなく復元することが可能となり、復元した建物で構成される３次元市街地をウォークスルーした際に、実際に存在する建物が欠けることなく、高い臨場感とリアリティを実現することが可能となるもので、以下の方法、装置およびプログラムを特徴とする。
【０００７】
（１）画像入力装置の位置情報と、全方位を一度に撮像する画像入力装置を用いて市街地などの景観を撮影して得た全方位画像とに基づき、被写体である建物に関する建物形状モデルデータを獲得する方法において、
予め生成されている建物形状モデルデータ、前記画像入力装置の位置情報、並びに該画像入力装置のカメラパラメータを使って、該画像入力装置で撮影した画像に該建物形状モデルデータの領域を投影する第一のステップと、
第一のステップで投影した該建物形状モデルデータの領域以外の領域から、建物を復元出来ていない建物未復元領域を抽出する第二のステップと、
第二のステップで抽出した建物未復元領域から建物壁面に該当する領域を抽出する第三のステップと、
第三のステップで抽出した建物壁面に該当する領域に対して、該建物形状モデルのデータ、前記画像入力装置の位置情報、並びに該画像入力装置のカメラパラメータを使って建物形状モデルを復元する第四のステップと、
第四のステップで復元した建物形状モデルを該建物形状モデルデータに追加して更新する第五のステップと、
により、建物形状モデルデータの抜けを補間することを特徴とする建物３次元形状補間方法。
【０００８】
（２）上記第三のステップにおいて、
同一の建物未復元領域内に抽出された建物垂直エッジのペアで挟まれた領域を建物壁面に該当する領域として抽出することにより、建物形状モデルデータの抜けを補間することを特徴とする建物３次元形状補間方法。
【０００９】
（３）上記第三のステップにおいて、
抽出した建物未復元領域のすべてを建物壁面領域とすることで建物を含んだ背景を表現する壁面を復元することにより、建物形状モデルデータの抜けを補間することを特徴とする建物３次元形状補間方法。
【００１０】
（４）上記第四のステップにおいて、
建物形状モデルを復元する際の奥行き値を、復元する建物形状モデルの位置と前記第一のステップにおいて投影した隣接する該建物形状モデルまでの距離を基に算出することにより、建物形状モデルデータの抜けを補間することを特徴とする建物３次元形状補間方法。
【００１１】
（５）上記第四のステップにおいて、
建物形状モデルを復元する際の奥行き値を、前記第一のステップにおいて投影した隣接する建物形状モデルの奥行き値のいずれか一方とすることにより、建物形状モデルデータの抜けを補間することを特徴とする建物３次元形状補間方法。
【００１２】
（６）上記第四のステップにおいて、
建物形状モデルを復元する際の高さを、画像上から抽出した建物上辺のエッジの画像中心からの距離を基に算出することにより、建物形状モデルデータの抜けを補間することを特徴とする建物３次元形状補間方法。
【００１３】
（７）画像入力装置の位置情報と、全方位を一度に撮像する画像入力装置を用いて市街地などの景観を撮影して得た全方位画像とに基づき、被写体である建物に関する建物形状モデルデータを獲得する装置において、
予め生成されている建物形状モデルデータ、前記画像入力装置の位置情報、並びに該画像入力装置のカメラパラメータを使って、該画像入力装置で撮影した画像に該建物形状モデルデータの領域を投影する第一の手段と、
第一の手段で投影した該建物形状モデルデータの領域以外の領域から、建物を復元出来ていない建物未復元領域を抽出する第二の手段と、
第二の手段で抽出した建物未復元領域から建物壁面に該当する領域を抽出する第三の手段と、
第三の手段で抽出した建物壁面に該当する領域に対して、該建物形状モデルのデータ、前記画像入力装置の位置情報、並びに該画像入力装置のカメラパラメータを使って建物形状モデルを復元する第四の手段と、
第四の手段で復元した建物形状モデルを該建物形状モデルデータに追加して更新する第五の手段と、
により、建物形状モデルデータの抜けを補間することを特徴とする建物３次元形状補間装置。
【００１４】
（８）上記第三の手段において、
同一の建物未復元領域内に抽出された建物垂直エッジのペアで挟まれた領域を建物壁面に該当する領域として抽出する手段を備え、建物形状モデルデータの抜けを補間することを特徴とする建物３次元形状補間装置。
【００１５】
（９）上記第四の手段において、
建物形状モデルを復元する際の奥行き値を、復元する建物形状モデルの位置と前記第一の手段において投影した隣接する該建物形状モデルまでの距離を基に算出する手段を備え、建物形状モデルデータの抜けを補間することを特徴とする建物３次元形状補間装置。
【００１６】
（１０）上記（１）〜（６）の少なくとも１項の処理を、コンピュータで実行可能に構成したことを特徴とするプログラム。
【発明の効果】
【００１７】
本発明によれば、従来の建物形状モデリング手法によって復元出来なかった建物についても多くの建物を補間して再現できることが可能となる。
【００１８】
例えば、図１１、図１２に本発明の適用前と適用後の例を示すように、本発明によれば建物形状データを補間して再現することで建物の抜けを無くし、三次元市街地景観としての臨場感やリアリティを向上できる。
【発明を実施するための最良の形態】
【００１９】
（実施形態１）
図１は、本実施形態の建物３次元形状補間装置のブロック構成図であり、この装置に対応する補間方法の処理フローを図２に示す。
【００２０】
図１において、取得された全方位画像を蓄積する全方位画像蓄積部１０１、取得された全方位画像撮影時の位置情報を蓄積する位置情報蓄積部１０２、特許文献１などの建物形状モデリング手法で復元した建物形状モデルを蓄積する建物形状モデル蓄積部１０３、撮影された全方位画像に、予め生成されている建物形状モデルデータ、画像入力装置の位置情報、並びに該画像入力装置のカメラパラメータを使って、撮影された全方位画像に建物形状モデルデータの領域を再投影する建物再投影部１０４、再投影した建物位置をもとに建物形状モデルがまだ復元されていない領域を抽出する未復元領域抽出部１０５、未復元領域に建物等が存在するかどうかを判定する建物存在判定部１０６、抽出した未復元領域から建物壁面にあたる部分を抽出する建物壁面抽出部１０７、指定した建物壁面に壁面の大きさや位置などの三次元情報を付与すると同時に付与した三次元情報を利用して壁面に貼り付けるテクスチャ画像を全方位画像から切り出して作成し建物形状モデルとする建物形状モデル復元部１１０、得られた建物形状モデルを建物形状モデル蓄積部１０３のデータとして更新する建物形状モデル更新部１０９から構成されている。
【００２１】
以上の構成において、全方位画像蓄積部１０１に取得する全方位画像は、魚眼レンズをマウントした全方位カメラを車両に搭載し、車両を移動させながら全方位映像として取得する。魚眼レンズは図３に示す等距離投影（投影式は、ｙ＝ｆθ）を用いるものとする。なお、全方位カメラが魚眼レンズをマウントしたもの以外であっても、その投影式をあてはめることができる。また、建物形状モデルとしては特許文献１などの建物形状モデリング手法で復元したものを用いる場合で説明するが、建物形状モデルとして他のモデリング手法で復元したものを用いることもできる。
【００２２】
次に、図２に示す本実施形態の処理フローを説明する。全方位画像取得処理Ｓ２０１は全方位カメラで撮影された全方位画像を取得保持する。位置情報取得処理Ｓ２０２は、一例としてＧＰＳなどの位置情報をセンシングできる装置などで取得された全方位画像の撮影時の位置情報を取得保持する。建物形状モデル取得処理Ｓ２１６は、建物情報として建物を構成する各点の三次元値、各面に貼付するテクスチャ画像を取得保持する。
【００２３】
建物シルエット投影処理Ｓ２０３では、処理Ｓ２０１で取得した全方位画像上に処理Ｓ２０２で取得した位置情報と全方位カメラの投影式（カメラパラメータ）を基に処理Ｓ２１６で格納された建物形状モデルにおける建物の輪郭情報を建物シルエットとして投影する。
【００２４】
建物未復元領域検出処理Ｓ２０４では、処理Ｓ２０３によって建物シルエットの投影を行った全方位画像から建物が復元されていない領域を検出する。図４に建物シルエットおよび建物未復元領域の例を示す。図４中の斜線にて塗りつぶされた領域は処理Ｓ２１６で格納された建物の輪郭情報を全方位画像上に投影したものである。建物未復元領域は画像中心を中心とし画像中心からカメラの画角の限界までの距離（等距離投影で画角を１８０度の魚眼レンズを想定した場合にはｆ×π／２）を半径とし建物シルエットに接するような扇形となる。図４では説明上ひとつの建物未復元領域しか示していないが、実際には建物シルエットの位置や数によってその大きさや数は増減するものである。
【００２５】
建物垂直エッジ抽出処理Ｓ２０５では、処理Ｓ２０４で検出した建物未復元領域から建物の垂直なエッジを抽出する。具体的には建物未復元領域に対してＣａｎｎｙオペレータなどによる一般的な画像処理によってエッジ抽出を行い、さらにＨｏｕｇｈ変換などの直線検出処理によって直線を検出する。検出した直線のうち建物未復元領域の扇形の中心（画像中心）を通過するものを建物垂直エッジとする。これは、全方位カメラが垂直上向きに設置されている場合には全方位画像上に投影される垂直な線分は画像中心に向かう放射状の線分となる性質を利用している。
【００２６】
建物未復元領域に建物垂直エッジが存在するかの判定処理Ｓ２０６では、建物垂直エッジ抽出処理Ｓ２０５の処理結果が、建物未復元領域内に建物垂直エッジが抽出された場合は［Ｙｅｓ］へ、抽出されない場合は［Ｎｏ］へ処理が進む。図５に建物垂直エッジの例を示す。図５の左が建物垂直エッジの存在する例を、右が建物垂直エッジの存在しない例を示している。
【００２７】
建物壁面領域抽出処理Ｓ２０７では、同一の建物未復元領域内に抽出された建物垂直エッジのペアで挟まれた領域を建物壁面領域として抽出する。図６に建物壁面領域の例を示す。図６に示されるように、この建物未復元領域には３本の建物垂直エッジがあり、未復元領域の両端を合わせて４つの建物壁面領域が抽出されている。
【００２８】
建物シルエット奥行き算出処理Ｓ２０８では、対象となる建物壁面領域を含む建物未復元領域の両端にある建物シルエットの三次元情報を利用して、画像撮影時のカメラ位置からそれぞれの建物シルエットまでの奥行きを算出する。
【００２９】
建物壁面領域奥行き算出処理Ｓ２０９では、建物シルエット奥行き算出処理Ｓ２０８で算出したそれぞれの奥行き値の平均を対象の建物壁面領域の奥行き値として算出する。
【００３０】
建物壁面領域からの上辺エッジ抽出処理Ｓ２１０では、図７で示すように対象となる建物壁面領域内の建物の部分と天空の部分の境界を上辺エッジとして抽出する。具体的には、建物壁面領域に対してＣａｎｎｙオペレータなどの一般的な画像処理手法を用いてエッジを抽出し、画像中心から建物壁面領域の方向に対して放射状にエッジを検索して最も近い位置かつ垂直エッジに直行するような方向にあるエッジを上辺エッジとする。
【００３１】
建物壁面領域高さ算出処理Ｓ２１１では対象となる建物壁面領域の高さを、建物壁面領域からの上辺エッジ抽出処理Ｓ２１０で抽出した上辺エッジの画像中心位置からの距離によって算出できる建物上辺の仰角と、建物壁面領域奥行き算出処理Ｓ２０９で算出した奥行き値を用いることで算出する。
【００３２】
建物壁面テクスチャ獲得処理Ｓ２１２では、全方位画像上に建物壁面領域高さ算出処理Ｓ２１１までの処理で求めた建物壁面領域を再投影して得られる領域を、カメラレンズの投影式に基づいて正射影化することで対象となる建物壁面領域に貼り付けるテクスチャ画像を獲得する。
【００３３】
建物壁面モデル復元処理Ｓ２１３では、全方位画像上に建物壁面領域高さ算出処理Ｓ２１１までの処理で求めた奥行きと高さの情報を持つ建物壁面領域に、建物壁面テクスチャ獲得処理Ｓ２１２で獲得したテクスチャを貼り付けた建物壁面モデルを復元する。
【００３４】
建物形状モデル更新処理Ｓ２１４では、建物形状モデル取得処理Ｓ２１６のデータに建物壁面モデル復元処理Ｓ２１３で復元した建物壁面モデルを追加して建物形状モデル取得処理Ｓ２１６を更新する。
【００３５】
ここまでの一連の処理は建物未復元領域に建物垂直エッジが存在するかの判定処理Ｓ２０６において建物垂直エッジが存在しなくなるまで同一の全方位画像に対して処理を繰り返し、建物未復元領域に建物垂直エッジが存在するかの判定処理Ｓ２０６において建物垂直エッジが存在しなくなると処理終了Ｓ２１５となる。
【００３６】
（実施形態２）
本実施形態は、請求項３等に係るもので、実施形態１における図２の処理フロー中、建物垂直エッジ抽出処理Ｓ２０５およびエッジの存在判定処理Ｓ２０６の処理に代えて、建物未復元領域検出処理Ｓ２０４で抽出した建物未復元領域のすべてをそのまま建物壁面領域として、建物を含んだ背景を表現する壁面領域抽出処理Ｓ２０７以降の処理を行う。
【００３７】
（実施形態３）
本実施形態は、請求項４等に係るもので、実施形態１における図２の処理フロー中、
建物壁面領域奥行き算出処理Ｓ２０９に代えて、建物の奥行き値を、復元する建物形状モデルの位置と隣接する該建物形状モデルまでの距離に応じて算出する。
【００３８】
この奥行き算出には、隣接する既存の建物形状モデルがもつ奥行きの平均値とすること、または隣接する既存の建物形状モデルがもつ奥行きに対して、車両進行方向（建物間）の距離に応じた重み付け平均値とすること、のいずれかとする。
【００３９】
この重み付け平均値の例を図８に示し、隣接する既存の建物形状モデル間で直線を引き、復元する建物形状モデルの壁面がその直線に沿うように奥行き値を算出する。
【００４０】
（実施形態４）
本実施形態は、請求項5等に係るもので、実施形態１における図２の処理フロー中、建物壁面領域奥行き算出処理Ｓ２０９において、建物の奥行き値を、隣接する既存の建物形状モデルの奥行き値の最大値または最小値のいずれか一方とする。図９には奥行きを最大値に設定した場合を示し、図１０には奥行きを最小値に設定した場合を示す。
【００４１】
（実施形態５）
本実施形態は、請求項6等に係るもので、実施形態１における図２の処理フロー中、建物壁面領域からの上辺エッジ抽出処理Ｓ２１０および建物壁面領域高さ算出処理Ｓ２１１に代えて、建物形状モデルを復元する建物の高さを、隣接する既存の建物形状モデルがもつ高さ（画像上から抽出した建物上辺のエッジの画像中心からの距離）を基に算出する。
【００４２】
この高さ算出には、隣接する既存の建物形状モデルがもつ高さの最大値または最小値のいずれか一方とすること、または隣接する既存の建物形状モデルがもつ高さの平均値とすること、または隣接する既存の建物形状モデルがもつ高さに対して、車両進行方向（建物間）の距離に応じた重み付け平均値とすること、のいずれかとする。
【００４３】
なお、以上までに説明した建物３次元形状補間方法および補間装置における各部処理は、コンピュータで実行可能に構成したプログラムによっても実現でき、さらにプログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。
【図面の簡単な説明】
【００４４】
【図１】実施形態１のブロック構成を示す図。
【図２】実施形態１の処理フローを示す図。
【図３】魚眼レンズの投影式を示す図。
【図４】建物未復元領域検出の例を示す図。
【図５】建物垂直エッジの例を示す図。
【図６】建物壁面領域の例を示す図。
【図７】上辺エッジの例を示す図。
【図８】実施形態３における建物形状モデル奥行き算出を説明するための図。
【図９】実施形態４における建物形状モデル奥行き算出を説明するための図。
【図１０】実施形態４における建物形状モデル奥行き算出を説明するための図。
【図１１】本発明の適用前と適用後の例を示す図。
【図１２】本発明の適用前と適用後の例を示す図。
【符号の説明】
【００４５】
１０１  全方位画像蓄積部
１０２  位置情報蓄積部
１０３  建物形状モデル蓄積部
１０４  建物再投影部
１０５  未復元領域抽出部
１０６  建物存在判定部
１０７  建物壁面抽出部
１０８  建物形状モデル復元部
１０９  建物形状モデル更新部
【図１】
2006330799.tif 000003
【図２】
2006330799.tif 000004
【図３】
2006330799.tif 000005
【図８】
2006330799.tif 000006
【図９】
2006330799.tif 000007
【図１０】
2006330799.tif 000008
【図４】
2006330799.tif 000009
【図５】
2006330799.tif 000010
【図６】
2006330799.tif 000011
【図７】
2006330799.tif 000012
【図１１】
2006330799.tif 000013
【図１２】
2006330799.tif 000014