日本建築学会・情報システム技術委員会
第 39 回情報・システム・利用・技術シンポジウム 2016

建築デザイン検討のためのSLAM を用いた屋外型 AR システムの開発○三宅矢吹

宗俊 ＊1 福田 知弘 ＊2
信喜 ＊3 Ali Motamedi＊4

キーワード： Outdoor Augmented Reality Simultaneous Localization and Mapping (SLAM) 可視化技術
1. はじめに前に取得した対象構造物の点群データと，現実に存在する近年，AR（Augmented Reality: 拡張現実感）の利用が建対象構造物の自然特徴点とを対応させて位置合わせを行築・都市分野において進められている．AR は現実世界にった．しかし，ユーザによって選ばれた位置合わせに利用存在しない CG（Computer Graphics）などのデジタル情報する自然特徴点が常に AR カメラから見える必要があるこを用いて現実世界を拡張するための技術であり，ビデオカと，事前取得する点群データには 3 次元レーザスキャナをメラなどをリアルタイム撮影した実写映像に 3 次元仮想モ用いた大規模な前処理が必要なことといった課題が残っデルを重畳させることで実現する．

た．また，Sato ら 5)は複数視点から撮影した画像を用いて従来は屋内で主に行われていた AR であるが，その屋外3 次元形状を復元する Structure from Motion（SfM)6)と画像利用も徐々に研究され始めている 1)2)．屋外利用可能な AR

中の局所特徴量を用いて位置合わせを行った．しかしながを建築分野で適用する場合，建物の新築やリノベーション

ら，刻一刻と変化する日照量などの自然物の変化や，車やにおける改築の検討などの計画・設計段階，鉄筋配置を事人などの移動する人工物の影響から，必ずしも 3 次元形状前にシミュレーションするなどの施工段階，既設構造物のを復元するために利用した事前撮影写真と，AR カメラが点検・修繕状況の把握や建物性能の可視化などの維持管理捉えるリアルタイム画像とが一致しないという問題点が段階などの建築プロセスの様々な段階での応用が期待さあった．

れる．この，屋外 AR の利用シーンは，会議室での模型をそ こ で 本 研 究 で は ， Simultaneously Localization and

用いた検討やディスプレイを通じた 3DCG の表示といっMapping (SLAM)7)を用いたマーカレス AR システムに注目た検討シーンに比べて，3 次元仮想モデルなどの建物情報した．SLAM は主にロボット工学分野で使われてきた技術を現地で実スケールでの確認が可能になるためより臨場であり，ロボットの自己位置の推定と，その周辺の環境マ感の高い検討ができるようになる．

ッピングを同時に行うことが可能である．本研究では特にAR の技術課題として，位置合わせの問題がある．これ

この SLAM をカメラからの画像情報からのみ行う visual-は，重畳させる 3 次元仮想モデルを如何に高い精度で現実SLAM8)を用いる．そして開発したシステムを建築物のデ世界へ配置するかという問題である．特に屋外環境においザイン検討に応用することを想定する．て位置合わせを行う場合，AR システムを使うユーザと AR

開発システムでは，位置合わせには AR システムが搭載の対象となる構造物との距離が比較的大きくなるため，正するカメラを利用し，センサ等の特殊な機材を必要としな確な位置合わせが難しい．位置合わせの基準点として，セい．また，幾何マーカ等の物理的オブジェクトの設置を必3)ではGPS やジャイロスコープ要としないため，マーカが設置できないためにシステムをなどの位置・姿勢情報が使われる．この手法における課題

使えない，常にマーカを AR カメラによって捉えなければは GPS を始めとする人工衛星を利用する手法では高層ビならないといった制約が存在しない．加えて，SLAM によルが立ち並ぶ都市中心部でその精度が不安定なことであって 3 次元形状の復元をリアルタイムに行うため，周辺環る．またジャイロスコープなどの物理センサはドリフト誤境の復元とシステム利用の間の時間的ギャップがほとん差が位置合わせの精度に影響を及ぼす．これに対してカメ

ど存在しない．そのため，使用環境で変化する自然物や人ラ画像から位置合わせを行うビジョンベースの位置合わ工物の影響を受けにくいといった利点がある．

ンサベースの位置合わせせ手法の一つにマーカ型 AR がある．これは物理的な幾何マーカを現実環境に配置しそれを基準に位置合わせを行

2. システム開発うものであるが，マーカが常に AR カメラから視認可能な

2.1. SLAM を用いたマーカレス AR デザイン

距離・大きさである必要があり，設置場所の制約やユーザの可動範囲の制限を受ける．

近年 SLAM は基礎研究レベルから産業への実用化へのレベルまで幅広く研究されている．特にカメラからの映像

一方で，幾何マーカやセンサを利用しない，マーカレスを通して主な処理を行う visual-SLAM は AR への応用が期AR システムの開発も行われてきている．Yabuki ら 4)は事待される．
SLAM を用いた AR と他のビジョンベース型 AR

報告 H15－ 137 －との差異は処理のリアルタイム性にある．すなわち SLAM

3.1. 実験概要

を用いた AR では，次々に更新されるフレームに対して

平成 28 年 10 月 7 日 13 時頃，Android タブレットに実装

Localization 及び Mapping の処理を次のフレームが来る前した AR システムを使用し，M3 棟を対象に 3 次元モデルに行うため，環境の復元とカメラの位置姿勢を追跡するトが確認可能かどうかの検証を行った．また，開発システムラッキングとの間に時間的ギャップが存在しない．

が建物屋外環境のデザイン検討に対して有用かどうかのSLAM を用いた AR の基本的な処理は，以下となる．
① カメラから得た断続的な画像フレーム中の点を追跡② 追跡に用いた点を 3 次元空間に投影するための三角測量③ カメラの位置姿勢を推定するために移動後の追跡点を推定
これらの処理は，画像中のトラッキング点を十分補足す検証を行った．
環境デザインの検討シーンとして，M3 棟南面に新たに植栽を配置した場面を想定し，樹木の 3D モデルを開発システムによって表示できるかの実験を行った．3D モデル
は 3dsMax 2016 によって作成を行い，FBX 形式でファイル出力したものをシステムに入力した．
実験手順を以下に示す．

ることで可能となる．また，従来の visual-SLAM では Stereo① 事前にモデリングソフトウェアを用いて作成したデザ

Camera が用いられてきたが，本システムでは単眼レンズイン検討用の 3 次元モデルを AR システムに入力した．

によって実現する．

図１に作成したモデルを示す．

開発システムでは，3 次元モデリングソフトウェアなど② タブレット型 PC に搭載したマーカレス AR システムをを用いて表示させたい 3 次元オブジェクトを事前に作成し，初期化した．システムの利用位置の概況を図２，図３にシステムに入力した後，visual-SLAM を用いたトラッキン
グ手法により AR を実現する．

示す．
③ システム起動後，対象構造物の M3 棟が AR カメラによ2.2. システムの実装って捉えられるように位置取り，カメラを動かしながら2.2.1. 使用ソフトウェア，ツール

SLAM による環境復元とカメラ位置の推定を行った．図A) Unity（Unity 5.4.0f3 64bit）

４に実験の様子を示す．

Unity は Unity Technologies が提供する統合開発環境を内④ 手動により 3 次元オブジェクトの配置を行った．

蔵したゲームエンジンである．様々なプラットフォームに⑤ 3 次元オブジェクト配置後，ユーザの移動に対して 3 次対応しており，3 次元仮想オブジェクトの描画を行う本研

元オブジェクトのトラッキングか可能かの確認を行っ

究の AR に応用できるためこれを用いた．
B) Kudan AR （Version 1.3）
Kudan AR は Kudan Limited が開発を行っている AR エンた．
⑥ 開発したマーカレス AR システムの，建築物設計検討シーンでの有用性に関して評価を行った．

ジンであり，Unity やスマートフォン向けに提供されている．テクスチャベースのマーカ型 AR のほか，マーカレス
AR として SLAM を使用した開発キットが提供されており，本研究で開発する AR アプリケーション用のエンジンとして適しているため，これを用いた．
C) Android SDK （Version 2.2.012 for Windows）
タブレット端末へのシステム実装を行うために用いた．
2.2.2. 使用機材
本システムの実装にあたり，AR システムのプラットフ

図 1 描画用３次元モデル

ォームとして Android タブレットを用いた．これは，本研
究では屋外利用を想定しているため持ち運びが容易である必要があることによる．またタッチによる操作は PC などの機器に不慣れなユーザでも容易に扱うことができる．
使用機材は Nexus9（OS: Android 5.1.1）である．
3. 開発システムの検証開発したマーカレス AR システムを建築物環境のデザイン検討に利用した際の有用性を検証するため，実在する屋外建築物に対して本システムを利用した実験を行う．
図 2 実験場所の位置図

報告 H15－ 138 －図 3 実験場所及び３次元モデルの描画位置

図 5 AR システム起動前の現況

図 6 AR による描画結果（代替案比較）

図 4 実験風景
3.2. 実験の結果および評価
検証実験におけるシステム起動前の現況を図 5，実験結果のキャプチャ画像を図 6，ユーザの移動によるトラッキングの結果を図 7 に示す．実験の結果，開発システムの屋外利用が可能であることを確認した．また，ユーザの移動に合わせたトラッキングも可能であることを確認した．
本システムでは 3 次元モデルの配置をユーザの手動によって行ったため，位置合わせの精度がユーザの感覚に依存

図 7 トラッキングの結果3.3. 設計デザイン検討シーンでの利用する．また，SLAM によって Mapping を行う対象物の構造今回行った検証実験では，事前に作成した樹木の 3 次元が複雑である場合や，対象構造物との距離が 15m 程度離れ仮想モデルを画面内に配置し建築物周辺環境のデザインた場合も位置合わせが正確に行えなかった．

検討のための AR 利用を行った．しかしながら，本研究でトラッキング処理においては，位置合わせが正確に行えていた場合，ユーザの対象構造物に対する前後左右の移動用いたマーカレス AR は他にも多様な利用シーンが考えられる．に追随することが可能であった．また，対象構造物の前を一例として，建築物の 3 次元モデルを入力する際に単な人が通るなどノイズが挿入した場合もトラッキングは正る形状データではなく Building Information Modeling (BIM)確に継続された．加えて，位置合わせを行ったのちに ARデータを用いることで表示オブジェクトの属性情報も同カメラの視界から一度 3 次元モデルを除外し，再度視界内時に取得することが可能となる．そして建築物の 3 次元モに入れた場合もトラッキングを継続できた．しかし，画面デルにそれらの属性情報を重畳表示させることで，建築物の大部分が手などによって隠れてしまったり，タブレットの 3 次元モデルとその属性情報が同時に，現場で確認するを素早く振る動作を行ったりするとトラッキングエラーことが可能となる．これは，建築物の維持管理にも応用でを生じた．

きると考えられる．

報告 H15－ 139 －4. 結論と今後の課題
4.1. 結論
本研究で得られた成果を以下に示す．
・ SLAM を用いたマーカレス AR を開発し，Android タブレットに実装した．
・ 大阪大学吹田キャンパス M3 棟の周辺に植栽設計を行うことを想定して樹木の 3 次元モデルを AR によって描画し，位置合わせ及びトラッキングが可能であることを確認した．
・ 開発した AR システムの都市建築環境での有用性について検討した．
4.2. 今後の課題と展望
最後に 3 章で示した実験結果をもとに開発した屋外マーカレス AR の課題と今後の展望を示す．
まず，開発システムでは 3 次元モデルの配置をユーザの手動によって行っていたため，位置合わせの精度がユーザに依存した．そこで，BIM か図面上で３次元モデルの配置位置を決定し，それを AR のスクリーン上へ自動的に配置する必要がある．一方で SLAM を用いたシステムでは対象構造物の 3 次元形状はリアルタイムに復元されるため，予め復元された 3 次元形状に対して，表示させる 3 次元オブジェクトの位置を定義することは困難である．しかし，デ[参考文献]
1) Ventura, J., Hollerer, T.:Wide-area scene mapping for mobile visualtracking. In: Proceedings of the IEEE International Symposium on
Mixed and Augmented Reality, 3-12 (2012)
2) Schubert, G., Schattel, D., Tonnis, M., Klinker, G. and Petzold, F.:
Tangible Mixed Reality On-Site: Interactive Augmented
Visualisations from Architectural Working Models in Urban Design,
CAAD Futures 2015 Selected Papers, Communications in Computerand Information Science, 527, 55-74 (2015).
3) Watanabe, S.: 2011, Simulating 3D Architecture and Urban
Landscapes in Real Space, CAADRIA2011, 261-270 (2011).
4) Yabuki, N, Hamada, Y and Fukuda, T.: Development of an accurate
registration technique for outdoor augmented reality using point cloud
data, 14thInternational Conference on Computing in Civil andBuilding Engineering, (2012).
5) Sato, Y., Fukuda, T., Yabuki, N., Michikawa T. and Motamedi, A.: A
Marker-less Augmented Reality System Using Image Processing
Techniques for Architecture and Urban Environment, Proceedings ofthe 21st International Conference on Computer-Aided Architectural
Design Research in Asia (CAADRIA 2016), 713-722 (2016).
6) Tomasi, C. and Kanade, T.: Shape and Motion from Image Streams
under Orthography: a factorization method, International Journal ofComputer Vision (IJCV), vol 9, 137-154 (1992).
7) Leonard, J., Durrant-Whyte, H.: Simultaneous map building andlocalization for an autonomous mobile robot, Intelligent Robots andSystems’ 91,’Intelligence for Mechanical Systems, Proceedings
IROS’91. IEEE/RSJ International Workshop on, 1442–1447 (1991).
8) Engel, J., Schops, T. and Cremers, D.: LSD-SLAM: Large-scale direct
monocular SLAM, European Conference on Computer Vision(ECCV 2014), vol 8690, 834-849 (2014).

ザイン検討のシーンでは必ずしも対象建築物に対してユーザの位置や姿勢が自由である必要はない．そのため，AR＊1を利用する際の初期位置として視点を絞れば，事前にそれらの位置姿勢情報をシステムに入力することは可能である．

＊2＊3

また，本研究では位置合わせ後のユーザの移動の際に，位置合わせの段階で３次元モデルが正しい位置に表示されないエラーが生じた．この 1 つの要因として，対象構造＊4

大阪大学 大学院工学研究科 環境・エネルギー工学専攻
博士前期課程 2 年
大阪大学 大学院工学研究科 環境・エネルギー工学専攻
准教授 博士(工学)大阪大学 大学院工学研究科 環境・エネルギー工学専攻
教授 Ph.D.
大阪大学 大学院工学研究科 環境・エネルギー工学専攻
JSPS 外国人特別研究員 Ph.D.

物の表面構造が複雑であることが挙げられる．SLAM を用いた AR では，復元した環境情報を参照して位置合わせを行うが，復元物の形状が複雑である場合，位置合わせに適した点を抽出することが難しい．一方で高精度な復元を行おうとすると計算負荷が高くなる．そのため，計算速度と復元の精度の最適解を模索する必要がある．
またトラッキングにおいても極端な輝度変化が起きた
場合，本来ループ処理を行うべきトラッキングプロセスにおいて，輝度が異なるためにたとえ同じ位置であってもシステムは別の点として誤認識するといった問題が生じた．
これを解決するには，単一のトラッキング手法ではなく，SLAM とセンサを組み合わせて誤差を最小化するなどの手法を用いる必要がある．
謝辞
本研究は JSPS 科研費 JP16K00707，JP26-04368 の助成を受けた．

報告 H15－ 140 －