MR を活用した施設維持管理情報の閲覧支援に関する技術的検討
Development of a browsing support system for building operations andmaintenance information using MR device○仲間 祐貴 *1，大西 康伸 *2
Yuki Nakama＊1 and Yasunobu Onishi＊2*1 熊本大学工学部技術部

技術職員

Technical Staff, Technical Division, Faculty of Engineering, Kumamoto University.
*2 熊本大学大学院先端科学研究部准教授

博士(学術)

Assoc. Prof., Faculty of Advanced Science and Technology, Kumamoto Univ., Ph. D
キーワード：視覚表現; MR; 施設維持管理; HMD; BIM; クラウド
Keywords: Visual representation; Mixed reality; Building operations and maintenance; Head mount display; BIM; Cloud.

1. 研究の背景と目的

状況や機器の設定情報など）」、「未来の情報（故障の予測

近年、Virtual Reality（VR）や Augmented Reality（AR）など）」が実際の部位と一体的に表示され、横断的に状況の発展とともに Mixed Reality（MR）の技術が発達してを確認できる。また、天井裏や PS の中など普段から隠いる。MR は複合現実と訳され、現実空間と仮想空間をれた所に存在する部位をバーチャルで表現することによ混合し、現実のモノと仮想的なモノがリアルタイムに影って、PS のハッチや天井の点検口を開けることなく隠蔽響しあう技術である。MR を施設維持管理に導入するこ部の部位が確認でき、さらに、実際の部位との位置関係とで、維持管理対象の実物の部位（以下、対象部位）のが理解できると考える。そこで、本研究では、MR デバ

現状とそれに関連する様々な情報（属性情報や過去の状

イスで維持管理対象部位の情報を表示する機能と隠蔽部

況や未来の予測をなど）をバーチャルで表示し、それをの部位を 3D モデルで表示する２つの機能を開発する。

同時に混在させて閲覧できると考える。さらに、ヘッド

なお、MR デバイスとして Microsoft 社の HoloLens 注１）

マウントディスプレイを用いた MR デバイスの特徴から、を採用する。

維持管理の記録媒体を手で携帯しないことや、手による2.1. 維持管理対象部位の情報表示機能の開発端末操作が少ない。点検を中心とする現場での維持管理

維持管理対象部位の情報閲覧機能では、BIMS におい

関係する作業は、両手を使うことが多く、MR デバイスて管理対象となっている部位の維持管理情報（属性情報、の導入によりそれら作業を妨げないと考える。このよう故障歴、修繕歴）とコミュニケーション情報注２）を扱うに、現場での実物とバーチャルで表した情報の混在表示（図１中①）。MR デバイスではこれらの情報を対象部位や、両手が空くことによる作業のしやすさから、維持管付近に表示する（図１中②）。さらに、これらの情報は、理の現場に MR を導入することによって維持管理業務のタップアンドホールド注３）というジェスチャー機能を利効率化や新たな付加価値を生み出すことが期待できる。

用してパネル中の維持管理項目をスクロールして閲覧で本研究では、MR デバイスを用いて維持管理情報や隠きる（図１中③）。また、現在表示されている情報がどの蔽部の建築部位が視野内にオーバーレイ表示されるプロ対象部位の情報かを対応付けるため、対象部位にピンをトタイプシステムを開発し技術的な検討を行う。なお、表示する仕様となっている（図１中④）。

本研究は、既往研究で開発された建築情報マネジメント

また、MR デバイスを利用して、その部位に関する維システム （以下、BIMS）の閲覧手法の 1 つとして提案、持管理情報を BIMS のデータベースから呼び出す際、対開発を行っており、BIMS で入力された情報が MR デバ

象部位を認識する方法としては、QR コードを部位識別イスでも表示できる仕様とする。

情報タグとして採用する。対象部位を識別する QR コー

１）

ドを MR デバイスに付随されたカメラで撮影（音声によ2. MR を用いた施設維持管理情報閲覧システムの開発
MR を用いることで、点検現場において対象部位の過る操作）して撮影画像を処理し、QR コードに設定した去の情報（故障履歴や修理歴など）」、「現在の情報（運転ドから維持管理情報を取得する仕組みとなっている。

日本建築学会情報システム技術委員会
第 42 回情報･システム･利用･技術シンポジウム論文集， 220-223 ， 2019 年 12 月，東京
Proceedings of the 42nd Symposium on Computer Technology of Information ，Systems and Applications ， AIJ ， 220-223 ， Dec. ， 2019 ， Tokyo

部位 ID を取得する。そして、部位 ID を基にサーバサイ－ 220 －部位 ID については、Revit で作成した BIM モデルか約 90 ミリ四方の QR コードを用いる。

ら FBX 形式で 3D モデルの書き出しを行った際に、図２2.2. 隠蔽部位の 3D モデル表示機能の開発のように Revit で設定した部位のタイプ名と、モデリン

隠蔽部位の 3D モデル表示機能の開発では、実空間のグ時に自動的に付与されるオブジェクト ID で構成され隠蔽部に存在している配管やダクト等の 3D モデルを天る名前が部位毎付けられる。このオブジェクト ID を部

井や PS・EPS 等にオーバーレイさせて表現する（図３）。

位 ID として利用する。

さらに、理想的には、実空間での MR デバイスの位置となお、MR デバイス利用前に予め QR コードを部位毎閲覧方向がバーチャル空間（実空間と同スケールの空間に作成・設置する必要がある。また、天井付近の維持管に配管やダクトの 3D モデルが同じ位置に配置された空理対象部位をビル管理者が HoloLens を装着して見上げ間）の位置と閲覧方向が常に一致することで、MR デバた時に QR コードを認識できる大きさを検証した結果、イスを装着して自由に移動し、見回しながら閲覧できる方が望ましい。しかし、開発する中で表示される隠蔽部①対象部位の維持管理情報・コミュニケーション情報表示の UI の一例

Category:Revit 機械設備
タイプ名:全熱交換気ユニット
レベル:7FL
場所:7 階執務室
発見日 01:09/19/2016
完了日 01:
不具合内容:ルーバーの破損
要望事項 01:交換が必要ですの 3D モデル部位の位置が実際の部位位置とズレが生じ[完了]7FL ルーバー交換
破損していたルーバーの交換が完了しました。
なお、異音の原因については現在調査中です。

線の変更のみを行って閲覧する機能として開発する。また、3D モデルの表示方法については、予めどの 3D モデ[管理者:〇〇]

ルを表示するかを定義した QR コードを手元に用意し、QR コード

MR デバイスを QR コードに向け、音声操作によって コ ー ドを 読 み 取る と対 象 部 位の 維 持 管理 情報・コミュニケーション
情 報 が パネ ル 表 示さ れる。パネルは透過した、対 象 部 位付 近 に 浮遊 する 形 で 表示 さ れ る。 また、MR デバイスを別方向に向けても、パネルは追従 せ ず 対象 部 位 付近 に留まる。

②MR デバイス内での対象部位の維持管理情報・コミュニケーション情報表示の様子④維持管理情報と対象部位を関連付けるピン表示

たため、閲覧する際は、指定した場所からは移動せず視③ジェスチャーによるパネルのスクロール操作

指定した場所から読み取ることで、対応した 3D モデルを表示する。
この機能は、３つの仕様によって構成されている。１
つ目は、隠蔽部に存在する配管やダクトの 3D モデルのマテリアルを半透明にして表示する仕様とした。隠蔽部の配管等は上下左右奥行き方向に非常に複雑に入り組んでおり、一目でその構成把握することが難しい。また、配管同士の重なりによって見たい情報を隠蔽してしまう問題ある。そこで、半透明表現を用いて配管が隠れていることを防ぎ、閲覧性の向上を図っている。
２つ目は、天井裏にある隠蔽部位を室内から確認できる仕様とした。MR デバイスにフロア全体の配管モデル

手の動き連動してスクロールする
パネル表示と同時に現在閲覧している情報がどの部位かを示すため、対象部位にピンを表示する。ピンが MR デバイスの視界から外れた際にパネルとピンを非表示にする仕様とする。

図１を表示すると、実際の壁に天井裏の配管が重なって表現

HoloLens がサポートするジェスチャー機能を利用し、親指と人差し指でつまみ上下に動かすタップアンドホールドと呼ばれる手の動作と連動して、維持管理情報パネルがスクロールされる。これにより、多くの維持管理情報項目を閲覧することが可能になる。

MR デバイスを用いた維持管理情報閲覧システムの概要

下図は、FBX ファイルを Unity で読み込んだ際のモデルの構成リストである。建物部
位毎に Revit で設定されたタイプ名[部位ID]という形で管理されていることがわかる。この部位 ID を組み込んだ QR コードを作成し、対象部位付近に設置する。

され、正しい位置関係が表現できない。そこで、対象となる室内の天井裏の配管のみを表示する仕様とし、問題の解決を図っている。具体的には、天井裏の配管を表示する際は、HoloLens の深度センサーとカメラの映像を利用して特徴点の抽出を行い、部屋の壁を認識し、その位置でトリミングを行い、対象となる室内の配管のみを確認できるようにした（図４）。
３つ目は、MR デバイスを利用するユーザの身長の違いを認識し、自動的に正しい高さ位置に 3D モデルが表対象部位示される仕様とした。具体的には、HoloLens の深度センサーを利用し、深度センサーから天井までの距離を利用して配管モデルを表示する高さを調整している（図５）
。

タイプ名

部位 ID

QR コードの大きさは、MRデバイスと対象部位の距離に関係し、遠くの対象部位を認識しようとすると QR コードは大きく作成する必要がある。

図２

報告 H2190mm

MR デバイスで対象部位の QR コードを読み取り維持管理情報を閲覧する様子

部位 ID の抽出と QR コードの利用

図３ MR デバイス内の天井隠蔽部の部位表示（配管・設備）の様子－ 221 －

壁

BIMS

視界に入っていても表示されない

HoloToolKit-Unity（SDK）

スラブ

HTTP 通信壁

壁

MR デバイス制御

MR デバイス（Microsoft HoloLens）

壁

天井
トリミングをしないと壁に天井裏の配管モデルが表示されているように見えてしまう。

図４

壁部位を利用した配管モデルのトリミングによる表示

天井面コミュニケーション
データベースサーバサイド・配管モデルの設定

HoloLens のカメラで撮影した QR コードを Zxing（ライブラリ）で認識し、部位に割当てた固有の識別子（オブジェクト ID）を取得する。そして、サーバサ QR コード
イドにオブジェクト ID を (対象部位問い合わせて維持管理情報 毎に貼付け)を取得・デバイスに表示する。

表示する高さを自動修正
身長が異 なるた
め表示位 置にずれが生じる

天井の位置の取得には、Raycast と呼ばれる Unity の機能を利用する。MR デバイスのカメラセンサーと Raycast を利用することで、視線の先にあるオブジェクト（ここでは、天井部位）の位置情報を認識できる。そして、天井の高さ座標を基準に配管モデルを配置することで、デバイス装着者の身長の違いに対応した配管モデルの表示ができる。

図５

属性情報
データベース

壁部位を利用した配管モデルのトリミングによる表示

インポート
配管モデル

表１ 実験概要
項目
日時
対象建物
階数
延べ床面積
被験者について内容2018 年 2 月 14 日
K ビル (東京都) ：K 社が所有する本社ビル
地上 12 階、地下 1 階 (実験対象フロアは 7 階)
約 9,000 ㎡
K ビル管理者 1 名：(30 代男性、経験年数：約 10 年)
1． QR コードに MR デバイスのカメラセンサーを向け、音声操作によって撮影すると対象部位の維持管理情報が表示される仕組みを体験する。
（実験様子は図６中写真、体験位置は、図７に示す赤丸３ヶ所）
2． 隠蔽部の部位を確認するため、指定した立ち位置から MR デバイ（図７に示す青の網スに表示された隠蔽部の部位表現を体験する。
掛け部の範囲の部位確認）
1． 点検を行う現場で MR デバイスを利用した時、どのような点が良いと感じましたか？
2． 点検を行う現場で MR デバイスを利用した時、どのような点が問題だと感じましたか？
3． 今回表示された情報以外で、業務中に表示されると便利だと思う情報はありますか？

実験内容

本システムの基本構成を図６に示す。MR デバイスがヒアリング内容が処理を行うサーバサイドの処理の２つの処理系統を利用する。クライアントサイドの処理では C#で記述したプ

クライアントサイド

図６ 開発システムの基本構成

2.3. 開発システムの基本構成処理を行うクライアントサイドの処理と、ウェブサーバ・対象部位の維持管
理情報表示パネ
ルの UI 作成

空調機室内ユニット

ログラムを利用して、機器等の識別、情報の表示、実空間の認識を行い、前述した２つの開発機能が動作する仕組みとなっている。サーバサイドでは PHP で記述したプ

非常照明

ログラムによって BIMS のデータベース（属性情報 DB・照明器具

コミュニケーション DB）から情報の取得を行う。また、クライアントサイドとサーバサイドは HTTP 通信で情報のやり取りを行う仕組みとなっている。
配管モデルは、建物設計時に作成されたモデルの IFCデータを Revit で開き FBX 形式で書き出したものを利用する。

K ビル 7 階
一部

コード設置個所
QRQRコード・閲覧対象部位の位置
配管表示モード立ち位置
隠蔽部の部位を確認する立ち位置

図７ 実験対象の部位位置について

4.1. 実験による利点の整理
ヒアリングの結果、「点検中の履歴情報の閲覧が容易」、「配管位置の素早い把握」「点検業務中の持ち物の削減」、

3. MR を用いた施設維持管理情報の閲覧実験など概ねシステムを評価する回答を得ることができ、維BIMS を導入して維持管理を行っているオフィスビル

持管理の現場における情報の閲覧性や理解度の向上、さでビル管理者が点検現場で MR デバイスを活用して情報らには両手が使えることの作業の効率化をMR導入によ閲覧する実験を行う。その結果を踏まえ、ヒアリングによって確認することができたと考える。

る簡易評価を行う。実験の概要について表１に示し、実験

4.2. 実験による問題点の整理を行う閲覧対象部位の配置場所と隠蔽部の部位を確認するための立ち位置を図７に示す。

実験を行った結果、音声入力による操作が問題として挙げられた。これは、「休憩室などで声を発しながらの点検は施設利用者の妨げになる」や、「雑音が大きい環境で4. MR を用いた施設維持管理情報閲覧の利点と問題点の整理は音声認識が上手くいかない」など、室内環境によってMR を用いた施設維持管理情報閲覧について、実験のヒア音声による操作が適していない状況が存在するためだと

リング評価から得た利点と問題点及び、開発段階で生じた考えられる。

MR の技術的な問題点についてそれぞれ述べる。

4.3. システム開発の中で生じた技術的な問題点の整理

報告 H21－ 222 －１）3Dモデルと現実のモノの位置のずれ
実空間に存在するモノに重ね合わせて3Dモデルを表示する際に表示位置にズレが生じる（図８）。この問題は、される方法について検討することが挙げられる。
なお、本研究は科学研究費補助金（基盤研究（C）、課題番号18K04483）の一環として実施した。

予め定めたデバイスを見回す立ち位置を決めておくこと現実空間の照明である程度解決ができるが、MRデバイス位置を計測すずれるセンサー類（加速度センサー、ジャイロセンサー）の精度の問題から、実際の空間でのMRデバイス位置とバ仮想空間の照明ーチャルの空間で認識されている位置（カメラ座標）にずれが生じる。図９は、MRデバイスを原点0からZ軸座標方向に真っ直ぐ3.6m毎注４）に移動した時のカメラ座標を示したものである。開始位置から離れる程ずれ幅が大きくなることが読み取れる。この検証では、1mの移動に図８-10.8

現実空間と仮想空間の部位のずれ-7.2-3.600

[m]

3.6

7.2

10.8

つき、約2.7cmのずれを確認した。そのため、隠蔽部の部-3.6

位の3Dモデル表示機能の開発では、指定した位置からは移動せず視線の変更のみで閲覧する仕様となっている。

-7.2

3D部位にMRデバイスからの視線を当てると、その当たり判定からその部位に関連する維持管理情報を引き出す仕組みを想定したが、ずれの問題から構築が難しく、結果としてQRコードを利用した対象部位の認識方法を採

z座標

さらに、維持管理対象部位の情報閲覧機能では、当初、
-10.8

１回目

２回目

３回目

実際の測定位置-14.4

MR デバイスを装着して真っ直ぐ移動すると、遠くになるにつれてカメラ座標が分散しており、ずれが大きくなっていることが分かる。
なお、本検証では、zx
平面が水平方向となっている。

-18用している。
２）深度センサーの精度
今回利用したMRデバイスに搭載されている深度センサーは、図10に示すようにセンサーで取得した点群情報

移動方向

-21.6

x座標

図９ 直線に移動した時の MR デバイスのカメラ座標
壁のメッシュが上手く作成できなかった部分をもとに壁や天井などのメッシュを作成することができる。しかし、本研究で利用したMRデバイスでは、目の前にある対象物を正しく認識できず、実空間の壁の手前（あるいは奥）にメッシュが生成されてしまうなど、正確な空間に即したメッシュの作成ができないことが生じ配線カバーの凹凸の特徴部分が認識できなかった部分た。そのため、隠蔽部の部位の3Dモデル表示で配管のトリミングの位置が正しくできないことが見られた。
その他、MRデバイスのCPUの処理が低く3Dモデルの描画に時間がかかる等、現状のMRデバイスの性能が維持管理業務に対応できていない問題が明らかとなった。

5. まとめ本研究では、MRデバイスを活用した施設維持管理情報の閲覧支援するシステム開発の第一歩として技術検討を行った。そして、MRを用いて施設維持管理情報の閲覧の利点と問題点の把握を行った。実験より、MRデバイスを維持管理の現場で活用することによって、実物の現状とバーチャルな維持管理情報の混在表示や隠蔽部位の位置関係の理解が容易であること、さらに、持ち物削減による作業向上の可能性があることを確認することができた。しかし、技術的な問題が多く、実務での利用のためには、多くの課題を解決する必要がある。今後の課題として、MRデバイスからの情報入力方法の在り方や、対象部位の欲しい情報を求めたタイミングで簡単に表示

報告 H21

図 10 実験対象の部位位置について［参考文献］
1） 仲間祐貴，大西康伸, 位寄和久:維継続的利用と情報共有を可能にする建物維持管理支援のための BIM を活用したウェブシステムの開発,日本建築学会技術報告集、第 22 巻
第 50 号、pp.359～364 、2015.2［注釈］注 1）Microsoft が開発しているヘッドマウント方式のウェアラ
ブルコンピューターである。Microsoft HoloLens（以下、HoloLens）は、本体にセンサー、CPU や GPU に加えて、HoloLens 用に生産された HPU（Hologram Processing Unit）を搭載しているため、単体で機能することができるスタンドアローン形式である。
注 2）コミュニケーション情報とは、正式な維持管理情報として記録するまでもないが、後に業務上重要になる可能性がある「気づき」を、対象の部位位置を示す 3D モデルビューを作成し、コメント情報と組み合わせたものである。
注 3) HoloLens がサポートするジェスチャー機能は、タップアンドホールドの他、ブルーム、エアタップの３つのジェスチャーがありシステムを操作することができる。
注 4) 3.6ｍ毎に計測した理由として、ケーススタディの梁部位間隔であり、その重ね合わせによる検証を行ったため。

－ 223 －