行動特性に着目した MR による施設維持管理情報の閲覧・入力支援システムの拡充
Improvement of the Support System for View and Inputof Facility Operations and Maintenance Information Using MR Focusing
on Behavioral Characteristics○藤田 真衣 *1，大西 康伸 *2
Mai FUJITA＊1 and Yasunobu ONISHI ＊2*1 熊本大学大学院自然科学教育部 大学院生
Graduate Student, Graduate School of Science and Technology, Kumamoto Univ.
*2熊本大学大学院先端科学研究部 准教授 博士（学術）
Associate Prof., Faculty of Advanced Science and Technology, Kumamoto Univ., Ph. D.
キーワード：点検; BIM; CAFM; HMD; データベース; ジェスチャー
Keywords: Inspection; BIM; CAFM; HMD; Database; Gesture.

1. 研究の背景と目的情報）や点検履歴の閲覧だけでなく点検結果の入力が必

施設維持管理に関する情報を、巡回・点検等を行う現要であるが、入力機能が未実装であった。

場（以下、点検作業現場）で閲覧することは、維持管理業務を効率的・効果的に行う上で重要であると考えられ

3. 開発方針る。本研究グループの森山らの研究 1）では、Mixed Reality「データベースとの連携機能の開発」では、本研究室で

注 1）開発を行っている建築情報マネジメントシステム 2)（以下、巡回・点検行為の中で自然に必要な維持管理情報が閲覧BIMS）の点検作業現場における情報の入出力デバイスとできる手法を提案し、点検作業現場での維持管理情報閲して MRBIMS を位置づけているため、BIMS のデータベ（以下、MR）を利用し、特別な操作を必要とせず、覧システム（以下、MRBIMS）の開発を行った。しかし、 ースとの連携を行う。
データベースと未連携であることや操作性に問題がある

森山らの研究 1）では、MR デバイスとして Microsoft
HoloLens 注 3）（以下、HoloLens1）を使用していたが、本こと、入力機能が未実装であることが課題であった。
そこで次の開発段階として、1）データベースとの連携研究では、Microsoft HoloLens2（以下、HoloLens2）を機能の開発、2）操作性の改善、3）入力機能の開発を行使用する。HoloLens2 は処理速度の向上はもとより、視うことで実務での利用を目指す。

野角の拡大や左右 10 本の指が認識できることによる直感的な操作が可能となった。また、自己位置推定精度の向2. MRBIMS の問題点

上や、空間メッシュに基づく壁、床オブジェクトの自動において、MRBIMS はプログラムに直生成機能注 4）を実装している。HoloLens2 の機能の向上を接記述した維持管理情報を表示させた閲覧手法評価のた踏まえ「操作性の改善」では、実空間と 3D モデルの重畳めのプロトタイプシステムであり、データベースとの連調整において、空間メッシュに基づく壁、床オブジェク携が未実装であった。

トを用いた自動回転角調整機能を開発する。閲覧操作に

森山らの研究1）

操作性に関して、実空間と 3D モデルの重畳調整の際、「視覚的に判断しづらい」、「視線カーソルとエアタップ

注 2）

おいては、誤操作の要因であった視線カーソルによる操作実行をなくし、ハンドトラッキング機能の一つであるを組み合わせた操作が難しい」という問題があった。まハンドレイ注 5）を導入する。

た閲覧操作では、視線カーソルを当て続けることにより「入力機能の開発」では、可能な限り閲覧機能の操作で操作を実行する方法を採用していたが、情報を見るだけ提案するものと同じ操作方法を採用する。また、入力のにも関わらず意図せず別の操作が行われることや、操作ために特別必要な手間をなくし、閲覧行為と入力行為がが完了するまで時間を要する問題があった。これらはシームレスにつながるように配慮する。

「情報を見る」動作と「機能を実行する」操作が同一であることが要因であると考えられる。
点検作業現場では部材・機器の基本情報（以下、属性
日本建築学会情報システム技術委員会
第 44 回情報･システム･利用･技術シンポジウム論文集， 303-306 ， 2021 年 12 月，京都
Proceedings of the 44th Symposium on Computer Technology of Information ，Systems and Applications ， AIJ ， 303-306 ， Dec. ， 2021 ， Kyoto

開発には、MR コンテンツ作成にゲームエンジンである Unity 2018. 4（以下、 Unity ）、BIM ツールにオートデスク社の Revit2019（以下、Revit ）を使用する。

－ 303 －4. データベースとの連携

場合に近傍のマーカーを読み取り位置合わせを行うこと

MRBIMS のシステム構成を図 1 に示す。事前準備として、BIMS で利用する BIM モデル

から MRBIMS が必注 6）でずれを補正する。利用する MR デバイスの変更に伴う、現実空間のマーカーの配置間隔を検討するため、要とする点検部位、床、天井、部屋のオブジェクト以外

HoloLens1 と HoloLens2 の自己位置推定の精度を比較した。

を削除した MRBIMS 用 BIM モデルを FBX 形式でエクス実験方法として、MR デバイスの自己位置座標を表示するポートし、Unity にインポートする（図 1 中 a）
。次に、属プログラムを実行し、MR デバイスを置いた台車を水平に性情報 DB の部材・機器の位置する階数情報やカテゴリ情ゆっくり移動させ、実際の移動距離とプログラムで測定報を基に、インポートした MRBIMS 用 BIM モデルのオブした自己位置座標から算出した移動距離（3 回の平均）をジェクトの階層構造や要素 ID を自動整理する事前準備プ比較した（表 1）。
検証結果から、両 MR デバイスの傾向として、移動距離ログラムを Unity 上で実行する（図 1 中 b）。
MRBIMS では、マーカーを用いて実空間と 3D モデルのが大きくなると自己位置推定のずれが大きくなることが位置合わせを行う。マーカー認識時に属性情報 DB および分かる。また、両 MR デバイスを比較すると、全ての距離コミュニケーション情報 DB から部材・機器に関する情報で HoloLens2 の方が自己位置推定のずれが小さい結果となを取得し、属性情報パネルおよび関連情報パネル表示時り、HoloLens2 の自己位置推定の精度の向上が確認できた。に当該部材・機器に関する情報をパネルに表示する仕様

HoloLens2 の 5m 地点と 20m 地点の自己位置推定のずれをとしている（図 1 中 d）。また、処理負荷を軽減するため、 見ると、5m 移動するごとに 2cm のずれが生じていること取得した情報を基に点検者の位置しない階に属するオブが分かる。ずれの許容値を 30cm とした場合、森山らの研ジェクトを削除する。

究 1）では約 10m 間隔でマーカーを配置する必要があった

点検作業現場で入力した点検結果は、不具合がある場合に属性情報 DB、不具合がない場合に点検履歴 DB、不が、本研究ではマーカーを 75m 間隔で配置が可能であると考えられる。

具合につながる気づきの場合にコミュニケーション情報DB に記録される（図 1 中 e、f）。点検結果を文章により入5.2. 実空間と 3D モデルの重畳調整手法の改善力する際は、スマートフォンを用いて行う。入力した文実空間と 3D モデルを重畳する位置合わせを行う前に、章は文字入力 DB に一旦格納され、その後 HoloLens2 上の準備として実空間に配置したマーカーと同じ位置に、マ実施する点検項目を記したパネル（以下、入力パネル）ーカーオブジェクトを 3D モデル内に配置する。次に、の指定した文字フォームに当該文字が自動入力される

HoloLens2 が RGB カメラでマーカーを認識することで、（図 1 中 g、h）。

それと対応するマーカーオブジェクトが重なるように 3Dモデルを重畳する。その際、MR デバイスがマーカーを認

5. 操作性の改善

識する精度では、3D モデルに回転を伴うずれが生じる。

5.1. マーカーの配置間隔の変更

3D モデルの回転を担う三軸の情報を空間メッシュに基づ

現状の MR デバイスの自己位置推定の精度では、マーカ

く壁、床オブジェクトから得るには、最低二面のベクトーにより位置合わせを行った場所から離れるごとに実空ル情報を取得する必要がある。本システムでは、マーカ間と 3D モデルのずれが大きくなる。MRBIMS では、複数ー読み取り後に作成される空間メッシュに基づくオブジのマーカーを建物内に配置し、ずれが大きくなってきた

ェクトをマーカーの配置してある壁、それと直交する床の順にハンドレイで選択することで、オブジェクトのベ

Revit

Unity

a FBX 形式でエクスポート

クトル情報を 3D モデルの回転角に反映し、ずれの調整を行う（図 2）。手動でずれを調整する必要がなくなり、よb 属性情報

MRBIMS 用
BIM モデル

り正確な位置合わせを行うことが可能となる。

インターネット

MRBIMSBIMS のデータベース（既存）
コミュニケーション情報
DB

文字入力 DBg 文字情報f 気づきに関する情報
h 文字情報点検履歴 DB
点検結果（不具合なし）d 気づきに関する情報

表 1 移動開始点を基準とした各地点でのMR デバイス内の距離

属性情報 DB
c ビルド（DB との関係表示）

属性情報
＋
点検結果
（不具合あり）

移動開始点からの実際の距離
HoloLens1
移動開始点からのMRデバイス内の距離
HoloLens2

d 属性情報および不具合情報

YX

入力パネル

Z

20m
20.50m
19.92m

事前準備X

床オブジェクト

空間メッシュに基づく壁、床オブジェクトの自動生成属性情報パネル

図 1 MRBIMS のシステム構成図

報告 H0815m
15.39m
14.93m

壁オブジェクト

情報閲覧
HoloLens2

文字入力ページ

10m
10.25m
9.99m

インターネットe 点検結果の情報

スマートフォン
情報入力

5m
5.14m
5.02m

自動回転角調整前

自動回転角調整後

図 2 空間メッシュに基づく壁、床オブジェクトを用いた自動回転角調整機能－ 304 －

5.3. 属性情報パネルの表示有効範囲の変更ができるため、パネルを閲覧しやすい位置に移動させる

MRBIMS では、膨大な数の部材・機器の中から閲覧者の近傍にある部材・機器を把握し、自動的に属性情報パことや、部材・機器の情報を見比べるために複数のパネルを並置することが可能となる。

ネルを表示する。属性情報パネルを表示させる範囲（以b）、c）「関連情報パネルの表示」、「関連情報パネルの下、表示有効範囲）は対象の建物の天井高、属性情報パスライド」では、属性情報を閲覧する際に、関連情報パネルの高さ、属性情報パネルと部材・機器を結ぶ線の長ネルが意図せず表示されたり、関連情報を見る際にパネさ、日本人の目線の高さの平均、MR デバイスの鉛直方向ルがスライドしてしまうことがあった。また、誤操作防の視野角、人間が対象を認識できる仰角の 6 つの要素を基止のために設けていた実行開始までの時間が、操作に時に算出する（図 3）。森山らの研究

では、HoloLens1 の鉛間がかかる要因となっていた。改善後は、どこを見てい直方向の視野角である 10.85°を用い、表示有効範囲をても操作には影響しなくなり、エアタップやタップアン2.61m とした。本研究では、HoloLens2 の視野角の拡大にドホールドで任意のタイミングで実行が可能となった。

1）d）「属性情報パネル内の上下スクロール」では、パネ伴い、鉛直方向の視野角である 14.50°を用い、表示有効範囲を 1.94m とした。

ルとの距離が遠くなるほど選択対象が小さくなり視線カーソルが当てにくくなることや、スクロールにより情報5.4. 閲覧操作の改善が上下移動するにも関わらず常に情報パネルに視線カー改善を行った MRBIMS の 5 つの閲覧操作を図 4 に示す。

ソルを当てなければならないという煩わしさがあった。

a）「属性情報パネルの移動」では、パネルを移動させ改善後は、「できるだけ頭を動かさない」といったパネルたい方向に顔を動かす必要があることや、パネルの前後を注視する行動の必要がなくなり、自由に閲覧しながらの自由な移動ができない問題があった。改善後は、手ののスクロールが可能となった。
e）「オプションメニューの表示」では、タップアンド動きに基づいてパネルを 3 次元的に自由に移動させることホールドが他の操作にも使用されていることから、誤っ見上げることで部材・機器と情報パネルが同時に見える範囲

天井

部材・機器

lh

天井

MR デバイスの鉛直方向の視野角 θ´

閲覧者

天井高：CH

表示有効範囲：r

日本人の目線の高さ平均：1500θ´θ´θ´と人間が対象を視認できる仰角を比較して小さい方をθとする操作と差別化し、視線カーソルと手の平を用いる動作に

r = (CH − (lh + (ph / 2) + 1500)) / tanθ

ph属性情報MR デバイスのディスプレイてメニューが表示される可能性があった。改善後は他の視線水平時に天井に あ る 部 材・ 機 器の情報パネル下半分が視認できる最小の半径

図 3 属性情報パネルの表示有効範囲の算出
MRBIMS 改善前操作b） 関連情報
（不具合情報、もしくはコミュニケーシ
ョン情報）
パネルの表示図 5 に開発した入力機能について示す。入力パネルは、
属性情報パネルと同様に実空間にオーバーレイして情報
HoloLens2 での様子

属性情報パネルのタイトル部分にハンドレイを当て、タップアンドホールドした状態でパネルを移動させたい方向に手を動かすことでパネルを手前奥、上下左右に動かす。

者の目前にパネルが移動する。

上下左右

6. 入力機能の開発

MRBIMS 改善後

属性情報パネルに視線カーソルを手前奥 当て、エアタップをすることで閲覧a） 属性情報パネルの移動することで誤操作を防止する。

属性情報パネル属性情報パネルが目前にある
場合、閲覧者の視線の動きに合わせてパネルが自動的に移動する。上記と同様の動作でエアタップをすることで、パネルをその場に固定する。

ハンドレイ

パネルのタイトルにハンドレイを当てる

タップアンドホールドする

手を手前に動かしパネルを近づける

関連情報を表示するためのアイコンに一定時間視 関連情報を表示するためのアイコンにハンドレイを当て、エアタップすることで線カーソルを当て、当該パネルを表示する。
当該パネルを表示する。

関連情報パネル表示アイコンにハンドレイを当てる

エアタップすることで、関連情報パネルを表示する

手前に移動させたい関連情報パネルのタイトル部 関連情報パネルにハンドレイを当て、分に一定時間視線カーソルを当てることで、関連 タップアンドホールドした状態で手を左右に動かすことで、その方向にパネル情報パネルをスライドする。
をスライドする。

c) 関連情報パネ
ルのスライド手前のパネルにハンドレイを当てるd) 属性情報
パネル内の上下スクロール

タップアンドホールドする

パネルにハンドレイを当て、タップアンドホールドする
一定時間タップアンドホールドし続けることで、オプションメニューを表示する。

e) オプションメニュー（入力モード、配管表示、重畳調整モード）の表示

手を左右に動かしパネルをスライドする

属性情報パネルに視線カーソルを当て、タップアン 属性情報パネルにハンドレイを当て、ドホールドした状態で手を上下に動かすことで、そ タップアンドホールドした状態で手を上下に動かすことで、その方向に情報をの方向に情報をスクロールする。
スクロールする。

手を上下に動かし、情報をスクロールする

一定時間手の平に視線カーソルを当て続けることで、オプションメニューを表示する。
閲覧入力モード切替

配管表示

マーカー認識視線カーソル
手の平に視線カーソルを当てる

手の前方にオプションメニューを表示する

図 4 MRBIMS 改善前後での閲覧操作に関する機能

報告 H08－ 305 －

a 入力パネルの表示

設備

設備

設備

1.2m

オプションメニューから入力モードに切り換えることで、情報入力範囲が有効となる。
点検者が移動することで属性情報パネルが情報入力範囲に入った時、もしくは属性情報パネルを情報入力範囲内に引き寄せた時、属性情報パネ
ルが入力パネルに切り換わる。
また、入力パネルが情報入力範囲から出ると、入力パネルは属性情報パネルに切り換わる。

1.2m

1.2m
入力パネル

属性情報パネル

入力パネル

情報入力範囲情報入力範囲断面図

属性情報パネルを引き寄せる

断面図

情報入力範囲b 入力パネルの仕様（例：給排気ファン設備点検）＜情報入力の開始＞
情報を入力する項目にハンドレイを当てエアタップすることで、選択した項目に従った情報の入力が開始される。

文字入力
リストから選択

不具合
内容項目

文字入力

＜写真登録＞
項目を選択すると撮影モードとなる。
エアタップしてから3 秒後に写真が撮影され、入力パネ
ルに撮影した写真が表示される。

文字入力
写真登録

断面図

属性情報パネ
ルに近づく

ハンドレイ
文字入力ページ＜リストから選択＞
項目を選択すると、選択肢リストが表示される。次に該当する点検の結果を選択する。
「不良」か「注意」を選択すると、不具合内容項目が表示されるため、続いて入力する。
＜文字入力＞
あらかじめスマートフォ
ンで文字入力ページに文字を入力する。入力
パネル上の文字入力したい項目を選択すると、スマートフォンに入力した文字が自動入力される。

図 5 MRBIMS の入力機能の概要の入力を行う。なお本研究では、BIMS を運用しているオの追加や本研究で改善および開発した機能の評価があげフィスビルで行われている点検業務および点検項目を参られる。

考に入力パネルを作成する

注 7）

。

入力パネルを表示するためには、まずオプションメニ

なお、本研究は科学研究費補助金（基盤研究（C）、課
題番号 18K04483）の一環として実施した。

ューから入力モードに切り換える。次に点検者が属性情報パネルに近づいた時、もしくは属性情報パネルを点検

注釈
注1） 複合現実感と訳され、現実のモノと仮想的なモノがリアル者の近傍に引き寄せた時に、自動で属性情報パネルが入タイムで影響しあう空間を構築する技術全般を指す。
力パネルに切り換わる（図 5 中 a）
。入力パネルに切り換
注2） 人差し指と親指でつまむジェスチャー。
わる範囲（以下、情報入力範囲）は、点検者を中心とし
注3） センサーや CPU、GPU に加えて、専用に生産された HPUを搭載しているため、単体で機能することができるスタン
た高さ無制限で半径 1.2m の円柱の内部とする。半径は入ドアローン形式の MR デバイスである。HoloLens2 では視野力パネルに情報入力が可能かつ点検者と入力パネルがで角の拡大による没入感の向上や、ホログラムを触れたり動きるだけ離れた距離とし、検証の結果この数値を定めた。
かしたりできることによる直感的な操作が可能である。
注4） MR デバイスのカメラやセンサー情報をもとに作成した、入力パネルへの点検結果の入力の際は、ハンドレイと複雑な三角形状の環境メッシュを、HoloLens2 で利用できエアタップを組み合わせた操作方法を用いる（図 5 中 b）。
る「Scene Understanding SDK」を用いて壁や床などの面形HoloLens2 で文字を入力する場合、重畳表示されたソフト状のオブジェクトとして変換したもの。
注5） 手のひらを前方に向けると、レーザーポインタ（ハンドレウェアキーボードを用いて入力する必要があるが、キーイ）が表示され、手を握ることで操作実行を行う。と指の接触判定に問題があり直感的な操作とは言えない。
注6） 建物オーナーや建物管理者が維持管理業務において必要とそこで本研究では、文字を入力する方法としてスマートする詳細度で点検部位および建築の主要部位をモデリングしたものに、属性情報を付与したモデル。
フォンを利用する。グローブをはめていると操作が困難
注7） 本研究では点検結果の入力として、日常巡視点検と月次点であるが、今後の課題とする。
検の一例として給排気ファン設備点検の 2 業務を対象としまた、点検者が点検結果を入力しやすい位置に入力パた入力パネルと、コミュニケーション情報を対象とした入力パネルの 3 種類を作成した。
ネルを自由に移動できる仕様とする。入力パネルの移動およびスクロール方法は、属性情報パネルと同様とする。
7. 研究の成果と展望
本研究では、MRBIMS の問題を解決することを目的とし、データベースとの連携、操作性の改善、入力機能の開発を行った。今後の課題として、閲覧者の身長に基づいて属性情報パネルの表示有効範囲を自動変更する機能

報告 H08

参考文献
1）森山大輝、大西康伸、「行動特性に着目した MR による施設維持管理情報の閲覧に関する研究」、日本建築学会第 43
回情報・システム・利用・技術シンポジウム論文集（DVD）、pp.140-143、2020.12、オンライン
2）仲間祐貴、大西康伸、位寄和久、「継続的利用と情報共有を可能にする建物維持管理支援のための BIM を活用したウェブシステムの開発」、日本建築学会技術報告集、第 22 巻、第 50 号、pp.359-364、2016. 2－ 306 －