情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3B01
2021/3/10

3 次元計測と機械学習による補完を用いた現実ベース VR 空間のリアルタイム構築
松尾直紀1,a)

井村誠孝2,b)

概要：HMD を利用した VR 体験の際，ユーザは自身の周辺状況を知ることができないため，障害物のない空間を必要とする．本研究では，様々な現実環境で VR 体験を可能とすることを目標として，距離カメラから現実空間の障害物位置を計測し，同じ位置に VR 空間でもバーチャル物体を設置することで，現実空間の物体分布を反映した VR 空間をリアルタイムに構築する．障害物位置計測時に計測できない未確定部分の穴埋めに加えて，空間の境界になる物体と普通の障害物のセグメンテーションを機械学習ネットワー
クで行うことで，それぞれに対応したバーチャル物体の重畳が可能になり，より空間認識のしやすい VR空間が構築できる．人が実物体同様にバーチャル物体を回避するか定かではないため，バーチャル物体に対する人の回避行動の特性について実物体に対する行動と対比して調査し，得られた知見に基づいて，障害物のある空間でも世界観を損なわない現実空間の物体分布を反映した VR 空間のリアルタイム構築システムを実装する．

1. はじめに近年，Head Mounted Display(以下 HMD) が一般的に利用できるようになり誰でも簡単に Virtual Reality(以下VR) を体験できるようになった．ユーザは HMD 装着時に現実世界での自分の周辺状況を知ることができないた
め，HMD を使用するには障害物のない空間が必要であり，ユーザの行動可能範囲は周辺環境による制限を受ける．実空間の障害物分布に合わせて VR 空間を構築することで，障害物のある空間でも没入感を損なうことなく VR を体験する方法が検討されている [1][2]．しかし，バーチャル物体は，一般的に実体は無いものという印象を抱かれているため，実物体と同じようにユーザが障害物を回避するかは定かではない．本研究では，バーチャル物体に対する人の回避行動の特性について，実物体と比較して調査し，得られた知見に基づいて，障害物のある空間でも世界観を損なわない現実ベースの VR 空間をリアルタイムに構築する．また，空間の境界になる物体と普通の障害物を機械学習ネッ
トワークによって分類し，それぞれに対応したバーチャル物体を重畳させることで，より空間認識のしやすい VR 空間の構築を目指す．

12a)b)

2. 関連研究
障害物分布に合わせて VR 空間を構築することで，VR空間への没入感を損なわずに実空間の形状や障害物をユーザに提示する方法が提案されている．Sra らの研究では，事前に空間の状況をスキャンし，点群解析によって床，壁を推定し行動可能範囲を検出する．そのデータから自動的にオブジェクトを割り当てて VR 空間を構築している [1]．
しかし, この研究では事前に 3D スキャンを行って得た空間のデータから VR 空間を構築しているため，空間が広いものになればなるほど事前スキャンが大変なものになり，スキャンを行っていない空間を歩行することはできない．また Cheng らによって事前スキャンを必要としない VR 空間の構築方法が提案されている [2]．Cheng らの研究では，

RGB-D カメラを利用し，リアルタイムに現実空間スキャンを行い，一定面積以上の障害物のない床平面を検出すると，VR 空間上で床平面をバーチャル物体で囲み，検出された空間以外をユーザに見せないようにして VR 空間を構築している．しかし，この手法では行動可能と判断されるのに一定面積以上の床平面が必要となるため，現実空間の広さを最大限に活用することができない．

関西学院大学大学院
関西学院大学
dic16538@kwansei.ac.jp
m.imura@kwansei.ac.jp© 2021 Information Processing Society of Japan514

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3B01
2021/3/10

断し，バーチャル物体を重畳する．

開始

3.3 誤った位置でのバーチャル物体重畳防止

VR空間をボクセルに分割

鏡面反射などの影響により物体表面が存在しない場所に生成結果をVR空間に反映点群が計測されることがあるため，誤った位置にバーチャ点群データ取得

ル物体が重畳されることを防ぐ必要がある．まず各ボクセ
ルが下記の三つの状態のいずれかであるとする．

点群データをVR空間座標に変更

学習済みネットワークによる生成結果取得• 障害物が存在する• 障害物が存在してはいけない障害物が存在しているか？

• 未確定

Yes

VRボクセル空間を学習済みネットワークに入力

以下の手順で間違った場所にバーチャル物体が重畳される

No

障害物が存在してはいけない
ボクセルか？

Noことを防止する．障害物があると判断されたボクセルの状態が「障害物が存在してはいけない」でなければ，状態を重畳バーチャル物体の変更

Yes「障害物が存在する」に変更してバーチャル物体を重畳す
バーチャル物体の重畳る．同時に，そのボクセルとカメラの間にあるボクセルには障害物が存在しないため，間にあるボクセルを「障害物誤った位置の障害物重畳防止が存在してはいけない」状態とする．ボクセルに点群が存在する場合でも，そのボクセルの状態が「障害物が存在し図 1

提案手法の処理の流れてはいけない」であればバーチャル物体を重畳させないことで，間違った点群データによりバーチャル物体が重畳さ

3. 提案手法
3.1 提案手法の概要

れることを防ぐ．

3.4 重畳バーチャル物体の変更

本研究では，現実空間の障害物と同じ位置に VR 空間で現実空間の構造情報をより把握しやすくするため，障害もバーチャル物体を配置することで，現実空間の物体分布物があると判定されたボクセル集合体の大きさにより重畳を反映した VR 空間をリアルタイムに構築する．図 1 に提するバーチャル物体を変更する．複数ボクセルの集合を一案手法の処理の流れを示す．VR 空間をボクセルに分割し，単位として VR 空間を分割し，分割されたボクセル集合に

HMD に搭載した RGB-D カメラより実空間の物体表面をついて，障害物が存在するボクセルの割合が定められたし点群データとして取得し，点群データを VR 空間座標に変きい値を超えた場合，そのボクセル集合体に別のバーチャ換する．各点が属しているボクセルを判定し，点が属するル物体を重畳する．

ボクセルがバーチャル物体を重畳してもよいボクセルであればバーチャル物体を重畳する．構築された VR ボクセル

3.5 機械学習による計測結果の補完とセグメンテーション

空間を機械学習させたネットワークに送り，計測できない

RGB-D カメラで現実空間を計測する際，他の物体で隠未確定部分の穴埋めを行う．同時に，空間の境界になる物れている物体表面を計測できないため，まとまりがある物体と障害物の二種類にセグメンテーションを行い，それぞ体でも一部穴が空いてしまう．また，壁やドアなどの空間れに対応したバーチャル物体を重畳することで，より空間の境界になる物体と椅子や机などの障害物の違いは，点群認識のしやすい VR 空間を構築する．

のみから判断することが困難であるため構築される VR 空間の品質が低下する．この問題を解消するために，VR 空

3.2 バーチャル物体の重畳方法

間の物体配置情報を機械学習させたネットワークに送り，画像ピクセルごとに距離情報を取得できる RGB-D カメ

計測できない未確定部分の穴埋めを行う．同時に，空間のラを用いて，ユーザ周辺の物体表面の位置を点群データと境界になる物体と障害物の二種類にセグメンテーションをしてリアルタイムに取得する．X 軸，Y 軸，Z 軸を等しい行うことで，それぞれに対応したバーチャル物体の重畳を長さで区切り VR 空間をボクセルに分割する．RGB-D カ可能にする．

メラから得られる距離画像の各ピクセルを VR 空間座標に変換し，属しているボクセルを判別する．該当したボクセ
ルには物体表面点群が存在するとして該当した回数をカウ

4. 機械学習による VR ボクセル空間の補完とセグメンテーション

ントしていく．カウント数が設定されたしきい値以上にな

VR 空間の物体配置情報を機械学習させたネットワーク

るとそのボクセル位置に現実空間で障害物が存在すると判に送り，他の障害物で隠れて計測できない未確定部分の穴© 2021 Information Processing Society of Japan515

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

8×128×128@1

3B01
2021/3/10

8×128×128@
1288×128×128@
644×64×64@
644×64×64@
2564×64×64@
1282×32×32@
1282×32×32@
5122×32×32@
2561×16×16@
2568×128×128@
648×128×128@
34×64×64@
128

Cov3d 3×3×3, BatchNorm3d, ReLu
2×32×32@
2561×16×16@
512

max pool 2×2×2
copy
Up-Cov3d 2×2×2
Cov3d 1×1×1, SoftMax

図 2 ネットワーク構造

図 4 正解ラベル

図 3 ボクセル空間にノイズを付加した入力データ

埋めと壁やドアなどの空間の境界になる物体と椅子や机な図 5 出力結果

どの障害物の二種類に分類することを目標に学習を行った．
ネットワーク構造として図 2 に示す U-Net 構造 [3] を採用する．入力は，VR 空間の物体配置情報を持った 8 × 128

× 128 のボクセル空間とし，未確定部分の穴埋めを行った上で「普通の障害物」「空間の境界となる物体」「障害物なし」の三種類にセグメンテーションしたものを出力する．
学習データセットはランダムに生成した壁と立方体で構成される 8 × 128 × 128 のボクセル空間にノイズを付加したもの (図 3) とその正解ラベル (図 4) を 1 セットとし，訓練データ 31000 セット，テストデータ 6400 セットを用い

図 6実装デバイスの構成た．ネットワークの実装は Python3.6.10 と機械学習ライブラリの Pytorch を使用した．

RealSense Depth Camera D455(解像度: 最大 1280 × 720，実行結果の例として，図 3 の入力に対する出力を図 5 にFOV: 86◦ × 57◦ (± 3◦ )，フレームレート: 最大 90 fps，取示す．水色のボクセルは壁面と判定されたことを示してお得可能深度: 0.4 m - 20 m)，VR 環境の構築には Unity

り，未確定部分の穴埋めとセグメンテーションがされてい2020.1.11f1 を用いた．RealSense は前方向のみだと足元にることを確認できた．

ある障害物を計測できないため，前方向と斜め下方向の二5. VR 空間リアルタイム構築の実装
5.1 デバイス構成

台を搭載した．

5.2 実装実装デバイスの構成を図 6 に示す．HMD には外部ト実装の結果図 7 の現実空間に対して図 8 の VR 空間がラッキングカメラを必要としない Oculus Rift S(単眼解像構築された．RealSense は解像度を 848 × 480 に設定し，度: 1280 × 1440，リフレッシュレート: 80 Hz，瞳孔間距0.4 m - 7 m の範囲で距離計測を行った．VR 空間を 30 cm

離: 63.5 mm)，距離計測のための RGB-D カメラは intel× 30 cm × 30 cm のボクセルに分割し，物体表面点群を© 2021 Information Processing Society of Japan516

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3B01
2021/3/10

図 9
図 7ベースとした現実空間構築された VR 空間 (機械学習無し)の回避行動の特性について実物体と比較して調査し，その知見に基づいて障害物のある空間でも世界観を損なわない現実ベースの VR 空間をリアルタイムに構築する手法を提案した．

RGB-D カメラにより取得した点群データをもとに現実空間の障害物と同じ位置に VR 空間上でもバーチャル物体を設置するシステムを提案し実装を行い，機械学習ネットワークより穴埋めとセグメンテーションをすることでより
図 8構築された VR 空間 (機械学習有り)

空間認識のしやすい VR 空間を構築を目指した．
実装の結果，障害物のある空間でも世界観を損なわない

RGB-D カメラの座標系から VR 空間座標系に変換を行い，物体表面が存在すると判断されたボクセルにバーチャルブロックを重畳した．重畳するバーチャルブロックは屋外の VR 空間を想定し，木箱ブロックを用いた．事前の実験で得られた知見 [4] に基づき，バーチャル物体を現実空間の障害物より 10 cm 大きく重畳することが望ましいため，RGB-D カメラで得られる距離から一律に 10 cm 減算することで，実際の障害物位置よりも 10 cm ユーザに近く重現実空間ベースの VR 空間をリアルタイムに構築することができた．
今後の展望として，提示するバーチャル物体の種類の増加や斜めの障害物の提示方法を検討し，より現実空間に忠実な VR 空間の構築を目指す．
参考文献
[1]

畳されるよう実装した．また，現実空間の構造情報をより把握しやすくするため，障害物があると判定されたボクセル集合体を同一障害物として扱い，木箱が縦に 4 つ重畳さ[2]れた時，その部分をレンガブロックに変換し重畳するようにした．加えて，構築された VR ボクセル空間情報を csvファイルに変換して学習済みネットワークに送り，未確定[3]部分の穴埋めとセグメンテーションを行った．学習済み
ネットワークの出力結果を Unity で読み取り，普通の障害物と判定されたボクセルに木箱ブロック，空間の境界になる物体と判定されたボクセルにレンガブロックを重畳した．

[4]

M. Sra et al.: Procedurally Generated Virtual Reality
from 3D Reconstructed Physical Space, Proceedings ofthe 22nd ACM Conference on Virtual Reality Softwareand Technology, pp. 191–200, 2016.
L.-P. Cheng et al.: VRoamer: Generating On-The-Fly
VR Experiences While Walking Inside Large, Unknown
Real-World Building Environments, IEEE Virtual Reality, pp. 359–366, 2019.
O. Ronneberger et al.: U-Net: Convolutional Networks for Biomedical Image Segmentation, Medical Image Computing and Computer-Assisted Intervention, pp.
234–241, 2015.
松尾直紀, 井村誠孝: バーチャル物体に対する回避特性を考慮した現実ベースの VR 空間構築, 情報処理学会研究報告, Vol. 2019-EC-54, No. 10, pp. 1–2, 2019.

学習済みネットワークによる穴埋めとセグメンテーションを行う前の構築 VR 空間は図 9 であり，壁面の下半分が計測されておらず，図 9 の破線に示すように低い位置に大きく穴が空いてしまっている．図 8 と比較すると，学習済みネットワークによって未計測部分の穴埋めとセグメンテーションがされており．より空間認識のしやすい VR 空間を構築できていることが確認できた．

6. おわりに本研究では，障害物のある空間でも HMD を装着したVR 体験を可能にするために，バーチャル物体に対する人© 2021 Information Processing Society of Japan517