情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1B-482024/2/28

3D Gaussian Splatting および赤外線タッチセンサを用いた指の歩行ジェスチャーによる 3 次元空間上歩行システムの制作
石井飛鳥†1†2白井雅也†1†2村田洋敏†2

概要：本研究では，指の歩行ジェスチャーを用いて 3 次元空間を歩行するシステムを開発した．赤外線タッチセンサを活用し，指先の動きをトラッキングすることで，ユーザーは指で歩く動作をするだけで，3D Gaussian Splatting によって再構成された建築物や自然環境のモデル内を探検できる．本システムは，ヘッドマウントディスプレイや ARデバイスといった技術を用いないことで，複数人での視点共有や簡単な操作性を実現しており，住宅や展示空間の模型，公共空間の案内板，アクセスが困難な地域のマップなど，様々な応用先が想定される．今後の課題としては，ジェスチャー認識の精度向上，赤外線タッチセンサの設置面の検討などが挙げられる．

1. はじめに
本研究は，図 1 に示した指先で人の歩く姿を模倣する動き（指人間の歩行ジェスチャー）を赤外線タッチセンサでトラッキングし，指人間のいる場所と向いている方向を推定した情報を元に，3D Gaussian Splatting[1]でキャプチャされた建築物や自然環境といった現実空間の再構成モデル内を探検するコンテンツのためのシステムを制作したものである．図 2 に示すように，ユーザーは，タッチセンサが取り付けられた地図上を指人間の歩行ジェスチャーで歩くという簡単な動作で，CG 上の 3 次元空間を自由に移動することができる．VR および AR 技術を用いてある場所の再現をする取り組みはもはや一般的なものになりつつある

図2

展示の全体図．

が，体験者が見ている視点を他の人と共有しづらい，一人一人がデバイスを操作するため共通の体験を共有できないといった問題がある．本技術は，指先のジェスチャーから2. 関連研究視点を計算し映像をディスプレイに描画するため，地図と実世界を CG 上にモデルとして再構成し，中を探検で指人間を俯瞰する 3 人称視点と，指人間の 1 人称視点を同きるようにする体験としては，歴史的建造物のデジタルア

時に複数の人が見ることができる．また，操作のためのデーカイブ研究などが代表的である．例えはギザのピラミッバイスを必要とせず，誰もが行ったことのある指のジェスドを自由視点で探索する GIZA 3D[2]などが挙げられるが，チャーで操作ができるため，誰でも簡単に体験することがこうした研究は建造物の形状に関して正確な計測を求めるできる．本技術は，住宅や展示空間などの建築物模型，公ものであり，非研究者や非専門職の人々は購入が難しいレ共空間における地図案内板，実際に歩くことが困難な環境ーザースキャナやフォトグラメトリ装置を利用することが保全区域や被災地の再現マップへの応用が想定されている．

多い．本研究では， 画像情報からボリュームデータを生成する深層学習モデルの 3D Gaussian Splatting を利用することによって，再構成のためのデータの獲得が容易な方法を採用した．
また，観光地や建造物や自然をリアルに探索するコンテンツとしては GIZA 3D の他にも，有馬温泉と草津温泉が参加する「湯めぐり VR」[3]や，長野県箕輪町の「360°VR でめぐる長野県箕輪町」[4]などが挙げられるが，いず

図1

指人間の歩行ジェスチャー

れも VR や AR デバイスを用いることが想定されている．

†1 慶應義塾大学†2 電通クリエーティブ X© 2024 Information Processing Society of Japan393

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1B-48
2024/2/28

こうしたデバイスによる体験設計は没入感が演出できる一ャプチャ可能領域内で押下，押上された指先の位置をトラ方で，複数人で体験を共有することが困難である．また，ッキングすることにより，指人間が空間上のどこに立って視点移動のための操作方法をユーザーが学習する必要があいるのかを推定する．このデバイスは本来ディスプレイのる．以上の問題に対して，本システムでは指のジェスチャ上から取り付けて，タッチ入力を擬似的に可能にする製品

ーから推定されたカメラの位置と姿勢からレンダリングをである．しかし，今回は複数の指の同時トラッキングが可行い，プロジェクターに投影することで，複数人での体験

能な単なる赤外線タッチセンサとしてこれを用いて，図 3共有と，簡単な操作を実現している．のように紙に印刷されたマップを取り囲むように設置する

通常の平面を操作可能なインターフェイスにする研究とことにより，マップを歩きまわるようなインターフェイスしては，赤外線とステレオカメラによるタッチ認識を行う設計をおこなっている．

研究[5][6]や，レーザーを用いた接触認識[7]が挙げられる．

マップには，歩行可能エリアと歩行不可能エリアがそれ本システムでは，赤外線によるマルチタッチ検出を採用し，ぞれ白黒でゾーニングされている．これは，3D Gaussian

押下された指の情報からカメラの情報を推定する．

Splatting によって再構成されたボリュームの中を自由に動空中での手のジェスチャ認識によるインターフェイス設

き回った結果，本来は壁の内側であったような場所にカメ計は多数の先行事例が存在する．Harrison et al. [8]では，ラが入るような，製作者が意図しないユーザーの操作を回平面と手が接触する音から，手のどの部位（指先，拳など）避するためである．ユーザーは，歩行可能エリアの中に指で接触を行なったか判定するシステム”TapSense”を開発しを置いて，歩行のジェスチャーをすることによって，マッた．本システムでは，指人間の歩くジェスチャーからカメプ内の探索を行う．

ラの位置および姿勢（指人間の目にあたる）を推定したい．

3.2 歩行ジェスチャーの認識

従って，赤外線センサで指先の位置のみをキャプチャする

赤外線タッチセンサで取得された指の状態（押下, 押上，ことにした．

位置のx, y座標）から，3 次元空間内のカメラ座標と姿勢を推定する．そこで，リアルタイムレンダリングソフトの3. 提案するシステム

TouchDesigner[9]を用いて図 4 のような状態監視を行なった．

本研究では，建築物や自然環境といった空間をキャプチャした画像群を，3D Gaussian Splatting を用いてコンピューター・グラフィックスのソフトウェア上で扱えるボリュームとして 3 次元に再構成する．さらに，指先の歩くジェスチャーを，赤外線タッチセンサによってカメラの座標と姿勢に変換する．その情報を元にレンダリングを行い，プロジェクターに描画し，キャプチャされた元の空間を指人間の歩く動作によって探検する体験を提供する．

図4

カメラ映像とは別に，TouchDesigner での状態監視と体験のインストラクションが表示される．

3.2.1 カメラの座標計算
TouchDesigner に入力されたセンサの値から，押下されている全ての指のx, y座標の平均をカメラのx, y座標とする．
z （高さ）座標は 1.4m で固定する．
3.2.2 カメラの姿勢計算
TouchDesigner に入力されたセンサの値から，最後に押下された指𝑡，一個前に押下された指𝑡 − 1，2 個前に押下さ
図3

赤外線タッチセンサーとマップ．白色の領域内を歩行する．

れた指𝑡 − 2のx, y座標から，カメラの𝑧軸の回転角𝜃𝑡 を計算する.つまり，2 歩前に地面につけた足の座標から 1 歩前に地面につけた足の座標に進むベクトルと，1 歩前に地面に3.1 キャプチャデバイスの設計

つけた足の座標から最後に地面につけた足の座標に進むベ

市販されているディスプレイ用赤外線センサを用いて，キクトルの加重平均を取る．数式では以下の通りである．

© 2024 Information Processing Society of Japan394

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1B-48
2024/2/28

4. 今後の展望と課題
𝜃𝑡 =𝛼𝐴𝑟𝑐𝑡𝑎𝑛2(𝑥𝑡 − 𝑥𝑡−1 , 𝑦𝑡 − 𝑦𝑡−1) +(1 − 𝛼)𝐴𝑟𝑐𝑡𝑎𝑛2(𝑥𝑡−1 − 𝑥𝑡−2 , 𝑦𝑡−1 − 𝑦𝑡−2 )ただし，0.5 ≤ 𝛼 ≤ 1のハイパーパラメータである．現在
時刻𝑡における𝑧軸回転量と，時刻𝑡 − 1の𝑧軸回転量の加重平均をとることによって，視線の極端な回転を抑制した．
本 シ ス テ ム で は ， |𝜃𝑡 − 𝜃𝑡−1| （ た だ し ，0 ≤ |𝜃𝑡 − 𝜃𝑡−1| ≤180 ）が 90 に近づくと，αが 1 に近づくように，動的な重みづけを行なった．こうすることで，歩くジェスチャーをしている際に 90 度に曲がるようなターンが発生した場合でもスムーズな方向転換が実現される．
3.3 レンダリング
本システムでは，実世界の建築物や自然環境をモデル化するために 3D Gaussian Splatting を用いた．3D Gaussian
Splatting とは，複数の視点の画像から 3D 空間を再構成する手法の一つである．複数視点の画像からポイントクラウドを作成し，機械学習によって各ポイントをパラメータのあるガウシアンに変換したデータとして記録する．そのため，レンダリング時は記録されたパラメーターを用いての高速なレンダリングを可能にしている．
本システムにおける実装方法としては，まず撮影した映像から FFmpeg[10]を用いて動画から 2 フレーム/秒の連番画像を書き出す．その後，書き出された画像群をもとに3D Gaussian Splatting を用いて映像として記録した空間の特徴をボリュームデータとして復元する．
Luma AI の提供するプラグイン[11]を用いて 3D Gaussian
Splatting のデータを Unreal Engine 5[12]内で描画し，3.2 で計算したカメラの情報は Open Sound Control をもちいて4.1 指が 3 本以上押下されていた場合の判定
本作品は指人間による歩くジェスチャーが体験として想定されているため，指が三本以上押下されている場合，カメラの座標は全ての指におけるx, y座標の平均となる．指を故意に三本以上押下していない場合でも，指を押したり離したりする瞬間における計測の誤差により指が三本以上押された判定になる場合がある．本課題への対処としては，三本以上の押下が検出された時にどの指が人差し指と中指なのかを web カメラ入力と，OpenPose[13]や MediaPipe[14]などのハンドトラッキングシステムによって判定する方法が考えられる．
4.2 指のジェスチャー認識本システムは，指が接地している座標を赤外線タッチセンサによる取得しているものであり，歩行動作をおこなっているかの認識を行うものではない．しかし，歩いている状態の判定が可能になると，誤ってセンサに触れてしまった場合の誤作動の防止や，複数人での利用が可能となる．
4.3 赤外線タッチセンサの設置面の検討
本システムでは，赤外線タッチセンサの設置面に 3.1 にて説明した移動可能範囲が描かれた紙のマップを置いた．
しかし，赤外線タッチセンサそれ自体は設置面が平面であればどこでも設置ができる．従って本システムは，建築物模型，地図案内板，実際に歩くことが困難な環境保全区域や被災地の再現マップへの応用が見込まれる．また，ディスプレイ上に設置することにより地面で動的な情報の表示が可能となる．例えば，地図上の特定の地点に近づくと，そこに関する詳細が地面に表示される情報の提示や，リアルタイムでの天候や交通情報を反映させることも可能である．

TouchDesigner から Unreal Engine 5 に送信される．Unreal
Engine 5 側は，受信した情報を元にカメラの位置と姿勢を決定し，レンダリングを行う．レンダリングされた画面を参考文献

図 5 に示す．

[1]

図 5 Unreal Engine 5 でレンダリングされた画像© 2024 Information Processing Society of Japan

Kerbl, Bernhard, Georgios Kopanas, Thomas Leimkühler, andGeorge Drettakis. 2023. “3D Gaussian Splatting for Real-TimeRadiance Field Rendering.” arXiv [cs.GR]. arXiv.
http://arxiv.org/abs/2308.04079.
[2] “Digital Giza |.” n.d. Accessed December 22, 2023.
http://giza.fas.harvard.edu/giza3d/.
[3] “湯めぐり VR.” 2020. 湯めぐり VR. Accessed December 22,2023. April 20, 2020. http://onsenvr.com/.
[4] “360°VR で巡る長野県箕輪町.” n.d. Accessed December 22,2023. https://minowa-vr.nagano.jp/.
[5] Wilson, Andrew D. 2005. “PlayAnywhere: A Compact Interactive
Tabletop Projection-Vision System.” In Proceedings of the 18th
Annual ACM Symposium on User Interface Software andTechnology, 83–92. UIST ’05. New York, NY, USA: Associationfor Computing Machinery.
[6] Agarwal, Ankur, Shahram Izadi, Manmohan Chandraker, andAndrew Blake. 2007. “High Precision Multi-Touch Sensing onSurfaces Using Overhead Cameras.” In Second Annual IEEE
International Workshop on Horizontal Interactive HumanComputer Systems (TABLETOP’07), 197–200. IEEE.

395

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1B-48
2024/2/28

Roeber, Helena, John Bacus, and Carlo Tomasi. 2003. “Typing inThin Air: The Canesta Projection Keyboard - a New Method ofInteraction with Electronic Devices.” In CHI ’03 ExtendedAbstracts on Human Factors in Computing Systems, 712–13. CHI
EA ’03. New York, NY, USA: Association for Computing
Machinery.
[8] Harrison, Chris, Julia Schwarz, and Scott E. Hudson. 2011.
“TapSense: Enhancing Finger Interaction on Touch Surfaces.” In
Proceedings of the 24th Annual ACM Symposium on User
Interface Software and Technology, 627–36. UIST ’11. New
York, NY, USA: Association for Computing Machinery.
[9] “Derivative.” n.d. Derivative. Accessed December 22, 2023.
https://derivative.ca/.
[10] “FFmpeg.” n.d. Accessed December 22, 2023.
https://ffmpeg.org/.
[11] “Luma Unreal Engine Plugin (0.4).” n.d. Luma Unreal Engine
Plugin (0.4). Accessed December 22, 2023.
https://lumaai.notion.site/Luma-Unreal-Engine-Plugin-0-48005919d93444c008982346185e933a1.
[12] “Unreal Engine 5.” n.d. Unreal Engine. Accessed December 22,2023. https://www.unrealengine.com/ja/unreal-engine-5.
[13] Cao, Zhe, Gines Hidalgo, Tomas Simon, Shih-En Wei, and YaserSheikh. 2018. “OpenPose: Realtime Multi-Person 2D Pose
Estimation Using Part Affinity Fields.” arXiv [cs.CV]. arXiv.
http://arxiv.org/abs/1812.08008.
[14] Lugaresi, Camillo, Jiuqiang Tang, Hadon Nash, Chris
McClanahan, Esha Uboweja, Michael Hays, Fan Zhang, et al.
2019. “MediaPipe: A Framework for Building Perception
Pipelines.” arXiv [cs.DC]. arXiv. http://arxiv.org/abs/1906.08172.
[7]© 2024 Information Processing Society of Japan396