情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3B-32
2023/3/1

リストマウント型投影拡張手システムを用いた感覚追加
内田琢也1,a)

人見亜斗1

佐藤 優志1

岩井大輔1

佐藤宏介1

概要：人間が本来知覚できない不可知な情報を視覚や聴覚、触覚刺激等の感覚に変調しユーザに知覚させることで，人間に新たな感覚を追加する感覚追加の研究を進めている．特に，本研究では，投影型身体拡張インタフェースにおけるユーザ手腕に連動した投影拡張手の運動に，ユーザの随意ではない運動（不随意運動）を生起させることでユーザに不可知情報を伝達する手法を提案する．本研究ではユーザの手腕の動きに連動し，直観的に投影拡張手を操作可能であるリストマウント型投影拡張手システムの実装を行った．また，不可知情報に基づき投影拡張手に不随意運動を生起させる機能を実装システムに組み込んだ．

1. はじめに
人間拡張技術により，生来の身体機能では持ちえない新たな知覚能力や身体能力をユーザは獲得することができる．知覚能力の拡張について，ベスト型の振動触覚提示装
置による聴覚刺激の伝達のように，ある感覚を別の感覚で代替しユーザに情報を伝達する感覚代行が取り組まれている [1]．この感覚代行の手法を基に，方位情報のような人間が知覚できない情報を，新たな感覚としてユーザに追加することが取り組まれている [2]．このような新たな感覚の獲得は，感覚追加と呼ばれている [3]．
本研究では，投影型複合現実感技術を用いた手腕拡張イ

図 1

拡張手が不随意に動くことによる無臭ガスの可知化例．灰色の靄は無臭ガスを表す．

ンタフェースによる感覚追加を検討する．上田らが提案した ExtendedHand はユーザ手腕の動きをタッチパネルで本研究では，不可知情報をユーザ手腕の動きに対する投測定し増幅することで，プロジェクタから投影された CG影拡張手の不整合な運動（以下，不随意運動）へと変換し，手腕（以後，投影拡張手）の動きへと反映する [4]．この視覚刺激としてユーザへ伝達することによる不可知情報のインタフェースにより，ユーザは自身の手が届かない遠く感覚追加を提案する．提案手法の一例を図 1 に示す．不可の場所に対しても，直観的に拡張手を操作し物体指示が可知情報が存在しない時，ユーザが大域的に自身の手腕を直能となる．また，佐藤らは視覚効果の付与による疑似触覚線軌道で移動させると，手腕の動きと連動して手首方向上フィードバックを用いて，投影拡張手が触れている地点ので投影拡張手が移動する．一方で不可知情報（無臭ガス）

物体触感をユーザに知覚させることを実現した [5]．

が存在する時，無臭ガスに反応することでユーザ手腕の動ここで，投影拡張手はユーザに追加した仮想の身体であきと連動せず，局所的に手首方向上と異なる方向で投影拡るため，投影拡張手を介してユーザに伝達する情報は，物張手が移動する．ユーザは自身の手腕の動きと連動せずに体触感などの人間が知覚可能な情報に限定する必要はな

投影拡張手が移動する違和感から，不可知情報の存在を知い．著者らはこれまで，無臭ガスのような人間が生物学的覚する可能性がある．に知覚できない不可知な環境情報（以後，不可知情報）を

ここで，投影拡張手の不随意運動を，ユーザが誤認せず拡張手を介して伝達することで，ユーザに不可知情報の感不可知情報として知覚するためには，不可知情報に反応し覚追加を行えるか検討を行ってきた [6]．

ない時はユーザ手腕の動きと投影拡張手の動きは連動していることが望ましい．そこで，ユーザの手首に装着するこ

1a)

大阪大学 大学院基礎工学研究科
t.uchida@sens.sys.es.osaka-u.ac.jp© 2023 Information Processing Society of Japanとで大域的にユーザ手腕の動きと直接連動しつつも，局所的な投影拡張手の動きを操作可能とするリストマウント型

908

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3B-32
2023/3/1

図 2

提案手法のフローチャート

投影拡張手システムを提案する．加えて，環境中に存在する不可知情報に基づき，投影拡張手に不随意運動を生起させる機能を提案システムに組み込む．本稿では，実装したリストマウント型投影拡張手システムについて報告する．

2. 提案手法
提案手法のフローチャートを図 2 に示す．投影拡張手の操作時，ユーザの内部モデルには投影拡張手の予測運動軌道があり，その予測運動軌道が実現されるようにユーザは大域的に自身の手腕を動かす．
ユーザ手腕の動きや形状はシステム内の入力部により取図 3

リストマウント型投影拡張手システムの構成得される．環境中に存在する不可知情報は環境センサを使用したセンシング部により取得される．入力部，センシンの任意の場所に設置される．ユーザはプロジェクタを手首グ部で取得した情報に基づき，投影拡張手動作生成部で投に装着するため，使用するプロジェクタは小型であること

影拡張手の形状や局所的な不随意運動を生成し，プロジェが望ましい．また，特定の環境での使用に限定せずに，明クタから環境へと投影拡張手を投影する．

室環境を含む広域な環境での使用を想定する．そこで，高例えば，ユーザが意図した予測運動軌道が直線軌道であ輝度投影が可能なため明室環境でも使用が可能であり，小る時に，環境中で不可知情報の影響により，投影拡張手が型で低発熱のため装着も容易であるレーザ走査プロジェク直線軌道に対して進路を変更し斜めに逸れて移動したとす

タを用いる．

る．この時，予測運動軌道とは異なる軌道で運動する投影

手腕計測用カメラはユーザ手腕の形状・動きなどの手腕拡張手がユーザへの視覚刺激となる．そして，ユーザは予情報を計測する．手腕情報の計測には Google 社が提供す測運動軌道と実際の投影拡張手の運動軌道のずれという，るオープンソースの機械学習ソリューションフレームワー

ユーザにとっては意図していない投影拡張手の不随意運動

クである MediaPipe [7] を用いる．マーカ計測用カメラはを知覚する．この不随意運動からユーザに不可知情報を知環境中に設置された ArUco マーカの座標を計測する．計

覚させることで感覚追加を行う．

測された ArUco マーカの座標とマーカ計測用カメラの座

3. システム実装
3.1 システム概要

標系で設定された投影拡張手の中心座標と組み合わせることで，実環境中における投影拡張手位置情報を計測する．
手腕計測用カメラ・マーカ計測用カメラで計測された情報2 章で述べた提案手法検証のために本稿で実装したリは PC にて処理された後，レーザ走査プロジェクタから投ストマウント型投影拡張手システムの構成を図 3 に示す．

影される投影拡張手の形状や動きを決定する投影拡張手生

ユーザは首元にカメラ（以降，手腕計測用カメラ）を，手成情報として，レーザ走査プロジェクタ制御マイクロコン

首にはカメラ（以降，マーカ計測用カメラ）と一体化したトローラへと送信される．

レーザ走査プロジェクタを装着する．無臭ガスや紫外線・環境センサは不可知情報を計測する．計測されたセンサ

赤外線などの不可知情報計測のための環境センサは環境中

検出値は，環境センサに接続されたマイクロコントローラで処理され，カメラで計測された情報と同様にレーザ走査© 2023 Information Processing Society of Japan909

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

図 4

3B-32
2023/3/1

実装したリストマウント型デバイス

プロジェクタ制御マイクロコントローラに送信される．

図 5

ユーザ装着時の概観

レーザ走査プロジェクタ制御マイクロコントローラでは，送信されてきた投影拡張手生成情報，不可知情報に基づき投影拡張手の形状や生起させる不随意運動を決定する．そして，レーザ走査プロジェクタで投影拡張手を投影する．

3.2 リストマウント型投影拡張手システム
前項に述べた構成を基に本稿で実装したレーザ走査プロジェクタを図 4 に，システム装着時の概観を図 5 に示す．
マーカ計測用カメラとして WEB カメラ（BUFFALO 製，
図 6BSW200MBK）を，手腕計測用カメラとして WEB カメラ（TAWARON 製，TAWARON-HDC1）を使用した．WEB
カメラにより計測されたユーザ手腕情報，投影拡張手位置情報はレーザ走査プロジェクタ制御マイクロコントローラ(M5Stack 社製，ATOM Lite) に送信される．実環境に投影された投影拡張手を図 6 に示す．図 6 中の黒点を投影拡張手の代表位置として用いた．
ユーザはレーザ走査プロジェクタを装着した手腕を動かし，投影拡張手を大域的に移動させる．また，手腕を傾けることで投影拡張手の姿勢を制御する．これより，ユーザた．今後は本稿で実装したシステムを用いた被験者実験を通して，投影拡張手の不随意運動を用いたユーザの不可知情報の探索能力や，投影拡張手を介して伝達される不可知情報に対するユーザの分解能などの観点から，感覚追加の可能性を精査していく．
参考文献
[1]

は投影拡張手の移動・姿勢の制御を，自身の手腕の動きや姿勢と連動させ直観的に行うことができる．
ここで，マーカ付近に環境センサが設置された環境を想[2]定する．環境センサは不可知情報を計測した時に，ATOMLite に信号を送信する．そして，ATOM Lite に送信され[3]た投影拡張手位置情報から，投影拡張手の環境センサへの接近が確認されたとする．この時，ATOM Lite に送信されたユーザ手腕情報に基づきレーザ走査プロジェクタを制[4]御することで，ユーザ操作による大域的な投影拡張手の移動に対して逆らう運動となるように，局所的に投影拡張手を動かす．ユーザには自身の操作に逆らう投影拡張手の不[5]随意運動が観測される．これより，投影拡張手の不随意運動から環境センサが検知した不可知情報を，ユーザに知覚させることが期待できる．

[6]

4. おわりに
本稿では投影拡張手を用いた不可知情報のユーザへの感覚追加を目的に，環境中に設置したマーカやセンサと連携投影された投影拡張手の様子[7]

Novich, S.D. and Eagleman, D.M.: Using space and timeto encode vibrotactile information: toward an estimateof the skin s achievable throughput, Experimental brain
research, Vol. 233, No. 10, pp. 2777–2788 (2015).
Nagel, S.K., Carl, C., Kringe, T., Märtin, R., and König,P.: Beyond sensory substitution―learning the sixth
sense, Journal of neural engineering, 2.4, R13 (2005).
Eagleman, D.: Can we create new senses for humans? | TED Talk, https://www.ted.com/talks/
david eagleman can we create new senses for humans?
(2022.12.18).
Ueda, Y., Asai, Y., Enomoto, R., Wang, K., Iwai, D.
and Sato, K.: Body cyberization by spatial augmented
reality for reaching unreachable world，Proceedings of
the 8th Augmented Human International Conference,pp. 1–9 (2017).
Sato, Y.，Hiraki, T., Tanabe, N., Matsukura, H,. Iwai, D.
and Sato, K.: Modifying texture perception with pseudohaptic feedback for a projected virtual hand interface，IEEE Access, Vol. 8, pp. 120473–120488 (2020).
内田琢也，佐藤優志，岩井大輔，佐藤宏介：投影型拡張手と実手との微小な運動不整合を手掛かりとする情報伝達，
第 27 回バーチャルリアリティ学会大会論文集, 1D2-5 1–3 (2022).
Google: MediaPipe Hands, https://google.github.io/mediapipe/solutions/hands (2022.08.05).

可能なリストマウント型投影拡張手システムの実装を行っ© 2023 Information Processing Society of Japan910