情報処理学会 インタラクション 2022
IPSJ Interaction 2022

4P092022/2/21

3D ディスプレイの非接触タッチ操作における波紋イフェクトの提案
李 逸馬1

湯田 遥季1

小室 孝1

概要：本研究では，3D ディスプレイの非接触タッチ操作において，操作性が高まるような視覚フィードバックとして波紋イフェクトを提案する．波紋は入力後も一定時間残り続け，時間とともに入力位置を中心に広がっていくため，入力ができていることの確認が効果的に行えると考えられる．3D ディスプレイとLeapMotion を用いて，提案イフェクトの効果を評価できる環境を実装し，動作を確認した．

1. はじめに

2. 提案手法

新型コロナウイルスの感染拡大に伴い，人々はものに公共施設の案内板操作や ATM における数字入力など，触れる抵抗感をより感じるようになっている．そのため，3D ディスプレイの非接触タッチ操作において，素早く正ディスプレイ機器などにおけるの非接触操作の需要も高確に入力できる，操作性を高めるための映像イフェクトとまっていると言える．しかし非接触操作では入力時の触覚して，既存の映像イフェクト 2 種類フィードバックがなくなることから，操作性が悪くなると• 押し込んだ時にボタンの色を変化させるいう問題がある [1]．

• 押し込み具合に対応してボタンを凹ませる

非接触操作が多用される環境として，空間に配置された立体物や UI コンポーネントとインタラクトする VR 環境がまず挙げられる．VR 環境において，操作性を高めるたと，本研究で新たに提案する映像イフェクト 1 種類

• 押し込んだ時に波紋イフェクトを出すの計 3 種類を提案する．

めに，どのような感覚フィードバックを与えればよいのかという研究は既にある [2]．

2.1 既存の映像イフェクト

VR 環境と同様に，立体物とインタラクトする環境とし押し込んだ時にボタンの色を変化させる映像イフェクトて 3D ディスプレイがある．3D ディスプレイについても，では，指先の位置情報を用いて，指先がボタンを最下点（検感覚フィードバックについての研究は行われている．指先出面）まで押し込んでいる間，ボタンの表面の色を変化さに装置を装着してその装置から触覚フィードバックを与えせる．

るもの [3] や，モニターから超音波を出して触覚フィード

押し込み具合に対応してボタンを凹ませる映像イフェク

バックを与えるもの [4] がある．しかしこれらの触覚フィー

トでは，ボタンの最上点から最下点まで，ボタンを指と連

ドバックについての研究では，デバイスを身体に装着する動させて移動させることで，ボタンの凹みを表現する．

必要があることや，装置が大型になることが問題として挙げられる．一方，手の動きに合わせて映像を変化させるこ

2.2 波紋イフェクトとによって，実際に物体に触れているように見せかける疑波紋イフェクトを提案する理由は 2 つある．一つ目は，似触覚の研究が行われている [5]．しかしこの研究は体験提タッチした後でも画面に一定時間残り続けることから，確供のための映像表現が目的としており，操作性を高めるた実にタッチできていることが視覚的にわかることである．

めの映像表現を提案する研究はほとんどなされていない．

二つ目は，波紋はタッチした位置を中心に，時間に伴ってそこで本研究では，3D ディスプレイの非接触タッチ操広がっていくため，波紋の大きさから逆算して視覚的に作において，操作性を高めるような映像イフェクトを提案タッチした位置とタイミングがわかることである．ボタンする．

を最下点（検出面）まで押し込んだ瞬間に，ボタンの中心から波紋を発生させる．

1埼玉大学© 2022 Information Processing Society of Japan631

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

4P09
2022/2/21

図 2: Unity 内の波紋イフェクトの様子

図 3: 3D ディスプレイ越しの波紋イフェクトの様子
図 1: 装置の外観用いて，実際にユーザ評価実験を行うことが挙げられる．
ユーザ評価実験では，テンキーを用いた数列入力タスクを3. 実装

通して，入力率やエラー率などを記録して，提案した映像イフェクトの効果を測定する予定である．

提案する映像イフェクトを Unity を用いて実装した．3D

将来，3D ディスプレイは，公共施設での案内板や個人ディスプレイとして Sony の裸眼 3D ディスプレイであるでの所有など，今よりもより幅広い分野で利用され，世の空間再現ディスプレイ ELF-SR1*1 ，入力デバイスとして中に普及していくことが予想される．そのため，3D ディ光学ハンドトラッキングモジュールである LeapMotion をスプレイにおける操作性を高めるためのインタラクション利用した．装置の外観を図 1 に示す．

についての理解，研究がより期待される．

Unity 上で，ボタンは 3D オブジェクトとして作成した．
1 から 9 までの 9 個の数字入力を想定し，テンキー配列

参考文献の 9 個のボタンをマトリックス上に配置した．一つ一つ[1]のキーの大きさを 1.75 cm × 1.75 cm とした．手の骨格をLeapMotion で検出し，Unity 上にバーチャルな手として反映させる．ユーザが見る 3D ディスプレイ上のテンキーと[2]

現実の手，Unity 内でのテンキーとバーチャルな手の位置感が一致するように調整している．ただし，バーチャルな手はユーザからは見えないようにしている．3D オブジェ
クトのボタンとバーチャルな手のコリジョン判定によって，ボタンが押し込まれているかの判定を行っている．

[3]

凹みイフェクトについては，ボタンとバーチャルな手のコリジョン判定によって，最上点から最下点までの移動を実装した．
また，波紋イフェクトは [6] を参考に実装した．ボタンの[4]最下点に水面となる平面を用意し，その平面に波動方程式をシミュレーションするシェーダを適用させることによって，水面を実装している．波紋イフェクトの様子を図 2，
図 3 に示す．

[5]

4. おわりに[6]

本研究では，3D ディスプレイの非接触タッチ操作において，操作性を高めるための映像イフェクトである波紋イ

Adam Faeth and Chris Harding. Emergent eﬀects in
multimodal feedback from virtual buttons. ACM Transactions on Computer-Human Interaction (TOCHI),
21(1):1–23, 2014.
Carlos Bermejo, Lik Hang Lee, Paul Chojecki, David
Przewozny, and Pan Hui. Exploring button designs for
mid-air interaction in virtual reality: A hexa-metric evaluation of key representations and multi-modal cues. InProceedings of the ACM on Human-Computer Interaction, 5(EICS):1–26, 2021.
Takumi Yoshida, Keitaro Shimizu, Tadatoshi Kurogi, ShoKamuro, Kouta Minamizawa, Hideaki Nii, and Susumu
Tachi. Repro3d: full-parallax 3d display with haptic feedback using retro-reﬂective projection technology. In Proceedings of 2011 IEEE International Symposium on VR
Innovation, pages 49–54, 2011.
Yasuaki Monnai, Keisuke Hasegawa, Masahiro Fujiwara,Kazuma Yoshino, Seki Inoue, and Hiroyuki Shinoda. Haptomime: mid-air haptic interaction with a ﬂoating virtual
screen. In Proceedings of the 27th annual ACM symposium on User interface software and technology, pages
663–667, 2014.
富澤功 石川大, 釆原克美. 「フローティングインターフェース」 の開発. PIONEER R&D, 16(2):50–61, 2006.
Unity
2017.1の 機 能 のcustomrendertexture
を 使 っ て み た
凹 み tips.
https://tips.hecomi.com/entry/2017/05/17/020037.
(Accessed on 12/20/2021).

フェクトを提案した．
今後の課題としては，今回実装した映像イフェクトを*1

https://www.sony.jp/spatial-reality-display/© 2022 Information Processing Society of Japan

632