情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3B-17
2023/3/1

イベントカメラを用いたレーザスペックル振動計測による遠隔触覚拡張岡本 祥宏1,a)

佐藤 優志1

岩井 大輔1

佐藤 宏介1

概要：人間の能力を拡張させる研究の一つに触覚能力の拡張を目指したものがある．ただ，これまで遠隔物体の微細な触覚情報を非接触に得て，それをユーザに知覚させる手法は検討されていない．本研究では，遠隔物体の微小な振動情報をレーザ計測しフィードバックすることで触覚拡張拡張を目指す．そこで，画素変動に反応するイベントカメラからレーザスペックルの高速変動に追従して指先にフィードバックする触覚拡張システムを提案する．物体の違いによって生じる周波数応答特性の違いを基にした振動刺激をフィードバックすることで，遠隔の物体の素材や表面属性を触覚で知覚することを可能とする．

1. はじめに画素変化イベントデータ

イベントカメラ

レーザスペックル

人間の身体・認知・知覚能力の拡張を目指した研究があ振動情報抽出る．これらの研究では，身体の到達範囲外の物体に対するインタラクション手法 [1] や人間が持ちえない感覚の獲得

周波数変換
PC
投影拡張手

手法 [2] について検討されている．そのため，人間生来の特性や時間・空間の制約から解放された新たな生活様式を振動データ偏角操作提供することが期待できる．
知覚能力の拡張の一つに触覚能力の拡張を目指す研究がある．Tanabe らは CG 手腕を介してインタラクションした遠隔物体の凹凸をユーザにフィードバックするシステム

レーザ・拡張手
投影デバイス

振動アクチュエータ内蔵型
投影手操作デバイス

図 1

提案システムの概要図

である fARFEEL を提案した [3]．これにより，ユーザは遠隔物体まで移動することなく物体の触覚情報を知覚するクルの微小変動を取得する．そして，物体の違いによってことができる．また，Maeda らは，ユーザが物体をなぞっ生じる周波数応答特性の違いを基にした振動刺激をフィーた際に生じる振動を増幅してユーザの手首にフィードバッドバックすることで，ユーザが遠隔物体の素材や表面属性クすることでユーザは物体形状を容易に知覚することがでを触覚で知覚することを可能とする．このとき，遠隔物体きる HapticAid と呼ばれるウェアラブルデバイスを提案しにレーザと同時に CG 手腕（以下，投影拡張手）を投影す

た [4]．しかしこれらの研究では，遠隔物体の微細な触覚ることでユーザが直観的に振動刺激と現実空間とを対応付情報を非接触で得て，それをユーザに提示することは想定けられるようにする．

されていない．
本研究では，遠隔物体の素材や表面属性に基づいた触覚

2. 提案システム

情報を計測し，ユーザが知覚可能な刺激として提示するこ

2.1 システム概要とで触覚能力の拡張を目指す．そこで，遠隔物体のレーザ

投影拡張手の人差し指の指先とレーザの振動計測点が一スペックル変動をイベントカメラにより計測して振動刺激致するように投影拡張手を投影する．このとき，ユーザはに変換し，ユーザの指先にフィードバックする触覚拡張シ

投影拡張手操作デバイスを用いて，拡張手を操作することステムを提案する（図 1）．輝度変動に高速に反応するイベができる．そして，レーザスペックルの変動をイベントカントカメラを用いて，振動に応じて変動するレーザスペッ

メラで計測し，得られた結果に基づいて拡張手操作デバ1a)

大阪大学 大学院基礎工学研究科
okamoto@sens.sys.es.osaka-u.ac.jp© 2023 Information Processing Society of Japan

イスを振動させることでユーザに遠隔物体の触覚情報をフィードバックする．ここで，人が知覚できる振動の周波857

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

数帯は計測可能な周波数帯よりも狭いため，得られた計測

3B-17
2023/3/1

ハーフミラー
ハーフミラー

イベントカメラ
イベントカメラ結果に対して周波数変換を行うことで調整する．
プロジェクタプロジェクタ2.2 レーザスペックル振動計測
レーザは周波数と位相が整ったコヒーレント光であり，物体表面の微細な凹凸によってレーザスペックルと呼ばれレーザ光源
レーザ光源

る干渉縞が生じる．この干渉縞は一般的に物体の僅かな変動に対しても模様が大きく変動する．しかし，非合焦のレモータモータ(a) 上から見た図

ンズを物体との間に設置して観察した場合には，干渉縞の

図 2(b) 正面から見た図
振動計測部模様が一定に保たれ，物体の振動に応じて平行移動量のみ輝度増加イベント
輝度減少イベントが変動することが知られている [5]．そこで本システムでは，イベントカメラのレンズを非合焦させた時のレーザス

イベントデータ

ペックルの変動を計測することで，遠隔物体の振動情報を取得する．

2.3 イベントカメラ
イベントカメラはイベントと呼ばれる輝度の変動を検知

カウントデータ

図 3

イベントカメラによる変動画素数の計測手法

ることができる．

し，そのイベントの発生時間，発生位置，増加／減少方向

イベントカメラは非同期かつ画素ごとに独立したイベンを出力するカメラである．通常のカメラでは，指定されたトを取得する．そのため，周波数解析を行うためにはイベレートでイメージセンサ全体のデータを出力する一方で，ントのデータ列から一定サンプル時間の時系列データに変イベントカメラでは，イメージセンサの画素ごとに独立し換する必要がある．本システムでは，ある時間 ∆ t（サンた非同期処理を行っており，一定輝度の変動が生じた画素プリング周波数 f s = 1/∆ t）ごとに発生したイベント数のデータのみを出力する．そのため，一般的に通常のカメをカウントしてカウントデータを作成する（図 3）．このラよりも高フレームレートでの計測を行うことができ，高とき，計測可能な最大周波数 f は f = f s/2 となる．通常

速変動する物体の計測などに利用されている [6]．本シスのカメラでは最大周波数が 60 Hz であるのに対して，本テムでは，レーザスペックルが平行移動した際に生じる模システムではイベントカメラの最大サンプリング周波数が様の輝度変動を高速で取得するために，数 kHz の高フレー

15 kHz であるため最大周波数は 7.5 kHz となる．

ムレートで輝度変動を取得することができるイベントカメ
ラを用いる．

3. システム実装

3.2 振動フィードバック部
振動フィードバック部は，ジョイスティック（M5Stack社製，UNIT JOYSTICK）とボイスコイル型の振動アク

本システムは，レーザを投影してイベントカメラでレーチュエータ（BitTradeOne 社製，ADTEDS）で構成されザスペックルの変動を計測する振動計測部と，投影拡張手る（図 4）．ユーザはジョイスティックに人差し指を置いての操作と振動フィードバックの提示が行われる振動フィー

左右に傾けることで振動計測部の下部に設置したモータをドバック部で構成される．

回転させ，投影拡張手を操作する．また，2 個の振動アクチュエータをジョイスティックの下部に設置しており，こ3.1 振動計測部
振動計測部は赤色レーザ光源，イベントカメラ（iniVa-

れらのアクチュエータで振動を発生させることでユーザに振動フィードバックを提示する．

tion 社製，DVXplorer），ハーフミラー（THORLABS 社製，CCM1-BS013/M），モータ（Keigan 社製，KM-1U），3.3 周波数変換プロジェクタ（Optoma 社製，ML1050ST+）で構成され振動計測部で得られた結果に対して周波数変換を行うこる（図 2）．レーザ光源とイベントカメラをハーフミラーをとで，振動アクチュエータを振動させる振動データを作成用いて同軸系とすることで，レーザとイベントカメラの位する．人の振動知覚能力には制限があり，振動検出を行う置関係を一定にしている（図 2(a)）．本システムでは，振受容器である SA II でも最大 1 kHz 程度の振動しか検知す

動計測部の下部にモータを取り付けることで複数箇所へのることができない [7]．そこで，提示する振動データに対レーザ計測を可能にしている．また，プロジェクタをレーして人が検知することができる範囲に周波数変換を行う．

ザ光源・イベントカメラと一体化させることにより，計測

本システムでは，簡易化のために周波数を線形圧縮するこ物体の位置によらず投影拡張手とレーザの関係を一定にすとで，振動データを作成している（図 5）．

© 2023 Information Processing Society of Japan858

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3B-17
2023/3/1

ジョイスティック
：レーザ光線

ハーフミラー
ジョイスティック

拡張手
イベントカメラ振動アクチュエータレーザ光源

振動アクチュエータ

(a) 概要図
図 4

振動計測部(b) 作成デバイス
振動フィードバック部

0.00010.00010.0001振動フィードバック部
図 6

実装システムの全体図

参考文献
Ueda, Y., Asai, Y., Enomoto, K., Wang, K., Iwai, D.,
5000
and Sato, K.: Body Cyberization by Spatial Augmented
Frequency [Hz]Frequency [Hz]Frequency [Hz]Frequency [Hz]Reality for Reaching unreachable world, Proceeding ofAugmentedn Human International Conference, pp. 1–9(a) 変換前(b) 変換後
変換前変換後 (2017)
変換前
変換後（本システムでの計測例）[2]
Novich, S. D., and Eagleman, D. M.: Using space and
図 5 周波数変換
time to encode vibrotactile information: toward an estimate of the skin s achievable throughput, Experimental
3.4 全体の様子
brain research, Vol. 233, No. 10, pp. 2777–2788 (2015)[3]
Tanabe, N., Sato, Y., Morita, K., Inagaki, M., Fujino, Y.,
振動計測部と振動フィードバック部を統合したシステム
Punpongsanon, P., Matsukura, H., Iwai, D., and Sato,を図 6 に示す．振動フィードバック部のジョイスティック
K.: fARFEEL: Providing Haptic Sensation of Touched
Objects using Visuo-Haptic Feedback, Proceedings ofによって振動計測部のモータを回転させることで投影拡張
IEEE Conference on Virtual Reality and 3D User In手を操作する．また，イベントカメラで振動計測を常に行
terfaces (VR), pp. 1355–1356 (2019).
い，振動フィードバックを提示している．これにより，遠[4]Maeda, T., Tsuchiya, K., Peiris, R., Tanaka, Y., andMinamizawa, K.: HapticAid: Haptic Experiences Sys隔の振動をユーザにフィードバックすることができる．
tem using Mobile Platform, Proceedings of the EleventhInternational Conference on Tangible, Embedded, and4. おわりにEmbodied Interaction, pp. 397–402 (2017).
[5]
Zalevsky, Z., Beiderman, Y., Margalit, I., Gingold, S.,
本研究では，イベントカメラを用いてレーザスペックル
Teicher, M., Mico, V., and Garcia, J.: Simultaneous
振動計測を行い，その計測結果に応じた振動をユーザに
remote extraction of multiple speech sources and heartbeats from secondary speckles pattern, Optics express,
フィードバックすることで遠隔物体の触覚情報を知覚させVol. 17, No. 24, pp. 21566–21580 (2009).
る触覚拡張システムを提案した．今後は，振動データの周[6]
Rebecq, H., Ranftl, R., Koltun, V., and Scaramuzza, D.:
波数変換を簡易的に線形変換するのではなく適応的に行う
High Speed and High Dynamic Range Video with an
Event Camera, IEEE Transactions on Pattern Analysis
ことで，触覚感度や分解能を向上させる等の他，遠隔地とand Machine Intelligence, Vol. 43, No. 6, pp. 1964–1980の共有コミュニケーションを行う複合現実空間における遠(2021).
隔共有物体の内部構造などの不可視な情報の違いを直観的[7]
Bolanowski Jr, S. J., Gescheider, G. A., Verrillo, R. T.,
and Checkosky, C. M.: Four channels mediate the meに提示する手法について調査していく．
chanical aspects of touch, The Journal of the Acousticalsociety of America, Vol. 84, No. 5, pp.1680–1694 (1988).

0000 5000
1000

500001000© 2023 Information Processing Society of Japan

010005000[1]859