情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1D-66
2020/3/9

HaptoMapping : 映像への不可視な情報埋め込みによる視触覚重畳提示
宮武 大和1

平木 剛史1

前田 智祐2

岩井 大輔1,3

佐藤 宏介1

概要：本研究では，映像に対する触覚提示の位置ずれ・時間遅れを知覚不可能なレベルに低減する視触覚重畳システムを開発し，視覚情報に対応した触覚刺激の提示を再現する手法を提案する．本手法では，空間分割型可視光通信を用いて映像に不可視の触覚刺激情報を埋め込み，この情報を用いて触覚提示デバイスを制御することで，位置ずれと時間遅れの低減，視覚情報に対応した触覚刺激の提示を実現する．この手法を用いて，振動子の異なる 2 種類の触覚提示デバイスと，このデバイスを用いた視触覚重畳システムを開発した．そしてデバイスの映像に対する触覚刺激提示の遅延時間を測定し，実装した視触覚重畳シス
テムを用いて人間の視覚と触覚の遅延知覚に関する主観評価実験を行った．その結果，開発したデバイスは遅延時間を人間には知覚不可能なレベルまで低減できており，本システムにおける人間の遅延知覚の刺激閾は約 100 ms であることを明らかにした.

1.

はじめにきるレベルの時間遅延が発生していた [4]．さらに，これらのシステムは一般に煩雑なキャリブレーションを必要と近年，拡張現実 (Augmented Reality: AR) がエンターテする．この手間と，キャリブレーション後に装置を移動さインメントをはじめ，教育，医療などさまざまな分野で活せることができないことが装置の設置自由度を低減させて用され始めている．中でも映像表示にプロジェクタを用いいる [5]．この位置ずれ・時間遅延の問題を小型で単純なる投影型 AR は，身体や環境の拡張 [1], [2]，投影対象の見システムにより解決することができれば、視触覚重畳提示た目の編集 [3] などを行う技術として知られている．投影システムの実用性と応用可能性の大幅な向上が見込める．

型 AR はヘッドマウントディスプレイに代表される没入型

本研究では，空間分割型可視光通信 (Pixel-level Visibleの AR システムと異なり，複数のユーザが同時に環境を観Light Communication: PVLC) [6] を用いて映像に情報を埋測できるという利点がある．一方，投影型 AR でユーザとめ込み，この情報を用いて触覚提示デバイスを制御するこ

投影対象のインタラクションが発生するとき，多くの場合とで，人間が位置ずれ・時間遅延を知覚できない視触覚重はユーザーは投影対象に触れる必要があるが，ユーザが投畳提示システムを実現する．PVLC を用いると，映像と埋影対象に触れたときに得られる触感と投影された映像からめ込まれた触覚情報が画素単位で一致するため，位置合わ想起する触感が異なるために，投影対象のリアリティを低せのための外部装置が不要な，小型で可搬性の高いデバイ減してしまうという欠点がある．

スの設計が期待できる．また情報通信の遅延時間がデバイ

この欠点を解決するため，視覚情報とそれに対応する触スの数に依存しないため，デバイスを装着した複数人に対覚情報を同時に提示することにより投影対象のリアリティして同時に触覚を提示できる．このデバイスを用いてテクを向上させる，視触覚重畳という研究が注目されている．

スチャの振動刺激を提示することにより，視覚情報に対応

しかし，従来の視触覚重畳提示システムでは，ユーザーのした触覚刺激を提示できる視触覚重畳システムを実現する

動きを赤外線カメラや深度カメラにより追跡していたた

ことができる．

め，映像に対する触覚刺激の位置ずれが発生していた．ま本研究では，振動子の異なる 2 種類の指先装着型触覚提た位置合わせ処理のためにモーションキャプチャシステム

示デバイス及び，プロジェクタ，スクリーンを含む視触覚などを用いる方法があるが，これらを用いた触覚提示シス重畳システムを開発した．さらに 2 種類の触覚提示デバイ

テムは計算や通信に時間がかかるため，ユーザーが知覚でスの，映像に対する触覚刺激提示の遅延時間を測定し，開1発した視触覚重畳環境を用いて人間の視覚と触覚情報の遅2
3

大阪大学
株式会社 豊田中央研究所
国立研究開発法人科学技術振興機構, さきがけ

© 2020 Information Processing Society of Japan

延知覚に対する主観評価実験を行った．結果として，本研

425

情報処理学会 インタラクション 2020
IPSJ Interaction 20201D-66
2020/3/9

究で開発したシステムは遅延時間を人間が知覚不可能なレベルまで低減しており，遅延知覚の刺激閾は約 100 ms であることを明らかにした．

2.

関連研究

2.1

投影光を用いた触覚提示デバイスの制御

本項では，カメラなどの外部観測装置を用いず，投影光のみを用いて触覚提示デバイスを制御した研究を述べる．
SenseableRays [7] は，投影される構造化光を用いてピエゾ素子の振動を制御する触覚提示デバイスである．この研
図1

究では，センサで受光した信号をピエゾ素子を用いて直接空間分割型可視光通信 (PVLC) の概念図振動に変換することで，振動触覚を提示していた．ここでは，光を用いてデバイスを制御することで外部の観測装置PVLC の概念図を図 1 に示す．

が必要なシステムを実現し，触覚提示デバイスの小型化と2.2.2

原理触覚提示までの遅延時間の低減を実現している．しかしこ

PVLC では，DLP プロジェクタを用いることにより，不こでは，光は情報送信のみに使用されるため，視触覚重畳可視の情報を映像内に埋め込む．DLP プロジェクタとは，提示のためには別途映像表示のための装置が必要であった．

DMD（Digital Micromirror Device）と呼ばれる格子上に配HALUX [8] は全身に身に着けた直動振動子を投影光で制列した極小のミラーの一つ一つの傾きを操作することで，御する触覚提示デバイスである．プロジェクタから明度差映像を投影する装置である．このとき，各ミラーには投影の大きい映像を投影し，デバイスが受光した画素の明るさ面に光を照射する ON 状態とそうでない OFF 状態がある．

で振動子の ON/OFF を制御する．これにより単一のプロ各ミラーは投影面の各画素に対応するため，DLP プロジェジェクタで映像表示とデバイスの制御を両立できる．しかクタはミラーの ON/OFF を制御することにより，二値画像し，映像の輝度値を用いて振動子を制御するため，投影でを投影できる．

きる映像コンテンツが制限されるため、布や木目のようなテクスチャ画像は投影できなかった．

DLP プロジェクタでは，画像の輝度を時分割して高速に点滅させることにより，投影された映像の輝度を表現す

一方，SensibleShadow [9] は本研究と同様に PVLC を用る．これは，高速明滅する光の輝度を時間平均して知覚す

いた触覚提示デバイスの制御を実現している．Sensible-るという人間の特性を利用している．また輝度が時間平均

Shadow では，指先につけた触覚提示デバイスの影が特定されたものであるため，人間が知覚する輝度は二値画像のの投影像に重なるとデバイスが振動し，指先に触覚を提示点滅の順序によらない．

する．この研究では，PVLC を用いて映像自体に振動子のPVLC では，人間が知覚する輝度が二値画像の点滅の順制御信号を埋め込むことにより，一台のプロジェクタを用序によらないことを利用して可視光通信を行うことによいた視触覚重畳提示を可能にした．さらに画素ごとに埋めり，人間には映像を提示しつつ，デバイスには受光位置ご込まれた情報を光信号として受信し，これをマイコンでデとに異なる情報の伝送を行っている．具体的には，各画素コードして振動を提示することができるため，事前のキャに埋め込むバイナリデータを時分割して投影し，それによリブレーションを必要としない．しかしこの研究では，影り乱れた輝度を補正する画像を投影する．これらの点滅はが投影像に重なったタイミングで振動子が一定の周波数で高速であるため，人間には点滅を知覚できず，輝度を時間振動することで触覚を提示するため，視触覚重畳提示は実平均した映像が見える．一方フォトダイオードなどの素子現されておらず，また単純な振動覚しか提示することがでは時間分解能が高いため，映像の中に埋め込まれたデータきなかった．

を取得することができる．これにより，PVLC では映像の投影と情報の送信を両立することができる．

空間分割型可視光通信

2.2
2.2.1

概要

2.3

本研究の位置づけ

PVLC では，DLP プロジェクタを用いて画素単位で明光を用いた触覚提示デバイスを制御する方法は，通信と滅時間を制御することにより，人間が知覚できる映像とデ複雑な計算を要する外部観測装置を用いないため，触覚提バイスのみが受光できる不可視の情報を同一の光源環境か示の時間遅れを低減している．中でも，PVLC を用いた触ら提示することが可能である．また，PVLC では映像の画

覚提示は，映像投影と情報送信の両立，受光位置に応じた素単位で情報を埋め込むため，原理的に位置ずれが発生せデバイスの制御，位置合わせ無しで制御が可能である．そず，位置合わせのためのキャリブレーションの必要もない．のため，PVLC を用いることで，位置ずれ・時間遅延を知© 2020 Information Processing Society of Japan426

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

図2

1D-66
2020/3/9

視触覚重畳システムの概要

図4(A) 開発した触覚提示デバイスの外観 (B) 触覚提示デバイス（手首）の拡大図 (C) 触覚提示デバイス（指先）の拡大図

振動部からなり，振動部のみ構成が異なる．
提案する触覚提示デバイスは，どちらも小型でユーザの指先に装着しても動きを制限しない．またプロジェクタ以外の外部装置がなく，外部装置の取得画像と投影画像の位置合わせを行うためのキャリブレーションを必要としないため，装置の設置が容易である．以下では各部の詳細を述(A) 視触覚重畳システム全体の外観 (B) ユーザが使用してい図3

るときの様子 (C) プロジェクタの拡大図（LightCrafter 4500，Texas Instruments）

べる．
3.1.1.1

受光部

受光素子にはフォトダイオード（浜松ホトニクス, S5971）

覚不可能なレベルに低減した可搬性の高い触覚提示デバイを用いた．フォトダイオードで受信した信号は，オペアンスの設計が可能である．しかしこれまでの PVLC を用いた

プによるハイパスフィルタと増幅回路，コンパレータを経

触覚提示の研究では，一定の周波数での振動でしか触覚をてマイクロコントローラに送信される．

提示しておらず，投影された映像に対応する触覚の提示は3.1.1.2

信号処理部

未だ行われていなかった．そこで本研究では，PVLC を用受信した信号の処理には，マイクロコントローラ (STMi-いて，投影するテクスチャの振動刺激の周波数・強度情報

croelectronics，Nucleo STM32F303K8) を利用した． マイを埋め込み，広い周波数帯域で振動子を制御することで，クロコントローラでは，受信したデジタル信号をデコード映像から想起する触覚と提示する触覚が一致する視触覚重することによって位置情報と触覚情報を取得する．これら

畳提示を目指す．の情報に基づいて，振動子の制御信号を振動部に送信する．

提案手法

3.

3.1.1.3

振動部

本研究では、直動振動子に LD14-002（日本電産コパル）

本研究では，輝度変調により映像に情報を埋め込む技術とハプティックリアクタ (アルプスアルパイン) を使用しである PVLC を用いて，直動振動子の強度，周波数を制御た．LD14-002 は小型かつ薄型であるが，単一の共振周波数できる指先装着型触覚提示デバイスを開発し，投影されたしかもたない．LD14-002 を用いた触覚提示デバイス（デ映像に対応した触覚提示を再現する手法を提案する．

バイス A）の振動部は振動子のみで構成される．一方，ハプティックリアクタは LD14-002 と比較すると大型でありシステム概要

3.1

アンプを必要とするが，広い周波数帯域で触覚を提示する

本研究で開発した視触覚重畳システムの概要を図 2 に示ことができる．ハプティックリアクタは，マイクロコントす．また，視触覚重畳システム全体の外観を図 3，触覚提ローラで周波数・強度が制御された振動を提示することで，示デバイスの外観を図 4 に示す．ユーザは指先に触覚提示

ユーザが触れている映像に対応した触感を提示できる．ハデバイスを装着し．スクリーン面に触れることで，触れたプティックリアクタを用いた触覚提示デバイス（デバイス位置に投影された映像に対応した振動刺激を得る．ここでB）の振動部は音声再生モジュール（DFR0534，DFRobot），触覚提示デバイスは，投影画像中に埋め込まれた光信号をアンプ，直動振動子により構成される．予め音声再生モ受信することで，映像に対応した振動刺激を提示できる．

ジュールに音声ファイルとして振動情報を保存しておき，

以下では，システムの詳細を述べる．

マイクロコントローラから再生する音声ファイルを指定す

3.1.1

触覚提示デバイス

本研究では，振動子の異なる 2 種類の触覚提示デバイスを開発した．これらは大きく分けて受光部と信号処理部，© 2020 Information Processing Society of Japanることで提示する振動を操作する．
3.1.2

映像投影

本研究では，PVLC のための高速 DLP プロジェクタと427

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1D-66
2020/3/9

して，DLP LightCrafter 4500（Texas Instruments）を使用した．LightCrafter 4500 の二値画像一枚当たりの最小実験 1：遅延時間の測定

4.

本実験では，開発した 2 つの触覚提示デバイスの遅延時

投影時間は 235 µs である．
PVLC において，投影される画像は，同期フレーム，デー間を測定した．本実験における遅延時間 (T late ) とは，ユータフレーム，輝度調節フレームによって構成される．また

ザの指先に取り付けられた触覚提示デバイスが触覚制御情各フレームはそれぞれ複数枚の二値画像で構成される．プ

報が埋め込まれた映像領域に侵入してから，実際に触覚刺ロジェクタは同期，データ，輝度調節の順でフレーム内の激が提示される（振動子が振動する）までの時間と定義す二値画像を投影する．

る．PVLC を用いて制御する触覚提示デバイスの T late は，同期フレームでは，デバイスにデータの開始を知らせるための同期信号を送信する．また，データフレームでは，画素ごとに値の異なる触覚情報などのデータを送信する．

次式で表すことができる [9]．
T late = T recv + T wait + T vib(3)

同期信号及びデータはバイナリデータで表される．このとここで，T wait はデバイスの同期開始までにかかる時間，き，フレーム内の一枚の二値画像はバイナリデータの各

T recv はデバイスの同期開始からデータの受信完了までにビットに対応し，二値画像の輝度値はバイナリデータの各かかる時間，T vib は，振動子に制御信号を送ってから実際ビット値に対応する．輝度調節フレームでは，RGB ごとに振動子が振動するまでの時間である．の輝度調整用画像を各色一定時間投影する．これにより，T wait 及び T recv は，PVLC における二値画像一枚あたデータの送信により乱れた輝度を投影したい映像の輝度にりの投影時間と投影枚数から計算により求めることができる．T vib は，デバイス A とデバイス B のそれぞれに対し近づくように調整することができる．
ここで，PVLC の同期信号とデータの送信にかかる時間ローラのタイマーで測定した．

を T s ync,data とすると，これは次式で表される．
T s ync,data = (Ns ync + N data ) × T psdて，制御信号送信後から振動までの時間をマイクロコント(1)

T wait ，T recv

4.1

N s ync は同期信号のビット数， Ndata はデータのビット数

T wait は，デバイスの同期開始までにかかる時間であり，を表し，T psd は同期信号及びデータの 1 ビットあたりの投

この時間は指先に取り付けられたセンサが制御情報が埋め影時間を表す．本研究では， Ns ync = 10 [bit]， Ndata = 32

込まれた映像の画素に侵入したタイミングに依存して決ま[bit]，T psd = 0.235 [ms] とした．従って，T s ync,data ≈ 9.9る．そのため T wait は，同期信号の投影開始の直前に当該ms と計算できる．

画素に侵入した場合に最短となり，同期信号の投影と同時

また，PVLC の 1 周期にかかる時間 (T pvl c ) は次式で表開始までの待ち時間はほぼ 0 秒である．最長の場合，待ちされる．
T pvl c = T s ync,data + T pl × 3に侵入した場合に最長となる．T wait が最短の場合，同期(2)

ここで T pl は輝度調節フレームにおける RGB1 色あたりの時間は PVLC での一周期にかかる時間 (T pvl c ) に相当する．
そのため，T wait は式 4 の範囲にあり，その平均は式 5 で表される．

投影時間である．本研究では，T pl = 3.5 [ms] として可視映

0 ≤ T wait ≤ 20.4
20.4
E [T wait ] == 10.2
2

像の投影を行った．従って T pvl c = 20.4 ms と計算できる．
よって，人間が見る映像のリフレッシュレートは 49 Hz となる．

(4)
(5)

T recv は，デバイスの同期開始からデータの受信完了まで投影する画像は，触覚情報のデータベースである LMTにかかる時間であるから，同期信号の投影開始からデー

Haptic Texture Database [10] から選出した．このデータタの投影終了までの時間である．これは，3.1.2 で示した

ベースでは，108 種類のテクスチャの画像ファイルと，そT s ync,data に相当するため，9.9 ms となる．の振動情報の音声ファイルが提供されている．振動情報には高周波の信号も含まれていたが，人間の触知覚は主に低4.2周波数領域（< 400 Hz）の振動について反応する [11]．そ4.2.1

T vib （振動子に依存して発生する遅延）

実験環境のため，振動情報に遮断周波数を 400 Hz としたローパス

T vib の測定のため，振動情報を送信してから実際に振動フィルタをかけ，低周波数領域の信号を取り出した．使用子が振動を開始するまでの時間をマイクロコントローラ上する振動情報は前述した音声再生モジュールに保存しておで測定する実験を行った．振動開始のタイミングは，デバ

き，投影画像の各画素には，PVLC により対応する振動情イスの側面に加速度センサ（KXR94-2050，Kionix）を取報のファイル番号を画素ごとに異なる情報として埋め込り付け，値をマイクロコントローラで測定することによりんだ．

検知した．

© 2020 Information Processing Society of Japan428

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

図5表11D-66
2020/3/9

T vib の測定時に使用した投影用画像

各デバイスにおける映像に対する触覚刺激提示の遅延時間 (ms)

図65.1

主観評価実験で使用した投影用画像

実験環境

本実験で使用した投影用画像を図 6 に示す．図 6 の番号

T waitT recv

T vib

T lateで区切られた緑の各領域に，PVLC により振動をオンにす

デバイス A

10.2

9.9

15.9

36.0

る制御信号と遅延時間の情報を埋め込んだ．触覚提示デバ

デバイス B

10.2

9.9

66.5

86.6

イスにはデバイス A を使用した．デバイス A は 4.2.2 より，最短で 36 ms の遅延時間で振動を提示することができ測定に使用した投影用画像を図 5 に示す．図 5 の赤のる．そこでプログラムで振動子への制御信号の送信に待ち領域には振動をオフ，緑の領域には振動をオンとする制御時間を設けることで，指定された遅延時間（≥36 ms）でデ信号を埋め込んだ．デバイスを指先に装着し，赤から緑へバイスから触覚刺激を提示することができる．

指を移動し，振動までの時間を記録する動作を繰り返し行った．
結果

4.2.2

5.2

実験方法及び被験者設定する遅延時間は 50 ms から 160 ms までを 10 ms 刻各デバイスに対し，制御信号送信直後から加速度センサみとした 12 点を用意した．被験者は利き手人差し指にデで振動を検知するまでの時間をマイクロコントローラ上でバイス A を装着後，赤の領域から緑の領域へ左から右に指100 回測定した．各デバイスの遅延の平均値を T vib とし，をスライドして触り，指先が緑の領域に侵入したという視

T wait ，T recv 及びその和である T late を表 1 に示す．T vib

覚情報の認識に対し，触覚情報が遅延しているかどうかをは，デバイス A では 15.9 ms であり，デバイス B では 66.5

2 択で回答した．被験者は 1 系列につき 12 回の判定を行ms であった．ここでデバイス B の T vib は，音声再生モい，これを 10 系列繰り返すことで計 120 回の回答を行っジュールが指定された音源を再生するまでの時間とハプた．提示する触覚情報は被験者の予想の影響を防ぐため，ティックリアクタが実際に振動するまでの時間の和であっ各系列でランダムとし，また被験者間でもランダムにした．

た．そのため音声再生モジュールのみでの遅延を測定した

被験者は右利きの 20 代 10 名（男性 7 名，女性 3 名）であところ，平均 48.8 ms であった．従って，ハプティックリり，実施時間は一人当たり約 20 分であった．

アクタの駆動に関する遅延は 17.7 ms 程度であると推測できる．

5.3

結果

被験者実験の結果を図 7 に示す．図上の各点は各被験者

実験 2：視覚と触覚の遅延知覚に関する主観評価の遅延を知覚した割合を平均した値であり，エラーバーは4.2.2 より，本研究で開発した 2 種類の触覚提示デバイスフィッティングした結果である．フィッティングに使用し5.の遅延時間が明らかになった．そこで本節ではこの遅延時間を用いて開発したデバイスの遅延に関する評価を行う．
これまでの視覚と触覚の遅延知覚に閾値に関する調査によると，刺激閾は約 100 ms であると報告されてい標準誤差を示す．また，破線はデータをシグモイド関数にたシグモイド関数を次式に示す．
y=

1
× 100
1 + exp(− k(x − x0 ))(6)

フィッティングの結果， k = 0.04， x0 = 103 を得た．

る [12], [13]．しかしこれらの研究で用いられた視覚情報

次に，人間が触覚の遅延を知覚できる刺激閾（T th ）を求は液晶ディスプレイを用いて表示される遠隔の情報であっめた．本実験では，遅延を知覚する割合が 50%となる遅延たため，これらの研究で得られた刺激閾を視触覚重畳シス

時間を T th とし，フィッティングした関数から T th を計算

テムでの遅延時間の評価にそのまま適用することはできな

すると，T th ≈ 100 ms であった．

い．そこで，開発した視触覚重畳システムを用いて視覚とT th は先行研究 [12], [13] で報告されている刺激閾（100触覚の遅延知覚に関する被験者実験を実施した．そして被ms）と矛盾しておらず，本実験により視触覚重畳環境にお験者実験の結果から得られ刺激閾を用いて，開発した触覚いても人間の遅延知覚の刺激閾は 100 ms であることが明提示デバイスの評価を行った．

らかになった．

© 2020 Information Processing Society of Japan429

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1D-66
2020/3/9

謝辞 本研究は，JST ACT-X JPMJAX190O，JSPS 科研3HUFHQWDJHRI3RVLWLYH$QVZHU費 JP15H05925 の助成を受けた．
参考文献

[1]

図7



'HOD\PV



[2][3]

視覚と触覚の遅延知覚に関する主観評価実験の結果

本研究で開発した触覚提示デバイスの遅延時間は，デバ[4]

イス A で 36.0 ms，デバイス B で約 86.6 ms であるので，どちらも刺激閾 (100 ms) 以下に収まっている．このこと[5]から，本研究で開発した触覚提示デバイスは人間が知覚できないレベルまで遅延時間を低減できているといえる．

6.

おわりに

[6]

本研究では，空間分割型可視光通信を用いて位置ずれ・時間遅延を人間が知覚できない程度に低減し，かつ小型の触覚提示デバイスを構築し，視覚情報に対応した触覚刺激[7]を提示できる視触覚重畳システムを提案した。
本研究では，開発した 2 種類のデバイスの評価として映像に対する触覚刺激提示の遅延時間を調査し，小型かつ薄[8]型であるが単一の共振周波数しかもたない振動子を使用したデバイス A では 36.0 ms，大型でありアンプを必要とす[9]

るが広い周波数帯域で触覚を提示することができる振動子を使用したデバイス B では 86.6 ms の遅延時間があることが計測により明らかになった．さらに本システムにおける[10]

人間の視覚情報と触覚情報の遅延知覚に関する刺激閾を調査し，刺激閾はおよそ 100 ms であることが被験者実験により明らかになった．これは視触覚重畳システムの設計の重要な指標になると考えられる．またこの結果から，本研
究で開発した 2 種類のデバイスはどちらも遅延時間を人間[11]が知覚できないレベルまで低減できているといえる．
今後は，既存の振動情報をユーザーの動きに対してどのように提示するのが最適であるかを検討し，触覚提示シス[12]

テムのモデル化を進めていく予定である．加えて，LMT
Haptic Texture Database [10] のような既存の触覚データセットや TactGAN [14] のような一枚のテクスチャの画像[13]から，そのテクスチャに触れたときの触覚刺激を再現する手法から得られる触覚情報を利用することにより，視触覚情報を再生するメディアとしての活用が期待される．また，温度提示や圧覚提示などの装置を本手法を用いて制御することによって，マルチモーダルな感覚提示デバイスも実現できると考えられる．

© 2020 Information Processing Society of Japan[14]

Tanabe, N., Sato, Y., Morita, K., Punpongsanon, P., Matsukura, H., Inagaki, M., Iwai, D., Fujino, Y. and Sato, K.:
fARFEEL: Providing Haptic Sensation of Touched Objects Using Visuo-Haptic Feedback, Proceedings of 2019
IEEE Conference on Virtual Reality and 3D User Interfaces, pp. 1355–1356 (2019).
Tachi, S., Inami, M. and Uema, Y.: The transparent cockpit, IEEE Spectrum, Vol. 51, No. 11, pp. 52–56 (2014).
Miyashita, L., Ishihara, K., Watanabe, Y. and Ishikawa,
M.: ZoeMatrope: A system for physical material design,
ACM Transactions on Graphics, Vol. 35, No. 4, p. 66(2016).
Bau, O. and Poupyrev, I.: REVEL: tactile feedback
technology for augmented reality, ACM Transactions onGraphics, Vol. 31, No. 4, p. 89 (2012).
Benko, H., Holz, C., Sinclair, M. and Ofek, E.: Normaltouch and texturetouch: High-fidelity 3d haptic shaperendering on handheld virtual reality controllers, Proceedings of the 29th Annual Symposium on User Interface
Software and Technology, pp. 717–728 (2016).
北村匡彦，苗村 健： DMD を用いた空間分割可視光通信: メタメディア情報を埋め込んだ映像投影，日本バーチャルリアリティ学会論文誌，Vol. 12, No. 3, pp. 381–388(2007).
Rekimoto, J.: SenseableRays: opto-haptic substitution
for touch-enhanced interactive spaces, CHI’09 Extended
Abstracts on Human Factors in Computing Systems, pp.
2519–2528 (2009).
Uematsu, H., Ogawa, D., Okazaki, R., Hachisu, T. andKajimoto, H.: HALUX: projection-based interactive skinfor digital sports, ACM SIGGRAPH 2016 Emerging Technologies, p. 10 (2016).
Hiraki, T., Fukushima, S. and Naemura, T.: Sensible
shadow: tactile feedback from your own shadow, Proceedings of the 7th Augmented Human International Conference, pp. 23:1–23:4 (2016).
Strese, M., Lee, J.-Y., Schuwerk, C., Han, Q., Kim, H.G. and Steinbach, E.: A haptic texture database for toolmediated texture recognition and classification, Proceedings of 2014 IEEE International Symposium on Haptic,
Audio and Visual Environments and Games, pp. 118–123(2014).
Culbertson, H., Schorr, S. B. and Okamura, A. M.: Haptics: The present and future of artificial touch sensation,
Annual Review of Control, Robotics, and AutonomousSystems, Vol. 1, pp. 385–409 (2018).
Miyasato, T., Noma, H. and Kishino, F.: Subjective evaluation of perception of delay time between visual information and tactile information, IEICE Transactions on
Fundamentals of Electronics, Communications and Computer Sciences, Vol. 79, No. 5, pp. 655–657 (1996).
Silva, J. M., Orozco, M., Cha, J., Saddik, A. E. and Petriu,
E. M.: Human perception of haptic-to-video and hapticto-audio skew in multimedia applications, ACM Transactions on Multimedia Computing, Communications, andApplications, Vol. 9, No. 2, p. 9 (2013).
Ban, Y. and Ujitoko, Y.: TactGAN: Vibrotactile Designing
Driven by GAN-based Automatic Generation, ACM SIGGRAPH Asia 2018 Emerging Technologies, pp. 13:1–13:2(2018).

430