1C4-3
This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.

第 27 回日本バーチャルリアリティ学会大会論文集（2022 年 9 月）

TeleStick：動画に触覚情報を収録できる
カメラ周辺機器と再生手法

内橋亮人 1) ，大塚拓海 2) ，村上 雄哉 2) , 吉澤彩花 2) ，川島拓也 2) ，山口海斗 1) ，小野源太 1) ，松橋月奈 1) ，山田
紗妃 1) ，和栗真花 1) ，神山洋一 3) ，渡邊恵太 1,3)

Ryoto Uchihashi, Takumi Otsuka, Yuya Murakami, Ayaka Yoshizawa, Takuya Kawashima, Kaito Yamaguchi,Genta Ono, Tsukina Matsuhashi, Saki Yamada, Manoka Waguri, Youichi Kamiyama, and Keita Watanabe
1) 明治大学 総合数理学部（〒 164-8525 東京都中野区中野４丁目２１−１, ev190520@meiji.ac.jp）

2) 明治大学大学院 先端数理科学研究科（〒 164-0001 東京都中野区中野４丁目２１−１, keita w@meiji.ac.jp）
3) シードルインタラクションデザイン株式会社（東京都渋谷区広尾３丁目）

概要: TeleStick は，一般的なカメラと映像モニター環境で，映像提供と融合した触体験の収録と再生手法である．本システムは触覚マイクを搭載した棒型のデバイスをカメラの画角に入り込むように取り付け，映像とともに触覚情報と音声情報をステレオ 2ch で収録する．体験者は，スピーカーと振動子を内蔵した棒形状のデバイスを持って，記録映像を視聴すると映像の中へ入り込んだような感覚が得られる．

キーワード： 触覚，インタラクション，感覚・知覚，視覚，クロス・マルチモーダル，カメラ

1.

はじめに映像コンテンツに合わせた触覚の配信やインタラクション手法が多数研究されている．例えば，小島ら [1] の鉛筆削り時の振動触覚をサンプリングし再現する仕組みや，渡邊らは心臓の鼓動を収録・再生する心臓ピクニック [2] などがある．他にもテーブルと映像を組み合わせ，テーブルを触覚伝達の媒体として遠隔地とコミュニケーションする公衆触覚伝話がある [3]．

これらは比較的身近なテーマを題材にし，ワークショップやデモンストレーションとしては触覚表現を身近にしているものの，カメラで映像を撮影するように個人が触覚情報

図 1: TeleStick 体験の様子を収録し配信するような手軽な仕組みにポイントを置いて再生装置の画面に物理的な棒を取り付け，映像内に連続すめにツールキット化 [4] し，一般の人でも触覚の収録と再現コイルアクチュエーターを取り付け，カメラの棒から入るいるわけではない．こうした中で，仲谷らは，触感提示のたが可能な，触覚表現を探求できるテクタイルを開発した．さる棒を把持する感覚を与える．さらに，再生側ではボイス振動を伝達する [7]．これにより視覚的にも触覚的にも画面らにワークショップを行って実証評価し，採集した触感デー内に振れた体験を提供できる．収録方法も棒で触れるイン手法についても Web で公開している．ただし，テクタイル

きる．

タをオープンソースで公開した．またツールキットの制作
はパソコンやスマホのスピーカーでは音声情報として再生

タラクションで触覚データを含む映像コンテンツを制作で一方で WorldConnector で撮影した動画の視聴方法にはされ，触感を再生するためには工夫が必要で，この時の再課題があった．棒の先端に小型ディスプレイに装着し体験媒体の用意が必要である．したがって，手軽な触覚情報のクションはカメラでの撮影のスタイルに近いが，視聴スタ生方法は，原則として記録の際に用いたものと同じ道具や収録と再生体験や配信のインタラクションには課題がある．

1.1

WorldConnector

我々は J．J．Gibson の自己の鼻が視野の一部を遮蔽することが自己感覚を生み出す考察に注目し [5]，WorldConnectorを開発した [6]．WorldConnector は，記録装置のカメラとⒸ 2022 日本バーチャルリアリティ学会するため，装置が重くバランスも悪い．収録するインタラ
イルはカメラ映像を見るテレビのような気軽さに欠け，体験のハードルだった．

そこで本研究では，一般的なカメラやモニター環境における触覚収録配信のためのインタラクション手法 TeleStick(図1）を提案する．TeleStick は，WorldConnector のコンセプトを洗練改良し，より一般的なカメラでの映像撮影やテ-1C4-3-

1C4-3

図 2: TeleStick Recorder での収録

図 4: 棒と映像の動きの一致

図 3: システム構成

レビなどの映像視聴環境において，触覚を含む映像コンテンツの撮影と体験を提供する．

2.

TeleStick

TeleStick は，WorldConnector のコンセプトを継承しつ

図 5: ハードウェア構成

体的には R には触覚情報，L に可聴域マイクの音情報を収つ，従来のビデオ撮影の枠組みを拡張利用して触覚を収録録する. そして，ステレオ結合部でその LR を統合し，ステを提供するシステムである．

る仕組みとした (図 3)．カメラの仕様はステレオでの外部し，さらに家庭でテレビを見るようなスタイルで触覚配信
撮影者はカメラが取り付けられた棒でさまざまな対象に触れ，コンテンツを収録する (図 2)．視聴者は振動子を内蔵

レオミニジャックにアウトしカメラのマイク端子に取り付けマイク入力が可能であれば TeleStick のカメラとして利用できる．

再生システム:TeleStickPlayer

した棒を持つことで，振動や触れているインタラクション

2.2

棒の先端にディスプレイはなく，据え置きのディスプレイ内と振動子を内蔵した棒状のデバイスを持ち記録映像を観賞映像を体験する．視聴体験は WorldConnector とは異なり，に，視聴者の棒の位置をトラッキングし一本の棒が続くような体験として映像を提示する．これにより WorldConnector

で課題であった視聴体験を改善した．TeleStick は，触覚の収録と再生の 2 つのシステムで構成する (図 3)．

2.1

収録システム：TeleStick Recorder

TeleStick Recorder はカメラの周辺機器として設計した．

把持部分のすぐ先に三脚マウントがありカメラを取り付けられる．その先には，棒がカメラの画角内かつ中央に入り再生は，体験者がモニター環境で，可聴域用スピーカーする（図 1）．WorldConnector では，ディスプレイを先端に直接取り付けて物理的かつ視覚的に棒が 1 本に繋がるように見せているが，TeleStick では，物理的には画面から離れている．その代わり，ディスプレイ内で映像をフルスクリーンに固定せず XY 方向に自由に移動できるようにする．
棒状デバイスの座標を取得し，視聴者の棒の動きに合わせて映像が上下左右に動く．このとき, 棒の先端が，映像の中の棒の先端と一致するように動く．
（図 4）．これにより，物込むよう伸びている．そして先端根本部分に触覚収録用の理的には棒と映像は離れていても視覚的には動きの同期か球体を取り付けている．先端パーツは触れ方のインタラク

2.3

マイクを内蔵している．先端部分は標準パーツとして木製

ら自分の持つ棒が映像内に延長しているように感じられる．
ハードウェア構成

ションや収録する振動情報に影響し，さまざまな部品に交

撮影システム：TeleStickRecorder マイク入力可能かつ動画

ウント部分下部の右側には可聴域の音を収録するためのマのアクションカメラであることが望ましい．
）にステレオ変換できる．この部品については後述する．また，カメラマ
イクがある．

本システムでは，触覚マイクの振動情報や音声情報を動画内のステレオ 2 チャンネル LR を利用して収録する．具Ⓒ 2022 日本バーチャルリアリティ学会

撮影可能なカメラ（SONY，DSC-RX0M2 や GoPro など換機を搭載した棒型デバイスを接続した (図 5)．棒は外形12mm 内径 10mm，長さ 25cm/12.5cm のカーボンパイプである．棒の先端には振動情報を収録するエレクトレット-1C4-3-

1C4-3
コンデンサマイク EM246U100B1(Primo 社) を内蔵した．
棒先端には M4 のネジがあり任意の先端パーツに交換取り付けを可能にした．棒と把持部分の間には，環境音と撮影者の声を収録するマイクをつけた．

再生システム：TeleStick Player 体験者が持つ棒状デバイ
スには，振動子（VibrationActuator639897(Foster) とス

ピーカー MSI28-12R(SPL(HongKong)LIMITED) を内蔵する．Bluetooth （ESP32-WROOM-32E (EspressifSys-tems (Shanghai)Pte.Ltd.) もしくは USB 接続でスピーカーとして振動と音声を再生する (図 5)．2.5W 級ディジタルオー

ディオパワーアンプ NS4168(Shenzhenshi YONGFUKANG

Technology co.,LTD) を 2 台用いてスピーカー・振動子を駆動する．マイコン・アンプ間は I2S フォーマットのディジタルオーディオインターフェイスで接続する．棒状のデバイ
スの座標の取得方法は 2 種類あり，AR マーカーと Web カ

メラを用いたものと，ジャイロマウス（L8star，G20S）を用いたものがある．

3.
3.1

TeleStick を用いた撮影ことで撮影を行う．ピントは先端部分に合うように設定する．カメラによっては被写界深度が浅すぎる先端部分以外はボケるため，ある程度絞る（F4〜）ことが望ましい．一

般的なカメラでの映像撮影と違い，棒が画角に入りピントもそこに合うため，ファインダーや液晶モニタを注視しなくても気軽にさまざまな対象に触れるだけで撮影が可能である．

TeleStick の映像の特徴

TeleStick Recorder で撮影した映像の下部には棒が映り込む．また，カメラの画角と棒の長さによって映像内での棒の入り込み方が変わる（図 6）．棒はカメラに固定しているため，映り込み方は常に変わらない．位置が固定されていることで，再生側の棒状のデバイスとの一体感を生み出す．そのため，棒の固定が緩く，動いてしまうと TeleStickの体験が劣化する．詳細は議論で述べる．

また TeleStick では棒でさまざまなものを触れるため，触れる対象の形状をなぞると，その形状や特徴に合わせて映像の動き方にも影響がでる．これにより，振動マイクで取得できないような，摩擦感，凸凹感や，やわらかさのようなものが映像表現に反映される．

TeleStick では標準パーツとして球体を取り付けている．

25cm

先端パーツを変えることで，映像体験や振動情報の特性が変わる．そこで，先端パーツの変更で体験がどのように変化するか試した．具体的にはうちわ，柄杓，粘着クリーナー，美顔ローラー，バドミントン，フォークでの餌付け，キャスタ，マシンガン，傘，チェロを試した．これらのうち最初の4 つの体験について記述する (図 7)．なお，日用品はテープで棒に巻きつけ固定した．(A) うちわ： 大きな面を持つため，雨や落下物振動を拾えることを期待した．水滴については水が当たる感覚を感じとれた．風については風切り音

TeleStick での撮影とコンテンツ

基本的にデバイスの把持部分を持ち様々な対象に触れる

3.2

図 7: 先端パーツの探索が振動として入った．うちわではなく，風速計のような回転体を先端に装着することでその回転振動を取得すれば風も体感的になる可能性がある．(B) 柄杓：先端に柄杓を取りつけて撮影した．水を柄杓に流し入れると，水が柄杓の中に注ぎ込まれている感覚があった．水が入ってくる強さによる触覚の違いを感じることができた．(C) 粘着クリーナー：

粘着クリーナーを床で転がす映像を撮影した．床の模様によりカメラの動きがより強調された映像になった．また，撮影者と体験者で棒の向きが異なる（撮影者は下方向，体験者は正面）が，体験に違和感はあまり感じなかった．(D) 美顔ローラー：美顔ローラーを用いて，人の顔を含めたいくつかの対象を撮影した．ローラーが広がるにつれてカメラが対象にゆっくりと近づき，狭まるにつれて遠ざかるような映像であった．

4.

本研究では WorldConnector を改良し，液晶モニター内で動画自体を棒の動きと連動させることにより，「棒の先で動画を持つ」感覚と体験を実現する TeleStick を提案試作した．これによりテレビのような日常的な環境で画面の中に棒が入り込み，映像の中での触体験が可能になる．次に動画コンテンツの TeleStick 化に伴う特徴や制約について議論する．

図 8: 動物とのふれあい

12.5cm

図 6: 棒の長さによる入り込みの違いⒸ 2022 日本バーチャルリアリティ学会

議論-1C4-3-

図 9: 天気模様を伝える

1C4-3

4.1

TeleStick のコンテンツ作り込み例

先端パーツと映像コンテンツの探索を経て，筆者らでアイデア出しを行い，次の 2 つのコンテンツを制作した．

4.1.1

動物とふれあいTeleStick の先端に動物が餌を食べやすいスプーンを取り付け撮影した (図 8)．この映像は，従来の動物番組に「ふれあいコーナー」として加えることを想定している．ふれあいシーン時，カメラマンはカメラに TeleStick Recorder を接続し，棒が写り込んだ映像を撮影する．視聴時には，動物がスプーンを介して舐めている様子が伝わり，実際に餌をあげているかのような感覚を追体験できる．

4.1.2

天気模様を伝える

TeleStick の先端に，雨や風の模様を取得しやすい団扇型についても映像再生機器を拡張する形式であるため，すでにあるオーディオビジュアルや放送配信の枠組みの中でコンテンツを提供できる．これらから要件（1）を満たしてい（3）についてもカメラの使い方のノウハる．また要件（2）
ウを拡張しているため，本論文でも紹介した触体験を含めたコンテンツの作り込みをすぐに撮影し実践しながらアイデアを深められる．さらに YouTube 上に動画がアップロードできるため，他の人のコンテンツを体験することで新たなアイデアやヒントを得ることもできるだろう．

5.

おわりに従来のビデオカメラの撮影や家庭でテレビを視聴するような体験の枠組みの中で触覚の配信を目的としたシステムのアタッチメントを取り付け撮影した (図 9)．従来の天気予

TeleStick とそのコンテンツ例について述べた．本研究によけ加えることを想定している．視聴時には，視覚的な雨やは視聴者が再生デバイスを所持して体験する為，テレビリができる．

なると考える．さらに今後は，モニター環境だけでなく，ス報番組に「天気模様を体感的に伝えるコーナー」として付風の様子だけでなく，雨の降り方や風の強さを感じること

4.2

棒の連動性とモニター

現在の実装では棒と画面内の映像のトラッキングは，ジャイロマウスか AR マーカーで行う．ジャイロマウスはモニターに対して絶対的な位置のトラッキングができない．そのため中心が合わない，もしくはずれが生じることがありその都度キャリブレーションが必要になる．ただしコンテンツ読み込み時には，必ずカーソル位置を中心にすることや，体験開始時に利用者に TeleStick プレイヤーを中心に持ってこさせてリセットするような機能を実装することで煩わしさは軽減できる可能性がある．なお，現在 LG 社のテレビではポインティング操作のためにジャイロマウスリモコンが付属しているタイプがある．こうしたテレビリモコ
ンに振動子を内蔵すれば，家庭のテレビとリモコンという組み合わせて TeleStick の体験を提供できる．AR マーカー

り，手軽に触覚の配信と再生が可能になった．一方，TeleStick

モコンこの機構を組み込むことで，触覚の再生がしやすくマートフォンでも視聴できるようにしたい．また，ビデオ通話を使ったコミュニケーションやライブ配信などにもこの手法を組み込むことができると考える．

参考文献[1] 小島雄一郎, 橋本悠希, 梶本裕之. 鉛筆削りに着目した

触覚的心地良さ提示デバイス. エンターテイメントコン

ピューティング, 2008.
[2] 渡邊淳司, 川口ゆい, 坂倉杏介, 安藤英由樹. 心臓ピクニッ
ク: 鼓動に触れるワークショップ (＜特集＞ハプティクスと VR). 日本バーチャルリアリティ学会論文誌, Vol. 16,

No. 3, pp. 303–306, 2011.
[3] 早川裕彦, 大脇理智, 石川琢也, 南澤孝太, 田中由浩, 掲,鎌本優, 渡邊淳司. 高実在感を伴う遠隔コミュニケーショ

ンのための双方向型視聴触覚メディア「公衆触覚伝話」

は，マーカーをカメラで認識する必要がある．そのためモニター側へのカメラ設置が要件となる．またマーカーの場
合は周辺の明るさにも依存することや，マーカーがカメラから見えなくなる，もしくは速く動かすとトラッキングできない．テレビにはカメラは内蔵されていないことは多いの提案. 日本バーチャルリアリティ学会論文誌, Vol. 25,

No. 4, pp. 412–421, 2020.
[4] 仲谷正史, 筧康明, 南澤孝太, 三原聡一郎ほか. 触感表現の一般普及に向けた方法論とテクタイルワークショップを通したその実践 (＜特集＞ ハプティックコンテンツ).

が，PC においてはモニター上部にカメラを内蔵していることが多い．そうした環境では AR マーカーであると，カメラとオーディオ接続だけのため，比較的一般的な環境だけで TeleStick を体験できる．

日本バーチャルリアリティ学会論文誌, Vol. 19, No. 4,pp. 593–603, 2014.
[5] 訳：古崎敬 J.J. ギブソン. 生態学的視覚論. サイエンス社, 1986.

触覚情報の伝達のための手法としての合理性[6] 渡邊恵太, 中村聡史. Worldconnector: カメラへの身体ハードウェアの普及要件を次のように定義した.(1) 手軽に回日本バーチャルリアリティ学会大会論文集, 2014.
[7] 渡邊恵太. Wordlconnector. ICC アーカイヴサイト 明4.3

触覚普及をめざした中谷らの研究 [4] では, 触覚情報伝達入手し，利用できる道具立てがあること.(2) 触感表現の道具の使い方を学ぶ場があること.(3) 学んだことを実践し，知識を深める機会があること.

TeleStick はカメラの周辺機器として利用できる．そのためカメラやスマートフォンなどのすでに普及した製品の市場の中でうまく利用できる道具立てである．また再生方法Ⓒ 2022 日本バーチャルリアリティ学会-1C4-3-性付与による映像世界へ入り込むインタフェース. 第 19

治大学 渡邊恵太研究室「インタラクションの現象学 人間の輪郭、世界体験の変容」, https://www.ntticc.or.jp/

ja/ archive/ works/ worldconnector/ , (参照 2022-720).