WISS 2023

TeleStick における再生デバイスの持ち方に対応した触覚映像提示手法の提案
山本 航世 ∗

村上 雄哉 †

渡邊 恵太 ∗

概要. TeleStick は，体験者が把持する棒状の再生デバイスと映像内に映った棒の間に連続性を持たせ，映像，音声，触覚の連動によって撮影者の追体験ができるデバイスである．しかし，従来のシステムでは体験者が棒を把持していない場合も映像上に棒が映り続けてしまうため，2 つの棒の連動関係が破綻する問題がある．本稿では，体験者の再生デバイスの持ち方を 2 状態に分類し，状態に応じて提示する振動の大きさや映像の画角を動的に変化させる提示手法を提案する．これにより，体験者の TeleStick の持ち方に合わせた体験を提供することを目指す．

1

はじめに

渡邊らは，記録装置のカメラと再生装置の画面に物理的な棒を取り付け，体験者が画面内に介入しているような感覚を提示する WorldConnector を提案
した [2]．WorldConnector では，カメラに取り付けた棒に触れた振動がボイスコイルアクチュエータによってディスプレイに取り付けた棒で振動として再生される [4]．これにより，ディスプレイに取り付けた棒が映像に映る棒と物理的に繋がっている感覚を生み出す．これは撮影者のカメラの動きを追体験する仕組みとして興味深いが，再生時に棒に接続された小型ディスプレイごと持ち上げるため，装置が重く取り回しが悪かった．
内橋らは WorldConnector の手法を改良し，ディスプレイと棒を切り離しても一体感を得られる仕組みである TeleStick を提案した [1][5]．TeleStick はディスプレイに取り付けたカメラで再生デバイスの動きと角度をセンシングし，それに合わせ映像を連動して提示することで，映像が棒に追従して動くシステムである．この仕組みにより 2 つの棒は視覚的にも物理的にも離れているが，動きの連動によって自分の棒が画面の中へ連続しているような体験が得られ，取り回しの課題を解決した．
WorldConnector と TeleStick に共通する特徴は，体験者が棒を画面に向けない場合でも棒が映像に常に映り込み続け，映像の再生が続く点である．WorldConnector ではディスプレイと棒が一体化されているため，手放した後も物理的かつ視覚的に棒と映像の一体化が続く．しかし，TeleStick は再生デバイスを画面に向けない場合カメラに映らなくなるためセンシング不可能になり，視覚的な連続性が失われる．その間も映像が再生され続け棒を含む映像が映
Copyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗明治大学
†明治大学大学院

振動

強積極的把持状態

振動

消極的保持状態

弱

図 1. TeleStickPlayer の持ち方に再生する
映像の画角と振動の大きさを変更する様子

り続けるため，視覚的な連続性の喪失を強く感じることになる．
そこで本研究では，TeleStickPlayer を画面に向けている状態と TeleStickPlayer を画面に向けていない状態に分類し，その状態に合わせて振動や再生する映像の画角を切り替える提示手法を提案する．
提案手法を用いて TeleStick での映像視聴スタイルに自由度を持たせることを目指す．

2

TeleStickPlayer の持ち方に応じたインタラクションの提案

TeleStick は，映像と振動を収録する TeleStickRecorder とその映像を体験する TeleStickPlayer からなるシステムである．本手法では，TeleStick 体験中の体験者の再生デバイスの持ち方を，TeleStickPlayer を画面に向けている状態である「積極的把持状態」と TeleStickPlayer を画面に向けていない状態である「消極的保持状態」の 2 状態に分類した（図 1）．

WISS 2023

2.1

状態区分

積極的把持状態 体験者は，主に映像内の棒が対象物に触れようとしているときに，その触覚を感じようと TeleStickPlayer を画面に向ける．この状態を積極的把持状態とする．このとき映像内の棒がTeleStickPlayer の位置に合わせて動くため，体験者は従来型のシステム通り TeleStickPlayer と画面内の棒の間の連続性を感じ，画面内に介入しているような感覚を得られる．これまでの TeleStick 体験を基盤として，後述の消極的保持状態という新たな体験方法が加わったことで，体験者はこれまで以上に自ら画面内に介入している感覚を強く感じることが期待できる．
消極的保持状態 体験者は，体験したい触覚が収録されていない場合や映像内の棒付近にものがない場合は，触覚を感じる TeleStick 体験に消極的になる可能性がある．その場合，体験者は TeleStickPlayerを画面に向けずに膝の上や太ももの外側などに降ろす姿勢をとると考えられ，この状態を消極的保持状態とする．このとき映像内に映り込んだ棒を映像下端部に移動することで，体験者は TeleStickPlayerと画面内の棒の連続を感じなくなり，自ら手を降ろしたことによりその連続性を断ち切った感覚を確認できる．また，棒の映り込みは僅かに映像の下端部に残っているため，体験者は触覚の発生源を認識できる．この状態の振動は弱めであるため，より強い振動を提示する積極的把持状態へと誘導されることが期待できる．

2.2

デバイス/ソフトウェア構成

本論文で使用した TeleStickRecorder を図 2 に示
す．カメラは 360 度カメラ (Insta360 ONE RS) を採用した．これにより，積極的把持状態と消極的保持状態のそれぞれに異なる画角を提供できる．Insta
360 ONE RS は環境音と振動を同時に記録できないため，振動収録には 32bit ﬂoat 音声収録が可能な音声レコーダ（ZOOM F2-BT）を使用した．
360 度カメラ映像の再生には Unity を用いた．Unity
上のカメラを取り囲むように球体を配置し，球体内面に収録した全天球映像をテクスチャとして貼り付けた．再生時にはディスプレイ全体に映像が表示され，従来のシステムにあった画角の切れ目や余白がなくなった．音声は左右のチャンネルで分割し，TeleStickPlayer で振動を，ディスプレイ周辺のスピーカーで環境音を再生するように設計した．
TeleStickPlayer は，従来の再生デバイスに再帰性反射材を貼り付け，赤外線カメラを用いて位置検出を行った．Processing を使用して赤外線カメラからの映像の明度差を基に再帰性反射材の座標を検出し，検出できた場合は積極的把持状態として OSC
通信で Unity にその値を送信する．受け取った座図 2. 撮影に用いた TeleStickRecorder

標データに基づき，Unity 内のカメラの位置と回転を調整することで，TeleStickPlayer と映像内の棒との連続性を保持する．また，環境音，振動共に従来型システムと同等の音量で再生する．再帰性反射材の座標を検出できなかった場合は，消極的保持状態として積極的把持状態よりやや上を向いた画角を提示することで映像内の棒の映り込みを減らし，TeleStickPlayer と画面内の棒との連続性を弱めている．環境音は従来型システムと同等の音量で，振動は弱めに再生する．

3
3.1

利用想定シーン
振動収録が少ないシーンの視聴方法

松橋らは，ジェンガのプレイ映像を 2 台の TeleStickRecorder もしくは TeleStickRecorder と通常のカメラを使用した 2 条件で撮影した [3]．その結果，映像の途中で通常のカメラ映像が挿入される場合よりも，棒が常に映し出される映像の方が映像が切り替わった際の没入感が保たれやすいことを示唆した．しかし，従来型の TeleStick はカメラの棒がものに触れることを中心とした仕組みであるため，触覚が記録されていない再生時に棒が映像の中心に映るのは不自然であった．提案手法では消極的保持状態に移行できるため，触覚が収録されていない状態でも棒以外の映像や環境を楽しめる可能性がある．

3.2

体験への積極性に応じた提示映像の変化

内橋らは，従来の天気予報番組に天気模様を体感的に伝えるコーナーとして TeleStick 映像を付け加えることを想定している [5]．従来のシステムを用いた内橋らの想定では，TeleStick 専用映像を見ながら，編集によって付け足したワイプでリポーターの映像を見る必要があった．提案手法では，TeleStickRecorder の棒の奥にリポーターを映すことで，TeleStickRecorder1 台でリポーターと棒を同時に収録できる．そのため，体験者の TeleStick 体験への積極性に合わせて TeleStick 専用映像を見るかリポーターを見るか変化させるような体験ができる．

TeleStick における再生デバイスの持ち方に対応した触覚映像提示手法の提案

参考文献[1] R. Uchihashi, T. Otsuka, Y. Murakami,
A. Yoshizawa, T. Kawashima, K. Yamaguchi,
G. Ono, T. Matsuhashi, S. Yamada, M. Waguri,
Y. Kamiyama, and K. Watanabe. TeleStick:Video Recording and Playing System Optimized
for Tactile Interaction using a Stick. Proceedingsof the 28th ACM Symposium on Virtual Reality
Software and Technology, VRST 22, New York,NY, USA, Association for Computing Machinery,(online)), DOI: 10.1145/3562939.3565653, 2022.
[2] 渡邊 恵太, 中村 聡史. WorldConnector: カメラへの身体性付与による映像世界へ入り込むインタフェース. 第 19 回日本バーチャルリアリティ学会
大会論文集, 2014.

[3] 松橋 月奈, 山田 紗妃, 小野 源太, 安中 勇貴, 渡邊恵太. TeleStick の映像が持つ特徴の分析とそれに基づくコンテンツ制作技法の提案. インタラクショ
ン 2023 予稿集, 2023.
[4] 渡邊恵太. WorldConnector. ICC アーカイヴ
サ イ ト 明 治 大 学 渡 邊 恵 太 研 究 室「 イ ン タ ラ
クションの現象学 人間の輪郭、世界体験の変容」. https://www.ntticc.or.jp/ja/archive/
works/worldconnector/, (参照 2023-10-31).
[5] 内橋 亮人, 大塚 拓海, 村上 雄哉, 吉澤 彩, 川島 拓也, 山口 海斗, 小野 源太, 松橋 月奈, 山田 紗妃,和栗 真花, 神山 洋一, 渡邊 恵太. TeleStick：動画に触覚情報を収録できるカメラ周辺機器と再生手法. 第 27 回日本バーチャルリアリティ学会大会論文集, 2022.