!"##$%&%%$

遠隔地の複数出来事を同時に体験するための視聴代行bot とタイムライン型インタフェースの提案
村上 雄哉* 渡邊 恵太*

概要． 遠隔授業やライブ配信といったリアルタイムに進行するオンラインコンテンツが増加した．
同時に行われるこれらのコンテンツをライブ配信や録画で視聴することはできるが，複数の映像と音声をリアルタイムに理解することは困難である．そこで本研究ではユーザの代わりにカメラとマイクを用いて出来事を体験する視聴代行 bot とタイムライン型インタフェースを提案する．視聴代行 bot は音声認識と画像撮影を用いてユーザが体験したい場所の様子を画像と字幕として記録する．視聴代行
bot は記録した情報を次々とタイムラインに投稿し，ユーザはタイムライン上でリアルタイムに閲覧する．提案手法を用いて，遠隔地で行われる複数の出来事を同時に体験することを目指す．

1

はじめに

新型コロナウィルスによるパンデミックの影響で，Zoom や Teams などの Web 会議システムを利用した遠隔授業やテレワーク，YouTube を利用したライブ配信など，リアルタイムに進行するオンラインコンテンツが増加した．視聴者は PC やスマートフォンさえあれば視聴可能な一方で，同時期に配信されるコンテンツもあり，どれをリアルタイムで視聴するか悩むことがある．テレビでもそうであったように，１つをリアルタイムに視聴して残りのコンテンツを録画で見返す手法がある．しかし録画の視聴では，後からコンテンツを見返す時間を作る必要があり，いつ見るかの調整やリアルタイムでないことことで話題性の低下から未視聴のままアーカイブが増えるだけとなることも多い．
それに対して，複数コンテンツを同時視聴する手法がある．しかし，複数の音声を同時に認識することが難しいという問題がある[1][3]．映像の並びや再生方法を変更して同時視聴を試みる研究もある
が[2][5][6][7]，操作の複雑化やコンテンツの数に応じて負荷が高くなるような問題がある．
本研究では，遠隔多地点で行われる出来事や予定をリアルタイムに同時体験するために，視聴代行
bot とタイムライン型インタフェースを提案する(図1)．
Copyright is held by the author(s). This paper isnonrefereed and non-archival. Hence it may laterappear in any journals, conferences, symposia, etc.
* 明治大学図 1．提案システムの概要

2

提案システム

ユーザは自分が体験したい出来事が起こる場所やWeb の動画配信コンテンツに対して視聴代行 bot を配置する．それぞれの視聴代行 bot はカメラとマイクを用いて映像を画像に，音声を文字起こしして一定時間ごとにタイムラインへ投稿する．ユーザは画像と文字が次々に更新されるタイムラインを閲覧することで，複数の出来事をリアルタイムに同時体験する．
2.1 タイムライン型インタフェース
タイムライン型インタフェースは，Twitter やLINE で用いられる時系列でコンテンツを並べて提示するインタフェースである．タイムラインは，スクロールだけで比較的多いコンテンツを閲覧でき，時系列であることから，いつ何が起きたかや前後関係を把握しやすい特徴がある．この特徴から，複数の出来事を体験するためのインタフェースとして適切であると考えた．コンテンツは，複数の視聴代行
bot が画像とテキストを生成して投稿する(図 2)．テ
キストコンテンツは，読みやすさのために Twitterを参考に 140 字以下で表示する．

WISS 2022

図 3. 視聴代行 bot の設定画面
画像の撮影間隔や代行する時間を web ページ上で設定する

3.1 試用と体験
図 2. 実際のタイムライン型インタフェースと投稿内容

2.2 視聴代行 bot
視聴代行 bot はタイムライン型インタフェースに画像と文字を投稿するシステムである．複数の出来事を体験するとき，映像と音声を同時に視聴するのは認知的な負荷がある．それぞれの出来事を画像と文字に変換して体験することで負荷を軽減することができると考えた．視聴代行 bot は音声認識と写真撮影を用いて画像と文字をタイムラインへ投稿する．
ユーザは遠隔地の知人に依頼して視聴代行 bot を設置する．Web 配信のコンテンツを体験する場合はURL に配信映像をキャプチャする．ユーザはそれぞれの視聴代行 bot の設定画面(図 3 右側)に情報を入力して代行開始ボタンを押すとタイムラインへの投稿が始まる．例えば図 3 の視聴代行 bot は，30 秒ごとに写真を撮影し，10 分間音声認識で文字起こしをおこなってタイムラインに投稿する．
2.3 実装タ イ ム ラ イ ン と 視 聴 代 行 bot の 機 能 は 全 てNext.js と Vercel を用いて Web ページとして実装した．カメラとマイクを備えて Web ページにアクセスできるデバイスは全て視聴代行 bot として利用することができ，手軽に複数の出来事を同時体験することができる．タイムラインに投稿されるデータはFireStore Database に保存する．音声認識には Web
Speech API, 画像の書き出しには Canvas API を利用した．

3

議論

提案手法を用いて実際に同時体験を行い，提案手法の課題と同時体験の展望について述べる．

著者がタイトル以外の内容を知らない 2 つの配信
動画と 1 つの大学の講義について 1 時間同時体験を行った．講義では視聴代行 bot を講義のスライドが見える角度に設置するように友人に依頼した．
同時体験を通して，文脈の理解には数式や固有名詞が役立つ場面が多かった．講義内容について，タイムラインの投稿に字幕が表示されない，講義スライドの変化が少ない時間があった．配信動画のうち1 つは PC の自作動画であったが，組み立てる手順をタイムラインの画像から正確に判断するのは難しかった．もう 1 つの動画は登場人物が多い会話形式で進行しており，画像をよく切り替えて話者と内容を結びつけて理解する必要があった．
3.2 提案手法の課題
講義の出席を依頼した友人からは，教室のスピーカーの音量が小さかった，スライドを変えずに板書をしていた時間があるという意見があった．提案手法では，画角外の出来事やマイクに音声が入りにくい状況の同時体験が難しい問題がある．ユーザが遠隔地にいる人に視聴代行 bot の設置や移動を依頼するための仕組みを検討する．今回の体験では文脈や画像を確認するために画像切り替えの操作も多くおこなった．スレッド形式や画像の一覧表示といったタイムライン表示の検討も必要である．
3.3 展望提案手法は，遠隔地の視聴覚情報を代行体験としてユーザに同時に提供する．一方で，音楽フェスや食事のような視聴覚以外の情報，会議やワークショップのようなユーザの動作を伴う出来事の同時体験は難しい．複数の物理操作を 1 人のユーザが同時に行う事例として，高田ら[8]のロボットアームを用いた研究がある．本研究の手法を用いて，ユーザは体験したい場所にある視聴代行 bot に接続して視聴体験を同時に進めるといった生活をするようになる．

遠隔地の複数出来事を同時に体験するための視聴代行 bot とタイムライン型インタフェースの提案

参考文献[1] 安西悠,江木啓訓,西川真由佳,湯澤秀人,松永義文岡田,謙一, Ll-011 遠隔会議への同時参加を目的とした複数音声の理解度検討 ,(l 分野:ネットワークコンピューティング).情報科学技術レターズ, 第 4 巻, pp.
301–302, aug 2005.
[2] 池田大介,苗村健. 多チャンネル映像の同時閲覧イン
タフェースの検討. 電子情報通信学会技術研究報告.
HIP, ヒューマン情報処理, Vol. 104, No. 526, pp. 49–54,
dec 2004[3] 川島尊之, 佐藤隆夫, 同時音声の分散的聴取における知覚限界, 日本音響学会誌 Vol65,No.1, pp3-14,
2008[4] 栗原一貴 . Cinemagazer: 動画の極限的な高速鑑賞のためのシステムの開発と評価. コンピュータ ソフトウ
ェア, Vol. 29, No. 4, pp. 4293 − −4304, 2012.
[5] 栖関邦明,高田格,杉山阿葵,岡田謙一. 短縮再生を利用した二重 tv 視聴支援手法.Technical Report 7(2008GN-066), 慶應義塾大学理工学部情報工学科, 慶應義塾大学大学院理工学研究科, 慶應義塾大学大学院理工学研究科, 慶應義塾大学理工学部情報工学科, jan
2008[6] 林織部, 西村邦裕, 阿部浩二, 谷川智洋, 廣瀬通孝.
大量動画視聴における注意誘導に関する研究 (人工現実感，及び一般). 映像情報メディア学会技術報告,
Vol. 33.21, pp. 85–90, 2009.
[7] 山本貴文,土田修平, 寺田努, 塚本昌彦, 複数の Web
会議へ同時参加するための高速再生・映像切替方式,マルチメディア，分散協調とモバイルシンポジウム
2021 論文集, pp140-148[8] Kazuma Takada, Midori Kawaguchi, Yukiya Nakanishi,Akira Uehara, Mark Arm- strong, Adrien Verhulst, Kouta
Minamizawa, and Shunichi Kasahara. Parallel ping-pong:
Demonstrating parallel interaction through multiple bodies
by a single user. In SIGGRAPH Asia 2021 Emerging
Technologies, SA ’21 Emerging technologies, New York,NY, USA, 2021. Association for Computing Machinery