情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1B-53
2024/2/28

映像内の視線行動解析に基づく被注視感拡張システム
中島 悠人1

廣川 暢一3Modar Hassan2

鈴木 健嗣2

概要：COVID-19 の流行による影響を受け，オンラインライブは急速に拡大し，現在も継続して用いられているが，演者とのアイコンタクトが失われてしまう問題がある．本研究では，オンラインライブの体験向上を目指し，ライブ視聴において映像内の演者から見られている感覚を拡張するための，演者の視線行動解析に基づくフィードバックシステムを提案する．本稿では，提案手法の概要とシステム構成について述べたのち，同様のアルゴリズムの頭部ロボットへの応用について述べる．

1. はじめにLive Performance Venue

近年，COVID-19 の流行を受け，有料型オンラインライブ市場が急速に拡大している．徐々に会場でのライブ開催
Performerが増加傾向にあるが，オンラインライブには多くの利点がStimuliあるため，継続して利用されている．オンラインライブのさらなる発展の上での課題の 1 つとして，演者とのアイコンタクトの喪失が挙げられる．会場でのライブにおいて，Audience

一般に観客は演者に近い状態を望み，演者と目が合うこと
図 1

はライブの体験にさらなる価値を与える．Antonietti らの提案する被注視感拡張手法

研究 [1] により，ミュージシャンが観客に視線を向けることで，観客の音楽体験の質が向上することが明らかにされている．これより，オンラインライブにおいて目が合う体験を提示することで，体験向上を図るという着想を得た．
本研究の目的は，視聴者がライブ映像のような画面内の演者から見られている感覚 (被注視感) について明らかにし，その体験を拡張することである．ここでは，実際に演者が視聴者を見ているという物理的な現象の有無に関わらず，視聴者が演者から見られている感覚を得ることを被注視感とする．これは，ステージ上の演者に対するカメラ座標系と，視聴者と画面との空間的位置関係，さらに演者の視線方向の幾何学的整合性を考慮する必要がある．これに加え，画面上における視線方向や頭部方向から，視聴者の被注視感に対する認知特性を明らかにする必要がある．これより，ライブ映像内の演者が視聴者を見ているか否かを目の位置や視線方向などの視線行動の解析に基づき判別し，見られているとしたときに視聴者側にフィードバックをすることにより，被注視感を拡張することを目指す．
12
3

筑波大学 理工情報生命学術院 システム情報工学研究群 知能機能システム学位プログラム
筑波大学 システム情報系
日本電気株式会社© 2024 Information Processing Society of Japan

2. 提案手法
2.1 手法概要
図 1 に本研究で提案するライブ視聴における被注視感拡張手法の概要を示す．このとき，画面を見ている視聴者が画面内の演者から見られていると感じるためには，少なくともライブ会場において演者がカメラに視線を向けた状態となる必要がある．本研究では，ライブ映像内の演者がカメラに視線を向けているときにデバイスにより振動刺激を提示することで，視聴者の被注視感を拡張する．
ここで，視聴者は 2 次元の画面を見ていることから，モナリザ効果が生起する．モナリザ効果とは，モナリザのよ
うな正面顔をとらえた肖像画の前を観察者が通り過ぎた場
合，その目が観察者を見続けているように感じる効果である [2]．これにより，提案手法による被注視感の拡張は，ライブ視聴環境における視聴者の位置に制限されず適用することができる．

2.2 視線判定モデル
図 2 にライブ映像における座標空間を示す．カメラ後方にライブ視聴空間が存在するが，2.1 節で述べたモナリザ

414

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1B-53
2024/2/28

図 4

ペンライト型振動デバイスに振動刺激を提示する．また，使用感を実際のライブでの使用状況に近づけるため，デバイスをペンライト型とする．

図 2

ライブ映像における座標空間

4. まとめと今後の展望
本稿では，オンラインライブ視聴における被注視感の拡張を目指し，映像内の視線行動解析に基づく視線判定モデ
ル，およびその判定結果に基づき刺激を提示する手法を提案した．今後，実験により本システムの振動によるフィードバックが被注視感に与える影響を明らかにする．
また，本システムのアルゴリズムを頭部ロボットに実装

図 3

システム構成の概要することで，ロボットが視聴者とともにライブ映像を視聴効果により，視聴者側の空間的位置関係は考慮する必要がすることによる，視聴者の被注視感への影響を検証する．

ないことがわかる．演者の視線と xy 平面の交点を注視点

Furhat[4] は，人の顔の形を模した 3 次元ディスプレイで(gaze point) とし，注視点の座標 (dx ，dy ，dz ) を，目の 3

様々な顔や表情を表現するだけでなく，胸部のカメラで人次元座標 (ex ，ey ，ez ) と視線角度 (θg x，θg y) を用いて幾何を認識し，首のモータでその方向に顔を向け，マイクとス的に算出する．そして，原点であるカメラと注視点の距離ピーカで人とインタラクションをとることができる．このから，演者がカメラに視線を向けているか否かを判定する．

Furhat に提案システムのアルゴリズムを実装し，ライブ映像内の演者に見られていると判定したときの振る舞いを3. システム構成

設定することで，視聴者と同空間でライブを視聴するエー

図 3 に今回実装したシステム構成を示す．本システムはジェントとすることができる．このエージェントと同空間

視線判定部と刺激提示部からなり，Web カメラで取得したでライブ映像を視聴したときの視聴者の被注視感への影響

映像から PC において視線解析，および視線判定を行い，を，仮説を立て検証する．

BLE 通信で接続したデバイスにより刺激提示を行う．

参考文献
[1]

3.1 視線判定部
本研究で提案する視線判定モデルでは，映像内の人物の目の 3 次元座標と視線角度を計測する必要がある．Open-[2]Face2.0(以下 OpenFace) は，オープンソースの顔動作解析ツールキットであり [3]，映像内の頭部・視線情報を推定することができる．OpenFace は Web カメラを用いることで[3]リアルタイムに動作するため，ライブ映像の入力は，Webカメラでライブ映像を投影したスクリーンを撮影したものとする．また，OpenFace の出力データを用いて 2.2 節で示した視線判定モデルを Python で実装する．

3.2 刺激提示部
図 4 に刺激提示のためのペンライト型振動デバイスを示[4]

A. Antonietti, D. Cocomazzi, and P. lannello, Looking
at the Audience Improves Music Appreciation, Journalof Nonverbal Behavior, 33(2):pp. 89-106, 2009.
S. Rogers, M. Lunsford, L. Strother, and M. Kubovy,
The Mona Lisa Eﬀect: Perception of Gaze Direction inReal and Pictured Faces, Studies in Perception and Action VII, pp. 19-24, 2003.
T. Baltrušaitis, A. Zadeh, Y. C. Lim, and L. -P. Morency,“OpenFace 2.0: Facial Behavior Analysis Toolkit,” Proc.
of 2018 13th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2018), pp. 5966, 2018.
S. Al Moubayed, J. Beskow, G. Skantze, and B.
Granstrǒm, “Furhat: a back-projected human-like robot
head for multiparty human-machine interaction,” Cognitive Behavioural Systems. Lecture Notes in Computer
Science, vol 7403. Springer, Berlin, Heidelberg, pp. 114130, 2012.

す．このデバイスは BLE 通信によって PC と接続し，視線判定部によりカメラに目線を向けていると判定された際© 2024 Information Processing Society of Japan415