情報処理学会 インタラクション 2021
IPSJ Interaction 2021

1B07
2021/3/10

アイトラッキングを用いた立体映像視聴時の字幕提示手法の検討
清水裕介1

大西鮎美1

寺田 努1,a)

塚本昌彦1

概要：3D 映画やゲームなどの 3D コンテンツにおいて字幕が必要になるケースは多いが，字幕の最適な出し方や字幕提示の枠組みはこれまで確立されていない．そこで本研究では， 3D コンテンツにおける最適な字幕配置を調査する．まず，没入型 HMD を装着して実際に 3D 映画を観賞し，映像及び字幕の見づらさや視聴者の不快感など，3D コンテンツの字幕における問題点を抽出した．調査結果をふまえ，視線情報が取得できる HMD を用いて字幕位置を視線に合わせて変えられるシステムを構築し，没入感を考慮しつつ視点と字幕の深度の差を小さくする字幕配置手法，文字の縦横方向の距離の差を小さくする字幕配置手法を 4 種類提案した．さらに，それらの字幕配置手法の評価のために簡易な実験を行った．

視線1. 研究の背景と目的＜VR空間＞
動く登場⼈物(オブジェクト)

字幕は 3D コンテンツにおいて重要な役割を果たしてい縦るが，文字情報の出し方の最適な手法や枠組みは確立されていない．これまでにも 3D コンテンツの字幕を読みやすくするための提示手法はいくつか提案されており，そのほ奥⾏き
横視線が取れる
没⼊型HMD装着

とんどが奥行き知覚の混乱の改善に着目している [1]．しかし，奥行き方向と縦横方向では視線の移動方法が原理的字幕(視点に合わせて⾒やすい位置に)に異なっており，それぞれが映像や字幕の見やすさに影響
図 1する可能性がある. そこで本研究では，3 次元の視線移動提案システムの使用イメージを考慮し，3D コンテンツに字幕を付与する場合の最適な字幕配置を調査する．

を抽出するために，没入型 HMD を装着して実際に 3D 映

2. 提案システム

画を鑑賞し，映像および字幕の見えづらさや視聴者の不快

2.1 想定環境の不快感や見えづらかった箇所を自由に述べ，その感想を

図 1 のように没入型 HMD を装着して立体映像を見てい感の原因を調査した．被験者は 3D 映画を鑑賞後，視聴時記録した．被験者 2 名の感想から，立体映像を視聴する上るときの最適な字幕提示を行うシステムを提案する．本研

で問題となりそうな点を以下にまとめる．

究で対象とする 3D コンテンツは，VR ゲームや 3D 映画な

問題 1

深度の差で文字が二重に見えるど場面が頻繁に移り変わったり，オブジェクトが動き回っ注視しているオブジェクトの深度が字幕の深度よりも大たりし，視聴者は映像内のオブジェクトを目で追う必要がきいと，字幕に焦点があっていない状態で左右の目の映像あるものとする．このようなコンテンツにおいて，視聴者を処理するため，文字の位置がずれ，二重になっているよはオブジェクトや映像自体を見ることを優先し，字幕は内うに見える．

容の理解を助けるために補助的に用いるものとする．

問題 2

2.2 3D 映画鑑賞による問題点の抽出

はその文字より飛び出して来るようには見えないため，字文字が手前にあるため没入感を感じづらい

文字がオブジェクトよりも手前にあると，オブジェクト

3D コンテンツの字幕において何が問題となりうるのか
1a)

神戸大学大学院工学研究科
tsutomu@eedept.kobe-u.ac.jp© 2021 Information Processing Society of Japan

幕無しよりも没入感が減ってしまう．
問題 3

文字が有効視野にないことでぼやけて見える

文字がオブジェクトよりも手前にあると，オブジェクト

216

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

1B07
2021/3/10

はその文字より飛び出してくるようには見えないため，字HMD・アイトラッカ

幕なしよりも没入感が減ってしまう．

2.3 提示手法
抽出された問題点をふまえ，没入感を考慮しつつ視点と字幕の深度の差を小さくする手法，視点と字幕の縦横方向の距離の差を小さくする手法を 4 種類提案する．視点と字ベースステーション

PC

幕の深度や縦横方向の距離の差を小さくするためには，視図 2

線情報を取得してその時に見ている視点に動的に深度や縦システム構成横の位置を合わせる必要がある．そこで，図 2 のようなシステムを構築する．システムは，アイトラッカで視聴者の視線や眼球の情報を取得し，それらに基づいて図 3 のように字幕の配置を動的に変化させる．
手法 1

奥行き方向移動手法 1 は，アイトラッカで視聴者の視点の奥行きを取得し，見ている点と同じ深度に字幕を配置する．これにより焦点がずれることによって文字が二重に見えることを防図 3 実装した字幕提示の例

ぐ．また，常に視点と同じ深度に字幕が出るため，視聴者は縦横の視線移動のみで字幕を見ることができる．
手法 2

縦横方向移動手法 2 は，アイトラッカで視聴者が見ている方向を取得し，見ている方向に字幕を配置する．これにより字幕が視聴者の有効視野から離れて文字がぼやけることを防ぎ，映像と字幕の間の視線移動を減らして視聴者の眼精疲労を低減する．
手法 3

奥行き方向のどの要素が文字やオブジェクトの見やすさに寄与するかを評価する．
実験の際，アイトラッカの認識精度やノイズによって，字幕提示位置がずれることが考えられ，手法の違いよりもそれらが結果に影響する可能性がある．そこで，本実験では被験者にオブジェクトを見続けるように指示し，視線データがオブジェクトを見ているという結果になると仮定

縦横方向移動+最前面配置

手法 3 は，手法 2 と同様に視聴者が見ている方向に字幕を配置する．空間内に字幕を配置すると，字幕に対して遮蔽が起こり，字幕が見えなくなる可能性がある．手法 3 では字幕を最前面に配置することで遮蔽を防ぐ．しかし，字幕を最前面に配置することで没入感が減る可能性があるた

して，オブジェクトの座標を視点座標とした．その座標に基づき字幕を提示する．提案した 4 種類の手法と，従来の字幕を映像の下部に固定する提示手法を被験者に視聴させた．被験者は男女 2 名で，評価指標には字幕の可視性，可読性，眼精疲労などを用いた．
実験の結果，被験者共通で字幕を縦横または奥行きのどめ，手法 2 との比較が必要である．

ちらか一方のみに移動させたときに眼精疲労が小さくなっ手法 4た．また，縦横と奥行きの全てを移動させたときに，可視奥行き+縦横方向移動

手法 4 は，アイトラッカで視聴者が見ている方向と視点性と可読性が高い結果となった．の奥行きを取得し，見ている点と同じ座標に字幕を配置する．これにより文字がぼやける問題と二重に見える問題を同時に解決できる．オブジェクトと字幕の間の視線移動が最も少なくなるが，最も字幕の移動が多くなるため，文字が読みにくくなったり，没入感を失わせたりする可能性もある．

3. 評価実験

4. まとめ
本稿では，立体映像視聴時に視聴者の視線情報に合わせて配置を変化させる字幕提示手法を提案した．各手法を比較した結果，眼精疲労や可視性，可読性において被験者に共通した傾向がみられた．今後は，この調査が 3D 空間への字幕配置手法の基礎データとなるよう字幕配置手法の特性を明らかにする取り組みを続ける．

提案手法の有効性を評価するため，実験を行なった．実際の映画を評価に用いると変動する要因が多いため提案手法の有効性を評価できないと考え，字幕以外の変動要因を単純化した評価環境を構築した．この評価環境には，空間に斜め奥の方向に動くオブジェクトが配置されており，字幕の配置方法のみを変えられる．これを用いて，縦横方向，© 2021 Information Processing Society of Japan

参考文献[1]L. Sidenmark, N. Kiefer, and H. Gellersen: Subtitles in Interactive Virtual Reality: Using Gaze to Address Depth
Conﬂicts, Workshop on Emerging Novel Input Devices
and Interaction Techniques, pp. 1–6 (Mar. 2019).

217