情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1P-86
2024/2/28

映像視聴体験を向上するためのテロップ自動付加システムの開発と評価
張晋瑜†1神場知成†2

概要：さまざまな動画視聴サービスや映像を用いたオンライン会議の増加など，一般利用者が動画を視聴する機会が急増している．従来，聴覚障がい者や外国語視聴者などへのサポート機能として字幕表示があるが，それとは異なるものとして，エンタテインメント番組等で特に日本をはじめとするアジア地域で広がっているテロップ表示がある．本稿では，動画に対して自動的にテロップを重畳するシステムを提案する．動画内の音声データの認識結果をもとにテキスト，イメージなどを用いてテロップ重畳を行うシステムを開発して評価を行ったところ，テキスト表示はわかりやすさ，イメージ表示はおもしろさなどの向上に有効な可能性が示された．基礎的な評価実験にもとづき，辞書機能，テロップ表示位置，表示時間の調整などを行った．今後は，音声だけでなく映像の認識結果にもとづくテロップ表示や，既存の動画視聴だけでなくオンライン会議における対話画面への重畳などについても検討を進める予定である．

1. はじめになお，類似した用語として字幕，クローズド・キャプショ
ン，テロップ等があるが，ここでは聴覚障がい者への対応

世界中で動画コンテンツの視聴が急速に増加している．

や外国語視聴者への翻訳に対応するためものをキャプショ

従来のテレビや映画館での視聴とは異なり，新型コロナウ

ンまたは字幕と呼び，エンタテインメント目的のものをテ

イルスで自宅にいる時間が増えることなどもあり，ロップと呼ぶこととする．なお後述するように，後者のもYouTube を代表とするオンライン動画プラットフォーム，のを，より正確にインパクトキャプションと呼んでいる事

Netflix や Amazon Prime などの有料動画ストリーミングサ例もある．

ービスの利用者が急増している．インプレス総合研究所発行の「動画配信ビジネス調査報告書 2023」によると，2023
年に有料動画配信サービスの利用率は 31.7％となり，前年2. 従来の研究度調査から 2.8 ポイント増加している．また，視聴者の動従来の字幕やテロップに関する研究は，聴覚障がい者向画再生方法はますます多様化しており，同報告書で有料動けの字幕作成の自動化や補助技術に焦点を当てたものが多画配信サービス利用者に視聴に利用するデバイスについていが，テロップに関するものも行われている．

尋ねたところ（複数回答），テレビで視聴するユーザーが2.1 表示位置やレイアウト53.6％となり，昨年調査の 48.8％から 4.8 ポイントと増加

自動字幕配置技術に関するものとして，表示位置によっした．またパソコンは 46.9%，スマートフォンは 44.4%とてオクルージョン（重畳による後ろの物体の隠れ）によるどちらも高い比率を占めており，外出中の電車やバスなど視聴者の印象が変化することが指摘されている．Amin 等での移動中にも利用されていると考えられる．

は[1]，聴覚障害者を対象としてキャプションを表示する際さて，動画コンテンツの視聴を補助するテクニックの一に，キャプション表示位置を 4 種類（画面の上方，上 3 分つとして字幕表示がある．これは聴覚障がい者に対するサの 1，下 3 分の 1，画面の下方）に設定して，それによるオポート機能として用いられる場合や，外国語視聴者に対すクルージョンが，視聴者が受け取る全体的な印象にどのよる翻訳表示の役割を持ち，デジタルデバイド緩和策の一つうに影響を与えるかをニュース番組，インタビューやトーと言える．

クショーなど 6 つのジャンルに分けて検討し，定式化した．

一方，日本を起点として主にアジア地域では，エンタテ

そこではオクルージョンが隠す対象・量・時間によって視インメント目的でテロップ表示が用いられている．これは，聴者への印象が変わることを示し，たとえばニュースであたとえば出演者のセリフを補完，強調して盛り上げることれば，話し手の目，ニュースにおける現在のトピックなどが目的であり，字幕と比較したときに画面上の表示位置，が隠れる場合に影響が大きいことが示されている．

表示方法のバリエーションが大幅に大きい．

Hong 等が提案した Dynamic Captioning は[2]，顔検出と本稿では，映像視聴体験の向上を目指し，テロップ自動認識，ビジュアル顕著性分析，テキストと音声のアライン付加システムを提案し，その有効性の基本的な検証を行う．

メントなどの技術を用いて，映像のアクセシビリティを高†1 東洋大学 情報連携学研究科†2 東洋大学 情報連携学部© 2024 Information Processing Society of Japan574

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

めようとしている．音声情報を可視化する際に映像の発話

1P-86
2024/2/28

3.1 提案システム
図 1 に基本的なシステムの構成を示す．システムは Web

者を認識しやすくような位置にスクリプトを配置することで，映像アクセシビリティの向上を実証した．

上に実装しており，全体の流れは次のようになる．

2．2 視線分析

1)

入力映像からの顔検出と，音声認識

Brown 等は[3]聴覚障害者を対象としてダイナミック字2)

認識結果にもとづき，テロップ表示内容や位置を決定

幕のテストをしてアイトラッキングデータを収集し，ダイ

3)

映像にテロップをオーバーレイ表示

ナミック字幕がユーザーエクスペリエンスの向上につなが

なお，これは現時点での実装にそった構成であり，将来ることを実証した．そこでは従来の字幕と比べ，ダイナミ的には音声認識だけでなく映像認識を用いる等，付加的なック字幕を利用したユーザーの視線の移動は字幕なしの時要素も検討中である．に近いという結果が得られている．

3.2 基礎評価

Jiang 等は[4]，聴覚障害者を対象としてキャプションをテロップ付加というコンセプトの有効性を評価するため表示する際に，利用者が画面上のどこを見ているかを視線に，簡易実装したシステムを用いて作成した映像で 66 名

分析によって検知し，その妨げにならないように表示するの大学生を対象とし，アンケート調査を行った．

システムを示している．また，Hu 等は[5]，画面上の字幕を発話者の横に配置する表示方法を提案し，ユーザビリティ調査の結果，視聴エクスペリエンスの向上と視聴疲労の軽減を示した．
2．3 吹き出し型字幕やテロップ
江草らは[6]，吹き出し字幕の有効性を明らかにするため，オリジナル

健聴者に対して人形劇の鑑賞に字幕付き映像を用いて評価

movie1: テキストのみ実験を行い，表示における人形への自動追従機能が吹き出しの内容を理解することや話者の特定に役立つことや，感情を表現する吹き出し機能が聴覚障害を持つ人々がキャラクターの感情を理解するのに助けになることなどを示している．これは「字幕」との位置づけだが，単なるテキスト

movie2：イメージのみ movie3：テキストとイメージ表示ではなく視聴効果を狙った側面もあり，いわゆるテロ

図 2． 比較した表示方法ップに類似する面もある．
テロップについては，Sasamoto が「インパクトキャプション」と呼んで議論を行っている[7][8]．インパクトキャプ

評価対象としたのは，図 2 左上に示すオリジナル映像を

ションは 1990 年代以降に日本のテレビ番組から広がり，基準としたときに，それに対してテキストテロップ，イメ

現時点では主にアジアに普及し，欧米にも広がり始めていージテロップ，両方のテロップをオーバーレイ表示したると指摘し，そこではインパクトキャプションが，ユーモ

movie1～3 である．映像は 22 秒間で発話音声が含まれていア効果を生み出すためや，登場人物への共感や理解を深めるがここでは省略する．movie1～3 は，オリジナル映像をるためなどさまざまな目的で意図的に利用されていると述

システム上で再生してテロップをオーバーレイ表示した映べている．本稿は，このようなインパクトキャプションの像をあらかじめ録画して，その映像を再生することで実験自動生成を目指すものである．

を行い，「わかりやすさ」「おもしろさ」（いずれも 1～5）等

3. テロップ自動作成システムの評価および自由回答によるアンケートを行った．
3.3 評価結果
l

いずれの評価においても，movie3（テキストとイメージの両方を表示）が一番高い評価となった．

lmovie1（テキスト）と movie2（イメージ）を比較すると，わかりやすさでは movie1 の評価が高く，おもしろさでは movie2 が高くなった．つまり，テキストはわかりやすさ，イメージはおもしろさに貢献している．

図 1. システム構成l

見やすさの観点では，全体的に平均の数値が低い．映像間の比較では movie1 < movie 2 < movie3 となったが，特に movie1 では，見やすさの平均がオリジナル映像と比較してマイナス値（-0．28）となった．movie2© 2024 Information Processing Society of Japan575

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1P-86
2024/2/28

は平均でプラスになったが，movie2 においてもイメる単語が続けて出現すると，前に表示されたテロップをすージによって映像の一部は隠れてしまっているので，ぐに上書きしてしまうため，「一瞬表示されただけで上書き「見やすくなった」というよりも，「イメージの効果されるテロップ」が発生していた．テロップの表示時間はが，画面が隠れることの欠点を補って結果的にプラス

視聴者がテキストを読み取るのに適切な時間を与えるようになった」と考える方が妥当であろう．

調整されるべきであり，文字数や内容の適切なバランスをこの他，自由回答として「テロップ表示（テキストおよびイメージ）が常に動いて見づらい」等の意見もあった．
3.4 辞書の設計考慮しつつ，理解しやすく，追いつきやすい速度で字幕が表示されるよう設計する必要がある．
今回，音声認識の結果からテロップを表示する際に，表基礎実験により，テロップ表示においてテキスト，イ示される時間を調整する機能を追加した．これにより，テメージそれぞれが異なる効果を持つことが確認できたのロップが適切な間隔だけ表示され，視聴者が画面を適切にで，実用性の向上を目的とした開発を行った．

読み取り，情報を取得しやすくなるよう配慮した（ただし，まず，発話されたテキストに対応してテロップとして上書きされる問題は解決していない）．

表示する可能性があるテキストやイメージを指定するため

今テレビ上や映画の字幕の読み上げ平均秒数は，通常，の辞書設計を行った．そこではテキストのフォント，フォ言語や文の長さ，字幕の表示スタイルなどによって異なっントサイズ等も設定可能としている．現在の辞書の一部をている．一般的には，読み上げられる文字数に基づいて平図 3 に示す．

均的な表示時間が設定され，最も一般的なガイドラインとしては，1 つの字幕の表示時間が 2〜7 秒程度であり，また日本語は 1 秒間に 4 文字以内，英字（アルファベット）は単語

表 示

表示画像

フォント

ﾃｷｽﾄ
Japan

Japan

jpn-png

FONT_HERSHYE-

ﾌｫﾝﾄ

1 秒間に 12 文字以内というのが，一般的な字幕の速度範囲ｻｲｽﾞである．

1.3

均秒数の最も短い 2 秒に設定した．ただしこの数値は一例

SIMPLEXamazing

amazi

amazing.png

ng
wow

wow

FONT_HERSHEY_2

FONT_HERSHEY_2

COMPLEX．．．

．．．

．．．

．．．

であり，テロップの内容と実際の設定は特定のコンテンツや視聴者のニーズによって異なる場合があるため制御手法

SIMPLEX
wow.png

今回は，改良後のテロップ表示時間を字幕の読み上げ平．．

図 3. 辞書の⼀部は今後の課題である．
3.7 システムによる画面表示例
ここでは，初期の評価用プロトタイプに対して上記のような強化を行ったシステムの動作例を示す．リアルタイムの表示性を重視して画像サイズは小さめの 540 × 360 に，コーデックは H.264 に設定した．映像の長さは 27 秒であり，3.5 テロップ表示位置の制御基礎実験に対するアンケートでは「テキストとイメージの位置が常に変動している．テロップのテキストが読みにくい」というコメントがあった．これは，OpenCV によりオンライン会議のような場面で二人が対話する形であるが，現在の実装では音声からの話者認識などの処理を行っていないため，同時に二人が話す画面は利用していない．
話者は次のような発話を順番に行っている．

フレームごとに顔の検出を行い，その横にテロップ表示を

Yoko: Hi John， how was your trip to Japan?

しているせいだと考えらえる．つまり，発話者が話していJohn: Oh， it was amazing!

る間は顔が動くと，取得される位置座標（X と Y）もフレ

And I also had tuna， squid， and shrimp while I was there．

ームごとに変化している．この問題を解決するために，テThey were all really delicious． However， I did made a mistake

ロップの表示位置を一定時間は固定するようにした．

at one point， I loaded up too much wasabi．

音声認識の結果から単語を抽出し，辞書にマッチする単I had sushi at a special restaurant．

Yoko: Wow! that sounds like something I'd do．

語がある場合にテロップを表示するようにしているが，単語が一致してから 2 秒間は取得した位置座標を更新せず，その表示位置を一時的に固定する．

セリフ内の太字の単語は，あらかじめ辞書に登録したもの（つまりテロップ表示するもの）である．現時点で登録

また，基礎実験ではテロップが顔の上に表示される場合した単語数は限られているが，今後辞書を拡張していく予があったが，テキスト表示位置が必ず顔の右横となるよう定である．本システムでテロップ表示した画面例を図 4 にに修正をした．

示す．

3.6 テロップ表示時間の制御
さらに別の問題として，発話中にテロップ表示に対応す© 2024 Information Processing Society of Japan576

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1P-86
2024/2/28て，表示を適切に仕分ける機能が実装されていない．このような機能を実現するためには，音声の特徴や波形の解析，発話者識別のためのアルゴリズムやモデルの導入が必要だと考える．特に，混合された音声の中から異なる話者を正確に識別するための音声分離技術や話者識別モデルの構築が求められる．
システムが遅延なくテロップを表示するための処理性能が重要であるが，特に音声認識を SpeechRecognition API経由で行う場合に遅延が一定しないという課題もあり，この問題の対処も必要である．
4.2 ユーザー体験への影響の確認
表示の遅延が体験に与える影響の大きな一つの要因と図 4．画面表示例

して，映像と音声の同期があり，遅延があると情報の理解や視聴体験に支障をきたす可能性がある．特に連続するテ

4. 考察
4.1 技術面

ロップや音声との同期が取れない場合，情報が混乱することが懸念される．また，前述した話者を仕分ける機能は，ユーザーにとって，画面内の複数の発話者を正しく識別し，基礎実験のアンケートにおいて，「表示に遅延を感じコミュニケーションや情報を理解するために重要な要素でる」や「表示のタイムラグがある」といった意見があっある．例えば，複数の人物が登場する動画では，発話者でた．今回の機能強化では OpenCV の処理を高速化し，負はない人物の近くにテロップが出た場合，視聴者が混乱す荷を低減するために，映像の解像度やコーデック，画像のるようなことが考えらえる．これらを考慮し，表示時間あサイズなどの要素を配慮した．ただし，音声認識に使用さ表示位置に関して，良いユーザ体験を実現するためにはそれている Speech Recognition API は，リアルタイムで識別の程度の遅延が許容範囲であるかなども検討する必要があを行い，その結果を返すまでに時間が必要となる．そのたるだろう．

め，画面表示と音声認識を合わせると遅延が生じることに4.3 応用範囲なる．SpeechRecognitionAPI では認識結果確定前の暫定認

今回提案したテロップシステムは．既存の動画視聴だけ識結果も取得可能だが，確定結果よりも認識精度が低いとでなくオンラインビデオ会議などへの活用も考えられる．

いう課題がある．

対面会議とちがってオンライン会議では緊張して話しづら

技術的には，辞書の強化が最大の課題である．現時点でくなる等の状況も発生している．現在，オンライン会議のは一つの認識単語（フレーズ）に対して一つのテキスト，効果や効率を上げるさまざまな手法が検討されているが画像，フォント，フォントサイズだけを登録しているが，[9]，発話にあわせてテロップ表示をすることで，やわらか実際にはこれらはダイナミックに決められるものである．

なコミュニケーションの実現に貢献するであろう．

たとえば同じ単語を認識してもテロップを出す場合，出さ今回のテキスト，イメージ表示はいずれも事前に発話内ない場合があるし，さまざまなテキストやイメージを表示

容を決めて，それにもとづいて何をテロップ表示するかをする可能性もある．たとえば，「すごく楽しかった」とい決めたものである．必ずしも認識結果をそのままテキスト

う発話に対してテキストを表示する場合，「！」などを表表示する必要はなく，言い換え辞書などを作成しても可能

示する場合，ハートマークのイメージを表示する場合などであるが，どのような言い換えが可能であるかについてはさまざまな場合があるであろう．

今後の検討課題である．最近急速に成長している生成 AI のまた，既存研究にもあるように，表示場所，表示され利用等も候補となる．さらに，本稿では音声認識だけを用ている時間は画面の見やすさに大きな影響を与える．テロ

いてテロップ表示の判断を行ったが，参加者の声のトーン，ップ表示時間は 2 秒に設定しているが，テロップが連続し顔の表情などから推定した内容にもとづいてテロップ生成て表示される場合，表示に問題が生じる可能性がある．こを行うことも考える．の問題に対する対策として，そのときの顔画像の位置から一定の場所にテロップを表示するのではなく，たとえば顔のまわりを囲うようにテロップごとに少しずつ次のテロッ
プ表示位置をずらす等の対策も考えらえる．

5. おわりに本研究では，動画へのテロップ付加を自動的に行うため

また，現在のシステムでは，画面内に複数の発話者がのシステムを提案し，システムの基本的な有効性確認と，同時に存在する場合に，それぞれの話者を個別に識別し一定の機能強化を行った．今後は，新たに構築したテロッ© 2024 Information Processing Society of Japan577

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1P-86
2024/2/28

プ表示システムの効果を検証するための評価実験を予定している．また，本稿ではエンタテインメントを目的としたテロップ付加について述べたが，このようなシステムの効果は，従来は字幕を用いていたようなケースで役立つ場合もあると考える．
謝辞

本研究は，東洋大学重点研究推進プログラムにより助成を受けたものです．同助成に感謝いたします．

参考文献[1]A. A. Amin, S. Lee, M. Huenerfauth: Watch It, Don’t
Imagine It: Creating a Better Caption-Occlusion Metric byCollecting More Ecologically Valid Judgments from DHH
Viewers, CHI ’22, Article No. 459, pp. 1-14 (2022)． https://dl．
acm．org/doi/abs/10．1145/3491102．3517681[2] R. Hong, et al. Dynamic captioning: Video accessibility
enhancement for hearing impairment, MM '10, pp. 421-430(2010)[3] A. Brown, et al. Dynamic subtitles: The user experience, TVX
2015, pp. 103-112 (2015)[4] Bo Jiang, Sijiang Liu, Liping He,WeiminWu, Hongli Chen, andYunfei Shen. 2017. Subtitle Positioning for E-Learning Videos
Based on Rough Gaze Estimation and Saliency Detection. In
SIGGRAPH Asia 2017 Posters. Article 15 (2017)[5] Y. Hu, et al. Speaker-following video subtitles, ACM
Transactions on Multimedia Computing, Communications andApplications， pp．1-17 (2014)[6] 江草遼平 ほか, 視線計測装置を用いた吹き出し型字幕提示
法の視線移動量低減効果に関する有効性の評価, ヒューマン
インタフェース学会論文誌, Vol. 21, No. 4, pp. 381-390(2019)[7] R. Sasamoto: Impact caption as a highlighting device: Attempts atviewer manipulation on TV, Discourse, Context and Media Vol. 6,pp. 1-10 (2014)[8] M. O’Hagan and R. Sasamoto: Crazy Japanese subtitles? Shedding
light on the impact of impact captions with a focus on researchmethodology, Eyetracking and Applied Linguistics (pp. 31-58),
Chapter 3 (2016).
[9] S. Samrose, et al. : MeetingCoach: An Intelligent Dashboard forSupporting Effective & Inclusive Meetings, Proceedings of the2021 CHI, Article No. 252, pp. 1-13 (2021)© 2024 Information Processing Society of Japan578