DEIM Forum 2019 P2-124

ビデオ映像の字幕データを用いた補足情報検索
橋本樹†

王元元††

河合由起子†††,††††

角谷 和俊†† 関西学院大学総合政策学部 〒 669-1337 兵庫県三田市学園 2 丁目 1†† 山口大学大学院創成科学研究科 〒 775-8611 山口県宇部市常盤台 2-16-1††† 京都産業大学情報理工学部 〒 603–8555 京都府京都市北区上賀茂本山†††† 大阪大学サイバーメディアセンター 〒 567–0047 大阪府茨木市美穂ヶ丘 5 番 1 号
E-mail: †{ens47564,sumiya}@kwansei.ac.jp, ††y.wang@yamaguchi-u.ac.jp, †††kawai@cc.kyoto-su.ac.jp
あらまし

近年，インターネット回線に接続することでテレビ番組だけでなく，ネットの情報を一台の液晶テレビで見ることが可能なスマートテレビというものが，様々な企業で開発され発売されている．それらのスマートテレビの出現により，今後は複数の要さずに一台の液晶テレビのみで情報を得ることが可能となった．それに伴い，ユーザがテレビ番組を視聴している際に，同じ画面内で補足情報の推薦を行うということが普通になると考えられる．よって，
本研究はテレビの進化と共に有用性が高まっていくことになる．
キーワード 字幕データ，情報推薦，トピック抽出

1. は じ め に本研究では，テレビ番組を視聴している際に，スマートフォンや PC を用いて関連情報を得ることが困難なユーザを対象としている．また，そのようなユーザは関連情報を検索せずにテレビ番組の視聴を続けてしまう，それによって登場人物や場所
図 1 字幕データなどの詳細情報やそれらの比較情報を知ることができないため，番組の理解度が低いまま番組を視聴してしまう場合がある．その理由として二つの問題点が挙げられる，まずビデオ映像を視

3. 字幕データ

聴している端末とは別の端末で検索をしなければいけないためビデオ映像の内容が分からなくなること，もう一つは検索に不慣れなユーザがビデオ映像で短時間しか説明のない検索対象に対して適切なクエリキーワードを作成することが困難であること．これらの問題を解決し，番組を視聴するユーザに対して番組内容の補足情報推薦を行うことが本研究の目的である．

本研究では録画したビデオ映像からクローズドキャプションを抽出し，それらの字幕データから本研究に必要な単語のみを選択する．それらを図 1 のようにエクセルに時系列データとしてまとめることにより，関係する単語の出現頻度などを目視することが可能な字幕データの作成が可能となる．本研究ではそのようにエクセルにまとめた字幕データを用いて研究を行って

2. 関 連 研 究
柿本ら [1] の行った動画視聴中に出現する地名に対してクエリキーワードを自動生成し，動画視聴画面に付与するという研究と西澤ら [2] が行った映像に付帯する地域情報を用いた投稿いる．現在は旅番組の字幕データを主に作成している，その理由としては番組のメインテーマが一つの番組が多いため，本研究の前提条件を満たすものが多いためである．

4. 研 究 概 要型写真共有サイトにおける画像抽出方式という論文を主に参考にして研究を行っている．本研究と柿本，西澤らの研究において最大の差異は他ジャンルとの関係性を用いて情報推薦が可能であるかという点である．柿本らの研究では地名に注目して研究をしているため，番組のクローズキャプションを用いて作成した字幕データからは，地名に関するキーワードに焦点を当てて抽出している．しかし，本研究では番組名などから確認することのできないメインテーマとサブテーマを判定することにより，他ジャンルとの関係性を用いた情報推薦が可能となる．そのような手法を用いたシステム概要については 3 章で述べる．

まず，前提として，一つの番組内で一つのテーマのみを扱っている番組を本研究の対象としている．次に，それらの番組内で扱われる出現単語の名詞のみを抽出し，それらを Wikipediaのカテゴリ分類を用いてカテゴリ分けすることによって，番組内で出現する名詞のカテゴリ群を生成する．生成したカテゴリ群内の単語数からカテゴリ群の大小の差を判定する．それらの大小によってメインテーマとサブテーマを判定することが可能となる．そのようにメインテーマとサブテーマを判定することにより，それらの関係性から地名や食べ物などの他ジャンルの内容を含んだ補足情報の推薦が可能となる．また，仮説としてサブテーマは番組内で説明される時間が少なく、詳細な説明が図 2 カテゴリ分類概要図

図 3 字幕データの例ない場合が多いと想定されるため補足情報の必要性は高いと考えられる．次にそれらのカテゴリ群ごとで時系列データのタイム間隔と単語の頻出度から出現単語の重要度判定を行う．従来の補足情報推薦の手法として，シーンごとの出現回数の多いキーワードが重要語となる．図 1 の旅番組の字幕データの例を用いると，シーン２において推薦されるのはちゃのこについての補足情報となる．しかし，ちゃのこについての詳細情報は番組内で説明されているため視聴者はこれ以上の説明を求めてはいないと考えられる．そこで本研究の時系列特性を考慮した推薦を提案手法として提案する．その手法に関する計算方法は後の章で説明する
図 4 Wikipedia の階層構造

5. カテゴリ分類手法
４章で述べたカテゴリ分類手法についてこの章で述べていく．
全体的な概要としては，図 2 で示しているカテゴリ分類概要図の通りである．

5. 1 カテゴリ群生成

6. 時系列特性を考慮した出現キーワードの重要語判定
4 章の研究概要で述べた通り，本研究ではシーンごとの特定本研究では Wikipedia のカテゴリ分類を用いてカテゴリ群をキーワードの出現数を用いて重要度判定を行うのではなく，番生成している．その理由としては，Wikipedia の階層構造を用組字幕データの時系列特性を考慮した重要語判定を可能にする

いた補足情報推薦 [2] のように，Wikipedia の階層構造を用いための手法を提案する．て関連する補足情報を推薦する場合に対応しやすいためである．

6. 1 計 算 方 法

5. 2 メイン・サブカテゴリの判定

本研究では時系列特性を用いた補足情報検索を可能にするた本研究では前提としてメインカテゴリは番組内で多く言及さめに下記の計算式 1 を使用する．この計算式はキーワードが出れているため補足する必要性がなく，逆にサブカテゴリは番組現したシーンから該当シーンまでの累計シーン数と，キーワー内であまり言及されていないため補足する必要性があると考えドの出現シーンから該当シーンまでの出現シーン数と出現シーている．それらのメイン・サブカテゴリの判定に生成したカテンから該当シーンまでの出現シーン数を割ったものを掛け合わゴリ群内のキーワード数を用いている．

せたものである．これらの計算を行うことにより，全体的の見5. 3 Wikipedia の階層構造を用いた関連キーワード判定

ると頻出しているキーワードだが間のシーンで出現していない

Wikipedia の階層構造を用いることにより，後の章で述べるという場合に，その間のシーンの区間においてキーワードの重時系列特性を考慮した出現キーワードの重要度判定で判定され要度を付与することが可能となる．これにより，字幕データのた重要なキーワードと並列関係にあるキーワードを推薦するこ時系列特性を考慮した補足情報推薦が可能となる．とが可能となる．図 3 に字幕データの例，図 4 に字幕データにm∑出現するキーワードを階層構造当てはめ可視化した図を載せている．

j=1

kij ×m∑Sj(Sj − Ŝi ) + 1
j=1

(1)

s=シーン k=キーワード sj=該当シーン ki=該当キーワード

sm=シーンの数 kn=キーワード数 s=最初の出現シーン

7. お わ り に
今後の課題としては他ジャンルの番組の字幕データを作成し，今回の字幕データを用いて作成した仮説が様々 なジャンルでも当てはめることができるのか検討する． また，本研究のシステ
ムをテレビ番組のみではなく，様々なジャンルの映像データでも応用できるように改善をしていく．

文献[1] 柿本穂香，林利憲，王元元，河合由起子，角谷和俊： Web 検索のための動画字幕データを用いたクエリ生成方式の提案 ， IDR
ユーザフォーラム 2017．
[2] 西澤真帆， 王元元，河合由起子，角谷和俊： 映像に付帯する地域情報を用いた投稿型写真共有サイトにおける画像抽出方
式 ，DEIM Forum 2017 H7-4．