日本データベース学会和文論文誌
一般論文

Vol. 20-J, Article No. 4, 2022年 3月

ユーザの視聴操作と地理的関係性に基づく映像視聴支援システムの提案
王元元1

橋本樹2

河合由起子3

角谷和俊4

近年，動画配信サービスの普及により，映像に関連したさまざまな情報を推薦する研究が盛んに行われている． たとえば，
NHKの放送通信連携サービス「NHK Hybridcast」 [23]では，テレビ番組の放送中に同画面上で関連情報の推薦を行っている．また，YouTubeではチャプター機能が実装され，ユーザの視聴操作

図1

本研究で使用するユーザインタフェースの有用性が向上してきている．しかし，現在はユーザの視聴操作を考慮した補足情報推薦を行うサービスは実装されていない．そを抽出し情報推薦を行う場合が多い．しかし，本研究では，キーこで本研究では，ユーザが選択したシーンを抽出可能なユーザインタフェースを提案して利用することでユーザの視聴操作を抽出

ワード群より得られるトピックに加えて，地名や地域など地理的する．これにより，ユーザのシーン選択から得られた各シーンの情報を持つキーワードを使用する．
本論文では，地名など地理的情報を持つキーワードを空間的キ

地理的情報を持つキーワードと各シーンでのトピックを用いて空間的距離および意味的距離を算出することで，補足情報の検索クーワードと定義する．空間的キーワードを使用することで地名やエリを生成する．本論文では，ユーザの視聴操作を用いたユーザ

地域は集合記号を用いて表現することが可能であるため，シーンの視聴傾向抽出および地理的関係性抽出に基づく映像視聴支援シ

ごとで得られる空間的キーワードの地理的関係性を用いて，推薦する情報を判定することが可能である．たとえば，比較対象のシステムの提案とその検証を行う．

ーンで「兵庫県」に関する内容を放送し，視聴中のシーンで「関1西学院大学」に関する内容を放送している場合，「兵庫県」に対はじめにして「関西学院大学」は包含関係にあり，「兵庫県∋関西学院大

TVer *1やGYAO! *2 など見逃し配信を行う動画配信サービスの学」と表現される．この関係性により，シーン間の地理的関係性普及とNetflix *3 やHulu *4 などのサブスクリプションサービスの普が「兵庫県」から「関西学院大学」に範囲が狭まっているため，及により，放送時間を気にして映像を視聴することが減ってい番組内容では「兵庫県の関西学院大学」という流れで，より詳細る．そのため，興味のあるシーンのみを視聴する「飛ばし見」をな内容を放送されると考えられる．このように，シーン間の地理行うユーザが増え，映像全体を視聴する「流し見」を行うユーザ的関係性を使用することにより，推薦すべき情報の種類を判定すが減ってきていると考えられる．本研究では，そのような研究ることが可能である．本研究では，それらに対応したクエリ式の背景に基づいて，主に「飛ばし見」を行うユーザを対象としてい生成方式を提案し，これにより，ユーザの視聴傾向を考慮した補る．上記の前提に基づき，ユーザの視聴操作を取得可能なユーザ足情報として適切なWebページの推薦を目指す．

インタフェースにより，「飛ばし見」を行うユーザが選択したシ

本論文の構成は以下のとおりである． 2章では本提案システムーンの操作履歴を抽出する．抽出された選択シーンはユーザが求のファイ用および関連研究について述べる． 3章では，ユーザのめる情報であると仮定し，選択シーンの操作履歴内に出現するキ視聴操作分析に基づく各シーンのトピック抽出について説明し，ーワードを用いてクエリ式を生成する．これにより，ユーザの視聴操作によって推薦する情報が変化するため，個人化された情報

4章では，提案手法に基づく補足情報を検索するためのクエリ式の生成について述べる． 5章では，ユーザインタフェースのユー推薦を行うことが可能である．また，従来の映像を用いた研究でザビリティに関する評価と補足情報を検索する際に使用するクエはクローズドキャプション内に出現するキーワードからトピックリ式の評価について述べる．最後に，6章でまとめと今後の課題について述べる．

1 正会員

山口大学大学院創成科学研究科

2 非会員

関西学院大学大学院総合政策研究科

2.1

ewd16738@kwansei.ac.jp
3 正会員

映像視聴支援システム

本研究では，図1に示しているシーン選択可能なユーザインタ

京都産業大学情報理工学部

フェースにより得られるユーザの視聴操作を抽出して，ユーザのkawai@cc.kyoto-su.ac.jp
4 正会員

システム概要と関連研究

2y.wang@yamaguchi-u.ac.jp

関西学院大学総合政策学部

視聴操作に基づく映像の補足情報提示手法を提案する．図2はユsumiya@kwansei.ac.jp*1 https://tver.jp/*2 https://gyao.yahoo.co.jp/*3 https://www.netflix.com/jp/*4 https://www.hulu.com/

ーザインターフェースの画面遷移図であり，ユーザが選択したシーンに基づいて表示する内容が変化する．図3に提案した映像視
聴支援システムの概要図を示す．

1

日本データベース学会和文論文誌
一般論文

Vol. 20-J, Article No. 4, 2022年 3月

図2

ユーザインタフェースの画面遷移図

2.2

関連研究

近年，映像の字幕やクローズドキャプションなどのメタデー
タを用いて，映像内容に関連する情報を推薦する研究が多く行われている．我々の先行研究は，テレビ番組のクローズドキャプション内に出現する地理的な情報を持つキーワードを用いて地理情報や関連する情報を推薦するシステムを提案している [6] [14] [15] [16]．これにより，地理的関係を考慮した情報推薦は有効であると考えられる．本研究も地理的関係を考慮した情報推薦を行うが，空間的距離の算出方法と検索クエリの生成基準が異なるまた，クリピンデルら [18]はクローズドキャプションに出現する単語ごとに重要度を付与する手法を提案し，手法としてTFiDF を使用して重要度を算出している．三浦ら [20]は単語間の意味的関係の抽出手法を提案している．これらの研究では，映像のクローズドキャプションから単語間の意味的関係を考慮したクエリキーワードの抽出を行っている．本研究では，単語間の意味的関係性だけでなく，空間キーワード間の地理的関係性も重視した検索クエリの生成を行う．
また，映像を対象とした研究として，トピックの変化に基づく
図3

システム概要図

シーン分割に関する研究は盛んに行われている． Baraldiら [2]はビデオフレーム内に存在するトピックの時間的変化を利用したシーン分割手法を提案している． Sidiropoulosら [12]はBGMやナレ

本提案システムは，前処理として映像のクローズドキャプショーションなどの音声データを用いたシーン分割手法を提案してンを抽出し， MeCab [19]を用いて形態素解析を行い，映像のクいる．ほかにも，Rasheedら [10]はビデオフレーム内のオープンローズドキャプションに出現している名詞のみを抽出する．シー

キャプションやクローズドキャプションなどのテキストデータ

ン分割にはMicrosoft AzureのVideo Indexer [9]を使用し，分割さを用いて，映画やテレビ番組の構造を分析している．対照的に，れたシーンごとのサムネイルを図1に示しているユーザインタフ

Liuら [8]は動画のショットに注目し，ショットに表示されるオーェースの下部で表示する．サムネイルをクリックすると該当シープンキャプションやナレーション， BGMなどのテキストデータンの開始時間にスキップして映像が再生される．ユーザインタフと音声データの両方を用いたシーン分割手法を提案している．本ェースにより得られるユーザのシーン選択をユーザの視聴操作と研究は， Microsoft AzureのVideo Indexerを利用してシーンの分定義し，ユーザの視聴操作により得られる選択シーン内のキーワ

割を行っているため，その点が異なる．

ードと空間的キーワードを用いて，トピック抽出と地理的関係性

さらに，ビデオフレームを用いた研究では，ビデオ要約に関す抽出を行う．抽出された地理的関係性の種類によって，ブーリアる研究も盛んに行われている．ビデオ要約では，シーン分割と同ン検索モデルに基づいて生成されるクエリの種類を決定する．地様にトピックの変化や場面の切り替わりを判定し，個人化された理的関係性を用いたクエリ生成手法については4章で述べる．生短いビデオの推薦を行っている [4] [11] [13]．本研究では，ユー成されるクエリ式を図1に示しているユーザインタフェースの映ザのシーン選択を用いているため，映像全体をユーザが視聴しな像再生画面の下部に表示する．また，クエリ式を用いた検索結果いという点などは内容的に近いと考えられる．しかし，映像の要の上位10件をユーザインタフェースの中央部に表示し，検索結果約は映像制作者の意図を考慮する必要があるため，非常に困難での上位1件のWebページを補足情報としてユーザインタフェースあると考えられる．の右上部で表示する．

2日本データベース学会和文論文誌
一般論文

Vol. 20-J, Article No. 4, 2022年 3月

表1

ピックを判定する際に該当シーンと2つ前までのシーン選択履歴

トピック抽出に使用したテレビ番組

番組

タイトル

放送時間

シーン数

平均シーン長トピック数の3シーンを用いて各ショットごとの各トピックに属する確率のA

そうだ旅に行こう

46分

22

2.1分

15平均値を算出する．また，平均値の算出を行う際に定数を重みとB

ブラタモリ #97

45分

28

1.6分15して付与する．重みの設定としては該当シーンにおける確率にC

さわやか自然百景 #215分

8

1.9分

10は0.5，1シーン前のシーンにおける確率には0.3，2シーン前のシーンにおける確率には0.2を乗算する．これにより，視聴履歴でのトピックも考慮したトピック分布の構成が可能となる．

また，本研究では地理情報に関連する内容も含むため，地理情報の推薦に関する研究 [7] [21] [24]も参考にしている． これ

3.3

各手法におけるトピック抽出結果の比較らの研究では，地理情報を推薦するために用いる特徴ベクトル

実際のテレビ番組（表1）を用いてLDA-UとLDAにより抽出さの抽出が必要不可欠であり，特に倉田ら [21]は地理情報推薦れるトピックワードの比較を行った結果を表2に示す．また，比にTopological Relations [5]を応用する手法を提案している．本研

較手法として，従来手法であるTFiDFの結果も示す． TFiDFの計究においてもTopological Relationsを用いた手法は有効であると算は下記の式 (1) により算出され，番組全体における総シーン数考え，地理的関係性抽出に本手法を使用している．

を 𝑁 とし，該当するシーンを𝑠，該当するシーンに出現するキーワードを 𝑘 と定義する．

トピック抽出3

本研究では，補足情報を推薦する際にトピックと空間的キーワ

TFiDF = TF(𝑘, 𝑠) × logードを用いてクエリ式を生成する．そのため，該当シーンにおけ𝑁DF(𝑘)(1)るクエリ式で使用するトピックの抽出手法について説明する．
3.1 トピック抽出手法

結果として，テレビ番組AとCにおけるLDA-Uを用いたトピッ

ト ピ ッ ク 抽 出 手 法 に は， 潜 在 的 デ ィ リ ク レ 配 分 法 （Latentク抽出では， 1シーン前のシーンでトピックワードとして抽出

Dirichlet Allocation, LDA） [3]を使用し，番組内に出現するキされた「温泉」や「シギ」などのトピックワードを抽出するこーワードに対して重み付けを行う．これにより，シーンごとでトとが可能である．また， TFiDFにより抽出されたトピックワーピックとなるキーワードの判定を行うことが可能となる．次に具ドとLDA-U， LDAにより抽出されたトピックワードを比較する

体的な処理の流れについて説明する．番組におけるカメラの切りとTFiDFでは出現頻度のみを用いて計算されるため，該当シー替わりをショットと定義し，ショットの意味的な集合をシーンとンで出現頻度の高いキーワードのみが抽出されるが， LDA-U，定義し，各ショット内で発言されたナレーションやセリフを1つ

LDAでは該当シーンに出現していないが関連のあるキーワードの文書として使用する．番組全体でのショットの集合を入力としも抽出することが可能である．以上の結果より，提案手法であて， MeCab [19]による形態素解析を行い，それにより得られるるLDA-Uを用いることでユーザの視聴操作を考慮したトピック名詞のみをキーワードとして使用する．また，形態素解析の際に抽出が可能であるということが確認された．

不要語を除去するために数字1文字やひらがな1文字などをスト4ップワードとして設定した．そして，抽出されたキーワードのクエリ生成
本章では，補足情報を推薦するためにWebページを使用する．

出現頻度を用いてTFiDFによるベクトル化を行い，それらを用いてLDAによるトピック分布を求める．

よって，補足情報となるWebページを抽出可能なクエリ式を生成

ハイパーパラメータ𝛼， 𝛽の設定はZhaoら [17]に従い，𝛼 = 50
𝑇，する．クエリ式の生成には情報検索システムで使用されているブ𝛽 = 0.01とした．また，トピック数の設定は渡邊ら [22]に従い，ーリアン検索モデルを使用する．

トピック数𝑇 は，𝑇 = 5から5刻みで𝑇 = 30まで実行し，人手で調4.1 空間的・意味的距離を用いたクエリ生成の基準

べた結果から最も適切にトピックが構成されたと判断されたトピシーン間の地理的関係性とトピックを用いたクエリ生成では，ック数を使用する．適切なトピック数は番組の長さによって異なシーン間の内容が明らかに異なる場合や実距離が遠く離れているるため，45分の番組ではトピック数𝑇 = 15，15分の番組ではトピ場合がある．よって，関係の無いシーン間でのクエリ生成を制御ック数𝑇 = 10とする．シーンごとのトピックを判定するために，するためにクエリ生成の基準を設定する必要があると考えられ該当シーン内に含まれるショットごとの各トピックに属する確る．本研究では，空間的キーワードの郵便番号を用いた空間的距率の平均値を用いて，シーンごとで上位3件に含まれるトピック離とシーン間の内容の類似度を用いた意味的距離の2つの距離をを抽出する．そして，上位3件のトピックにおける上位キーワー定義し，これらの距離に基づき，クエリ式を生成するための基準

ド10件を抽出し，各キーワードがトピックに属する確率の平均値を表3に示す．

を閾値として，閾値以上のキーワードをトピックワードとする．

4.1.1 空間的距離の算出

3.2

視聴操作に基づくトピック抽出

空間的距離の算出には，上3桁と下4桁で構成される郵便番号を本研究では，ユーザの視聴操作を考慮した補足情報推薦を目的使用し，実距離の近似値を算出する．これにより，実距離を使用としているため，トピック抽出においても視聴操作を考慮した手するコストを大幅に削減することが可能である．また，郵便番号法としてLDA-Uを提案する． LDA-UではLDAと同様に番組全体を使用することにより，空間的キーワード間の地理的関係性を判でのショットの集合を入力として処理を行うが，シーンごとのト定することが可能である．空間的距離の算出には下記の式 (2) に3

日本データベース学会和文論文誌
一般論文

Vol. 20-J, Article No. 4, 2022年 3月

表2 LDA-U, LDA, TFiDFを用いたトピック抽出の例

番組

シーン選択

A

7 → 9 → 13

B

12 → 16 → 22

C

4→3→5

LDA-U

TFiDF

ベッキー，後ろ，急，ベッキー，後ろ，急，証明書，焼却炉，一，花月亭，海鮮，温泉一，花月亭，海鮮，本

最終目的地，予約

有馬，温泉，街，海水，有馬，温泉，街，セント，海水，調査，一緒，モフモフ

調査，中央，一緒，モフモフ，温水

鳥，藤前，干潟，食べ物，鳥，藤前，干潟，食べ物，泥，栄養素，場所，シギ，羽泥，栄養素，場所

表3

地理的関係性LDA

Disjoint

空間的距離

魚

空間的・意味的距離を用いたクエリ生成の基準

Equal

InsideContain

Disjoint

Equal

近い

意味的距離

高速道路，大通り

InsideContain

遠い

近い

生成

生成

生成

生成

生成

生成しない

生成

生成

遠い

生成

生成

生成

生成

生成しない

生成しない

生成しない生成しないより算出される．

エリ式は表4に示す．

GeoD(𝑠𝑖 , 𝑠 𝑗 ) = |Zipcode(𝑠𝑖 ) − Zipcode(𝑠 𝑗 )|(2)

評価実験

5

本章では，本研究で使用するユーザインタフェースのユーザビ

4.1.2 意味的距離の算出

意味的距離を算出するために，シーン間での類似度をユークリ

リティに関する評価と補足情報を抽出する際に使用するクエリ式

ッド距離により算出する．これにより，関連の無いシーン間でのの評価を行う．ユーザインタフェースの評価には，システムのユ補足情報の推薦を防止する．ユークリッド距離の算出には特徴ベーザビリティを評価する際に使用される指標であるSUS (System

クトルとしてシーンごとのTFiDF値を使用する．また，意味的距

Usability Scale) スコア [1]を用いる．また，クエリ式の評価には離の計算は下記の式 (3) と (4) により算出される．

実際の番組を用いてクエリ生成を行い，生成されたクエリ式によSemD(𝑠𝑖 , 𝑠 𝑗 ) =vut𝑁∑︁

り得られるWebページをTFiDFとTFにより得られるWebページ(𝑠 𝑗 − 𝑠𝑖 ) 2と比較することで評価を行う．

(3)

5.1

𝑖=1

ユーザインタフェースのユーザビリティ評価

ユーザインタフェースのユーザビリティに関する評価実験で

𝑠𝑖 = {TFiDF(𝑘 1 ), TFiDF(𝑘 2 ), ..., TFiDF(𝑘 𝑗 )} (4)は，図1に示しているプロトタイプシステムのユーザインタフェ

4.2 地理的関係性に基づくクエリ生成

ースを使用し，ユーザインタフェースの操作の例は図2に示す．

本手法では，該当シーンに対して1シーン前のシーン履歴を比

上記のユーザインタフェースを用いて，シーン選択有の場合とシ較シーンと呼ぶ．また，該当シーンと比較シーンに出現する空間ーン選択無の場合の2つのパターンでどちらのほうは有用性が高的キーワードを用いて，シーン間での地理的関係性を抽出し．生いかを検証する．また，SUSスコアの算出に使用する質問は以下成されるクエリの種類を判定する．使用される地理的関係性のパの項目で行う．

ターンとしてTopological Relations [5]の9種類の空間的関係より，4種類の関係性を使用する．使用する関係性はDisjoint， Equal，

Q1 このシステムをしばしば利用したいと思う

Inside，Containの4種類である．以下に地理的関係性によって推Q2 このシステムを利用するには説明が必要となるほど複雑であると感じた

薦される情報を説明する．
Disjoint

Q3 このシステムは容易に使いこなす事ができると思った

該当シーンに出現する地名と比較シーンに出現する地Q4 このシステムを利用するのに専門家のサポートが必要だと感名が分離しているため，地域の比較情報を推薦する．
Equal

じる

該当シーンに出現する地名と比較シーンに出現する地名

Q5 このシステムにあるコンテンツやナビゲーションは十分に統が一致しているため，トピックの比較情報を推薦する．
Inside一感があると感じた

該当シーンに出現する地名が比較シーンに出現する地名

Q6 このシステムでは一貫性のないところが多々あったと感じたに対して内在しているため，地域の詳細情報を推薦する．
ContainQ7 たいていの人は，このシステムの利用方法をすぐに理解する

該当シーンに出現する地名が比較シーンに出現する地と思う名に対して内包しているため，地域の概要情報を推薦する．

Q8 このシステムはとても操作しづらいと感じた
Q9 このシステムを利用できる自信がある

それぞれの地理的関係性の例は図4に示す．また生成されるク4

日本データベース学会和文論文誌
一般論文

Vol. 20-J, Article No. 4, 2022年 3月

図4 地理的関係性の例
表4

地理的関係性に基づくクエリ生成

地理的関係

推薦情報

クエリ式

クエリ式の例(1) Disjoint

地域の比較情報(𝑝 𝑤𝑖 AND 𝑡𝑖 ) 𝑂𝑅 (𝑝 𝑤 𝑗 AND 𝑡𝑖 )(下田 AND 宿) OR (熱海 AND 宿)(2) Equal

トピックの比較情報(𝑝 𝑤𝑖 AND 𝑡𝑖 ) 𝑂𝑅 (𝑝 𝑤𝑖 AND 𝑡 𝑗 )(下田 AND 宿) OR (下田 AND 旅行)(3) Inside

地域の詳細情報(𝑝 𝑤𝑖 AND 𝑡𝑖 ) NOT 𝑝 𝑤 𝑗(蓮台寺温泉 AND 宿) NOT 下田(4) Contain

地域の概要情報(𝑝 𝑤𝑖 AND 𝑡𝑖 ) NOT 𝑝 𝑤 𝑗(下田 AND 宿) NOT 蓮台寺温泉

表5

SUSスコアを用いたユーザインタフェースの評価結果

Q1

Q2

Q3

Q4

Q5

Q6

Q7

Q8

Q9

Q10

SUSスコアグレート

Adjective Rating

シーン選択有

3.7

2.7

3.9

2.8

4.2

1.9

4.1

2.0

4.0

2.9

69.2

COkay

シーン選択無3.2

2.9

3.7

2.0

4.1

2.3

3.3

2.0

3.8

3.1

64.4

DPoor

表6 クエリ生成の評価実験で使用するテレビ番組

番組

タイトル

放送時間

シーン数

出現割合

回答者数

旅番組

旅の星14分

1724%

11人

2 → 6 → 11 → 13 → 14

ニュース番組

ニュースきょう一日15分

297%11人

1 → 2 → 6 → 7 → 13 → 19

表7>68.0, D) Poor: >51.0-68.0, E) Awful: >51.0の5つのグレートで評3手法を用いて抽出されたWebページの評価結果

手法

評価値（旅番組）

評価値（ニュース番組）

提案手法

3.56

3.00

TFiDF

2.38

2.75

TF

1.76

2.36

視聴操作

価する. 本評価実験では，シーン選択の有無に関わらず，SUSスコアを使用し，各パターンを被験者9名ずつ，総被験者数18名（男性： 7名，女性： 11名）の20代大学生によって評価する．各質問の評価値や各パターンのSUSスコアの平均値を表5に示す．
表5の結果より，シーン選択有の評価は C) Okay，シーン選択無の評価は D) Poorであることが確認された．また，SUSスコアの平均値は比較手法であるシーン選択無に比べて，提案手法である

Q10 このシステムを利用し始める前に知っておくべきことが多く

シーン選択有のほうは評価値が高いため，提案手法の有用性が高あると思ういことを確認した．

以上の質問に対して，被験者は5段階のリッカート尺度（1：全5.2

補足情報の検索クエリ式の有効性検証

くそう思わない， 2：あまり思わない， 3：どちらともいえない，クエリ式の評価実験では，提案手法により生成されるクエリ式4：ややそう思う，5：とてもそう思う）で回答を行い，SUSスコと比較手法であるTFiDFとTFにより抽出されるキーワードを用

アの評価は，A) Excellent: >80.3, B) Good: >68.0-80.3, C) Okay:

5日本データベース学会和文論文誌
一般論文

Vol. 20-J, Article No. 4, 2022年 3月

いて比較を行い，クエリ式の有効性の検証を行う．データセット

info/SpatialQueries/en/html/TopoBasedOps\_learningObject1.html (参照 2021-01-11).
[6] Honoka Kakimoto, Yuanyuan Wang, Yukiko Kawai, and Kazutoshi
Sumiya. Query generation for web search based on spatio-temporalfeatures of tv program. In International MultiConference of Engineersand Computer Scientists, pages 82–92. Springer, 2018.
[7] Kaori Kobayashi, Daisuke Kitayama, and Kazutoshi Sumiya. Cinematic street: Automatic street view walk-through system using characteristics of modified maps. In International Symposium on Web andWireless Geographical Information Systems, pages 142–158. Springer,
2011.
[8] Cailiang Liu, Dong Wang, Jun Zhu, and Bo Zhang. Learning a contextual multi-thread model for movie/tv scene segmentation. IEEE
Transactions on Multimedia, 15(4):884–897, 2013.
[9] Microsoft.
Azure video analyzer for media.
https://vi.
microsoft.com/ja-jp/ (参照 2021-01-11).
[10] Zeeshan Rasheed and Mubarak Shah. Detection and representation ofscenes in videos. IEEE Transactions on Multimedia, 7(6):1097–1105,2005.
[11] Aidean Sharghi, Boqing Gong, and Mubarak Shah. Query-focused
extractive video summarization. In Bastian Leibe, Jiri Matas, Nicu
Sebe, and Max Welling, editors, Computer Vision – ECCV 2016,
pages 3–19, Cham, 2016. Springer International Publishing.
[12] Panagiotis Sidiropoulos, Vasileios Mezaris, Ioannis Kompatsiaris,
Hugo Meinedo, Miguel Bugalho, and Isabel Trancoso. Temporal
video segmentation to scenes using high-level audiovisual features.
IEEE Transactions on Circuits and Systems for Video Technology,
21(8):1163–1177, 2011.
[13] Ba Tu Truong and Svetha Venkatesh. Video abstraction: A systematicreview and classification. ACM Trans. Multimedia Comput. Commun.
Appl., 3(1):3–es, feb 2007.
[14] Yuanyuan Wang, Daisuke Kitayama, Yukiko Kawai, and Kazutoshi
Sumiya. Automatic street view system synchronized with tv programusing geographical metadata from closed captions. In Proceedingsof the 2014 International Working Conference on Advanced VisualInterfaces, AVI ’14, page 383–384, New York, NY, USA, 2014. Association for Computing Machinery.
[15] Yuanyuan Wang, Daisuke Kitayama, Yukiko Kawai, Kazutoshi
Sumiya, and Yoshiharu Ishikawa. An automatic video reinforcing
system for tv programs using semantic metadata from closed captions. International Journal of Multimedia Data Engineering andManagement (IJMDEM), 7(1):1–21, 2016.
[16] Yuanyuan Wang, Maho Nishizawa, Yukiko Kawai, and Kazutoshi
Sumiya. Location-based image viewing system synchronized withvideo clips. In Proceedings of the 13th International Conference onLocation Based Services, Vienna, Austria, pages 14–16, 2016.
[17] Wayne Xin Zhao, Jing Jiang, Jianshu Weng, Jing He, Ee-Peng Lim,
Hongfei Yan, and Xiaoming Li. Comparing twitter and traditional
media using topic models. In European conference on information
retrieval, pages 338–349. Springer, 2011.
[18] クリピングデルサイモン, 高橋正樹, 山内結子, and 苗村昌秀. 視聴
者の興味内容推定における epg や字幕中の単語への重みの付与. 映
像情報メディア学会年次大会講演予稿集, 2015:12C–2, 2015.
[19] 工 藤 拓. Mecab. https://taku910.github.io/mecab/ (参 照2021-01-11).
[20] 三浦菊佳, 山田一郎, 宮崎太郎, 加藤直人, and 田中英輝. 単語間の意
味的関係を用いたテレビ番組マップ生成. 第76回全国大会講演論文集, 2014(1):37–38, 2014.
[21] 倉田陽平. 地理情報科学における位相的空間関係の研究と今後の課
題. GIS-理論と応用, 18(2):149–159, 2010.
[22] 渡邊恵太 and 加藤昇平. トピックモデルと協調フィルタリングに基づくユーザ興味を反映した情報推薦システム. In 第28回人工知能学会全国大会論文集, pages 2M34–2M34. 一般社団法人人工知能学会,
2014.
[23] 日 本 放 送 協 会. Nhk hybridcast. https://www.nhk.or.jp/hybridcast/online/ (参照 2021-01-11).
[24] 北山大輔, 宮本節子, and 角谷和俊. ユーザ操作履歴と地名出現パターンに基づくオンライン地図の動的カスタマイズ方式. 情報処理学
会論文誌データベース (TOD), 3(4):65–81, 2010.には，表6に示している旅番組とニュース番組の2種類のテレビ番組を使用し，各手法により生成されるクエリを用いて上位10件のWebページを抽出する．
旅番組では，提案手法により (喜多方 AND ラーメン) NOT 会津というクエリ式が生成され，比較手法であるTFiDFでは「喜多方」，TFでは「ラーメン」というクエリキーワードが生成された．
ニュース番組では，提案手法により (中国 AND 護衛艦) OR (アメリカ AND 護衛艦) というクエリ式が生成され，比較手法であるTFiDFでは「護衛艦」，TFでは「防衛省」というクエリキーワードが生成された．
以 上 の ク エ リ 式 と ク エ リ キ ー ワ ー ド を 用 い て， 上 位10件のWebページを抽出し，抽出されたWebページを被験者5名ずつにより評価を行った．評価には5段階のリッカート尺度（1：適切だと思わない，2：あまり適切だと思わない，3：どちらともいえない，4：やや適切だと思う，5：適切だと思う）を利用し，得られた評価値の平均を表7に示す．表7の結果より，提案手法により得られたWebページは比較手法であるTFiDFとTFに比べて，補足情報として適切なWebページを推薦することが可能であるということが確認された．

6

おわりに
本研究では，視聴操作を考慮した地理的関係性に基づく映像視聴支援システムを提案した．提案手法では，ユーザの視聴操作に基づく抽出されるトピックワードと空間的キーワード間の地理的関係性を用いた補足情報の検索クエリを生成し，補足情報となるWebページを提示した．また，ユーザインターフェースのユーザビリティと生成された検索クエリ式の有効性に関する評価を行った．その結果，比較した手法よりも高い評価を得ることが確認できた．
今後，空間的キーワードのようにキーワード同士の関係性を抽出可能なキーワードがあれば，本提案手法はeラーニングのような他分野に応用できると考えられる．そのため，別のジャンルの映像を用いた評価実験も検討する予定です．

謝辞
本研究の一部は， JSPS科研費JP19H04118， JP21K17862の助成を受けたものである．ここに記して謝意を表す．

参考文献[1] Aaron Bangor, Philip T Kortum, and James T Miller. An empiricalevaluation of the system usability scale. International Journal of
Human–Computer Interaction, 24(6):574–594, 2008.
[2] Lorenzo Baraldi, Costantino Grana, and Rita Cucchiara. Scene segmentation using temporal clustering for accessing and re-using broadcast video. In Proceedings of the 2015 IEEE International Conference
on Multimedia and Expo (ICME), pages 1–6. IEEE, 2015.
[3] David Meir Blei, Andrew Yan-Tak Ng, and Michael Irwin Jordan.
Latent dirichlet allocation. Journal of Machine Learning Research,
3:993–1022, 2003.
[4] Shayok Chakraborty, Omesh Tickoo, and Ravi Iyer. Adaptive
keyframe selection for video summarization. In 2015 IEEE Winter Conference on Applications of Computer Vision, pages 702–709.
IEEE, 2015.
[5] GITTA.
Topological relations.
http://www.gitta.

6