DEIM Forum 2010 F1-5

投稿ユーザコメントと Web ページ文脈を用いた共有動画シーン検索方式
若宮

翔子†

北山

大輔††

角谷 和俊††† 兵庫県立大学大学院 環境人間学研究科 〒 670–0092 姫路市新在家本町 1 丁目 1–12†† 兵庫県立大学 環境人間学部 〒 670–0092 姫路市新在家本町 1 丁目 1–12
E-mail: †{nd09a025,ne07p001}@stshse.u-hyogo.ac.jp, ††sumiya@shse.u-hyogo.ac.jp
あらまし

現在，動画共有サイトにアップロードされている共有動画を Web ページへ埋め込み，Web ページの記述が表す動作や状態を補足するというように，テキストと共に活用する機会が増加している．このとき Web ページの記述に合致する共有動画やシーンが用いられるが，大量に存在する共有動画から適当な共有動画やシーンを検索することは困難である．そこで本稿では，Web ページの記述から，その文脈に合致する共有動画シーンを抽出する手法を提案する．このとき Web ページの記述と共有動画シーンを対応付けるために，ユーザによって動画の再生時間に同期して投稿されたコメントを利用する．しかし，共有動画シーンに投稿されたユーザコメントの性質は Web ページの記述の性質と異なる．そのため Web ページの記述で用いられているキーワードによる検索では，投稿ユーザコメントに一致するキーワードが用いられていない場合，合致するシーンであっても抽出されないシーンが存在する．そこで本
研究では，ユーザが指定した Web ページの記述から自動的に抽出したキーワードを，共有動画シーンに投稿されたユーザコメントに基づいて作成したキーワード変換辞書を用いて変換し，抽出したキーワードと変換したキーワードを組み合わせたクエリを生成することで，Web ページの記述の文脈に合致する共有動画シーンを検索する手法を提案する．本稿では，Web ページの記述から抽出したキーワードを投稿ユーザコメントに基づき変換する手法とクエリを生成する手法について述べる．
キーワード

マルチメディア，動画共有サイト，ユーザコメント，シーン検索，キーワード変換

Scene Retrieval Method for Shared Video
using Attached User Comments and Web Page Context
Shoko WAKAMIYA† , Daisuke KITAYAMA†† , and Kazutoshi SUMIYA††† Graduate School of Human Science and Environment, University of Hyogo
1–1–12 Shinzaike-honcho, Himeji, Hyogo, 670–0092 Japan†† School of Human Science and Environment, University of Hyogo
1–1–12 Shinzaike-honcho, Himeji, Hyogo, 670–0092 Japan
E-mail: †{nd09a025,ne07p001}@stshse.u-hyogo.ac.jp, ††sumiya@shse.u-hyogo.ac.jp
Abstract Recently, video clips in video sharing websites are embedded in web pages and utilized to add operations
and conditions described by texts in web pages. User comments can utilize as index when we retrieve scenes of video
clips. However, diﬀerent keywords are used in web pages’ texts and user comments attached to video clips’ scenes
because they are dissimilar in character. And some appropriate scenes are not extracted by only keywords of texts
in web page. Therefore, we propose the method to retrieve scenes of video clips related to texts in web page using
user comments. Our system converts keywords of texts a user selects in web page to keywords of user comments
attached scenes of video clips using the directory that is made by user comments, and retrieves scenes related to
selected texts in web page using generated queries. In this paper, we describe our methods to convert keywords andto generate queries.
Key words Multimedia, Video sharing website, User comments, Scene search, Keyword conversion

Webページ記述られるキーワードも異なると考えられる．そのため本稿では，投稿ユーザコメント

Web ページの記述に合致する共有動画シーンを検索するために，Web ページの記述から抽出したキーワードを投稿ユーザコ
メントで用いられるキーワードに変換し，変換したキーワード

抽出を加えて動画シーンを検索するクエリを生成する．そして生成したクエリを用いて検索した共有動画シーンを Web ページ文
脈を考慮してランキングして提示する手法を提案する．
玉ねぎを切っているシーン

以下，2 節で本研究のアプローチについて，3 節で投稿ユーザ
ハンバーグのレシピページで玉ねぎを切る指示をしている記述

コメントに基づくキーワード変換について述べ，4 節でシーン
検索とランキングについて，5 節でプロトタイプシステムにつ

図1

共有動画シーン検索のイメージ

1. は じ め にいて，6 節で関連研究について，7 節でまとめについて述べる．

2. 本研究のアプローチ
本稿では，共有動画シーンに投稿されているユーザコメント

近年，オンライン上に動画をアップロードし，他ユーザと共を用いて，Web ページの記述に合致する共有動画シーンを検索有する動画共有サービスが普及している．このような動画共有する手法を提案する．このとき Web ページの記述と投稿ユーサービスを提供する代表的なサイトである YouTube [1] には，ザコメントを対応付ける必要があるが，表 1 に示すように両者

毎分 20 時間分もの動画がアップロードされており，日本で注目の性質は異なっている．Web ページの記述は，タイトルと本文を集めているニコニコ動画 [2] では，2010 年 3 月時点で 380 万から，本文は 1 つ以上のパラグラフから，パラグラフは複数の件を超える共有動画がアップロードされるなど，膨大な量の共文から成る文書構造があり，それぞれの文やパラグラフ間には有動画が存在している．共有動画をテキストと共に活用される文脈が存在する．また，一般的な Web ページの記述は，情報機会が増加しており，たとえば Web ページの記述が表す動作を発信するために第三者へ向けた説明的な記述である傾向が強や状態を補足するために，Web ページの文脈に合致する共有動

いため，記述対象やその動作・状態を明示し，主語や述語が存

画を埋め込むといった活用法が注目されている．このとき Web

在する文法に沿って記されることが多い．

ページに埋め込まれている共有動画は Web ページ作成者が決一方，ユーザコメントは動画を視聴しながら投稿され，投稿定しており，複数の文やパラグラフから構成されている Web

されたシーンの時間情報も含めてコメント情報として蓄積されページ内のそれぞれの記述に合致するような共有動画やシーン

る．そして共有動画を視聴するユーザは，それぞれ異なるタイが埋め込まれているとは限らない．またユーザごとに，動画をミングで投稿されるユーザコメントを，動画シーンの再生時間用いて具体的に知りたい Web ページの記述は異なると考えらと同期させて視聴することができる．そのため，ユーザはコメれる．しかしこのようなユーザの要求を満たす Web ページのント対象やその動作・状態を明示する必要がなく，主語や述語

文脈に合った共有動画やシーンを人手で検索することは手間のを省くなど文法を無視した簡略なコメントを投稿することが多かかる作業である．そのため，ユーザが指定した Web ページ

い．さらに投稿ユーザコメントのテキスト長は短いため，Webの記述から，その文脈に合致する共有動画シーンを抽出するこ

ページの記述が持つような文書構造は存在しない．また，複数とは有用であると考えられる（図 1）．

のユーザによって投稿されたテキスト集合であるため，コメン

一般に動画検索では，動画投稿者や視聴者が動画に付与した

ト間の文脈は基本的には存在しないと考えられる．

タグが利用される．タグには動画全体の内容を表すキーワード

ここで表 1 のキーワードの品詞に関して予備実験を行った結が付与されるため，タグを用いることで動画を特定することは果を図 2 に示す．この予備実験では，検索クエリとして三つの可能であるが，シーンを特定することは困難である．たとえばキーワード（“ドアラ”，“鳩山由紀夫”，“ハンバーグ”）を用い

ハンバーグの作り方に関する動画には “ハンバーグ”，“レシピ”て Web 検索して取得した 10 件の Web ページの記述と，動画や “作り方” といったタグが付与されており，これらのタグを検索して取得した 10 件の共有動画のシーンに投稿されている用いることでハンバーグの作り方に関する動画は抽出されるが，ユーザコメントを Slothlib [4] によって呼び出した Mecab [5] を玉ねぎをみじん切りにしているシーンを抽出することは困難で用いて形態素解析し，Web ページの記述と投稿ユーザコメン

ある．そこで本研究では，動画シーンに投稿されるユーザコメトで用いられているキーワードの品詞の割合を算出した．Web

ントを利用する．実際にニコニコ動画や Synvie [13] では，動画ページの記述で用いられるキーワードの品詞は，名詞の割合がの再生時間に沿って特定のシーンにユーザコメントを投稿する

7 割を超えており，続く動詞の 2 割と合わせて全体の 9 割を占ことが可能であり，2010 年 3 月時点でニコニコ動画には 23 億めている．一方，投稿ユーザコメントでは，名詞の割合が Webを超えるユーザコメントが動画シーンに投稿されており，動画ページに比べると 1 割ほど低くなっているが，名詞や動詞を修

シーンの検索に活用可能である．

飾する働きがある形容詞，副詞や感情を表す感動詞を合計した

しかし Web ページの記述と投稿ユーザコメントの性質は

割合は全体の約 2 割を占めている．つまり，Web ページの記述異なるため，Web ページの記述と投稿ユーザコメントで用いは対象やその動作・状態を説明しており，投稿ユーザコメント

表 1 Web ページ記述と投稿ユーザコメントの性質

Web ページ記述 投稿ユーザコメント
文書・文法構造

有

無

文脈

有

不明

キーワードの品詞

名詞，動詞

名詞，動詞

Kw

Kc

形容詞，副詞
感動詞，形容動詞

100%

2%
4%
3%

3%
3%
6%
7%

90%

K w − K w∩ c

20%

80%

21%

70%

K w ∩ K c = K w∩ c
キーワード変換K c − K w∩c

図 3 Web ページ記述のキーワードから投稿ユーザコメントのキーワードへの変換

60%50%

表 2 Web ページ記述と投稿ユーザコメントで用いられる
40%

キーワードの例（ハンバーグ）

72%

Web ページ記述 投稿ユーザコメント

60%

30%

Web ページ記述と

20%

のみ

のみ

投稿ユーザコメント

10%

Kw − Kw∩cKc − Kw∩c

Kw∩c

円形

包丁

ハンバーグ

小判

豪快

フライパン

中央

涙

パン粉

ポイント

焦げる

ソース

下ごしらえ

崩れる

たまねぎ

焼き上げる

もったいない

ナツメグ
みじん切り

0%

Webページ記述
名詞

動詞

形容詞

投稿ユーザコメント
副詞

感動詞

形容動詞

図 2 Web ページの記述と投稿ユーザコメントで用いられるキーワードの品詞の割合

整える

難しい

仕上がる

さくさく

焼く

は対象やその動作・状態を修飾する記述であるといえる．表 2

並べる

ぺたぺた

混ぜる

に “ハンバーグ” で検索した Web ページの記述と投稿ユーザコ

粘る

ぼろぼろ

炒める

メントで用いられるキーワードの例を示す．
このように，Web ページの記述と投稿ユーザコメントの性質

述で用いられるキーワード kw ∈ Kw − Kw∩c を投稿ユーザコは異なっており，両者で用いられるキーワードを以下に示す三メントで用いられるキーワード kc ∈ Kc − Kw∩c に変換する必

種類に分類することができる．

•

Web ページの記述のみで用いられるキーワード (Kw −Kw∩c )•

図 4 に本研究の概念図を示す．ユーザが指定した Web ページの記述を入力として，この記述に含まれる名詞と動詞のキー

投稿ユーザコメントのみで用いられるキーワード(Kc − Kw∩c )
•

要がある．

Web ページの記述と投稿ユーザコメントの両方で用いられるキーワード (Kw∩c )共有動画シーンには Web ページ記述と投稿ユーザコメントの両方で用いられるキーワード kw∩c ∈ Kw∩c を含むユーザコ
メントが投稿されているシーンもあれば，投稿ユーザコメント
のみで用いられるキーワード kc ∈ Kc − Kw∩c を含むユーザ

ワードを抽出する．抽出したキーワードはキーワード変換辞書
を用いて共有動画シーンに投稿されたユーザコメントで用いられるキーワードに変換され，抽出したキーワードと変換したキーワードを組み合わせて生成したクエリを用いて，共有動画
シーンを検索し，ユーザが指定した Web ページの記述に合致する共有動画シーンとして提示する．このとき検索結果は Web
ページの記述から抽出したキーワードの順序と投稿ユーザコメ
ントのキーワードの順序を考慮してランキングする．

コメントだけが投稿されているシーンも存在する．そのため

Web ページ記述に含まれるキーワードのみ kw ∈ Kw − Kw∩cを用いて共有動画シーンを検索すると，投稿ユーザコメント
のみで用いられるキーワード kc ∈ Kc − Kw∩c を含むユーザ
コメントだけが投稿されているシーンを，仮に Web ページの記述に合致するシーンであったとしても，一致するキーワード

kw∩c ∈ Kw∩c を含まないため抽出されない．このように Web
ページ記述と投稿ユーザコメントで用いられるキーワードの違いによって抽出されないシーンが存在するため，Web ページ記

3. 投稿ユーザコメントに基づくキーワード変換
Web ページ記述で用いられるキーワードと共有動画のシーンに投稿されたユーザコメントで用いられるキーワードの違いを考慮して両者を対応付けるためにキーワード変換を行う．このとき投稿ユーザコメントからキーワード変換辞書を作成し，Web ページ記述から抽出したキーワードを投稿ユーザコメン
トで用いられるキーワードに変換する．たとえば “ハンバーグ”というタグが付与されている共有動画のシーンに付与された投2. キーワード変換

キーワード変換辞書（“ハンバーグ”用）

名詞 動詞 共起語

1. キーワード抽出【ハンバーグ】
空気を抜きながら形を整える。

Webページ
記述を指定{空気，抜く}{空気，整える}{形，抜く}{形，整える}3. クエリ生成
シーン検索

空気 抜く 丸くする
空気 抜く ぺたぺた
空気 抜く

手

空気 抜く

難しい

・・
・

・・
・

・・
・

抜く ∧｛手∨難しい｝

4. シーン提示
大きいべたべた
丸くする 難しい
共有動画
データベース

ユーザ

名詞 動詞 共起語

順序

k1

k2

k30

k1<k2<k30

k1

k2

k1

k2

k40

k1=k40<k2

k1

k2

k1
k1
k1

k2
k2
k3

k36
k42
k30

k1<k30<k3

・
・
・

・
・
・

・
・
・

k1

k2

k36

k1<k36<k2

k1

k2

k42

k1<k2<k42

k2

k39

k1

k1<k2<k42

・
・
・

k1

k1

k1<k36<k2

集約

ハンバーグのレシピページ

抽出した
キーワード

名詞 動詞 共起語

k2

順序

k30

k1<k2<k30k40

k1=k40<k2

k36<k42 k1<k36<k2<k42

k3

k30

・
・
・

・
・
・

・
・
・

k1

k2

k39

k1<k30<k3
・・・

k1<k2=k39

k1<k2=k39

図5

キーワード変換辞書の生成過程

空気抜いて
手
ぺたぺた

図 4 共有動画シーン検索の概念図

4. シーン検索とランキング
4. 1 Web ページ記述からのキーワード抽出

稿ユーザコメントに基づき作成されるキーワード変換辞書は，Web ページの記述と合致し，かつそれが表す動作や状態を補トピックが “ハンバーグ” である Web ページの記述で用いられ足するシーンを抽出するために，Web ページの記述から係り受ているキーワードを変換する際に利用する．以下にキーワード

け解析を用いて Web ページにおいて出現頻度が高い名詞と動変換辞書の作成手順を示す．

詞のキーワードを抽出する．具体的には，文末の動詞と係り受（ 1 ） 動画を任意の時区間単位で分割する．

け関係がある名詞を抽出する．このときサ変名詞の直後に「す（ 2 ） 投稿ユーザコメントを形態素解析し，時区間ごとにる」や「し」が続く場合は，動詞として扱う．また並列な節か

キーワード集合を取得する．このとき，各キーワードはユーザら成る文では，各節に用いられている動詞や名詞も抽出するたコメントが投稿されている動画再生時間に同期した時間情報をめに，読点の直前が動詞あるいは動詞＋接続助詞であるとき読保持する．

点前後の節が並列であるとみなし，動詞と係り受け関係がある（ 3 ） キーワード集合ごとに名詞と動詞を総当りで組み合わ名詞を抽出する．

せたキーワードペア集合を取得する．そしてキーワードペア集

抽出した名詞と動詞のキーワードペアは，ユーザが指定した合内のキーワードペアとキーワード集合内のキーワードを総当

Web ページ記述に合致する共有動画シーンを検索するために，りで組み合わせてキーワードセットを作る．

キーワード変換辞書を用いて変換する．このとき Web ページ記

（ 4 ） キーワードセットごとに各キーワードが持つ時間情報

述から抽出した異なる名詞の種類の数と異なる動詞の種類の数を比較し，順序関係を取得する．同じキーワードセットであっに基づき，変換するキーワードの品詞を決定する．それを表 3ても，順序関係が異なる場合は，異なるキーワードセットとしに示す．異なる動詞の種類の数が閾値よりも多い場合は，Webて扱う．

ページの記述が一連の動作を表していると判定する．そして異（ 5 ） 異なる時区間に共通するキーワードペアを持つキーなる名詞の種類の数が閾値よりも多い場合には，複数の主体がワードセットが存在する場合，(3) においてキーワードペアと関わる一連の動作に注目していると判定し，動詞のキーワード

組み合わせた三つ目のキーワード同士を組み合わせてキーワー

もしくは動詞を修飾する働きがある副詞のキーワードへ変換す

ドペアを作る．そして分割した時区間を単位としたキーワード

る．また異なる動詞の種類の数が閾値よりも多く，異なる名詞

ペアの DF 値が閾値以上であり，かつキーワード間の順序関係の種類の数が閾値よりも少ない場合は，名詞のキーワード，動が閾値以上の割合で一致する場合には，このキーワードペアを詞のキーワードもしくは動詞を修飾する働きがある副詞のキー

一語とみなして三つ目のキーワードとして格納する．

ワードへ変換する．

以上の処理を，共通のタグが付与されているすべての共有動

一方，異なる動詞の種類の数が閾値よりも少ない場合，Web

画の投稿ユーザコメントに対して行い，キーワード変換辞書をページの記述が状態を表していると判定する．そして異なる名作成する．図 5 は，(4), (5) を図示したものである．ここでは，詞の種類の数が閾値よりも多い場合には，ある状態における複共通するキーワードペアと組み合わせた三つ目のキーワード同数の主体に注目していると判定し，名詞のキーワードもしくは士が共起しており，さらに順序関係が一致する場合に，これら名詞を修飾する働きがある形容詞のキーワードへ変換する．まを集約して順序関係を持つ一つのキーワードとして扱う．このた異なる動詞の種類の数と異なる名詞の種類の数が共に閾値よように，統計的に取得したキーワード間の順序制約を加えるこりも少ない場合は，主体とその状態に注目していると判定し，とで，投稿ユーザコメント集合全体としては不明であったコメ

名詞のキーワード，動詞のキーワードもしくは名詞を修飾する

ント文脈を考慮することができる．

働きがある形容詞のキーワードへ変換する．

4. 2 シーン検索クエリの生成
Web ページの記述から抽出したキーワードとキーワード変換
辞書によって変換したキーワードを組み合わせ，共有動画シー

表3

Webページ閲覧画面

キーワード変換

異なる動詞の種類が多い 異なる動詞の種類が少ない
異なる名詞の
種類が多い
異なる名詞の
種類が少ない動詞，副詞に変換

名詞，形容詞に変換

名詞，動詞，副詞に変換

名詞，形容詞，動詞に変換

シーン提示

Webページ記述

表 4 シーン検索クエリの生成に用いるキーワード

異なる名詞の
種類が多い
異なる名詞の
種類が少ない異なる動詞の種類が多い 異なる動詞の種類が少ない
kw=｛名詞，動詞｝
kw=｛動詞｝
kc=｛動詞，副詞｝
kc=｛名詞，形容詞｝
kw=｛名詞｝
kc=｛名詞，動詞，副詞｝

kw=｛名詞，動詞｝
kc=｛名詞，動詞，形容詞｝

図 6 プロトタイプシステムのイメージンを検索するためのクエリを生成する．このときキーワード変換と同様に，Web ページ記述から抽出した異なる名詞の種類の数と異なる動詞の種類の数に基づきクエリを生成する（表 4）．
異なる動詞の種類の数と異なる名詞の種類の数が共に閾値よりも多い場合には，ベースとなる主体とその一連の動作として

Web ページの記述から抽出した名詞と動詞のキーワードを固定し，これらと変換した動詞のキーワードあるいは副詞のキーワードを組み合わせたクエリを生成する．異なる動詞の種類の数が閾値よりも多く，異なる名詞の種類の数が閾値よりも少ない場合は，ベースとなる主体として Web ページ記述から抽出した名詞のキーワードを固定し，これと変換した名詞のキーワー
ド，動詞のキーワードあるいは副詞のキーワードを組み合わせたクエリを生成する．
一方，異なる動詞の種類の数が閾値よりも少なく，異なる名
詞の種類の数が閾値よりも多い場合には，ベースとなる状態として Web ページ記述から抽出した動詞のキーワードを固定し，これと変換した名詞のキーワードあるいは形容詞のキーワー
ドを組み合わせたクエリを生成する．異なる動詞の種類の数と異なる名詞の種類の数が共に閾値よりも少ない場合は，ベースとなる主体とその状態として Web ページ記述から抽出した名詞と動詞のキーワードを固定し，これらと変換した名詞のキー
ワードと形容詞のキーワードあるいは動詞のキーワードを組み合わせたクエリを生成する．このように変換したキーワードを用いることで，Web ページ記述が表す動作や状態を補足するシーンを検索するためのクエリを生成することができる．

4. 3 キーワードの順序関係に基づくランキング
Web ページの記述には意味的なつながりとしての文脈が存在するが，料理のレシピのような手順を説明する Web ページ
においては，意味的なつながりのほかに順序という形で Web
ページ文脈が存在していると考えられる．本方式ではこのような Web ページ文脈を，シーン検索結果を提示する際のランキングに反映することで考慮する．Web ページ記述の順序関係
は，Web ページ記述で用いられているキーワードの順序関係によって表されていると考えられる．そこで，ユーザが指定した

Web ページ記述から抽出したキーワードの順序関係を，キー
ワード変換辞書のキーワードセットの順序関係と比較し，一致したシーンをランキングの上位にする．

5. 評

価

5. 1 プロトタイプシステム
提案手法に基づき Visual Studio2008 C# を用いて，ユーザが指定した Web ページ記述に合致する共有動画シーンを検索するプロトタイプシステムを開発した（図 6）．このシステム
は Web ページ閲覧インタフェース，キーワード変換部，シー
ン検索部，出力インタフェースによって構成されている．Web
ページ閲覧インタフェースでは，ユーザは Web ページを閲覧
し，Web ページ記述を指定することができ，これが本システム
への入力となる．またキーワード変換辞書を作成するプロトタ
イプシステムも開発した．
キーワード変換辞書作成システムでは， NicoPlayer [3] を用いてニコニコ動画から取得したユーザコメントを Slothlib [4]によって呼び出した形態素解析器の Mecab [5] を用いて，名詞，動詞，形容詞，副詞に分解したキーワードに基づき，キー
ワード変換辞書を作成する．シーン検索システムのシーン検索
部は，キーワード抽出部，キーワード変換部，クエリ生成部とシーン提示部から構成されており，キーワード抽出部ではユー
ザが指定した Web ページ記述に対して日本語係り受け解析器

cabocha [6] を用いて係り受け関係を判定し，名詞と動詞のキー
ワードを抽出する．キーワード変換部では，キーワード変換辞
書作成システムで作成した Web ページのトピックに関連するキーワード変換辞書を呼び出し，キーワード抽出部で抽出したキーワードを，共有動画シーンに投稿されたユーザコメントで用いられるキーワードに変換する．クエリ生成部ではキーワード抽出部で抽出したキーワードとキーワード変換部で変換した
キーワードを組み合わせたシーン検索クエリを生成する．そして生成したクエリを用いてニコニコ動画のシーンを検索する．
シーン提示部では検索した共有動画シーンを， Web ページ文
脈を考慮してランキングして出力インタフェースに提示する．
つまり Web ページ記述におけるキーワードの順序関係と共有
動画シーンに投稿されたユーザコメントのキーワードの順序関係が一致する動画シーンをランキングの上位に配置する．共有
動画は画像処理による分割手法 [19] [20] や音声認識と組み合わせた手法 [21] などを用いて動画シーンに分割する．

5. 2 実

験

して iVAS [12] と Synvie [13], [14], [15] があげられる．iVAS はこの実験では，ハンバーグのレシピページの「タネを 4 等分

ユーザが編集可能なアノテーションウェブページをインターし、キャッチボールをするように空気を抜き、成形する。」と

ネット上のビデオコンテンツに対して自動的に作成し，ユーザいう記述に合致する動画シーンの検索を行った．対象とするは，コメントの対象や種類などを指定してシーンや画面領域に

Web ページ記述から抽出したキーワードは，“タネ”，“等分”，コメントを投稿することができる．またアノテーション信頼度“キャッチボール”，“する”，“空気”，“抜く”，“成形する” であの自動評価方法も実装している．iVAS の機能を拡張して開発

る．抽出したキーワードは，あらかじめ “ハンバーグ” というされた Synvie では，ブログの仕組みを利用し，他ユーザと動画クエリで検索した 10 件の共有動画に投稿されているユーザコを話題としたコミュニケーションを行うことができる．また山

メントに基づき生成したハンバーグ用のキーワード変換辞書に

本ら [10] は，iVAS や Synvie によって付与された映像に関連すより，投稿ユーザコメントで用いられるキーワードへ変換されるユーザコメントから生成したタグを用いたアノテーションのる．変換例の一部を挙げると，“キャッチボール”，“成形する”

仕組みを提案している．本研究では，ニコニコ動画で投稿されは｛“手”，“油”，“くっつく”，“崩れる”，“難しい”，“早い”’｝

たユーザコメントを用いてプロトタイプシステムの開発を行っといったキーワードに変換される．この例では，Web ページ記ているが，これらのアノテーションシステムやタグクラウドに述から抽出した異なる名詞の種類の数と異なる動詞の種類の数より付与されるアノテーションを利用することも可能である．

が共に少ないため，表 3 に示したように，名詞，動詞，形容詞

共有動画の投稿ユーザコメントを用いた研究として，[9], [16],のキーワードに変換する．つまり｛“手”，“油”，“くっつく”，[17] があげられる．北山ら [17] はユーザが画面領域と時区間“崩れる”，“難しい”，“早い”｝というキーワードに変換される．

を指定できる環境で投稿されたコメントに対して，コメント

そして表 4 に基づき，Web ページ記述から抽出した名詞と動間の関連種類を判定し，動画上でのコミュニケーションが促さ

詞のキーワード（“キャッチボール”，“成形する”）と変換した

れる関連コメントを抽出する手法を提案している．また，若宮

キーワード（｛“手”，“油”，“くっつく”，“崩れる”，“難しい”，ら [16] は，[17] と同様のユーザコメントを用いて，ユーザの興“早い”｝）を総当りで組み合わせて生成したクエリを用いて共味に関連するシーンを抽出する手法を提案している．これらの有動画シーンを検索した．その結果，Web ページ記述と一致す

研究は，ユーザコメントのテキストに加えて画面領域や時区間るキーワードを含まないユーザコメントが投稿されているシーを用いることで動画シーンの画像に対する情報を利用しているンであっても，提案手法に基づき変換したキーワードを加えたのに対し，本研究で扱うユーザコメントはテキストと動画再生

クエリを用いることで，Web ページ記述に合致するシーンを適

時間に沿った投稿時点の時間情報を用いて，画像ではなく Web

切に抽出できることを確認した．

ページの記述との対応付けを行っている．今後，画像に関する

6. 関 連 研 究情報を利用する必要があれば，画面領域や時区間を持つユーザ
コメントを用いて判定を行うことも可能である．

Web ページのテキストと動画のテキストを対応付ける研究と中村ら [9] は，投稿ユーザコメントを用いたキーワード検索

して，吹野ら [7] は，サッカー映像について記述しているニューおよび投稿ユーザコメントから抽出した肯定，否定，喜び，悲ス記事と映像中のアナウンサーの実況コメントの対応付けをしみといった感性に基づく動画検索のランキング手法を提案し行い，記事に沿った要約映像を得る手法を提案している．三浦ている．共有動画の投稿ユーザコメントと似た性質を持っていら [22] は，料理映像を対象として，映像のクローズドキャプ

ると考えられる番組実況チャットを用いた研究として [18] があションとテキスト教材中の手順を解析し，キーワード抽出にる．宮森らは，番組実況チャットのデータを分析し，ユーザのよる対応付け手法を提案・実装している．馬ら [8] は，放送をエントリ数や書き込みの中のアスキーアートなどから番組の盛きっかけとして番組の内容を補完する Web ページの検索を行う

り上がり場面や，各シーンに対する特定の視聴者のリアクショ

Query-Free 検索機構を提案している．この検索機構では，単ンを抽出し，放送番組をさまざまな観点から多角的な視聴を可語の共起関係を考慮して，字幕データをセグメンテーションし能にする手法を提案している．本研究では，キーワードの同一て，話題構造を抽出している．さらに，抽出された話題構造にと順序関係による判定を行っているが，これらの研究で利用さ対して，質問を自動的に生成し，Web から補完ページを検索しれている感性や盛り上がりといった新たな観点を追加し，応用てユーザに提示する．また北山ら [11] は，映像ニュースとテキすることが可能である．

ストニュースのようなメディアの違いによって異なるコンテン
ツ構成要素の順序特性を基に質問を生成し，ニュース内容の位

7. お わ り に置づけが異なる異メディアコンテンツを自動的に取得する方式

本稿では，Web ページの記述に合致する共有動画シーンの検を提案している．これらの研究は，テレビ局が作成したテレビ

索方式を提案した．Web ページの記述と共有動画シーンを対応

番組から，それに付随する音声やクローズドキャプションなど付けるために，共有動画シーンに投稿されたユーザコメントをの字幕データを動画のテキストとして利用している．それに対用いた．Web ページ記述と投稿ユーザコメントには，両者の性し，我々は共有動画に対して動画視聴者が付与したコメントを

質の違いから異なるキーワードが用いられる傾向があるため，用いており，動画のテキストとして扱うデータの性質が異なる．

単純なキーワードマッチング手法では抽出すべきシーンが抽出

動画シーンに対するアノテーションを付与するシステムとされない．そこで両者で用いられるキーワードの違いを考慮するために，共有動画シーンに投稿されたユーザコメントに基づ
きキーワード変換辞書を作成し，Web ページ記述のキーワードを投稿ユーザコメントのキーワードに変換し，Web ページ記述のキーワードと変換したキーワードを組み合わせたクエリを生成する手法を提案した．また Web ページ文脈を考慮するために，キーワード間の順序関係を用いて検索結果のランキングを行った．
今後は共有動画シーンに付与されたユーザコメントからノイズとなるキーワードを除去するための手法を検討し，キーワー
ド変換辞書の作成効率を向上させるための手段を検討する．また汎用的な動画シーンを検索するための手法として，今回提案している動作や状態以外の基準の検討を行う．提案手法の有効性を確認するために，大量のデータを用いた評価実験を行う予
定である．

謝

辞

本研究の一部は，平成 21 年度科研費基盤研究 (B)(2)「ユーザの潜在的意図を用いたレス・コンシャス情報検索基盤の構築」(課題番号：20300039) および平成 21 年度特別研究員奨励費 (21.197) によるものです．ここに記して謝意を表すものとし
ます．
文
[1]
[2]
[3]
[4]
[5]
[6]
[7]

[8]

[9]

[10]

[11]

[12]

[13]
[14]

[15]

[16]

pp. 289-294, Sep. 2009.
[17] D. Kitayama, N. Oda, and K. Sumiya Organizing user comments in a social video sharing system by temporal duration and pointing region. Proc. of International Workshop on Information-explosion and Next Generation Search(INGS2008), pp. 55-58, Apr. 2008.
[18] H. Miyamori, S. Nakamura, and K. Tanaka. Generation ofviews of tv content using tv viewers’ perspectives expressedin live chats on the web. Proc. of the 13th annual ACM
international conference on Multimedia (ACM Multimedia
2005), pp. 853-861, Nov. 2005.
[19] W. Zhao, J. Wang, D. Bhat, K. Sakiewicz, N. Nandhakumar, and W. Chang. Improving color based video shot detection. Proc. of the IEEE International Conference on Multimedia Computing and Systems (ICMCS1999). Washington, DC, USA: IEEE Computer Society, p. 752, 1999.
[20] Y. Gong. An accurate and robust method for detecting
video shot boundaries. Proc. of IEEE International Conference on Multimedia Computing and Systems (ICMCS1999),
vol. 1, pp. 850-854, Jul. 1999.
[21] A. Chianese, V. Moscato, A. Penta, and A. Picariello. Scene
detection using visual and audio attention. Proc. of the 2008
Ambi-Sys workshop on Ambient media delivery and interactive television (AMDIT2008), pp. 1-7, 2008.
[22] 三浦 宏一, 高野 求, 浜田 玲子, 井手 一郎, 坂井 修一, 田中
英彦. 料理映像の構造解析による調理手順との対応付け. 電子
情報通信学会論文誌. D-II, 情報・システム, II-パターン処理
J86-D-II(11), pp.1647-1656, 2003 年 11 月.

献YouTube. http://www.youtube.com/.
ニコニコ動画. http://www.nicovideo.jp/.
nicoplayer. http://eigoukaiki.s101.xrea.com/software/nicoplayer/.
Slothlib. http://www.dl.kuis.kyoto-u.ac.jp/slothlib/.
Mecab. http://mecab.sourceforge.net/.
CaboCha. http://chasen.org/ taku/software/cabocha/.
吹野 直紀, 馬 強, 角谷 和俊, 田中 克己. ニュース記事を利用したサッカー要約映像の生成. 第 14 回データ工学ワークショップ(DEWS2003), 2003 年 3 月.
馬強, 田中克己. 話題構造に基づく放送と Web コンテンツの統合のための検索機構. 情報処理学会論文誌 データベース（TOD),
vol.45 No.SIG10, 2004 年 9 月.
中村聡史, 田中克己. ソーシャルアノテーションに基づく動画検索手法. 第 1 回データ工学と情報マネジメントに関するフォーラ
ム (DEIM Forum 2009) D6-1, 2009 年 3 月.
山本大介, 増田智樹, 大平茂輝, 長尾確. タグクラウド共有に基づく協調的映像アノテーション. 人工知能学会論文誌, Vol. 25,
No. 2, pp. 243-251, 2010 年 1 月.
D. Kitayama and K. Sumiya. Retrieving comparison articles
using content elements order for news archives. Proc. of the
3rd International Special Workshop on Databases for NextGeneration Researchers (SWOD2007), pp. 103-110, Apr.
2007.
D. Yamamoto and K. Nagao. IVAS: Web-based video annotation system and its applications. Proc. of the3rd International Semantic Web Conference (ISWC2004), 2004.
Synvie. http://video.nagao.nuie.nagoya-u.ac.jp/ﬁnder.
D. Yamamoto, T. Masuda, S. Ohira, and K. Nagao. Video
scene annotation based on web social activities IEEE MultiMedia, pp. 22-32, 2008.
T. Masuda, D. Yamamoto, S. Ohira, and K. Nagao. Video
scene retrieval using online video annotation Lecture Notes
on Artiﬁcial Intelligence, Springer-Verlag, 2008.
S. Wakamiya, D. Kitayama, and K. Sumiya Scene extraction for video clips based on the relation of text, pointing
region and temporal duration of user comments. Proc. of
3rd International Workshop on Management and Interaction with Multimodal Information Content (MIMIC2009),