ニコニコ探検くらぶ：
ソーシャルアノテーションとキーワード群に基づく動画要約
多 胡 厚 津 史†
田 原 康 之†中 川 博 之†大 須 賀 昭 彦†

NicoNico Exploration Club:
Summarizing Videos by Keywords based on Social Annotaion
Atsushi Tago,† Hiroyuki Nakagawa,† Yasuyuki Tahara†
and Akihiko Ohsuga†

テンツに依存しない汎用性の高い検索手法が望まれる．

1. は じ め にそこで本研究では，ニコニコ動画のコメントを時記憶装置の大容量化やブロードバンドインターネッ間軸に沿って意味的，量的に分析し，動画の各シーントの急速な普及を受け，YouTube などの動画共有サーに対するソーシャルアノテーションとみなすことで，ビスが出現し，世代によっては TV の視聴割合が減り，シーン検索・動画要約を行うシステム「ニコニコ探検

インターネット上の動画サイトの視聴割合が増えていくらぶ」を提案する．本システムでは，従来コストの☆

1)など，動画共有サービスはテレビと並び主要なメかかっていたアノテーション付与を自動化できる他に，ディアとしての地位を確立しつつある．さらに，ニココメントの多様性を生かすことで従来手法では検索がニコ動画難しかった感性的なキーワードによるシーン検索や盛る☆☆

をはじめとする動画に再生時間と同期したコメントを付加できるサービスが，双方向性の高いコ
ミュニケーションメディアとして注目されている．その一方で，手軽に動画を Web 上に公開できることかり上がりを考慮したシーン検索が行える．

2. ニコニコ探検くらぶ

ら，動画数は急激な増加傾向にあり，限られた視聴時本研究では，ニコニコ動画のコメントをソーシャル間内で動画を効率良く閲覧する必要性が出てきている．

アノテーションとみなしてシーンの検索，動画の要

その 1 つの解決方法として，動画要約がある．動画約を実現する「ニコニコ探検くらぶ」を提案する．ニ

要約は動画内の各シーンがどのような内容を表現して

コニコ探検くらぶは，Flex により作成したユーザイいるかを分類することによって動画を要約し，動画 1ンターフェイスを ExternalInterface を用いて C#でつ当たりの再生時間を短縮して，短時間での視聴を可ラッピングすることで実装されており，動画検索タブ能にするものである．動画要約を実現するためには，とシーン検索タブから成る．また，サムネイルの作成

要約に必要となる各シーンを切り出して組み合わせるには ﬀmpeg を用いている．

ため，シーン検索の実現が必要である．さらに Web上に存在する無数の動画を対象とするため，アノテー

ニコニコ探検くらぶの利用方法は以下の通りである．

(1)

動画検索タブにおいて任意のキーワードを入力して動画を検索し，要約したい動画を画面右下ションの付与を低コストで行うことができ，またコンの「箱」にドラッグアンドドロップして指定す† 電気通信大学大学院情報システム学研究科
Graduate School of Information Systems,University ofElectro-Communications☆
http://youtube.com/☆☆
http://www.nicovideo.jp/

る．動画は複数指定することも出来る（図 1）．

(2)

シーン検索タブにキーワードを入力すると，システムではその語に関連するオントロジーによって定義されたキーワード群をコメントから情報処理学会 インタラクション 2010

図 4 キーワードの例．
Fig. 4 Example of keywords.

図 1 動画の指定．
Fig. 1 Video selection.

図 5 シーンの選択．
Fig. 5 Scenes selection.
図 2 シーンの検索．
Fig. 2 Scene search.

図 3 「厳選バー」による検索結果の変化．
Fig. 3 Changing search results caused changing ”top pickbar” value.

(3)

(4)

図 6 要約動画の再生．
Fig. 6 Playback of summarized video.

3. 手法

探し出し，キーワード群からシーンを検索して，3.1 コメントに基づくユニットのスコアリング

SpringGraph により視覚化する（図 2）．

ニコニコ探検くらぶでは動画を任意の単位時間でユキーワードの「厳選バー」を操作し，キーワーニットに区切り，各ユニットをコメントの内容とコメドとの関連性の強弱によって表示するシーンのントの量，すなわち盛り上がりに基づいてスコアリン数を増減することができる（図 3）．また，キーグし，閾値以上のスコアを持つユニットをシーン検索

ワードは複数指定でき，「面白い」や「下手」と結果として返す（図 7）．以下にその手順を示す．

いった感性的なキーワードも使用できる（図 4）．

(1)

長さ T ，コメント総数 C の動画を，ジャンル

検索結果から要約に用いたいシーンを選択し，や種類に応じて変えられる任意の単位時間 t の連続再生することで動画要約結果として出力すユニット Ui (i = 1, 2, · · ·, N ) に分割する．

る．
（図 5，図 6）(2)ユニット Ui に含まれるコメント総数

ci(∑N)

c = C と，キーワードが含まれるコi=1 i

メント数 Ki を数える．キーワードはキーワー
ドオントロジーのキーワード群に含まれる全てニコニコ探検くらぶ：ソーシャルアノテーションとキーワード群に基づく動画要約

図 7 コメントに基づくユニットのスコアリングとシーン検索．
Fig. 7 Scene search and unit scoring based on comments.
表 1 キーワードオントロジーの例．
Table 1 Example of keyword ontology.

を探す．

(3)

Ki と重み α の積をとり，ci に加えることで基
本スコア Si (= ci + αKi ) を求める．ここでいう重みは厳選バーによって変化する値である．

(4)

動画のコメント総数 C やユニット長 t による検索結果のブレを防ぐため，1 ユニット当たり

シーン属性

キーワード群

ゴールシーン
下手麻生太郎高槻やよい…

｛”ゴール”, ”キター”, ”おおお”, ...｝｛”下手”, ”へたくそ”, ”決めろ”, ...｝｛”麻生”, ”首相”, ”総理”, ...｝｛”やよい”, ”うっうー”, ”もやし”, ...｝…の平均コメント数 Ct/T を求め，これにより正規化された Si をユニットスコア Si0 とする．

Si0 =
(5)

TSi
Ct

(1)

ユニットスコア Si0 が閾値 δ を超えたユニット

Ui の近傍を検索結果として返す．
3.2 キーワードオントロジーの利用

図 8 解答の定義．
Fig. 8 Definition of answer.

ニコニコ探検くらぶではキーワードと多様なコメントを結びつけるのにキーワードオントロジーを用いる．例えば，キーワードとして「ゴール」が入力され分のサッカーの動画 17 本に対しゴールシーンを人手にた時，コメントに書かれた「ゴール」の語の他に，「キよって探し出した結果と，ニコニコ探検くらぶがゴーター」や「おおお」などといった語も検索対象とするルシーンとして返した結果を比較して適合率，再現率（表 1）．このキーワードオントロジーは，ニコニコ動を計測☆☆☆ する実験を行った．

画をよく利用し，かつその動画及びシーンに対して知実験に際し，キーワード群はすべて，ニコニコ動画識を持つ視聴者が協調的に編集する．オントロジーをを頻繁に利用するユーザが予め作成したものを用い，用いることで人手による精度のよいキーワード群を手評価は F 値を用いて行った．評価にあたり，キーワー軽に構築でき，さらに様々なジャンルのシーンに対しドを含むコメントへの重み α とスコア閾値 δ をそれて構築できるなど汎用性も期待できる．これは，ニコ

ぞれ α = 0, 3, 5, 10, 17，δ = 1, 2, 3, 5, 7, 10, 13, 16, 20

ニコ動画でのコメントの書かれ方に詳しい視聴者の知と変えて計測した．

識を利用することで有用なものになると考えられる．

4.2 実 験 結 果

4. 精 度 評 価
4.1 実 験 方 法
本手法の有効性を評価するために，長さ 20 分〜65

実験結果を図 9 に示す．この結果から，α = 10，☆☆☆

例えば図 8 では，正解は 1，外れは 1，解答は 3 で，適合率は50%（1/2），再現率は 33.3%（1/3）．

情報処理学会 インタラクション 2010

ら6) は，ニコニコ動画上のユーザ投稿コンテンツの繋がりを追うことで，ユーザの創作活動の繋がりや広がりを解析している．
これらの研究に対して本手法では，コメントの多様な意味と盛り上がりを生かした検索が行える点，双方向性メディアに蓄積されたコンテンツに対し自動でアノテーション付与が行える点が大きな特徴となっている．

6. ま と め
図 9 ゴールシーン検索の F 値．
Fig. 9 F-value of searching goal scene.

本論文ではニコニコ動画のコメント量と内容を統合的に評価することで，シーンの検索，動画要約を実現するシステム，ニコニコ探検くらぶを提案した．ニコ

δ = 7 において F 値 ' 0.66 であり，一定の精度で検ニコ探検くらぶでは直感的な操作を多く取り入れると索が可能であることが分かる．しかし，α の値によりともに，実験により一定の精度でのシーン検索が可能

F 値も大きく変化することから高精度な結果のためにであることを示した．今後の課題としては公開を目的は動画に応じた α を求める必要がある．また，α が大とした，検索精度の向上，動画の長さを指定した要約きくなるにつれて再現率は高くなる傾向にあった．ニを検討している．

コニコ探検くらぶでは厳選バーによって α を変えることで，検索結果をユーザが選択しやすい数量に調整できるユーザインターフェイスを採用している．

5. 関 連 研 究
アノテーションとは特定の情報をもとにシーンの内容を判断してメタデータとして付加することを指すものであり，様々な手段を用いた手法が提案されている．
杉山ら2) はニュースの音声に対し話者分割を行うことでアノテーションを行い一定の成果を挙げている．新田ら3) はスポーツ動画に対し映像解析を行うことでどのようなプレイが行われたかを調査するシステムを提案している．ただし，これらの手法はコンテンツに依存したものであり，Web 上に無数に存在する動画に対して適用することは困難である．
その一方で，集合知を利用したソーシャルアノテーションも注目されている．Miyamori ら4) はインター
ネット掲示板の書込と TV を同期させ，書込を TV へのアノテーションとみなすことで，アメリカンフットボールの試合を要約している．これらの手法は低コストや高い汎用性というメリットがある反面，これらを直接適用したとしてもノイズが多いことから適切な情報を取得できない，情報が膨大なことから特定のシーンを判断・抽出することが難しい，そもそもアノテーションが集まらないといった問題がある．
ニコニコ動画を扱った研究も近年見られるようになってきた．青木ら5) はコメントを定量的に評価することで動画のサビの検出を試みている．Hamasaki

参 考文献1) NTT レゾナント，三菱総合研究所：第 6 回ブロードバンドコンテンツに関する調査, 報道発表
資料 （2007）.
2) 杉山義昭，西川昌史，有木康雄：Video assembler:動画処理と音声処理の統合によるニュース記
事内容の分割， 第 4 回知能メディアシンポジウ
ム論文集, pp.23–30 （1998）.
3) 新田直子，馬場口登，北橋忠宏：放送型スポーツ映像の構造を考慮した重要シーンへの自動アノテーション付け，電子情報通信学会論文誌， Vol.J84D2, No.8, pp.1838–1847 （2001）.
4) H. Miaymori, S. Nakamura and K. Tanaka:
Generation of views of TV content using TVviewers’ perspectives expressed in live chatson the web, Proceedings of the 13th annual
ACM international conference on Multimedia,pp.853–861 （2005）.
5) 青木秀憲，宮下芳明：ニコニコ動画における映画要
約とサビ検出の試み，情報処理学会研究報告 2008HCI-128/2008-MUS-75， Vol.2008, No.50, pp.
37–42 （2008）.
6) M. Hamasaki, H. Takeda and T. Nishimura:etwork Analysis of Massively Collaborative
Creation of Multimedia Contents - Case Studyof Hatsune Miku videos on Nico Nico Douga -,in First International Conference on Designing
Interactive User Experiences for TV and Video（uxTV2008）, pp.165–168 （2008）.