 記事からの映像コンテンツメタデータ抽出
山 崎浦 田 智 弘Ý耕 二Ý    筒福井 秀井 美樹Ý佳Ý          Ý  Ý   Ý   Ý はじめに双方向放送が登場して以降，ユーザが映像コンテンツを視聴しているときにシーンに関連した話題や商品などを即座に提示する推薦サービスの実現に向けた取り組みが行なわれている．ユーザの嗜好に応じた推薦を行なうためにはコンテンツのメタデータが不可欠であるが，  放送のようなリアルタイム性の強いコンテンツのみならず  のようなコンテンツであっても，制作者がメタデータを付加することは稀である．
そのため映像情報や字幕情報を解析して自動的にメタデータを獲得する研究が行なわれている．
一方今や  の国内開設数は  万件を超え½µ ，個人からの情報発信は一般的となった．中でも映画な
どの映像コンテンツに対するレビュー記事の増加は個人のコンテンツ視聴スタイルを変えつつある．たとえば上の他者のコメントやランキングを参考にして視聴するコンテンツを選択したり，好みの  を何度も視聴してコメントを上で公開したりといったことが行なわれている．
そこで我々は，執筆されたコメントにコンテンツのシーン情報が埋め込まれていればそのコメントを分析することでコンテンツのメタデータを自動的に獲得することができると考え，映像コンテンツと  システムを融合したアプリケーションである コミュテンツ   を開発した．コミュテンツは映像コンテンツを介して他者とのコミュニケーションを楽しむこと，またコンテンツを介したコミュニケーショ
Ý 株式会社東芝研究開発センター知識メディアラボラトリー                       

図 ½ 書くモード 左 と見るモード 右 ! "    #    $    ンを促進することでユーザの自然な視聴スタイルからコンテンツのメタデータを獲得することを目的とする．
本稿ではコミュテンツの説明を行なうとともに，本システムを実際に利用して作成された  記事を用いて行なったコンテンツのメタデータをシーンごとに獲得する実験の結果について述べる．

 コミュテンツ
コミュテンツのようにコンテンツを介して他者とのコミュニケーションを楽しむことを目的とするシステ

ムとしては   ¿µ や  ¾µ などが知られているが，本システムはコンテンツの共有は行なわず，シーンを特定する情報が埋め込まれた  記事のみを共有することを特徴とする． の場合は 
データの構成情報を，録画コンテンツの場合は地域・チャンネル・放送日時と映像のカット点情報をローカルで取得しサーバに問い合わせることで，コンテンツの共有は行なわずにシーン情報の同定同期を行なう．
機能としては，コンテンツへの感想を  記事として執筆する「書くモード」， 記事を閲覧する「ブログモード」，他者のコメントを表示しながらコンテンツを視聴する「見るモード」から構成される．
図 左に示す「書くモード」では執筆者は   !
 や  のようにシーンに対する短いコメン情報処理学会 インタラクション 

抽出するためにはコメントからそれぞれのシーンに関連した箇所を自動的に切り出す必要がある．メタデー「ローマの休日」を見ました。見る前は、てっきりお上品なお姫さまのお話なのかと思ってました。すると挨拶中に靴を脱いでしまったり、ネグリジェがいやだと言って、パジャマで寝たいと言ってみたり、なんて、おてんばなお姫さまなのかと思いました。一つ、気になったのが、寝る前にミルクとクラッカーを食べているのですが、歯磨きはどうするのか気になりました。明日のスケジュールを聞いて、癇癪をおこしてしまうシーン
で、メイドが「ご病気ですね」というのですが、あんな可愛らしいのに、本当にご病気だなと思うほどの怒り狂った演技だったと思います。

タ抽出処理の流れを図 ' に示す．今回の実験では文単位で切り出しを行ない，前後の文を含めるか含めないかは段落や接続詞の情報を用いて決定した．その後切り出されたシーン記述のうち時刻の差が閾値以下な埋め込まれたシーン情報

図¾

コメントの例 % & '  #  ①シーン記述の抽出②同じシーン毎にマージ③キーワードの抽出・分類

すると挨拶中に靴を脱いでしまったり[00：04：50]主体

パジャマで寝たいと言ってみたり［00：07：30］、なんて、おてんばなお姫さまなのかと思いました。

「ローマの休日」を見ました。見る前は、てっきりお上品なお姫さまのお話なのかと思ってました。すると挨拶中に靴を脱いでしまったり[00：04：50]、ネグリジェがいやだと言って、パジャマで寝たいと言ってみたり［00：07：30］、なんて、おてんばなお姫さまなのかと思いました。一つ、気になったのが、寝る前にミルクとクラッカーを食べているのですが、歯磨きはどうするのか気になりました[00：08：10]。明日のスケジュールを聞いて、癇癪をおこしてしまうシーン［00：09：53］で、メイドが「ご病気ですね」というのですが、あんな可愛らしいのに、本当にご病気だなと思うほどの怒り狂った演技だったと思います。・・・・・

一つ、気になったのが、寝る前にミルクとクラッカーを食べているのですが、歯磨きはどうするのか気になりました[00：08：10]

結婚行進曲
注射魚屋

場所
対象動作

コメントデータ図 ¿ メタデータ抽出処理の流れ ( )  * #    '  トを記述していくのではなく，コンテンツへの感想を通常の  記事として執筆しながら任意のシーン情報を埋め込んでいくことができる 図 "．執筆した記事はシーン情報がエンコードされた後外部の サービスへ投稿される．逆に言えば外部の  サー
ビスへ投稿されるので，閲覧者は本システムを利用しなくても本システムを利用して執筆された記事を閲覧することが可能である．ただし本システムを利用すれば執筆者と同じコンテンツを持っている場合シーンアイコンをクリックして直接再生させることが可能となるので正確なシーンの特定が容易となる．
一方図 右に示す「見るモード」ではユーザが設定しておいた # から記事を収集し，コンテンツの再生と同期させて表示する．ただし全文では量が多く読みづらいため，記事に埋め込まれたシーン情報の前後の適切な範囲の文字列を切り出している．切り出された文字列でもシーンアイコンをクリックして別のシーンを直接再生させることができるため，記事内で関連するシーン同士を容易に比較再生することができる．

 メタデータ獲得実験
本節ではコンテンツのメタデータをシーンごとに獲得する実験の結果について説明する．表 は本シス
人のユーザによって作成さテムを実際に利用したれた  記事のコンテンツごとの記事数，埋め込まれたシーン数，文字数の例である． $ コンテンツに記事，%&$% シーンが収集された．
対して前述したように本システムではコメントにシーン情報を埋め込んでいくため，シーンごとのメタデータを
表½

コンテンツ
ローマの休日パッチギ！

キーワードが主体，場所，行動などのどれに相当するかを辞書を用いて自動的に分類した．表 " はローマの休日に関連するコメントからキーワードとシーンの説明表現をシーンごとに抽出した結果の例である．アン王女など字幕にあらわれるキーワードだけでなく魚屋，ヴェネツィア広場，暴走など字幕にはあらわれないキーワードも正しく抽出されていることが確かめられた．これはユーザの自然な視聴スタイルからコンテンツのシーンごとのメタデータが実際に獲得できたことを示している．

 お わ り に
本稿では映像コンテンツと  システムを融合したコミュテンツを提案した．また本システムによる

 記事から実際にコンテンツのメタデータをシーンごとに獲得することができることを示した．今後はメタデータ抽出の精度をシーン検索などの応用を通じて検証・向上していく予定である．

参

記事数

+!/

!//

シーン数,++0(!

文字数((-.+-,0,,-1,- ,1%/(%考文 献 ブログ及びＳＮＳの登録者数（平成１８年３月末現在）．()*++ , - .(-), --/)+0.
+ +" 1+ $+ '+ 1'1-(" 山本大介ほか*  *ブログの仕組みを利用したマルチメディアコンテンツ配信，情報処理学会第 1 回全国大会，" 1' 東正造ほか* 多種類のテレビ映像を対象とした映像シーン連動型掲示板におけるコミュニケーショ
ンの分析，グループウェアとネットワークサービ
スワークショップ " 1，))-' 2'1．
表¾//4-04%+

コメント収集結果

 !    

総数

ど同じシーンに言及していると考えられるものをひとまとめにし，形態素解析を用いてそれぞれのシーンごとに頻出するキーワードを抽出し，その後抽出された/!4!-4(+「ローマの休日」

 % 2 32
主体
場所
行動
説明

アン王女，おばさん，ブラドリー
魚屋，街中，市場
買い物，探索，カット
王女が街中を冒険するシーン

主体
場所
行動
説明

アン王女，ジョー，警察
街中，ヴェネツィア広場
暴走，連行
説明不要なほど有名な街中でスクーターを乗り回すシーン