論文
DBSJ Letters Vol.4, No.1――――――――――――――――――――――――――――――――――――

番組実況チャットに基づく視聴者視点を利用した放送番組のビュー生成
View Generation of TV Content using TV
Viewer's Viewpoint based on Live Chat onthe Web

宮森 恒†中村 聡史†
田中 克己†‡
Hisashi MIYAMORI
Katsumi TANAKA

Satoshi NAKAMURA

本稿では，視聴者によって書き込まれる番組実況チャットに基づく視聴者視点を利用した放送番組のビュー生成手法を提案する．番組内容と同期して書き込まれる番組実況チャットのデータを統計処理・認識処理することで，番組の盛り上がり場面や，各シーンに対する特定の視聴者のリアクション等を効果的に抽出することができると考えられる．本稿では，これら抽出結果によって，視聴者の盛り上がりや自分と類似した嗜好をもつ他人が興味を示す部分など，さまざまなビューを生成でき，これを利用することで放送番組をこれまでにないさまざまな観点から多角的に視聴可能であることを示す．
This paper proposes a view generation method of TV
program based on viewer’s viewpoint obtained from live
chat on the Web where messages are posted by the TVviewers. Important scenes in the program, responses by
a particular viewer, etc. can be extracted effectively bycomputing statistically and/or recognizing data in a live
chat which are obtained in sync with the broadcast
content. This paper shows that by using the computed
results, the various views can be generated indicating
the momentum of reactions by viewers, the scenes which
are interested by a particular viewer who has similar
preferences with the user, etc., realizing a new way ofviewing the original content from various perspectives.

1. はじめに
近年，ハードディスク（HD）レコーダの性能向上に伴い，一般の利用者が録画できるテレビ番組のデータ量は飛躍的に増加している．現在，600GB の容量をもつ HD レコーダが登場し，画質モードによっては 1070 時間以上の録画が可能である．しかし，録画した映像が増大しても，人間が一日に視聴できる時間には物理的に限界があるため，膨大な映像データから興味のある部分を効率よく探したり，内容の概要を手軽に理解したり，限られた時間でハイライトだけを見るといった多様な視聴方法を提供する仕組みが重要となる．
従来，そのような視聴方法についての研究は活発に行われてきた．例えば，映像コーパスから興味のあるショットを探索するための視覚的要素を利用したインタフェース[1]や，放†正会員‡正会員

1

情報通信研究機構 {miya,gon}@nict.go.jp
京都大学 mailto:ktanaka@i.kyoto-u.ac.jp

送番組の概要把握やシーン探索を効率行うための表示イン
タフェース[2][3]，ダイジェスト視聴システム[4]等がある．
また，そのような仕組みを実現するための重要な基礎技術として，映像のインデキシングが挙げられる．従来，動画像中の色[5]やテクスチャ[6]，カメラ操作，人物の顔などの特徴や，字幕テキスト，音の種別や大きさなどを利用した種々のインデキシング手法[7]-[9]提案されてきた．
しかし，これら従来手法が利用してきたデータは，番組の配信側（放送局）から提供される情報のみであったため，インデキシングされた情報は，基本的に，番組作成者・配信側の意図を反映しているだけであった．よって，従来手法においては，シーン探索や内容の早見，ダイジェスト視聴などの内容に，自分以外の他の視聴者の視点や反応といった要素を取り入れることはできなかった．
一方，近年番組実況チャットに対する注目が高まっている．
番組実況チャットは，テレビ番組の視聴者がウェブ上のチャットコミュニティに集まり，テレビ番組の内容について感じたことなどやテレビ番組の内容自体のことをリアルタイムに書き込み，会話を楽しむシステムである．利用者は，テレビ番組と並行してチャットを楽しむことにより，視聴者との擬似的な感情の共有による一体感を味わうことができる．
日本の巨大掲示板サイトである 2 ちゃんねるでは，この番組実況チャットを大規模サポートしている．2 ちゃんねるでは，日本の各チャンネル専用の掲示板が設置されており，その中に番組自体について語り合うスレッド（ある話題に関して投稿されたメッセージの集まりで，書き込まれた時間順に並べられている）が多数存在する．同一の番組であっても，視聴者ごとに興味や嗜好が異なるため，野球のそれぞれの対戦相手専用のスレッドなど様々な視点に基づくチャットコミュニティが作られている．テレビ番組放送中には番組実況チャットから人が絶えることがないほど人気が高い．
そこで，本稿では，番組実況チャットのデータを利用することで，放送番組に対する視聴者の視点や反応を反映したさまざまな見方を可能とするビュー生成手法を提案する．番組実況チャットのデータを統計処理・認識処理することで，番組の盛り上がり場面や，各シーンに対する特定の視聴者のリアクション等を効果的に抽出することができると考えられる．これにより，視聴者が盛り上がっている場面や自分と類似した嗜好をもつ他の視聴者が興味を示す場面などをランキング表示したり時間順に表示する，様々なビューを生成することができる．提案手法により，視聴者の生の視点や反応を反映させた形での番組視聴が可能となり，自分以外の大勢の視聴者とともに視聴しているという一体感や感情の擬似的共有感が生まれることにもなると期待される．
本稿の構成は以下の通りである．2章では番組実況チャットを利用した多用なビュー生成の処理概要について説明する．3章で考察を行い，4章でまとめと今後の課題を述べる．

2. 番組実況チャットを利用した多用なビュー生成
著者らは，番組実況チャットから得られる情報を利用し，テレビ番組中のどのような場面でどのような感情の変化が生じたのかということを書き込み内容から取得することで，視聴者の独自の視点に基づくテレビ番組コンテンツのインデキシング手法を提案している[11]．本節では，このインデックス情報を利用することで，例えば，A チームを応援して

日本データベース学会 Letters Vol.4, No.1

論文
DBSJ Letters Vol.4, No.1――――――――――――――――――――――――――――――――――――
いる視聴者の視点，中立の立場で視聴している視聴者の視点，ある選手の熱狂的なファンの視点など，録画したテレビ番組を様々な視点に立って視聴することができるようになることを示す．
まず，番組実況チャットを利用した番組コンテンツのインデキシング手法について説明する．
番組実況チャットは，設定による違いはあるが，基本的に，書き込み時刻，書き込み者の ID，書き込み内容から構成されている（図 1）．

図1

番組実況チャットの書き込み内容の例
Fig.1 Conversation in a Live Chat
例えば，このデータをもとに，ある単位時間ごとに書き込みエントリ数を計測し，その時間変化をグラフに表すと図 2のようになる．この図より，番組実況チャットに参加している視聴者の反応の度合いを各時刻について把握することができると考えられる．

図 2 番組実況チャットへの書き込み数の時間変化
Fig.2 Transition of Number of Messages in a Live Chat
また，番組実況チャットへの書き込みでは，アスキーアートを用いた特徴的な表現がしばしば用いられる．例えば，スポーツ番組で盛り上がった場面などでは，以下のようなアスキーアートがよく利用される．
1.
ｷﾀ━━━━(ﾟ∀ﾟ)━━━━!!!!
2.
TD━━━∩(ﾟ∀ﾟ∩)━━━ !!
3.
ｷﾀ━━━━ヽ(ﾟДﾟ )ﾉ━━━━!!!!
同様に，落胆した場面では，以下のようなアスキーアートがよく用いられる．
1.
(ノ∀｀）アチャー2.
(´･ω･`)ｼｮﾎﾞｰﾝ
3.
工ｴｴｪｪｪ(;´Д`)ｪｪｪｴｴ工
このような特徴的な表現の出現回数をパターンマッチングにより検出することで，書き込みを行った視聴者の盛り上がり（喜び・興味）や落胆（悲しみ）といった感情の度合いを抽出することができると考えられる．
以上のような考えに基づき，ここでは図 3 のようなインデキシング処理を行う[11]．
まず，記録された実況チャットのデータをパースして，書き込み時刻，書き込み者の ID，書き込み内容を得る．
なお，書き込み時刻と，書き込み内容に対応する番組映像シーンの時刻にずれが生じる場合がしばしばある．これは，

2

映像中のあるイベントが起きた後に，視聴者が書き込みを行うためであり，ここでは，書き込み内容のテキスト長に応じた補正秒数の算出を行い，書き込み時刻の補正をする．
次に，ある単位時間ごとの書き込みエントリ数を計測する
ことにより，反響の大きさ度数を計算する．また，アスキーアートによる特徴的な表現の出現回数を単位時間ごとにパターンマッチングで検出することで，視聴者の盛り上がり度数および落胆度数を抽出する．実際には，書き込み内容に出現する「ナイス」，「すげー」，「凄い」，「すっげぇ」，「キター」といった盛り上がりを表す単語や，「あーあ」，「アホ」，「ださださ」，「だせえ」，「なんだかなぁ」といった落胆を表す単語を用いた学習などと並行して検出器を構成することにより，それぞれの感情をより効果的に抽出することができる．
以上のような処理の結果，以下のような数値の組からなるインデックスが生成される．
1.
視聴者（書き込み者）全体について(ア) 計測時刻，計測単位時間(イ) 書き込みエントリ数(ウ) 盛り上がり・落胆の感情度数
2.
視聴者（書き込み者）個別について(ア) 書き込み者ＩＤ(イ) 計測時刻，計測単位時間(ウ) 書き込みエントリ数(エ) 盛り上がり・落胆の感情度数

図 3 インデキシング手順の概要
Fig.3 Overview of Indexing Process
以上のインデックスおよび実際の書き込みデータを利用することで，録画番組を様々な視点や見方で視聴可能なビュー生成が可能となる．
ビューの表示インタフェースとしては種々の方式が考えられるが，ここではウェブ化ビデオ[10]で用いられるストーリーボード形式のインタフェースを用いて説明する．ウェブ化ビデオ[10]は，次世代蓄積型テレビを想定したプロトタイプであり，テレビ番組がハイパーリンクを用いたウェブコンテンツに変換されているため，様々なビュー設定による表示インタフェースとして適していると考えられるためである．
まず，さまざまなシーンに対する時間順およびランキング順によるビューが可能になる．ここでシーンとは，単位時間毎や内容に沿ったトピック毎など適当な分割基準や手段を介して番組映像を分割して得られる部分映像という意味であり，以下の図 4, 5 では，単位時間＝１分としたときの各部分映像をシーンとしている．
例えば，各単位時間当たりの書き込みエントリ数から視聴者全体の反響をシーンの出現順に従って表示すると図 4 (a)日本データベース学会 Letters Vol.4, No.1

論文
DBSJ Letters Vol.4, No.1――――――――――――――――――――――――――――――――――――のようになる．シーン毎に，サムネイルと書き込みコメント，書き込みエントリ数の数値，および，エントリ数の大きさを表した顔アイコンが表示され，それらが縦方向に時間順に配置されている．このビューは，シーンの時間経過に沿った流れを把握する際に役立つ．
一方，書き込みエントリ数でソートすることにより，視聴者全体の反響が大きかった順に各シーンを並び替えて表示することができる（図 4 (b)）．このビューは，一般的に反響の大きかったシーンをかいつまんで視聴する際に役立つ．
＜＜視聴者全体の反響＞＞＜＜視聴者全体の反響＞＞

シーン１へのコメント１
シーン１へのコメント２
シーン１へのコメント３

時間

シーン１のサムネイル

エントリ数：65

ランキング■シーン１のタイトル■シーン２のタイトル
シーン２のサムネイル

シーン２へのコメント１
シーン２へのコメント２
シーン２へのコメント３

シーン５へのコメント１
シーン５へのコメント２
シーン５へのコメント３

シーン５のサムネイル

エントリ数：88

エントリ数：95(a) 時間順(b) ランキング順
反響の大きさの時間順／ランキング順によるビュー
Fig.4 Chronological and Ranking View＜＜視聴者全体の視点＞＞
時間・ ランキング

エントリ数：124

２. シーン５のタイトル■シーン１のタイトル
シーン１のサムネイル

Ａのコメント
ＢのコメントＦのコメント
エントリ数：65■シーン２のタイトル
シーン２のサムネイル

ＢのコメントＧのコメント
Ｈのコメント
エントリ数：88＜＜視聴者Ａの視点＞＞
時間・ ランキング

図4

１. シーン８のタイトル
シーン８へのコメント１
シーン８へのコメント２
シーン８のシーン８へのコメント３
サムネイル■シーン１のタイトル
シーン１のサムネイル

Ａのコメント１
Ａのコメント２
エントリ数：2■シーン２のタイトル
シーン２のサムネイル

Ａのコメント１
Ａのコメント２
Ａのコメント３
エントリ数：5(a) 視聴者全体(b) 特定の視聴者
図 5 全体／特定の視聴者の視点を表すビュー
Fig.5 View based on Response from Total Viewers andParticular Viewer
また，視聴者全体あるいは特定の視聴者に基づくビューが可能である．例えば，各シーンに対する任意の視聴者のコメントを表示すると図 5 (a)のようになる（すべてのコメントを表示することはあまり現実的でないので，通常はいくつかのコメントを適宜選択することにより表示する）．このビュー
は，視聴者全体の反響を把握する際に有効となる．
一方，指定された書き込みＩＤに対応する視聴者のコメントのみを表示すると図 5 (b)のようになる．このビューは，特定の視聴者の反響に注目して視聴する際に特に有効である．
これら全体／個別の視聴者に基づくビューでは，それぞれ時間順あるいはランキング順による表示や盛り上がり・落胆の度合いによる表示が可能であり，利用者は，状況に応じてさまざまな見方を選択することが可能となる．
以上で示した全体／個別視聴者ごとのビュー，あるいは，反響／盛り上がり／落胆の度合いに基づくビューについては，番組実況チャットから視聴者の反応を得られることではじめて可能になる表示であり，これまでにはない新しい表示法の一つであると考えられる．
さらに，これらのビューを応用するとさまざまなインタラクションや提示を利用者に提供できると考えられる．例えば，
番組実況チャットのインデックスや書き込みデータと並行して，スポーツの試合などにおけるスコア情報を利用することにより，特定のチームが点を入れた際にだけ盛り上がりの感情度数が高い視聴者や，チームに関係なく点が入った際に盛り上がりの感情度数が高い視聴者を抽出することができ

3

る．これにより，例えば，Ａチームを応援している視聴者の視点，中立の立場で視聴している視聴者の視点を表すビューを提供することができると考えられる．
また，特定の選手名が含まれており，その書き込み内容の感情度数が高いものを抽出することができる．この情報を利用することで，ある選手について強い思い入れを持つ人を推定し，熱狂的なファンの視点に基づくビューを提供することができると考えられる．
迷惑な書き込みをする人がいる場合は，書き込み者ＩＤやそのような迷惑な書き込み内容の特徴を学習した識別器を用いることで，迷惑な特定の人や書き込み内容を検出し適宜表示内容から除くことも可能になる．

図 6 提案方式によるビューの実装例
Fig.6 Example of View Generation by Proposed Method
一方，提案手法を利用することで，自分と同じ（あるいは異なる）興味（価値観）をもつ他の視聴者を発見することができると考えられる．例えば，自分の ID をもとにしたビューを生成し，その場面で同様の反応をしている視聴者や反対の反応をしている視聴者の ID を記憶しておく．同じ興味をもつ視聴者をグループ管理しておくことで，他の番組を視聴する際に同じ興味をもつ視聴者によるビューが手軽に生成できる．この視聴形態は未視聴の番組をダイジェスト視聴するときに特に有効となるであろう．
図 6 に提案方式によるビューを実装した例を一部示す．図中，見出しはトピック毎に分割して得られた字幕データであり，これに対応する部分映像がサムネイルとして表示されている．サムネイル右のリンクも字幕データを表示したものである．その下部に，視聴者の反響や感情度数が表示され，感情を表わす顔アイコンとともに実況チャットの書き込み内容が表示されている．

3. 考察
ここでは，提案手法の利点や応用例，今後の展開などについて考察する．
番組実況チャットを利用したビュー生成による最大の利点は，ビューを生成する際の条件に，視聴者の反応といった要素を新たに含めることができるようになったという点である．図 7 は，提案法により従来の番組視聴の形態には存在していなかった視聴者の反応という新たな要素が導入されたことを示している．これにより，z
視聴者による反応を利用したランキングによる提示
z
視聴者の反響の大きさや盛り上がり・落胆の度合いを共有した視聴z
自分と同じ（あるいは異なる）興味を示す他の視聴者の価値観の発見・共有といったさまざまな付加価値をもつ視聴が実現できるよう

日本データベース学会 Letters Vol.4, No.1

論文
DBSJ Letters Vol.4, No.1――――――――――――――――――――――――――――――――――――になったと考えられる．
番組
作成者

配信局側
システム

番組実況チャット

他の視聴者番組との同期補正，インタフェースの改善などを行う必要がある．また，性別，年齢，地域，国籍などを記述した視聴者プロファイルを積極的に流通・管理・利用可能なサイト構築を行うことによって，より多様な番組視聴が可能になることを実証できると期待される．

[文献］
利用者側
システム
入力・操作
点線内は
提案法によって新たに導入された要素

表示・結果

視聴者

図 7 提案方式の概念
Fig.7 Concept of Proposed Method
さらに，視聴者の反応を利用したランキングは，１つの番組だけでなく，他の番組やある一定期間に放送された番組をまとめた複数の番組に対して行うことができる．これにより，例えば，この一週間での視聴者の反響や感情度数が大きかったシーンのランキング提示に応用することができる．
なお，提案手法では，リアルタイム視聴および録画後の視聴のいずれの視聴形態にも適用できるものである．テレビの実況中継を見ながら実況チャットを生で見る使い方や，録画テレビ映像と録画実況チャットを，後から様々なビューを設定して楽しむという使い方が考えられる．また，テレビ（HDレコーダ）だけでなく，PC や携帯電話といった様々な機器を用いた利用形態が考えられる．
本稿では，番組実況チャットの基本的なデータである書き込み時刻，書き込み者の ID，書き込み内容に基づいたインデキシングおよびビュー生成を行ってきた．これに加えて，番組実況チャットに参加している視聴者プロファイルが利用できると，さらに多様なビュー生成が可能になると予想される．例えば，男性・女性による視点，世代別の視点，関東や関西といった地域別の視点，日本，韓国，中国，米欧といった国別の視点などを反映させたビューなどが実現できると考えられる．こうした利用スタイルが受け入れられると，いわゆる 2ch などの掲示板だけでなく色々な番組実況チャットコミュニティができていくのではないかと期待される．

[1]

Christel, M.G., Huang, C.: Enhanced access to digital
video through visually rich interfaces. ICME,MD-L5.1, 2003.
[2] Sumiya, K., Munisamy, M., Tanaka, K.: TV2Web:
generating and browsing web with multiple LOD from video
streams and their metadata, ICKS2004, pp.158-167, 2004.
[3] Uchihashi, S., Foote, J., Girgensohn, A., Boreczky, J.: Video
Manga: generating semantically meaningful video
summaries. Proc. ACM Multimedia 99, 1999.
[4] Hashimoto, T., Shirota, Y., Mano, H., Iizawa, A.: Prototypeof Digest Viewing System for Television. IPSJ, Vol.41,No.SIG3(TOD6), pp.71-84, 2000.
[5] Nagasaka, A., Tanaka, Y.: Automatic video indexing andfull-video search for object appearances. IPSJ, Vol.33, No.4,pp.543-550, 1992.
[6] Akutsu, A., Tonomura, Y., Hashimoto, H., Ohba, Y.: Videoindexing using motion vectors. In SPIE Proc. VCIP '92,
pp.522-530, 1992.
[7] Smith, M., Kanade, T.: Video Skimming andCharacterization through the Combination of Image andLanguage Understanding Techniques. CVPR, 1997.
[8] Intille, S.S., Bobick, A.F. Closed-world tracking.
Proceedings of the Fifth International Conference on
Computer Vision, pp. 672-678, 1995.
[9] Miyamori, H.: Automatic annotation of tennis action forcontent-based retrieval by integrated audio and visualinformation. CIVR2003, LNCS2728, Springer-Verlag,
pp.331-341, 2003.
[10] Miyamori, H., Tanaka, K.: Webified video: media
conversion from TV program to Web content and theirviewing method integrated with related information,
DEWS2005 2C-i6, 2005.
[11] Miyamori, H., Nakamura S., Tanaka, K.: Automatic indexingof broadcast content using its live chat on the web. IEICENLC2004-123, PRMU2004-205, pp.43-48, 2005.

宮森 恒

4. まとめと今後の課題
本稿では，番組実況チャットに基づく視聴者視点を利用した放送番組のビュー生成手法を提案した．番組実況チャットのデータを統計処理・認識処理することで，番組の盛り上がり場面や，各シーンに対する特定の視聴者のリアクション等を効果的に抽出することができる．本稿では，これら抽出結果によって，視聴者の反応を利用した時間順／ランキングによるビュー，全体／個別の視聴者の視点を反映したビュー，反響の大きさ・盛り上がり・落胆の感情度数を反映したビューといったさまざまなビューを生成できることを示した．これらはいずれも，視聴者による反応を利用することで初めて可能になったものであり，従来手法にはない新しい付加価値をもたらすメリットがある．さらに，提案手法は，他の視聴者の返す反応を共有した視聴や自分と同じ（あるいは異なる）興味を示す他の視聴者の価値観の発見・共有といった新しい番組視聴を提供するものであると考えることができる．
今後は，書き込み内容の統計処理やパターンマッチング，

4

Hisashi MIYAMORI

独立行政法人情報通信研究機構(NICT)メディアインタラク
ショングループ研究員．1997 年，早稲田大学大学院後期博士課程了．1996～1997 年，同大理工学部助手．工学博士．
主に，マルチメディアコンテンツ処理に関する研究に従事．
電子情報通信学会，情報処理学会，映像情報メディア学会，日本データベース学会各会員．

中村 聡史

Satoshi NAKAMURA

独立行政法人情報通信研究機構(NICT)メディアインタラク
ショングループ専攻研究員．2004 年，大阪大学大学院後期博士課程了．工学博士．主に，ヒューマンインタフェースに関する研究に従事．日本データベース学会会員．

田中 克己

Katsumi TANAKA

京都大学大学院情報学研究科社会情報学専攻教授．1976 年
京都大学大学院前期博士課程修了，工学博士．主にデータベース，マルチメディアコンテンツ処理の研究に従事．IEEE
Computer Society，ACM，人工知能学会，日本ソフトウェ
ア科学会，情報処理学会，日本データベース学会各会員．

日本データベース学会 Letters Vol.4, No.1