WISS2012

視聴者の動きに応じてエフェクトを加える動画サービス
吉田 有花

宮下 芳明∗

概要. インターネットで動画を観ているときに，思わず動いてしまうことはないだろうか．本稿では，コメントでは表現できない，思わず動いてしまう気持ちを非同期に共有させるために，視聴者の動きの取得とエフェクト効果を加える動画サービスを提案する．著者らのこれまでの研究では，人の動きの取得に Kinectを用いてきたが，このシステムでは一体感を感じることができなかった．そもそも動画視聴中に全身で動く人は少ないなど，問題点が多かった．本稿では，Web カメラでユーザの動きを取得するサービスとしてシステムを構築した．わずかな動きでも派手なエフェクトとして誇張し，その動画に加えていく．これによって，視聴者の動きによる，新たな非同期コミュニケーション手法の可能性が生まれると考えている．

はじめに

1

インターネットで動画を観ているとき，たとえば，ライブ音楽を鑑賞している時や，スポーツ観戦をしている時に，上下に動いたり，歓声をあげたり，手を振ったりなど，思わず動いてしまったことはないだろうか．他にも，プレゼンや国会中継を見ているときに，あいづちを打ってしまったことはないだろうか．思わず動いてしまう時は，ひとりの時もあるが，近くにいる友人や周りの人につられて，さらに大きく動いてしまうこともあるだろう．しかし，その思わず動いてしまう気持ちを他の人と共有して楽しむには，ライブ会場などの実際の場に行かないと楽しめないことが多い．
本稿で開発した動画サービスは，その思わず動いてしまう動きを取得し，ニコニコ動画のように，コメントではなくエフェクト効果を Web ブラウザの動画の上に表示する．動画を見ている他の人とお互いの動きを非同期に共有することができる．エフェ
クト効果の例として，図 1 左のように，軌跡を表示する方法や，図 1 右のように，花火のような表示をする方法などがある．

図 1. 視聴者の動きのエフェクト効果の表示例(左：軌跡，右：花火)

提案サービスに近いものしてニコニコ動画は，動∗Copyright is held by the author(s).
Arika Yoshida, 明治大学 理工学部 情報科学科, HomeiMiyashita, 明治大学 理工学部 情報科学科, 独立行政法人科学技術振興機構, CREST

画の上にコメントを流し，動画視聴時のユーザ同士の楽しみを増幅させたサービスではあるが，視聴者であるユーザ自身が実際に動いていたとしても，その動きは共有できない．ニコニコ動画において，ノンバーバルな情報は，笑いであれば “ｗｗｗ...”，拍手であれば “888...” などの表現が用いられるが，その表現はキーボードやマウスなどによって行われているため限界があり，リズムにのって動いたり，あいづちを打ったりなどの実際の動きは表現できない．
同じように，アバタを動かして自分を表現するコンテンツや，ボタンや絵文字を使ってノンバーバルな情報を共有するシステムも，実際の動きは共有できていない．逆に，Google+ハングアウトは，複数人で同じコンテンツをお互いの顔を見ながら会話できるシステムであるが，自分の顔を相手に見せなければならず，匿名性の確保がされていない．
提案サービスは視聴者の動きの取得およびエフェクト効果の表示を行い，動画上で共有するサービスである．ニコニコ動画のコメント機能と，Google+
ハングアウトの顔の表示機能の中間に位置すると考えている．
著者らのこれまでの研究では，人の動きの取得にKinect を用いてきた．複数の棒人間状の動きを非同期に共有するシステムを Kinect で実装し，EC2011[1]，WISS2011[2]，の２つの学会の懇親会で公開実験を行った．おおむね好評であった．しかし，WISS2011
においてアンケートを行ったところ，２つの学会参加者をつなぐことを目指した公開実験であったが，16 人中 12 人が，一体感を感じることはできなかった，と回答し，このシステムでは，一体感は得られないという知見を得られた．
一体感を感じることができなかった理由として，動きの骨格をただ重畳するだけのシステムであったため，画面内の人の動きが把握困難であったこと，映像エフェクトが実装されておらず，盛り上がりがわかりにくいこと，などが考えられる．また，動画を

WISS 2012

観ている時に全身で動いている人は数少なく，座っている時に少し上下に動く程度であればある，という意見も得た．本稿の提案は，これらの問題を解決すべく改良したものである．

2サービス概要

提案サービスは，人の動きデータを取得し，動きを認識可能にし，多くの人が利用できるように，Webカメラと Web ブラウザを用いたシステムの開発を行った．全身ではなく主に上半身を動きを取得するシステムにした．図 2 の左は，提案サービスのトップページであり，見たい動画の検索キーを入れて検索すると，図 2 の右のように動画が再生され、右カラムに動画一覧が表示される．

4

関連研究

動画上にコンテンツを重畳する研究として，Harrison らの CollaboraTV[3] は，動画に対するユーザのコメントをその動画上に用意したアバタのリアクションを表現することで，視聴者のコミュニケーションの活性化を試みている．また，棟方らの ExiTube[4] は，他者を模したアバタを動画とともに表示することで，アバタを通して他者を感じることができるシステムである．ユーザの興奮は手掌の精神性発汗を検知する．松野らは動画上に視線を重畳表示して拡張するエンタテインメントシステムを提案している [5]．
時間軸という概念を飛び越えて，同一空間上に現在の自分が過去にその場にいたユーザとインタラクションを行うことができるシステムとして，竹内らは PRIMA[6] を開発している．
また，スポーツ番組を見ながら，アイコンを使ってノンバーバルな意見の交換をすることで、より楽しめたり，他のファンと繋がりを感じることができるかを確かめた研究もある [7]．

謝辞
図 2. Web サービスのデザイン (http://norinori.in)

人の動きの取得には，Web カメラを用いて行なっている．Web カメラの前にいるユーザの動いた動画像の１コマ前と差分の重心点を取得する．それらの位置情報の取得を行い，動画再生時間とユーザ IDに紐付けた動きデータを，サーバに保存する．
動きデータは，二次元の点の羅列でできており，それを利用したエフェクト効果の多様な表現が可能になる．例として，図 1 のような，軌跡や花火のような表示をする方法である．

3

サービスの限定公開

提案サービスの公開を 8 月 4 日に行われた未踏成果報告会で限定的に行なった．プレゼン発表と同時に会場の人たちのパソコンを使用しての公開を行った．ここでは，複数の人が同時に動いている現象を確認できた．ここで得られた知見としては，提案サービスがなければ手を振りながら動画を観る人はあまりいないが，提案サービスがあることによって，手を振りながら動画を視聴する人が出てくる可能性があるということである．また，提案サービスで絵を描こうとする人が出てきたり，コメント職人などのように職人技を発揮しようとする人も出てきた．提案サービスは，コメントだけでは表現しきれなかった非同期コミュニケーションができるといえる．

本研究の一部は，独立行政法人情報処理推進機構「IPA」2011 年度未踏 IT 人材発掘・育成事業によるものです．ここに記して感謝いたします．

参考文献[1] 吉田有花，宮下芳明．ノリ乗り−観客のノリを動画に乗せて疑似ライブ感を共有するシステムの提案−，エンタテインメントコンピューティング 2011
予稿集,pp.232-234 (2011).
[2] 吉田有花，宮下芳明．ノリ乗り♪，WISS Challenge
2011 (2011).
[3] Harrison，C. and Amento，B．CollaboraTV:
Using asynchronous communication to makeTV social again，Adjunct Proceedings ofEuroITV2007,pp.218-222 (2007).
[4] 棟方渚，代藏巧，小野哲雄，松原仁．ExiTube：
他者の存在を感じられる動画観賞システム，CEDEC2011 (2011).
http://cedil.cesa.or.jp/session/detail/693.
[5] 松野祐典，栗原一貴，宮下芳明．動画共有サイト
での視線共有の試み，インタラクション 2012 論文集,pp.611-616 (2012).
[6] 竹内俊貴，中島統太郎，西村邦裕，谷川智洋，廣瀬通孝．PRIMA―異なる時間軸上のユーザとのインタラクションを実現するシステム―，第 20 回エンタテインメントコンピューティング研究発表会，
pp.1-6 (2011).
[7] Alireza Sahami Shirazi，Michael Rohs，RobertSchleicher，Sven Kratz，Alexander Muller，Albrecht Schmidt．Real-time nonverbal opinion
sharing through mobile phones during sports
events，CHI2011,pp.307-311 (2011).