WISS2010

eXLoop: 楽しさの再帰による体験の強化システムの提案
eXLoop: A system to recursively augmented experience of entertainments

秋山 博紀

渡邊 恵太

稲見 昌彦

五十嵐 健夫∗

Summary. 近年，任天堂の Wii のような身体性の伴うビデオゲームが注目を集め，ビデオゲームの楽しさがコンテンツの作品性やゲーム性だけでなく，ユーザー同士のコミュニケーションを楽しむ場所を提供するものへと変化しつつある．我々は Wii のような身体性を伴うゲームの面白さについて，ゲームを楽しむ人の様子を見ることがひとつの面白さになると仮説した．そこで本研究ではビデオゲームを親しい関係の複数人で楽しむプレイヤーの様子を映像で記録し，楽しんでいる姿をゲームプレイ中に提示することで，ビデオゲームの楽しさを再帰的に強化するプラットフォーム eXLoop を提案する．eXLoop は既存のビデオゲームに対して，画像処理を用いて適切な映像提示のタイミングを検出し，映像の録画開始や再生を自在に制御できる．本研究では，任天堂の Wii Sports を元に，得点する瞬間を得点直後に再生するインスタン
トリプレイ機能，ゲーム終了時に盛り上がり情報から自動的に名場面を検出し再生する総集編機能を実装した．そして，eXLoop を利用したビデオゲームを数名が利用した際の観察結果から考察し知見をまとめ本システムについて議論する．

1

はじめに

近年，任天堂 Wii など，加速度センサーや画像処理技術を利用した身体性の伴うビデオゲームが注目を集めている．このようなゲームの映像 CM は従来の作品性やゲーム性を主張するものと異なり，プレイする人々の様子を積極的にアピールしている1 ．また，従来より動画共有サイトではプレイの様子を録画した映像がアップロードされてきたが，Wii のような身体性の伴うビデオゲームでは，テレビ画面のキャプチャ映像ではなく，ゲームで遊ぶ人々の様子自体がアップロードされることが多くなった．このような点から，身体性の伴うビデオゲームにおいては，ゲームの内容だけでなくユーザーの遊ぶ様子もコンテンツであるとメーカーやユーザーが認識していることが考えられる．

2eXLoop2.1 概要eXLoop はビデオゲームを遊ぶ複数人のプレイヤーの様子を記録し，その様子をゲーム中に提示することで，ビデオゲームの楽しさを再帰的に強化するためのプラットフォームである．eXLoop は次の 2 つの観点から楽しさの強化をねらう．

1. 一緒に遊んだプレイヤー同士が自分達の遊ぶ様子を見て楽しむ

2. プレイヤーのプレイスタイルやプレイ中のコミュニケーションを再度見て楽しむ

そこで本研究では，身体性の伴うビデオゲームにおいて，複数人のプレイヤーが自分達の遊ぶ様子を映像を通して再体験できるようにすることで，ビデオゲームを遊ぶという経験そのものを強化できると仮定した．その仮定を元にユーザーが楽しかった時を気軽に再体験するための映像のリプレイ機能を，容易に既存のビデオゲーム環境に統合するための環
境 eXLoop(Experience Loop) を提案し，実装・運用を行った．

Copyright is held by the author(s).
Hiroki Akiyama, Keita Watanabe, Inami Masahiko
and Takeo Igarashi JST ERATO 五十嵐デザインインタフェースプロジェクト
1
http://wii.com/jp/articles/wii-sports/∗

図 1. eXLoop で遊ぶ様子 ビデオゲームを遊んで (上)その場で動画を見て楽しむ (下)WISS 2010

上記のねらいのために，以下の３点を実装した．

2.1.1

インスタントリプレイ

インスタントリプレイは，ゲーム中区切りとなる場面で，直近のプレイの様子を映像で再体験できるようにする機能である．複数人で遊ぶ様子を，プレイヤー同士で再体験させることで，直近のプレイの盛り上がった様子やプレイ中の会話をコンテンツとして消費できるようにする．

2.1.2

総集編

総集編は，ゲーム終了後に最も盛り上がったシーンを集めた自動編集済みの動画をユーザーに提示する機能である．この機能によって，ゲーム終了後に盛り上がっていたゲームの様子を再確認させ，プレイヤーにゲーム全体の統括としてのコミュニケーションを促すことをねらう．

2.1.3

特別な操作が不要

本研究は既存のビデオゲームに新たな要素を付加するものだが，既に完成されているビデオゲームに特殊な操作を加えると操作が煩雑になり，楽しさを削ぐ可能性がある．eXLoop は起動時を除きユーザーの操作を必要としない．これは，既存のゲームに対して機能を付け加えてもユーザーが違和感なくそのまま遊べるようにするためのものである．

実装

3

3.1 設計指針
eXLoop は既存のビデオゲームの楽しさを拡張することが目的のため，今回の試作では 市販されている Nintendo Wii Sports 内の「テニス」を元に設計と実装を行った．Wii Sprots を選んだ理由は，(1)ユーザーの動作が大袈裟になりやすい点，(2)2010
年 1 月 29 日の時点で 6069 万本を売り上げて世界で最も普及しているビデオゲームである点2 ，(3) 画面の大きな変化がなく状況が検出しやすい点による．
既存のビデオゲームにインスタントリプレイ機能や総集編機能を実装するに当たり，(1) ゲーム状況の検知，(2) 画面への映像合成手法，(3) センサーデータの取得方法，が主な課題となった．

3.2

ゲーム状況の検出

本システムではユーザーがゲーム内で置かれている状況を検出するために，コンピュータに入力された映像を OpenCV2.1 で解析している．具体的には，入力されたゲーム画像と，事前に設定した状況画像を SSD(Sum of Squared Difference) を用いて相違度を検出し，状況ごとに設定された閾値より低い場合に状況に合致したものとして処理を行っている．
2

http://www.nintendo.co.jp/ir/pdf/2010/100129.pdf

3.3

映像合成

映像キャプチャボードを搭載したコンピュータを用いて Wii 本体の出力映像を解析した．Wii の映像をコンピュータ経由で提示したところ，デジタル処理のため遅延が発生した．このような遅延は身体性を伴うゲームでは，操作感の悪化と楽しさの欠落を招いた．
この問題の解決のためにアナログ映像を取り込むミキサーを MIDI 制御し，遅延のない映像合成を実現した．映像と音声の流れは図 1 の通りである．

3.4 総集編映像の自動生成
eXLoop はユーザーが盛り上がった様子を再体験することで楽しさを強化する．そのために後から盛り上がった箇所を検出して提示する必要がある．予
備調査として 20 代の男女 8 名を対象に Wii Sportsを遊んでもらった結果，盛り上がる時は歓声を上げて大きく Wii リモコンを振り回す様子が観察できた．このことから本システムでは，音声の入力レベルと Wii リモコンの加速度を取得して解析する．
音声の入力レベルと加速度のデータは，時刻とセットで保存される．総集編を生成する際に，区切りごとの動画中で，移動平均の値が最も大きい時間を盛り上がった瞬間として再生開始する．音声は 3
秒ごと，加速度は 0.2 秒ごとの移動平均で計算した．
なお，加速度のセンシングには改造した Wii リ
モコンを用いた．既存の Wii リモコンと Wii 本体は Bluetooth で通信しているため，傍受することはできないため，Wii リモコンの内部に加速度センサ，PIC，Bluetooth 通信モジュールを内蔵し，加速度をセンシングできるようにした (図 2)．

図 2. 加速度センサと Bluetooth モジュールを埋め込んだ Wii リモコン．内部 (左) と外装 (右)4議論

実際に eXLoop によって拡張した WiiSports を2 人 1 組で 2 グループが体験した．ほとんどのユー
ザは盛り上がった様子をコンテンツとして体験でき，プレイ中の様子を見て，笑ったりコメントをする様子が確認できた．また，総集編の基準を知ったユー
ザは，映像に登場する回数を増やすために得点時や悔しい時に意識的にデバイスを振り回す様子が確認できた．このような姿はそのまま楽しさの強化につながるため，結果として eXLoop の目的である「楽しさの強化」は達成できたと考えられる．

eXLoop: A system to recursively augmented experience of entertainments

しかし，あまり親しくないユーザ同士の場合，楽しめない空気で遊んでしまい，その様子も再体験するため悪い空気が更に強化される様子が見られた．
eXLoop は家族や友人など，親しい間柄のユーザ同士で使われるのには適しているが，初対面同士が遊ぶ場合には逆効果となる可能性がある．

5

関連研究

スライドショー再生中の会話を記録して次回のナレーションにする PhotoLoop[1] がある．ユーザーの活動を自然に映像撮影して応用する点で本研究と近く，構造の一部を応用している．ただし，eXLoopはその場で楽しむというねらいが異なる．
カメラに付けた画面で被写体に画像を提示することで，注目を集めたり驚きを与え，その様子を撮影する EyeCatcher[2] がある．笑顔のきっかけをシステム自らが提示して記録する点は近い．また，ボールにカメラを埋め込みキャッチボールの様子を写真撮影する TosPom[3] は，ユーザの自然な表情を撮影できる点で近い．また遊園地のアトラクションで，最も盛り上がる位置（急な下り坂など）で写真を自動撮影するライドフォトシステム [4] がある．

未来ビジョン
体験記録の日常的キャプチャと利用による充実感覚の制御・体験強化環境を目指して近い将来，ほとんどの手持ちのカメラはなくなりモノに埋め込まれると考える．モノに埋め込まれたカメラは，人がモノとインタラクションする際に発生するコミュニケーションをキャプチャし，人々の体験記録やコンテンツとして蓄積されたり，その場の体験を強化する目的で利用されていく．
重要なことは「楽しかったことはもう 1 度楽しめる」という構造である．たとえば，楽しかった旅行の写真を見ることは楽しい．そのときが楽しければ楽しいほど，またその写真やビデオを見ることは楽しい．一般
的にその場の体験と思い出（記憶）は比較的離れた時間や文脈で語られることが多かった．しかしカメラの小型化やデジタル化によって，撮影しその場で撮影されたものを見るということが容易にできるようになった．デジカメで面白い様子を撮影し，それをすぐみん
なで見てまた笑うといったようなことは日常的なことである．このようなことが，カメラセンサの小型化や低価格化によってどこでも簡単にできる環境が整いつつある．これは従来の銀塩のカメラでは得られないその場での体験が強化された瞬間である．我々は，このような体験の記録と再生を短期間に循環させることで日常的なあらゆる体験を強化したり弱めたりすること

6

おわりに
本研究では楽しさを再体験し強化するシステム

eXLoop について提案および実装と運用を行った．
研究を通して，遊ぶ様子をその場で再確認することが楽しさの強化につながることが確認できた．
今回の実装ではその場にいるユーザー同士の楽しさを強化した．今後は遠隔地でも楽しい経験を共有できるよう，既存の動画共有サイトやマイクロブログを利用した楽しさ共有についても研究を進めたい．

参考文献[1] 渡邊 恵太, 塚田 浩二, 安村 通晃. PhotoLoop : 写真
閲覧時の自然な語らいを活かしたスライドショーの拡張. ヒューマンインタフェース学会論文誌,
11(1):69–76, 2009-02-25.
[2] 塚田 浩二, 沖 真帆. EyeCatcher: 多様な表情を撮るカメラ. 日本ソフトウェア科学会論文誌 (コンピュータソフトウェア), 27(1):89–100, 2010.
[3] TosPom:aball-shaped
cameratakes
pictureswhile
playing
http://www.ok.kmd.keio.ac.jp/tospom/.

thatcatch.

[4] 富 士 フ イ ル ム ラ イ ド フォト シ ス テ ム.
http://fujifilm.jp/business/photo/amusement/ができるのではないかと考えている．
主にユーザがカメラで何かを撮影することは，自然発生的なイベントが原因である．しかし，一部の状況ではイベントの発生が特定できる場面がある．たとえば，本研究における WiiSport のテニスではユーザ得点したときや勝利したときに喜んだり悲しんだりすることが予測できる．居酒屋におけるビール瓶は，酔ったユーザの姿を予測できる．カラオケのマイクは，その加速度からカラオケの盛り上がりも予測できるかもしれない．それをシステムが積極にキャプチャしユーザにフィードバックすることが，体験強化環境の実現につながる．たとえば，eXLoop のインスタントリプ
レイは，今のアクションをリプレイすることで，よりそのアクションが印象的なものになったりするだろう．
さらにその回数や映像や音声記録の切り取り方によって印象の度合いを調整することも可能と考えている．
実際カメラセンサの小型化しているためモノ自体にカメラをあらゆるモノに埋め込むことは容易なことである．したがって，カメラを向けずとも日常生活でモノと関わるだけで，楽しさがこれまで以上に継続するような世界が実現できるだろう．逆に，悲しさや怒りを短く感じさせるような応用も可能かもしれない．
今後は，モノによって生まれる人々のコミュニケー
ションや感覚を，どう表出させてそれをどうキャプチャし，日常的に利用するが大きな研究フィールドになるだろう．