24特集

日本バーチャルリアリティ学会誌第 19 巻 1 号 2014 年 3 月

おもちゃと VR

特集 ■ おもちゃと VR

PlayStation®4『プレイルーム』の AR 技術とゲームデザイン

吉田匠

ソニー・コンピュータエンタテインメント

Yoshida Takumi

用いられた AR 技術と，技術をゲームに結びつけるため

1．はじめに2013 年 11 月 15 日より，北米市場を皮切りに，次世代のゲームデザインについて述べる．

コンピュータエンタテインメントシステム PlayStation®4（PS4™）が世界各地で発売された．PS4™ は従来機に2．『プレイルーム』とは対して，グラフィックス性能の向上やネットワーク機能

まず，『プレイルーム』とは一体どんなゲームなのかの充実など様々な進化を遂げている．さらに，これまで誰も体験したことのない新しいゲーム体験を生み出すべを紹介したい．『プレイルーム』は前述の通り，テレビの前のプレイヤー自身の部屋を舞台にした AR ゲームでく，コントローラーやカメラといった周辺機器にもまたある．コントローラーのタッチパッドを上方向にフリッ多数の機能が追加された．PS4™ の専用ワイヤレスコン

クすると，部屋が暗くなり，コントローラーのライト

トローラー（DUALSHOCK®4）は，ボタンやアナログバーから空中に投影されたようなグラフィックスでメニューが現れる（図 1）．『プレイルーム』の全てのコスティックに加え，タッチパッド，スピーカー，六軸のモーションセンサ，振動モータ，そして様々な色で光るLED を配置したライトバーなどを搭載している．また，ンテンツはこのメニューから起動する．

専用のカメラである PlayStation®Camera はデュアルレンズ，姿勢センサ，アレイ式マイクを備え，高精細かつハイフレームレートな映像を取得できる．
これらの PS4™ の新しい機能を使った遊びを体験できるゲームとして作られたのが『プレイルーム』である．『プレイルーム』は全ての PS4™ にプリインストールされており，PlayStation®Camera を繋ぐことですぐに全てのゲームをプレイすることができる．『プレイルー
図 1 コントローラーから投影されるメニューの UIム』の多くのゲームには複雑なルールや達成すべき目標＊口絵にカラー版掲載は存在しない．画面に出てくるキャラクターやエフェクトに対して自由にインタラクションするゲームである．

2.1 AR ボット

その楽しみ方はプレイヤーに委ねられており，次世代の「AR ボット」は，コントローラーの中に住む小さな「おもちゃ」という感覚でプレイして欲しい．操作方法
もシンプルかつ直感的で，小さな子どもや普段ゲームをロボットである．タッチパッドをフリックすると，床を埋め尽くすほど沢山の AR ボットたちがプレイヤーやらない人でもすぐに遊ぶことができる．の部屋の中に飛び出してくる．床の上を自由に歩き回『プレイルーム』では，カメラで写されたテレビの前る彼らには，プレイヤーの手や足で触れることができる（図 2）．タッチパッドを押し込むと，コントローラーに広がるプレイヤー自身の部屋がゲーム空間（= プレイルーム）となる．これを実現するために，現実の世界にコンピュータの情報を重畳提示する拡張現実感（AR）

は掃除機のように AR ボットたちを吸い込み始める．
吸い込まれた AR ボットたちがひしめき合っているコの技術を使用している．本稿では，『プレイルーム』にントローラーの中の様子も見ることができる．プレイ24

特集

おもちゃと VRJVRSJ Vol.19 No.1 March, 2014

25

図 3 ASOBI とあそぶ

図 2 AR ボット ＊口絵にカラー版掲載

ヤーがコントローラーを傾けると，それに応じて滑ったり転んだりといった反応を楽しめる．
PS4™ で は， ス マ ー ト フ ォ ン や タ ブ レ ッ ト，
PlayStation®Vita をゲームのセカンドスクリーンとして利用することができる．『プレイルーム』では，ダウンロードコンテンツ「トイメーカー」でこの機能を使用している．
トイメーカーは，プレイヤー自身の手で AR ボットたちのおもちゃを作る機能である．セカンドスクリーン上のペイ

図 4 AR ホッケーントアプリケーションで絵を描いて，それをテレビに向かってフリックすると，描いた絵が立体的なおもちゃとなってテレビ画面の中の AR 空間に投入される．ロボットをしたりフィールドを広くして時間を稼いだりといったたちは投入されたおもちゃで喜んで遊び始める．また，おボトルが装填され，コントローラーから勢い良くシャン

もちゃはロボットたちと同様に，プレイヤーが触ったりコパンが飛び出すシャンパンシャワーの演出を楽しめる．

戦略性がある．勝者のコントローラーにはシャンパンのントローラーに吸い込んだりすることもできる．

これらの他にも，新しい遊びが詰まったダウンロードコンテンツが配信されていく予定である．

2.2 ASOBI とあそぶ
「ASOBI と あ そ ぶ 」 は， 空 中 を 飛 び 回 る ロ ボ ッ ト
ASOBI と直接手で触ってインタラクションするコンテンツである（図 3）．まずプレイヤーは，コントローラー

3．『プレイルーム』で用いた AR 技術のタッチパッドを魔法のランプのようにこすることによって，コントローラーの中にいる ASOBI を呼び出す．

重畳されている映像を思い浮かべる人が多いだろう．こ3.1 ゲームカメラの設定
一般に AR 技術というと，白黒のマーカの上に CG がASOBI はプレイヤーの周りをぐるぐると旋回しながられは，マーカとカメラとの相対的な位置関係を取得することによって CG を描画する位置を計算するというもの飛び出してくる．ASOBI はプレイヤーの位置を認識して，愛想よく近づいてくる．そして ASOBI にはプレイで，スマートフォンや携帯ゲーム機のようなカメラが動く場合の AR 表示に有効である．昨今では，マーカレヤーの自身の手で直接触ることができる．しっぽを触る

スでカメラ位置のトラッキングを行う手法も主流になっと喜んだり，パンチすると怒って反撃してきたりといってきている．一方，『プレイルーム』ではカメラは固定た色々な反応を返してくれる．

されているためカメラ位置をリアルタイムにトラッキングする必要はないが，ゲームの CG と実写映像を違和感2.3 AR ホッケーなく重畳するためには，ゲーム空間に配置するカメラと「AR ホッケー」は 2 プレイヤー用の対戦ゲームである（図 4）．二人がタイミングを合わせて各々のコント

実空間に設置するカメラの位置が等しくなるように設定

ローラーのタッチパッドを上向きにフリックすると，その上にキャラクターが表示されるため，カメラの設定をこからゲームフィールドが現れる．このとき，プレイヤー間違えると実在感が阻害されてしまう．しかし，プレイのリビングルームは光るグリッド状の壁に覆われたサイヤーがカメラを設置する場所や角度は知ることができなバーな空間にシームレスに変化する．ルールはシンプルなホッケーゲームだが，コントローラーの動きに合わせい．そのため，『プレイルーム』ではカメラをどのように設置しても AR 表示とゲームプレイが破綻することがてゲームフィールドが変形するため，動いて相手の邪魔ないような工夫が必要となった．

しなければならない．特に，「AR ボット」の場合は床25

26

特集

日本バーチャルリアリティ学会誌第 19 巻 1 号 2014 年 3 月

おもちゃと VRPlayStation®Cameraには加速度センサが搭載されており，体の大きさや速度を求めることは難しい．そこで『プレ床に対するカメラの傾きを取得できる．このカメラの傾きに応じて，カメラが水平に近ければ床から 50cm の高さ，イルーム』では厳密な大きさや速度を求めるということ下向きならば 1m の高さといった具合に床からの高さを自突判定を行っている．

はせず，動き検出とデプス検出という処理を併用して衝動的に推定している．推定した結果は現実の値とは多少異動き検出は，カメラ画像の 1 ピクセルごとに直前のなるが，このようにしてカメラ位置を設定すると，AR 表

フレームとの差分を計算し，一定以上の変化があった

示とゲームプレイの整合性を保つことができる．

画素を動いているとみなす処理である．「AR ボット」のインタラクションには動き検出を使用している．また，プレイヤーが手を振ったことを認識するのにも使3.2 ステレオカメラの活用
PlayStation®Camera は左右 2 つのカメラを備えたステわれている．

レオカメラである．それぞれのカメラは解像度やフレー「ASOBI とあそぶ」では，優しく触れる「タッチ」，ムレートなど各種パラメータを独立に制御できる．『プレイルーム』では 2 つのカメラの露出を変えることでゆっくり押す「プッシュ」，勢い良く叩く「パンチ」という 3 段階の衝突判定が要求された．これにはステ

カメラ映像の明るさを制御して，「明・明」，「明・暗」，「暗・暗」の 3 つのモードをシーンに応じて使い分け

レオカメラから得られるデプス検出の機能が主に用いている．

プスだけでは精度が不十分だったため，動き検出も併られている．「プッシュ」と「パンチ」の判定にはデ「明・明」のモードではステレオ視によるデプス検出用している．

を用いて，空間やプレイヤーの奥行きを認識することができる．

3.4 顔認識の活用「明・暗」のモードでは，明るい方の画像を画面に出

PS4™ で提供されている顔認識のライブラリでは，顔力し，暗い方の画像でコントローラーのライトバーのトラッキングを行う（図 5）．周囲より輝度の高いライトの位置だけでなく，向き，大きさ，眼や鼻のパーツの位

バーは，露出を抑えた暗い画像の方がロバストにトラッ

では顔認識の結果を色々なことに利用している．
最もインパクトがあり，効果的なのが図 6 のような置といった多様な情報を取得できる．『プレイルーム』キングできるためである．
「暗・暗」のモードでは両方の画像でライトバーを検プレイヤーの顔の位置にエフェクトを重畳する演出で出できるため，左右のライトバーのオフセットが求められる．ライトバーのオフセットがわかると，「明・暗」ある．顔認識で得られる情報にデプス検出による奥行きを加えることで，顔の位置と向きを 3 次元でトラッモードの時に，暗い画像で検出したライトバーの位置をキングできるため，顔にピッタリと張り付いた CG の明るい画像のライトバーにマッピングすることができ重畳が可能である．
キャラクターの AI にも，顔認識の情報は活用されてる．オフセットを取得する処理は，プレイヤーには見せずにバックグラウンドで処理している．

いる．AR ボットたちがプレイヤーの方を向いたり，プレイヤーが触りやすい位置に ASOBI が自動的に移動したりといった処理を行っている．また，「顔が見えなくなった」状態を検出することで，ASOBI が寂しい表情になったり，「いないいないばぁ」をすると AR ボットたちが驚いたりといった演出も組み込まれている．

図 5 ライトバーのトラッキング

3.3 衝突判定『プレイルーム』では，AR ボットや ASOBI といった CG のキャラクターに直接触ってインタラクションすることができる．これを実現するためには，実映像とCG の衝突判定が必要となる．通常，ゲームの衝突判定は大きさや速度を持った物体同士の交差判定を行う．
『プレイルーム』の場合は 2D の画像と 3D の物体との判定をしなければならないが，カメラ画像から明確な物

図 6 顔に対するエフェクトの重量26特集

おもちゃと VRJVRSJ Vol.19 No.1 March, 201427保証するということはあり得ない．顔認識では，照明環

3.5 パフォーマンス
PS4™ では，マルチコア CPU と高性能な GPGPU を境が急に変わって顔部分が暗くなったり，手などで顔が駆使して，非常に高速な画像処理を行っている．『プレイルーム』は画面の解像度は 1080p，フレームレートは隠れたりすると認識がロストする．このロストが，プレ60fps で動作しており，画像認識エンジンの遅延はおおのなのかを認識エンジンは区別できず，また，こうしたむね 1 フレーム以内におさまっている．身体を使ったイロストを全て防ぐことも原理的に不可能である．よって，ンタラクションでは，フレームレートが低かったり，カ認識のロストが起きた時のゲームの挙動をしっかりとデメラ入力から表示までの遅延が大きかったりすると，プザインし，プレイヤーにフィードバックすることが大事

レイヤーのいる実世界とテレビの中のゲーム世界の一体である．例えば，ライトバーからメニューを投影してい感が乏しく，違和感やイライラが生じる．『プレイルーる時にライトバーの検出がロストした場合には，メニュー

ム』で実現した高フレームレート・低遅延の環境では，高精細なカメラ画像と CG のレンダリングも相まって，が消えるアニメーションを表示し，ライトバーをカメラまるで鏡の中でゲームをプレイしているような感覚を得する．「ASOBI とあそぶ」で，プレイヤーがカメラに近られる．ぜひ，動画で見て楽しむだけでなく，実際にプすぎてインタラクションが不可能なときは，ASOBI が怯レイして体験して欲しい．

えた表情になって逃げ出すといった具合に，『プレイルーイヤーが意図したものなのか，画像処理の精度によるもに向けるようプレイヤーに指示するグラフィックを表示

ム』では随所にこうした処理を組み込んでいる．
4．AR ゲームのゲームデザイン『プレイルーム』のプロジェクトは，PS4™ のカメラ

5．おわりにとコントローラーを使った新しい遊びを研究する目的

PS4™ の特徴のひとつに，ゲームのプレイ動画をストで，ディレクターのドゥセ・ニコラを中心とした筆者を含む数名のチームから始まった．最初の 1 年間で，チーリーミング配信でき，スクリーンショットやプレイ動画

ムで数百のアイディアを出し合い，その中から 50 個程をソーシャル・ネットワーキング・サービスを通じて簡単に共有できる機能がある．『プレイルーム』も PS4™

度の小さなゲームプロトタイプを制作した．さらにその発売以降，沢山のプレイ動画が共有されており，世界中中から製品として耐えうるコンテンツを厳選して作り上で沢山のゲーマーや子ども達が楽しそうに笑顔でプレイしている様子を見ていると，改めてカメラを使った ARげ，最終的に『プレイルーム』となった．こうした開発プロセスから得られた，カメラを使った AR ゲームをデゲームの可能性が強く感じられる．さらには，AR ボッザインするときの知見を紹介したい．

トたちの前でギターを弾いて歌いながらストリーミング

プロトタイプの制作中に，次のような事例が非常によ配信したり，『プレイルーム』を犬や猫に遊ばせたりとく起こった．あるプロトタイプの制作担当者が自分の席いった，開発者が意図していない遊び方も次々と生まれでデモをすると，想定通りに動いて拍手が起こる．続いている．『プレイルーム』には，制作期間の都合で入れて他のメンバーがプレイしたり，他の席で実行したりしられなかったアイディアも沢山あり，AR を題材にしたてみると，なぜかうまく動かない．この事例から得られる教訓は 2 つある．

ゲームはまだまだ発展の余地を残している．今後も，あっと驚く全く新しい体験が得られるようなゲームがひとつ目は，画像認識は環境に大きく左右されるとい続々と現れることを期待したい．

うことである．カメラからの距離，プレイヤーの年齢・性別・体型，部屋の明るさ，部屋の広さや家具の配置，【略歴】

カメラを設置する位置，プレイヤーの人数，プレイする時

吉田間帯など，様々な要因で画像認識の結果は変わってくる．

株式会社ソニー・コンピュータエンタテインメント
JAPAN スタジオ インターナルデベロップメント部

こうした環境の変化に対してできるだけロバストに動作するように，テストとチューニングを繰り返す必要があっ匠 （YOSHIDA Takumi）

た．また，社内でのデモや一般家庭でのユーザテストをプログラマー
2006 年東京大学工学部計数工学科卒業，2011 年東京大通して，初見のプレイヤーがどういった反応をするのか

学大学院情報理工学系研究科システム情報学専攻博士課といったフィードバックを得ることも重要であった．

程修了．2011 年より現職．博士（情報理工学）．

もうひとつの教訓は，「うまく動かない状態」を許容するゲームデザインにする必要があるということである．
コントローラーのボタンであれば，押されれば 100% 押さ“PlayStation” および “DUALSHOCK” は株式会社ソニー・コ

れたと判定されるが，画像認識ベースの入力では 100% をは同社の商標です．

ンピュータエンタテインメントの登録商標です．また，“PS4”27