情報処理学会 インタラクション 2017
IPSJ Interaction 20173-403-47
2017/3/2

コトダマボウリング : 音声認識と加速度センサーを用いたインタラクティブクイズゲーム白田 充1,a)

竹内邦宇1

馬場章

相澤 清晴1

概要：加速度センサーと音声認識を用いることで新たなインタラクションの形状をもったゲームを提案する．クイズゲームの解答を入力する箇所に音声認識を利用することで従来の入力方式であるボタンを押す操作やタッチスクリーンでの操作より，煩雑な操作をなくし円滑に解答できる仕様にした．また，操作デバイスの形状をボウリングのボール形状にすることでゲーム内容にも適合したボールを振るという違和感のない行動が行われ，自然で現実的な体験を齎すだろうと考えられる．本作品を展示した 3 つの場所での体験者の意見を通じて考察した．

Kotodama Bowling : Interactive Quiz Gamewith Speech Recognition and Accelerometer
Mitsuru Hakuta1,a)Kunitaka Takeuchi1

Akira Baba Kiyoharu Aizawa1

Abstract: We propose a novel video game with the interaction by using speech recognition and accelerometer. By using speech recognition at where users input the answer of the quiz game, we made a system thateliminate complicated operations and can answer smoothly than by pressing buttons that are traditional
input methods or touch screen control. In addition, by making the shape of the control device into a ballshape of bowling, behaviors that do not feel strange to the ball that also matches the contents of the gameare performed, and it is thought that it will bring a natural and realistic experience. This work was exhibitedat the three places and we considered through the opinion of participants.

1. はじめにム市場は急激に成長している．この市場成長に関してはス
マートフォンの普及率やビデオゲーム自体を購入する必近年，ビデオゲームは多種多様な操作形態が存在してい要がなく，無料で遊ぶことが可能な点，店頭で購入するとる．数多くのビデオゲームが配信されているスマートフォ

いった外出してその場所まで行動に出る必要がなく，オンンではタッチスクリーンを介した操作が行われるが，家庭ライン環境であれば即座にダウンロードして遊ぶことが可

用ゲーム機では従来のコントローラーを介した操作が多く能な点などが理由として考えられるが，タッチスクリーン行われる．また，パーソナルコンピューターでは主にキーを介した操作も理由の一つとして考えられる．

ボードやマウスを介して操作を行い，アミューズメント

タッチスクリーンは直接画面に触れるため，別の装置をパークでは特殊な構造をした操作デバイスを介して操作を介すといった煩雑な手続きが必要なく [1]，直感的に操作行うビデオゲームも存在する．

できると考えられる．ゲームパッドとマウスとタッチス

上記のように操作形態が多く存在する中，タッチスククリーンを同一のビデオゲームで比較すると，タッチスリーンを介した操作を行うスマートフォンのビデオゲークリーンが最も操作しやすいという結果が報告されている [2]．これらはタッチスクリーンが直感的で操作しやす1a)東京大学 学際情報学府
The University of Tokyo, 7-3-1 Bunkyo, Tokyo 113-8656,
Japan
hakuta-mitsuru521@g.ecc.u-tokyo.ac.jp© 2017 Information Processing Society of Japanく，スマートフォンで提供されるビデオゲームの内容に適していたため，こうした結果が得られたと考えられる．

824

情報処理学会 インタラクション 2017
IPSJ Interaction 20173-403-47
2017/3/2

ビデオゲームの操作デバイスに関してはタッチスクリーン以外にも研究されており，PlayStation Move[3] といった棒状の操作デバイスは従来のコントローラーや Kinect[4]を利用して身体だけで操作する場合と比べて，直感的な操作に適しているということが報告されている [5]．これは煩雑なボタン操作を要求されるコントローラーや身体全体を駆使して操作する Kinect よりも，操作が単純明快でビデオゲームの内容も複雑な動作がなかったためだと考えられる．実際に，入力方式を選ぶ際には操作デバイスと操作するシステムとの関係を考慮する必要があると報告している [6]．
また卓球のビデオゲームでラケットの形状をした操作
デバイスは Kinect を利用して手だけで操作する場合とPlayStation Move といった棒状の操作デバイスを利用する場合と比べて一層現実に近く，自然であると感じるため，操作することが容易であると報告されている [6]．つまりビデオゲームの内容が現実に存在するのであれば，実際に使用する物体に近い操作デバイスにすることで自然に扱い

図 1 ゲーム画面

Fig. 1 Game screenやすくなると考えられる．
本稿では，我々が開発した既存のビデオゲームを元に新図 1 であれば「か」を当てはめると「花王」「課題」「加たなデバイスを追加することで，人間とシステムとのイン水」という言葉が成立し，ボウリングの演出としては 3 ピタラクションを円滑に行える新たなゲームの形態を提案

ン倒れる演出がなされる．正解となるひらがな 1 文字は表する．

2. 作品設計
2.1 セレブラボウリング
まず我々が開発した既存のビデオゲーム「セレブラボウ

示された画面に対し唯一なため，10 ピン全てに貼り付けられている単語が成立し，ストライクの演出がなされるのは特定の 1 文字だけである．

2.1.3 ゲームの流れ
ゲームの流れとしてはまずタイトル画面が表示され，次リング」について説明する．に問題画面が表示される（図 1）．この画面は 15 秒間表示

2.1.1 開発の経緯され，その後解答入力待ちの画面となる．解答入力待ちの「セレブラボウリング」は我々が元々所属していた研究

画面では虫食い状態の箇所にどのひらがなが正解となるの室が「世界一受けたい授業」というテレビ番組に出演するか考え，その 1 文字のひらがなを入力する（図 2）．解答を際に，開発されたビデオゲームである．本ゲームはゲーム確定すると並んでいるピンに向かって入力されたひらがな

エンジン Unity3D[7] で開発されている．番組で紹介され1 文字を乗せたボールが転がっていくボウリングの演出がた本ゲームは好評であり，合計 3 回同番組に出演し，紹介なされる（図 3）．入力されたひらがな 1 文字によって成された（2015 年 7 月 25 日放送回，2015 年 9 月 26 日放送

立する単語分だけピンが倒れる．その後結果表示画面とな回，2015 年 11 月 28 日放送回）．その度に新たな問題を作り，倒れたピンの本数，成立した単語が表示される（図 4）．

成したり，画面遷移の表現を変更するといったブラッシュアップを行った．

2.1.2 ゲーム内容

2.2 ボール型デバイス
本研究では 2.1 節で紹介した「セレブラボウリング」を本ゲームでは，図 1 のように 10 本のボウリングのピンが元に，ボール型デバイスを新たに開発した（図 5）．本デバ並んでいる画面が表示される．ボウリングのピンには各々

イスは直径 19.4cm の半球状の発泡スチロールを 2 つ組み異なったひらがな 3 文字の単語が貼りつけられている．ひ合わせて構成されている．ボールの外見はゲーム画面に表らがな 3 文字のうち特定の 1 文字が虫食い状態になってい示されるボールと同じく，緑色で着色してある．ボウリン

る．この虫食い状態の箇所全てに同一で特定のひらがな 1

グのボールらしく把持できるよう 3 箇所穴が空けてある．

文字を当てはめると，10 ピン全てに貼り付けられている単ボール型のデバイスを使用した本ゲームを「コトダマボウ語が成立する．このひらがな 1 文字を考える，という虫食リング」と命名した．ボール型である理由は，「セレブラボいクイズのゲームになっている．成立した単語につきボウウリング」がボウリングをモチーフにしたビデオゲームでリングの演出が施される仕様である．

あり，現実で扱うボールと同じ形状であることで自然に扱© 2017 Information Processing Society of Japan825

情報処理学会 インタラクション 2017
IPSJ Interaction 20173-403-47
2017/3/2

図 2 解答入力

図 4 結果画面

Fig. 2 Answer input

Fig. 4 Result screen

ゲームシステムに送信される．これにより図 2 の画面でボール型デバイスを画面の方向に振ることで，手に持っているボール型デバイスがそのまま画面内部に入って転がっているかのような自然なインタラクションが実現できると考えた．

2.2.2 マイク本 デ バ イ ス に は Bluetooth マ イ ク も 搭 載 さ れ て い る（図 2）．マイク入力の妨げにならないようにボール型デバイスのマイクの入力に当たる部分には細かい穴が 7 つほど空けてある．マイクには ELECOM LBT-HS10 を使用した．本マイクは解答と考えられるひらがな 1 文字の入力を行う．
これは音声認識を用いた入力となる．

2.2.3 音声認識
昨今，スマートフォンにおける Siri[9] やしゃべってコン
図 3 ボウリング演出

Fig. 3 Bowling expression

シェル [10] といったユーザーアシスタント，Google 音声検索や Google ドキュメントにおける音声入力といった音声認識を利用したシステムは生活の至る所で散見される．

いやすく，直感的に操作できると考えたためである．
そのため本デバイスには加速度センサーが搭載されてSiri[9] やしゃべってコンシェル [10] では，スマートフォンに搭載されたメールやカメラといったアプリケーションのいる．

起動や電話発信，音楽再生といった処理を本体を触ること

2.2.1 加速度センサーなく実行できる．また Google 音声検索や Google ドキュ

本デバイスにおいて加速度センサーは解答と思われるひメントにおける音声入力では，文字入力のためにキーボーらがなを確定（図 2）させた後，ボウリングの演出をするドを用いて入力したり，スマートフォンにおけるタッチス際に用いられる．内部の回路は図 6 で示される Arduino

クリーンによる入力を行う必要がなく，音声認識された言

Nano[8] と加速度センサー，Bluetooth モジュールを用い葉，文章を即座に検索でき，即座にテキストデータに変換て構成されている．加速度センサーによる 3 軸の加速度できる．これらの機能は両手が塞がっていて本体を触るこを検知した信号を Arduino Nano へと送信し，一定以上のとができない場合や煩雑な操作が必要となる場面で，画面加速度を検知した場合のみ Bluetooth モジュールを介してを触らず他の操作の妨げにならずに円滑に処理できる．

© 2017 Information Processing Society of Japan826

情報処理学会 インタラクション 2017
IPSJ Interaction 20173-403-47
2017/3/2

3. 展示
本作品を用いて 3 つの会場で展示を行った．そこで得られた感想を記述する．

3.1 東京大学制作展
本作品は第 17 回東京大学制作展（2015 年 11 月 12 日〜

2015 年 11 月 16 日）において五日間展示を行った．来場者に遊び方を説明し，実際に体験して頂いた．
画面に表示される問題の構成について興味がある体験者や正解が判明するまで繰り返し体験する体験者，テレビ番
図 5 ボール型デバイス

Fig. 5 Ball type device

組で放映されていたことを認知している体験者といったように，ゲームシステム自体の感想が主なものであった．展
示初日から周りの展示物から発せられる音や会場で話されている声によって音声認識の精度は悪く，翌日からは解答入力の部分は我々が手動で入力した．

3.2 あそぶ！ゲーム展
本作品は 2015 年 10 月 3 日から 2016 年 2 月 28 日まで埼玉県川口市にある SKIP シティ彩の国ビジュアルプラザ映像ミュージアムにて開催されていたあそぶ！ゲーム展においても体験して頂く機会を得た．2016 年 1 月 10 日に開催された特別ワークショップ Vol.3『デジタルゲームを、もっと楽しく！面白く！』というイベント内にて親子 40 名を対象に本作品を体験して頂いた．本ワークショップでは 1
図 6

加速度センサー回路

Fig. 6 Accelerometer circuit

台のディスプレイにゲーム画面を投影し，子供たち全員が画面を見えるよう配慮した．
今回は本作品を体験して頂いた後に，アンケートの記入のご協力をお願いした．結果として 12 名のアンケートを収集できた．アンケート項目ではポジティブな面とネガティブな面を両方記入するようお願いした．本アンケートでは「新しい言葉を知れた」「言葉を考えることが面白かった」といったポジティブな意見が得られたものの，ネガティブな意見としては言葉が難しすぎる点や殆どの回答で音声認識の精度が悪い点について記述されていた．

3.3 第 2 回バンダイナムコエンターテイメント大運動会
本作品は 2016 年 7 月 2 日に東京ドームで開催された第2 回バンダイナムコエンターテイメント大運動会でも展示
図 7 Bluetooth マイク

Fig. 7 Bluetooth microphoneされた. 大運動会はバンダイナムコエンターテイメントの社員とその家族が参加するイベントで，玉入れや綱引きといった種目が東京ドームの広大な敷地を使用して行われこれらの特徴からボール型のデバイスにボタンを付けてた．それらの種目とは別に子供用の落書きスペース，折り解答を入力するよりも煩雑でなく，円滑に入力できると考紙などの工作スペース，また身長を Kinect を用いて測定

え，Bluetooth マイクを搭載した．マイクに入力された音する装置など来場者が一人でインタラクティブに体験でき

声は Bluetooth 通信でゲームシステムへと送信される．送るスペースも存在した．

信された音声は Julius[11] というオープンソースの音声解

我々の作品もそのスペースで展示を行った．本イベント

析ソフトを通じ，解析され，ゲームシステムに入力される．

では 1 日で 223 名の来場者の方に体験して頂いた．体験し© 2017 Information Processing Society of Japan827

情報処理学会 インタラクション 2017
IPSJ Interaction 20173-403-47
2017/3/2

た方の多くは子供であり，中には 2，3 度体験する来場者なっているため，ボール型デバイスを用いることで意図通もいた．

りのビデオゲームとして成立しているか実験行って確認す4. 考察る必要がある．今後は音声認識の改善と実験を中心に進めていく．

ボウリングを模した虫食いクイズというゲームシステム
自体やボール型のデバイス自体は評判が良いもので，体験

参考文献

者の自然で直感的な操作ができていると考えられる．それ[1]はボウリングという内容に則した形状をした操作デバイスであることが理由だと考えられる．
しかし，各展示において音声認識の精度の悪さが目立つ結果となった．この精度の悪さには 3 点の理由があると考

[2]

えられる．

1 点目は 1 文字音声認識ということの難しさである．通常の音声認識では，日本語特有の文の流れや各単語におけ[3]るひらがな 1 音の生起確率などから推測する．しかし 1 文
字の音声認識では上記の理論が通用せず，完全に 1 音だけで判断しなくてはならない．そのため「う」と「る」のと[4]いった母音が同一なもの，母音同士の違いなどが認識されない．

[5]

2 点目は展示会場における雑音である．基本的に音声認
識は静かな場所で行うことを前提としており，雑音が多くある場所ではその効果を発揮し得ないと考えられる．各展[6]

示会場では他の展示物の音が発生していたり，他の来場者の話し声も観測される．それらが雑音となって認識を妨げていたと考えられる．

3 点目は発泡スチロールで形成したボール型デバイス本
体の問題である．発泡スチロールという素材は少し触っただけでマイクにとっては大きな雑音を発生させてしまう．
またマイク用に空けていた穴はそれほど音声を通過させているわけではなく，寧ろ籠もった音声をマイクに入力させてしまう．更にボール内部では音声が反響しあい，認識を[7][8][9][10]妨げていたと考えられる．

5. まとめ[11]

Motti, L. G., Vigouroux, N., and Gorce, P. Interaction
techniques for older adults using touchscreen devices: aliterature review. In Proceedings of the 25th Conference
on l’Interaction Homme-Machine IHM 13, ACM Press(2013), pp. 125-134.
國富彦岐, 石川晃, 田所康隆, 白井暁彦. 年齢層とゲーミン
グデバイスの違いによる面白さの比較調査, エンタテイン
メントコンピューティングシンポジウム 2013 論文集, pp.
111-116
PlayStation(R)Move モーションコントローラー — プ
レ イ ス テ ー シ ョ ン (R) オ フ ィ シ ャ ル サ イ ト (online),
http://www.jp.playstation.com/ps4/peripheral/cechzc
m1jy.html (2016.12.22).
XboxOneKinect
セ ン サ ー(online),
http://www.xbox.com/ja-JP/xboxone/accessories/kinect-for-xbox-one
Birk, M., and Mandryk, R. L. Control your game-self:
eﬀects of controller type on enjoyment, motivation, andpersonality in game. InProceedings of the SIGCHI Conference on Human Factors in Computing Systems, CHI
13, ACM Press (2013), pp. 685-694.
Freeman, D., Hilliges, O., Sellen, A., O Hara, K., Izadi,S., and Wood, K. The role of physical controllers inmotion video gaming. In Proceedings of the Designing
Interactive Systems Conference, DIS 12, ACM Press(2012), pp. 701-710.
Unity - Game Engine(online), http://unity3d.com/jp/(2016.12.22).
Arduino - Home(online), https://www.arduino.cc/(2016.12.22).
iOSSiriApple（ 日 本 ）(online),
http://www.apple.com/jp/ios/siri/ (2016.12.22).
し ゃ べ っ て コ ン シ ェ ル—
サ ー ビス・機 能—NTT
ド コ モ(online),
https://www.nttdocomo.co.jp/service/shabette concier/(2016.12.22).
大 語 彙 連 続 音 声 認 識 エ ン ジ ン Julius(online),
http://julius.osdn.jp/ (2016.12.22).

本研究ではクイズゲームとして成立している「セレブラボウリング」にボール型のデバイスを追加し，新たに「コトダマボウリング」と命名し，3 つの展示会場で体験して頂いた．音声認識と加速度センサーを用いることで現実的で扱いやすく自然に体験できる新たなゲームを目指した．
結果としてボール形状と加速度センサーは意図通りに機能したが，音声認識の精度が悪く，その点を不満に感じる声が多かった．そのため目的が達成できたとは言い難く，音声認識については改善の必要がある．音声認識ソフトウェ
アの Julius 自体のチューニングや球体形状を形どる素材の変更などで改善することが予想される．また 1 文字音声認
識専用のエンジンを構築することで精度を向上させることも可能だと考えられる．
今回は，展示を行い，そこで得られた感想のみの評価と© 2017 Information Processing Society of Japan828