情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2A-122024/2/28

声の高低を用いた和音学習ゲームの開発
福嶋穂倖†1

川合康央†1

概要：本研究では，ユーザの声の高低を利用した和音学習ゲームの開発を行ったものである．和音は，音楽の学習や演奏する上で，必要となる知識であるが，その取得は難しい．そのため，より効率的に学習する必要があると考え，音程解析を利用した学習形式の RPG ゲームの開発を行うこととした．音程解析をゲーム操作に組み込むことによって，より直感的な学習が可能となる．

1. はじめに
1.1 概要表 1 開発環境本研究では，声の高低を用いた操作が可能なゲームコンテ

プログラミング言語

C#ンツの開発を行った．既存のゲーム操作では，ボタンやジ開発ツール

Unity 2021.3.9.f1

ョイスティックなどの入力デバイスを使用している．一方，Visual Studio Code

先行研究では，日常動作である歩行を元にしたゲームインハードウェア

Windows10 Pro

タフェースや[1]，表情をパラメータにしたゲームインタフ

グラフィックツールClip Studio Paintェース[2]など，様々な身体情報を用いたゲームインタフェ

Photoshopースの提案が行われている．これらの研究を基に，声によMaya

る直感的な操作が可能なゲームインタフェースについて検その他ツール討し，新たな操作方法として提案する．

AudioPitchEstimatorFor
Unity

また，我々は通常，自分自身の身体を日常的に動かしていることに比して，ゲーム内の仮想の身体が，必ずしもユ本研究では，開発環境として，ゲームエンジン Unity をーザの感覚と一致しているものではない．ゲーム内の仮想用いることとした．Unity は，オーディオファイルに対して的な身体を，ユーザが思うように動かせなければ，操作や高速フーリエ変換を行う関数が存在している． また，Unityその上達も難しく，結果として，ゲームからの離脱を招く可能性がある [3]．そのため，プレイヤの実際の感覚がゲーム内の感覚と直感的に結びつくように，インタフェースを工夫をしなければならないと考える．
さらに，プレイヤがゲームを面白いと感じる要素として，内 で 使用 可 能 な 音 声処 理 シ ス テ ムと し て ， 本 研究 で はAudioPitchEstimatorForUnity を使用することとした．このAudioPitchEstimatorForUnity を使用することによって，音声の音程を分析することが可能である．また，開発言語として， C#を使用し，Visual Studio Code を用いてコーディン

初期の頃には，ユーザのスキルが低くても超えられるハーグを行うこととした．また，キャラクタや背景等のデザイドルがあること，技能や知識が蓄積し高まっていくと感じ

ン制作には，ペイントソフトウェア Clip Studio Paint，3DCGられること，出来たという手ごたえを得られること等が挙

ソフトウェア Maya を使用し，3D モデルのテクスチャ制作げられており[4]，これらの研究結果からも，ゲームの操作には AdobePhotoshop を使用した．

性はそのゲームに対して大きな影響を与えるものとして考えられる．これらの先行研究を基に，本研究では，現実での感覚を，直感的にゲームに反映できる音声情報を利用したゲームデザインの開発を行った．

2.2 コンテンツ概要
音階を使用することから，ゲームデザインは音楽とかけ合わせることが効果的であると考えた．しかし，単にリズムゲームとするのではなく，今回提案するインタフェースに RPG（Role-Playing Game）をかけ合わせることによって，2． 開発手法
2.1 開発環境本研究では以下の開発環境を使用して開発を行った．

インタラクティブなコンテンツになるよう開発を行った．
本研究で開発したコンテンツは，ゲーム操作を声の音階のみで行うものとした．

†1 文教大学情報学部情報システム学科© 2024 Information Processing Society of Japan684

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2A-12
2024/2/28

またゲームは音楽におけるドからシ(C,D,E,F,G,A,B)までプレイヤがマイクから音声を入力すると，画面の上部にの音がパソコンに接続するキーボードの(C,D,E,F,G,A,B)に音程が図 2 のように表示される．図 2 の状態であれば，C対応することに目をつけ、キーボードと音、例えばドの音の音を認識したため，攻撃ボタンのゲージである C, E, G のであれば C のキーを、レの音であれば D のキーを使用する

うちの C を満たしたこととなる．このように，すべてのゲことにより DAW 等で用いられる Qwerty キーボードよりージが満たされると，敵キャラクタに対してプレイヤ側かもわかりやすく直感的に扱いやすいインタフェースになるらの攻撃が行われる．のではと考え開発を行うこととした

先行研究から音声の認識精度について，認識率の上昇やPC に接続したマイクインタフェースから音声を取得し，誤認識の低減をはかる方法としてインストラクションが大Unity で音階の分析を行い，そこからゲーム操作に繋がる事であるといった研究結果がある[5]．そこで，音声情報を処理を行うこととした．

可視化することで，プレイヤが現在発している音と，操作このコンテンツは RPG がメインのゲームである．RPG のに必要な音との差が分かるよう，画面上部に現在自分が発バトルシーンにおいて主な操作である攻撃，防御，回復のしている音が，どの帯域のどの音なのかを示すようなイン

3 つの操作について声を用いて行うこととした．ゲームデタフェースデザインとした．

ザインを考え，各操作を行うためには，画面下部にある平行四辺形のゲージを満たす必要がある．

図 1

図3

ゲーム画面

画面要素

ゲームの動作画面を図 1 に示す．ゲーム上で攻撃を行う

画面全体のデザインは，図 3 のようになる．画面上部に場合には，攻撃ボタンであるＣのコードを構成している音は，マップの進捗具合が表示される．また，各キャラクタすべてを満たさなければならない．すなわちプレイヤは，の上部には，体力である HP ゲージが表示され，敵キャラ

C コードの構成音である C, E, G の音を発生する必要があ

クタの HP ゲージが 0 になると次の戦闘へ進み，プレイヤる．一方で，プレイヤがすべての音を補助なしで発声するキャラクタのゲージが 0 になると，ゲームオーバーとなる．

ことは困難だと考え、該当する音のアルファベット音名の攻撃を受けると HP ゲージは減少していく．

キー，例えばドの音が知りたい場合にはアルファベット音名である C のキーをキーボードから入力することで，その音を鳴らすことができる機能を設けた．

2.3 システム概要
続いてシステムの概要と画面遷移について，システム概要図を図 4 に示す．

図 2

UI について© 2024 Information Processing Society of Japan685

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2A-122024/2/28

図6
図4

システム概要図

PC に接続されたマイクから音声情報を取得し，これをゲ

ゲームサイクル

3． 課題と考察
3.1 考察ームエンジン Unity 上で処理を行う．この際に，AudioPitc

今回の研究では，ゲーム操作に音声を用いるコンテンツ

hEstimatorForUnity を使用して，取得した音声の音階を分析の制作を行った．RPG に音声インタフェースを組み合わせする．この分析結果を基に，ゲームシステムへの反映を行ることによって，プレイヤが面白いと感じる要素の 1 つでっている．

ある技能や知識の蓄積や，クリア後に何度も楽しめるとい次にゲーム全体のフローチャートを図 5 に示す．

った，ゲームインタフェースに必要ないくつかの要素を満たすことができた [4]．現実での我々自身の感覚を，ゲーム内に反映させることによって，よりプレイヤに対して面白いと感じられるゲームインタフェースの開発を行うことが可能である．今回提案したような，ゲームパッドやキーボードなどの物理的な入力デバイスを用いないゲーム操作に関しては，これまでにも先行研究が存在している．今後もこのような直感的に操作が行えるインタフェースは，ゲー
ム操作だけでなく様々な形で検証され実用化されていくと考えられる．
3.2 課題図5

ゲームフローチャート

一方でいくつかの課題もある．先行研究の 1 つである表情をゲームのパラメータとして応用した例では，「幸福」の表情が最も操作しやすく，「悲しみ」「恐怖」「怒り」「嫌悪」

タイトルから始まり，画面をクリックすることでゲームの表情で操作することが困難であったとしている．その理のホーム画面へと移動する．このホーム画面からは，ゲー

由として，これらの表情を意図的に表現しているわけではム内で使用しているコードの確認が行えるコード一覧の画なく，理性的に隠し抑えている働きがあるためだとしてい面と，戦闘を行うために使用するマップを選択するマップ

る[2]．本研究でインタフェースとして用いた声に関しても，選択画面の 2 つへと遷移することができる．

普段から自分が発声している音域以外は出す機会が少ない．

ゲームサイクルについては図 6 のようになっている．マ

そのため，同じように自分が普段使用している音域以外でップを選択するとゲームが開始される．続いて戦闘シーンは操作がしにくいという課題が残った．今後は声による操へと移行する．戦闘は全 3 回でうち 2 回が通常の戦闘，1作について，ユーザ評価を行い，より直感的な操作を考え回がボス戦闘となっている．1 回目の戦闘が終わると 2 回る必要がある．ゲームをプレイする前に声のキャリブレー目の戦闘へと移行する．最後の戦闘を終えるとゲームクリションを行い，自分が発声できる範囲内で操作できるインアの判定になり，次のマップが解放されるというのが一連

タフェースや，音階以外にも音の強弱で操作するインタフのゲームサイクルとなっている．

ェースなどの展開が考えられる．

© 2024 Information Processing Society of Japan686

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2A-122024/2/28

4.まとめ
今回の研究では，ゲームエンジン Unity と，音程の検出を行うために AudioPitchEstimatorForUnity を使用し、マイクから取得した音声を元に音階を分析し，それによって操作を行うゲームコンテンツの開発を行った．このようにゲーム操作に非言語音声を用いることで，ユーザに新たな体験を提供することができると考えられる。
一方で，多くのユーザが扱うインタフェースとしてはい
くつかの改善点があるため，引き続き開発を続けて行く．
今回は音声と RPG を組み合わせたゲームコンテンツであったため，使用する音の高さについては絶対の音程を利用した．しかし，様々な人が使えるインタフェースとして使用する場合には，個人の音声を最初に検出し，そこからの相対の音程を利用することが望ましいと考えられる．
また，本研究では非言語音声を取り扱ってきたが，これらを自然言語処理と組み合わせることによって，さらにゲーム操作におけるインタフェースの幅は広がり，より魅力的な体験を得ることができると考えられる．

参考文献[1]

[2]

[3]

[4]

[5]

石井優衣，栗原一貴，湯村翼:日常動作を複数の操作に再利用する「ながらゲーム」の提案, 情報処理学会インタラクシ
ョン 2017, pp.325-327 (2017).
丹羽将康，渡邊 恵太: Facialaction:表情をパラメータにしたインタラクションの提案とその応用, エンタテインメントコ
ンピューティングシンポジウム 2020 論文集, pp.115-117(2020).
簗瀬洋平, 鳴海 拓志: 誰でも神プレイできるジャンプアクションゲーム, 日本バーチャルリアリティ学会論文誌,
Vol.21, No.3, pp.415-422 (2016).
仲村真廣，横田直明，遠藤雅伸: プレイヤーがゲームを面白いと感じる要素に関する定性調査分析, 日本デジタルゲーム
学会 2018 年度夏季研究発表大会予稿集, pp.91-92 (2018).
相原政徳 小田嶋 和幸 畑岡 信夫: カーナビにおける音声イ
ンタフェースの実車評価, FIT2009（第 8 回情報科学技術フ© 2024 Information Processing Society of Japan687