情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3A-04
2024/2/28

ゲームアクセシビリティの向上を目的とした直感的な操作を可能にするぬいぐるみ型コントローラの提案
布施優人†1吹野碧†1 池岡宏†1

概要：本研究では，高齢者や障害者など，一般的なゲームコントローラの操作が苦手な人に対し，アクセシビリティの向上を目的としたぬいぐるみ型ゲームコントローラを提案する．なお，本コントローラを用いることで，ぬいぐるみ本体の上下左右移動やぬいぐるみの手足の操作等による，直感的なゲーム操作が可能なシステムを提供することができる．これにより，これまでゲームを楽しむことができなかった境遇の人にも，ゲームを楽しんでもらえる機会を提供できる．加えて，本コントローラの有用性の検証を行うため，本コントローラ用のゲームも併せて作成した．

1. はじめにコントローラとする提案がなされている．ぬいぐるみをコントローラとして用いる点は本研究との類似性があるもの

一般的なビデオゲームでは，ゲームパッドやキーボードの，ぬいぐるみを傷つけることなくコントローラとする点等で見られるようなボタン操作やスティック操作によるゲが本提案の大きな利点として挙げられる．その実現にあたームプレイが主流である．これらは複雑で微細な操作を要って，電子デバイスモジュールをぬいぐるみ内に仕込むの求するため，手指の動作が衰えた高齢者や，運動障害を抱ではなく，カメラを使用した AI による画像認識技術によえる人など，ゲームパッドの操作が苦手な人にとって，ゲり，ぬいぐるみ型コントローラの実現を図っている．

ーム操作は非常に困難なものであった．
一方，近年ではアクセシビリティに配慮したゲーム開発

3. 提案システムの概要が注目されるようになった[1][2]．アクセシビリティは「利本システムでは，図 1 のように，ぬいぐるみを抱えるゲ用しやすさ」や「近づきやすさ」という意味であることかーム操作者の正面に配したカメラからの画像を入力とし，ら，ゲームアクセシビリティとは「年齢や障害にかかわらその後の処理は PC 内に導入したソフトウェア YOLO[5]とず，誰でもゲームが行える」ことを意味する．昨今の有名Unreal Engine[6]を使って実現した．なお，YOLO では物体なゲームの中にも，このゲームアクセシビリティに配慮し検出と骨格推定が可能な YOLOv8 を，Unreal Engine では最た作品が幾つか見られるようになってきた．
そこで本研究では，直感的な操作を重視したぬいぐるみ型コントローラを提供することで，ゲームアクセシビリティの向上を図ることを提案する．なお本研究では，ぬいぐるみ自体に手を加えたり傷つけたりしなくて済むように，加えて様々なぬいぐるみに対応できるように，AI による画像認識を活用することでこの提案の実現を図った．従って，ぬいぐるみ所有者が愛着をもっているぬいぐるみなど，大切にしているぬいぐるみにも対応できることが，本提案の大きな特徴にもなっている．加えて，ぬいぐるみを使用することによるセラピー効果は，様々な研究により実証されてきており[3]，ゲームを楽しむだけでなく，ぬいぐるみを手に取るきっかけづくりにも本提案が活用できることが期待される．

2. 先行研究と本提案の違い相違点
先行研究として，ぬいぐるみをゲームコントローラにするプラットフォーム開発の事例があり[4]，ぬいぐるみ内に小型の電子デバイスモジュールを埋め込むことで，ゲーム

図 1 システム概要図†1 福山大学 工学部 情報工学科© 2024 Information Processing Society of Japan1080情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3A-04
2024/2/28

新バージョンの Unreal Engine 5 を採用した．YOLOv8 で得たぬいぐるみのボックス位置の領域座標情報，各骨格のポイ ン ト位 置 の 座 標 を数 値 化 し ， ソケ ッ ト 通 信 を介 し て
Unreal Engine 5 内に送信することで，ゲーム中のキャラクタに移動，ジャンプなどのアクションとして反映させる．

f

例えば，ぬいぐるみの横方向への移動がゲーム内のキャラ

eadbcgh

クタの横方向への移動として，上下の移動はジャンプの動iきとして反映される．さらに，ぬいぐるみの骨格ポイントj検出より得られたぬいぐるみの腕の上下の動きにも，ゲーlム内のキャラクタが何かしらのアクションを連動するようkになっている．なお，ボックス領域および骨格ポイントのm

検出対象は，図 2 の通りである．

4. システム開発および検証実験
4.1 ボックス位置検出および骨格ポイント検出のための学習データの作成
本研究では，カメラより得られた画像内におけるぬいぐるみ全体のボックス位置検出と，四肢の骨格ポイント位置検出が重要になってくる．その実現にあたって，YOLOv8(a)右目(b)左目(c)鼻(d)首(e)右肩(f)右手(g)左肩(h)左手(i)腰(j)右足上(k)右足(l)左足上(m)右足の学習データを作成した．まず複数枚の画像データを撮影

図 2 ぬいぐるみのボックス位置し，ぬいぐるみ全体の位置をボックス領域で指定し，加えおよび骨格ポイント位置て主要な骨格ポイントの位置を指定するラベリング作業を行い，これを学習データとした YOLOv8 の推定モデルの学習を行った．
なお，本ラベリング作業では CVAT[7]をツールとして使用した．今回の CVAT での作業は， 図 3 (a)のようなぬいぐるみ全体のボックス位置検出のためのボックス 1 個，図3 (b)のような骨格ポイント位置検出のためのポイント 13個を手作業で指定することで，学習データを作成した．今回は，全部で 51 枚の画像データに対し，このラベリング作業を行った
4.2 ファインチューニングとデータ拡張
YOLOv8 の学習では，元々人間や物体，動物などの複数クラスの分類および四肢の検出機能が備わっていた．これ(a)ボックス位置指定
図 3(b)骨格ポイント位置指定

CVAT によるラベリング作業の様子に対しファインチューニングを行うことで，元々は非対応であったぬいぐるみにも対応できるようにした．その際，CVAT で作成した 51 枚の画像では学習データの量として不十分だったため，Imgaug[8]を使って 3162 枚に学習画像データを増やすデータ拡張を行った．
その後，200 エポックかけてぬいぐるみの物体ボックス位置検出及び骨格ポイント位置検出のための学習を行った．
なお，学習に関するその他のパラメータは初期値をそのまま用いた．その時の学習誤差および検証誤差の変化の様子
は図 4 のようになり，200 エポック程度まで学習を進んだ
ところで，各誤差が十分減少していることから，YOLOv8での学習は概ね成功したと判断し，学習を打ち切った．実際に，リアルタイムでのぬいぐるみのボックス位置検出および骨格ポイント位置検出の精度は非常に高く，ぬいぐる© 2024 Information Processing Society of Japan

図 4 学習時の各誤差の減少の様子

1081

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3A-04
2024/2/28

みコントローラとして十分な性能がでていること定性的に手前にスクロールするタイプのステージとなっており，前も判断できた．なお，リアルタイム処理では，毎秒 30 フレ

方から迫ってくる障害物を，移動，ジャンプで避けながら，ームで検出ができていることも確認した．

ビームを発射することで障害物を破壊することができ，ポ4.3 画像の取得イントを稼ぐというものになっている．なお，ゲームが進画像の取得には， Intel 製の Web カメラ RealSense デプ

行するに連れて，障害物をスポーンする時間及び，障害物

スカメラ D435 を使用した．スペックは，Depth 解像度との接近スピードが速くなり，難易度が少しずつ上がるよう

FPS が 1280×720，Depth 視野が 85.2×58 となっている．になっており，加えて障害物のスポーンにはランダム性をなお，本カメラは高速伝送が可能な USB3.0 で PC と接続し持たせている．ている．

高スコアを狙うことを目的とするゲームとなっており，

4.4 ぬいぐるみコントローラとゲーム間のデータ通信

１）時間経過とともに加算されるスコア，２）障害物をビ

Unreal Engine 5 では，ソケット通信によりぬいぐるみのームで破壊することで加算されるスコアの，二つの合算値

ボッ ク ス位 置 検出 お よび 骨 格ポ イ ント 検 出 を 行 う．AIがスコアとなる．また，図 6 のようなスコアランキングを(YOLOv8) とのデータ通信には，TCP Socket Plugin を使用

参照してもらうことで，複数人で競い合うことも可能になしてクライアント処理の実装を行い，配列形式でデータをっている．

受けとるようにした．一方，YOLOv8 による AI 画像認識はぬいぐるみ型コントローラから得られた現在のぬいぐ

Python で実装されており，そのコード中にソケット通信のるみのボックス位置および骨格ポイント位置の情報を直接サーバ処理を埋め込んだ．

ゲーム内に反映させることで対応できるが，ゲーム内での4.5 検証用ゲームの作成
本提案のぬいぐるみ型コントローラのアクセシビリティ向上効果の検証のために，Unreal Engine 5 を使用して本コントローラに対応したゲームの開発を行った．このゲーム

ゲーム画面

では，単純に，横移動ぬいぐるみ，ジャンプ，ビーム発射の三つの行動を本コントローラで制御することで楽しむものとなっている．
図 5 のように，本ゲーム画面の構成は縦に長く，奥からカメラ
スコア
プレイヤ
ビーム操作キャラクタ

図 7 実際のゲームプレイ

障害物
図 5 ゲーム画面

図 6 スコアランキング© 2024 Information Processing Society of Japan

図 8 YOLOv8 での画像認識の様子

1082

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3A-04
2024/2/28

ジャンプの動きに関しては，ぬいぐるみを上方向へ移動さ参考文献せることで操作できるようにするために，数フレーム前の[1]各座標と現在の座標の比較を行うことで実現できるようにした．なお，このフレームの間隔は人によって適度なタイミングに設定することができるようにすることで，利用者[2]の運動の力に応じて調整できるようになっている．これにより，運動機能が低下している方でもゲームをプレイする[3]ことが可能になっている．加えて，もしぬいぐるみの右手の骨格ポイント座標が肩の骨格ポイント座標より高い位置[4]を記録した場合には，ビームを射出する処理が実行されるように設計されており，シューティングゲームの要素も取り入れた．これを行うことにより，骨格を利用したアクシ[5]

ョンを可能にした．
4.6 テストプレイ
本学の学生に，ぬいぐるみ型コントローラをテストプレ[6][7]イしてもらった．具体的には，図 7 のように，PC に接続された web カメラの正面で，学生に幅 75cm，高さ 28cm のぬいぐるみを持ってもらい，ゲームをプレイしてもらった．

[8]

松尾政輝, 坂尻正次, 三浦貴大, 大西淳児, 小野束. 視覚障害者のアクセシビリティに配慮したアクション RPG: 全盲者向け開発環境とゲーム本体の開発. 日本バーチャルリアリティ学会論文誌. 2016, vol. 21, no. 2, p.303-312.
松尾政輝, 野澤幸男, 市場大亮, 稲瀬達也. 学生企画『視覚障害とゲームアクセシビリティ』. 情報処理学会. 2016, vol.
2016-AAC-2, no. 11, p.1-4.
林里奈, 加藤昇平. ストレス緩和効果向上におけるインタラクションの重要性. 情報処理学会. 2018. vol. 2018, no. 1, p. 1718.
筧豪太, 杉浦裕太, 杉本麻樹, 稲見昌彦. FwatHome : ぬいぐ
るみをコントローラにするプラットフォーム. 情報処理学会,2010, vol. 2010-EC-17 no. 3, p. 1-4.
Chien-Yao Wang, Alexey Bochkovskiy, and Hong-Yuan Mark Liao.
YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for
real-time object detectors. arXiv. 2022. arXiv:2207.02696.
Weichao Qiu and Alan Yuille. UnrealCV: Connecting Computer
Vision to Unreal Engine. arXiv. 2016. arXiv:1609.01326.
Charles E, McLure jr. Implementing Subnational Value Added
Taxes on Internal Trade: The Compensating VAT (CVAT). 2000 vol.
7, p. 723-740.
Jung A. Imgaug documentation Readthedocs. 2019.

図 8 は，実際のゲームプレイ時の YOLOv8 によるボック
ス位置検出，骨格ポイント位置検出の結果を示しており，かなり大きな動作を素早く行っても，二つの検出結果はほぼ正確に取得できることを確認できた．
また，3 名の学生に複数回プレイしてもらい，全員の初回のスコアは 4000 前後とかなり似通っていたが，5 回目のプレイともなると，障害物の避け方やビームの使い方，安定した避け方を習得し，18930 点まで伸ばす学生も現れ，初見でありながら扱いやすいコントローラであることを確認することができた．このことから，コントローラとして非常に親和性が高く，誰にでも直感的な操作を可能にする仕組みを提供できたと考える．また，ぬいぐるみ型コント
ローラについて興味を持った 3 名の学生が，「ぬいぐるみの形によって効果が変わるようにしよう」や「他の骨格でもできることを増やそう」などと，意見を交わしつつ提案を投げかけてきたことから，ぬいぐるみ型コントローラのさらなる将来性を感じた．

5. おわりに
本稿では，ゲームアクセシビリティの向上を目的としたぬいぐるみ型コントローラを提案した．加えて，その有効性を検証するための専用ゲームを作成し，数名の学生によるぬいぐるみ型コントローラのテストプレイを実施した．
その結果，本提案に関して直感的な操作感やコントローラへの親和性の高さ，それによるゲームアクセシビリティの向上を実現できたことを示す結果が得られた．
今後は，さらに多様性のある操作感を考慮した，操作方法をカスタマイズする GUI の実現，未学習のぬいぐるみでの操作の実現など，AI による画像認識をさらに活用した機能拡張を進めていく予定である．

© 2024 Information Processing Society of Japan1083