情報処理学会 インタラクション 2017
IPSJ Interaction 2017

3-501-09
2017/3/2

Signism：手話と音楽を組み合わせたシリアスゲームの開発
三上拓哉†1吉田香織†1松永康佑†1

概要：本研究は手話と音楽を組み合わせたシリアスゲーム「Signism」を開発した．本ゲームは健聴者を対象とし，楽しみながら手話体験ができることを目的とした．手話学習支援を目的としたコンテンツの多くがシミュレーションを目指したものであり，エンタテインメント性を含んだものは少ない．初学者が継続するには楽しいといった体験を引き出すことが効果的であるが，単語の学習を目的としたものではエンタテインメント性を付加することが難しいと考えた．そこで我々は健聴者にとって馴染み深い音楽を用い，手話で体験することで楽しみながら継続的学習できるゲームを開発した．本稿では開発したゲームの概要と，手話動作の認識について述べる．

Signism:Development of a serious game combining sign language andmusic
TAKUYA MIKAMI†1 KAORI YOSHIDA†1
KOSUKE MATSUNAGA†1Abstract: This research developed a serious game "Signism" combining sign language and music. This game is targeted at
beginners and the aim of being able to try sign language with fun. Many of the contents that sign language learning are aimed
simulation and few things that contain entertainment. We think that bring out a pleasant experience is effective. However, learninga word is difficult to add entertainment. Therefore, this game uses music familiar to the beginners and Experience lyrics in sign
language. By this game, beginners can be able to learn with fun. This paper outlines the game developed and describe recognitionof sign language motion.

ることができる機会を増やし，手話に対して正しい理解が1. はじめにできるようにしていく必要があると考えた．

内閣府が公開した「平成 25 年度版

障害者白書」による

一方で初学者が用いる学習教材について調査していくと，と日本国内には聴覚障害を有する者が 28 万人存在すると教材の多くは参考書もしくはビデオ等の映像媒体に集中し述べられている[1]．聴覚障害者の中でも重度の聴覚障害をているため実際に教材を確認しなければ自分のレベルに合持つものを聾者という．聾者は手話を用いてコミュニケーっている学習教材か分からない．また継続的に学習をするションを行うことが一般的である．手話は 2011 年に障害者には学習者の高い目的意識を必要とするため手話を会得す基本法に言語であると規定された[2]．これにより各自治体るまでに多大な労力を要する．

で手話条例が施行される流れにある．条例には手話を用い上記から，本研究では健聴者を対象に手話体験することた意思伝達を公的に認めることや，手話を使いやすい環境で正しい理解ができることを目標とし，シリアスゲームのの整備を推進することが述べられている[3]．しかし一般的概念を取り入れたゲームの開発を行った．シリアスゲームに健聴者は手話を日常生活で用いることはないため手話にとは教育・医療用途といった社会問題を解決するゲームのついての素養が無い．したがって聾者と健聴者がコミュニことであり，エンタテインメント性も重要であると藤本はケーションを取る際は手話通訳士を介して意思の疎通を行述べている[5]．エンタテインメント性があることで退屈なうが，社会福祉法人訓練や学習を楽しいものとし，学習効率やユーザの積極性

聴力障害者情報文化センターが公開している手話通訳士名簿によると，平成 28 年度におけるを向上させることが狙いである．

手話通訳士の総数は 3 千人程であり日常生活において手話通訳士が常に聾者や健聴者の周りに存在することができない[4]．そのため健聴者は聾者と出会ったときに困惑し，円

2. 関連研究

滑にコミュニケーションができずに誤った認識を持つ恐れ

手話学習支援を目的としたものとして，原田らが発表しがある．以上から健聴者の日常生活においても手話に触れた「指文字練習あいうえお」という作品がある[6]．この作†1 札幌市立大学
Sapporo City University© 2017 Information Processing Society of Japan712

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

3-501-09
2017/3/2

品は初学者を対象とし，指文字に限定して学習を行うもの

ードバックを認識することができず，ゲーム内で正しく認である．指文字を学習する際に指文字の語源の説明を確認識されているか分からない．そのため自身の動作と見本動しながら学ぶことができ，大人でも覚えやすいというコメ作の相違が比較できないといった問題が発生した．以上をントがあったと述べられている．手話の形を覚えるだけで踏まえ改善したゲーム画面が図 2 下 になっている．改善なく，語源があることで，より体験者の関心を引き出してしたゲーム画面では，アイコンと見本動作のモデルの距離いると言える．

を近づけ，目線の移動量を削減し，アイコンと見本を参照

次に上山らが発表した「映像を用いた手話学習コンテンしやすいようにしている．また左には認識された体験者のツの試作」がある[7]．これは学習したい手話動作を動画で右手，左手をそれぞれ赤色，青色に分けて表示している．

確認できると共に，Web カメラで体験者自身の動作をミラ

これによりアイコンの色と手の色を一致させることでどちーリングすることで自分の動作を確認しながら正しい手話らの手で行う手話動作か判別できるようにしている．

動作を模倣することが出来ている．

3. Signism の概要
本ゲームは体験者の関心を高めるために手話と音楽を組み合わせることとした．音楽に含まれている歌詞を手話に置き換え，手話体験することで楽しみながら手話に関心を持たせることができるものを目指した．用いる音楽は文部省唱歌に選定され，日本人になじみ深い「故郷」や英語圏で童謡として親しまれている「Twinkle, twinkle, little star」の日本版である「きらきら星」である．これによりゲーム内で用いた音楽を知らないということが体験する際に障害とならないように配慮している．また，体験者の手話動作を取得するために LeapMotion というデバイスを用いている．取得した体験者の手話動作はゲーム画面に表示し，体体験者の手アイコン

手話動作の見本モデル

験者は自身の手を常に把握できるようにしている．ゲームのシステム構成は図 1 のようになっており，体験者はスクリーンに表示されたゲーム画面を見ながらデバイス上で動作を行うことで手話体験ができる．

図1
Figure 1

システム構成図
System configuration

図 2 上:初期案のゲーム画面 下:改善案のゲーム画面
Figure 2

Top: Game screen of the initial plan

Bottom: Game screen of the improvement plan
3.1 ゲーム画面について
本ゲームは音楽のリズムに合わせて流れてくるアイコ

3.2 手話動作の目安となるアイコンについてンを参照し，手話動作を行うものである．そのためゲーム

図 3 に「故郷」の歌詞を手話翻訳し，作成したアイコン

画面では①体験者の手の表示，②アイコン，③初学者が参を示す．このアイコンは，「故郷」にある歌詞の手話動作を照できる見本動作が必要と考えた．図 2 上に示す初期案は表している．これ自体を体験者に覚えさせるのではなく，①が欠けていたため，体験者は自身の動作についてのフィあくまで動作タイミングの目安となることを目的としてい© 2017 Information Processing Society of Japan713

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

3-501-09
2017/3/2

る．アイコンは赤色と青色のもの，赤色のみと分けていることができる．取得した情報から手指の状態を決定し，ゲが，これは手話には右手で行う動作と左手で行う動作に違いがあるため，認識された体験者の手に合わせて赤色は右ーム内での認識に用いている．今回の手法では，指の状態⃗⃗𝑖 と，手のひらのを決定するために，各指の第一関節の位置𝐹手，青色は左手で行う動作であると示している．

位置𝑃⃗ の差を取り，絶対値とすることで距離𝐷𝑖 を求めている(式 1.1)．
手指の状態を決定する方法は，手のひらと各指の第一関節の位置から求めた距離𝐷𝑖 を，設定した各指に対応するしきい値𝑇𝑖 と比較することで，i に対応する指の状態𝑆𝑖 を決定している(式 1.2)．しきい値は完全に指を閉じた時の状態を測定し，その時の各指と手のひらとの距離とした．

Finger[num]図3

各指に対応するしきい値 T

「故郷」の歌詞をベースに作成したアイコン
Figure 3 Icons created based on lyrics

3.3 手話見本モデルについて体験者は初学者を対象としているため，見本となる手話動作の情報が必要となる．そこで本ゲームでは初学者が正0(親指)0.08

1(人差し指)

0.07

2(中指)

0.06

3(薬指)

0.05

4(小指)

0.06

しい手話動作を参照し，模倣できるようにするため，手話アニメーションを行う 3DCG モデルを作成した．また作成

図5

したモデルに手話アニメーションをさせるために実際に人Figure 5 Finger number in recognition and set threshold value

認識における手指の番号と設定したしきい値間が行う手話動作をモーションキャプチャし，手話アニメーションとした(図 4)．

(1.1)

𝐷𝑖 = | 𝑃⃗ − ⃗⃗𝐹𝑖 | (𝑖 = 0,1,2,3,4)
1(𝑂𝑝𝑒𝑛),𝑆𝑖 = {0(𝐶𝑙𝑜𝑠𝑒),

𝐷𝑖 > 𝑇𝑖 のとき
𝐷𝑖 < 𝑇𝑖 のとき(𝑖 = 0,1,2,3,4)(1.2)

式 1 指の状態を決定する式
Eq1

Expression for determining finger state

3.5 認識した手話動作とゲーム内での判定について
ゲーム内における手話の判定として，提示するアイコンと認識された手指の状態を比較している．例えば本ゲーム
では「故郷」という唱歌を用いているが，その中に登場する「うさぎ」という歌詞は図 6 左図のようなアイコンとなり，ゲーム内提示される．
「うさぎ」を表す手話は図 6 右図図4

手話見本モデル(右)と手話動作を行うアクター
Figure 4 Right:Sample model of sign languageのようになる．
「うさぎ」の場合は両手の人差し指と中指を立て，それ以外の指は閉じる動作で正解と判定している．

Left: Actor that acts sign language
3.4 体験者の手話動作の認識
手話は手指の状態や手話を行う者の顔，体の動作などを用いる非言語コミュニケーションである．そのため正確に手話動作を取得するにはこれらの状態を計測する必要があるがシステムやゲームの体験が複雑になってしまう．本ゲームはあくまで手話体験という位置付けのため，体験者の手指の状態を手話動作の認識として用いた．

図 6 「うさぎ」を表す手話アイコンと実際の手指の形
Figure 6 An icon representing a rabbit

体験者の手話動作の認識には LeapMotion を用いた．これにより体験者の手指の位置や角度といった情報を取得する© 2017 Information Processing Society of Japan714情報処理学会 インタラクション 2017
IPSJ Interaction 2017

4. 体験者へのヒアリング

3-501-09
2017/3/2

5. まとめ本ゲームは 11 月 9 日,10 日に大阪で行われた展示会に参

本ゲームはプロトタイプの段階であり，改善の余地は加し、本ゲームを体験した者を対象にヒアリング調査を行多々あるが、楽しみながら手話体験できるゲームとして一った（図 7）。ヒアリングする際に重視した点は①手話につ定の効果があるものと考える。体験者のヒアリングからもいて関心を持ったか。②継続的に学習できるかの 2 点に設

手話に関心を持たせるきっかけとすることができ、今後、定した。本ゲームはプロトタイプであり、方向性を確認すゲーム内で用いる音楽を拡充することでさらに継続的学習るためにこのように設定している。につなげることが出来ると考える。
今後の展開として、本ゲームを手話学習に用いた際の学習成果や、聴覚障がい者の方にとって受け入れやすいゲームであるか等の検証を行っていく必要があると考える．

参考文献
[1]

図7

体験者の様子Figure 7 A state of experience
体験者の様子として、幅広い年齢層の方が体験し、楽しんでいたように感じた。上記で設定した項目についてヒアリングを行った結果を以下に列挙する。
質問①手話に関心を持てたか?

“内閣府 平成 25 年度版 障害者白書”.
http://www8.cao.go.jp/shougai/whitepaper/h25hakusho/zenbun/ind
ex-w.html, (参照 2016-12-01).
[2] “内閣府 障害者基本法の改正について”.
http://www8.cao.go.jp/shougai/suishin/kihonhou/kaisei2.html, (参照 2016-12-01).
[3] “北海道 石狩市 「石狩市手話に関する基本条例」”
http://www.city.ishikari.hokkaido.jp/uploaded/attachment/10113.p
df, (参照 2016-12-01).
[4]“社会福祉法人聴力障害者情報文化センター手話通訳士名簿”.
http://www.jyoubun-center.or.jp/slit/list/, (参照 2016-12-01).
[5] 藤本徹，シリアスゲーム 教育・社会に役立つデジタルゲー
ム，東京電機大学出版局，2007[6] 原田泰,生田目美紀,豊田由美,佐藤淳:「指文字練習あいうえお」-手話学習導入に焦点を絞った初心者のための指文字学
習支援プログラム-,デザイン学研究作品集 9,pp12-15,日本デザイン学会[7] 上山 輝 ,伊藤 奈美 ,福田 匡孝 ,福島 いづみ ,大塚 聖也 :映像を用いた手話学習コンテンツの試作,研究報告コンピュ
ータと教育(CE) 2013-CE-121(12),pp1-7,情報処理学会

・知っている曲であり歌詞が手話に変わっても理解できた
・簡単な手話なので分かりやすかった
・見本を見ながらできたので良かった
・日常的に使える手話があると良い
質問②継続的に学習しようと思えたか？
・一つもミス無くクリアしたい・もう少し難しい曲があってもよい・違うジャンルの音楽をやってみたい
上記のような意見があり、①の質問については、本ゲー
ムでは文部省唱歌に選定されている「故郷」を用いたことから、健聴者は歌詞をイメージしつつ、手話を体験することが出来ていたと考える。また日常的に使える手話を求める声もあり、本ゲームをきっかけに手話に関心を持たせることが出来たと考える。②の質問では、完璧にできるようになるまでやりたいという者や、違うジャンルの音楽を求める者もいたことから、ゲーム内で体験できる音楽を拡充することでさらに学習を促進させることが出来ると考える。

© 2017 Information Processing Society of Japan715