情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162B16
2016/3/3

文字形状を象ったポージング「体文字」による入力インタフ
ェースを用いたゲームの提案
須田 拓也†1

塚本 裕介†1小野田 翔†1

串山 久美子†2

概要：近年，直感的なインタフェースの応用が多数報告されている．深度カメラを用いたインタフェースは，ユーザに運動を促し，視聴覚だけでなく運動感覚に働きかけることが可能である．このような複数の感覚器官を刺激する体験は，学習に効果的であることが一般的に認識されている． 我々は，その中でも身振りで文字を入力するインタフ
ェースに着目した．いくつかの入力方法が報告されている一方で，学習に効果的といえる体全身を使った直感的な入力方法にはまだまだ検討の余地がある．そこで本稿では，文字形状を象ったポージング「体文字」による入力インタ
フェースを用いた学習ゲームを提案する．
キーワード：深度カメラ，文字入力，体文字，人文字A Proposal of the Educational Game with Input Interface Using
Human Letters
HIROYA SUDA†1 YUSUKE TSUKAMOTO†1SHO ONODA†1 KUMIKO KUSHIYAMA†2Abstract: Recently, many applications for a intuitive interface are reported. The interface using a depth camera prompt themovement to the user, it’s possible to stimulate even kinesthetic well as audiovisual. It’s famous that such experience to stimulate
the sensory organs is effective in learning. We are focusing on the text-inputting interface with a gesture. While some input
methods have been reported, we can expect that intuitive method using whole body is more effective for learning. In thisresearch, we propose educational game with input interface using human letters.
Keywords: depth camera, text input, body letter, human letter, human alphabet

1. は じ め に

2. 関 連 研 究 と 提 案 手 法

近年，情報技術の発展に伴い，入力デバイスの高性能化

深度カメラを用いた，身振りを伴う文字入力インタフェが進み，直感的なインタフェースで機器の操作が可能になースに関しては多くの研究が報告されている．その一つに，りつつある．距離情報を取得できる深度カメラを用いる，空中で文字を書き，そのストロークを認識することで文字身体の動きや関節の位置情報に基づいたインタフェースのを入力する手法がある[1][2]．直感的な操作が可能な一方で，開発も盛んに行なわれている．このインタフェースのもとストローク認識処理の難しさなど課題も多く，また，片手では，ユーザの体全身がコントローラであり，入力に要すでの操作となるので体全身を使って運動を楽しむことは期るポーズやジェスチャを実行する必要があるため，ユーザ待できない．その他にも，特定のポーズやジェスチャをとに対して運動を促すことができ，ユーザの視覚や聴覚だけることで入力を行う方法は，深度カメラを用いるインタフでなく運動感覚へ働きかけることが可能である．そして，ェースにおいては一般的な手法であり，その応用や評価にこのような複数の感覚器官を刺激する体験は，学習や訓練ついて多くの報告がある[3]．全身を使うポーズやジェスチに効果的であることが一般的に認識されている．

ャを入力方法として設定することで，ユーザに運動を促す

そこで我々は，身振りで文字を入力するインタフェースことができる一方で，ユーザは動作と機器の操作の対応関に着目して，子どもを対象とした，運動を楽しみながら効係を把握する必要があり，その初期学習コストの高さは，果的にアルファベット文字や英単語を学習できるシステム子ども向けの学習システムには不向きである．

について検討し，このようなシステムが有効に活用されるアプリケーションを提案する．

本稿では，体全身で文字形状を象ったポージング「体文字」を表し，その文字を機器に入力する手法を検討する[図1]．体全身を使って運動を楽しむことができ，かつ，その運動は文字の視覚的な形状と強く結びついているので，直感的な入力と効果的な学習，さらには発想力や表現力を養†1 首都大学東京 システムデザイン学部
Faculty of System Design Tokyo Metropolitan University†2 首都大学東京 システムデザイン研究科
Graduate School of System Design Tokyo Metropolitan University© 2016 Information Processing Society of Japan

うことが期待できる．

537

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162B16
2016/3/3

4. ユ ー ザ シ ナ リ オ
深度カメラ Kinect を利用して，文字形状を象ったポージング「体文字」による入力インタフェースを試作した．全
身を大きく使う運動を楽しみながら，直感的な入力が実現でき，アルファベット文字の学習に効果的なアプリケーシ
ョンの提案が可能となった．
4.1 遊 び 方
文字形状を象ったポージング「体文字」による入力で，英単語の穴埋めクイズに答えるアプリケーションを提案す
図 1 ユーザがシステムを体験している図Figure 1 users playing the proposed system.

る．ユーザは，深度カメラがユーザの全身を認識可能な距離を取ってディスプレイの正面に立つ． 深度カメラはディスプレイ付近に，ユーザを最も検知しやすい様に設置され3. プ ロ ト タ イ プ の 実 装システム実現に向けて，プロトタイプを制作した．深度カメラで取得したユーザの骨格情報から特徴量を決定し，リアルタイムに入力される「体文字」が表す文字を機械学習アルゴリズムにより識別する．距離情報を取得する深度
カメラにマイクロソフト社の Kinect を，ユーザの骨格情報の取得にオープンソースライブラリ OpenNI を使用した．
深度カメラで取得したユーザの骨格情報から，二次元平面上における各関節の角度を計算する．このデータはユー
ザの身長や立ち位置，センサとの距離などの影響を受けず，また，簡単な計算で求められるため，関節の数を次元数とした各関節の角度データを特徴量として採用した．
「体文字」が表す文字の識別は，ユーザのリアルタイムな骨格情報による入力データと，各アルファベット文字の学習済みデー
タ間で，最近傍法にてパターンマッチングを行った．距離計算にはユークリッド距離を用いた．入力データに最も近い文字を求め，その近さが設定した閾値を超えていた場合，その文字を識別結果とした．
図 2 に開発中の画面を示す．左は深度カメラで取得した距離画像と，検出したユーザの骨格情報である．ユーザの上半身骨格情報から計算した 7 つの関節の角度を特徴量として，学習済みデータとパターンマッチングを行った識別結果が，右の RGB 画像上に表示されたアルファベットである．アルファベット文字の B と E のような似た形のポージングも入力し分けることに成功している．

る．ディスプレイには，小学校で学習するレベルの英単語のアルファベット文字列を文字が欠けた状態で表示し，その欠けている部分に RGB カメラで取得したユーザの映像をはめ込んで映し出す．これは欠けている部分に映っているユーザが，自分が文字にならなければならないということを直感的に感じ取れるようにするためである．ユーザは埋めるべき文字を推測し，そのアルファベットの形を自分の体全体を使って表現する．正解のアルファベットが入力された場合，補完された単語が読み上げられ，その単語が表すものがディスプレイ上に映し出される．例えば APPLEという単語の場合はりんごが出現する．
4.2 多 く の 人 が 楽 し め る ア プ リ ケ ー シ ョ ン へ の 応 用
本アプリケーションは，英語の学習を始めたばかりの子ども達に向けて，文字の形を体全体で表現することによって，アルファベット文字を学ぶと同時に，英語への関心を深め，発想力や表現力を養うことを目指して制作している．
穴埋めを二箇所にするなど，複数人で協力して遊べるようにすることで，ユーザ間にコミュニケーションを促すこともできる．また，親子や家族が一緒に遊ぶことを通して，大人の運動不足の解消が期待できるなど，様々なアプリケーションに発展させられる可能性がある．本研究では，子ども向けの，運動を楽しみながら効果的にアルファベットをはじめとした文字や単語を学習できるアプリケーションの提案に加えて，老若男女が楽しめるアプリケーションの開発を試みることで，体全体で文字形状を象ったポージン
グ「体文字」による文字入力体験が，多くのユーザにどのような影響をもたらすかについても検討していく．

参考文献

Figure 2

図 2 開発画面
screen under development© 2016 Information Processing Society of Japan

1) 萩原正人，益子宗: KooSHO – 空中での手書きジェスチャーに基づく日本語入力環境, 言語処理学会第 19 回年次大会発表論文集，
pp. 414-417，2013.
2) 西田好宏，吉田大志:Kinect Interaction を利用した空中手書き
文字入力の研究，福井工業大学研究紀要第 44 号，pp.25-30，2014.
3) 大西修平，野部緑，中野由章，兼宗進:Kinect を利用したゼス
チャーによるプログラム入力の可能性, 情報処理学会研究報告，
Vol.2012-CE-116，No.18，pp.1-6，2012.

538