WISS2012

Kinect センサを用いた空中手書き文字入力システムの検討
西田 好宏

吉田 大志

入江 臣知∗

概要.
Microsoft 社製の Kinect センサを用いて，何も手に持たなくても，また何も装着しなくても，空中で手を動かして文字を入力できるシステムを試作した．空中での筆の運びは，Kinect センサの人体の主要部分の座標を検出できる機能を利用して，右手の XY 平面上の座標から検出した．文字認識エンジンは，XY 平面上の二次元の筆の運びの方向を８方向にコード化して，その時系列データを１文字単位で一筆続け書き文字として辞書データと照合する．時系列データの長さは１文字のストローク長に応じて正規化し，照合は時間軸変動のある時系列データの比較に適した DP マッチングを採用した．文字認識エンジンで認識した文字コードに加えて，日本語編集処理に最小限必要な疑似キー入力のための空間操作を定義して疑似キーコードを IME に渡し，アクティブアプリケーションに出力する構成とした．その結果，空中操作だけで IME を通して文章編集を行いメモ帳に出力することができた．

1

はじめに空中に描いた文字を認識する空中手書き文字入力を検討している．空中手書き文字入力を実現するた
めには，空中での手指の移動方向を検出するセンサ処理，移動方向から文字を認識する文字認識エンジン処理，認識した文字を基に変換や確定等で文章にする処理，の３つの課題が存在する．
最初に検討したのは文字認識エンジン処理で，絶対位置情報を利用せず，二次元平面上の相対的な移動方向情報のみを利用して，１文字単位で一筆続け書き文字として認識する方法を提案した．具体的には，筆跡検出をマウス入力で代用し，一筆続け書きで入力した文字をリアルタイムで認識するアプリケーションを作成し，ひらがな，数字に加えて，アルファベットの大文字と小文字の１文字単位での認識を実現した [1][2]．
その次に検討したのが文章にする処理，即ち文字の変換や確定を行うためのインプットメソッドである．このインプットメソッドを文字入力と同様に空中操作で実現するためには，操作が簡単であるだけではなく，操作方法が動作イメージと近い必要がある．そこで，最小限必要な疑似キーを選びその空中操作を定義し，マウスで手書きした文字の認識に加えて疑似キー入力を認識して IME 経由で文章を作成できることを確認した [3]．
今回は，残りの課題であったセンサ処理の一例として，Kinect センサを利用して手の動きを検出する検討を行った．これにより，擬似的なマウス入力
ではなく，実際に空中で手を動かして文字を入力できるシステム例を構築した．
∗Copyright is held by the author(s).
Yoshihiro Nishida and Taishi Yoshida, 福井工業大学
電気電子情報工学科, Takanori Irie, 福井工業大学大学院
応用理工学専攻究所

図 1. システムの概要

2

システム構成2.1

システム概要本システムの概要を図１に示す．本システムは PC（Windows）に接続された Kinect センサによりユーザーのスケルトンを認識して手の空間座標を検出する．検出した空間座標の XY 平面の手の動きから１文字単位で一筆続け書き文字として空中に描いた文字を認識し，認識した文字コードを IME を経由して任意のアプリケーション（今回はメモ帳）に渡す．
また，インプットメソッドのための空中操作を定義し，これら擬似キー（[Back Space] や [Enter] 等）
コードを IME に渡すことで，かな漢字変換等を含めて文字を編集して文章にできる．

WISS 2012

2.2

Kinect センサによる筆跡検出

Kinect センサの開発環境として Kinect for Windows SDK が提供されており，距離画像から人物のスケルトンを認識して人体の主要部分の座標を検出することができる．この機能を利用して，右手の XY平面上の座標を筆の運びとして検出する．
ここで問題になるのが，文字を筆記している期間と１文字の筆記が終了して次の文字を筆記するための準備の移動期間（一筆書きのペン先のオン/オフ）の識別である．この識別方法としては，(1) Z 軸方向の手と体の距離を利用して判定(2) 手の形（手を開くか握る）で判定(3) 所定時間の静止をペン先オフと判定等の方式が考えられる．

2.3

文字認識エンジン空中で描く文字の位置，大きさ，スピードは千差万別である．そこで，今まで検討してきた二次元平面上の相対的な移動方向を用いた文字認識エンジンを採用する．具体的には，XY 平面上の筆の運びの方向を８方向にコード化して，その時系列データを１文字単位で一筆続け書き文字として辞書データと照合する．時系列データの長さは１文字のストロー
ク長に応じて正規化を行い，照合は時間軸変動のある時系列データの類似度を比較するのに適した DPマッチングを採用した．

2.4

日本語編集処理

文字認識エンジンで認識した文字を IME に渡す事に加えて，インプットメソッド用の疑似キー操作を認識して IME に渡し，その変換結果をアクティブアプリケーションに出力する構成とする．今回は，IME として Google 日本語入力を利用し，最小限の操作に必要な，[Back Space]，[Enter]，[Space]，[Tab]，[半角/全角] の５個の疑似キーを利用することにした．５個の疑似キーの入力動作については，それぞれ操作イメージが連想し易く，簡単な動きの空間操作を定義した．

3関連研究

空中手書き文字入力システムの研究としては，嵯峨山らによるストローク HMM を用いた手法 [4] がある．これは，ペンのアップダウン情報を含む移動ベクトルから 25 種類の方向成分でモデル化するサ
ブストローク HMM と，サブストロークを最小単位とする文字構造の階層的な定義，および尤度最大経路の検索から構成される．あくまで，タブレット等の入力デバイスに対しての操作が前提で，ここではペンのアップダウン情報が利用されている．
園田らは装着型ビデオカメラを用いて空中に書いた文字を認識するシステム [5] を提案している．これは装着しているビデオカメラによって操作者の手の動作を撮影し，計算機上で画像解析を行うことで文字入力を実現するもので，装着型ビデオカメラで手の動作を常に目視し続けることが前提となっている．
Sung-Jung Cho らは加速度センサを備え，空中に描いたジェスチャーで入力可能なデバイス [6] を提案している．これはリモコン等のボタン操作の代わりを想定しており，判定する入力数は 10 個の数
字と削除，キャンセル，実行の合計 13 種類であり，数字も一般的な書き方ではなく PDA 等でよく用いられている Palm 社の開発した Graﬃti の書き方で入力する必要があった．
また，中井らは加速度センサ内蔵型の筆記具を用いて，空中での筆記の向きや筆記具の持ち方に依存しない認識手法 [7] を提案している．

4

まとめ

今まで検討してきた文字認識エンジンと IME を利用したインプットメソッドに加えて，Kinect セン
サを利用して手の空間座標を検出することで，実際に空中で手を動かして文字の入力及び編集を行い，メモ帳上で文章を作成できるシステムを試作した．
今後は，用途に応じたシステム構築や使い勝手の向上について検討を行い，空中手書き文字入力の実用化を目指したい．

参考文献[1] 西田好宏, 小倉一孝, 三浦浩一, 松田憲幸, 瀧寛和, 安部憲広. 移動方向情報のみを利用した空中手書き文
字認識. ヒューマンインタフェース学会誌, Vol.12,No.3,pp.289-296, 2010.
[2] 青池勇樹, 西田好宏. 二次元移動方向に基づく空中
手書き文字認識のアルファベット対応の検討. ヒューマンインタフェースシンポジウム 2011, pp.701702, 2011.
[3] 西田好宏, 入江臣知, 吉田大志. 空中手書き文字入力におけるインプットメソッドの検討. ヒューマ
ンインタフェースシンポジウム 2012, pp.317-318,
2012.
[4] 嵯峨山茂樹, 中井満, 下平博. ストローク HMMに基づくオンライン手書き文字認識. 信学技報,
PRMU2000-35, pp.1-8, 2000.
[5] 園田智也, 岡村洋一. 空中での手書き文字認識シス
テム. 信学論 (D-II), Vol.J86-D-II,No.7,pp.10151025, 2003.
[6] S.J. Cho, J.K. Oh, W.C. Bang, W. Chang,
E.Choi, Y. Jing, J. Cho, D.Y. Kim. Magic
Wand: A Hand-Drawn Gesture Input Device in3-D Space with Inertial Sensors. IEEE,IWFHR9, 2004.
[7] 中井満, 草島広志. 筆記の向きや筆記具の持ち方が自由な空中手書き文字認識. FIT2012, H-031,
2012.