情報処理学会創立50周年記念（第72回）全国大会

2ZF-6

複数の音声認識器とマーカを用いたマルチモーダルインターフェース
武藤亮介 †,嶋田和孝 ‡,勉‡遠藤

九州工業大学大学院 情報工学研究科 †九州工業大学 大学院情報工学研究院 知能情報工学研究系 ‡まず初めに，キャリブレーションを行い，マーカを正確に1 はじめに取得する．キャリブレーションを行うために認識開始時に

近年，コンピュータを直感的に扱えるユーザインター

ユーザに指定の場所に手を合わせてもらい「セット」と発声

フェース (UI) が重要視されており，コンピュータを直感的してもらう (図 1)．その時点で，システムはユーザの肌色のに扱う手段の一つとしてジェスチャを用いる UI の研究が取得と背景や服に含まれずマーカのみに存在する色 (マーカ盛んに行われている [1]．しかし，これらは赤外線カメラや代表色) の抽出を行う．マーカ代表色抽出法を以下に示す．

データグローブなどの特殊な機器が必要で，ユーザへの負1. 画像を HSV に変換後, 画像全体の次元数を削減担が大きい．また，これらはジェスチャのみでしか操作が2040, binneds = s ∗ 255
binnedh = h ∗ 360
10binnedv = v ∗ 255

行えないという点に問題がある．人間はコミュニケーションをする際，ジェスチャ，音声，視線など複数の手段を同時に使用することで意思疎通を図っている．PC を操作する

2. 画像全体の色 colori に以下の式を用いて重み付け．
Xweighti =inCircle

場合にも同様に単一の手段だけではなく，ジェスチャと音声など複数の手段を同時に使用することができれば，より直観的な操作が可能となる．そこで本研究では，一般家庭などでも直感的に作業が行える次世代の UI の構築を目的と

この時 colori が指定された場所 (図 1) にある円の中し，身近な装置を用いてジェスチャ及び音声理解を行うマにある場合には，inCircle = 2 となり，それ以外のルチモーダル UI システムを提案する．

場所にある場合は inCircle = −1 となる．
3. 以下の式より閾値を算出し, 閾値以上出現した色を2 提案手法

マーカ代表色とする．

本節では提案手法のジュスチャ認識及び音声理解手法に

threshold = 2 ∗ついて説明する．
なお，本論文では提案するシステムを，写真の選択や拡大

numColor : weighti が正になった数
sumW eight : weighti が正になった値の総和などの操作をジェスチャや音声で行う写真管理アプリケーションに適用する場合について考える．

2.1 ジェスチャ認識手法
ジェスチャ認識には USB カメラを使用し，色のついたマーカを指先に装着することにより認識を行う．認識の手順には大きく分けてマーカの取得と取得したマーカ位置，軌跡からのジェスチャ認識の 2 段階ある．

sumW eight
numColor

画像全体から，抽出したマーカ代表色と肌色と接している所のみ検索し, ユーザの正確な手指情報を取得する．
次に，取得したマーカ位置，軌跡からジェスチャの認識を行う．軌跡の認識はマーカの移動パターンを既定パターンとの連続 DP マッチングを用いて認識する．今回ジェスチャで行える操作として以下のものを定義した (図 2)．

      

カーソルの移動写真の選択

写真の選択解除

写真の移動

写真の拡大

写真の縮小

図2

図 1 キャリブレーション

4-111

操作とハンドジェスチャの対応

情報処理学会創立50周年記念（第72回）全国大会

2.2 音声理解手法

表1

音声に関しては，我々の研究室で開発されている複数の音

表2

ジェスチャの認識精度

声認識器に基づく，高精度な音声理解手法 [2] を適用する．
これは大語彙音声認識器 (LVCSR) とタスク依存音声認識器 (DSSR) から得られる 2 つの出力結果の音素の編集距離

ジェスチャ

精度

選択97%
85%
93%

拡大を用いて，入力発話がコマンドかそうでないかの分別を行縮小う手法である．この手法の概略を図 3 に示す．今回，DSSR

音声理解手法の分別精度
ジェスチャ

分別精度命令発話

87%
100%

非命令発話

で認識する音声として”拡大”，”ぼかし”や”セット といった 10 個の音声を定義した．

  (  )!#"%$'&)(+* LVSR ,- .-/.013245687
LVCSR J:KLM NCOQP8R8STCU  :V %>XW
9:;<=&>#">?@&A(B* DSSR ,C01:D)EF7 G ,HI32)0:1
DSSR 

図 4 マーカの隠れ Y+Z C[:\3,]D6 ( ^D,_ P )9YZa` [:\cbdD6 < kyo u no u te nn ki me de su
LVCSR J:KLM  E PRS:TU e :V XD8,_ P W
9:;:<9=&fg"f?@&f(*:e ,h:i O/jkP _ PDSSR el 8m8no:p:qCrs mtuv 

図 5 手がカメラの取得領域外

3.2 音声理解の認識精度2.2 で定義した命令発話 10 個と非命令発話 15 個を用いて音声理解の認識精度を算出する. 非命令発話には”今日の天気は雨です”や”しまった，拡大しすぎた”といった発話を定義した. 以上の各発話を 5 回づつ，学生 2 名に発声してもらい，命令発話と非命令発話の分別精度を調べた. その結果を表 2 に示す．また，命令発話の認識精度は 100% となった.

図 3 音声理解手法の概略

この結果から，非命令発話は確実に非命令発話と分別が2.3 ジェスチャと音声の統合
以上により，ジュスチャと音声の認識が可能となった．しできており，雑談中に勝手にシステムが誤動作を起こすとかし，これらを独立で使用するだけでは直観的な操作は行いったことは，起こらないと言える. また，命令発話に関しえない．そこで本システムでは，ジェスチャで主に操作をても分別精度 87% ，認識精度 100% という結果から，ちゃ行い，音声はジェスチャで選択されたオブジェクトへのコんと命令発話と分別できれば”拡大”を”縮小”と誤認識しなマンドとして扱うことにより，ジェスチャと音声の統合をいことがわかった. 以上の結果から，本システムの音声理解行う．

手法は UI として適切であると言える.

3 実験

4 おわりに

これまでに示したように本システムはジュスチャ認識部

今回，身近な装置を用いてジェスチャ及び音声理解を行及び音声理解部により構成される．そこで本節では，それうマルチモーダル UI システムを提案した. ジェスチャの認ぞれの認識精度を算出し，本システムの評価を行う．

識には，指先にカラーマーカを装着し，正確なマーカ取得

3.1 ジェスチャの認識精度を行うことにより，シンプルな手法ながら高い認識精度をジェスチャの認識精度の算出するため，”選択”，”拡大”，”得ることができた. 音声に関しては，複数の音声認識器に基縮小”の各動作を一回で認識した回数を計測した．試行回数づく音声理解手法を適用した．実験より，この音声理解手は，各動作 20 回づつ．被験者は学生 3 名で行った．その結法は UI として適切であることがわかった. 以上の結果より，

果を表 1 に示す．

本システムは UI として有用であると思われる.
今後の課題として，ジェスチャや音声の追加及び認識率

その結果，本手法はシンプルだが高い認識精度を得ることができた．また認識に失敗する理由として，主に 2 つあることがわかった．その一つ目が，図 4 に示すような時のマーカの隠れである．この解決策として，マーカの情報を時の向上が挙げられる.

参考文献

系列で見ることが挙げられる．これにより一時的なマーカの隠れによる失敗は回避できる．もう 1 つの理由は，ジェスチャの最中に手をカメラの取得領域外に持っていってしまうということであった (図 5)．これは，ユーザにカメラの取得領域を適切にフィードバックすることにより解決できると考えられる．

4-112[1] 木村他，広視野電子作業空間に関する考察とシステム試作〜マイノリ
ティ・リポート型 I/F とその発展形，インタラクション 2005，PP．
143．150[2] Kazutaka Shimada， Satomi Horiguchi and Tsutomu Endo，
An Effective Speech Understanding Method with a Multiple
Speech Recognizer based on Output Selection using Edit Distance，Proceedings of the 22nd Pacific Asia Conference on
Language，Information and Computation (PACLIC22)，2008．