情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3B-38
2024/2/28

手の認識空間を拡張するヘッドマウントディスプレイ
一人称視点手話認識システムの提案
乾竜躍†1

加藤恒夫†1 田村晃裕†1

概要：聴覚障碍者と手話を知らない健常者とのリアルタイムコミュニケーションを可能にするため，筆者らはヘッドマウントディスプレイ(HMD)上で一人称手話認識と音声合成・認識技術を組み合わせたシステムの構築を目指している．しかし，HMD の手の認識空間はユーザの前方に限定されており，頭上や耳付近に手指を近づける手話の認識は難しい．そこで，HMD に手話者のアバターを投影し，アバターを用いて手話の認識空間を拡張する手法を提案する．
Hololens2 を用いてプロトタイプを試作し，こめかみを指さす手話や顎を触る手話を認識できることを確認した．

図 1

システム全体図

1. はじめに
聴覚障碍者にとって手話は大切なコミュニケーションの手段である．しかし，手話を知らない健常者とのコミュニケーションは簡単ではない．筆者らは，手話認識と音声合成・認識技術を用いて聴覚障碍者と健常者のリアルタイムコミュニケーションを可能にする図１に示すシステムの構築を目指している．

図 2

手話者の HMD に映るアバターと手のイメージ

手話とは主に，顔の表情，口の動き，手の動きなどの上半身の動きで表現され，音声からは独立した言語である．
様々な手話の中でも日本手話は国内で主に聴覚障碍者がコミュニケーションに利用している，手話認識は古くから研

2. 手話者自身のアバターを用いて認識対象空間を拡張する一人称手話認識

究され，一般的には手話者を正面からカメラで捉える．し手話者の HMD に映る自身のアバターと手のイメージをかし，この方法ではカメラの設置や撮影者が必要になる．

図 2 に示す．手話者自身と同じ向きを向いた半透明のアバ

これに対して Fujimoto らはヘッドマウントディスプレイ

ターが両手で触れる位置に投影される．手話者からは正面(HMD)を用いる一人称視点での手話認識システムを提案しにアバターの後頭部が見える．アバターの頭頂部，左右のた[1]．Hololens2 の手の姿勢推定機能を活用して指文字のこめかみ，両耳，鼻，顎の位置にタッチするためのポイン認識を可能にした．しかし，認識できる手話は HMD のカトを用意しておく．このポイントに手指で触れることで，メラと深度センサで認識できる範囲に限定され，手が HMDアバターを利用する手話の認識が開始される．の認識範囲からはみ出す手話は認識することができない．

実際には，アバターを用いない通常モードとアバターをそこで，今回 HMD の手の認識範囲の制約を受けない一用いる拡張モードの 2 種類の動作モードを切り替える．通

人称手話認識システムを提案する．手話の中には自身の頭常モードではアバターは関係なく手話の認識を行う．アバを指さすなどの手話があるが，手話者自身のアバターをデター上のポイントを手指でタッチすると，拡張した空間でィスプレイに表示し，それを使って手話認識を行う方法を手話認識が行われる．拡張モードで手話が認識されると，提案する．ディスプレイ上のアバターの頭を指さすことで通常モードに戻る．いずれの動作モードでも一定時間の手手話者自身の頭を指さしているように認識させる．

指特徴点データが蓄積されると，手話認識が行われる．

†1 同志社大学

理工学部© 2024 Information Processing Society of Japan1228

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

図 3

3B-38
2024/2/28

unity 上に作成したアバター

3. プロトタイピング

図 4「イメージする」：右手人差し指の指先をこめかみに⚫

あて，指を開いた右手のひらを前に向けて円を描く

3.1 システム構成
HMD として Hololens2 を用いた．Hololens2 の手指姿勢「いいよ」認識時の HMD 画面ように回す．
「思い出」：右手人差し指の指先をこめかみにあて，⚫

推定機能を用いて，両手指の座標を取得することができる．

頭の脇で右手の指を揺らせながら，斜め後方へ動か

手話の認識は PC 上で行う．Hololens2 と PC は WebSocket

す．

で接続し，Hololens2 からは手指の関節の座標情報を送信し，「アイデア」：こめかみにあてた右手人差し指を斜め⚫

PC から手話の識別結果を受信する．
3.2 手話認識

上へ上げる．
「意見」：立てた右手小指のこめかみにあて，回しな⚫

手話認識は，1.5 秒間（間引きした 45 フレーム）の両手指 25 点の 3 次元座標を用いて行う．先ず HMD 画面上の位がら前へ出す．
削除：右手でチョキのポーズを作る．

⚫

置依存性とサイズ依存性をなくすために，フレームごとに各点の座標から手首の座標を減算し，さらに x 軸，y 軸，z

空間拡張モードにおける HMD 画面の例を図 4 に示す．

軸それぞれの両手の範囲で正規化する．このベクトルを用

画面 1 行目の「入力文字：」以降に認識された手話，2 行いて，予め記録しておいた各手話クラスのプロトタイプと目には削除された文字数，3 行目にはアバターにタッチしコサイン類似度を測る．コサイン類似度に対して，各手話た指とポイントが表示されている．

クラス個別に設定した閾値で検出判定を行う．手話が検出されなかった場合は特徴点座標にシフトウィンドウを適用する．また，複数の手話クラスが同時に検出された場合には，最後に判定された手話を出力する．

4. おわりに場所を選ばず聴覚障碍者と健常者がリアルタイムコミュ
ニケーションを行えるシステムの構築を目指し，HMD を手指の座標情報を送信する合図を，左手で握りこぶしを用いた一人称手話認識において手話の認識空間を拡張する作ったときとした．合図をしている間，手指の座標が PC に方法を提案し，Hololens2 を用いてプロトタイプを試作した．

送信される．そのため，今回は右手による手話に限定されHMD 画面上に現れる手話者のアバターを用いることで，ることになった．

こめかみを指さす手話や小指で顎を触る手話を認識できる

具体的には以下の手話[2]をシステムに登録した．
⚫

ことを確認した．

「す」，「な」，「ね」，「ふ」，「へ」．「ま」を除く五十

現在の試作では．手話認識のトリガを左手のポーズで与音の指文字：Hololens2 の手指の姿勢推定機能は手をえているため，両手の加速度などをトリガとするシステム

下に向けたときに認識できないため，手を下に向けを開発するとともに，手話認識の精度評価を予定している．

る上記の 6 文字を認識対象から除外した．
⚫

「いいよ」：立てた右手小指の指先で顎を 2 回触る．

⚫

「思う」：人差し指の指先をこめかみにあてる．

⚫

「印象」：右手こぶしをこめかみにあてる⚫

「感想」：右手人差し指の指先をこめかみにあて，5指を上に向けて頭の脇から右を少し上げる．

© 2024 Information Processing Society of Japan

参考文献
T. Fujimoto, T. Kawamura, K. Zempo, S. Puentes, “First-personview hand posture estimation and fingerspelling recognition usingHoloLens”, Proc. IEEE GCCE 2022, pp.323-327, 2022.
[2] 一般財団法人全日本ろうあ連盟：わたしたちの手話 学習辞典 1, 2015.
[1]1229