立石科学技術振興財団

助成研究成果集(第29号) 2020

[ 研究助成 (A) ]深層学習と集約画像生成法を用いた
手指動作手話認識のための基礎研究
Japanese Sign Laungage Classification Method usig Gathered Images Creation andConvolutional Neural Networks
2181002

研究代表者

徳島大学大学院
社会産業理工学研究部

講 師伊藤伸一

さやタイミングのずれが，認識精度低迷の要因[研 究 の 目 的]になっている。これらの問題を解決する必要が障がい者とロボットのコミュニケーション方ある。そこで，集約画像生成法よって時間に依法の一つに手話が挙げられる (聴覚，言語障が存する課題 (動作の速さやタイミングのずれ)いなど)。近年，その手話をロボット・計算機を解消することを検討する。さらに，集約画像に認識させる技術に関する研究が盛んに行われは情報が集約されるため，複雑な画像となる。ている[1-4]。手話関連の研究において，指文その複雑な集約画像から動作に関する情報を抽

字や動作のある手話 (手指動作手話) に関して出する方法の検討も必要になる。
そこで，以下の 2 点について重点的に検討し，は，その手話の認識精度は高くない。これは，個人ごとの動作の速さ，タイミングの違いが大手話認識技術の確立を目指す。

きな要因である。そこで本研究では，手指動作

1．集約画像生成法の検討

手話を計算機が認識するシステム開発のための2．深層学習を用いた集約画像における手指動作手話認識のための特徴抽出および手基盤技術を構築することを目的とする。

話分類

本研究の最終目標は，手指動作手話認識手法を確立させることである。手指動作手話などの[研究の内容，成果]

動作分析では，まず，指先や関節などの特徴点を抽出する。次に，その特徴点の動きを追跡することで，動作分析のための特徴量が計算され本研究の最終目標は，手指動作手話を計算機る。最後に，その特徴量が意味する動作に分類が認識するシステム開発のための基盤技術を構することで，動作を分析・認識する。特徴点の築することである。関連研究によって，深層学抽出および追跡のいずれかにおいて誤認識が生

習により手指動作手話の認識に対しても良好なじる場合，動作を分析することが困難になる。

結果が報告されている[1-3]。これらの研究でまた，動作を分析するために動作をパターン化

は，図 1 に示すように，一つに動作に対するフし，そのパターンを認識する方法などもある。

レーム長 (図 1(a)) およびサンプリング間隔

これらは，上述と同様に，特徴点を抽出し，そ(図 1(b)) が固定された画像に対するアプローの特徴を深層学習をはじめとする機械学習機をチであり，実利用を考慮した場合，その汎用性用いて学習するものが少なくない。動作のようは低いと言わざる負えない。また，フレーム長な時系列データを取り扱う場合，その動作の速などを固定しない場合，良好な精度が獲得でき― 1 ―立石科学技術振興財団(安眠，不眠) している。睡眠中の状態は，寝返り，寝息など含め，その動作の速さやタイミ
ングに個体差 (個体間差，個体内差) が含まれているため，分析は容易ではないが，情報を集(a)約することで，フレーム長のことなる動作に対しても分析が可能になった。ここでは，この集約画像生成法を応用・改良することで，フレーム長にロバストな動作の情報が集約された静止画を生成し，動作の情報が集約されているかど

(b)

図1

うかを目視で検証した (集約画像は情報可視化

深層学習を用いた従来の動作分析手法の概要技術の一つであるため，情報を目視可能である特性を持つ)。

たという報告は見当たらない。
これは，動作の速さ・タイミングの異なる画集約画像生成法として，3 つの手法を提案し像を取り扱うことになるためだと推察される。

た。3 つの手法ともに，すべてグレースケール

そこで，フレーム長およびサンプル間隔に依存化された画像を対象として処理した。

しない画像集約技術を用いて対応する。集約画

1 つ目では (DiffMax)，まず，画像を任意の像は，動作の一連の流れが集約されているため，ブロックに領域区分する。次に，領域区分され複雑な画像となっており，特徴点抽出および特たの画像の画素の平均値 (代表値) を算出す。

徴点追跡が困難である。そこで，深層学習を用

これらの操作をすべての画像およびブロックにいて手指動作手話の認識に有用となる特徴およ対して実施する。また，対象となる画像の前後びルールを抽出する。

フレームの画像を準備する。各ブロックに対して，前後フレーム間の代表値の差を算出する。

【手指動作手話動画の作成】

これらの操作をすべての画像およびブロックに深層学習を使用する場合，多くのデータセッ対して実施する。さらに，各ブロックに対してトを準備する必要がある。そこで，被験者実験

その値を最大とする値を持つ画像の代表値を抽を実施し，動画データを作成した。また，手指出する。最後に，上述する代表値を集約画像フ

動作手話の種類は，日常生活でよく使用する単レームに埋め込み，集約画像を生成する。

語，挨拶，道案内に関連する単語，計 42 種類を選抜した。ここで，「銀行はどこですか？」の場合，手指動作手話は「銀行」「どこ」「ですか？」の 3 種類の単語 (手指動作手話) が使用されることを意味する。
【集約画像生成法】
手指動作手話動画作成時に作成した動画において，一つ一つの動作は任意の複数フレームの図2画像群で構成された。そこで，フレーム長に依DiffMax のサンプル画像存せず，動作の一連の流れの情報を一枚の静止

2 つ目では (MeanDiff)，まず，画像を任意画に集約した集約画像を生成した。著者らは，の領域に区分する。次に，領域区分されたの画集約画像群を分析することで，睡眠状態を分類像の画素の平均値 (代表値) を算出す。これら― 2 ―Tateisi Science and Technology Foundationの操作をすべての画像およびブロックに対して【深層学習を用いた集約画像における手指動手実施する。また，各ブロックに対して，すべて話認識】の画像の平均値を算出し，平均値画像を生成す

集約画像生成法にて生成された集約画像は，る。さらに，対象となる画像と平均値画像を準動作の一連の流れが集約されているため，複雑備する。また，各ブロックにおいて，対象となな画像となっており，特徴点抽出および特徴点る画像と平均値画像との差分値の絶対値を算出

追跡などの従来の画像処理の適用が困難であっする。さらに，各ブロックに対して，その差分た。そこで，画像群の共通項，特徴，ルールな値の絶対値を最大とする値を持つ画像の代表値どを自動で抽出可能な人工知能の一つである畳を抽出する。最後に，上述する代表値を集約画

み込ニューラルネットワーク (CNN) を用い像フレームに埋め込み，集約画像を生成する。て，手話動作を分類するために有用な情報を抽出する手法を考案した。なお，著者らは，深層学習を用いて筋電位および距離センサ画像の情報から，動作分類および個人認証のための特徴・ルールの抽出に成功していた。ここでは，これらの技術を適用・応用して，手指動作手話の分類を実施した。このとき，識別器としてサポートベクターマシン (SVM) を採用した。
提案する CNN の構造は，畳み込み層とプー

図3リング層で構想される中間層を 3 つ持ち，全結MeanDiff のサンプル画像合層にて，それら中間層で構築された特徴マッ

3 つ 目 で は (FirstDiff)，ま ず，画 像 を任 意

プを結合させることで，手話認識に必要な特徴のブロックに領域区分する。次に，領域区分さ抽出を実施した。畳み込み層のマップ数は，それたの画像の画素の平均値 (代表値) を算出す

れぞれ 64，64，192 と設定し，情報圧縮のためる。これらの操作をすべての画像およびブロッのプーリング層では，それぞれ 6*6，3*3，3*3

クに対して実施する。また，対象となる画像の一番最初の画像を準備する。さらに，各ブロッ
クにおいて，対象となる画像と最初の画像との差分値の絶対値を算出する。また，各ブロックに対して，その差分値の絶対値を最大とする値を持つ画像の代表値を抽出する。最後に，上述する代表値を集約画像フレームに埋め込み，集約画像を生成する。

図4

FirstDiff のサンプル画像

図5

― 3 ―

CNN の構造立石科学技術振興財団[今後の研究の方向，課題]のフィルタを介した。全結合層のユニットは1,000 とした。さらに，過学習を防止するため提案手法の集約画像生成において，手話単語に設置したドロップアウト層では，結合重みの動作の動きの形状を情報として集約することが50% を忘却する措置を施した。
10 単語 (挨拶関連)，20 単語 (挨拶関連，質可能となった。しかしながら，時間変位を表現疑応答関連)，42 単語 (挨拶関連，質疑応答関するに至っていない。そこで，時間的変化を表連，固有名詞) の単語セットを用いて，提案手現する集約画像生成法を考案することで，より法の有効性を検証した。11 名の被験者の協力

手話認識精度が向上出来ると示唆される。これの も と，そ れ ぞ れ 6,600 (10 単 語 用)，13,200を今後の課題とする。

(20 単 語 用)，27,635 (42 単 語 用) の デ ー タセットを準備した。

[参 考 文 献]

実験的検証を実施した結果を表 1 に示す。表[ 1 ] S. S. Rautaray, A. Agrawal, Vision based hand

1 はデータセットうちランダムに 80% のデー

gesture recognition for human computer interaction

タを CNN 学習に用い，残りの 20% をテスト

a survey, Artificial Intelligence Review, vol. 43, no. 1,に用いたものである。この操作を 10 回繰り返した認識率の平均値と標準偏差を算出した。

pp. 1-54, 2015.
[ 2 ] N. A. Ibraheem, R. Z. Khan, Vision based gesturerecognition using neural networks approaches : Areview, International Journal of human Interaction

表1

手話分類結果 (平均±標準偏差)(IJHCI), vol. 3, no. 1, pp. 1 - 14, 2012.

Number of JSL words
DiffMax

10 words
84.2±4.0

20 words
64.3±3.9

42 words−MeanDfifFirstDiff

98.4±1.4
99.2±0.3

94.1±1.6
94.3±1.985.1±4.886.2±2.2[ 3 ] Lionel Pigou, Sander Dieleman, Pieter-JanKindermans, Benjamin Schrauwen, Sign language
recognition using convolutional neural networks,
Workshop at the European Conference on Computer Vision, 2014.
[ 4 ] 古谷佳大，堀内靖雄，川本一彦，下元正義，眞表 1 より，FirstDiff の結果が最も優れてい

崎浩一，黒岩眞吾，鈴木広一，手話認識における位た。その結も 42 単語の場合 86% 以上と十分な置・動き特徴量の検討，電子情報通信学会論文誌，精度を実現するに至った。また，MeanDiff おvol. J99-D, no. 1, pp. 90 - 92, 2016.

よび FirstDiff の結果において，42 単語の識別[成果の発表，論文等]率が 85% を超えていた。提案手法では，集約画像生成法により，手話単語動作を 1 枚の画像に集約している。平均値との差分ならびに最初画像との差分に基づいて集約画像を生成した場
合，前後フレームとの差分からでは表現できな
い手話単語に対する動作が 1 枚の画像に集約されている可能性が示唆された。さらに，手話認[1]Shin-ichi Ito, Momoyo Ito and Minoru Fukumi,

Japanese sign language classification based ongathered images and neural networks, International
Journal of Advances in Intelligent Informatics, Vol.
5, No. 3, 243 - 255, 2019.
[ 2 ] Shin-ichi Ito, Momoyo Ito and Minoru Fukumi,
Japanese Sign Language Classification Using Gathered Images and Convolutional Neural Networks,

識のために CNN を採用した。集約された画像

Proc. of 2020 IEEE 2nd Global Conference on Life

は手話動作の動きが集約されているため，ノイSciences and Technologies (LifeTech), 349 - 350,Kyoto, Mar. 2020.

ズを含む残像で構成されたような複雑な画像が[ 3 ] Shin-ichi Ito, Momoyo Ito and Minoru Fukumi, A

生成されていたが，CNN による特徴強調なら

Method of Classifying Japanese Sign Language

びにノイズ除去機能が良好に働き，手話認識に必要な特徴の抽出に成功したものと考えらる。

using Gathered Image Generation and Convolutional
Neural Networks, Proc. of International Conference
on Pervasive Intelligence and Computing, PICom
2019, pp. 868 - 871, Fukuoka, Aug. 2019.

― 4 ―