外国手話データセットを活用した日本手話動画からの音節構成要素認識

日本手話は日本語と異なる自然言語であり，手指動作と非手指動作から構成される．手指動作は「手の位置」・「手の動き」・「手型」から構成され，これらは，日本手話の音節に相当する単位を構成する要素（音節構成要素）である．一方で，非手指動作には顔の表情や視線などの文法要素が含まれる．原は，音節の構成規則を解析するため，対応する音節の動画を撮影・収集し，音節を音節構成要素に分解・記号化したデータベースを作成した[1]．現在，日本手話動画から自動で十分な性能で音節構成要素を認識するシステムはない．このような音節構成要素の自動での認識ができれば，まだ分析されていない多くの音節に対応して，データベースを人手で拡張するコストを減らすための補助や自動での拡張が可能となる．近年，手話研究において，手話動画からgloss1）を予測する手話認識[2,3]など，動画から時空間情報を抽出可能な深層学習による動画解析手法を利用し1）glossは，手話の意味に対応する音声言語の単語を示す．音節構成要素に分解日本手話音節動画利き手手型利き手位置利き手動き1利き手動き2利き手動き3ansp_r-a(z)--自動化日本手話音節動画利き手手型利き手位置利き手動き1利き手動き2利き手動き3音節構成要素認識システムansp_r-a(z)--動で認識するシステムた手法が提案されている．深層学習で高い性能を実現するには，ラベル付けされた大量の訓練データが必要となるが，音節構成要素がラベル付された日本手話動画データの数は限られている．一方で，アメリカ手話などの外国手話のデータは多く存在し，外国手話と日本手話には，手指動作と非手指動作により手話を表現する共通の特徴が存在する．転移学習[4]などにより，この言語間の共通点を活かすことで，データ数の限られた日本手話における認識性能の向上につながることが期待できるが，我々の知る限りこのような研究は行われていない．そこで，本研究では，日本手話動画からの音節構成要素認識に向けて，外国手話データセットを活用した転移学習の有効性を検証する．本稿では，簡単のため，利き手における「手の位置」・「手の動き」・「手型」を対象に評価・検証を行う．具体的には，外国手話データセットを利用して事前学習した深層学習モデルのパラメタを初期値として，モデルを日本手話動画データで学習し，音節構成要素の認識を行う．また，「手の位置」・「手の動き」・「手型」の認識において，分類のベースとなるモデルを共有し，同時に学習するマルチタスク学習を導入し，その有効性を調査する．本研究の貢献は次の通りである．•日本手話動画から自動で音節構成要素を認識するシステムを構築した．•データの限られた日本手話において，転移学習.により外国手話データで学習したモデルを利用することの有効性を初めて示した．•日本手話の音節構成要素のマルチタスク学習を通じて，各タスク間の情報共有が必ずしも認識性能の向上に寄与しないことを示した．