外国手話データセットを活用した日本手話動画からの音節構成要素認識

本研究では日本手話の「手の位置」・「手の動き」・「手型」から構成される音節構成要素を深層学習を用いて自動認識するシステムの構築において，限られた日本手話動画データから音節構成要素を高い性能で認識するため，日本手話と外国手話の言語間の共通の特徴を活かす転移学習手法を提案する．「手の位置」・「手の動き」・「手型」の認識では，マルチタスク学習を行なった．利き手における音節構成要素を対象とした実験では，原らが作成した日本手話データセットにおいて，本稿で提案する外国手話データセットを利用した転移学習が音節構成要素認識の性能向上に繋がることを明らかにした．