識別性と物理的な類似性を両立する日本手話構成要素の表現学習

手話は書き言葉を持たない自然言語であり，その基本単位である単語は手の位置・動き・手型の構成要素1）から構成される[1]．手話言語学では，単語を体系的に記述し分析するため，構成要素をカテゴリ2）として整理し，記号化してきた[3,4]．近年，手話動画コーパスの整備と深層学習の進展に伴い，カテゴリ体系をデータに基づいて大規模に運用する基盤として，動画から構成要素のカテゴリを自動識別する手法が提案されている[5,6,7]．これらの手法では，入力動画から特徴を抽出し，それを埋め込みとして表現した後，正解ラベルが付与されている各構成要素に対してカテゴリ識別を行う．しかし，従来手法はカテゴリ識別のみを学習の目1）これらの構成要素は音声言語における音素に相当する．2）本研究で使用する日本手話音節データベース[2]の定義では，手型カテゴリは手の形状（握り拳の形，親指だけ伸ばした形など）を表す．位置カテゴリは手が手話空間または身体部位（目・口・身体など）に対する相対位置を表す．動きは軌跡運動（上・下・右・左方向の動きなど），手首の動作，手指動作に大別される．の表現における従来手法と提案手法の比較．（上）従来のカテゴリ識別では同じカテゴリ内の手型や位置の違いなどの物理的な情報が捨象される．（下）提案手法では物理的な類似性も反映した埋め込み表現を実現する．的とするため，カテゴリ識別に関係のない物理的な情報が捨象されてしまう（図1上部）．例えば，二つの動画で指の曲がり具合がわずかに異なっている場合でも，カテゴリが同じである場合は区別する必要はなく，異なる場合は大きく区別する必要がある．このような情報の捨象は，手話認識のような意味的な解析以外の手話処理（動作の似た例を探す類似例検索やろう者による手話の自然さの判断を扱う適格性解析など）に利用する上で問題となる．そこで，本研究は日本手話を対象に，カテゴリ間の識別性を維持しつつ，構成要素間の物理的な類似性（どの事例同士がどれほど似ているか）を反映した埋め込み表現の獲得を目的とする．このために，構成要素のカテゴリラベルのみから学習でき，かつ別カテゴリでも物理的に似ている事例Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).ロジットエンコーダPositive(Target)正例カテゴリVViTVViTVViT動画FCPositive(Reference)FCRcPP動画他のカテゴリUnlabeledFC動画RcPUVViT:VideoVisionTransformerFC:全結合層共有パラメタコーダに入力し，全結合層ヘッドを経てカテゴリごとのロジットを出力する．図は手型の処理を示しているが，位置および動きについても同様の処理を独立に適用する．される．R𝑐PU(𝑔)=𝔼𝑥𝑃∼𝐷𝑐,𝑥𝑈∼𝐷𝑈[ℓ(𝑔𝑐(𝑥𝑃)−𝑔𝑐(𝑥𝑈))],(1)R𝑐PP(𝑔)=𝔼𝑥𝑃,𝑥𝑃′∼𝐷𝑐[ℓ(𝑔𝑐(𝑥𝑃)−𝑔𝑐(𝑥𝑃′))](2)また，AUCリスク（PNリスク）は式(3)となり，これを全カテゴリCにおいて最小化する．R𝑐PUAUC(𝑔)=R𝑐PU(𝑔)−𝜋𝑐R𝑐PP(𝑔)1−𝜋𝑐(3)4日本手話順序付きトリプレットデータセット学習された埋め込み表現が構成要素の物理的な類似性を表現できているかを定量的に評価する新たな評価用データセットとして，構成要素の物理的な順序関係に基づく日本手話順序付きトリプレットデータセットを構築する．本節では，データセットの構築手順とその統計情報について述べる．なお，本データセットの構築においてはアノテーションの難易度と品質を考慮し，利き手に関する構成要素のみを対象とし，非利き手の構成要素は対象としない．4.1サンプルセットの作成日本手話音節データベース[10]（動画・構成要素カテゴリ）を用いてサンプルセットを多数作成する．各サンプルセットは，ある構成要素における2つの異なるカテゴリから3本ずつサンプリングした計6本の手話単語動画からなる．本研究では，手型の動的な変化を考慮し，動作開始時（変化前）と終了時（変化後）の手型を区別して扱う．4.2トリプレットの作成と判断基準アノテータは，各サンプルセットについて，一つのカテゴリの事例𝑣1からもう一つのカテゴリの事例𝑣3への段階的な差異を示す順序付きトリプレット(𝑣1,𝑣2,𝑣3)を特定する．中間的な事例𝑣2が定められない場合は，そのセットを除外する．トリプレットの判断は，構成要素に応じて以下の基準に基づいて行う．判断基準の詳細と，アノテーションしたトリプレットの例を付録Aに示す．手型(i)手の開閉度（開手→握り拳），(ii)指の屈曲度，(iii)指の開き具合（開→閉）．位置(i)奥行き（身体へ近づく／遠ざかる），(ii)水平・垂直位置．動き(i)方向・軌道の連続性（運動方向が段階的に遷移するか）．4.3統計と一致率157トリプレットを特定し，これをデータセットとした．その構成要素ごとの統計を付録Bに示した．アノテーションは修士学生2名が独立に行い，順序が一致した割合は84.21%，スピアマンの順位相関係数は0.88であった．5実験実験では，物理的な類似性の再現性，構成要素カテゴリの識別性，下流タスク（適格性解析）への有効性の3つの観点から，埋め込み表現を評価した．5.1実験設定構成要素の学習と識別性の評価には，日本手話音節データベース[10]の動画1,078件（訓練/開発/テスト:755/161/162件）を用いた．比較手法は，同一アーキテクチャを交差エントロピーを用いて学習した識別モデル（CE）とした．主要なハイパーパラメタは付録Cに示した．5.2物理的な類似性の評価方法順序付きトリプレットに対し，各動画の埋め込み表現を𝑒1,𝑒2,𝑒3とする．両端𝑒1,𝑒3が張る軸𝑉=𝑒3−𝑒1に対する中間点の射影係数Score=(𝑒2−𝑒1)·𝑉∥𝑉∥2を計算し，0<Score<1を満たすとき，𝑒2が𝑒1と𝑒3の間に配置されているとみなorg/licenses/by/4.0/).順序保存率構成要素CEPU-AUC手型（変化前）84.0094.00手型（変化後）84.0094.00位置76.7481.40動き84.0096.00構成要素手法利き手非利き手手型(変化前)CE46.5866.46PU-AUC47.8371.43手型(変化後)CE47.8365.22PU-AUC50.9370.81位置CE78.8887.58PU-AUC85.0988.82動きCE62.7383.85PU-AUC59.0190.68し，順序関係を再現できた（正解）と判定し，全トリプレットに対する正解率である順序保存率を計算した．5.3物理的な類似性と識別性の評価存率を改善し，物理的な類似性を反映した埋め込み表現を獲得できた．また，表2を見ると，カテゴリ識別の正解率も多くの構成要素で同等以上であり，識別性は損なわれないことが確認された．さらにt-SNE[11]可視化（図3）では，中間的な事例がカテゴリ間に配置される連続的な配置が確認できた．5.4適格性解析への有効性検証提案手法で獲得した埋め込み表現が下流タスクに有用であるかを検証するため，ろう者の言語直観に照らして手話として自然に成立するか否かを判定する適格性解析[10]の2値分類を行った．PU-AUCおよびCEで学習した動画エンコーダのパラメタは凍結し，各動画から得た埋め込み表現（以下，動画埋め込み）を特徴量として用いる．また，専門家による記号記述は，位置・動き・手型に加えて掌の向きなどの詳細な識別情報を含む一方，動画由来の埋め込み表現は物理的な類似性を捉えることが期待される．この両者を組み合わせることで，記号的な識別情報と物理的な類似性の情報を同時に利用でき，適格性解析の性能向上が見込まれる．そこで，記号記述（460次元）のみ，動画埋め込みのみ，および両者の連結（記号記述+動画埋め込み）を入力として，ロジスティック回帰モデルを学習し評価した．正解率モデル開発テスト記号記述74.5370.37PU埋め込み71.4370.37CE埋め込み68.9459.26記号記述+CE埋め込み69.5763.58記号記述+PU埋め込み76.4070.99(a)従来手法(b)提案手法「0579」から中間形（「0729」）を経て「0461」へと連続的に遷移する例を示す．(a)従来の分類学習はカテゴリ分離はできるが連続的な変化を保持しない．(b)提案手法は中間形を2つの手型の間に配置し，連続的な変化も捉えられている．結果を表3に示す．動画埋め込み単体ではPU-AUCがCEを大きく上回り，より有用な表現を与えることが分かる．さらに記号記述と併用すると，PU-AUC埋め込みとの組み合わせが最良となり，この結果は，適格性解析において，記号的な弁別情報に加え，物理的類似性の情報も重要な役割を果たしていることを示唆する．6おわりに本研究は，手話構成要素のカテゴリ識別性を維持しながら，構成要素間の物理的な類似性を反映した埋め込み表現の獲得を目的に，PU学習に基づくAUC最適化に基づく埋め込み表現学習手法を提案した．さらに，物理的な類似性を定量評価するため，日本手話順序付きトリプレットデータセットを構築した．実験では，提案手法は従来の分類学習より順序保存率を一貫して改善し，識別性も大きく損なわないことがわかった．また，適格性解析でも記号記述との併用で性能が向上し，ろう者の判断に物理的な類似性が寄与する可能性を示唆した．今後は，トリプレット損失や対照学習などのPU-AUC損失以外の損失関数の評価を行うとともに，適格性解析における説明可能性の解析を進める予定である．org/licenses/by/4.0/).