# 低リソース「日本語対応手話-日本語」対訳コーパスによる 助詞挿入と語尾活用に注目したパイプライン手話翻訳

矢野 憲
電気通信大学
yanoken@uec.ac.jp
}

内海 彰
電気通信大学
utsumi@uec.ac.jp

## 1 はじめに

手話は手指動作と被手指動作 (NMS,non-manual signals)を同時に使う視覚言語で，音声言語にならぶ固有の文法を持った言語である [1][2][3][4][5]. 日本ではろう者同士, またはろう者と聴者の間で生まれ広がった日本手話 (Japanese Sign Language, JSL) のほか, 日本語と手話の語をほぼ一対一に対応させた日本語対応手話, その両者の中間的な表現等が使われるが，実際には日本手話と日本語対応手話との区別は曖昧であるとされる. 手話の特徴として, 話言葉における自立語同士の関係性を示す付属語に相当する語が手指動作に現れない傾向がある [1][2][6].例えば手話では質問・疑問を意味する終助詞「か」 などの例外を除いて, 話言葉の助詞に相当する語は表現されないことが多い. また日本語では動詞, 助動詞, 形容詞は語の働きの違いにより語尾が活用するが，手話では一般的にそのような語形の変化が見られないという特徴がある.このような言語的な違いに注目して日本語から手話への機械翻訳の既存研究 ([7],[8] 等) は存在するが, 手話から日本語への既存研究は存在しない. 従って, 本研究では助詞の挿入, 語尾活用に注目した日本語対応手話から日本語への機械翻訳の手法を提案した。

手話を話言葉へ翻訳するタスクでは，通常手話動画から連続する手話動作を認識し中間的な表現に変換後, その中間表現を話言葉に翻訳するという 2 段階で行われる [9][10][11][12].この中間表現は一般的に gloss（グロス）と呼ばれる. 手話を認識する問題はこれまでに Computer Vision の分野で活発に取り組まれてきたが, 本研究では特に手話認識後の gloss 系列から日本語へ翻訳するタスクに取り組み,少量の手話-日本語対訳データからでも精度の高い翻訳結果を得るパイプラインによる翻訳手法を提案

## した. 実験の結果, 提案手法の有効性を確認した。

## 2 対訳コーパス

## 2.1 日本語対応手話-日本語対訳コーパス

自動機械翻訳の目的で構築された大規模な日本手話または日本語対応手話と日本語の対訳コーパスは存在しない.このため, 本研究では筆者らが現在取り組んでいる共同研究で使用している対訳コーパスを用いた。本コーパスには手話の gloss による中間表現と対応する日本語対訳が 1086 件存在する. 本コーパスの内訳として手話の gloss に含まれる gloss 数が約 $7.5 \mathrm{~K}$, 語彙数が 655 , 語に分割後の日本語対訳に含まれる語数が約 $11 \mathrm{~K}$, 語彙数が $1.2 \mathrm{~K}$ である.本コーパスの特徴として, gloss は $g N(\mathrm{~N}$ は任意の数字列）のように記号表記されていることである. 本コーパスでは記号表記された gloss と対応する日本語は別に辞書として定義している.これは，一つの gloss が複数の日本語へ対応しているためである.参考までに，表 1 に対訳コーパスに含まれる対訳例, 表 2 に該当する gloss の辞書定義の例を示した。

なお， ドイツ手話 (DGS) やアメリカ手話 (ASL)の対訳コーパスでは, 辞書を用いずに gloss が意味する話言葉おける単語を大文字 (capital letters) で表現していることが多い [10],[6].

表 1 手話 gloss-日本語対訳例

表 2 gloss 辞書定義の例

## 2.2 日本語コーパス

本研究では, 手話と日本語との対訳コーパスの他に, 現代日本語書き言葉均衡コーパス (BCCWJ) から生成した擬似日本語対訳コーパスを用いた。これは対訳コーパスではサンプル数が十分でないために, データ駆動による深層学習を用いた機械翻訳手法を適用することが困難なためである. 本研究で用いた日本語対応手話-日本語対訳コーパスは, 会話における話言葉が中心であるため，そこに現れる文末のパターン ( か?,〜しました,〜ほしいです,〜 います,〜します,～希望する, 等) で BCCWJ コーパスの検索を行い該当する約 20 万の文を選択した。選択された日本語コーパスは助詞の挿入や, 語の語尾活用を行う機械学習モデルの教師データとして用いた. 詳細については 4 . モデルの学習で述べる.

## 3 翻訳手法

## 定義

$\mathscr{G}$ は長さ $\mathrm{N} の$ gloss 系列 $\mathscr{G}=\left(g_{1}, \ldots, g_{N}\right)$ を示し， $\delta$ は長さ $\mathrm{U}$ の日本語列 $\mathcal{S}=\left(w_{1}, \ldots, w_{U}\right)$ を示す. $\delta$ に対してさらに助詞, 語尾活用を示す 2 つの添字 $P P$ と $C$ を定義し, それぞれの添字の前の + と - で助詞の挿入, 語尾活用が適用されているか否かを示す. 例えば $\delta_{-P P-C}$ は助詞がなく, 語の活用形を基本形にした日本語列を示し, $\delta_{+P P+C}$ は助詞の挿入,語尾活用後の日本語列を示す.

## アルゴリズム

提案する gloss 系列から日本語への翻訳アルゴリズムを Algorithm 1 に以下に示した.

各 Step で行う処理を以下で説明する。
- Step 0: 統計的機械翻訳の手法を用いて gloss 系列を対応する日本語列へ変換する.
- Step 1: seq2seq 機械翻訳モデル (m1)を用いて Step 0 で得られた日本語列に対して助詞を挿入する.
- Step 2: seq2seq 機械翻訳モデル (m2)を用いて Step 1 で得られた日本語列に対して活用による語尾活用を行う。

-Step 3: Step 2 で得られた日本語列から助詞を削除する.
- Step 4: seq2seq 機械翻訳モデル (m3)を用いて Step 3 で得られた日本語列に対して助詞を插入

する.
- Step 5: Step 4 で得られた日本語列から語尾活用された語を基本形に変換する。

Step 1 では語の活用形を基本形にした日本語列への助詞の挿入に対して, Step 4 では語尾活用後の日本語列への助詞の挿入の違いがある. 表 3 に表 1 で示した例のパイプラインによる翻訳例を示す.

表 3 パイプラインによる翻訳例

## 4 モデルの学習

翻訳アルゴリズムで用いたモデルの学習方法について説明する.

## 4.1 統計的機械翻訳モデル

翻訳アルゴリズムの Step 0 には統計的機械翻訳 (SMT)[13] を用いた。学習は, 対訳コーパスを用いて行ったが, 目的言語である日本語は $\mathrm{MeCab}^{1}$ によよる形態素解析の結果から助詞を削除し, 語尾活用のある語については, 基本形に変換する前処理を行なった。目的言語の言語モデルとしては， 3-gramの Kneser-Ney smoothing を用いた。なお, 学習データに gloss 辞書の定義を追加の対訳データとして含めた. これはコーパスサイズが少ないため学習データに一度しか現れない gloss が多く存在するためである.

1) https://pypi.org/project/mecab-python3/

## 4.2 seq2seq 機械翻訳モデル

翻訳アルゴリズムの Step 1 における機械翻訳モデル (m1)には, Transformer[14]による seq2seq 翻訳モデル [15]を用いた。対訳コーパスは日本語コーパスに含まれる文から, 原言語, 目的言語を以下のようにして作成した。
- 原言語:原文の形態素解析の結果から助詞を削除し, 語尾活用のある語については, 基本形に変換

-目的言語:原文の形態素解析の結果から語尾活用のある語については，基本形に変換

これは単言語コーパスから $\delta_{-P P-C}$ から $\delta_{+P P-C} へ$翻訳する擬似的な対訳コーパスを生成することを意味する. seq2seq のハイパーパラメータについては,事前実験より以下のように定めた: encoder， decoder の embed サイズ:512, FFN のユニット数:2048, layer 数:6, attention head 数:8. また encoderの入力, decoder の出力には tied-embedding を使用した. Optimizerには Adam を使用し, 学習率は初期値 5e-4 で更新回数の逆平方根に基づき減衰させた。作成した対訳コー パスを 8:1:1 の割合で, train,dev,test データセットに分割し, devによる性能が一番高いパラメータで評価を行った。

翻訳アルゴリズムの Step 2 における機械翻訳モデル (m2), Step 4 における機械翻訳モデル (m3) は同様に Transformer ベースの se2seq を用いたが，擬似対訳コーパスの生成方法のみが異なる. 予備実験の結果から得られたパラメータと学習方法は機械翻訳モデル (m1) と同様であるため詳細は割愛する.

## 5 実験と結果

対訳コーパスからランダムに 10 個の対訳データをテストに選び, 残りを学習データとして, 統計的機械翻訳モデルを再学習したモデルで翻訳を行う実験を 100 回繰り返し，その結果得られた 1000 個の翻訳と，参照訳とで翻訳性能の評価を行った。なお, seq2seq 翻訳モデル $(\mathrm{m} 1, \mathrm{~m} 2, \mathrm{~m} 3)$ については，すべての実験で事前に学習済みのパラメータを使用し，ビームサイズ 5 でデコードを行なった.

比較するベースラインモデルとして以下の 4 つのモデルと, Yin et al. [12] が提案している end-to-end 手話機械翻訳モデル G2T (Gloss to Text) との比較実験を行った. Algorithm 1 で示した提案手法は
SMT+Iterative_seq2seqとした.

・naive: gloss 辞書を用いて, gloss を日本語へ置き換えることで翻訳を行うモデル．辞書に複数の日本語が定義されている場合, 一番最初の語を選択する。

-SMT: 統計的機械翻訳モデルで $\mathscr{G}$ から直接 $S_{+P P+C}$ へ翻訳を行うモデル.

-SMT+1step_seq2seq: Step 1, Step 2 の seq2seq 翻訳モデル $(\mathrm{m} 1, \mathrm{~m} 2)$ で行っている $\delta_{-P P-C}$ から $\mathcal{S}_{+P P+C}$ への翻訳を一つの seq 2 seq で翻訳を行い，逐次的に翻訳結果の更新を行わないモデル.

-SMT+2step_seq2seq: Step 0 から Step 2 までの処理を行い，逐次的に翻訳結果の更新を行わないモデル.

G2T[12] はドイツ手話またはアメリカ手話のサイズの大きい対訳コーパス [10],[6] を使用している為, 予備実験において日本語対応手話-日本語の対訳コーパスを用いて，ハイパーパラメータ検索を行い $\operatorname{dev}$ セットにおいて一番性能が良かった以下のパラメータを用いて実験を行った。 embed サイズ:256, FFN の embed サイズ:1024, layer 数:1, attention head 数:4 (encoder, decoder 共通)

性能評価は，BLEU1/2/3/4个[16], METEOR $\uparrow[17]$, WER(Word Error Rate)】を用いた. 結果を表 4 に示す. 結果より，gloss 辞書により単純に gloss を日本語へ置き換える翻訳手法では，文法的に正しい日本語にならず低い性能を示す. G2T の性能はいずれの指標においてもSMT の結果よりも低い值を示した. 手話言語の違いもあるが，低リソースの場合, seq2seq モデルでは SMT の性能を超えることが困難であることを示している. SMT と seq2seqによるパイプラインモデルでは, SMT の性能から大幅に性能を向上している。これは日本語コーパスから作成した擬似対訳コーパスで学習された seq2seq モデルが,手話翻訳における助詞の挿入, 語尾活用に非常に有効であることを示している. 更に表 5 に SMT とパイプライン翻訳モデルの BLEU3, BLEU4 スコア值による t-test 検定の結果を示した。

表 5 からパイプラインモデルが SMT よりも有意に性能が高いことがわかる. SMT+1step_seq2seq と SMT+2step_seq2seq とでは有意な差はなかったが，提案手法である SMT+Iteraive_seq2seq は BLEU3 において SMT+1step_seq2seq, SMT+2step_seq2seq 共
表 4 各モデルの翻訳性能の結果 (BLEU1/2/3/4个, METEOR $\uparrow, W E R \downarrow)$

表 5 SMT, SMT+1step_seq2seq, SMT+2step_seq2seq, SMT+Iterative_seq2seq の BLEU3, BLEU4 スコア值による t-test 検定の結果. 数値は $\mathrm{p}$-value を示す. *は $\mathrm{p}$-value が<0.05, **は $\mathrm{p}$-value が<0.01 を示す.

表 6 SMT+Iterative_seq2seqにより翻訳結果を得るまでに行ったループ処理の回数とその頻度

に，また BLEU4 については SMT+1step_seq2seq とで有意な差を認めた。このことから, 助詞の挿入と語尾活用の推測には相互依存性があり逐次的に双方を修正する SMT+Iteraive_seq2seq は翻訳精度を高める上で有効な手法であると判断できる. 次に，SMT+Iteraive_seq2seqによる翻訳が Algorithm 1 の何回目のループで収束したかを調査した. 結果を表 6 に示す. 表 6 より約 $72 \%$ の結果については， ループ処理の回数が 1 であったことを示す.これは Algorithm 1 の Step 1 の語尾活用前の日本語列に対する助詞の推定と最初のループ処理での Step 4 における語尾活用後の助詞の推定が同じであったことを示している. また約 $26 \%$ の結果については 2 回目のループ処理で結果が収束しており, これは語尾活用前の助詞の推定が最初の Step 4 における語尾活用後の助詞の推定で修正されたことを示している.ルー プ回数が 4 以上のものは, hallucination[18] エラーがあった場合で, その場合, 出力語列を切り詰めて出力するようにした.

付録の表 7 に各モデルが出力する翻訳例を表 8 に翻訳元となる gloss の辞書定義を示した. SMT, G2T
の翻訳には文法的な誤りを多く含むことが確認できる. $\delta_{+P P+C}(1), \delta_{+P P+C}(2)$ は SMT+Iteraive_seq 2 seq のループ処理における 1 回目，2 回目の翻訳結果である. $S_{+P P+C}(1)$ で見られる助詞挿入の誤りが $S_{+P P+C}(2)$ では修正されていることがわかる. なお,表 7 の最後の例のように助詞推定の曖昧性 (「で」 または「の」) が発生するケースもある.この対策として, 非手指動作 (NMS) を gloss の付属情報として用いることや，会話の文脈情報をモデルに組み込んで判断することが考えられるが，今後の課題としたい.

## 6 まとめ

本研究では, SMTにより少量の対訳コーパスを用いて gloss を対応する日本語へマッピングする翻訳モデルと大量の日本語コーパスから得られた擬似対訳データにより学習した助詞の挿入を行う seq 2 seq 翻訳モデルと語尾活用を行う seq $2 \mathrm{seq}$ 翻訳モデルをパイプラインで繋いだ手話から日本語への機械翻訳手法について提案した。実験結果より，SMTのみを用いた場合に比べ BLEU3/4による翻訳性能がそれぞれ+4.3/+4.9 向上することを確認した.

## 謝辞

本研究は, 電気通信大学とソフトバンク株式会社との「聴覚障害者と健聴者を繋ぐ相互コミュニケー ションシステムに関する研究開発」の支援により実施された。

## 参考文献

[1]岡典栄, 赤堀仁美. 日本手話のしくみ. 大修館書店, 2011 .

[2]松岡和美. 日本手話で学ぶ手話言語学の基礎. くろしお出版, 2015.

[3]Kazuyuki Kanda, Akira Ichikawa, Yuji Nagashima, Yushi Kato, Mina Terauchi, Daisuke Hara, and Masanobu Sato. Notation system and statistical analysis of NMS in JSL. In Revised Papers from the International Gesture Workshop on Gesture and Sign Languages in Human-Computer Interaction, p. 181-192. Springer-Verlag, 2001.

[4]Atsuko Koizumi, Hirohiko Sagawa, and Masaru Takeuchi. An Annotated Japanese Sign Language Corpus. In Proceedings of the Third International Conference on Language Resources and Evaluation, 2002.

[5]Mayumi Bono, Kouhei Kikuchi, Paul Cibulka, and Yutaka Osugi. A Colloquial Corpus of Japanese Sign Language: Linguistic Resources for Observing Sign Language Conversations. In Proceedings of the Ninth International Conference on Language Resources and Evaluation, pp. 1898-1904. European Language Resources Association, 2014.

[6]Clayton Valli, Ceil Lucas, Kristin J. Mulrooney, and Miako N.P. Rankin. Linguistics of American Sign Language. Gallaudet University Press, Washington, DC, 2011.

[7]松本忠博, 池田尚志. 日本語テキストから手話テキストへの機械翻訳の試み. 自然言語処理 / 言語処理学会編, Vol. 15, No. 1, pp. 23-51, 2008.

[8]Taro Miyazaki, Yusuke Morita, and Masanori Sano. Machine Translation from Spoken Language to Sign Language using Pre-trained Language Model as Encoder. In Proceedings of the LREC2020 9th Workshop on the Representation and Processing of Sign Languages: Sign Language Resources in the Service of the Language Community, Technological Challenges and Application Perspectives, pp. 139-144. European Language Resources Association, 2020.

[9]Mathieu De Coster, Mieke Van Herreweghe, and Joni Dambre. Sign language recognition with transformer networks. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 6018-6024. European Language Resources Association, May 2020.

[10]N. C. Camgöz, S. Hadfield, O. Koller, H. Ney, and R. Bowden. Neural Sign Language Translation. In 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 7784-7793, 2018.

[11]N. C. Camgöz, O. Koller, S. Hadfield, and R. Bowden. Sign Language Transformers: Joint End-to-End Sign Language Recognition and Translation. In 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 1002010030, 2020.

[12]Kayo Yin and Jesse Read. Better Sign Language Translation with STMC-Transformer. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 5975-5989. International Committee on Computational Linguistics, December 2020.

[13]Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris CallisonBurch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open Source Toolkit for Statistical Machine Translation. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180,
Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[14]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All You Need. 2017.

[15]Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In Proceedings of NAACL-HLT 2019: Demonstrations, 2019.

[16]Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318. Association for Computational Linguistics, July 2002.

[17]Satanjeev Banerjee and Alon Lavie. METEOR: An automatic metric for MT evaluation with improved correlation with human judgments. In Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, pp. 65-72. Association for Computational Linguistics, June 2005.

[18]Chaojun Wang and Rico Sennrich. On Exposure Bias, Hallucination and Domain Shift in Neural Machine Translation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3544-3552, Online, July 2020. Association for Computational Linguistics.

## 付録

表 7 gloss 辞書により $\mathscr{G}$ を日本語単語へ置き換える naive な手法, G2T[12], 統計的機械翻訳 (SMT) と提案手法 SMT+Iteraive_seq2seq による翻訳の例． $S_{-P P-C}$ は SMT による Step 0 の出力を示し， $S_{+P P+C}(1), S_{+P P+C}(2)$ はそれぞれ seq 2 seq モデル $(\mathrm{m} 1, \mathrm{~m} 2, \mathrm{~m} 3)$ により翻訳結果を 1,2 回更新した後の翻訳結果. いずれも更新回数 2 回で翻訳結果が収束している例.

表 8 表 7 で使われている gloss の辞書定義

g258 g27 g294 g307 g33 老人、おじいさん助成、支援、補助負担安い g4 登録

g860 住宅、宿

g87 自分、自己、自

g9 か、あなた