# SignWriting 表記の手話単語検索のための単語のベクトル表現

松本 忠博
岐阜大学 工学部
tad@gifu-u.ac.jp
}

東香織
岐阜大学工学部
加藤 三保子
豊橋技術科学大学 総合教育院

## 1 はじめに

手話には標準的な文字表現がないことから，主に手話の言語学的，工学的研究を目的として表記法がいくつか提案されてきた. Sutton の SignWriting[1] （以下，SWと略す）は主要な表記法の中で唯一日常生活の中で手話を読み書きする書記体系として提案され，かつ，その文字が Unicode 文字集合にも含まれている ${ }^{1)}$.これまでに複数の国で，万う児教育の場などでの利用が試みられてきた．SWを使った手話文書エディタも複数作られており，我々も JSPad[2] と呼ぶシステムを開発し，公開している.

手話単語の構成要素 (音素) は, 手の形, 手の位置，手の動き，および，顔の表情などの非手指要素と言われている. SWではそれらを表す図的な記号を 2 次元的に配置して単語を表記する（図 1)。この図的な表現は人にとって直観的に分かりやすい反面，自由度が高く，書き手による表記の摇れが大きい。そのため，機械的な単語の同定が単純には行えず，文書処理の基本操作である単語の検索も簡単ではない。そこでJSPad では，単語を構成する記号間の類似度の定義と，それをもとにした単語間類似度の算出アルゴリズムを考案し，SWを入力形式とする手話一日本語辞書機能を JSPad に実装した [3]. さらにその改良として，とくに表記の摇れが大きい手の動きの表記について，動きの特徴量を要素とする動作特徴ベクトルを定義して, 単語識別精度の向上を図った [4].

本研究では $\mathrm{SW}$ 表記の手話単語を辞書検索することを主な目的として，動作だけでなく，手の形や位置などの要素についてもべクトル化する方法を検

1) Sutton SignWriting (Unicode block): https://unicode.org/ charts/PDF/U1D800.pdf

図 1 SignWriting による単語の表記例

討している．単語の辞書検索を，手書き文字認識のように多クラス分類問題として解くには，書き取りデータのサンプル数が少ないこと，そして，辞書に単語が追加された際の対応や，他の国・地域の手話単語辞書への適用がしやすいことなどから，ここでは単語間の類似度を用いて，検索対象の単語との類似度が高い辞書内の単語をユーザに提示する方式をとる。

## 2 SW による手話表記と表記摇れ

SWでは図 2 に示すような図的な記号 (International SignWriting Alphabet, $\mathrm{ISWA}^{2)}$ ) 2 次元的に配置して手話単語を記述する. 国際発音記号のように様々な国の手話に対応できるよう，ISWA2010では7つのカテゴリ (手形，動作，強弱，頭・顔，体など), 30 のグループ，652 種類の基本記号（base symbol） が用意されている。さらに，手形記号と動作記号には 2 つの修飾要素 fill（手形記号では手のひらの向きを表す 6 種類）と rotation（手形記号では指先の向きと左右の手の違いを表す 16 種類）を指定することができるため，1 つの基本記号に対して最大で $6 \times 16=96$ 通りの記号が存在することになる。

音声言語では音素（子音・母音）は逐次的に表出され，文字も 1 次元的に並べられる．手話言語の音素（手の形，向き，位置，動き，顔の表情など）は

2) ISWA 2010: https://movementwriting.org/symbolbank/ index.html\#ISWA2010

図 2 SignWriting で使用される文字 ISWA

3 次元空間上で同時的に表出され，SWではこれを 2 次元平面上に射影した形で表す. その際，類似した記号のうち（単語の弁別に影響しない範囲で）どれを選択するか (例：0と几)，指先や手のひらの向き（角度）がどの記号とも一致しない場合にどの角度で近似的に表すか，省略可能な記号があるときにその記号を省略するかしないか，視点をどう選ぶか（例：話者視点しと，上からの視点4日）など， SW では書き手が恣意的に選択できる要素が多い.同じ動きを表す複数の方法が存在する場合もある （例えば，右手を 2 度上に動かす動作は，記号丹爪で表すことも，記号介を 2 つ並べて表すこともできる).また，内部表現では，記号の位置はピクセル単位で指定できるため，ひとりの書き手が同じ単語を書いても，一般に記号の配置はまったく同じにはならない. さらに，実際の手話にも話者によって手の形や動きが微妙に異なる表現の摇れがあり，それが表記摇れにつながることもある。これらの要因により，SW による手話の表記には大きな摇れが生ずるため，文書内の単語の検索のような基本的な操作も音声言語の文字と同じようにはできない.

## 3 SW 形式の手話単語の検索

## 3.1 関連研究

SW で書かれた手話単語の検索手法として，Costa ら [5] は，2つの単語の照合時に記号の位置のずれを許容する単語類似関係（sign similarity relation）を定義し，それを用いた照合手続きを提案している. また，Aerts ら [6] は，検索対象となる単語の手の形と，その手が接触する体のゾーン，及び，接触の仕方をユーザに指定させることで，単語を検索する方法を提案している。いずれも記号の類似性について
は考慮しておらず，記号の違いは許容されない。

SW の Web サイト3)では，SW によるオンライン手話辞書 SignPuddle や，SW を使って手話文書を作成するソフトウェアなどがいくつか公開されている.これらのソフトウェアにも辞書内の単語を検索する機能が用意されているが，手話からその訳（英語等）を検索する方法は，単語を構成している記号を指定するものであり，記号間の類似性や記号の位置情報は考慮していない。

## 3.2 JSPad における従来手法

JSPad では，単語を構成する記号や配置が完全に一致しなくても，ユーザが記述した単語と類似した単語を辞書内から見つけ出し，候補をユーザに提示する機能を実装してきた. ここでは単語間の類似度を求めるための 2 種類の従来手法の概略を述べる.

## 手法 1

まず，比較対象となる 2 つの単語を構成する記号間の対応関係を推定する．そのために，すべての記号の対応関係のうち，対応する記号間の類似度の平均が最も大きくなるものを探索し，その記号間類似度の平均值を単語間の類似度とする。計算量を抑えるため，類似度 0 の記号の組み合わせが見つかった場合は，その対応関係は候補から除外する。また，記号数の差が一定以上の場合は，単語間の類似度を 0 とする.

記号間の類似度は，記号が表す手などの形と，単語内での記号の相対位置をもとに算出する. ISWA の各記号は，SSS（sign symbol sequence）と呼ばれる 6 つの值の組によって識別される. これは，各記号のカテゴリ，グループ，基本記号番号，バリエー ション, 塗り（fill）, 回転 (rotation) を表すもので,例えば，手形記号は 01-09-016-01-03-01，動作記号 $\Uparrow$ は2-03-001-02-01-01 と表される. 形の類似性は，このSSSをもとに算出する。また，同じグルー プに属す記号でも，記号が表す手の形が類似したものとそうでないものが混在する（図 2）ため, 独自にサブグループを設けて類似度の調整に用いている。

位置情報については，対応する記号の単語内の相対位置間のユークリッド距離により類似度を減じることで，類似度に反映させる。


## 手法 2

手法 1 の評価実験の結果，ISWA 記号のうち，とくに手の動きを表す記号の表記摇れが大きいことが分かった. そこで手の動きについては，単語に含まれる動作の成分（右手の垂直運動, 左手の円運動,反復の有無，接触の有無など）を特徴量とする 39 次元の動作特徵ベクトルで表す. そして，2つの単語の動作特徴ベクトルのコサイン類似度と, 手法 1 による動作以外の要素から得られる単語間類似度の加重平均を単語間の類似度とした [4].

## 4 手話単語のベクトル化

本研究では手の動き以外の，手形，頭・顔，体 （肩，腕，腰など）の記号についてもべクトル表現を定め，それらをもとに単語べクトルを生成する. ベクトル化することで，記号の対応関係を推定するための探索を行う必要がなくなる.

## 4.1 記号とその位置のベクトル化

比較対象となる 2 つの単語を構成する記号間の類似度は，記号そのものの類似度と単語内での記号の相対的な位置によって決まる. まず，記号の類似性により記号のベクトル表現を取得し，位置情報をそのベクトルにエンコードする.

## 記号のベクトル化

手法 1 で取得した記号間類似度の算出結果を訓練データとして用いて，記号が表す手の形などの類似性に基づく記号べクトルを取得する. 学習のためのニューラルネットワークのモデルを図 3 に示す. 入力は比較対象となる 2 つ記号の ID であり, 図中の 2 つの埋め込み層の重みは共有されている. 2 つの埋め込み層の出力ベクトルのコサイン類似度が,手法 1 で得られた結果に近づくように学習を行う.学習の結果得られた埋め込み層の重みを記号べクトルとする.

すべての記号の組み合わせを学習対象にすると訓練データのサイズが大きくなり, 訓練時間も長くなるため，学習はカテゴリごとに行った. カテゴリごとの記号数（種類）と埋め込みベクトルの次元数を表 1 に示す.

記号ベクトルのサイズはカテゴリによらず 185 次元の固定長とする．埋め込みベクトルデータを格納する位置をカテゴリごとに設定し，空き領域には 0 を埋める．カテゴリの異なる記号間のコサイン類似

図 3 記号間類似度の学習モデル。

度は 0 になる。

## 位置情報のエンコード

手法 1 では，同一の記号でも単語内での相対位置の違いにより類似度が変化する。これをべクトルで表現するために，記号の位置情報をべクトルにエンコードする．単語内での相対位置をもとに正規分布の平均 $\mu$ を設定し，カテゴリごとの重みをかけて記号べクトルに加える．位置情報には $x$ 成分と $y$ 成分があるため，例えば手形記号（100 次元）では， $x$ 成分を表す正規分布を先頭の 50 次元に，y成分を表す正規分布を残りの 50 次元に加える.

## 4.2 単語のベクトル化

単語に含まれる記号のベクトルをカテゴリごとに重みをつけて統合し, 固定長の単語ベクトルを取得する. 動作記号（と強弱記号）に対するべクトルについては，手法 2 の動作特徴ベクトルを流用する. 統合の仕方としては，記号べクトルの和をとる (sum pooling)，あるいは，各要素の最大值をとる (max pooling), 平均をとる（average pooling）などが考えられる．次節の実験では，単語に含まれる記号のベクトルの，カテゴリごとの平均を単語ベクトルとした. したがって，単語べクトルのサイズは，記号ベクトルと同じ 185 次元である.

## 5 評価実験

単語ベクトルによる単語間類似度評価のために辞書検索実験を行った。

これまでに, 累計 33 名の被験者に日本手話の単語のイラスト 20 語，動画 10 語（の一部）を見て SW

で書き取ってもらい，計 30 種類 406 語の表記デー タを収集している．明かな表記上の誤りには修正を加え，修正が困難なものは除外した．表記サンプルのそれぞれを辞書検索し，辞書中の目的の単語（正解）が類似度順で何位になるか調べた。「1 位」，「5 位以内」，「10 位以内」を正解とした場合の正解率のマイクロ平均と，406 語の検索にかかった時間を表 2 に示す.

表中のベクトル欄「なし」は動作特徴ベクトルも単語ベクトルも用いない従来の手法 (手法 1)，「動作」は動作記号のみべクトル化する手法（手法 2) である.

「記号」は手法 2 において，記号の形状に基づく類似度算出部分に記号ベクトルを使用した方法であり，記号の位置情報はベクトルにエンコードしていない.

「単語 1」は記号べクトルに位置情報をエンコードして，(動作を除く）単語ベクトルを生成し，その単語ベクトルによる類似度と, 動作特徵べクトルによる類似度の加重平均（9:1）を単語類似度としたものである.

「単語 2」は動作特長ベクトルを単語ベクトルに組み入れて 1 つのべクトルにして類似度を求めたものである.

ベクトル間の類似度にはコサイン類似度を使用した. 辞書の登録語数は 2048 である.

実験の結果，今回の単語ベクトル表現では，実行時間を短縮することはできたものの，正解率はいずれの場合も下がる結果となった。実行時間が短くなった理由としては, 記号の対応関係の探索が不要になったことと, 辞書単語のべクトルを予め求めて辞書に格納しておけるようになったことがあげられる。

なお，記号べクトルを用いない従来手法において，記号間類似度や単語間類似度を定める際，どのような表記摇れがあるかを調査するためにこれらの表記サンプルを参照しているため，この実験はクローズドテストとも言える.

## 6 おわりに

SW で表記された単語を辞書や文書中から検索することを目的として現在検討している手話単語のベクトル表現について述べた. 手の動きの要素については動作特徴量をもとにべクトル化し, 手の形や頭・顔，体（肩，腕，腰）などを表す記号について表 2 日本手話単語による評価実験の結果

} \\

は，従来手法で得られた記号間類似度をもとに埋め込みベクトルを取得した。記号の位置情報は，正規分布を用いて記号べクトルにエンコードしている.実験の結果，検索にかかる時間は短くなったが，今回の単語のベクトル化方法では正解率は低下した。

サンプルごとの結果の詳細な分析とそれに基づく手法の改善は今後の課題である. オープンテストとなる別のデータセットによる評価実験についても今後行う予定である.

## 謝辞

本研究は JSPS 科研費 JP18K11430 の助成を受けたものです.

## 参考文献

[1] Valerie Sutton. Textbook and Workbook, 3rd ed. The deaf action comittee for SignWriting, 2002. https://www. signwriting.org/lessons/books/.

[2] Tadahiro Matsumoto, Mihoko Kato, and Takashi Ikeda. JSPad-a sign language writing tool using SignWriting. In Proceedings of the 3rd International Universal Communicatin Symposium (IUCS2009), pp. 363-367, 2009.

[3] 高瀬友宏, 松本忠博, 加藤三保子. SignWriting を利用した手話文書エディタ JSPad における手話-日本語辞書について. 言語処理学会第 18 回年次大会発表論文集, pp. 1220-1223, 2012.

[4] 岡田紳太郎, 松本忠博, 加藤三保子. 動作特徴ベクトルの導入による SignWriting 表記の手話単語の類似度定義の改良と評価. 言語処理学会第 25 回年次大会発表論文集, pp. 1141-1144, 2019.

[5] Antônio Carlos da Rocha Costa, Graçaliz Pereira Dimuro, and Juliano Baldez de Freitas. A sign matching technique to support searches in sign language texts. In Workshop on the Representaion and Processing of Sign Languages, LREC2004, Lisbon, pp. 32-36, 2004.

[6] Steven Aerts, Bart Braem, Katrien Van Mulders, and Kristof De Weerdt. Searhing SignWriting signs. In Workshop on the Representation and Processing of Sign Languages, LREC 2004, Lisbon, pp. 79-81, 2004.