言語処理学会 第25回年次大会 発表論文集 (2019年3月)

動作特徴ベクトルの導入による SignWriting 表記の手話単語の類似度定義の改良と評価
岡田 紳太郎

加藤 三保子

松本 忠博

岐阜大学大学院 自然科学技術研究科

豊橋技術科学大学

表 1 SW 記号とその SSS の例

1 はじめにSutton の SignWriting（以下 SW）[1] は日常的に手話を読み書きするための表記法であり，複数の国でろう児教育などへの利用が試みられている．我々は SWによる手話文書編集システム JSPad[2] を開発し，その付加機能として SW を手話単語の入力形式とする手話日本語辞書機能を実装してきた．

2 SW による単語表記と表記揺れ

SW では手の形，位置，動き，表情などを表す図的な

SW では ISWA と呼ばれる図的な記号（文字）を 2文字（International SignWriting Alphabet, ISWA）を次元的に配置して単語を表記する．ISWA は Unicode

2 次元的に配置して手話単語を視覚的に表現する（図の文字集合に含まれており，TrueType フォントも公開

1）．その表記は人にとって分かりやすい反面，自由度されている*1 ．表 1 に示すように，各記号は文字コーが高く，表記の揺れが大きいため，辞書検索のためのドのほか，記号の種類や向きなどを表す Sign-Symbol-

単語の識別は容易ではない．そこで，SW 形式の手話Sequence（SSS）と呼ばれる数字列によっても表され単語の識別のために，単語を構成する ISWA 記号の類る．例えば，表 1 の第 1 行の手型記号は 01-03-001-01-

似性と位置に基づく単語間類似度を定義して利用した

02-03 と表される．手型記号の場合，塗りは手のひらの[3, 4]．しかし，手の動作を表す記号（図 1 右の矢印記

向き，回転は指先の向きを表す．

ISWA2010 の基本記号は 600 種類以上用意されてお号など）は記号選択や配置の自由度が特に大きく，十分り，手形記号の場合，指先の向きを 45 度単位で，手の対応できていなかった．
本研究では，動作記号が表現する運動を複数の特徴ひらの向きを 90 度単位で指定できる．SW では手話の量に分解し，動作記号を動作の特徴ベクトルとして表

3 次元的な動きを 2 次元平面に射影して表すが，類似現することで単語間類似度の定義の改良を試みた．評

した記号のうちどれを選択するか，記号の向きや位置価のため，SW で記述された日本手話（JSL）とアメリをどのように近似するか，省略可能な記号があるとき

カ手話（ASL）の単語による単語識別実験を行った結に省略するか，視点（front/top view）はどうするかな

果，JSL 単語については従来に比べて識別精度を大きど，書き手が恣意的に選択できる要素が多い．また，現く向上させることができた．

実の手話にも表現の揺れが多く存在する．これらの要因により，SW による手話の表記には大きな揺れが生ずる．

3 従来の単語間類似度の定義
ここでは，従来の研究 [3, 4] で定義された単語間類似度について概略を述べる．
〈思う〉

図1〈忙しい〉*1 https://github.com/Slevinski/signwriting 2010 fonts

手話単語の SW による表記例

http://www.signbank.org/SignWriting Fonts.html― 1141 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

表2

SW 表現における手話単語 w は，単語を構成する
ISWA 記号の集合 {s1 , s2 , . . . , sn } であり，各記号 si
は記号を識別する SSS とその単語内での相対位置 posの組 (sss, pos) である．SSS は記号のカテゴリ C，グループ G，基本記号番号 B，変種 V，塗り F，回転 Rの 6 項組 (C, G, B, V, F, R) である．
定義 1（記号間類似度） 2 つの記号 s1 と s2 の SSS を元にした類似度から，次のように定義される距離ペナ
ルティ DP(s1 , s2 ) を差し引いた値を s1 と s2 の記号間類似度 sim(s1 , s2 ) とする．

{DP(s1 , s2 ) =0(d ≤ θ)
a · (d − θ) (d > θ)

ここで d は記号間のユークリッド距離，a は重み，θ は閾値を表す．
定義 2（単語間類似度） 単語 w1 と w2 の単語間類似度 Sim(w1 , w2 ) を次のように定義する．2 つの単語に含まれる記号の個数の差が上限 k を超える場合，No.
123456789101112131415
16171819:
34353637

動作記号が表す動作の特徴量と重み

動作特徴名

動作内容

重み

XposR
XnegR
YposRYnegR
ZposR
ZnegR
XrepRYrepR
ZrepR
MultiDirR
CircleR
CurveR
CrossR
BendR
CircleHitsWallR
CircleAxisR
CircleOtherR
XposL
XnegL
:
CircleOtherL
Contact
FingerDynamics

右方向への移動（右手）
左方向への移動（〃）
上方への移動（〃）下方への移動（〃）前方への移動（〃）後方への移動（〃）左右の反復移動（〃）
上下の反復移動（〃）
前後の反復移動（〃）複数方向への移動（〃）
円運動（〃）曲線運動（〃）交差（〃）
移動方向の途中変化（〃）
壁に垂直な円運動（〃）回転軸（〃）
その他の円運動（〃）

800
800
800
800
800
800
505050102000
50500
500
500
500
500
800
800

右方向への移動（左手）
左方向への移動（〃）:
その他の円運動（〃）
接触
指の動き
動作の緩急強弱など

500
10105Sim(w1 , w2 ) = 0 とする．それ以外の場合は，単語 w1の記号 {s11 , . . . , s1m } と単語 w2 の記号 {s21 , . . . , s2n }の記号間類似度の合計が最大になる組み合わせ（図 2は，書き手による表記のゆれが大きく，類似度を十分では対角線上）での記号間類似度の平均値を，単語内記に表せていないことがあげられる．そこで本研究では，号数の差により調整した値を Sim(w1 , w2 ) の値とする．

動作以外の記号については従来の方法で類似度を求め，動作記号については動きの向きや回数，軌跡などの情報を単語の特徴量としてベクトル化してベクトル間の4 単語間類似度定義の改良類似度を記号間の類似度とする．

前節で述べた単語間類似度を用いて単語の識別実験設定した動作特徴量とその重みを表 2 に示す．ISWAを行ったところ，書き手による表記ゆれがうまく吸収の動作記号には，左右の手の区別があるものと，ないもできないケースが見られた．その原因の一つとして，のがある．動作特徴情報 1〜17 は右手，18〜34 は左手手型記号に比べ，手の移動や接触などを表す動作記号の動きに対するものである．35〜37 の特徴情報には左右の手の区別はない．
定義 3（単語の動作特徴ベクトルとその類似度） 単 語

w を構成する記号 si の動作特徴ベクトルを v i とする．このとき，単語 w の動作特徴ベクトル V (w) を次0.972

0.876

0000.884

0.970

000000.880

0.7500のように定義する．

V (w) =

∑vi ◦ Wi図2000.630

1.0000000.934

単語を構成する記号間の類似度

ここで，W は表 2 の重みのベクトル，◦ はベクトルの要素ごとの積を表す．なお，si が動作記号でないとき，v i = 01 とする．動作特徴ベクトル間の類似度 Simvec― 1142 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

としてはコサイン類似度を用いる．

Simvec (w1 , w2 ) = cos(V (w1 ), V (w2 ))図3

被験者が入力した手話単語の例（〈忙しい〉）

定義 4（単語間類似度） 動作記号については Simvec
を，動作以外の記号については従来の記号の形（SSS）

表3と相対位置による類似度 Simshp を用いて，単語間類似度 Sim を次のように定義する．

Sim(w1 , w2 ) = c·Simvec (w1 , w2 )+(1−c)·Simshp (w1 , w2 )日本手話の単語による実験結果

正解率（1 位）

正解率（5 位以内）

改良前

改良後

改良前

改良後

54.8%

74.4%

72.0%

92.1%

後述の評価実験では c = 0.1 とした．
ルとして表すことで，類似度の低下を防ぐことができそのほかの改良として，類似度算出の前に冗長な記ている．

号を削除する前処理の過程を加えた．これは，SW で被験者が選択した手型記号と辞書登録単語の手型記は手の移動の前後で手型が同じなら，移動後の手型の号では見た目が異なるが，これは視点の違いよるもの記述を省略するなど，（人が）その単語と認識できる範である（被験者は上から見た手型，辞書単語は話者から囲で記述を省くことができるが，省くかどうかの判断見た手型）．このような視点による記号の見た目の違いは書き手の主観に依存しており，それが表記の揺れのについては，記号間類似度を算出する際に考慮するよ原因になっていたためである．

うにしている．

30 種類の単語に対する平均正解率を表 3 に示す．

5 評価実験

「正解率（1 位）」はテストデータと辞書中の正解単語

5.1 JSL の単語による評価の類似度が最も高かったとき正解とした場合の正解率，新たに定義した単語間類似度の評価のため実験を「正解率（5 位以内）」は類似度順で 5 位以内に入った行った．これまでに，累計 33 名の被験者に手話単語のとき正解とした場合の正解率を表す．従来の単語間類

イラスト 20 語，動画 10 語（の一部）を見て JSPad を似度を用いた場合に比べて精度は 19.6%（1 位）および使用して SW で書き取ってもらい，計 30 種類 406 語20.1%（5 位以内）向上し，平均すると 9 割以上が 5 位の表記データを収集している．明らかな表記上の誤り以内に入った．

を含むものには修正を加えて利用した．修正が困難な

5.2

ASL の単語による評価ものは対象から除外した．それぞれを辞書検索し，辞本研究では前節の実験で収集した日本手話の単語書中の当該単語（正解）が類似度順で何位以内に入っの表記サンプルを元にして，単語間類似度や記号間類ているかを調べた．辞書に登録されている単語数は約似度の設定・調整を行った．オープンテストによる評2000 である．なお，前節で述べた単語間類似度定義の価を行うため，SW コミュニティの Web サイトからパラメータの調整などにもこれらのデータを使用してASL の単語辞書*2 と，SW で書かれた ASL 版の童話いるため，評価実験はクローズドテストとなる．

“Goldilocks and the Three Bears”*3 （３びきのくま）

図 3 に被験者が入力した単語の例を，図 4 に単語の検索結果の表示例を示す．この例では被験者が入力しを取得し，この童話に含まれる 155 個の単語を使用して評価実験を行った．

た単語〈忙しい〉が，検索結果の第 1 位になっている．

ASL の辞書登録語数は約 10,500 語であり，我々が被験者の単語では，手の移動を表す動作記号（矢印記構築した JSL 版の辞書の約 5 倍のサイズがある．ただ号）が左右 2 つずつ，合計 4 つ使われているのに対し，し，ASL 版辞書は多くのユーザが辞書登録を行ってお辞書登録された〈忙しい〉では，上・下・上または下・り，同じ単語が重複して登録されている．実験では正上・下の連続動作を表す動作記号が左右 1 つずつ，合解単語のうちテストデータとの類似度が最も高かった

計 2 つ使われている．従来の単語類似度では記号数が異なるため，記号間の対応がうまく取れず，類似度を下げる要因となっていたが，動作記号を動作特徴ベクト― 1143 ―*2 http://signbank.org/signpuddle/*3 http://www.signwriting.org/library/children/

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

図4

動作特徴ベクトルを用いた単語間類似度による単語検索結果の例

表 4 ASL 単語による評価実験結果（表情記号削除前）

均正解率が従来の手法に比べて 20.1% 向上し，90% を正解率（1 位）正解率（5 位以内）超える結果が得られた．一方で，ASL 単語によるオー48.3%

69.9%

プンテストでは 80% に届いておらず，さらなる改良が

表 5 ASL 単語による評価実験結果（表情記号削除後）
正解率（1 位）

正解率（5 位以内）

47.7%

72.2%必要と考えている．本研究の手法とは別に，ニューラルネットワークなどを用いた機械学習による単語識別手法についても現在検討を始めている．
謝辞
本研究は JSPS 科研費 JP18K11430 の助成を受けたものの順位を評価結果とした．155 単語の平均正解率

ものです．

を表 4 に示す．

JSL 単語による評価実験の結果に比べて，正解率は大幅に下がった．辞書登録語数の大きな差，JSL と ASL

参考文献[1] V. Sutton, Lessons in SignWriting, The Deaf Ac-

で使用される手型の違いのほか，顔の表情を表す記号

tion Committee for SignWriting, 2002.の影響が考えられる．童話から単語を収集したためか，[2] T. Matsumoto, M. Kato and T. Ikeda, JSPad―

テストデータには単語の弁別には関係しない顔の表情

a sign language writing tool using SignWriting,を表す記号が多く含まれていた．そこで，顔の表情をProceedings of the 3rd International Universal

表す記号を単語から取り除く前処理を加えて，再度評

Communication Symposium, pp.363-367, 2009.

価を行ったところ，表 5 に示すように 1 位を正解とし[3] 高瀬友宏，松本忠博，加藤三保子，SignWriting をた場合の正解率は 0.6% 下がったが，5 位以内を正解と利用した手話文書エディタ JSPad における手話-日した正解率では 2.3% 向上する結果となった．

本語辞書について, 言語処理学会第 18 回年次大会
発表論文集, pp.1220-1223, 2012.

6 おわりに[4] 杉山真也，松本忠博，加藤三保子, 手話文字 Sign-本研究では，SW 表記の手話単語に含まれる記号のうWriring の手話-日本語辞書への応用, 電子情報通信

ち，動作記号をその動作の特徴ベクトルとして表すこ

学会 2013 年総合大会講演論文集 A-19-13, p.274,とで単語間類似度の定義を改良し，単語の識別精度向2013.

上を図った．評価実験の結果，JSL 単語を対象としたクローズドテストでは類似度 5 位以内を正解とした平― 1144 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.