日本データベース学会データドリブンスタディーズ
一般論文

Vol. 1, Article No. 2, 2023年 3月

レーズの，アバターによって表現された手話を探索テーブルに登プログレッシブトランスフォーマー

録し，入力テキストからそのテーブルを介してアバターの手話をを用いた日本手話SLPモデルの性能

出力するというアプローチである．しかし，これらの手法では，生成できる手話動作が，エンコードが困難な静的ルールベースの評価

処理や，探索テーブルに依存している．また，手話全体の動作系
列は，個別の手話動作の生成結果の並びを連結することで出力す

奥井優太1る必要があった．

宮森恒2

これに対して，本研究で対象とするProgressive Transformers

for End-to-End Sign Language Production [8](PTSLP)のモデルは，
本稿では，プログレッシブトランスフォーマーを用いた手話生

テキストと手話動作系列の間のマッピングをEnd-to-endで直接学成モデルを日本手話に対して適用しその性能を多角的に評価す習することに焦点を当てており．テキストから連続的な3D手話る．手話自動生成(SLP)は，公共の場などでの手話コミュニケー

動作系列を生成できる．

ションの改善を目的に従来から研究されている．従来のSLPモデ

しかし，このモデルはドイツ手話データセットPHOWNIX14T

ルは，個別の手話動作の生成結果を連結することで手話全体の系[9]のみに適用されており，異言語のデータセットでの性能が報告

列を出力する必要があったが，近年提案されたPTSLPモデルは，されていない．本稿では，2021年に工学院大学から公開された多End-to-endでテキストから連続的な3D手話系列を生成でき，手用途型日本手話言語データセットKoSign [10]に対してPTSLPモ

話コミュニケーションの向上が期待されている．これまでドイツ

デルを適用し，その性能を検証する．

手話のみに適用されてきたPTSLPモデルを日本手話に対して適

ドイツ手話データセットPHOENIX14Tは，ドイツの天気予報用し，その性能を多角的に評価する．

から抽出された音声テキストとそのドイツ手話を含む大規模な動画ベースのパラレルコーパスである．このデータセットでは，個

1 はじめに別の手話の意味に対応するグロスレベルのアノテーションも提供されている．

手話とは，耳の聞こえない人(聾者)間または聞こえない人と聞一方，日本手話データセットKoSignは，手話動作の多視点カ

こえる人(聴者)間に使用される，非音声の，手指の動きを中心とメラ映像に加え，手話動作の高精細かつ高精度の3次元データがした身振りの一定の体系にもとづいた言語である [1]．聴者と聾付与されたデータセットである．数字・単位，あいうえお，アル者の対話において，聴者は日本語が母語，聾者は手話が母語だと

ファベットを含む3701ラベル(1ラベルは，1語あるいは，異動作すると，円滑なコミュニケーションを実現するには，手話通訳者

同義語を一纏めにした複数語に対応する)の手話動作が収録されが必要となる．しかし，手話通訳者を派遣するための手続きが煩ている． 3次元動作データ，多視点カメラ画像だけでなく，距離雑であったり，手話通訳者になるための学習費用や学習難度が高センサによる距離画像の同期収集も行われている．

いといった問題がある．他に，公共機関の場において，アナウン

本稿では，日本手話データセットKoSignから構築される複数

スなどの音声言語が字幕として表示されることもあるが，手話のデータセットに対してPTSLPモデルを適用し，その性能を多を母語とする聾者にとっては手話が望ましいという声もみられ角的に評価する．具体的には，単語データと対話データに対しる [2]．

て，関節位置の3D座標を2Dから推定する手法，3Dマーカ座標を

これらの問題を解決することを目的として，音声言語や文字言

利用する手法といった異なる方法で6種類のデータセットを構築

語から自動で手話を生成する研究が行われている．手話自動生

し，各データセットで訓練されたモデルによる手話動作の性能を成(SLP)によって，人間の手話通訳者が不在でもリアルタイムで検証する．

自動生成された手話を通して聾者に円滑に情報を提供することが実験では，6種類の各データセットで訓練されたモデルによるできる．

手話動作の性能を定量評価および定性評価で検証する．定性評価

SLPモデルに関する従来研究は，統計的機械翻訳(SMT)や探索

では，複数名の手話母語者の協力を得て，生成された手話動作にテーブルなどのアプローチがある．統計的機械翻訳(SMT)による

対して多角的に分析する．

アプローチ [3] [4]は，テキストやグロス列と手話とのパラレルコ

定量評価では，それぞれのデータセットに対して，関節位置

ーパスに基づき言語モデルとデコーダを構築することで手話を生の3D座標を2Dから推定する手法と3Dマーカ座標を利用する手法

成するアプローチである．言語モデルへの入力のばらつきを抑えを比較したところ，単語データでは前者，対話データでは後者のるため，手話翻訳の専門家が作成したテキストを手話に翻訳しやほうがより優れた性能を示した．定性評価では，単語データでは

すくするためのルールベース翻訳が組み合わされることもある．

前者の方が優れており，後者は手話すら生成されない事例も確認

探索テーブルによるアプローチ [5] [6] [7]は，事前に用意したフされた．対話データでは両方とも部分的に良好な結果を示した．
評価者のなかには，口形や表情なしで読み取ることが困難という

1 非会員

コメントも見られた．

株式会社インテック

本稿の貢献は以下の通りである．

yuuta167.9@gmail.com
2 正会員

京都産業大学miya@cc.kyoto-su.ac.jp

1

日本データベース学会データドリブンスタディーズ
一般論文

Vol. 1, Article No. 2, 2023年 3月• End-to-endでテキストから連続的な3D手話系列を生成でき

表1 日本語圏で使われる手話の種類と特徴

るPTSLPモデルを，日本手話に対して適用し，その性能を検

日本手話

証した．

• 日 本 手 話 データ セ ッ トKoSignか ら 異 な る 手 法 でPTSLPモ
デル用のデータセットを6種類構築し，各データセットでのPTSLPの性能を検証した．

日本語対応手話

中間型手話

・日本語とは異・日本語の文法・日本語対応手なる言語体系を体系に従い手話

話に日本手話独もつ

単語を並べてい自の空間使用なく• 定量評価だけでなく，複数名の手話母語者の協力を得て定性どの要素が加わっている

評価を実施し，生成された手話動作に対して多角的に分析し・助詞や自動詞

・この話者が最ど非手指動作をと他動詞の区別も多いといわれもつ

等 が 存 在 せ ず， ている・CLやNMMなた．
本論文の構成は，以下の通りである． 2節で関連研究について述べ，3節で本稿で扱う問題を定式化し，PTSLPモデルについて聾者が容易に理説明する． 4節ではデータセットの内容と構築手順を詳述する．

解できるもので5節で実験内容と実験結果，考察を示し，6節で結論と課題をまと

はない

める．

2 関連研究

表2

ドイツ語圏で使われる手話の種類と特徴

ドイツ手話

手話ドイツ語「日本手話」は，耳の聞こえない日本語圏の人の言語である．

・ドイツ語とは・ドイツ語の文

・手話ドイツ語

手や身体の動作を目で見て受け入れるという特徴を最大限に生か異なる言語体系

法体系に従い手の個々の手話やして文法体系が組み立られており，日本語とは異なる言語体系ををもつ

話単語を並べて抑揚などを省略

いく

している

2.1 ドイツ手話と日本手話もつ [11]．一方，日本語の文法体系に従い手話単語を並べていく

音声サポート手話「日本語対応手話(手指日本語)」と呼ばれるものも存在する．こ・CLやNMMな・助詞や接続詞・話し言葉の内の日本語対応手話には，助詞や自動詞と他動詞の区別等が存在せ

ど非手指動作をなども含めて全容を把握する能ず，聾者が容易に理解できるものではない [12]．また，日本手話

もつて手話に符号化

力が不十分な聴すると日本語対応手話の間に「中間型手話」というものも存在する．

覚障害者とのコ
ミュニケーショ

基本的には日本語の語順に従って表現されるが，日本手話独自のンに用いられる

空間使用などの要素が加わっており，日本語の語順に従わない場
合もある．日本語圏の手話では中間型手話の話者が最も多いといわれている [13]．

にその性能を検証する．

ドイツ手話は，耳の聞こえないドイツ語圏の人の言語であ

2.2 個別の手話動作の生成結果を連結するSLPモデル

る．日本手話と同様の特徴を持ち，ドイツ語とは異なる言語体

個別の手話動作の生成結果を連結するSLPモデルの関連研究系をもつ [14]． 一方，ドイツ語文法体系に従い手話単語を並は，統計的機械翻訳(SMT)や探索テーブルなどのアプローチがあべていく「手話ドイツ語(Signed German)」または「音声付随記

る．

号(LBG： Lautsprachbegleitende GebärdenまたはLautbegleitende

2.2.1

Gebärden)」と呼ばれるものも存在する．手話ドイツ語では，助統計的機械翻訳(SMT)によるアプローチ

統計的機械翻訳(SMT)によるアプローチ [3] [4]は，テキストや詞や接続詞なども含めて全て手話に符号化する．また，手話ドグロス列と手話とのパラレルコーパスに基づき言語モデルとデイツ語の個々の手話や抑揚などを省略する「音声サポート手

コーダを構築することで手話を生成するアプローチである．言語話(LUG： Lautsprachunterstätzende Gebärden)」と呼ばれるもの

モデルへの入力のばらつきを抑えるため，手話翻訳の専門家が作も存在する．

成したテキストを手話に翻訳しやすくするためのルールベース

日本語圏で使われる手話の種類と特徴を表1に，ドイツ語圏で翻訳が組み合わされることもある．このアプローチによって，手使われる手話の種類と特徴を表2に示す．

話データ取得のコスト削減や性能の向上を実現した．しかし，翻ここで，本研究で用いる日本手話データセットKoSignの手話訳結果を手話に出力する対象が必要であったり，生成する手話動

形は日本手話に該当する．また，PTSLPモデルが適用されたデー

作が，エンコードが困難な静的ルールベースの処理に依存していタセットPHOENIX14Tの手話形はドイツ手話に該当する．いずた．

れも手話として手や身体の動作を最大限に活用しているという特2.2.2 探索テーブルによるアプローチ

徴があり，PTSLPモデルの性能を分析する上で妥当であると考え探索テーブルによるアプローチ [5] [6] [7]は，事前に用意したられる．特に本稿では，PTSLPモデルが日本語圏で用いられていフレーズの，アバターによって表現された手話を探索テーブルにる日本手話の動作をどの程度的確に生成できるのかを分析するこ

登録し，入力テキストからそのテーブルを介してアバターの手話とに焦点を当て，数種類のデータセットを用いるなどして多角的を出力するというアプローチである．このアプローチによって，

2日本データベース学会データドリブンスタディーズ
一般論文

Vol. 1, Article No. 2, 2023年 3月

3.3 問題設定

テキストではなく手話として伝達することができ，手話を第一言語とするろう者にとって望ましいコミュニケーションを実現し

PTSLPモデルの問題について定式化する．本モデルの構成は，た．しかし，事前に登録した探索テーブルに依存していたり，手グロスを介して話し言葉から手話に翻訳する構成(T2G2P)と，話話全体の動作系列を出力するには個別の手話動作の生成結果の並し言葉から手話へのEnd-to-Endの直接翻訳を行う構成(T2P)の2つびを連結する必要があったりした．

が あ る． 本 稿 で は， 本 研 究 が 使 用 す る 日 本 手 話 デ ー タ セ ッ

深層学習によるアプローチ

トKoSignはグロスレベルのアノテーションがされていないた

2.2.3

深層学習によるアプローチの一つに，Stollらの，ニューラル機め， T2Pの構成のみを対象とする．図1 a)に， T2Pに該当するプ

械翻訳(NMT)と敵対的生成ネットワーク(GAN)を組み合わせた

ログレッシブトランスフォーマー(PT)の構成を示す．

初期のSLPモデルがある [15]．このモデルは，問題を3つの別々

T2Pは，トランスフォーマーを用いたエンコーダデコーダアーのプロセスに分割し，それぞれを独立して学習させ，探索テーブ

キテクチャで構成されている．エンコーダでは，まず，類似しルを介して手話のグロスからマッピングされた孤立した2Dスケ

た意味のトークンが互いに近くになり， one-hotベクトルとして

ルトンポーズ [16]の連結を生成する．このスケルトンポーズは，表すために，ソースとなる話し言葉𝑥 𝑡 を線形埋め込み層を介して従来研究のアバターアプローチと比較して出力解像度や表現力

埋め込む(Symbolic Embedding)．このとき，トランスフォーマー

は劣っているが，最小限のアノテーションを用いて連続的な手話

は，すべてのソースに対して位置情報なしで供給されることに合成が可能となっている．そのため，統計的機械翻訳や探索テー

なり，語順の概念を持たない．そこで，時間的順序を持たせる

ブルによるアプローチの課題点を解決でき，音声言語から手話へために，話し言葉𝑥 𝑡 から埋め込まれた𝑤 𝑡 を，時間的埋め込み層をの，費用対効果の高い翻訳が可能になっている．

介して埋め込む(Positional Encoding)．これにより，埋め込まれStollら に 対 し て， 本 研 究 が 使 用 す るPTSLPモ デ ル は， 問 題た𝑤ˆ 𝑡 に対して，シンボリックエンコーダ(𝐸 𝑆 )を適用し，自己注を3つの別々のプロセスに分割し，孤立した手話を連結して生意機構(Self-MHA)により話し言葉の記号系列の文脈ベクトルを成することに焦点を当てるのではなく，テキストとスケルトンポ

学習する．この学習の出力は，非線形フィードフォワード(Feedーズ列間のマッピングを直接学習することに焦点を当てている．

Forward)に投影し，さらに学習を助けるために残差接続と後続層

他に，新しいカウンターデコーディング技術を導入し，学習・推ノルムを用いて正規化を行う．最終的なエンコーダの出力は次の論時の連続シーケンス生成と，出力手話シーケンスの動的な長さように定式化できる．

の決定を可能にしている．しかし，モデルの推論時では，手の形

𝑟 𝑡 = 𝐸 𝑆 ( 𝑤ˆ 𝑡 | 𝑤ˆ 1:𝑇 )が少し表現不足な部分も見られた．また，トレーニングデータに(1)

は文法的な文脈や例がないため，固有名詞や特定のエンティティ

ここで， 𝑟 𝑡 は話し言葉の記号系列の文脈表現であり， 𝑤ˆ 1:𝑇 は，の生成が困難であった．

𝑇 単語の埋め込み表現である．

本稿では，PTSLPモデルが日本語圏で用いられている日本手話

手話を表現する各フレームの関節位置 𝑦 𝑢 は， 3次元関節位置の動作をどの程度的確に生成できるのかを分析することに焦点をの連続ベクトルとして表現される． デコーダでは，類似した当て，数種類のデータセットを用いるなどして多角的にその性能

手話内容が密な空間で近くに表現されるように，各フレームを検証する．

の関節位置 𝑦 𝑢 を線形埋め込み層を介して埋め込む(Continuous

3

Embedding)．次に，埋め込まれた3次元関節座標 𝑗𝑢 に対して，手Progressive Transformers for End-to-End Sign
Language Production [8]話全体の長さにおける相対的な時間位置を示す[0,1]の値をとるカ
ウンター𝑐 𝑢 を連結する(Temporal Embedding：図1のCE)．これにより，関節位置の順序を扱うことが可能となり，トランスフォー

3.1 概要Progressive Transformers for End-to-End Sign Language Produc-

マーにおいても連続動作系列を生成することが可能になる(カウtion(PTSLP)は，離散的な話し言葉の文章から連続的な3D手話表

ンターデコーディングと呼ばれる)．図1 b)に，カウンターデコー

現のシーケンスにEnd-to-Endで変換する初のSLPモデルである．

ディングとプログレッシブデコーダ(𝐷 𝑃 )を適用することで，手新しいカウンターデコーディング技術の導入により，学習と推論

話生成する様子を示す．これにより，カウンタ結合された関節埋時に離散記号系列から連続動作系列の生成を可能としている．まめ込み 𝑗ˆ𝑢 は，将来の位置へのAttentionを避けるためにターゲット

た，ドリフトの問題を克服し，SLPモデルの性能を飛躍的に向上

マスキングが行われる((Masked) Self-MHA)．そして，その次のさせるために，いくつかのデータ拡張(補強)プロセスが含まれて自己注意機構(Encoder-Decoder MHA)により，エンコーダからのいる．本モデルの構成は，グロスを介して話し言葉から手話に翻文脈表現𝑟 𝑡 をデコーダの連続領域にマッピングし，話し言葉と手訳する構成(T2G2P)と，話し言葉から手話へのEnd-to-Endの直接話の間の重要な順序を学習する．最後に，エンコーダと同様に，翻訳を行う構成(T2P)の2つがある．

フィードフォワード(Feed Forward)により正規化を行う．最終的

3.2 モデルのアイデアなデコーダの出力は次のように定式化できる．

PTSLPモデルは，データから各単語の正しい長さと順序を学[ 𝑦ˆ 𝑢+1 , 𝑐ˆ𝑢+1 ] = 𝐷 𝑃 ( 𝑗ˆ𝑢 | 𝑗ˆ1:𝑢−1 , 𝑟 1:𝑇 )習し，カウンターデコーディングを使用して系列生成の終了を決(2)定することで，動的な長さの出力手話系列の生成を可能としていここで， 𝑦ˆ 𝑢+1 , 𝑐ˆ𝑢+1 は，フレーム𝑢 + 1における手話ポーズを表る．

す3D関節位置，カウンタ値をそれぞれ表す． 𝑗ˆ𝑢 , 𝑗ˆ1:𝑢−1 は，フレ3

日本データベース学会データドリブンスタディーズ
一般論文

Vol. 1, Article No. 2, 2023年 3月

図1a)プログレッシブトランスフォーマーのアーキテクチャの詳細 [8](PT：Progressive Transformer， PE：Positional Encoding,
CE：Counter Embedding，MHA：Multi-Head Attention)，b) カウンターデコーディングの例 [8]．手話ポーズ 𝑦ˆ 𝑢 とカウンタ𝑐ˆ𝑢 を同時に予測する． 𝑐ˆ𝑢 = 1.0はシーケンス終了を示す．

ーム𝑢 およびフレーム区間1から𝑢 − 1の，カウンター連結された

表3

関節位置の埋め込みをそれぞれ表す． 𝑟 1:𝑇 は，フレーム区間1か実験用データセットの一覧, (MC: モーションキャプチャ)手話内容

ら𝑇 の話し言葉系列の文脈ベクトルである．

4 データセット
本節では，本研究が対象とするデータセットについて述べ，実験用データセット構築について述べる．

4.1 日本手話データセットKoSign
日本手話データセットKoSignは，手話動作の多視点カメラ映像に加え，手話動作の高精細かつ高精度の3次元データが付与さ

3D関節位置フレーム

データセット

の取得方法

レート

記号

単語

2Dから推定60fps

𝐷 𝑤,𝑒𝑠𝑡60

単語

MCから取得

60fps

𝐷 𝑤,𝑟 𝑎𝑤60

単語MCから取得

120fps

𝐷 𝑤,𝑟 𝑎𝑤120

対話

2Dから推定60fps

𝐷 𝑑,𝑒𝑠𝑡60

対話

MCから取得

60fps

𝐷 𝑑,𝑟 𝑎𝑤60

対話

MCから取得

120fps𝐷 𝑑,𝑟 𝑎𝑤120

れたデータセットである．数字・単位，あいうえお，アルファベットを含む3701ラベル(1ラベルは，1語あるいは，異動作同義語

2D関節点から3D関節位置推定による具体的な構築手順は，次を一纏めにした複数語に対応する)の手話動作が収録されている．

のようにPTSLPの研究で行われたデータセット構築手順と同じ

3次元動作データ，多視点カメラ画像だけでなく，距離センサに内容となる．

よる距離画像の同期収集も行われている．

4.2

KoSignからの実験用データセット構築

1. 日本手話データセットKoSignの各動画(mp4ファイル)から，

KoSignか ら 構 築 す る デ ー タ セ ッ ト の 種 類 は， 単 語 デ ー

OpenPose [17]を用いて2Dの関節位置を抽出する．

タ7402件(𝐷 𝑤 )と対話データ171件(𝐷 𝑑 )のそれぞれに対して，動2. 抽出した2Dの関節位置を，骨格モデル推定の改良方法 [18]を画(60fps)上の2D関節点から3D関節位置を推定して構築された利用して，3Dに変換する．

データセット(𝐷 𝑥,𝑒𝑠𝑡60 , 𝑥 ∈ {𝑤, 𝑑})，および，モーションキャ

3. GANによる手話生成に関する研究 [19]と同様にスケルトン

プチャー(MC)で取得された3D関節位置で構築された異なるフの正規化を行い，3D関節位置を (𝑥, 𝑦, 𝑧) 座標で表現する．

レームレート(60fps,120fps)のデータセット(𝐷 𝑥,𝑟 𝑎𝑤60 , 𝐷 𝑥,𝑟 𝑎𝑤120 ,モーションキャプチャーで取得された3D関節位置による具𝑥 ∈ {𝑤, 𝑑}とする)の計6種類とした．また，ドイツ手話データセ

体的な構築手順としては， 3次元データの関節位置を読み込み，ットPHOENIX14Tから，PTSLPの原論文 [8]で適用されたデータ

PTSLPの研究で使用された座標データ数(150個)と同じ数になるセット構築と同じ手順で構築されたデータセットを 𝐷 𝑑,𝑏𝑎𝑠𝑒𝑙𝑖𝑛𝑒 とように3次元関節位置データを抽出し，上述のスケルトンの正する．表3に，実験用データセットの一覧を示す．

規化を行うという手順となる． KoSignで収集された3次元デー

4日本データベース学会データドリブンスタディーズ
一般論文

Vol. 1, Article No. 2, 2023年 3月

タは120fpsであるため，120fpsだけでなく，動画と同じフレーム• 手話と手話の間の移行が滑らかであるか

レートである60fpsでも実験用データセットを構築することとし• 手話の意味を理解できるかた．

5.3 実験結果

なお，対話データについては， 3件の動画に対して，手話母語

5.3.1 定量評価者である著者がアノテーションを行い，発話の長さや区切りを基

単語データに対する定量評価の結果を表4に示す．

準に171件のデータに分割した．

𝐷 𝑤,𝑟 𝑎𝑤60 によるモデルが最も良好な結果を示した． 𝐷 𝑤,𝑒𝑠𝑡60 に

5 実験

よるモデルや 𝐷 𝑤,𝑟 𝑎𝑤120 によるモデルは， 𝐷 𝑤,𝑟 𝑎𝑤60 によるモデルの性能に及ばなかった．これは，同フレームレート(60fps)なら，実験では，表3で示す実験用データセットに対してそれぞれ構3D関節位置を2D関節点から推定するよりも，3D関節位置を直接築されたPTSLPモデルの性能を定量評価，定性評価を通して明ら取得するほうがより正確な手話動作を生成できることを示していかにする．

る．また， 3D関節位置を直接取得する際はフレームレートが高5.1 比較手法

いと性能が低下することを示している．これはフレームレートが比較手法としては，表3で示す実験用データセットの 𝐷 𝑥,𝑒𝑠𝑡60 ,

高くなるとその分誤差が累積しているためと考えられる．

𝑥 ∈ 𝑤, 𝑑 と 𝐷 𝑥,𝑟 𝑎𝑤60 , 𝐷 𝑥,𝑟 𝑎𝑤120 , 𝑥 ∈ 𝑤, 𝑑 ，および，ベースライ

対話データに対する定量評価の結果を表5に示す．

ンである 𝐷 𝑑,𝑏𝑎𝑠𝑒𝑙𝑖𝑛𝑒 のそれぞれでPTSLPモデルを構築し，定量評

𝐷 𝑑,𝑟 𝑎𝑤120 と 𝐷 𝑑,𝑟 𝑎𝑤60 の モ デ ル がMPJPEと3DPCKの い ず れ で価，定性評価を実施する．ベースラインについては，発話レベも良好な結果を示した． また， 𝐷 𝑑,𝑒𝑠𝑡60 によるモデルは他のデルで収録されているため，単語データ(𝐷 𝑤 )との比較は行わない．

ータセットによるモデルよりも明らかに低い性能を示した．これ

モデルの訓練では，PTSLPの原論文 [8]で用いられたパラメータより，PTSLPは，対話のような長い系列を扱う場合，高フレームをそのまま用いることとした．

レートでも誤差の蓄積があまり見られないと考えられる．また，

5.2 評価方法

対話データでは，単語データに比べて一連の素早い手話動作から

本節では，定量評価と定性評価について説明する．

5.2.1

骨格座標を抽出するため， 2Dから推定する方法では，モーショ

定量評価

ンキャプチャから取得する方法に比べ， 3D関節位置のデータの定量評価では，MPJPE(Mean Per Joint Position Error)と3D質がより劣っていることを示している．

PCK(Percentage of Correct 3D Keypoints)を利用する．MPJPEは，

5.3.2 定性評価

関節点の推定座標と正解座標の距離を全ての関節点数および𝐷 𝑤,𝑒𝑠𝑡60 によるモデルの定性評価の結果を図2に示す．

フレーム数で平均することにより算出される評価指標である．

MPJPEは以下の式で計算される．
1

𝑀 𝑃𝐽𝑃𝐸 =1𝑁 ∑︁𝑓 𝑟 𝑎𝑚𝑒 𝑁∑︁𝑗𝑜𝑖𝑛𝑡

𝑁 𝑓 𝑟 𝑎𝑚𝑒 𝑁 𝑗𝑜𝑖𝑛𝑡
𝑖=1∥𝐽 𝑗(𝑖) − 𝐽ˆ𝑗(𝑖) ∥ 2

(3)

𝑗=1

𝑁 𝑓 𝑟 𝑎𝑚𝑒 は1つ の 手 話 動 画 の 総 フ レ ー ム 数， 𝑁 𝑗𝑜𝑖𝑛𝑡 は1フ レ ームにおいて表現するスケルトンポーズの関節点の数である． 𝐽 と𝐽ˆは，それぞれ正解結果と予測結果の1つの関節点の座
標 (𝑥, 𝑦, 𝑧) である．

図2

3DPCKは，関節点の推定座標と正解座標の距離が設定した閾

𝐷 𝑤,𝑒𝑠𝑡60 によるモデルの定性評価結果

値よりも小さいときにその関節点の推定を正しいものとし，推定が正しく行われた割合をその評価値とする．閾値𝛼は0.1とし，腕や手の位置，指先の位置や方向が一致しているという声が多20%の範囲の誤差を許容する．

く見られたが，手話の意味の理解は半々だった．実際の手話動作

5.2.2 定性評価

においても，図3のように腕や手の位置，指先の位置や方向がよ

定性評価は，複数名の手話母語者の協力を得て実施する． 1名

く一致していることが確認できた．この結果は，腕の位置や方向の評価者が評価する手話動作は，単語データから異なる手法でなど視覚的な評価は高いが，手話の意味までは理解しにくいとい構築したデータセットによる手話動作の2種類と，対話データかうことを示している．

ら異なる手法で構築したデータセットによる手話動作の2種類で

𝐷 𝑤,𝑟 𝑎𝑤120 によるモデルの定性評価の結果を図4に示す．

ある． 1つのデータセットに対して5本の手話動作を評価するた

全体的に評価が低かった．実際の手話動作では，図5のようにめ，合計で5本×4種類の20本の手話動作を評価する．評価基準と片手または両手を上げて表現する手話に対して，予測結果はどちして，予測結果と正解結果を比較したうえで以下の質問に対しらも上げることなく，棒立ちの状態であった．

て5段階評価を行うこととする．

𝐷 𝑤,𝑟 𝑎𝑤60 によるモデルの定性評価の結果を図6に示す．

• 腕や手の位置が一致しているか

腕や手の位置，指先の位置や方向が一致しているという声が多• 指先の位置や方向が一致しているかく見られたが，手話の意味の理解は半々だった． 𝐷 𝑤,𝑟 𝑎𝑤60 によ5日本データベース学会データドリブンスタディーズ
一般論文

Vol. 1, Article No. 2, 2023年 3月

表4

単語データの定量評価の結果

MPJPE
最小値

3DPCK

最大値

平均

標準偏差

最小値

最大値

𝐷 𝑤,𝑒𝑠𝑡60

1.61927.0606

3.1786

1.3512

69.11%

99.26%

87.44%

9.35%

2.145510.5153

6.0734

1.975862.47%

91.53%

77.73%

7.28%

𝐷 𝑤,𝑟 𝑎𝑤60

1.1051

6.93502.91061.612670.22%

99.64%

88.64%

9.61%

対話データの定量評価の結果

MPJPE
最小値

最大値

3DPCK

平均

標準偏差

最小値

最大値

平均

標準偏差

14.24%

𝐷 𝑑,𝑏𝑎𝑠𝑒𝑙𝑖𝑛𝑒

3.817212.0390

7.7853

1.8472

12.02%

74.15%

33.23%

𝐷 𝑑,𝑒𝑠𝑡60

3.082714.40169.32802.551411.72%

88.77%

25.15%

15.45%

𝐷 𝑑,𝑟 𝑎𝑤120

2.360313.1755

7.46042.273816.05%

89.60%

36.60%

15.05%

𝐷 𝑑,𝑟 𝑎𝑤60

2.356915.5325

7.63462.648215.00%

90.45%

36.83%

17.81%

𝐷 𝑤,𝑒𝑠𝑡60 を用いたモデルによる単語「合格」の生成結果，

図5

左：予測結果，右：正解結果

図4

標準偏差

𝐷 𝑤,𝑟 𝑎𝑤120

表5

図3

平均

𝐷 𝑤,𝑟 𝑎𝑤120 を用いたモデルによる単語「合格」の生成結果，左：予測結果，右：正解結果

𝐷 𝑤,𝑟 𝑎𝑤120 によるモデルの定性評価結果
図6

𝐷 𝑤,𝑟 𝑎𝑤60 によるモデルの定性評価結果

る定性評価結果(図6)と比べると，腕や手の位置ではわずかに上として，2Dから推定する方法とMCから推定する方法とではわず回ったが，指先の位置や方向が一致，手話の意味の理解についてはやや及ばなかった．実際の手話動作では，図7のように腕や手かに前者の方がよい結果となった．しかし，今回の評価では評価の位置，指先の位置や方向が概ね一致していた．

した単語数および被験者数が十分でないことが考えられ，今回のフレームレートによって定性評価結果に明らかな差が認められ結果から明確な優劣を判断することは難しい．今後，評価する単たことから，定量評価の単語データの考察と同様に，高フレーム

語数や被験者数を増やすことでより明確な影響を判断できると考である 𝐷 𝑤,𝑟 𝑎𝑤120 のほうが誤差の蓄積が起きやすく，正しく学習えられる．

できなかったと考えられる．そのため，より適切に学習を進める

𝐷 𝑑,𝑒𝑠𝑡60 によるモデルの定性評価の結果を図8に示す．

ためには，原データの手話以外のシーンが必要以上に含まれない

腕や手の位置の肯定的評価は1割程度でかなり低く，指先の位ように調整したり，学習回数を増やすことなどが必要である．

置や方向，手話と手話の間の移行の滑らかさ，手話の意味の理解についても肯定的な評価は3割程度にとどまった．実際の手話動

また， 3D関節位置の取得方法の違いによる定性評価への影響

6日本データベース学会データドリブンスタディーズ
一般論文

図7

Vol. 1, Article No. 2, 2023年 3月

𝐷 𝑤,𝑟 𝑎𝑤60 を用いたモデルによる単語「合格」の生成結果，左：予測結果，右：正解結果

図10

図11
図8

𝐷 𝑑,𝑒𝑠𝑡60 によるモデルの定性評価結果

𝐷 𝑑,𝑟 𝑎𝑤120 によるモデルの定性評価結果

𝐷 𝑑,𝑟 𝑎𝑤120 を用いたモデルによる対話「カットかどうかわからない」の生成結果，左：予測結果，右：正解結果

作では，図9のように腕や手の位置はやや一致しているところもあるが，指先の位置や方向が一致していない事例が多く確認でき
た．

図12

図9

𝐷 𝑑,𝑟 𝑎𝑤60 によるモデルの定性評価結果

が1割程度と，比較した手法の中では最も低い結果となった．実𝐷 𝑑,𝑒𝑠𝑡60 を用いたモデルによる対話「カットかどうかわ

際の手話動作では，図13のように腕や手の位置は概ね一致していからない」の生成結果，左：予測結果，右：正解結果

るものの，指先の位置や方向は必ずしも一致していない場合の方が多かった．ただ，動作全体としても滑らかさが感じられず，手𝐷 𝑑,𝑟 𝑎𝑤120 によるモデルの定性評価の結果を図10に示す．

話の意味としても比較手法の中では把握が最も困難であることが肯定的な評価は3割から5割程度であったが，比較した手法の中確認できた．

では最良の評価結果となった．特に，指先の位置や方向，手話と対話についての定性評価結果としては， 𝐷 𝑑,𝑟 𝑎𝑤120 によるモ

手話の間の移行の滑らかさにおいて他の手法より良好な結果が得

デルが最も高い結果を示し， 𝐷 𝑑,𝑒𝑠𝑡60 は 𝐷 𝑑,𝑟 𝑎𝑤60 よりもわずかられた．実際の手話動作では，図11のように腕や手の位置は概ねに良好な結果を示した． 評価者のなかには，「口形や表情なし

一致しているものの，指先の位置や方向は必ずしも一致していなで読み取ることが困難だった」や「正解結果の手話もわかりにい場合の方が多かった．ただ，動作全体としては滑らかであり，くかった」というコメントも見られた． 𝐷 𝑑,𝑟 𝑎𝑤120 によるモデ

手話の意味としては比較手法の中では良好なものとなっているこルのほうがやや高い評価となったのは， 𝐷 𝑑,𝑟 𝑎𝑤120 の手話動作
が 𝐷 𝑑,𝑒𝑠𝑡60 と 𝐷 𝑑,𝑟 𝑎𝑤60 の手話動作と比べて2倍のフレームレートとが確認できた．

𝐷 𝑑,𝑟 𝑎𝑤60 によるモデルの定性評価の結果を図12に示す．

であるため，再生時に動きがスローとなったため，細かな評価が肯定的な評価は3割弱にとどまっており，特に，手話と手話できていたと考えられる．また，対話の手話の読み取りには，口の間の移行の滑らかさや手話の意味の理解について肯定的評価

形や表情など非手指動作の影響もあるため，非手指動作がないス

7

日本データベース学会データドリブンスタディーズ
一般論文

Vol. 1, Article No. 2, 2023年 3月

7 参考文献参考文献

図13[1] 明彦米川. これから手話を学ぶ人のために. 言語, Vol. 27, No. 4, pp.
20–25, 04 1998.
[2] 総務省. 国内における視聴覚障害者のテレビ利用状況等に関する現状調査. 2006.
[3] Dilek Kayahan and Tunga Güngör. A hybrid translation system fromturkish spoken language to turkish sign language. In 2019 IEEE
International Symposium on INnovations in Intelligent SysTems andApplications (INISTA), pp. 1–6, 2019.
[4] Dimitris Kouremenos, Klimis S Ntalianis, Giorgos Siolas, and Andreas Stafylopatis. Statistical machine translation for greek to greek
sign language using parallel corpora produced via rule-based machinetranslation. In CIMA@ ICTAI, pp. 28–42, 2018.
[5] J.R.W. Glauerta, R. Elliott, S.J. Cox, and M. Sheard. Vanessa - a system for communication between deaf and hearing people. Technology
and Disability, Vol. 18, pp. 207–216, 12 2006.
[6] K. Karpouzis, G. Caridakis, S.-E. Fotinea, and E. Efthimiou. Educational resources and implementation of a greek sign language synthesis architecture. Computers & Education, Vol. 49, No. 1, pp. 54–74,
2007. Web3D Technologies in Learning, Education and Training.
[7] John Mcdonald, Rosalee Wolfe, Jerry Schnepp, Julie Hochgesang, Diana Gorman Jamrozik, Marie Stumbo, Larwan Berke, Melissa Bialek,
and Farah Thomas. An automated technique for real-time productionof lifelike animations of american sign language. Univers. Access Inf.
Soc., Vol. 15, No. 4, p. 551–566, nov 2016.
[8] Ben Saunders, Necati Cihan Camgöz, and Richard Bowden. Progressive transformers for end-to-end sign language production. CoRR,
Vol. abs/2004.14874, , 2020.
[9] Oscar Koller, Jens Forster, and Hermann Ney. Continuous sign language recognition: Towards large vocabulary statistical recognition
systems handling multiple signers. Computer Vision and Image Understanding, Vol. 141, pp. 108–125, 2015. Pose & Gesture.
[10] 工学院大学, University Kogakuin. 工学院大学多用途型日本手話言語データベース（KoSign）, 06 2021.
[11] 泰弘市田. 手話の言語学(1) (12). 言語, Vol. 34, No. 1, pp. 90–97, 01
2005.
[12] 晴美木村. 日本手話と日本語対応手話(手指日本語) : 間にある「深い谷」. 生活書院, 2011.
[13] 和美松岡. 日本手話で学ぶ手話言語学の基礎. くろしお出版, 2015.
[14] Fabian Bross and Daniel Hole. Scope-taking strategies and the orderof clausal categories in german sign language. Glossa: a journal ofgeneral linguistics, Vol. 2, pp. 1–30, 08 2017.
[15] Stephanie Stoll, Necati Camgoz, Simon Hadfield, and Richard Bowden. Text2sign: Towards sign language production using neural machine translation and generative adversarial networks. International
Journal of Computer Vision, 04 2020.
[16] Sarah Ebling, Necati Cihan Camgöz, Penny Boyes Braem, Katja Tissi,
Sandra Sidler-Miserez, Stephanie Stoll, Simon Hadfield, Tobias Haug,
Richard Bowden, Sandrine Tornay, et al. Smile:swiss german sign
language dataset. In Proceedings of the 11th International Conferenceon Language Resources and Evaluation (LREC) 2018. The European
Language Resources Association (ELRA), 2018.
[17] Zhe Cao, Gines Hidalgo, Tomas Simon, Shih-En Wei, and Yaser
Sheikh. Openpose: Realtime multi-person 2d pose estimation usingpart affinity fields. CoRR, Vol. abs/1812.08008, , 2018.
[18] Jan Zelinka and Jakub Kanis. Neural sign language synthesis: Words
are our glosses. In 2020 IEEE Winter Conference on Applications ofComputer Vision (WACV), pp. 3384–3392, 2020.
[19] Stephanie Stoll, Necati Camgoz, Simon Hadfield, and Richard Bowden. Sign language production using neural machine translation andgenerative adversarial networks. In British Machine Vision Conference (BMVC), 08 2018.

𝐷 𝑑,𝑟 𝑎𝑤60 を用いたモデルによる対話「カットかどうかわからない」の生成結果，左：予測結果，右：正解結果

ケルトンポーズのみの動きだと手話の読み取りが困難になり，単語データに及ばない評価結果になったと考えられる．以上から，今後は，表情や口形を加えたスケルトンポーズを生成したり，評
価動画の再生フレームレートを統一していくことが重要であると考えられる．

6 まとめ
テキストと手話動作系列の間のマッピングをEnd-to-endで直接 学 習 す るProgressive Transformers for End-to-End Sign Lan-guage Production(PTSLP)モデルに対し， 日本手話言語データ
セットKoSignから構築されたさまざまなデータセットを適用し，その性能を検証した．
実験では，定量評価だけでなく，複数名の手話母語者の協力を得て定性評価を実施し，生成された手話動作に対して多角的に分析した．
定量評価と定性評価を行った結果，単語データでは，𝐷 𝑤,𝑟 𝑎𝑤60

>𝐷 𝑤,𝑟 𝑎𝑤120 >𝐷 𝑤,𝑒𝑠𝑡60 ， 𝐷 𝑤,𝑒𝑠𝑡60 ≒ 𝐷 𝑤,𝑟 𝑎𝑤60 >𝐷 𝑤,𝑟 𝑎𝑤120 の順にそれぞれ精度・評価が高かった． 対話データでは， 𝐷 𝑑,𝑟 𝑎𝑤120>𝐷 𝑑,𝑟 𝑎𝑤60 >𝐷 𝑑,𝑒𝑠𝑡60 ， 𝐷 𝑑,𝑟 𝑎𝑤120 >𝐷 𝑑,𝑒𝑠𝑡60 ≒ 𝐷 𝑑,𝑟 𝑎𝑤60 の順にそ
れぞれ精度・評価が高かった．評価者の中には，口形や表情なし
では読み取ることが困難というコメントが見られた．
同 じ フ レ ー ム レ ー ト な ら， 2D関 節 点 か ら 推 定 す る よ り も，

3D関節位置を直接取得する場合の方が単語，対話のいずれでも常に高い結果を出す傾向が確認できる．関節位置の取得方法が同じなら，単語の場合，フレームレートが高くなるとその分誤差が累積しており，フレームレートが低い方がより高い結果を出している．一方，対話の場合，フレームレートが高い場合でも誤差の累積がそれほど起こらず，より高い結果を出している．この結果は，PTSLPが対話のようにある程度長い系列を扱う場合，より優れた性能を発揮することを示唆している．
今後は，特に対話を主とする大量かつ良質な手話データを収集することと，日本手話の特性となる非手指動作を考慮したデータセットを構築することが課題である．

謝辞
本研究の一部は科研費18K11557の助成を受けたものです．ここに記して感謝の意を表します．

8