平成１３年度
学士学位論文表情豊かな手話アニメーションの生成
Generation of the expressive sign language
animation

1020299

竹田 智史

指導教員

岡田

守

２００２年２月８日
高知工科大学 情報システム工学科

要旨
表情豊かな手話アニメーションの生成
竹田智史

社会の情報化が進む一方で，現在の情報機器で提供されている情報の大半は健聴者を対象としており，音や文字が中心である．そこで聴覚障害者のコミュニケーション手段である「手話」に注目し，日本語文字列から表情豊かな手話アニメーションを自動生成するシステムを検討する．
本研究では特に，手話において重要な感情表現の役割を担う「顔の表情」に焦点をあて，手話アニメーション生成システムの表情生成部分の検討を行い，システムを成功させる上での課題とその解決法を提案する．またそれに伴う表情の研究も行う．

キーワード

手話，表情，FACS

Abstract
Generation of the expressive sign language animation
Satoshi TAKEDA
While social computerization progresses ， sound and the character of mostinformation currently offered with the present information machines andequipment are centers for those who hear an ear． Then， paying attention to the"sign language" which is a hearing-impaired person's communication means， thesystem which generates the expressive sign language animation automaticallyfrom a Japanese character sequence is examined．
Especially in this research， it focus on "the expression of a face" which plays arole of an important feeling expression in sign language ， the expression
generation portion of a sign language animation generation system is examined，
and a subject and its solution when making a system successful are proposed．
Moreover， research of the expression accompanying it is also done．

Key words sigh language， expression， FACS

目次
第１章

研究の背景

1

第２章

研究の目的

2

第３章

国内外の研究状況

3

3．1

MimehandⅡ・・・・・・・・・・・・・・・・・・・・・・・・3

3．2

FACS（Facial Action Coding System）・・・・・・・・・・・・・3

3．3

表情を持つ顔モデルの合成手法・・・・・・・・・・・・・・・・5

第４章

システム構成7

4．1

データベース・・・・・・・・・・・・・・・・・・・・・・・・8

4．2

日本語入力・・・・・・・・・・・・・・・・・・・・・・・・・8

4．3

手話単語への分解・・・・・・・・・・・・・・・・・・・・・・8

4．4

検索・・・・・・・・・・・・・・・・・・・・・・・・・・・・8

4．5

パラメータを渡す・・・・・・・・・・・・・・・・・・・・・・9

4．6

表情生成・・・・・・・・・・・・・・・・・・・・・・・・・・9

第５章

10

表情

5．1

驚き・・・・・・・・・・・・・・・・・・・・・・・・・・・・12

5．2

恐怖・・・・・・・・・・・・・・・・・・・・・・・・・・・・12

5．3

嫌悪・・・・・・・・・・・・・・・・・・・・・・・・・・・・13

5．4

怒り・・・・・・・・・・・・・・・・・・・・・・・・・・・・13

5．5

幸福・・・・・・・・・・・・・・・・・・・・・・・・・・・・14

5．6

悲しみ・・・・・・・・・・・・・・・・・・・・・・・・・・・15
AU の割り当て

第６章

16

6．1

イソップ物語｢旅人とクマ｣の AU 記述・・・・・・・・・・・・・16

6．2

A U 割り当ての課題・・・・・・・・・・・・・・・・・・・・・19

6．2．1

表情設定・・・・・・・・・・・・・・・・・・・・・・・19

6．2．2 AU 割り当て方針・・・・・・・・・・・・・・・・・・・19
第７章

結論

21

謝辞

22

参考文献

23

図目次
4．1 システム構成図・・・・・・・・・・・・・・・・・・・・・・・・・・7

表目次
3．1 FACS の AU の一覧・・・・・・・・・・・・・・・・・・・・・・・・・4
3．2 表情を持つ顔モデルの合成手法の特徴・・・・・・・・・・・・・・・・・6

第１章
研究の背景
コンピュータの普及により情報機器を使ったあらゆるコミュニケーションが可能になったが，２００５年までに世界最先端の IT 国家を実現しようとする「e-Japan戦略」が進むにつれ，さらにコミュニケーションの可能性は広がってくる．今後，コンピュータがより一般化する上で重要なことは，誰でもが自由にそれらの情報機器を扱うことができるということである．もちろん聴覚障害者も例外ではない．しかし，現在の情報機器で提供されている情報の大半は健聴者を対象としており，音や文字が中心である．
現在，聴覚障害者は全国で，障害者手帳を持っている人で約３８万人，手帳のない人を含めると，約４００万人いると言われている．「e-Japan 戦略」に伴う行政の情報化が進むと，障害者にも使いやすい情報機器やサービスを作ることは，ますます重要な課題になるだろう．

第２章
研究の目的
本研究では聴覚障害者のコミュニケーション手段の一つである「手話」に注目する．
聴覚障害者にとって手話を使う利点は，健聴者が言葉を話すのと同じように，多くの情報と感情を効率的に伝えることができるということである．そして手話における感情伝達の役割の多くを担っているのが「顔の表情」である．
手話における顔の表情は非常に重要である．手話は生活の中で生み出された言葉で，画一的なものではない．よって年代の差によっても表現に違いがあり，方言もある．
また口をはっきり開けない伝統的手話のみを使う障害者の場合は，より顔の表情を読み取る必要がある．最近の研究では頭の動き，眉の上げ下げ，視線の方向などの動作が手話における文法的役割を果たしていると言われている．ま た最近は聾学校の教育により聴覚障害者は相手の口の形を見て言葉を読み取ることができる．本研究では特に取り上げていないが，手話アニメーションに言葉を伝える口の動きを加えることで，より分かりやすいコミュニケーションが可能になるだろう．このように顔から発信される情報はコミュニケーションにおいて非常に重要な役割を果たしているし，顔からの情報を柔軟に読み取ることができればコミュニケーションは格段に豊かになるのである．
本研究では情報機器を利用した，手話によるより豊かな情報提供を実現させるため，入力した日本語文字列から表情豊かな手話アニメーションを自動生成するシステムを想定し，研究を行う．特に，手話における感情表現の役割の多くを担っている「顔の表情」に焦点をあて，手話アニメーション生成システムの表情生成部分の研究を行い，問題提起とその解決法の提案を行う．またそれに伴う表情の研究も行う．

第３章
国内外の研究状況
本章では，本研究に関連する国内外の研究状況を紹介する．まず日立製作所の手話アニメーションソフト「MimehandⅡ」を紹介する．次に，表情の生成において必要になる FACS を紹介し，最後に表情を持つ顔モデルの合成手法を紹介する．

3．1 MimehandⅡ [1]日立製作所「MimehandⅡ」は３次元コンピュータグラフィックス手話アニメーシ
ョン生成ソフトであり，手話単語列を入力すると，手話単語基本辞書からデータを読み込み，滑らかな手話アニメーションを自動生成する．手話単語基本辞書には日常会話で必要となる手話単語約 6，000 語を収録している．アニメーション生成後に，細かい動きや単語の並べ替えなどの編集も可能である．｢MimehandⅡ｣の表情は「喜ぶ」「悲しむ」「驚く」など 7 種類の表情テンプレートに加え，ユーザが眉・目・口などを調整できるようになっているが，ネットワークを使用したリアルタイムコミュニケーションには適していないし，通常あまり意識しない表情を自分で調整することは困難であろう．また文章が長くなるほど，表情調整の作業は困難になる．よって表情の種類は実質７種類だけである．こういった表情に関する課題を本研究では取り上げる．
また｢MimehandⅡ｣は日本語対応手話に対応しており，日本手話との対応の面で課題が残っている．この課題は本研究では特に取り上げないが重要な課題である．

3．2 FACS（Facial Action Coding System） [2]
FACS とは心理学者 Ekman らによって提案された表情記述法で，情報工学の分野においても表情の研究で広く利用されている．顔を解剖学的に考慮して，表情に伴う顔の動きを AU(Action Unit)と呼ばれる約６０の最小単位に分解している．この AUの組み合わせで表情を記述しており，人間のあらゆる表情が記述可能だと言われている．表 3．1 は AU の一覧である．

表 3．1
顔の上部

FACS の AU の一覧(AU 番号と名称)

顔の下部

その他の部分

頭と目の位置1- 眉 の 内 側 を 上 げ 9- 鼻 に し わ を 寄 せ 8- 唇 同 士 を 接 近 さ 51-左を向くる

る

2- 眉 の 外 側 を 上 げ 10-上唇を上げる

せる
19-舌を見せる

52-右を向くる
4-眉を下げる

11-鼻唇溝を深める

21-首を緊張させる

53-頭を上げる5-上瞼を上げる

12-唇端を引張り上 29-下顎を突き出す

54-頭を下げる

げる
6-頬を持ち上げる

7-瞼を緊張させる

13-唇端を鋭く上げ 30-下顎を横へずら 55-左へ傾けるて頬を膨らますす14-えくぼを作る

31-歯をくいしばる

56-右へ傾ける

32-唇を噛む57-前へ出す

58-後ろへ引く

41-瞼を力なく下げ 15-唇端を下げるる
42-薄目

16-下顎を下げる

33-息を吹きかける

43-瞼を閉じる17-下顎を上げる

34-頬を息で膨らま 61-左を見る
す

44-細目

18-唇をすぼめる

35-頬を吸い込む

62-右を見る

45-まばたく20-唇を横に引っ張 36-舌で頬や唇を膨 63-上を見るるらます46-ウィンクする

22-唇を突き出す37-舌で唇をなめる

64-下を見る70-眉が見えない23-唇を固く閉じる

38-鼻孔を開く

65-斜視

71-目が見えない24-唇を押さえつけ 39-鼻孔を狭めるる
25-唇を開く(顎は下げない)
26-顎を下げて唇を開く
27-口を大きく開く

66-内斜視28-唇をかむ(吸い込む)

3．3 表情を持つ顔モデルの合成手法
近年，ヒューマンインタフェースへの応用として，情報工学の分野でも顔や表情の研究が盛んに行われている．顔から発信される多くの情報をどのようにして受け取り，
コンピュータに理解させるか，またどのようにリアルな顔画像を合成するか等が大きな課題として研究されている．[3]
一般的な顔画像の合成法は，人物の顔の形状に近似した３次元の顔形状モデルを用意し，更にそのモデルを何らかの方法によって変形したあと，テクスチャを張り付けることで表情を生成するという方法である．顔形状モデルに関しては，擬似的な表情筋を顔面上に配置したモデルや，皮膚，筋肉，骨格等の皮下組織の３次元階層構造を考慮したモデルなどがある．
表情生成の手法としては，あらかじめ定義された幾何学的な変形則を用いたものや，
皮膚や筋肉をばねとして表現し，物理的なモデリングを行うものなどが代表的である．
幾何学的な変形則を用いたものは，３次元の顔形状モデルを FACS に従った表情記述
則によって変形することで表情を持たせる．この手法は，比較的少ない計算量で処理が高速ではあるが，顔モデルに個々の特徴を反映させることは難しい．また解剖学的な顔の構造を考慮しているわけではないので，自然な表情を実現できないこともある．
一方の物理的なモデリングを行うものは，顔面の筋肉や皮膚を物理的なバネでモデリ
ングし，バネの伸縮によってモデルに表情を持たせる．これは，顔面皮膚下に走る筋
肉（表情筋）の伸縮によって表情を生成する人間の顔の構造に着目したものである．
この手法は，表情筋の動きを直接表現することが可能であり，表情の生成過程を滑らかに表現できる．しかしその反面，パラメータ調整が微妙かつ困難で，計算量が膨大になってしまう等の問題がある．
また上記のモデルでは，厳格な骨格形状のモデル化は行っていないため，解剖学的に見て，正確な筋肉の配置はなされていない．そこで，頭部の３次元 CT データを用
い，顔表面下の表情筋及び骨格の３次元構造を考慮した顔の物理モデルの，研究も行われている．
上記の「表情を持つ顔モデル」の合成手法をまとめると次のようになる．

◎擬似的な表情筋を顔面上に配置した顔モデル
・ 幾何学的な変形則を用いて表情を付ける．・・・・・・・・・・・A
・ 表情筋を表すバネの伸縮で表情を付ける．・・・・・・・・・・・B◎顔表面化の表情筋及び骨格の３次元構造を考慮した顔モデル（３次元 CT データを用いたもの）・・・C
それぞれの特徴を表 3．2 に表す．

表 3．2

表情を持つ顔モデル合成手法の特徴

A

B

C

無

無

無

骨格の有無
特徴

FACS

バネの伸縮で表情生 ３次元 CT データ
成

長所

短所

少ない計算量表情筋の動きを直接 解剖学的な顔構造

汎 用 性 に 富 ん だ 表 表現可

生体に近い表情生成

情

リアルな表情個々の顔の特徴無解剖学的な顔の構造を考慮してない

計算量が膨大計算量が膨大CT スキャンが必要

第４章
システム構成本研究は日本語文字列の入力から表情豊かな手話アニメーションを生成するシステムを想定して行う．ここではそのシステム構成の説明を行う．
アニメーション生成までの流れは以下のように考えている．
１．

表情を要する単語とその表情生成のためのパラメータをデータベー

スに登録
２．

日本語を入力３．

その日本語を手話に対応する単語に分解

４．

データベースに登録された単語があるか検索

５．

あれば，あらかじめ用意された顔モデルにパラメータを渡す

６．

パラメータをもとに表情生成

図 4．1

システム構成図

4．1 データベース
データベースには，豊かなコミュニケーションを行うために表情を必要とする単語と，その表情を生成するためのパラメータを登録する．表情が必要な単語には例えば次のようなものがある．
・ おいしい・・・・おいしそうな笑顔
・ 難しい・・・・・困った顔・ すっぱい・・・・口をすぼめる・ 見つける・・・・高いところを見る様に目線を上にする
これらのような単語にそれぞれ表情変化パラメータを設定する．パラメータにはFACS の AU を使用する．各単語の各 AU ごとに動きの強さを設定して，その AU の組み合わせで様々な表情を表現する．

4．2 日本語入力
手話には大別すると日本語対応手話と日本手話がある．日本語対応手話は中途失聴者が使う手話で，私達が普段話している日本語の順序どおりに手話の単語を当てはめていく方法である．一方，日本手話は生まれつきの聴覚障害者が使う手話で，「目で見て分かる言葉」であり，日本語の順序どおりに並んでいるわけではない．どちらの手話に対応させるにしても，手話ができる人とできない人の通訳の役割を果たすなら，私たちが普段使用している日本語をそのまま入力できるのが望ましい．

4．3 手話単語への分解
このシステムを日本手話に対応させる場合，この部分は非常に重要な課題となる．
まず入力された文字列を単語に分解し，品詞などの解析を行った後，手話の並びに並び替える必要があると思われる．またここでの文章解析は，日本手話への翻訳だけでなく，文章全体の意味を単語に反映させるのに有用であると思われるが，今回は研究対象外とする．

4．4 検索日本語文字列が手話単語に分解されたら，その手話単語がデータベースに登録されているか検索する．検索に引っかかる単語がつまり表情が必要な単語である．その他

の単語はここでは表情が不要で無表情ということにしたが，実際人間が対話するとき，顔が無表情であることはほとんどないであろう．このような単語をどうするかも重要な課題である．

4．5 パラメータを渡す
表情が必要な単語が見つかった場合は，データベースに登録されているその単語のパラメータを，あらかじめ用意しておいた顔モデルに渡す．

4．6 表情生成
顔モデルに渡されたパラメータをもとに表情を生成するが，実際の顔モデルや表情
生成は，今回は研究対象外とする．

第５章
表情
心理学の分野では心理治療などを応用目的として，昔から表情に関する研究が行われている．ここでは，表情に関する研究で広く利用されている FACS を提案した
Ekman と Friesen の著書[4]をもとに表情について述べる．
顔は多重信号，多重通信システムである．この例としてよく知られているのが，道路標識システムである．道路標識における多重信号とは形（三角形，円形など），色（赤，青，黄），印（言葉，絵，文字）の３タイプである．道路標識はこれら３タイプの信号を組み合わせて３タイプのメッセージ，規制，警告，情報，を効率よく伝達する．顔も同じように複数の信号で複数のメッセージを伝達している．顔は３タイプの信号を提供しており，静的なもの，ゆっくりとしたもの，素早いものに分類できる．
静的な信号とは，皮膚の色，顔型，骨格のように永続的な特徴である．ゆっくりとした信号とは，年を取るにつれて深く刻まれる皺や，筋肉の張りの変化など，時間と共に徐々に生ずる顔貌の変化である．そして素早い信号とは顔の筋肉の動きで生み出される顔貌の一時的な変化である．このような変化は，数秒間あるいは一秒の何分の一かの早さで顔に表れては消える．
また顔の多重通信は，感情，気分，態度，性格，知能，魅力性，年齢，性，人種な
どのメッセージを伝達している．
本研究で取り扱う「感情」は素早い信号により伝達される感情メッセージである．
感情メッセージは静的な信号やゆっくりとした信号からは伝達されないが，影響を及ぼすことがある．顔の特徴や人種，皮膚の色などの信号それ自体は感情メッセージを伝達しないが，その表情の解釈に多少の影響をもたらすのである．
感情メッセージに関連するもので感情表象というものがある．表象(emblem)とは普通に使う言葉や語句に相当する非常に特殊な非言語的な信号のことである．例えば，
同意のメッセージ「その通り」「もちろん」の意味でウィンクする信号のことである．
感情表象は感情と似ている．しかし，感情表象をしている人がその瞬間にそのように感じていないことを，見ている人が十分わかっている点で感情とは異なっている．つまり，その人はその感情を単に述べているだけなのである．嫌悪の感情表象は鼻に皺を寄せて表現する．これは嫌悪を表現する顔の表情の一部である．嫌悪の表情ではさらに口や目の表情を伴う．また感情表象は素早く表れすぐ消える．したがって本当の嫌悪の表情と混同されることはない．
手話における表情はこの感情表象の性質を伴うものが多い．例えば「友達」という単語の表情は大抵の場合，笑顔であるが，その瞬間実際に幸福の感情を抱いているわ
けではない．
また素早い顔の信号は会話の句読法の役割も果たしている．文章におけるコンマやピリオドのように，顔でアクセントをつけることにより，ある語句の強調などを行っている．手話においてもその単語を強調したい場合には一瞬その表情が強くなるかもしれない．
表情はその早さの面で微表情(micro-expressions)と巨視表情(macro-expressions)に分類できる．微表情は大変素早いものであり，わずか一秒の何分の一表れるだけである．人が会話する際，顔を常に直視しているという状態は稀なので，この微表情は見落とされることが多い．しかし微表情に注意していれば，人が隠そうとする感情までも認識できるのである．一方の巨視表情も数秒ほどしか続かず，５秒，１０秒続くことは稀である．もしそれほど続くならそれはよほど激しい感情に違いない．もしくは偽の表情かもしれない．
感情の分類はその曖昧さから未だ確立されてないが，Ekman らによって提案された基本６感情が広く利用されている．基本６感情は，怒り(anger)，嫌悪(disgust)，
恐怖(fear)，幸福(happiness)，悲しみ(sadness)，驚き(surprise)からなり，これらの感情が引き起こす表情を基本６表情という．
１００年少し前にチャールズ・ダーウィンは，感情を表す顔の表情は生物学的に決定され，人種，文化，言語に関係なく万国共通であり，それぞれの文化で別々に学習される性質のものではないとしている．この考えは強く反対されていたが，Ekman
らの科学的研究でこの考えが正しいと証明された．その実験とはアメリカ，日本，チリ，アルゼンチン，ブラジルの観察者たちに感情表出の写真を見せ，どの基本６表情にあてはまるか答えさせるというものだった．結果は言語や文化の違いに関係なく正
しく認識された．またキャロル・イザードも同時期に同じような実験を独自に行い，表情の万国共通性を示した．そして Ekman らはさらにこの考えの正当性を示す実験を行っている．マス・メディアとまったく接触せず，外界との接触もほとんどない視覚的な意味で孤立しているニューギニア南西部の高地の人たちを観察者にして同じような実験を行った．結果は恐怖と驚きを混同しただけで，それ以外は正しく認識した．これにより表情の万国共通性が証明された．

5．1

驚き

驚きが生じる原因は予期せぬ出来事と予期に反した出来事である．そして驚きはその性質上，時間的に最も短い感情である．驚きの原因が何か判明すれば，驚きは別の感情へと変化するからである．それが予期せぬ出来事であろうと予期に反した出来事であろうと，原因が喜ばしいものなら幸福の感情へ，攻撃心を刺激するものなら怒りの感情へ，脅威に感じるものなら恐怖の感情へと変化するのである．恐怖は驚きの感情の帰着する最も一般的な感情である．予期せぬ出来事が危険を伴う場合が多いので，驚きと恐怖が結びつくのかもしれない．
また，驚きはすぐ別の感情へ変化するので，顔にあらわれる表情は驚きと後続の感情の混合した表情が示されることが多い．同様に，驚きが生じた時点ですでに他の感情を抱いたなら，顔には混合した表情がはっきりとあらわれる．
驚きの大きさは出来事の性質に依存する．普段では考えられないことが起これば驚きは大きくなる．驚きの大きさ，それに伴う表情にはもちろん個人差がある．驚きを好む人と好まない人ではもちろん違うし，そういった個性の差で驚きに後続する感情も違ってくる．
次に驚きの顔貌について説明する．驚きの感情が起こったとき，顔には以下のような表情が見られる．
額：人によっては水平の皺ができる．
眉：全体的に持ち上げられる．それにより眉の下の皮膚が目立つ．
眼：大きく見開かれる．上瞼は上がり，下瞼は弛緩している．
下部：顎が下がり，口を開く．このとき唇は弛緩している．

5．2 恐怖恐怖と驚きの表情は似ているが，この２つの感情は３つの点で違っている．１つは，驚きが快・不快どちらにもなり得る感情なのに対し，恐怖は必ず不快な感情である．
２つ目は予期している出来事でも恐怖の感情を抱くということである．例えば歯科医

が患者を治療室に呼び入れるとき，治療の痛みは予期できることだが，恐怖の感情が生じる．３つ目は継続時間が長い場合もあるということだ．将来起こる恐怖の出来事が近づくにつれ，懸念，恐怖，恐慌といった具合に恐怖の度合いが大きくなっていく．
これは程度の違いはあるが，長く恐怖の感情が続いている．
恐怖の大きさは顔に顕著にあらわれる．恐怖の度が増すにつれ，目は大きく開き，口も大きく開く．
恐怖もまた他の感情と伴うことがある．幸福は以外に思われるかも知れないが，脅威が回避されれば，幸せな感じになれるのである．驚きは恐怖と混ざる最も一般的な感情である．恐怖心を引き起こすことは，予期せぬことが多いからである．恐怖と驚きの混合した顔は圧倒的に恐怖の印象の方が強い．
恐怖の顔貌は以下の通りである．
額：人によっては水平の皺ができる．
眉：引き上げられ，驚きよりも内側に寄る．これに伴い眉の外の角が真直ぐになる．
眼：開かれ緊張する．上瞼は引き上げられ，下瞼も緊張で引き上げられる．
下部：開口し，唇は緊張する．時には横に押し広げられる．またそれに伴い鼻から唇の端にかけてできる鼻唇溝が表れる．

5．3 嫌悪嫌悪の原因は味，臭い，感触等様々であるが，それには文化の差がある．例えばある文化圏では一般に食されている食べ物でも，ある文化圏では嫌悪感を引き起こされるかもしれない．嫌悪は怒りと関係が強く，怒りと共に経験されることがよくあり，また怒りを覆い隠すのに使われることもある．
嫌悪の顔貌は以下の通りである．
眉：全体的に下がるが，さほど重要な動きではない．
眼：下瞼が押し上げられる．
下部：上唇が持ち上がり，鼻の付け根に皺が現れる．下唇は持ち上げられわずかに突き出される，もしくは下げられわずかに突き出される．

5．4 怒り怒りの原因は，活動への干渉，身体的・精神的な脅威・自分の道徳観に反するもの

など，様々であるが，その表出は人それぞれである．女の子は誰に対しても怒りを表さないように育てられるが，男の子は脅威に立ち向かい，怒りを表すように育てられている．また怒りをいかにコントロールできるかでその人の人柄がわかる．「冷静な人」「短気な人」などがそれである．
怒りの強さは激怒から苛立ちまで様々である．人は激怒すると，顔が赤らみ，息遣
いが荒くなり，筋肉が緊張するなど，身体的変化を伴うであろう．
怒りの顔貌は以下の通りである．
眉：下げられ引き寄せられる．それに伴い眉間に皺が現れる．
眼：見開いて凝視するような感じで瞼は緊張している．
下部：口は怒りの状態により２つのパターンがある．１つは人を肉体的に攻撃するとき，怒りの叫びや言葉を抑制するときで，唇を固く閉じる．もう１つは怒りの叫びや言葉を伴うときで開口した四角い口である．

5．5 幸福
幸福は人々が最も経験したがっている感情で，肯定的感情である．幸福には主に４種類あり，快感による幸福，興奮による幸福，安心による幸福，そして自己概念を含む幸福である．自己概念を含む幸福とは，自分に対する見方を高める何かが起きるか，
好ましい自己概念を確認したときなどである．
控えめな喜び，歓喜など，幸福にも様々な種類がある．また笑いにも色々あり，微笑，含み笑い，普通の笑い，口を開けた笑い，涙を流すような笑いもある．しかし，笑いがそれだけで幸福の強さを示すわけではない．笑いを伴わない幸福もあるのである．また，微笑は他の感情を隠すために用いられることもある．
幸福の顔貌は以下の通りである．
眼：頬が押し上げられることにより眼が細くなる．また眼の下や目尻に皺ができる場
合もある．
口：唇の両端が横に広がり持ち上がる．大別して３種類あり，唇を閉じているとき，唇は離れているが歯が閉じているとき，歯が離れ口が大きく開いているときである．
またそれに伴い鼻唇溝ができる．

5．6 悲しみ悲しみの最も一般的なものは喪失である．愛する人や健康，チャンスなどあらゆるものの喪失である．悲しみは時間的に長い感情である．少なくとも何分か続き，何日間も続く場合もある．
悲しみの顔貌は以下のとおりである．
眉：内側の両端が上がり引き寄せられる．またこれは上瞼の動きを伴う．
眼：上瞼の内側の端が引き上げられる．また下瞼が持ち上がるとさらに強い悲しみになる．
下部：両端が下がる．

第６章
AU の割り当て
本研究ではデータベースに表情が必要な単語とその表情生成のためのパラメータを登録するが，多くの単語に，どのような AU の組み合わせを割り当てるかが重要な課題である．そこでイソップ物語[5]の単語を AU で記述することにより問題点を洗い出した．物語には，手話における表情が比較的多く必要な「旅人とクマ」を選択した．

6．1 イソップ物語「旅人とクマ」の AU 記述(1) 「仲良しの２人が歩いていると，」この文章を手話で表現すると，
（友達）
（２人）
（歩く）の３つの単語で表される．
「仲良し」の部分を手話では「友達」で表す．その「友達」という単語で表情が必要である．
①友達
表情は笑顔で，基本６表情に分類すると[幸福]である．[幸福]にも様々な表情があるが，ここでは微笑み程度でよい．微笑みは AU12 で表されるか，それに 25 が足される．

(2)「突然クマが出ました．」
この文章を手話で表現すると（驚く）（クマ）（けもの）である．「突然」を「驚く」で表し，「クマが出ました．」を「クマ」「けもの」の２つの単語で表す．ここで表情が必要な単語は「驚く」と「けもの」という単語である．
② 驚く
この単語は基本６表情の[驚き]そのものである．[驚き]は基本６表情の中で最も短時間の感情で，驚きの原因が判明すると，それは他の感情へと変わる．ここではクマに遭遇した驚きなので，後続の感情は[恐怖]である．よって感情の流れは[驚き]→[恐怖][驚き]の混合→[恐怖]になる．
[恐怖]と[驚き]の混合の表情は主に２種類ある．これは[驚き]の方が強いのか，[恐怖]の方が強いのかで分けられる．[驚き]の方が強い表情，つまり[恐怖]を伴う[驚き]は驚きの眉・眼と[恐怖]の口で表す．一方[恐怖]の方が強い表情，[驚き]の残る[恐怖]は[驚き]の眉と[恐怖]の眼・口で表す．これらをそれぞれ AU 記述すると，[恐怖]を伴う[驚き]は AU1，2，5，20，26(，11)で，[驚き]の残る[恐怖]は AU1，2，5，7，20，
26(，11)である．

② けもの「けもの」はクマが歩くように爪をたてて腕を前後させる動作で表す．これはクマになり人間を怖がらすような手話なので[怒り]に分類される．しかしこれは感情表象の性質が強い．本当にそのとき怒っているわけではなく，クマになりきり，人を脅かすような表情だからである．つまりクマのジェスチャーである．感情表象は通常，顔の一部で表すが，怒りは３領域すべてで表さなければその意味が曖昧になるという性質を持っている．よって眉，眼の領域の表情を弱く表出することでこれに対応する．
怒りの口は状況により２種類あり，口を硬く閉じているときと，叫ぶように開口しているときである．人がクマのジェスチャーをするとき，牙を剥き出しにするような感じで，開口し歯を見せるだろう．よって AU は，4 弱，5 弱，7 弱，10 強，26 強の組み合わせにする．

(3) 「１人はあわてて木に登りました．」
この文章を手話で表現すると（１人）（あわてる）（木）（登る）である．表情が必
要なのは「あわてる」という単語である．
④あわてる「あわてる」自体は[驚き]から生起する感情で[驚き]に分類される．実際に参考文
献[4]で，[驚き]の眉が単独で数秒表出した場合，狼狽の表象である場合があると示している．しかしこの「あわてる」では驚きの原因が既に判明しており，感情は[驚き]から[恐怖]に変化している．ここで基本的な「恐怖」の表情にどうやって，よりあわてた感じを表現するかが問題である．

(4)「もう１人は逃げ遅れてしまいました．」
この文章を手話で表現すると（別の）
（男）
（逃げる）
（しまった）である．「逃げ遅れてしまいました」を「逃げる」「しまった」の２つの単語で表現するが，「しまった」

という単語で表情が必要である．
⑤ しまった
この単語は失敗したような顔で[悲しみ]に分類できる．これも[恐怖]が伴うので混合した表情が必要である．[恐怖]と[悲しみ]の混合した表情は[悲しみ]の眉，眼と[恐怖]の口で表される．よって AU1，4，15 で記述する．
(5)「仕方がないので死んだまねをしました．」
この文章を手話で表現すると（仕方がない）
（〜ので）
（死ぬ）
（物まね）である．
「仕方がない」と「死ぬ」で表情が必要である．
⑥ 仕方がない「仕方がない」は諦め顔で[悲しみ]に分類できる．第２の感情があるならやはり[恐怖]であるが，参考文献[4]に掲載されている[悲しみ]と[恐怖]が混合した写真(p．155．
55 図)からは「諦め」という言葉は浮かんでこない．今後この感情に適合した表情の分析が必要である．

⑦ 死ぬ「死ぬ」の表情は，目を閉じた無表情であり，特に感情はない．よって AU43 のみで表現する．

(6)「しばらくの間，うろついたクマは何か耳元でささやくと，行ってしまいました．」
この文章を手話で表現すると（少し）（時間）（クマ）（けもの）（ささやく）（行く）である．
ここでは「うろついたクマ」を「クマ」「けもの」の２単語で表すが，「けもの」は上記と同様の手話である．しかし，文章全体の流れを考慮すると，その表情にも若干違いが出てくる．ここでは木に登っている男がうろつくクマを客観的に見ているような意味が含まれており，上記の「けもの」よりも[怒り]の表情は弱くてよい．よって AUは，4 弱，5 弱，7 弱，10 弱，26 弱の組み合わせにする．

(7)「木から降りてきた男は尋ねました．クマは君に何と言ったの．」
この文章を手話で表現すると（木から降りる）（尋ねる）（クマ）（ささやく）（あな

た）である．ここでは特に表情は必要ない．

(8)「自分だけ逃げる奴は友達にするなと言われたよ．」
この文章を手話で表現すると（自分）（〜だけ）（逃げる）（友達）（だめ）（言われた）である．ここでは「言われた」で表情が必要である．
⑧ 言われた
これは注意されて恐れているような表情で，[恐怖]に分類される．しかし文章全体の意味を考慮すれば，ここは物語のオチで，皮肉が含まれており，苦笑のような表情になる．苦笑の表情は一般的に[怒り]の眉・眼と[幸福]の下部で表される．よって AU4，
5，7，12，25 で記述する．

6．2 AU 割り当ての課題｢旅人とクマ｣を AU で記述する作業により明らかになった，AU 割り当ての方針と課題を説明する．

6．2．1 表情設定
感情には無数の状態があり，それに伴う表情も多種多様である．そして時間的に長い表情，短い表情様々である．そのような数多くの表情を実現しなければ表情豊かなコミュニケーションは不可能である．本研究では単語ごとに表情を設定するが，その単語１つだけを分析して AU の組み合わせを決定する方法では，豊かなコミュニケー
ションは実現できない．入力した文章からその意味を読み取り，それを単語に反映させ，様々な表情を生成しなくてはいけない．この文章全体の意味を反映させる方法が今後の重要な課題である．

6．2．2 AU 割り当て方針
今回は顔を独立した動きの可能な３つの領域に分割して考えている．１つ目は眉・額を含む顔の上部，２つ目は眼・瞼・鼻根の部分，３つ目は頬・口・鼻の大部分・顎を含む顔の下部である．基本６表情にはそれぞれその表情が特徴的に表れる領域があり，どの領域にどの感情を表すかによって複数の感情が混合した表情を表現する．さらに，感情の強さに応じて AU をどれだけ動かすか決めることによって表情の強弱をつけ，多くの種類の表情を実現する．

第７章
結論
本研究では，日 本語文字列から表情豊かな手話アニメーションを自動生成するシス
テムの表情生成に関する研究を行った．まずシステム構成を提案した．データベースに，表情を要する単語とその表情生成のためのパラメータを登録することにした．そのパラメータには FACS の AU を使用する．またデータベース内の単語に AU を設定するにあたり，問題となることを明らかにするためにイソップ物語「旅人とクマ」の単語を AU 記述した．この AU 記述の際，表情の分析が必要になので，主に基本６表
情などの表情に関する研究を行った．「旅人とクマ」の AU 記述では，８つの単語で表情が必要と判断した．この８つの単語を細かく分析し，どのような表情が最も相応
しいかを考え，AU 記述を目指した．そしてこの作業から AU の割り当て方針を提案した．顔の領域の３分割と複数の表情の混合，そして AU の強さを設定することにより，多種多様で複雑な表情を生成できると考えた．
今後の課題としては、まずデータベースの構築である．もっと多くの文章と単語を分析し，デー多数を増やすことが必要である．そして実際にシステムを開発し，豊かな表情が生成できるか，違和感のないコミュニケーションが可能かなどの評価を行わなければならない．

謝辞
本研究をまとめるにあたり，多大なご指導を頂いた岡田守教授，篠森敬三助教授，
福本昌弘助教授に心から感謝いたします．また，お忙しい中ご協力頂いた岡田研究室の仲間である西山彰則氏，原大祐氏，秋田正氏，麻生太郎氏，鎌倉崇之氏，田畑博紀
氏にも感謝いたします．

参考文献[1]http://www. Hitachi.co.jp/Prod/comp/app/shuwa[2]間瀬健二， 動画像処理を用いた新しいマンマシンインタフェースの研究[3]青木義満，橋本周司， 解剖学的知見に基づく顔の物理モデリングによる表情生成 ，
電子情報通信学会論文誌

vol．J82-A ，no．4，April 1994

[4]Ekman，P．，Friesen，W．V．，工藤力訳， 表情分析入門 ，誠信書房(1987)[5]藤野信行， 手話で話そうイソップ物語 ，福村出版，1998[6]田中清， 写真と図でおぼえる手話で話そう ，西東社，2001[7]田中清， 写真と絵でおぼえる手話 ，西東社，2000[8]催昌正，原島博，武部幹， 顔の３次元モデルに基づく表情の記述と合成 ，
信学論（A）， vol．J73-A ， n o ．7 ， p p ．1270-1280 ，July 1990[9]下田宏，國弘威，吉川榮和， 動的顔画像からのリアルタイム表情認識システムの試作