顔の運動情報が表情認知に与える効果に関する心理学的研究
─ 視覚空間周波数分析を用いて ─
立教大学文学部＊、立教大学文学研究科＊＊

長田久＊、本佳間元康＊＊This experiment was performed on the effects of motion information on the recognition of facial expressions by
the use of band-pass filtered images. Two spatial frequency band levels (low and high), two facial expressions (happyand sad), two modes of presentation (dynamic and static), and three morphing rates (10, 30 and 50%) were used, andeight subjects took part in the experiment. A 2AFC task was employed to judge the facial expression. With respect
to happy faces of 10 to 30% morphing rates presented at the low spatial frequency band level, the percentage ofcorrect responses was higher in the dynamic mode of presentation than in the static mode. With respect to sad faces,
too, the performance was higher in the dynamic mode than in the case of static faces of 10 to 30% morphing rates
presented at the high spatial frequency band level. These results suggest that motion information plays an importantrole in the recognition of facial expressions. And face motion has defferent influence on the recognition of two facial
expressions.
Key words: recognition of facial expression, motion information, band-pass filtered facial image

１．緒

像の鮮明度に依存した．Kamachi, Bruce, Mukaida, Gyoba,

言Yoshikawa & Akamatu ５）では顔動画像を使って，表情変倒立効果１） やサッチャー錯視２） に見られるように，顔化の速度が表情印象の強さに影響を与えることを明らかにの表情認知に関する従来の心理学的研究では目や口などのした．同じ表情でも変化速度が異なると表情の印象が変部分の布置（部分間の位置関係；configuration）が重要で化するので，顔の運動情報が表象レベルで影響を与えてあるとされてきた．これらは顔刺激として静止画像を使っいることを彼女らは主張した．また Thornton & Kourtzi ６）

た多くの研究から得られた貴重な知見であるが，研究の多は，人物同定課題と表情同定課題で顔の運動情報が異なる

くは，眉，目，口またはそれらの間の空間的な布置関係な効果を持つことを見いだし，同じ運動情報がそれぞれの課どの検討に焦点をあてている．我々の日常のコミュニケー

題で異なる処理をしていると述べている．さらに筆者らション場面を想起してみると，顔の表情は常に連続的に変Honma & Osada ７）は表情認知における運動情報の効果をわり，瞬時に動くダイナミックな表情を我々はすばやく認

時系列的に検討し，顔の運動情報は表情認知の正答率を高知している．事実，ダイナミックな顔の表情の変化は日常め，表情の判断を促進すると報告した．以上の研究から，生活における意思伝達や豊かな感情表現には不可欠なもの

顔の運動情報は顔及び表情認知の重要な手がかりになってであり，時々刻々変化する表情の意味を理解することは極いることが明らかになってきた．しかし，顔の運動情報がめて重要な日常のコミュニケーション行動の一つである．

表情の全体情報と部分情報のどちらに影響を与えているか

ひとたび運動の知覚が障害を受けると眼や口の動きが知覚を具体的に検討した研究は極めて少ない．

できないため，会話中に話すタイミングを失い，満足なコ一方，Osada & Nagasaka ８, ９,10）では静止画像の表情判ミュニケーションがとれなくなる３）．それほど顔の動きは断を行っている実験参加者の眼球運動を測定し，多くの注重要な意味を持っている．
近年では静止画像研究に加えて，視点が顔の皮溝（facial lines; 以下シワとする）に沿って移顔の動きに着目した研究が行われるようになった．

動することを明らかにした．すなわち表情の変化によってでは動画像を使って顔の動きを提生じる表情シワが表情の読み取りに重要な役割を果たして示し，人物の同定を行わせた．ネガフィルムの手法を使っいた．従来の研究では，顔に対する眼球運動は眉，目，鼻，て顔画像を不鮮明にすると，静止画像に比べて動画像の正口などに集中するとされ，表情の読み取りは個々の部分の答率が上昇した（以下，運動情報効果）．その効果は顔画表情に応じた特徴変化とそれらの関係（例えば，つり上がKnight & Johnston４）

Psychological research for the effects
of dynamic information of a face on therecognition of facial expression by spatialfrequency analysis.
Yoshihisa Osada, Motoyasu Honma＊＊＊＊＊

Faculty of Letters, Rikkyo University＊＊
Department of Psychology, Graduate
School of Letters, Rikkyo University

った眉とへの字口による怒りの表情）によってなされると考えられている．Osada らの発見は，眼球運動が個々の部分よりもむしろ個々の部分を動かしている表情筋によって作られる顔の表面の隆起とそれによる表情シワに集中することを明らかにしたものであった．
表情が動くとき，シワは表情の読み取りでどのような役割を果たしているのであろうか．表情を動かしている表情− 52 −

顔の運動情報が表情認知に与える効果に関する心理学的研究 −視覚空間周波数分析を用いて−筋が連続的に変化すると，それによってシワは動的に変化

本研究では顔動画像の空間周波数帯域を操作することにする．表情の変化に伴ってダイナミックに変化するシワはよって観察者に与える手がかりを全体情報と部分情報に限表情認知の重要な手がかりとなる可能性が高い．

定し，顔の運動情報が表情認知の正答率に及ぼす効果を検２．実
2.1. 目討した．また，シワの動きが表情認知にどのような影響を験与えるかを論じた．

的

我々を取り囲む視覚世界のすべての視覚刺激は 2 次元の2.2. 方

濃淡強度値の分布として記述でき，フーリエ解析によって

2. 2.1. 実験参加者周波数の異なる正弦波成分に分解することができる．視覚の空間周波数分析は視覚刺激に含まれる情報や，人や動物法

正常な視力を有する大学生と大学院生計 8 名が参加した（男性４名，女性４名）．の視覚システムの感受性を記述するための有効な手段である．また，視覚システムは入力した情報を低空間周波数，2. 2.2. 装置高空間周波数に分解し，それぞれ別の処理チャンネルが存コンピュータ（Apple PowerMac G4）によって作成した在することを示唆する多くの研究がある 11,12,13）．顔の処理

顔刺激を刺激提示用モニター（SONY 17GS）に提示した．

過程における全体的処理，部分的処理といった二つの区別

顔刺激の提示，カテゴリー反応の記録，実験試行の制御のは，低空間周波数，高空間周波数と言い換えることができソフトウェアは VISION SHELL PPC（HARVARD 大学製）る．空間周波数によって，顔に含まれる情報をより定量的を使用した．実験参加者はチンレストによって頭部を固定に制限して表すことができる．高空間周波数成分は細かいされ，テンキーボードとマウスによって反応した．

解像度をもちパターンの部分的な情報を含むが，これに対し，低空間周波数成分は粗い解像度をもち全体的な形態や2. 2.3. 刺激陰影などの大まかな情報から成る．シワに着目すると，高長田・石井・秋田 17）が作成した静止画像を動画像の第空間周波数成分で表された顔画像にはシワの陰影情報はほ１フレーム（真顔）と最終フレーム（特定のプロトタイプ

とんど含まれないが，低空間周波数成分で表された顔画像表情）に用いた．これらの静止画像は，頭髪をグラフィにはシワの陰影情報は残されている（Fig. １-a,b 参照）．

ック処理で除去した男性２名と女性２名のそれぞれの表時系列分析を行って顔の運動情報の効果を検討した．例

情 happy（嬉しさ），表情 sad（悲しみ），真顔の３種の表

えば，静止画像の真顔をモーフィング率０％，表情 happy

情写真を MORPH version2.5（GRYPHON 社製）によってをモーフィング率 100％とし，モーフィング率 50％の動合成した平均顔画像であった．これらの静止画像に２オク画像は真顔から表情 happy まで変化する動画像を 1/2 まターブの２次元フーリエフィルターを通過させて，高空で提示した（Fig. ２参照）
．また，静止画像による先行研間周波数帯域（中心周波数 28.86 cycle/face width）と低空

究では表情間で処理過程が異なることが示唆されている間周波数帯域（中心周波数 4.65 cycle/face width）の平均14,15,16）．例えば，笑顔は低空間周波数だけで表情判断が可顔画像とした（Fig. １-a,b 参照）．さらにそれら顔画像を能だが，それ以外の表情は高空間周波数を必要とする．そ加工してそれぞれの表情に応じた動画像を作成した．動画のため，笑顔（以下，表情 happy）と悲しみ顔（以下，表像をそれぞれ真顔から happy，真顔から sad へ連続的に変情 sad）を用いて比較・検討した．

化させた（Fig. ２参照）．提示時間はモーフィング率で示し，モーフィング率 10％で 336ms, 30％で 1037ms, 50％でFig.1-a：Low spatial frequency

Fig.1-b：High spatial frequency

Fig. 1 Fig.1-a は低空間周波数の表情 happy の画像，Fig.1-b は高空間周波数の表情 happy の画像である．なお実験に用いた画像よりもコントラストを強めてある．

Fig. 2 動画像刺激の説明図．横軸はモーフィング率（時間）を示す．

− 53 −

1687ms であった．観察距離は 57cm であり，顔画像の大きさは視角度数 18.0°×12.5°であった．

[ 高空間周波数（Fig. ４-b 参照）]

表情（F（1,79）=10.67，p<0.01），提示パターン（F（1,79）=8.42，p<0.01），モーフィング率（F（2,158）=7.88, p<0.01）の主効果はそれぞれ有意で2. 2.4. 手続きあった．提示パターンの主効果について，モーフィング各試行開始時に画面中央に凝視点を 1000ms 提示し，率ごとに Turkey の多重比較を行った結果，モーフィング500-1000ms のランダムな時間後に顔刺激を提示した．実率 10％と 30％，モーフィング率 10％と 50％，及びモー験参加者の課題は顔画像の表情をできるだけ速く判断し，フィング率 30％と 50％の間で正答率に有意差が見られた

キー押しによる反応をすることであった．反応後に happy（各々 , p<0.05）．さらに各表情のモーフィング率ごとに１か sad かの表情を強制選択法で判断させた（Fig. ３参照）．

要因の分散分析を行った結果，表情 sad の正答率は，モ

実験参加者１人当たりの試行数は，表情；２× 動画像・ーフィング率 10％（F（1,159）=22.81, p<0.01），30％（F（1,159）

静止画像パターン（以下，提示パターン）；２× モーフィ=10.34, p<0.01）において静止画像と動画像に有意差が認ング率；３× 空間周波数帯域；２×10 試行の計 240 試行められ，モーフィング率 50％においては有意差が認めらであった．

れなかった．これに対し，表情 happy の正答率は，全て３.

結のモーフィング率において静止画像と動画像に有意差が認

果められなかった．すなわち，高空間周波数の表情 sad では，Fig. ４-a,b は空間周波数別に実験参加者全員の平均正答

静止画像の正答率は低かったが，動画像の正答率は高かっ率を示したものである．
実験参加者全員の正答率について，た．他方，高空間周波数の表情 happy の正答率は，モーフ

空間周波数別に表情 × 提示パターン × モーフィング率のィング率に関わらず静止画像と動画像との差はなかった．

３要因分散分析を行った．

４.

[ 低空間周波数（Fig. ４-a 参照）] 表情（F（1,79）=12.31，考察p<0.01），提示パターン（F（1,79）=7.43，p<0.01），モーフィ

低空間周波数の顔画像では表情 happy で運動情報効果

ング率（F（2,158）=6.29，p<0.01）の主効果はそれぞれ有意が認められたが，表情 sad ではその効果はなかった．他方，であった．提示パターンの主効果について，モーフィン

高空間周波数の顔画像では表情 sad で運動情報効果が認めグ率ごとに Turkey の多重比較を行った結果，モーフィンられたが，表情 happy ではその効果はなかった．すなわ

グ率 10％と 50％，モーフィング率 10％と 30％，及びモ

ち顔の運動情報は表情の読み取りに積極的な効果を持つーフィング率 30％と 50％の間で正答率に有意差が見られが，表情 happy では低空間周波数でのみ効果があったのた（各々 , p<0.05）．さらに各表情のモーフィング率ごとに対して，表情 sad では高空間周波数でのみ効果があった．に１要因の分散分析を行った結果，
表情 happy の正答率は，表情間で正答率が異なるという結果は，従来の静止画モーフィング率 10％（F（1,159）=22.81，p<0.01），30％（F（1,159）

像研究と一致する 14,15,16）．例えば，Endo, Endo, Kirita &=10.34，p<0.01）において動画像と静止画像に有意差が認

Maruyama16）では，低空間周波数の顔画像（表情 happy,められ，モーフィング率 50％においては有意差がなかっ表情 sad, 真顔）を使って表情の弁別課題を行った結果，た．これに対し，表情 sad の正答率は，全てのモーフィン

表情 happy と真顔の弁別課題では低空間周波数帯域が低グ率において静止画像と動画像に有意差は認められなかった．

くても高い正答率を維持したのに対し，表情 sad と真顔ですなわち，低空間周波数の表情 happy の正答率は，静止画像は低空間周波数帯域が低くなるにしたがい，正答率は大きでは低かったが，動画像では高かった．他方，低空間周波数く低下した．この結果から，表情 happy を特定する情報の表情 sad の正答率は，モーフィング率に関わらず，静止画は低空間周波数帯域（全体情報）にも含まれているが，表像と動画像の正答率の差は変化せず，ほぼ横ばいであった．

Fig. 3

一試行の提示順序．

Fig. 4 実験結 . Fig.4-a は低空間周波数 , Fig.4-b は高空間周波数の結 である．縦軸は平均正答率，横軸はモーフィング率を示す．実線は表情 happy, 点線は表情 sad，□マークは動画像提示，○マークは静止画像提示を示す．

− 54 −

顔の運動情報が表情認知に与える効果に関する心理学的研究 −視覚空間周波数分析を用いて−

情 sad を特定するためには，高空間周波数帯域（部分情報）（引用文献）の情報が必要であることが明らかになった．動画像を用い

１） Yin, R. K. :Looking at upside-down faces. Journal ofExperimental Psychology, 81, 141-145, 1969．

た本実験においても，表情 happy の正答率は高空間周波数に比べ低空間周波数で高かった．この結果から高空間周波

２） Tompson, P. :Margaret Thatcher: a new illusion.
Perception, 9, 483-484, 1980.

数の表情 happy では運動情報の効果はなく，低空間周波数の表情 happy では運動情報の効果が生じると考えられる．

３） Z i h l , J . , v o n C a r m o n D . , & M a i , N . : S e l e c t i v e

対照的に，表情 sad では低空間周波数の全てのモーフィン

disturbance of movement vision after bilateral brain

グ率で動画像と静止画像の正答率に差が認められず，高空damage. Brain, 106, 313-340, 1983.

間周波数においてのみ有意差が認められた．この結果から

４） Knight, B., & Johnston, A. :The role of movement in

低空間周波数の表情 sad では運動情報の効果はなく，高空the recognition of famous faces. Visual Cognition, 4, 265-

間周波数の表情 sad においては運動情報の効果が生じると

273, 1997.
５） Kamachi, M., Bruce, V., Mukaida, S., Gyoba, J.,考えられる．
顔の運動情報効果が生じるのは，特定の表情認知に応じ

Yoshikawa, S., & Akamatu, S. :Dynamic properties

た空間周波数帯域が存在していることを基盤としていると

influence the perception of facial expressions. Perception,

考えられる．静止画像における特定の表情の読み取りにセ30, 875-887, 2001.

ンシィティブな周波数帯域をもつ表情が動くことによっ

６） Thornton, I.M., & Kourtzi, Z. :A matching advantageて，運動のまとまりとして体制化して，読み取りを促進し

for dynamic human faces. Perception, 31, 113-132, 2002.
７） Honma, M., & Osada, Y. :The effect of the dynamicていると言えるかもしれない．

property on the recognition of moving facial expressions.

空間周波数分析から得られた結果をシワの有無に置き換

Journal of Vision, 3(9), 835, 2004.

えて推論してみよう．シワの陰影がある低空間周波数の表
情 happy で運動情報の効果が生じた．表情 happy を認知

８） Osada, Y., Nagasaka, Y., & Yamazaki, R. :The effects

するには，全体情報が大きな手がかりとなっており，シワof partially masked faces on judgements of emotion onの動きを効率よく使用していることが考えられる．これにeyemovements. Investigative Ophthalmology & Visual対し，シワの陰影が存在しない高空間周波数の結果は，表Science, 39, S172, 1998.

情 sad で効果が生じた．表情 sad を認知するには，シワの９） Osada, Y., & Nagasaka, Y. :Fixation on facial lines plays

動きを多くは使用していない可能性を示す．しかし，高空

an important role in judgements of facial expressions.

間周波数にはシワ以外の情報が残されており，今回の実験

Perception, 28, supplement , 115, 1999.

結果だけからでは詳細な言及はできない．眼球運動測定な

10） Osada, Y., & Nagasaka, Y. :Judgments of facial
expressions studied with the use of band-pass-filteredどを用いた詳細な検討が今後に残された課題である．

morphed photographs and eye movements. Perception,

シワは表情筋の一部が作っているものであり，表情筋の29, supplement , 7, 2000.

神経解剖学からの知見がシワの動きの効果に関して新たな考察を導くことが考えられる．例えば，眼輪筋と呼ばれる

11） Cambell, F. W. C., & Robson, J. :Application of Fourier

まぶたを開閉する筋肉は目尻のシワを作り，口輪筋と呼ばanalysis to the visibility of gratings. Journal of Physiology,197, 551-566, 1968.

れる唇を取り囲む筋肉は口元の複雑で微妙な表情を作り出す 18）．こうした表情筋の動きが表情認知に大きな影響を

12） Graham, N., ＆ Nachmias, J. :Detection of grating

与えていることは十分に考えられることであり，その表情

patterns containing two spatial frequencies: A comparison

筋が作るシワの動きは表情認知には欠かせないものであof single channel and multiple channel models. Visionる．これら表情筋およびシワの物理的な測定を行い，それResearch, 11, 251-259, 1971.

らの物理的布置や変化量を分析し，心理データと比較する

13） Wilson, H. R., ＆ Bergen, J. R. :A four-mechanism

ことによって，シワの動きの効果が明確になることが期待

model for spatial vision. Vision Research, 19, 19-32, 1979.
14） Ladavas, E., Umilta, C., & Ricci-Bitti, P.E. :Evidence

できる．

for sex differences in right hemisphere dominance for

相手の感情を読み取る際に，表情は個人の内的な状態をemotions. Neuropsychologia, 18, 361-366, 1980.

他者に伝える信号伝達機能の役割を担っている．特に，シワの動きによって作られる情報が表情認知においてどのよ

15） Kiouac, G., & Dor_, F. Y. :Accuracy and latency of

うな役割を果たしているのか，その検討がノンバーバルコ

judgment of facial expressions of emotions. Perceptual

ミュニケーションとしての顔認知メカニズム解明の一つのand Motor Skills, 57, 683-686, 1983.

鍵となろう．

16） Endo, N., Endo, M., Kirita, T., & Maruyama, K.

− 55 −

成果報告書 , 2000.

:The effects of expression on face recognition. Tohoku

18） Rinn, W, E. :Neuropsychology of facial expression. In R.

Psychologica Folia, 51, 1-10, 1992.
: 眼球運動測定実験

S. Feldman & B. Rinn(Eds.), Fundamentals of nonverbalに基づいた顔の表情認知過程に関する研究 . 平成 8・9・

behavior, Cambridge, Cambridge University Press, 1989,

10 年度

3-30.

17） 長田佳久 , 石井巌 , 秋田喜代美
文部省科学研究費補助金

基盤研究 (B) 研究− 56 −