言語処理学会 第25回年次大会 発表論文集 (2019年3月)

動画からのうなずきの半自動検出と談話研究への応用
大塚容子＊・宇佐美まゆみ＊＊・伊藤敏＊＊＊＊
岐阜聖徳学園大学外国語学部＊＊
国立国語研究所＊＊＊
岐阜聖徳学園大学経済情報学部
ykotsuka@gifu.shotoku.ac.jp
usamima@ninjal.ac.jp
itous@gifu.shotoku.ac.jp

１ はじめに倣い、「話し手が発話権を行使している間に、談話の研究は録画技術の発展に伴い、音聞き手が話し手から送られた情報を共有し声だけではなく、非言語行動も含めて行わたことを伝える表現」とする。堀口（1997）

れるようになってきている。とりわけ、日本

では音声表現のみを考察の対象としている

語の聞き手の言語行動の代表として挙げらが、音声表現と同様の機能をもつと考えられるあいづちは、非言語行動を含めて研究れる聞き手の非言語行動も考察の対象としされることが多い（メイナード（1993）、た。そして、あいづちを①非言語行動のみにKita and Ide（2007）など）。

よるあいづち、②音声のみによるあいづち、

本稿では、まず、自然会話における非言語③非言語行動と音声表現が同時に現れるあ行動を含めたあいづちの研究（大塚（2016）

いづち（同時あいづち）、の 3 種類に分類しを紹介すると共にその限界を示す。そして、た。非言語行動によるあいづちは、頭を上か動画からうなずきを半自動で検出する試み

ら下に動かす動作と、下から上に動かす動（伊藤・大塚・鷲野（2018））について説明作の両者を含む。頭を横に動かす動作、聞きし、その試みの談話研究への応用について返しとして機能する動作、笑い、微笑みなど検討する。

は含まない。
2 人の会話参加者の 3 種類のあいづちの

２ 大塚（2016）の目視によるあいづちの研究

頻度を調査したところ、いずれの会話参加大塚（2016）は、男性の日本語母語話者った。1 人の会話参加者は、非言語行動のみ

2 人による 30 分の初対面会話におけるあいのあいづちが総あいづち数の 83％を占めづち行動を調査した。本会話は、通常のビデており、もう 1 人の会話参加者は非言語行

オカメラによって録画されたもので、会話動のみのあいづちが総あいづち数の 52％参加者の正面の顔を把握することはできなを占め、同時あいづちは 42％を占めていた。

いが、2 人の会話参加者の顔の動きはほぼ

この調査により、非言語行動によるあいづ目視で確認することができる。

ちが自然会話において多数用いられているあいづちは、堀口（1997：42）の定義に者も音声のみによるあいづちの頻度は低かことがわかる。

― 868 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

非言語によるあいづち（非言語のみと同時あいづちの両者を含む）がどのようなとするのは難易度が高い。そこで提案されたのが顔の検出である。

きに頻繁に打たれるのかを調べてみると、

2 つ目は、顔を検出するための録画方法

非言語のあいづちは自分が相手に発話を促である。顔を検出するためには、顔の正面動し、その相手が話し手となったときの発話画が必要になる。会話は通常、会話参加者が中であることが多いことがわかった。

向かい合って行われる。このような状況でさらに、聞き手が音声によるあいづちを会話参加者の正面動画を得る方法として提打つタイミングについて調査してみると、案されたのが、全天球 360 度カメラによる直前の話し手が視線を聞き手に向けるとい録画方法である。会話参加者の正面にカメった、何らかの非言語的なサインを送ってラを置き、会話参加者にはカメラを見て会いることが多いようである。

話するように要請する。録画した動画を平非言語行動のあいづちが話し手の発話中面に展開することによって、会話参加者のに打たれることが多いこと、聞き手の音声正面の顔の動画を取り出すことが可能になによるあいづちは話し手からの何らかの非るのである。

言語的なサインによって誘発されることが顔の動きから非言語行動のあいづちを検多いことを踏まえると、画像を見ながら話出するツールとして Dlib を用いた。半自動

し手、聞き手の双方の動きを正確に把握す検出では、まず顔を検出して、顔のパーツのることには限界がある。特に、通常のビデオ座標を取得する。非言語行動のあいづちをカメラでの映像の場合、会話参加者の正面顔の上から下への動き、あるいは下から上の画像が得られにくいので、どのような顔への動きと定義していることから、顔の構の動きの変化があったのかを正確に記述す

成要素のうち、鼻の頂点座標の垂直方向へるのは極めて難しい。の変動と、顔の向き（pitch）の時間変化によって非言語行動のあいづちの自動検出が３ 伊藤・大塚・鷲野（2018）の半自動の顔の動きの検出の試み可能になる。
2 人による会話の 1 人のみを録画し、鼻伊藤・大塚・鷲野（2018）は、大塚（2016）の位置と pitch の時間変化を検出したとこの問題点を解決する方法として考えられたろ、両者がほぼ一致した。また、目視による試みである。ここでは、非言語行動のあいづ

非言語行動のあいづちと自動検出された非ちの半自動検出に向けて、2 つの提案がさ言語行動のあいづちの生起時間もほぼ一致れている。

することが確かめられた。

1 つは検出する身体部位についてである。

図 1 は、全天球 360 度カメラで録画した

目視で非言語行動のあいづちを観察する場

男性と女性による会話（約 17 秒）の鼻の動合、横顔であっても後ろ向きであっても、頭きと pitch を示したものである。両者が一部の動きであいづちを打っているかどうか致していることがわかる。

を推測できるが、頭部の動きを自動で検出― 869 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

図１ 2 人会話における鼻の位置と pitch

４ BTSJ による文字化資料と非言語行動のあいづち
図 1 で示した約 17 秒の会話を宇佐美（2012）に倣い、文字化すると以下のようになる。
M が男性話者、F が女性話者であることを表わす。

ライン 発話文

発話
文終発話者話

内番号

番号

11

*

M

はい。

22*

F

はい。

33*

M

まあ、こんなんで、あのう。

44*

Fそうですね。

55-1/

M

どういうふうになるか,,

66*

F

はい。

75-2/

M

わかりませんけれど,,

87*

F

はい。

95-3/

M

あのう、いわゆる、ノンバーバルコミュニケーションの,,

108*

F

はい。

115-4/

M

研究を、あの、やるときに,,

129*

F

はい。

135-5/M

ちょっと助かれば,,容了― 870 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

1410*F

はい。

155-6/M

いいかなと,,

1611*

F

はい。

175-7*

M思いますね。

1812*

F

大変助かると思います。

1913-1/

M

またやっていただくと,,

20

14

*

F

はい、ありがとうございます。

2113-2*Mはい。

伊藤・大塚・鷲野（2018）ではライン番号

則 （ Basic Transcription System for

3 が分析の開始時点である。上記の会話ではJapanese:BTSJ）2011 年版』

男性が主要な話し手、女性が聞き手になっ宇佐美まゆみ（2012）「BTSJ 文字化入力支援・ている。聞き手のあいづち行動に着目する

自動集計・複数ファイル自動集計システ

ために、図 1 には女性の発話場所が▲でマムセット（2012 年改訂版）」『人間の相互ークされている。このマークは 9 か所あり、作用研究のための多言語会話コーパスの

ライン番号 9 以降の F の発話回数と同時で構築とその語用論的分析方法の開発』平ある。そして、F の「はい」というあいづち

成 20－22 年度科学研究費補助金基盤研発話と非言語行動としてのあいづちが連動

究 B（課題番号 20320072）研究成果していることがわかる。伊藤・大塚・鷲野

大塚容子（2016）「初対面の 2 人会話におけ（2018）のシステムでは、非言語行動としてるあいづち行動―非言語行動を含めて―」のあいづちの発生時間が秒単位で計測可能『岐阜聖徳学園大学紀要＜外国語学部編である。

＞』第 55 集、71－83 頁

また、全天球 360 度カメラを使用するこメイナード、泉子・K（1993）『会話分析』とにより、会話参加者の正面の顔の動きが観察可能であることから、話し手がどのよくろしお出版
Kita,SotaroandIde,

うなタイミングで、どのような方法で聞きSachiko(2007) Nodding, aizuchi, and手にあいづち（非言語行動を含む）を促してfinal particles inいるのかも観察可能となる。

Japanese conversation reflects theideology of communication and social

参考文献relationship.

伊藤敏・大塚容子・鷲野嘉映（2018）「動画39, 1242-1254.

Journal of Pragmatics

から顔の動きを抽出する試み―対話解析・修学行動評価への適用を目指して―」教育システム情報学会第 43 回全国大会
2018 年 9 月 6 日於北星学園大学
宇佐美まゆみ（2011）『基本的な文字化の原― 871 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.