HAI シンポジウム 2022
Human-Agent Interaction Symposium 2022

P-32

ソーシャルワーカーの非言語行動スキルの対話ロボットへの実装
Implementing Social Workers’ Nonverbal Behavioral Skills
into Interactive Robots
森木海翔 1∗楊潔 1 菊池浩史 1 菊池英明 1
MORIKI Kaito1 YANG Jie1 KIKUCHI Hirofumi1 KIKUCHI Hideaki1
早稲田大学
WASEDA University1

1

Abstract: 本研究では、雑談中の笑い場面においてソーシャルワーカーが行う、身体動作を用いて大きく反応する非言語行動スキルについて、対話ロボットへ機械学習を用いて実装を行った。そして自動化した対話ロボットによる非言語行動スキルが人間に対して有効に働くかを雑談対話実験にて調査した。その結果、対話ロボットのスキルの有効性が示唆され、本研究で構築した機械学習モデルを使用することでロボットへの不安感が強い人に対してロボットが気を配っているように感じる効果がより高まる傾向が見られた。

1

はじめに

日本は総人口 1 億 2617 万人に対して高齢者の割合が28.4% [1] であり、超高齢社会の基準である 21% を優に超えている。高齢者の人口は年々上昇傾向で、それに伴って認知症有病率も年々上昇しており、2025 年には高齢者の約 5 人に 1 人が認知症であるとされている[2]。認知症の予防や進行の抑制に対して早急な対策が必要である。認知症予防の方法の一つに対話コミュニケーションがある。介護施設では介護士やソーシャルワーカーによる傾聴対話が行われているが、忙しさなどから十分な人員と時間の確保が難しい [3] [4]。そこで高齢者の話し相手になる対話ロボットの活躍が期待されている [5]。介護施設では介護士やソーシャルワーカーが高齢者とコミュニケーションを取る際に、身体動作を用いて大きく反応するような非言語的なコミュニケーションスキルが用いられている。また、人間同士の対話であれば「大きく反応する」ことで、「話を聞いてもらえるという実感を与える」ことも明らかになっている。しかし、対話ロボットの身体動作を用いて「大きく反応する」ことによって人間に与えられる効果は明らかになっていない。
そこで本研究では、雑談中の笑い場面においてソーシャルワーカーが行う「大きく反応する」という身体動作を機械学習を用いて対話ロボットに実装し、話を聞いてもらえるという実感を与えることができるか調査することを目的とする。
∗ 連絡先：早稲田大学〒 359-1192 埼玉県所沢市三ケ島 2-579-15
E-mail: onelinergm@fuji.waseda.jp

2

ソーシャルワーカーの具体的な非言語行動スキルの調査

ソーシャルワーカーの具体的な非言語行動スキルを明らかにするために、科研費研究課題「認知症高齢者に有効なソーシャルワーク面談のプロトコル開発」の研究の一環として撮影された対話映像を使用した。ソーシャルワーカーと認知症高齢者の対話映像から、高齢者がソーシャルワーカーに対して笑える話を行い、ソーシャルワーカーがその話に対して反応をするような笑い場面にて、ソーシャルワーカーが上半身を大きく仰け反って笑う非言語行動によるスキルを用いて反応していることがわかった。図 1、2 にその様子を示す。

図 1: SW：通常場面

図 2: SW：笑い場面

身体動作を用いた非言語行動スキルを使用して高齢者に配慮を行うことと、職歴の長さには相関があり、職歴が長いソーシャルワーカーはそのスキルを使用した配慮の意識が高い [6]。今回の映像では、10 年以上の経験を持つプロのソーシャルワーカーが、笑い場面で上半身を大きく仰け反って笑う非言語行動を行なっていた。以上の理由からその非言語行動をソーシャルワーカーのスキルとして見做した。

3

対話ロボットへの非言語行動スキルの実装

4

非言語行動スキルの自動化及び雑談対話ロボットの構築

非言語行動スキルの機械学習による自動化及び雑談対話を可能にする応答生成モデルを使用した雑談対話ロボットの構築を行った。システム概要図を以下に示す (図 4)。なお、音声検出や Cloud 音声認識、音声合成はロボホンに備わっているデフォルトの機能を使用した。ロボットは、笑い判別モデルによって「大きな反応」をするかしないかを決定し、実行後、応答生成モデルによって生成された応答を返すことで対話を行う。

本研究では対話ロボットのシステム構築を行うにあたり、シャープ株式会社の開発専用ロボホン (SR-X002)[7]を採用した。開発専用ロボホンでは標準で搭載されているモーションに加え、使用者が気軽にモーションを自作することができる「Motion Works for ロボホン」というアプリケーションを使用することができ、意図している動きを開発専用ロボホンにプログラムをすることが可能である。そして対話ロボットへ以下の２点を踏まえて振る舞いの実装を行った。

• 対話映像から明らかになったソーシャルワーカーの上半身を大きく仰け反って笑う非言語行動ス
キル• 人は笑うときに上下方向に振動する [8]図 4: システム概要図

実際に作成した身体動作を以下に示す (図 3)。

4.1

笑い判別モデル

本研究では、自然言語処理のディープラーニングモデルである BERT[10] に、名大会話コーパス [11] を使用して作成したデータセットでファインチューニングすることで笑い判別モデルを作成した。名大会話コーパスは雑談会話が書き起こしされているコーパスであり、笑いのアノテーションが多く使用されている。それらのアノテーションを使用し、笑いを引き起こす発話を判別できるようにデータセットを作成し、ファインチューニングを行った。
図 3: ロボットによる上半身を大きく仰け反って笑う非言語行動

4.1.1
実装した対話ロボットの非言語行動スキルは、WOZ法を用いた対話実験にて人間に対して有効であるということが示唆されている [9]。以上から、非言語行動スキルの機械学習を用いた自動化を行う。

データセット以下に名大会話コーパスを使用して作成した笑い判別データセットの例を示す (表 1)。
入力文章の後に笑いのアノテーションがあるものにはラベル 1、笑いでないものにはラベル 0 としてデータセットを作成している。表 1 のラベル 1 の入力文章
は文脈として、「海外旅行に行ったときに泊まったホテルが最初広くていいなと思ったが、細かいところが掃表 1: 名大会話コーパスで作成したデータセットの例除されていなくて汚かったから泊まった本人が掃除してきてしまった」という面白い話である。ベル 0 の入力文章は、笑いのアノテーションが含まれない日常的な会話をかぶりが無いようにプログラムし作成している。
また、笑いのラベル（ラベル 1）が付いたデータ数は4836 データ、笑いではないラベル（ラベル 0）が付いたデータ数は 5045 データの合計 9881 データから成るデータセットを作成した。

4.1.2

したデータセットをランダムに「学習データ：検証デー
タ：テストデータ = 6：2：2」の割合で分割し、ミニバッチ学習法にて学習させた。学習時のバッチサイズは32、検証、テスト時のバッチサイズは 256 とした。また、学習には Hugging Face の Transformers ライブラ
リである BertForSequenceClassiﬁcation[13] を使用し、損失関数にはクロスエントロピー誤差、最適化関数はAdam を用い、学習率は 1e−5 とした。また、学習は10Epoch 行い、その中で最も損失が低かったモデルをベストモデルとして用いた。
作成したデータセットを用いてファインチューニングを行ったモデルのテスト結果は以下の通りになった(表 2)。
表 2: 作成したデータセットでファインチューニングしたモデルのテスト結果

前処理

データセットを作成するための前処理として以下を行った。

• ”@”、”%com”から始まる収録場所や日付、被験者の付加情報を削除• ”F001：”、”M001：”などの被験者番号の削除• ”＊”、”＊＊”、”＊＊＊”などの伏字を BERT の”[UNK]”トークンに変換• ”＜間＞”の削除• ”＜音楽＞”の削除• ”＜音声中断＞”の削除

またラベル 0 の分類スコアとラベル 1 の分類スコアを比較してどちらか高い方の値を採用してしまうと、「こんばんは」という発話入力でも、判別モデルは笑いである 1 を出力してしまう事象が見られた。しかし、1の分類スコアを観察したところ、笑えるような発話と、挨拶や本来笑いが生まれない通常の発話ではスコアに開きが見られた。そこで、1 に分類されるスコアに対して閾値を 0.5 とした所、Recall は 0.71 まで下がったものの、Precision を 0.80 まで向上させることができた。
以上のようにモデルが笑うと判別した際に面白い発話である確率の向上が見られたので、本研究では閾値を設けることで対処した。

• ”＜録音中断＞”の削除

応答生成モデル• ”＜テープ反転＞”の削除

4.2• ”＜中 略＞”の削除

応答生成モデルは、NTT コミュニケーション科学基礎研究所が公開している japanese-dialog-transformers[14]を使用した。このモデルは現在日本でオープンソース化されている他の雑談対話システムと比較して応答生成の精度がかなり高い。よって本研究でもこの応答生成モデルを用いた。

• ”（うん）”、”（うんうん）”、”（へー）”などの（）で囲まれた相槌の削除

4.1.3

BERT によるファインチューニング作成したデータセットを使用して事前学習済みモデルに対してファインチューニングを行い、モデル構築を行った。モデル構築には、機械学習モデルを構築するライブラリである PyTorch とそのラッパーである PyTorchLightning を用いた。また、BERT の日本語事前学習済みモデルには東北大学が公開している cl-tohoku/bertbase-japanese-whole-word-masking[12] を用いた。作成

5

雑談対話ロボットによる対話実験

ソーシャルワーカーの非言語行動スキルである「大きな反応」を機械学習を用いて自動化した雑談対話ロボットを用いて、人間同士の対話と同様に話を聞いてもらえるという実感を与える度合い、そして「Agent’sAttentiveness（あなたは、ロボットがあなたを意識し、気を配ってくれているように感じた）」についての調査を行った。Agent’s Attentiveness は、Fitrianie らの人工ソーシャルエージェントと人間とのインタラクション研究でよく使用される評価尺度のメタサーベイ [15]でまとめられた尺度の中に含まれる。本実験を通じて、話を聞いてもらえるという実感という独自の尺度と既に確立されて幅広く使用されている尺度を用いて、対話ロボットの自動化された「大きな反応」が人間に与える影響の調査も行った。また、話を聞いてもらえるという実感の得点と、Agent’s Attentiveness の得点の相関をはかり、独自の尺度の正当性についての調査も行った。

5.1

仮説

ロボホンにデフォルトで備え付けられている自動付与モーションを行った。
本実験は被験者内実験での効果を比較をするため、１つの種類の制御方法につき２回ずつの対話、合計６回の対話を被験者に行ってもらった。被験者数は 11 人、一回の対話は 15 ターン（5 分程度）であった。
また、被験者がロボットに対して抱いている印象が異なり、評価実験に影響を及ぼす可能性が考えられる。
そこで対話実験を始める前にロボット否定的態度尺度(NARS)[16] とロボット不安尺度 (RAS)[17] の質問紙へ回答していただいた。被験者は１つの対話が終わるごとに、1〜100 のスケールの話を聞いてもらえるという実感の度合いと、11 段階のリッカート尺度の Agent’sAttentiveness を評価した。
対話実験の様子を図 5 に示す。

本実験における仮説は以下の 3 つである。

1. 笑い場面において「大きな反応」を自動化した対話ロボットでも人間同士の対話と同様に話を聞いてもらえるという実感を与える度合いが増加する。
2. 笑い場面において「大きな反応」を自動化した対話ロボットは、「大きな反応」を行わない対話ロボットよりも Agent’s Attentiveness の評価が高い。
3. 話を聞いてもらえるという実感を与える度合いと、Agent’s Attentiveness の評価には相関がある。

5.2

実験方法

本実験では、被験者に対話ロボットと雑談対話を行ってもらった。その雑談対話の中で被験者が共有する面白い話に対してロボットが、以下の 3 種類の制御方法により「大きな反応」をするかしないかを決定し、実行後、応答生成モデルによって生成された応答を返すことで対話を行った。

1. 笑い判別モデル
2. 笑い判別モデルで笑いに判別された上でランダム(以下、ランダム)
3. 笑いに反応しないもの
上記の 3 種類の制御を使用した異なる反応による話を聞いてもらえるという実感を与える度合いの比較、及び Agent’s Attentiveness の評価の比較を行い仮説を検証した。上記以外の発話・動作については、全て応答生成モデルによって生成された内容を発話しながら

図 5: 対話実験の様子
また、本実験の流れについては以下の通りである。

1. ロボット否定的態度尺度、ロボット不安尺度質問
紙への回答
2. 対話練習3. 対話実験
4. 話を聞いてもらえるという実感の度合い、Agent’sAttentiveness への回答
5. 3 → 4 のサイクルを６回繰り返し
3 種類の制御は順序効果を考慮してランダムに行った。
対話実験は、被験者がロボットに「こんにちは。」と話しかけて対話を開始し、15 ターン経った後対話ロボッ
トから「あ、そろそろ時間だね。お話してくれてありがとう。またお話ししようね。」という発話が返ってきたら終了する。そして、5 ターン経ち、ロボットから「ところで最近何か面白いことあった？」という発話を行い、被験者から面白い話をしてもらえるようにした。

また、実験で行われた 3 種類の制御方法による実際対話の一部を図 6 に示す。図 6 の灰色の網掛け部分のロボット発話は、被検者からの面白い発話の引き出し及び対話終了の合図の発話が含まれるものである。

た。その結果、いずれかの水準間で有意差があることが分かった (F (2,63)=4.85 , p=.01)。続いて、どの水準間で差があるのかを調べるために、Tukey 法による多重比較を行った。その結果、「笑い判別モデル」と「笑い反応なし」の間で有意差が見られた (p=.02)。また、「ランダム」と「笑い反応なし」の間で有意差が見られた (p=.03)。「笑い判別モデル」と「ランダム」の間には有意差は見られなかった (p=.9)。また、3 種類の各制
御方法の話を聞いてもらえるという実感の度合いの分
布と平均はそれぞれ図 7 と図 8 のようになった。

図 7: 3 種類の制御方法による話を聞いてもらえるという実感の度合いの分布

図 6: 3 種類の制御方法で行われた実際の対話例

5.3

結果

5.3.1

仮説の検証

被験者 11 人による合計 66 データを用いて分析を行った。仮説 1 を検証するために、3 種類の制御方法（「笑い判別モデル」「ランダム」「笑い反応なし」）を要因とし、話を聞いてもらえるという実感の度合いの得点を従属変数とする対応ありの一元配置分散分析を行っ

図 8: 3 種類の制御方法による話を聞いてもらえるという実感の度合いの平均以上の結果から、「笑い判別モデル」と「ランダム」の間では有意差は得られなかったものの、「笑い反応なし」と比較して対話中に自動で「大きな反応」を行うことで人間に対して有効に働くことが示唆された。よって仮説１の「笑い場面において「大きな反応」を自動化した対話ロボットでも人間同士の対話と同様に話を聞いてもらえるという実感を与える度合いが増加する。」

という仮説は支持された。
続いて仮説 2 を検証するために、3 種類の制御方法（「笑い判別モデル」「ランダム」「笑い反応なし」）を要因とし、Agent’s Attentiveness の得点を従属変数とする対応ありの一元配置分散分析を行った。その結果、いずれかの水準間で有意差があることが分かった(F (2,63)=11.68 , p<.001)。続いて、どの水準間で差があるのかを調べるために、Tukey 法による多重比較を行った。その結果、「笑い判別モデル」と「笑い反応なし」の間で有意差が見られた (p=.001)。また、「ランダム」と「笑い反応なし」の間で有意差が見られた(p=.001)。「笑い判別モデル」と「ランダム」の間には有意差は見られなかった (p=.9)。また、3 種類の各制御方法の話を聞いてもらえるという実感の度合いの分布と平均はそれぞれ図 9 と図 10 のようになった。

反応」を行うことで Agent’s Attentiveness の評価が高くなる」ことが示唆された。よって仮説 2 の「笑い場面において「大きな反応」を自動化した対話ロボットは、「大きな反応」を行わない対話ロボットよりも Agent’sAttentiveness の評価が高い。」という仮説は支持された。
また、仮説 3 を検証するために、話を聞いてもらえるという実感の度合いの得点と、Agent’s Attentivenessの得点との相関分析を行った。その結果、中程度の正の相関が見られ (r = 0.45, N =66, p<.001)(図 11)、仮説 3 は支持された。

図 11: 話を聞いてもらえるという実感の度合いの得点と Agent’s Attentiveness の得点の散布図

図 9: 3 種類の制御方法による Agent’s Attentivenessの得点の分布

図 10: 3 種類の制御方法による Agent’s Attentivenessの得点の平均以上の結果から、「笑い判別モデル」と「ランダム」は「笑い反応なし」と比較して対話中に自動で「大きな5.3.2

被験者特性が結果に与える影響の調査

続いて、被験者特性が話を聞いてもらえるという実感の度合い及び Agent’s Attentiveness の評価に影響を与えているかどうかを調査した。
「笑い判別モデル」を使用した際の話を聞いてもらえるという実感の度合いの合計得点及び Agent’s Attentiveness の合計得点と、被験者特性を表す NARS 及び RAS の得点との相関分析を行った。その結果、Agent’s Attentiveness の合計得点と、RAS の得点との間に強い正の相関が見られた (r =0.73, N =11, p=.01)。また、Agent’s Attentiveness の合計得点と RAS の下位尺度の「ロボット会話能力不安」と、「対話不安」の得点との間にそれぞれ強い正の相関が見られた (r = 0.82, N =11, p<.01、r = 0.77, N =11,p<.01)。以上から、「ロボットが会話中に的外れなことを話すのではないか」といったロボットの会話能力に不安を抱えていたり、「ロボットに話しかけれた時にどう答えたらよいのか」といったロボットとの対話への不安感が強い人に対して、笑い判別モデルを使用してロボットが対話中に「大きな反応」を行うことで Agent’sAttentiveness の効果をより高めることが示唆された。

6

おわりに実験結果から、対話中にロボットが人の笑い話に対して自動で「大きく反応する」ことで、人間同士の対話同様に話を聞いてもらえるという実感の度合いが増加すること、及び Agent’s Attentiveness の得点が高くなることが分かった。実験終了後に、参加した被験者に実験の感想を聞いたところ、2 人の被験者からは「笑ってくれるの嬉しい」ということや、また別の 2 人の被験者からは、「最初は笑いの動作が大きくて少し驚いたけど、慣れてきたらちゃんと話を聞いてもらえていることが伝わってきた」といったポジティブな回答が得られた。これらの回答は本研究が目指しているロボットの自動化した「大きな反応」が人間に対して有効に働くことが示唆されており、今回の実験結果と合致するものであった。
しかし、今回は「笑い判別モデル」と「ランダム」の条件で、話を聞いてもらえるという実感の度合いやAgent’s Attentiveness の得点に差が無いという結果になってしまった。これは、「ランダム」制御の方はあくまでも「笑い判別モデル」で笑いに判別したうえで、笑う動作を行うかどうかがランダムであったので、笑う場所としては「笑い判別モデル」と似たような部分で笑うようになっていたことが、差が出なかった要因ではないかと考える。
また、今回の実験で用いた「笑い判別モデル」が、実験者から見て笑いが生まれるような場所ではない部分で笑ってしまうことがあった。例えば、被験者発話の「大阪のたこ焼きはおいしいですか」という発話や、「僕は天ぷらは好きです」といったような料理の話題に対して笑ってしまう場面があった。これは、今回笑い判別モデルを作成するにあたって学習データとして使用
した名大会話コーパスでの会話において、食事の場面や食事の話題で笑いが生まれている部分が比較的多く、食の話題が笑いに繋がりやすいと学習してしまったことが原因である可能性が考えられた。
さらに、実験後、一人の被験者が「ロボットが返答するまでの待ち時間が怖い。返答がちゃんと返ってくるのか不安だった。」というネガティブな感想を述べたことがあった。確かに今回の実験では、対話ロボットのハードウェア、ソフトウェアの制約により返答に 5〜8 秒という長い時間がかかってしまった。実験前に教示としてロボットの返答には 5〜8 秒かかると伝えており、実験開始前に対話練習も行ってはいるものの、やはり人間同士の対話のように直後にフィードバックをもらえないことに不安感を覚えるのは想像に難くない。
今後、処理速度を向上させた対話ロボットを使用して返答への時間を減少させたり、ユーザが話し中に相槌などのフィードバックを入れる等工夫が必要である。

謝辞
本研究は JSPS 科研費 JP19H01577 の助成を受けたものです。

参考文献[1] 総務省統計局. 統計トピックス no.121 統計からみた我が国の高齢者. https://www.stat.go.
jp/data/topics/pdf/topics121.pdf, 2019. (2021/01/08 閲覧).
[2] 内 閣 府.
平 成 29 年 版 高 齢 社 会 白 書（ 概 要版 ）.
https://www8.cao.go.jp/kourei/
whitepaper/w-2017/gaiyou/pdf/1s2s_03.
pdf, 2017. ( 2021/01/08 閲覧).
[3] 大庭輝. コミュニケーションを通した認知症のアセスメント. 高齢者のケアと行動科学, Vol. 23, pp.
2–10, 2018.
[4] Ryuji Yamazaki, Hiroko Kase, Shuichi Nishio,and Hiroshi Ishiguro. A conversational robotic
approach to dementia symptoms: Measuring its
eﬀect on older adults. In Proceedings of the 7thInternational Conference on Human-Agent Interaction, HAI 2019, Kyoto, Japan, October 0610, 2019, pp. 110–117, 2019.
[5] 大川弥生. 介護分野におけるコミュニケーションロボットの活用に関する大規模実証試験報告書. Technical report, Technical report, Technical report,
国立研究開発法人産業技術総合研究所, 2017.
[6] 山田紀代美, 西田公昭. 介護スタッフが認知症高齢者に用いるコミュニケーション技法の特徴とその関連要因. 日本看護研究学会雑誌, Vol. 30, No. 4,pp. 4,85–4,91, 2007.
[7] シャー プ 株 式 会 社.
ロ ボ ホ ン.
https://robohon.com/product/robohon/sr-x002/customer.php, 3 2018. ( 2021/01/08 閲覧).
[8] 船山智, 港隆史, 石黒浩ほか. 操作者の笑い声に基づく遠隔操作型アンドロイドの笑い動作生成. 情報処理学会論文誌, Vol. 58, No. 4, pp. 932–944,2017.
[9] 森木海翔, 楊潔, 菊池浩史, 菊池英明. ソーシャ
ルワーカーの非言語行動スキルの対話ロボットへの実装に向けた検討. 人工知能学会全国大会論文集 第 35 回全国大会 (2021), pp. 4E3OS11c03–
4E3OS11c03. 一般社団法人 人工知能学会, 2021.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee,and Kristina Toutanova. Bert: Pre-training ofdeep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805,
2018.
[11] Itsuko Fujimura, Shoju Chiba, and Mieko Ohso.
Lexical and grammatical features of spoken andwritten japanese in contrast: Exploring a lexical
proﬁling approach to comparing spoken and written corpora. In Proceedings of the VIIth GSCP
International Conference. Speech and Corpora,
pp. 393–398, 2012.
[12] 東 北 大 学.
https://
huggingface.co/cl-tohoku/
bert-base-japanese-whole-word-masking.
(2021/11/25 閲覧).
[13] HuggingFace.
https://huggingface.
co/transformers/model_doc/bert.
html#bertforsequenceclassification.
(2021/11/25 閲覧).
[14] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba,Hideharu Nakajima, and Toyomi Meguro.
Empirical analysis of training strategies oftransformer-based japanese chit-chat systems,
2021.
[15] Siska Fitrianie, Merijn Bruijnes, DeborahRichards, Andrea Bönsch, and Willem-PaulBrinkman. The 19 unifying questionnaire constructs of artiﬁcial social agents: An iva community analysis. In Proceedings of the 20th ACM
International Conference on Intelligent VirtualAgents, pp. 1–8, 2020.
[16] Tatsuya Nomura, Takayuki Kanda, and Tomohiro Suzuki. Experimental investigation into inﬂuence of negative attitudes toward robots onhuman–robot interaction. Ai & Society, Vol. 20,No. 2, pp. 138–150, 2006.
[17] Tatsuya Nomura, Tomohiro Suzuki, Takayuki
Kanda, and Kensuke Kato. Measurement of anxiety toward robots. In ROMAN 2006-The 15thIEEE International Symposium on Robot andHuman Interactive Communication, pp. 372–377. IEEE, 2006.