立石科学技術振興財団

助成研究成果集(第31号) 2022

［ 研究助成 (A) ］

高齢者のプライバシーに配慮して傾聴するお節介護ロボット
A nursing care robot that listens in consideration of the privacy of the elderly
2211018

研究代表者

関西大学

総合情報学部准教授

瀬島吉裕[研 究 の 目 的]
本研究における「人間と機械の調和の促進」の目指す姿は，機械が高齢者に対して積極的に介入・傾聴して信頼を獲得することで，心豊かな介護医療環境を実現する状況である。身体的ケアを中心とした介護ロボットの開発が行われ

図1

る中，心のケアを人間同士の関係性だけでなく，本研究のコンセプト

高齢者−ロボット−介護者という三項関係のよらも高齢者の発話を促して信頼関係を構築する

うな多様な関係性の充実が重要となる。とくに，ことで，心豊かな介護医療環境の実現を目指し高齢者のプライバシーに配慮した信頼関係をロて，本申請期間内の目標をお節介な傾聴を行うボットが構築することで，介護者はロボットと介護ロボットの開発と定めた。

連携した介護が可能となり，時間的・精神的なこの目標を実現する技術的課題は，お節介をゆとりを持ってより質の高い介護が可能となる。

行うための「① 高齢者の状態推定技術」と，高齢者にとっても，介護者との関係性がロボッ

プライバシーに配慮した「② お節介な発話支トを介することで緩和され，心身が充足した生援 技 術」が 要 求 仕 様 と な る (図 1)。介 護 ロ活となる。

ボットが高齢者へ声掛けする介入が可能かどう

本目的達成に向けて，本研究では「お節介」か，お節介しても良い状況でなければ介護ロに着目した。お節介そのものは，対象者に必要ボットへの信頼性が損われる恐れがある。また，以上にかかわりを持とうとする行為 (過干渉)発話支援は，高齢者の表情や視線・会話内容をであるが，施設等の介護現場においては人手不計測することで動作生成が可能である一方で，足や業務過多によって高齢者に対して十分なやプライバシーの保護が難しい。従って，これらり取りを行う時間の確保が難しい状況である。

を解決するには，プライバシーに配慮した推また，同じ会話内容の繰り返しとなるため，回定・支援技術が求められている。

数を重ねる度に意欲的な傾聴態度が低下してし[研究の内容，成果]

まい，高齢者の発話支援が難しくなる。発話にはストレスの低減や認知症予防といった効果があり，心豊かな生活を送る上で必要不可欠な行① 身体活動量による状態推定技術為である。そこで，介護ロボットがお節介なが― 1 ―まず，高齢者の日常生活を想定し，食事やそ立石科学技術振興財団の準備等の 1 次・2 次活動を集中している場面とし，3 次活動となる余暇活動等の時間にゆとりがある場面との違いを比較するために，各場面を対象として人間の身体行動を計測した。ここでは，軽量な加速度センサ (Xsense DOT)を用いて，実験協力者の頭頂部と両手部に装着させた。加速度センサのサンプリングは 60 Hz
で，付属のアプリケーションにより計測を行った。

図3

動画視聴時における時系列波形

場面設定として，集中している場面は，PCを用いた作業を行わせた。時間的ゆとりのある実験結果の例を図 3 に示す。横軸をフレーム場面として，読書および動画視聴した際の身体[1/60 秒]，縦軸を速度[m/frame] として，頭動作を計測した。実験時間は 5 分間であった。

部動作における各軸 (上から X 軸, Y 軸, Z 軸)

実験協力者は，本学学生の男性 2 名である。読の 5 秒の移動平均を示している。排泄による 1書の場面における計測結果の例を図 2 に示す。

次活動以外において，一定の空間内で行動する

図には，横軸を時間[s]，縦軸を加速度データことが確認された。内観報告より，「くつろいを積分した速度[m/s] として，X 軸方向 (前でいると，あまり多くの行動は起こしたくな後方向) に対する時系列波形を表している。図い」という趣旨のコメントが得られた。実験協

2 よ り，頭 部 は ほ と ん ど 動 作 す る こ と な く，力者が少ないため，この結果から結論を導くこ

ページめくりのため左右の手部が同期した動作とはできないが，時間にゆとりがあるときは，が観察された。また，動画視聴では，姿勢変化できる限り体力消耗を抑える行動を取る可能性以外において速度変化は生じないことが確認さが考えられる。とくに，本研究の対象は高齢者れた。一方，集中場面では，頭部と両手部の動であることから，体力消耗による行動抑制が発作頻度が高く，速度も大きいことが確認された。

生する可能性が十分ある。

これは，もう 1 名の実験協力者においても同様以上のことから，短期的な集中状態の判別での傾向であった。これらの結果より，集中場面はなく，中・長期的にかかわり行動を促すかどと時間的ゆとりのある場面とでは，頭部動作がうかが重要な判断基準になる可能性が高い。そ異なる可能性が示された。

こで本研究では，居住空間において，身体移動次に，長時間に対する計測実験を行った。こを伴うイベントが発生したかどうかを判別するの実験では，実験時間を 1 時間として動画視聴ことを目的として，プライバシーに配慮した温をさせた。実験協力者は本学男性 1 名であった。

度センサによる人の移動推定を行った。具体的には，居住空間内での身体移動が発生するかを，天井部に取り付けた温度センサ (Omron D6T44L-06) を用いて推定した。この温度センサ
は，計測対象領域の温度値をリアルタイムに出力できるため，計測値のうち最も高い温度が隣り合うエリア以外で検出された場合に，人が移動したと判別するアルゴリズムを構築した (図4)。現在は，居住空間における人の移動が停止

図2

読書時における時系列波形

し，一定の時間が経過した場合に，ロボットか― 2 ―Tateisi Science and Technology Foundation

る場の盛り上がりを推定するモデルを応用し，話し手の音声情報に基づいて瞳孔拡大を実現する手法を採用した。このモデルは，コミュニケーション空間を仮想的な温度空間として関連付け，対話者の発話音声から対流熱伝達によって場の温度を推定するモデルで，いくつかの仮定を設定している (図 5)。
図4

居住空間での状態推定アルゴリズム

ら声掛けを行うアルゴリズムを設計実装している。居住空間の全てに温度センサを配置するのではなく，リビング等のくつろぎを目的としたエリアに対してのみ温度センサを配置することで，お節介による介入の有無を判別しやすくし

図 5 仮想的な温度空間による傾聴場の推定ている。しかしながら，時期によって部屋の温度と人の体温との差分が取れない可能性があり，

仮定 1) 温度推定精度の向上が求められる。また，ロボット

対話者，ロボット，場には温度が存在し，対自身も高温となることから，ロボット自身の温話者を T, ロボットを T, 場を T とする。

度を除外した推定手法が必要である。

また，対話者の発話やロボットのうなずきを発熱状態とする。

② お節介な発話支援技術

仮定 2) 熱量

本研究では，上記①による状態推定に基づい対流熱伝達に基づいて，対話者やロボットかてロボットからの積極的な声掛け (お節介) をら場への熱量をそれぞれ Q, Q とし，外行い，高齢者へ発話を促すような傾聴コミュニ部への放出される熱量を Q, Q, Q とすケーションをデザインした。具体的には，カウる。

ンセリングにおける傾聴的態度であるミラーリ仮定 3) 熱容量

ング技法を参考に，話し手の発話に対して同調対話者，ロボット，場には熱容量が存在し，して反応する聞き手のロボットシステムを開発

対話者を C, ロボットを C , 場を C とする。

した。このシステムは，これまでに開発してきた瞳孔反応インタフェースを用いて，コミュニこれらの仮定に基づいて，場の温度を推定する。

ケーション時における話し手の発話に伴う瞳孔まず，対話者の発声に対して 33 ミリ秒間隔で反応をミラーリングし，聞き手ロボットの瞳孔平均音圧を算出し，予め設定した閾値に基づい反応として疑似的に同調させることで，積極的て 2 値化処理を行う。この 2 値化された音声かな傾聴態度を生成する。

ら，これまでに開発してきたうなずき反応モデ

この瞳孔のミラーリングを設計する上で，話ルによって，うなずきの有無を推定する。うなし手の瞳孔径を計測してそのまま反映させた場うずきが存在すると推定された場合，仮想的な合，実際の瞳孔情報が表現される一方で，目元うなずき情報として OFF から ON へと切り替計測によるプライバシーの配慮が困難である。

わり，一定時間のうなずきが入力される。次に，そこで本研究では，傾聴感の高い瞳を生成する対流に伴う熱量の移動を 1 フレーム前の値を用ために，これまでに開発してきた熱量変化によいて式(4)〜式(8) により算出する。算出され― 3 ―立石科学技術振興財団

た熱量と，入力情報となる音声および仮想的な方向の回転運動とすることで，半球ディスプレうなずきにより，対話者の温度 T と T を式

イ上でうなずき動作を表現した (図 6)。

(1) と式(2) により算出する。場の温度は，各対話者の発熱によってもたらされた熱量 Qと Q，外部に放出される熱量 Q の総和となることから，それぞれ 1 フレーム前の値を用いて式(3) により場の盛り上がりを推定している。
本研究では，場の温度を 33 ミリ秒で推定しており，定数となる K 1〜K 3 および T は実験的に定めた。
T i =T i−1
OnOff  i −Q  i−1−Q i−1
+C

図 6 瞳による傾聴態度の生成

このように，発話音声のみから豊かな傾聴動(1)T i =T  i−1Nodding  i −Q  i−1−Q i−1
+C(2)T i =T i−1
Q  i−1−Q  i−1−Q i−1
+C

作を表現するコミュニケーションのプロトタイ
プを開発した。開発したプロトタイプをグラン
フロント大阪の The・Lab へ 2021 年 8 月から11 月まで常設展示を行い，多数の来場者に体験してもらい，非常に好評であることを確認した。しかしながら，このプロトタイプに上記の①の技術を組み込んだ場合，状態判別の推定精(3)Q i =K 1  T  i−1−T  i−1

(4)Q i =K 1 T  i−1−T  i−1(5)Q i =K 2 T  i−1−T(6)Q i =K 2 T  i−1−T(7)Q i =K 3 T  i−1−T

(8)

度が不十分であることから，利用者への不快感や不信感を与える恐れがある。そのため，不快感を与えないタイミングでロボットから声掛けができるように，動物型アバターロボットシス
テムを開発した。開発したシステム概略を図 7に示す。このロボットは，利用者の様子を別室にいる実験者がモニターを確認しながら利用者へ話し掛けることができる。さらに，上記で開発した瞳孔表現を適用しており，傾聴感の高いコミュニケーション動作を生成できる。開発した瞳表現の様子を図 8 に示す。瞳が拡大してい本研究では，式(3) によって算出される対話者自身の熱量を含んだ場の温度を聞き手の瞳孔るだけでなく，下方に動作することで，傾聴感を演出している。

反応に関連付け，ミラーリングした。具体的に開発したシステムを用いて，小学生を対象とは，T の最小値と最大値を瞳孔の大きさに対した地域イベントへ出展し，アンケートによる応付け線形変換を施した。これにより，話し手印象評価を行った結果，聞き手ロボットの瞳がの音声から自動生成された瞳孔反応のミラーリ変化することで，対話感や傾聴感を高めるコメングを実現している。さらに，うなずき反応モントが数多く得られ，開発したシステムの有効デルによって算出された推定値に基づいて，う性が示された。

なずき動作を生成した。うなずき動作は，上下― 4 ―Tateisi Science and Technology Foundation

じることから，プライバシーに関連するどの情報をどのように加工・制御するのかが重要となる。また，本研究では，ロボットが傾聴することで，介護者と被介護者のストレスを緩和する状況を創り出すことから，ロボットとの対話を継続していく仕組みを生み出す必要があり，こ図7れを実現する手掛かりとして，瞳による興味や動物型アバターロボットシステムの概要

意図を表現する好意の返報性によるコミュニケーションデザインを進めていく。とくに，高齢者に対する実証実験については未知であることから，積極的に行う必要がある。
図8

傾聴感のある瞳表現[成果の発表，論文等]
1 ．瀬島吉裕，渡辺富夫：瞳孔反応のミラーリングに[今後の研究の方向，課題]

よる音声駆動型身体的傾聴システムの開発，ヒューマンインタフェースシンポジウム 2021 論文集，pp.

今後の研究方針として，温度センサ情報に基づくロボットからの声掛け技術の精度向上と，565-569 (2021 年 9 月)
2 ．瀬島吉裕：音声対話における親近性を促進する動物型瞳孔反応アバターロボットの開発，日本福祉工

瞳のデザインによる対話継続を支援する技術開学会第 25 回学術講演会，pp. 35-36 (2021 年 11 月)

発が必要である。時間にゆとりがある中であっ3 ．瀬島吉裕：第 9 回ナレッジイノベーションアワーても，プライバシーへの配慮が必要な場面が生― 5 ―ド，近畿経済産業局長賞受賞 (2022 年 3 月)