情報処理学会第 84 回全国大会

6J-02

CoCoBo：生体情報と機械学習を用いた
人の心をリアルタイムに理解するロボット
井口拓海 1鈴木圭1

菅谷 みどり 1

芝浦工業大学 1
1. 背景と課題
来たる Society 5.0 において，ロボットが人と協調し，年齢や性別に関係なく可能性を広げられる社会が求められている．ロボットが人と協調するために必要となるコミュニケーションを実現する方法として，過去，人の表情や，会話内容から人の感情推定手法が数多く提案されてきた [1, 2]．しかし，これらの手法はモデル構築における個人差やリアルタイム処理に課題があった．よりリアルタイムに，かつ客観性に優れた手法として，Peeranya らは，生体情報を用いた感情推定手法を提案した[3]．本手法は，脳波と心拍変動を心理モデルに対応させ，リアルタイムに生体情報による感情推定を実現した点で評価できる一方，感情推定精度に課題があった．これを解決するために，鈴木らは生体情報と主観感情を合わせたデータから機械学習を行い，その人に合った感情モデルを生成することを可能とした[4]．鈴木らの感情推定手法は，精度 100%で個人の感情モデルを構築しており，有用性は高い一方，実際にロボットに組み込んで利用するための機能および，リアルタイム性の考慮はなされていない課題がある．
そこで，本研究では精度高く，リアルタイムに人の感情を理解するロボット「CoCoBo」の実現を目指し，ロボット開発の汎用的なミドルウェアである ROS(Robot Operating System)[5]を用い，機械学習による感情分類モデルをロボットで利用できるシステムの開発を目的とした．
2. 提案
2.1. 提案概要
本研究では上記の目的のために，ロボットで機械学習による感情分類モデルが扱えるシステムを設計・実装する．具体的には高精度で人の感情を理解するために，人から取得した生体情報を追加してモデルを更新できる仕組みを構築する．ロボット上での実装が前提となるため，汎用性を考慮して ROS を用いた設計・実装とした．
生体情報には，Peeranya, 鈴木らが用いた脳波指CoCoBo: A robot which understand the human emotion withthe model generated by machine learning with biometric
information.
Takumi Iguchi1 Kei Suzuki1 Midori Sugaya1
Shibaura Institute of Technology1

1-87

標と心拍変動指標を用いる．脳波計としてNeuroSky 社の Mindwave Mobile 2 を，心拍計として Switch Science の心拍センサと Arduino を組み合わせたものを使用した．
2.2. 感情分類モデル
鈴木らは個人差に対応した高精度の分類を行うために，主観情報と生体情報を組み合わせて，データを収集した後，特徴量選択，機械学習を行い，感情分類モデルを作成した[4]．本研究では本機械学習モデルをロボットにおいてこれを実現する方法を検討する．
3. emotion-ROS の実装
3.1. 機能の設計と実装
まず初めに ROS 内で生体情報を扱うために複数のノードによる生体情報のセンシングデータの収集とモデル作成のための汎用プラットフォームの構築を目的とした emotion-ROS を開発した．設計を図 2 に示した．

図1

emotion-ROS の設計

emotion-ROS の設計では，まず，生体情報をROS 内で扱うために脳波指標，心拍変動指標，感情のカスタムメッセージを定義した．今回は機械学習モデルを利用するため，モデルの入力に沿ったものメッセージに持たせた．脳波については EEG.msg と名付け float32 で脳波の周波数成分である α 波（alpha），β 波（beta），γ 波（gamma），δ 波（delta），θ 波（theta）とし，さらに NeuroSky 社独自の指標を uint8 で attention，meditation と宣言した．これにより多様な脳波とCopyright 2022 Information Processing Society of Japan.
All Rights Reserved.

情報処理学会第 84 回全国大会

脳波計によって算出される集中度・リラックス度を ROS 内で扱えるようになった．心拍については HRV.msg として心拍数や，その派生となる心拍変動値などの生理指標を uint8 でと float32 で定義した．最後に感情については Emotion.msg として String で name を，float32 で value を定義して，感情の種類と大きさを扱えるようにした．
別の情報である脳波指標と心拍変動指標から感情を分類するために，それぞれのデータの同期を取る必要があった．今回はそれぞれのメッセージに Header を追加し，ROS に存在する同期
ラ イ ブ ラ リ の API と し て 提 供 さ れ て い て る
ApproximateTimeSynchronizer[6]を利用して，タイムスタンプによる同期を行った．
3.2. emotion-ROS の予備評価による応答性評価
予備評価として emotion-ROS の応答性評価を行った．生体情報の入力から感情分類結果の出力までの時間を計測した．結果を図 2 に示した．
65.5%の試行回数で 60～100ms の間に収まっていることから，emotion-ROS による生体情報処理の応答性に問題ないことがわかった．

図2

簡易的な感情推定にかかる時間の分布

4. 全体のシステム設計
感情分類モデルをロボットで利用し，また個人に適したモデルへと更新するために，サーバとロボットの連携は不可欠である．本研究では先に実装した emotion-ROS を核にサーバとロボットを連携させる包括的なシステムの設計・実装を行った．全体の処理の流れを図 3 に示した．
人から収集するデータについては生体情報だ
けでなく，機械学習に用いる主観感情評価を追加した．これについてはディスプレイ上に感情を表すものとして，喜怒哀楽の四つを表示し，最も近い感情を選んでもらうことで解決した．
またこれに伴い主観感情をサーバへ送るためのカスタムメッセージを実装した．モデルの送受信は， メッセージで定義できる量を超えることから，ROS の Pub/Sub 通信でやり取りすることは困難である．そこで本研究では，サーバ側に1-88

Web サーバを立て，ROS のパッケージであるroswww を用いてアクセスをし，モデルをダウンロードする設計とした．

図3

サーバ・ロボット間での通信の流れ

また送られてきた生体情報と主観感情評価はサーバ側で結合されて保存される．今回は学習に適した CSV 形式でデータの保存及び学習を行う形とした．本システムにより，ロボット側での感情分類モデルの利用および追加データによるモデルの更新が行えるようになった．
5. 結論と今後の課題
本研究では感情を精度高くリアルタイムに理解するロボットの実現を目指し，生体情報による機械学習と感情分類モデルをロボットで利用できるシステムを設計・実装した．これによりこれまで以上に正確にロボットが人の感情を理解し，よりよいインタラクションに役立てられると思われる．本研究ではモデルの実行時間や実環境下での分類精度について評価が不十分である．今後はそれらの評価を行い，実用化を検討する．
謝辞
本研究は，JST，CREST，JPMJCR19K1 の支援を受けたものです.
参考文献[1] 朱曜南，ジメネス・フェリックス，吉川大弘，古橋武：“HRIにおける表情認識を用いたユーザの感情推定手法に関する基礎的検討”，人工知能学会全国大会論文集，vol. 31，2017.
[2] 杉野良樹，加藤昇平，伊藤英則：“ベイジアンネット混合モデルを用いた感性ロボットのための対話者感情の推定法”，情報処理学会全国大会講演論文集，vol. 68 ，no. 4 ，pp. 119-120 ，2006.
[3] Peeraya Sripian, et al, Empathetic robot evaluation through emotion
estimation analysis and facial expression synchronization from
biological information, Artificial Life and Robotics, 19 Aug 2021.
[4] Suzuki Kei, et al, Constructing an Emotion Estimation Model Basedon EEG/HRV Indexes Using Feature Extraction and Feature Selection
Algorithms”, Sensors, 21(9), 2910, 2021.
[5] ROS.org，http://wiki.ros.org/，2022 年 1 月 7 日参照[6] message_filters – ROS Wiki, http://wiki.ros.org, 2022 年 1 月 7 日参照

Copyright 2022 Information Processing Society of Japan.
All Rights Reserved.