立石科学技術振興財団

助成研究成果集(第26号) 2017

居住空間において生活者の日常生活を見守り支援するロボットの基盤技術開発
Development of a Basic Technology of Watching for Residentsʼ Activity at the Residential Environment
2151014

研究代表者

お茶の水女子大学

基幹研究院

教授

小林

一郎

センサから触覚情報，レーザーセンサやソナー[研 究 の 目 的]

センサから距離情報を取得する。画像情報を用
高齢化社会の到来により，近い将来，家庭にいた顔認識では，ユーザに対して，個体の識別，ロボットが導入され，ロボットは居住者の生活年齢の推定，笑顔度の判定，5 種類の表情｛無を見守り，居住環境の管理を担う生活のパート

表情，幸せ，驚き，怒り，悲しみ｝の識別を行ナになることが考えられる。ロボットは居住環うことができる。

境及び居住者の状態を常に観察・認識し，居住1. 2

部分観測マルコフ決定過程

者とのコミュニケーションに反映させ，必要に本研究では，実環境での観測情報の不確実性応じて第三者に居住者の状況を説明する役割をを考慮するため，部分観測マルコフ決定過程担うと考える。このことから，本研究において(POMDP : Partially Observable Markov Deci-

は，ロボットと居住者のマルチモーダル対話をsion Process) の 枠 組 み を 用 い る。一 般 的 に実現し，ロボットがセンサから観測した居住者

POMDP の観測状態は，{S, A, T, O, Z, R, b 0} での様子や言動を言語で表現し，居住者のプライ表される。s∈S はユーザ状態，a∈A はシステバシを保護しつつ第三者に伝達できる見守りシムの行動を表す。また，T は行動 a によってステムの基盤技術の構築を行う。

状態 s が s′ へと遷移する確率 (状態遷移確率 P(s′|s, a)) の集合であり，o∈O はユーザから観[研究の内容，成果］測される観測値を表す。Z は行動 a によって状態が s′ に遷移し，観測値 o′ が観測される確率

1．ロボットとのマルチモーダル対話(観測値出力確率 P(o′|s′, a)) の集合である。r

1. 1(s, a)∈R は状態 s で行動 a を行った時の報酬

マルチモーダル情報の観測

ロボットはソフトバンクロボティクス社とを表す。POMDP では，観測値 o から直接観測

アルデバランロボティクス社が共同開発した，できない状態 s を確率分布として推測し，その感 情 認 識 ヒ ュ ー マ ノ イ ド ロ ボ ッ ト Pepper

分布を信念状態 b(s) とする。初期信念状態を(http ://www. softbank. jp/robot/) を使用する。

b 0 と表す。信念状態 $b(s) が既知のとき，状Pepper の様々なセンサからマルチモーダル情態遷移確率と観測値出力確率により，次の時刻報を取得し，それに基づくコミュニケーションの信念状態 b′(s′ ) は以下の漸化式で記述されを実現する。具体的には，マイクから音声情報，る。

RGB カメラから表情などの画像情報，タッチ― 1 ―立石科学技術振興財団

b′ (s′ )=k･P(o′ |s′ , a)∑ s P(s′ |s, a)b(s)1. 4状態の階層的関係

強化学習において，状態空間の増大によってここで，係数 k は Σ s b′(s′)=1 を満たす正規最適方策を求めることが困難な場合，階層的強化項である。

化学習を適用することで解決することができる

1. 3[Kishimoto 2010]。階層的強化学習では，複雑マルチモーダル状態表現への拡張

ユーザとのインタラクションを想定して，下なタスクを階層的に分解し，各部分問題に対し記に示す 3 つのユーザ状態 s , s , s が考えられて局所的政策を学習したのち，それらを統合する。

ることによって大域的な政策を学習する。本研

epl

究ではマルチモーダル状態に対応させて，心理・心理状態：sタスク，物理タスク，言語タスクに分割する。

e

喜怒哀楽のようなユーザの心理的な状態を示す。

表 1 にマルチモーダル対話例と，図 1 に実際画像情報を用いた表情認識を用いて観測 o e をの対話の様子を示す。また，階層型の POMDP取得する。

をグラフィカルモデルで表したものを図 2 に示す。

・物理状態：sp

ユーザがロボットからどれくらいの距離にいる

2．1 日の報告文の生成のか，ロボットに触っているかいないかなどの次に，Pepper が観測した内容を時系列デー物理的な状態を示す。観測 o はレーザーセン

タとしてデータベースに記録し，1 日分のデーp

サやソナーセンサ，タッチセンサから取得する。
・言語による情報交換：s l｢おはよう」などの挨拶や，「〜してほしい」という要求のような，ユーザの発話による情報交換を示す。観測 o l は音声情報から取得する。
この 3 つの状態に対応する観測をそれぞれ o e,o p, o lとする。

図1

図2

階層型 POMDP のグラフィカルモデル― 2 ―実際の対話の様子

Tateisi Science and Technology Foundation

表1
発話・行動

観測ユーザ
Pepper(遠くにいる)
近くにおいでよo p (遠い)ユーザ(近くにくる)
Pepper 僕とお話ししよう

o p (近い)

ユーザ
Pepper

こんにちは
こんにちは

ユーザ
(暗い顔)
Pepper 疲れた顔をしてるねを重要だと判断する。

対話例

話者b(s)

・ユーザ名，距離情報，表情情報，ユーザの発話内容，ロボットの発話内容ができるだけ多く観測できたデータ
・観測対象 (ユーザ) が変わったデータ

o l (こんにちは)・ユーザの表情情報が一時刻前より大きく変動したデータ

o e (悲しい)・ユーザの発話内容に入力があったデータ
・ロボットの発話内容に入力があったデータ

タに対する報告文の生成を行う。

これらの条件のいずれか，または全てを満たす

2. 1

データに重要度を付与する。

Pepper による情報の取得

Pepper から観測した情報をデータベースに格納する。今回は記録する情報として，｛日付，また，観測の場面の変化の記録のためにデー

時間，ユーザ名，距離情報，表情情報，ユーザタを時間で区切ることを考える。時間で区切り，の発話内容，ロボットの発話内容｝と設定する。 その時間内での重要情報をだけを残すことで，ここで，ユーザ名とは Pepper が対話，もしくデータ量を削減しつつ情報の取りこぼしを減らは観測した一人の相手のことを指す。距離情報

す。時間によって区切る方法としては，ある時は Pepper からの距離を記録し，表情情報は，刻に観測したデータの時間とその一時刻前に観5 種類の表情｛無表情，幸せ，驚き，怒り，悲測したデータの時間を比べて，その差が 5 分以しみ｝を数値で記録する。また，ユーザ名，距上あった場合には場面が変わっていると考えて離情報，表情情報，ユーザの発話内容，ロボッ区切ることにする。

トの発話内容については観測状況によっては取2. 3

発話内容の特定得できないことがある。その場合，取得できなユーザとロボットとの発話の内容の特定を行かった情報は“-”として記録する。ユーザ名，う。今回は会話の内容を 2 つのトピック｛天気，距離情報，表情情報，ユーザの発話内容，ロご 飯｝に 分 類 す る。ト ピ ッ ク の 分 類 の た め，ボットの発話内容のすべてのデータが観測でき

Wikipedia における「天気」と「飯」の概要と，なかった場合には観測がなかったとしてデータ時間で区切った範囲のユーザとロボットの対話を記録しないこととした。また，ユーザの発話内容を単語分割し，文書ベクトルを作成する。

内容に対するロボットの発話等の対話管理にはそれらの文書ベクトルに対して cos 類似度を測

POMDP を使用した。

ることで，ユーザとロボットの対話内容に最も2. 2近いトピックを推定する。

重要情報の抽出あるデータにおいてひとつ前のデータと比較

2. 4

テンプレートによる文生成

し，変化のない場合にはそのデータを削除する

重要度に対して適切な閾値を設定し，その閾ことにより，データベースの冗長性とデータサ値よりも値の高い文を選ぶことによって重要なイズを削減する。データベースへ格納した時系情報を取り出し，その情報にテンプレートを適列データに重要度を付与することで，重要な情用することにより要約文を生成する。「“いつ”，報を効率的に伝えることができるようになる。

“だれ”と会いました。その人は“どんな様子”

ここで，今回のデータにおける重要度についてでした。」もしくは「“いつ”，“だれ”と会いま考える。本提案では以下の点に該当するデータした。その人と“何の”話をしました。」とい― 3 ―立石科学技術振興財団

うテンプレートに情報を入れて文を生成する。

つ”，“だれ”と会いました。その人と“何の”「“どんな様子”だったか」については表情情報話をしました。
」というテンプレートを使用すにおいて最も数値の大きい値を使用し，その値る。ここでユーザとロボット対話内容は『今日と他の値との差分を計算し，差分が大きい場合は寒いね 今日の最高気温は 10 度だって 明日には「とても」，小さい場合には「少し」といは晴れるのかな 明日の天気は晴のち曇みたいう副詞をつける。実際に Pepper の実機を動かだよ』となる。これを単語分割して文書ベクトし，取得したデータについて文生成を行った。

ルを作成する。この文書ベクトルと「天気」に「“何の”話をしたか」というテンプレートは観ついての文書ベクトル，「飯」についての文書

測したデータのユーザの発話内容とロボットのベクトルについて cos 類似度を測る。「天気」発話内容に入力があった場合に使用する。表 2との cos 類似度は 0.11，「飯」との cos 類似度に示したデータから表 3 に示す重要なデータをは 0.0 となるので，今回のユーザとロボットの取り出し，そのデータに対して文を生成する。

発話内容は「天気」についてであると推測する。

重要データ｛時間，ユーザ名，距離情報，表情

よって，「12 時 20 分ごろに飯島さんと会いま情報，ユーザの発話内容，ロボットの発話内した。飯島さんと天気についてお話しました。
」

容}={12 : 20, iijima, 0.49, {0.34, 0.0, 0.58, 0.0,と な る。ま た，重 要 デ ー タ が｛14 : 55, iijima,0.08}，今日は寒いね，今日の最高気温は 10 度

0.69, {0.02, 0.10, 0.51, 0.05, 0.32}, -, -｝の時にはだって}，{12 : 21, iijima, 0.47, {0.81, 0.0, 0.02, 0.0,「“いつ”，“だれ”と会いました。その人は“ど0.17}，明日は晴れるのかな，明日の天気は晴んな様子”でした。
」というテンプレートを使のち曇みたいだよ｝では，ユーザの発話内容と用し，「14 時 55 分にも飯島さんと会いました。

ロボットの発話の内容に入力があるので，「“い少し驚いたような様子でした。」

表2

取得データ抜粋表情 無表情，幸せ，驚き，ユーザの発話内容
怒り，悲しみ0.34, 0.0, 0.58, 0.0, 0.08
今日は寒いね時間

ユーザ名

距離

ロボットの発話内容

12 : 20
12 : 20
12 : 21
12 : 2112 : 22
12 : 22
12 : 23
12 : 23
12 : 24
12 : 25
14 : 54
14 : 54

iijima0.49

iijima0.47

0.81, 0.0, 0.02, 0.0, 0.17

明日は晴れるのかな

iijima−−−−iijima
−
−

0.50
1.12
1.12
1.12
0.96
0.73
1.17

0.66, 0.0, 0.15, 0.04, 0.15
−−−0.0, 0.0, 0.01, 0.0, 0.99
0.12, 0.0, 0.51, 0.05, 0.32
−

−
−
−
−
−
−

明日の天気は晴のち曇みたいだよ
−
−
−
−
−
−
−

14 : 55

iijima0.82
0.69

0.0, 0.0, 0.11, 0.10, 0.79
0.02, 0.10, 0.51, 0.05, 0.32

−−−−

今日の最高気温は 10 度だって表 3 重要データ抜粋
表情 無表情，幸せ，驚き，ユーザの発話内容
怒り，悲しみ0.34, 0.0, 0.58, 0.0, 0.08
今日は寒いね

時間

ユーザ名

距離

12 : 20
12 : 20
12 : 21
12 : 21
14 : 55

iijima0.49

iijima0.47

0.81, 0.0, 0.02, 0.0, 0.17

明日は晴れるのかな

iijima0.69

0.02, 0.10, 0.51, 0.05, 0.32

−ロボットの発話内容
今日の最高気温は 10 度だって― 4 ―明日の天気は晴のち曇みたいだよ−Tateisi Science and Technology Foundation[今後の研究の方向，課題］

会発表論文集，4-213-214, 2016
飯島采永，小林一郎：ロボットを用いたマルチモーダ

本研究では，Pepper を対象にした見守りシル対話実現への取り組み，第 30 回人工知能学会全国大会発表論文集，2O3-1in1, 2016

ステムの構築を目的とし，マルチモーダル対話

Sae Iijima, Ichiro Kobayashi : A POMDP-based Multi-

を POMDP の枠組みに沿って実装を行った。

modal Interaction System Using a Humanoid Robot,

また，対話状態を含んだマルチモーダル情報に

The 30th Pacific Asia Conference on Language,Information and Computation, 2016

基づいた要約文生成についても実装を行った。

飯島采永，小林一郎：マルチモーダル情報に基づく見

今後の課題として，生成した文に対して評価を守りシステム開発への取り組み，言語処理学会第23 回年次大会発表論文集，pp. 470-472, 2017行うことが挙げられる。

飯島采永，小林一郎：マルチモーダル対話を用いた見守りシステム構築への取り組み，第 79 回情報処理［成果の発表，論文等］

学会全国大会発表論文集，5Q-06, 2017

飯島采永，小林一郎：マルチモーダル情報を対象とする対話処理への一考察，言語処理学会第 22 回年次
大会発表論文集，pp. 7-9, 2016
飯島采永，小林一郎：POMDP を用いたマルチモーダル対話への取り組み，第 78 回情報処理学会全国大― 5 ―飯島采永，小林一郎：マルチモーダル情報を用いたロボットによる見守りシステム開発の一考察，第 31回 人 工 知 能 学 会 全 国 大 会 発 表 論 文 集，1D1-2in2,
2017