ユーザの興味を引く
ソーシャルロボットのための強化学習アルゴリズム

香川高等専門学校

電子システム工学科
おおにし

2023年9月14日

講師

あきなり

大西 章也
1

概要
【発明した技術】
ユーザの反応から興味をひく行動を学習するアルゴリズム
興味を引く行動を学ぶ【想定される用途】（A）見守り・介護 （B）面接練習
ロボット
ロボット

働きかける

反応を読み取るソーシャルロボット

ユーザ（C）興味のある （D）学習する
STEM教材
広告の学習

新技術（１）行動のカテゴリ化
強化学習（２）同じ行動を避ける処理（３）学習結果の忘却処理
既存技術

2発明した技術について【発明した技術】
ユーザの反応から興味をひく行動を学習するアルゴリズム
興味を引く
行動を学ぶ

【想定される用途】（A）見守り・介護 （B）面接練習
ロボット
ロボット

働きかける

反応を読み取るソーシャルロボット

ユーザ（C）興味のある （D）学習する
STEM教材
広告の学習

新技術（１）行動のカテゴリ化
強化学習（２）同じ行動を避ける処理（３）学習結果の忘却処理
既存技術

3

強化学習とはある状態の行動に対する価値を報酬や罰から学ぶアルゴリズム例）線の上を走るロボット

線の上＝報酬， 線からはみ出す＝罰
右折したら線の上に来た⇒右折価値アップ

左折したら線からはみ出した⇒左折価値ダウン

直進したら線からはみ出した⇒直進価値ダウン
4ユーザの興味を学ぶ
強化学習はソーシャルロボットにも応用可能である①最も興味を引くと思われる行動を試しに取る④興味を持っているなら報酬を得る「やっほー」に反応してくれたから次からもっと「やっほー」をしよう

ソーシャル
ロボット

②ユーザが反応する

やっほー

ユーザ

やっほー

反応読取

③センサで反応を読み取る
5ユーザの興味を学ぶ
行動の実装例：口頭で質問する

ロボット「最近うれしかったことについて教えてください」
ユーザ「美味しいお菓子をもらったことがうれしかったです」
6ユーザの興味を学ぶ
行動の実装例：ロボットが手を振る

7

強化学習を用いたほうが興味を引きやすい
被験者数

有意水準

※Q学習は強化学習の一つ

石川諒，大西章也， 「興味を引くメッセージをQ学習により学習する装置の開発」，
第28回高専シンポジウム，2023年1月28日．
8

従来手法の問題点
強化学習を実装したソーシャルロボットの製品や研究は存在する．しかし従来手法（Q学習）はソーシャルロボットへの実装に適しない部分がある．

【問題１】
行動の種類が増えると学習パラメータが増えるため学習に時間がかかる【問題２】
学習後に行動を変えるアルゴリズムが乏しいため飽きる
9新技術(FRAC-Q学習)
学習に時間がかかり，飽きる問題を解決するため（１）行動のカテゴリ化（２）同じ行動を避ける処理（３）学習結果の忘却処理を有する新技術FRAC-Q学習を提案した．
10

FRAC-Q学習（１）行動のカテゴリ化
既存技術

新技術

各行動に価値をつける

各行動カテゴリに価値をつける【行動の例】

挨拶

価値

やっほー

価値

はろー

価値

やあやあ

価値

好きな食べ物は？ 質問価値

最近楽しかったことは？

価値

価値※学習パラメータ＝価値の数×状態の数

学習パラメータが減り学習時間が短縮される
11

FRAC-Q学習（２）同じ行動を避ける処理
前の計算時間

選択 挨拶
カテゴリ
質問
カテゴリ

新技術
前回選択された行動カテゴリの価値を一時的に下げる

選択
次の時刻では

挨拶
カテゴリ

質問
カテゴリ

・・・

・・・

前回と違う行動カテゴリが選ばれやすくなる

次の計算時間同じ行動カテゴリが連続して選ばれることを避けて飽きにくくする
12

FRAC-Q学習（３）学習結果の忘却処理
新技術

すべての行動カテゴリの価値をリセット
挨拶
カテゴリ

報酬が連続して得られない場合・・・（再学習が始まる）

質問カテゴリ

行動カテゴリ内のすべての行動に飽きた場合に行動を変える仕組み13新技術により飽きにくくなる
被験者数

被験者数

新技術

新技術

有意水準

大西章也，「高齢者の興味を引くコミュニケーションロボットの開発」，
立石科学技術振興財団 助成研究成果集，印刷中
14想定される用途について【発明した技術】
ユーザの反応から興味をひく行動を学習するアルゴリズム
興味を引く
行動を学ぶ

【想定される用途】（A）見守り・介護 （B）面接練習
ロボット
ロボット

働きかける

反応を読み取るソーシャルロボットユーザ（C）興味のある （D）学習する
STEM教材
広告の学習

新技術（１）行動のカテゴリ化
強化学習（２）同じ行動を避ける処理（３）学習結果の忘却処理
既存技術

15

（A）見守り・介護ロボット
留守中の子供の見守り
ロボットやおもちゃに独居老人や介護施設でのロボットセラピーに※ロボットセラピー効果が期待できるが，現段階では未検討【行動カテゴリの実装例】
• 挨拶
• 質問
• ダンス など

【報酬・罰の実装例】• 興味をひいた場合に報酬• 上記以外の場合に罰
16

（B）面接練習ロボット
うまく答えられない質問を重点的に出題し，分析する
自己PRしてください

Webサービスでもよいロボットの代わりに3Dモデルやイラストを使う
その場でフィードバックがあるとなおよい【行動カテゴリの実装例】• 自己に関する質問• 当社に関する質問• 社会情勢に関する質問など【報酬・罰の実装例】• 好印象の場合に罰• 好印象でない場合に報酬（うまく答えられない質問を重点的に出題するため報酬と罰が普段と逆になる）
17

（C）興味のある広告の学習
効率の良いWeb広告提示に【行動カテゴリの実装例】• 服の広告提示• アウトドアの広告提示• カー用品の広告提示など

オススメ商品の提示にも【報酬・罰の実装例】• クリックやポイントなど反応がある場合に報酬• 反応がない場合に罰18

（D）学習するSTEM教材
部品を組み合わせて自分だけの強化学習ロボットを作る
モータなど（アクチュエータ）

強化学習を実装可能なモジュール

センサ※小中学生にもわかりやすいような工夫が必要である【行動カテゴリの実装例】（開発者が実装する）【報酬・罰の実装例】（センサのパターンに報酬や罰を自由に開発者が割り当てる）
19

企業への期待（１）新技術を用いたソーシャルロボットの製品化
新技術（１）行動のカテゴリ化
強化学習（２）同じ行動を避ける処理（３）学習結果の忘却処理
既存技術• 新技術を用いた企業オリジナルロボットの製品化• 製品化したロボットを介護施設へ導入
⇒(3)へ
20

企業への期待（２）新技術を発展させたアルゴリズムやロボットの共同開発【必要とする技術】

ロボット技術
裁縫技術

音声認識

画像処理
画像認識

言語処理

21

企業への期待（３）新技術の効果の検討
新技術は認知症の予防などに貢献するか？

製品化したロボットを病院や介護施設へ導入して検討
22

本技術に関する知的財産権• 発明の名称：
行動制御方法、行動制御プログラム、行動制御装置、およびコミュニケーションロボット
J-PlatPatで閲覧可• 出願番号 ：特願2023-023007• 特許番号 ：特許第7312511号• 出願人：独立行政法人国立高等専門学校機構• 発明者：大西 章也，石川 諒

23

お問い合わせ先
国立高等専門学校機構
本部事務局 研究推進課
KRA（国立高専リサーチ・アドミニストレータ）
泉 俊次郎 （いずみ しゅんじろう）
ＴＥＬ
０４２－６６８ー５４９５
e-mail KRA-contact＠kosen-k.go.jp

24謝辞
本発明の一部および試作機による評価は石川諒君の尽力により成し遂げられました．
ここにお礼申し上げます．
本研究および本技術の開発は，
立石科学技術振興財団研究助成（A）の支援を受けて遂行いたしました．
25