情報処理学会 インタラクション 2021
IPSJ Interaction 2021

2A192021/3/10

Alfred: 脳波計測値のリアルタイム解析による声がけロボット
白岩 玄気†1 小笠原たけし†2
Peeraya Sripian†1†1
菅谷 みどり†1中川友梨
概要：近年，パーソルなサービスを行うパートナーロボットが注目され，教育を対象としたロボットの開発・研究が進められている．しかし，学習者に対するロボットの声かけは，その効果について期待がされているが，十分な議論がされていない．そこで本研究では，学習状態を脳波計測によりリアルタイムに解析し，その値に応じてロボットによる声かけを行う方法を提案する．集中度が低下したタイミングで声かけを行うことで効果的に脳波の定量的データ分析での評価を行うことを目的とした．目的の実現のため，脳波の解析プログラムを開発した，本プログラムは，学習時にリアルタイムに学習者の脳波を解析し，集中度を算出し非集中時の判別を行い，その結果に応じた声かけをロボットが行う．評価実験では実験協力者 10 名に対しその効果を測定した．その結果，非集中回数の多い人に対するロボットの声かけが集中度を高めることに有効であることが示唆された．

1.

はじめに近年，コミュニケーションロボットが広く普及し，パー2. 脳波による学習状態の計測
2． 1

脳波による計測

ソナルなサービスを⾏うパートナーロボットが注⽬されて脳波は⽣体情報として脳の情報処理過程の評価指標としおり，教育を対象としたロボットの開発・研究も進められて⽤いられ，脳波のもつ各周波数の特性が学習や⾔語や知ている．しかし，ロボットの声かけによる学習意欲の向上の効果は詳細な調査や研究が⼗分⾏われているとはいえな覚などの認知過程に密接に関連することが⽰されている[4,5,6,7].このことから，本研究では，⼈の学習時の状態をい．例えば学習意欲向上の研究については，様々な研究が脳波から計測し，その状態の変化に応じてロボットが声があり[1], 中でも教授者の授業者に対する声かけが，授業者けすることを考えた．⼈間の精神状態を観察するためには，の学習意欲に有効であることが⽰されている[2]．また，教脳波と関連事象と共に観測を⾏うことにより，⼀つの指標授者と授業者の親密度が声かけの効果に⼤きく関係するととして⽤いる事ができると，従来の⼼理学や脳科学の研究されている[3]．さらに，松本らはリハビリ時に，患者の集で経験的にわかっている[6,7]．本研究では，学習意欲を評中度を考慮した声かけが有効であるとした[4]. しかし，学価することを⽬的とし，⽇常⽣活でも装着可能な習時にロボットを⽤いた声がけを⾏なった場合の効果につEEG(Electro

いては⼗分に評価および議論がなされていない．また，既EEG による計測での脳波は⼤脳⽪質のニューロンで発⽣存時研究での評価⽅法は，主に記述式アンケートや形成的している樹上突起のシナプス後電位の総和を頭⽪上から観授業での事後評価である．声をかけられた時の精神状態の察し，計測する⽅法である．計測結果の電位値データを対変化を⾃⼰で判断するのは難しく，本⼈が回答する主観的象に，フーリエ解析を⾏うことで，複数の周波数帯域でパデータの評価では，信憑性を主張するのが困難である．

ワースペクトルのピークを観察することができる[7]．

encephalogram)による簡易脳波計を⽤いた．

そこで本研究では，松本らが提案したリアルタイムに集中度を考慮した声かけを⾏うロボットを開発し，その評価

2． 2

集中 /非集中の評価を客観的に⾏うものとした．⽬的の実現のために脳波をリ集中・⾮集中の評価にはα波とβ波の⽐率を測る事が有アルタイムに解析する解析プログラムを開発した．プログ

効とされている[8]．しかし，α波は 7.5-11.75Hz，β波は

ラムは，学習時にリアルタイムに学習者の脳波を解析し，13-29.75Hz と周波数帯域が広く，これらの値は個⼈によっ集中度を算出し非集中時の判別を行い，その結果に応じたて分離することが困難であることから，Lowα波, Highα

声かけをロボットが行う．評価実験では実験協力者 10 名波, Lowβ波を⽤いるものとした（表 1）に対しその効果を測定した．その結果，非集中回数の多い
表 1 各周波数成分の値域と心理状態

人に対するロボットの声かけが集中度を高めることに有効であったことが示唆された．
論文の構成は，2 節にて脳波による学習状態の計測につ

名称

測定(Hz)

心理状態

Lowα波

7.5 – 9.25

リラックス，平穏，意識的（気だるくHighα波

10 - 11.75

いて，3 節にて提案する声がけロボットの設計と実装，4 節にて評価．5 節にてまとめと今後の課題について述べる．

はない）
旧 SMR(感覚運動リズム),統 合 的 ,リラックスしているが，集中している†1 芝浦工業大学 工学部情報工学科†2 女子美術大学 芸術学部 アート・デザイン表現学科© 2021 Information Processing Society of JapanLowβ波

13 – 16.75

思考，自己および環境の認識

Highβ波18 – 29.75

警戒，動揺340

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

また，⼀般的にα波はリラックス成分，β波は集中成分とされているが， Highαの⼼理状態の「リラックスしているが集中している」は学習時において集中成分になると考え調査を⾏った．そのために脳波解析を⾏うための脳波解析プログラムの実装を⾏った．

2A19
2021/3/10

3. 集中判定を用いた声がけロボット
3.1

集中判定式

予備実験により精神状態のリアルタイムな反知恵を脳波解析に⾏えることが確認できた．声がけ時のタイミングを判定するための指標を検討するものとした．指標は，単位時間あたりの各成分のスペクトルを計算し，(集中を⽰す成

2． 3

脳波解析プログラムの設計と実装

本研究では，NeuroSky 社の MindwaveMobile2 を用いた．しかし，NeuroSky 社が提供するソフトウェアではリアルタイムでの脳波解析による声かけが困難である．
声かけタイミングを判定し，その結果をリアルタイムに反映する必要である.本課題を解決するために，脳波解析プログラムを開発するものとした．本研究で用いる脳波計は，Electroensephalogram(EEG)と呼ばれるもので，基準導出法（referential recording）により，電気的に 0 に近い点（耳朶）分)/(⾮集中を⽰す成分)の割合で集中か⾮集中かの判定を⾏う．集中を⽰す成分としてβ波，⾮集中の成分としてα波を⽤いることが主とされるが，本研究では学習時における集中を扱うため，集中を⽰す成分は Highα波と Lowβ波，⾮集中を⽰す成分として Lowα波を⽤いることとし，以下の(式 1)で集中かの判定を⾏うものとする．集中時には集中成分である Highα波と Lowβ波が優位になり，スペクトルの値が⾼まるため(式 1)の値が 1 を超えた時を集中状態とした．

を基準（基準電極， reference electrode）にして，頭部の電1<極と耳朶の電極（活性電極， active electrode）を記録する

#$%&'
()*'

𝑜𝑟 1 <

()*.

(式１)

()*'

方法により，電極（脳）から得られた電位を，アンプ，AD変換器を通じて PC にデータを取り込む形式となっている．
また，鼻根と後頭結節，および左右耳介前点をそれぞれ計測し，それぞれの中点より vertex(Cz)を求め，鼻根と後頭結節の間，および左右耳介前点の間を 10％に分割し，電極を配置する 10％法(拡張 10-20 法)に準拠し，特定のチャネルから脳の機能局在に対応した特定のチャネルから電位差を取得した．対象とした NuroSky 社 Mindwave mobile では，前頭葉の AF3 からデータを取得する．前頭葉は，思考や判

3.2 声かけシステム
声かけは学習時に⾏うため，集中時の声かけは学習の妨げとなり不適切と考え，⾮集中時に声かけを⾏うものとした．また，⼀定時間⾮集中と判定されなかった場合に声かけを⾏う仕様とした．ロボットには Raspberry Pi4 とスピーカーを搭載した．Raspberry Pi4 は⾮集中時に PC と通信を⾏い，声かけの指令を受け取り，⾳声ファイルを再⽣しスピーカーから声かけを実現する(図 1)

断を行う部位であり，今回の研究目的の意欲を示す継続的な集中を計測するためにふさわしいと考えた．
脳波のサンプリング周波数に関しては、解析しようとす

学習者

脳波計

Bluetooth

る最高周波数の 2 倍以上の周波数でサンプリングしないと生データ取得
高速フーリエ変換

PC

正確な解析ができない(サンプリング定理)一般的に，電位差のデータ周波数解析を行なった. プログラムは，Python2.7 系のオープンソースである NeuroPy を用い，生データを取得した．臨床脳波記録では，65Hz 以上の周波数成

周波数解析

スピーカー

ロボット
Rasberry Pi4

TCP通信

非集中判定

図１ 声かけシステム概要分が記録される事が望ましく，サンプリング周波数が原信号の 2 倍より低い場合，エリアシングノイズが発生してしまうため，サンプリング周波数は 256Hz とした．
学習時とリラックス時における，Lowα波, Highα波,Lowβ波の値を計測し，学習時において Highαが優位となるか確認を行った．実験協力者は成人男性 1 名，実験方法
は学習とリラックスをそれぞれ計測時間 10 分で行った．
実験環境は外的要因を少なくするために周囲に誰もいない静かな部屋で耳栓をつけた状態で行った．確認方法は，学習時とリラックス時における Lowα波, Highα波, Lowβ波

3.3 ソフトウェアの実装
脳波計は取得した⽣データに対して⾼速フーリエ変換を⾏い，時間軸成分から周波数成分にする．その周波数成分を Lowα波， Highα波， Lowβ波の各周波数成分に分解し，(式 1)に当てはめ集中状態かを判定する．⾮集中状態が連続で 30 秒・50 秒続いた時に声かけを⾏う仕様とした．
声かけ時に Raspberry Pi4 側に声かけの信号を送るものとし，PC と Raspberry Pi4 との通信にはソケット通信を⽤い，TCP プロトコルで⾏った．の時系列のスペクトルデータを比較し Highα波が優位であることを確認した．

3.4 ハードウェアの実装
⼈とロボットとの親密度は，印象度の⾼いロボットを⽤© 2021 Information Processing Society of Japan341

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

いた⽅が⾼まると考え，かわいいロボットの製作を⾏った．
最もかわいい 3 次元オブジェクトは「球」であり，かわいいと感じるテクスチャは「ふわふわする」，「触りたくなる」である[9]．これらに注⽬し「Alfred」という⽝を模したロ

2A19
2021/3/10

4. 声かけ効果の評価実験
本実験では，学習時の脳波の測定とアンケートの集計を行い，ロボットの声かけが学習意欲に対しどのような影響が生じるのかを評価する．

ボットを作製した (図 2)．ボディは 3D プリンターで作製し顔側にはスピーカーの⾳が篭らないようにする為，直径3mm の ⽳ を 9 個 空 け た ． ま た ， ⼩ 型 コ ン ピ ュ ー タ のRaspberry Pi4 とスピーカーを内蔵した．Raspberry Pi4 の電圧供給ではスピーカーの⾳量が⼩さく，ロボットからの声かけが聞こえないため，バッテリが内蔵されたスピーカーを⽤いた．

4.1 実験方法
実験協力者(10 代:2 名，20 代:9 名)を対象にした．学習時
間 20 分で行い，学習成果を測るための確認テスト絵お時
間 12 分で行った．また，実験は以下の 2 種類のパターンで行い，その内容を以下に示す．
Ⅰ:学習(声かけあり)と確認テスト→ 学習(声かけなし)と確認テスト
Ⅱ:学習(声かけなし)と確認テスト→ 学習(声かけあり)と確認テスト
実験の学習内容には，今後必要となる総合適性検査の非言語を対象とした．実験後にロボットの声かけについて 8
項目とロボットの印象度について 6 項目の評価をアンケー
ト形式で行った．また，実験風景を以下に示す(図 3)．

図2

Alfred: 声かけロボットの外観

3.5 声かけ言葉とタイミング
本ロボットでは，声かけは経過時間によって，声かけ言葉を変えるものとした．以下に声かけのタイミングとそこで行われる声かけ言葉を示す(表 2)．非集中が 30 秒継続した場合に番号１の声かけを行い，非集中が 50 秒継続した
場合に番号 2 の声かけを行う仕様とした．声かけには非集
中が 30 秒継続時には「頑張って」や「ファイト」という励ましの声かけとして，非集中が 50 秒継続時には「集中！集中！」と繰り返し言うことで注意喚起の声かけとした.
表 2 声かけ言葉とタイミング
( 分 )
0

声かけ⾔葉
はじめまして！僕の名前はアルフレッド, 実験に協

図3

実験風景

4.2 評価方法
各人から得られた脳波データを声がけ脳波の評価指標を用いて分析を行なった．分析においては，実験時の脳波データを FFT により周波数帯域に分離し，その結果から，
式 1 の判定指標で非集中の判定を行った．この時，非集中の回数が 10 回を超えた人達のグループを，集中が低いグループとし，10 回未満の人達のグループ集中が高いグループをとした．
ロボットの声がけ効果の評価にあたり，⾮集中判定が⾏⼒してくれてありがとう！それじゃあはじめよう

われた前 30 秒と後 30 秒の値をそれぞれ区別して分析する

2-5

1.ここから集中して頑張って 2.集中集中ものとした. 具体的には，式 1 による⾮集中判定の前の 30

5-10

1.最後まで頑張って 2. 集中集中

10-15

1.あと残り少しだよ，ファイト 2. 集中集中

15-20

1.あとちょっとだよ，頑張って 2. 集中集中

20秒を Before, 後の 30 秒を After とし，この⼆つの値の差分を集中の差分とした場合，ロボットによる声がけの効果はBefore – After の差分で求められる．さらに，この値を，声がけありの時の⾮集中判定時の値, 声がけなしの⾮集中判お疲れ様です！

定時の差分として求めることで真の効果値を得るものとし

これからも勉強頑張ってね！応援しているよ！

た．

© 2021 Information Processing Society of Japan342

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

4.3 結果：集中度の差

2A19
2021/3/10

う結果が得られた．

我々は脳波から取得する生データに，FFT を行い，式 1により算出した集中・非集中状態を表す High α/Low αの値を算出した．算出した値をもとに，集中，非集中の判定を行い，非集中の場合にはロボットが声がけを行うアルゴ
リズムにより，声がけを行なった．
非集中回数の多いグループと少ないグループを対象に，声がけの効果を検証した．検証は，それぞれのグループについて，4.2 で示した評価値をそれぞれ算出し，その差につ

図5

集中度に関するアンケートの評価の⾼いグループと低いグループの差いて，対応のある t 検定を行なった．片側検定の結果 0.0472
で p < 0.05 (自由度 3)が有意という結果になった(図 4)．
High β/ Low β, またそれぞれの単体の指標では，有意差4.5 ロボットの印象度に関するアンケートは見られなかった．非集中回数の多いグループに対する声「一緒にいて楽しい」というロボットの印象度に関するかけ効果については，さらに，声かけ後，集中度の値が増項目について評価の高いグループと低いグループにおいて，加傾向にあり，非集中回数の少ないグループは声かけ後，集中成分である Highα波と Lowβ波のスペクトルを比較

集中度が減少傾向にあることが分かった．

した. 対応のある t 検定を行なった結果，High αのスペク

このことから，声かけ効果は，非集中グループに対してトルの差については，片側検定の結果 0.0445 で p < 0.05 (自は有効であること，逆に，集中グループに対しては逆に集由度 4)で有意という結果になった（図 6）. また，High β中が悪化する影響があることがわかった．声がけをする対のスペクトルの差については，同様に片側検定の結果，象を選ぶことが重要である．

0.0221 で p < 0.05 (自由度 4)で有意差がみられた (図 7)．

図4

非集中回数別のグループの差

図6

Highαのスペクトルの差

図7

Lowβのスペクトルの差

また，記述式アンケートの結果のうち，ロボットの印象について評価の⾼い⼈と低い⼈，声かけあり時の⾮集中判定が⾏われた前 30 秒と後 30 秒の集中度の平均の差分を対象にして差の検定を⾏った．
4.4 集中度に関するアンケート
主観アンケートでは，「 ロボットの声かけがあった方が集中して勉強をする事ができた」という項目について，被験者は，非常に思う，全く思わない，の間をリッカード尺度に従い 7 段階に分けて評価をおこなった．分析では，平均4.6 考察

点よりも評価の高いグループと，評価の低いグループを分

⾮集中の回数が多い⼈に対し，声かけが集中⼒を⾼める

け，そのグループごとの式 1 で算出した集中度の平均の値ことに有効であることが⽰唆されたと考える．また，脳波を取得し (High β/High α)，評価値にて算出した値を対象による定量的データとアンケートによる主観的データに整に，声がけを評価するグループと評価しないグループで差合性があることが分かった．このことから，脳波による定が有意であるかを検証した．対応のある t 検定を行なった量的評価は有効であると考える．また，声かけロボットの結果，片側検定の結果 0.041 で p < 0.05 (自由度 3)が有意と印象度の「一緒にいて楽しい」という項目が印象度の中でいう結果になった(図 5). 評価の高いグループの方が，声が最も重要であることが分かった．これは，過去の研究報告

け後の脳波の集中度の値の変化(差分)量が有為に高いといによる結果と一致していることがわかった[10].

© 2021 Information Processing Society of Japan343

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

5.

まとめと今後の課題
本実験では，ロボットの声かけによる学習意欲の向上が⾒られるかを，脳波解析による定量的評価による検証を⾏った.その結果，全ての⼈に共通する学習意欲向上を⽰唆する結果は得られなかったが，⾮集中の回数が多い者と少ない者でグループを分けた時，前者は声かけ後の集中度が増加傾向にあり，後者は声かけ後の集中度が減少傾向にあっ

2A19
2021/3/10

理学会研究報告， CE-137 No.4 ，2016 年[7] 北城圭⼀， ⼭⼝陽⼦，“脳波位相同期解析による視知覚の研究”，Vision 19，No.4，pp193-200，2007 年[8] 吉川正剛，三宮真智⼦，“⽣徒の学習意欲に及ぼす教師の⾔葉かけの影響”，鳴⾨教育⼤学情報教育ジャーナル，2007，4 巻，pp.19-27[9] ⼤倉典⼦，「かわいい」⼯学，朝倉書店 2017 年[10] ⽩岩⽞気,菅⾕みどり, 意欲向上のための声かけロボットの⽀ 援 効 果 の 検 証 ， 組 込 み シ ス テ ム シ ン ポ ジ ウ ム 2019 論 ⽂集,2019,88-89 (2019-08-29).

た．また差の検定により，2 つのグループの声かけの効果の差は有意であるという結果となった．このことから，集中⼒の低い者に対する⾮集中時の声かけが集中度を⾼めることに有効であることが⽰唆され, 脳波による定量的評価は有効であるということが分かった．
本研究では集中/⾮集中の閾値を集中度の割合が 5 割の時としているが，閾値の境界間際では集中/⾮集中に差はない．実験後の被験者に対しての聞き取りでも，「集中していたのに声かけがされた」という意⾒を聞き，閾値の検討や，集中/⾮集中の 2 つの分類にするのではなく，集中/⾮集中の間にどちらにも属さない無の状態を設定し，3 つの分類にするといった解決策が必要だと考える．
学習内容が⼈により不要な者もいたため，学習内容を⾒直す必要があると考える．また，先⾏研究の検証では，⼩・中・⾼等学校を対象としている．このことより，今後の研究では年齢別での声かけの効果の検証を⾏なっていき，効果の違いがあるかについて検証が必要であると考える．
今後は実験協⼒者を増やすと共に学習時間を伸ばし，分散分析や重回帰分析を⾏いより統計的にロボットの声かけ効果を調査と，ロボットの声の好感度を⾼めるため，声の種類と早さの調整，声かけ⾔葉の改良などを⾏っていく．
学習意欲の向上を確認するには，短期的な集中ではなく，⻑期的な集中がみられると考え，継続的な調査を⾏い検証していく．また今後は，⼀緒にいて楽しいと思わせるロボットの製作を⾏っていく．

参考文献[1] ⽊下陽⼦，“学習意欲を⾼める教師の関わり ―数学科の授業における⼦供の意欲を伸ばす⾔葉かけ―”， 東京学芸⼤学教職⼤学院年報，第 3 巻，pp.203-211，2004[2] 岡崎奏⽃， 阿部隆幸，“教師の⾔葉かけが⽣徒の学習意欲に与える影響”，上越教育⼤学教職⼤学院研究紀要，第 6 巻，pp.4350，2018 年[3] ⽊村美奈⼦，“教師のことばかけによる学習意欲の向上あるいは喪失１‒中学時代を振り返って-”，名古屋芸術⼤学研究紀要，
第 35 巻，pp.115-139，2014 年[4] Kodai Matsumoto, Reiji Yoshida, Feng Chen, Midori Sugaya:
Emotion Aware Voice-Casting Robot for Rehabilitation
Evaluated with Bio-signal Index. HCI (37) 2019: 241-250．
[5] 坂本佑太，吉⽥幸⼆，宮地功，“簡易脳波計による学習状態の思考 ⽐較分析， マルチメディア，分散，協調とモバイル”(DICOMO)2012 シンポジウム論⽂集，pp. 724 - 729，2012年[6] 梅澤克之，⽯⽥崇，齋藤友彦，中澤真，平澤茂⼀，“簡易脳波計測を⽤いた学習者にとっての課題難易度の判定⽅法”， 情報処© 2021 Information Processing Society of Japan344