WISS 2021

絵本読み聞かせにおける感情理解のための色を用いた支援システム
藤井 琴音*

五十嵐 悠紀*概要． 絵本の読み聞かせは感情を豊かにし，意識的に感情をコントロールする練習となるため他者との円滑なコミュニケーションに役立つ．本稿では絵本の読み聞かせを通した感情理解の支援を目的とし，声の「大きさ」と「高さ」の 2 つ条件から相手の感情を分析し，対応する色を提示するシステ
ムを開発した．本システムを利用することで，他者の感情を理解しやすくすること，絵本に対して興味関心を高めることを可能にする．

1

はじめに感情は私たちの生活に深く関係しており，意識的に感情をコントロールすることは，他者とのコミュニケーションを円滑にする．表情や姿勢・声から相手の感情を読み取ることができ，特に幼児期に様々な感情に触れることは適切に感情をコントロールするための重要事項である[1]．音声と感情に関係する研究を行った遊魚は，声の調子は感情に直結しており，他者の気持ちを読み取る材料にもなることを示した[2]．感情に関する研究を行ったエクマンは，感情を「怒り，嫌悪，恐怖，喜び，悲しみ，驚き」の6 つに分類した[3]．また感情と色は関係が深く，色はあるイメージや雰囲気，感情などを喚起させる効果がある．アメリカのプルチックが提唱したプルチ
ックの感情の輪は，感情と色が対応しており，例えば「喜び」は黄色で表現される[4]．大和らは，場の空気に合わせて変化するイルミネーションデザイン
自動制御システムを提案し，システムを活用することで人々の気持ちを豊かにすることを示した[5]．
本稿では加えて感情理解の支援を目的とし，感情の学習としても代表的な絵本の読み聞かせに着目したシステムを提案する．図 1 に提案システムの外観を示す．絵本を読み聞かせする際の声の「大きさ」と「高さ」の 2 つから感情を分析し，対応する色を提示する．本システムにより感情を理解する練習ができ，感情のコントロールの学習を可能にする．

2

図 1．提案システム

Lua Lolin V3 ESP8266 開発ボード，マイクセンサ，LED テープ，ディスプレイ，スイッチ，電源部（単3 形乾電池 4 本）から成る．ソフトウェアは Arduino
IDE を用いて実装した．外装部分は 3mm のアクリル板を使用してボックスを制作し，黒スプレーを用いてコーティングを行った．本システムは，絵本の読み手の音声情報より感情を分類して対応する色をLED テープで表現する Auto モードと絵本の聞き手に特に学んで欲しい感情の学習を可能にする喜怒哀
楽モードの 2 つに分けられる．以下にそれぞれの詳細を述べる．

提案システムシステムの構成は図 2 に示したように Nodemcu

Copyright is held by the author(s). This paper isnonrefereed and non-archival. Hence it may later
appear in any journals, conferences, symposia, etc.
* 明治大学図 2．システム構成図

2.1 Auto モード
マイクセンサより絵本の読み手の音声情報を取得
し，声の「大きさ」と「高さ」の 2 つのパラメタに

WISS 2021

応じて LED テープを光らせる．取得した電圧より「大きさ」を算出し，ある 2 つの閾値をもとに大・中・小の分類を行った．閾値の決定にあたり，大・中・小それぞれの音声情報を用いて実験を行った．
各々の最頻値を確認し，最頻値同士の中央値を閾値と定めた．また，高速フーリエ変換により「高さ」を算出し，ある 2 つの閾値をもとに高・中・低の分類を行った．閾値は上記の方法と同様に，高・中・低それぞれの音声情報を用いて実験を行い決定した．
2 つのパラメタに応じた LED テープの色を検討するため，10 代から 50 代の 58 名に「声と感情の関係性」のアンケートを行った．声の「大きさ」と「高さ」の 2 つの条件がそれぞれ変化した場合，相手がどのような感情であるかをエクマンが提唱した
6 つの感情「怒り・嫌悪・恐怖・喜び・悲しみ・驚き」の当てはまると考えられるもの全てに回答してもらった．アンケートの結果を表 1 に示す．結果より，最多値の感情を中心に配色を決定した（最多値と僅差の回答数がある場合は複数の感情を採択）．
感情に対応する色は，プルチックの感情の輪を採用した．決定した色は，表 1 の下線部の引かれた感情に対応する色である．また，「大きさ」により輝度を変更し，光り方を変えることで変化を楽しめるようにした．このような配色にすることで感情のコントロール学習の支援ができると考えた．
表 1．アンケート結果を参考にし，黄色，赤，青，緑とした．
Auto モードと喜怒哀楽モードはボタンにより変更することができる。ボタンを押すごとに，OFF→Auto→喜→怒→哀→楽の順に切り替わり，ディスプレイにて現在のモードの確認を可能にした．外装をシンプルにまとめるためにボタンを 1 つとし，喜怒哀楽の順に変化するように設定した。モード全体の様子を図 3 に示す．

図 3．モード全体の様子

3

ユーザ実験

絵本の読み手と聞き手の各 1 人を 1 組として，4組（10 代から 40 代の男女計 8 人）に本システムを体験してもらい，アンケートを実施した．システム有・無の 2 つの場合を比較検討するため，各組に同じ絵本を用いてそれぞれの読み聞かせを依頼した．
ここで同じ絵本を用いるため，1 回目と 2 回目の読み聞かせ時に内容理解の差の影響をなくすため，2組は先にシステム有で読み聞かせ，残り 2 組は先にシステム無で読み聞かせを行うこととした．アンケートの設問と結果を表 2 に示す．結果（小数点第 2位を四捨五入した値）より，システムを用いることで物語の内容・感情の理解を支援し，興味関心を高めることが分かった．読み手側の被験者は，システ
ム有の場合にはより一層絵本の登場人物の感情や世界観を伝えるために声の大きさや高さを意識しながら読み聞かせをしていた．聞き手側の被験者は，物語に沿って色がどのように変化するかを意識しながら物語を楽しんでいた．
反省として，色の光り方に着目するあまりシステ
ム無に比べて絵本への集中力が欠けている点が挙げられる．また男女の声の高さに違いがあるため，女性の読み手は黄色，男性の読み手は赤と紫が出やすい傾向にあった．これらは今後の課題とする.

表 2．アンケートの設問と結果

2.2 喜怒哀楽モード
絵本の聞き手に特に学んで欲しい感情の学習を可能にするため，日本人に馴染みのある喜・怒・哀・楽の 4 つの感情を採用した喜怒哀楽モードを用意した．それぞれに対応する色はプルチックの感情の輪

設問 （5 段階評価 5：非常にそう思う）
絵本の内容は分かりやす システム有
かったか？
システム無
登場人物の感情は分かり システム有やすかったか？
システム無
絵本に興味・関心を持て システム有
たか？
システム無システム有
絵本に集中できたか？
システム無使いやすかったか？

結果（平均）
4.0
3.9
4.1
3.6
4.6
4.0
3.4
3.9
4.5

絵本読み聞かせにおける感情理解のための色を用いた支援システム

参考文献[1] 鈴木直人. 感情心理学. 朝倉書店, pp. 59-62, 2007.
[2] 遊魚静. 音声による感情伝達の重要性-プロの読み聞
か せ に よ る 影 響 力 と そ の 効 果 -. Kyushu
Communication Studies, Vol.8, pp. 40-52, 2010.
[3] PaulEkman,“AreThere

BasicEmotions?,

Psychological Review”, Vol.99, No.3, pp. 550-553(1992).
[4] Robert

Plutchik,“Thenatureofemotions,American Scientist”, Vol.89, pp. 344-355 (2001).
[5] 大 和 香 穂 , 小 山 智 絵 , 五 十 嵐 悠 紀 ． MOOD
ILLUMI：場の空気に合わせて変化するイルミネー
ションデザイン自動制御システム. 第 24 回インタラ
クティブシステムとソフトウェアに関するワークショップ, 2016.