立石科学技術振興財団

助成研究成果集(第29号) 2020

[ 研究助成 (C) ]マルチメディアデータを用いたディープラーニングによる要介護者の感情認識
Emotion recognition using deep learning model with multi- media data2197013

研究代表者

大阪大学大学院 基礎工学研究科
特任助教(助成受領時：神戸大学 システム情報学研究科共同研究者

神戸大学システム情報学研究科

教授羅博士課程)

滝口

兆

傑哲也

[研究の内容，成果][研 究 の 目 的]
最近の日本では 1 年の間に，介護が必要とな1．研究背景る人は 40 万人ずつ増えている。この中に高齢

2017 年，日本では介護が必要となる人は 40者が多く，厚生労働省は「認知症高齢者の日常万人ずつ増えている。この中に高齢者が多く，生活自立度」Ⅱ以上の高齢者の数は 470 万」と厚生労働省は「認知症高齢者の日常生活自立度いう予想を発表しており，10 年後の将来にはⅡ以上の高齢者の数は 470 万」という予想を発

日本の人口の 4 人に 1 人は高齢者と予想されて表しており，10 年後の将来には日本の人口の 4いる。もちろん，全員が介護を必要とするわけ人に 1 人が高齢者と予想されている。もちろん，ではないが，仕事をできる人がとても少ないと全員が介護を必要とするわけではないが，高齢いうことになり，介護サービスと従業者不足が者が増えることにより，労働力が不足し，介護問題となる。看護の効率化と二十四時間看護のサービスと労働者不足が問題となる。介護事業提供が可能な体制を構築するために，介護者を中における，認知症高齢者の介護のポイントは，補助して，要介護者の感情認識ができる人工知

要介護者は自分が必要な存在だと認識させるこ能設備を提案する。本研究では，人間の力なしとである。本人ができることと感情状態は何かに機械が自動的に要介護者の音声と顔データかを把握して，できることをお願いすると，達成ら特徴を抽出してくれるディープニューラル感や互いの信頼感につながる。そうしたら，介ネットワーク (DNN) と畳みこみニューラル

護上の負担を軽減するためには，要介護者の感ネットワーク (CNN) を用いて学習して，要情認識を支持する援助が重要である。

介護者の顔検出と感情認識するシステムを開発

感情認識は社会的コミュニケーションの基礎する。本研究の成果により，リアルタイムに要となる能力であり，心理学の領域では，人間に介護者の感情状態を認識し，介護者の介護を補は 6 つの基本的な感情がある。それは怒り，恐助して介護効率を上げることに貢献することが怖，驚き，嫌悪，快楽，悲しみである。感情は期待できる。

さまざまな方法で伝えることができ，その中でも顔の表情は最もはっきりした感情信号である。
しかしながら，これまでの研究により，高齢者― 1 ―立石科学技術振興財団

助成研究成果集(第29号) 2020と若年者の表情認識を比較した結果，高齢者でる。これは受け入れられていない事象に対するは恐怖，悲しみ，怒りなどのマイナス感情認識

強いストレスにより，防衛反応で本来の感情とにおける感度が低いことがわかっている。従っは逆の表情が表出したと検証できたる。このよて，表情だけに頼ると，高齢者のマイナス感情うな場合には，単一な情報，例えば顔または音認識の困難度が高い。

声情報を利用して感情認識を実行するのは不十分であり，マルチメディアな情報による補正が必要だと考えられる。

2．従来研究とその問題点
従来の感情認識研究は主に表情データを用い

以上 2 点から，介護者が実生活において感情る。近年，deep learning の研究が盛んである。

認識を用いるためには，現行の感情認識の更なそのうち感情認識に焦点を当て，一般的には，る改善が必要である。そこで，申請者は以下のシチュエーションでの感情認識，Emotion Rec-2 つの新たな枠組みを含んだマルチメディア感

ognition in the Wild Challenge と い う コ ン ペ

情認識手法を提案する。

ティションといった二つがある。MIT (マサA．敵対性学習を用いたニューラルネットワー

チューセッツ工科大学) の Media Lab もコンクを用いて平静音声を感情音声に変換する手法

ピュータービジョンとディープラーニングを活が提案されている。GAN は少量の人間の感情用し，デジタル映像に映った人物の表情から感音声データを用いてモデルを学習し，人間と似情を読み取る技術を開発している。しかしながている感情音声を生成して，感情音声のデータら，要介護者の感情認識タスクは表情情報の感量を増加する。

情認識が不十分であり，音声の感情認識も必要

B ．単一の情報の認識では不十分である。そこと考えられる。一方，音声の感情認識研究は十で，マルチメディア情報 (音声と表情画像) を分に行われておらず，現状において，実用レベ用いて，両方の重みを自動的に考慮できたハイルの感情音声認識はまだ実現されていない。まスピード畳み込みニューラルネットワーク(H-た，ディープニューラルネットワーク (DNN)CNN) 認識モデルを提案し，高精度かつ高速の手法は大量な感情音声データ量を学習する必な感情認識を実現する。

要がある。感情音声データの収録は難しく，学習データ数が少ないために，音声の感情認識の3．研究内容用いては難しい。

認知症高齢者の感情認識率の精度を上げるこ

音声と表情のニューラルネットワークベースとを目標として，音声と表情の特徴量を用いるのマルチメディア特徴量を用いることで，高齢ことで，ハイスピードなマルチメディア感情認者の感情認識を行うことができる。本研究では，識システムを開発することが目的である。本研

以下の問題点を解決する研究を遂行する。

究の目的を達成するための提案システムの全体

学習データ量の問題：一般に大量データを必像を図 1 に示す。提案システムは，① 音声の要とするニューラルネットワークベースの手法

感情変換と認識システム，② 顔の表情認識シ

は，少量データしか用意できない感情認識におステム，③ マルチメディア感情認識システム

いて，その取扱いは難しく，拡張性に乏しい。の 3 つのシステムから構成される。

そこで，よりコンパクト認識モデルとデータの①増加手法の両方に考慮する必要がある。

感情音声変換と認識システム

感情音声変換の流れはデータの学習とデータ感情の判定が難しい：同一表情な場合に，感の変換，二つの部分がある。まず，データの学情の判定結果も様々な可能性がある。例えば，習階段で，入力の感情音声と出力の目標感情音

悲しい話をしているときに笑顔が現れた人がい声を変換モデルに入れて学習し，変換の教師関― 2 ―立石科学技術振興財団

助成研究成果集(第29号) 2020

図1数を推定する。この教師関数を通じて，特定の要介護者の顔表情と音声を検出して，顔の表情目標感情音声に変換できる。感情変換モデルにと音声の韻律情報を統合して，過程①にて学習より，既存の感情音声データを新しい感情音声した音声の感情認識モデルと②にて学習した顔に変換することができる。感情音声変換モデル

表情認識モデルを用いて，要介護の高齢者の感の変換精度をあげると，より人間のような感情情を認識する。新しく提案するマルチメディア音声合成を作成することが可能となる。増加さ感情認識手法は，新しい音声認識モデル GANれた感情音声のデータを用いて，敵対性学習をと高速化された表情認識モデル H-CNN を互い用いたニューラル (GANs) モデルを提案するに補助できるように組み合わせて，認識した結[1]。この増加された感情音声データは次に感果を介護者のところへ送り，介護者は要介護者情音声認識モデルの学習データとして使われ，の感情状態を 24 時間介護できるようになる。

音声の感情を認識できる関数が推定される。
②4．特色と独創的な点

顔の表情認識システム

画像認識分野において，CNN は多くのタスニューラルネットワークの機械学習が人間のクで驚異的な性能を達成し，注目を集めている。

脳のように，潜在的で複雑な特徴量を学習可能

しかしながら，認識率はまだ生活に応用できるとなる。非線形感情認識タスクにとって，良いレベルに到達していない。認識精度と計算ス効果が得られるが，ネットワークの学習に大量ピードをあげるために，本研究では新たに要介なデータが必要である。

護者に適用するために高速化された CNN モデ

a ．本 研 究 は 使 用 し て い る モ デ ル は 7 層 のルを提案する。表情認識モデルの学習に，人がディープニューラルネットワークである。感情感情表現を行っている短い動画データベースを音声変換の手法を応用した，少量の感情音声で使っている。この動画から顔の表情画像を用いも感情認識ができるモデルを提案した。感情音て CNN モデルを学習する。

声変換の流れはデータの学習と変換という二つ③の部分がある。まず，データの学習階段では，マルチメディア感情認識システム

マルチメディア感情認識システムを用いて，入力感情音声と目標感情音声を用いて 7 層のモ― 3 ―立石科学技術振興財団

助成研究成果集(第29号) 2020

d ．要介護の生活の質の向上
本研究が実現すれば，アプリケーション応用において，マルチメディア情報を使い，高齢者のマイナスの感情を認識することが可能になる。
少ない感情音声の情報で感情認識が実現できれば，感情音声データ収集の問題を解決することができる。このアプリケーションはリアルタイ

図2

ムに要介護者の感情状態を認識し，看護の効率デルを学習し，変換関数を得る。そして，得た化と二十四時間看護の提供が可能になる。また，変換関数を通じて，特定の感情音声変換ができ少子高齢化の進む国において，高齢者とのコる。収録が難しい感情音声データを平静音声かミュニケーション支援にも繋がる技術である。

ら変換することで，感情認識用の学習データを彼らの生活品質の向上に役に立つものだと考え増加させることができ，音声の感情認識精度のられる。

向上が得られた (図 2：提案手法の変換により，データ量を三倍に増加させた[2][3])。マルチ[今後の研究の方向，課題]

メディアのデータを活用して，さらに 25% の感情認識精度向上を行う。

深層学習発展につれ，スマートフォンの sirib ．少量感情音声データを用いた感情認識モデリング。

や接客ロボット eco に代表されるような対話ロボットが広く応用されることとなった。しかし，感情データの収集が難しいが，これまでの対話ロボットは実践において多くの不足が指摘

ディープニューラルネットワークの学習には，されている。例えば，アクセントや方言，入力膨大な学習データが必要としていた。本研究のされうる音声の多様性や集音環境によるの問題，特色は，少量の感情音声データで，敵対的生成高精度な音声認識を達成していない。このようネットワークに基づいて，感情音声変換のモデな限は，現場の応用においてクライアントの満ルを使う。その上で，機械で自動的に感情音声足度を下げ，介護，受付，給仕などより専門性のデータを生成し，感情データの不足問題を解を要する現場では，応用が困難となる。また，決する。敵対的生成ネットワークは生成モデル

深層学習には，大量の学習データが必要ですが，(Generation Model) と 判 別 モ デ ル (Discri-

データ量が足りない場合にモデルの汎用性が低minative Model) の相互博戦学習によってかないことになっている。でも多いの場合に，大規り良い結果を生む。GAN がディープラーニン

模な学習データが収集されることは困難です，

グに必要なデータの量を大幅に増加させることそのために，多くの受付や介護の仕事はまだ人ができる。

間スタッフが担当している。しかし，高齢化のc ．マルチメディアデータ情報を活用して，感進展につれ，労働力の不足がいずれ到来する課情認識の精度を上げる。

題である。対話システムロボットの応用は労働

従来の感情認識は主に顔，あるいは音声だけ力の不足を解決する重要なカギである。ロボッの認識だが，人間が他者の感情を判断する際，トの投入は，人間スタッフが行う作業を補うだ

単一の情報だけではなく，顔の表情と音声の韻けではなく，感情，経験などの要素を排除し，律情報の両方を用いる。本研究はマルチメディ

質の安定したサービスを提供するという大きなアデータ情報を用い，機械学習に基づき情報統メリットがある。人間とロボットが作業におい合を実現し，感情認識の精度を改善する。てそれぞれメリットとデメリットがある。本研― 4 ―立石科学技術振興財団

究は人間とロボットそれぞれの長所を生かして助成研究成果集(第29号) 2020

[成果の発表，論文等]「人間とロボットの共同建築対話システム」を[ 1 ] Zhaojie Luo, Jinhui Chen, Tetsuya Takiguchi,

課題として研究になる。本研究課題の本質的なYasuo Ariki : “Emotional Voice Conversion Using

学術的「問い」は，人間とロボットの共同建築

Dual Supervised Adversarial Networks With Con-

システムはどのように創出されるかである。本
研究のように，一方，人間の柔軟性と自然性を利用し，知能対話システムでは解決ができない問題を補完する，他方，対話システムが有する
音 声 認 識 (ASR) と 自 然 言 語 処 理 (NLP) を

tinuous Wavelet Transform F0 Features”, IEEEACM TRANSACTIONS ON AUDIO SPEECH
AND LANGUAGE PROCESSING 27 (10) 15351548 10, 2019.
[2]Zhaojie Luo, Jinhui Chen, Tetsuya Takiguchi,Yasuo Ariki : “Neutral-to-emotional voice conversion with cross-wavelet transform F0 using gene-

利用し，基本対話の問題を解決して作業の効率

rative adversarial networks”, APSIPA TRANS-性，人間がもつ記憶の限界などに対処する。さACTIONS ON SIGNAL AND INFORMATION

らに，感情認識と感情音声変換などの技術を対話システムに実装されて，客や非介護者の感情PROCESSING, 8 3, 2019.
[ 3 ] Zhaojie Luo, Tetsuya Takiguchi, Yasuo Ariki :“Speech Prosody Conversion using Sequence Gene-を認識し，人間スタッフに適切な回答内容を勧rative Adversarial Nets with Continuous Wavelet

める。感情音声変換がサービスの需要に応じて，Transform F0 features”, 日本音響学会 2019 年春季

ロボットは作業者の対応音声を機能付き感情音
声 (ハイテンション，説得力) を変換し，作業者の表現力を強化できる。

― 5 ―研究発表会講演論文集 1125-1128 3 2019．