留学生のための AI 表情解析システムを用いたコミュニケーション支援の試み
吉嶺加奈子*1
Email: kanako@nda.ac.jp*1: 防衛大学校人文社会科学群人間文化学科◎Key Words

1.

AI，表情解析，コミュニケーション，留学生，日本語教育

はじめに外国人留学生を対象とした学校教育における日本語教育において，初級段階では文化圏の異なる教師およびクラスメイトと共通言語を持たない際のコミュニケーションが困難である。一方で初級段階は教師やクラスメイトとの信頼関係を構築する重要な時期でもあるが，言葉の裏側にある感情を読み取ることは難しい。
コミュニケーションには言語的なものと非言語的なもの（動作・空間・音声等）がある。日本語によるコミュニケーションが難しい際に非言語的コミュニケーションで意思伝達を支援する方法があるが，オンライン環境下ではジェスチャー等の体の動きによる非言語的コミュニケーションには限界がある。そこで比較的オンライン環境下でも目視でき，かつ感情が表出されやすい「顔」に着目した。本研究では留学生が日本語を話しているときの表情を解析し，その結果に基づいてコミュニケーションを支援する方法を検討したい。

ステム導入が実現できる。

OS形式
分析方法
プログラム
特徴表 1 仕様
Windows10
顔領域の特徴点検出
AI による顔認識・表情解析
Intel 社の OpenVINO ツールキット(1)を活用
・5 つの感情要素から解析（Neutral, Happy, Sad, Surprise, Angry）
・最も要素の強い感情をアイコンで表示

2. AI 表情解析システム
2.1 AI 表情解析システムの概要研究を遂行するにあたって，顔の表情を認識して感情を判定する方法として，AI（人工知能）を用いることとした。以降，本研究では表情の認識から感情の判定までを機械学習している AI が組み込まれた画像解析システムを「AI 表情解析システム」と呼称する。
AI 表情解析システムは，既にテレビ会議システムの拡張機能やアプリケーションとして教育やビジネスの中で活用され始めている。しかしパッケージ化された AI 表情
解析システムは，①使用するには組織的なシステム導入が大前提である，②Zoom 等の特定のツールに依存する形で使用する，③録画映像や写真画像といった記録済の動画像に対してクラウド上で解析を行うケースが多い。

図 1 概念図
図 2 は実際の実行ウインドウである。ウインドウに表示された動画像から自動で顔を検知し，解析結果として 5つの感情要素が占める割合を左下部，最も要素の強い感情のアイコンを右下部に出力する。図 2 ではウインドウ
上で国際交流に関するインタビュー動画(1)を再生して同期的に解析したが，感情要素は neu（平坦）が最も強く，次いで sad（悲しみ）や ang（怒り）も含まれていることから，「微笑」のアイコンが表示されている。Hap（幸せ）や sur（驚き）の感情要素はほとんど存在しない。

2.2 AI 表情解析システムの構築
本研究においては，上記 3 点の問題から解放されるべ
く，パッケージ化された AI 表情解析システムではなく AI表情解析システムを構築した上で，留学生の表情を解析することとした。試作した AI 表情解析システムの仕様を
表 1，概念図を図 1 に示す。
OpenVINO を活用したことにより，動画像だけでなく，リアルタイムで実行ウインドウ中の「顔」を読み取ることが可能である。また構築環境上で再生した動画像に対して解析を行うため，ツールに依存せずオフラインで解析できる。そしてプログラムソースを構築環境で個別に呼び出す形式を取るため，個人単位での AI 表情解析シ

図 2 実行ウインドウ

3. パイロット調査
3.1 調査概要
AI 表情解析システムの検証，すなわち留学生の表情から感情を適切に解析できるかを検証するために，筆者の所属機関に在籍する留学生に対してパイロット調査を実施した。
調査対象者：ラオス国籍留学生 6 名（20 代男性）
調査方法：
１．
「休日の過ごし方」等について，日本語で会話
２．会話中の表情をリアルタイムで解析

3.2

倫理的配慮

本調査は，防衛大学校研究倫理審査委員会から承認を得て実施した。

3.3

調査時に生じた問題

パイロット調査において，3 点の問題が生じた。①マス
クの装着有無によって不正確な表情解析が行われること，②解析する動画像に複数名が存在する場合は，1 名のみの顔をランダムに検知すること，③留学生の内包する文化や特性によって，解析された感情と会話内容から推察される感情に差異が生じることである。

図 3 パイロット調査の解析例
例えば図 3 に示す感情要素は sad（悲しみ）が最も強く，次いで neu（平坦）が強いため，「泣き顔」のアイコンが表示されている。これはマスクを装着していることにより，顔領域のうち下半分の特徴点を検出することが困難であることが関係していると推測される。また，図 2 と図 3 では共に sad（悲しみ）という感情が解析結果で強く表示されている。恐らく今回使用した OpenVINO は，表情が豊かだとされる欧米系の表情解析を円滑に行うべく，顔の特徴点が大きく取られている可能性がある。そのため，表情が穏やかなアジア系に対する表情解析が不正確なものとなったのであろう。

3.4

対応策の表情を解析する
2．解析を行う際，複数名ではなく 1 名のみが実行ウイン
ドウに表示されるよう，web カメラによる入力範囲や動動画の映像範囲を調整する
このような対応をすることで「3.3 調査時に生じた問題」
で挙げた①と②の問題については改善された。しかし③の問題については，現時点で対応策はない。もし当該問題を解決するのであれば，顔の特徴点がより細かく・より多く設定された AI モデルデータを選定する必要がある。また感情要素も Neutral, Happy, Sad, Surprise, Angry の 5 つではなく Disgust（嫌悪）や Fear（恐れ）等の更に多くの感情要素へと振り分けるよう学習されたAIモデルデータに変更することが今後の対応となる。
なお感情の持ちようには個人差があるため，より AI 表
情解析システムの精度を高めるために性別や人種，年齢等といった識別パラメータを入力した上で表情解析を行う方式を取り入れることも視野に入れたい。

4.

参考文献
(1)

今回の AI 表情解析システムを使用する場合，以下の行為によって表情解析の精度を高めることが可能である。
(2)
1．Web 会議システムを介する，あるいは動画を提供してもらうことで，マスクを装着していない状態にした「顔」

おわりに

本研究は，AI 表情解析システムを用いて外国人留学生の「顔」から感情を解析し，気持ちや発話内容を推測することで日本語によるコミュニケーションを支援することを最終目的としている。その第一段階として用途に合った AI 表情解析システムを構築し，システムの検証を兼ねてパイロット調査を実施した。
パイロット調査からは3 つの問題を発見するとともに，問題を解決するためには AI表情解析システムに使用しているAI モデルデータの見直しあるいは独自開発という抜本的な変更が求められることが分かった。
同時に，マスクを装着していない状態で外国人留学生 1名に対して会話する場合は，実行ウインドウに出力される感情と会話内容から推察される感情が近しいことも分かった。今回は「休日の過ごし方」等の感情の推察が容易なトピックについて会話を行ったことも関係していると思われるが，解析に適した条件であれば，実行ウインドウに表示される感情要素やアイコンは外国人留学生の感情に近いものが表示される。つまり日本語でのコミュニケーションが不得意な外国人留学生であっても，AI 表情解析システムを通じて自分の感情を伝えるだけでなく，相手の感情も知ることができる。
今回のパイロット調査の結果からは，AI 表情解析システムが外国人留学生と日本人間のコミュニケーション支援のための新たな道具となる可能性を見出すことができたと言える。今後の課題として，AI 表情解析システムにおいて外国人留学生の表情から適切な感情を判定できるようAI モデルデータの精度を高める方法を模索する必要がある。

ものものテック：“OpenVINO でゼロから学ぶディープラーニング推論（3.リアルタイム感情分析アプリ）”，https://monomonotech.jp/，JellyWare 株式会社（2022）．
防衛大学校広報チャンネル：“高い志で未来を見つめる防衛大学校”，https://www.youtube.com/watch?v=iuC9j47nL8g，防衛省（2021）．