報告オンライン時代のコミュニケーション支援AIの設計
A design of communication support AI in the online era

橋本 昌嗣

堀 健一郎

HASHIMOTO Masatsugu

株式会社飯綱エンタープライズ 取締役
Iizuna Enterprise,Inc Managing Director

デジタルハリウッド大学大学院 客員教授 / 株式会社エヌジーシー 代表取締役
Digital Hollywood University, Graduate School, Visiting Professor / NGC CEO

小田 幸弘

出雲 正尚

ODA Yukihiro

大塚 寛

KITAOKA Taiten

株式会社オフィス北岡 代表取締役
Office Kitaoka, Inc. CEO

光吉 俊二

IZUMO Masanao

株式会社エヌジーシー 開発部
NGC Development Division

株式会社エヌジーシー 開発部 部長
NGC Development Division, Manager

北岡 泰典

HORI KenichiroOTSUKA Hiroshi

PST株式会社 代表取締役 / デジタルハリウッド大学大学院 ゲスト講師
PST, Inc. CEO / Digital Hollywood University, Graduate School, Guest Lecturer

MITSUYOSHI Shunji

東京大学大学院 工学系研究科 特任准教授
School of Engineering, The University of Tokyo, Associate Professor

コロナ禍の中、急速にコミュニケーションのオンライン化が進んだ。オンラインは対面よりも相手の感情がわかりづらい。相手の感情を把握するために、NLP と呼ばれるコーチングの手法を AI 化することを堀が考案した。NLP は、カルフォルニア大学サンタクルーズ校で生み出された手法で、コミュニケーションが卓越した人たちの手法を体系化したものである。われわれは、この手法を AI で支援することを目的とし、NLP のエキスパートである北岡の助言をもとに、橋本が AI 化の設計を行った。1 つ目は、人が発する言葉の中に、「視覚」「聴覚」「その他の感覚」に関する単語が含まれるかを形態素解析によって検出し、どの感覚が強いかを検出することを可能とした。2 つ目は、ロボットのペッパーに搭載されている光吉が開発した「感情エンジン」、および大塚が開発した「MIMOSYS」により、声からの喜怒哀楽と元気圧の検出を実現した。それに加え、3 つ目として、顔の表情からの喜怒哀楽、笑顔の検出を、小田、出雲にて実装した。これにより、声および表情より感情を把握することを実現した。NLP の手法には、コミュニケーションがシンクロしていることを確認する手法や、相手の意識を変えることまで含まれている。また、微表情の解析も重要だと考えている。これらが将来の研究課題である。
キーワード：コーチング、NLP、AI、感情認識、表情認識

1. はじめに

2. コミュニケーション支援 AI の設計

1.1 背景パターン化された NLP の技法について、堀は、ルールの定義やAI によってコミュニケーションの支援に使えると考えた。

コロナ禍で、コミュニケーションの多くがオンラインにシフトした。
社内会議、社外とのミーティング、商談、授業、学会発表、展示会、2.1 コミュニケーション支援 AI のアーキテクチャ

面接、同窓会等全てオンライン化した。その中で、オンライン会議

今回、開発した感情認識エンジンの概要を図 1 に示す。図中のは、対面よりわかりづらいと聞く。オンライン面接等を支援するサービスも開始されている[1]

ピンクの部分が今回独自開発した部分である。

。

まず、1 つ目の「VAK 診断」（視覚・聴覚・その他の感覚のどの感覚が強いかの検出）機能であるが、人は、視覚、聴覚、その他の感覚の1.2 NLP とは
日 本 のメンタル ヘ ルス は 欧 米 に 比 べて 遅 れてい る。 米 国では、どの感覚が強いかによって分類することが可能である。会話の内容を1970 年代、ベトナム戦争の帰還兵の多くが PTSD に悩まされ、その文字起こしし、使用する単語が視覚・聴覚・その他の感覚のどれに関

短 期 的 治 療 法として、Neuro-Linguistic Programming（NLP）と呼連するものかを判定し、その人がどの感覚が強いかの判別を実現する。

ばれる、コーチングのメソッドが利用されてきた。NLP とは、カリフォ

2 つ目の「自信解析」機能は、声による感情の分析とAI による表情のルニア大学サンタクルーズ校のジョン・グリンダーとりチャード・バン分析の組み合わせにより、自信の分析を行い、自信があるかどうかを検ドラーがセラピストの認知・行動パターンをモデル化したものである。

出する。顔の表情から取得する情報は、顔 468 点および目 76 点 x2 つモデル化された NLP の技法は、体系的にまとめられ、極めて科学的の箇所のメッシュ情報から、次の情報を用いて推測する。目に関しては、である。NLP のメソッドを使用すると、例えば、コーチがクライアント目線の左右・上下、目の開き具合を解析し、顔の向きに関しては、左右、から瞬時に信頼を得て、クライアントの無意識的な能力を引き出す

上下、傾きを解析、顔全体に関しては前後の移動を解析、口に関しては、ことができる。その一方で、コミュニケーションの上級者の手法を体広がり具合、開き具合の解析を行う。利用するカメラの性能、コン系化し、他の人々にその知識の活用支援を実現した。

ピュータの性能を合わせ、処理点数を増やし、精度を向上させていく。

©︎2021 Digital Hollywood University77

DHU JOURNAL Vol.08 2021

その他の感覚の強い人は「その話は腹落ちする」といったような表現をする。視覚、聴覚、その他の感覚に関わる単語は表 1 に示すようなものがある。
表1：視覚、聴覚、その他の感覚に関わる単語
それぞれに関わる単語
イメージ、イラスト、かすむ、くっきり、ご覧ください、ハイライト、はっきり、パノラマ、ビジュアル、ビジョン、フォー
視覚

カス、プレビュー、まぼろし、暗い、闇、映え、垣間見る、外観、観察、見える、見かけ、見つめる、見通し、見張る、光景、公演、視覚、錯覚、私の視点、照明、色、鮮明、鳥観図、背景、反映、明確な、明示するなど
アクセント、アコースティック、おしゃべり、きしむ、コメン

図1:感情認識エンジンの概要

ト、ざわつく、スピーチ、ノイズ、バズる、ピッチ、叫ぶ、聴覚

3 つ目の「信頼関係が構築できているかの検出」機能は、会話の際、NLP の日本での第一人者のアドバイスを受け、コーチングビデオか響く、語る、呼ぶ、告げる、雑音、耳、声、静か、奏でる、前代未聞、宣言、しゃべる、聞く、聴く、相談、閑か、調べ、同調、波長、調子、調和、反響、悲鳴、無言、鳴く、余韻、らタグが付加された情報を AI に学習させ、動作がシンクロしている

和音、唸る、不協和、不調和など

かなどから、お互いの信頼関係が構築できているかを検出する。

いじる、ウェット、おいしい、かぐわしい、キャッチ、くすぐる、

4 つ目の「信頼を構築し、次のアクションの提示」機能は、会話の際、こする、さする、しがみつく、ジャンプ、ショック、しょっぱい、信頼関係が構築できた上で、次にどのようなアクションを起こせばよ

ストレス、スムーズ、ストップ、すり抜ける、スルー、ぞく

いかを AI が支援する。「VAK 診断」「会話速度」「喜怒哀楽」「活力指数」

ぞくする、ぞっと、タイト、タッチ、タイプ、ため息をつく、これらの４つの機能により、感情を読み取り、従来の自然言語処

その他
つかむ、つなぐ、ドキドキする、なでる、におい、ねじる、ハード、の感覚

理では対応できなかった人間らしい会話を実現する。これを用いて、リラックス、握る、圧力、威圧、引く、鋭い、押す、温かい、「自信判定」「動作判定」情報を使い、次のアクションを提示する。

バランス、フィーリング、プレッシャー、まっすぐ、よろめく、将来、次世代のアバターの実装を考えている。

温和、回す、壊す、快適、気分、強い、苦い、軽い、結び

これらの情報を統合して、図 2 に示すような形で、情報を提示す付ける、固い、絞る、支える、持つ、指すなどることを目指す。
これらは、科学的な手法で分析可能である。まず、会話の内容をAI を用いて、Speech-to-Text により文字に起こす。その文中において、視覚、聴覚、その他の感覚に関する単語がどのくらいあるのかを、形態素解析を用いて分析すると、その人がどの感覚が強いかが分析可能である。コーチングのメソッドでは、相手が使う感覚に関する単語使うほど、早期に信頼関係が築けることがわかっている。
また、同じ感覚が強い人がコーチングをすると、相性がよいともされている。

3.2 声からの喜怒哀楽の検出ロボットで会話を成立させるためには、自然言語以外の声のトーンや顔の表情から感情を読み取ることが必要である。光吉は、脳と密接な関係にある声帯から発生される声のトーンより、喜怒哀楽の感情を分析する感情エンジンを発明した。この感情エンジンはSoftbank 社のロボット「ペッパー」にも搭載され、人間の声のトー

図2：感情認識エンジンが目指す提示情報のイメージンを読み、軽妙に会話をつなげることができる。また、東日本大震
災で遺体処理をした自衛隊員の方々の中には鬱になる方も多く、鬱提示できる情報としては、相手が視覚、聴覚、その他の感覚のどの判定において、医師の診断、血液検査の結果、感情エンジンの結れが強いか、相手がどんな単語をよく使うか、 光吉が開発した感果が一致したことも示した。

情エンジンを使って相手の感情の検出、信頼関係がどのくらい構築できたかの表示、その上で、どのようなアクションを取ればよいか

3.3 音声からの元気圧の検出をレコメンドする機能を考えている。

大塚は、感情エンジンをさらに発展させ、本人でもなかなかわかりづらい、常に変化している心の状態を声から検出する「元気圧」の3. 感情認識エンジンの実装測定を実現した。元気圧とは短期的な心の状態のことである。大塚

3.1 語彙からの強い感覚の検出は、声帯の不随意反応に着目し、声の周波数の変動パターン等からNLP の１手法として、実世界を捉える際、視覚、聴覚、その他の心の状態の分析を実現した。例えば、人前での発表で緊張し、声が感覚のどの感覚が鋭いかで、その捉え方が人によって異なると言わ上ずるような声帯の緊張は自分では操作することはできない。これれている。どの感覚が強いかは、どのような単語を使って話していが声帯の不随意反応である。定型的に元気圧を測定すると、自然災害るかを分析することによってわかる。例えば、視覚の感覚の強い人が発生した地域の方々の元気圧が下がっていることなどがわかった。

は、「その話はよく見える」、聴覚の強い人は、「その話はよく聞く」、©︎2021 Digital Hollywood University78

DHU JOURNAL Vol.08 2021

3.4 顔の表情からの感情と笑顔の検出

表2：感情を取得できた一覧

本実装においては、小田と出雲がオープンソースの BlazeFaceを用い、顔がどこにあるのかを見つけ出し、face-api.js(FacialExpression) を用いて表情の推定を図 3 に示すとおり、行った [2]。
BlazeFace と face-api.js との 連 携 は、 本 研 究 独 自 の ものであ る。

ソフトウェア名取得できる情報

VAK 診断発する言葉を形態素解析し、視覚、聴覚、その他の感覚に関する単語を使用しているかの検出

また、iPhone で動作させるときには、iPhone 内の AI チップにより感情エンジンおよび 声より感情解析 : 楽・怒・悲・平坦
MIMOSYS
元気圧・鬱・アルツハイマーの可能性高速化する実装も行った。

図3：顔の表情からの感情と笑顔の検出ソフトウェアの構成

BlazeFace

映像中の顔の位置検知

face-api.js(FacialExpression)

表情解析 : 笑顔・怒り・軽蔑・恐怖・悲しみ・
驚き・平坦組み合わせでできそうなこと

アプリ上で声と表情からとれる感情をそれぞれユーザーに提示。感情と表情の関連やギャップが視覚的にわかる(1) 顔の検知
Facial Landmarks Detection を利用し、視線の向き、顔の向き、

4. 今後の課題

口 の 開き具 合 を測 定し、 数 値 化してグラフに 表 示することを図 4

感情を認識する上で、「微表情」の認識が重要であると考えている。のとおり実現した。

「微表情」とは、抑制された「真の感情」が顔に表れてフラッシュのように一瞬で消え去る現象のことである。その多くは 0.2 秒以内の出来事で、通常の会話では 80 ～ 90％が見落とされていると言われている。微表情には表 3 に示すようなものがあると言われている [4]。
北 岡 のメソッドを補 完する 上で、 堀 は、 今 後、 そ の 微 表 情も解析 し た い と 考 えて い る。 そ の た め に は、Facial Action CodingSystem（顔面動作符号化システム）も実装したいと考えている。
表3：微表情の種類[4]
微表情感情

眉

幸福-

軽蔑-

嫌悪-

図4：実装した顔の表情の測定画面（2）笑顔の検知
笑顔の検知に関しても、Facial Landmarks Detection を利用し、検出を実現した。笑顔を検出した場合、図 5 のとおり、エフェクトを付加する機能も実装した。FER+ のデータセットを利用し、笑顔の評価を実施したところ、78％の精度を得た。

怒り

3.5 声および表情により感情を取得できる一覧

口鼻笑いジワができ、 頬 が 上 口角が上がる
がる

-

-

片方の口角が上がる--

上唇が上がる鼻の周りにシワがよる

両 眉 が 中 央 目 を 見 開 き、口に力が入によりながら 下 ま ぶ た がる
力む
下がる

眉の内側が悲しみ 上がり、ハの字になる

図5. 笑顔の検出

目

口角が下がり、下唇が上がる-

恐怖

両眉が上がり、中央によ 目 を 見 開 き、口角が横にる。 額 中 央 下 ま ぶ た が引かれるに 波 上 の シ 力む
ワができる

-

驚き

両眉が下がり、額全体に見開く
水平のシワができる

-

-

口を開ける

5. 結語

今回、実装し、感情を取得できた一覧を表 2 に示す。

本研究では、発する語彙からの視覚・聴覚・その他の感覚のうちでどの機能が強いかの検知、声からの感情解析、表情からの感情および笑顔の検出を実現した。実装を行ったが、多くの被験者を使っての評価はまだできていない。

©︎2021 Digital Hollywood University79

DHU JOURNAL Vol.08 2021

光吉、大塚による研究より、声帯は脳に近く、声には無意識な感情が出やすいことがわかっている。それに対し、顔の表情については、人によって表情に出る。あるいは、出ないといった言葉があるように、顔の表情には感情が出ないこともある。これらを踏まえ、人の感情をいかに捉え、活用していくかが今後の課題である。
また、コーチングの手法の 1 つである NLP では、人の視線、表情、しぐさなどから相手の心理状態を察知することができる。それにより、短期間で信頼関係を構築し、内面に向き悩んでいる相手の意識を、現実世界に向けさせ、直視させることによって、PTSD 等を治療してきた。優秀なコーチングのトレーナーは、相手の意識を変えるタイミングをチョイスポイントとし、検出することができる。このような手法の実装が今後の課題である。
参考文献[1] https://zenkigen.co.jp/（2021年9月20日）[2] https://github.com/justadudewhohacks/face-api.js/(2021年9月20日)[3] https://arxiv.org/abs/1907.05047(2021年9月20日)[4] https://careersupli.jp/career/honne/(2021年9月20日)©︎2021 Digital Hollywood University80

DHU JOURNAL Vol.08 2021