対話コミュニケーションの能力向上にむけた評価・フィードバックシステム
An Evaluation and Feedback System for Enhancing Communication Skillsとが本研究の目的である。
２．研究の背景
プレゼンテーションは、ビジネスの場・学術の場別け隔てなく必要不可欠なスキルの 1 つである。書店に行けばプレゼンテーションの指南書と呼べるような書籍を多数見つけることができる。しかし、書籍から学

山崎 俊彦 (Toshihiko YAMASAKI, Ph. D.)

ぶだけだと実感が湧きにくく、書籍による学習だけで東京大学大学院情報理工学系研究科電子情報学専攻
准教授

自分のプレゼンテーションを改善できる人は多くない。

(Associate Professor, Department of Information andCommunication Engineering, Graduate School of Information
Science and Technology, The University of Tokyo)などの前でリハーサルをして改善点を指摘してもらう

そのため、一般的には多くの時間と労力をかけて同僚ほか、ひたすら場数を踏むことでプレゼンテーショ

電子情報通信学会 映像情報メディア学会 人工知能学会 情報処理学会
他
受賞：船井学術賞 (2016 年). 電子情報通信学会 IE 特別賞 (年間最優秀賞) ( 2020 年) 電子情報通信学会 HC 賞(年間最優秀賞) (2011 年)
他
著書：『乳幼児の発達学』—眠る・食べる・遊ぶ— (共著), 朝倉書店 (2019年) 不動産テック (共著), 朝倉書店 (2020 年) 他
研究専門分野：魅力工学 マルチメディア コンピュータビジョン

ン・スキルを身につけていくのが一般的である。
しかし、リハーサルを行うには大変な手間と労力がかかる。パソコンやスマホの前でプレゼンテーションするだけでその良し悪しを自動的に評価し、ユーザにフィードバックしてくれれば、ちょうどカラオケの自動採点システムのように自力で練習が可能になるのではないかという着想で始めたのがこの研究である。プ

あらまし

レゼンテーションを機械学習で自動的に評価するとい本研究は、対話コミュニケーションの能力向上にうシステムは当時（そして現在も）ほとんどなかったむけたリアルタイム解析とフィードバックシステため、学術的にも非常に挑戦的でかつ産業界からのニム構築を行う目的で行われた。これによって、これーズも高いものであった。

まで経験やセンスに依ると思われていた対話によるコミュニケーション能力を、客観的かつ定量的に

３．提案システムの概要

評価・解析し、向上のための支援までをも行うシス
テムを研究開発した。対話コミュニケーション技術
は対人関係を円滑にするだけでなく、学術・ビジネスの場においても非常に重要である。
１．研究の目的
プレゼンテーションや会見など、対話による人と人とのコミュニケーションは非常に重要なスキルであるにも関わらず、系統立った学習パラダイムが存在していない。また、日本人のコミュニケーションスキルは、諸外国に比べて見劣りするともよく指摘される。この

図1

プレゼンテーションを解析する深層学習モデル

ような現状を少しでも打ち破り、一人ひとりが自律的にコミュニケーションスキルを獲得できるような評

現在のプレゼンテーションの印象解析のアーキテク

価・フィードバックシステムをアプリケーションとしチャを図 1 に示す。自然言語情報と音響情報を扱ってて実現し、コミュニケーションスキル向上に資するこ
1

TELECOM FRONTIER No.114 2022 WINTER

対話コミュニケーションの能力向上にむけた評価・フィードバックシステム
An Evaluation and Feedback System for Enhancing Communication Skills

いる。言語情報を扱う部分では言葉選びと論理の立て時予測も行う事ができる。その様子を図 3 に示す。

方に注目し、音響情報を扱う部分ではイントネーションやテンポなどの話し方分析に注目しており、それらを総合的に判断してプレゼンテーションが聴講者に与えるであろう印象を判断する [1]。一般的な自然言語解析と異なり、プレゼンテーションは単語数が多く時間も長いので、独自の Attention 機構(*1)を備えることで長時間のデータでも安定して分析できるようにしている。また、印象解析は良い・悪いの 1 軸ではなく、「説得力がある」、「印象的だ」など予め定義された 14種類の印象語で評価を行っている。この 14 種類の印象以外の評価値が付与されているようなデータがある場合、例えば社内の研修用動画でわかりやすさ評価や受講者の成績などのデータがある場合は、それらを学習

図3

会見の良し悪しを予測する深層学習モデルデータとして追加的に加えることも可能であるという汎用性を持つ。

これは、印象の予測モデルに対して「その時点でもしプレゼンテーションが終了したとしたら」という仮定で印象を予測させるものである。経時的な印象は正解データがないため精度を確認することはできないが、最終的な印象の予測精度が高いので、経時的な印象の予想もある程度高いことが期待される。これによりユーザには各時点でのプレゼンテーションの良し悪しも判断できる。すなわち、改善すべき点がどこにあるのかをポイントで示すことができる。さらには、長時間のプレゼンテーション動画のハイライト動画を作成する際にもこれらの情報を活用できる可能性がある。な
お、どの様に改善すべきかという具体的な指示は現時

図2

点では生成しないようにしている。これは、具体的な2 人のプレゼンテーションに対する印象予測結果指示だけに従い、それ以外の改善点に注意がいかなくなるのを防ぐ目的がある。

モデルを学習させたあと、初見となる 2 つの動画を入力して分析した結果を図 2 に示す。左側のプレゼン

さらには、一方通行型コミュニケーションであるプ

テーションの例では面白い、情報量豊か、魅惑的、天レゼンテーションだけでなく、対話型コミュニケーシ才的といった印象が予測されている。一方、右側のプョンについても良し悪しを分析する技術を実現した。

レゼンではそのような華やかな印象は予測されない一

具体的には、記者会見における発表者と記者とのやり方、説得力がある、勇敢だなどの印象が予測されてい取りを対象に、チェック項目評価を実現した。YouTubeて、単に良し悪しだけではなくどの様に良いか悪いかにアップロードされている日本の有名企業の謝罪会見が分析されていることがわかる。ちなみに、この 14

動画合計７本(総計 12 時間)に対して、記者会見のコン種類の印象の予測の精度は TED Talks のデータを用いサルティングを行っている株式会社プラップジャパン

た実証実験で 85%以上を実現している [1]。プレゼンとの共同研究で 11 の項目について記者の質問に対しテーション全体についての印象だけでなく、印象の経て「うまく対応できている・対応がよくない・この評
2

TELECOM FRONTIER No.114 2022 WINTER

対話コミュニケーションの能力向上にむけた評価・フィードバックシステム
An Evaluation and Feedback System for Enhancing Communication Skills

価項目は当てはまらない」の 3 値で正解ラベル付けを行い、それを予測する深層学習器を構築した。

Image feat.

Content feat.

Design feat.

Slide feature

Good

図5Bad

スライドの良し悪しを分析する深層学習モデル

このシステムの実現のために、大規模なクラウドソーシングと独自の深層学習アーキテクチャの開発を行った。さらには株式会社 Rubato との共同研究により、プロのスライド作成コンサルタントが特に注目する十項目について対応できているかを評価するシステムを実現した [5]。本システムの研究開発においては、ス
図4

ライドの良い例と悪い例の数をバランス良く揃えるこ

会見の良し悪しを予測する深層学習モデルとが困難であるという学習データのアンバランス問題
テキスト化された会見内容について独自開発した深(*2)に直面し、それを解決する新しい方法を提案した。

層学習アーキテクチャ(図 4)を用いて、会見者の発言そのシステムを使ってスライドデザインを改善できた

内容だけでなく記者の発言を受けてどのような回答を例を図 6 に示す。

しているかを学習させた。その結果で 57.6%の精度を実現し、ランダムに回答した場合の精度 33%を大きく上回った [2][3]。この双方向コミュニケーションの解研究開発したシステムの一部は株式会社ピーアンド析は、プレゼンテーション以外にも例えば営業や販売

アイにライセンス提供し、同社からプレトレ 1 という活動における話し方改善などの業務支援のほか、チャサービスでビジネスパーソン向けに提供されており、ットボットにおける相談者の感情推定や返答の良し悪継続的に機能のアップデートを行っている。本システ

しなどオンラインコミュニケーションにも応用可能でムを使うことでパソコンやスマートホンの前でいつである。

もどこでも自分自身のプレゼンテーションの振り返り

人と人のコミュニケーションを考える上では、口頭を行うことができる。国際会議 AAAI2020 で行ったデモによる言語コミュニケーションだけでなく、スライド

発表 [6]では、デモシステムの前から人が絶えず、フなどの資料を用いた非言語コミュニケーションも重要ライヤーもほとんどはけてしまうほどの盛況ぶりであであることが多い。そのため、スライドの良し悪しをった。

判定し、改善すべき点を深層学習が自動判定して可視化するシステムを作成した(図 5) [4][5]。

13https://www.presentationtrainer.jp/TELECOM FRONTIER No.114 2022 WINTER

対話コミュニケーションの能力向上にむけた評価・フィードバックシステム
An Evaluation and Feedback System for Enhancing Communication Skillsあると考えており、今後産学の共同研究などによって適用範囲を広げていきたい。
おわりに人のコミュニケーションスキルを客観的かつ定量的に評価する研究や、それを実際にサービスとして実装した例は世界的に見ても少ない。これにより、これまで属人的なものとされてきたコミュニケーションスキルを誰でも簡単に改善・向上させることができればよいと願っている。また、このような研究はコミュニケーションスキルだけにとどまらず様々な学術・産業分野に応用展開が可能である。本プロジェクトを推敲する機会を与えてくださった(一財)テレコム先端技術研究支援センターの皆様には深く感謝の意を表する。
用語解説*1 Attention 機構：深層学習において、入力データの中の重要度の違いに応じて重みを変更する機構のこと。
*2 アンバランス問題：一般的に、機械学習では全て図6のクラスの学習データの数がほぼ同数であるときスライドデザインの改善例に所望の性能を発揮する事が多い。仮にクラスによってデータの数に違いがあると、最頻出クラスを優

４．将来展望研究開発したシステムの一部は民間企業にソフトウ先的に予測し続ける安易なモデルが作成されてしェアライセンス提供という形で実サービスに結びつき、まうことがある。これがアンバランス問題である。

研究成果の社会還元に至っている。今後は利用者拡大を目指すとともに、評価・フィードバックモデルの拡参考文献

充を行っていきたい。機械学習は、当然のことながら[1] Toshihiko

学習データに依存して出力が変化するものである。対Ryosuke Furuta, L. Sun, Kiyoharu Aizawa, and D.

話コミュニケーションには唯一無二の正解というのはBollegala, “Prediction of User Ratings of Oral

想定し難く、様々なアプローチや解があるものだと考Presentations using Label Relations,” ACMMMえている。例えば、産業界、学術界、政府や地方公共Yamasaki,Yusuke

Fukushima,

Workshop on Affect and Sentiment in Multimedia

団体などによって理想とするコミュニケーションは異(ACMMM ASM), pp. 33-38, 2015.

なるはずである。また、裏を返せばそれぞれの分野で蓄積されたデータを用いて学習すれば異なる複数のモ[2] Shengzhou Yi, Koshiro Mochitomi, Isao Suzuki,

デルが生成できることであり、今後の研究の発展が期Xueting待される。

“Attention-based LSTM for Automatic Evaluation ofWang,

andToshihiko

Yamasaki,

Press Conferences,” IEEE International Conference

本研究で実現した評価・フィードバックはプレゼンテーションや会見に限ったものではない。営業・店舗

onMultimedia

Information

Processingand販売、E コマース、さらには教育などにも発展可能で
4TELECOM FRONTIER No.114 2022 WINTER

対話コミュニケーションの能力向上にむけた評価・フィードバックシステム
An Evaluation and Feedback System for Enhancing Communication Skills

Retrieval (MIPR), Full paper, 2020.
[3] Shengzhou Yi, Koshiro Mochitomi, Isao Suzuki,
XuetingWang,andToshihikoYamasaki,“Attention-Based Multimodal Neural Network for
Automatic

Evaluation

International

JournalofPressofConferences,”

Multimedia

Data

Engineering and Management (IJMDEM), Volume:
11, Issue: 3, Article: 1, Pages: 19, 2020.
[4] Shinji Oyama and Toshihiko Yamasaki, “VisualClarity Analysis and Improvement Support forPresentationSlides”

TheIEEEInternational

Conference on Multimedia Big Data (BigMM), long,
pp. 421-428, 2019.
[5] ShengzhouToshihiko

JunichiroYamasaki,

Presentation
StructuralYi,Slide“Assessment

DesignFeatures,”

Matsugami,
Systemof

VisualandTransactions

onusing

IEICE

andInformation and Systems, Vol. E105-D, No. 3, Mar.
2021.
[6] Shengzhou Yi, Hiroshi Yumoto, Xueting Wang
and Toshihiko Yamasaki, “PresentationTrainer:
Oral

Presentation

SupportSystem

forImpression-related Feedback,” The Thirty-Fourth
AAAI Conference on Artificial Intelligence (AAAI),Demonstrations, volume 34, no. 9, pp. 13644-13645,
2020.

この研究は、平成２９年度ＳＣＡＴ３０周年記念研究費助成の対象として採用され、平成３０年度～令和２年度に実施されたものです。

5TELECOM FRONTIER No.114 2022 WINTER