非言語情報のデジタル化がコミュニケーションを変革(CX： コミュニケーション・トランスフォーメーション)

202４/1/３０

Copyright © Mitsubishi Research InstituteCX 2030―非言語情報のデジタル化がコミュニケーションを変革―（概要）⚫ 三菱総研では 50 周年記念研究として、今から 50 年後（2070 年）のあるべき社会の研究を実施し、その中で「３X＋共領域」というコンセプトを提示しました。
⚫ 2020 年に発足した先進技術センターでは３X のうち CX に着目し、10 年後の CXに関する基盤研究としてバーチャルテクノロジー（V-tec）研究を３年にわたり実施しま
した。
⚫ 最終年にあたる今年は、バーチャルテクノロジーと非言語情報の関係性に力点を置いた研究を行いました。
⚫ 代表的な非言語情報は、表情やジェスチャー、イントネーションなどがありますが、相手との距離感や服装、調度品なども含みます。
⚫ コミュニケーションにおいて、言語情報が中心的な役割を果たすことは言うまでもありませんが、非言語情報の役割も極めて重要です。
⚫ バーチャルテクノロジーにより非言語情報をデジタル化して処理・伝達することで、対面に近い遠隔コミュニケーションや、対面を超えるコミュニケーションが可能になると期待されます。
⚫ 本レポートが皆様の新規事業を検討する際に、一助となれば幸いです。

メッセージ⚫ 非言語情報のデジタル化＆活用によりコミュニケーションの強化・拡張が進む。
⚫ プロテウス効果やアフェクティブ・デジタルヒューマンなどの技術の活用により、広義のコミュニケーションに関わる多様な社会課
題が解消・緩和されると期待される。
⚫ 社会課題をビジネスで解決するための手段の１つとして、今後の発展に注目していく必要がある。

Copyright © Mitsubishi Research Institute目 次

1．非言語情報のデジタル化の意義

1

1.1 言語と非言語からなる人のコミュニケーション

1

1.2 コミュニケーションにおける非言語情報の重要性

2

1.3 非言語情報のデジタル化がコミュニケーションを強化＆拡張

5

2．非言語情報とバーチャルテクノロジー

6

2.1 非言語情報の伝達形態の分類

62.2 非言語情報活用の場としてのメタバース

7

2.3 非言語情報の入出力端末としての HMD

8

2.4 プロテウス効果：身体所有感の変化がリアルにも影響

9

2.5 アフェクティブ・バーチャルヒューマン：情動を認知し表現する NPC

11

3．V-tec の有用性が確認されている領域の展望

13

3.1 学習・教育・技能伝承への応用

13

3.2 医療・健康・ヘルスケアへの応用

14

3.3 その他のコミュニケーション関連応用

16

4．非言語情報活用によるコミュニケーション関連社会課題の緩和・解消

17

4.1 情報関連サービスの品質や生産性の向上

174.2 コミュニケーション阻害の解消

184.３ 生活アシスト／孤独感抑制による QOL 向上

19

5．解決すべき課題

2２

参考文献

2４

Copyright © Mitsubishi Research Institute11．非言語情報のデジタル化の意義
コミュニケーションにおいて非言語情報の果たす役割は大きいが、言語情報と異なり、符号化・デジタル化が困難なため、非言語情報を読み取る能力は、アートの枠内に留まっていた。
近年、様々な非言語情報のデジタル化技術が進展しつつあり、機械（AI）による処理が可能になりつつある。
これにより、コミュニケーションの「強化」と「拡張」が進み、誰もが特別な訓練なしにリアル／バーチャル融合社会の恩恵を受けることができるようになると期待される。

1.1 言語と非言語からなる人のコミュニケーション
コミュニケーションそのものは人間だけでなく、様々な動植物で見られます。ただし、人間のコミュニケーションは、共有指向性1を持つ点が他と大きく異なります。
トマセロiによれば、ヒト（後期サピエンス）は、相手に対し、①要求する、②知らせる、③共有する、という３つのコミュニケーションの動機を持ちますが、類人猿は、①要求する、タイプの動機しか持っていません。初期サピエンスがどのようなコミュニケーションの動機を持っていたかは不明ですが、赤ん坊の発達過程の研究等から、①要求する、②知らせる、の 2 つの動機を持っていたとしています。

【表 1】 コミュニケーションの動機ii

出所：三菱総合研究所
1

相手と自分が感情と見方を共有したいという心の働き

Copyright © Mitsubishi Research Institute1

共有指向性があるからこそ、人は相手の考えや思いを知り、また相手に自分のことを知ってもらいたいと思います。これが、人のコミュニケーションが高度に発達している大きな理由です。
現在、コミュニケーションといえば言語によるものがほとんどですが、非言語によるコミュ
ニケーションも重要です。進化的には、指差しや身振り・手振り、オノマトペ2が先行し、後になって話し言葉のような言語へと発展したと考えられます。

【表２】 コミュニケーション手段の変化

出所：M.トマセロ、「コミュニケーションの起源を探る」(2013)勁草書房、Ｐ２１７の記載に基づき三菱総合研究所作成

1.2 コミュニケーションにおける非言語情報の重要性
対面の場合、我々は言語情報と非言語情報を相互にやり取りすることでコミュニケートします。
伝える内容としては知識系の情報と情動系の情報があります。言語は知識系情報の伝達には圧倒的な強みを持っています。一方で、情動系の情報伝達においては、非言語の役割が大きくなっています。
例えば、発信側が受信側に話しかけた場合、受信側が言語から受けた情報（言語情報）と非言語から受けた情報（非言語情報）が矛盾していない場合、受信側は発信側から受けた情報を確かなものとして信じる傾向にありますが、言語情報と非言語情報が矛盾している場合、相手の情報に信ぴょう性に疑問を抱きます。
2

擬音語や擬態語。

Copyright © Mitsubishi Research Institute2

【図 1】 対話における言語情報と非言語情報
出所：三菱総合研究所

代表的な非言語情報としては、表情やジェスチャー、発話時のイントネーション等があります。我々は、これら様々な非言語情報を組み合わせることで、表３のような意味を言語情報に付け加えています。

【表３】 非言語情報として付与可されるメッセージiii

出所：V.P.リッチモンド、J.C.マクロスキー、「非言語行動の心理学」(2006)北大路書房、Ｐ１０－１１の記載に基づき三菱総合研究所作成

Copyright © Mitsubishi Research Institute3

情報は言語化が容易な情報と言語化が困難な情報に大別することができます。また、先ほど述べたように、情報伝達様式には言語によるものと非言語によるものがありますので、計４類型の伝達様式があることになります。表４にこの４様式をまとめます。

言語化が容易な情報（知識系情報）を言語で伝達するためには、相互に共通の言語体系に習熟する必要があります。また、内容の解釈に一定の時間とスキルを要します。
言語化が容易な情報を非言語で伝える例としては、画像やピクトグラム3等があります。画
像やピクトグラムの伝達様式で伝えることができる情報の内容には限界がありますが、特別な学習は多くの場合、必要ありません。
言語化が困難な情報（情動系情報）を言語で伝えることは、文芸の領域ではごく一般的に用いられています。ただし、情報の送り手側にも受け手にも相当の語彙力や文章読解力、想像力が必要となります。
言語化が困難な情動系情報は、表情やジェスチャー・イントネーションなどの非言語で伝えることが有効です。非言語情報は基本的に人類共通であり、使用に際し特別な訓練は必要ありません。相手の言語が分からなくても、相手の感情を推定することができます。ただし一部のジェスチャーなどは文化や社会の慣習により意味が異なることから注意が必要です。
従来のオンラインコミュニケーションでは非言語情報が欠落するため、コミュニケーション不全が生じやすくなっており、これが対面コミュニケーションへの欲求を高めています。

【表 4】 言語化の難易度を起点にした情報伝達様式の４区分

出所：三菱総合研究所

3

情報や注意を伝える視覚記号。

Copyright © Mitsubishi Research Institute41.3 非言語情報のデジタル化がコミュニケーションを強化＆拡張
非言語情報のデジタル化の意味を考えるうえで、言語情報のデジタル化について振り返ってみることも重要です。
言語情報は最初、話し言葉から始まりましたが、文字の発明により、書き言葉が登場しました。これにより、言語はその場限りの情報伝達ツールから、記録・保存・複製・再生が可能な記号体系へと機能の拡張が行われました。この記号体系をデジタル化することの敷居は低く、オンライン化に伴い、言語情報のデジタル化が進展しました。この結果として、膨大な言語データセットが比較的容易かつ安価に入手できるようになり、LLM（大規模言語モデル）等の実用化に至っています。
非言語情報をこのアナロジーでとらえると、つい最近まで、話し言葉のみの世界であったということができます。人間はヒトの微妙な表情変化をとらえることに長けていますが、この微妙な変化を記録するための実用的な記号体系が存在しませんでした。人の表情やジェスチャーから人の情動を推定することは、どちらかといえばアートの世界に留まっていたと言えます。しかしながら、近年の技術的進展に伴い、人の顔認識・表情認識の技術が進み、安価かつ高速に人の情動と対応づけることができる様々なデータをデジタルデータとして収集することができるようになりつつあります。言語情報と異なり、非言語情報の場合、記号化（符号化）とデジタル化が並行して進んでいると言えます。
非言語情報がデジタル化されることで、記録・保存、再生・複製等が可能となり、言語と同様、距離や時間によらないコミュニケーションが可能になります。これにより、対面に近い
遠隔コミュニケーションや心理状態の可視化、言語や人種などの壁の緩和、緩やかな匿名性の付与といったコミュニケーションの強化が期待されます。
また、蓄積される膨大な非言語情報データに基づき、機械（AI）が人の情動を認識し、情動を表現できるようになることが期待されます。これにより、人対人だけでなく、人対機械（AI）の間でも自然なコミュニケーションが可能になると期待されますiv。

【図２】 対話における言語情報と非言語情報
出所：三菱総合研究所

Copyright © Mitsubishi Research Institute5

2．非言語情報とバーチャルテクノロジー
非言語情報は表情やジェスチャーなどの身体動作や口調などの周辺言語だけではな
く、身体的接触や人工物など、様々な伝達形態がある。
伝達形態のうち、身体的接触以外は V-tec との親和性が高い。V-tec は潜在的には
リアル以上に非言語情報を伝達できる。
バーチャル特有の現象として、使用したアバターの特徴が操作者の心理状態に影響を及ぼすプロテウス効果がある。
また、非言語情報のデジタル化により、人の心理を予測し、適切な応答を返すアフェク
ティブ・デジタルヒューマンがある。
これらの効果が実用化されれば、様々な応用展開が期待される。

2.1 非言語情報の伝達形態の分類
コミュニケーションに影響を及ぼす非言語情報は、表情やジェスチャーなどの身体動作、声色やイントネーション等の周辺言語だけではありません。表５に示すような多種多様な
非言語情報の伝達形態があり、それぞれ、相手に言外の情報を提供します。

【表 5】 代表的な非言語情報の伝達形態

出所：三菱総合研究所

Copyright © Mitsubishi Research Institute6

身体的接触は握手やハグ、肩を抱く等の接触関連動作およびその代替的な非言語情報の表現法で、親密さや親愛等の程度を表現することができます。
距離感・位置関係は、プロクセミックスとも言われ、相手との空間的な距離感や位置関係による非言語情報の表現です。
身体的特徴は、外見として何らかのメッセージ性を含むものを指します。年齢や性別、皮膚の色等が該当します。
人工物は、一般に身に着ける眼鏡や衣服、装飾品等が該当し、それぞれ何らかのメッセージ性を有します。
環境はコミュニケーションが行われる場所の環境や調度品等を指します。これもコミュニ
ケーションに影響を与える重要な非言語情報です。

2.2 非言語情報活用の場としてのメタバース
身体的接触を除き、非言語情報の伝達形態のほとんどは、少なくとも潜在的にはバーチャルテクノロジーと高い親和性を持っています。
身体動作：アバターの動作として潜在的にはリアルと同程度、もしくはそれ以上の表現力を持たせることが可能です。また、相手に見せたくない身体動作を隠したり、見せたい身体動作を強調したりするなど、非言語的表現を意図的に強化することもできます。
周辺言語：声色の変換や強調・緩和など、デジタル処理を併用することで周辺言語による表現力をリアル並み、もしくはリアル以上に強調することができます。
接触行動：現時点のバーチャル技術は視覚と聴覚が中心となるため、接触行動について
はリアルがバーチャルよりも優れています。メタバースユーザの中にはファント
ムセンスを感じるといった人もいますが、受ける刺激の強さ・豊かさは実際の接触には到底及びません。今後の触覚や触力覚に関わるバーチャルテクノロジーの発展が待たれる伝達形態です。
距離感・位置関係：距離感や位置関係の自由度は、リアル環境よりもバーチャル環境が潜在的に卓越しています。３次元的な距離感の取り方（例えば宙に浮いた状態や、逆立ち関係で対話するなど）やアバター相互の重なり合いまでも許容する自由さなどは、リアルではありえない距離感の取り方です。
身体的特徴：リアルな環境では、年齢や性別、皮膚の色等などを簡単に変化させることはできません。バーチャル環境ではフォトリアルなキャラクターをそのまま自身のエージェントとすることもできますが、年齢・性別や皮膚の色を変えることが容易です。実際には存在しない動物等を模したエージェント、アニメーション等のように抽象度を高めたエージェントを使うこともできます。

Copyright © Mitsubishi Research Institute7

人工物：衣服やアクセサリーなどは、その人の人となりを言外に語るための有用な表現形
態です。この表現形態はリアルだけでなくバーチャルでも同じように機能します
が、バーチャルの場合は、身に着けるオブジェクトを簡単に変更することができる
ことが強みになります。
環境：リアル環境の場合、対話場所の環境・雰囲気や調度品により、対話内容や結論が変わることがあります。バーチャル環境の場合、調度品はもちろん、部屋の大きさやライティング、周囲の景観や昼夜さえも自在に変化させることができます。

【図３】 非言語情報とメタバースの構成要素の関係
出所：三菱総合研究所

2.3 非言語情報の入出力端末としての HMD4
非言語情報の多くは視覚と聴覚を通じてやり取りされます。これらをデジタル化してやり取りするためのツールが、VR HMD などの装着デバイスです。現在でも高額な VR HMD
ではリアルな人（装着者）の身体動作や周辺言語をデジタル化してバーチャル空間に取り込むことができますし、デジタル化した様々な情報を人の視覚、聴覚で認識できる形で没入型視聴覚情報として表示できます。
非言語情報のデジタル化に必要な特徴量が明確化され、ハードウェアの処理性能が向上
すると、非言語情報の入出力端末としての HMD や AR グラスの位置づけがより明確になると思われます。
なお、非言語情報の入出力端末は、HMD や AR グラのような装着デバイスだけではありません。非接触・非装着のディスプレイやカメラ、マイク等からでも、特徴量の種類によって、様々な非言語情報の取り込みや出力が可能です。
4

HMD（Head Mount Display）ヘッドマウントディスプレイ。

Copyright © Mitsubishi Research Institute8【図 4】 高級 VR HMD によりデジタル化可能な身体動作や周辺言語
出所：WORK SUCCESS 非言語コミュニケーション 7 つの分類｜効果や注意点 | WORK SUCCESS (lostash.jp) （２０２２年 10 月閲覧）、Lightworks BLOG
非言語コミュニケーションとは 表情も伝達手段、その例や効果を解説 (lightworks.co.jp) （２０２２年 10 月閲覧）、中村克樹、非言語コミュニケーションの意
義、学術の動向、日本学術会議 編（２００４年）を基に三菱総合研究所作成

2.4 プロテウス効果：身体所有感の変化がリアルにも影響バーチャル環境で、リアルな人の代わりに非言語情報を表現する主体はアバターです。このアバターの見た目が、アバターを使用している人間の心理状態に影響を及ぼすという興味深い現象が知られています。この現象はプロテウス効果と名付けられており、2007
年にスタンフォード大学のベレンソンらのグループにより提唱されました。
プロテウス効果は、多くの研究機関で様々な定量的研究が行われ、それほど強い効果ではないものの、有意差があることが実証されています。また、この効果の影響はリアル環境に戻ってからも一定の期間残存することが確認されています。つまり、プロテウス効果
は、バーチャル環境だけでなく、リアルな環境での様々な行動変容に活用できることを意味します。
プロテウス効果は特に没入型 VR 環境でアバターに自己所有感を感じた場合に実感できます。また、リアルなアバターを使った場合や操作者とアバターの同期性が高い場合、パーソナライズしたアバターを使用した場合などで、より強いプロテウス効果が表れることが知られています。図５にこれらの発現条件などをまとめます。

【図５】 プロテウス効果の発現条件など
出所：三菱総合研究所

Copyright © Mitsubishi Research Institute9表６に、アバターの年齢や身長、男女や人種・肌の色、キャラクターなどを変えた研究でプロテウス効果として有意差が量的に確認できた研究例をまとめます。

【表６】 プロテウス効果として有意差が量的に確認できた研究例

出所：三菱総合研究所

図６のように TPO や気分に合わせて様々なアバターを使用し、プロテウス効果を有効に活用することで、相手に対する操作者（アバター）の印象を変化させるだけでなく、アバタ
ー操作者自身の心理状態も変化させて対話することができます。

【図６】 TPO に応じた様々なアバターの利用
出所：三菱総合研究所

Copyright © Mitsubishi Research Institute102.5 アフェクティブ・バーチャルヒューマン：情動を認知し表現す
る NPC
ChatGPT に代表される大規模言語モデル（LLM）は、膨大な言語情報のデジタルデータに基づいて飛躍的な性能向上を果たし、社会への実装が大きく進みました。この実装の１つの形態として、バーチャル空間上で動作する NPC（ノン・プレイヤー・キャラクター）とLLM を組み合わせたバーチャルコンシェルジュの実用化が進んでいます。
現在のところ、バーチャルコンシェルジュはリアルな人のテキストもしくは発話の形での言語情報をデジタルデータとして取り込み、LLM を使って適切な応答文を作成し、NPC からの発話という形でモニターに表示するというものが主流ですが、これと各種の非言語情報の入出力―処理技術を統合することで、より人間的なやり取りが可能になります。

【図７】 アフェクティブ・デジタルヒューマンの実装イメージ
出所：三菱総合研究所

バーチャル空間内の NPC が相対する人の情動を推定し、これと言語情報を組み合わせることで、より正確に人の心理状態を推定することができますし、人の心理状態に応じた表情やジェスチャー、イントネーションでメッセージを返すことも可能になります。
これらの技術開発により、人と機械（AI）との心理的な関係性が大きく変化すると思われます。
このような感情を分析・表現する技術はアフェクティブ（感情）技術と総称されています。
アフェクティブ技術の例を表７に示します。

Copyright © Mitsubishi Research Institute11【表７】 アフェクティブ技術開発例

出所：三菱総合研究所

Copyright © Mitsubishi Research Institute123．V-tec の有用性が確認されている領域の展望
言語と非言語を統合的に利用する V-tec には様々な応用が考えられるが、特に定量的な有効性に関する研究が進んでいる領域として、学習・教育・技能伝承領と、医療・健康・ヘルスケアがある。その他のコミュニケーション応用領域と併せてその概要をまとめた。
バーチャル環境のみの利用も有効であるが、リアルとの融合（リアルバース応用）により、体験・経験が重要な位置を占める領域の学習効率が向上すると期待される。
なお、機械（AI）との非言語的な情報伝達も今後の発展が期待される領域である。

3.1 学習・教育・技能伝承への応用
学習・教育・技能伝承への応用は、バーチャルテクノロジーによる言語情報＋非言語情報の伝達効果が期待される代表的な領域の１つで、多くの研究がおこなわれています。表８に、数値的比較により有効性が確認されている研究例をまとめました。なお、この表で対象としているのは広義のメタバース（リアルとの融合によるものを含む）です。広義のメタ
バースの概要については、昨年のレポートなどv viに取りまとめています。

【表８】 学習・教育・技能伝承への応用例

出所：三菱総合研究所

Copyright © Mitsubishi Research Institute13

今のところ、バーチャル環境として簡単に利用できるのは、視覚と聴覚のみです。この２つの感覚だけでもかなりの没入感を感じることはできますが、視覚＋聴覚のバーチャル環境に加え、リアルなパーツ等を組み合わせることなどにより、より現実に近い体験とすることができます。その意味で、体験が重要な要素を占める学習、知識としてではなく、身体動作を伴うような技能の学習には、リアルとバーチャルが融合したリアルバース環境
での学習が適しています。図８に、幾つかの形式での学習のイメージを示します。
この図において、左上はバーチャルな大会議室を利用した講義イメージ、右上はバーチャル会議室でのグループワークのイメージです。適切な空間的配置を取って相互に言語および非言語のやり取りができますので、遠隔でも対面に近い感覚で各種の学習ができます。左下は、実際の手術室環境で模擬手術の体験学習を実施しているイメージ、右下はクレーン操作を学習するイメージです。この両者ともに、リアルとバーチャルを組み合わせることで、効果的な学習環境を比較的低コストで実現できます。手術シミュレータやクレーンシミュレータなど、体感による学習が必須の領域では、特に学習効率が向上します。

【図 8】 学習におけるバーチャルテクノロジーの利用例
出所：三菱総合研究所

3.2 医療・健康・ヘルスケアへの応用
医療健康領域もバーチャルテクノロジー活用が期待される有望領域の１つで、多くの研究がおこなわれています。非言語情報という点では、特にメンタルヘルス関連の応用への期待が高くなっています。表９に、医療・健康・ヘルスケアに関する代表的な研究例をまとめます。診断から治療、リハビリやカウンセリングなど、様々な応用に関する定量的な研究がおこなわれています。
特に明確な有効性が確認されているのものとして、高所恐怖症や飛行機恐怖症、対人恐
怖症やクモ恐怖症など、様々な恐怖症の治療応用があります。リアル環境で確立された治療法の１つである暴露療法をバーチャル環境で行うというものです。
もう一つ、明確な効果が確認されているものとして、バーチャル映像により火傷や各種疼痛を緩和するというものがあります。これもリアル環境での 1 つの効果的な治療法である
気晴らし疼痛緩和をバーチャル環境で行うというものです。

Copyright © Mitsubishi Research Institute14【表９】 医療・健康・ヘルスケアに関する研究例

出所：三菱総合研究所

図９は、医療・健康・ヘルスケア領域への応用イメージをまとめたものです。左上図、右上
図は、バーチャル空間で暴露療法を実施しているイメージです。バーチャルな環境で様々な対人コミュニケーションの経験を積むことで、リアルな場でのコミュニケーションに対する恐怖心などを和らげることができます。
左下図は遠隔リハビリテーションのイメージ、右下は、アバターを使ってのカウンセリングのイメージです。前者の場合、医師などの専門家の指導を安価かつ簡便に受けることができ、後者では、安価、簡便性に加え、相談の敷居を下げる効果が期待されます。

【図 9】 医療・健康・ヘルスケア領域での応用イメージ
出所：三菱総合研究所

Copyright © Mitsubishi Research Institute153.3 その他のコミュニケーション関連応用
その他のコミュニケーション関連応用として非言語情報の伝達効果の有用性が確認されているものの研究例を表 10 に示します。バーチャル環境を利用することで、言語のみによらない様々なコミュニケーションの強化・拡張効果が見出されています。

【表 10】 その他のコミュニケーション関連応用例

出所：三菱総合研究所【図 10】 機械と人とのナチュラルコミュニケーションイメージ
出所：三菱総合研究所

図１０に、様々なコミュニケーション応用のうち、機械と人とのナチュラルコミュニケーショ
ンのイメージを示します。
従来、機械（AI）を人間が操作する際にはスイッチやボタンなどで装置固有の命令を行う必要がありましたが、機械が人の表情や身振り・手振りなどの情動を認識することができ
れば、操作に特別な命令体系を覚える必要はなくなりますし（左上図、左下図）、指示するまでもなく、機械が人の心理状態を忖度して、適切なサービスを提供することができます（右上図、右下図）。

Copyright © Mitsubishi Research Institute16

4．非言語情報活用によるコミュニケーシ
ョン関連社会課題の緩和・解消
非言語情報のデジタル化により、広義のコミュニケーションに関わる様々な社会課題の緩和・解消に繋がるビジネス応用が期待される。幾つかのイメージを示す。
⚫ 情報関連サービスの品質と生産性の向上：各種顧客サービスの品質と生産性の向上やキャラクタービジネス変革が期待される。
⚫ コミュニケーション阻害の解消：真意を正確に伝え、また理解するためのコミュニケーション強化や、AI/ロボットへの自然言語での指示が可能になる。
⚫ 生活アシスト／孤独感抑制による QOL 向上：軽度の認知症であっても支障なく日常生活を行うためのアシスト、孤独感の解消や緩和が期待される。

非言語情報のデジタル化が進展することにより、広義のコミュニケーションに関わる様々な社会課題の緩和・解消に繋がる様々な応用が期待されます。

4.1 情報関連サービスの品質や生産性の向上（1） 対人サービス領域の生産性向上と顧客満足度の向上の両立
情報関連サービスには様々なものがありますが、最も人的な負荷が高いものとして、様々なカスタマーと直接接触する各種窓口や受付業務があります。従来の自動化では、多様な顧客のニーズに十分に対応することができないため、顧客満足度が低下せざるを得ません。一方、優秀な人材に顧客対応を担ってもらえば、顧客満足度は向上しますが、運用コストの増加、作業負荷の集中などによる対応の遅れ、更には様々なハラスメントなど、様々な問題も発生します。これらの問題は、生成 AI の一種である大規模言語モデル（LLM）の発展に伴い緩和され、顧客の様々な問題に対し、柔軟に対応できる応答システ
ムが実用化されつつあります。応答の形式も、テキストや音声による応答に加え、NPC(ノン・プレイヤー・キャラクター)として、デジタルコンシェルジュ導入の動きも始まっています。デジタルコンシェルジュは負荷状況の変動にも柔軟に対応でき、外国語への変換も自在ですので、様々な顧客との接点関連業務の生産性向上が期待できます。

Copyright © Mitsubishi Research Institute17現在では、このデジタルコンシェルジュには、人の情動を推定し、適切な応答を返す能力はありませんが、今後、各種アフェクティブ技術が進展するにつれ、相手の困りごとをある程度察して適切な対話をすることができる、アフェクティブ・デジタルヒューマンが実用化されると期待されます。
アフェクティブ・デジタルヒューマンの社会実装により、行政や店舗などの各種窓口業務や、手続きの説明、各種コンシェルジュなどの自動化、省人化が大きく進展し、顧客満足度の向上と該当分野の生産性向上がともに達成されます。

（2） キャラクタービジネスの新たな展開
アフェクティブ・デジタルヒューマンの応答が、感情を持っているかのようなレベルに至った場合、キャラクタービジネスへの応用も考えられます。
最近（2022 年）、世界的に知られたキャラクターの声優が交代し、過去の映像にアクセスできなくなったことが一部で話題になりました。声も年齢により変化しますので、長寿のキャラクターの場合、声優の交代はやむを得ない部分もあります。
アフェクティブ・デジタルヒューマン技術により、この状況は変わる可能性が高くなります。
何時でも、どこでも、同時に何か所でも、様々な言語で、キャラクターが「本物」として存在できるようになります。「本物」のキャラクターと自在な対話も可能になります。

4.2 コミュニケーション阻害の解消（1） 誤解をなくし真意を伝えるコミュニケーション強化
コロナ禍を契機として世界的に利用が拡大したオンライン会議システムは、会議やセミナーのあり方を大きく変えました。現在では、同時通訳機能により、複数の言語を使っての会議やリアルタイム的なテキスト化機能、会議録の要約など、様々な機能が付与されつつあり、遠隔会議はもちろん、対面ベースの会議でも、直接ではなく、デジタルを間に挟んだTV 会議の方が便利になりつつあります。一方で、TV 会議では、非言語情報の伝達が阻害されるため、対面に比べて不十分な会議やセミナーにしかならないという課題も指摘されています。
バーチャル環境を利用することにより、この状況は変わります。バーチャル環境では言語情報に加え非言語情報の多くをデジタル化し、遠隔地に伝達することができるようになりますので、対面に近いオンラインコミュニケーションができるようになります。
非言語情報をデジタル化することの価値はそれだけではありません。デジタル化するということは、機械（AI）による処理が可能になるということですので、各種アフェクティブ処理を行う AI の力を借りて、相手の真意を推定しながら、適切な応対ができるようになります。また、バーチャル空間では、アバターを介してコミュニケーションを取りますので、表情やジェスチャー、口調などの非言語情報を TPO に合わせて調整しながら対話することもできるようになります。このようなコミュニケーションの強化技術により、伝えたい真意をできるだけ誤解なく伝えることができるようになると期待されます。

Copyright © Mitsubishi Research Institute18

（2） 自然言語による AI/ロボットへの指示
広い意味でのコミュニケーション阻害の解消と見なすことができ、産業的にも極めて大きなインパクトがあるものとして、自然言語を使ったロボットなどへのティーチングへの応用を挙げることができます。従来、産業用ロボットに必要な動作を指示するためには特別な専門スキルとプログラム言語への習熟が必要でした。一部に、人間が外部からロボット
アームを動かすことで、ロボット自体が繰り返し動作を学習するような例もありましたが、
この場合、一般には充分な制御精度は出ませんし、操作の自律性や自由度も高くありません。
この状況は、LLM（大規模言語モデル）により緩和されることが期待されます。その機械に適したプログラム言語と自然言語の間の変換を行える LLM を用いることで、人が自然言語でロボットの動作を指示すると、対応したプログラムが自動的に生成されるようになります。これであれば、高い専門性は不要となります。オフィスツールの操作と同じ感覚でロボットを自在にプログラムできるようになると期待されます。既に生成 AI を使ったロボット操作、家電操作などの商品が発表されています。

4.３ 生活アシスト／孤独感抑制による QOL 向上（1） 生活アシスト
アフェクティブ・デジタルヒューマンに感情や意思が存在するわけではありませんが、あた
かも感情や意思・個性があるように応答できるバーチャルな存在として作り上げることは可能です。自分の嗜好性にあった疑似個性を設定したデジタルヒューマンをパーソナルア
シスタントとすることで、図１１のように、様々な生活シーンで AI によるカスタマイズされたアシストを受けることができるようになります。
テキストに加え、身振り手振りや音声でインターネット検索をする、というような用途だけではなく、軽度の認知症の方々向けに様々な生活支援情報を提供するといった役割が期待されます。
特に本人が指示しなくても、服薬の時期を連絡する、道に迷ったときに正しい道順を音声で指示する、心身の異常兆候を早期に連絡する、聞いたことを本人に代わって覚えておく、詐欺などのリスクなどを警告する、といった各種情報を、音声やディスプレイ上のキャラ
クターの表情やジェスチャーで分かりやすく知らせることで、これら軽度の認知症の方々の QOL 向上に役立つと期待されます。
ここで挙げた機能の幾つかは、既に萌芽的なサービスとして実用化されています。

Copyright © Mitsubishi Research Institute19

【図 11】 様々な生活シーンでのパーソナルアシスタントの利用イメージ
出所：三菱総合研究所（2） 孤独感の解消／緩和
他者とのコミュニケーションがなく、孤独感を感じる環境では人は快適な生活を送ることはできません。スマートスピーカーなどでも発話ベースの会話はできるものの、現時点では定型に近い応答しかできないため、孤独感の解消には至りません。
このような状況は、V-tec／メタバースが可能とする情緒的なテレコミュニケーション環
境の普及により大幅に緩和されると思われます。
メタバースでは、共通の趣味・嗜好を持った人々が、バーチャル空間上に創られたコミュニ
ティにアバターとして参加することができます。現在のアバターは充分な表現力を持っていませんが、非言語情報の表現力が向上し、没入環境でのアクセスが浸透するにつれ、リ
アルなコミュニティ活動とほぼ同等なコミュニティ活動ができるようになります。自分に合ったコミュニティに、距離に関係なく帰属することができるようになります。
また、アフェクティブ・デジタルヒューマンが実用レベルに至れば、コミュニティに参加しな
くても、完全に孤独であり会話相手が存在しない、という状況が解消されます。他者とのコミュニケーションが十分にとれる状態にあることが望ましいことは言うまでもありませんが、そのような関係が作りにくい／作れない状況に陥ることもあります。
このようなときに、少なくとも、絶対に自身を傷つけない／裏切らない存在と、深夜・早朝を問わず何時でも対話できる環境が存在することで、絶対的な孤独感に伴う精神疾患に陥るリスクを下げることができると期待されます。

Copyright © Mitsubishi Research Institute20表１１ デジタル化非言語情報の活用例（まとめ）
区分

活用例

機能例

情報関連

対人サービス領・AI が、文意に加え相手の感情を推定（表情や発話情報

・顧客満足度の向上

サービス

域の生産性向上に基づく）。

・労働生産性の向上の品質やと顧客満足度の・デジタルコンシェルジュが適切な表情やしぐさで応答

生産性の

向上の両立

・様々な言語や民族的特徴に対応して適切な対応。

向上期待される効果・AI による自律応答で対応しきれなくなる兆候を AI が検出し、敵絶なタイミングで有人での対応に切り替える。
キャラクタービジ

・“本物の”キャラクターとの 1 対１での対話が可能

・個人が専有でき、相互作

ネスの新たな展

・1 つのキャラクターが同時に複数地域でそれぞれインタ

用できるキャラクターの販

開ラクティブなサービスを提供

売・提供・少人数向けショービジネ
スの大型ビジネス化

コミュニ

誤解をなくし真・AI が会話中の相手の真意や集中状況、興味などをリア

・遠隔＆複数言語が併存しケーショ

意を伝えるコミ

ルタイムで推定

たコミュニケーションの円

ン阻害のュニケーション強・相手の真意や背景情報を AR グラスの画面や副音声で

滑化

解消

化

話者に伝達

・対話能力や共感能力の改・情報を踏まえ、適切な言い回しで意思や情報を伝達

善

自然言語による・AI,ロボットにさせたい作業を人間が自然言語で指示・自然言語によるプログラ

AI/ロボットへの・より精密な動作や正確に AI やロボットを動作させるた

ムレスティーチング（誰で指示めの専用プログラムに AI が自動変換

も AI,ロボットを利用）・変換したプログラムの適切性をバーチャル空間内のデ・バーチャル空間での事前

ジタルツインで確認。

動作確認（低コスト＆高速

・プログラムが適切に動作することを確認後、実際の AI,＆安全な動作検証）

ロボットにインストールし、動作させる
生活アシ

生活アシスト・定期的に行う日常の行動や投薬タイミングなどを音声

・軽度の認知症状下での生スト／孤や AR グラスで通知

活の円滑化・自律化

独感抑制

・心拍や血圧などをモニターし、異常兆候があれば、早目・気づきにくい（自覚症状によるに対処を連絡のない）健康リスクの把握

QOL 向・近所で道に迷った場合などに GPS などと連携し、自宅・介護に要する人的負担の

上の方向を指示軽減

・自分が気づかない危険などを警告
孤独感の解消／・共通の趣味や嗜好を持つ複数コミュニティへの遠隔参・地域に限定されない繋が

緩和

加

りの醸成

・24 時間、何時でも嫌がらずに対話ができるデジタルヒ

・絶対的な孤独感の緩和ューマンCopyright © Mitsubishi Research Institute21

5．解決すべき課題
バーチャル環境やリアル／バーチャル融合環境でデジタル化した非言語情報を活用することで、コミュニケーションの「強化」と「拡張」が大きく進展すると期待されますが、これらの技術の社会への浸透に際しては多くの解決すべき課題があります。特に(3)で挙げた非技術的な課題は、多くのステークホルダの集合知により、想定外の要素を可能な限り事前に無くしておく必要があります。

（１） 情報処理・情報通信インフラの高度化・拡充
第１に、情報処理、情報通信インフラが、質・量ともにまだまだ不足していることが課題として挙げられます。このレポートで挙げたような利用が、技術として曲がりなりにも実用レベルになるまでには、情報処理速度、情報通信速度ともに、現在よりも２桁程度の改善が必要であると試算しています。CPU/GPU の集積度がこのままのペースで進み、また通信速度も過去の改善ペースで今後とも改善するとした場合、必要性能に達するまでには
およそ 10 年程度が必要です。今後とも、インフラ関連事業者を中心に不断の性能向上を進めるとともに、安定した関連サービス・インフラを提供する必要があります。

（２） アフェクティブデータの利用環境整備
各種アフェクティブ技術は近年大きな進展を遂げ、様々な非言語的な情報から、情動を分析するための特徴量も明らかになりつつあります。ただし、多くの技術は未だ十分なデー
タに基づく解析ができるレベルには至っておらず、情動の推定レベルも初期段階に留まっています。
今後、非言語情報のデジタル化が進展し、大量のデータが得られるようになるとこの状況は変わり、より精緻な情動推定ができるようになると期待されますが、そのためには非言
語情報のデータ計測の標準化と特徴量の明確化を進めると思に、得られたデータをオー
プンデータとして共有するような仕組みの整備が必要となります。産学官の連携によるオープンデータ活用体制の整備が望まれます。

（３） 利用に関するコンセンサスの形成
非言語情報は、適切に使えばコミュニケーションを強化・拡張に役立ちますが、一方で本人の同意なく思想・心情を推測されるリスクも生じます。プライバシー侵害に留まらない
基本的人権の侵害の恐れもあります。
他者に類似したバーチャルな個性が比較的簡単に創造できるようになると、フェイク問題も更に深刻になります。

Copyright © Mitsubishi Research Institute22

AI による生体認証という文脈でも、非言語情報をどこまで許容するかは物議をかもす課
題です。社会実装に先立ち、十分な余裕をもって適正利用に関する社会的なコンセンサスを取る必要があります。
また、パーソナルアシスタントなどに関しては、人によっては不気味さを感じる人、逆にパーソナルアシスタントがいれば、リアルなコミュニティは不要だと極論するような人が現れる可能性もあります。このように、人以外の対話相手が存在する社会で新たに想起される可能性がある課題に関し、事前の十分な議論が必要です。
これらの議論は、初期の段階から、中立的な絵第 3 者の下、社会に広く公開した形で進めていく必要があります。

Copyright © Mitsubishi Research Institute

23

参考文献
i

マイケル・トマセロ、「コミュニケーションの起源をさぐる」（2013）勁草書房ii

マイケル・トマセロ、「コミュニケーションの起源をさぐる」（2013）勁草書房、Ｐ２１７.

iii

V.P.リッチモンド、J.C.マクロスキー、「非言語行動の心理学」(2006)北大路書房、Ｐ１０－１１．

iv

三菱総合研究所 マンスリーレビュー 2023 年 10 月号 「非言語情報のデジタル化で変わるコミュニケーション」
https://www.mri.co.jp/knowledge/mreview/202310.html （2023 年１２月 15 日閲覧）v

三菱総合研究所 ＭＲＩトレンドレビュー ２０２２年１１月 22 日「2030 年代、メタバースの産業利用が社会課題を解決」
https://www.mri.co.jp/knowledge/column/20221122.html(2024 年 1 月 5 日閲覧)

vi

「リアルとバーチャルの融合社会に向けて拡張する「メタバース」の概念」(2023 年 11 月)、Ｐｈｒｏｎｅｓｉｓ Ｎｏ．２４(東洋経済新報社)

Copyright © Mitsubishi Research Institute24

「非言語情報のデジタル化がコミュニケーションを変革」 報告書
20２４年 １月
株式会社三菱総合研究所
先進技術センター
お問い合わせ：mri_atc@ml.mri.co.jp

Copyright © Mitsubishi Research Institute25