情報処理学会研究報告
IPSJ SIG Technical Report

心理学研究への利用を目的とした 3 次元仮想プレゼン環境の試作
松永祐奈 1

阿比留幹大 1

日下部祥基 1

本野克伎 1

鶴田直之 1

概要：近年，プレゼンをオンライン形式で行う機会が増加しており，３次元仮想空間を利用したプラットフォームも開発されている．しかし，一方で，3 次元仮想空間での情報伝達の効果や，参加者の心理的な相互作用といった心理学的な側面での分析はまだ十分ではない．本研究では，今後，更に心理学的分析が活発に行われることを想定して，参加者の行動に関するログを収集・分析できるよう，オープンソースの 3 次元仮想プレゼン環境を試作した．環境には，参加者の口と頭部の動きをカメラ計測してアバタに反映する機能，プレゼン用スライドを参加者で共有する機能，フォトリアルな物体モデルを会場に設置する機能，参加者の動きのログを記録する機能を実装した．
キーワード：メタバース，遠隔会議，アバタ，心理分析

A Prototype 3D Virtual Presentation Environment for Use in
Psychological ResearchYUNA MATSUNAGA†1 KANTA ABIRU†1 YOSHIKI KUSAKABE†1KATSUKI MOTONO†1 NAOYUKI TSURUTA†1Abstract: Recently, environments that enable online presentations has become widespread, and platforms utilizing 3D virtual
space have been developed. However, psychological analyses of the effects of information transfer in 3D virtual space and thepsychological interactions of participants are still insufficient. In this study, we developed a prototype open-source 3D virtualpresentation environment to collect and analyze logs related to participants' behavior, assuming that further psychological analysis
will be conducted actively in the future. The environment was implemented with the following functions: camera measurement ofparticipants' mouth and head movements to reflect them in the avatar, sharing presentation slides among participants, setting up
photo-realistic object models at the venue, and recording logs of participants' movements.
Keywords: Metaverse, Remote meeting, Avatar, Psychographic analysis

1. はじめにがって，本プレゼン環境は，プレゼンをより良くするための高度な，あるいは新規の機能を提案して実装するもので

近年，会議におけるプレゼンをオンライン形式で行う機はないが，心理実験に耐えうる程度のプレゼンのための基会が増加している．オンライン形式で行うプレゼンは「カ

本機能と，アバタを介して参加者の感情を自然に伝達するメラ会議システムを用いた 2 次元映像のプレゼン」と、「アための機能が必要となる．

バタを介して３次元仮想空間で行うプレゼン」の二つの形

本稿では，プレゼン環境として実装した機能と実装方法態が存在する．そのうち後者は前者の問題の一つである「リについて述べ，実験によって得られた心理実験装置としてアル映像の悪用によるプライバシー問題」を改善した新しのユーザビリティの評価結果について述べる．

いプレゼンの形である．
しかし，仮想現実の応用が急速に広まったこともあり，仮想空間での情報伝達の効果や，参加者の心理的な相互作

2. プレゼン環境の概要

用といった心理学的な側面での分析はまだ十分ではなく，2.1 利用の流れ課題の発見（例えば疲労感や潜在的な悪影響）と対策の不ユーザは，事前に本プレゼン環境をダウンロードしてお十分さを危惧する見方もある[1,2]．このことから，今後さく必要がある，また発表者は，事前に発表用のスライドをらに，3 次元仮想空間におけるコミュニケーションに対し画像ファイルとして指定のクラウド上にアップロードしてて心理学的な分析が活発化すると予想される[3]．

おく．利用時には，各自がダウンロードしたファイル群にそこで本研究では，心理学研究者が，プレゼン環境にお含まれる起動ファイルから環境を起動する．起動画面に従ける参加者の反応や心理的相互作用を分析するために，自って個人識別用の名前を入力するとアバタが 3 次元シーン

在にプレゼン中のログを取れるようなオープンソースの 3に表示され，キーボードを使ってシーン内を移動できるよ次元仮想プレゼン環境を作成することを目的とする．したうになる．シーンには図 1 に示すように視聴者が着席する

1 福岡大学工学部電子情報工学科
Department of Electronics Engineering and Computer Science, Fukuoka
Universityⓒ2023 Information Processing Society of Japan1

情報処理学会研究報告
IPSJ SIG Technical Report
教室型の席と発表者がスライドを投影するスクリーンが設置されている．参加者のアバタは，マルチプレーヤーゲー
ムのプラットフォーム photon[5]を介して 3 次元シーン内で共有され，Voice Chat 機能を使って音声対話をすることができる．

3. 主な機能
3.1 ユーザの口と頭部の動きの推定機能
Openface は，心理学の表情分析でも利用されており，以下の処理をリアルタイムに実行可能である．
⚫

顔のランドマーク（68 個の特徴点）の検出⚫

頭部の姿勢推定⚫

表情分類のための AU（アクションユニット）の推定⚫

視線推定
図 3 に Openface を用いて処理を行っている様子を示す．

図中の左側，実人物の顔上に表示された赤い点がランドマーク，目の位置に表示された緑の線が推定された視線である．一般に使われる USB カメラと利用環境において実験を重ねたところ，解像度の問題により眉の動きと視線の変化は抽出できないことが多かったため，今回の実装では，頭部の動きと口の開閉のみをアバタに反映させることとした．
図 1

プレゼン環境の利用イメージ

2.2 プレゼン環境のシステム構成と基本機能
プレゼン環境のシステムは，上で述べたように，参加者各自のコンピュータ上で動く Unity 上のファイル群とユーザ間の通信を司る photon，プレゼン資料を共有するためのクラウドから成る（図 2）．本プレゼン環境は心理学的分析に利用することを目的にしているため，ユーザの動きをリアルタイムに計測して記録し，同時にその動きをアバタに反映させる必要がある．そこで，前述の要素に加え，各自のコンピュータ上で顔の動きを計測する OpenFace[6]を起動させて利用する．本プレゼン環境の基本機能は次の通り
で，次の章でそれぞれの詳細について述べる．
⚫

ユーザの口と頭部の動きの推定機能⚫

マルチユーザ機能⚫

プレゼンおよびプレゼンスライド共有機能⚫

フォトリアル物体モデルの生成機能⚫

参加者の動きのログ機能

図 3

Openface によるユーザの顔情報の推定

また，Openface には顔検出のアルゴリズムが複数実装されているが，処理速度の問題から最も高速な Haar-like 特徴量に基づく顔検出を採用した．具体的には，深層学習を用いた手法より Haar-like 特徴量を用いた手法の方が処理速度が約 4 倍速かった．
さらに，Openface と Unity の接続方法としては，Openfaceを Unity から呼び出し可能な DLL（Dynamic Link Library）として実装する方法と Socket 通信をする方法とが考えられ
る ． これ に 対 し ， 本シ ス テ ム で は処 理 速 度 の 観点 か ら
Openface の処理と Unity の処理を分散させる可能性も考慮して Socket 通信を用いることにした．
3.2 マルチユーザ機能
Unity 上の全ての 3 次元オブジェクトには位置・姿勢・大きさ情報からなる Transform コンポーネントが付随している．アバタの Transform に一連の動きを与えることによってアバタの動作（アニメーション，例えば「椅子に着席する」）を実現することができ，ユーザの意図で操作することに よ っ て ア バ タ を 操 る こ と が で き る ． photon で は ，PhotonView コンポーネントおよび PhotonTransformView コ
ンポーネント，PhotonAnimatorView コンポーネントを追加することによって，Transform を全参加者のコンピュータにリアルタイムで相互にブロードキャストできる．これを利図 2 プレゼン環境のシステム構成ⓒ2023 Information Processing Society of Japan2

情報処理学会研究報告
IPSJ SIG Technical Report
用することによって，参加者各自が操作した自身のアバタ身のスライドを画面上で確認することができる．スライドの動きを全参加者のプレゼン環境で同期させることができ，表示後はスライド切り替えコマンドによりプレゼンを進め全員が同じ仮想空間に没入している状況が実現できる．同ることができる．

様に，Speaker コンポーネントと PhotonVoiceView コンポー
ネントを追加することにより，音声チャットが可能になる．
人型の 3 次元モデルにおいては、アバタの表情はTransform とは異なる BlendShape という表現方法の変数値で制御することが一般的である．BlendShape の変数値をブロードキャストするために，本システムでは，photon のテキスト共有機能（OnPhotonSerializeView 関数）を利用した．
最後に，今回の実装では，アバタの外観を利用者ごとに違えることができていない．そこで，図 4 に示すように，アバタの上部に，プレゼン環境を起動するときに登録した

図 6

スライドを表示させた際の発表者視点の操作画面ユーザの名前を表示するようにした．
3.4 フォトリアル物体モデルの生成機能
よりリアルな CG モデルを作成するために，実在する物体を撮影した複数枚の画像から 3 次元形状を推定して形状モデルを自動生成する技術や，それらの写真を用いてモデ
ル表面のテクスチャを自動生成する技術が進歩している[7,8]．しかし，元となる画像を日常的なシーンで撮影すると，照明による陰影や影や，周囲の物体色の映り込み（環境光）による色変化がテクスチャに反映されてしまう．そのため，仮想空間での照明や物体配置が画像の撮影環境と図 4

参加者の名前を識別用にアバタの上部に表示異なる場合に違和感のある映像となっている．これに対しては，照明や環境光の影響を取り除く方法が提案されてい3.3 プレゼンおよびプレゼンスライド共有機能る[9]．

図 5 に発表開始前の発表者の操作画面を示す．発表者は

本研究では，プレゼン環境のシステムとは独立した要素表示させたいスライド画像のフォルダをダイアログの中かとしてフォトリアルな物体モデルを簡便に作成する機能をら選択することができる．フォルダ内の画像はファイル名実現し，生成したモデルをプレゼン環境に投入できることのアルファベット順に順序付けられ，プレゼン会場にあるを確認した．図 7 に日常環境下で作成した通常モデルとフパネルに画像が表示される（図 6 参照）．これらの一連のォトリアルモデルを比較した．フォトリアルモデルでは，発表者が行う操作は，PhotonView の RPC（Remote Procedure

背もたれが座板に落とした影が鮮明に表現されているが，Call）機能により全参加者のプレゼン環境でも実行される．

通常モデルでは影の識別が難しい．また，通常モデルではこれにより，プレゼンを参加者で共有することができる．

背もたれのしわの陰影がテクスチャとして強調されているがフォトリアルモデルではこれがないことが確認できる．

通常のモデル
図 7
図 5

フォトリアルモデル

通常モデルとフォトリアルモデルの比較

スライド画像選択ダイアログ
図 8 には，無料公開されている椅子モデルのアセットとまた図 6 に示す通り、発表者の操作画面の右下には現在日常環境下で撮影した画像から作成した通常モデル，フォ表示しているスライドが小さく表示される．これにより，トリアルモデルをプレゼン会場に配置した様子を示した．

発表者は自身のアバタを聴衆の方向に向けた状態でも，自また，ファイルサイズではアセットが 3.5KB に対し，フォⓒ2023 Information Processing Society of Japan3

情報処理学会研究報告
IPSJ SIG Technical Report
トリアルモデルは 8.4MB であった．実際の動作確認では，フォトリアルモデルにすることによってレンダリング処理が高負荷になって動作が遅くなるような不具合は生じないことを確認した．

4. 実験による評価
4.1 処理性能評価
処理性能として画面フレームの生成速度を計測した．計
測には Unity の統計ウインドウを用いた．高性能のグラフィックボード（NVIDIA GeForce RTX 3060）を搭載したデス
クトップ PC の場合は 5.6FPS で，ノート PC（Intel(R) UHD
Graphics 620）の場合は 3.2FPS であった．
また，参加者数の影響を確認するために，Openface を起動せずにフレーム生成速度と参加者数の関係を調査した．
結果を図 10 に示す．計測は，上述のデスクトップ PC を使い，自身もアバタを操作している場合と，他者のみが操作している場合で行った．図中の８人までの棒グラフが実測値で，実践は近似した予測値である．photon の無料利用ができる 20 人までの会議であれば，良好な性能が得られ

図 8作成方法が異なる椅子モデルの比較ると考えることができ，全体性能は Openface の負荷が支配的となる．

3.5 参加者の動きのログ機能
心理分析のためのログは，OpenFace 上で取得する方法（方法１）と Unity 上で取得する方法が考えられる．更に，Unity 上で取得する場合は，各ユーザのコンピュータで取得する方法（方法２）と，代表ユーザのコンピュータ上でブロードキャストされた情報を一括収集する方法（方法３）が考えられる．方法Ⅰは，Unity に転送していないパラメータについても収集可能なので参加者の表情の詳細な情報を得ることができる．一方，参加者間の心理的な相互作用を分析する際は，個別のログを時刻合わせしながら結合する作業を必要としない方法３が望まれる．ただし，代表ユーザのコンピュータへの負荷は高くなる．これらのことから，ログ収集の方法は，心理分析の目的や利用するコンピュータ環境に応じて使い分け，あるいは併用をする必要があると言える．現時点では，方法１と方法２を実装している．
図 9 は，方法２により発表者側で収集したログの一例であ

図 10

参加者数と画面フレーム生成速度の関係

4.2 アバタの動きの評価
アバタを介して表現された発表者の頭部の動きと口の開閉を，参加者として視認できるかどうかを確認した．10 名の被験者（大学生）にプレゼンを視聴してもらい，３段階（確認できた（確認良），B:やや確認できた（確認可），C:確認できなかった（確認不可））で評価をしてもらった．結果を表 1 に示す．視認できない状況は，発表者から距離が遠い後部座席から視聴した場合に生じた．

る．左端の整数値は時刻，それより右側の数値は OpenFace
から送られてきたランドマークの座標値である．これらを用いて，オフラインでユーザの表情変化を再現することができる．また，上から 5 行目にはスライドを切り替えたタイミングがイベントとして記録されている．これを用いてプレゼン中のイベントと心理的変化の関係を分析できるようになる．

表 1 頭部の動きと口の開閉の視認実験結果
確認良確認可

確認不可

頭部の動き

90%

10%

0%

口の開閉

70%

30%

0%

4.3 フォトリアル効果の評価
20 名の被験者（大学生）にプレゼン環境を体験してもらい，フォトリアルなオブジェクトを使用する場合と使用しない場合で利用者が感じる不自然さ（違和感）の有無を比較した．結果を表 2 に示す．フォトリアルのオブジェクトの方が優位に優れており，参加者がプレゼン環境に没入す
図 9

ログの一例

ⓒ2023 Information Processing Society of Japanるための重要な要素となりえることが確認できた．

4情報処理学会研究報告
IPSJ SIG Technical Report表 2

物体モデルの違いによる違和感の有無
違和感なし

やや違和感

違和感あり

フォトリアル

70%

30%0%

通常モデル

15%

65%

20%

4.4 プレゼン機能の評価
心理実験に利用可能なプレゼン機能が実現できたかどうかを評価した．具体的には， 3 名の被験者（大学生）に，2 名の聴衆がいる本プレゼン環境を用いてプレゼンを行ってもらい、発表中に聴衆の反応（アバタの頭部の動きやリアクション機能による動き）を確認できたかどうかを尋ねた．発表中に発表者から見えるシーンは図 4 に示したものである．図 11 に発表者から見える聴衆の頭部の動きの例を示す．結果は，2 名がほぼ全て確認できたと回答し，1 名が半分以上確認できたと回答した．

図 11

参考文献
[1]今城，藤村，“リモート会議における心理的安全性の検討”,
https://www.recruit-ms.co.jp/research/thesis/pdf/2021JAAS2.pdf,(2021, 参照 2023-02-15)[2]Linda R. Shanock, Joseph A. Allen 他, “Less acting, more doing: Howsurface acting relates to perceived meeting effectiveness and other
employee outcomes”, Journal of Occupational and Organizational
Psychology, Vol.86, 4, pp. 457-476 (2013).
[3]Juyeon Park & Jennifer Paff Ogle, ”How virtual avatar experienceinterplays with self-concepts: the use of anthropometric 3D bodymodels in the visual stimulation process”, Fashion and Textiles
volume 8, Article number: 28 (2021).
[4]Unity 公式ページ：https://unity.com/ja, (参照 2023-02-15).
[5]photon 公式ページ：https://www.photonengine.com/ja-JP/，(参照2023-02-15)[6]Baltrusaitis, T., Zadeh, A., Lim, Y. C., & Morency, L. P., “Openface2.0: Facial behavior analysis toolkit”, 13th IEEE international
conference on automatic face & gesture recognition, pp.59-66(2018).
[7]Metashape 公式ページ：https://oakcorp.net/agisoft/, (参照 2023-0215).
[8]Shih-En Wei, Jason Saragih, Tomas Simon 他, “VR Facial Animation
via Multiview Image Translation”, ACM Transactions onGraphicsVolume 38Issue 4Article No.: 67pp 1–16 (2019).
[9]Shree K. Nayar, Gurunandan Krishnan, 他, “Fast Separation of Directand Global Components of a Scene using High FrequencyIllumination”, ACM Transactions on Graphics, Vol. 25, 3, pp 935–944 (2006).

発表者から見える聴衆の頭部の動きの例

プレゼン機能については，スライドの切り替えといった基本機能については通常のプレゼンツールと変わらないとの評価を得たが，ポインタとノートの表示機能が必要との感想を得た．

5. おわりにアバタを介して３次元仮想空間で行うプレゼンの急速な普及を想定すると，仮想空間での情報伝達の効果や，参加者の心理的な相互作用といった心理学的な側面での分析が重要となるため，そのような分析が行える環境の構築急務である．そこで本研究では，プレゼン環境における参加者の反応のログを取れるようなオープンソースの 3 次元仮想プレゼン環境を構築し，主に以下の 5 つの機能を実現した．
⚫

ユーザの口と頭部の動きの推定機能⚫

マルチユーザ機能⚫

プレゼンおよびプレゼンスライド共有機能⚫

フォトリアル物体モデルの生成機能⚫

参加者の動きのログ機能
また，作成したプレゼン環境を用いて基礎的な評価実験を行い，心理実験装置としてのユーザビリティの評価を行った．結果から，プレゼン機能の充実が求められたものの，必要最低限の機能と性能は達成できたと考えられる．

ⓒ2023 Information Processing Society of Japan

5