情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1D-64
2020/3/9

TEllipsoid: 遠隔会議のための視線方向を正しく伝える
顔画像提示用楕円球型ディスプレイ
一居太朗 1, a)†三武裕玄 1 長谷川晶一 1
概要：遠隔会議システムにおいては，非言語情報が伝達しづらくコミュニケーションが円滑に行なわれない問題がある．これは平面ディスプレイに顔画像を投影するとモナリザ効果が発生し，視線方向が適切に伝達されないことが一因と考えられる．そこで我々は，実用時に重要な利便性および実物と提示像の同一性を確保しながら適切な視線方向の伝達が行なえる映像提示手法として，楕円球型のスクリーンに顔画像を投影するシステム（TEllipsoid）を提案する．

1. 背景
今日，様々な情報通信技術が発達・普及しているが，未だに対面会話が最も基本的なコミュニケーション手段である．特に重要な意思決定などは依然対面会話で行われることが多く，空間的に離れた人々が対面しているかのように会話できる技術の実現は，人件費・交通費の削減など大きなメリットをもたらす．しかしながら，現状の遠隔会議システムで多く用いられる平面ディスプレイでは，視線や頭図 1

TEllipsoidの動きなど非言語情報の適切な伝達が難しく，コミュニケーションが円滑に行なわれない問題がある．非言語情報は左右方向の回転を映像のみで表現でき機構を削減できる．

コミュニケーションにおいて大きな役割を果たしており，また現状では，遠隔会議システムで対話をする相手は以3 人以上の多人数会話においては，視線や身振りによって前に対面会話したことがある顔見知り，あるいは採用応募話者の交替が調整されることが示されている[1][2]．

者など以後対面会話する可能性がある人物の場合が殆どで中でも視線は，モナリザ効果[3]が発生してしまうためにある．遠隔会議システムで表示される顔画像が実際の外見適切な視線の提示が困難となる．モナリザ効果とは，平面と大きく異なる場合，対話者のアイデンティティとの非同ディスプレイ内の顔画像が正面を見ている場合見る方向に一性が生じ受話者が違和感を覚える可能性がある[7]．対話関わらず自分と目が合っているように感じ，正面でない場者が誰であるかを同定する顔認識の過程において，我々は合は見る方向に関わらず目が合っていないように感じる現

主に顔パーツおよび輪郭の全体的な配置情報で識別すると象であり，これにより遠隔参加者が誰に話しかけているかいわれている[8]．そのため実用的な遠隔会議システムには，判断することが困難になる．モナリザ効果を解消するため，どの方向から見ても顔パーツ・輪郭の配置が実際の外見と多視点 3D ディスプレイ[4]や立体顔形状ディスプレイ[5]な同様に見えるディスプレイが必要となる．

どが提案されてきたが，これらはアクチュエータを必要とそこで我々は，実用時に重要な利便性および実物と提示するため騒音や保守運用などの問題がある．よりリーズナ像の同一性を確保しながら，適切な視線方向の伝達が行なブルな手法として，曲面スクリーンに顔画像を投影するこえる映像提示手法として，鉛直軸対称かつ人の顔形状に近とでモナリザ効果が解消されることが報告されている[6]．

い楕円球型のスクリーンに顔画像を投影し表示するシステ

また実用的な遠隔会議システムには，視線方向の適切なム（TEllipsoid）を提案した．本研究の詳細および評価につ伝達に加え，システムの利便性および実物と提示像の同一性も必要であると考えられる．
実用では不特定多数の利用者が使用する可能性があるた

いては，これまでの報告を参照されたい[9][10]．

2. 提案手法

め，利用者固有の設備が不要な汎用性の高いシステムが求図 1 に提案するシステムの全体写真を示す．このシステめられる．また，製造コストや故障リスクの低さも重要でムは楕円球型スクリーン，小型プロジェクタ，凸面鏡によあり，これらを実現するためには駆動機構を最小限にするって構成され，底部の小型プロジェクタから投影された映必要がある．テーブルを囲む会議では，顔を左右 90°まで像を凸面鏡で反射させ，楕円球型スクリーンに投影するこ向ける可能性があるため通常は駆動機構が必要となってしとで顔画像を表示する．

まうが，ディスプレイが鉛直軸対象な回転体形状であればスクリーン形状は，日本人青年男子の平均顔寸法[11]を

1 東京工業大学 Tokyo Institute of Technologya) ichitaro@haselab.net© 2020 Information Processing Society of Japan419

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1D-64
2020/3/9①瞳孔を目標点に向け視線提示
目標点

図 2

図 3

投影するテクスチャ画像②視線方向から眼球を投影

視線の提示および投影手法基に，後述する顔画像のパーツ配置と自然さを改善するた

顔形状ディスプレイ[5]でもモナリザ効果は解消できるが，めに下側を膨らませ，これを鉛直軸に対して回転させた形

利用者固有のスクリーンが必要な上，頭部の回転に駆動機状とした．

構が必要となる．

投影する顔画像は，人物を 360 度全周撮影し合成した円円筒型多視点ディスプレイと対照評価された円筒型一視筒状投影画像（図 2）を基に作成した．顎の輪郭を表現す

点ディスプレイ[6]でも，モナリザ効果が解消されることがるために一部を黒く塗り潰してあり，塗り潰し領域は正面報告されている．しかしながら，顔パーツ配置が実際の外から見た顔が豊満にならず，かつ輪郭は自然になるよう調見と同様に見える視野角は限られていた．

整された．この編集により，顔の輪郭が視線方向に影響を与える Wollaston effect [12]の誘起も期待される．更に Unity（2019.1.2f1）を用いて実デバイスと等価な光学系を組み，楕円球型スクリーンの 3D モデルに顔画像をテクスチャとして投影した．Unity 内でプロジェクタの位置に置かれた仮想カメラからこれを撮影し，その映像を実デバイスのプロジェクタから投影することで立体像を得た．
また実際の会議で参加者が他の参加者を見る際，頭部と共に視線方向も動かす場合があるため，TEllipsoid にも視線提示機能を実装した．視線の提示および投影手法を図 3 に示す．まず Unity 内で楕円球型スクリーンの目に相当する位置に眼球の 3D モデルを配置し，瞳孔を目標点に向けることで視線を提示した．次に，この眼球モデルを視線方向からスクリーン表面に投影し実デバイスに用いる画像を得た．視線方向からの投影は，目標点から観察した際に原理的に視線一致が知覚される投影手法であり，球面スクリーンに線画の顔画像を投影する研究でも用いられている[13]．

3. 展示
今回の展示では，提案するディスプレイ（TEllipsoid）を遠隔会議システムとして展示する．このシステムは，フェイストラッキング機能付き HMD で取得した遠隔参加者の視線や表情を TEllipsoid に表示し，また魚眼カメラを用いて会場の映像を遠隔参加者に伝達するものである．参加者は，正面 180 度どの方向からでも遠隔参加者とインタラクションすることができる．

4. 関連研究
水平視差型裸眼立体ディスプレイ[4]は，モナリザ効果を解消可能な一手法である．このディスプレイは，高速プロジェクタおよび回転金属板を用いて，遠隔参加者の顔画像を立体的に表示できるが，騒音や保守運用の問題がある．
人の顔型を取ったスクリーンに顔画像を投影する，立体© 2020 Information Processing Society of Japan

謝辞

本研究は，JSPS 科研費 19K12284 の助成を一部受けたものです．

参考文献
[1]

S.Duncan. Some signals and rules for taking speaking turns inconversations. Journal of Personality and Social Psychology,
23(2):283–292, Aug. 1972.
[2] A. Kendon. Some functions of gaze-direction in social interaction.
Acta Psychologica, 26(1):22–63, Jan. 1967.
[3] S.Rogers, M.Lunsford, L.Strother, and M.Kubovy. The Mona Lisa
effect: Perception of gaze direction in real and pictured faces, pp.
19–24. Lawrence Erlbaum, Jan. 2003.
[4] A.Jones, M.Lang, G.Fyffe, X.Yu, J.Busch, I.Mcdowall, M.Bolas,and P. Debevec. Achieving eye contact in a one-to-many 3d video
teleconferencing system. ACM Transactions on Graphics,
28(3):64:1–8, Aug. 2009.
[5] 三澤 加奈, 石黒 祥生, 暦本 純一, LiveMask : 立体顔形状ディスプレイを用いたテレプレゼンスシステムにおけるコミュニケーションの評価, インタラクション 2012, pp.41-48, 2012.
[6] Y.Pan and A.Steed. A gaze-preserving situated multiview
telepresence system. In Proc. CHI, pp. 2173–2176. ACM, NewYork, NY, USA, 2014.
[7] 平家 雅之, 川崎 裕達, 田中 貴紘, 藤田 欣也, 類似度と好感度を両立する個人化アバタのデフォルメ法の検討, ヒューマ
ンインタフェース学会論文誌, 2011, 13 巻, 3 号, p. 243-254.
[8] R. Cabeza, V. Bruce, T. Kato, and M. Oda. The prototype effect inface recognition: Extension and limits. Memory & Cognition,27(1):139– 151, Jan 1999.
[9] 一居 太朗, 三武 裕玄, 長谷川 晶一, 楕円球面スクリーンに投影された顔画像による視線方向の伝達, 第 24 回日本バーチャルリアリティ学会大会論文集, 1C-04, 2019.
[10] T.Ichii, H.Mitake, and S.Hasegawa. Tellipsoid: Ellipsoidal
display for videoconference system transmitting accurate gaze
direction. In Proc. IEEE VR. (査読中).
[11] 河内まき子・持丸正明, 2005AIST 人体寸法データベース, 産業技術総合研究所 H16PRO 287.
[12] W.H.Wollaston. Xiii. on the apparent direction of eyes in aportrait. Philosophical Transactions of the Royal Society ofLondon, 114(1):247– 256, Jan. 1824.
[13] M. Hashimoto, H. Kondo, and Y. Tamatsu. Effect of emotional
expression to gaze guidance using a face robot. In Proc. RO-MAN,
pp. 95–100. IEEE, Munich, Germany, Aug 2008.

420