情報処理学会 インタラクション 2022
IPSJ Interaction 2022

5D152022/2/21

オンライングリーティングにおける視線でのコミュニケーションを支援するシステムの提案
又吉 夏生†1 松本 侑樹†1 横山 街†1栗原 渉†2 有山 大地†2 韓 旭†2 串山 久美子†2
概要： 新型コロナウイルス感染症拡大により，アイドルなどの握手会やサイン会はオンライン化した．画面越しでのコミュニケーションは，カメラとモニタの位置の違いによって視線が合いづらくコミュニケーションの円滑さが損なわれることが問題点として挙げられる．本稿では，Web カメラの映像を画像処理することでファンの顔の動きを検出し，カメラとモニタの位置と方向を制御することで，画面越しでも自然に視線が合う円滑なコミュニケーションを支援するシステムを提案する．

1. はじめにアイコンタクトを実現するためにカメラやディスプレイを一体として上下左右に旋回する機能を持った代理人ロボッ

近年，アイドルグループの一推しのメンバーや好きなキトを用いる手法が提案されている．小峯らの考案した手法

ャラクターなど（以下，「推し」とする）を様々な方法で応は複数人に対してのスムーズな話者交代のために用いられ援する「推し活」と呼ばれる活動が広まっている．ており，ロボットの操作は手元のジョイスティックで行う．

2020 年以降，新型コロナウイルスの感染拡大によりライ

本研究ではファンと推しが視線でのコミュニケーションにブやステージパフォーマンスなどの対面イベントの多くがよって画面越しでも対面の握手会などに近い状況の会話体オンライン開催となり，直接会って話せる握手会やサイン験を実現することを目的としているため，対複数人用で操会も画面越しで一対一の会話をする「オンライングリーテ

作が手動である小峯らの手法は適していない．また，遠隔ィング」に変わった．対面の会話では，視線や表情，身振で視線を合わせることに関してはオンライン会議でのリアりなどの非言語コミュニケーションが理解度ややりとりのルタイム視線補正技術[4]も既に開発されており，事前に撮情報量などに大きく関わっていることが高木の論文[1]に影してあるカメラ目線の目元の画像をリアルタイム映像に示されている．一方，画面越しの会話は，話者が同じ空間合成することで相手と目が合っているように見せるというにおらず非言語コミュニケーションが制限されることが問システムが提案されている．このシステムでは相手の意思題点として挙げられる．オンライングリーティングにおいにかかわらず常にカメラ目線になるが，Cook らの研究[5]て，特にカメラとモニタの位置が異なることで話者同士のでは継続して視線を向けられていると逆に好意的に受け取視線が合わず円滑なコミュニケーションが損なわれているられないことも明らかになっているため，推しとファンとと考えられる．のコミュニケーションでこの技術を用いることは好ましく

そこで本稿では，オンライングリーティングでの視線にないと考えられる．本研究ではファンが推しと自然なアイよるコミュニケーションを支援するシステムを提案する．

コンタクトを交わし好意的で自然なコミュニケーションを提案システムでは，ファンの顔の動きと推しを撮影してい取ることを目的とし，オンライングリーティングにおけるるカメラ，ファン側のモニタの動きを同期させる．これに視線でのコミュニケーションを支援するシステムを提案すよりカメラがファンの視線そのもののような役割を果たし，る．

対面での視線によるコミュニケーションに近い体験が可能であると考えられる．

2. 関連研究・作品

3. 提案手法
3.1 画面越しで視線を合わせる条件
オンライングリーティングでは，ファンと推しがそれぞ遠隔での非言語コミュニケーションを促進するシステム

れカメラ/モニタの正面にいて，推しがカメラ目線になったについて，遠隔握手に関する田中らの研究[2]では，触覚提ときにファンがモニタを見ると推しと目が合っているよう示デバイスによって握手を再現し，相手に親近感を与えるに見える．どちらか一方がカメラ/モニタの前から動いて角効果が示されている．小峯らの研究[3]では，遠隔会議での度がつくと，目が合っているようには見えづらい．カメラ越しの映像でお互いの視線が合いづらいという問題を解決†1 東京都立大学システムデザイン学部†2 東京都立大学大学院システムデザイン研究科© 2022 Information Processing Society of Japan

して遠隔でも自然に目を合わせるためには，以下の 2 つの690

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

5D15
2022/2/21

条件を組み合わせる必要がある．

モニタをサーボモータに固定する部品と横移動用機構のた（1）ファンが常にモニタと正対するめの部品は 3D プリンタで出力した．図 3 に示すように，（2）推しを撮影しているカメラがファンの動きに合わせてファン側のモニタには回転用のサーボモータを取り付けた．

移動しつつ，常に画角の中央に推しを捉える

図 4 に示すように，推しを撮影しているカメラには回転用

上記の条件に基づいて，ファン側と推し側それぞれのモニのサーボモータを直接取り付け，横移動用の機構に乗せてタとカメラの挙動について以下のような形態を提案する．

固定した．

3.2 ファン側のデバイス（1）について，ファンがわかりやすく動いたときにモニタと正対させるため，図 1 左側のようにファンの顔の向きによってモニタの角度を変化させる．また顔の位置と向きの変化を認識するため，カメラは固定する．
3.3 推し側のデバイス（2）について，推しを撮影しているカメラはファンの目の役割を果たすため，ファンと推しを撮影しているカメラは同じ動きをする必要がある．図 1 右側のようにファンを撮影しているカメラで認識したファンの顔の位置と向きに基づいて推しを撮影しているカメラを左右に移動させ，常に推しのほうを向くように角度を変化させる．
図2

図1

システム図

提案システムの概要
図3

4. 設計・実装

ファン側のモニタのシステム外観

4.1 ファンの顔の位置・向き検出
顔の位置と向きの検出には，Processing と FaceOSC[6]を用いた．まずファンを撮影しているカメラで顔を検出し，FaceOSC によって顔の位置の座標と顔が向いている方向のベクトルを取得する．位置にはカメラに映る左端から右端までの水平方向の座標を，方向には左右を向いたときに検出可能な角度をそれぞれサーボモータの 0°から 180°までの角度に対応させる．
4.2 装置の実装
実装したシステムのシステム図を図 2 に示す．推しを撮

図4

推しを撮影しているカメラのシステム外観影している Web カメラ・ファン側のモニタの制御にはArduino Uno とサーボモータ（SG-90）を用いる．カメラ・© 2022 Information Processing Society of Japan

推しを撮影しているカメラの横移動には，部品数が少なく

691

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

5D152022/2/21

構造が単純であるラック・アンド・ピニオンという歯車のニケーションを支援するシステムを提案した．本稿ではフ機構を用いた．入力信号を物理的運動に変換するラック・ァンの顔の位置と向きに合わせたカメラとモニタの動作まアンド・ピニオン型の機構*¹の部品を 3D プリントし，サーで実装したが，推し側のモニタが未実装である．今後の課ボモータに取り付けて回転運動を直線運動に変換した．

題としては，推し側のモニタを実装し，カメラとの位置関ファンを撮影しているカメラから得られたリアルタイム係を検討することが挙げられる．これにより，さらに自然のファンの顔の角度情報を，Arduino Uno からシリアル通なコミュニケーションが可能であると考えられる．また，信でファン側のモニタを回転させるサーボモータと推しを本システムの有効性を示すために，実際に本システムを用撮影しているカメラを回転させるサーボモータにそれぞれいた画面越しのコミュニケーション体験の印象評価実験を送信して制御する．リアルタイムのファンの顔の位置情報計画している．画面越しでファンから会話以外のアクショも，Arduino Uno からシリアル通信で推しを撮影しているンを起こせることは，コロナ禍が収束した後も，交流に画カメラを横移動させる機構に用いるサーボモータに送信し面を隔てる必要のあるバーチャルタレントなどの 3DCG モて制御する．実際に使用している場面を図 5，6 に示す．

デルを用いて活動している推しとのコミュニケーション体験の向上にも有効であると考えられる．そのため本システ
ムの推し側に 3DCG モデルを用いることが可能なシステムの開発も行う予定である．

参考文献
[1]

[2]

[3]

図5

[4]

ファン側のシステムの使用イメージ
[5]
[6]

図6

高木幸子：コミュニケーションにおける表情および身体動作の役割，早稲田大学大学院文学研究科紀要 第 1 分冊，51，25-36（2005）
田中一晶，和田侑也，中西英之：遠隔握手: ビデオ会議と触覚提示デバイスの一体化によるソーシャルテレプレゼンスの強化，情報処理学会論文誌，56(4)，1228-1236（2015）
小峯隆宏，勝本道哲，丹康雄：遠隔会議でのアイコンタクト実現手法の提案と評価，情報処理学会研究報告マルチメディ
ア通信と分散処理(DPS)，2005.33（2004-DPS-122），139-144（2005）“リアルタイム視線補正＆画質調整技術「WATCHMe」”
https://www.isl.co.jp/watchme/（参照 2021-12-13）
Cook M, Smith JM. The role of gaze in impression formation. Br J
Soc Clin Psychol. 14(1), 19-25（1975）“FaceOSC”
https://github.com/kylemcdonald/ofxFaceTracker/releases（参照2021-12-7）

推し側のシステムの使用イメージ

5. おわりに本研究では，ファンの顔の動きとカメラ・モニタの動きを同期することによって，画面越しでの視線によるコミュ*¹ Ali；CC BY-NC 4.0 https://www.thingiverse.com/thing:3170748 改変して利用© 2022 Information Processing Society of Japan692