情報処理学会 インタラクション 2017
IPSJ Interaction 20173-504-20
2017/3/2

ペッパーズゴースト原理を用いた低コスト 3D テレビ電話システムの提案
山中隆之 †1

玉城絵美†2西村昭治†2

概要：遠隔地の家族との会話や仕事としての遠隔会議などの多種多様な場面で，テレビ電話は利用されている. しかしながら，一般的な単眼カメラと 2D ディスプレイを使用するテレビ電話は，臨場感が低いという問題がある.一方で，特殊な機材や 3D ディスプレイを使用するテレビ電話は，設置時間や高価な機材導入のコストがかかるため普及していない．そこで本研究では，テレビ会議で使用される単眼カメラからユーザを抜き出し，ペッパーズゴースト原理を用いて簡易的な 3D テレビ電話システムを提案する．提案システムにより設置時間や高価な機材導入のコストを大幅に削減しつつ，臨場感の高い 3D テレビ電話システムをユーザが気軽に利用できるようにする．

Low Cost 3D Videoconferencing System by using Pepper's Ghost
TAKAYUKI YAMANAKA†1 EMI TAMAKI†2SHOJI NISHIMURA†2Abstract: Videoconferencing is used in a variety of situations, such as conversation with remote family members and remote
conferences as work. However, videophones using common monocular cameras and 2D displays have low reality. On the otherhand, Video telephones using special cameras and displays are not popular due to installation time and the cost of introducing
expensive equipment. In this research, a simple 3D videoconference system using a Peppers ghost principle is suggested byextracting a user from a monocular camera. Our system reduces the installation time and the cost of introducing expensive
equipment and allows the user to easily use the 3D videoconference system with high reality.

1. 背 景インターネットを経由したテレビ電話サービスのし、自拠点の映像等に合成する事で同一の空間を共有している感覚を与え，臨場感を向上させるシステムを提案している[4]．

Microsoft KINECT[5] を使用し，奥行き情報とSkype[1]や WebRTC(Web Real-Time Communication) [2]の背景差分を用いてカメラ画像内からユーザを抽出してい登場により，インターネット利用したテレビ電話は個人利る.

用にとどまらず，会議，教育や医療など多種多様な用途で野田らは臨場感の向上を図るためのタイルドディスプレ利用されている.特に WebRTC はブラウザ上で動作するた

イを用いた遠隔コミュニケーションシステムを提案した

め，専用のソフトウェアをインストールすることなく，よ[6]．複数枚のディスプレイを用いて巨大な高解像度ディスり手軽に利用されている．

プレイを構築し，背景映像を切り抜いてユーザの全身を映テレビ電話の臨場感に関する研究として森らは，テレビすことで，ノンバーバルコミュニケーションの表現を向上

電話における臨場感の欠如の原因をユーザが見たい範囲をさせたり、多数の資料を同時に表示したりする事で臨場感見られない事であるとして、HMD(Head Mounted Display)溢れるコミュニケーションをはかっている.

を用いたテレビ会議システムを提案している[3].小型の加上記の通り，テレビ電話に関するコミュニケーションサ

速度センサと方位センサを取り付けた HMD で通話者であービスとツールは数多く研究されているが，特殊な機材をるユーザの首の動きを取得し，その動きに合わせ遠隔地の用いるため設置時間や高価な機材導入のコスト，さらにはもう一方のユーザのパンチルトカメラを動作させるシステ

ソフトウェアの導入コストがかかるため普及には至っていムである.同システムによりユーザは，遠隔地のユーザの環ない．特にテレビ会議に参加する遠隔地のユーザ同士が境を主体的に見渡すことができる．結果，通常のテレビ電HMD，パンチルトカメラ，KINECT や特殊なディスプレイ話よりもはるかに臨場感のある会話をユーザに提供する.

を所持しているのは一般的ではない．

菅野らは RGB-D カメラを用いて遠隔地ユーザを抽出†1 早稲田大学人間科学部人間情報科学科
Department of Human Sciences, Human Information Science,Waseda University†2 早稲田大学 人間科学学術院
Faculty of Human Sciences, Waseda University© 2017 Information Processing Society of Japan749

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

図 13-504-20
2017/3/2

ペッパーズゴースト原理を用いたテレビ会議の様子

Figure 1

An Example of Videoconferencing with Pepper’sghost.

図 2
Figure 2

提案システムで使用するブラウザ上の映像と UIUI and images on the web browser for our suggestedsystem.

2. 研 究 目 的 と 提 案 シ ス テ ム
前述の背景と先行研究を踏まえ，本研究では設置時間やペッパーゴースト原理に従う 4 箇所の映像を遠隔地のユー

高価な機材とソフトウェア導入のコストを低く抑えつつもザのディスプレイ上に表示する．ソフトウェアインストー

臨場感のある簡易的な 3D テレビ電話システムの構築を研ルのコストを省くため，WebRTC を用いてブラウザ上で上究目的とする．

記システムを構築した．WebRTC を利用するにあたり，提本研究では，テレビ会議で使用される単眼カメラからユ案システムは html，CSS と JavaScript で構築された.

ーザを抜き出し，その映像を WebRTC によりブラウザ上に3.2 処 理 の 流 れ映し出し，ペッパーズゴースト原理を用いて低コストで簡ブラウザを経由して提案システムを起動した後の処理の流易的な 3D テレビ電話システムを提案する(図 1)．

れを以下に列挙する．

ペッパーズゴースト原理とは，Henry Dircks が考案した処理 1: 単眼カメラからユーザが写り込んでいない背景画

板ガラスと照明技術により実像と虚像を重ねる原理である像を撮影する[7]. 近年では，台形型のアクリル板 4 枚組み合わせて 2D

処理 2: ディスプレイ上に台形型のアクリル板 4 枚を設置

ディスプレイに配置することにより，簡易的な 3D ディスするプレイを表示する手法の原理として注目されている[8]．2D

処理 3: テレビ会議が開始される

ディスプレイに背景を暗くした映像を表示させ、その上に処理 4: 先ほど撮影した背景画像(背景モデル)と現行の取傾斜を付けて台形型のアクリル板 4 枚をのせることで，デ得画像(観測画像)を比較し背景差分の処理を実施する

ィスプレイの上に映像が 3D のように浮いて見えるという処理 5: 背景差分の処理により，観測画像よりユーザのみものである. 映像は背景が黒く切り取られて作成されていを抜き出するため、空中ディスプレイに反射した映像が実際の背景に処理 6: ユーザ以外の観測画像の背景を黒く塗りつぶし，4重なってみえることによって 3D で浮いたように錯覚させ面配置した映像を遠隔地の対話先ユーザのブラウザに表示ている．アクリル板のコストは数十円から高くても数百円する程度である．また，アクリル板の加工も 30 分程度で完了す

処理 7: ユーザがブラウザ上の UI を用いて背景差分のたる．

めの閾値を調整する

3. シ ス テ ム 構 成

以上である．実際に上記の処理 7 までを実施したブラウザ

3.1 概 要本研究の提案システムでは，背景差分を用いて単眼カメラからユーザを抜き出し，台形型のアクリル板 4 枚形式の上の映像と UI を図 2 に示す．また，上記の処理の流れのうち，処理 4〜7 の背景差分の詳細を次節に記載する．
3.3 背 景 差 分
背景差分では，背景モデルの１点と観測画像の 1 点の 2点間の表色系のユークリッド距離と，2 点間の多次元ベクトルの内角の閾値をユーザが調整して処理を行う．表色系© 2017 Information Processing Society of Japan750

情報処理学会 インタラクション 2017
IPSJ Interaction 20173-504-20
2017/3/2

は RGB もしくは YIQ の IQ を用いた．
ユークリッド距離による背景差分では，表色系の値を多次 元ベクトルとして、背景モデルと観測画像のベクトルのユークリッド距離が閾値以下の場合背景と判定する. 表色系を三次元としたとき，三次元ベクトルにおける 2 点間のユークリッド 距離を求める式を(1)に示す.式(1)では D をユークリッド 距離、2 点を(x1 , y1 , z1)、(x2 , y2 , z2)とする.
・・・(1)

2 点間の多次元ベクトルの内角による背景差分では，表色系の値を多次元ベクトルとして、背景モデルと観測画像

映像情報メディア学会冬季大会, no.2012, p.7-4-1.
“Kinect for Windows Develiper“.
https://www.microsoftstore.com/store/msjp/ja_JP/pdp/Kinect-forWindows-Developer-セット/productID.319569800, （参照2016-12-26）.
[6] 野田敏志,江原康生,石田智行,橋本浩二,柴田義孝, タイルドディスプレイを用いた高臨場感多地点映像コミュニケーションシステムの研究, 情報処理学会, 2014, 第 76 回全国大会,vol. 2014, no.1 pp. 207-208.
[7] “Pepper’s Ghost 解説ページ”,
https://ja.wikipedia.org/wiki/ペッパーズ・ゴースト, （参照2016-12-26）.
[8] “スマホの映像が本当に飛び出す「3D ホログラム」を、30 分くらいで作ってみた！”, まさとらん (著), 2015 年 08 月 04 日,
http://plus.appgiga.jp/masatolan/2015/08/04/56596/, （参照2016-12-26）.
[5]のベクトルの内角が閾値以下の場合背景と判定する. 表色系を三次元としたとき，三次元ベクトルにおける 2 点間の内角の余弦を求める式を(2)に示す.式(2)では cosθ を余弦、2 点を(x1 , y1 , z1)、(x2 , y2 , z2)とする.

・・・(2)

4. 課 題 と 展 望
本研究における課題と展望 3 点について説明する．
1 点目は，提案システム使用する際，ブラウザ上に表示された UI がアクリル板の 3D ディスプレイに写り込んでしまう場合があり，臨場感の低下を招く恐れがある.そこで，今後，汎用的なウェブアプリ機能に同 UI を実装し，映り込みを避ける必要がある．
2 点目は， UI による閾値の手動調整を自動化することである.現在は，様々なカメラに対応できるように手動で閾値を変更できるように設計した.今後，観測画像と処理画素との相関による閾値の自動調整手法や機械学習を用いることによって閾値を自動的に最適化し，よりユーザが気軽にシステムを利用することが望まれる.
3 点目は，簡易的な 3D ディスプレイによる臨場感の演出だけでなく，先行研究の野田らが提案するようにユーザの全身を投影し，ノンバーバルコミュニケーションの表現を向上させることが考えられる．

参考文献
[1]

“Skype 公式サイト(英)”https://www.skype.com/, （参照 2016-12-26）.

[2] “WebRTC 公式 コミュニティサイト(英)”https://webrtc.org, （参照 2016-12-26）.
[3] 森 崇之, 矢萩 雅彦, 井上 薫, 中嶋 信生, 臨場感のある携帯テレビ電話の検討, 2013 年電子情報通信学会通信ソサエティ
大会, 一般社団法人電子情報通信学会, 2012, vol.2012, no.2,pp.276.
[4] 菅野勝, 山田 健太郎, 内藤 整, 没入型テレビ会議システムのための空間共有, 一般社団法人映像情報メディア学会, 2012,© 2017 Information Processing Society of Japan751