情報処理学会 インタラクション 2022
IPSJ Interaction 2022

4P03
2022/2/21

ソーシャルディスタンス誘導のための人物照合機能を備えるプロジェクションマッピング
菅井 ゆり佳1

酒井 優妃1

杉村 大輔1

概要：新型コロナウイルス感染症流行に伴い，2m 以上のソーシャルディスタンスを保つことが，感染症を予防する重要な手段の一つである．店舗やイベントでは，ソーシャルディスタンスを保つための目印として 2m 間隔の白線が床や地面に引かれている．しかしながら，この方法は，ユーザが白線に合わせて行動する必要がある．これは，ユーザの行動を制限することになる．このような問題に対処するために，本研究では，プロジェクションマッピングを用いたユーザの行動を制限しないソーシャルディスタンス誘導システムを提案する．提案システムの特徴は以下の二つである．一つは，RGB-D カメラにより計測するユーザ間の距離に応じて，プロジェクションマッピングの映像の透明度を変化させることである．これにより，ユーザ間の距離が近づいていることをユーザに事前に視覚的に知らせることができる．二つ目の特徴は，ストーリー性のあるユーザ特有のプロジェクションマッピング行うことで，ユーザを飽きさせることなくソーシャルディスタンスを誘導することである．これを実現するために，深層学習に基づく個人照合システムを構築し，観測環境に存在するユーザの特定を行う．これにより，ユーザの動きを制限せずに，かつ飽きさせることなくソーシャルディスタンスを保たせることができる．

きずにソーシャルディスタンスを保ち続けるとは限らない．

1. はじめにこれに対処するために，ユーザ特有のストーリー性のあ

昨今の新型コロナウイルス流行に伴い，2m 以上のソーるプロジェクションマッピング行うことで，ユーザを飽きシャル・ディスタンスを保つことが，感染予防策として重させることなくソーシャルディスタンスを保つように誘導要な手段の一つである．店舗やイベントでは，一部の椅子する．そこで，深層学習に基づく個人照合システムを構築や机を撤去したり，白線や足跡マークを地面につけたりすする．これにより，個々のユーザを識別することができる．

ることで，ソーシャル・ディスタンスを保つための対応をこれが本提案システムの二つ目の貢献である．

行っている．また，教育現場では，生徒が頭にソーシャル前述した本提案システムの二つの貢献により，ユーザをディスタンスを保つことができる大きさの帽子を被ること飽きさせることなくユーザにソーシャルディスタンスを取で，生徒同士が強制的に近づくことがないようにしている

り続けることを促すことができると考える．

[1]．しかし，上述した方法は，ユーザの行動を制限するこ

ユーザにソーシャルディスタンスを保たせる方法として，とになる．そこで本研究では，プロジェクションマッピン

カメラ映像からユーザ間の社会的関係を推測し，親族等のグを用いたユーザの行動を制限しないソーシャルディスタ

関係がない場合，ユーザが近づいた時に警告を出す方法 [2]ンス誘導システムを提案する．

がある．これ以外にも，深層学習に基づく物体検出モデル

本提案システムの貢献は二つある．一つは，RGB-D カを用いて，ソーシャルディスタンスと顔マスク検出するシメラにより計測するユーザ間の距離に応じて，プロジェクステムが提案されている [3]．また，ソーシャルディスタ

ションマッピングの映像の透明度を変化させることである．

ンスを誘導する既存手法としては，人の歩行に連動する空これにより，ユーザ間の距離が近づいていることをユーザ間演出の楽しさでソーシャルディスタンスを誘導するシスに事前に視覚的に知らせることができる．

テムが提案されている [4]．このシステム [4] では，LiDAR

全てのユーザに同じ特徴のプロジェクションマッピングと ToF カメラを用いて，歩行中の人々の位置をリアルタを行うと，どのユーザのためのエフェクトなのかの判別がイムに計測し，人物間で適切な距離を保たない場合に，映困難となる．加えて，単調な投影となるため，ユーザが飽像が見えなくなるプロジェクションマッピングを行っている．しかしながら，このシステムは，ユーザに対してラ

1

津田塾大学

学芸学部

情報科学科

© 2022 Information Processing Society of Japan608

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

4P03
2022/2/21(1) システム構成(2) システム配置図

図 1: 提案システム概要

ンダムにプロジェクションマッピングを行っている．つまり，ユーザ毎に特定の映像が投影されるわけではない．最
初は，ユーザはプロジェクションマッピングを見るためにを誘導する．この二点において先行研究 [4] とは異なる．

2. 提案システム

距離を保つことが予想される．しかし，慣れによる意識の図１に提案システムの概要図を示す．図１（1）には提低下から，長時間見飽きることなく距離を保ち続けるこ

案システム詳細を，図１（2）には提案システムの詳細な配とは難しいと考える．また，ユーザ間の距離が保たれなく置図を示す．

なった瞬間に投影映像が変化するため，ユーザが互いにど一階に RGB-D カメラの RealSense を配置し，ユーザののくらい近づいているのかが視覚的にはわかりにくい．

行動を観測する．skeleton tracking により，ユーザの骨格

これに対し本研究では，ユーザ間の距離が近づくにつれ情報を取得する（図１（1）-（a））．そして，この骨格情報てプロジェクションマッピングの映像の透明度を変化させをもとに人物領域を切り抜き，人物照合を行う（図１（1）-

ることにより，ユーザ間の距離が近づいていることを事前（b））．人物照合（Person Re-Identiﬁcation; ReID）で得たに視覚的に知らせることができる．また，ストーリー性のユーザ ID 及びユーザの位置情報とユーザ間の距離情報を，あるユーザ特有のプロジェクションマッピング行うこと二階に配置した PC の TouchDesigner に OSC 通信を用いで，ユーザを飽きさせることなくソーシャルディスタンスて送信する（図１（1）-（c））．OSC 通信により受信した情© 2022 Information Processing Society of Japan609

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

4P03
2022/2/21

報に基づき，TouchDesigner により投影映像を生成し，二階に配置したプロジェクターを用いて，プロジェクションマッピングを行う（図１（1）-（d））．

RealSense による人物検出システムは，骨格検出したユー
ザに対しランダムに ID を付与する．これは，ユーザに割り当てられた ID のスイッチが発生する可能性があることを示唆している．ID スイッチが発生すると，同一人物を識別することができず，ユーザ特有のプロジェクションマッピングをすることが難しい．
これに対処するために，ReID を用いる．ReID とは，複数のカメラ・視点や，同じカメラ・視点の異なる場面間に
図 2: 深層学習に基づく ReID システムの構築

おいて人物照合を行う技術である [5]．これを活用することにより，個々のユーザ照合が可能となる．これにより，ユーザ特有のプロジェクションマッピングが可能となる．

する：

D∗ = min{Dij } .

2.1 キャリブレーション
世界座標系と画像座標系のキャリブレーションを行う．
三次元空間における複数の位置座標を計測し，それぞれに(2)最小値 D∗ を用いて，プロジェクションマッピングされる映像の透明度を制御する．

対応する画像座標空間における位置の対応関係を求める．
これらに対して，最小二乗法を適用することでカメラの外2.3 ReID システムの構築

部パラメータを求める [6][7]．これにより，ユーザの三次2.3.1 深層学習に基づく人物照合

元空間における足元に対してプロジェクションマッピングすることが可能になる．

ユーザ特有のプロジェクションマッピングを行うために，人物照合を行う．具体的には，ResNet50[8] に基づく

1000 クラス分類の事前学習済み ReID モデルを使う [5]．
2.2 ユーザ間の距離測定

本システムが対象とするユーザを分類することに特化し2.2.1 ユーザの位置情報たモデルを構築するために，事前学習済みモデルをファイ

RealSense により計測された RGB-D 画像について，Skele-ンチューニングする．具体的には，事前学習済みモデルの

ton Tracking SDK by Cubemos と Intel RealSense SDK

全結合層の後に，新たに全結合層を 2 層追加する．そして，を用いることで，ユーザ 1 人に対して最大 18 箇所の関節最終層に個人照合性能を高度化する AdaCos[9] を追加し，位置を検出する．

AdaCos の出力を分類したいユーザ数に置き換える．最後

本システムでは，首元の座標をユーザ間の距離測定に用の 3 層の全結合層および AdaCos 層のパラメータを学習いる．首元の座標は手や頭に比べて大きく動くことが少なし，それ以外の層のパラメータは固定する．図２にその概い．また，人間の上半身重心位置に近く，ユーザ間の距離要を示す．

測定に適している．

2.3.2 データセットの作成

2.2.2 ユーザ間の距離計算

人物照合をする際に用いる画像は，RealSense を用いて世界座標系におけるユーザの位置情報を用いて，ユーザ取得したものであるため，事前学習済みモデルを作成する間の距離を測定する．本システムでは，同じフロア（一階）ために用いた学習データと比べて画像の明るさや見え方がでのユーザ間距離計測を想定している．そのため，世界座異なる．これは識別性能低下を引き起こす．これに対処す

標系における X − Z 平面での距離を計算する．

るために，収集した学習データに対して，ガンマ補正を行投影範囲に存在するユーザの数を N とする．また，i 番目のユーザの X − Z 平面における位置を (Xi , Zi ) と定義うことで明るさを調整する．これにより識別性能の向上を実現する．

する．i 番目と j 番目のユーザ間距離 Dij は，ユークリッ
ド距離を用いて以下のように計算される：

Dij =

√

(Xi − Xj )2 + (Zi − Zj )2 .

2.4 プロジェクションマッピング
2.4.1 OSC 通信(1)

RealSense で取得したユーザの位置情報とユーザ間の距=離情報を，プロジェクターを制御する PC に送信する．本{Dij }i=1,2,...,N,j=1,2,...,N,i̸=j を 得 る ．距 離 が 近 い ユ ーシステムでは，OSC 通信を用いる．これにより，ユーザのザに離れてもらうために，集合 D のうち最小値を計算

位置情報とユーザ間の距離情報を反映したプロジェクショ

こ れ に 基 づ き ，全 ユ ー ザ 間 距 離 集 合 D© 2022 Information Processing Society of Japan610

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

4P03
2022/2/21(1) ユーザ間の距離に応じて投影映像の透明度が変化する様子(2)ReID がない場合：ID スイッチにより投影映像が入れ替わっている．

(3)ReID がある場合（提案システム）：ユーザそれぞれに対して異なる映像を持続的に投影できている．

図 3: 実験結果ンマッピングを行うことが可能になる．

明度をユーザ間の距離に応じて制御することにより，ユー2.4.2 TouchDesigner によるプロジェクションの制御

ザは投影映像が明瞭に映っている状態を保とうとする，すプロジェクションマッピングで用いる映像の位置や大なわちソーシャルディスタンスを保とうとすることが期待

きさ, 透明度をユーザの動きに応じて制御するために，される．

TouchDesigner を用いる．TouchDesigner とは，オペレー

また，ReID を用いることで，提案システムは個々の同タと呼ばれるノード（結節点）を基本とし，それらを繋ぎじユーザかどうかを識別する．これにより，ユーザ毎に特合わせることでビジュアル・プログラミングを可能にする

定の映像を投影することが可能となる．これはすなわち，アプリケーションである [10]．このノードを組み合わせる

ユーザを長時間見飽きさせることなくソーシャルディスタことで，ユーザの位置情報と投影映像の位置およびユーザンスを保ち続けさせることができると考える．

間の距離情報と，投影映像の透明度を関連づける．これにより，ユーザの位置情報に応じて投影映像を表示し，ユーザ間の距離情報に応じて投影映像の大きさや透明度を変化させる．

2.4.3 ユーザ間の距離の可視化

3. 実験
提案システムの有効性を確認するために，比較実験を行った．
ユーザ間の距離が保たれている時の様子（図３（1）左）TouchDesigner を用いて生成した投影映像を，ユーザのと，ユーザ間の距離が小さいとき（図３（1）中），ソーシャ足元にプロジェクションマッピングする．具体的には，投ルディスタンスが保たれていない時の様子（図３（1）右）影映像の透明度をユーザ間の距離に応じて変化させる．

を，それぞれ示す．ユーザ間の距離が保たれている場合は，ソーシャルディスタンスを保つことができている場合，足プロジェクションマッピングされる映像が薄れることな元に映像が投影される．一方で，ソーシャルディスタンスく表示されている．ユーザ間の距離が小さくなってきた場を保つことができていない場合，ユーザ同士が近づくにつ合は，投影映像の透明度が上がっており，投影映像の視認れ映像の透明度が大きくなる．このように，投影映像の透性が低下していることを確認できる．ユーザ間のソーシャ© 2022 Information Processing Society of Japan611

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

ルディスタンスが保たれていない場合，投影映像は消失

4P03
2022/2/21[9]

していることもまた観測することができる．このように，ユーザ間の距離に応じて映像の透明度を変化させることで，ユーザ間の距離が近づいていることを視覚的に示すことができた．

[10]

X.Zhang, et al., AdaCos: Adaptively Scaling Cosine
Logits for Eﬀectively Learning Deep Face Representations in Proc.CVPR, pp. 10823-10832, May, 2019.
松 山 周 平 ，松 波 直 秀 ， VISUAL THINKING WITH
TOUCHDESIGNER プロが選ぶリアルタイムレンダリン
グ＆プロトタイピングの極意 改訂版第 2 版 BNN, 2021.

ReID を適用していない時の様子と，ReID を適用した時の様子を，図３（2），および（3）にそれぞれ示す．ReID を適用していない場合は，ユーザそれぞれに対してプロジェクションマッピングされる映像が頻繁に入れ替わっていることがわかる．ReID を適用した場合（提案システム）は，ユーザそれぞれに対して異なる映像を持続的にプロジェクションマッピングすることができている．この比較により，ユーザそれぞれに対して異なる映像を持続的に投影することができていることがわかる．このことから，ユーザを飽きさせることなく，ソーシャルディスタンスを保たせることができると考える．

4. おわりに本研究では，プロジェクションマッピングを用いたソーシャルディスタンス誘導システムを提案した. ユーザ間の距離が近づくにつれてプロジェクションマッピングの映像の透明度を高くすることにより，ユーザ間の距離が近づいていることを事前にユーザに視覚的に知らせる．また，ストーリー性のあるユーザ特有のプロジェクションマッピングを行う．これにより，ユーザを飽きさせることなくソーシャルディスタンスを誘導することが可能となった．
参考文献
[1]

[2]
[3]

[4]

[5]

[6]

[7]

[8]

広島県教育委員会， 小学校低学年児童用のソ ー シ ャ ル デ ィ ス タ ン ス の 取 り 方（ ア イ デ ア ）https://www.pref.hiroshima.lg.jp/uploaded/attachment//389783.pdf
M.Cristani, et al.， The Visual Social Distancing Problem IEEE Access, vol.8, pp.126876 - 126886, July, 2020.
V.Shetty S., et al., Social Distancing and Face Mask
Detection using Deep Learning Models : A Survey 2021
Asian Conference on Innovation in Technology (ASIANCON), Aug, 2021.
Hitachi, Ltd.
”Putting fun into maintaining physical distance bysystem to link walking people and spatial distance”
https://www.hitachi.com/rd/news/topics/2020//1130.html
Z.Zhang, et al.,Densely Semantically Aligned Person Re-Identiﬁcation in Proc.CVPR, pp.667-676, June,2019.
長岡亜耶, 橋本直己, 深度センサを用いた手軽なプロジェ
クタキャリブレーション , 映像情報メディア学会技術報
告, vol37, No.7, pp.3-6, Feb.2013.
藤澤春香, 藤田悟, Kinect を用いたリアルタイムプロ
ジェクションマッピングシステムの構築 , 第 77 回全国大会講演論文集, pp.447-448, 2015.
K.He, et al., Deep Residual Learning for Image Recognition in Proc.CVPR, pp.770-778, June, 2015.

© 2022 Information Processing Society of Japan612