情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3B16
2021/3/10

マスクの色と着用の有無を入力に用いたインスタレーション作品の提案

菅野真司†1串山久美子†1

概要：新型コロナウイルスによる感染症（COVID-19）拡大の影響で日常的にマスクを着用する機会が増え, 色の種類も多様になった. そこで外観的特徴の一つとしてマスクに着目した. 本論文では, リアルタイムにマスクの色と着用の判別ができるシステム実装についての考察と, マスクの着用なしでは体験できない, マスクを着用しているからこそ色によって変化する映像をインタラクティブに楽しめるインスタレーション作品の提案を行なった.

組み合わせの音と映像（色）が発生するインスタレーショ

1. はじめにン作品である.

近年, 参加型・体験型の遊んで楽しめるインタラクティ

外観的特徴としての色を入力に用いたインスタレーショ

ブな作品が数多く存在する. 体験型インスタレーションにン作品に YOBUKO[4]が挙げられる. 呼子イカの姿を立体おいて, 体験者の動作や行為だけでなく, 外観的特徴によ映像化し, 体験者の服の色に同調して変色する作品だ.って映像が変化するインタラクション演出が取り入られた作品も見受けられる.

また, お面の着用の有無を入力に用いたインスタレーシ
ョン作品に BAKERU[5]がある. 用意されたお面をつける

一方で, 新型コロナウイルスによる感染症（COVID-19）
拡大の影響で人々は日常的にマスク[1]を着用する機会がことにより, スクリーンに映る自分の姿が変化しインタラ
クティブな体験を楽しむことができる.

多くなった. それと共にマスクの種類, 特にカラーバリエ

MAScreen[4]はマスクに着目した作品で, 唇の動きと音ーションは非常に豊富になり, 好みやその時々のファッシ声を感知しマスクの形をしたウェアラブル LED ディスプ

ョンに合わせて, 人々は多様な色のマスクを着用している.

レイに口の視覚的フィードバックを表示する.

しかし, マスクに嫌悪感やネガティブな印象を持つ人は多い. また, 体験型インスタレーションにおいても感染予防

3. システムの観点からマスクをしながら安全に楽しめることが求めら

3.1 システムの概要
本作品では, 約５メートル先の対象者に対してマスクのれる.
そこで, 本研究では, マスクを体験者の外観的特徴の一着用の有無と色の判別をリアルタイムに行う必要があるたつとして捉え,マスクの色と着用の有無を入力に用いる.

め, カラーセンサーなどは用いずカメラ画像のみを使用す

色ごとに紐づけられたインタラクション演出を楽しんでもる. また最終的にプロジェクターで映像を投影することをらうことで, マスクに対する印象がポジティブに変わるこ想定し照明の暗い環境下でも同時に複数人の判別ができるとを目的としたインスタレーション作品を目指す. 本論文

システムを制作した.

では, リアルタイムにマスクの色と着用の判別ができるシ

3.2 マスクの着用判別ステムの開発と, 開発したシステムを利用したマスクの着マスクの着用判別には顔検出ライブラリの用なしでは体験できない, マスクを着用しているからこそ

PyramidBox[6]とそれに付随するマスク検出モジュールと楽しめるインスタレーション作品の制作について述べる.

OpenCV を使用した. マスクの着用判別では, まずマスクを着用した状態でも顔検出ができることが前提であり,

2. 先行研究

PyramidBox ではその点に加えて照明環境の問題やカメラ体験者の動きや位置によって映像の色がインタラクティ

画像に対して対象の顔が小さい場合でも比較的高精度な検ブに変わる作品として Kobe Interactive Color Swatch[2]と出が可能である. マスクの色の判別には画像からマスク領

herering[3]が挙げられる. Kobe Interactive Color Swatch は壁域のみを抽出する必要があるため前景領域抽出アルゴリズ

面上に色柄見本を投影し, 鑑賞者が壁面に近づくにつれてムである GrabCut を使用した. PyramidBox で得られる顔のその近接度合いから色彩の配置と構成が変化するインスタ検出領域を元にその下側半分を簡易的な前景領域と定め,レーション作品である. herering は音と色の共感覚を示す

それを元にマスク領域のみを抽出する.

「色聴」に着目し, 体験者の位置情報を元に, 毎回異なる†1 東京都立大学大学院

システムデザイン研究科© 2021 Information Processing Society of Japan576

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3B162021/3/10

共に正しい結果が得られたが, 顔の角度によっては光の当たり具合により色の判別結果にばらつきが見られた. また顔が極端に横や上を向いている場合では, マスクを着用しているにも関わらず「マスクなし」と判別されるしまう可能性があることが分かった.
表1

図 1

顔の向きに対する判別結果の可否

顔の向き

正面

少し横/上

極端に横/上

着用判別

○○

×

色の判別

○××

マスク領域の抽出

3.3 色の判別
マスクの RGB 値は抽出されたマスク領域の平均により求める. カメラ映像では光環境や顔の凹凸による影の影響を受けてしまうため, 画像のガンマ補正とホワイトバランスにより適切な調整を行う. また, 既製品のマスクは彩度の低いものが多いため, 色相の差を顕著にするため実際より彩度を高めて処理を行う.
RGB 値から色を一つに決定するため, 判別の基準となる色の分類を行う. 既製品のマスクの調査を行い, W3C 標準
基本 16 色[7]とマスクの色に多く見られる「サーモン」「ラベンダー」「ピンク」「ベージュ」「カーキ」を合わせた 21

図 3

マスクの色と着用の判別

色を判別の基準色と定め, これを元に各色名と RGB 値を4. インスタレーション作品まとめたデータセットを作成した. 色の判別にはマスクの4.1 作品の概要

RGB 値とデータセットの各 RGB 値との色差を計算し, 最本作品では, 体験者のマスクの色と着用の判別をリアルも近いものをマスクの色として決定する. 色差の計算にはタイムで行い, その結果に基づいて体験者正面のスクリー

HSV 色空間におけるユークリッド距離計算式と国際照明ン映し出された映像が変化する. マスクを着用している場

委 員 会 [8] に よ っ て 定 め ら れ た , L*a*b* 色 空 間 に お け る

合, 色ごとに異なるアバターが出現し, 体験者はそのアバCIEDE2000 計算式を用い検証を行った. CIEDE2000 は, よターを鏡のように自由に操作することができる. アバター

り人間の知覚に沿った色差の計算ができるが, 彩度の低いは Berlin and Kay の Basic Color Terms[9]と色ごとのイメー色を無彩色と判別してしまう傾向があり, 今回の彩度の低ジを元に判別の基準色を（白，黒，グレー, 赤，緑，黄，青，いものが多いマスクの色の判別においては, より色相の類紫，ピンク）に分類し, 全９種類を作成した. また各アバタ似を優先できる HSV 色空間による色差計算式を採用した.

ーごとに特定のジェスチャーに紐づけられたインタラクシ

以上を踏まえ最終的に, マスクを着用していない場合はョン演出が用意されている. マスクを着用していない場合「マスクなし」, 着用している場合はその色名を結果としは, アバターを操作することはできず, その他インタラクて出力する.

ションも起こらないため作品を体験することはできない.
マスクの色と着用の判別は Python 上で処理を行い, その結果は OSC 通信を用いて Unity に送信される. アバター操作のためのモーショントラッキング, ジェスチャーの認識
は AzureKinectDK[10]を用いて Unity 上で処理を行う.

図 2

判別の基準色3.4 判別精度
既存のマスク製品を用い, 各色の着用判別と色の判別精度の検証を行った. 検証の結果, どの色もカメラに対して顔が正面を向いている場合であれば, 着用判別, 色の判別

© 2021 Information Processing Society of Japan577

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3B16
2021/3/10

ション作品の制作を行った. 今回は単色のマスクのみを想定して制作を行なったが, 色以外にも柄や模様, 素材の違いも考慮したコンテンツなどの可能性も考えられる.

参考文献
一般社団法人 日本衛生材料工業連合会. マスクの定義.
http://www.jhpia.or.jp/product/mask/mask3.html, (参照 2020-1220)[2] 入江 経一, 大内 克哉. 神戸色見本のデジタル化によるインタラクティブ・インスタレーションの制作/～位相同期現象を応用した色彩配置の Kobe Interactive Color Swatch 制作～,
神戸芸術工科大学紀要『芸術工学』(2016)[3] nor. “herering”. https://nor.tokyo/herering, (参照 2020-12-20).
[4] 落合陽一. “YOBUKO”. https://sagaprise.jp/yobuko/, (参照 202012-20).
[5] WOW inc. “BAKERU”. https://bakeru.jp/, (参照 2020-12-20).
[6] Hyein Lee, Yoonji Kim, Andrea Bianchi. MAScreen: Augmenting
Speech with Visual Cues of Lip Motions, Facial Expressions, andText Using a Wearable Display, ACM SIGGRAPH ASIA 2020,Article No.: 2, pp 1–2[7] Xu Tang, Daniel K. Du, Zeqiang He, and Jingtuo Liu.
PyramidBox: A Context-assisted Single Shot Face Detector,
Computer Vision – ECCV 2018 pp 812-828.
[8] HTML 4.01 Specification section 6.5 "Colors".
https://www.w3.org/TR/REC-html40/types.html#h-6.5, (参照2020-12-20).
[9] 国際照明委員会（CIE）. http://cie.co.at/publications/cieposition-statements, (参照 2020-12-20).
[10] Berlin B and Kay P. Basic Color Terms : Their Universality andEvolution., University of California Press, Berkley, 1969.
[11] Microsoft Azure. Azure Kinect DK. https://azure.microsoft.com/jajp/services/kinect-dk/#industries, (参照 2020-12-20).

[1]

図 4

マスクの色と体験者の動きに対応するアバター

4.2 アバター決定の仕組み
アバターは体験者の動きや顔の向きに関わらず, 同じマスクを着用している間は, 変わらず同じであり続ける必要がある. しかし, 体験者の動きや顔の向きにより判別結果にばらつきがあるため, 誤った判別結果を取り除き正しい結果のみを抽出することを目指した.
骨格推定により取得される頭の回転角情報をも元に, センサーに対し「顔が正面を向いているか」と「顔が極端に横や上を向いているか」の判別を行う. 3.4 の検証結果を踏
まえ正面を向いている場合の色の判別結果のみを正しい結果として抽出し, それ以外の結果を取り除く. さらにその中でも判別結果が一つの色に絞られていない場合を考慮し各色の判別されている時間を累積（チャージ）し最初に規定値に達した色を最終結果として, アバターを決定する.
また正面を向いていなくても顔が極端に横や上を向いている場合でなければマスクの着用判別結果は正しいとして扱う. これにより体験を始める際, 意図的に正面を向いて色の判別をさせる必要があるが, 判別結果のばらつきにより誤ったアバターに変ってしまうことを防止できる. また,マスクを着用していない体験者に対しては意図せずとも「マスクなし」との判断が可能である.

図 5

アバター決定までの流れ

5. まとめマスクの色と着用の判別できるシステムと, それを応用したマスクを着用しているからこそ楽しめるインスタレー© 2021 Information Processing Society of Japan578