情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163A13
2016/3/4

Kinect を用いたフェイシャルプロジェクションマッピング
松永 康佑†1

三上 拓哉†1

概要：これまで主に静物に対して行われていたプロジェクションマッピングを人の顔に対して行った．Kinect カメラを用いることで，鑑賞者に特殊なセンサーをつけずに顔の動きを動的にトラッキングしている．計測からプロジェクションまでの時間差による映像のずれを予測することで，顔と映像とのズレを軽減した．顔の特徴点のうち 52 点を選び，特徴点の座標に合わせて，任意のテクスチャをマッピングしている．本研究により，安価なモーショントラッキングカメラとプロジェクタを用いた，簡易的なフェイシャルプロジェクションマッピング手法の提案を行った．

Facial Projection Mapping Using Kinect Camera
KOSUKE MATSUNAGA†1TAKUYA MIKAMI†1

Abstract: Conventional projection mapping had been for static object. However, our projection mapping performed for dynamic
human face. By using Kinect camera, audience is able to dynamically track the movement of the face without the special sensor.
By our position prediction program, we reduce the gap of the image caused by time lag from facial tracking to projection. We chose
52 facial feature points out of 121 points from Kinect SDK. We mapped the texture coordinates to the facial feature point. In thisstudy, we have proposed a simple facial projection mapping technique using an inexpensive motion tracking camera and theprojector.

1. 背景と目的
近年，建物等へのプロジェクションマッピングによる空間演出が多く行われ，一般的な映像表現手段の一つとして扱われるようになった．一般的なプロジェクションマッピ
ングでは投影対象は静的で変化しないものとして扱われ，事前に用意された歪ませた形状に沿って映像を再生する場合が多い．工藤らは光学式モーションキャプチャ装置を用

図 1システム構成2.2 顔特徴点の決定

いて，白い箱型の投影面の空間的な位置と傾きを計測し，Microsoft 提供の Kinect SDK には，フェイストラッキン動きの予測を行い，投影面が動的に変化するプロジェクシグ機能が含まれており，顔の 121 点の特徴点を得ることがョンマッピングを行っている[1]．浅井らによる作品では同できる．しかし 121 点全てを用いて，ポリゴンモデルを構様の装置を用いて顔をトラッキングし，顔へのプロジェク築しテクスチャを貼る作業は非常にコストがかかることかションマッピングを行っている[2]．これらの作品では，正ら，特徴的な顔の部位を表現することができる数まで削減

確で広範囲なトラッキングが可能であるが，計測装置の入を行った．その結果，52 点の特徴点に削減した（図 2）．

手しやすさ，設置スペースの問題から，個人レベルで扱うことは難しい．そこで，本作品では安価なモーションキャプチャ装置と小型プロジェクタを用いて，人の顔を対象として，小規模なプロジェクションマッピングを行うことを目的とした．

2. フェイシャルプロジェクションマッピングシステム
2.1 システムの構成
本作品では，Kinect から得られた特徴点をもとに，テクスチャマッピングを行ったポリゴン描画を行うことで映像を生成し，顔へ投影した（図 1）．
図 2

52 特徴点（数字は 121 特徴点のインデックス値）†1 札幌市立大学
Sapporo City University© 2016 Information Processing Society of Japan824

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

2.3 投影パターン

163A13
2016/3/4

い．そのため，計測から映像投影まで 0.03 秒以上の時間差作成した主な投影パターン 6 種類を図 3 に示す．ワイヤが生じ，顔が移動する際に映像とのズレが生じる．そのたフレーム・白黒アニメーションについては，プログラムにめ 0.03 秒後の顔の位置を推定し，顔と映像とのズレを解消よる映像生成で，他 4 パターンについては事前に用意したした．位置推定には 2 位のアダムス・バッシュフォース法

テンプレート合わせた画像データである．周囲の照明の明を用いた．式を以下に示す．

るさと，画像データの組み合わせによって，顔の認識精度が変化するため，投影する内容によってコントラストの調整を行っている．
ここで，Pn，Vn はそれぞれ現在(n)の位置と速度を表している．

3. まとめ本制作で，安価なモーションキャプチャ装置である
Kinect,数万で手に入るプロジェクタを用いて簡易的なフェイストラッキングを行い，顔へのプロジェクションマッピングを行うことができた．
今後の展開として，投影する画像を化粧などに置き換えることで，実際の化粧をせずに，仮想的に化粧をした自分を体験できるシステムや，美容整形などの分野において治療後のイメージを投影するシステムを考えている．これらのような，顔に関するシミュレーションの提案において，これまでの多くのアプローチは，体験者の顔画像を取り込み，画像処理技術によって編集を行った結果をディスプレイ上で確認することがほとんどであったが，本手法によって体験者本人の顔に直接反映させ，それを鏡で本人が確認するという新たな鑑賞スタイルを提案できる．
本制作においては，Kinect SDK の仕様上，安定した顔のトラッキングを実現するために，投影画像のコントラストの調整をする必要があった．これは，頭部の認識をするために赤外線画像を使用している一方で，顔の認識にカラー画像を使用していることが原因となっている．
今後の課題としては，頭部周辺の深度画像をもとに，画像処理技術を用いて，顔の特徴点の検出を行う必要性が感じられた．赤外線ライトと赤外線カメラの組み合わせによって得られる深度画像であれば，投影する画像内容に関わらず，安定したトラッキングが可能であり，周囲の照明条件に左右されることのないシステムの構築が可能であると
図 3

投影パターンの例

考える．

左上からワイヤフレーム・白黒アニメーション・
別人の顔・歌舞伎・狐の面・ピエロ

参考文献
1)

Genda, “Dynamic Projection [OCTA]” ,Art Gallery2.4 位置推定

Performance, SIGGRAPH ASIA 2013

一般的な光学式モーションキャプチャ装置では顔の位置情報を 150FPS 以上の速度で計測することが可能である

Tatsuro Kudo, Satoshi Kawabata, Tatsuto Tsuchishita, Etsuo

2)

Nobumichi Asai, “OMOTE”, https://vimeo.com/103425574

が，Kinect は 30FPS 以下の速度しか計測することが出来な© 2016 Information Processing Society of Japan825