WISS2013

LumoSpheres: 複数浮遊物体の実時間追跡にもとづく映像投影
山口 裕明

小池 英樹∗

概要. 空中を浮遊する大量の粒子を実時間追跡し, 映像を投影することで, 体積型の立体ディスプレイを実現する構想を提案し, その基礎段階として, 運動している少数の球に実時間追跡にもとづいた映像の投影を行った. 構築したシステムの基本的な流れは, モーションキャプチャを用いて球の三次元位置を計測し, プロジェクタを用いて球に映像を投影するという処理であるが, これらを処理している間も球は空中を移動しているため, その時間分だけ正しい位置に映像が投影されない. この問題に対して, 統計的に位置を推定するカルマンフィルタと運動モデルを適用し, 軌道予測を行うことで安定した映像の投影を実現した. 現段階の応用例として, トスジャグリングの球に映像を投影する DigitalJuggling を実装した. そして, パーティクル型立体ディスプレイのプロトタイプを実装し, 実現するために必要となる要素を議論した.

1

はじめに

プロジェクションマッピングは, 現実の物体の形状に沿ってプロジェクタから映像を投影する技法で,近年イベントやメディアアートとして盛んに用いられている. 投影対象は机上, 壁, 床, 建築物, 造形物などの様々な形状であるため, その形状に合わせた映像の制作や位置合わせが重要である. そのため, プロジェクションマッピングの投影対象は, 静止している物体や回転などの周期運動をする物体が使用されることが多く, 自由な運動や高速な運動をする物
体には一般的に用いられてこなかった.
一方, ビジョンセンサの性能やコンピュータを用いた物体認識の技術は年々進歩している. 物体を追跡するモーションキャプチャシステムは, カメラ数十台を同時に使用することができ, 数百 fps というフレームレートを用いて, 物体の三次元座標を実時間で計測することが可能である.
このようなプロジェクションマッピングの技術と物体認識の技術を合わせて, 運動している物体に対して映像を投影しようというのが本研究の目標である. 静止している物体へプロジェクションマッピン
グを適用すると, 投影範囲は物体の表面に限定されるが, 運動している物体へ適用すると (物体の表面であることは同様であるが), 物体を動かす範囲だけ投影範囲を空間的に広げることができる. つまり,映像の表現範囲を平面から空間へ拡張することができる.
このような平面から空間へ映像を拡張するという考えから, 図 1 のようなパーティクル型立体ディスプレイを提案する. パーティクル型立体ディスプレイ
は, 大量の粒子を空中に飛散させ, それらをビジョン∗

Copyright is held by the author(s).
Hiroaki Yamaguchi and Hideki Koike, 電気通信大学大学院 情報システム学研究科 情報メディアシステム学専攻

図 1. パーティクル型立体ディスプレイの概念図. 立体像に直接的なインタラクションができる裸眼立体ディスプレイである.

センサで計測し, それぞれの粒子にプロジェクタから任意の色を投影することを繰り返し行うことで実現する体積型の裸眼立体ディスプレイである. 立体像が結像される領域を囲うように複数台のプロジェクタを設置すれば, 360 °どの方向からでも立体像を見ることができる. また, 粒子が質量の小さい物質であれば, 立体像が結像される空間に直接的なインタラクションが可能である.
パーティクル型立体ディスプレイは, 空中に飛散している球の位置の計測と, その物体へ映像を投影するというのが基本的な処理となっている. しかし, それらの処理中も球は空中を移動しているため, 計測した球の位置にそのまま映像を投影すると, 装置の処理時間やデータの転送時間だけ投影位置がずれる.
本研究ではパーティクル型立体ディスプレイの基礎段階として, そのディスプレイの最小要素 (平面ディスプレイであれば pixel に該当) である一つの球を用いて, 遅延対策の考案と実装, その評価を行った. 具体的には, 放物線運動を用いた軌道予測を行うが, 単純に運動モデルを用いて軌道予測をすると映像が乱れてしまう現象が発生するため, 統計的にWISS 2013位置を推定するカルマンフィルタと運動モデルを合わせた軌道予測を行い, 安定した映像の投影を実現した.
現段階の応用として, トスジャグリングの球に映像を投影する DigitalJuggling をアプリケーションとして示す. そして, パーティクル型立体ディスプレイのプロトタイプを実装し, 実現するために必要な要素について探求する.

2

関連研究

図 2. LumoSpheres: 運動している複数の球に映像を投影するシステム.

Kimura らの “Laser produced 3D display in theair” はレーザの特性を利用した発光を空間中に行うことで, 体積的なディスプレイをつくっている [1].
Butler らの “Vermeer” は特殊なスクリーンを回転させることで体積的な投影対象の空間をつくり, そこへプロジェクタから映像を投影をしている [2]. こ
れらのディスプレイは裸眼で 360 °どの方向からも立体像を見ることができるが, レーザや回転機構により立体像が表れる空間が危険であるため, 立体像に対する直接的なインタラクションは工夫が必要である.
FogScreen は空中に霧の層を発生させ, プロジェクタからその層に映像を投影することで映像を結像させている [3]. Nakamura らの “bubble cosmos”
は煙を充満させたシャボン玉に映像を投影する [4].
Matoba らの “SplashDisplay” は空中に拭きあげた発泡ビーズに映像を投影する立体的な表現のできるディスプレイである [5]. Barnum らの “A multilayered display with water drops” は水滴の落下とプロジェクタからの映像を同期させるディスプレイである [6]. 霧ではなく水滴を用いることで, 時分割に水滴を落とす制御が可能となり, 4 層の体積的なディスプレイとなっている. 本研究では, 制御や計測のできる対象として球を用い, 投げ上げや自由落下をしている球に対して映像を投影することで, 層ではなく体積的な映像表現を目指す.
プロジェクションマッピング [7] は机上, 壁, 床, 造形物など, 物体の形状に合わせてプロジェクタから映像を投影する技術であり, 1970 年頃からテーマパークで実用化され, 近年盛んにイベントやメディアアートとして用いられる. Parker の “lumarica”
は複数のひもに映像を投影する立体ディスプレイである [8]. Okumura らの “Lumipen” は高速視線制御ユニットと高速ビジョンセンサを用いて, 運動している球に即時的な映像の投影を実現している [9].
高速な光軸制御により, 球に張り付いたような投影ができるが, 投影対象は高速視線制御ユニットに対して単数の球であり, 奥行き情報を得る場合も工夫が必要である. 本研究では, 複数の球に対して奥行き情報を考慮した映像を投影することで, 体積的な映像の投影範囲を確保する.

図 3. システム構成 (俯瞰図).6 台のカメラで球を撮影し, PC で処理をした後, プロジェクタから球に映像を投影する.

3

LumoSpheres

運動している複数の球に映像を投影するシステムを「LumoSpheres」と呼ぶ. 図 2 は三個の球に対して動作させている様子である. このシステムは現実空間で運動している球に, 任意の映像を投影することができる. 平面的なプロジェクションマッピングの空間的な拡張, スポーツの映像的な拡張, ビデオゲームなどのエンタテイメントなどに応用が可能である.
図では, 1.5m3 の空間の中で三個の球にシステムを動作させているが, カメラからみた球の重なり (オクルージョン) が生じない限り三個以上も可能であり, 動作範囲は数十 m3 まで拡張可能である.

3.1 システム構成
LumoSpheres のシステム構成を図 3 に示す. 映
像の投影対象となる球, その球を動かす空間を囲むように配置した 6 台のカメラ (NaturalPoint OptiTrack S250e), 球の位置計測, 追跡を行うソフト
ウェア (NaturalPoint TrackingTools Ver.2.5), 予測などの処理をする PC(Lenovo ThinkPad T530,
Intel Core(TM) i7 2.9 GHz, 8 GB RAM, Windows7 Service Pack 1), 映像を投影をするプロジェ
クタ (BenQ W1070, 60Hz, 1280 × 720pixel) で構成される. カメラ, PC, ソフトウェア, 予測プログラ

LumoSpheres: 複数浮遊物体の実時間追跡にもとづく映像投影

図 4. 再帰反射シートを貼り付けた球 (左) とその反射性能 (右). カメラから照射された赤外線光が再帰反射の性質により球から強く反射される.

ムの間のデータ転送は UDP 通信で行われる.
モーションキャプチャの一般的な用途である, フルボディモーションキャプチャとして用いる場合は,直径 1cm 程度の再帰反射性マーカを身体全体に装着するが, 本研究では, 任意の大きさの球に再帰反射シートを貼ることで, マーカの代わりとしている.
本システムに用いる再帰反射シートを貼り付けた直径 10cm の球と, その反射性能を図 4 に示す. シー
トは舟形多円錐図 (地球儀の展開図) に切り, 球に貼り付けている. 一つの球は 180g の重さがあるため,空中を運動する際の空気抵抗は無視できる.

3.2

プロジェクタとカメラのキャリブレーション

現実空間の球に合わせて適切に映像を投影するためには, モーションキャプチャから取得できる三次元座標とプロジェクタから投影する二次元映像の位置合わせが必要である.
プロジェクタはピンホールカメラと同様のモデルとして考える事ができるため, モーションキャプチャから取得できる三次元座標を (X, Y, Z), プロジェク
タから投影する二次元映像の座標を (u, v) とすると,
3 × 4 の投影変換行列を用いて式 (1) のように表すことができる (式は同次座標系で表している)[10].
 X p11 p12 p13 p14  u
 v  ∼  p21 p22 p23 p24   Y Z
p31 p32 p33 p34
11

図 5. キャリブレーションによる位置合わせ.(左) と (右)は位置が 1m ほど離れているが, 球の形状に沿った映像が投影される.

図 6. システムの流れで発生する遅延. 球をカメラで撮影してから, プロジェクタから投影するまでに遅延が発生するため, 軌道予測をする.

Z) からプロジェクタからみた球の三次元位置座標に変換することができる. この変換をすることにより,プロジェクタからみた球までの三次元的な距離がわかり, 映像を描く際のサイズを求めることができる.
キャリブレーション後に映像を投影した様子を図5 に示す. 現実空間で異なる位置に球を移動しても,球に合わせた映像が適切に投影される.

3.3
(1)

この式は, キャリブレーションにより投影変換行列を求めることができれば, モーショキャプチャ座標(X, Y, Z) が与えられた時に, プロジェクタから投影する二次元座標のどの位置に球の映像を描けばよいかを示している. 投影変換行列は 12 個の要素からなるため, 座標 (X, Y, Z, u, v) を 6 組以上与えることで求めることができる. 本システムでは, 精度を上げるため座標 (X, Y, Z, u, v) を 12 組与え, 最小二乗法により投影変換行列を求めている. また, 投
影変換行列を用いてプロジェクタの外部パラメータを求めることで, モーションキャプチャ座標 (X, Y,位置推定と運動モデルによる軌道予測

図 6 はシステムの流れを示している. 球をカメラで撮影してから, その球にプロジェクタから映像を投影する過程には, 各装置の処理時間とデータ転送時間が発生する. これらの装置の処理時間とデータ転送時間を合計した時間を, 本研究では遅延時間という. 遅延時間が発生している間も球は運動しているため, 単に取得した三次元位置に映像を投影しても, 球に正しく投影されない. そこで, 運動している球に合うように映像を投影するために, カルマンフィ
ルタを用いて球の状態を統計的に推定し, 運動モデルを適用することで遅延の対策を行う.
カルマンフィルタは, 事前の観測値から現在や事後の確率を最大化するシステムの状態モデルを構築することができる [11]. つまり, 次々と得られる球WISS 2013の座標データを用いて球の状態 (位置, 速度, 加速度)を統計的に推定することができる. 球の位置ベクトルを式 (2) と表す.

pk = (Xk , Yk , Zk )T(2)

このとき, 球の状態を位置, 速度 (一つのドット), 加速度 (二つのドット) で表すと, 状態ベクトルは式 (3)と表す.
TT Txk = (pTk , ṗk , p̈k )(3)

球の運動は等速度運動と仮定した場合の状態モデルを式 (4) に示す (w はシステムノイズ, I は 3 x 3 の単位行列, ∆t はデータの取得周期).
    12 pk

pk−10I ∆tI 2 (∆t) II∆tI   ṗk−1  +  0  (4)0 0Ip̈k−1w

 ṗk  =  0p̈k

図 7. 投げ上げている最中の数フレームの投影精度. 球全体の面積と投影部分の面積の割合により投影精度が算出される.

観測マトリクスは式 (5) とし球の位置のみを観測する.
[]

H= I 00(5)

これらの式を用いてカルマンフィルタの予測フェーズと修正フェーズを繰り返し行うことで, 球の状態を推定する.
カルマンフィルタにより, 現在の状態を推定した
ら, システム全体の遅延時間を ∆T として, 式 (6) の運動モデルにより, 球の軌道予測をする.

1
pk+1 = p̈k ∆T 2 + ṗk ∆T + pk
2

(6)

投影精度の評価実験

4
4.1

評価の尺度

球にどの程度の映像が正しく投影されたかを, システム外部からカメラを用いて評価する. 評価の尺度として, カメラ画像からみた球全体の面積 (半球)に対する, 投影映像の面積の割合を投影精度と定義する. 例えば, 投影された面積が球全体の面積の半分ならば, 投影精度は 50 %となる.

4.2

図 8. 投影精度 - フレーム数. カルマンフィルタにより位置推定をし, 運動モデルを適用することで投影精度は安定する.

評価のアルゴリズム

評価はカメラのグレースケール画像を以下の手順で処理することにより行う.

1. 球全体の面積を求める:
Hough 変換を用いて円抽出を行い, 円の面積(pixel) を算出する.
2. 投影部分の面積を求める:
1 で円抽出をした領域をしきい値を用いて 2値化し, 投影部分の面積 (pixel) を算出する.
3. 投影精度を求める:(投影部分の面積 / 球全体の面積) を求めることにより, 投影精度を算出する.

しきい値は球面積の半分に映像が投影されるように設定し, 球部分のヒストグラムから大津の二値化[12] を用いて事前に決定する.
図 7 は投げ上げ中のある連続したフレームの円抽出と投影精度を表している.

4.3

評価実験の結果

実験は, 120fps のフレームレートで撮影できるカメラを使用し, 球を投げ上げてからつかむまでの一連の運動を記録した. システム全体の遅延時間は56ms と設定し単に運動モデルを適用した場合と, カルマンフィルタと運動モデルを合わせた場合の軌道予測を比較する. 遅延時間は球の個数により数 ms変化するが, 今回は定数として任意に決定した.
図 8 は式 (6) の運動モデルを単に適用した場合と,カルマンフィルタで位置を推定した後に運動モデルを適用した場合の投影精度 - フレーム数のグラフである. カルマンフィルタと運動モデルを合わせた軌道予測では, 投げ上げの最高点 (35frame 前後) で球の速度が遅くなるため, 投影精度は 80%以上となる

LumoSpheres: 複数浮遊物体の実時間追跡にもとづく映像投影

図 9. DigitalJuggling: 本システムをトスジャグリングに応用した例. 映像の投影なし (左), 球状の映像を投影 (中), 非球状の映像を投影 (右). トスジャグリング中も動的に映像を切り替えることができる.

が, 速度が速い投げ上げ直後とつかむ直前では投影精度がおよそ 40 %から 75%となる. 単に運動モデルを適用した軌道予測では, 球がどの位置であろうが, 投影精度はおよそ 30 %から 75%となる. カルマ
ンフィルタは過去のデータを統計的に計算するため,計測時に発生するノイズの影響に強く, 単純に運動モデルを用いた場合と比較して安定した投影となった. 球の速度が速い時に投影精度が振動するのは, 球は時間的に連続して動いているにも関わらず, プロジェクタが 60 Hz で動作しているのが原因である.

5

本システムは, プロジェクションマッピングやディスプレイの空間的な拡張, スポーツの映像的な拡張,ビデオゲームなどのエンタテイメントなど, コンテンツ次第で様々な応用が考えられる. ここでは応用
例として, LumoSpheres をトスジャグリングへ応用した DigitalJuggling, パーティクル型立体ディスプレイのプロトタイプを示す.

5.1

DigitalJuggling

図 9 に DigitalJuggling の様子を示す. システムをトスジャグリングに応用した例である. 映像を投影しない場合は通常のジャグリング球であるが, 投影する映像次第で様々なテクスチャの球でトスジャグリングをしているように見える. テクスチャは, ビリヤードの球のような球状でも, 蝶のような非球状でもよい. 通常のジャグリング球を用いた場合と異なり, 動的なテクスチャの変化が可能である.

5.2

図 10. パーティクル型立体ディスプレイのプロトタイ
プ.12 個の小球に割り当てた色を投影している.

アプリケーション

パーティクル型立体ディスプレイ

図 10 にパーティクル型立体ディスプレイのプロトタイプを示す. 小球は直径 10cm の球と同様に, 直径 4cm のピンポン球に再帰反射シートを貼り付けている. 12 個の小球は, 人の手によって空中に飛散させ, ランダムに色を割り振られた映像が投影されている.

6

議論: システムの現状と利点, 問題点

LumoSpheres システムの構築を通して, 運動する少数の物体に対して映像を投影する手法を探求した.
ここでは, パーティクル型立体ディスプレイを実現する上で必要な要素を議論する.
6.1

プロジェクタのフレームレート

本システムは球の運動速度が速くなるにつれて,投影映像のちらつきが生じる. これは, 使用したプロジェクタの映像更新フレームレートが 60 Hz であることが原因である. 現実空間の球の運動は連続的であるのに対し, プロジェクタの映像更新は不連続である. 映像が更新された直後は球に映像が合っていても, 次の更新までに球が移動するため映像がちらついてみえる. これを解決するためには, 単純にプロジェクタのフレームレートを上げる, または,Okumura らの研究 [9] のように高速に光軸制御をする装置を用いることで, プロジェクタからの映像

WISS 2013の更新を連続的に近づける必要がある.

6.2

物体のオクルージョン本システムは少数の球であれば映像を投影できるが, 多数の球になると正確な位置に映像が投影されない. これはカメラの画像で球同士の重なりが生じると, カメラ同士でステレオマッチングができなくなり, 位置を正しく計測できなくなるのが原因である. これを解決するためには, 単純にカメラの台数を増やす, または, 単一の球のみではなく複数の球の相互関係を考慮した予測を行うことで解決できる. これは, 球同士の衝突により生じる急激な運動の変化に対しても有効であると考えられる.

6.3

遅延対策としての予測装置の処理時間やデータの転送時間が生じない理想的な装置であれば, 軌道予測をする必要はなく, 計測した球の位置に瞬間的に映像を投影すればよい.
しかし, 今後もコンピュータやビジョンセンサの進歩はあるものの, 遅延がなくなることはない. そのような意味で, Okumura らの研究 [9] のようにセンサビジョン部分のハードウェアを工夫して高速にするというアプローチは重要であるが, コンピュータ部分のソフトウェアを工夫した軌道予測によるアプローチも意義のあるものであると考える.

6.4

想定される構成と利点

以上を踏まえて, パーティクル型立体ディスプレイの想定される構成は, 連続してパーティクルを空中に飛散させる装置, その装置の周囲を囲むように配置した複数のカメラとプロジェクタ, そしてパーティクル全体をシミュレーションするプログラムが必要である. 本構想の最大の特徴は, 直接的なインタラクションが可能な裸眼立体ディスプレイであるが, その他の利点として, 球に貼り付けた再帰反射シートの性質を利用して, 同じディスプレイ空間で複数人が異なる映像を見ることができる. 再帰反射の性質により複数台のプロジェクタから投影された映像が混合しないことを利用する. これは, 空中で色を発光させるような構造 [1] では実現できない.

7

結論と今後の方向性

運動している複数の球に実時間追跡にもとづき映像を投影することで体積型の立体ディスプレイとなる, パーティクル型ディスプレイを提案し, その基礎段階として, 運動している少数の球に実時間追跡にもとづいた映像を投影するシステム, LumoSpheresを構築した. そして, LumoSpheres システムの応用例として DigitalJuggling を実装し, パーティクル型立体ディスプレイのプロタイプを実装した.
今回の研究では, パーティクル型ディスプレイの基礎段階として, 球一つ一つに映像を合わせて投影する手法を探求した結果, 議論で述べた通り, 様々な問題が浮かび上がってきた. 今後はこれらの問題点を改善しつつ, 多くの物体へ安定した映像が投影できるような手法を更に探求していきたい.

参考文献[1] Hidei Kimura, Taro Uchiyama, and Hiroyuki
Yoshikawa. Laser produced 3D display in the air.
In ACM SIGGRAPH 2006 Emerging technologies, July-August, 2006.
[2] Alex B., Otmar H., Shahram I., Steve H., DavidM., David K., and Danny K.. Vermeer: directinteraction with a 360 ° viewable 3D display. In
Proceedings of the 24th annual ACM symposium
on User interface software and technology, October, 2011.
[3] FogScreen. http://www.fogscreen.com/.
[4] Masahiro Nakamura, Go Inaba, Jun Tamaoki,
Kazuhito Shiratori and Junichi Hoshino. Mounting and application of bubble display system. InProceedings of the 2006 ACM SIGCHI international conference, June, 2006.
[5] Yasushi Matoba, Taro Tokui, Ryo Sato, ToshikiSato, Hideki Koike. SplashDisplay: volumetricprojection using projectile beads. In Proceedingsof the 2012 Virtual Reality International Conference, March, 2012.
[6] Peter C. Barnum, Srinivasa G. Narasimhan, andTakeo Kanade. A multi-layered display with water drops. In ACM Transactions on Graphics(TOG), v.29 n.4, July, 2010.
[7] Mine, M., Rose, D., Yang, B., Jeroen van Baar,and Grundhfer, A. Projection-Based AugmentedReality in Disney Theme Parks. IEEE Computer45, 32-40, July, 2012.
[8] Matthew Parker. Lumarca. In ACM SIGGRAPH
ASIA 2009, December, 2009.
[9] Kohei Okumura, Hiromasa Oku, and Masatoshi
Ishikawa. Lumipen: Projection-Based Mixed Reality for Dynamic Objects. In Proceedings of the2012 IEEE International Conference on Multimedia and Expo, p.699-704, July, 2012.
[10] Richard Hartley, and Andrew Zisserman. Multiple View Geometry in Computer Vision. Cambridge University Press, 2003.
[11] Greg Welch, and Gary Bishop. An Introduction
to the Kalman Filter. University of North Carolina at Chapel Hill, 1995.
[12] Nobuyuki Otsu. A Threshold Selection Methodfrom Gray-Level Histograms. IEEE Transactions
on Systems, Man, and Cybernetics, Vol. SMC-9,
No. 1, pp. 62-66, 1979.