プロジェクタ・カメラシステムが変わる！
-時間同期の制御で広がる応用2019.6.13

久保 尋之（奈良先端大）自己紹介
久保 尋之（くぼ ひろゆき）

2011.4~2012.3
2012.4~2014.5
2014.6~2017.1~2018.1
専門分野：

早稲田大学 応用物理学科 森島研究室 助手
キヤノン株式会社
奈良先端科学技術大学院大学 助教
カーネギーメロン大学 研究員

コンピュータグラフィクス
コンピュータビジョン

では，さっそくはじめましょうカメラを使ったセンシング
パッシブ計測アクティブ計測

照明を使わない

照明を使う

マルチビューステレオ

照度差ステレオ

空間コード化法

平行光源

プロジェクタ

光線切断法
スリット光

お手軽

精確

位相シフト法プロジェクタパッシブセンシング
マルチビューステレオ
様々な方向から撮られた大量の写真から被写体の立体形状を復元
映像分野では「フォトグラメトリ」として知られ実際の映画やゲームなどで使用されるように．

CapturingReality https://www.capturingreality.com/Showcase

カメラを使ったセンシング
パッシブ計測アクティブ計測

照明を使わない照明を使う

マルチビューステレオ

照度差ステレオ

空間コード化法

平行光源

プロジェクタ

光線切断法
スリット光

お手軽

精確

位相シフト法プロジェクタアクティブセンシング
点光源，平行光源

照度差ステレオ法などはこれでOK

プロジェクタ

複雑な模様を投影してそれをヒントに高度なセンシングが出来る．

プロジェクタの弱点は？

相互反射による間接光に弱い外乱光に弱い
被写界深度が浅い

これらの課題を解決するプロジェクタ－カメラシステムの紹介

ステレオビジョン?

空間位置の計算?

?

カメラが１つだと足りないステレオビジョン
空間位置の計算!

２つ（以上）だと決定できる平行ステレオ法
平行ステレオ

空間位置の計算!

２つ（以上）だと決定できる対応点を見つけるためにカメラは並行に置くと有利プロジェクタ－カメラ
プロジェクタ－カメラ

空間位置の計算!

２つ（以上）だと決定できる他方をプロジェクタにすると対応点が見つかりやすくなるプロジェクタ－カメラシステムの前提
プロジェクタから出た光はシーンで１度だけ反射してカメラに届く
間接光

実際には物体間で相互反射して間接光が生じる．
直接反射光

相互反射による間接光に弱いプロジェクタ－カメラシステムの撮影環境
時間的に安定した暗室．
環境光はプロジェクタ光より十分弱い．
実際には室内光があったり，屋外撮影だと太陽光などの影響を受ける．

外乱光に弱い一般的なプロジェクタの特性できるだけ明るさを稼ぎたいため，（カメラで言う）開口が大きい

被写界深度が浅い
被写体が少しズレただけで投影パターンがすぐボケる

ぼけちゃう・・・

ぼけちゃう・・・プロジェクタの弱点は？

相互反射による間接光に弱い
外乱光に弱い被写界深度が浅い

今日のメイントピック相互反射による間接光に弱い

ならば直接光だけの画像を創り出せばいいじゃない

ケーキを食べれば良いじゃない撮影画像から直接光成分と間接光成分を分離する

その前に．．．

点光源で照らしてみる点光源で照らしてみる

直接光成分

点光源で照らしてみる

間接光成分

点光源で照らしてみる

直接光成分

間接光成分

点光源を使っても間接光成分の除去は難しそう！

プロジェクタを使ってみようプロジェクタで照らしてみるプロジェクタで投影する映像プロジェクタで照らしてみる
直接光成分
直接光成分

プロジェクタで投影する映像プロジェクタで照らしてみる
間接光成分
間接光成分

プロジェクタで投影する映像プロジェクタで照らしてみる

直接光成分

間接光成分

プロジェクタを普通に使っても間接光成分の除去は難しそう！

プロジェクタで投影する映像プロジェクタで1行だけ照らしてみる

プロジェクタで投影する映像

カメラでその行だけ撮影してみる

カメラでその行だけ撮影してみる

直接光成分(?)

プロジェクタで投影する映像

カメラでその行だけ撮影してみる

間接光成分

プロジェクタで投影する映像

カメラでその行だけ撮影してみる
直接光成分(?)

直接光成分

エピポーラ光エピポーラ間接光
水平な平面上（エピポーラ面）で生じる間接光[O’Toole et al., 2015]

カメラでその行だけ撮影してみる

カメラから得られた画像

プロジェクタで投影する映像

スイープしてシーン全体に適用
エピポーラ光

カメラから得られた画像

プロジェクタで投影する映像

エピポーラ画像の合成

エピポーラ画像シミュレーションしてみた• コーネルボックスのなかにディスコボールが入っているシーンでレンダリング
ディスコボールからの間接光

ディスコボール

レンダリングした画像群

256px

256枚

得られた画像群から生成したEpipolar画像

通常画像

エピポーラ画像

間接光の影響が明らかに低減

非エピポーラ画像

実シーンで検証

トランプ
硬貨

ミラー
ボール
蝋

設定したシーン

通常画像

実シーンで検証

通常画像

実験結果

通常画像

エピポーラ画像

非エピポーラ画像

実実験においても間接光の影響の低減ができた
56

ここまでのまとめ
目的

プロジェクターカメラシステムで間接光成分を除去した直接光だけの画像を取得したいアイディア「水平ライン投影+スイープ計測」でエピポーラ画像を合成するのはアイディアに思える

課題

それでもまだ撮影回数が多すぎる（縦の解像度と同数）ことが問題いいプロジェクタ－カメラシステムがあるらしい
M. O'Toole, S. Achar, S.G. Narasimhan, K.N. Kutulakos.
"Homogeneous Codes for Energy-Efficient Illumination and Imaging", ACM SIGGRAPH 2015

いろいろなプロジェクタ
液晶パネル方式

液晶プロジェクタの仕組み• 透過型液晶方式（LCD方式)• 反射型液晶方式（LCoS方式）
DLP方式• デジタルマイクロミラーデバイス
レーザー走査方式• 今日の主役
エプソン：https://www.epson.jp/products/dreamio/3lcd/

レーザー走査方式とはレーザー走査方式••

半導体レーザーを使用
MEMSミラーで反射して映像を投影

超小型

フォーカスフリー
高解像度
低消費電力

レーザー光源2D MEMS ミラー
MEMS: Micro-Electro-Mechanical Systems

金野，久保，レーザー走査式超小型プロジェクタ, 2010.

2D MEMSミラーの動作周期（理論値）
1280x720 px解像度，60fps駆動する場合• 水平方向：60*720 = 43.2 kHz• 垂直方向：60 Hz

垂直方向は水平方向に比べ十分ゆっくり動く（余談）高速度カメラで撮影してみた
レーザー光源2D MEMS ミラー

高速度カメラでの撮影

株式会社フォトロン様無償デモ撮影をお許しいただきありがとうございました．

2D MEMSミラーの動作周期（理論値）
1280x720 px解像度，60fps駆動する場合• 水平方向：60*720 = 43.2 kHz• 垂直方向：60 Hz

垂直方向は水平方向に比べ十分ゆっくり動く（余談）高速度カメラで撮影してみた
レーザー光源2D MEMS ミラー

1/60 [s]時刻時刻

液晶パネル方式

ある画素の輝度プロファイル

ずっと光りっぱなし

レーザー走査方式

時刻
ある画素の輝度プロファイル

強い光が一瞬当たる

レーザー走査式プロジェクタの照明タイミング

レーザー走査式プロジェクタ

レーザー走査式プロジェクタの照明タイミング

時刻
行番号

0
1

2

H-1

照明のダイアグラム

レーザー走査式

レーザー走査式プロジェクタの照明タイミング（改）（書き換えました）

行位置

0 時刻

H

照明のダイアグラム

レーザー走査式

シャッター方式の違い
撮影画像
グローバルシャッター方式

シャッター方式の違い
撮影画像
グローバルシャッター方式

撮影画像
ローリングシャッター方式

ローリングシャッターカメラの露光タイミング
ローリングシャッター方式
行位置

0 時刻

露光時間の制御
露光時間 短露光時間 長露光時間

行位置

0 時刻

露光時間
行位置

0 時刻

スキャンライン速度の制御
行位置

0 時刻

ピクセルクロック 小

角度の調整
行位置

0 時刻

ピクセルクロック 大

角度の調整

スキャン開始タイミングの制御
開始遅延 無

行位置

0 時刻

遅延 有

行位置

0 時刻
オフセットの調整

（復習）やりたかったこと
エピポーラ光

カメラから得られた画像

プロジェクタで投影する映像

ローリングシャッターカメラ

レーザー走査式
プロジェクタ
0 時刻

行位置

0

エピポーラ画像取得
0 時刻

行位置

撮影結果 [O’Toole et al., 2015]
0時刻

0時刻

0時刻

行位置

通常画像

エピポーラ画像（直接光成分）

非エピポーラ画像（間接光成分）

プロジェクタの弱点は？

相互反射による間接光に弱い
外乱光に弱い被写界深度が浅い環境光をバンドパスフィルタでカット
バンドパスフィルタ
中心波長640nm, 半値全幅10nm
プロジェクタ光

5050G40

特定の波長だけを含む

30R

4030

B2020101000400

環境光（ノイズ）研究室の蛍光灯
いろんな波長を含む

500

600

700

800

5050404030302020

10100400

500

600

700

800400500600

700

800

0400500

600

700800環境光をシャッター速度でカットある画素に照射される光量の遷移
普通のプロジェクタ

光が当たっているときだけ露光すればいい

時刻

理想的には 1/(60*720) = 23[us](60fps, プロジェクタの高さ解像度 720px)

レーザースキャンプロジェクタ

外乱光の影響を1/720に低減
1/60 [s]カメラとプロジェクタのアラインメントに限界があるため 500us以上が現実的．

時刻※同じ明るさのプロジェクタと仮定

プロジェクタの弱点は？

相互反射による間接光に弱い
外乱光に弱い被写界深度が浅い

レーザー光源だからフォーカスフリー

レーザー光源2D MEMS ミラー

実装

計測装置（Episcan3D） [O’Toole et al. 2015]

バリフォーカルレンズ
興和光学 LMVZ4411

同期回路

ローリングシャッター
CMOSカメラids UI-3240CP
センサ：e2v EV76C
レーザー走査式プロジェクタ
SONY MPCL1AMEMSミラーのシグナルを観測

16.6 ms (60.2 Hz)SONY MP-CL1A モバイルプロジェクタ（殻割り済み）プロジェクタのリフレッシュレートのカタログ値と一致

同期回路

入力波形

出力波形

Arduinoがミラーからのシグナルを受け取り解析，トリガシグナルをカメラに渡す．

プロジェクタ投光モジュール

2D MEMSミラー

レーザー光源

参考：https://www.kguttag.com/2015/07/13/celluonsonymicrovision-optical-path/走査ミラー式プロジェクタ（参考） 2D
MEMSミラー （HD301D1のもの）

プロジェクターカメラの同期

時刻

行位置

行位置

時刻

シャッター：グローバルシャッター

プロジェクタの照明
カメラの露光

時刻

行位置

行位置

時刻

シャッター：グローバルシャッター

ローリングシャッターに変更
プロジェクタの照明
カメラの露光撮影結果 [O’Toole et al., 2015]

通常画像エピポーラ画像（直接光成分）

リアルタイムデモ発表番号：19

研究事例紹介：Acquiring and Characterizing
Plane-to-Ray Indirect Light Transport

Hiroyuki Kubo, Suren Jayasuriya, Takafumi Iwaguchi, Takuya
Funatomi,Yasuhiro Mukaigawa, Srinivasa Narasimhan, IEEE International
Conference on Computational Photography (ICCP) 2018

ライトトランスポートの成分分離
短距離
間接光

長距離
間接光

直接光成分
表面下散乱光

通常画像…

[Nayar et al. 2006]

間接光 (大域)成分

鏡面反射の間接光

先行研究
エピポーラ幾何を用いたライトトランスポートの成分分離 [O’Toole et al. 2015]

通常画像

エピポーラ画像（直接光成分）

露光時間

同期遅延時間エピポーラ画像[O’Toole et al., 2015]

本手法の自由度1:
同期遅延時間 (row-offset)
・Offsetを飛び越える
間接光を計測可能

本手法の自由度2 :露光時間 (照明バンド幅)
・入射光量の増減が可能

同期遅延時間と露光時間とを制御して，それらに応じたライトトランスポートを取得する

計測装置（Episcan3D） [O’Toole et al. 2015]

同期回路

ローリングシャッター
CMOSカメラレーザー走査式
プロジェクタ同期遅延時間と観測画像(Delay-sweep)

通常画像

同期遅延時間を変えたときの画像（Delay-Sweep）

露光時間 (照明バンド幅)と観測画像(Exposure-sweep)

通常画像

露光時間（照明バンド幅）を変えたときの画像（Exposure-Sweep）

2自由度の観測結果（Image-stack)
同期遅延時間（オフセット）

- far

+ far

delaythin[O’Toole et al., 2015]

露光時間（照明バンド幅）

thickexposure

本手法(delay [us], exposure [us])遅延プロファイルを用いたライトトランスポートの解析
拡散面の相互反射

直接反射のみ鏡面からの間接光

0.3
0.25
0.2
0.15
0.10.05表面下散乱0-3000

-2000

-1000

01000

2000

delay [us]bookreflection

candlecorner3000

プロファイルを用いた材質推定
Target materials
0.1

Fat free milk

2% milk

Whole milk
0.08

0.06

0.04

toothpaste

Liquid soap
0.02

0-2000

-1500

-1000

-500

0500

delay [us]分類結果

90%以上の推定精度を達成（非線形SVMを使用）

1000

1500

2000

肌の内部構造の可視化

通常画像

同期遅延時間 大(far-range indirect light)

エピポーラ画像

適切な同期遅延時間（極近距離の間接光 600us）リアルタイムデモ発表番号：19

研究事例紹介２：Slope Disparity Gating using a
Synchronized Projector-Camera System

Tomoki Ueda, Hiroyuki Kubo, Suren Jayasuriya,
Takuya Funatom, Yasuhiro Mukaigawa,IEEE ICCP 2019

本手法で用いる撮像システム

レーザー走査式
プロジェクタ
レーザー走査式プロジェクタ

ローリングシャッタ
カメラ
ローリングシャッタカメラ

側面図
129

ある時間での撮像
照明と露光が交差する領域のみを撮像
Invisible

露光面

Visible照明面

レーザー走査式
プロジェクタローリングシャッタ
カメラ

Invisible

130同期走査による撮像
照明と露光が交差しながら走査する面上のみを撮像

レーザー走査式
プロジェクタローリングシャッタ
カメラ

撮像面
131

撮像領域の制御• カメラの同期に用いる３つのパラメータを変更– 同期タイミングの遅延時間，走査速度，露光時間

撮像面の奥行き，傾き，厚みを制御

同期遅延

露光時間

走査速度

①

②

③

次スライド以後で各制御について説明します．
132

① 同期遅延時間による奥行き制御①• カメラの露光開始を遅延• 遅延時間𝑡𝑑 によって撮像面までの距離を制御
𝑡𝑑 秒後𝑡𝑑 秒後

撮像面

距離 : 大遅延時間𝑡𝑑 : 小

撮像面

距離 : 小
遅延時間𝑡𝑑 : 大
133

② 走査速度による傾き制御②• カメラの走査速度𝑣𝑐 を変更• プロジェクタとの走査速度差によって撮像面の傾きを制御
𝑣𝑐 制御

撮像面

プロジェクタ走査速度𝑣𝑝=>

プロジェクタ走査速度𝑣𝑝

撮像面

カメラ走査速度𝑣𝑐

カメラ走査速度𝑣𝑐134

③ 露光時間による厚み制御③• カメラの露光時間𝑡𝑒 を変更• 相対的にプロジェクタが複数ラインを照明• 撮像面の厚みを制御

𝑡𝑒 秒
露光

レーザー走査式
プロジェクタローリングシャッタ
カメラ

撮像領域
135

撮像領域の定式化
スクリーン座標系とワールド座標系の関係式

プロジェクタ(𝑥𝑝 , 𝑦𝑝 ) ワールド座標系(𝑥𝑤 , 𝑦𝑤 , 𝑧𝑤 )スクリーン座標系

カメラ(𝑥𝑐 , 𝑦𝑐 )同期遅延時間𝑡𝑑 , 走査速度𝑣𝑐 による露光行と照明行の拘束

露光時間𝑡𝑒 による
露光行と照明行の拘束136

システムの実装• 3Dプリンタで造形したモデルを用いてプロジェクタとカメラを縦状に配列• プロジェクタの走査信号をカメラの撮像トリガ信号に使用構築した撮像システム
137

奥行きと傾き制御の実験• 角度の異なるプレートを等間隔に配置• プレートの正面から撮像

0°

+15°

+15°

0°

-15°

-15°

15cm

シーン

15cm

通常画像
138

撮像面

同期遅延時間を変化させて撮像した結果

シーン0°のプレートだけ撮像

通常画像

遅延時間を5760~6860μsで変化させて撮像した結果
139

撮像面撮像面走査速度を変化させて撮像した結果シーン+15°のプレートだけ撮像-15°のプレートだけ撮像

通常画像
140

撮像面を制御することで異なる姿勢と位置の物体だけが撮像されている

通常画像

シーン

+15°のプレートだけ撮像

0°のプレートだけ撮像-15°のプレートだけ撮像
141

厚み制御の実験• 同じ角度・異なる距離にプレートを配置• プレートの正面から撮像

20cm
10cm

All +15°

シーン

通常画像
142

撮像
領域

露光時間を変化させて撮像した結果

シーン

通常画像

露光時間を50~1550μsで変化させて撮像した結果
143

応用１：リアルタイムマスキング• セキュリティ性の高い物体を除いて撮像領域を設定
撮像領域
暗証番号

通常画像

撮像したくない
領域
シーン

提案手法
145

応用１：リアルタイムマスキング• シーンに合わせて撮像領域を制御

or

机だけを撮像通常画像

机以外を撮像146

Image Inpaintingへの利用• 撮像領域以外の物体はマスクされて撮像• Image Inpaintingの入力画像として利用可能

通常画像

机だけを撮像した結果＝机上の物体をマスクした画像

Image Inpainting*
出力結果*Newson+ 2017147

応用２：霧中でのイメージング• 撮像領域外の霧を写さないことで物体を鮮明化• ペーパークラフトで作成したシーンに霧を発生

撮像システム霧物体
路面だけを鮮明化
シーン

撮像領域外 撮像領域

通常画像

標識と車だけを鮮明化
148

まとめ• 時間同期式プロジェクターカメラシステムでマシンビジョンにブレイクスルーを• 波長，露光タイミングの制御が高い頑健さをもたらす• 近距離間接光で皮下構造（血管）の可視化[Kubo et al., 2018]や，
Slope Disparity Gating [Ueda et al., 2019]が可能• 散乱プロファイルの計測に基づく材質推定が可能[Kubo et al., 2018]