合成開⼝口撮影法	   レンズは「⼝口径内を通過した光」を平⾯面上に投影する装置	   ⼝口径を細分化して撮影し，計算により平⾯面上に重ねあわせ	   「ぼけ」と「視差」は，もとは同じ現象	  18	  Plenoptic	  Camera	  Hand-held	  Plenoptic	  Camera	  	  (Ren@Stanford)	  Heterodyne	  Light	  Field	  Camera	  	  (Raskar@MERL)	   撮像素⼦子に⼯工夫することで，複数視点からの映像を得る	   レンズの「どこ」を通った光かがわかる	  [Ren	  et	  al.	  2005]	  ⼿手持ちカメラによる合成開⼝口	  20	   専⽤用の装置を必要としない合成開⼝口法	   ⼀一般の⼩小型デジタルカメラにより⼿手持ちで連射した多視点画像から画像処理によってきれいなぼけを作り出す
・視点位置が不明 　 　 　・光軸が平⾏行行でない 　 　・画像撮影枚数が少ない	  楠本@阪⼤大,	  MIRU(2008-10),	  CVPR(2009)	  カメラ位置姿勢の変化による画像変形の補正	  	  ⼿手持ちによる撮影の問題（１） 　 　	  合焦⾯面	  合焦⾯面のみかけの形状が同じである保証がない 　	  カメラ位置姿勢による変形の	  補正が必要	  カメラ姿勢の光軸に対する回転	  各画像間の合焦⾯面に対して	  平⾯面ホモグラフィを計算	  撮影画像上の合焦⾯面の形状・スケール	  ホモグラフィ変形により	  合焦⾯面の視差を補正	  21	  撮影画像枚数が少ないことによる不連続・不⾃自然なぼけ	  22	  焦点⾯面が合うように重ね合わせた結果 　 　	  	  ⼿手持ちによる撮影の問題（２） 　 　	  ぼけ部分に輪郭線が出現	  撮影点の間隔が広すぎる	  ５枚の画像の重ね合わせ(前景に焦点)	  ○合焦⾯面は鮮明 　 　 背景は⾒見見苦しい	  撮影点の位置	  補間画像によるぼけ品質の向上	   撮影画像間の中間画像を作成	   中間画像で補間することで滑らかなぼけを実現	   　＝ 　疎な撮影点を密に補間	  疎な撮影点	   撮影画像間の視差から相対的な撮影位置を推定	   補間画像のための撮影点を相対的に設定	   撮影画像から補間画像を作成	   モーフィング技術を応⽤用	  密な撮影点	  23	  中間画像の作成	  24	  	  得られる視差は追跡可能な特徴点についてのみ	  •	  特徴点以外の画素の視差を補間によって求める	  特徴点同⼠士を結んで領域分割	  分割した⼩小領域ごとに線形補間	  画像間の視差の計算結果	  中間画像の作成過程（領域分割）	  補間を⽤用いたぼけ画像作成	  25	  入力画像

目標出力画像（実際に口径が大きい一眼レフカメラを用いて撮影した，大きなぼけを含む画像）

補間を⽤用いたぼけ画像作成	  前景に焦点	  撮影画像5枚	  補間画像100枚	  後景に焦点	  視点位置・姿勢が未知の少数の画像から	  ⼤大きなぼけを含む画像を得た	  26	  デジタルリフォーカス	   ⼿手持ちカメラで撮影した複数の画像から，背景や前景など任意の部分にピントを合わせ，それ以外をぼかすことが出来る	  PSF変更によるぼけ味の調整	  28	  光量の飽和とぼけ	  大口径レンズによる実際のぼけ
500

絞りを絞って撮影した画像と計算によるぼけ
Real RadianceBlur Radiance
Max range

模式図
400

500

Real RadianceBlur Radiance
Max range

400

合焦時輝度分布300

300

200200

最大画素値
入力画像輝度分布

ぼけ画像輝度分布100100

ぼけ画像輝度分布
0-4-20240-4-2024

露光の違いとヒストグラム	  長時間露光画像

短時間露光画像

各画像のヒストグラム
 ⼀一般に，点光源などは⽩白⾶飛び（飽和）してしまう	   短時間露光画像では⽩白⾶飛びがない代わりに鑑賞に耐えない	  合成開⼝口法とHDR	  露光量

露光量
露光量
露光量

視点y視点x 画像にぼけを作り出すには，視点が様々に変化した画像を⽤用いる	   カメラアレイからは，規則的に並んだ視点からの像が得られる	  視

合成開⼝口法とHDR	  露光量露光量露光量

視点y視点x

露光量
露光量

視点y視点y視点x視点x

 HDR(High	  Dynamic	  Range)撮影では，露光量を様々に変化させた画像を⽤用いる	   カメラの位置は固定する（画像のずれをなくすため）	  合成開⼝口法とHDR	  露光量露光量

視点y視点y視点x視点x視点y視点x

 提案⼿手法では，ランダムな視点からの画像を⽤用いる	   そのうち１枚だけを，露光量の⼩小さい画像とする	  実験結果	  光量の復元無し

位置合わせ＋光量復元結果（提案手法）

 点光源のぼけがくすんでしまうことなく，くっきり，⾊色鮮やかになる	  「積分」を再考する	  I = P(X,Y,Z,θ, φ, λ,t)(θ, φ )

(X,Y,Z)€€€

 積分により，情報の⼀一部が失われる	   積分区間にちょうどn周期が収まるような周波数の情報は失われる	  	  =	  0	  

 露光時間内の被写体のぶれ	   距離の違いによるぼけ	  ∫2π0Asin(nt)dt = 0

Coded	  Exposure	  Flutter	  Shutter	  Camera	  (Raskar@MERL)	   符号化露光：露光を時間軸⽅方向に符号化	  Traditional

CodedExposureThis	  	Deblurred
Image

Deblurred
Image

Image of
StaticObjectSlide	  by	  R.	  Raskar	  Coded Exposure

Coded Aperture

Temporal 1-D broadband code:
Motion Deblurring

Spatial 2-D broadband mask:
Focus Deblurring

Slide	  by	  R.	  Raskar	  LED

In Focus Photo
Slide	  by	  R.	  Raskar	  Out of Focus Photo: Open Aperture
Slide	  by	  R.	  Raskar	  Out of Focus Photo: Coded Aperture
Slide	  by	  R.	  Raskar	  Captured	  Blurred	  Photo	  Slide	  by	  R.	  Raskar	  Refocused on Person

Slide	  by	  R.	  Raskar	  符号化開⼝口
多重フォーカスカメラ	  ⽇日浦	  他，CVPR(1998),	  画像センシング	  シンポジウム(1999)	   ぼけカーネルの符号化による距離推定の安定化・原画像復元	   合焦距離の異なる３つの画像の同時取得	  多重フォーカスカメラの構造	   カラーCCDカメラを改造	   各CCDを1mmづつ光軸⽅方向に移動	   プリズムの再蒸着による分光特性の除去	   通常の3CCDカメラと同等の⼨寸法／重量	  開⼝口形状に求められる性質	   通常⽤用いられる円形開⼝口は，必ずしも適した開⼝口形状であるとはいえない（美しいぼけを⽣生じさせるために円形を採⽤用）	  ⼊入⼒力力画像	  

最後面CCD	  中央CCD	  最前面CCD	  復元された完全合焦画像	  復元された対象の形状	  対象の三次元形状	 

完全合焦画像（部分）	 

計測結果：指の動作	  
入力画像	 

距離画像