Ramesh	  との出会い	   2006/6	  :	  at	  NY	   CVPR	  /	  PROCAMS	  の懇親会で雑談していて，研究の話で盛り上がり，お互いの研究を知る（京⼤大での研究成果で認知される）	   2007/6	  :	  at	  Boston	  (MERL)	   CVPR	  (Minneapolis)参加後に呼んでもらう	   MERL	  で講演，MIT	  ⾒見見学	   2007/12	  Ramesh	  が	  MIT	  へ移る	   すぐさまコンタクトし，渡航を決める	  Ramesh Raskar, MITMIT Media Lab

Camera Culture

Krill-eye

Hiura, Mohan, Raskar

MIT Media Lab

Camera Culture

Krill-eye

Hiura, Mohan, Raskar

The Media Laboratory	Coded	  Aperture	   Levin@MIT(2007)	   １枚の画像からの距離推定とぼけの除去（ただし，少々の⼈人⼿手作業が必要）	  Coded	  Aperture	   Levin@MIT(2007)	  Coded	  Aperture	   Levin@MIT(2007)	  Slide	  by	  R.	  Raskar	  Slide	  by	  R.	  Raskar	  ?

Slide	  by	  R.	  Raskar	  ?

Slide	  by	  R.	  Raskar	  Slide	  by	  R.	  Raskar	  Chamberedeyes (cameraeyes)	
MIT Media Lab
Camera Culture

Hiura, Mohan, Raskar

Krill-eyeWhy notlearn fromanimals
more?
Shadow

Refractive

Compound eyes	

Fernald, Science [Sept 2006]

Reflective

We have
exploredpossibilities
to utilize
compoundeyes

MIT Media Lab

Camera Culture

Krill-eye

Hiura, Mohan, Raskar

ロブスター	

• ボストンのうまいもん，といえばコレ	MIT Media Lab

Camera Culture

Krill-eye

ロブスターの目	

Hiura, Mohan, Raskar

MIT Media Lab

Camera Culture

Hiura, Mohan, Raskar

Krill-eye

反射型 vs. 屈折型

反射型 – ロブスター	

• 反射型連立像眼の利点と欠点+ 色収差がない+ X線を扱える- 不正な光路による像の乱れ- 低解像度屈折型 – オキアミ	MIT Media Lab

Camera Culture

Krill-eye

Hiura, Mohan, Raskar

GRIN(gradient index) レンズによる屈折型連立像眼

MIT Media Lab

Camera Culture

Krill-eye

Hiura, Mohan, Raskar

画質シミュレーション• 個眼の密度（隣り合った個眼のなす角）が小さいほど画質が高い• ２~３度であれば十分な画質が得られる

Withoutangle limiter

Withangle limiter

MIT Media Lab

Camera Culture

Krill-eye

Hiura, Mohan, Raskar「オキアミの目」ビーコン• カメラの代わりに，灯台（光源）として用いる• 周囲から撮影することで，方位がわかる• レンズ同士の角度 20deg

MIT Media Lab

Camera Culture

Krill-eye

Hiura, Mohan, Raskar

MIT Media Lab

Camera Culture

Krill-eye

角度推定の結果

Hiura, Mohan, Raskar

MIT Media Lab

Camera Culture

Krill-eye

Hiura, Mohan, Raskar

角度推定の結果• 手作りのプロトタイプのため，レンズ装着時の角度誤差が現れている

積分の不変量化	   開⼝口と距離によるぼけ：距離によってぼけの⼤大きさが変化する	   被写体の動きによるぶれ：被写体の速度によってぶれ量が変化する	   計算により元の画像を求めるときに問題になる（速度や奥⾏行行きの推定が必要となる）
奥⾏行行きや速度によって変わらないぼけやぶれは作れるのか？	  積分の不変量化	   開⼝口と距離によるぼけ：距離によってぼけの⼤大きさが変化する	   光学系の⼯工夫による解決	  :	  Wavefront	  Coding	   露光中の撮像素⼦子の移動による解決	  CDM	  Optics,	  Inc.	  

 被写体の動きによるぶれ：被写体の速度によってぶれ量が変化する	   露光中のカメラの往復運動による解決	  撮像素⼦子の移動によるぼけの不変量化	   H.	  Nagahara,	  S.	  Kuthirummal,	  C.	  Zhou,	  and	  S.K.	  Nayar,	  Flexible	  Depth	  of	  Field	  Photography,	  ECCV2008	  撮像素⼦子の移動によるぼけの不変量化	   H.	  Nagahara,	  S.	  Kuthirummal,	  C.	  Zhou,	  and	  S.K.	  Nayar,	  Flexible	  Depth	  of	  Field	  Photography,	  ECCV2008	  カメラの往復運動によるぶれの除去	  ⼊入⼒力力画像	  演算後の画像	   A.	  Levin,	  P.	  Sand,	  T.	  S.	  Cho,	  F.	  Durand,	  W.	  T.	  Freeman.	  Motion-Invariant	  Photography.	  SIGGRAPH2008.	  	  カメラの往復運動によるぶれの除去	  装置外観	  速度の異なる点光源に	  関する概念図	   A.	  Levin,	  P.	  Sand,	  T.	  S.	  Cho,	  F.	  Durand,	  W.	  T.	  Freeman.	  Motion-Invariant	  Photography.	  SIGGRAPH2008.	  	  コンピュテーショナル
フォトグラフィとは？	  
 計算機技術による，カメラ進化の第⼆二幕	   第⼀一幕：フィルムを撮像素⼦子で置き換え（デジタルカメラ）	   「レンズが結んだ像」を⾼高精度にデジタル記録する	   第⼆二幕：カメラ全体（光学系，使い⽅方）の再定義・再構築	   計算（画像処理）の結果，初めて画像が形成される	  撮像素⼦子	  画像処理	  光学系	  画像	  フィルムカメラ	  デジタルカメラ	  コンピュテーショナルフォトグラフィ	  コンピュテーショナルフォトグラフィ技術が変えようとする範囲	  デジタルカメラ	  まとめ	   コンピュテーショナルフォトグラフィについて	   計算機による演算を前提に光の記録⽅方法そのものを再考することにより，従来のカメラでは実現できなかったような機能を実現する	   「画像を撮影する」カメラから，「光の分布を計測する」カメラへ	   レンズの設計が変わる．レンズ単体で画像は完成されない	   コード化（符号化）の考え⽅方が⽤用いられる	   テレビや電話：アナログ通信から，コードを⽤用いたデジタル通信へ	   情報理論や統計理論が，カメラを変える	   ⽣生物の⽬目に学んだカメラ	   現在のカメラは，⼈人間の眼球によく似た構造	   他の⽣生物の⽬目に学んだカメラも，⼯工業応⽤用などでは利⽤用価値あり