NAIST-IS-MT1551071

修士論文

正対する放物面鏡を利用した
狭被写界深度撮影システム

西 諒一郎

2017 年 3 月 16 日

奈良先端科学技術大学院大学
情報科学研究科本論文は奈良先端科学技術大学院大学情報科学研究科に修士 (工学) 授与の要件として提出した修士論文である。
西 諒一郎

審査委員：
横矢 直和 教授

（主指導教員）向川 康博 教授

（副指導教員）佐藤 智和 准教授

（副指導教員）河合 紀彦 助教

（副指導教員）正対する放物面鏡を利用した
狭被写界深度撮影システム ∗
西 諒一郎

内容梗概
狭被写界深度撮影はフォーカスを合わせた特定の奥行き範囲の物体のみを鮮明に撮影する方式であり，前景背景分離や半透明物体の内部構造の解析などに使用される．被写界深度の浅い光学装置としては顕微鏡が代表的である．しかし，顕微鏡は細胞などの微小物を撮影対象としており，一般的な大きさの物体を同様に撮影できる開口数の大きなレンズを作成することは困難である．このような問題に対して，複数台のカメラまたはミラーを用いることで仮想的に開口数を大きくする合成開口法が提案されている．しかし，複数台のカメラを用いる場合にはカメラセッティングやキャリブレーションが複雑で時間がかかる問題がある．ミラーを用いた場合には，精密に位置あわせをする必要があり，一台のカメラによって複数視点からの画像を取得するため解像度が低下する問題が残されている．
本研究では，２枚の放物面鏡を向かい合わせに設置した撮影装置の開発および，
その特徴を利用した画像の鮮明化処理により，非常に浅い被写界深度の撮影を実現する．本装置は一般的なレンズを用いず，撮像素子を露出したカメラ１台と２枚の放物面鏡を用いることで，カメラセッティング時間が不要で，ミラーを用いる手法と比べて解像度の高い画像を取得することが可能である．また，本装置特有の撮影対象の位置に依存したぼけ方を示す点拡がり関数（PSF）を利用することで，より鮮明な特定層のみの画像を取得することができる．実験では，シミュレーション環境において，層構造物体の特定層にフォーカスを合わせた撮影を行∗

奈良先端科学技術大学院大学 情報科学研究科 修士論文, NAIST-IS-MT1551071, 2017 年 3 月
16 日.

i

い，提案装置が浅い被写界深度を持つことを示す．次に，計測した PSF を利用した最適化を用いて，より鮮明な特定層抽出を行う．また，実環境でも同様の実験を行うために，プロトタイプ装置を試作し，撮影装置が非常に浅い被写界深度を実現できることを確認する．最後に，PSF を利用した最適化を行うことで鮮明な特定層の画像を抽出できることを確認するとともに，シミュレーションと実環境実験における結果の差異とその原因について考察する．

キーワード
狭被写界深度撮影，放物面鏡，高開口，点拡がり関数，鮮明化処理ii

Ultra Shallow DoF Imaging System
by using a Pair of Faced Paraboloidal Mirrors∗
Ryoichiro Nishi

Abstract
Shallow DoF (Depth-of-Field) imaging highlights a target in a photograph byde-focusing undesired objects that exist outside a certain depth range. It can beused for generating a foreground/background discriminated image and analyzing the inner structure of a translucent object. A microscope is a typical device
for shallow DoF imaging. However, the target objects are limited to tiny ones
like cells. It is almost impossible to produce lenses for shallow DoF imaging
for standard size objects. To solve this problem, a variety of synthetic aperture
methods have been investigated and are classified into two categories: One physically captures images from multiple viewpoints using only standard cameras andthe other virtually generates multiple viewpoint images using a camera and multiple mirrors. However, the former requires time-consuming camera calibrationor complex multi-camera devices. In the latter category, the resolution of thesynthesized image is quite low because all images captured by multiple virtual
cameras are recorded as a single image in reality.
This thesis proposes a novel imaging device that consists of a pair of faced
paraboloidal mirrors and a method to sharpen an image using the characteristicsof the device to achieve ultra-shadow DoF imaging. The key optical device of oursystem consists of a pair of faced paraboloidal mirrors and a lens-less camera without using a general lens. The proposed device does not require time-consuming∗

Master’s Thesis, Graduate School of Information Science, Nara Institute of Science andTechnology, NAIST-IS-MT1551071, March 16, 2017.

iii

calibration unlike multiple camera-based methods, and preserves the higher resolution than multiple mirror-based methods. In addition, the proposed method
takes a clear image of a specific layer by optimization using position-dependent
point spread functions (PSFs). In experiments with a simulation environment,
first, in order to show that the proposed device achieves ultra-shallow DoF imaging, we capture specific layers of layered objects which have narrow empty gaps
between each layer. Next, we decompose the captured images into respective layers by the optimization using measured PSFs of our device. In order to check the
performance of the proposed method in real environments, we make a prototype
device and show that our system achives ultra-shallow DoF imaging by comparing
images captured by the propoesed device and a camera with a relatively shallow
DoF lens. In addition, we remove blurs on captured images using measured PSFs
of the prototype device. Finally, we discuss the diﬀerence in experimental results
between the simulation and real environments.

Keywords:
ultra-shallow DoF imaging, paraboloidal mirror, High aperture, point spreadfunction, decompositioniv

目次
1. はじめに

1

2. 狭被写界深度撮影撮影に関する従来研究と本研究の位置づけと方針

4

2.1

2.2

2.3

撮影手法の工夫により特定層の抽出を行う方法 . . . . . . . . . . .

4

2.1.1

複数視点の画像を利用する手法 . . . . . . . . . . . . . . .

4

2.1.2

PSF を利用したデコンボリューション手法 . . . . . . . . .

7

光源の工夫により特定層抽出を行う方法 . . . . . . . . . . . . . .

7

2.2.1

顕微鏡を用いた手法 . . . . . . . . . . . . . . . . . . . . .

8

2.2.2

高周波照明を用いた手法 . . . . . . . . . . . . . . . . . . .

9

本研究の位置づけ . . . . . . . . . . . . . . . . . . . . . . . . . . .

9

3. 正対する放物面鏡を用いた狭被写界深度撮影

12

3.1

提案手法の概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12

3.2

提案手法の被写界深度 . . . . . . . . . . . . . . . . . . . . . . . .

13

4. 位置依存 PSF を用いた撮影画像からの特定層推定

18

4.1

位置依存 PSF を用いた撮影画像からの層構造物体の各層画像推定

18

4.2

光線強度の物理的性質による鮮明化処理の上界・下界制約 . . . .

20

4.3

理想的な撮影環境と異なる場合の鮮明化処理 . . . . . . . . . . . .

21

5. 提案手法による撮影実験
5.1

5.2

24

シミュレーション環境実験 . . . . . . . . . . . . . . . . . . . . . .

24

5.1.1

実験条件 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

24

5.1.2

PSF の取得 . . . . . . . . . . . . . . . . . . . . . . . . . .

25

5.1.3

実験結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

29

実環境実験

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

35

5.2.1

撮影装置と方法 . . . . . . . . . . . . . . . . . . . . . . . .

37

5.2.2

PSF の取得 . . . . . . . . . . . . . . . . . . . . . . . . . .

38

5.2.3

実験結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

40

v

5.3

シミュレーション環境実験と実環境実験の差異についての考察 . .

45

6. まとめ

46

謝辞

47

参考文献

48

vi

図目次
1

開口数の違いによる被写界深度の変化. . . . . . . . . . . . . . .

2

2

複数視点からの撮影による高開口撮影. . . . . . . . . . . . . . .

5

3

複数台のカメラを用いた合成開口撮影システム . . . . . . . . . . .

6

4

ミラーアレイによる合成開口撮影システム . . . . . . . . . . . . .

65レンズアレイによる合成開口撮影システム . . . . . . . . . . . . .

6

6

共焦点撮像法の撮影原理 . . . . . . . . . . . . . . . . . . . . . . .

8

7

2 枚の向かい合わせ放物面鏡 . . . . . . . . . . . . . . . . . . . . .

108放物面鏡を用いたプロトタイプ撮影装置 . . . . . . . . . . . . . .

129放物面鏡の特徴 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1310

提案手法による撮影原理 . . . . . . . . . . . . . . . . . . . . . . .

13

11

向かい合わせ放物面鏡に用いる座標系の設定 . . . . . . . . . . . .

14

12

向かい合わせ放物面鏡の開口数 . . . . . . . . . . . . . . . . . . .

14

13

PSF によってボケる撮影対象と撮影画像の関係 . . . . . . . . . .

19

14

複数枚の撮影画像を用いた撮影画像の特定層抽出 . . . . . . . . .

20

15

撮像素子によって観測される光線強度. . . . . . . . . . . . . . .

21

16

実環境実験において撮影に使用する撮像素子 . . . . . . . . . . . .

22

17

撮像素子前面のカバーガラスの有無による撮影画像の差 . . . . . .

2318

撮像素子前面にカバーガラスが無い場合に計測される PSF 形状 .

23

19

撮像素子前面にカバーガラスがある場合に計測される PSF 形状 .

23

20

POV-RAY による撮影シミュレーション . . . . . . . . . . . . . .

25

21

シミュレーション環境での撮影装置の概要 . . . . . . . . . . . . .

26

22

撮影装置の平面図および側面図 . . . . . . . . . . . . . . . . . . .

26

23

焦点から Z 軸方向に点光源を移動させたときに観測される PSF の形状（左図：U 軸方向の PSF の断面図，右図：観測された PSF）

24

28

焦点から X 軸方向に点光源を移動させたときに観測される PSF の形状（左図：U 軸方向の PSF の断面図，右図：観測された PSF）

28

25

各位置で観測された PSF の周波数成分 . . . . . . . . . . . . . . .

29

26

シミュレーション環境実験に使用する撮影対象 . . . . . . . . . . .

30

vii

27

提案撮影装置による撮影結果

28

各層に焦点を合わせて撮影した 2 枚の撮影画像を用いた鮮明化処. . . . . . . . . . . . . . . . . . . .

30

理結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

31

29

撮影対象画像と 2 枚の撮影画像を用いた鮮明化処理結果との誤差 .

3130

最適化に用いる画像の撮影位置 . . . . . . . . . . . . . . . . . . .

32

31

各層とその前後の奥行きに焦点を合わせて撮影した 5 枚の撮影画像を用いた鮮明化処理結果 . . . . . . . . . . . . . . . . . . . . . .

34

32

撮影対象画像と 5 枚の撮影画像を用いた鮮明化処理結果との誤差 .

3433構築した提案プロトタイプ撮影システム . . . . . . . . . . . . . .

3634

比較対象として使用するレンズを用いた撮影システム . . . . . . .

36

35

提案プロトタイプ撮影システムの構成. . . . . . . . . . . . . . .

37

36

PSF 取得に用いる撮影対象 . . . . . . . . . . . . . . . . . . . . . .

38

37

PSF の取得方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

38

38

PSF の計測範囲と PSF 計測に用いる OHP シートに印字する点のサイズ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

39

39

実環境実験において取得した PSF . . . . . . . . . . . . . . . . . .

4040

撮影対象の移動に使用するロボットアーム . . . . . . . . . . . . .

40

41

実環境撮影実験に使用する撮影対象 . . . . . . . . . . . . . . . . .

41

42

撮影対象 1 の撮影結果 . . . . . . . . . . . . . . . . . . . . . . . .

42

43

撮影対象 2 の撮影結果 . . . . . . . . . . . . . . . . . . . . . . . .

42

44

撮影対象 3 の撮影結果 . . . . . . . . . . . . . . . . . . . . . . . .

4345

鮮明化処理実験の撮影対象として用いる 2 層構造物体 . . . . . . .

44

46

鮮明化処理実験に用いる撮影画像 . . . . . . . . . . . . . . . . . .

4447

鮮明化処理結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

45

表目次
1

顕微鏡に用いられるレンズと提案手法の開口数の比較 . . . . . . .

15

2

通常の撮影に用いられるレンズと提案手法の F 値の比較 . . . . .

16

viii

3

撮影対象の各層の画像と鮮明化処理による推定画像の類似度 . . .

ix

35

1. はじめに
被写界深度は撮影対象に焦点を合わせた際にその距離の前後部分のボケずに鮮明に撮影される範囲であり，浅い被写界深度を持つ光学装置を用いた撮影では，
フォーカスを合わせた位置のみが鮮明に撮影され，その他の領域はボケて撮影される．開口数はレンズの性能を示す指標で，撮影装置によって取得できる光線の最大角度を表しており，開口数が大きくなると被写界深度が浅くなる関係がある．
通常のカメラでは絞りによって開口数を変化させるため F 値を変化させることで被写界深度を制御することが可能である．図 1 は撮影対象の檻の中のぬいぐるみに焦点を合わせて撮影を行った際のレンズの開口数の違いによる光線の経路を示している．図 1(a) は開口数が小さいため，焦点の合っていない檻から出た光もぬ
いぐるみから出た光と似た軌跡を通り，撮像素子面上に集光しているが，図 1(b)に示す開口数の大きいレンズを用いたときには，檻から出た光は撮像素子面上で集光しないため，撮影画像には大きくボケて撮影される．このため開口数のより大きいレンズを用いることで特定の層のみが強調された画像を得ることが可能であり，前景背景分離や半透明物体の内部構造の解析などに利用することが可能である．顕微鏡は非常に浅い被写界深度を持つ代表的な撮影装置であり，特定位置に集光するようなレーザを光源に使用する共焦点撮像法 [1, 2, 3] を用いることで特定の位置のみを撮影することができ，細胞の立体的な構造の撮影も可能となる．
しかし，顕微鏡が対象とする撮影物体は細胞のような非常に小さいものに限られている．撮影対象を大きくするためには大口径レンズを必要とするが，大口径で開口数の大きいレンズを作成することは困難である．
これらの問題を解決するために，複数の視点から撮影した画像を利用すること
で，特定の奥行きにある撮影対象のみを撮影する合成開口法が提案されている．
合成開口法はカメラを複数台使用する手法 [4, 5] とミラーやレンズアレイを用いて複数視点からの画像を取得する手法 [6, 7, 8, 9, 10, 11] に大別される．前者は，通常のレンズを取り付けた複数台のカメラを利用して，多視点からの画像を取得することで特定の奥行きにある物体のみを撮影することが可能である．しかし，複数台のカメラを使用するため，それぞれのカメラの位置を正確に合わせる必要があり，複雑なシステムを構築するために時間がかかるといった問題がある．後

1

絞り

撮像素子

被写界深度
F値大（低開口）（ピントの合う範囲）(a) 開口数の小さいレンズを用いた撮影
撮影対象

被写界深度
撮像素子

Ｆ値小（高開口）(b) 開口数の大きいレンズを用いた撮影

図 1 開口数の違いによる被写界深度の変化
者は，ミラーやレンズによって複数視点の画像を取得するため，１台のカメラで撮影することが可能であり，撮影システムの複雑さは軽減されているが，ミラーやレンズとカメラの位置関係を精密に調整する必要があることや，１台のカメラによって複数視点からの画像を取得するため解像度が低下する問題がある．
本研究では，正対する２枚の放物面鏡と撮像素子をむき出しにした状態のカメラを利用して非常に浅い被写界深度を持つ撮影装置を開発し，その撮影装置が持つボケ特性を利用した画像の鮮明化処理により，層構造物体の特定層のみを分離して取得できる撮影システムを提案する．提案装置は一般的なレンズを用いず，撮像素子を露出した１台のカメラと２枚の放物面鏡を用いることで，撮影システ
ムが単純であり，ミラーやレンズアレイを用いる手法と比べ複数視点の画像を１
つのカメラで分割しないため，高い解像度の画像が得られるという特徴を持つ．
また，撮影装置特有の位置に依存したボケ方を示す点拡がり関数（PSF）を利用

2

した，より鮮明な特定層のみの画像の抽出を行うための最適化処理を提案する．
以下，２章では，特定の奥行きのみを撮影する手法についての関連研究と本研究の位置づけについて述べる．３章では，本研究で提案する撮影装置について述
べ，撮影システムの構成と撮影環境について述べる．また，提案する撮影装置の特徴と性能についても述べる．４章では，提案装置の持つ位置依存 PSF を用いた，鮮明な特定の奥行きの画像を推定するための最適化手法について述べる．５
章では，シミュレーション環境で２層構造物体を撮影対象とし，提案撮影装置によってそれぞれの層に焦点を合わせて撮影を行う．また，位置依存 PSF に基づく鮮明化処理により，特定の奥行きの画像のみが推定可能であることを確認する．
実環境では，撮影システムを試作し，間隔の狭い２層の物体を撮影対象として撮影実験を行い，狭被写界深度撮影が実現できていることを確認する．また，PSFの計測を行い，最適化処理を用いることで特定の奥行き画像のみの推定を行い，シミュレーション環境と実環境の差異とその原因について考察を行う．６章では，まとめと今後の課題について述べる.

3

2. 狭被写界深度撮影撮影に関する従来研究と本研究の位置づけと方針
本研究では，非常に浅い被写界深度を持つ撮影装置を提案する．また，提案装置特有の位置依存 PSF を用いて，特定の奥行きに存在する物体のみが表れた画像を推定する手法についても提案する．特定の位置・奥行きの画像を得るための従来手法は，撮影システムを直接工夫する手法と撮影を行う際に用いる光源を工夫する手法の２つに大別できる．本章では特定の奥行きの画像を取得する従来研究について概観し，従来研究に対する本研究の位置づけと方針について述べる．

2.1 撮影手法の工夫により特定層の抽出を行う方法
被写界深度の浅い撮影装置を実現するために，複数視点で撮影した画像を利用することで仮想的に開口数を大きくする合成開口法が提案されている．また，撮影装置特有の奥行き方向に依存する PSF を用いて撮影画像から奥行きを推定することで，特定の奥行きのみの画像を抽出する手法も提案されている．以下に，それぞれの撮影手法の特徴と問題点を述べる．

2.1.1 複数視点の画像を利用する手法
合成開口法は複数視点から撮影した画像を利用することで仮想的に開口数を大きくし，浅い被写界深度撮影を行う手法である．複数視点からの画像を得る手法
として，図 2(a) に示すカメラを複数の位置に設置して撮影した画像を用いる手法 [4, 5] と図 2(b) に示す複数枚のミラー [6, 7, 8, 9] を用いた手法やレンズアレイ[10, 11] を用いて複数視点の画像を取得する手法に大別することができる．
実際に複数台のカメラを設置して撮影する手法は，カメラの配置によって大きい開口数を得ることができ，撮影対象の大きさに制限がないという特徴を持つ．

Vaish ら [4] は図 3 のような撮影装置を用いて，茂みの後ろに隠れた人の撮影を行っている．しかし，この撮影システムは複数台のカメラを利用するため，システムが複雑になりカメラキャリブレーションやセッティングに時間がかかること

4カメラアレイ

ミラーアレイ
カメラ
開口角度
開口角度

撮影対象

撮影対象

(b) ミラーアレイによる合成開口撮影(a) カメラアレイによる合成開口撮影

図 2 複数視点からの撮影による高開口撮影が問題である．また，カメラを動かしながら動画を撮影することで多視点からの画像を取得し，特定の奥行きのみの画像を抽出する手法 [12] では，1 台のカメラ
で前景背景分離を行うことができるが，カメラの位置を正確に推定する必要があり，また，それぞれの視点位置での画像に時間的なずれが生じるといった問題がある．
１台の通常のカメラとミラーやレンズを用いた撮影手法では，撮影システムは複雑にならず，１度で撮影することが可能である．田川ら [9] は図 4(a) に示すように複数枚のミラーを楕円体に沿うように配置した亀甲多面鏡を利用した 180 度の開口をもつ撮影手法を提案し，撮影対象がメッシュによって遮蔽された場合でも特定の奥行きのテクスチャのみを撮影できることを示している．また，レンズアレイを用いた撮影装置としては LYTRO などが製品化されており，ライトフィー
ルドの保存などに使用されている [13, 14]．この手法を用いた撮影では，図 5 のように撮像素子上にそれぞれのレンズで結像した画像が保存されるため，仮想的に大きい開口数を持つ撮影が可能である．しかし，撮影される１枚の画像の中に複数視点の画像が分割されて取得されるため，解像度が低くなるといった問題があり，ミラーアレイやレンズアレイと撮像素子の位置関係も正確に合わせる必要がある．

5

(a) カメラアレイ撮影システム (b) 通常のカメラによる撮影 (c) 複数視点の合成画像

図 3 複数台のカメラを用いた合成開口撮影システム(a) ミラーアレイ(b) 1視点からの画像(c) 40視点からの合成画像

図 4 ミラーアレイによる合成開口撮影システム
撮像素子

レンズアレイ

撮影対象
開口角度

被写界深度

(a) 撮影画像(b) レンズアレイを用いた高開口撮影原理

図 5 レンズアレイによる合成開口撮影システム

6

2.1.2 PSF を利用したデコンボリューション手法
通常のカメラでは焦点を合わせた位置と異なる位置にある撮影対象はボケて撮影される．この撮影対象がボケて撮影された画像をボケの無い画像に復元するた
めに，PSF を利用したデコンボリューション手法が利用されている [15]．しかし，撮影対象の奥行き方向の位置に依存して PSF の形状が変化するため，1 種類のPSF を用いたデコンボリューションでは正しい復元が行えない．そこで，撮影を行う際に撮像素子を動かすフォーカススイープ撮影 [16, 17] や，カメラを動かしながらシャッターの開閉タイミングを制御する手法 [18] では，位置に依存しない
特殊な PSF を持つ撮影装置を構築し，1 種類の PSF を用いたデコンボリューショ
ンにより全焦点画像の取得を行う．
また，撮影対象の奥行き方向の位置に対応した PSF を用いるデコンボリュー
ション手法は，画像のボケ度合いから画像の奥行き情報を取得することと等価であり，Depth from Defocus（DFD）[19, 20] と呼ばれる．通常のカメラを用いた
場合，奥行きに対して PSF の変化は緩やかであるため，ボケの形状から正確な奥行き推定することは困難であるが，撮影に用いる絞りの形状をマスクによって変化させることで，奥行き方向の位置に依存した形状を持つ PSF を得られるよ
うに絞りを調節し，特定の奥行きの情報のみを取得する手法が提案されている[21, 22, 23]．しかし，間隔の狭い撮影対象の場合，カメラレンズの開口数は小さ
いため，奥行きの差による PSF 形状の変化があらわれず，奥行きごとの画像を取得することは困難である．

2.2 光源の工夫により特定層抽出を行う方法
撮影に用いる光源および撮影装置を工夫することで，特定の位置・奥行きの画像を観測することができる．本節では，顕微鏡に用いる光源を工夫することで特定の位置のみの情報を取得する手法と撮影対象に高周波パターンを投影し特定の奥行きのみの画像を推定する手法について概要と特徴を述べる．

7

光電素子

ピンホール開口

光線経路
レーザ

ビーム
スプリッタ

対物レンズ
撮影対象

図 6 共焦点撮像法の撮影原理

2.2.1 顕微鏡を用いた手法
顕微鏡の光源を工夫する手法では，撮影対象に対して一点のみに集光するようにレーザを照射する共焦点撮像法 [1, 2, 3] と撮影対象に対して，横方向から光を照射することで撮影対象の散乱光を観測する暗視野観察法 [24, 25] と呼ばれる手法の２種類が挙げれられる．
前者の共焦点撮像法は光源にレーザを用いて撮影対象の特定の一点のみに集光するように照射することで，焦点の合っている位置のみ際立って明るく撮影されるという特徴を持っている．図 6 は共焦点撮像法の概略を示したものであり，レーザ光はビームスプリッターにより撮影対象上に集光するように照射される．このとき撮影側の対物レンズにより集光する位置にピンホールを用意することで，撮影対象の特定の一点で反射された光のみがピンホールを通過し撮像素子によって撮影されるため，非常に狭い範囲の一点のみの情報を取得することが可能となる．
走査型レーザ共焦点顕微鏡は光源の集光位置を走査させながら撮影することで３次元情報の取得を行うため，細胞の立体的な構造の解析や表面形状測定などに利用されている．しかし，特定の奥行きにある面の画像を取得するためには，走査しながら撮影する必要があり，走査回数を減らすために複数個のピンホールを用

8

いて同時に撮影する手法 [3] も提案されているが，一度に平面上の全ての点を撮影することはできない．
後者の暗視野観察法は光が直接対物レンズに入射しない角度から光源を照射することで，撮影対象の散乱光を撮影する手法である．光源が集まる点のみが際立って明るく撮影されるため，光の集まる特定の範囲のみを撮影することが可能となる．しかしながら，共焦点撮像法と同様に，特定の一点しか撮影できないため特定の奥行きにある層の画像を取得するためには走査しながら撮影する必要があるといった問題がある．
顕微鏡を用いた撮影では，対物レンズが高開口撮影を実現するため，特定層の抽出が可能であるが，大口径大開口のレンズの作成が困難であることから，撮影
対象は細胞のような微細なものに限られるといった問題もある．

2.2.2 高周波照明を用いた手法
高周波照明を用いた手法 [26] では，撮影対象に対してチェスボードのような高周波な模様のパターンを投影し，撮影された画像のボケ方によって内部構造を解析する．
この手法では，高周波照明を半透明物体に照射する．内部で反射された光は内部散乱によってボケ方が大きい画像が撮影されるため，ボケ方の違いから特定の奥行きに存在する画像のみを撮影することが可能となる．しかし，撮影対象となる半透明物体の表面は平面である必要があるといった問題があり，撮影対象が光が内部散乱を起こす半透明物体で構成されている必要がある．

2.3 本研究の位置づけ
開口数の大きいレンズを利用することで非常に浅い被写界深度を持つ撮影装置を実現することができる．高開口の対物レンズを用いた顕微鏡は非常に浅い被写界深度を持つ撮影装置として代表的であり，2.2.1 項で述べた共焦点撮像法や暗視野観察法を用いることで特定の位置のみを撮影することが可能である．しかし，被写界深度が浅い大口径のレンズを作成するためには製造するための坩堝のサイ9

図 7 2 枚の向かい合わせ放物面鏡
ズに限りがあることや，ガラス内部に気泡が入り撮影精度にムラができるなどの問題により作成が困難であることから，細胞のような非常に微細な生物などの撮影対象に制限される．また，レンズの内部を中空にすることができないため，レンズの厚みにより最大開口数が制限されるといった問題もある．2.1.1 項で述べた合成開口法は，カメラの位置やミラー・レンズの位置を工夫することで撮影対象の大きさを制限せず，非常に浅い被写界深度を得ることができる．しかしながら，複数台のカメラを用いる手法では，カメラ間の位置関係を正確に合わせる必要があるためセッティングに時間がかかることや，ミラーやレンズを用いた手法
では，カメラとの位置関係を精密に調整する必要があり，さらに合成画像の解像度が低下するという問題もある．2.2.2 項で述べた平行高周波照明を利用した撮影方法では，照明を工夫することで撮影対象の奥行き推定が可能であるが，半透明物体のような散乱媒介中に存在する必要がある．
そこで，本研究では向かい合わせに設置した放物面鏡を用いて撮影を行うこと
で非常に浅い被写界深度を持つ撮影装置を提案する．２枚の向かい合わせ放物面
鏡は Mirage や ボルマトリクス と呼ばれ，図 7 のように内部に配置した物体が浮き出て見える玩具として知られている [27]．Butler ら [28] はこの”Mirage”を利用することで，浮き出た映像を直接指で操作するディスプレイの提案を行っている．本研究で提案する撮影手法は，一方の放物面鏡の焦点から出た光はもう一方の放物面鏡の焦点に集光させるという特徴を用いて，撮影対象から出た光を撮像素子上に集光させることで撮影を行う．このとき，放物面鏡の幅と焦点距離の10関係から開口数を決められることから，焦点距離に対し放物面鏡幅を大きくする
ことで大開口の撮影装置が設計可能である．放物面鏡はフーコーテスト [29] などの表面検査法が提案されたことで，非常に高い精度の鏡を作成することが可能となり，レンズを用いた撮影装置より大口径の撮影装置を作成することができるた
め，撮影対象の大きさに対する制限が小さいことも特徴の一つである．また，提案撮影手法では，合成開口法と異なり，撮影装置は複数台必要になることや，複数視点からの画像を１台のカメラで分割して撮影する手法のように解像度が下がるといった問題を解消することできる．
提案する撮影装置は奥行き方向のボケ方が大きく変化し，焦点を合わせた面と異なる奥行きの撮影対象は大きくボケるため，特定の奥行きに存在する画像のみを撮影することが可能となる．しかし，一般的な撮影装置と比べて幾何収差の影
響が大きくあらわれ，撮影画像の焦点から離れた位置ではボケが発生する．そこ
で本研究では，2.1.2 項で述べたような奥行き方向に依存した PSF を用いた奥行
き画像の取得を行うだけでなく．位置に依存した PSF を用いることで幾何収差によるボケも取り除き，より鮮明に特定層の抽出を行う鮮明化処理の提案も行う．

11

3. 正対する放物面鏡を用いた狭被写界深度撮影
本研究では正対する２枚の放物面鏡と撮像素子を用いて撮影を行う．本章では，放物面鏡の持つ特徴を利用した撮影方法について述べる．また，開口数と F 値，
被写界深度を算出し，非常に浅い被写界深度を持つ撮影装置であることを示す．

3.1 提案手法の概要
本研究では，図 8 に示す向かい合わせに設置された２枚の放物面鏡と一般的なレンズを用いない撮像素子を露出したカメラ１台を用いて撮影を行う撮影装置を提案する．放物面鏡の特徴として図 9(a) に示すように，焦点を通る光は放物面鏡によって平行光として反射され，平行光は図 9(b) に示すように焦点に集光するよ
うに反射する．このため，図 10 に示すように，同形状の放物面２枚を向かい合わせに設置すると一方の放物面鏡の焦点から出た光は，もう一方の放物面鏡の焦点に結像する．本研究では一方の放物面鏡の焦点に撮影対象を設置し，もう一方の放物面鏡の焦点位置に撮像素子を設置することで撮影を行う．本撮影装置では焦点距離に対し幅が広い放物面鏡を用いることで高開口撮影を行い，非常に浅い
被写界深度の撮影を実現する．また，提案する装置ではそれぞれの放物面鏡の頂点に穴を開けることで撮像素子と撮影物体を設置し，装置内部の中央付近にマスクを設置することによって，撮影対象から出た光が放物面鏡での反射なしに直接撮像素子に入射することを防止する．

図 8 放物面鏡を用いたプロトタイプ撮影装置

12

放物面鏡

平行光

平行光

放物面鏡
(b) 焦点に集光する光の軌跡(a) 焦点から出た光の軌跡

図 9 放物面鏡の特徴
撮像素子

開口

2枚合わせ放物面鏡

開口

マスク

撮影対象

図 10 提案手法による撮影原理

3.2 提案手法の被写界深度提案する撮影装置の放物面鏡の幅と焦点位置の関係から，開口数と F 値，被写界深度を算出する．開口数は光を集光できる範囲を示しており，F 値はレンズの焦点距離と有効口径の関係を示す指標である．被写界深度は撮影対象に焦点を合わせた際，撮影対象がボケずに撮影される範囲を示しており，開口数が大きくなると F 値は小さくなり被写界深度が浅くなるという関係を持っている．
はじめに，開口数を算出するために図 11 に示す座標系を設定する．放物面鏡の撮影対象を設置する焦点位置を原点とし，Z 軸は２枚の放物面鏡の焦点を通る
奥行き方向を示し，X 軸および Y 軸は撮像素子に対して水平方向を示す．このとき，X 軸と Y 軸，Z 軸は互いに直行している．開口数（NA）は撮像素子によって

13

撮像素子側

V軸

U軸

Z軸

撮影対象側

Y軸

X軸

図 11 向かい合わせ放物面鏡に用いる座標系の設定
𝑤 : 放物面鏡幅𝑙 : 焦点距離
𝜃 : 開口角度

光線

焦点

図 12 向かい合わせ放物面鏡の開口数計測される物体から出た光と光軸との最大角度を示す開口角度 θ および撮影対象と撮像素子間の媒質の屈折率 n を用いて以下の式により算出することができる．

N A = n sin θ(1)

本研究で提案する撮影装置では，光は空気中のみを通過するため媒質の屈折率を示す n は 1となり，開口数は以下の式に簡略化される．

N A = sin θ(2)

開口数 sin θ は，図 12 に示されるように放物面鏡の幅 w と焦点距離 l から求めることができる．

w

sin θ = √( ) 2
w 2
2

14

+

( l )2 .
2(3)

表 1 顕微鏡に用いられるレンズと提案手法の開口数の比較
開口数
レンズの種類
商品名

0.94
1.25

ミラー

提案手法

対物レンズ（100 倍・液侵） WRAYMER GLF-ACH100XOil

0.85

対物レンズ（60 倍）

WRAYMER GLF-ACH40X

0.65

対物レンズ（40 倍）

WRAYMER GLF-ACH60X

また，放物面鏡の定義した座標系の y=0 における断面の式は焦点距離 l を用いて以下のように表すことができる．

4lz = x2(4)

このとき，撮影装置に利用する２枚の放物面鏡が同じ形状であり，２枚向かい合
わせ放物面鏡の一方の焦点位置と，もう一方の放物面鏡の頂点位置が一致しているため，式 (4) より，放物面鏡幅 w と焦点距離 l の関係を表すことができる．
( ) ( )
l
w 2
4l
=
(5)
2
2
開口数は式 (3) と式 (5) より，以下に示すように算出することができる．
√
√
2l
2 2
N A = sin θ = √=≃ 0.94.
2
3
2l2 + l(6)4

表 1 は顕微鏡で使用される対物レンズの開口数と提案撮影手法の開口数を示している．このことから，顕微鏡に用いられる液浸を用いない対物レンズの開口数と同等の開口数を持つことが分かり，提案装置が非常に浅い被写界深度を持つことが分かる．
次に，F 値についての計算を行う．通常のカメラでは開口数ではなく F 値を用いて示すことが多い．これは，通常のカメラでは絞りを用いて開口数を変化させるため，レンズそのものの性能を示す開口数を使用しないためである．撮影装置の開口数と F 値はどちらも焦点距離を用いて算出され，また，有効口径と開口角

15表 2 通常の撮影に用いられるレンズと提案手法の F 値の比較
F値
レンズの種類
商品名

0.18

ミラー

提案手法

0.85

大口径単焦点レンズ

HandeVision IBELUX 0.85/40MM

0.95

単焦点レンズSCHNEIDER F0.95 Fast C-Mount Lens

1.40

大口径広角単焦点レンズ

Canon EF35mm F1.4L II USM

度に関係性があるため，以下の式によって開口角度 θ を F 値に変換することが可
能である．

1
cos θ
=
(7)
2 tan θ2 sin θ
このとき，式 (6) の sin θ ≃ 0.94 より，θ = 70.53[deg] であることから，提案するF値=

撮影装置の F 値は以下の式により求めることができる．

F値=

cos 70.53≃ 0.177
2 sin 70.53(8)

表 2 は比較的Ｆ値が小さいカメラレンズと提案装置の F 値を比較したもので，表より本研究で提案する撮影装置は F 値が非常に小さいことが分かる．
最後に提案する撮影装置の被写界深度を求める．被写界深度 d は撮影対象に焦点を合わせた際，撮影対象がボケずに撮影される範囲を示し，前方被写界深度

dnear と後方被写界深度 df ar を用いて以下の式で求めることができる．
d = df ar − dnear(9)撮像素子の１画素は通常一定の面積を持つため，その範囲内でボケが発生しても，被写界深度の範囲内にある撮影対象はボケずに撮影される．前方被写界深度
は撮影対象が焦点から奥行き方向に撮像素子に近づくようにずれた際，撮像素子によって同じ画像を撮影することのできる，撮像素子から撮影対象までの最小距離を表す．前方被写界深度は，撮影装置の F 値 F とボケの許容範囲 c，撮影装置の焦点距離 l を用いて以下の式によって求めることができる．

dnear =

l2
l + 2F c

16(10)

また，後方被写界深度は撮影対象が焦点から奥行き方向に撮像素子から遠ざかる
ようにずれた際，撮像素子によって同じ画像を撮影することができる，撮像素子から撮影対象までの最大距離を表す．後方被写界深度は以下の式によって求めることができる．

df ar =l2
l − 2F c(11)

ここで，5.1 節で述べるシミュレーション実験で使用する撮影装置の設定を用いて，画素の直径 c を 10[µm] = 0.01[mm] とし，焦点距離 l を 65[mm] として被写界深度を算出する．提案する撮影手法の F 値は 0.178 であることから，被写界深度は以下のように求めることができる．

d = df ar − dnear
652
652
=
−
65 − 2 × 0.178 × 0.01 65 + 2 × 0.178 × 0.01
= 65.00354 − 64.99646= 0.00707[mm]= 7.07[µm](12)以上より，撮影対象のわずかな奥行き方向のずれによってボケが発生することが
分かる．

17

4. 位置依存 PSF を用いた撮影画像からの特定層推定
本研究で提案する撮影装置は，焦点位置と異なる奥行きに存在する対象を大きくぼかして撮影するため，非常に浅い被写界深度を実現できる．しかし，そのボケが画像中に残るため，提案する撮影装置だけでは完全に特定の層のみの画像を取得することは難しい．また，焦点位置と同じ奥行きに存在する撮影対象においても，焦点位置から離れるにしたがって少しずつボケて撮影される．
そこで，本研究では提案する撮影装置特有の位置依存 PSF を利用し，最適化処理を行うことで，撮影対象の特定の奥行きの面のみを推定する．最適化処理では，推定する画像の輝度値が PSF によって算出できる輝度値を超えず負の値にならないという２つの条件を用いることでより鮮明な特定層を抽出する．

4.1 節で，撮影画像と PSF による鮮明な断層画像抽出のための最適化手法の提案を行う．4.2 節では，最適化手法を適用する際に PSF や光線の特長による制約について概説し，制約条件を最適化処理に用いることでより鮮明な特定層抽出を行う手法を提案する．4.3 節では，撮像素子前面に取り付けられたカバーガラスの有無による撮影画像と取得される PSF 形状の変化を示し，撮影装置の特性により撮影画像与える影響が PSF に含まれていることを確認することで，理想的な撮影環境と異なる場合にも鮮明化処理が適用できることを示す．

4.1 位置依存 PSF を用いた撮影画像からの層構造物体の各層画像
推定ある位置 k からで出た光 wk は，位置 k に対応する PSF：pk によってボケて撮像素子で観測されるため，撮像素子によって撮影される画像 o は以下の式で表現
できる．

o=

∑

wk pk ,

(13)k

このとき，撮影画像と撮影対象画像をそれぞれ，縦ベクトル o，w，PSF の行列
を P とすると以下の式に置き換えることができる．

o = Pw
18(14)

撮影対象の位置𝑘に対応する
PSF画像ベクトル: 𝐏𝑘
撮影対象の位置𝑘の
光線強度： wk

撮影画像ベクトル : 𝐨

𝐩𝑘

=

𝐩𝑘+1

wk

PSF行列 : P

未知の撮影対象：w

図 13 PSF によってボケる撮影対象と撮影画像の関係
図 13 は，撮影画像と PSF によってボケて撮影される撮影対象との関係を示している．
ここで，提案撮影装置は被写界深度が非常に浅く，撮影対象の位置に依存して大きく変化する PSF を持つため，PSF 行列 P を用いることで，撮影画像 o から，
撮影対象画像 w を求めることができる．ただし，点光源が撮像素子に影響を与える範囲が狭いため，PSF はゼロの要素を多く持つスパース行列となり，撮影対象
画像 w の一意の解を見つけることは困難である．そこで，以下の式に示すように，撮影画像 o と，撮影対象画像にボケを適用した画像 Pw の２乗誤差が小さくなるような撮影対象画像 w を推定することで鮮明な画像を得る [30]．

arg min ∥o − P · w∥2

(15)

w

このとき，推定する撮影対象の位置に応じた PSF を取得し，撮影対象の位置を変えながら撮影した複数枚の撮影画像を鮮明化処理に用いることでより鮮明な特定層抽出を行うことができる．図 14 は 2 層構造物体を撮影した際に，各層に焦点を合わせて撮影した撮影画像と，推定する画像の関係を示している．提案手法
では，撮影装置の焦点位置を変更しながら撮影した複数枚の画像を利用すること
で，より鮮明な特定層の画像を推定する．

19

上層に焦点を合わせて撮影した結果

=上層

下層
撮影対象の各位置から出る光のPSF画像ベクトルの集合

下層に焦点を合わせて撮影した結果
撮影画像：𝐨ボケ行列：𝐏

撮影対象画像ベクトル：𝐰

図 14 複数枚の撮影画像を用いた撮影画像の特定層抽出4.2 光線強度の物理的性質による鮮明化処理の上界・下界制約
光線強度は非負値でなければならないという物理的な性質より，撮影対象の全ての位置 k のある位置 k から出た光線強度 wj に関する制約を以下の式で表現できる．

wk > 0, ∀ k ∈ k(16)

下界制約を用いた鮮明化処理では，推定する撮影対象が式 (16) で表現される非負値であるという制約を用いる．
一方，撮影対象の位置 k から出た光は提案手法の持つボケ特性により，撮像素子の複数の画素に入射する．そのため，撮像素子の位置 j に入射する光 oj は，撮影対象の位置 k から出た光 wk と位置 k から出た光が撮像素子の位置 j で観測される割合を示す Pj,k より以下の式で求めることができる．

oj = Pj,k wk(17)

実際の撮影では図 15 に示すように撮影対象の複数の位置から出た光が観測され20撮像素子上の位置jで観測される光線強度 : 𝒐𝑗

撮像素子 : 𝒐

撮影対象の位置kから出た光線が撮像素子上の位置jで観測される光線強度 : 𝑃𝑗,𝑘 𝑤𝑘

PSF行列 : 𝑷＋

注目位置以外から出た光線が撮像素子上の位置jで観測される光線強度 :⋯ , 𝑃𝑗,𝑘−1 𝑤𝑘−1 , 𝑃𝑗,𝑘+1 𝑤𝑘+1 , ⋯ ≥ 0

撮影対象 : 𝒘

図 15 撮像素子によって観測される光線強度
るため，撮像素子で観測される光線強度 oj は以下の式で表現することができる．

oj = Pj,0 w0 + Pj,1 w1 + · · · + Pj,k wk(18)

各項は下界制約により非負値であるため，以下の制約が成り立つ．

wk ≤

oj
Pj,k

(19)

上界制約を用いた鮮明化処理では，撮像素子によって観測される光線強度 oj を用いて，式 (19) により求まる最大輝度値の最小値を求め，上限値を制約に加えて撮影対象画像の推定を行う．

(
wk ≤ min
j∈j

oj
Pj,k

)
(20)

4.3 理想的な撮影環境と異なる場合の鮮明化処理
実環境実験では，放物面鏡の製造時に発生する歪みや撮像素子の性質によってボケ方に偏りが発生する．一例として，図 16 に示す撮影実験に使用する撮像素子は外気に触れることによって劣化する現象を防ぐため，前面にカバーガラスが存在する．シミュレーション環境において前面にガラスを設置した場合と設置しない場合で撮影を行った結果を図 17 に示す．撮影画像からボケ方に差が出るこ

21

撮像素子
( Point Grey Grasshopper2 ,
1,384×1,036pixel, Sony ICX285 )図 16 実環境実験において撮影に使用する撮像素子とから，前面のカバーガラスによる屈折の影響により，撮影装置の特性が変化していることが分かる．
図 18 は，撮像素子の前面にカバーガラスが無い場合に観測した PSF の形状を，
図 19 は，撮像素子の前面に厚さ 1mm で屈折率 1.51 のガラスを配置した場合に観測した PSF の形状を示している．PSF の形状は，光学装置全体が持つ歪みや屈折の影響を受けた状態で観測されているため，計測した PSF を，鮮明化処理に用いることで，撮像素子の前面にカバーガラスが無い場合と同様に，特定層の画像を推定することができる．

22

(a) 撮像素子前面ガラス無し(b) 撮像素子前面ガラス有り

図 17 撮像素子前面のカバーガラスの有無による撮影画像の差(a) 焦点位置のPSF(b) 焦点位置から奥行き方向にずれた位置のPSF(c) 焦点位置から水平方向にずれた位置のPSF

図 18 撮像素子前面にカバーガラスが無い場合に計測される PSF 形状(a) 焦点位置のPSF(b) 焦点位置から奥行き方向 (c) 焦点位置から水平方向にずれた位置のPSFにずれた位置のPSF

図 19 撮像素子前面にカバーガラスがある場合に計測される PSF 形状

23

5. 提案手法による撮影実験
本章では，層構造物体を撮影対象として用いることで，提案する撮影装置が特定の層のみを撮影することが可能な非常に浅い被写界深度を持つことを確認する．
はじめに，シミュレーション環境で撮影装置を構築し，層の間隔が非常に狭い２層構造物体の撮影シミュレーションを行う．また，PSF の取得を行い，4 章で述
べた鮮明化処理を行うことで，より鮮明に特定層のみを抽出できることを確認するとともに，上界下界制約を加えた最適化の有効性を確認する．次に，実環境で撮影装置を構築し，シミュレーション環境同様に層間隔の狭い２層構造物体の特定の層に焦点を合わせて撮影することで，特定の層の撮影が可能であることを確認する．実環境での PSF 取得には撮影対象を自在に移動させるためロボットアー
ムを用いて撮影を行い，鮮明化処理に利用する．最後に，シミュレーション環境と実環境との差異について述べ，実験結果の考察を行う．

5.1 シミュレーション環境実験
シミュレーション環境では，本研究で提案する撮影装置が非常に浅い深度を持つことを確認するために，まず，層間隔の狭い撮影対象のそれぞれの層に焦点を合わせ撮影する．次に，複数の撮影画像から特定の層のみを鮮明に撮影できるかを確認する．
本実験ではレイトレーシングソフトの POV-RAY[31] を用いてシミュレーショ
ンを行う．POV-RAY を用いて，図 20 に示すように撮像素子上の各画素に前方から入射する全方向からの光線の強度を記録する．各画素に入射する光線強度の総和を各画素の値として利用することで撮影シミュレーションを行う．

5.1.1 実験条件
撮影実験では，図 21 に示すように同じ形状の放物面鏡 2 枚を向かい合わせに設置し，一方の焦点位置に撮影対象，もう一方の焦点位置に撮像素子の中心を設置する．図 22 に撮影実験に使用する装置の構造を示す．放物面鏡の焦点距離24各画素に記録された入射方向ごとの光線の強度

生成画像

図 20 POV-RAY による撮影シミュレーションを 65mm になるように設定し，それぞれの頂点と焦点を一致させるように配置する．放物面鏡の形状は焦点位置によって定まり，同じ形状の放物面鏡を向かい合わせに設置しているため，放物面鏡の高さは焦点距離の半分となり，放物面鏡の最大直径は式 (5) より約 184mm となる．２枚の放物面鏡内部には，光源からの直接光を取り除くために，直径 20mm のマスクを取り付けている．２枚の放物面鏡の焦点を通る軸を奥行き方向を示す Z 軸とし，撮像素子は Z 軸に直行する

XY 平面に平行になるように配置する．撮像素子上の画像は UV 軸で示し，焦点を原点とし，U 軸と V 軸はそれぞれ X 軸，Y 軸の逆方向を示す．これは，撮影対象が焦点位置を中心とした点対称で撮影されるためにである．撮像素子はサイズ20mm × 20mm(201 × 201 画素) で１画素の間隔は 100µm に設定し，一方の放物面鏡の焦点位置を中心に設置する．もう一方の焦点位置には撮影対象を設置し，撮影対象から出た光を検出する．

5.1.2 PSF の取得
本研究では位置依存 PSF を用いた鮮明化処理を行うことで，幾何収差と他層からのボケの映りこみを抑えた特定層のみの画像を推定する．撮像素子と同様

25

撮像素子
（201×201画素, 20mm×20mm)

U軸

V軸
焦点距離：65mm

マスク（直径20mm）

直径：184mm
Z軸
Y軸

X軸

撮影対象
（20mm×20mm）
放物面鏡（反射率100%)

図 21 シミュレーション環境での撮影装置の概要

撮像素子・撮影対象用開口

焦点（撮像素子側）184 mm

40 mm

U軸

Y軸

65 mm

X軸

U軸
撮像素子

20 mm

V軸

マスク
焦点
（撮影対象側）(a) 撮影装置の上から見た図

Z軸X軸(b) 撮影装置の側面から見た図

図 22 撮影装置の平面図および側面図

20mm × 20mm で 201 × 201 画素の範囲の位置依存 PSF を計測し鮮明化処理に使用する．PSF の計測には，撮像素子上の 40401 点に入射する光線をレイトレーシ

26

ングにより計測するため，１枚の画像を作成するために 1 時間程度（Intel Corei7-3970X CPU @ 3.50GHz × 12, GeForce GTX680）の時間がかる．
そこで，放物面鏡は図 21 で定義した Z 軸を中心とする円対称であることから，

PSF の計測は X 軸方向と Z 軸方向のみに移動させながら PSF の取得を行い，取得した PSF を Z 軸中心に回転させることで位置依存 PSF の計測を行う．また，
点光源の位置に対応した点を中心とした 61 × 61 画素のみを計測に用いることで，PSF の作成に必要な時間を低減する．
PSF 計測の際には点光源を Z 軸を中心に 0.01mm 間隔で 20mm の位置まで計測する．鮮明化処理に使用する PSF は，計測済みの PSF を用いて，Z 軸からの距
離と Z 軸中心の回転量によって移動させて再現した PSF を用いる．Z 軸からの距離に対応する PSF が計測されていない場合，近い距離で計測した 2 種類の PSF
を近さの割合で足し合わせた線形補間によって近似的に PSF を再現している．
はじめに，点光源を奥行き方向（Z 軸）方向に移動させながら撮影を行った際のボケ方の変化を図 23 に示す．グラフは PSF のボケ形状を示すもので，撮像素子の各画素に影響する光の強度の割合を示している．グラフより，点光源が Z 軸
方向に 0.1mm 移動するだけで大きくボケていることから，提案装置が非常に浅
い被写界深度を実現できていることが分かる．次に，点光源を焦点位置から，撮像素子の水平方向である X 軸方向に移動させながら撮影を行った際のボケ方の変化を図 24 に示す．グラフは，図 23 のグラフ同様，PSF のボケの形状を示すもの
で撮像素子の各画素に影響する光の強度の割合を示し，点光源が焦点から撮像素子に水平方向に移動していくため，光の強度のピークが撮像素子の U 軸方向に移動している．水平方向の PSF は 2.0mm 移動した点でボケが大きくなるが，奥行き方向の移動に対してボケ量が少ないため，本撮影装置は他の奥行きに存在する層を大きくぼかして特定層のみを鮮明に撮影することが可能となる．しかしながら，レンズ付きカメラ等の通常の撮影装置に比べ撮像素子における水平方向のボケ度合いを示す幾何収差が大きく，撮影画像周辺でボケが発生しやすいことも確認できる．
図 25 に各位置の PSF の周波数成分を示す．焦点位置の PSF を示す X = 0.0mm,

Z = 0.0mm の位置の PSF 形状は焦点位置にある撮像素子の一点でのみ観測され27

Z軸方向の
点光源の位置
0.00mm0.10mmz = 0.00 mm

光線強度0.20mm
0.30mm

0.40mmz = 0.20 mm（輝度× 10）z = 0.40 mm（輝度× 10）U軸[mm]

図 23 焦点から Z 軸方向に点光源を移動させたときに観測される PSF の形状（左図：U 軸方向の PSF の断面図，右図：観測された PSF）
X軸方向の
点光源の位置
0.00mm
1.00mmx = 0.00 mm

光線強度

2.00mm
3.00mm
4.00mmx = 2.00 mm

x = 4.00 mm（輝度× 3）U軸[mm]

図 24 焦点から X 軸方向に点光源を移動させたときに観測される PSF の形状（左図：U 軸方向の PSF の断面図，右図：観測された PSF）
るため，すべての周波数成分が観測されている．X 軸に沿った撮像素子の水平方向への移動に対しては，高周波成分が少なくなりボケの形状が広がっていること

28

Z = 0.4mm
Z = 0.2mm

0.5

Z = 0.0mm

奥行き方向（Z軸）に沿った移動量

10
X = 0.0mm

X = 2.0mm

X = 4.0mm

水平方向（X軸）に沿った移動量

図 25 各位置で観測された PSF の周波数成分が確認できるが，高周波成分の低下に規則性が見られない．また，奥行き方向を示す Z 軸に沿った移動に対しては，ドーナツ形状にボケていることから周波数の分布に規則性がなく，PSF に含まれる周波数成分は PSF の位置によって大きく変化していることが分かる．このことより，提案装置は位置に依存かつ規則性のない PSF を持っていることが確認できる．

5.1.3 実験結果
本撮影実験に使用する撮影対象を図 26 に示す．撮影対象は層間隔が 0.5mm の２層構造物体で，上層に図 26(b) に示す， 蝶々 の画像と，下層に図 26(c) に示
す ABCDという文字の画像を使用する．それぞれの画像は撮像素子と同様20mm × 20mm で，上層の画像のみ透過率を 50% に設定している．図 27 はそれ
29

(a) 撮影対象の概観(b) 上層画像(c) 下層画像

図 26 シミュレーション環境実験に使用する撮影対象(b) 撮影対象の下層に焦点を合わせて撮影した画像(a) 撮影対象の上層に焦点を合わせて撮影した画像図 27 提案撮影装置による撮影結果ぞれの層に焦点を合わせて撮影した画像であり，上層下層それぞれの画像を撮影できていることから，提案する撮影装置が非常に浅い被写界深度持つことが確認できるが，画像の周辺でのボケが発生しやすく，他層のボケも映りこむことが分かる．
次に，位置依存 PSF を用いた鮮明処理を行う．はじめに，図 28 に各層に焦点を合わせて撮影した２枚の画像を用いて，上界・下界制約の条件を変えて鮮明化処理を行った結果を示す．図 29 は 1 画素で観測されうる最大輝度値を”1”として，撮影対象に用いた画像と撮影画像から最適化により推定した鮮明化処理結果との差を示している．

30

上層
下層
(a) 制約なし(b) 下界制約(c) 上界・下界制約 (d) 上層：上界・下界制約(d) 下層：下界制約
2枚の画像を利用した鮮明化処理結果
図 28 各層に焦点を合わせて撮影した
2 枚の撮影画像を用いた鮮明化処理結果

上層

誤差
0.2

下層

0.1

0.0
(a) 制約なし(b) 下界制約(c) 上界・下界制約 (d) 上層：上界・下界制約(d) 下層：下界制約
2枚の画像を利用した鮮明化処理結果
図 29 撮影対象画像と 2 枚の撮影画像を用いた鮮明化処理結果との誤差

図 28(a) は上界・下界の制約を与えず鮮明化処理を行った結果を示してる．異なる層からボケて映りこむ画像や撮影画像周辺での幾何収差によるボケを軽減できることが確認できる．図 28(b) は光線強度は負の値にならないという条件である下界制約を追加して鮮明化処理を行った結果で，ノイズが軽減されており，よ

31

撮影画像

上層画像

下層画像

焦点を合わせる
位置

層間隔
0.5mm

撮影間隔
0.25mm

図 30 最適化に用いる画像の撮影位置
り鮮明な特定層抽出ができていることがわかる．図 28(c) は PSF と撮影画像から算出できる上界制約も追加した鮮明化処理の結果を示している．上界・下界制約を用いた鮮明化処理では，下層の水平方向のボケである幾何収差を低減させることができていることが分かる．しかし，鮮明化処理に用いる PSF は上層の画像によって遮られた光線を考慮していないため，下層の上限値が小さく算出され，その影響によりボケが上層に映りこんだ画像が推定されるため，推定画像のノイズが現れていると推測される．そこで，上層のみに上界制約を与え最適化を行った結果を図 28(d) に示す．上層の映りこみの影響を低減させることができたが，下層の幾何収差によるボケを低減することができず，下界制約を与え最適化を行った図 28(b) と同等の鮮明化結果であることが分かる．
次に，図 30 に示すように，焦点位置を 0.25mm 間隔でずらした５枚の撮影画像（それぞれの層に焦点を合わせたときに撮影した２枚の画像に加え、上層と下層の間や，上層の上，下層の下に焦点を合わせた３枚の画像）を入力として用い
鮮明化処理を行った．
図 31 に 5 枚の画像を用いて上界・下界制約の条件を変えて鮮明化処理を行った
結果を示す．図 32 は 1 画素で観測されうる最大輝度値を”1”として，撮影対象に用いた画像と撮影画像から最適化により推定した鮮明化処理結果との差を示して32

いる．図 31(a) は最適化を行う際に制約を用いず鮮明化処理を行った結果である．
撮影した 2 枚の画像のみを用いた鮮明化処理と比べ，ノイズやボケを取り除けていることが分かる．図 31(b) は下界制約のみを用いて推定した結果で，下層画像の影響により上層で観測されるボケを軽減できていることが分かる．しかし，下界・上界制約を用いた鮮明化結果は，図 31(c) に示すように下層画像にノイズが発生し，上層に下層の画像が映り込んで推定されている．これは，2 枚の撮影画像を用いたときと同様，上層によって遮蔽された光線を考慮していないため，上
界制約の上限値が小さく算出されるためである．図 31(d) は下界制約と上層にのみ上界制約を用いて鮮明化を行った結果であり，下界制約のみを用いて推定した結果と同等の鮮明化結果であるが，上界・下界制約を行った際の下層に現れるノイズを低減しており，上層への映りこみを低減している．
次に，SAD(Sum of Absolute Diﬀerence) と SSD(Sum of Squared Diﬀerence) を用いて鮮明化処理の効果を定量的に評価する．SAD と SSD の計算には撮影に用いた撮影対象の各層の真値画像と，撮影画像から推定された各層の画像を用いる．
表 3 は，1 画素で観測されうる最大輝度値を”1”として，各層の撮影画像と鮮明化処理によって推定された各層の画像に対する SAD と SSD の値を示す．制約を用いない最適化による鮮明化処理を行うことで，単純な撮影画像と比べ上層・下層の映り込みが軽減され，また，幾何収差により発生する画像周辺のボケが低減されていることが分かる．特に，上層によって光が遮られる下層を撮影した際には，鮮明化処理によって上層の映り込みが低減され，撮影対象の画像との相関値が高くなっていることが分かる．しかし，図 28(a) より他層の影響によりノイズのような模様が生成されていることが分かる．これは，推定画像の一部が負の値として推定されることで，撮影対象から出た光線強度と PSF，観測画像の関係を示す
式 (18) を保つために，他の位置の光線強度が，より大きい値に推定されるためである．
下界制約を用いた鮮明化処理では，制約を加えることで光強度が負の値にならないため，他層からの影響で計測されていたノイズが軽減され，より鮮明な特定層のみの画像を得られていることが分かる．
下界制約と上界制約を用いた鮮明化処理では，下界制約を用いた鮮明化処理と

33

上層
下層
(a) 制約なし(b) 下界制約(c) 上界・下界制約 (d) 上層：上界・下界制約(d) 下層：下界制約

図 31 各層とその前後の奥行きに焦点を合わせて撮影した 5 枚の撮影画像を用いた鮮明化処理結果

上層

誤差
0.2

下層

0.1

0.0
(a) 制約なし(b) 下界制約(c) 上界・下界制約 (d) 上層：上界・下界制約(d) 下層：下界制約

図 32 撮影対象画像と 5 枚の撮影画像を用いた鮮明化処理結果との誤差
比べ，撮影対象との相関値が低い．これは，PSF が上層の遮蔽の影響を考慮していないことにより，撮影画像から推定される上限値が実際の光線強度より小さく算出されるためである．そのため，2 枚の撮影画像を用いた鮮明化処理結果 (図34表 3 撮影対象の各層の画像と鮮明化処理による推定画像の類似度
上層

下層

SAD SSD

SAD

SSD

2813

367

4086

1134

上界・下界制約なし鮮明化処理

3193

194

4512

863

下界制約のみ用いた鮮明化処理

810

45

1927

709

上界・下界制約を用いた鮮明化処理

984

88

1888

880

下界制約と上層にのみ上界制約を用いた鮮明化処理

789

47

1962

702

上界・下界制約なし鮮明化処理

2212

101

3560

717

下界制約のみ用いた鮮明化処理

702

37

1384

592

上界・下界制約を用いた鮮明化処理

903

73

1746

888

下界制約と上層にのみ上界制約を用いた鮮明化処理

692

39

1530

584

撮影画像

2 枚の撮影画像を用いた結果

5 枚の撮影画像を用いた結果

28(c)) と，5 枚の撮影画像を用いた鮮明化処理結果 (図 31(c)) のどちらにも下層の映り込みが上層に現れていることが分かる．下界制約に加え上層のみに上界制約を適用した鮮明化処理では表 3 より，上層の鮮明化ができていることから，下層からの映り込みを低減できていることが分かる．この結果より，本研究で提案する鮮明化処理を用いることで幾何収差の影響を取り除き，他層から映りこみを低減した画像を推定可能であることが確認できる．

5.2 実環境実験
実環境実験では，図 33 に示す放物面鏡と撮像素子を用いたプロトタイプ撮影システムを構築し，シミュレーション環境実験と同様の 2 層構造物体を撮影対象とする．本実験では，図 34 に示す比較的開口数が高く被写界深度の浅いレンズ（SCHNEIDER F0.95 Fast C-Mount Lens, F0.95）を接写用エクステンダーを用

35

平行移動ステージ

撮像素子( Point Grey Grasshopper2 ,
1,384×1,036pixel, Sony ICX285 )放物面鏡( 3-D MIRASCOPE
直径 147mm )光源( 液晶ディスプレイ用LEDバックライト )図 33 構築した提案プロトタイプ撮影システム
撮像素子( Point Grey Grasshopper2 ,
1,384×1,036pixel, Sony ICX285 )撮影対象

F0.95単焦点レンズ( SCHNEIDER, F0.95 Fast C-Mount Lens)

接写用エクステンダー（高開口撮影用）

図 34 比較対象として使用するレンズを用いた撮影システム

36

平行移動ステージ

マスク：
光源からの直接光を遮蔽し，ミラーによって反射した光のみを観測

撮像素子

撮影対象

放物面鏡

光源

図 35 提案プロトタイプ撮影システムの構成
いて取り付けた装置およびプロトタイプ撮影システムによる撮影結果と比較することで，実際の環境においても提案撮影システムが非常に浅い被写界深度を持つことを確認する．また，構築した撮影システムの PSF の計測を行い，鮮明化処理を行うことでより鮮明な特定層抽出を行う．

5.2.1 撮影装置と方法
図 35 は本実験で使用する撮影装置（図 33）の構成を示しており，2 枚の放物面
鏡の一方の焦点付近に撮像素子を設置し，もう一方の焦点付近に撮影対象設置する．本撮影装置で使用する放物面鏡は内部に配置した物体が浮いて見える装置

Mirage を使用し，外径は約 147mm で放物面鏡の頂点付近に穴を開けている．撮像素子は Point Grey 社の Grasshopper2（GS2-FW-14S5C-C, 1, 384 × 1036 画素,

Sony ICX285 CCD, 画素サイズ 6.45µm × 6.45µm）の外装を取り外し，レンズを取り付けず撮像素子をむき出しの状態にして使用する．撮影対象に使用する光源
は液晶ディスプレイに使用される LED バックライトを使用し，光源の指向性を

37

20mm

20mm

印字した点

(a) 点を印字したOHPシート(b) 無地OHPシート

図 36 PSF 取得に用いる撮影対象(a) 無地OHPシートの撮影結果(b) 点を印字したOHPシートの撮影結果(c) 2枚の画像の差分

図 37 PSF の取得方法抑えるために，白濁したプラスチックボードをバックライトの上に設置している．
この光源を平行移動ステージ（HPS60-20X-M5）に取り付け，光源の上に撮影対象を設置し，平行ステージを奥行き方向に移動させることで撮影対象に合わせる
焦点の位置を調整し撮影を行う．また，光源からの直接の光を防ぐために 2 枚の放物面鏡内部に，直径 50mm の光吸収シートを取り付けたマスクを設置する．

5.2.2 PSF の取得
鮮明化処理に用いる PSF の取得を行うために撮影対象を点光源を移動させながら撮影する．本実験では非常に小さい範囲で発行する点光源を用意することが困難であるため，PSF の計測には，点を印字した OHP シートを撮影することで印字した点によって遮蔽される光線を計測し，PSF を算出する

38

21箇所
（撮像素子840画素分）

21箇所

撮像素子40画素分（258μm）

PSF計測位置：1層あたり441箇所

図 38 PSF の計測範囲と PSF 計測に用いる OHP シートに印字する点のサイズ
図 36(a) に示す一点を印字した OHP シートを用いることで，一点によって遮蔽される光線を計測し図 36(b) に示す無地の OHP シートを撮影対象としてそれぞれ同一箇所で撮影する．図 37(a),(b) に示す 2 枚の撮影画像の差分を計算することで PSF の取得を行う．
なお，撮像素子上の 1 画素は非常に小さく，1 画素に対応する大きさの点を印刷することが困難であることから，図 38 に示すように，撮像素子の 40 × 40 画素（258µm × 258µm）に対応するサイズの点を印刷した OHP シートを用いて PSFを取得し，鮮明化処理の実験では，縦横それぞれ元の画像の 40 分の 1 のサイズの画像を用いて実験を行う．撮影したボケの光量の総和が 1 になるように正規化することで，ある空間中の 1 点に対応する PSF を取得する．
図 39 は点を印字した OHP シートを焦点付近から奥行き方向，水平方向に移動させたときの撮影画像である．図より奥行き方向に移動させた際のボケの形状が円形状にボケず特定の方向にボケやすいという特徴を持っていることが確認できる．これは，放物面鏡の精度が低いことや，撮像素子や撮影対象を焦点を中心とする位置に正確に配置することが困難であるためボケの形状が円対称にならないためと考えられる．シミュレーション環境では放物面鏡が１つの軸を中心とする
完全な円対称であったため，奥行き方向の位置と中心からの距離を示す 2 軸に沿って点光源を移動させ PSF の取得を行ったが，実環境では，この問題により推定
する画素全ての PSF の計測を行うために 3 軸の移動が必要となる．そこで，実環
境での PSF の取得には図 40 に示すようにロボットアーム（VP-6242M, DENSO）

39

(a) 焦点位置のPSF(b) X軸方向にずれたPSF(c) Z軸方向にずれたPSF

図 39 実環境実験において取得した PSF

ロボットアーム( VP-6242M, DENSO )繰り返し位置精度：20μm

光源

撮影対象

図 40 撮影対象の移動に使用するロボットアームの先端に光源を取り付け，点が印字された撮影対象を撮影する．

5.2.3 実験結果
図 41 は実験に使用する撮影対象となる 2 層構造物体であり，２種類の画像を

OHP シートに印刷し，層間隔が 1.2mm になるように配置している．撮影装置の光源に撮影対象を設置し，焦点位置を奥行き方向に変化させながら撮影した結果を図 42，図 43，図 44 に示す．図 42 は，上層に遮蔽物としてエッジが多く高周波成分が多く含まれる格子状のフェンス，下層に蝶々の画像を印刷した 2 層構造物体を撮影した結果である．通常の撮影装置では図 42(a) に示すように，焦点を合

40

20mm

20mm

2層構造物体上層画像

下層画像(a) 撮影対象1ABCD
2層構造物体上層画像(b) 撮影対象2

下層画像

AB
CD

2層構造物体上層画像

下層画像(c) 撮影対象3

図 41 実環境撮影実験に使用する撮影対象
わせていない面は少しボケて撮影されるが，それぞれの層を分離して撮影することは困難である．しかし，図 42 に示す本提案撮影装置を用いた結果では，下層に焦点を合わせる事で，上層のフェンスの画像を大きくぼかして撮影できている
ことがわかる．
図 43 は，上層に遮蔽物としてフェンス，下層に文字を印刷した 2 層構造物体を撮影した結果を示している．図 43 の結果は，図 42 の結果と同様，通常のカメ

41

Z= -1.8mm
Z= -1.2mm
Z = -0.6mm
Z= 0.0mm
Z = +0.6mm(下層に焦点を合わせて撮影)(上層に焦点を合わせて撮影)(a) F0.95レンズカメラによる撮影結果

Z= -1.8mm
Z= -1.2mm
Z = -0.6mm
Z= 0.0mm
Z = +0.6mm(上層に焦点を合わせて撮影)(下層に焦点を合わせて撮影)(b) 提案撮影装置による撮影結果

図 42 撮影対象 1 の撮影結果

Z= -1.8mm
Z= -1.2mm
Z = -0.6mm
Z= 0.0mm
Z = +0.6mm(下層に焦点を合わせて撮影)(上層に焦点を合わせて撮影)(a) F0.95レンズカメラによる撮影結果

Z= -1.8mm
Z= -1.2mm
Z = -0.6mm
Z= 0.0mm
Z = +0.6mm(上層に焦点を合わせて撮影)(下層に焦点を合わせて撮影)(b) 提案撮影装置による撮影結果

図 43 撮影対象 2 の撮影結果
ラを用いて撮影した結果と比べ，本撮影装置では焦点を合わせていない面の画像を大きくぼかすことができ，下層に焦点を合わせた際は，フェンスの層を大きく
ぼかし文字の面を撮影できていることから，非常に浅い被写界深度を実現できていることが分かる．

42

Z= -1.8mm
Z= -1.2mm
Z = -0.6mm
Z= 0.0mm
Z = +0.6mm(下層に焦点を合わせて撮影)(上層に焦点を合わせて撮影)(a) F0.95レンズカメラによる撮影結果

Z= -1.8mm
Z= -1.2mm
Z = -0.6mm
Z= 0.0mm
Z = +0.6mm(上層に焦点を合わせて撮影)(下層に焦点を合わせて撮影)(b) 提案撮影装置による撮影結果

図 44 撮影対象 3 の撮影結果
図 44 では，上層の遮蔽物に蝶々の画像を用いることで，下層の文字が大きく隠れている撮影対象を撮影した結果である．通常のカメラでは，蝶々が写るため下層の画像を撮影することが困難であるが，本撮影装置では下層に焦点を合わせた際に，上層の蝶々が大きくボケて下層の文字を撮影できている．
これらの撮影結果より非常に浅い被写界深度を持つ撮影装置が実現できている
ことが分かる．しかし，撮影画像にはシミュレーション環境と同様に焦点を合わせていない層の画像がボケて撮影されることや，放物面鏡の精度によるボケ形状の偏りがあるため，フェンスなどがズレて滲んで撮影されることが確認できる．
実環境における鮮明化処理実験では，図 45 で示す撮影対象を撮影し，図 46 に示す撮影画像と 5.2.1 項で述べた方法で取得した PSF を用いて鮮明化処理を行う．
図 45(b)，(c) に示す

A ， B の文字を印刷した OHP シートを上層と下層それぞれに約 1.25mm の間隔を空けて設置した 2 層構造物体を撮影対象として用いる．図 46 は PSF 取得時と同様に， A ， B を印刷した OHP シートを利用した 2 層構造物体撮影対象を撮影した画像と，無地のシートを貼り付けた撮影対象を撮影した画像の 2 枚の画像の差分画像を，撮像素子 40 × 40 画素が 1 × 1 画素に対応するようにサイズを調整した結果を示している．
図 47 は，鮮明化処理により推定した上層・下層画像である．推定した下層の画43

PSF計測範囲

441箇所

20mm
20mm

層間隔：1.25mm(a) 2層構造物体(b) 上層画像(c) 下層画像

図 45 鮮明化処理実験の撮影対象として用いる 2 層構造物体(a) 上層に焦点を合わせて撮影(b) 下層に焦点を合わせて撮影

図 46 鮮明化処理実験に用いる撮影画像
像を見ると，撮影画像よりもボケの影響が少なく， B の文字の形状が分かることから，幾何収差の影響を取り除けていることが分かる．しかし，上層の画像に関しては，文字の形状の復元ができておらず，また，上層・下層の鮮明化処理後の画像において画像にノイズや輝度ムラが発生している．これは，計測した PSFと同じ位置に撮影対象を配置することが困難であることや，ロボットアームを用いたとしてもその繰り返し誤差が 20 μ m あり，撮影画像が数画素ずれて撮影されるため，2 層構造物体の撮影対象と PSF の計測用撮影対象を完全に一致して配置することが困難であることが理由の一つとして考えられる．

44

(a) 上層(b) 下層図 47 鮮明化処理結果

5.3 シミュレーション環境実験と実環境実験の差異についての考察
シミュレーション環境では理想的な放物面鏡を用いた撮影を行うことができる
が，実環境で使用する放物面鏡は，製造精度や研磨精度などにより歪みが存在することや，100%の反射率が再現できないことから，シミュレーション環境と異なりボケ方に偏りが発生するため，実環境ではシミュレーション環境ほどの鮮明さで特定層のみを撮影することは困難である．特に本実験で使用した放物面鏡は，市販されている Mirage という玩具をもとに製作を行っているため，放物面鏡の精度が非常に悪く，シミュレーション環境を再現することは困難である．また，内部に取り付けるマスクを固定するための梁が存在することや，撮像素子や撮影対象を設置するための頂点付近に空けた穴の形状が真円でないこと，焦点位置を目視することができないため撮像素子や撮影対象の厳密な位置合わせが行えないことも撮影結果に影響を与えている．

45

6. まとめ
本論文では，正対する放物面鏡を用いた狭被写界深度撮影装置および，位置依存 PSF に基づき，撮影画像から特定層のみを推定する手法を提案した．提案した装置を用いることで顕微鏡などのレンズを用いた撮影装置では困難な広範囲な撮影ができ，複数視点からの画像を用いて開口数を大きくする合成開口法と比べ，撮影装置が単純で，画像処理を用いずに高開口撮影が可能であることが特徴である．提案した撮影装置は撮影対象が焦点位置から奥行き方向に移動すると大きく
ボケ，水平方向の移動では少しボケるという特性を持ち，この提案装置特有の位
置依存 PSF および，光線強度に関する物理法則による制約条件を用いた最適化により，鮮明な特定層のみの抽出を行った．
シミュレーション環境実験では，層間隔の狭い 2 層構造物体を撮影対象とし，それぞれの層に焦点を合わせて撮影した際に，焦点を合わせたの層以外が大きくボケた撮影画像が得られることを確認した．また，PSF の計測を行い，位置に依存した PSF を持つこと確認するとともに，それを鮮明化処理に用いることで，他層からの映りこみや幾何収差によるボケを取り除いた特定層のみを抽出した画像が推定できることを示した．実環境実験では，提案する撮影装置を構築し，比較的浅い被写界深度を持つカメラレンズを取り付けた撮影装置と比較することで非常に浅い被写界深度撮影が実現できていることを確認した．また，PSF の計測を行い，鮮明化処理を行うことで，下層の画像の幾何収差によるボケを軽減した推定画像を示した．
今後の課題として，鮮明化処理の推定精度向上のために他層の影響を考慮した鮮明化処理を行う必要がある。また，実環境では，鮮明化処理により推定した撮影対象の光線強度に大きなムラが発生していることや，上層の推定画像の幾何収差が取り除けていないことから，撮影装置の撮像素子・放物面鏡・撮影対象の位置を正確に位置合わせした PSF の取得を行い，鮮明化処理による推定画像の精度向上が必要となる．

46

謝辞
本研究の全過程を通して，懇切なる御指導，御鞭撻を賜りました視覚情報メディア研究室横矢直和教授に心より感謝致します．また、，本研究を進めるにあたり，有益な御助言，御鞭撻を頂いた光メディアインタフェース研究室向川康博教授に厚く御礼申し上げます．そして，本研究の遂行にあたり，始終暖かい御指導をして頂いた視覚情報メディア研究室佐藤智和准教授に深く感謝致します．また，本研究の行うにあたり，的確な御助言や御指導御指導を頂きました視覚情報メディア研究室河合紀彦助教に心より感謝いたします．そして，本研究を通じて，貴重な御助言を頂いた光メディアインタフェース研究室青砥隆仁氏に深く感謝いたします．特に，佐藤智和准教授，河合紀彦助教，青砥隆仁氏には，本研究の着想およびテーマ設定から研究の遂行，原稿執筆，発表練習，学内プロジェクトの遂行など，長期にわたり多くの御指導を頂き深く感謝致します．
また，研究室での生活を支援して頂いた，視覚情報メディア研究室石谷由美女
史，南あずさ女史，光メディアインタフェース登 淑恵女史に厚く御礼申し上げます．さらに，研究室のみならず研究室生活全般においてお世話になりました視覚
情報メディア研究室の諸氏に深く感謝いたします．そして，本研究のテーマのもととなり，研究の遂行に関して明るく道を照らして頂いた放物面鏡に厚く御礼申し上げます．最後に，研究活動だけでなく長い学生生活において温かく見守ってくださいました両親をはじめ，大学院生活に関わった全ての方々に感謝の意を表
します．

47

参考文献
[1] M. Minsky. Microscopy apparatus, December 19 1961. US Patent 3,013,467.
[2] J. G. White, W. B. Amos, and M. Fordham. An evaluation of confocal
versus conventional imaging of biological structures by fluorescence light microscopy. The Journal of cell biology, Vol. 105, No. 1, pp. 41–48, 1987.
[3] T. Tanaami, S. Otsuki, N. Tomosada, Y. Kosugi, M. Shimizu, and H. Ishida.
High-speed 1-frame/ms scanning confocal microscope with a microlens andnipkow disks. Applied Optics, Vol. 41, No. 22, pp. 4704–4708, 2002.
[4] V. Vaish, B. Wilburn, N. Joshi, and M. Levoy. Using plane + parallax forcalibrating dense camera arrays. In Proc. IEEE Conf. on Computer Vision
and Pattern Recognition, Vol. 1, pp. 2–9, 2004.
[5] B. Wilburn, N. Joshi, V. Vaish, E. V. Talvala, E. Antunez, A. Barth,
A. Adams, M. Horowitz, and M. Levoy. High performance imaging usinglarge camera arrays. ACM Trans. on Graphics, Vol. 24, No. 3, pp. 765–776,
2005.
[6] J. Unger, A. Wenger, T. Hawkins, A. Gardner, and P. Debevec. Capturing
and rendering with incident light fields. Technical report, DTIC Document,
2003.
[7] D. Lanman, D. Crispell, M. Wachs, and G. Taubin. Spherical catadioptric
arrays: Construction, multi-view geometry, and calibration. pp. 81–88, 2006.
[8] M. Levoy, B. Chen, V. Vaish, M. Horowitz, I. McDowall, and M. Bolas.
Synthetic aperture confocal imaging. ACM Trans. on Graphics, Vol. 23,
No. 3, pp. 825–834, 2004.
[9] S. Tagawa, Y. Mukaigawa, J. Kim, R. Raskar, Y. Matsushita, and Y. Yagi.
Hemispherical confocal imaging. IPSJ Trans. on Computer Vision and Applications, Vol. 3, pp. 222–235, 2011.
48

[10] E. H. Adelson and J. Y. A. Wang. Single lens stereo with a plenoptic camera.
IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol. 14, No. 2,
pp. 99–106, 1992.
[11] R. Ng, M. Levoy, M. Brédif, G. Duval, M. Horowitz, and P. Hanrahan. Light
field photography with a hand-held plenoptic camera. Stanford University
Computer Science Tech Report, Vol. 2, No. 11, pp. 1–11, 2005.
[12] T. Xue, M. Rubinstein, C. Liu, and W. T. Freeman. A computational approach for obstruction-free photography. ACM Trans. on Graphics, Vol. 34,
No. 4, p. 79, 2015.
[13] T. Georgiev, Z. Yu, A. Lumsdaine, and S. Goma. Lytro camera technology:
theory, algorithms, performance analysis. In Proc. SPIE Multimedia Content
and Mobile Devices, Vol. 8667, pp. 86671J–1–86671J–10, 2013.
[14] D. Cho, M. Lee, S. Kim, and Y. W. Tai. Modeling the calibration pipelineof the lytro camera for high quality light-field image reconstruction. In Proc.
Int. Conf. on Computer Vision, pp. 3280–3287, 2013.
[15] J. S. Goldstein, I. S. Reed, and L. L. Scharf. A multistage representation of
the wiener filter based on orthogonal projections. IEEE Trans. on Information Theory, Vol. 44, No. 7, pp. 2943–2959, 1998.
[16] S. Kuthirummal, H. Nagahara, C. Zhou, and S. K. Nayar. Flexible depthof field photography. IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol. 33, No. 1, pp. 58–71, 2011.
[17] H. Nagahara, S. Kuthirummal, C. Zhou, and S. K. Nayar. Flexible depth offield photography. In Proc. European Conf. on Computer Vision, pp. 60–73,
2008.
[18] R. Raskar, A. Agrawal, and J. Tumblin. Coded exposure photography: motion deblurring using fluttered shutter. ACM Trans. on Graphics, Vol. 25,
49

No. 3, pp. 795–804, 2006.
[19] M. Subbarao and G. Surya. Depth from defocus: A spatial domain approach.
Int. Journal of Computer Vision, Vol. 13, No. 3, pp. 271–294, 1994.
[20] A. P. Pentland. A new sense for depth of field. IEEE Trans. on patternanalysis and machine intelligence, Vol. 9, No. 4, pp. 523–531, 1987.
[21] A. Veeraraghavan, R. Raskar, A. Agrawal, A. Mohan, and J. Tumblin. Dappled photography: Mask enhanced cameras for heterodyned light fields andcoded aperture refocusing. ACM Trans. on Graphics, Vol. 26, No. 3, pp.
69–1–69–12, 2007.
[22] A. Levin, R. Fergus, F. Durand, and W. T. Freeman. Image and depth froma conventional camera with a coded aperture. ACM Trans. on Graphics,
Vol. 26, No. 3, pp. 70–1–70–9, 2007.
[23] C. Zhou, S. Lin, and S. Nayar. Coded aperture pairs for depth from defocus.
In Proc. IEEE Int. Conf. on Computer Vision, pp. 325–332, 2009.
[24] H.

Siedentopf

and

R.

Zsigmondy.

Übersichtbarmachungundgrössenbestimmung ultramikroskopischer teilchen mit besonderer anwendung auf goldrubingläser. Vol. 10, pp. 1–39, 1903.
[25] N. Jährling, K. Becker, and H. U. Dodt. 3d-reconstruction of blood vessels
by ultramicroscopy. Organogenesis, Vol. 5, No. 4, pp. 227–230, 2009.
[26] K. Tanaka, Y. Mukaigawa, H. Kubo, Y. Matsushita, and Y. Yagi. Recovering
inner slices of layered translucent objects by multi-frequency illumination.
IEEE Trans. on Pattern Analysis and Machine Intelligence, 2016.
[27] S. Adhya and J. Noé. A complete ray-trace analysis of the ’mirage’ toy. In
Proc. SPIE Int. Topical Meeting on Education and Training in Optics andPhotonics, pp. 966518–1–966518–7, 2007.
50

[28] A. Butler, O. Hilliges, S. Izadi, D. Molyneaux, and D. Kim. Vermeer: directinteraction with a 360 ° viewable 3d display. In Proc. ACM Symposium on
User Interface Software and Technology, pp. 569–576, 2011.
[29] J. O. Castañeda. Foucault, wire, and phase modulation tests. Optical Shop
Testing, Third Edition, pp. 275–316, 1992.
[30] D. Gabay and B. Mercier. A dual algorithm for the solution of nonlinear
variational problems via finite element approximation. Computers & Mathematics with Applications, Vol. 2, No. 1, pp. 17–40, 1976.
[31] Persistence of vision raytracer. http://www.povray.org/.

51