(57)【要約】【課題】近距離から遠距離までフォーカスの合った被写界深度の深い立体視用の画像を撮像可能とする。【解決手段】立体撮像装置は、被写体を空中に結像する１つの対物レンズ１と、結像された空中像２を再結像するリレーレンズ系３と、リレーレンズ系３の絞り３２近傍に配置され絞り３２に到達した光束を複数に分割する瞳分割手段３３と、瞳分割手段３３により分割されリレーレンズ系３の各結像面に配置された複数の撮像素子４ａ，４ｂとを備え、複数の撮像素子４ａ，４ｂにより立体視用の画像を撮像する。リレーレンズ系３の絞り３２近傍に波面変調素子３５が配置されており、この波面変調素子３５により被写界深度の深い立体視用の画像を撮像可能としている。【選択図】図１
2013236291.tif 000002
【特許請求の範囲】
【請求項１】
被写体を空中に結像する１つの対物レンズと、該結像された空中像を再結像するリレーレンズ系と、該リレーレンズ系の絞り近傍に配置され該絞りに到達した光束を複数に分割する瞳分割手段と、該瞳分割手段により分割され前記リレーレンズ系の各結像面に配置された複数の撮像素子とを備え、該複数の撮像素子により立体視用の画像を撮像する立体撮像装置であって、
前記対物レンズの絞り近傍または前記リレーレンズ系の絞り近傍に波面変調素子を配置したことを特徴とする立体撮像装置。
【請求項２】
前記瞳分割手段は、前記リレーレンズ系の絞り近傍に配置されたプリズムの反射面であることを特徴とする請求項１に記載の立体撮像装置。
【請求項３】
前記波面変調素子は、光軸に非対称な位相板として構成され、前記立体撮像装置は、予め定められた１つのＰＳＦデータを記憶したＰＳＦ記憶部と、該１つのＰＳＦデータに基づいて前記複数の撮像素子で撮像された各画像データを復元する複数の画像復元部とを備えたことを特徴とする請求項１または２に記載の立体撮像装置。
【請求項４】
前記波面変調素子は、光軸に対称な位相板として構成され、前記立体撮像装置は、被写体までの距離情報に対応付けてＰＳＦデータを記憶した距離対応ＰＳＦ記憶部と、前記複数の撮像素子で撮像された各画像データから距離情報を算出する距離情報算出部と、該算出した距離情報に対応するＰＳＦデータを前記距離対応ＰＳＦ記憶部から抽出し、該抽出したＰＳＦデータに基づいて前記各画像データを復元する複数の画像復元部とを備えたことを特徴とする請求項１または２に記載の立体撮像装置。
【請求項５】
前記プリズムの反射面を曲面形状とすることで、該反射面が前記波面変調素子として機能することを特徴とする請求項２に記載の立体撮像装置。
【請求項６】
前記プリズムの反射面形状は、
Ｚ＝αＸ３+βＹ３、但し、α，βは係数、Ｘは光軸からのプリズムの折り曲げと垂直な方向の距離、Ｙは光軸からのプリズムの折り曲げ方向の距離、
により定義される非球面形状であることを特徴とする請求項５に記載の立体撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体撮像装置に関し、より詳細には、視差の異なる複数の画像を撮像することにより、立体視を可能とする立体撮像装置に関する。
【背景技術】
【０００２】
従来、内視鏡や顕微鏡などの分野において、被写体からの物体光を、１つの撮像光学系で取り込み、光学系内部で複数の光束に分割し、視差の異なる複数の画像を撮像することにより、立体視を可能とする立体撮像装置が知られている（例えば、特許文献１，特許文献２を参照）。
【０００３】
以下、従来の立体撮像装置について図１５に基づき説明する。図１５（Ａ）において、被写体（図示せず）上の点光源から発した光は対物レンズ１に入射する。対物レンズ１に入射した光束は対物レンズ１の絞り１２の前側の前群レンズ１１、絞り後の後群レンズ１３で集光され、対物レンズ１の像面に空中像２として結像される。これは被写体上の点光源と共役となっている。この空中像２を物体面としてリレーレンズ系３が配置される。リレーレンズ系３に入射した光束は、その前群レンズ３１により上光線、主光線、下光線が略平行になるように曲げられリレーレンズ系３の絞り３２に入射する。リレーレンズ系３の絞り３２付近に光束を２方向に分割し方向を変える三角プリズムやミラーなどの瞳分割手段３３が配置される。なお、ここでいう瞳とは絞りの像のことを意味し、図１５（Ａ）ではリレーレンズ系３の絞り３２の前群レンズ３１による像を瞳と呼ぶ。
【０００４】
ここで、図１５（Ｂ）は、光の入射側から見たリレーレンズ系３の絞り３２を示している。図１５（Ｂ）に示すように、被写体から右方向に発せられた物体光は、対物レンズ１により左右反転し、リレーレンズ系３の瞳３２の左側領域３２ａに到達する。同様に、被写体から左方向に発せられた物体光は、対物レンズ１により左右反転し、リレーレンズ系３の瞳３２の右側領域３２ｂに到達する。リレーレンズ系３の瞳の左側領域３２ａに到達した光は瞳分割手段３３ａにより左方向に反射し、リレーレンズ系３の瞳の右側領域３２ｂに到達した光は瞳分割手段３３ｂにより右方向に反射する。
【０００５】
すなわち、リレーレンズ系３の瞳を左側領域３２ａと右側領域３２ｂに分割すると、瞳の左側領域３２ａには物体から右方向に向かう光束が、瞳の右側領域３２ｂには物体から左方向に向かう光束が集まるため、瞳の左側領域３２ａと右側領域３２ｂには２つの異なる方向の視差を持つ光が集まることが分かる。瞳分割手段３３ａにより左方向に反射した光は、リレーレンズ系３の後群レンズ３４ａで撮像素子４ａ上に結像される。同様に、瞳分割手段３３ｂにより右方向に反射した光は、リレーレンズ系３の後群レンズ３４ｂで撮像素子４ｂ上に結像される。
【０００６】
このように従来の立体撮像装置は、１つの対物レンズ１によって取り込んだ光束を、リレーレンズ系３の絞り３２近傍に設けた瞳分割手段３３を用いて２つの異なる領域に分割し、それぞれ異なる２つの撮像素子４ａ，４ｂ上に結像することにより、左右方向に視差の異なる２つの画像を撮像可能としている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平６−１９４５８１号公報
【特許文献２】特開平８−２２０４４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ここで、一般的な撮像装置の被写界深度は下記の式（１）で示される。
前側被写界深度    Ｌｆ＝δ・Ｆ・Ｌ２／（ｆ２＋δ・Ｆ・Ｌ）
後側被写界深度    Ｌｒ＝δ・Ｆ・Ｌ２／（ｆ２−δ・Ｆ・Ｌ）
被写界深度＝Ｌｆ＋Ｌｒ      …式（１）
但し、ｆは光学系の焦点距離、Ｆは光学系のＦ値（Ｆｎｏ）、δは許容錯乱円直径（許容できるぼけ）、Ｌは撮像距離である。
【０００９】
上記式（１）より分かるように被写界深度は、撮像距離Ｌが決定されると、撮像光学系のＦｎｏ、焦点距離ｆ、許容錯乱円直径δで一意に決定されてしまう。一般的なカメラでは、Ｆｎｏ、焦点距離ｆ、許容錯乱円直径δに制約があるため、近距離から遠距離までフォーカスの合った、いわゆる全焦点画像を撮影することはできない。
【００１０】
このことは、上述の特許文献１，２に記載の立体撮像装置においても同様であり、被写界深度が制限されるという問題がある。特に近年のＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの生産設備の進歩に伴い、撮像素子の画素の高精細化・小型化が進み、撮像光学系は、明るく、許容錯乱円直径が小さくなっている。このため、上記のような立体撮像装置の被写界深度は狭く制限されている。
【００１１】
本発明は、上述のような実情に鑑みてなされたもので、近距離から遠距離までフォーカスの合った被写界深度の深い立体視用の画像を撮像することができる立体撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、本発明の第１の技術手段は、被写体を空中に結像する１つの対物レンズと、該結像された空中像を再結像するリレーレンズ系と、該リレーレンズ系の絞り近傍に配置され該絞りに到達した光束を複数に分割する瞳分割手段と、該瞳分割手段により分割され前記リレーレンズ系の各結像面に配置された複数の撮像素子とを備え、該複数の撮像素子により立体視用の画像を撮像する立体撮像装置であって、前記対物レンズの絞り近傍または前記リレーレンズ系の絞り近傍に波面変調素子を配置したことを特徴としたものである。
【００１３】
第２の技術手段は、第１の技術手段において、前記瞳分割手段は、前記リレーレンズ系の絞り近傍に配置されたプリズムの反射面であることを特徴としたものである。
【００１４】
第３の技術手段は、第１または第２の技術手段において、前記波面変調素子は、光軸に非対称な位相板として構成され、前記立体撮像装置は、予め定められた１つのＰＳＦデータを記憶したＰＳＦ記憶部と、該１つのＰＳＦデータに基づいて前記複数の撮像素子で撮像された各画像データを復元する複数の画像復元部とを備えたことを特徴としたものである。
【００１５】
第４の技術手段は、第１または第２の技術手段において、前記波面変調素子は、光軸に対称な位相板として構成され、前記立体撮像装置は、被写体までの距離情報に対応付けてＰＳＦデータを記憶した距離対応ＰＳＦ記憶部と、前記複数の撮像素子で撮像された各画像データから距離情報を算出する距離情報算出部と、該算出した距離情報に対応するＰＳＦデータを前記距離対応ＰＳＦ記憶部から抽出し、該抽出したＰＳＦデータに基づいて前記各画像データを復元する複数の画像復元部とを備えたことを特徴としたものである。
【００１６】
第５の技術手段は、第２の技術手段において、前記プリズムの反射面を曲面形状とすることで、該反射面が前記波面変調素子として機能することを特徴としたものである。
【００１７】
第６の技術手段は、第５の技術手段において、前記プリズムの反射面形状は、
Ｚ＝αＸ３+βＹ３、但し、α，βは係数、Ｘは光軸からのプリズムの折り曲げと垂直な方向の距離、Ｙは光軸からのプリズムの折り曲げ方向の距離、
により定義される非球面形状であることを特徴としたものである。
【発明の効果】
【００１８】
本発明によれば、１つの対物レンズからの光束をリレーレンズ系で分割して視差の異なる複数の撮像画像を得る際に、対物レンズの絞り近傍またはリレーレンズ系の絞り近傍に配置した波面変調素子によるぼけに基づき画像を復元することで近距離から遠距離までフォーカスの合った被写界深度の深い撮像画像を得ることができる。このため、異なる撮像光学系により別々に撮像された画像を立体視するときと比べ、レンズの歪の個体差、アライメントによる光軸の向きのばらつき等の影響を受けにくく、かつ見たい被写体にいつでもピントの合った立体画像を撮像することが可能となる。
【図面の簡単な説明】
【００１９】
【図１】本発明による立体撮像装置の要部構成例を示す図である。
【図２】対物レンズの焦点距離ｆが１１ｍｍのときの物体距離ａと像距離ｂとの関係の一例を示す図である。
【図３】対物レンズの一例を示す図である。
【図４】物体面から光学系までの距離（撮像距離）が変化したときのＰＳＦデータの一例を示す図である。
【図５】図４のＰＳＦに対応した撮像画像の一例を示す図である。
【図６】プリズムに波面変調素子の機能を持たせた場合のリレーレンズ系の構成例を示す図である。
【図７】プリズムの反射面に式（４）で示される波面変調素子としての機能を持たせたときの光学系によるＰＳＦデータの一例を示す図である。
【図８】図７のＰＳＦに対応した撮像画像の一例を示す図である。
【図９】位相板を用いた全焦点カメラの原理について説明するための図である。
【図１０】図８の撮像画像から図７のＰＳＦデータを用いてぼけを除去した復元画像の一例を示す図である。
【図１１】本発明の一実施形態に係る立体撮像装置の要部構成例を示すブロック図である。
【図１２】本発明の他の実施形態に係る立体撮像装置の要部構成例を示すブロック図である。
【図１３】立体撮像装置が備える２つの撮像素子により撮像された画像の一例を示す図である。
【図１４】本発明による画像復元方法の一例を説明するための模式図である。
【図１５】従来の立体撮像装置について説明するための図である。
【発明を実施するための形態】
【００２０】
以下、添付図面を参照しながら、本発明の立体撮像装置に係る好適な実施の形態について説明する。本発明による立体撮像装置は、Ｆ値が小さく被写界深度が狭い３Ｄ顕微鏡や３Ｄ内視鏡、高画素３Ｄカメラなどにおいて特に有効に適用できるものである。
【００２１】
図１は、本発明による立体撮像装置の要部構成例を示す図である。基本的な構成は図１５に示した構成と同様であるが、リレーレンズ系３内に波面変調素子３５を備えた点が異なる。図１（Ａ）において、前述したように、被写体（図示せず）上の点光源から発した光は対物レンズ１に入射する。対物レンズ１に入射した光束は対物レンズ１の絞り１２の前側の前群レンズ１１、絞り後の後群レンズ１３で集光され、対物レンズ１の像面に空中像２として結像される。この結像において被写体と空中像２は共役関係にあり、画角が非常に小さい近軸のとき下記の式（２）が成立する。
１／ａ＋１／ｂ＝１／ｆ    …式（２）
但し、ａは被写体からレンズまでの距離（物体距離）、ｂはレンズから像面までの距離（像距離）、ｆは対物レンズの焦点距離である。
【００２２】
図２に対物レンズ１の焦点距離ｆが１１ｍｍのときの物体距離ａと像距離ｂとの関係の一例を示す。これより、３００ｍｍ〜１００００ｍｍの物体距離ａに対して、像距離ｂは１１.４ｍｍ〜１１.０ｍｍに縮小されていることが分かる。すなわち空中像２は対物レンズ１から１１.４ｍｍ〜１１.０ｍｍの範囲にできることになる。
【００２３】
図３に対物レンズ１の一例を示す。図中、１１は対物レンズ１の前群レンズ、１２は絞り、１３は対物レンズ１の後群レンズを示す。このように、光学系の収差、明るさ、画角などの仕様を満足するために、前群レンズ１１、後群レンズ１３ともに複数枚のレンズで構成されている。また、後群レンズ１３の最後に配置している貼合せレンズで撮像素子に入射する各画角の主光線を平行にしている。これにより対物レンズ１の焦点位置によらず像サイズが変わらないようにすることができる。
【００２４】
図１（Ａ）に戻り、空中像２を物体面としてリレーレンズ系３が配置される。リレーレンズ系３に入射した光束は、その前群レンズ３１により上光線、主光線、下光線が略平行になるように曲げられリレーレンズ系３の絞り３２に入射する。リレーレンズ系３の絞り３２付近には光束を２方向に分割し方向を変える三角プリズムやミラーなどの瞳分割手段３３が配置される。ここでいう瞳とは絞りの像のことを意味し、リレーレンズ系３の絞り３２の前群レンズ３１による像を瞳と呼ぶ。また、瞳分割手段３３は、特に上記のような反射型素子に限定されるものではなく、例えば、ハエの目レンズ、回折格子、ホログラムなどの透過型素子を用いてもよい。以下では瞳分割手段３３としてプリズム（以下、プリズム３３ともいう）を用いた場合を例示して説明するものとする。
【００２５】
図１（Ｂ）は、光の入射側から見たリレーレンズ系３の絞り３２を示している。図１（Ｂ）に示すように、被写体から右方向に発せられた物体光は、対物レンズ１により左右反転し、リレーレンズ系３の瞳３２の左側領域３２ａに到達する。同様に、被写体から左方向に発せられた物体光は、対物レンズ１により左右反転し、リレーレンズ系３の瞳３２の右側領域３２ｂに到達する。リレーレンズ系３の瞳の左側領域３２ａに到達した光は瞳分割手段３３ａにより左方向に反射し、リレーレンズ系３の瞳の右側領域３２ｂに到達した光は瞳分割手段３３ｂにより右方向に反射する。
【００２６】
すなわち、リレーレンズ系３の瞳を瞳分割手段３３により左側領域３２ａと右側領域３２ｂとに分割すると、瞳の左側領域３２ａには物体から右方向に向かう光束が、瞳の右側領域３２ｂには物体から左方向に向かう光束が集まるため、瞳の左側領域３２ａと右側領域３２ｂには２つの異なる方向の視差を持つ光が集まることが分かる。そして、瞳分割手段３３ａにより左方向に反射した光は、リレーレンズ系３の後群レンズ３４ａで撮像素子４ａ上に結像される。同様に、瞳分割手段３３ｂにより右方向に反射した光は、リレーレンズ系３の後群レンズ３４ｂで撮像素子４ｂ上に結像される。これらの撮像素子４ａ，４ｂは、ＣＣＤまたはＣＭＯＳなどにより構成される。
【００２７】
以上のように、本発明による立体撮像装置は、１つの対物レンズ１によって取り込んだ光束を、リレーレンズ系３の絞り３２近傍に設けた瞳分割手段３３を用いて２つの異なる領域に分割し、それぞれ異なる２つの撮像素子４ａ，４ｂ上に結像することにより、左右方向に視差の異なる２つの画像を撮像可能としている。そして、更に、本発明による立体撮像装置は、リレーレンズ系３の絞り３２近傍に波面変調素子３５を配置している。この波面変調素子３５により変調された光束はＣＣＤやＣＭＯＳなどの撮像素子４ａ，４ｂの画素に結像する。撮像素子４ａ，４ｂは、それぞれの素子面に、波面変調素子３５によりぼけて結像した光を画像信号（画像データ）に変換し、変換した画像信号を画像復元部（後述）に出力する。画像復元部では、ぼけを含む画像信号にフィルタ処理を施し、これによりぼけを除去した２つの立体視用の画像を復元する。
【００２８】
上記の波面変調素子３５としては、例えば、光軸対称の位相板、あるいは、３次位相板と呼ばれる光軸非対称の位相板を用いることができる。また、プリズム３３の反射面を曲面形状とすることで、反射面が波面変調素子として機能するようにしてもよい。ここで、本発明の画像復元に用いるＰＳＦ（Point Spread Function：点像分布関数）について簡単に説明する。ＰＳＦとは、物体面上にある点光源が光学系を通過した時、結像面でどのように広がるかを表す点像分布関数である。換言すれば、このＰＳＦは光学系の点光源に対する応答を示すもので、画像のぼけの程度を示すものといえる。
【００２９】
図４は、物体面から光学系までの距離（以下、撮像距離という）が変化したときのＰＳＦデータの一例を示す図である。図４（Ｂ）の例はベストフォーカスのときのＰＳＦデータを示し、図４（Ａ）の例は撮像距離が近いときのＰＳＦデータを示し、図４（Ｃ）の例は撮像距離が遠いときのときのＰＳＦデータを示す。これより一般的な光学系ではベストフォーカスのときＰＳＦサイズが最も小さく絞られており、ベストフォーカスを外れるとＰＳＦサイズが大きくなっていることが分かる。
【００３０】
図５は、図４のＰＳＦに対応した撮像画像の一例を示す図である。図５（Ｂ）の例は撮像距離がベストフォーカスのときの撮像画像を示し、図５（Ａ）の例は撮像距離が近いときの撮像画像を示し、図５（Ｃ）の例は撮像距離が遠いときのときの撮像画像を示す。撮像距離によってＰＳＦや撮像画像のボケが大きく変化しているため、一般の光学系では被写界深度の制限が大きいと言える。ここで、一般的な撮像装置の被写界深度は前述の式（１）で示した通りである。つまり、被写界深度は、撮像距離が決定されると、撮像光学系のＦｎｏ（Ｆ値）、焦点距離、許容錯乱円直径で一意に決定されてしまう。一般的なカメラでは、Ｆｎｏ、焦点距離、許容錯乱円直径に制約があるため、近距離から遠距離までフォーカスの合った、いわゆる全焦点画像を撮影することはできない。
【００３１】
そこで、本発明では、光学系内に波面変調素子３５を設け、これにより撮像したぼけを含む画像に所定の画像処理を施して画像復元を行うことにより、近距離から遠距離までフォーカスの合った被写界深度の深い立体視用の画像を得るように構成されている。この波面変調素子３５としては、光軸非対称の３次位相板を用いることが望ましい。この３次位相板は、焦点外れによってＰＳＦの変化が小さいため、画像復元のために予め定められた１つのＰＳＦデータを用意しておくだけでよい。なお、３次位相板の原理については、例えば、「小松進一，「撮像システムの被写界深度を拡大するＷａｖｅｆｒｏｎｔＣｏｄｉｎｇ技術〜物理的な仕掛けと最近の動向〜」，映像情報メディア学会誌，2009,Vol.63,No.3,pp279-283」などに具体的に記載されており、ここでの説明は省略する。
【００３２】
また、波面変調素子３５として、光軸対称の位相板を用いるようにしてもよい。但し、光軸対称位相板は、焦点外れによってＰＳＦの変化が大きいため、２つの撮像素子４ａ，４ｂにより得られた距離情報に基づきＰＳＦを変化させ、変化させたＰＳＦにより画像を復元する。これにより３次位相板と同様に近距離から遠距離までフォーカスの合った画像復元を行うことができる。光軸対称位相板の具体例としては、入射側と出射側で異なる面により構成され、入射側の第１面は、被写体側に凹の球面形状をなし、出射側の第２面は、下記の式（３）により定義される偶数次非球面形状としたものが挙げられる。
Ｚ＝α（−ρ２＋ρ１６）、但し、αは係数、ρは光軸からの径方向距離    …式（３）
【００３３】
ここで、上述したように、波面変調素子３５としての機能をプリズム３３の２つの反射面により実現するようにしてもよい。これにより、立体撮像装置に部品を新たに追加することなく、波面変調素子としての機能を持たせることが可能となる。
【００３４】
図６は、プリズム３３に波面変調素子の機能を持たせた場合のリレーレンズ系３の構成例を示す図である。前群レンズ３１および後群レンズ３４は、色消しのため貼り合わせレンズで構成されており、収差低減など性能向上のため更にレンズ枚数を増やすことも可能である。絞り近傍にはプリズム３３を配置しており、プリズム３３は非球面形状の反射面を有している。例えば、３次位相板として機能させる場合、プリズム３３の反射面形状は、以下の式（４）で示すことができる。
Ｚ＝αＸ３+βＹ３    …式（４）
但し、α，βは係数、Ｘは光軸からのプリズムの折り曲げと垂直な方向の距離、Ｙは光軸からのプリズムの折り曲げ方向の距離である。
【００３５】
なお、プリズム３３は、例えば、金型を用いて透明なプラスチック材料を射出成型して作製する方法、あるいは、ガラスを研磨して作製する方法、などにより作製することができる。
【００３６】
図７は、プリズム３３の反射面に式（４）で示される波面変調素子としての機能を持たせたときの光学系によるＰＳＦデータの一例を示す図である。図７（Ａ）の例は撮像距離が近いときのＰＳＦデータを示し、図７（Ｂ）の例はベストフォーカスのときのＰＳＦデータを示し、図７（Ｃ）の例は撮像距離が遠いときのＰＳＦデータを示す。一般的な光学系とは異なり、元のＰＳＦサイズは大きく画像はぼけているが、距離によらず、ぼけ方の変化が小さいことが分かる。つまり、被写界深度によってぼけの程度は変わらず、ＰＳＦが分かっていれば、撮像後の画像を画像処理で復元し全焦点画像を生成することが可能となる。
【００３７】
図８は、図７のＰＳＦに対応した撮像画像の一例を示す図である。図８（Ｂ）の例はベストフォーカスのときの撮像画像を示し、図８（Ａ）の例は撮像距離が近いときの撮像画像を示し、図８（Ｃ）の例は撮像距離が遠いときのときの撮像画像を示す。図７、図８により、撮像距離によってＰＳＦや撮像画像のボケかたの変化が少ないことが分かる。
【００３８】
このような波面変調素子を用いた所謂全焦点カメラの原理について簡単に説明する。全焦点カメラは、光学レンズの中に特殊な波面変調素子を挿入し、ぼけた画像（中間画像）を撮影するもので、このぼけ方を、焦点外れによらず一定にできれば、単一の復元関数（デコンボリューションフィルタ）で画像を復元することができる。すなわち、図９に示す空間領域と周波数領域との関係より、原画像を示すｆ（ｘ，ｙ）、ＰＳＦを示すｈ（ｘ，ｙ）をフーリエ変換し、Ｆ（ｕ，ｖ）、Ｈ（ｕ，ｖ）を求める。そして、劣化画像のフーリエ変換を示すＧ（ｕ，ｖ）（＝Ｈ（ｕ，ｖ）Ｆ（ｕ，ｖ））に対して逆フィルタやウィナーフィルタなどを用いてフィルタ処理を施し、逆フーリエ変換で空間領域に戻すことで、ぼけを除去した画像を生成している。
【００３９】
図１０は、図８の撮像画像から図７のＰＳＦデータを用いてぼけを除去した復元画像の一例を示す図である。図１０（Ｂ）の例はベストフォーカスのときの復元画像を示し、図１０（Ａ）の例は撮像距離が近いときの復元画像を示し、図１０（Ｃ）の例は撮像距離が遠いときのときの復元画像を示す。このように、撮像距離によらずぼけが除去されており、近距離から遠距離までフォーカスの合った撮像画像を得ることが可能であることが分かる。
【００４０】
図１１は、本発明の一実施形態に係る立体撮像装置の要部構成例を示すブロック図である。立体撮像装置は、第１の撮像素子４ａ、第２の撮像素子４ｂ、第１の画像復元部５ａ、第２の画像復元部５ｂ、およびＰＳＦ記憶部６を備える。すなわち、光学系内に配置する波面変調素子を光軸非対称の３次位相板とした場合、立体撮像装置は、予め定められた１つのＰＳＦデータを記憶したＰＳＦ記憶部６と、その１つのＰＳＦデータに基づいて複数の撮像素子４ａ，４ｂで撮像された各画像データを復元する複数の画像復元部５ａ，５ｂとを備える。これにより、対物レンズ１からリレーレンズ系３まで含む光学系における１つのＰＳＦに基づき画像を復元し、近距離から遠距離までフォーカスの合った立体視用の画像を復元することができる。
【００４１】
なお、図１では、波面変調素子３５をリレーレンズ系３の絞り（瞳）３２の近傍に配置した場合について示したが、対物レンズ１の絞り（瞳）１２の近傍に配置するようにしてもよい。ここで、リレーレンズ系では、等倍に近い倍率であるため、被写界深度と焦点深度とはあまり変わらないが、一般的なマイクロスコープのような光学系では、図２に示したように、対物レンズで縮小結像されるため、被写界深度に対して焦点深度が小さくなる。このため、波面変調素子３５は、対物レンズ１の絞り１２の近傍よりも、リレーレンズ系３の絞り３２の近傍に配置したほうが望ましいと考えられる。
【００４２】
また、顕微鏡などで対物レンズが交換可能な場合であって、波面変調素子を対物レンズ側に設けた場合に、対物レンズの交換に伴い光学精度が変化してしまう。このため、波面変調素子３５をリレーレンズ系３に配置しておくことで、対物レンズの交換による光学精度の変化を低減できるというメリットもある。
【００４３】
一方、対物レンズで拡大結像される場合、被写界深度と焦点深度との関係が縮小結像の場合と逆になるため、波面変調素子３５は、リレーレンズ系３の絞り３２の近傍よりも、対物レンズ１の絞り１２の近傍に配置したほうが望ましいと考えられる。
【００４４】
図１１において、第１の撮像素子４ａで撮像された画像データを中間画像１、第２の撮像素子４ｂで撮像された画像データを中間画像２とする。すなわち、これらの中間画像１，２はぼけを含む画像（ぼけ画像）である。中間画像１は第１の画像復元部５ａに出力され、中間画像２も同様に第２の画像復元部５ｂに出力される。画像復元部５ａ，５ｂはぼけを含む中間画像１，２を予め定められた１つのＰＳＦデータ（ＰＳＦ記憶部６）により復元し、第１の画像復元部５ａは復元画像１を出力し、第２の画像復元部５ｂは復元画像２を出力する。なお、ＰＳＦデータとしては、例えば、使用頻度の高い撮影距離のＰＳＦや、過焦点距離（無限遠が被写界深度に入る最短の距離）のＰＳＦ、無限遠のＰＳＦなどを用いることが考えられる。
【００４５】
画像データの復元には複数の手法があるが一例としてウィナーフィルタ（wiener filter）による画像復元がある。これは周波数領域でＰＳＦデータをデコンボリューション（逆畳み込み）し、ぼけ画像を復元するものである。例えば、デジタルカメラで画像を撮影した際には、手ぶれやピンぼけといった劣化が生じる。ぶれやぼけといった劣化は、前述のＰＳＦ（点像分布関数）により表現される。つまり、劣化画像は、原画像とＰＳＦとの畳み込み積分として表現される。そして、劣化を表すＰＳＦが既知の場合に、劣化画像とこのＰＳＦから、ウィナーフィルタを用いて原画像を復元することができる。
【００４６】
具体的に、ぶれやぼけによる劣化画像は、下式のようにモデル化される。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）    …式（５）
ここで、ｇ（ｘ，ｙ）は撮像して得られた画像データ、すなわち、観測画像である劣化画像を表す。また、ｈ（ｘ，ｙ）は劣化を表すＰＳＦデータを表し、ｆ（ｘ，ｙ）は劣化のない原画像を表し、＊は畳み込み積分を表す。
【００４７】
上記式（５）で表す劣化画像モデルは、周波数領域においては、下記のように表されることが知られている。つまり、式（５）の劣化画像モデルは、フーリエ変換により下記の式（６）で示すことができる。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）Ｆ（ｕ，ｖ）    …式（６）
ここで、Ｇ（ｕ，ｖ）、Ｈ（ｕ，ｖ）、及びＦ（ｕ，ｖ）は、劣化画像ｇ（ｘ，ｙ）、ＰＳＦｈ（ｘ，ｙ）、及び原画像ｆ（ｘ，ｙ）のフーリエ変換をそれぞれ表す。
【００４８】
劣化画像のフーリエ変換に、フィルタ処理を行うことにより、原画像のフーリエ変換を推定する（復元する）ことはよく利用されている。フィルタ処理を利用した画像復元は、一般的に、下記の式（７）のように表される。
Ｆ（ｕ，ｖ）＝Ｋ（ｕ，ｖ）Ｇ（ｕ，ｖ）    …式（７）
ここで、Ｆ（ｕ，ｖ）は推定された原画像のフーリエ変換で、つまり、復元された画像（復元画像）である。また、Ｋ（ｕ，ｖ）は、画像復元のためのフィルタであり、以下、単に画像復元フィルタと呼ぶ。Ｇ（ｕ，ｖ）は劣化画像のフーリエ変換である。
【００４９】
従来、劣化画像から原画像を復元する画像復元分野において、最も単純な画像復元フィルタとして、逆フィルタが知られている。この逆フィルタとは、Ｋ（ｕ，ｖ）＝１／Ｈ（ｕ，ｖ）の画像復元フィルタである。ここで、Ｈ（ｕ，ｖ）は、ＰＳＦ  ｈ（ｘ，ｙ）のフーリエ変換である。
【００５０】
しかしながら、この逆フィルタは、ノイズに対して非常に不安定であるために、現実的にはほとんど利用されていない。そのため、画像復元分野において、逆フィルタを安定化した画像復元フィルタが多数利用されている。従来の画像復元フィルタは、フィルタの安定性を調節するパラメータを有しているものが多く、ウィナーフィルタはその一例であり一般的に広く利用されている。
【００５１】
ウィナーフィルタは、下記の式（８）で表される。
【数１】
2013236291.tif 000003
ここで、Ｋｗ（ｕ，ｖ）はウィナーフィルタである。また、Ｈ’（ｕ，ｖ）はＰＳＦのフーリエ変換Ｈ（ｕ，ｖ）の複素共役を、ｄはフィルタの安定性を表すパラメータをそれぞれ表す。
【００５２】
上記式（８）のウィナーフィルタによる画像復元は、式（８）のＫｗ（ｕ，ｖ）を、式（７）に代入することで、下記の式（９）のように表される。
【数２】
2013236291.tif 000004
ここで、Ｆ（ｕ，ｖ）は推定された原画像のフーリエ変換で、つまり、復元画像である。また、Ｇ（ｕ，ｖ）は劣化画像のフーリエ変換である。
【００５３】
なお、ＰＳＦデータは予め所定の光学設計ソフトウェア等で算出されており、ＰＳＦ記憶部６に記憶されている。
【００５４】
図１２は、本発明の他の実施形態に係る立体撮像装置の要部構成例を示すブロック図である。立体撮像装置は、第１の撮像素子４ａ、第２の撮像素子４ｂ、第１の画像復元部７ａ、第２の画像復元部７ｂ、距離情報算出部８、第３の画像復元部９ａ、第４の画像復元部９ｂ、および距離対応ＰＳＦ記憶部１０を備える。本実施形態では、光学系内に配置する波面変調素子を光軸対称の位相板としているが、この場合、焦点外れによりＰＳＦの変化が大きいため、距離情報に応じてＰＳＦを変化させるように構成される。すなわち、立体撮像装置は、被写体までの距離情報に対応付けてＰＳＦデータを記憶した距離対応ＰＳＦ記憶部１０と、２つの撮像素子４ａ，４ｂで撮像された各画像データから距離情報を算出する距離情報算出部８と、算出した距離情報に対応するＰＳＦデータを距離対応ＰＳＦ記憶部１０から抽出し、抽出したＰＳＦデータに基づいて各画像データを復元する複数の画像復元部９ａ，９ｂとを備える。
【００５５】
図１２において、第１の撮像素子４ａで撮像された画像データを中間画像１、第２の撮像素子４ｂで撮像された画像データを中間画像２とする。すなわち、これらの中間画像１，２はぼけを含む画像（ぼけ画像）である。中間画像１は第１の画像復元部７ａおよび第３の画像復元部９ａに出力され、中間画像２は第２の画像復元部７ｂおよび第４の画像復元部９ｂに出力される。第１の画像復元部７ａおよび第２の画像復元部７ｂは、ぼけを含む中間画像１，２を予め定められた１つのＰＳＦデータにより復元する。このＰＳＦデータとしては、例えば、使用頻度の高い撮影距離のＰＳＦや、過焦点距離（無限遠が被写界深度に入る最短の距離）のＰＳＦ、無限遠のＰＳＦなどを用いればよい。
【００５６】
上記のように、第１の撮像素子４ａからの撮像画像（中間画像１）は第１の画像復元部７ａで復元され、第２の撮像素子４ｂからの撮像画像（中間画像２）は第２の画像復元部７ｂで復元される。これらの画像復元部７ａ，７ｂによる復元は完全な画像復元ではなく、仮の画像復元である。このようにして画像復元された２つの復元画像は距離情報算出部８に出力される。
【００５７】
距離情報算出部８は、それぞれ第１の撮像素子４ａ、第２の撮像素子４ｂから入力された共通する被写体を表す画像信号間座標値の差である視差情報（視差マップ）を生成する。距離情報算出部８が行う処理についてより具体的に説明する。
【００５８】
距離情報算出部８は、画像復元部７ａ，７ｂから各々入力された画像信号に基づいて撮像素子間における視差情報を画素毎に算出する。視差とは、異なる２つの撮像素子から入力された画像信号が表す共通の被写体を表す画素位置の差分である。視差情報は距離に対応しているため距離情報として捉えることができる。
【００５９】
視差情報を算出するために、距離情報算出部８は、例えば、ブロックマッチング（block matching）を行う。ブロックマッチングにおいて、距離情報算出部８は一方の画像信号の一部である画像ブロックと他方の画像信号の一部である画像ブロックの画素値の類似性を表す評価値を算出し、最も類似することを表す評価値が算出される画像ブロックを他方の画像信号から探索する。評価値は、例えば、差分絶対和（ＳＡＤ：Sum of Absolute Difference）である。距離情報算出部８は、両方の画像信号が共通に表す被写体の対応する部位間の視差を算出する。ここで、２つの撮像素子４ａ，４ｂにより撮像した画像の一例について以下に説明する。
【００６０】
図１３は、立体撮像装置が備える２つの撮像素子４ａ，４ｂにより撮像された画像の一例を示す図である。図１３（Ａ）は第１の撮像素子４ａが撮像した画像を示す。この画像は被写体として車両を含む画像である。図１３（Ｂ）は第２の撮像素子４ｂが撮像した画像を示す。図１３（Ｂ）の画像は図１３（Ａ）の車両と共通する車両を含む画像である。ここで、図１３（Ａ）の画像に含まれる車両のナンバープレートＮ１の中央部の水平方向の座標をＨ１、垂直方向の座標をＶとする。この部位に対応する部位、すなわち、図１３（Ｂ）の画像に含まれる車両のナンバープレートＮ２の中央部の水平方向の座標はＨ２、垂直方向の座標はＶである。この場合、画像間の水平方向の座標の差分（Ｈ１−Ｈ２）が視差である。
【００６１】
上述のように、視差は、立体撮像装置から被写体までの距離Ｚを表す。視差（Ｈ１−Ｈ２）と距離Ｚとの間には、例えば式（１０）に示す関係がある。
【数３】
2013236291.tif 000005
但し、ｆは撮像部の焦点距離、Ｂは基線長、ｐは撮像素子の画素ピッチを示す。視差は、立体撮像装置から被写体までの距離によって異なる値をとる。また、視差は、被写体が無限遠にあるときには０であり、立体撮像装置から被写体までの距離が短くなるほど大きくなる。
【００６２】
上記の通り距離情報算出部８で得られた視差マップの画素値より、画像中に撮像された被写体までの距離が算出される。この距離情報は第３の画像復元部９ａおよび第４の画像復元部９ｂに出力される。すなわち、第３の画像復元部９ａには、第１の撮像素子４ａからの中間画像１と、距離情報算出部８からの距離情報とが入力される。同様に、第４の画像復元部９ｂには、第２の撮像素子４ｂからの中間画像２と、距離情報算出部８からの距離情報とが入力される。そして、画像復元部９ａ，９ｂは、距離情報算出部８からの距離情報に対応するＰＳＦデータを距離対応ＰＳＦ記憶部１０から抽出し、抽出したＰＳＦデータに基づいて中間画像１，２を復元し、復元後の復元画像１，２を出力する。
【００６３】
なお、ＰＳＦデータは予め所定の光学設計ソフトウェア等で算出されており、例えば、３００〜４００ｍｍでは２０ｍｍステップ毎、４００〜５００ｍｍでは５０ｍｍステップ毎などのように撮像距離毎にステップを変えて距離対応ＰＳＦ記憶部１０に記憶されている。前述した被写界深度の式（１）より分かるように、遠距離側では被写界深度が深く、近距離側では被写界深度が浅いため、遠距離側では粗いステップ、近距離側では細かいステップとしている。なお、距離対応ＰＳＦ記憶部１０は、ＲＧＢ等の色毎や、画角毎にＰＳＦデータを記憶しておくこともできる。
【００６４】
図１４は、本発明による画像復元方法の一例を説明するための模式図である。前述したように、距離情報算出部８が中間画像１および中間画像２より立体撮像装置から被写体までの距離を表す距離情報を算出する。そして、第３の画像復元部９ａは、距離情報算出部８からの距離情報に対応するＰＳＦデータを距離対応ＰＳＦ記憶部１０から抽出し、抽出したＰＳＦデータに基づいて中間画像１を復元して復元画像１を出力する。また、図示は省略しているが、第４の画像復元部９ｂについても同様に、距離情報算出部８からの距離情報に対応するＰＳＦデータを距離対応ＰＳＦ記憶部１０から抽出し、抽出したＰＳＦデータに基づいて中間画像２を復元して復元画像２を出力する。なお、本例では、第１の画像復元部７ａおよび第２の画像復元部７ｂの記載は省略している。
【００６５】
以上のように生成された立体視用の画像（復元画像１，２）は、図示しない表示部に表示してもよく、あるいは、メモリに記録するようにしてもよい。このようにして、ＰＳＦにより画像を復元することで、近距離から遠距離までフォーカスの合った３Ｄ撮像を行うことができる。
【符号の説明】
【００６６】
１…対物レンズ、２…空中像、３…リレーレンズ系、４…撮像素子、５，７，９…画像復元部、６…ＰＳＦ記憶部、８…距離情報算出部、１０…距離対応ＰＳＦ記憶部、１１，３１…前群レンズ、１２，３２…絞り、１３，３４…後群レンズ、３３…瞳分割手段、３５…波面変調素子。
【図１】
2013236291.tif 000006
【図２】
2013236291.tif 000007
【図３】
2013236291.tif 000008
【図６】
2013236291.tif 000009
【図９】
2013236291.tif 000010
【図１１】
2013236291.tif 000011
【図１２】
2013236291.tif 000012
【図１３】
2013236291.tif 000013
【図１５】
2013236291.tif 000014
【図４】
2013236291.tif 000015
【図５】
2013236291.tif 000016
【図７】
2013236291.tif 000017
【図８】
2013236291.tif 000018
【図１０】
2013236291.tif 000019
【図１４】
2013236291.tif 000020