(57)【要約】【課題】測定対象までの距離を計測すると共に、全面にマイクロレンズを敷き詰めた場合に比べて高解像な２次元画像を生成することが可能な撮像装置を提供する。【解決手段】撮像装置１は、撮像レンズ１１、レンズ基板１２、撮像素子１３、画像処理部１４、撮像素子駆動部１５、制御部１６を備える。レンズ基板１２は、その一部にのみマイクロレンズ１２Ａを有する。画像処理部１４では、距離情報抽出部１４３により、撮像データのうちマイクロレンズ対応領域１３Ｍの画素データ１３Ｄに基づいて、撮像レンズ１１から測定対象までの距離が抽出される。画素補間処理部１４４では、マイクロレンズ対応領域１３Ｍの画素補間処理がなされ、撮像素子１３上の画素と同数の画素数の２次元画像が生成される。【選択図】図１
2010057067.tif 000002
【特許請求の範囲】
【請求項１】
開口絞りを有する撮像レンズと、
受光した光に基づいて撮像データを取得する撮像素子と、
前記撮像レンズと前記撮像素子との間に、前記撮像素子の一の領域内の複数の画素に対応して設けられたマイクロレンズと、
前記撮像素子で取得された撮像データに基づいて画像処理を行う画像処理部とを備え、
前記画像処理部は、
前記撮像データのうち前記マイクロレンズに対応する領域の画素データに基づいて、前記撮像レンズから測定対象までの距離情報を抽出する距離情報抽出部と、
前記撮像データのうち前記マイクロレンズに対応する領域において画素補間処理を行う画素補間処理部と
を含む撮像装置。
【請求項２】
前記マイクロレンズは、基板上に設けられている
請求項１に記載の撮像装置。
【請求項３】
前記マイクロレンズは、前記撮像素子と一体的に設けられている
請求項１に記載の撮像装置。
【請求項４】
前記距離情報抽出部は、
前記撮像データのうち前記マイクロレンズに対応する領域の画素データに基づいて、複数の視差画像を生成し、これら複数の視差画像に基づいて位相差を検出し、
前記位相差に基づいて、前記距離情報を算出する距離情報算出部と
を有する請求項１に記載の撮像装置。  
【請求項５】
前記撮像素子が前記撮像レンズの焦点面に配置されると共に、前記レンズ基板が前記撮像素子よりも前記マイクロレンズの焦点距離分だけ前記撮像レンズの側に配置され、
前記距離情報抽出部は、前記距離情報に対し、前記マイクロレンズの焦点距離を考慮した補正処理を施す
請求項１ないし４のいずれか１項に記載の撮像装置。
【請求項６】
撮像レンズと撮像素子との間に、前記撮像素子の一の領域内の複数の画素に対応してマイクロレンズを配置してなる撮像光学系により取得された撮像データに基づいて、画像を生成する画像処理部を備え、
前記画像処理部は、
前記撮像データのうち前記マイクロレンズに対応する領域の画素データに基づいて、前記撮像レンズから測定対象までの距離情報を抽出する距離情報抽出部と、
前記撮像データのうち前記マイクロレンズに対応する領域において画素補間処理を行う画素補間処理部と
を有する画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マイクロレンズを用いた撮像装置および画像処理装置に関する。
【背景技術】
【０００２】
従来、様々な撮像装置が提案され、開発されている。また、撮像して得られた撮像データに対し、所定の画像処理を施して出力するようにした撮像装置も提案されている。
【０００３】
例えば、特許文献１および非特許文献１には、「Light Field Photography」と呼ばれる手法を用いた撮像装置が提案されている。これは、例えば図１５に示した撮像装置１００のように、撮像対象物２を撮像するためのメインレンズとなる開口絞り１０１を有する撮像レンズ１０２と、複数のマイクロレンズが２次元平面の全面に配置されたマイクロレンズアレイ１０３と、撮像素子１０４と、画像処理部（図示せず）とから構成されている。これにより、画像処理部において、撮像素子１０４から得られる撮像データに基づいて任意の視野や焦点での観察画像を再構築できるようになっている。
【特許文献１】国際公開第０６／０３９４８６号パンフレット
【非特許文献１】Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02
【発明の開示】
【発明が解決しようとする課題】
【０００４】
具体的には、撮像データに基づいてリフォーカス（Refocusing）演算処理を行うことにより、任意の位置に合焦した画像を合成することができる。また、任意の視野から左右の視差を持つ画像を再構築し、これらの位相差を求めることにより、測定対象までの距離を計測することが可能である。
【０００５】
ここで、上記手法を用いて再構築された画像の画素数は、マイクロレンズアレイのレンズ数と等しくなる。言い換えると、再構築画像の画素数は、撮像素子の全画素数を各マイクロレンズに割り当てられる画素数で割った数値となる。これは、再構築画像の２次元座標の情報がマイクロレンズアレイの座標で決まるためである。例えば、図１５に示したように、図１４の撮像装置１００により取得された撮像データＤ１００において、各マイクロレンズに対応する領域１０３Ｍが、再構築画像の１画素分に相当することとなる。このため、撮像素子１０４上の例えば３×３＝９画素を各マイクロレンズに割り当てた場合、再構築される画像の２次元解像度は、１／９となってしまう。
【０００６】
従って、例えば測定対象までの距離を計測するために、２次元平面全体にマイクロレンズを敷き詰めた場合、再構築された２次元画像は低解像度となり易い。
【０００７】
本発明はかかる問題点に鑑みてなされたもので、その目的は、測定対象までの距離を計測すると共に、従来と比べて高解像度の２次元画像を生成することが可能な撮像装置および画像処理装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の撮像装置は、開口絞りを有する撮像レンズと、光線の進行方向を保持して受光すると共に、その受光した光に基づいて撮像データを取得する撮像素子と、撮像レンズと撮像素子との間に、撮像素子の一の領域内の複数の画素に対応して設けられたマイクロレンズと、撮像素子で取得された撮像データに基づいて画像処理を行う画像処理部とを備えたものである。ここで、画像処理部は、撮像データのうちマイクロレンズに対応する領域の画素データに基づいて、撮像レンズから測定対象までの距離情報を抽出する距離情報抽出部と、撮像データのうちマイクロレンズに対応する領域において画素補間処理を行う画素補間処理部とを有するものである。
【０００９】
本発明の画像処理装置は、撮像レンズと撮像素子との間に、撮像素子の一の領域内の複数の画素に対応してマイクロレンズを配置してなる撮像光学系により取得された撮像データに基づいて、画像を生成する画像処理部を備えたものである。ここで、画像処理部は、上記撮像データのうちマイクロレンズに対応する領域の画素データに基づいて、撮像レンズから測定対象までの距離情報を抽出する距離情報抽出部と、撮像データのうちマイクロレンズに対応する領域において画素補間処理を行う画素補間処理部とを有している。
【００１０】
本発明の撮像装置および画像処理装置では、撮像レンズによる撮像対象物の像が撮像素子上へ結像し、これにより撮像対象物の撮像データが取得される。このとき、撮像レンズと撮像素子との間に、撮像素子の一の領域に対応してマイクロレンズが設けられていることにより、このマイクロレンズを通過する光線は、撮像素子において、光線の強度情報に加えて進行方向の情報をも含んで受光される。よって、画像処理部の距離情報抽出部において、上記撮像データのうち、マイクロレンズに対応する領域の画素データに基づいて、撮像レンズから測定対象までの距離情報が抽出される。一方、画素補間処理部では、マイクロレンズに対応する領域において画素補間処理がなされ、撮像素子を構成する画素と同数の画素数の２次元画像が生成される。
【発明の効果】
【００１１】
本発明の撮像装置および画像処理装置によれば、撮像レンズと撮像素子との間に、撮像素子の一の領域に対応してマイクロレンズを設けるようにしたので、距離情報抽出部により、撮像データのうち、その一の領域で得られた画素データに基づいて、撮像レンズから撮像対象物までの距離情報を抽出することができる。また、この一の領域において画素補間処理を行うようにしたので、全面にマイクロレンズを敷き詰めたマイクロレンズアレイを用いた場合に比べ、高解像度の２次元画像を生成することが可能となる。よって、測定対象までの距離を計測すると共に、従来と比べて高解像度の２次元画像を生成することができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１３】
図１は、本発明の一実施の形態に係る撮像装置（撮像装置１）の全体構成を表すものである。撮像装置１は、撮像対象物２を撮像して、所定の画像処理を施すことにより、距離データＤＰoutおよび画像データＤＲoutのうち少なくとも一方を出力するものである。この撮像装置１は、開口絞り１０を有する撮像レンズ１１と、レンズ基板１２と、撮像素子１３と、画像処理部１４と、撮像素子駆動部１５と、制御部１６とから構成されている。
【００１４】
開口絞り１０は、撮像レンズ１１の光学的な開口絞りである。撮像素子１３上では、レンズ基板１２のマイクロレンズ（後述）に対応する画素領域ごとに、この開口絞り１０の開口の形状（例えば円形状）に相似形となる撮像対象物２の像が形成されるようになっている。
【００１５】
撮像レンズ１１は、撮像対象物２を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズにより構成されている。
【００１６】
レンズ基板１２は、例えばガラスなどの基板の一部にのみマイクロレンズが設けられたものである。レンズ基板１２は、撮像レンズ１１の焦点面（結像面）よりも、マイクロレンズ１２Ａの焦点距離の分だけ、前面（撮像レンズ１１側）に配置されている。ここで、図２に、レンズ基板１２の平面構成の一例を示す。このように、レンズ基板１２には、一または複数（ここでは、３つ）のマイクロレンズ１２Ａが、面内の一部の領域にのみ設けられている。各マイクロレンズ１２Ａは、例えば固体レンズや液晶レンズ、回折レンズなどにより構成されている。レンズ基板１２の他の領域は、平板状のガラス板１２Ｂとなっている。
【００１７】
撮像素子１３は、レンズ基板１２からの光線を受光して複数の画素データを含む撮像データＤ０を取得するものであり、撮像レンズ１１の焦点面（結像面）に配置されている。この撮像素子１３は、受光面側に複数の画素がマトリクス状に配列されてなり、各画素は、ＣＣＤ（Charge Coupled Device；電荷結合素子）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの２次元固体撮像素子により構成されている。
【００１８】
撮像素子１３上の複数の画素のうち、ｍ×ｎ個の画素に、上記レンズ基板１２のマイクロレンズ１２Ａが対向するように配置されている。すなわち、マイクロレンズ１２Ａを通過した光線は、撮像素子１３上のｍ×ｎ個の画素において受光されるようになっている。なお、マイクロレンズ１２Ａに割り当てられる画素数ｍ×ｎの値が大きくなるに従って、例えば後述する左右の視差画像における角度分解能（視点の数）が高くなる。一方、画素数ｍ×ｎの値が小さくなるに従って、上記視差画像における２次元解像度が高くなる。このように、視差画像の角度分解能と２次元解像度とはトレードオフの関係にある。
【００１９】
この撮像素子１３の受光面上には、例えば図示しないカラーフィルタが、画素単位で２次元配置されている。但し、本実施の形態では、レンズ基板１２におけるガラス板１２Ｂに対向する領域にのみカラーフィルタが配置され、マイクロレンズ１２Ａに対向する領域にはカラーフィルタが配置されていない構成となっている。カラーフィルタとしては、例えば、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の３原色のカラーフィルタがＲ：Ｇ：Ｂ＝１：２：１の比率で市松状に配置されたＢａｙｅｒ配列のカラーフィルタ（原色フィルタ）を用いることができる。このようなカラーフィルタを設けるようにすれば、撮像素子１３により得られた撮像データを、カラーフィルタの色に対応した複数の色（この場合、３原色）の画素データとすることができる。
【００２０】
画像処理部１４は、撮像素子１３で得られた撮像データＤ０に対して、所定の画像処理を施し、撮像レンズ１１から測定対象までの距離データＤＰoutを出力すると共に、２次元画像としての画像データＤＲoutを出力するものである。
【００２１】
ここで、図３を参照して、画像処理部１４の構成について説明する。図３は、画像処理部１４の全体構成を表す機能ブロック図である。このように、画像処理部１４は、例えば、欠陥補正部１４１、クランプ処理部１４２、距離情報抽出部１４３、画素補間処理部１４４、ノイズ低減処理部１４５、輪郭強調処理部１４６、ホワイトバランス処理部１４７およびガンマ補正処理部１４８から構成されている。
【００２２】
欠陥補正部１４１は、撮像データＤ０に含まれる黒とび等の欠陥（撮像素子１３の素子自体の異常に起因した欠陥）を補正するものである。クランプ処理部１４２は、欠陥補正部１４１による欠陥補正後の撮像データにおいて、各画素データの黒レベルの設定処理（クランプ処理）を行うものである。また、クランプ処理がなされた撮像データＤ１に対して、デモザイク処理などのカラー補間処理を施すようにしてもよい。
【００２３】
距離情報抽出部１４４は、クランプ処理部１４２により供給される撮像データＤ１に基づいて、撮像レンズ１１から測定対象までの距離データＤＰoutを出力するものであり、例えば、以下のような位相差検出部および距離情報算出部（いずれも図示せず）を含んで構成されている。
【００２４】
位相差検出部は、撮像データＤ１に基づいて、互いに視差の異なる少なくとも２枚の視差画像（異なる視点による任意視点画像）を生成し、これらの視差画像間の位相差を検出するものである。
【００２５】
距離情報算出部は、位相差検出部によって検出された位相差に基づいて、撮像レンズ１１から測定対象までの距離についての情報を算出するものである。
【００２６】
画素補間処理部１４４は、クランプ処理部１４２により供給される撮像データＤ１に基づいて、画素補間処理を行い、画像データＤ２を生成するものである。
【００２７】
ノイズ低減処理部１４５は、画素補間処理部１４４により供給される画像データＤ２に含まれるノイズ（例えば、暗い場所や感度の足りない場所で撮像したときに発生するノイズ）を低減する処理を行うものである。輪郭強調処理部１４６は、ノイズ低減処理部１４５により供給される画像データに対し、映像の輪郭を強調する輪郭強調処理を行うものである。
【００２８】
ホワイトバランス処理部１４７は、輪郭強調処理部１４６により供給される画像データに対し、カラーフィルタの通過特性や撮像素子１３の分光感度などのデバイスの個体差や照明条件などの影響に起因した色バランスの調整処理（ホワイトバランス調整処理）を行うものである。
【００２９】
ガンマ補正処理部１４８は、ホワイトバランス処理部１４７により供給される画像データに対して所定のガンマ補正（明暗やコントラストの補正）を行うことにより、画像データＤＲoutを生成するものである。
【００３０】
撮像素子駆動部１５は、撮像素子１３を駆動してその受光動作の制御を行うものである。
【００３１】
制御部１６は、画像処理部１４および撮像素子駆動部１５の動作を制御するものであり、例えばマイクロコンピュータなどにより構成される。
【００３２】
次に、図１〜図１１を参照して、上記のような撮像装置１の作用・効果について説明する。
【００３３】
撮像装置１では、撮像レンズ１１による撮像対象物２の像は、レンズ基板１２を介して撮像素子１３上に結像する。このとき、レンズ基板１２の一部にマイクロレンズ１２Ａが設けられていることにより、このマイクロレンズ１２Ａを通過して撮像素子１３上で受光される光線は、開口絞り１０の開口形状に相似形となる撮像対象物２の像を形成する。
【００３４】
このようにして、撮像素子１３で受光がなされると、撮像素子駆動部１５による駆動動作に従って撮像データＤ０が得られ、この撮像データＤ０が画像処理部１４へ入力される。
【００３５】
撮像データＤ０が画像処理部１４へ入力されると、欠陥補正部１４１により欠陥補正がなされたのち、クランプ処理部１４２によりクランプ処理が施される。クランプ処理が施された撮像データＤ１は、距離情報抽出部１４３もしくは画素補間処理部１４４へ入力される。
【００３６】
ここで、撮像データＤ１について、図４および図５を参照して説明する。但し、図４は、撮像データＤ１の２次元構成を模式的に表すものであり、図５は、撮像素子１３における受光光線について説明するためのものである。
【００３７】
撮像データＤ１は、図４に示したように、２次元配列された複数の画素に対応した複数の画素データ１３Ｄを含んでいる。そして、これら複数の画素データ１３Ｄのうち、マイクロレンズ１２Ａを通過した光線による画素データ１３Ｄは、マイクロレンズ対応領域１３Ｍを形成する。このマイクロレンズ対応領域１３Ｍでは、図５に示したように、撮像レンズ１１の撮像レンズ面上において直交座標系（ｕ，ｖ）を、撮像素子１３の撮像面上において直交座標系（ｘ，ｙ）をそれぞれ考え、撮像レンズ１１の撮像レンズ面と撮像素子１３の撮像面との距離をＦとすると、撮像レンズ１１および撮像素子１３を通る光線Ｌ１が、４次元関数ＬＦ（ｘ，ｙ，ｕ，ｖ）で表される。このため、光線の強度情報に加え、光線の進行方向が保持された状態で撮像素子１３に記録される。すなわち、マイクロレンズ対応領域１３Ｍでは、マイクロレンズ１２Ａに割り当てられた各画素の配置に応じて光線の入射方向が決まっている。言い換えると、各マイクロレンズ対応領域１３Ｍ同士の間で、互いに同一の位置にある画素では、受光光線の進行方向が同一となっている。
【００３８】
一方、撮像データＤ１のうち、レンズ基板１２におけるガラス板１２Ｂを通過した光線による画素データ１３Ｄ（図４中、マイクロレンズ対応領域１３Ｍ以外の部分）では、光線の強度情報のみが記録される。なお、本実施の形態では、簡便化のため、レンズ基板１２の一部領域に３つのマイクロレンズ１２Ａを設け、各マイクロレンズ１２Ａに撮像素子１３上の３×３の画素を割り当てた場合を例に挙げて説明する。
【００３９】
続いて、図６〜図８を参照して、距離情報抽出部１４３における具体的な距離情報抽出動作について説明する。
【００４０】
距離情報抽出部１４３は、まず、位相差検出部において、撮像データＤ１のうち、マイクロレンズ対応領域１３Ｍにおける画素データに基づいて、互いに視差の異なる複数の視差画像を生成する。ここで、上述したように、撮像データＤ１におけるマイクロレンズ対応領域１３Ｍでは、光線の強度分布に加えて進行方向の情報をも含んでいるため、各光線を分離して検出することができる。また、このとき、一つのマイクロレンズ１２Ａに割り当てられた画素数が、撮像レンズ１１を分割した数つまり位相差の異なる視点の数となる。具体的には、マイクロレンズ対応領域１３Ｍごとに、互いに同一の位置の画素における画素データ１３Ｄを抽出し、これら抽出した画素データ１３Ｄを合成する。そして、例えば、図６に示したように、左右２つの視差画像、すなわち光線ＬＲによる視差画像と光線ＬＬによる視差画像との間の位相差Δφ（光線ＬＲによる視差画像の位相φＲと、光線ＬＬによる視差画像の位相φＬとの間の位相差）を検出する。
【００４１】
上記位相差Δφは、例えば、以下のようなDisparityとして検出することができる。すなわち、図７（Ａ）に示したように、視差画像ＤＲ内の小領域の部分画像Ａ１（中心座標：（ｘ１，ｙ１））を取り出すと共に、図７（Ｂ）に示したように、部分画像Ａ１と同じ小領域の部分画像Ｂ１（中心座標：（ｘ１，ｙ１）を視差画像ＤＬの中から取り出し、この部分画像Ｂ１の位置を移動させつつ、以下の（１）式による画素相関値が逐次計算する。そしてこの画素相関値が最大となる位置の部分画像Ｂ１の中心点が、部分画像Ａ１の中心点に対応する点として検出される。このときのPixelずれが、上記したDisparityに対応する。また、このような演算処理を、小領域の部分画像Ａ１の取り出し位置を変化させつつ、視差画像ＤＲの全面について行うことにより、Disparity Map（Disparityの集合）を得ることができる。
【００４２】
【数１】
2010057067.tif 000003
【００４３】
次に、距離情報抽出部１４３は、距離情報算出部において、位相差検出部により検出された２つの視差画像ＤＲ，ＤＬ間の位相差（Disparity）を用いて、以下の（４）〜（９）式により、測定対象までの距離ｄを算出する。但し、図８に示したように、撮像レンズ１１の物体側焦点面をＤ、撮像レンズ１１の焦点距離をＦ、Disparityを求めたときの撮像レンズの開口の大きさをｖ、距離Ｄの物体を撮像したときの撮像レンズ１１の像側焦点面をｆ、撮像レンズ１１から距離ｄにある物体を撮像したときの撮像レンズ１１の像側焦点面をｇ、距離ｄの物体を開口の大きさｖを用いて計算した（（Disparity）×（撮像素子１３の画素Ｐの大きさ）×（レンズ基板１２の一辺の長さに割り当てられた画素数））の値をｈとする。
【００４４】
すなわち、まず、相似関係により、以下の（２）式が得られると共に、図８により、ｅ＝（ｇ−ｆ）であるため、これを（２）式に代入することにより、以下の（３）式が得られ、この（３）式により以下の（４）式が得られる。また、撮像レンズ１１の結像式により、以下の（５）式および（６）式が得られるため、（５）式を（４）式に代入することにより以下の（７）式が得られると共に、（６）式により以下の（８）式が得られる。したがって、（８）式を（７）式に代入することにより、以下の（９）式が得られるため、この（９）式中においてＦ，Ｄ，ｖの値が既知のものであれば、Disparityに基づいて距離ｄが算出される。
（ｈ／ｅ）＝（ｖ／ｇ）                                      …（２）
｛ｈ／（ｇ−ｆ）｝＝（ｖ／ｇ）                              …（３）
（１／ｇ）＝（１／ｆ）×｛１−（ｈ／ｖ）｝                  …（４）
（１／Ｆ）＝（１／ｇ）＋（１／ｄ）                          …（５）
（１／Ｆ）＝（１／Ｄ）＋（１／ｆ）                          …（６）
（１／ｄ）＝（１／Ｆ）−［（１／ｆ）×｛１−（ｈ／ｖ）｝］  …（７）
ｆ＝Ｆ×｛Ｄ／（Ｄ−Ｆ）｝                                  …（８）
（１／ｄ）＝（１／Ｆ）−［１／｛Ｆ×Ｄ／（Ｄ−Ｆ）｝×｛１−（ｈ／ｖ）｝］
…（９）
【００４５】
但し、本実施の形態では、レンズ基板１２が撮像レンズ１１の焦点面よりも、マイクロレンズ１２Ａの焦点距離ｆMLの分だけ前面に配置されているため、距離情報抽出部１４３は、上記のようにして算出した距離ｄに対して、マイクロレンズの焦点距離分を考慮した補正を行う。具体的には、距離ｄに対し、以下の（１０）式で表される補正距離Δｄを減算する補正を行う。
Δｄ＝（レンズ基板１２と撮像素子１３との間の距離）×（マイクロレンズ１２Ａの縦倍率）、すなわち
Δｄ＝ｆML×（Ｄ／ｆ）2        ………（１０）
【００４６】
このようにして補正がなされた距離（ｄ−Δｄ）についての情報は、距離データＤＰoutとして、外部へ出力される。
【００４７】
続いて、図９〜図１１を参照して、画素補間処理部１４４における具体的な画素補間処理動作について説明する。
【００４８】
画素補間処理部１４４は、まず、撮像データＤ１のうち、マイクロレンズ対応領域１３Ｍ以外の領域の画素データ１３Ｄに対して、例えばデモザイク処理などのカラー補間処理を施す。続いて、図９に示したように、マイクロレンズ対応領域１３Ｄにおける画素データ１３Ｄに対して、１つのマイクロレンズで受光した強度を求めるため、１つのマイクロレンズに割り当てられた画素領域の全てに対して積分処理を施す。この積分処理を行うことにより、画像データ１３Ｍ１が再構築される。この画像データ１３Ｍ１は、再構築画像の一画素分のデータに相当する。
【００４９】
続いて、画素補間処理部１４４は、図１０に示したように、上記のようにして生成された画像データ１３Ｍ１の周辺領域１３０Ｍに対して、画素補間処理を施す。例えば、１画素分の画像データ１３Ｍ１の周辺領域１３０Ｍを補間して、３×３＝９画素分の画素データからなる画像データ１３Ｍ２を生成する。これにより、撮像素子１３上に配置された画素と同数の２次元画素数を有する画像データＤ２を生成することができる。このような画素補間処理としては、例えばバイキュービック（bicubic）法などを用いることができる。図１１にバイキュービック法を用いた画素補間処理の一例を模式的に示す。
【００５０】
バイキュービック法では、例えば補間対象となる上記周辺領域１３０Ｍに対応する画素（以下、補間画素という）Ｐの画素値Ｇを、この補間画素Ｐに近い位置に配置された１６個の実画素Ｐｍｎ（ｍ，ｎ：１〜４の整数）に基づいて、所定の３次関数を用いて算出する。例えば、図１１に示したように、補間画素Ｐの座標を（ｘ、ｙ）とすると、実画素Ｐｍｎの各座標（ｘｍ，ｙｎ）におけるｘ１〜ｘ４およびｙ１〜ｙ４は、（Ａ）のように定義することができる。この実画素Ｐｍｎの座標（ｘｍ，ｙｎ）および画素値Ｇｍｎと、以下の（１２）式によって表される３次関数とを用いて、以下の（１１）式から、補間画素Ｐにおける画素値Ｇを算出することができる。
【００５１】
【数２】
2010057067.tif 000004
【００５２】
上記のようにして画素補間処理が施された画像データＤ２は、ノイズ低減処理部１４５、輪郭強調処理部１４６、ホワイトバランス処理部１４７およびガンマ補正処理部１４８において、上述のような所定の処理が施され、画像データＤＲoutとして出力される。
【００５３】
以上のように、本実施の形態では、撮像レンズ１１と撮像素子１３との間に、マイクロレンズ１２Ａを一部に有するレンズ基板１２を設けるようにしたので、画像処理部１４の距離情報抽出部１４３により、撮像データＤ０のうち、マイクロレンズ対応領域１３Ｍの画素データ１３Ｄに基づいて、撮像レンズ１１から測定対象までの距離データＤＰoutを生成することができる。また、画像補間処理部１４４において、マイクロレンズ対応領域１３Ｍの画素補間処理を行うようにしたので、全面にマイクロレンズを敷き詰めたマイクロレンズアレイを用いた場合に比べ、高解像度の２次元画像を生成することが可能となる。よって、測定対象までの距離を計測すると共に、従来と比べて高解像度の２次元画像を生成することができる。
【００５４】
以上、実施の形態を挙げて本発明を説明したが、本発明はこの実施の形態に限定されるものではなく、種々の変形が可能である。例えば、上記実施の形態では、レンズ基板１２において、マイクロレンズ１２Ａが３つ接するように設けられ、各マイクロレンズ１２Ａに３×３＝９つの画素が割り当てられた構成を例に挙げて説明したが、マイクロレンズの配置、個数、割り当て画素数などはこれに限定されない。但し、距離情報抽出部１４３において、まず視差画像を生成し、これらの視差画像から位相差を検出して、この位相差に基づいて距離情報を算出する場合には、視差画像生成のために少なくとも２つの画素をマイクロレンズ１２Ａに割り当てるようにする。
【００５５】
また、上記実施の形態では、画素補間処理の一例としてバイキュービック法を例に挙げて説明したが、これに限定されず、他の画素補間処理を用いるようにしてもよい。例えば、図１２に示したように、補間画素Ｐ（ｘ）に近い位置に配置された実画素Ｐ１（ｘ１），Ｐ２（ｘ２）から、線形補間（ｘ＝（ｘ１＋ｘ２）／２）により座標ｘを算出するようにしてもよい。
【００５６】
また、上記実施の形態等では、レンズ基板１２を用いた構成、すなわちマイクロレンズ１２Ａが基板上の一部に設けられた構成を例に挙げて説明したが、マイクロレンズ１２Ａは、必ずしも基板上に設けられていなくともよい。例えば、図１３（Ａ）に示したように、撮像素子１３の受光面の一部の領域に直にマイクロレンズ３０が設けられた構成であってもよい。すなわち、図１３（Ａ）では、マイクロレンズ３０が、撮像素子１３の一部と一体的に設けられている。ここで、図１３（Ｂ）に、マイクロレンズ３０付近の拡大図を示す。マイクロレンズ３０には、例えば３×３ピクセルの撮像画素Ｐが割り当てられており、各撮像画素Ｐの受光面には、受光光線を効率良く集光させるためのオンチップレンズ３１が設けられている。このオンチップレンズ３１上に、例えば樹脂層３２を介して、マイクロレンズ３０が形成されている。このように、必ずしもマイクロレンズを有するレンズ基板を用いる必要はなく、撮像素子１３の一部の領域にのみ、直にマイクロレンズ３０を形成するようにしてもよい。このように構成した場合であっても、本発明と同等の効果を得ることができる。
【００５７】
また、上記実施の形態では、撮像素子１３の受光面上のガラス基板１２Ｂに対向する領域にのみカラーフィルタを配置すると共に、このガラス基板１２Ｂを通過した光線に基づく画素データに対してのみ、カラー補間処理を施すようにしたが、カラーフィルタの構成およびカラー補間処理は、これに限定されない。例えば、撮像素子１３の受光面前面に渡ってカラーフィルタを配置し、カラー補間処理を撮像データＤ０全体に対して施すようにしてもよい。また、３原色の光のそれぞれに対して独立した撮像素子を用いた３ＣＣＤ方式などを利用するようにしてもよい。
【００５８】
また、距離情報抽出部１４３において、互いに視差の異なる２つの視差画像に基づいてその間の位相差を検出するようにしたが、これに限定されず、３つ以上の視差画像に基づいて位相差を検出するようにしてもよい。
【００５９】
また、上記実施の形態では、開口絞り１０の位置を撮像レンズの撮像対象物側（入射側）に配置した構成としているが、これに限定されず、撮像レンズの像側（出射側）あるいは、撮像レンズ内部に設けられた構成であってもよい。
【図面の簡単な説明】
【００６０】
【図１】本発明の一実施の形態に係る撮像装置の全体構成を表す図である。
【図２】図１に示したレンズ基板の平面構成を表す図である。
【図３】図１に示した画像処理部の概略構成を表す機能ブロック図である。
【図４】撮像データの平面構成を表す模式図である。
【図５】撮像素子上で受光される光線について説明するための図である。
【図６】２つの視差画像に基づく位相差検出動作について説明するための模式図である。
【図７】２つの視差画像による画素相関演算について説明するための模式図である。
【図８】撮像レンズから測定対象までの距離の算出方法について説明するための図である。
【図９】撮像データにおける積分処理を説明するための模式図である。
【図１０】画素補間処理部における画素補間処理動作を説明するための模式図である。
【図１１】画素補間処理の一例であるバイキュービック法を説明するための模式図である。
【図１２】画素補間処理の他の例を説明するための模式図である。
【図１３】図１に示したマイクロレンズおよび撮像素子の他の例を表す断面図である。
【図１４】従来例に係る撮像装置の概略構成を表すものである。
【図１５】図１４に示した撮像装置により取得される撮像データを表す模式図である。
【符号の説明】
【００６１】
１…撮像装置、１０…開口絞り、１１…撮像レンズ、１２…レンズ基板、１３…撮像素子、１３Ｍ…マイクロレンズ対応領域、１４…画像処理部、１５…撮像素子駆動部、１６…制御部、１４３…距離情報抽出部、１４４…画素補間処理部、２…撮像対象物、ＤＰout…距離データ、ＤＲout…画像データ。
【図１】
2010057067.tif 000005
【図２】
2010057067.tif 000006
【図３】
2010057067.tif 000007
【図４】
2010057067.tif 000008
【図５】
2010057067.tif 000009
【図６】
2010057067.tif 000010
【図７】
2010057067.tif 000011
【図８】
2010057067.tif 000012
【図９】
2010057067.tif 000013
【図１０】
2010057067.tif 000014
【図１１】
2010057067.tif 000015
【図１２】
2010057067.tif 000016
【図１３】
2010057067.tif 000017
【図１４】
2010057067.tif 000018
【図１５】
2010057067.tif 000019
【手続補正書】
【提出日】平成21年10月30日(2009.10.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
開口絞りを有する撮像レンズと、
受光した光に基づいて撮像データを取得する撮像素子と、
前記撮像レンズと前記撮像素子との間に、前記撮像素子の一部領域内の複数の画素に対応して設けられたマイクロレンズと、
前記撮像素子から得られた撮像データに基づいて画像処理を行う画像処理部とを備え、
前記画像処理部は、
前記撮像素子の前記一部領域から得られた画素データに基づいて、前記撮像レンズから測定対象までの距離を求める距離測定部と、
前記撮像素子の前記一部領域について、画素データの補間処理を行う補間処理部と
を含む撮像装置。
【請求項２】
前記マイクロレンズは、基板上に部分的に形成されている
請求項１に記載の撮像装置。
【請求項３】
前記マイクロレンズは、前記撮像素子と一体的に形成されている
請求項１に記載の撮像装置。
【請求項４】
前記距離測定部は、
前記撮像素子の前記一部領域から得られた画素データに基づいて、複数の視差画像を生成し、これら複数の視差画像に基づいて位相差を検出する位相差検出部と、
前記位相差に基づいて、前記距離を算出する距離算出部と
を有する請求項１に記載の撮像装置。
【請求項５】
前記撮像素子が前記撮像レンズの焦点面に配置されると共に、前記マイクロレンズが前記撮像素子よりも前記マイクロレンズの焦点距離分だけ前記撮像レンズの側に配置され、
前記距離測定部は、前記マイクロレンズの焦点距離を考慮した距離補正処理を行う
請求項１ないし４のいずれか１項に記載の撮像装置。
【請求項６】
撮像レンズとこの撮像レンズと撮像素子との間に、前記撮像素子の一部領域内の複数の画素に対応して設けられたマイクロレンズとを含む撮像光学系を用いて前記撮像素子より取得された撮像データに基づいて、画像処理を行う画像処理部を備え、
前記画像処理部は、
前記撮像素子の前記一部領域から得られた画素データに基づいて、前記撮像レンズから測定対象までの距離を求める距離測定部と、
前記撮像素子の前記一部領域について、画素データの補間処理を行う補間処理部と
を有する画像処理装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
具体的には、撮像データに基づいてリフォーカス（Refocusing）演算処理を行うことにより、任意の位置に合焦した画像を合成することができる。また、複数の視点画像を生成することができ、これらのうち左右の視点画像を利用して、これらの位相差を求めることにより、測定対象までの距離を計測することが可能である。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明の撮像装置は、開口絞りを有する撮像レンズと、受光した光に基づいて撮像データを取得する撮像素子と、撮像レンズと撮像素子との間に、撮像素子の一部領域内の複数の画素に対応して設けられたマイクロレンズと、撮像素子から得られた撮像データに基づいて画像処理を行う画像処理部とを備えたものである。ここで、画像処理部は、撮像素子の一部領域から得られた画素データに基づいて、撮像レンズから測定対象までの距離を求める距離測定部と、撮像素子の一部領域について、画素データの補間処理を行う補間処理部とを有するものである。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明の画像処理装置は、撮像レンズとこの撮像レンズと撮像素子との間に、撮像素子の一部領域内の複数の画素に対応して設けられたマイクロレンズとを含む撮像光学系を用いて撮像素子より取得された撮像データに基づいて、画像処理を行う画像処理部を備えたものである。ここで、画像処理部は、撮像素子の一部領域から得られた画素データに基づいて、撮像レンズから測定対象までの距離を求める距離測定部と、撮像素子の一部領域について、画素データの補間処理を行う補間処理部とを有している。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明の撮像装置および画像処理装置では、撮像レンズによる撮像対象物の像が撮像素子上へ結像し、これにより撮像対象物の撮像データが取得される。このとき、撮像レンズと撮像素子との間に、撮像素子の一部領域に対応してマイクロレンズが設けられていることにより、このマイクロレンズを通過する光線は、撮像素子において、光線の強度情報に加えて進行方向の情報をも含んで受光される。よって、画像処理部の距離測定部において、上記撮像データのうち、撮像素子の一部領域から得られた画素データに基づいて、撮像レンズから測定対象までの距離が求まる。一方、補間処理部では、撮像素子の一部領域において画素データの補間処理がなされ、撮像素子を構成する画素と同数の画素数の２次元画像が生成される。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明の撮像装置および画像処理装置によれば、撮像レンズと撮像素子との間に、撮像素子の一部領域に対応してマイクロレンズを設けるようにしたので、距離測定部により、撮像素子の一部領域から得られた画素データに基づいて、撮像レンズから撮像対象物までの距離を求めることができる。また、この一部領域において画素データの補間処理を行うようにしたので、全面にマイクロレンズを敷き詰めたマイクロレンズアレイを用いた場合に比べ、高解像度の２次元画像を生成することが可能となる。よって、測定対象までの距離を計測すると共に、従来と比べて高解像度の２次元画像を生成することができる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
レンズ基板１２は、例えばガラスなどの基板１２Ｂの一部にのみマイクロレンズ１２Ａが設けられたものである。レンズ基板１２は、撮像レンズ１１の焦点面（結像面）よりも、マイクロレンズ１２Ａの焦点距離の分だけ、前方（撮像レンズ１１側）に配置されている。ここで、図２に、レンズ基板１２の平面構成の一例を示す。このように、レンズ基板１２には、一または複数（ここでは、３つ）のマイクロレンズ１２Ａが、面内の一部の領域にのみ設けられている。各マイクロレンズ１２Ａは、例えば固体レンズや液晶レンズ、回折レンズなどにより構成されている。レンズ基板１２の他の領域は、平板状のガラス板１２Ｂとなっている。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
ここで、図３を参照して、画像処理部１４の構成について説明する。図３は、画像処理部１４の全体構成を表す機能ブロック図である。このように、画像処理部１４は、例えば、欠陥補正部１４１、クランプ処理部１４２、距離情報抽出部１４３（距離測定部）、画素補間処理部１４４、ノイズ低減処理部１４５、輪郭強調処理部１４６、ホワイトバランス処理部１４７およびガンマ補正処理部１４８から構成されている。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
次に、距離情報抽出部１４３は、距離情報算出部において、位相差検出部により検出された２つの視差画像ＤＲ，ＤＬ間の位相差（Disparity）を用いて、以下の（４）〜（９）式により、測定対象までの距離ｄを算出する。但し、図８に示したように、撮像レンズ１１の物体側焦点面までの距離をＤ、撮像レンズ１１の焦点距離をＦ、Disparityを求めたときの撮像レンズの開口の大きさをｖ、距離Ｄの物体を撮像したときの撮像レンズ１１の像側焦点面をｆ、撮像レンズ１１から距離ｄにある物体を撮像したときの撮像レンズ１１の像側焦点面をｇ、距離ｄの物体を大きさｖの開口を用いて計算した値（（Disparity）×（撮像素子１３の画素Ｐの大きさ）×（レンズ基板１２の一辺の長さに割り当てられた画素数））をｈとする。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
画素補間処理部１４４は、まず、撮像データＤ１のうち、マイクロレンズ対応領域１３Ｍ以外の領域の画素データ１３Ｄに対して、例えばデモザイク処理などのカラー補間処理を施す。続いて、図９に示したように、マイクロレンズ対応領域１３Ｍにおける画素データ１３Ｄに対して、１つのマイクロレンズで受光した強度を求めるため、１つのマイクロレンズに割り当てられた画素領域の全てに対して積分処理を施す。この積分処理を行うことにより、画像データ１３Ｍ１が再構築される。この画像データ１３Ｍ１は、再構築画像の一画素分のデータに相当する。