(57)【要約】【課題】解像度不足や偽色等の影響のない高画質な超深度画像を生成できる超深度画像生成装置を提供すること。【解決手段】合焦した像とぼけた像とが重なった被写体像を、３色の光を独立して光電変換できる分光型撮像素子を用いて撮像することで、解像度不足や偽色等が発生せず、高画質の超深度画像を生成できる超深度画像生成装置を提供することができる。【選択図】図１
2008244982.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素を有し、光学像を光電変換する撮像素子と、
被写体の光学像を生成する撮像光学系と、
前記撮像素子によって光電変換された画像から超深度画像を演算する画像演算部とを備えた超深度画像生成装置において、
前記撮像素子の各画素は、複数の波長域の光を独立して光電変換し、
前記撮像光学系は、複数の像を光軸方向の異なる位置に結像し、
前記画像演算部は、前記被写体の画像の色情報の生成を各画素毎に行うことを特徴とする超深度画像生成装置。
【請求項２】
前記異なる波長域は、赤、緑、青の３色の波長域であることを特徴とする請求項１に記載の超深度画像生成装置。
【請求項３】
前記撮像素子は、画素の深さ方向の光吸収波長の違いを利用して、赤、緑、青の３色の色情報を生成することを特徴とする請求項２に記載の超深度画像生成装置。
【請求項４】
前記撮像光学系は、異なる焦点距離を有する少なくとも２つの部分からなる光学系であることを特徴とする請求項１乃至３の何れか１項に記載の超深度画像生成装置。
【請求項５】
前記撮像光学系は、軸上色収差を大きくした光学系であることを特徴とする請求項１乃至３の何れか１項に記載の超深度画像生成装置。
【請求項６】
前記画像演算部は、画像信号をたたみ込み処理することを特徴とする請求項１乃至５の何れか１項に記載の超深度画像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、超深度画像生成装置に関し、特に、複数の波長の光を独立して光電変換できる画素を有する撮像素子を用いる超深度画像生成装置に関する。
【背景技術】
【０００２】
動画や静止画の撮影装置において、ピントのぼけた画像にソフトウェアによる処理を施すことで合焦した画像に変換する、所謂超深度画像生成技術が提案されている。
【０００３】
例えば、異なる焦点距離のレンズが一体化された２焦点レンズによって結像された合焦像とピンボケ像とが重なった画像にたたみ込み処理を施すことで、ぼけた画像を改質し、近距離から遠距離までピントのあった超深度画像を得る方法が提案されている（例えば、特許文献１参照）。
【０００４】
また、撮像光学系が持つ色収差、つまり光の波長によって焦点距離が異なることを積極的に利用して、短波長（青）の光による像を利用することで、合焦できる撮影領域を近距離側に広げる方法が提案されている（例えば、特許文献２参照）。
【０００５】
以上に述べたような撮影には、デジタルカメラやビデオカメラに従来から用いられているベイヤ配列のカラーフィルタを用いた撮像素子が用いられている。ベイヤ配列について、図５を用いて簡単に説明する。図５は、ベイヤ配列のカラーフィルタを有する撮像素子の構成を示す模式図で、図５（ａ）は撮像素子ＩＤの撮像面ＩＰの構成を示し、図５（ｂ）は図５（ａ）のＢ−Ｂ’断面を示す。
【０００６】
図５（ａ）において、撮像素子ＩＤの撮像面ＩＰには、水平および垂直方向の２次元に画素ＩＣが配列され、各画素ＩＣの上には赤色（以下、Ｒと言う）、緑色（以下、Ｇと言う）、青色（以下、Ｂと言う）の３色の通常のカラー撮像で用いられる原色系のカラーフィルタの何れかが配置されている。撮像素子自体は、通常のＣＣＤ（電荷結合素子）型撮像素子であってもよいし、ＣＭＯＳ（相補型金属酸化膜半導体）型撮像素子であってもよい。
【０００７】
カラーフィルタは、図の最上列では、左から右にＲＧＲＧの順に配列される。図の２列目には、最上列のＲの下にＧが、最上列のＧの下にＢが来るように、ＧＢＧＢの順に配列される。３列目には最上列と同じ配列が繰り返され、４列目には２列目と同じ配列が繰り返されるというように構成され、Ｇが市松模様に配列され、その間をＲとＢとが交互に埋める構成になっている。この配列をベイヤ配列と言う。なお、Ｒ、Ｇ、Ｂの原色系のカラーフィルタではなく、イエロー（Ｙ）、マゼンタ（Ｍ）、シアン（Ｃ）の補色系のカラーフィルタを用いてもよい。
【０００８】
図５（ｂ）は、図５（ａ）のＢ−Ｂ’断面での、Ｂ画素とＧ画素の断面の拡大図である。各画素ＩＣは、半導体基板ＢＰに不純物を拡散して形成された光電変換部ＰＤを有し、光電変換部ＰＤの上には、Ｒ、Ｇ、Ｂの３色のカラーフィルタの何れかが配置されている。図の例では、左側の画素ＩＣの光電変換部ＰＤの上にはＢのカラーフィルタが、右側の画素ＩＣの光電変換部ＰＤの上にはＧのカラーフィルタが配置されている。よって、画素ＩＣの光電変換部ＰＤは、その上に配置されているカラーフィルタが透過する波長の光だけを光電変換して出力することになる。
【０００９】
なお、ここで述べた撮像素子ＩＤの構成は、その特徴を理解するための概念的なもので、実際の撮像素子の構造を正確に示しているものではない。
【００１０】
上述したように、ベイヤ配列の撮像素子ＩＤでは、１つの画素ＩＣからはＲ、Ｇ、Ｂの何れか１色の光電変換出力しか得られない。撮像された画像を画面上や印刷物に再現するためには、少なくとも各画素ＩＣの位置でのＲ、Ｇ、Ｂ３色の色情報が必要になるので、ベイヤ配列の撮像素子ＩＤを用いた撮影装置では、後段の画像処理において、各画素の位置でのＲ、Ｇ、Ｂ３色の色情報を生成する所謂色補間処理が行われるのが一般的である。
【特許文献１】特開２００３−３０９７２３号公報
【特許文献２】特開２００３−３１９４０５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
上述したように、ベイヤ配列の撮像素子ＩＤでは、１つの画素ＩＣからはＲ、Ｇ、Ｂの何れか１色の光電変換出力しか得られない。特にＲおよびＢの出力は４画素に１つしか得られない。従って、超深度画像生成にベイヤ配列の撮像素子ＩＤの光電変換出力をそのまま用いると、解像度、特にＲおよびＢの解像度が低く、例えば特許文献２のように、近距離でＢの光による像を用いてぼけた画像の改質処理を行う場合に、解像度が不足して改質処理された画像の画質が著しく劣化する。
【００１２】
また、上述したように色補間処理を行って各画素の位置でのＲ、Ｇ、Ｂ３色の色情報を補うと、色補間処理によって実際とは異なる色が補われてしまう所謂偽色が発生するという問題があり、特許文献１および２の方法を用いた超深度処理において、同様に偽色による超深度画像の画質の劣化が発生する。
【００１３】
本発明は、上記事情に鑑みてなされたもので、解像度不足や偽色等の影響のない高画質な超深度画像を生成できる超深度画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明の目的は、下記構成により達成することができる。
【００１５】
１．複数の画素を有し、光学像を光電変換する撮像素子と、
被写体の光学像を生成する撮像光学系と、
前記撮像素子によって光電変換された画像から超深度画像を演算する画像演算部とを備えた超深度画像生成装置において、
前記撮像素子の各画素は、複数の波長域の光を独立して光電変換し、
前記撮像光学系は、複数の像を光軸方向の異なる位置に結像し、
前記画像演算部は、前記被写体の画像の色情報の生成を各画素毎に行うことを特徴とする超深度画像生成装置。
【００１６】
２．前記異なる波長域は、赤、緑、青の３色の波長域であることを特徴とする１に記載の超深度画像生成装置。
【００１７】
３．前記撮像素子は、画素の深さ方向の光吸収波長の違いを利用して、赤、緑、青の３色の色情報を生成することを特徴とする２に記載の超深度画像生成装置。
【００１８】
４．前記撮像光学系は、異なる焦点距離を有する少なくとも２つの部分からなる光学系であることを特徴とする１乃至３の何れか１項に記載の超深度画像生成装置。
【００１９】
５．前記撮像光学系は、軸上色収差を大きくした光学系であることを特徴とする１乃至３の何れか１項に記載の超深度画像生成装置。
【００２０】
６．前記画像演算部は、画像信号をたたみ込み処理することを特徴とする１乃至５の何れか１項に記載の超深度画像生成装置。
【発明の効果】
【００２１】
本発明によれば、複数の波長の光を独立して光電変換できる画素で構成される撮像素子を用いるので、解像度不足や偽色等が発生せず、高画質の超深度画像を生成できる超深度画像生成装置を提供することができる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明を図示の実施の形態に基づいて説明するが、本発明は該実施の形態に限られない。なお、図中、同一あるいは同等の部分には同一の番号を付与し、重複する説明は省略する。
【００２３】
最初に、本発明における超深度画像生成装置の構成について、図１を用いて説明する、図１は、本発明における超深度画像生成装置の構成を示すブロック図である。
【００２４】
図１において、超深度画像生成装置１は、撮像装置１００と処理装置２００等で構成される。撮像装置１００は、撮像光学系１０１、撮像素子１０３、撮像制御部１０５、インタフェース１０７等で構成される。
【００２５】
撮像光学系１０１は、その光軸１１１上に光軸１１１に垂直に配置された撮像素子１０３の撮像面１０３ａに被写体の像を結像させる。撮像光学系１０３の構成については、図３および図４で詳述する。
【００２６】
撮像素子１０３は、撮像面１０３ａ上に結像された被写体の像を光電変換し、画像信号１０３ｓを撮像制御部１０５に送信する。その光電変換動作は撮像制御部１０５によって制御される。撮像素子１０３については、図２で詳述する。
【００２７】
撮像制御部１０５は、例えば中央演算処理装置（ＣＰＵ）を核として構成され、撮像素子１０３の光電変換動作を制御するとともに、撮像素子１０３の画像信号１０３ｓをデジタル化された画像データ１０５ｉとし、インタフェース１０７を介して処理装置２００に送信する。さらに、撮像制御部１０５は撮像装置１００の動作全般を制御する。
【００２８】
インタフェース１０７は、撮像装置１００と処理装置２００とを接続し、データや制御信号等を中継する。
【００２９】
処理装置２００は、画像演算部２０１および画像保存部２０３等で構成される。
【００３０】
画像演算部２０１は、例えばパーソナルコンピュータ（ＰＣ）とソフトウェアで構成されてもよいし、ＣＰＵを核とした専用システムとソフトウェアであってもよい。さらに、例えば携帯電話等の情報機器のＣＰＵとソフトウェアであってもよい。
【００３１】
画像演算部２０１は、インタフェース１０７を介して撮像制御部１０５から画像データ１０５ｉを受信し、画像データ１０５ｉから超深度画像を演算する。超深度画像の演算方法は、例えば特許文献１あるいは特許文献２に示された方法等が考えられるし、その他の方法でもよい。
【００３２】
画像保存部２０３は、例えばハードディスクやメモリ等で構成され、画像演算部２０１で演算された超深度画像を保存する。あるいは、撮像制御部１０５で生成された画像データ１０５ｉを一旦画像保存部２０３に記憶してから、インタフェース１０７を介して画像演算部２０１に送信し、画像演算部２０１で超深度処理してもよいし、撮像制御部１０５で生成された画像データ１０５ｉをインタフェース１０７を介して画像保存部２０３に記憶してから画像演算部２０１で超深度処理してもよい。本発明において、画像保存部２０３は必須の構成要素ではない。
【００３３】
図１の構成以外に、例えばインタフェース１０７をハブとして、処理装置２００を構成する画像演算部２０１や画像保存部２０３等が並列に配置される構成も考えられる。あるいは、処理装置２００が撮像装置１００と別体で構成され、例えば画像演算部２０１としてｘ８６系のＣＰＵを用いるような場合には、ＣＰＵを含む処理装置２００を構成する各機器が１つのＦＳＢ（フロントサイドバス）を共有して並列に配置される構成も考えられる。また、処理装置２００は、撮像装置１００に内蔵されてもよい。この場合、超深度画像生成装置１と撮像装置１００とは同一のものとなる。
【００３４】
続いて、本発明に用いられる撮像素子１０３について、図２を用いて説明する。図２は、本発明に用いられる撮像素子１０３の構成を示す模式図で、図２（ａ）は撮像素子１０３を撮像面１０３ａ側から見た構成を示し、図２（ｂ）は図２（ａ）のＡ−Ａ’断面を示す。ここに示す撮像素子１０３は、所謂分光型撮像素子で、その構成については、例えば「特表２００２−５１３１４５号公報」等に詳述されている。なお、ここで述べる撮像素子１０３の構成は、その特徴を理解するための概念的なもので、実際の撮像素子１０３の構造を正確に示しているものではない。
【００３５】
図２（ａ）において、撮像素子１０３の撮像面１０３ａには、水平および垂直方向の２次元に画素１０３ｃが配列されている。図５に示したベイヤ配列の撮像素子ＩＤとは異なり、撮像素子１０３の各画素上にはカラーフィルタは配置されていない。分光型撮像素子は、通常はＣＭＯＳ構造で形成される。
【００３６】
図２（ｂ）は、図２（ａ）のＡ−Ａ’断面での、１つの画素１０３ｃの断面の拡大図である。１つの画素１０３ｃには、Ｐ型半導体基板１０３ｐにＮ型不純物が深く拡散されて光電変換部ＰＤ３が形成されている。光電変換部ＰＤ３の接合深さは約２μｍで、主としてＲの光が光電変換される。光電変換部ＰＤ３の内部には、Ｐ型不純物が拡散されて光電変換部ＰＤ２が掲載されている。光電変換部ＰＤ２の接合深さは約０．６μｍで、主としてＧの光が光電変換される。さらに、光電変換部ＰＤ２の内部には、Ｎ型不純物を浅く拡散して光電変換部ＰＤ１が形成されている。光電変換部ＰＤ１の接合深さは約０．２μｍで、主としてＢの光が光電変換される。
【００３７】
上述したＲ、Ｇ、Ｂの３色の光の波長をそれぞれλｒ、λｇ、λｂとすると、上述した「特表２００２−５１３１４５号公報」の図８から、各波長の範囲は概ね、
５００ｎｍ≦λｒ
４００ｎｍ≦λｇ≦７００ｎｍ
λｂ≦６００ｎｍ
である
上述したように、本発明における撮像素子１０３では、カラーフィルタを用いずに、画素１０３ｃの深さ方向の光吸収波長の違いを利用して、１つの画素１０３ｃでＲ、Ｇ、Ｂ３色の色情報を得ることができる。光軸方向の複数像を取り込むためには、有機材料を用いた透過型撮像素子を重ねることでも可能であるが、図２の分光型撮像素子のように半導体構造で波長選択性をもたせるのが、コンパクトさ、安定性、組立て性に優れるのでより好ましい。
【００３８】
（第１の実施の形態）
次に、本発明の第１の実施の形態について、図３を用いて説明する。図３は、本発明の第１の実施の形態を説明するための模式図で、図３（ａ）は本第１の実施の形態に用いられる撮像光学系１０１の構成図、図３（ｂ）は本第１の実施の形態の動作の流れを示すフローチャートである。
【００３９】
まず、本第１の実施の形態に用いられる撮像光学系１０１について、図３（ａ）を用いて説明する。
【００４０】
図３（ａ）において、撮像光学系１０１は、焦点距離ｆの短い（例えばｆ＝４．６ｍｍ）レンズ部１２３と焦点距離ｆの長い（例えばｆ＝５．０ｍｍ）レンズ部１２１とが合わさった所謂二焦点レンズの構成で、光軸１１１側から見ると円形のレンズ部１２３の周囲にドーナツ形状のレンズ部１２１が同心円状に配置されている。従って、例えばレンズ部１２１による光束１２５が撮像素子１０３の撮像面１０３ａ上に結像するように撮像光学系１０１と撮像素子１０３との位置が配置されると、レンズ部１２３による光束１２７は撮像素子１０３の撮像面１０３ａよりも前方に結像し、撮像素子１０３の撮像面１０３ａ上ではぼけた像となる。
【００４１】
撮像光学系１０１の構成は上記の構成に限るものではなく、例えば中心部に焦点距離ｆの長いレンズ、周辺部に焦点距離ｆの短いレンズを配してもよい。また、焦点距離ｆは同じで後方主点位置が異なる、即ち結像位置の異なる２つのレンズを同心円状に配置してもよい。さらに、二焦点レンズに限るものでもなく、例えば中心部から周辺部に向けて累進的に焦点距離ｆが変化する累進多焦点レンズであってもよい。
【００４２】
撮像素子１０３は、図２に示した分光型撮像素子であり、上述したレンズ部１２１による合焦した像と、レンズ部１２３によるぼけた像とが重なった画像を光電変換し、画像信号１０３ｓを出力する。撮像素子１０３の画像信号１０３ｓは、図１で説明したように、撮像制御部１０５とインタフェース１０７とを経由して画像演算部２０１に入力され、超深度処理が施されて、近距離から遠距離まで全てにピントの合った超深度画像が生成される。
【００４３】
次に、本第１の実施の形態における撮像動作について、図３（ｂ）を用いて説明する。図３（ｂ）において、ステップＳ１０１で、撮像素子１０３によって光電変換が行われ、撮像制御部１０５によって撮像素子１０３の画像信号１０３ｓのデジタル化された画像データ１０５ｉが生成されると、ステップＳ１０３で、画像演算部２０１によって、撮像素子１０３の各画素１０３ｃの位置毎に、画像データ１０５ｉから被写体の画像のＲ、Ｇ、Ｂ３色の色情報の生成が行われる。
【００４４】
図５に示したベイヤ配列型撮像素子ＩＤの場合は、ここで色補間処理を行って各画素の位置でのＲ、Ｇ、Ｂ３色の色情報を生成する処理を行う必要があるが、本第１の実施の形態ではその必要はなく、デジタル化された画像データ１０５ｉから直接各画素１０３ｃの位置でのＲ、Ｇ、Ｂ３色の色情報を生成することができる。もちろん、解像度不足や偽色等も発生しない。
【００４５】
例えば２００万画素のベイヤ配列型撮像素子ＩＤで、１つの画素の色情報を補間するのに、周囲５画素×５画素の範囲の平均をとるとする。周囲５画素×５画素中には少なくとも４個の補間に使える画素（例えばＢ画素の位置でＲの補間を行う場合等）が存在するので、２００万画素では、１色の補間に少なくとも８００万回の加算と２００万回の除算とが必要となり、各画素の位置で３色のデータを得るには、少なくとも１，６００万回の加算と４００万回の除算とが必要となる。
【００４６】
本第１の実施の形態であれば、これだけの演算が不要となり、演算時間や消費電力が節約できる。さらに、演算の負荷が軽くなることで、処理能力の低いＣＰＵ等を用いることができ、コストダウンにも寄与できる。
【００４７】
図３（ｂ）に戻って、ステップＳ１０５で、Ｒ、Ｇ、Ｂ３色の色情報に画像演算部２０１によって超深度処理が施されて、近距離から遠距離まで全てにピントの合った超深度画像が生成される。ステップＳ１０７で、超深度画像が出力される。静止画の撮像の場合はこれで全ての動作が終了される。動画の撮像の場合は、ステップＳ１０１に戻って、以後上述した動作を繰り返せばよい。
【００４８】
本第１の実施の形態においては、画像演算部２０１は、前述した特許文献１の図１に示された画像改質処理装置３０と同じものでよく、ここで施される超深度処理は、前述した画像改質処理装置３０で施される画像改質処理と同じでよい。
【００４９】
本第１の実施の形態のように、複数の画像の重ね合わせを光電変換し、その画像から超深度画像を演算するためには、たたみ込み処理を利用した「複数の画素を参照してそれぞれの画素の値を決定する処理」が必要となってくる。この処理においては、画素値を決定するためには１つの画素の値はそれほど重要ではなく、周囲の画素の画素値の統計的傾向に強く依存する。つまり、数画素程度の異常な領域が存在しても、誤差が周囲に分散されて目立たなくなる特性がある。
【００５０】
例えば、撮像素子の画素上にゴミがのった場合を考えると、ゴミがのった画素はゴミの影となって真っ暗の状態になるので、黒の画像信号しか出力できない。図５に示したベイヤ配列型撮像素子ＩＤでは、画素ＩＣ上にゴミがのったような場合、ゴミがのった画素だけでなく、ゴミがのった画素の周辺の画素での色情報の生成時にも、ゴミがのった画素の黒の画像信号が補間に利用されるために、ゴミの影響が周辺の画素にまで及び、ゴミがのった画素の周囲数倍の領域まで画質の劣化が及ぶ。色補間処理で参照する範囲を広くすればゴミの影響は低減できるが、上述したように色補間処理には多大な演算が必要であり、演算の負荷がさらに増大するので適切な対応ではない。
【００５１】
これに対して、本発明に用いる分光型撮像素子１０３では、色補間処理を行って各画素の位置でのＲ、Ｇ、Ｂ３色の色情報を補うことはしないので、撮像素子１０３の画素１０３ｃ上にゴミ等がのった場合には、ゴミののった画素１０３ｃのみが黒の画像信号１０３ｓを出力する。しかし、本第１の実施の形態においては、このようにゴミののった画素１０３ｃのみが黒の画像信号を出力しても、たたみ込み処理で参照する周辺の他の画素が正常に画像信号を出力できていれば、誤差が周囲に分散されて、画像としては違和感なく超深度画像を演算することができるので、ゴミの影響は問題とならない。
【００５２】
以上に述べたように、本第１の実施の形態においては、焦点距離の異なる２つのレンズ部で構成される二焦点レンズによって形成される合焦した像とぼけた像とが重なった被写体像を、３色の光を独立して光電変換できる分光型撮像素子を用いて撮像することで、解像度不足や偽色等が発生せず、高画質の超深度画像を生成できる超深度画像生成装置を提供することができる。また、色補間処理のための膨大な演算も不要で、演算時間や消費電力が節約でき、処理能力の低いＣＰＵ等を用いることができて、コストダウンにも寄与できる。さらに、分光型撮像素子を用いることで、ゴミの影響も問題とならない。
【００５３】
（第２の実施の形態）
次に、本発明の第２の実施の形態について、図４を用いて説明する。図４は、本発明の第２の実施の形態を説明するための模式図で、図４（ａ）は本第２の実施の形態に用いられる撮像光学系１０１の構成図、図４（ｂ）は本第２の実施の形態の動作の流れを示すフローチャートである。
【００５４】
まず、本第２の実施の形態に用いられる撮像光学系１０１について、図４（ａ）を用いて説明する。
【００５５】
図４（ａ）において、撮像光学系１０１は軸上色収差が大きくなるように設計されており、光の波長毎に焦点距離が異なる。例えば、Ｒにおける焦点距離ｆｒ＝５．２ｍｍ、Ｇにおける焦点距離ｆｇ＝５．０ｍｍおよびＢにおける焦点距離ｆｂ＝４．８ｍｍである。よって、例えばＧの光束１３３が撮像素子１０３の撮像面１０３ａ上に結像するように撮像光学系１３０と撮像素子１０３との位置が配置されると、Ｒの光束１３１は撮像素子１０３の撮像面１０３ａよりも後方に結像するため、撮像素子１０３の撮像面１０３ａ上ではぼけた像となる。同様に、Ｂの光束１３５は撮像素子１０３の撮像面１０３ａよりも前方に結像し、撮像素子１０３の撮像面１０３ａ上ではぼけた像となる。
【００５６】
撮像素子１０３は、図３と同様に、図２に示した分光型撮像素子であり、Ｇの光束１３３による合焦した像と、Ｒの光束１３１およびＢの光束１３５によるぼけた像とが重なった画像を光電変換し、画像信号１０３ｓを出力する。撮像素子１０３の画像信号１０３ｓは、図１で説明したように、撮像制御部１０５とインタフェース１０７とを経由して画像演算部２０１に入力され、超深度処理が施されて超深度画像が生成される。
【００５７】
次に、本第２の実施の形態における撮像動作について、図４（ｂ）を用いて説明する。図４（ｂ）において、ステップＳ２０１で、撮像素子１０３によって光電変換が行われ、撮像制御部１０５によって撮像素子１０３の画像信号１０３ｓのデジタル化された画像データ１０５ｉが生成されると、ステップＳ２０３で、画像演算部２０１によって、撮像素子１０３の各画素１０３ｃの位置毎に、画像データ１０５ｉから被写体の画像のＲ、Ｇ、Ｂ３色の色情報の生成が行われる。図３（ｂ）と同様に、本第２の実施の形態でも色補間処理の必要はなく、膨大な演算を省略できる。もちろん、解像度不足や偽色等も発生しない。
【００５８】
ステップＳ２０５で、Ｒ、Ｇ、Ｂ３色の色情報に画像演算部２０１によって超深度処理が施されて、近距離から遠距離まで全てにピントの合った超深度画像が生成される。ステップＳ２０７で、超深度画像が出力される。静止画の撮像の場合はこれで全ての動作が終了される。動画の撮像の場合は、ステップＳ２０１に戻って、以後上述した動作を繰り返せばよい。
【００５９】
本第２の実施の形態における超深度処理は、第１の実施の形態と同じ処理であってもよいし、例えば撮像素子１０３から出力された画像信号１０３ｓのＲ、Ｇ、Ｂの各出力の内で、最もコントラストの高いものを輝度信号として採用し、残りの出力から色差信号を生成して輝度−色差信号を得、これらから上述した特許文献１と同様の超深度処理により超深度画像を演算する処理であってもよい。上述した方法であれば、画像信号１０３ｓのＲ、Ｇ、Ｂの各出力の内で、最もコントラストの高いものを輝度信号として採用するため、Ｒ、Ｇ、Ｂのいずれかでピントが合う距離範囲ならば、合焦した画像を得ることができる。
【００６０】
以上に述べたように、本第２の実施の形態においては、光の波長によって焦点距離の異なる撮像光学系によって形成される合焦した像とぼけた像とが重なった被写体像を、３色の光を独立して光電変換できる分光型撮像素子を用いて撮像することで、解像度不足や偽色等が発生せず、高画質の超深度画像を生成できる超深度画像生成装置を提供することができる。また、色補間処理のための膨大な演算も不要で、演算時間や消費電力が節約でき、処理能力の低いＣＰＵ等を用いることができて、コストダウンにも寄与できる。さらに、分光型撮像素子を用いることで、ゴミの影響も問題とならない。
【００６１】
また、第１および第２の実施の形態において、撮像光学系として偏光方向によって屈折力の異なる光学素子または回折格子を用いることで複数の画像が重ね合わされた被写体像を形成することも可能であるが、上述した軸上色収差を用いた方法の方が光学系が簡便になるので、より好ましい。
【００６２】
以上に述べたように、本発明によれば、合焦した像とぼけた像とが重なった被写体像を、３色の光を独立して光電変換できる分光型撮像素子を用いて撮像することで、解像度不足や偽色等が発生せず、高画質の超深度画像を生成できる超深度画像生成装置を提供することができる。また、色補間処理のための膨大な演算も不要で、演算時間や消費電力が節約でき、処理能力の低いＣＰＵ等を用いることができて、コストダウンにも寄与できる。さらに、分光型撮像素子を用いることで、ゴミの影響も問題とならない。
【００６３】
尚、本発明に係る超深度画像生成装置を構成する各構成の細部構成および細部動作に関しては、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【図面の簡単な説明】
【００６４】
【図１】本発明における超深度画像生成装置の構成を示すブロック図である。
【図２】本発明に用いられる撮像素子の構成を示す模式図である。
【図３】本発明の第１の実施の形態を説明するための模式図である。
【図４】本発明の第２の実施の形態を説明するための模式図である。
【図５】ベイヤ配列のカラーフィルタを有する撮像素子の構成を示す模式図である。
【符号の説明】
【００６５】
１  超深度画像生成装置
１００  撮像装置
１０１  撮像光学系
１０３  （分光型）撮像素子
１０３ａ  （撮像素子の）撮像面
１０３ｃ  （撮像素子の）画素
１０３ｐ  （撮像素子の）基板
１０３ｓ  （撮像素子の）画像信号
１０５  撮像制御部
１０７  インタフェース
１１１  （撮像光学系の）光軸
１２１  焦点距離ｆの長いレンズ部
１２３  焦点距離ｆの短いレンズ部
１２５  レンズ部１２１による光束
１２７  レンズ部１２３による光束
１３１  Ｒの光束
１３３  Ｇの光束
１３５  Ｂの光束
２００  処理装置
２０１  画像演算部
２０３  画像保存部
ＰＤ１  光電変換部（Ｂ）
ＰＤ２  光電変換部（Ｇ）
ＰＤ３  光電変換部（Ｒ）
ＩＤ  （ベイヤ配列型カラーフィルタを用いた）撮像素子
ＩＰ  撮像面
ＩＣ  画素
ＢＰ  半導体基板
ＰＤ  光電変換部
【図１】
2008244982.tif 000003
【図２】
2008244982.tif 000004
【図３】
2008244982.tif 000005
【図４】
2008244982.tif 000006
【図５】
2008244982.tif 000007