【手続補正書】
【提出日】平成22年3月18日(2010.3.18)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
例えば、光に関して指向性を生じさせ易い物体を撮像した場合、光強度の異なる画素間での補間処理となるため、正しい光強度を得ることができない。また、フォーカスの外れたデフォーカス面では異なる位置（物体）からの光が通過することとなるため、適切なカラー補間処理を行うことができない。さらに、この手法特有のフォーカス調整を施す際には、隣接画素間で光線ベクトルが混じってしまうため、画像のフォーカス精度が低下する。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明はかかる問題点に鑑みてなされたもので、その目的は、光線の進行方向の情報を含むようにして取得した撮像データを用いて、特にカラー画像を取得する際などに適切な補間処理を施すことが可能な撮像装置を提供することにある。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
撮像素子１３は、マイクロレンズアレイ１２からの光を受光して撮像データＤ０を生成するものであり、マイクロレンズアレイ１２の結像面（図中の符号ｆ２は、マイクロレンズアレイ１２の焦点距離を表している）に配置されている。この撮像素子１３は、例えば、マトリクス状に配列された複数のＣＣＤ（Charge Coupled Device；電荷結合素子）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの２次元撮像素子により構成される。撮像素子１３の受光面（マイクロレンズアレイ１２側の面）には、Ｍ×Ｎ（Ｍ，Ｎ：整数）個の撮像画素（以下、単に画素という）がマトリクス状に配置されている。また、複数の画素（例えば、ｍ×ｎ＝１１×１１＝１２１個の画素）に対してマイクロレンズアレイ１２内の１つのマイクロレンズが割り当てられるようになっている。この受光面における画素の個数は、例えば、Ｍ×Ｎ＝３７２０×２５２０＝９３７４４００個である。ここで、各マイクロレンズに対する画素の割り当て個数ｍ×ｎの値が大きくなるに従って、後述する再構築画像の分解能、例えば任意の視野での分解能やリフォーカス演算処理に基づく奥行き方向の分解能（任意の焦点での分解能）などが高くなる。一方、（Ｍ／ｍ），（Ｎ／ｎ）は、再構築画像の解像度と関連しているため、これら（Ｍ／ｍ），（Ｎ／ｎ）の値が大きくなるに従って、再構築画像の解像度が高くなる。このように、再構築画像の分解能と解像度とはトレードオフの関係にあるが、分解能および解像度の両者をできるだけ高い値で両立させることが望ましい。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
例えば、図５に示したように、撮像素子の受光面において５行５列で配置された画素領域（５×５ピクセル）に対して１つのマイクロレンズを割り当てた場合には、マイクロレンズごとに結像した撮像対象物２の像（以下、ユニット像という）を有する撮像データＤ１００が得られる。この場合、ユニット像ごとに同一の位置にある画素データを抽出して合成することにより、任意の視野に設定された画像が再構築される。ここで、図６（Ａ）に示した領域（視野）Ｓ１１，Ｓ１２，Ｓ１３，Ｓ１４，Ｓ１５における画素データをそれぞれ抽出して合成した場合の実際の再構築画像を、図６（Ｂ）に示す。このように、撮像データＤ０が光線の進行方向の情報を含んでいることにより、撮像対象物２に対して互いに異なる視野（任意の視野）から観察した画像が再構築される。また、このとき、撮像素子の受光面において１つのマイクロレンズに割り当てられた画素と同数の再構築画像が得られるため、再構築画像の任意の視野での分解能は、各マイクロレンズに割り当てられる画素数が多くなるに従って高くなる。この一方で、再構築画像の解像度は、マイクロレンズに割り当てられる画素数が少なくなるに従って高くなる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
一方、図７に示したように、撮像レンズ面１１０、撮像素子面１３０およびリフォーカス面１２０間の位置関係を設定（Ｆ’＝αＦとなるようにリフォーカス面１２０を設定）した場合、リフォーカス面１２０上の座標（ｓ，ｔ）の撮像面１３０上における検出強度ＬF'は、以下の（２）式のように表される。また、リフォーカス面１２０で得られるイメージＥF'（ｓ，ｔ）は、上記検出強度ＬF'をレンズ口径に関して積分したものとなるので、以下の（３）式のように表される。したがって、この（３）式からリフォーカス演算処理を行うことにより、任意の焦点（リフォーカス面１２０）に設定した画像が再構築される。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
【数１】
2009124213.tif 000001
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】変更
【補正の内容】
【００４５】
上記のようにして並べ替え処理部１４５により再構築された任意の視野や任意の焦点における画像の撮像データは、ノイズ低減部１４６によりノイズ低減処理がなされ、さらに輪郭強調部１４７によって輪郭強調処理がなされ、ホワイトバランス調整部１４８へ供給される。そして、ホワイトバランス調整部１４８から供給された撮像データは、ガンマ補正部１４９によりガンマ補正がなされることにより、撮像データＤoutとして画像処理部１４から出力される。これにより、この撮像データＤoutに基づいて、任意の視野や焦点に設定した画像が得られる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
ここで、撮像データＤ０には、上述したように光線の位置情報に加え光線の進行方向の情報が含まれている。ところが、これらの情報は隣接する画素データ間で互いに異なるものであるため、撮像データＤ１（撮像データＤ０）において、本比較例のように、隣接する画素データ間でカラー補間処理を行うと、撮像データＤ１０２から正しい光強度が得られなくなってしまう。また、図９に示したようなフォーカスの外れたデフォーカス面１２１では、異なる位置（物体）からの光線が到達することとなるため、本比較例のカラー補間処理では、適切なカラー補間を行うことができない。さらに、フォーカス調整を施す際には、隣接画素データ間で光線ベクトルが混じってしまうため、画像のフォーカス精度が低下する。また、撮像素子の受光面上には、マイクロレンズごとに開口絞りの開口形状に対応したユニット像が結像する。このため、そのユニット像のエッジ（外縁部分）がマイクロレンズ周期で存在することとなる。ところが、撮像データＤ０内にこのようなエッジを有している場合、このエッジを含む画素データとこれに隣接する画素データとの間では、適切な補間処理を行うことができない。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００５１
【補正方法】変更
【補正の内容】
【００５１】
一方で、カラーフィルタ１５の３色が画素ごとに塗り分けられていることにより、撮像データＤ１では、画素ごとにＲ，ＧもしくはＢの色の画素データが配置された構成となる。また、カラーフィルタ１５の単位配列１５Ａにおける行数もしくは列数の大きい方の数（同数の場合はその数）をｎとすると、各マイクロレンズに対応する画素領域１３Ａの一辺の画素数ＮPが前述の式（１）で表されるようになっている。このように構成することにより、図１１（Ａ）〜図１１（Ｃ）に示したように、抽出した画素データＤ１ａ，Ｄ１ｂ，Ｄ１ｃごとに合成して生成された視差成分画像の撮像データＤ２ａ，Ｄ２ｂ，Ｄ２ｃにおける色の配列は、上記カラーフィルタ１５と同一の色の単位配列（単位配列１５Ａ）となる。なお、本実施の形態では、カラーフィルタ１５の単位配列１５Ａの行数（列数）ｎを２とし、ｍを４とした場合の構成となっている。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【００５４】
なお、カラー補間処理後の撮像データＤ３が並べ替え処理部１４５に供給されると、並べ替え処理部１４５では、その並べ替え処理の前処理として再配列処理が施される。これにより、カラー補間処理後の視差成分画像の撮像データＤ３が、もとの撮像データＤ０に対応する画像に再配列され、図１３に示したように、ユニット像Ｍ１の撮像データが得られる。このユニット像Ｍ１から構成される撮像データは、上述のカラー補間処理により、撮像データＤ０の画素ごとにＲ，Ｇ，Ｂの３色のカラー情報を有する画像となる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】変更
【補正の内容】
【００５６】
また、撮像データＤ０においては、マイクロレンズ周期でユニット像のエッジが存在するが、この撮像データＤ０に対してカラー補間処理を行う前に視差成分画像に展開するようにしたので、上記のようなマイクロレンズ周期で存在するエッジの影響を大幅に減らすことができる。よって、適切なカラー補間処理を施し易くなる。これは特に、図１４に示したように、各マイクロレンズに割り当てられる画素数を減らした場合、例えば３×３＝９個とした場合に有効となる。割り当て画素数を減らした場合、ユニット像Ｍ２におけるエッジの数が増えてエッジによる影響がより大きくなるためである。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００７２
【補正方法】変更
【補正の内容】
【００７２】
【図１】本発明の第１の実施の形態に係る撮像装置の構成を表すブロック図である。
【図２】図１に示した撮像素子の受光面上に設けられるカラーフィルタの構成例を表す平面図である。
【図３】図１に示した画像処理部の詳細構成例を表す機能ブロック図である。
【図４】撮像データに含まれる光線の情報を説明するための図である。
【図５】図１に示した撮像素子の受光面上で撮像対象物がつくる像を模式的に表したものである。
【図６】任意の視野に設定した再構築画像の一例である。
【図７】任意の焦点に設定した再構築画像を合成する際のリフォーカス演算処理を説明するための模式図である。
【図８】比較例に係る撮像装置の画像処理部の機能ブロック図である。
【図９】比較例の撮像装置における作用を説明するための図である。
【図１０】図３に示した画像処理部の視差成分画像生成部における処理動作を模式的に表すものである。
【図１１】生成された視差成分画像の色の配列を模式的に表すものである。
【図１２】図３に示した画像処理部の補間処理部におけるカラー補間動作の一例を模式的に表すものである。
【図１３】カラー補間後に再配列処理を施した撮像データを表す模式図である。
【図１４】各マイクロレンズに割り当てる画素数を減らした場合の撮像データの構成を表す模式図である。
【図１５】第２の実施の形態に係る撮像装置に用いられるカラーフィルタの構成例を表す平面図である。
【図１６】本発明の変形例に係るカラーフィルタの構成を表す平面図である。
【図１７】本発明の変形例に係るカラーフィルタの構成を表す平面図である。