(57)【要約】【課題】撮像画素の受光領域を増加させることが可能な撮像装置を提供する。【解決手段】撮像レンズ１１の開口絞り１０が、長方形状の開口部１０Ａを有するようにする。これにより、撮像素子１３上に受光されるイメージ（受光イメージ１３Ｄ−１）も、長方形状となる。したがって、円形の開口部を有する従来の開口絞りを用いた場合と比べ、撮像素子１３において、各受光イメージ１３Ｄ−１が隙間なく密に形成され易くなる。よって、撮像画素の受光領域を増加させることが可能となる。【選択図】図１
2009290268.tif 000002
【特許請求の範囲】
【請求項１】
開口絞りを有する撮像レンズ部と、
受光した光に基づいて撮像データを取得する撮像素子と、
前記撮像レンズ部と前記撮像素子との間で撮像レンズ部の焦点面上に配置されると共に、前記撮像素子の複数の画素に対して１つのシリンドリカルレンズを有するシリンドリカルレンズアレイ部と
を備え、
前記開口絞りが、長方形状の開口部を有する
撮像装置。
【請求項２】
複数のシリンドリカルレンズが、前記開口部の長手方向に沿って配列している
請求項１に記載の撮像装置。
【請求項３】
前記撮像レンズ部のＦナンバーが、前記シリンドリカルレンズアレイのＦナンバーと等しい
請求項１に記載の撮像装置。
【請求項４】
前記撮像素子から得られた撮像データに基づいて所定の並び替え処理を行い、再構築画像を生成する画像処理部を備えた
請求項１ないし請求項３のいずれか１項に記載の撮像装置。
【請求項５】
前記画像処理部は、前記撮像データに基づいて互いに視差の異なる複数の視差画像を生成すると共にこれら複数の視差画像のうち少なくとも２つの視差画像間の位相差を検出し、検出したこの位相差を利用して前記再構築画像を生成する
請求項４に記載の撮像装置。
【請求項６】
前記画像処理部は、前記位相差を利用して補間画像を生成し、前記視差画像とこの補間画像との合成画像に対して前記並び替え処理を行うことにより、前記再構築画像を生成する
請求項５に記載の撮像装置。
【請求項７】
前記受光素子の受光面側に、画素ごとに色分けされたカラーフィルタを備えた
請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像レンズおよび撮像素子を用いた撮像装置に関する。
【背景技術】
【０００２】
従来、様々な撮像装置が提案され、開発されている。また、撮像して得られた撮像データに対し、所定の画像処理を施して出力するようにした撮像装置も提案されている。
【０００３】
例えば、特許文献１および非特許文献１には、「Light Field Photography」と呼ばれ
る手法を用いた撮像装置が提案されている。ここで、図１８に、この手法を用いた従来の撮像装置１００の概略構成について示す。この撮像装置１００は、撮像レンズ１１０と、マイクロレンズアレイ１２０と、複数の画素が２次元配列した撮像素子１３０とを備えており、撮像レンズ１１０には、円形状の開口部１０１Ａを有する開口絞り１０１が設けられている。また、一つのマイクロレンズに対して複数の画素が割り当てられ、撮像素子から得られる撮像データが、受光面における光の強度分布に加えてその光の進行方向の情報をも含むようになっている。これにより、画像処理部において、任意の視点や方向（以下、単に視野という）、任意のフォーカスからの観察画像を再構築できるようになっている。
【０００４】
このような撮像装置１００では、開口絞り１０１の開口部１０１Ａを通る全ての光線がマイクロレンズアレイ１２０を介して撮像素子１３０上に受光されるため、撮像素子１３０上に受光される像（イメージ）は、開口部１０１Ａの形状の相似形となる。したがって、例えば図１９（Ａ）に示したような、複数の円形状の受光イメージが撮像素子１３０上にマトリクス状に形成された撮像データが得られる。なお、図１９（Ａ）における領域Ｓについて、図１９（Ｂ）に拡大して示す。
【０００５】
【特許文献１】国際公開第０６／０３９４８６号パンフレット
【非特許文献１】Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところが、例えば図１９（Ｂ）に示したように、円形状の開口部１０１Ａを有する開口絞り１０１を用いた場合、撮像素子１３０上では、円形状の受光イメージ１３０Ｄ−１同士の間に、受光されない画素領域（非受光領域１３０Ｄ−２）が生じてしまうという問題があった。このため、撮像画素を十分に利用することができなかった。
【０００７】
本発明はかかる問題点に鑑みてなされたもので、その目的は、撮像画素の受光領域を増加させることが可能な撮像装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の撮像装置は、開口絞りを有する撮像レンズ部と、受光した光に基づいて撮像データを取得する撮像素子と、撮像レンズ部と撮像素子との間で撮像レンズ部の焦点面上に配置されると共に、撮像素子の複数の画素に対して１つのシリンドリカルレンズを有するシリンドリカルレンズアレイ部とを備えたものである。また、上記開口絞りが、長方形状の開口部を有するようになっている。
【０００９】
本発明の撮像装置では、撮像レンズ部における開口絞りが長方形状の開口部を有することにより、シリンドリカルレンズアレイ部を介して撮像素子上に受光されるイメージは、開口部の形状の相似形、すなわち長方形状となる。したがって、円形の開口部を有する従来の開口絞りを用いた場合に比べ、撮像素子において、複数のイメージが隙間なく密に形成され易くなる。
【発明の効果】
【００１０】
本発明の撮像装置によれば、撮像レンズ部における開口絞りが長方形状の開口部を有するようにしたので、撮像素子上に受光されるイメージが長方形状となるため、円形の開口部を有する従来の開口絞りを用いた場合と比べ、撮像素子において、複数のイメージが隙間なく密に形成され易くなる。よって、撮像画素の受光領域を増加させることが可能となる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１２】
［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る撮像装置（撮像装置１）の全体構成を表したものである。この撮像装置１は、撮像対象物（被写体）２を撮像して撮像データＤoutを出力するものであり、被写体２の側からＹ軸の正方向に沿って、開口絞り１０と、撮像レンズ１１と、シリンドリカルレンズアレイ１２と、撮像素子１３とを備えている。また、撮像装置１はこの他に、画像処理部１４と、撮像素子駆動部１５と、制御部１６とを備えている。
【００１３】
開口絞り１０は、撮像レンズ１１の光学的な開口絞りである。この開口絞り１０の詳細な構成については、後述する（図２）。
【００１４】
撮像レンズ１１は、被写体２を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズにより構成される。
【００１５】
シリンドリカルレンズアレイ（レンチキュラレンズ）１２は、後述する複数のシリンドリカルレンズが１次元配列（具体的には、Ｘ軸方向に沿って配列）したものであり、撮像レンズ１１の焦点面（図中の符号ｆ１は、撮像レンズ１１の焦点距離を表している）に配置されている。なお、このシリンドリカルレンズアレイ１２の具体的な構成については、後述する（図３）。
【００１６】
撮像素子１３は、シリンドリカルレンズアレイ１２からの光を受光して撮像データＤ０を取得するものであり、シリンドリカルレンズアレイ１２の焦点面（図中の符号ｆ２は、シリンドリカルレンズアレイ１２の焦点距離を表している）に配置されている。この撮像素子１３は、複数の画素（後述する画素Ｐ）をマトリクス状に２次元配列したものであり、各画素は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などにより構成されている。
【００１７】
このような撮像素子１３の受光面（シリンドリカルレンズアレイ１２側の面）には、Ｍ×Ｎ（Ｍ，Ｎ：整数）個の画素がマトリクス状に配置され、複数の画素に対してシリンドリカルレンズアレイ１２内の１つのシリンドリカルレンズが割り当てられるようになっている。この受光面上の画素の個数は、例えば、Ｍ×Ｎ＝３７２０×２５２０＝９３７４４００個である。ここで、各シリンドリカルレンズに割り当てられる画素数（ｍ×ｎ）は、後述する再構築画像の任意の視野での分解能となる。このため、これらｍ，ｎの値が大きくなるにしたがって、再構築画像の任意の視野、任意のフォーカスでの分解能が高くなる。一方、（Ｍ／ｍ），（Ｎ／ｎ）は、再構築画像の画素数（解像度）となる。このため、これら（Ｍ／ｍ），（Ｎ／ｎ）の値が大きくなるに従って、再構築画像の画素数が増加する。したがって、再構築画像の任意の視野での分解能と画素数とは、トレードオフの関係となっている。
【００１８】
画像処理部１４は、後述する制御部１６から供給される制御信号Ｓoutに従って、撮像素子１３で得られた撮像データＤ０に対して所定の画像処理を施すことにより、撮像データＤoutを生成・出力するものである。具体的には、例えば「Light Field Photography」と呼ばれる手法を用いた演算処理（所定の並び替え処理）を行うことにより、任意の視野や任意の焦点に設定した観察画像（再構築画像）を生成するようになっている。
【００１９】
撮像素子駆動部１５は、撮像素子１３を駆動してその受光動作の制御を行うものである。
【００２０】
制御部１６は、画像処理部１４および撮像素子駆動部１５の動作を制御するものであり、例えばマイクロコンピュータなどにより構成される。
【００２１】
次に、図２を参照して、開口絞り１０の具体的な構成について説明する。図２は、開口絞り１０の概略構成を平面図で表したものである。
【００２２】
開口絞り１０は、その開口部１０Ａの形状が、開口部１０Ａの中心点（Ｙ軸方向に沿った光軸Ｌ０）に対して点対称となる図形である、長方形となっている。また、この開口部１０Ａでは、長手方向（長軸方向）がＸ軸方向であると共に、短手方向（短軸方向）がＹ軸方向となっている。
【００２３】
なお、詳細は後述するが、撮像レンズ１１における開口部１０Ａの長手方向（Ｘ軸方向）に沿ったＦナンバーは、シリンドリカルレンズアレイ１２の配列方向（Ｘ軸方向）のＦナンバーと、概ね等しくなるように構成されている。なお、本発明においては、これらのＦナンバーが完全に同一である場合に限定されず、誤差等を含んでいてもよいものとする。
【００２４】
次に、図３を参照して、シリンドリカルレンズアレイ１２の具体的な構成について説明する。図３は、シリンドリカルレンズアレイ１２の概略構成を斜視図で表したものである。
【００２５】
シリンドリカルレンズアレイ１２は、複数のシリンドリカルレンズ１２−１を、開口絞り１０における開口部１０Ａの長手方向（Ｘ軸方向）に沿って１次元配列したものである。各シリンドリカルレンズ１２−１は、Ｙ軸方向に沿って延在すると共に撮像レンズ１１側に突き出した半円柱状（シリンダー状）となっている。また、各シリンドリカルレンズ１２−１は、通常のレンズにより構成される他、例えば液晶レンズ、液体レンズまたは回折レンズなどにより構成され得る。
【００２６】
次に、本実施の形態の撮像装置１の作用および効果について、図１〜図７を参照して説明する。ここで、図４は、開口絞り１０、シリンドリカルレンズアレイ１２および撮像素子１３における位置関係および作用について説明するための斜視図であり、図５は、撮像素子１３で受光される光線情報を説明するための図である。また、図６は、撮像素子１３における受光領域を平面図で表したものであり、図７はＦナンバーの設定について説明するための図である。
【００２７】
まず、図１〜図５を参照して、撮像装置１の基本的な作用について説明する。
【００２８】
この撮像装置１では、図４に示したように、撮像レンズ１１による被写体２の像は、開口絞り１０によってその光束が絞られ、シリンドリカルレンズアレイ１２上に結像する。そしてシリンドリカルレンズアレイ１２への入射光線が、このシリンドリカルレンズアレイ１２を介して撮像素子１３で受光される。このとき、図４に示したように、シリンドリカルレンズアレイ１２内の各シリンドリカルレンズ１２−１への入射光線は、その入射方向に応じて、撮像素子１３の異なる位置（異なる画素Ｐ）で受光される。
【００２９】
ここで、図５を参照して、撮像素子１３で受光される光線について説明する。撮像レンズ１１の撮像レンズ面上において１次元座標系（ｕ）を、撮像素子１３の撮像面上において直交座標系（ｘ，ｙ）をそれぞれ考え、撮像レンズ１１の撮像レンズ面と撮像素子１３の撮像面との距離をＦとすると、撮像レンズ１１および撮像素子１３を通る光線Ｌ１は、３次元関数ＬＦ（ｘ，ｙ，ｕ）で表される。これにより、この光線Ｌ１は、光線の位置情報に加え、光線の進行方向が保持された状態で、撮像素子１３に記録される。すなわち、各シリンドリカルレンズ１２−１に割り当てられた複数の画素Ｐの配置によって、光線の入射方向が決定されることになる。
【００３０】
このようにして撮像素子１３において受光がなされると、撮像素子駆動部１５による駆動動作に従って撮像素子１３から撮像データＤ０が得られ、この撮像データＤ０が画像処理部１４へ入力される。画像処理部１４では、制御部１６の制御に従って、撮像データＤ０に対し、所定の画像処理（並び替え処理）が施される。例えば、任意の視野の画像を再構築する際には、シリンドリカルレンズ１２−１ごとに同一の列にある画素データが抽出され、これらを合成する処理がなされる。また、任意の焦点（フォーカス）での画像を再構築する際には、画素データの並び替え処理と、積分処理とが施される。このような画像処理により、撮像データＤoutとして、任意の視野や任意の焦点での再構築画像が出力される。
【００３１】
次に、図６および図７を参照して、本実施の形態の撮像装置１における特徴的な作用について説明する。
【００３２】
この撮像装置１では、開口絞り１０の開口部１０Ａの形状が、図２に示したような長方形となっていることにより、開口部１０Ａの長手方向（Ｘ軸方向）に沿った面内を進行する光線は、大きな有効径で集光される一方、開口部１０Ａの短手方向（Ｙ軸方向）に沿った面内を進行する光線は、小さな有効径で集光されることとなる。これにより、撮像素子１３上では、光軸Ｌ０に対する回転角の大きさに応じて有効径が変化した像（受光イメージ）が取得される。
【００３３】
よって、例えば図６に示したように、シリンドリカルレンズアレイ１２を介して撮像素子１３上に入射する光線がつくる受光イメージ（再構築画素領域）１３Ｄ−１は、開口部１０Ａの形状の相似形、すなわち、Ｘ軸方向を長手方向（長軸方向）とする長方形状となる。この際、シリンドリカルレンズアレイ１２を介することにより、Ｘ軸方向の光線は入射方向別に分解され、開口部１０Ａの長手方向（Ｘ軸方向）の大きな有効径で集光された光線も、割り当て画素数分の一に分けられることになる。ただし、開口部１０Ａにおける長手方向（Ｘ軸方向）と短手方向（Ｙ軸方向）との長さの比を調整することにより、Ｘ軸方向およびＹ軸方向に同じ有効径にあたる集光で得られた像を取得することが可能である。
【００３４】
また、シリンドリカルレンズアレイ１２において、複数のシリンドリカルレンズ１２−１が１次元アレイ状（Ｘ軸方向に沿ったアレイ状）に配置されていることにより、受光イメージ１３Ｄ−１は、撮像素子１３上にマトリクス状に形成される。これにより、長方形の受光イメージ１３Ｄ−１が、撮像素子１３上にマトリクス状に配置されることとなり、撮像素子１３のほぼ全域が受光領域１３Ｄとなる。
【００３５】
ここで、図１８および図１９に示した従来の円形の開口絞り（以下、円形絞りという）を用いた撮像装置１００では、撮像素子１３０上において、円形状の受光イメージ１３０Ｄ−１同士の間に非受光領域１３０Ｄ−２が生じてしまうため、撮像画素（画素Ｐ）を十分に利用することができなかった。これに対し、本実施の形態の撮像装置１では、上記のように、撮像素子１３のほぼ全域が受光領域１３０となるため、従来の撮像装置１００と比べて受光イメージが隙間なく密に形成され易くなり、受光領域が増加する。
【００３６】
なお、本実施の形態の撮像装置１において、例えば図６に示したように、４×１画素の再構築画素領域１３Ｄ−１が設定されている場合、画像処理部１４において任意視点画像を再構築する際には、例えば図７に示した抽出画素Ｐ１０のようにして、各再構築画素領域１３Ｄ−１内の同じ位置の画素が抽出される。
【００３７】
以上のように本実施の形態では、撮像レンズ１１の開口絞り１０が長方形状の開口部１０Ａを有するようにしたので、撮像素子１３上に受光されるイメージ（受光イメージ１３Ｄ−１）が長方形状となるため、円形の開口部を有する従来の開口絞りを用いた場合と比べ、撮像素子１３において、各受光イメージ１３Ｄ−１が隙間なく密に形成され易くなる。よって、撮像画素の受光領域を増加させることが可能となる。
【００３８】
また、シリンドリカルレンズアレイ１２において、複数のシリンドリカルレンズ１２−１を、開口絞り１０における開口部１０Ａの長手方向（Ｘ軸方向）に沿って１次元配列するようにしたので、観察者が水平方向（Ｘ軸方向）に沿って再構築画像を見る場合に、右目および左目による観察に際して、より適合した再構築画像とすることができる。
【００３９】
また、シリンドリカルレンズアレイ１２におけるシリンドリカルレンズ１２−１の数を一定とした場合には、各シリンドリカルレンズ１２−１に対して割り当てられる画素領域（画素Ｐの数）が増加することとなるため、再構築画像における任意の視野や任意の焦点の分解能を向上させることができる。あるいは、各シリンドリカルレンズ１２−１に対して割り当てられる画素数を一定した場合には、シリンドリカルレンズ１２−１の数が増加することとなるため、再構築画像の２次元画素数（解像度）を増加させることができる。したがって、前述したようにトレードオフの関係にある、再構築画像の任意の視野や任意の焦点での分解能と、再構築画像の２次元画素数との両者を、できるだけ高い値で両立させることが可能となる。
【００４０】
また、撮像レンズ１１における開口部１０Ａの長手方向（Ｘ軸方向）に沿ったＦナンバーＦＭＬと、シリンドリカルレンズアレイ１２の配列方向（Ｘ軸方向）のＦナンバーＦＳＬＡとが、概ね等しくなっているようにしたので、図８に示したような現象を回避することが可能となる。具体的には、例えば図８（Ａ）に示したように、撮像レンズ１１のＦナンバーＦＭＬがシリンドリカルレンズアレイ１２のＦナンバーＦＳＬＡよりも小さい場合（ＦＭＬ＜ＦＳＬＡの場合）には、隣接するシリンドリカルレンズ１２−１による撮像光線間で重なりが生じ、これによりクロストークが発生するため、再構築画像の画質が劣化してしまうことになる。また一方で、図８（Ｂ）に示したように、撮像レンズ１１のＦナンバーＦＭＬがシリンドリカルレンズアレイ１２のＦナンバーＦＳＬＡよりも大きい場合（ＦＭＬ＞ＦＳＬＡの場合）には、シリンドリカルレンズ１２−１による撮像光線が受光されない撮像画素が生じるため、撮像画素を十分に利用することができず、再構成画像の画素数が低下してしまうことになる。
【００４１】
［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。なお、第１の実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。
【００４２】
図９は、本実施の形態に係る画像処理部（画像処理部１４Ａ）の機能ブロック構成を表したものである。この画像処理部１４Ａは、欠陥補正部１４０と、クランプ処理部１４１と、並べ替え処理部１４２と、ノイズ低減処理部１４３と、ホワイトバランス処理部１４４と、輪郭強調処理部１４５と、位相差検出部１４６と、補間画像合成部１４７と、再構築画像合成部１４８と、ガンマ補正処理部１４９とから構成されている。
【００４３】
欠陥補正部１４０は、撮像素子１３から得られる撮像データＤ０に含まれる黒とび等の欠陥（撮像素子１３の素子自体の異常に起因した欠陥）を補正するものである。
【００４４】
クランプ処理部１４１は、欠陥補正部１４０による欠陥補正後の撮像データにおいて、各画素データの黒レベルの設定処理（クランプ処理）を行うものである。
【００４５】
並べ替え処理部１４２は、クランプ処理部１４２から供給される撮像データに対して所定の並べ替え処理を施すことにより、例えば各任意視点画像を生成するものである。
【００４６】
ノイズ低減処理部１４３は、並べ替え処理部１４２から供給される撮像データに含まれるノイズ（例えば、暗い場所や感度の足りない場所で撮像したときに発生するノイズ）を低減する処理を行うものである。
【００４７】
ホワイトバランス処理部１４４は、ノイズ低減処理部１４３から供給される撮像データに対し、カラーフィルタの通過特性や撮像素子１３の分光感度などのデバイスの個体差や照明条件などの影響に起因した色バランスの調整処理（ホワイトバランス調整処理）を行うものである。なお、ホワイトバランス処理がなされた撮像データに対して、デモザイク処理などのカラー補間処理を施すようにしてもよい。
【００４８】
輪郭強調処理部１４５は、ホワイトバランス処理部１４４から供給される撮像データＤ１に対し、映像の輪郭を強調する輪郭強調処理を行うものである。
【００４９】
位相差検出部１４６は、輪郭強調処理部１４５により供給される撮像データに基づいて、互いに視差の異なる複数の視差画像（異なる視点による任意視点画像）を生成すると共に、これら複数の視差画像のうち少なくとも２枚の視差画像間の位相差ＤＭ（例えば、後述するDisparity Map）を検出するものである。このような視差画像は、撮像素子１３上で受光したユニット像（再構築画素領域１３Ｄ−１における像）同士の間で、同一の位置に配置された画素Ｐで取得された画素データ（抽出画素Ｐ１０の画素データ）を抽出して合成することにより、生成することができる。このため、生成される視差画像の数は、１つのシリンドリカルレンズ１２−１に割り当てられた画素と同数となる。なお、この位相差検出部１４６の動作の詳細は、後述する（図１０および図１１）。
【００５０】
補間画像合成部１４７は、位相差検出部１４６によって検出された位相差ＤＭを利用して、補間合成画像データＤ２を生成するものである。具体的には、位相差ＤＭを利用して補間画像を生成すると共に、ホワイトバランス処理部１４４から供給される視差画像（撮像データＤ１）と、生成した補間画像とを合成することにより、それらの合成画像（補間合成画像データＤ２）を生成するようになっている。なお、この補間画像合成部１４７の動作の詳細は、後述する（図１３および図１４）。
【００５１】
再構築画像合成部１４８は、補間画像合成部１４７から供給される合成画像（補間合成画像データＤ２）に対して所定の合成処理、例えば「Light Field Photography」と呼ばれる手法を用いたリフォーカス演算処理を施すことにより、再構築画像（撮像データＤ３）を生成するものである。
【００５２】
ガンマ補正処理部１４９は、再構築画像合成部１４８から供給される撮像データＤ３に対して所定のガンマ補正（明暗やコントラストの補正）を行うことにより、撮像データＤoutを生成するものである。
【００５３】
次に、図９〜図１４を参照して、本実施の形態の撮像装置の動作（主に画像処理部１４Ａの動作）について、比較例と比較しつつ詳細に説明する。ここで、図１０は、２つの視差画像に基づく位相差検出動作について説明するための模式図であり、図１１は、２つの視差画像による画素相関演算について説明するための模式図である。また、図１２は、図１８および図１９に示した比較例に係る従来の撮像装置１００における受光領域を平面図で表したものである。また、図１３は、本実施の形態の画像補間合成前の撮像データ（撮像データＤ０，Ｄ１）について説明するための平面図であり、図１４は、本実施の形態の画像補間合成後の撮像データ（撮像データＤ２）について説明するための平面図である。
【００５４】
本実施の形態の撮像装置では、撮像データＤ０が画像処理部１４Ａへ入力されると、欠陥補正部１４０により欠陥補正がなされたのち、クランプ処理部１４２によりクランプ処理が施される。そして並べ替え処理部１４２により並べ替え処理が施され、ノイズ低減処理部１４３によりノイズ低減処理が施され、ホワイトバランス処理部１４４によりホワイトバランス処理が施されることにより、撮像データＤ１が、輪郭強調処理部１４５および補間画像合成部１４７へそれぞれ入力される。
【００５５】
位相差検出部１４６では、互いに異なる少なくとも２つの任意視点画像間の位相差ＤＭが検出される。具体的には、例えば図１０に示したような、２つの視差による光線ＬＲによる視点画像と光線ＬＬによる視点画像との間の位相差Δφ（光線ＬＲによる視点画像の位相φＲと、光線ＬＬによる視点画像の位相φＬとの間の位相差）が検出される。
【００５６】
より具体的には、光線ＬＲによる視点画像ＶＲと光線ＬＬによる視点画像ＶＬとの位相差は、例えば以下のようなDisparityとして算出される。例えば、図１１（Ａ）に示したように、視点画像ＶＲ内の小領域の部分画像Ａ１（中心座標：（ｘ１，ｙ１））を取り出すと共に、図１１（Ｂ）に示したように、部分画像Ａ１と同じ小領域の部分画像Ｂ１（中心座標：（ｘ１，ｙ１）を視点画像ＶＬの中から取り出し、この部分画像Ｂ１の位置を移動させつつ、以下の（１）式による画素相関値が逐次計算される。そしてこの画素相関値が最大となる位置の部分画像Ｂ１の中心点が、部分画像Ａ１の中心点に対応する点として検出される。このときのPixelずれが、上記したDisparityに対応する。また、このような演算処理が、小領域の部分画像Ａ１の取り出し位置を変化させつつ、視点画像ＶＲの全面についてなされることにより、位相差ＤＭを表すDisparity Map（Disparityの集合）が得られる。
【００５７】
【数１】
2009290268.tif 000003
【００５８】
次に、補間画像合成部１４７では、位相差検出部１４６によって検出された位相差ＤＭを利用して、補間合成画像データＤ２が生成される。具体的には、位相差ＤＭを利用して補間画像が生成されると共に、ホワイトバランス処理部１４４から供給される視差画像（撮像データＤ１）と生成した補間画像とが合成されることにより、それらの合成画像（補間合成画像データＤ２）が生成される。
【００５９】
次に、再構築画像合成部１４８では、補間画像合成部１４７から供給される合成画像（補間合成画像データＤ２）に対し、所定の並べ替え処理、例えば「Light Field Photography」と呼ばれる手法を用いたリフォーカス演算処理が施されることにより、再構築画像（撮像データＤ３）が生成される。
【００６０】
そして、この再構築画像のデータ（撮像データＤ３）に対して、ガンマ補正処理部１４９によってガンマ補正がなされることにより、撮像データＤoutが生成され、画像処理部１４Ａから出力される。
【００６１】
ここで、比較例に係る従来の撮像装置１００において、従来の円形状の開口部１０１Ａを有する開口絞り１０１を用いて、例えば図１２に示したようにマイクロレンズの数を増やすことにより、各マイクロレンズに割り当てられる画素数を２×２＝４つに設定した場合について考える。この場合、各画素Ｐでは、その受光領域が扇形状となる。このとき、その円弧付近の領域と頂角付近の領域とでは、受光される光線の進行方向が異なるものとなる。このように、一つの画素Ｐの受光領域１３０−１では、受光される光線の進行方向の分散が大きくなり、所望の進行方向の光線情報を得にくくなる。よって、単に各マイクロレンズに割り当てられる画素数を少なくするだけでは、画素Ｐを抽出および合成して画像を再構築した場合、再構築画像の画素数を増やすことはできるものの、画質そのものが低下してしまうことになる。
【００６２】
そこで、光線空間情報を補間生成する（画像補間を行う）ことが考えられるが、これには、本実施の形態の撮像装置のように、光線空間情報から視差情報（位相差）を検出する必要がある。ところが、従来の撮像装置１００では、例えば図１２に示したように、マイクロレンズの数を増やしていった場合、再構築画素領域１３１Ｄ−１の四隅の画素Ｐにおいて入射方向の情報が欠落してしまい、適切な画像補間を行うのが困難である。
【００６３】
これに対し、本実施の形態の撮像装置では、第１の実施の形態と同様に、撮像レンズ１１の開口絞り１０が長方形状の開口部１０Ａであることにより、従来の撮像装置１００とは異なり、撮像素子１３のほぼ全域が受光領域１３０となる。したがって、構築画素領域の四隅の画素Ｐにおいても、入射方向の情報の欠落が回避され、必要な情報が確実に取得される。したがって、画像処理部１４Ａにおいて、上記したような適切な画像補間が実行可能となる。
【００６４】
具体的には、位相差検出部１４６および補間画像合成部１４７に対し、例えば図１３に示したような撮像データＤ１（２×１＝２つの画素Ｐからなる再構築画素領域１３Ｄ−２を有するもの）が供給された場合、位相差検出部１４６において上記したような位相差ＤＭが検出されると共に、補間画像合成部１４７において、この位相差ＤＭを利用して、補間合成画像データＤ２が生成される。
【００６５】
これにより、例えば図１４に示した補間合成画像データＤ２のように、視点画像（撮像データＤ１）と、補間画像（補間画素Ｐ１１によるもの）とが合成され、合成画像（補間合成画像データＤ２）が生成される。よって、必要最低限の入射方向の情報を得るのに最小限の画素Ｐを各シリンドリカルレンズ１２−１に割り当てれば良いことになり、再構成画像の解像度が向上する。
【００６６】
以上のように本実施の形態では、各シリンドリカルレンズ１２−１に割り当てる画素Ｐの数を必要最低限にまで減らして行った場合でも、位相差ＤＭを利用して光線空間情報を補間生成することが可能となる。したがって、再構築画像の解像度（空間分解能）の向上が可能であると同時に、補間により視点数（角度分解能）を上げることも可能になり、リフォーカス分解能の向上や視域の広い立体視などを実現することが可能となる。
【００６７】
本発明の撮像装置は、例えば、以下説明するようなデジタルカメラ３（適用例１）や立体表示装置４（適用例２）の他、カムコーダや位置センサ、生体センサ、光学顕微鏡、ＦＴＶ（Free viewpoint TV）などの用途の撮像装置に適用することができる。
【００６８】
（適用例１）
図１５（Ａ）および図１５（Ｂ）は、撮像装置１を搭載したデジタルカメラ３の概略構成を表すものであり、（Ａ）は正面図、（Ｂ）は側面図である。このデジタルカメラ３は、筐体３００の内部に撮像装置１（長方形状の開口部１０Ａを有する開口絞り１０が設けられている）を備えており、筐体３００の上部には、シャッタ１７、フラッシュ１８およびファインダ光学系１９などが設けられている。
【００６９】
（適用例２）
図１６は、撮像装置１を搭載した立体表示装置４のブロック構成を表したものである。この立体表示装置４は、被写体２の立体像（３Ｄ映像）を表示するものであり、撮像装置１と、この撮像装置１から出力される撮像データＤoutに基づく画像表示を行う表示パネル４１と、この表示パネル４１の前面（表示パネル４と視聴者５との間）に配置されたシリンドリカルレンズアレイ４２（複数のシリンドリカルレンズが、Ｘ軸方向に沿って１次元配列したもの）とを備えている。なお、表示パネル４１としては、例えば液晶パネルや有機ＥＬ（Electro Luminescence）パネルなどが用いられる。
【００７０】
この立体表示装置４では、被写体２の各点からあらゆる方向に発せられる光線を記録しておくことにより、表示の際に、被写体２が発する光線と同じ光線場が再現される。これにより、視聴者５には、実際に被写体２を見ている時と同じ光線が目に入るため、立体映像として視聴可能となる。なお、この立体表示装置４では、撮影時と表示時とでは、レンズアレイ（シリンドリカルレンズアレイ１２，４２）が逆側となるため、要素画像ごとに、左右の位置を反転する処理が必要となる。
【００７１】
以上、第１および第２の実施の形態、ならびに適用例を挙げて本発明を説明したが、本発明はこれらの実施の形態等に限定されるものではなく、種々の変形が可能である。
【００７２】
例えば、上記実施の形態等では、画像処理部１４を撮像装置１の構成要素の一つとして説明したが、必ずしもこの画像処理部が撮像装置の内部に設けられている必要はない。具体的には、画像処理部を、撮像装置とは別の装置、例えばＰＣ（Personal Computer：パーソナルコンピュータ）などに設けておき、撮像装置で得られた撮像データをＰＣへ転送し、ＰＣにおいて画像処理を施すようにすることも可能である。
【００７３】
また、上記実施の形態等では、位相差検出部１４６において、互いに視差の異なる２つの視差画像に基づいてその間の位相差を検出するようにしたが、これに限定されず、３つ以上の視差画像に基づいて位相差を検出するようにしてもよい。
【００７４】
また、上記実施の形態等では、開口絞り１０の位置を、撮像レンズ１１の撮像対象物２側（入射側）に配置した構成としているが、これに限定されず、撮像レンズ１１の像側（出射側）あるいは、撮像レンズ１１内部に設けられた構成であってもよい。
【００７５】
また、上記実施の形態等では、開口絞り１０の開口部１０Ａにおいて、長手方向（長軸方向）がＸ軸方向であると共に、短手方向（短軸方向）がＹ軸方向となっていたが、開口部の形状はこれには限られない。すなわち、例えば図１７に示した開口絞り１０−１における開口部１０Ａ−１のように、長手方向（長軸方向）がＹ軸方向であると共に、短手方向（短軸方向）がＸ軸方向となっていてもよい。このように構成した場合、被写体２の一点から出た光は、撮像レンズ１１の広い開口領域全体を通り、シリンドリカルレンズアレイ１２上に集光される、この際、シリンドリカルレンズ１２によって、Ｘ軸方向の光線は入射角度別に分解されることになるが、Ｙ軸方向の光線は重なったまま積分されて撮像素子１３に取得されるため、より明るい撮像データを得ることが可能となる。
【００７６】
また、上記実施の形態等では、シリンドリカルレンズアレイ１２において、複数のシリンドリカルレンズ１２−１をＸ軸方向に沿って１次元配列する場合について説明したが、シリンドリカルレンズの形状および配列は、これには限られない。具体的には、例えば複数のシリンドリカルレンズを、Ｙ軸方向に沿って１次元配列するようにしてもよい。
【００７７】
また、撮像素子１３の受光面上には、例えば図示しないカラーフィルタを画素Ｐごとに色分けして、２次元配置するようにしてもよい。このようなカラーフィルタとしては、例えば、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の３原色のカラーフィルタがＲ：Ｇ：Ｂ＝１：２：１の比率で市松状に配置されたＢａｙｅｒ配列のカラーフィルタ（原色フィルタ）を用いることができる。このようなカラーフィルタを設けるようにすれば、撮像素子１３により得られた撮像データＤ０を、カラーフィルタの色に対応した複数の色（この場合、３原色）の画素データとすることができ、再構築画像をカラー画像とすることが可能となる。またその際に、従来の撮像装置１００とは異なり、撮像素子１３のほぼ全域が受光領域１３０となるため、図１９中の１３０Ｄ−２のような非受光領域がないことから、カラー補間処理を正しく行うことができ、偽色の発生も抑えることが可能となる。また、各シリンドリカルレンズ１２−１に対応する画素領域ごとに色分けしたカラーフィルタを用いるようにすれれば、シリンドリカルレンズ１２−１ごとに同一の位置に配置された画素を抽出した場合、抽出後も同一のカラー配列とすることができる。よって、例えば色補間などの処理を施し易くなり、偽色の発生も抑えることが可能となる。
【図面の簡単な説明】
【００７８】
【図１】本発明の第１の実施の形態に係る撮像装置の全体構成を表す図である。
【図２】図１に示した開口絞りの概略構成を表す平面図である。
【図３】図１に示したシリンドリカルレンズアレイの概略構成を表す斜視図である。
【図４】開口絞り、シリンドリカルレンズアレイおよび撮像素子における位置関係および作用について説明するための斜視図である。
【図５】撮像素子に入射する光線の情報を説明するための図である。
【図６】図２に示した開口絞りを用いた場合の撮像素子上の受光領域を表す平面図である。
【図７】任意視点画像を再構築する際の抽出画素について説明するための平面図である。
【図８】撮像レンズとシリンドリカルレンズアレイのＦナンバーの設定について説明するための図である。
【図９】本発明の第２の実施の形態に係る画像処理部の構成を表す機能ブロック図である。
【図１０】２つの視差画像に基づく位相差検出動作について説明するための模式図である。
【図１１】２つの視差画像による画素相関演算について説明するための模式図である。
【図１２】比較例に係る従来の撮像装置における受光領域を表す平面図である。
【図１３】第２の実施の形態に係る画像補間合成前の撮像データについて説明するための平面図である。
【図１４】第２の実施の形態に係る画像補間合成後の撮像データについて説明するための平面図である。
【図１５】本発明の撮像装置の一適用例であるデジタルカメラの外観構成を表す図である。
【図１６】本発明の撮像装置の他の適用例である立体表示装置の構成を表す図である。
【図１７】本発明の変形例に係る開口絞りの構成および作用について説明するための斜視図である。
【図１８】従来の撮像装置の全体構成を表す図である。
【図１９】図１８に示した従来の撮像装置による撮像データの一例を表す図である。
【符号の説明】
【００７９】
１…撮像装置、１０，１０−１…開口絞り、１０Ａ，１０Ａ−１…開口部、１１…撮像レンズ、１２…シリンドリカルレンズアレイ、１２−１…シリンドリカルレンズ、１３…撮像素子、１３Ｄ…受光領域、１３Ｄ−１…受光イメージ（再構築画素領域）、１３Ｄ−２，１３Ｄ−３…再構築画素領域、１４，１４Ａ…画像処理部、１４０…欠陥補正部、１４１…クランプ処理部、１４２…並び替え処理部、１４３…ノイズ低減処理部、１４４…ホワイトバランス処理部、１４５…輪郭強調処理部、１４６…位相差検出部、１４７…補間画像合成部、１４８…再構築画像合成部、１４９…ガンマ補正処理部、１５…撮像素子駆動部、１６…制御部、１７…シャッタ、１８…フラッシュ、１９…ファインダ光学系、２…撮像対象物（被写体）、３…デジタルカメラ、３００…筐体、４…立体表示装置、４１…表示パネル、４２…シリンドリカルレンズアレイ、５…視聴者、ｆ１，ｆ２…焦点距離、Ｓout…制御信号、Ｄ０，Ｄ１〜Ｄ３，Ｄout…撮像データ（画像データ）、ＤＭ…位相差情報（Disparity Map）、Ｐ…画素、Ｐ１０…抽出画素、Ｐ１１…補間画素、ＦＭＬ，ＦＳＬＡ…Ｆナンバー（Ｆ値）、ＶＲ，ＶＬ…視差画像（任意視点画像）、Ａ１，Ｂ１…部分画像、Ｌ０…光軸、Ｌ１…光線、ＬＲ，ＬＬ…視差画像の光線、φＲ，φＬ…視差画像の位相、Δφ…位相差。
【図１】
2009290268.tif 000004
【図２】
2009290268.tif 000005
【図３】
2009290268.tif 000006
【図４】
2009290268.tif 000007
【図５】
2009290268.tif 000008
【図６】
2009290268.tif 000009
【図７】
2009290268.tif 000010
【図８】
2009290268.tif 000011
【図９】
2009290268.tif 000012
【図１０】
2009290268.tif 000013
【図１１】
2009290268.tif 000014
【図１２】
2009290268.tif 000015
【図１３】
2009290268.tif 000016
【図１４】
2009290268.tif 000017
【図１５】
2009290268.tif 000018
【図１６】
2009290268.tif 000019
【図１７】
2009290268.tif 000020
【図１８】
2009290268.tif 000021
【図１９】
2009290268.tif 000022