(57)【要約】  １つの光学系を通して、全光束のうち互いに異なる領域を通過した部分光束の被写体像を撮像する撮像素子であって、基準方向の視点を生み出す開口マスクを備えた視差なし画素と、基準方向とは異なる第１方向の視点を生み出す開口マスクを備えた第１視差画素と、基準方向とは異なる第２方向の視点を生み出す開口マスクを備えた第２視差画素の少なくとも３種類の画素がそれぞれ複数配置された画素配列で構成され、第１視差画素の開口マスクと第２視差画素の開口マスクがそれぞれ半開口より大きな開口面積の幅を視点変化の方向に持つ撮像素子。
2014192300.tif 000002
【特許請求の範囲】
【請求項１】
１つの光学系を通して、全光束のうち互いに異なる領域を通過した部分光束の被写体像を撮像する撮像素子であって、
基準方向の視点を生み出す開口マスクを備えた視差なし画素と、
基準方向とは異なる第１方向の視点を生み出す開口マスクを備えた第１視差画素と、
基準方向とは異なる第２方向の視点を生み出す開口マスクを備えた第２視差画素の少なくとも３種類の画素がそれぞれ複数配置された画素配列で構成され、
前記第１視差画素の開口マスクと前記第２視差画素の開口マスクがそれぞれ半開口より大きな開口面積の幅を視点変化の方向に持つことを特徴とする撮像素子。
【請求項２】
前記視差なし画素の開口マスクは全開口、ないしは前記第１視差画素と前記第２視差画素の開口マスクと同じ開口面積を持つことを特徴とする請求項１に記載の撮像素子。
【請求項３】
前記第１視差画素の開口マスクと前記第２視差画素の開口マスクがそれぞれ、１／２開口より大きく２／３開口以下の範囲の開口幅を視点変化の方向に持つことを特徴とする請求項１に記載の撮像素子。
【請求項４】
前記視差なし画素は、前記第１視差画素や前記第２視差画素と比べて最も高密度に配置されることを特徴とする請求項１から３のいずれか１項に記載の撮像素子。
【請求項５】
前記視差なし画素と前記第１視差画素と前記第２視差画素の画素密度の比率が６：１：１で構成され、該３種の画素の各々がＲ：Ｇ：Ｂ＝１：２：１の比率のＲＧＢ色フィルタを備えたことを特徴とする請求項４に記載の撮像素子。
【請求項６】
請求項１から５のいずれか１項に記載の撮像素子の出力に対して、更に、
前記視差なし画素の画素情報に基づいて各画素に基準視点画像を生成し、
前記第１視差画素の画素情報に基づいて各画素に仮の第１視点画像を生成し、
前記第２視差画素の画素情報に基づいて各画素に仮の第２視点画像を生成し、
前記基準視点画像に対して、前記仮の第１視点画像と前記仮の第２視点画像を用いて視点位置を変化させ、新しい第１視点画像と新しい第２視点画像を生成する画像処理装置。
【請求項７】
前記仮の第１視点画像と前記仮の第２視点画像の間で定義される比を用いて基準視点画像の視点位置を変化させるときは、その比に対して１より大きな羃乗係数を掛けることによって増幅を行い、
前記仮の第１視点画像と前記仮の第２視点画像の間の差を用いて基準視点画像の視点位置を変化させるときは、その差に対して１より大きな定数倍を掛けることによって増幅を行うことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
被写体光束を受光する第１受光領域が画素領域の中心を含み、かつ、前記画素領域の中心に対して偏位した位置に設定された偏位画素を含む撮像素子。
【請求項９】
前記被写体光束を受光する第２受光領域が前記画素領域の中心に対して偏位していない位置に設定された非偏位画素を含む請求項８に記載の撮像素子。
【請求項１０】
前記第１受光領域が偏位方向に持つ幅は、前記第２受光領域が当該偏位方向に持つ幅の半分よりも広い請求項９に記載の撮像素子。
【請求項１１】
前記第１受光領域が偏位方向に持つ幅は、前記第２受光領域が当該偏位方向に持つ幅の２／３倍以下である請求項１０に記載の撮像素子。
【請求項１２】
前記第２受光領域の形状は、前記第１受光領域の形状と同一である請求項９に記載の撮像素子。
【請求項１３】
前記非偏位画素の数は、前記偏位画素の数よりも多い請求項９から１２のいずれか１項に記載の撮像素子。
【請求項１４】
前記偏位画素および前記非偏位画素は、開口部を有する開口マスクを有し、当該開口マスクにより前記第１受光領域および前記第２受光領域が設定される請求項９から１３のいずれか１項に記載の撮像素子。
【請求項１５】
前記偏位画素は、第１方向に視差を与える第１偏位画素と、前記第１方向とは反対の第２方向に視差を与える第２偏位画素とを含み、前記非偏位画素と前記第１偏位画素と前記第２偏位画素との比が６：１：１である請求項９から１４のいずれか１項に記載の撮像素子。
【請求項１６】
前記非偏位画素と前記第１偏位画素と前記第２偏位画素は、ＲＧＢのいずれかのカラーフィルタを備え、前記非偏位画素と前記第１偏位画素と前記第２偏位画素のそれぞれにおいて、ＲＧＢの比が１：２：１である請求項１５に記載の撮像素子。
【請求項１７】
請求項１５または１６に記載の撮像素子の出力を取得する取得部と、
前記第１偏位画素の出力と前記第２偏位画素の出力とを用いて、前記非偏位画素の出力から前記第１方向へ視差を与える第１視差画像データと前記第２方向へ視差を与える第２視差画像データとを生成する画像生成部と
を備える画像処理装置。
【請求項１８】
前記画像生成部は、前記非偏位画素の出力から基準視点画像を生成し、前記第１偏位画素の出力から仮の第１視点画像を生成し、前記第２偏位画素の出力から仮の第２視点画像を生成し、
前記仮の第１視点画像と前記仮の第２視点画像の間で定義される比に対して１より大きい係数を羃乗することにより前記基準視点画像の位置を変化させる請求項１７に記載の画像処理装置。
【請求項１９】
前記画像生成部は、前記非偏位画素の出力から基準視点画像を生成し、前記第１偏位画素の出力から仮の第１視点画像を生成し、前記第２偏位画素の出力から仮の第２視点画像を生成し、
前記仮の第１視点画像と前記仮の第２視点画像の間で定義される差に対して１より大きい係数を乗算することにより前記基準視点画像の位置を変化させる請求項１７に記載の画像処理装置。
【請求項２０】
請求項１５または１６に記載の撮像素子と、
請求項１７から１９のいずれか１項に記載の画像処理装置と
を備える撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子、撮像装置、および画像処理装置に関する。
【背景技術】
【０００２】
単一の撮影光学系を用いて、互いに視差を有する左右の視差画像を一度の撮影で生成する撮像装置が知られている。
［先行技術文献］
［特許文献］
［特許文献１］特開２００３−７９９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
この種の撮像装置により生成された左視差画像と右視差画像とにおいて、ボケの形状は非対称になっていた。ボケの形状の非対称は２線ボケを生じさせ、結果として不自然なボケになっていた。
【課題を解決するための手段】
【０００４】
本発明の第１の態様における撮像素子は、１つの光学系を通して、全光束のうち互いに異なる領域を通過した部分光束の被写体像を撮像する撮像素子であって、基準方向の視点を生み出す開口マスクを備えた視差なし画素と、基準方向とは異なる第１方向の視点を生み出す開口マスクを備えた第１視差画素と、基準方向とは異なる第２方向の視点を生み出す開口マスクを備えた第２視差画素の少なくとも３種類の画素がそれぞれ複数配置された画素配列で構成され、第１視差画素の開口マスクと第２視差画素の開口マスクがそれぞれ半開口より大きな開口面積の幅を視点変化の方向に持つ。【０００５】
本発明の第２の態様における画像処理装置は、上記撮像素子の出力に対して、更に、視差なし画素の画素情報に基づいて各画素に基準視点画像を生成し、第１視差画素の画素情報に基づいて各画素に仮の第１視点画像を生成し、第２視差画素の画素情報に基づいて各画素に仮の第２視点画像を生成し、基準視点画像に対して、仮の第１視点画像と仮の第２視点画像を用いて視点位置を変化させ、新しい第１視点画像と新しい第２視点画像を生成する。【０００６】
本発明の第３の態様における撮像素子は、被写体光束を受光する第１受光領域が画素領域の中心を含み、かつ、画素領域の中心に対して偏位した位置に設定された偏位画素を含む。【０００７】
本発明の第４の態様における画像処理装置は、上記撮像素子の出力を取得する取得部と、第１偏位画素の出力と第２偏位画素の出力とを用いて、非偏位画素の出力から第１方向へ視差を与える第１視差画像データと第２方向へ視差を与える第２視差画像データとを生成する画像生成部とを備える。【０００８】
本発明の第５の態様における撮像装置は、上記撮像素子と上記画像処理装置を備える。【０００９】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係るデジタルカメラの構成を説明する図である。
【図２】撮像素子の断面の構成を説明する図である。
【図３】視差なし画素におけるデフォーカスの概念を説明する図である。
【図４】視差画素におけるデフォーカスの概念を説明する図である。
【図５】視差なし画素と視差画素の光強度分布を示す図である。
【図６】視差画素の種類が２つである場合における開口部１０４の開口形状を説明する図である。
【図７】ボケの非対称性を説明するための図である。
【図８】視差画像および視差なし画像と、被写界深度との関係を示す図である。
【図９】半開口の視差画素のボケの非対称性を説明するための図である。
【図１０】開口マスクの開口部と点像分布について説明する図である。
【図１１】左視差画像Ｌｔ２／３と右視差画像Ｒｔ２／３との差の概念を説明する図である。
【図１２】他の導出例として視差なし画像Ｎ１と視差なし画像Ｃ２／３の点像分布を説明する図である。
【図１３】視差画素のシェーディングを説明する図である。
【図１４】半開口より大きい視差画素のボケの形状を説明するための図である。
【図１５】画素配列の一例としての実空間の配列とｋ空間を示す図である。
【図１６】画素配列の一例としての実空間の配列とｋ空間を示す図である。
【発明を実施するための形態】
【００１１】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１２】
撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。本実施形態においては、特に、右目と左目に対応する２つの視点による右視差画像と左視差画像を生成する場合について説明する。詳しくは後述するが、本実施形態におけるデジタルカメラは、基準方向の視点として中央視点による視差のない視差なし画像も、視差画像と共に生成できる。
【００１３】
図１は、本発明の実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、撮影レンズ２０および撮像素子１００に加えて、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９およびＬＣＤ駆動回路２１０を備える。
【００１４】
なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向を＋Ｚ軸方向と定め、Ｚ軸と直交する平面において紙面奥へ向かう方向を＋Ｘ軸方向、紙面上へ向かう方向を＋Ｙ軸方向と定める。撮影における構図との関係は、Ｘ軸が水平方向、Ｙ軸が垂直方向となる。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
【００１５】
撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。
【００１６】
撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の画素が配列されたＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。Ａ／Ｄ変換回路２０２へ出力される画像信号は、左視点および右視点の画像信号を含む。
【００１７】
Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。画像処理部２０５は、他にも選択された画像フォーマットにしたがって画像データを調整するなどの画像処理一般の機能も担う。生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。
【００１８】
一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ，ＡＥ等の各種動作は、制御部２０１に制御されて実行される。
【００１９】
次に、撮像素子１００の構成の一例について説明する。図２は、撮像素子１００の断面を表す概略図である。
【００２０】
撮像素子１００は、被写体側から順に、マイクロレンズ１０１、カラーフィルタ１０２、開口マスク１０３、配線層１０５および光電変換素子１０８が配列されて構成されている。光電変換素子１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子１０８は、基板１０９の表面に二次元的に複数配列されている。
【００２１】
光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等は、配線層１０５に設けられた配線１０６を介して送受信される。また、各光電変換素子１０８に一対一に対応して設けられ、二次元的に繰り返し配列された開口部１０４を有する開口マスク１０３が、配線層１０５に接して設けられている。開口部１０４は、後述するように、対応する光電変換素子１０８ごとにシフトされて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口部１０４を備える開口マスク１０３の作用により、光電変換素子１０８が受光する被写体光束に視差が生じる。
【００２２】
一方、視差を生じさせない光電変換素子１０８上には、開口マスク１０３が存在しない。別言すれば、対応する光電変換素子１０８に対して入射する被写体光束を制限しない、つまり入射光束の全体を通過させる開口部１０４を有する開口マスク１０３が設けられているとも言える。視差を生じさせることはないが、実質的には配線１０６によって形成される開口１０７が入射する被写体光束を規定するので、配線１０６を、視差を生じさせない入射光束の全体を通過させる開口マスクと捉えることもできる。開口マスク１０３は、各光電変換素子１０８に対応して別個独立に配列してもよいし、カラーフィルタ１０２の製造プロセスと同様に複数の光電変換素子１０８に対して一括して形成してもよい。
【００２３】
カラーフィルタ１０２は、開口マスク１０３上に設けられている。カラーフィルタ１０２は、各光電変換素子１０８に対して特定の波長帯域を透過させるように着色された、光電変換素子１０８のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも２種類のカラーフィルタが配列されればよいが、より高画質のカラー画像を取得するには３種類以上のカラーフィルタを配列するとよい。例えば赤色波長帯を透過させる赤フィルタ（Ｒフィルタ）、緑色波長帯を透過させる緑フィルタ（Ｇフィルタ）、および青色波長帯を透過させる青フィルタ（Ｂフィルタ）を格子状に配列するとよい。カラーフィルタは原色ＲＧＢの組合せのみならず、ＹＣＭの補色フィルタの組合せであってもよい。
【００２４】
マイクロレンズ１０１は、カラーフィルタ１０２上に設けられている。マイクロレンズ１０１は、入射する被写体光束のより多くを光電変換素子１０８へ導くための集光レンズである。マイクロレンズ１０１は、光電変換素子１０８のそれぞれに一対一に対応して設けられている。マイクロレンズ１０１は、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていることが好ましい。さらには、開口マスク１０３の開口部１０４の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されてもよい。
【００２５】
このように、各々の光電変換素子１０８に対応して一対一に設けられる開口マスク１０３、カラーフィルタ１０２およびマイクロレンズ１０１の一単位を画素と呼ぶ。特に、視差を生じさせる開口マスク１０３が設けられた画素を視差画素、視差を生じさせる開口マスク１０３が設けられていない画素を視差なし画素と呼ぶ。左視点の視差画素を視差Ｌｔ画素、右視点の視差画素を視差Ｒｔ画素、視差なし画素をＮ画素と記す場合もある。また、左視点の視差画像を視差Ｌｔ画像、右視点の視差画像を視差Ｒｔ画像、視差なし画像をＮ画像と記す場合もある。例えば、撮像素子１００の有効画素領域が２４ｍｍ×１６ｍｍ程度の場合、画素数は１２００万程度に及ぶ。
【００２６】
なお、集光効率、光電変換効率がよいイメージセンサの場合は、マイクロレンズ１０１を設けなくてもよい。また、裏面照射型イメージセンサの場合は、配線層１０５が光電変換素子１０８とは反対側に設けられる。また、開口マスク１０３の開口部１０４に色成分を持たせれば、カラーフィルタ１０２と開口マスク１０３を一体的に形成することもできる。なお、白黒画像信号を出力すればよい場合にはカラーフィルタ１０２は設けない。
【００２７】
また、本実施形態においては、開口マスク１０３と配線１０６を別体として設けているが、視差画素における開口マスク１０３の機能を配線１０６が担ってもよい。すなわち、規定される開口形状を配線１０６により形成し、当該開口形状により入射光束を制限して特定の部分光束のみを光電変換素子１０８へ導く。この場合、開口形状を形成する配線１０６は、配線層１０５のうち最も光電変換素子１０８側であることが好ましい。
【００２８】
また、開口マスク１０３は、光電変換素子１０８に重ねて設けられる透過阻止膜によって形成されてもよい。この場合、開口マスク１０３は、例えば、ＳｉＮ膜とＳｉＯ２膜を順次積層して透過阻止膜とし、開口部１０４に相当する領域をエッチングで除去して形成される。さらに、光電変換素子１０８そのものの領域を開口マスク１０３の開口部１０４に相当するように形成してもよい。
【００２９】
続いて、単眼立体撮像におけるボケと視差の関係について説明する。説明を簡単にする目的で、後述する半開口のマスクが視差画素に設けられている構成について説明する。
＜視差画素とボケ特性＞
視差Ｌｔ画素および視差Ｒｔ画素が受光する場合のデフォーカスの概念を説明する。まず、視差なし画素におけるデフォーカスの概念について簡単に説明する。図３は、視差なし画素におけるデフォーカスの概念を説明する図である。図３（ａ）で示すように、被写体である物点が焦点位置に存在する場合、レンズ瞳を通って撮像素子受光面に到達する被写体光束は、対応する像点の画素を中心として急峻な光強度分布を示す。すなわち、レンズ瞳を通過する有効光束の全体を受光する視差なし画素が像点近傍に配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値は急激に低下する。
【００３０】
一方、図３（ｂ）に示すように、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれると、被写体光束は、物点が焦点位置に存在する場合に比べて、撮像素子受光面においてなだらかな光強度分布を示す。すなわち、対応する像点の画素における出力値が低下する上に、より周辺画素まで出力値を有する分布を示す。
【００３１】
図３（ｃ）に示すように、さらに物点が焦点位置からずれると、被写体光束は、撮像素子受光面においてよりなだらかな光強度分布を示す。すなわち、対応する像点の画素における出力値がさらに低下する上に、より周辺画素まで出力値を有する分布を示す。
【００３２】
図３（ｄ）に示すように、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合にも、撮像素子受光面から遠ざかる方向に物点がずれた場合と同じような光強度分布を示す。
【００３３】
図４は、視差画素におけるデフォーカスの概念を説明する図である。視差Ｌｔ画素および視差Ｒｔ画素は、レンズ瞳の部分領域としてそれぞれ光軸対象に設定された２つの視差仮想瞳のいずれかから到達する被写体光束を受光する。本明細書において、単一のレンズ瞳における互いに異なる仮想瞳から到達する被写体光束を受光することによって視差画像を撮像する方式を単眼瞳分割撮像方式という。
【００３４】
図４（ａ）で示すように、被写体である物点が焦点位置に存在する場合、いずれの視差仮想瞳を通った被写体光束であっても、対応する像点の画素を中心として急峻な光強度分布を示す。像点付近に視差Ｌｔ画素が配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。また、像点付近に視差Ｒｔ画素が配列されていても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。すなわち、被写体光束がいずれの視差仮想瞳を通過しても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する分布を示し、それぞれの分布は互いに一致する。
【００３５】
一方、図４（ｂ）に示すように、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれると、物点が焦点位置に存在した場合に比べて、視差Ｌｔ画素が示す光強度分布のピークは、像点に対応する画素から一方向に離れた位置に現れ、かつその出力値は低下する。また、出力値を有する画素の幅も広がる。すなわち、撮像素子受光面の水平方向に対して点像の広がりを有することになるので、ボケ量は増す。視差Ｒｔ画素が示す光強度分布のピークは、像点に対応する画素から、視差Ｌｔ画素における一方向とは逆向きかつ等距離に離れた位置に現れ、同様にその出力値は低下する。また、同様に出力値を有する画素の幅も広がる。すなわち、物点が焦点位置に存在した場合に比べてなだらかとなった同一の光強度分布が、互いに等距離に離間して現れる。視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピーク間のずれ量は、視差量に相当する。
【００３６】
また、図４（ｃ）に示すように、さらに物点が焦点位置からずれると、図４（ｂ）の状態に比べて、さらになだらかとなった同一の光強度分布が、より離間して現れる。点像の広がりがより大きくなるので、ボケ量は増す。また、視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピーク間のずれも大きくなっているので、視差量も増す。つまり、物点が焦点位置から大きくずれる程、ボケ量と視差量が増すと言える。
【００３７】
図４（ｄ）に示すように、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合には、図４（ｃ）の状態とは逆に、視差Ｒｔ画素が示す光強度分布のピークは、像点に対応する画素から上記一方向に離れた位置に現れる。視差Ｌｔ画素が示す光強度分布のピークは、視差Ｒｔ画素における一方向とは逆向きに離れた位置に現れる。すなわち、物点のずれの方向に応じて、視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピークが、像点に対応する画素からどちらの方向に離れた位置に現れるかが決まる。
【００３８】
図３で説明した光強度分布の変化と、図４で説明した光強度分布の変化をそれぞれグラフ化すると、図５のように表される。図５は、視差なし画素と視差画素の光強度分布を示す図である。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は各画素の出力値を表し、この出力値は実質的に光強度に比例するので、図においては光強度として示す。
【００３９】
なお、上述のように、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合も、撮像素子受光面から遠ざかる方向に物点がずれた場合と同じような光強度分布を示すので、図において、撮像素子受光面に近づく方向にずれた場合の光強度分布の変化を省略している。撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合の視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピークについても、撮像素子受光面から遠ざかる方向に物点がずれた場合の視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピークと同様であるので、省略している。
【００４０】
図５（ａ）は、図３で説明した光強度分布の変化を表すグラフである。分布曲線１８０１は、図３（ａ）に対応する光強度分布を表し、最も急峻な様子を示す。分布曲線１８０２は、図３（ｂ）に対応する光強度分布を表し、また、分布曲線１８０３は、図３（ｃ）に対応する光強度分布を表す。分布曲線１８０１に比較して、徐々にピーク値が下がり、広がりを持つ様子がわかる。
【００４１】
図５（ｂ）は、図４で説明した光強度分布の変化を表すグラフである。分布曲線１８０４と分布曲線１８０５は、それぞれ図４（ｂ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布を表す。図からわかるように、これらの分布は中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０６は、図４（ｂ）に対して同等のデフォーカス状態である図３（ｂ）の分布曲線１８０２と相似形状を示す。
【００４２】
分布曲線１８０７と分布曲線１８０８は、それぞれ図４（ｃ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布を表す。図からわかるように、これらの分布も中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０９は、図４（ｃ）に対して同等のデフォーカス状態である図３（ｃ）の分布曲線１８０３と相似形状を示す。なお、図４（ｄ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布は、図４（ｃ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布の位置を入れ替えた関係になるので、それぞれ分布曲線１８０８と分布曲線１８０７に相当する。
【００４３】
図６は、視差画素の種類が２つである場合における開口部１０４の開口形状を説明する図である。図６（ａ）は、視差Ｌｔ画素の開口部１０４ｌの形状と、視差Ｒｔ画素の開口部１０４ｒの形状とが、視差なし画素の開口部１０４ｎの形状を中心線３２２で分割したそれぞれの形状と同一である例を示している。つまり、図６（ａ）では、視差なし画素の開口部１０４ｎの面積は、視差Ｌｔ画素の開口部１０４ｌの面積と視差Ｒｔ画素の開口部１０４ｒの面積の和になっている。この場合、視差なし画素の開口部１０４ｎを全開口の開口部といい、開口部１０４ｌおよび開口部１０４ｒを半開口の開口部という。開口部が光電変換素子の中央に位置する場合に、当該開口部が基準方向に向いているという。視差Ｌｔ画素の開口部１０４ｌおよび視差Ｒｔ画素の開口部１０４ｒは、それぞれ対応する光電変換素子１０８の中心（画素中心）を通る仮想的な中心線３２２に対して、互いに反対方向に偏位している。したがって、視差Ｌｔ画素の開口部１０４ｌおよび視差Ｒｔ画素の開口部１０４ｒはそれぞれ、中心線３２２に対する一方向、当該一方向とは反対の他方向に視差を生じさせる。
【００４４】
図６（ｂ）は、図６（ａ）で示した各開口部を有する画素において、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれた場合の光強度分布を示す。図中において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は、光強度を表す。また、曲線Ｌｔは図５（ｂ）の分布曲線１８０４、曲線Ｒｔは図５（ｂ）の分布曲線１８０５にそれぞれ相当する。曲線Ｎは視差なし画素に対応しており、図５（ｂ）の合成分布曲線１８０６と相似形状を示す。また、それぞれの開口部１０４ｎ、開口部１０４ｌ、開口部１０４ｒは、開口絞りとしての機能を発揮する。したがって、開口部１０４ｌ（開口部１０４ｒ）の倍の面積を持つ開口部１０４ｎを有する視差なし画素のボケ幅は、図５（ｂ）の合成分布曲線１８０６で示される、視差Ｌｔ画素と視差Ｒｔ画素を足し合わせた曲線のボケ幅と同程度となる。
【００４５】
図６（ｃ）は、図６（ａ）で示した各開口部を有する画素において、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合の光強度分布を示す。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は、光強度を表す。図６（ｃ）の曲線Ｌｔ、曲線Ｒｔは、開口部１０４ｎを有する視差なし画素のボケ幅が視差Ｌｔ画素と視差Ｒｔ画素を足し合わせた曲線のボケ幅と同程度となるという関係を維持しつつ、図６（ｂ）の曲線Ｌｔ、曲線Ｒｔに対して位置関係が逆転している。
【００４６】
図６（ｄ）は、視差Ｌｔ画素の開口部１０４ｌの形状と、視差Ｒｔ画素の 開口部１０４ｒの形状と、開口部１０４ｃの形状とが、全て同形状である例を示している。この場合、開口部１０４ｃを備える画素は、瞳の中心部分を部分領域とする被写体光束のみを光電変換素子１０８へ導くものの、基準方向に対応する開口部を有する偏心のない画素である。よって、視差なし画素（Ｃ画素）とみなすことができる。また、開口部１０４ｌ、開口部１０４ｒ、開口部１０４ｃは、図６（ａ）で示した開口部１０４ｎの半分の面積である。図６（ａ）の場合と同様、開口部１０４ｌおよび１０４ｒのそれぞれは、光電変換素子１０８の中心（画素中心）を通る仮想的な中心線３２２と接している。
【００４７】
図６（ｅ）は、図６（ｄ）で示した各開口部を有する画素において、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれた場合の光強度分布を示す。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は、光強度を表す。曲線Ｌｔは図５（ｂ）の分布曲線１８０４、曲線Ｒｔは図５（ｂ）の分布曲線１８０５にそれぞれ相当する。また、それぞれの開口部１０４ｃ、開口部１０４ｌ、開口部１０４ｒは、開口絞りの機能を有する。したがって、開口部１０４ｌおよび開口部１０４ｒと同形状、同面積である開口部１０４ｃを有する視差なし画素のボケ幅は、視差Ｌｔ画素および視差Ｒｔ画素のボケ幅と同程度となる。
【００４８】
図６（ｆ）は、図６（ｄ）で示した各開口部を有する画素において、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合の光強度分布を示す。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は、光強度を表す。図６（ｆ）の曲線Ｌｔ、曲線Ｒｔは、図６（ｅ）の曲線Ｌｔ、曲線Ｒｔに対して位置関係が逆転している。
【００４９】
＜被写界深度と縦横非対称ボケ＞
次に、被写界深度とボケの非対称性との関係について説明する。視差なし画素が全開口の開口マスクを備える場合において、図６（ｂ）、（ｃ）からも明らかなように、非合焦域では、視差画素のボケ幅は、視差なし画素のボケ幅よりも狭い。これは、図６（ａ）の視差画素の開口マスクによって実質的にレンズの入射光束が右半分と左半分に絞られていることを意味する。換言すると、単一のレンズ瞳に左右２つの仮想瞳が生じているといえる。すなわち、視差画素の開口マスクにおける開口面積は、レンズの絞りの効果と同等の役割を果たす。
【００５０】
一般に、レンズを絞ると被写界深度の深い画像が撮像される。視差画素における開口マスクの開口は、水平方向に短く垂直方向に長い。したがって、縦線などの水平方向に周波数成分を持つ被写体に対しては深い被写界深度の画像が撮像されるのに対し、横線などの垂直方向に周波数成分を持つ被写体に対しては浅い被写界深度の画像が撮像される。
【００５１】
図７は、ボケの非対称性を説明するための図である。例えば、図７（ａ）のような正方形のパッチの被写体を撮像すると、合焦域では、図７（ａ）のような被写体像が得られる。図７（ｂ）では、左視差画素と右視差画素が捉えた被写体像を合わせて示している。非合焦域では、図７（ｂ）に示すような水平方向のボケが少ない、縦線が横線よりもシャープに見える被写体像が撮像される。すなわち、視差画素における開口マスクの開口が水平方向と垂直方向で非対称性なので、被写体像の水平方向と垂直方向でボケが非対称になっている。これは、ボケの非等方性ということもできる。
【００５２】
図７（ｂ）の左目用の被写体像と右目用の被写体像を重ね合わせて表示し、３Ｄ画像から２Ｄ画像を得たとすると、２Ｄ画像には水平方向のシャープなボケに起因した２線ボケのような、あまり好ましくないボケが生じることになる（図７（ｃ））。
【００５３】
図８は、視差画像および視差なし画像と、被写界深度との関係を示す図である。具体的には、図８は、撮像素子１００の画素ピッチをａ［ｍｍ］として、周波数がｆ［本／ｍｍ］にあるような被写体像の縞模様チャートを撮像したときの縦線縞模様チャートとそれを９０°回転して撮像したときの横線縞模様チャートのＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）特性の被写体距離依存性を示す図である。縦軸は、ＭＴＦを示し、横軸は、デジタルカメラ１０からの距離ｄを示す。ＭＴＦ分布は、合焦位置の光軸付近のＭＴＦを１とした場合に、縞模様チャートを合焦位置から前後させるとどのように減衰するかを表す。
【００５４】
図８（ａ）は、視差なし画像（Ｎ画像）における一定周波数の被写体像の被写体距離に関する縦線縞模様チャートと横線縞模様チャートのＭＴＦ分布を示す。図８（ａ）に示すように、視差なし画像では、縦線縞模様チャートと横線縞模様チャートのＭＴＦ分布は一致している。図８（ｂ）は、視差画像（視差Ｌｔ画像および視差Ｒｔ画像）における一定周波数の被写体像の被写体距離に関する縦線縞模様チャートと横線縞模様チャートのＭＴＦ分布を示す。図８（ｂ）に示す横線縞模様チャートのＭＴＦ分布は、図８（ａ）に示す横線縞模様チャートのＭＴＦ分布に一致する。一方、図８（ｂ）に示す縦線縞模様チャートのＭＴＦ分布は、図８（ａ）に示す縦線縞模様チャートのＭＴＦ分布に比べてコントラストの高い区間が広く分布し、被写界深度が深いことが読み取れる。換言すると、縞模様チャートを合焦位置から前後させると、視差画像では、横線縞模様チャートと横線縞模様チャートとでコントラストが異なっている。これが先ほど図７で示したボケの非対称性を生み出している。
【００５５】
＜ボケの左右非対称性＞
視差画素は仮想瞳に投影した入射光束を受光するので、仮想瞳の形状がボケ特性となって現れる。視差画素は基本的にレンズを通ってきた光の片側半分の光束を通す役割を果たす。そのとき、レンズの瞳径は円形であるので、仮想瞳は半円形となる。
【００５６】
図９は、半開口の視差画素のボケの非対称性を説明するための図である。ボケの非対称性を説明する図である。図９に示すように、左視差画素では、半円形の弧側に当たるボケは、適切に表れるのに対し、半円形の分断側に当たるボケは、適切に現れない。すなわち、シャープなエッジになりやすくボケが少ない。右視差画素でも同様に、半円形の弧側に当たるボケは、適切に表れるのに対し、半円形の分断側に当たるボケは、シャープなエッジになりやすくボケが少ない。ただし、左視差画素と右視差画素とでは、弧の位置が反対になる。以上のことから、上記の２線ボケ現象がより顕著に現れることになる。このような左右の非対称ボケはできるだけ抑制されていることが望ましい。
【００５７】
単眼瞳分割撮像方式のデジタルカメラでは、ボケの非対称性に加えて、左右の視差画像の間で異なるシェーディングが発生するという問題がある。ＷＯ２０１２／０３６０１９および特開２０１１−２２３５６２に記されているように、単眼瞳分割光学系に固有の左右の視差画像におけるシェーディングは、光学系の焦点距離、絞り値等に依存して大きく変化する。従来の２Ｄ画像撮像系と比較すると、本来このような光学系に依存して変動する要因は、できるだけ小さくなるような３Ｄ画像撮像系を構築するのが望ましい。また、シェーディング自体が出にくい構造が好ましい。本実施形態においては、上述の状況に鑑みて、シェーディングが少なく、光学条件による変動も抑制され、かつボケの非対称性が抑制された自然な見えの立体画像撮像システムに関する技術について説明する。
【００５８】
視差画素に設けられた開口マスクの開口部が上述した半開口よりも大きい場合について説明する。
＜半開口よりも大きい視差画素と全開口の視差なし画素との組み合せ配列＞
ここでは、説明を簡単にする目的で、全開口に対して水平方向の幅が２／３倍の２／３開口を持つ視差画素を例に挙げて説明する。このような開口を持つ視差画素は、被写体光束を受光する受光領域が画素領域の中心を含み、かつ、当該画素領域の中心に対して偏位した位置に設定されている。また、後述する実施形態１で示すようなモノクロで、かつ、Ｎ画素とＬｔ画素とＲｔ画素の３種類が混在する配列構造の撮像素子で撮像する場合を想定する。また、Ｎ画素とＬｔ画素とＲｔ画素のそれぞれが各画素に対して補間されることにより、Ｎ画像、Ｌｔ画像、Ｒｔ画像が生成されるものとする。これらの持つ特性について順に説明する。
【００５９】
（１）視差量
図１０は、開口マスクの開口部と点像分布について説明する図である。２／３開口の左視差画像Ｌｔ２／３、２／３開口の右視差画像Ｒｔ２／３、及び全開口の視差なし画像Ｎから、演算によって、１／３開口の左視差画像Ｌｔ１／３、１／３開口の右視差画像Ｒｔ１／３、１／３開口の視差なし画像Ｃ１／３をそれぞれ等価的に生み出すができる。具体的には、図１０（ａ）、（ｂ）に示すように、視差なし画像Ｎと右視差画像Ｒｔ２／３とを減算することにより、右視差画像Ｒｔ２／３の遮光部分に開口を持つ左視差画像Ｌｔ１／３を等価的に生み出すことができる。図１０（ｃ）、（ｄ）に示すように、左視差画像Ｌｔ２／３と右視差画像Ｒｔ２／３とを加算し、加算結果から視差なし画像Ｎを減算することにより、視差なし画像Ｃ１／３を等価的に生み出すことができる。図１０（ｅ）、（ｆ）に示すように、全開口の視差なし画像Ｎと２／３開口の左視差画像Ｌｔ２／３とを減算することにより、２／３開口の左視差画像Ｌｔ２／３の遮光部分に開口を持つ１／３開口の右視差画像Ｒｔ１／３を等価的に生み出すことができる。上述の演算を式で表せば以下となる。なお、添字は開口幅、あるいはボケ幅の情報を表す。
【００６０】
2014192300.tif 000003
【００６１】
一般的に、中央部を撮像していない１／３開口の左視差画像Ｌｔ１／３および１／３開口の右視差画像Ｒｔ１／３は、端の視点の部分光束を捉えるので、２／３開口の左視差画像Ｌｔ２／３および２／３開口の右視差画像Ｒｔ２／３よりも視差の分離度が大きい視差情報が得られる。すなわち、外側の視点情報を得ることができる。演算によって生成される、左視差画像Ｌｔ２／３と右視差画像Ｒｔ２／３との差および比等の信号成分は、１／３開口の視差分離を導く作用を持ち得る。上記の差および比を（式４）、（式５）に示す。
【００６２】
2014192300.tif 000004
図１１は、左視差画像Ｌｔ２／３と右視差画像Ｒｔ２／３との差の概念を説明する図である。図１１においては、半開口の視差画素と比較して説明する。図１１（ａ）は、半開口の視差画素を示す。図１１（ｂ）は、画素位置と光強度との関係を示し、図６（ｂ）と同一である。図１１（ｃ）は、左視差画像Ｌｔ１／２と右視差画像Ｒｔ１／２との差を概念的に示す。図１１（ｄ）は、２／３開口の視差画素を示す。図１１（ｅ）は、画素位置と光強度との関係を示す。図１１（ｆ）は、左視差画像Ｌｔ２／３と右視差画像Ｒｔ２／３との差を概念的に示す。
【００６３】
図１１（ｃ）、（ｆ）に示すように、２／３開口の視差画素の左右間の信号差分は、半開口の視差画素の左右間の信号差分よりも小さい。これは、図１１（ｂ）、（ｅ）に示すように、２／３開口の左右の視差画素における撮像信号の重なり部分は、半開口の視差画素における撮像信号の重なり部分よりも大きいので、差分信号として出力される信号が小さくなるからである。２／３開口のように、半開口より大きな視差画素の基本的な考え方は、２Ｄ撮像素子の全開口の画素構造をできるだけ踏襲して、ごく一部の光のみを遮光することによって視差情報を得、演算によって等価的に遮蔽部の開口の視差情報を取り出すことを可能にしつつ、撮像信号自体の光学特性は２Ｄ撮像素子に近い状態を保つことにある。
【００６４】
演算によって生成される視点位置とボケ幅の異なる視差情報として、（式１）から（式３）の他にも導出できる。図１２は、他の導出例として視差なし画像Ｎ１と視差なし画像Ｃ２／３の点像分布を説明する図である。図１２（ａ）に示すように、視差なし画像Ｎ１は、左視差画像Ｌｔ２／３と右視差画像Ｒｔ２／３との相加平均により得られる。相加平均は、２つの撮像信号のどちらか一方が有限の値をもつ区間、すなわちＯＲをとった領域幅のボケ幅を生み出す。したがって、視差なし画像Ｎ１は、近似的に全開口のボケ幅をもつ基準視点方向の視差なし画像とみなすことができる。一方、視差なし画像Ｃ２／３は、左視差画像Ｌｔ２／３と右視差画像Ｒｔ２／３との相乗平均により得られる。相乗平均は、２つの撮像信号の両方が有限の値を持つ区間、すなわちＡＮＤをとった領域幅のボケ幅を生み出す。したがって、視差なし画像Ｃ２／３は、２／３開口のボケ幅をもつ基準視点方向の視差なし画像とみなすことができる。なお、視差なし画像の全開口のボケ幅をＮで表し、それより小さな開口のボケ幅をＣで表す。式で表すと以下の（式６）、（式７）となる。
【００６５】
2014192300.tif 000005
（２）シェーディング特性
図１３は、視差画素のシェーディングを説明する図である。図１３において、縦軸は信号値を示し、横軸は画素位置を示す。図１３（ａ）は、半開口の視差画素について信号値と画素位置との関係を示し、図１３（ｂ）は、２／３開口の視差画素について信号値と画素位置との関係を示す。一般的に、単眼瞳分割撮像方式では、光学系の瞳と撮像素子のマイクロレンズとの組み合せによって、シェーディングが発生する。そして、絞り値が大きいほど、右視差画像と左視差画像のアンバランスが大きくなる。しかしながら、２Ｄ撮像素子ではこのようなことは起きない。したがって、同一の光学条件において、図１３（ａ）、（ｂ）に示すように、２／３開口の視差画素、すなわち半開口より大きな視差画素は、半開口の視差画素よりもシェーディングは小さく、光学条件による変動も小さくなる。
【００６６】
（３）ボケの非対称性
図１４は、半開口より大きい視差画素のボケの形状を説明するための図である。図１４（ａ）は、半開口の視差画素のボケを示し、図１４（ｂ）は、半開口よりも大きな視差画素のボケを示す。視差画素の開口幅が大きくなると、視差なし画素（Ｎ画素）との被写界深度の差が小さくなるので、ボケの縦横非対称性は、緩和される。さらに、図１４（ａ）、（ｂ）に示すように、視差画素の開口幅が大きくなると、円形の瞳径のごく一部の光束が削られるだけなので、ボケの左右非対称性も、半開口の場合よりも緩和される。したがって、一方のエッジのシャープさを低減でき、２線ボケについても低減する傾向を示す。以上のように、半開口よりも大きな視差画素は、ボケの形がきれいになり、縦横、左右ともに対称化する傾向にある。
【００６７】
（４）視差変調とＳ／Ｎ比
後述する実施形態１および実施形態２で示す撮像素子においては、視差画素が視差なし画素よりも疎な密度で配置された配列構造をとる。この配列構造は、ボケた領域しか視差が発生しないという単眼立体撮像の固有の性質を利用して、最も多くの情報を必要とするところに最適配分した結果である。単純に視差画素のみを補間した視差画像面は、空間解像度の低い画像となる。左右の視差画像は、空間解像度の高い視差なし画像を変位させるために利用される。このように視差変調して高解像な視差画像が生成される。この原理は本出願と同一発明者の特願２０１２−１００４７２と特願２０１２−１００４７６に詳述されている。半開口を前提として、そこで記載された演算式を３通り記述する。左視差画像を例にとると下式となる。
【００６８】
2014192300.tif 000006
（式９）の演算を対数空間で行えば、（式８）と同一となる。（式８）は通常、ガンマ変換された階調空間で用いる。線形階調空間では、（式９）ないし（式１０）を用いる。視差なし画素が全開口の場合、すなわちＮ画素の場合は（式１０）を用い、視差なし画素が視差画素と同じ形状の面積を持つ開口の場合、すなわちＣ画素の場合は（式９）を用いる。
【００６９】
上述の演算を、半開口の視差画素で捉えた撮像信号ではなく、半開口よりも大きな視差画素で捉えた撮像信号に対して行う場合について説明する。説明を簡単にする目的で（式８）の差分演算の場合を考える。上述のように、半開口よりも大きな視差画素の左右間の信号差分は、半開口の視差画素の左右間の信号差分よりも小さい。これは、図１１に示したように、半開口よりも大きな左右の視差画素においては、撮像信号の重なり部分が大きいので、差分信号として出力される信号が小さくなるからである。
【００７０】
しかしながら、視差画素の開口が半開口に近い幅、例えば１／２開口から２／３開口程度の範囲の間であれば、（式８）の演算による、Ｎ画像を変調する効果は、そのまま伴うと考えられる。さらに視差画素の開口が大きくなると、差分信号の強度振幅が小さくなりすぎるので、視差変調効果が弱まってしまう。このような場合には、下式のような視差増幅変調を行う。撮像視差自体は、視差画素の遮光部に相当する視差情報を持っているので、増幅しても視差情報の視点位置に関する情報は同様に取り出すことができる。
【００７１】
2014192300.tif 000007
ただし、ｋはｋ＞１に設定すると増幅ゲインを表す。ｋの値の目安として、視差画素の開口幅を２／３と３／４にとったときの計算例を以下に記す。半開口１／２のときｋ＝１であることを念頭にそれからの比で計算する。
【００７２】
２／３のとき  ｋ＝［（１／２）／（２／３）］−１＝４／３＝１．３３
３／４のとき  ｋ＝［（１／２）／（３／４）］−１＝３／２＝１．５
信号差分に対してゲインを掛けて、Ｎ画像と合成するので、合成後の変調画像はノイズ特性が悪くなる。これが視差画素の開口幅を広げたときに、上述のシェーディング特性の改善やボケの非対称性の改善効果に対して、競合関係となって現れる現象である。しかしながら、開口を広げた分、光量自体は半開口のときよりも増えるので、ショットノイズはＬｔ画像、Ｒｔ画像で減っており、増幅の影響は開口が３／４開口以上のような大開口の領域で生じるものと考えられる。したがって、視差画素の開口幅が１／２開口より大きく２／３開口以下のような領域では、適切な視差変調効果とＳ／Ｎ比を保ったまま、シェーディング特性およびボケの非対称性の改善効果が得られる。
【００７３】
続いて、視差変調によって伝達されるボケ幅について説明する。視差なし画素が全開口（Ｎ画素）で構成され、（式１０）の演算によって視差変調を行う場合について、視差画素が半開口の場合と２／３開口の場合とを比較する。（式１０）の関係式にボケ幅だけの関係式を当てはめると、左辺に出力されるのが伝達されたボケ幅である。
【００７４】
視差画素が１／２開口の場合
（１／２開口のボケ幅）＝（全開口のボケ幅）・（１／２開口のボケ幅）／（全開口のボケ幅）
視差画素が２／３開口の場合
（２／３開口のボケ幅）＝（全開口のボケ幅）・（２／３開口のボケ幅）／（全開口のボケ幅）
したがって、ほぼ視差画素の撮像信号のボケ幅がそのまま高解像度化された視差変調後の視差画像にも伝達される。これは、上記（３）の「ボケの非対称性」の説明と一致する。
【００７５】
左視差画像と右視差画像を重ね合わせて表示したときに、同一像のボケが左視差画像の領域と右視差画像の領域が急激に切り替わらない程度に適度に重なりを持ちつつ、全体としては全開口で捉えた視差なし画像と同様な信号分布を持つことが望ましいので、視差画素が採るべき開口幅は、およそ１／２から２／３の間、例えば３／５開口、４／７開口、あるいは５／９開口等が１つの最良の形態として考えられる。
【００７６】
なお、左右の視差画素のみが配列された撮像素子において各視差画素を大開口化しても、撮像信号以上の（正の信号値を持つ）加工はできないので、小開口の視差情報に変換することはできない。すなわち、２視差から新しい視差情報は生まれない。本実施形態においては、左右の視差画素に加えて視差なし画素が配列された撮像素子を用いており、３視差からは新しい視差情報を生み出すことができる。
【００７７】
＜実施形態１＞
モノクロで、かつ疎な視差画素配列を例に挙げて説明する。図１５は、画素配列の一例としての実空間の配列とｋ空間を示す図である。図１５の上段の配列図を基本格子として、周期的に配置された撮像素子を用いた例を示す。その逆格子空間の周波数解像領域も各色と各視差の組み合わせについて示す。この配列は、単眼瞳分割方式のボケた被写体領域にしか視差を生じないという性質を捉えて、視差画素の密度を疎な配置にし、残りの画素を視差なし画素にできるだけ割り当てた構造をしたモノクロ撮像素子である。視差なし画素、視差Ｌｔ画素、視差Ｒｔ画素の密度比はＮ：Ｌｔ：Ｒｔ＝２：１：１である。また、図１５においては、視差画素の開口幅として２／３開口を例示している。処理の手順は、およそ以下の通りである。
【００７８】
１）視差多重化モザイク画像データ入力
２）視差モザイク画像のグローバル・ゲインバランス補正
３）仮の視差画像の生成
４）左右の局所照度分布補正による視差なし基準画像の生成
（ローカル・ゲインバランス補正）
５）実際の視差画像の生成
６）出力空間への変換
以下、詳細に説明する。
【００７９】
１）視差多重化モザイク画像データ入力
図１５の視差が多重化された単板式モノクロのモザイク画像をＭ（ｘ,ｙ）で表す。階調はＡ／Ｄ変換によって出力された線形階調であるものとする。
【００８０】
2014192300.tif 000008
【００８１】
便宜的にモザイク画像M(x,y)の内、視差なし画素の信号面をNmosaic(x,y)、左視差画素の信号面をLtmosaic(x,y)、右視差画素の信号面をRtmosaic(x,y)、と表すことにする。
【００８２】
2014192300.tif 000009
2014192300.tif 000010
【００８３】
2014192300.tif 000011
【００８４】
全ての視差なし画素が全開口のマスクを持っているとき相加平均型の方式を採用する。全ての視差なし画素が半開口のマスクを持っているとき相乗平均型の方式を採用する。したがって、本実施形態では相加平均型を採用する。こうして視差なし画素が１つのゲイン係数で、左視差画素が１つのゲイン係数で、右視差画素が１つのゲイン係数で補正されたモザイク画像をM'(x,y)として出力する。
【００８５】
３）仮の視差画像の生成
空間周波数解像度の低い分解能の仮の左視差画像と仮の右視差画像を生成する。具体的には、左視差画素ばかりを集めた信号面内の単純平均補間を行う。近接して存在する画素値を用いて、距離の比に応じて線形補間を行う。同様に、右視差画素ばかりを集めた信号面内の単純平均補間を行う。同様に、視差なし画素ばかりを集めた信号面内の単純平均補間を行う。すなわち、Ltmosaic(x,y)からLt(x,y)を、Rtmosaic(x,y)からRt(x,y)を、Nmosaic(x,y)から N(x,y)を生成する。仮の視差なし画像をN(x,y)、仮の左視差画像をLt(x,y)、仮の右視差画像をRt(x,y)と表す。なお、仮の視差なし画像N(x,y)を作るときは、信号面内での方向判定を導入して高精細に行ってもよい。
【００８６】
４）左右の照度分布補正による視差なし基準画像の生成
（ローカル・ゲインバランス補正）
次にステップ２）で行ったグローバル・ゲイン補正と同様の考え方で、画素単位のローカル・ゲイン補正を行うことによって、まず画面内の左視差画素と画面内の右視差画素の照度を合わせる。この操作によって左右間の視差を消滅させる。その上で左右平均をとった信号面と視差なし画素の撮像信号面との間で更に照度を合わせる。そうして、全ての画素でゲイン整合のとれた新しい視差なしの基準画像面を作成する。これは平均値と置き換えることと等価であり、視差の消滅した中間画像面が出来上がる。これをN(x,y)と書くことにする。
【００８７】
2014192300.tif 000012
【００８８】
2014192300.tif 000013
このように左視点の画像と右視点の画像の平均値を更に視差のない基準視点の画像との平均値をとった画素値を新たな視差なし画素値として、モノクロ面のデータを書き換え、視差なしモノクロ面の画像N(x,y)を出力する。
【００８９】
５）実際の視差画像の生成
ステップ３）で生成した解像力の低い仮の左視差画像Lt(x,y)とステップ４）で中間処理として生成した解像力の高い視差なしのモノクロ画像N(x,y)を用いて、実際に出力する解像力の高い左視差のモノクロ画像Lt'(x,y)を生成する。同様に、ステップ３）で生成した解像力の低い仮の右視差画像Rt(x,y)とステップ４）で中間処理として生成した解像力の高い視差なしのモノクロ画像N(x,y)を用いて、実際に出力する解像力の高い右視差のカラー画像Rt'(x,y)を生成する。
【００９０】
視差変調の方式として、相加平均を基準点にとる方法と相乗平均を基準点にとる方法の２通りが考えられる。どちらも視差変調効果を得ることができるが、撮像素子の視差なし画素の開口マスクが全開口のとき相加平均を基準点とした方式を採用し、視差なし画素の開口マスクが視差あり画素と同じ半開口のとき相乗平均を基準点とした方式を採用する。したがって、本実施形態では相加平均を基準点とする方式を用いる。
【００９１】
2014192300.tif 000014
【００９２】
６）出力色空間への変換
こうして得られた高解像な視差なしの中間モノクロ画像N(x,y)と高解像の左視差のモノクロ画像Lt'(x,y)、高解像の右視差のモノクロ画像Rt(x,y)のそれぞれを適当なガンマ変換を行って出力空間の画像として出力する。
【００９３】
なお、実施形態１において、視差変調として以下の式を用いてもよい。
2014192300.tif 000015
【００９４】
＜実施形態２＞
Ｂａｙｅｒ型のＲＧＢ配列で、かつ疎な視差画素配列を例に挙げて説明する。図１６は、画素配列の一例としての実空間の配列とｋ空間を示す図である。図１６の上段の配列図を基本格子として、周期的に配置された撮像素子を用いた例を示す。その逆格子空間の周波数解像領域も各色と各視差の組み合わせについて示す。この配列は、単眼瞳分割方式のボケた被写体領域にしか視差を生じないという性質を捉えて、視差画素の密度を疎な配置にし、残りの画素を視差なし画素にできるだけ割り当てた構造をした撮像素子である。視差なし画素も視差あり画素もＢａｙｅｒ配列を基本構造としており、左視差画素にも右視差画素にもＲ：Ｇ：Ｂ＝１：２：１のカラーフィルタを配置した構造をしている。すなわち、実施形態１よりも更に原信号で捉える視差なしの中間画像の解像力を重視し、その高周波成分を視差変調によって、左視差画素と右視差画素に重畳することによって高解像な立体画像を得ようとするものである。視差なし画素、視差Ｌｔ画素、視差Ｒｔ画素の密度比はＮ：Ｌｔ：Ｒｔ＝６：１：１である。また、図１６においては、視差画素の開口幅として２／３開口を例示している。処理の手順は、およそ以下の通りである。
【００９５】
１）色・視差多重化モザイク画像データ入力
２）色・視差モザイク画像のグローバル・ゲインバランス補正
３）仮の視差画像の生成
４）左右の局所照度分布補正による視差なし色モザイク画像の生成
（ローカル・ゲインバランス補正）
５）視差なし基準画像の生成
６）実際の視差画像の生成
７）出力色空間への変換
以下、詳細に説明する。
【００９６】
１）色・視差多重化モザイク画像データ入力
図１６の色と視差の多重化された単板式モザイク画像をＭ（ｘ,ｙ）で表す。階調はＡ／Ｄ変換によって出力された線形階調であるものとする。
【００９７】
2014192300.tif 000016
【００９８】
便宜的にモザイク画像M(x,y)の内、
R成分の視差なし画素の信号面をRN_mosaic(x,y)、
R成分の左視差画素の信号面をRLt_mosaic(x,y)、
R成分の右視差画素の信号面をRRt_mosaic(x,y)、
G成分の左視差画素の信号面をGN_mosaic(x,y)、
G成分の視差なし画素の信号面をGLt_mosaic(x,y)、
G成分の右視差画素の信号面をGRt_mosaic(x,y)、
B成分の視差なし画素の信号面をBN_mosaic(x,y)、
B成分の左視差画素の信号面をBLt_mosaic(x,y)、
B成分の右視差画素の信号面をBRt_mosaic(x,y)
と表すことにする。
【００９９】
2014192300.tif 000017
2014192300.tif 000018
【０１００】
2014192300.tif 000019
【０１０１】
2014192300.tif 000020
2014192300.tif 000021
【０１０２】
2014192300.tif 000022
全ての視差なし画素が全開口のマスクを持っているとき相加平均型の方式を採用する。全ての視差なし画素が半開口のマスクを持っているとき相乗平均型の方式を採用する。したがって、本実施形態では相加平均型を採用する。こうして視差なし画素が１つのゲイン係数で、左視差画素が１つのゲイン係数で、右視差画素が１つのゲイン係数で補正されたモザイク画像をM'(x,y)として出力する。
【０１０３】
３）仮の視差画像の生成
空間周波数解像度の低い分解能の仮の左視差画像と仮の右視差画像を生成する。左視差画素ばかりを集めたG色面内の単純平均補間を行う。近接して存在する画素値を用いて、距離の比に応じて線形補間を行う。同様に、右視差画素ばかりを集めたG色面内の単純平均補間を行う。同様に、視差なし画素ばかりを集めたG色面内の単純平均補間を行う。同様の処理をR,G,Bの各々について行う。すなわち、RLt_mosaic(x,y)からRLt(x,y)を、RRt_mosaic(x,y)からRRt(x,y)を、RN_mosaic(x,y)からRN(x,y)を、GLt_mosaic(x,y)からGLt(x,y)を、GRt_mosaic(x,y)からGRt(x,y)を、GN_mosaic(x,y)からGN(x,y)を、BLt_mosaic(x,y)からBLt(x,y)を、BRt_mosaic(x,y)からGRt(x,y)を、BN_mosaic(x,y)からGN(x,y)を生成する。
【０１０４】
仮のR成分の視差なし画像をRN(x,y)で表す。
仮のG成分の視差なし画像をGN(x,y)で表す。
仮のB成分の視差なし画像をBN(x,y)で表す。
仮のR成分の左視差画像をRLt(x,y)で表す。
仮のG成分の左視差画像をGLt(x,y)で表す。
仮のB成分の左視差画像をBLt(x,y)で表す。
仮のR成分の右視差画像をRRt(x,y)で表す。
仮のG成分の右視差画像をGRt(x,y)で表す。
仮のB成分の右視差画像をBRt(x,y)で表す。
なお、仮の視差なし画像RN(x,y)、GN(x,y)、BN(x,y)を作るときは、信号面内での方向判定を導入して高精細に行ってもよい。
【０１０５】
４）左右の照度分布補正による視差なし色モザイク画像の生成
（ローカル・ゲインバランス補正）
次にステップ２）で行ったグローバル・ゲイン補正と同様の考え方で、画素単位のローカル・ゲイン補正を行うことによって、まず画面内の左視差画素と画面内の右視差画素の照度を合わせる。この操作によって左右間の視差を消滅させる。その上で左右平均をとった信号面と視差なし画素の撮像信号面との間で更に照度を合わせる。そうして、全ての画素でゲイン整合のとれた新しいBayer面を作成する。これは平均値と置き換えることと等価であり、視差の消滅したBayer面が出来上がる。これをMN(x,y)と書くことにする。
【０１０６】
この場合も、各画素の基準点として揃える目標値の設定方法に、左右間の視差を消滅させる方法に、相加平均を選ぶ方法と相乗平均を選ぶ方法の２種類が存在する。全ての視差なし画素が全開口のマスク面積を持っているとき、左右間で視差消滅させた被写体像のボケ幅が全開口のボケ幅と一致させるために相加平均型を選ぶ必要がある。一方、全ての視差なし画素が半開口のマスク面積を持っているとき、左右間で視差消滅させた被写体像のボケ幅が半開口のボケ幅と一致させるために相乗平均型を選ぶ必要がある。
【０１０７】
さらに、左右間で視差消滅させた信号面と視差なし画素の撮像信号面との間で平均をとる操作は、両者が既に同じボケ幅の被写体像に揃えられているから、そのボケ幅を保存する必要がある。したがって、このときには共通に相乗平均をとらなければならない。以下にそれらの具体式を挙げる。
【０１０８】
2014192300.tif 000023
2014192300.tif 000024
【０１０９】
2014192300.tif 000025
【０１１０】
2014192300.tif 000026
2014192300.tif 000027
【０１１１】
2014192300.tif 000028
このように左視点の画像と右視点の画像の平均値を更に視差のない基準視点の画像との平均値をとった画素値を新たな視差なし画素値として、Bayer面のデータを書き換え、視差なしBayer面の画像MN(x,y)を出力する。
【０１１２】
５）視差なし基準画像の生成
公知のＢａｙｅｒ補間技術を行う。例として、本出願と同一発明者のＵＳＰ７９５７５８８（ＷＯ２００６／００６３７３）およびＵＳＰ８２５９２１３に示される補間アルゴリズムがある。
【０１１３】
６）実際の視差画像の生成
ステップ３）で生成した解像力の低い仮の左視差のカラー画像RLt(x,y)、GLt(x,y)、BLt(x,y)とステップ５）で中間処理として生成した解像力の高い視差なしのカラー画像RN(x,y)、GN(x,y)、BN(x,y)を用いて、実際に出力する解像力の高い左視差のカラー画像R'Lt(x,y)、G'Lt(x,y)、B'Lt(x,y)を生成する。同様に、ステップ３）で生成した解像力の低い仮の右視差のカラー画像RRt(x,y)、GRt(x,y)、BRt(x,y)とステップ５）で中間処理として生成した解像力の高い視差なしのカラー画像RN(x,y)、GN(x,y)、BN(x,y)を用いて、実際に出力する解像力の高い右視差のカラー画像R'Rt(x,y)、G'Rt(x,y)、B'Rt(x,y)を生成する。
【０１１４】
視差変調の方式として、相加平均を基準点にとる方法と相乗平均を基準点にとる方法の２通りが考えられる。どちらも視差変調効果を得ることができるが、撮像素子の視差なし画素の開口マスクが全開口のとき相加平均を基準点とした方式を採用し、視差なし画素の開口マスクが視差あり画素と同じ半開口のとき相乗平均を基準点とした方式を採用する。したがって、本実施形態では相加平均を基準点とする方式を用いる。
【０１１５】
2014192300.tif 000029
【０１１６】
2014192300.tif 000030
【０１１７】
2014192300.tif 000031
【０１１８】
７）出力色空間への変換
実施形態１と同様である。
【０１１９】
実施形態２において、視差変調として以下の式を用いてもよい。
2014192300.tif 000032
【０１２０】
なお、以上の実施形態２の撮像素子においては、視差画素の数は視差なし画素の数より少ない。そこで、撮像素子上の画素配列における視差なし画素と視差画素の密度比を考慮に入れて上述した各演算を行うと空間的なサンプリングによる解像能力に応じた信頼度の重みを与えることができる。具体的には、実施形態２で用いた視差なし画素（Ｎ）と左視差画素（Ｌｔ）と右視差画素（Ｒｔ）の比は、Ｎ：Ｌｔ：Ｒｔ＝６：１：１、すなわち、Ｎ：(Ｌｔ＋Ｒｔ)＝３：１であるので、視差なし画素には３／４乗の重みを、視差画素には１／４乗の重みを与えて、密度の高い視差なし画素を重視した配分とする。この場合には、上記２）、４）、および６）において、以下に示す式を用いるとよい。
【０１２１】
2014192300.tif 000033
【０１２２】
2014192300.tif 000034
【０１２３】
2014192300.tif 000035
【０１２４】
2014192300.tif 000036
2014192300.tif 000037
【０１２５】
2014192300.tif 000038
【０１２６】
2014192300.tif 000039
2014192300.tif 000040
【０１２７】
2014192300.tif 000041
2014192300.tif 000042
【０１２８】
2014192300.tif 000043
【０１２９】
2014192300.tif 000044
【０１３０】
2014192300.tif 000045
【０１３１】
2014192300.tif 000046
【０１３２】
なお、実施形態２で取り上げた視差画素の半分を２／３開口に、残りの半分を３／４開口にするような組み合わせなども考えられうる。このような組み合せを行うと、図１０の説明で行った遮蔽開口の演算による等価開口の最小単位は１／１２開口となり、視点とボケ幅に関する情報量と自由度が増える。
【０１３３】
また、上記説明した開口の大きな視差画素は、顕微鏡のような拡大光学系の使用にも適すると考えられる。なぜならば、拡大光学系は極めて大きな絞り値を持った光学系と等価であり、半開口の視差画素の場合は撮像信号が得られないほどの顕著なシェーディング問題が生じる。それに対して少なくとも撮像感度は維持することが可能であり、拾い得た情報から視差情報を取り出せる可能性を持つからである。
【０１３４】
なお、パーソナルコンピュータなどの機器を画像処理部２０５の機能を担う画像処理装置として機能させることもできる。この場合、画像処理装置は、カメラ等の他の装置から撮像素子の出力を取り込んでもよい。画像処理装置は、パーソナルコンピュータに限らず、さまざまな形態を採り得る。例えば、ＴＶ、携帯電話、ゲーム機器等が画像処理装置になり得る。なお、以上の説明において画像は、画像データを指す場合もあれば、フォーマットに従って展開され可視化された被写体像そのものを指す場合もある。
【０１３５】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
【符号の説明】
【０１３６】
１０  デジタルカメラ、２０  撮影レンズ、２１  光軸、１００  撮像素子、１０１  マイクロレンズ、１０２  カラーフィルタ、１０３  開口マスク、１０４  開口部、１０５  配線層、１０６  配線、１０７  開口、１０８  光電変換素子、１０９  基板、２０１  制御部、２０２  Ａ／Ｄ変換回路、２０３  メモリ、２０４  駆動部、２０５  画像処理部、２０７  メモリカードＩＦ、２０８  操作部、２０９  表示部、２１０  ＬＣＤ駆動回路、２２０  メモリカード、３２２  中心線、１８０１  分布曲線、１８０２  分布曲線、１８０３  分布曲線、１８０４  分布曲線、１８０５  分布曲線、１８０６  合成分布曲線、１８０７  分布曲線、１８０８  分布曲線、１８０９  合成分布曲線
【図１】
2014192300.tif 000047
【図２】
2014192300.tif 000048
【図３】
2014192300.tif 000049
【図４】
2014192300.tif 000050
【図５】
2014192300.tif 000051
【図６】
2014192300.tif 000052
【図７】
2014192300.tif 000053
【図８】
2014192300.tif 000054
【図９】
2014192300.tif 000055
【図１０】
2014192300.tif 000056
【図１１】
2014192300.tif 000057
【図１２】
2014192300.tif 000058
【図１３】
2014192300.tif 000059
【図１４】
2014192300.tif 000060
【図１５】
2014192300.tif 000061
【図１６】
2014192300.tif 000062
【国際調査報告】
2014192300.tif 000063
2014192300.tif 000064