(57)【要約】  光学系を介して入射する被写体光束のうち、光学系の光軸に対して直交する第１方向へ偏った第１部分光束を受光する第１画素と、第１方向とは反対の第２方向へ偏った第２部分光束を受光する第２画素を少なくとも含む撮像素子と、第１画素の出力に基づく第１視差画像データと、第２画素の出力に基づく第２視差画像データとを生成する画像生成部とを備え、撮像素子が光軸の非合焦領域に存在する物点を撮像した場合に、第１視差画像データは、光軸に対応する中心画素の画素値が、ピーク画素の画素値の５０％以上であり、第２視差画像データは、中心画素の画素値が、ピーク画素の画素値の５０％以上である撮像装置。
2015001788.tif 000002
【特許請求の範囲】
【請求項１】
光学系を介して入射する被写体光束のうち、前記光学系の光軸に対して直交する第１方向へ偏った第１部分光束を受光する第１画素と、前記第１方向とは反対の第２方向へ偏った第２部分光束を受光する第２画素を少なくとも含む撮像素子と、
前記第１画素の出力に基づく第１視差画像データと、前記第２画素の出力に基づく第２視差画像データとを生成する画像生成部と
を備え、
前記撮像素子が前記光軸の非合焦領域に存在する物点を撮像した場合に、前記第１視差画像データは、前記光軸に対応する中心画素の画素値が、ピーク画素の画素値の５０％以上であり、前記第２視差画像データは、前記中心画素の画素値が、ピーク画素の画素値の５０％以上である撮像装置。
【請求項２】
前記第１視差画像データと前記第２視差画像データを重ね合わせた合成画像データは、前記中心画素を通り前記第１方向と前記第２方向に沿う画素列を横軸とした場合に、縦軸としての出力値である点像分布が凸形状を成す請求項１に記載の撮像装置。
【請求項３】
前記撮像素子は、前記第１画素および前記第２画素のそれぞれに対応して設けられたマイクロレンズと、前記第１画素に対応して設けられた前記マイクロレンズと前記第１画素の受光面との間および前記第２画素に対応して設けられた前記マイクロレンズと前記第２画素の受光面との間のそれぞれに設けられた、前記被写体光束を制限する偏位開口マスクとを含み、
前記偏位開口マスクに形成された開口の偏位方向の幅は、前記被写体光束を制限しない全開口の幅の半分よりも大きい請求項１または請求項２に記載の撮像装置。
【請求項４】
前記撮像素子は、前記被写体光束を前記光軸に対して偏りなく受光する第３画素を含む請求項１から請求項３のいずれか１項に記載の撮像装置。
【請求項５】
前記画像生成部は、前記第３画素の出力に基づく第３画像データに、前記第１視差画像データと前記第２視差画像データを用いて、前記第１視差画像データとは異なる第４視差画像データおよび前記第２視差画像データとは異なる第５視差画像データを生成する請求項４に記載の撮像装置。
【請求項６】
前記第４視差画像データと前記第５視差画像データとの互いに対応するそれぞれの画素値の平均は、前記第３画像データの対応する画素値と同一である請求項５に記載の撮像装置。
【請求項７】
前記第４視差画像データは、前記中心画素の画素値が、ピーク画素の画素値の５０％以上であり、
前記第５視差画像データは、前記中心画素の画素値が、ピーク画素の画素値の５０％以上である請求項５または６に記載の撮像装置。
【請求項８】
前記第１視差画像データと前記第２視差画像データの対応するそれぞれの画素値を相加平均した演算値Ｅａと相乗平均した演算値Ｅｍが、Ｅａ／Ｅｍ＜３を満たす請求項１から請求項７のいずれか１項に記載の撮像装置。
【請求項９】
前記演算値Ｅａと前記演算値Ｅｍが、Ｅａ／Ｅｍ＜２を満たす請求項８に記載の撮像装置。
【請求項１０】
前記演算値Ｅａと前記演算値Ｅｍが、Ｅａ／Ｅｍ＞１を満たす請求項８または請求項９に記載の撮像装置。
【請求項１１】
前記第１視差画像データおよび前記第２視差画像データは、表示装置に表示された場合に、３Ｄメガネを装着した鑑賞者には３Ｄ画像として視認されるとともに、前記３Ｄメガネを装着しない鑑賞者には二重像を含まない２Ｄ画像として視認される請求項１から請求項１０のいずれか１項に記載の撮像装置。
【請求項１２】
前記第４視差画像データおよび前記第５視差画像データは、表示装置に表示された場合に、３Ｄメガネを装着した鑑賞者には３Ｄ画像として視認されるとともに、前記３Ｄメガネを装着しない鑑賞者には二重像を含まない２Ｄ画像として視認される請求項５から請求項７のいずれか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
単一の撮影光学系を用いて、互いに視差を有する左右の視差画像を一度の撮影で生成する撮像装置が知られている。
［先行技術文献］
［特許文献］
［特許文献１］特開２００３−７９９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
この種の撮像装置により生成された左右の視差画像を表示装置に表示させた場合には、３Ｄメガネを装着した鑑賞者には３Ｄ画像として視認されるものの、３Ｄメガネを装着しない鑑賞者には左右の視差画像が互いにずれた二重像を含む２Ｄ画像として視認される。３Ｄメガネを装着した鑑賞者と、３Ｄメガネを装着しない鑑賞者とが、表示された画像を同時に鑑賞できることが望まれている。
【課題を解決するための手段】
【０００４】
本発明の一態様における撮像装置は、光学系を介して入射する被写体光束のうち、光学系の光軸に対して直交する第１方向へ偏った第１部分光束を受光する第１画素と、第１方向とは反対の第２方向へ偏った第２部分光束を受光する第２画素を少なくとも含む撮像素子と、第１画素の出力に基づく第１視差画像データと、第２画素の出力に基づく第２視差画像データとを生成する画像生成部とを備え、撮像素子が光軸の非合焦領域に存在する物点を撮像した場合に、第１視差画像データは、光軸に対応する中心画素の画素値が、ピーク画素の画素値の５０％以上であり、第２視差画像データは、中心画素の画素値が、ピーク画素の画素値の５０％以上である。【０００５】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００６】
【図１】本発明の実施形態に係るデジタルカメラの構成を説明する図である。
【図２】撮像素子の一部を拡大した様子を概念的に表す概念図である。
【図３】視差なし画素におけるデフォーカスの概念を説明する図である。
【図４】視差画素におけるデフォーカスの概念を説明する図である。
【図５】２Ｄ−３Ｄシームレス画像を生成するための条件を説明する図である。
【図６】視差画素の種類が２つである場合における開口マスクの開口形状の一例を説明する図である。
【図７】撮像素子の断面の構成を説明する図である。
【図８】２Ｄ−３Ｄシームレス画像を生成するための画素の構成を説明する図である。
【図９】左視点の点像分布と視差Ｌｔ画素の感度の角度依存性との関係を説明する図出る。
【図１０】左視点の点像分布と視差Ｌｔ画素の感度の角度依存性との関係を説明する図出る。
【図１１】二重像を含む画像を説明する図である。
【図１２】２Ｄ画像データと視差画像データの生成処理の例を説明する図である。
【図１３】視差変調処理と２Ｄ−３Ｄシームレス画像の生成との関係を説明する図である。
【発明を実施するための形態】
【０００７】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００８】
撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。本実施形態においては、特に、右目と左目に対応する２つの視点による右視差画像と左視差画像を生成する場合について説明する。詳しくは後述するが、本実施形態におけるデジタルカメラは、基準方向の視点として中央視点による視差のない視差なし画像も、視差画像と共に生成できる。また、左視点の視差画素を視差Ｌｔ画素、右視点の視差画素を視差Ｒｔ画素、視差なし画素をＮ画素と記す場合もある。左視点の視差画像を視差Ｌｔ画像、右視点の視差画像を視差Ｒｔ画像、視差なし画像をＮ画像と記す場合もある。
【０００９】
図１は、本実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、交換レンズ３００がカメラ本体２００に装着されて構成される。カメラ本体２００は、撮像素子１００、カメラ本体制御部２０１、Ａ／Ｄ変換回路２０２、ワークメモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９、および表示制御部２１０を備える。交換レンズ３００は、撮影光学系としての撮影レンズ２０、絞り２２、交換レンズ制御部３０１、レンズメモリ３０２、およびレンズ駆動部３０４を備える。また、カメラ本体２００は、カメラマウント２１３を備え、交換レンズ３００は、レンズマウント３０３を備える。カメラマウント２１３とレンズマウント３０３が係合すると、カメラ本体２００側の通信端子と交換レンズ３００側の通信端子との接続が確立され、互いに制御信号等の通信を行うことができる。カメラ本体制御部２０１および交換レンズ制御部３０１は、相互に通信を実行しつつ協働してカメラ本体２００と交換レンズ３００を制御する。
【００１０】
交換レンズ３００には、焦点距離等が異なる複数の種類がある。ユーザは、撮影目的に応じて任意の一つをカメラ本体２００へ装着することができる。交換レンズ３００に備えられた撮影レンズ２０は、光軸２１に沿って入射する被写体光束をカメラ本体２００内に配置された撮像素子１００へ導く。図１に示すように、撮像素子１００へ向かう光軸２１に平行な方向をＺ軸プラス方向と定め、Ｚ軸と直交する平面において紙面奥へ向かう方向をＸ軸プラス方向、紙面上方向をＹ軸プラス方向と定める。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
【００１１】
撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。また、瞳近傍には、光軸を中心として同心状に入射光束を制限する絞り２２が配置されている。
【００１２】
撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、複数の画素が二次元的に配列された、例えばＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画素信号に変換してＡ／Ｄ変換回路２０２へ出力する。Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画素信号をデジタル信号に変換してワークメモリ２０３へ出力する。
【００１３】
画像処理部２０５は、ワークメモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。画像データは、後述するように、撮像素子１００の視差なし画素の出力から生成される基準画像データと、撮像素子１００の視差画素の出力から生成される視差画像データを包含する。また、画像処理部２０５は、後述する判断部の判断に応じた付加情報を生成した画像データに付加する。具体的には、後述する２Ｄ−３Ｄシームレス画像データを生成した場合には、２Ｄ−３Ｄシームレス画像データであることを示す付加情報を付加する。２Ｄ画像データを生成した場合には、２Ｄ画像データであることを示す付加情報を付加する。これにより、画像データを表示装置に表示させる場合に、表示装置は、付加情報から画像データの種別を判断することができる。
【００１４】
本明細書において、３Ｄメガネを装着した鑑賞者と３Ｄメガネを装着しない鑑賞者とが同時に鑑賞できる画像を２Ｄ−３Ｄシームレス画像という。２Ｄ−３Ｄシームレス画像により、３Ｄメガネを装着した鑑賞者には立体感のある３Ｄ画像が提供されるとともに、３Ｄメガネを装着しない鑑賞者には２Ｄ画像として違和感のない２Ｄ画像が提供される。
【００１５】
画像処理部２０５は、他にも、選択された画像フォーマットに従って画像データを調整するなどの画像処理一般の機能も担う。ＪＰＥＧファイル形式の画像データを生成する場合には、ホワイトバランス処理、ガンマ処理等を施した後に圧縮処理を実行する。生成された画像データは、表示制御部２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。
【００１６】
一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、カメラ本体制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ、ＡＥ等の各種動作は、カメラ本体制御部２０１に制御されて実行される。
【００１７】
デジタルカメラ１０は、通常の２Ｄ撮影モードの他に視差画像撮影モードを備える。視差画像撮影モードに設定されていれば、後述する２Ｄ−３Ｄシームレス画像を撮影することができる。ユーザは、これらのいずれかのモードを、メニュー画面が表示された表示部２０９を視認しながら、操作部２０８を操作することにより選択することができる。
【００１８】
カメラ本体制御部２０１は、判断部２０６およびカメラメモリ２１４を含む。判断部２０６は、交換レンズ３００がカメラ本体２００に装着されると、交換レンズ制御部３０１を介して撮影レンズ２０のレンズ情報を取得する。本実施形態においては、レンズ情報として交換レンズ３００を識別する識別情報を取得する。また、判断部２０６は、カメラメモリ２１４から後述する対応テーブルを取得する。判断部２０６は、撮影レンズ２０のレンズ情報を対応テーブルに照らし合わせて、装着された交換レンズ３００が２Ｄ−３Ｄシームレス画像の撮影に対応しているか否かを判断する。詳しくは後述するが、２Ｄ−３Ｄシームレス画像は、表示装置に表示された場合に、３Ｄメガネを装着した鑑賞者には３Ｄ画像として視認されるとともに、３Ｄメガネを装着しない鑑賞者には二重像を含まない２Ｄ画像として視認される画像である。
【００１９】
カメラメモリ２１４は、例えばフラッシュメモリなどの不揮発性メモリであり、デジタルカメラ１０を制御するプログラム、各種パラメータ等を記憶する役割を担う。カメラメモリ２１４は、上記の対応テーブルを記憶している。対応テーブルは、２Ｄ−３Ｄシームレス画像の撮影に対応している交換レンズの識別情報が記載されたテーブルである。対応テーブルに記載された識別情報の交換レンズにおいては、予め実験あるいはシミュレーションを通じて、２Ｄ−３Ｄシームレス画像の撮影に対応すべく光学条件が決定されている。具体的には、撮影レンズの焦点距離、レンズ瞳径、開放絞り値等が決定されている。なお、ファームアップにより対応テーブルを随時更新してもよい。
【００２０】
交換レンズ制御部３０１は、レンズ駆動部３０４を介して撮影レンズ２０を移動させる。また、交換レンズ制御部３０１は、撮影レンズ２０のレンズ情報を記憶しているレンズメモリ３０２から当該レンズ情報を読み出し、カメラ本体制御部２０１に送信する。レンズメモリ３０２は、撮影レンズ２０のレンズ情報として当該撮影レンズ２０を識別するための識別情報を記憶している。
【００２１】
図２は、撮像素子１００の一部を拡大した様子を概念的に表す概念図である。画素領域には例えば２０００万個以上もの画素がマトリクス状に配列されている。本実施形態においては、隣接する８画素×８画素の６４画素が一つの基本格子を構成する。基本格子は、２×２の４画素を基本単位とするベイヤー配列を、Ｙ軸方向に４つ、Ｘ軸方向に４つ含む。なお、図示するように、ベイヤー配列においては、左上画素と右下画素に緑フィルタ（Ｇフィルタ）、左下画素に青フィルタ（Ｂフィルタ）、右上画素に赤フィルタ（Ｒフィルタ）が配される。
【００２２】
基本格子は、視差画素と視差なし画素を含む。視差画素は、交換レンズ３００を透過する入射光束のうち、光軸から偏位した部分光束を受光し、画素信号に変換して出力する偏位画素である。詳しくは後述するが、視差画素には、当該部分光束のみを透過させるように、画素中心から偏位した偏位開口を形成する配線が設けられている。配線は、偏位開口を規定する開口マスクとして機能する。視差画素には、視差Ｌｔ画素と視差Ｒｔ画素の２種類が存在する。視差Ｌｔ画素は、画素中心に対して左側に到達した部分光束を受光し、画素信号に変換して出力する画素である。視差Ｒｔ画素は、画素中心に対して右側に到達した部分光束を受光し、画素信号に変換して出力する画素である。一方、視差なし画素は、偏心のない非偏位画素である。視差なし画素は、交換レンズ３００を透過する入射光束の全体を受光し、画素信号に変換して出力する。
【００２３】
なお、図２においては、撮像素子１００における一つの基本格子を、その画素配列に一致させてそのまま羅列した様子を示している。画素の種類が理解されるように示しているが、実際には各画素に対応した出力値が並ぶ。また、基本格子内の画素をＰＩＪで表す。例えば、左上画素はＰ１１であり、右上画素はＰ８１である。図に示すように、視差画素は以下のように配列されている。
【００２４】
Ｐ１１…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ１５…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ２７…視差Ｌｔ画素＋Ｒフィルタ（＝Ｒ（Ｌｔ））
Ｐ３２…視差Ｌｔ画素＋Ｂフィルタ（＝Ｂ（Ｌｔ））
Ｐ５１…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ５５…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ６３…視差Ｒｔ画素＋Ｒフィルタ（＝Ｒ（Ｒｔ））
Ｐ７６…視差Ｒｔ画素＋Ｂフィルタ（＝Ｂ（Ｒｔ））
他の画素は視差なし画素であり、視差無し画素＋Ｒフィルタ、視差なし画素＋Ｇフィルタ、視差無し画素＋Ｂフィルタのいずれかである。
【００２５】
撮像素子１００の全体でみた場合に、視差画素は、Ｇフィルタを有する第１群と、Ｒフィルタを有する第２群と、Ｂフィルタを有する第３群のいずれかに区分される。基本格子には、それぞれの群に属する視差Ｌｔ画素および視差Ｒｔ画素がその群の視差なしＮ画素の間に少なくとも１つは含まれる。図の例のように、これらの視差画素および視差なし画素が、基本格子内において分散して配置されるとよい。分散して配置されることにより、色成分ごとの空間分解能に偏りを生じさせることなく、視差画素の出力としてＲＧＢのカラー情報を取得することができるので、高品質な視差画像データが得られる。
【００２６】
図２に示す基本格子においては、Ｇ（Ｎ）＝２８個に対して、Ｇ（Ｌｔ）＋Ｇ（Ｒｔ）＝２＋２＝４個であり、Ｒ（Ｎ）＝１４個に対して、Ｒ（Ｌｔ）＋Ｒ（Ｒｔ）＝２個、Ｂ（Ｎ）＝１４個に対して、Ｂ（Ｌｔ）＋Ｂ（Ｒｔ）＝２個である。ＲＧＢ比率は、視差Ｌｔ画素、視差Ｒｔ画素、および視差なし画素のそれぞれについて、ベイヤー配列と同じＲ：Ｇ：Ｂ＝１：２：１の構成である。視差なし画素と視差Ｌｔ画素と視差Ｒｔ画素の画素数比は、Ｎ：Ｌｔ：Ｒｔ＝１４：１：１である。視差なし画素の空間解像度は、ベイヤー配列に近い状態を保っている。
【００２７】
続いて、単眼立体撮像におけるボケと視差の関係について説明する。視差Ｌｔ画素および視差Ｒｔ画素が受光する場合のデフォーカスの概念を説明する前に、まず、視差なし画素におけるデフォーカスの概念について簡単に説明する。
【００２８】
図３は、視差なし画素におけるデフォーカスの概念を説明する図である。図３（ａ）で示すように、被写体である物点が焦点位置に存在する場合、レンズ瞳を通って撮像素子受光面に到達する被写体光束は、対応する像点の画素を中心として急峻な光強度分布を示す。すなわち、レンズ瞳を通過する有効光束の全体を受光する視差なし画素が像点近傍に配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値は急激に低下する。
【００２９】
一方、図３（ｂ）に示すように、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれると、被写体光束は、物点が焦点位置に存在する場合に比べて、撮像素子受光面においてなだらかな光強度分布を示す。すなわち、対応する像点の画素における出力値が低下する上に、より周辺画素まで出力値を有する分布を示す。
【００３０】
図３（ｃ）に示すように、さらに物点が焦点位置からずれると、被写体光束は、撮像素子受光面においてよりなだらかな光強度分布を示す。すなわち、対応する像点の画素における出力値がさらに低下する上に、より周辺画素まで出力値を有する分布を示す。
【００３１】
図３（ｄ）に示すように、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合にも、撮像素子受光面から遠ざかる方向に物点がずれた場合と同じような光強度分布を示す。
【００３２】
図４は、視差画素におけるデフォーカスの概念を説明する図である。視差Ｌｔ画素および視差Ｒｔ画素は、レンズ瞳の部分領域としてそれぞれ光軸対象に設定された２つの視差仮想瞳のいずれかから到達する被写体光束を受光する。本明細書において、単一のレンズ瞳における互いに異なる仮想瞳から到達する被写体光束を受光することによって視差画像を撮像する方式を単眼瞳分割撮像方式という。
【００３３】
図４（ａ）に示すように、被写体である物点が焦点位置に存在する場合、いずれの視差仮想瞳を通った被写体光束であっても、対応する像点の画素を中心として急峻な光強度分布を示す。像点付近に視差Ｌｔ画素が配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。また、像点付近に視差Ｒｔ画素が配列されていても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。すなわち、被写体光束がいずれの視差仮想瞳を通過しても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する分布を示し、それぞれの分布は互いに一致する。
【００３４】
一方、図４（ｂ）に示すように、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれると、物点が焦点位置に存在した場合に比べて、視差Ｌｔ画素が示す光強度分布のピークは、像点に対応する画素から一方向に離れた位置に現れ、かつその出力値は低下する。また、出力値を有する画素の幅も広がる。すなわち、撮像素子受光面の水平方向に対して点像の広がりを有することになるので、ボケ量は増す。視差Ｒｔ画素が示す光強度分布のピークは、像点に対応する画素から、視差Ｌｔ画素における一方向とは逆向きかつ等距離に離れた位置に現れ、同様にその出力値は低下する。また、同様に出力値を有する画素の幅も広がる。すなわち、物点が焦点位置に存在した場合に比べてなだらかとなった同一の光強度分布が、互いに等距離に離間して現れる。視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピーク間のずれ量は、視差量に相当する。
【００３５】
また、図４（ｃ）に示すように、さらに物点が焦点位置からずれると、図４（ｂ）の状態に比べて、さらになだらかとなった同一の光強度分布が、より離間して現れる。点像の広がりがより大きくなるので、ボケ量は増す。また、視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピーク間のずれも大きくなっているので、視差量も増す。つまり、物点が焦点位置から大きくずれる程、ボケ量と視差量が増すと言える。
【００３６】
図４（ｄ）に示すように、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合には、図４（ｃ）の状態とは逆に、視差Ｒｔ画素が示す光強度分布のピークは、像点に対応する画素から上記一方向に離れた位置に現れる。視差Ｌｔ画素が示す光強度分布のピークは、視差Ｒｔ画素における一方向とは逆向きに離れた位置に現れる。すなわち、物点のずれの方向に応じて、視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピークが、像点に対応する画素からどちらの方向に離れた位置に現れるかが決まる。
【００３７】
続いて、２Ｄ−３Ｄシームレス画像を実現するための条件について説明する。撮像素子１００が光軸２１に存在する物点を撮像した場合に、物点が光軸２１上のいずれに位置していても、画像処理部２０５が生成する視差Ｌｔ画像データと視差Ｒｔ画像データがいずれも、光軸２１に対応する中心画素に物点に対する出力値を有していれば、２Ｄ−３Ｄシームレス画像を実現することができる。図５を用いて光学的に説明する。
【００３８】
図５は、２Ｄ−３Ｄシームレス画像を生成するための条件を説明する図である。具体的には、非合焦領域に存在する物点の点像分布を示す図である。横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は、信号強度を表す。図においては、物点の左視点の点像分布１８０４、右視点の点像分布１８０５、およびこれらを足し合わせた合成点像分布１８０６を示している。点像分布１８０４と点像分布１８０５が分離していると、左右の視差画像が表示装置に表示された場合に、中心像の光量不足によって、３Ｄメガネを装着しない鑑賞者に二重像を含む画像として視認される。
【００３９】
図に示すように、点像分布１８０４と点像分布１８０５が互いに重なり合っていれば、２Ｄ−３Ｄシームレス画像を生成することができる。特に、点像分布１８０４と点像分布１８０５の重なり具合が重要になる。具体的には、点像分布１８０４と点像分布１８０５の重なり部分のピーク値ａは、点像分布１８０４と点像分布１８０５のそれぞれのピーク値ｂに対して、平均の半分以上であることが好ましい。すなわち、視差Ｌｔ画像データにおいて、中心画素の画素値であるピーク値ｂが、重なり部分におけるピーク画素の画素値であるピーク値ａの５０％以上であることが好ましい。同様に、視差Ｒｔ画像データにおいて、中心画素の画素値であるピーク値ｂが、重なり部分におけるピーク画素の画素値であるピーク値ａの５０％以上であることが好ましい。換言すると、視差Ｌｔ画像データと視差Ｒｔ画像データを重ね合わせた合成画像データにおいて、合成点像分布１８０６に示すように、出力値が凸形状を成すことが好ましいとも言える。合成点像分布１８０６に示すように、それぞれの出力値が凸形状を成せば、左右の視差画像が表示装置に表示された場合に、３Ｄメガネを装着しない鑑賞者に二重像を含まない２Ｄ画像として視認される。また、３Ｄメガネを装着する鑑賞者に３Ｄ画像として視認される。
【００４０】
なお、点像分布１８０４と点像分布１８０５の重なり部分が多くなるほど、視差量は小さくなる。したがって、点像分布１８０４と点像分布１８０５の重なり部分は、視差量を維持する範囲において、２Ｄ−３Ｄシームレス画像を生成できるように適宜調整されることが好ましい。
【００４１】
図６は、視差画素の種類が２つである場合における開口マスクの開口形状の一例を説明する図である。具体的には、図６は、視差Ｌｔ画素の開口マスクにおける開口部１０４ｌの形状と、視差Ｒｔ画素の開口部１０４ｒの形状とが、視差なし画素の開口部１０４ｎの形状を中心線３２２で分割したそれぞれの形状と同一である例を示している。つまり、図５では、視差なし画素の開口部１０４ｎの面積は、視差Ｌｔ画素の開口部１０４ｌの面積と視差Ｒｔ画素の開口部１０４ｒの面積の和になっている。この場合、視差なし画素の開口部１０４ｎを全開口の開口部といい、開口部１０４ｌおよび開口部１０４ｒを半開口の開口部という。開口部が光電変換素子の中央に位置する場合に、当該開口部が基準方向に向いているという。視差Ｌｔ画素の開口部１０４ｌおよび視差Ｒｔ画素の開口部１０４ｒは、それぞれ対応する光電変換素子の中心（画素中心）を通る仮想的な中心線３２２に対して、互いに反対方向に偏位している。したがって、視差Ｌｔ画素の開口部１０４ｌおよび視差Ｒｔ画素の開口部１０４ｒはそれぞれ、中心線３２２に対する一方向、当該一方向とは反対の他方向に視差を生じさせる。
【００４２】
図７は、撮像素子１００の断面を表す概略図である。図７においては、開口形状は、図６で示した開口形状に対応する。撮像素子１００は、被写体側から順に、マイクロレンズ１０１、カラーフィルタ１０２、配線層１０５、および基板１０９が配列されて構成されている。
【００４３】
基板１０９には、二次元的に複数の光電変換素子１０８が配列されている。光電変換素子１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等は、配線層１０５に設けられた配線１０６を介して送受信される。
【００４４】
配線１０６は、入射光束を制限する開口マスクとしても機能する。規定される開口形状を配線１０６により形成し、当該開口形状により入射光束を制限して特定の部分光束のみを光電変換素子１０８へ導くことができる。本実施形態においては、図６に示した開口形状に対応すべく、配線１０６は、光電変換素子１０８の半分を覆うようにＸ軸方向に延伸している。開口マスクとして機能する配線１０６の作用により入射光束が制限され、視差が生じることになる。配線１０６の延伸部分の端部は、テーパー形状に形成されている。配線１０６の延伸部分の端部での回折により、延伸部分の端部に入射した光束を光電変換素子１０８に導くことができる。より詳細には、視差Ｌｔ画素の開口部１０４ｌに入射する光束は、対応する光電変換素子の左側半分に限らず、右側部分にも到達する。このことは、図５に示した点像分布１８０４と点像分布１８０５と形成する一助になる。
【００４５】
一方、視差を生じさせない光電変換素子１０８上には、配線１０６が存在しない。すなわち、配線１０６は、Ｘ軸方向に延伸していない。別言すれば、配線１０６は、対応する光電変換素子１０８に対して入射する被写体光束を制限しない、つまり入射光束の全体を通過させる開口マスクとして機能するとも言える。なお、開口形状を形成する配線１０６を配線層１０５のうち最も光電変換素子１０８側に形成してもよい。
【００４６】
カラーフィルタ１０２は、配線層１０５上に設けられている。カラーフィルタ１０２は、各光電変換素子１０８に対して特定の波長帯域を透過させるように着色された、光電変換素子１０８のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも２種類のカラーフィルタが配列されればよいが、より高画質のカラー画像を取得するには３種類以上のカラーフィルタを配列するとよい。例えば赤色波長帯を透過させる赤フィルタ（Ｒフィルタ）、緑色波長帯を透過させる緑フィルタ（Ｇフィルタ）、および青色波長帯を透過させる青フィルタ（Ｂフィルタ）を格子状に配列するとよい。カラーフィルタは原色ＲＧＢの組合せのみならず、ＹＣＭの補色フィルタの組合せであってもよい。
【００４７】
マイクロレンズ１０１は、カラーフィルタ１０２上に設けられている。マイクロレンズ１０１は、入射する被写体光束のより多くを光電変換素子１０８へ導くための集光レンズである。マイクロレンズ１０１は、光電変換素子１０８のそれぞれに一対一に対応して設けられている。マイクロレンズ１０１は、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていることが好ましい。さらには、後述の特定の被写体光束がより多く入射するように配置位置が調整されてもよい。
【００４８】
このように、各々の光電変換素子１０８に対応して一対一に設けられるカラーフィルタ１０２およびマイクロレンズ１０１の一単位を画素と呼ぶ。なお、集光効率、光電変換効率がよいイメージセンサの場合は、マイクロレンズ１０１を設けなくてもよい。また、裏面照射型イメージセンサの場合は、配線層１０５が光電変換素子１０８とは反対側に設けられる。なお、白黒画像信号を出力すればよい場合にはカラーフィルタ１０２は設けない。
【００４９】
以上のように、本実施形態においては、配線１０６を開口マスクとして機能させる。したがって、配線１０６の幅を適宜調整することにより、自由に開口幅を設定できる。よって、図５に示した点像分布１８０４と点像分布１８０５に簡単に重なり部分を持たせることができる。視差Ｌｔ画素および視差Ｒｔ画素の開口の開口幅は、半開口または半開口よりも大きく形成するとよい。このような開口を持つ視差画素は、被写体光束を受光する受光領域が画素領域の中心を含み、かつ、当該画素領域の中心に対して偏位した位置に設定されている。よって、互いに重なる部分を有することができる。
【００５０】
以上の説明では、配線１０６が開口マスクの機能を兼ねる構成であったが、開口マスクを別途形成してもよい。例えば、カラーフィルタ１０２の直下に開口マスクを形成することができる。開口マスクは、各光電変換素子１０８に対応して別個独立に配列してもよいし、カラーフィルタ１０２の製造プロセスと同様に複数の光電変換素子１０８に対して一括して形成してもよい。また、開口マスクの開口部に色成分を持たせれば、カラーフィルタ１０２と開口マスクを一体的に形成することもできる。
【００５１】
開口マスクは、光電変換素子１０８に重ねて設けられる透過阻止膜によって形成されてもよい。この場合、開口マスクは、例えば、ＳｉＮ膜とＳｉＯ２膜を順次積層して透過阻止膜とし、開口部に相当する領域をエッチングで除去して形成される。さらに、光電変換素子１０８そのものの領域を開口部に相当するように形成してもよい。
【００５２】
図８は、２Ｄ−３Ｄシームレス画像を生成するための画素の構成を説明する図である。図８（ａ）は、比較例としての視差Ｌｔ画素の構成を説明する図である。ここでは、マイクロレンズ４０１、配線４０６、および光電変換素子４０８を図示している。配線４０６は、光電変換素子４０８に接した状態で配置されている。配線４０６は、光電変換素子４０８の右半分を覆っている。また、マイクロレンズ４０１の焦点位置は光電変換素子４０８の受光面の高さに設定されている。図８（ａ）の中央の図は、マイクロレンズ４０１に垂直に平行光が入射した状態を示している。この状態においては、入射する光線の一部は光電変換素子４０８に達する。図８（ａ）の左図は、マイクロレンズ４０１に入射する平行光が時計回りの方向、すなわちマイナス側に傾いた状態を示している。この状態においては、入射する光線の全ては光電変換素子４０８に達する。図８（ａ）の右図は、マイクロレンズ４０１に入射する平行光が反時計回りの方向、すなわちプラス側に傾いた状態を示している。この状態においては、入射する光線の全ては光電変換素子４０８に達しない。
【００５３】
図８（ｂ）は、比較例としての視差Ｌｔ画素の光線入射角度と画素感度との関係を説明する図である。横軸は、画素への光線入射角度［θ］を示し、縦軸は、画素感度を示す。破線は、視差なし画素の光線入射角度と画素感度との関係を示す。比較例としての視差Ｌｔ画素においては、配線４０６が光電変換素子４０８に接した状態で配置されているので、太線で図示するように、入射光線角度がマイナスの場合には感度を有するものの、プラスの場合には感度を有しない。
【００５４】
図８（ｃ）は、本実施形態の視差Ｌｔ画素の構成を説明する図である。ここでは、マイクロレンズ１０１、配線１０６、および光電変換素子１０８を図示している。既に説明したように、配線１０６は、光電変換素子１０８から離れた位置に配置されている。配線１０６は、光電変換素子１０８の右半分を覆っている。また、マイクロレンズ１０１の焦点位置は光電変換素子１０８の受光面の高さに設定されている。図８（ｃ）の中央の図は、マイクロレンズ１０１に垂直に平行光が入射した状態を示している。この状態においては、入射する光線の一部は光電変換素子１０８に達する。比較例の視差Ｌｔ画素と比較した場合には、配線１０６がマイクロレンズ１０１の焦点位置よりもマイクロレンズ１０１寄りに配置されているが、制限する光束の範囲は同一であるので、光電変換素子４０８に達する光線の量は変わらない。
【００５５】
図８（ｃ）の左図は、マイクロレンズ１０１に入射する平行光が時計回りの方向に傾いた状態を示している。この状態においては、入射する光線の一部は光電変換素子１０８に達するものの、残部１１１は配線１０６により遮られて光電変換素子１０８に達しない。図８（ｃ）の右図は、マイクロレンズ１０１に入射する平行光が半時計回りの方向に傾いた状態を示している。この状態においては、入射する光線の全てが光電変換素子１０８に達しないのではなく、一部１１２は光電変換素子１０８に達する。
【００５６】
図８（ｄ）は、本実施形態の視差Ｌｔ画素における光線入射角度と画素感度の関係を説明する図である。横軸は、画素への光線入射角度［θ］を示し、縦軸は、画素感度を示す。破線は、視差なし画素の光線入射角度と画素感度との関係を示す。本実施形態の視差Ｌｔ画素においては、配線１０６が光電変換素子１０８から離れた位置に配置されているので、太線で図示するように、画素は、左半分だけでなく、右半分にも感度を有する。より詳細には、図８（ｃ）の左図で説明したように、この状態においては、残部１１１が光電変換素子１０８に達しない分だけ、画素感度は低下する。領域１１３は、残部１１１が光電変換素子１０８に達した場合の画素感度に相当する。一方で、図８（ｃ）の右図で説明したように、この状態においては、光線の一部１１２は光電変換素子１０８に達する。したがって、画素は、右半分にも感度を有する領域を持つ。図においては、領域１１４は、光線の一部１１２が光電変換素子１０８に達したことによる画素感度に相当する。
【００５７】
なお、以上の説明では、視差Ｌｔ画素を例に挙げたが、視差Ｒｔ画素についても同様のことが言える。以上のような視差Ｌｔ画素、視差Ｒｔ画素が配列されているので、後述するように、図５に示した点像分布１８０４と点像分布１８０５とを重なり易くすることができる。一般には、マイクロレンズ１０１の焦点位置が入射光束を制限する面から少しでもずれていれば、同様のことが言える。ここでいう入射光束を制限する面は、図７、８における配線１０６に相当する。視差Ｌｔ画像データおよび視差Ｒｔ画像データのそれぞれにおいて、中心画素の画素値であるピーク値ｂが、重なり部分におけるピーク画素の画素値であるピーク値ａの５０％以上になるように、配線１０６と光電変換素子１０８との距離、開口の幅、マイクロレンズ１０１の焦点距離等が決定される。
【００５８】
図９は、左視点の点像分布と視差Ｌｔ画素の感度の角度依存性との関係を説明する図である。より詳細には、比較例としての視差Ｌｔ画素が配列された場合において、左視点の点像分布と視差Ｌｔ画素の感度の角度依存性との関係を説明する図である。図９（ａ）は、既に説明した図４（ｂ）、（ｃ）と同じように、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれた場合を示している。ここでは、九つの画素に光線が入射する場合を示している。図９（ｂ）は、左視点の点像分布を示す。横軸は画素位置を示し、縦軸は信号強度を示す。図示するように、中心画素には、物点の焦点位置によらず、光線は常に垂直に入射するのに対し、中心画素から離れた画素には、光線は斜めに入射する。そして、中心画素から離れるに従って、画素に対する光線の傾き角度は大きくなる。光線が時計回りに傾いている場合には、配線４０６が光電変換素子４０８の右側を覆うように配置されているので、光線は光電変換素子４０８に達する。すなわち、中心画素よりも左側の画素には、光線が入射する。一方で、光線が反時計回りに傾いている場合には、光線は光電変換素子４０８に達しない。すなわち、中心画素よりも右側の画素には、光線が入射しない。以上のことから、結果として、左視点の点像分布は、画素位置において中心よりも左側の領域に信号強度を持つ分布となる。なお、実際には、図示するように、光の回折等により右側領域にも若干の信号強度を持つ。一方で、右視点の点像分布は、画素位置において右側の領域に信号強度を持つ分布となる。
【００５９】
図９（ｃ）は、左視点の点像分布と右視点の点像分布とを示す。左視点の点像分布と右視点の点像分布とは、互いに異なる方向にしかほとんど信号強度を有しないので、図示するように、左視点の点像分布と右視点の点像分布との重なり部分は非常に少なくなる。
【００６０】
図１０は、左視点の点像分布と視差Ｌｔ画素の感度の角度依存性との関係を説明する図である。より詳細には、本実施形態の視差Ｌｔ画素が配列された場合において、左視点の点像分布と視差Ｌｔ画素の感度の角度依存性との関係を説明する図である。図１０（ａ）は、既に説明した図４（ｂ）、（ｃ）と同じように、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれた場合を示している。図９（ａ）と同様に、九つの画素に光線が入射する場合を示している。図１０（ｂ）は、左視点の点像分布を示す。横軸は画素位置を示し、縦軸は信号強度を示す。特に、実線は、図１０（ａ）に対応する左視点の点像分布を示し、破線は、図９（ｂ）の左視点の点像分布を示す。光線が時計回りに傾いている場合には、光線は光電変換素子１０８に達する。すなわち、中心画素よりも左側の画素には、光線が入射する。一方で、光線が反時計回りに傾いている場合にも、光線は光電変換素子１０８に達する。すなわち、中心画素よりも右側の一部の画素にも、光線が入射する。以上のことから、結果として、左視点の点像分布は、画素位置において左側の領域に信号強度を持つだけでなく、右側の領域にも信号強度を持つ分布となる。なお、右視点の点像分布は、画素位置においては右側の領域に信号強度を持つだけでなく、左側の領域にも信号強度を持つ分布となる。
【００６１】
図１０（ｃ）は、左視点の点像分布と右視点の点像分布とを示す。左視点の点像分布が右側にも信号強度を持ち、右視点の点像分布が左側にも信号強度を持つので、図示するように、左視点の点像分布と右視点の点像分布との重なり部分は、図９（ｃ）に比べて多くなる。
【００６２】
以上のように、左視点の点像分布において、中心画素に対して右側の位置で信号強度を持つためには、視差Ｌｔ画素は、図８（ｄ）に示したように、プラス方向に感度を有する必要がある。同様に、右視点の点像分布において、中心画素に対して左側の位置で信号強度を持つためには、視差Ｒｔ画素はマイナス方向に感度を有する必要がある。一方で、中心画素位置で両者の点像分布が図１０（ｃ）や図５に示す重なりを持つためには、視差Ｌｔ画素と視差Ｒｔ画素がそれぞれ傾いた角度の場合だけでなく、垂直入射に対しても感度を有する必要がある。結果として、視差Ｌｔ画素と視差Ｒｔ画素の入射角度と画素感度の関係を図示したとき、両者が垂直入射、すなわち０度の入射角度で重なりをもつと、点像分布においても中心画素で重なりをもつことになる。
【００６３】
図１１は、二重像を含む画像を説明する図である。具体的には、非合焦領域に存在する物点の点像分布を示す図である。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は、信号強度を表す。図１１（ａ）は、物点の左視点の信号強度分布１７０２、および右視点の点像分布１８０３を示している。図示するように、信号強度分布１７０２および信号強度分布１７０３は、互いに完全に分離している。したがって、信号強度分布１７０２と信号強度分布１７０３を足し合わせた合成点像分布には、信号強度のピーク値が二つ存在することになる。そうすると、３Ｄメガネを装着しない鑑賞者には、二つのピーク値によって二重像を含む画像として視認される。図１１（ｂ）は、物点の左視点の点像分布１８０２、右視点の点像分布１８０３、およびこれらを足し合わせた合成点像分布１８０７を示している。点像分布１８０２および点像分布１８０３は、互いに重なる部分を有する。したがって、２つの点像分布が互いに分離している場合に比べて、３Ｄメガネを装着しない鑑賞者に対する画質を改善することができる。図に示す例においては、重なり部分のピーク値ａは、点像分布１８０２と点像分布１８０３のそれぞれのピーク値ｂに対して、平均の半分未満である。視差Ｌｔ画素および視差Ｒｔ画素において、垂直に入射する光線に対する感度がＮ画素において垂直に入射する光線に対する感度よりも低ければ、このようになり得る。この場合には、合成点像分布１８０７の中央部分に信号強度が落ち込んだ領域が存在する。換言すると、信号強度のピーク値が二つ存在する。そうすると、３Ｄメガネを装着しない鑑賞者には、二つのピーク値によって二重像を含む画像として視認される。この場合であっても、後述する視差変調処理を施すことにより、２Ｄ−３Ｄシームレス画像を実現することができる。
【００６４】
次に、撮像素子１００から出力される撮影画像データから２Ｄ画像データと視差画像データを生成する処理の概念を説明する。図１２は、基準画像データとしての２Ｄ画像データと視差画像データの生成処理の例を説明する図である。図１２においては、図２に示す基本格子を例に挙げて説明する。
【００６５】
基本格子における視差画素および視差なし画素の配列からもわかるように、撮像素子１００の出力をその画素配列に一致させてそのまま羅列しても、特定の像を表す画像データにはならない。撮像素子１００の画素出力を、同一に特徴付けられた画素グループごとに分離して寄せ集めてはじめて、その特徴に即した一つの像を表す画像データが形成される。例えば、左右の視差画素をそれぞれ寄せ集めると、互いに視差を有する左右の視差画像データが得られる。このように、同一に特徴付けられた画素グループごとに分離して寄せ集められたそれぞれの画像データを、プレーンデータと呼ぶ。
【００６６】
画像処理部２０５は、撮像素子１００の画素配列順にその出力値（画素値）が羅列されたＲＡＷ元画像データを受け取り、複数のプレーンデータに分離するプレーン分離処理を実行する。図の左列は、２Ｄ画像データとしての２Ｄ−ＲＧＢプレーンデータの生成処理の例を示す。
【００６７】
２Ｄ−ＲＧＢプレーンデータを生成するにあたり、画像処理部２０５は、まず視差画素の画素値を除去して、空格子とする。そして、空格子となった画素値を、周辺画素の画素値を用いて補間処理により算出する。例えば、空格子Ｐ１１の画素値は、斜め方向に隣接するＧフィルタ画素の画素値である、Ｐ−１−１、Ｐ２−１、Ｐ−１２、Ｐ２２の画素値を平均化演算して算出する。また、例えば空格子Ｐ６３の画素値は、上下左右に１画素飛ばして隣接するＲフィルタの画素値である、Ｐ４３、Ｐ６１、Ｐ８３、Ｐ６５の画素値を平均化演算して算出する。同様に、例えば空格子Ｐ７６の画素値は、上下左右に１画素飛ばして隣接するＢフィルタの画素値である、Ｐ５６、Ｐ７４、Ｐ９６、Ｐ７８の画素値を平均化演算して算出する。
【００６８】
このように補間された２Ｄ−ＲＧＢプレーンデータは、ベイヤー配列を有する通常の撮像素子の出力と同様であるので、その後は２Ｄ画像データとして各種処理を行うことができる。すなわち、公知のベイヤー補間を行って、各画素にＲＧＢデータの揃ったカラー画像データを生成する。画像処理部２０５は、静止画データを生成する場合にはＪＰＥＧ等の、動画データを生成する場合にはＭＰＥＧ等の、予め定められたフォーマットに従って一般的な２Ｄ画像としての画像処理を行う。
【００６９】
もう一度述べると、画像処理部２０５は、２Ｄ−ＲＧＢプレーンデータをさらに色ごとに分離し、上述のような補間処理を施して、基準画像データとしての各プレーンデータを生成する。すなわち、緑色の基準画像プレーンデータとしてのＧｎ０プレーンデータ、赤色の基準画像プレーンデータとしてのＲｎ０プレーンデータ、および青色の基準画像プレーンデータとしてのＢｎ０プレーンデータの３つを生成する。これらのプレーンデータは、視差画素に対して密度の高い視差なし画素をベースとして生成されるので、次に述べる視差画像データのプレーンデータよりは高解像である。
【００７０】
図の右列は、視差画素データを構成するプレーンデータとしての２つのＧプレーンデータ、２つのＲプレーンデータおよび２つのＢプレーンデータの生成処理の例を示す。２つのＧプレーンデータは、左視差画像データとしてのＧＬｔプレーンデータと右視差画像データとしてのＧＲｔプレーンデータであり、２つのＲプレーンデータは、左視差画像データとしてのＲＬｔプレーンデータと右視差画像データとしてのＲＲｔプレーンデータであり、２つのＢプレーンデータは、左視差画像データとしてのＢＬｔプレーンデータと右視差画像データとしてのＢＲｔプレーンデータである。
【００７１】
ＧＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＧ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子には、Ｐ１１とＰ５５の２つの画素値が残る。そこで、基本格子を縦横に４等分し、左上の１６画素分をＰ１１の出力値で代表させ、右下の１６画素分をＰ５５の出力値で代表させる。そして、右上の１６画素分および左下の１６画素分は、上下左右に隣接する周辺の代表値を平均化演算して補間する。すなわち、ＧＬｔプレーンデータは、１６画素単位で一つの値を有する。より好ましくは距離に応じた線形補間を導入する。
【００７２】
同様に、ＧＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＧ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子には、Ｐ５１とＰ１５の２つの画素値が残る。そこで、基本格子を縦横に４等分し、右上の１６画素分をＰ５１の出力値で代表させ、左下の１６画素分をＰ１５の出力値で代表させる。そして、左上の１６画素分および右下の１６画素分は、上下左右に隣接する周辺の代表値を平均化演算して補間する。すなわち、ＧＲｔプレーンデータは、１６画素単位で一つの値を有する。より好ましくは距離に応じた線形補間を導入する。このようにして、Ｇｎ０プレーンデータよりは解像度の低いＧＬｔプレーンデータとＧＲｔプレーンデータを生成することができる。
【００７３】
ＲＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＲ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子には、Ｐ２７の画素値が残る。この画素値を基本格子の６４画素分の代表値とする。より好ましくは距離に応じた線形補間を導入する。同様に、ＲＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＲ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子には、Ｐ６３の画素値が残る。この画素値を基本格子の６４画素分の代表値とする。より好ましくは距離に応じた線形補間を導入する。このようにして、Ｒｎ０プレーンデータよりは解像度の低いＲＬｔプレーンデータとＲＲｔプレーンデータが生成される。この場合、ＲＬｔプレーンデータとＲＲｔプレーンデータの解像度は、ＧＬｔプレーンデータとＧＲｔプレーンデータの解像度よりも低い。
【００７４】
ＢＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＢ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子には、Ｐ３２の画素値が残る。この画素値を基本格子の６４画素分の代表値とする。より好ましくは距離に応じた線形補間を導入する。同様に、ＢＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＢ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子には、Ｐ７６の画素値が残る。この画素値を基本格子の６４画素分の代表値とする。より好ましくは距離に応じた線形補間を導入する。このようにして、Ｂｎ０プレーンデータよりは解像度の低いＢＬｔプレーンデータとＢＲｔプレーンデータが生成される。この場合、ＢＬｔプレーンデータとＢＲｔプレーンデータの解像度は、ＧＬｔプレーンデータとＧＲｔプレーンデータの解像度よりも低く、ＲＬｔプレーンデータとＲＲｔプレーンデータの解像度と同等である。
【００７５】
本実施形態においては、画像処理部２０５は、これらのプレーンデータを用いて、高解像な左側視点のカラー画像データおよび右側視点のカラー画像データを生成する。
【００７６】
赤色視差プレーン（ＲＬｔ０プレーンデータとＲＲｔ０プレーンデータ）は、Ｒｎ０プレーンデータの画素値と、ＲＬｔプレーンデータおよびＲＲｔプレーンデータの画素値とを用いて生成する。具体的には、例えばＲＬｔ０プレーンデータの対象画素位置（ｉｍ，ｊｎ）の画素値ＲＬｔ０ｍｎを算出する場合、まず、画像処理部２０５は、Ｒｎ０プレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値Ｒｎ０ｍｎを抽出する。次に、画像処理部２０５は、ＲＬｔプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値ＲＬｔｍｎを、ＲＲｔプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値ＲＲｔｍｎを抽出する。そして、画像処理部２０５は、画素値Ｒｎ０ｍｎを、画素値ＲＬｔｍｎとＲＲｔｍｎの比で分配して画素値ＲＬｔ０ｍｎを算出する。具体的には、以下の式（１）により算出する。
【００７７】
ＲＬｔ０ｍｎ＝２Ｒｎ０ｍｎ×ＲＬｔｍｎ／（ＲＬｔｍｎ＋ＲＲｔｍｎ）            …（１）
同様に、ＲＲｔ０プレーンデータの対象画素位置（ｉｍ，ｊｎ）の画素値ＲＲｔ０ｍｎを算出する場合も、画像処理部２０５は、画素値Ｒｎ０ｍｎを画素値ＲＬｔｍｎと画素値ＲＲｔｍｎの比で分配して算出する。具体的には、以下の式（２）により算出する。
【００７８】
ＲＲｔ０ｍｎ＝２Ｒｎ０ｍｎ×ＲＲｔｍｎ／（ＲＬｔｍｎ＋ＲＲｔｍｎ）            …（２）
画像処理部２０５は、このような処理を、左端かつ上端の画素である（１、１）から右端かつ下端の座標である（ｉ０，ｊ０）まで順次実行する。
【００７９】
そして、高解像な赤色視差プレーンであるＲＬｔ０プレーンデータとＲＲｔ０プレーンデータの生成処理が完了したら、次に高解像な緑色視差プレーンであるＧＬｔ０プレーンデータとＧＲｔ０プレーンデータの生成処理を実行する。具体的には、上述の説明においてＲｎ０プレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値Ｒｎ０ｍｎを抽出する代わりに、Ｇｎ０プレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値Ｇｎ０ｍｎを抽出し、さらにＲＬｔｍｎの代わりにＧＬｔｍｎを、ＲＲｔｍｎの代わりにＧＲｔｍｎを抽出して、同様に処理する。さらに、高解像な緑色視差プレーンであるＧＬ０ｔプレーンデータとＧＲｔ０プレーンデータの生成処理が完了したら、次に高解像な青色視差プレーンであるＢＬｔ０プレーンデータとＢＲｔ０プレーンデータの生成処理を実行する。具体的には、上述の説明においてＲｎ０プレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値Ｒｎ０ｍｎを抽出する代わりに、Ｂｎ０プレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値Ｂｎ０ｍｎを抽出し、さらにＲＬｔｍｎの代わりにＢＬｔｍｎを、ＲＲｔｍｎの代わりにＢＲｔｍｎを抽出して、同様に処理する。
【００８０】
以上の処理により、左側視点の高解像なカラー画像データ（ＲＬｔ０プレーンデータ、ＧＬｔ０プレーンデータ、ＢＬｔ０プレーンデータ）および右側視点の高解像なカラー画像データ（ＲＲｔ０プレーンデータ、ＧＲｔ０プレーンデータ、ＢＲｔ０プレーンデータ）が生成される。すなわち、実際には撮像素子１００の画素として存在しない、ＲＧＢいずれかのカラーフィルタを併せ持つ視差Ｌｔ画素および視差Ｒｔ画素の仮想的な出力として、左側視点および右側視点のカラー画像データを、比較的簡易な処理により取得することができる。したがって、これらの画像データを３Ｄ画像対応の再生装置で再生すれば、ユーザは、カラー画像としての高解像な３Ｄ映像を鑑賞できる。特に、処理が簡易なので高速に画像データを生成することができ、動画に対しても対応できる。
【００８１】
以上のように、解像度の低い視差画像データと解像度の高い２Ｄ画像データとから、解像度の高い視差画像データを生成する処理は、解像度の低い視差画像が持つ視差成分を２Ｄ画像に重畳することにより変位処理を実現するので、視差変調処理ということができる。視差変調処理によって、視差変調処理前において２Ｄ−３Ｄシームレス画像でない画像であっても、２Ｄ−３Ｄシームレス画像にすることができる。
【００８２】
図１３は、視差変調処理と２Ｄ−３Ｄシームレス画像の生成との関係を説明する図である。図１３（ａ）は、物点の左視点の点像分布１８０２、右視点の点像分布１８０３、これらを足し合わせた合成点像分布１８０７、および中央視点の点像分布１８０１を示している。
【００８３】
ここでは、説明を簡単にする目的で、カラー情報を省いて説明する。この場合には、視差変調処理は以下の数式で表すことができる。
2015001788.tif 000003
図１３（ａ）に示すように、（Ｌｔ（ｘ,ｙ）＋Ｒｔ（ｘ,ｙ））／２の分布が、画素の中心部の重なりが少ない、例えば重なり部分のピーク値ａが、点像分布１８０２と点像分布１８０３のそれぞれのピーク値ｂに対して３０％である場合を想定する。この場合には、３Ｄメガネを装着しない鑑賞者には、二重像を含む画像として視認される。本実施形態においては、疎な視差画素配列を採用しているので、Ｎ（ｘ,ｙ）は、Ｎ画素で撮像されている。Ｎ（ｘ,ｙ）は全開口であるので、点像分布１８０１に示すように、画素の中心にピークを持つ一重像の特性を持つ。つまり、中心部分は凹まない。
【００８４】
図１３（ｂ）は、視差変調後における、物点の左視点の点像分布１８０８、右視点の点像分布１８０９、およびこれらを足し合わせた合成点像分布１８１０を示している。視差変調後の左右画像の平均（Ｌｔ'（ｘ,ｙ）＋Ｒｔ'（ｘ,ｙ））／２の分布は、上述の式から、Ｎ（ｘ,ｙ）の分布と同一となる。すなわち、以下の数式となる。
【００８５】
2015001788.tif 000004
これは、視差変調後の左右の平均画像の分布が、Ｎ画素で撮像した画像分布になっていることを意味する。視差変調項の分母において中心部分が凹んでいるので、中心付近ではゲイン増幅作用が働く。その結果、もともとのＬｔ（ｘ,ｙ）の分布の中心部分が持ち上げられることになる。同様に、Ｒｔ（ｘ,ｙ）の中心部分も持ち上げられることになる。中心部分においては、これらの和がＮ（ｘ,ｙ）に等しくなるレベルまで持ち上げられる。したがって、撮像時に中心部分の重なりが例えばＮ（ｘ,ｙ）のピーク値の３０％であったとしても、視差変調後においては、Ｌｔ'、Ｒｔ'の重なり部分のピーク値は５０％レベルになる。
【００８６】
以上のように、視差変調処理を施すことにより、画素の中心部の重なりが少ない場合であっても、２Ｄ−３Ｄシームレス画像を実現することができる。したがって、光電変換素子が２ＰＤの場合にも有効である。なお、２ＰＤとは１つのマイクロレンズの下に左視差画素と右視差画素が共存して構成される撮像素子の構造のことを指す。
【００８７】
なお、視差変調式として以下に示す数式を用いる場合であっても同様のことが言える。
2015001788.tif 000005
視差変調後の平均は、以下の数式で表される。
2015001788.tif 000006
この場合には、中心部分の重なり部分は、視差変調項内においては、常に重なりを相互に取り除いてゼロにした上で、Ｎ画像の分布に加算することになる。式に示されるように、変調後の平均値は相互にキャンセルされ、Ｎ画像のみが残るので、オーバーラップの状態は影響しない。
【００８８】
以上の説明では、対応テーブルは、交換レンズの識別情報と２Ｄ−３Ｄシームレス画像の対応の可否とが関連付けられたテーブルであったが、２Ｄ−３Ｄシームレス画像の撮影を実現するための光学条件が記載されたテーブルであってもよい。例えば、光束が斜入射するように、光学条件を設定するとよい。この場合には、レンズメモリ３０２は、撮影レンズ２０の瞳位置、焦点距離、開放絞り値、レンズ瞳径等を記憶している。そして、判断部２０６は、瞳位置、開放絞り値等を取得して、光学条件が記載されたテーブルに照らし合わせて、装着された交換レンズ３００の光学条件が対応テーブルの光学条件を満たすか否かを判断する。光学条件が記載された対応テーブルを利用する場合には、当該対応テーブルを更新するためのファームアップをしなくてもよい。
【００８９】
また、判断部２０６は、対応テーブルを用いずに、光学系が特定の光学条件を満たす場合、例えば純正の交換レンズの光学条件とは異なる場合に、視差Ｌｔ画像データと視差Ｒｔ画像データの対応するそれぞれの画素値を相加平均した演算値Ｅａと、相乗平均した演算値Ｅｍを算出し、演算値Ｅａと演算値Ｅｍが、Ｅａ／Ｅｍ＜３を満たすか否かを判断してもよい。これにより、特殊な交換レンズが装着された場合に、対応テーブルを予め記憶していない場合であっても、２Ｄ−３Ｄシームレス画像の撮影に対応しているか否かを判断することができる。ただし、階調はＡ／Ｄ変換によって出力された線形階調であるものとする。非線形変換であるガンマ変換がなされている場合には、逆ガンマ変換（逆階調変換）を施すことにより元の色空間へ戻した上で上記の演算を行う。また、演算値Ｅａと演算値Ｅｍが、Ｅａ／Ｅｍ＜２を満たすことがより好ましい。さらに、演算値Ｅａと演算値Ｅｍが、Ｅａ／Ｅｍ＞１を満たす。なお、上記の演算値Ｅａ、演算値Ｅｍを用いれば、２Ｄ−３Ｄシームレス画像か否かを画素値から検証することができる。演算値Ｅａと演算値Ｅｍが、Ｅａ／Ｅｍ＜３を満たせば、２Ｄ−３Ｄシームレス画像であり、Ｅａ／Ｅｍが発散すれば、二重像を含む画像である。なぜならば、相加平均は左右２つの像のボケ全体の広がり幅を表す信号値が算出されるのに対し、相乗平均は左右２つの像のボケの重なり幅を表す信号値が算出されるからであり、相加平均と相乗平均との比はボケの重なり具合を表す指標を与えるからである。
【００９０】
なお、これまでの説明では光学系の特殊レンズで例外的に２Ｄ−３Ｄシームレス条件が満たされないことがあることを前提とした説明をしたが、通常光学系レンズが２Ｄ−３Ｄシームレス条件を満たさないことは稀であり、それよりも二重像の生じやすさはむしろ撮像素子側の視差画素の設計構造に依存して決まることが多い。したがってＥａ／Ｅｍの値は、撮像素子に対する２Ｄ−３Ｄシームレス条件の判断としても利用できる。上記の特殊レンズの例としては、部分光束を視差画素ではなくレンズ内に特殊形状の絞りによって得る単眼立体撮像方式において、その絞り形状が２Ｄ−３Ｄシームレスに適さない場合が考えられる。
【００９１】
以上の説明では、デジタルカメラ１０は、レンズ交換式カメラであったが、レンズがカメラ本体２００と一体的に構成される一体式カメラであってもよい。この場合には、カメラ本体制御部２０１は、判断部を備えていなくてもよい。
【００９２】
なお、純正の交換レンズであれば、２Ｄ−３Ｄシームレス画像の撮影に対応していると考えられるが、純正でない交換レンズであれば、対応していない場合も考えられる。そこで、本実施形態においては、上述したように、交換レンズが２Ｄ−３Ｄシームレス画像の撮影に対応しているか否かを判断部２０６によって判断している。２Ｄ−３Ｄシームレス画像の撮影に対応していない場合には、その旨をユーザに報知してもよい。
【００９３】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
【符号の説明】
【００９４】
１０  デジタルカメラ、２０  撮影レンズ、２１  光軸、２２  絞り、１００  撮像素子、１０１  マイクロレンズ、１０２  カラーフィルタ、１０４  開口部、１０５  配線層、１０６  配線、１０８  光電変換素子、１０９  基板、１１１  残部、１１２  一部、１１３  領域、１１４  領域、２００  カメラ本体、２０１  カメラ本体制御部、２０２  Ａ／Ｄ変換回路、２０３  メモリ、２０４  駆動部、２０５  画像処理部、２０６  判断部、２０７  メモリカードＩＦ、２０８  操作部、２０９  表示部、２１０  表示制御部、２１３  カメラマウント、２１４  カメラメモリ、２２０  メモリカード、３００  交換レンズ、３０１  交換レンズ制御部、３０２  レンズメモリ、３０３  レンズマウント、３０４  レンズ駆動部、３２２  中心線、４０１  マイクロレンズ、４０６  配線、４０８  光電変換素子、１７０２  信号強度分布、１７０３  信号強度分布、１８０１  点像分布、１８０２  点像分布、１８０３  点像分布、１８０４  点像分布、１８０５  点像分布、１８０６  合成点像分布、１８０７  合成点像分布、１８０８  点像分布、１８０９  点像分布、１８１０  合成点像分布
【図１】
2015001788.tif 000007
【図２】
2015001788.tif 000008
【図３】
2015001788.tif 000009
【図５】
2015001788.tif 000010
【図６】
2015001788.tif 000011
【図７】
2015001788.tif 000012
【図８】
2015001788.tif 000013
【図９】
2015001788.tif 000014
【図１０】
2015001788.tif 000015
【図１１】
2015001788.tif 000016
【図１２】
2015001788.tif 000017
【図１３】
2015001788.tif 000018
【図４】
2015001788.tif 000019
【国際調査報告】
2015001788.tif 000020
2015001788.tif 000021
2015001788.tif 000022
2015001788.tif 000023