(57)【要約】【課題】視差なし画素と視差画素を有する撮像素子は、視差なし画素と視差画素の配列が常に固定されていた。【解決手段】シーンの状況を判定する判定部と、少なくとも単位画素領域の中心に対して第１方向に偏位した第１光電変換部と、第１方向とは反対の第２方向に偏位した第２光電変換部とを単位画素領域内に含む分割画素が２次元的に複数配列されている撮像素子と、判定部の判定結果に基づいて、それぞれの分割画素を、第１光電変換部の電荷を単独で出力させる第１偏位画素として機能させるか、第２光電変換部の電荷を単独で出力させる第２偏位画素として機能させるか、第１光電変換部の電荷と第２光電変換部の電荷とを加算して出力させる非偏位画素として機能させるかを決定する決定部とを備える撮像装置。【選択図】図８
2015012485.tif 000002
【特許請求の範囲】
【請求項１】
シーンの状況を判定する判定部と、
少なくとも単位画素領域の中心に対して第１方向に偏位した第１光電変換部と、前記第１方向とは反対の第２方向に偏位した第２光電変換部とを前記単位画素領域内に含む分割画素が２次元的に複数配列されている撮像素子と、
前記判定部の判定結果に基づいて、それぞれの前記分割画素を、前記第１光電変換部の電荷を単独で出力させる第１偏位画素として機能させるか、前記第２光電変換部の電荷を単独で出力させる第２偏位画素として機能させるか、前記第１光電変換部の電荷と前記第２光電変換部の電荷とを加算して出力させる非偏位画素として機能させるかを決定する決定部と
を備える撮像装置。
【請求項２】
複数の前記状況にそれぞれ対応する前記第１偏位画素、前記第２偏位画素および前記非偏位画素の分布を定めた分布テーブルを記憶する記憶部を備え、
前記決定部は、前記分布テーブルを参照して前記分割画素を前記第１偏位画素として機能させるか、前記第２偏位画素として機能させるか、前記非偏位画素として機能させるかを決定する請求項１に記載の撮像装置。
【請求項３】
前記決定部は、前記第１偏位画素と前記第２偏位画素のそれぞれの数よりも前記非偏位画素の数が多くなるように決定する請求項１または２に記載の撮像装置。
【請求項４】
前記第１偏位画素の出力と前記第２偏位画素の出力とを用いて、前記非偏位画素の出力から前記第１方向へ視差を与える第１視差画像データと前記第２方向へ視差を与える第２視差画像データとを生成する画像生成部とを備える請求項３に記載の撮像装置。
【請求項５】
ひとつの前記分割画素に含まれる前記第１光電変換部と前記第２光電変換部は、フローティングディフュージョンを共有する請求項１から４のいずれか１項に記載の撮像装置。
【請求項６】
前記撮像素子は、前記分割画素と、前記画素領域の中心に対して偏位していないひとつの光電変換部を前記単位画素領域内に含む非分割画素とが２次元的に複数配列されている
請求項１から５のいずれか１項に記載の撮像装置。
【請求項７】
前記第１光電変換部の大きさと前記第２光電変換部の大きさとが異なる請求項１から６のいずれか１項に記載の撮像装置。
【請求項８】
前記分割画素は、前記単位画素領域の中心に対して偏位していない第３光電変換部をさらに含み、
前記決定部は、前記判定部の判定結果に基づいて、それぞれの前記分割画素を、前記第１偏位画素として機能させるか、前記第２偏位画素として機能させるか、前記第１光電変換部の電荷と前記第３光電変換部の電荷とを加算して出力させる第３偏位画素として機能させるか、前記第２光電変換部の電荷と前記第３光電変換部の電荷とを加算して出力させる第４偏位画素として機能させるか、前記第１光電変換部の電荷と前記第２光電変換部の電荷と前記第３光電変換部の電荷とを加算して出力させる非偏位画素として機能させるかの少なくともいずれかを決定する請求項１から７のいずれか１項に記載の撮像装置。
【請求項９】
前記決定部は、前記判定部が判定した前記シーンの明るさに基づいて、前記分割画素を前記第１偏位画素として機能させるか、前記第２偏位画素として機能させるか、前記非偏位画素として機能させるかを決定する請求項１から８のいずれか１項に記載の撮像装置。
【請求項１０】
前記決定部は、前記判定部が判定した前記シーンの高周波成分の多寡に基づいて、前記分割画素を前記第１偏位画素として機能させるか、前記第２偏位画素として機能させるか、前記非偏位画素として機能させるかを決定する請求項１から９のいずれか１項に記載の撮像装置。
【請求項１１】
少なくとも単位画素領域の中心に対して第１方向に偏位した第１光電変換部と、前記第１方向とは反対の第２方向に偏位した第２光電変換部とを前記単位画素領域内に含む分割画素が２次元的に複数配列されている撮像素子の制御プログラムであって、
シーンの状況を判定する判定ステップと、
前記判定ステップの判定結果に基づいて、前記第１光電変換部の電荷を単独で出力させるか、前記第２光電変換部の電荷を単独で出力させるか、前記第１光電変換部の電荷と前記第２光電変換部の電荷とを加算して出力させるかのいずれかにより、それぞれの前記分割画素を制御する制御ステップと
をコンピュータに実行させる制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および制御プログラムに関する。
【背景技術】
【０００２】
行列状に複数の画素が配列された撮像素子において、単位画素内に複数の光電変換部を有する撮像装置が知られている。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１２−１２９７２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
視差なし画素と視差画素を有する撮像素子は、視差なし画素と視差画素の配列が常に固定されていた。
【課題を解決するための手段】
【０００４】
本発明の第１の態様における撮像装置は、シーンの状況を判定する判定部と、少なくとも単位画素領域の中心に対して第１方向に偏位した第１光電変換部と、前記第１方向とは反対の第２方向に偏位した第２光電変換部とを前記単位画素領域内に含む分割画素が２次元的に複数配列されている撮像素子と、前記判定部の判定結果に基づいて、それぞれの前記分割画素を、前記第１光電変換部の電荷を単独で出力させる第１偏位画素として機能させるか、前記第２光電変換部の電荷を単独で出力させる第２偏位画素として機能させるか、前記第１光電変換部の電荷と前記第２光電変換部の電荷とを加算して出力させる非偏位画素として機能させるかを決定する決定部とを備える。
【０００５】
本発明の第２の態様における制御プログラムは、少なくとも単位画素領域の中心に対して第１方向に偏位した第１光電変換部と、前記第１方向とは反対の第２方向に偏位した第２光電変換部とを前記単位画素領域内に含む分割画素が２次元的に複数配列されている撮像素子の制御プログラムであって、シーンの状況を判定する判定ステップと、前記判定ステップの判定結果に基づいて、前記第１光電変換部の電荷を単独で出力させるか、前記第２光電変換部の電荷を単独で出力させるか、前記第１光電変換部の電荷と前記第２光電変換部の電荷とを加算して出力させるかのいずれかにより、それぞれの前記分割画素を制御する制御ステップとをコンピュータに実行させる。
【０００６】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施形態に係るデジタルカメラの構成を説明する図である。
【図２】撮像素子の一部を拡大した様子を概念的に表す概念図である。
【図３】分割画素の回路構成を示す図である。
【図４】分割画素の信号読み出しを示すタイミングチャートである。
【図５】画素配列パターンのバリエーションを概念的に示す概念図である。
【図６】基準画像データとしての２Ｄ画像データと視差画像データの生成処理の例を説明する図である。
【図７】被写体の明暗状態と画素分布との関係を示す図である。
【図８】被写体の明暗に係る撮影動作を示すフローチャートである。
【図９】シーンの例と領域分割を説明する図である。
【図１０】高周波成分と画素分布の関係を示した図である。
【図１１】高周波成分に係る撮影動作を示すフローチャートである。
【図１２】回路構成のバリエーションを説明する図である。
【図１３】光電変換部のバリエーションを示す図である。
【図１４】非分割画素を配置する画素分布を示す図である。
【発明を実施するための形態】
【０００８】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００９】
撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。ここで、シーンとは撮影対象となる空間において、デジタルカメラ１０が撮影する撮影領域を指す。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。本実施形態においては、特に、右目と左目に対応する２つの視点による右視差画像と左視差画像を生成する場合について説明する。本実施形態におけるデジタルカメラは、中央視点による視差のない視差なし画像も、視差画像と共に生成できる。
【００１０】
図１は、本発明の実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備える。撮影レンズ２０は、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、撮影レンズ２０および撮像素子１００に加えて、制御部２０１、Ａ／Ｄ変換回路２０２、揮発性メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９、ＬＣＤ駆動回路２１０、ＡＥセンサ２１１、演算部２１２、周波数評価部２１３、および不揮発性メモリ２３３を備える。
【００１１】
なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向をＺ軸プラス方向と定め、Ｚ軸と直交する平面において紙面奥へ向かう方向をＸ軸プラス方向、紙面上方向をＹ軸プラス方向と定める。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
【００１２】
撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、複数の画素が二次元的に配列された、例えばＣＭＯＳセンサ等のイメージセンサである。詳しくは後述するが、複数の画素のそれぞれは、左右に分割された光電変換部を備える分割画素であり、視差画素または視差なし画素として機能する。制御部２０１は決定部として機能し、いずれを視差画素とし、いずれを視差なし画素とするかについて決定する。決定部は、いずれを視差画素とし、いずれを視差なし画素とするかについての画素分布を決定し、動的に画素分布を変化させることができる。撮像素子１００は、種々の画素分布パターンで被写体像を撮像できる。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画素信号に変換してＡ／Ｄ変換回路２０２へ出力する。
【００１３】
Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画素信号をデジタル画像信号に変換して揮発性メモリ２０３へ出力する。画像処理部２０５は、揮発性メモリ２０３をワークスペースとして種々の画像処理を施し、撮影画像データを生成する画像生成部として機能する。撮影画像データは、後述するように、撮像素子１００の視差なし画素の出力から生成される基準画像データと、撮像素子１００の視差画素の出力から生成される視差画像データを包含する。
【００１４】
画像処理部２０５は、他にも、選択された画像フォーマットに従って画像データを調整するなどの画像処理一般の機能も担う。生成された撮影画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。
【００１５】
不揮発性メモリ２３３は、デジタルカメラ１０の動作時に必要な定数、変数、プログラム等を、デジタルカメラ１０の非動作時にも失われないように記録している。詳しくは後述するが、不揮発性メモリ２３３は、静止画撮影に用いられる複数の画素分布を記憶する記憶部として機能する。
【００１６】
デジタルカメラ１０は、上記の画像処理における各々の要素も含めて、制御部２０１により直接的または間接的に制御される。制御部２０１は、定数、変数、プログラム等を適宜揮発性メモリ２０３に展開して、デジタルカメラ１０の制御に利用する。例えば、ユーザによる操作部２０８の操作を検出して、画素分布を設定する。
【００１７】
操作部２０８は、デジタルカメラ１０に関する各種設定に用いられる。例えば、ユーザによる撮影モードの設定に用いられる。撮影モードには、静止画撮影モードと動画撮影モードが含まれる。操作部２０８は、画素分布の設定にも用いられる。ユーザは、操作部２０８を操作することにより、撮影時の画素分布を自由に選択できる。
【００１８】
また、操作部２０８はレリーズスイッチを含む。レリーズスイッチは、押下げ方向に２段階に検知できる押しボタンで構成されている。静止画撮影モードにおいては、制御部２０１は、１段階目の押下げであるＳＷ１の検知により撮影準備動作であるＡＥ等を実行し、２段階目の押下げであるＳＷ２の検知により撮像素子１００による被写体像の取得動作を実行する。詳しくは後述するが、取得された被写体像は、設定されている画素分布に従って読み出される。動画撮影モードにおいては、制御部２０１は、レリーズスイッチの押下を検出すると、撮像素子１００による被写体像の取得動作を実行する。取得された被写体像は、設定されている画素分布に従って順次読み出される。
【００１９】
図２は、撮像素子１００の一部を拡大した様子を概念的に表す概念図である。画素領域には通常１０万以上もの画素が配列されている。本実施形態においては、隣接する２画素×２画素の４画素のうち左上画素と右下画素に緑フィルタ（Ｇフィルタ）、左下画素に赤フィルタ（Ｒフィルタ）、右上画素に青フィルタ（Ｂフィルタ）が配されたベイヤー配列１１０を採用している。各画素は、単位画素領域１１１に対して、左右対称に左側の光電変換部１１２と右側の光電変換部１１３とが配置されている。詳しくは後述するが、左側の光電変換部１１２および右側の光電変換部１１３に蓄積された電荷をどのように読み出すかによって、各画素を視差画素および視差なし画素のいずれとしても機能させることができる。
【００２０】
視差画素は、撮影レンズ２０を透過する入射光束のうち、光軸から偏位した部分光束を受光し、画素信号に変換して出力する偏位画素である。本実施形態においては、視差画素は、第１偏位画素および第２偏位画素として機能する視差Ｌｔ画素と視差Ｒｔ画素の２種類が存在する。視差Ｌｔ画素は、画素中心に対して左側に到達した部分光束を受光し、画素信号に変換して出力する画素である。視差Ｒｔ画素は、画素中心に対して右側に到達した部分光束を受光し、画素信号に変換して出力する画素である。一方、視差なし画素は、偏心のない画素である。本実施形態においては、左側の光電変換部１１２および右側の光電変換部１１３の重心は、画素中心に一致する。したがって、画素中心に対して左側に到達した部分光束を受光する視差Ｌｔ画素の信号と、右側に到達した部分光束を受光する視差Ｒｔ画素の信号の加算信号を画素信号として出力することにより、視差なし画素として扱うことができる。
【００２１】
図３は、一画素の回路構成を示す図である。本実施形態における画素においてフォトダイオード３０１は、第１光電変換部および第２光電変換部として機能する左側の光電変換部である左側フォトダイオード３０１Ｌおよび右側の光電変換部である右側フォトダイオード３０１Ｒの二つのフォトダイオードを含む。画素は、転送トランジスタ３０２、リセットトランジスタ３０３、増幅トランジスタ３０４、および選択トランジスタ３０５を含む。すなわち、画素は、いわゆる４トランジスタ型画素構造をなす。左側フォトダイオード３０１Ｌは、転送トランジスタ３０２Ｌによって電荷蓄積が制御される。右側フォトダイオード３０１Ｒは、転送トランジスタ３０２Ｒによって電荷蓄積が制御される。すなわち、転送トランジスタ３０２は、各フォトダイオードに対応して個別に設けられる。したがって、左側フォトダイオード３０１Ｌおよび右側フォトダイオード３０１Ｒに蓄積された電荷を個別に転送することができる。一方、リセットトランジスタ３０３、増幅トランジスタ３０４、選択トランジスタ３０５は、二つのフォトダイオードに対して一つ設けられる。以下、回路構成について詳細に説明する。
【００２２】
左側フォトダイオード３０１Ｌは、転送トランジスタ３０２Ｌに接続される。転送トランジスタ３０２ＬのゲートＴＧ１は、転送パルスが供給される転送パルス配線に接続される。転送トランジスタ３０２Ｌのドレインは、リセットトランジスタ３０３のソースに接続される。
【００２３】
右側フォトダイオード３０１Ｒは、転送トランジスタ３０２Ｒに接続される。転送トランジスタ３０２ＲのゲートＴＧ２は、転送パルスが供給される転送パルス配線に接続される。転送トランジスタ３０２Ｒのドレインは、リセットトランジスタ３０３のソースに接続される。
【００２４】
転送トランジスタ３０２Ｌ、３０２Ｒのドレインとリセットトランジスタ３０３のソース間にはフローティングディフュージョン３１１が形成される。フローティングディフュージョン３１１は、増幅トランジスタ３０４のゲートに接続される。なお、図では便宜的に、リセットトランジスタ３０３とフローティングディフュージョン３１１は別体として記載したが、リセットトランジスタ３０３のソースの拡散層がフローティングディフュージョン３１１の機能を兼ねる。
【００２５】
リセットトランジスタ３０３のドレインは、電源電圧が供給されるＶＤＤ配線に接続され、そのゲートＲＧはリセットパルスが供給されるリセット配線に接続される。増幅トランジスタ３０４のドレインは電源電圧が供給されるＶＤＤ配線に接続される。また、増幅トランジスタ３０４のソースは、選択トランジスタ３０５のドレインに接続される。選択トランジスタのゲートには、選択パルスが供給されるデコーダ配線に接続される。そして、選択トランジスタ３０５のソースは、出力配線に接続される。
【００２６】
図４は、タイミングチャートを示す図である。図４（ａ）は、左側フォトダイオード３０１Ｌに蓄積された電荷を読み出す流れを説明する図である。左側フォトダイオード３０１Ｌ、右側フォトダイオード３０１Ｒは、受光する入射光を電荷に変換して蓄積する。ここではＴ１に至るまでに、フォトダイオードは所定の時間露光され、電荷が蓄積されているものとする。後述する図４（ｂ）、（ｃ）についても同様である。左側フォトダイオード３０１Ｌの信号読み出しの前に、リセット配線を通じてリセットパルスがリセットトランジスタ３０３のゲートＲＧに印加されて（Ｔ１）、フローティングディフュージョン３１１の電位はリセットされる。そして、デコーダ配線を通じて選択パルスが選択トランジスタ３０５のゲートＲＳＥＬに印加されて（Ｔ２）、リセット電位が増幅トランジスタ３０４および選択トランジスタ３０５を介して出力配線に伝わり、後段の回路部でリセット信号として読み出される。
【００２７】
リセット後、リセットパルスは解除され、リセットトランジスタ３０３はオフになる。その後、転送パルスが転送トランジスタ３０２ＬのゲートＴＧ１に印加されると（Ｔ３）、蓄積された電荷はフローティングディフュージョン３１１へ転送され、フローティングディフュージョン３１１の電位は、リセット電位から電荷蓄積後の信号電位になる。すなわち、左側フォトダイオード３０１Ｌに蓄積された電荷のみが転送され、信号に寄与する。再び、デコーダ配線を通じて選択パルスが選択トランジスタ３０５のゲートＲＳＥＬに印加されると（Ｔ４）、電荷蓄積後の信号電位が出力配線に伝わる。後段の回路部で電荷蓄積後の信号電位が読み出され、すでに読み出してあるリセット電位との差を取ることで、画素に入射した光信号に対応する画素信号を得る。以上のように、左側フォトダイオード３０１Ｌに蓄積された電荷を画素信号として読み出すことにより、視差Ｌｔ画素として機能させることができる。その後、リセットパルスがリセットトランジスタ３０３のゲートＲＧに印加され（Ｔ５）、同時に転送パルスがゲートＴＧ１、ゲートＴＧ２に印加されると（Ｔ５）、左側フォトダイオード３０１Ｌ、右側フォトダイオード３０１Ｒ、およびフローティングディフュージョン３１１の電位はリセットされる。
【００２８】
図４（ｂ）は、右側フォトダイオード３０１Ｒに蓄積された電荷を読み出す流れを説明する図である。図４（ｂ）のＴ１およびＴ２における処理は、図４（ａ）のＴ１およびＴ２における処理と同一である。すなわち、フローティングディフュージョン３１１の電位をリセットし（Ｔ１）、リセット電位をリセット信号として後段の回路部で読み出す（Ｔ２）。
【００２９】
リセット後、リセットパルスは解除され、リセットトランジスタ３０３はオフになる。その後、転送パルスが転送トランジスタ３０２ＲのゲートＴＧ２に印加されると（Ｔ３）、蓄積された電荷はフローティングディフュージョン３１１へ転送され、フローティングディフュージョン３１１の電位は、リセット電位から電荷蓄積後の信号電位になる。すなわち、右側フォトダイオード３０１Ｒに蓄積された電荷のみが転送され、信号に寄与する。図４（ｂ）のＴ４以降の処理は、図４（ａ）のＴ４以降の処理と同一である。具体的には、電荷蓄積後の信号電位を後段の回路部で読み出し（Ｔ４）、すでに読み出してあるリセット電位との差を取ることで、画素に入射した光信号に対応する画素信号を得る。以上のように、右側フォトダイオード３０１Ｒに蓄積された電荷を画素信号として読み出すことにより、視差Ｒｔ画素として機能させることができる。その後、左側フォトダイオード３０１Ｌ、右側フォトダイオード３０１Ｒ、およびフローティングディフュージョン３１１の電位がリセットされる。
【００３０】
図４（ｃ）は、左側フォトダイオード３０１Ｌおよび右側フォトダイオード３０１Ｒに蓄積された電荷を読み出す流れを説明する図である。図４（ｃ）のＴ１およびＴ２における処理は、図４（ａ）のＴ１およびＴ２における処理と同一である。すなわち、フローティングディフュージョン３１１の電位をリセットし（Ｔ１）、リセット電位をリセット信号として後段の回路部で読み出す（Ｔ２）。
【００３１】
リセット後、リセットパルスは解除され、リセットトランジスタ３０３はオフになる。その後、転送パルスが転送トランジスタ３０２ＬのゲートＴＧ１に印加されるとともに（Ｔ３）、転送パルスが転送トランジスタ３０２ＲのゲートＴＧ２に印加されると（Ｔ３）、それぞれに蓄積された電荷はフローティングディフュージョン３１１へ転送され、フローティングディフュージョン３１１の電位は、リセット電位から電荷蓄積後の信号電位になる。すなわち、左側フォトダイオード３０１Ｌおよび右側フォトダイオード３０１Ｒのそれぞれに蓄積された電荷が転送され、加算される。図４（ｃ）のＴ４以降の処理は、図４（ａ）のＴ４以降の処理と同一である。具体的には、電荷蓄積後の信号電位を後段の回路部で読み出し（Ｔ４）、すでに読み出してあるリセット電位との差を取ることで、画素に入射した光信号に対応する画素信号を得る。以上のように、左側フォトダイオード３０１Ｌに蓄積された電荷と右側フォトダイオード３０１Ｒに蓄積された電荷を加算して画素信号として読み出すことにより、視差なし画素として機能させることができる。左側フォトダイオード３０１Ｌおよび右側フォトダイオード３０１Ｒのそれぞれに蓄積された電荷を加算した後に読み出しているので、Ｓ／Ｎ（Ｓｉｇｎａｌ  ｔｏ  Ｎｏｉｓｅ）比の観点において有利である。特に、蓄積される電荷量が少ない場合に有効である。
【００３２】
なお、左側フォトダイオード３０１Ｌおよび右側フォトダイオード３０１Ｒのそれぞれに蓄積された電荷を加算せずに読み出すこともできる。この場合に、各フォトダイオードに蓄積された電荷を時分割で読み出してもよいし、別途走査回路ユニットを設けることにより同時に読み出してもよい。各フォトダイオードに蓄積された電荷を加算せずに読み出す場合には、一つの画素内に左視差画素と右視差画素とが存在するとみなせるので、全画素に占める視差画素の密度を高めることができる。したがって、視差なし画素の空間解像度を低下させることなく、視差画素の空間解像度を向上させることができる。
【００３３】
以上のように、それぞれの画素を視差画素として機能させるか、視差なし画素として機能させるかによって種々の画素分布を実現できる。図５は、画素配列パターンのバリエーションを概念的に示す概念図である。図において、画素中心に対して左方向に偏位した白抜き矩形が単位画素領域に配置された画素は、左側の光電変換部に蓄積された電荷のみを読み出す画素（すなわち視差Ｌｔ画素）を表す。画素中心に対して右方向に偏位した白抜きの矩形が単位画素領域に配置された画素は、右側の光電変換部に蓄積された電荷のみを読み出す画素（すなわち視差Ｒｔ画素）を表す。画素中心に対して偏位していない白抜きの矩形が単位画素領域に配置された画素は、両方の光電変換部の電荷を加算して読み出す画素（すなわち視差なし画素）を表す。
【００３４】
また、図５に示す各バリエーションにおいては、４画素を基本単位とするベイヤー配列を、Ｙ軸方向である縦方向に４つ、Ｘ軸方向である横方向に４つ含む６４画素を基本格子とする。撮像素子１００は、基本格子が周期的に配列されてなる。なお、図５に示す各バリエーションにおいては、撮像素子１００における一つの基本格子を、その画素配列に一致させてそのまま羅列した様子を示している。各図においては、画素の種類が理解されるように示しているが、実際には各画素に対応した出力値が並ぶ。また、基本格子１３０内の画素をＰＩＪで表す。例えば、左上画素はＰ１１であり、右上画素はＰ８１である。
【００３５】
図５（ａ）は、基本格子１３０において、制御部２０１が、分割画素を視差Ｌｔ画素、視差Ｒｔ画素、視差なし画素のいずれとして機能させるかを決定し、決定された各画素の分布を定めた分布Ｐａを示した図である。視差画素の分布は決定部により決定される。
【００３６】
Ｐ１１…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ１５…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ２７…視差Ｌｔ画素＋Ｒフィルタ（＝Ｒ（Ｌｔ））
Ｐ３２…視差Ｌｔ画素＋Ｂフィルタ（＝Ｂ（Ｌｔ））
Ｐ５１…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ５５…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ６３…視差Ｒｔ画素＋Ｒフィルタ（＝Ｒ（Ｒｔ））
Ｐ７６…視差Ｒｔ画素＋Ｂフィルタ（＝Ｂ（Ｒｔ））
他の画素は視差なし画素であり、視差無し画素＋Ｒフィルタ（＝Ｒ（Ｎ））、視差なし画素＋Ｇフィルタ（＝Ｇ（Ｎ））、視差無し画素＋Ｂフィルタ（＝Ｂ（Ｎ））のいずれかである。図５（ａ）に示す基本格子１３０の場合、Ｇ（Ｎ）＝２８個に対して、Ｇ（Ｌｔ）＋Ｇ（Ｒｔ）＝２＋２＝４個であり、Ｒ（Ｎ）＝１４個に対して、Ｒ（Ｌｔ）＋Ｒ（Ｒｔ）＝２個、Ｂ（Ｎ）＝１４個に対して、Ｂ（Ｌｔ）＋Ｂ（Ｒｔ）＝２個である。ＲＧＢ比率は、視差Ｌｔ画素、視差Ｒｔ画素、および視差なし画素のそれぞれについて、ベイヤー配列と同じＲ：Ｇ：Ｂ＝１：２：１の構成である。図５（ａ）に示す基本格子１３０では、視差なし画素と視差Ｌｔ画素と視差Ｒｔ画素との画素数比はＮ：Ｌｔ：Ｒｔ＝１４：１：１である。視差なし画素の空間解像度は、ベイヤー配列に近い状態を保っている。
【００３７】
図５（ｂ）は、基本格子１４０おいて、制御部２０１が、分割画素を視差Ｌｔ画素、視差Ｒｔ画素、視差なし画素のいずれとして機能させるかを決定し、決定された各画素の分布を定めた分布Ｐｂを示した図である。視差画素の分布は決定部により決定される。
【００３８】
Ｐ１１…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ１５…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ２３…視差Ｒｔ画素＋Ｒフィルタ（＝Ｒ（Ｒｔ））
Ｐ２７…視差Ｌｔ画素＋Ｒフィルタ（＝Ｒ（Ｌｔ））
Ｐ３２…視差Ｌｔ画素＋Ｂフィルタ（＝Ｂ（Ｌｔ））
Ｐ３６…視差Ｒｔ画素＋Ｂフィルタ（＝Ｂ（Ｒｔ））
Ｐ４４…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ４８…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ５１…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ５５…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ６３…視差Ｒｔ画素＋Ｒフィルタ（＝Ｒ（Ｒｔ））
Ｐ６７…視差Ｒｔ画素＋Ｒフィルタ（＝Ｒ（Ｒｔ））
Ｐ７２…視差Ｒｔ画素＋Ｂフィルタ（＝Ｂ（Ｒｔ））
Ｐ７６…視差Ｌｔ画素＋Ｂフィルタ（＝Ｂ（Ｌｔ））
Ｐ８４…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ８８…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
他の画素は視差なし画素であり、視差無し画素＋Ｒフィルタ（＝Ｒ（Ｎ））、視差なし画素＋Ｇフィルタ（＝Ｇ（Ｎ））、視差無し画素＋Ｂフィルタ（＝Ｂ（Ｎ））のいずれかである。図５（ｂ）に示す基本格子１４０の場合、Ｇ（Ｎ）＝２２個に対して、Ｇ（Ｌｔ）＋Ｇ（Ｒｔ）＝４＋４＝８個であり、Ｒ（Ｎ）＝１２個に対して、Ｒ（Ｌｔ）＋Ｒ（Ｒｔ）＝２＋２＝４個、Ｂ（Ｎ）＝１２個に対して、Ｂ（Ｌｔ）＋Ｂ（Ｒｔ）＝２＋２＝４個である。ＲＧＢ比率は、視差Ｌｔ画素、視差Ｒｔ画素および視差なし画素のそれぞれについて、ベイヤー配列と同じＲ：Ｇ：Ｂ＝１：２：１の構成である。図５（ｂ）に示す基本格子１４０では、視差なし画素と視差Ｌｔ画素と視差Ｒｔ画素との画素数比はＮ：Ｌｔ：Ｒｔ＝６：１：１である。図５（ｂ）に示す基本格子１４０は、図５（ａ）に示す基本格子１３０に比べて、視差画素の密度がＲ、Ｇ、Ｂ成分ともに２倍に増えており、視差なし画素と視差画素のバランスを重視した画素分布である。
【００３９】
図５（ｃ）は、基本格子１５０おいて、制御部２０１が、分割画素を視差Ｌｔ画素、視差Ｒｔ画素、視差なし画素のいずれとして機能させるかを決定し、決定された各画素の分布を定めた分布Ｐｃを示した図である。視差画素の分布は決定部により決定される。図５（ｃ）においては、ベイヤー配列を構成する４画素のうち、左下画素と右上画素は、視差なし画素であり、左上画素と右下画素は、視差画素である。具体的には、左上画素が視差Ｌｔ画素であり、右下画素が視差Ｒｔ画素である。図５（ｃ）に示す基本格子１５０の場合、Ｇ（Ｎ）＝０個に対して、Ｇ（Ｌｔ）＋Ｇ（Ｒｔ）＝１６＋１６＝３２個であり、Ｒ（Ｎ）＝１６個に対して、Ｒ（Ｌｔ）＋Ｒ（Ｒｔ）＝０個、Ｂ（Ｎ）＝１６個に対して、Ｂ（Ｌｔ）＋Ｂ（Ｒｔ）＝０個である。図５（ｃ）に示す基本格子では、視差なし画素と視差Ｌｔ画素と視差Ｒｔ画素との画素数比はＮ：Ｌｔ：Ｒｔ＝２：１：１である。図５（ｃ）に示す基本格子１５０は、図５（ｂ）に示す基本格子１４０に比べて、視差画素の密度が２倍に増えており、視差画素の空間解像度を重視した画素分布である。
【００４０】
次に、撮像素子１００から出力される撮影画像データから２Ｄ画像データと視差画像データを生成する処理の概念を説明する。図６は、基準画像データとしての２Ｄ画像データと視差画像データの生成処理の例を説明する図である。
【００４１】
基本格子における視差画素および視差なし画素の配列からもわかるように、撮像素子２００の出力をその画素配列に一致させてそのまま羅列しても、特定の像を表す画像データにはならない。撮像素子２００の画素出力を、同一に特徴付けられた画素グループごとに分離して寄せ集めてはじめて、その特徴に即した一つの像を表す画像データが形成される。例えば、左右の視差画素をそれぞれ寄せ集めると、互いに視差を有する左右の視差画像データが得られる。このように、同一に特徴付けられた画素グループごとに分離して寄せ集められたそれぞれの画像データを、プレーンデータと呼ぶ。
【００４２】
画像処理部２０５は、撮像素子２００の画素配列順にその出力値（画素値）が羅列されたＲＡＷ元画像データを受け取り、複数のプレーンデータに分離するプレーン分離処理を実行する。図の左列は、２Ｄ画像データとしての２Ｄ−ＲＧＢプレーンデータの生成処理の例を示す。
【００４３】
２Ｄ−ＲＧＢプレーンデータを生成するにあたり、画像処理部２０５は、まず視差画素の画素値を除去して、空格子とする。そして、空格子となった画素値を、周辺画素の画素値を用いて補間処理により算出する。例えば、空格子Ｐ１１の画素値は、斜め方向に隣接するＧフィルタ画素の画素値である、Ｐ−１−１、Ｐ２−１、Ｐ−１２、Ｐ２２の画素値を平均化演算して算出する。また、例えば空格子Ｐ６３の画素値は、上下左右に１画素飛ばして隣接するＲフィルタの画素値である、Ｐ４３、Ｐ６１、Ｐ８３、Ｐ６５の画素値を平均化演算して算出する。同様に、例えば空格子Ｐ７６の画素値は、上下左右に１画素飛ばして隣接するＢフィルタの画素値である、Ｐ５６、Ｐ７４、Ｐ９６、Ｐ７８の画素値を平均化演算して算出する。
【００４４】
このように補間された２Ｄ−ＲＧＢプレーンデータは、ベイヤー配列を有する通常の撮像素子の出力と同様であるので、その後は２Ｄ画像データとして各種処理を行うことができる。すなわち、公知のベイヤー補間を行って、各画素にＲＧＢデータの揃ったカラー画像データを生成する。画像処理部２０５は、静止画データを生成する場合にはＪＰＥＧ等の、動画データを生成する場合にはＭＰＥＧ等の、予め定められたフォーマットに従って一般的な２Ｄ画像としての画像処理を行う。
【００４５】
本実施形態において画像処理部２０５は、表示部２０９の表示サイズに一致させるように、２Ｄ−ＲＧＢプレーンデータに間引き処理を施してライブビュー画像データを生成する。なお、メモリカード２２０への記録および視差マップ生成を伴わない、単にライブビュー表示を行うためのライブビュー画像データの生成処理の場合、間引き処理は様々な段階で行い得る。例えば、撮像素子２００からの信号読み出しを間引いてもよいし、ＲＡＷ元画像データから２Ｄ画像データの生成処理の段階で間引いてもよい。
【００４６】
画像処理部２０５は、２Ｄ−ＲＧＢプレーンデータをさらに色ごとに分離し、上述のような補間処理を施して、基準画像データとしての各プレーンデータを生成する。すなわち、緑色の基準画像プレーンデータとしてのＧｎ０プレーンデータ、赤色の基準画像プレーンデータとしてのＲｎ０プレーンデータ、および青色の基準画像プレーンデータとしてのＢｎ０プレーンデータの３つを生成する。これらのプレーンデータは、視差画素に対して密度の高い視差なし画素をベースとして生成されるので、次に述べる視差画像データのプレーンデータよりは高解像である。
【００４７】
図の右列は、視差画素データを構成するプレーンデータとしての２つのＧプレーンデータ、２つのＲプレーンデータおよび２つのＢプレーンデータの生成処理の例を示す。２つのＧプレーンデータは、左視差画像データとしてのＧＬｔプレーンデータと右視差画像データとしてのＧＲｔプレーンデータであり、２つのＲプレーンデータは、左視差画像データとしてのＲＬｔプレーンデータと右視差画像データとしてのＲＲｔプレーンデータであり、２つのＢプレーンデータは、左視差画像データとしてのＢＬｔプレーンデータと右視差画像データとしてのＢＲｔプレーンデータである。
【００４８】
ＧＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子２００の全出力値からＧ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子には、Ｐ１１とＰ５５の２つの画素値が残る。そこで、基本格子を縦横に４等分し、左上の１６画素分をＰ１１の出力値で代表させ、右下の１６画素分をＰ５５の出力値で代表させる。そして、右上の１６画素分および左下の１６画素分は、上下左右に隣接する周辺の代表値を平均化演算して補間する。すなわち、ＧＬｔプレーンデータは、１６画素単位で一つの値を有する。
【００４９】
同様に、ＧＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子２００の全出力値からＧ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子には、Ｐ５１とＰ１５の２つの画素値が残る。そこで、基本格子を縦横に４等分し、右上の１６画素分をＰ５１の出力値で代表させ、左下の１６画素分をＰ１５の出力値で代表させる。そして、左上の１６画素分および右下の１６画素分は、上下左右に隣接する周辺の代表値を平均化演算して補間する。すなわち、ＧＲｔプレーンデータは、１６画素単位で一つの値を有する。このようにして、Ｇｎ０プレーンデータよりは解像度の低いＧＬｔプレーンデータとＧＲｔプレーンデータを生成することができる。
【００５０】
ＲＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子２００の全出力値からＲ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子には、Ｐ２７の画素値が残る。この画素値を基本格子の６４画素分の代表値とする。同様に、ＲＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子２００の全出力値からＲ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子には、Ｐ６３の画素値が残る。この画素値を基本格子の６４画素分の代表値とする。このようにして、Ｒｎ０プレーンデータよりは解像度の低いＲＬｔプレーンデータとＲＲｔプレーンデータが生成される。この場合、ＲＬｔプレーンデータとＲＲｔプレーンデータの解像度は、ＧＬｔプレーンデータとＧＲｔプレーンデータの解像度よりも低い。
【００５１】
ＢＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子２００の全出力値からＢ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子には、Ｐ３２の画素値が残る。この画素値を基本格子の６４画素分の代表値とする。同様に、ＢＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子２００の全出力値からＢ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子には、Ｐ７６の画素値が残る。この画素値を基本格子の６４画素分の代表値とする。このようにして、Ｂｎ０プレーンデータよりは解像度の低いＢＬｔプレーンデータとＢＲｔプレーンデータが生成される。この場合、ＢＬｔプレーンデータとＢＲｔプレーンデータの解像度は、ＧＬｔプレーンデータとＧＲｔプレーンデータの解像度よりも低く、ＲＬｔプレーンデータとＲＲｔプレーンデータの解像度と同等である。本実施形態においては、画像処理部２０５は、これらのプレーンデータを用いて、高解像な左側視点のカラー画像データおよび右側視点のカラー画像データを生成する。
【００５２】
赤色視差プレーン（ＲＬｔ０プレーンデータとＲＲｔ０プレーンデータ）は、Ｒｎ０プレーンデータの画素値と、ＲＬｔプレーンデータおよびＲＲｔプレーンデータの画素値とを用いて生成する。具体的には、例えばＲＬｔ０プレーンデータの対象画素位置（ｉｍ，ｊｎ）の画素値ＲＬｔ０ｍｎを算出する場合、まず、画像処理部２０５は、Ｒｎ０プレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値Ｒｎ０ｍｎを抽出する。次に、画像処理部２０５は、ＲＬｔプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値ＲＬｔｍｎを、ＲＲｔプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値ＲＲｔｍｎを抽出する。そして、画像処理部２０５は、画素値Ｒｎ０ｍｎを、画素値ＲＬｔｍｎとＲＲｔｍｎの比で分配して画素値ＲＬｔ０ｍｎを算出する。具体的には、以下の式（１）により算出する。
【００５３】
ＲＬｔ０ｍｎ＝２Ｒｎ０ｍｎ×ＲＬｔｍｎ／（ＲＬｔｍｎ＋ＲＲｔｍｎ）            …（１）
同様に、ＲＲｔ０プレーンデータの対象画素位置（ｉｍ，ｊｎ）の画素値ＲＲｔ０ｍｎを算出する場合も、画像処理部２０５は、画素値Ｒｎ０ｍｎを画素値ＲＬｔｍｎと画素値ＲＲｔｍｎの比で分配して算出する。具体的には、以下の式（２）により算出する。
【００５４】
ＲＲｔ０ｍｎ＝２Ｒｎ０ｍｎ×ＲＲｔｍｎ／（ＲＬｔｍｎ＋ＲＲｔｍｎ）            …（２）
画像処理部２０５は、このような処理を、左端かつ上端の画素である（１、１）から右端かつ下端の座標である（ｉ０，ｊ０）まで順次実行する。
【００５５】
そして、高解像な赤色視差プレーンであるＲＬｔ０プレーンデータとＲＲｔ０プレーンデータの生成処理が完了したら、次に高解像な緑色視差プレーンであるＧＬｔ０プレーンデータとＧＲｔ０プレーンデータの生成処理を実行する。具体的には、上述の説明においてＲｎ０プレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値Ｒｎ０ｍｎを抽出する代わりに、Ｇｎ０プレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値Ｇｎ０ｍｎを抽出して、同様に処理する。さらに、高解像な緑色視差プレーンであるＧＬ０ｔプレーンデータとＧＲｔ０プレーンデータの生成処理が完了したら、次に高解像な青色視差プレーンであるＢＬｔ０プレーンデータとＢＲｔ０プレーンデータの生成処理を実行する。具体的には、上述の説明においてＲｎ０プレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値Ｒｎ０ｍｎを抽出する代わりに、Ｂｎ０プレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値Ｂｎ０ｍｎを抽出して、同様に処理する。
【００５６】
以上の処理により、左側視点の高解像なカラー画像データ（ＲＬｔ０プレーンデータ、ＧＬｔ０プレーンデータ、ＢＬｔ０プレーンデータ）および右側視点の高解像なカラー画像データ（ＲＲｔ０プレーンデータ、ＧＲｔ０プレーンデータ、ＢＲｔ０プレーンデータ）が生成される。すなわち、実際には撮像素子２００の画素として存在しない、ＲＧＢいずれかのカラーフィルタを併せ持つ視差Ｌ画素および視差Ｒ画素の仮想的な出力として、左側視点および右側視点のカラー画像データを、比較的簡易な処理により取得することができる。したがって、これらの画像データを３Ｄ画像対応の再生装置で再生すれば、ユーザは、カラー画像としての高解像な３Ｄ映像を鑑賞できる。特に、処理が簡易なので高速に画像データを生成することができ、動画に対しても対応できる。
【００５７】
図７は、明暗状態が異なるシーンと分割画素の分布との関係を示す図である。図７（ａ）は、デジタルカメラ１０が備える不揮発性メモリ２３３に予め記憶される分割画素の分布テーブルを示す図である。図７（ｂ）から（ｄ）は、明暗状態の異なるシーンを撮影する様子を示す図である。図７（ｂ）は、晴天時に３人の人物を撮影するシーンを示した図であり、明るいシーンでの撮影状況を示す。図７（ｃ）は、曇天時に３人の人物を撮影するシーンを示した図であり、明るいシーンと後述する暗いシーンとの中間の明るさである中間シーンでの撮影状態を示す。図７（ｄ）は、夜間に３人の人物を撮影するシーンを示した図であり、暗いシーンでの撮影状況を示す。
【００５８】
演算部２１２は、ＡＥセンサ２１１の出力から輝度Ｅを算出する。制御部２０１は、判定部として機能し、被写体の明暗状況を判定する。具体的には、制御部２０１は、算出された輝度Ｅと、予め定義した閾値Ｅ1およびＥ２とを比較することによってシーンの明暗状況を判定する。
【００５９】
記憶部として機能する不揮発性メモリ２３３は、輝度情報と画素分布との対応関係を分布テーブルに定義して記憶する。分布テーブルは、輝度Ｅが閾値Ｅ１以上である場合に、画素分布Ｐｃを適用するように規定する。同様に、分布テーブルは、輝度Ｅが閾値Ｅ２以上かつＥ１未満である場合に、画素分布Ｐｂを適用するように規定する。さらに、分布テーブルは、輝度Ｅが閾値Ｅ２未満の場合に、画素分布Ｐａを適用するように規定する。
（提案する補正案）
【００６０】
次に、シーンの明暗と、撮像素子１００内に配置される視差Ｌｔ画素、視差Ｒｔ画素、および視差なし画素の画素数比率との関係について説明する。図７（ｂ）に示す輝度値Ｅが閾値Ｅ１よりも大きくなるような明るいシーンではＳ／Ｎ比は高いので、視差Ｌｔ画素および視差Ｒｔ画素比率の高い分布Ｐｃを適用し、視差情報を豊富にする。具体的には、図７（ｂ）に示すような、輝度Ｅが閾値Ｅ１よりも大きくなる、明るいシーンを撮影する場合、分布テーブルを参照して、視差Ｌｔ画素および視差Ｒｔ画素比率の高い分布Ｐｃを適用する。非合焦領域は、いわゆる、ぼけ領域である。本実施形態では、視差はぼけ領域に発生するので、明るいシーンで、視差画素を増加させ、視差情報を豊かにすれば、デジタルカメラ１０は、より立体感のある３Ｄ画像をユーザに提供することができる。
【００６１】
一方、図７（ｄ）に示す輝度値Ｅが閾値Ｅ２よりも小さくなるような暗いシーンを撮影する場合は、Ｓ／Ｎ比を向上させる目的で視差なし画素を増やす。具体的には、図７（ｄ）に示すような、輝度Ｅが閾値Ｅ２よりも小さくなる、暗いシーンを撮影する場合、分布テーブルを参照して、視差なし画素比率の高い分布Ｐａを適用する。暗いシーンで、デジタルカメラ１０が、立体感のある３Ｄ画像をユーザに提供するには、高解像の２Ｄ画像を取得することが望ましい。さらに、Ｓ／Ｎ比は、視差なし画素を増やすことで向上する。
【００６２】
次に、シーンの明暗状態に基づいて画素分布を変更する撮影動作について説明する。図８は、演算部２１２が算出した輝度Ｅに基づいて、制御部２０１が分布テーブルを参照し、制御部２０１が輝度Ｅに対応する画素分布を決定して撮影を行う動作を示したフローチャートである。フローは、デジタルカメラ１０の電源がＯＮにされてから開始される。
【００６３】
制御部２０１は、ステップＳ１０１で、ユーザが撮影準備指示であるスイッチＳＷ１を押し下げるまで待機する。スイッチＳＷ１の押し下げを検知したらステップＳ１０２へ進む。ステップＳ１０２で、ＡＥセンサ２１１は、シーンの測光を開始する。演算部２１２は、ＡＥセンサ２１１の出力からシーンの輝度Ｅを算出する。
【００６４】
ステップＳ１０３では、制御部２０１は、演算部２１２が算出した輝度Ｅと閾値Ｅ１とを比較する。制御部２０１は、輝度Ｅが閾値Ｅ１以上であると判定した場合に、ステップＳ１０５へ進む。ステップＳ１０５では、制御部２０１は、分布テーブルを参照し、撮影時の画素分布を分布Ｐｃに決定する。ステップＳ１０３で、制御部２０１は、輝度Ｅが閾値Ｅ１未満であると判定した場合に、ステップＳ１０４へ進む。
【００６５】
ステップＳ１０４では、制御部２０１は、輝度Ｅと閾値Ｅ２とを比較する。制御部２０１は、輝度Ｅが閾値Ｅ２以上であると判定した場合に、ステップＳ１０６に進む。ステップＳ１０６では、制御部２０１は、分布テーブルを参照し、撮影時の画素分布を分布Ｐｂに決定する。一方、ステップＳ１０４において、制御部２０１は、輝度Ｅが閾値Ｅ２未満であると判定した場合に、ステップＳ１０７に進む。ステップＳ１０７では、制御部２０１は、分布テーブルを参照し、撮影時の画素分布を分布Ｐａに決定する。
【００６６】
ステップＳ１０５、Ｓ１０６およびＳ１０７で、制御部２０１は、撮影時の画素分布を分布Ｐａ、分布Ｐｂもしくは分布Ｐｃのいずれかに決定した後、ステップＳ１０８へ進む。ステップＳ１０８では、制御部２０１は、ユーザが撮影指示であるスイッチＳＷ２の押し下げを行うまで処理を待機する。そして、スイッチＳＷ２が押されない場合に、ステップＳ１０１へ戻る。制御部２０１は、スイッチＳＷ２の押し下げを検知した場合に、ステップＳ１０９へ進む。ステップＳ１０９で撮影は完了し、ステップＳ１１０に進む。
【００６７】
画像処理部２０５は、図６に示した画像生成方法に従い、画像を生成する。そして、ステップＳ１１１では、ユーザは、生成された画像を保存するか否かを選択する。画像を保存しない場合に、ステップＳ１０１へ戻る。ステップＳ１１１で、ユーザが、画像の保存を選択する場合に、制御部２０１は、画像をメモリカード２２０に保存し、ひとつのシーンを撮影するフローを終了する。以上の説明では、分布テーブルに定義された画素分布は、分布Ｐａ、分布Ｐｂ、および分布Ｐｃの例を示したが、もちろん、これら以外の画素分布でもよい。
【００６８】
以上の説明では、制御部２０１は、シーンの明るさに対応して定義された分布テーブルを参照し、シーン単位で撮影時に使用する画素分布を決定した。別の例として、大きな明暗の差があるひとつのシーンにおいて、制御部２０１は、明暗によってシーンを複数の領域に分割し、分割された領域毎の輝度Ｅに対応した画素分布に変更することもできる。
【００６９】
図９は、大きな明暗差があるシーンと分割された領域を説明する図である。図９（ａ）は、撮像素子１００が捉える明暗差のあるシーンを示す図である。図９（ａ）に示すシーンは、屋内環境に含まれる暗い被写体４０１と、窓枠４０４の内側に観察される屋外環境の明るい被写体４０３と、暗い被写体４０１と明るい被写体４０３との中間の明るさである中間被写体４０２とが同時に写り込む大きな明暗差を有する。
【００７０】
図９（ａ）に示したシーンを複数の領域に分割し、分割された領域毎に画素分布を変化させる方法について説明する。前述したように、ＡＥセンサ２１１は、シーンを測光する。そして、演算部２１２は、ＡＥセンサ２１１の出力から輝度を算出する。ＡＥセンサ２１１は、シーンを複数の領域に分割して測光を行うので、測光時に分割される領域毎でのＡＥセンサ２１１の出力を用いて、演算部２１２が輝度Ｅを算出すると、領域毎の輝度Ｅを得ることができる。
【００７１】
図９（ｂ）は、図９（ａ）に示したシーンを複数の領域に分割し、領域毎の輝度を示した図である。図９（ｂ）に図示されるように、シーンは、暗い領域４１１、中間領域４１２、および明るい領域４１３を含む。ここで、暗い領域４１１の輝度Ｅは、輝度Ｅ４１１である。中間領域４１２の輝度Ｅは、Ｅ４１２である。明るい領域４１３の輝度Ｅは、輝度Ｅ４１３である。そして、制御部２０１は、明るい領域の輝度Ｅ４１３と、閾値Ｅ１およびＥ２とを比較し、分割されたシーンの明暗状況を判定する。制御部２０１は、明るい領域４１３の輝度Ｅ４１３が閾値Ｅ１以上であると判定する場合、明るい領域４１３には分布テーブルに定義された分布Ｐｃを採用することを決定する。同様に、制御部２０１は、中間領域の輝度Ｅ４１２が閾値Ｅ２以上かつＥ１未満であると判定する場合、中間領域４１２には分布テーブルに定義された分布Ｐｂを採用することを決定する。さらに、制御部２０１は、暗い領域の輝度Ｅ４１１が閾値Ｅ２未満であると判定する場合、暗い領域４１１には分布テーブルに定義された分布Ｐａを採用することを決定する。撮影動作は図８に示したフローに沿って処理される。
【００７２】
明るい領域ではＳ／Ｎ比が高いので、視差Ｌｔ画素および視差Ｒｔ画素比率の高い分布Ｐｃを適用し、視差情報を豊富にする。具体的には、図９（ａ）に示すような大きな明暗差を有したシーンでは、明るい領域４１３に対応する画素領域に分布Ｐｃを適用する。明るい領域４１３では、視差画素を増加させ、視差情報を豊かにすれば、デジタルカメラ１０は、より立体感のある３Ｄ画像をユーザに提供することができる。そこで、分布テーブルを参照して、視差Ｌｔ画素および視差Ｒｔ画素比率の高い分布Ｐｃを適用する。
【００７３】
暗い領域では、Ｓ／Ｎ比が悪くなりやすいので、視差なし画素の比率を増やすことでＳ／Ｎ比の低下を防ぐ。具体的には、暗い領域４１１に対応する画素領域は、分布Ｐａを適用する。暗い領域で、デジタルカメラ１０が、立体感のある３Ｄ画像をユーザに提供するには、高解像の２Ｄ画像を取得することが望ましい。さらに、Ｓ／Ｎ比は、視差なし画素を増やすことで向上する。そこで、分布テーブルを参照して、視差なし画素比率の高い分布Ｐａを適用する。
【００７４】
さらに、中間領域では、分布テーブルを参照して、３Ｄ感とＳ／Ｎ比のバランスのとれた分布Ｐｂを適用する。
【００７５】
図６に示される画像生成方法によると、明るいシーンは、視差画素比率の高い分布Ｐｃを適用するので、空格子の数が少なく、得られる視差情報は高密度である。一方、暗いシーンは、視差なし画素の比率が高い分布Ｐａを適用するので、２Ｄ画像の情報が豊富である。ひとつのシーンにおいて、明るい領域では、豊富な視差情報を有し、暗い領域では、豊富な２Ｄ情報を有するため、ユーザは、より立体感のある３Ｄ画像を得ることができる。
【００７６】
図１０は、シーンの高周波成分と分割画素の分布との関係を示す図である。図１０（ａ）は、デジタルカメラ１０が備える不揮発性メモリ２３３に予め記憶される分布テーブルを示す図である。不揮発性メモリ２３３は、高周波成分ｆの情報と画素分布との対応関係を分布テーブルに定義して記憶する。分布テーブルは、高周波成分ｆが閾値ｆ１以上である場合に、画素分布Ｐａを適用するように規定する。同様に、分布テーブルは、高周波成分ｆがｆ２以上かつｆ１未満である場合に、画素分布Ｐｂを適用するように規定する。さらに、分布テーブルは、高周波数成分ｆがｆ２未満である場合に、画素分布Ｐｃを適用するように規定する。
【００７７】
図１０（ｂ）は、被写体がデジタルカメラ１０の被写体側奥行き方向に分散するシーンを、デジタルカメラ１０が、撮影する様子を示した図である。図示するように、このシーンは、デジタルカメラ１０に近い側から順に、バス５０１、樹木５０２、山５０３を有する。図１０（ｃ）は、図１０（ｂ）の被写体をパンフォーカスで撮影したシーンを示す図である。図１０（ｄ）は、図１０（ｂ）の被写体を樹木５０２に合焦させて撮影したシーンを示す図である。
【００７８】
次に、シーンの高周波成分ｆと、撮像素子１００内に配置される視差Ｌｔ画素、視差Ｒｔ画素、および視差なし画素の画素比率との関係を説明する。高周波成分ｆが閾値ｆ１よりも大きくなるような、高周波成分ｆが多いシーンを撮影する場合、図１０（ｃ）に示すように、撮影されるシーンは、全域で合焦しており高周波成分ｆが多い画像である。本実施形態では、視差はぼけ領域に発生するので、高周波成分ｆが多い画像は、視差量が少ない。そのため、ユーザが、立体感のある３Ｄ画像を得るには、高解像度の２Ｄ画像を取得することが望ましい。そこで、分布テーブルを参照して、視差なし画素比率の高い分布Ｐａを適用する。
【００７９】
一方、高周波成分ｆが閾値ｆ２よりも小さくなるような、高周波成分ｆが少ないシーンを撮影する場合、図１０（ｄ）に示すように、ひとつのシーンの中で合焦領域（領域Ａ）と非合焦領域（領域Ｂ）との境界は明確である。ここで、非合焦領域は、いわゆる、ぼけ領域である。本実施形態では、視差はぼけ領域に発生するので、視差画素を増加させ、視差情報を豊かにすれば、ユーザは、より立体感のある３Ｄ画像を得ることができる。そこで、分布テーブルを参照して、視差Ｌｔ画素および視差Ｒｔ画素比率の高い分布Ｐｃを適用する。また、合焦領域の被写体に応じて、さらに視差画素の比率を調整してもよい。
【００８０】
次に、撮影動作について説明する。図１１は、シーンの高周波成分ｆに基づいて、制御部２０１が分布テーブルを参照し、制御部２０１が高周波成分ｆに対応する画素分布を決定して撮影を行う操作を示したフローチャートである。フローは、デジタルカメラ１０の電源がＯＮにされてから開始される。
【００８１】
ステップＳ２０１では、制御部２０１は、ユーザが撮影準備指示であるスイッチＳＷ１を押し下げるまで待機する。スイッチＳＷ１の押し下げを検知したらステップＳ２０２へ進む。ステップＳ２０２で、周波数評価部２１３は、シーンの高周波成分ｆを評価し、ステップＳ２０３へ進む。
【００８２】
ステップＳ２０３では、制御部２０１は、周波数評価部２１３が評価した高周波成分ｆと閾値ｆ１とを比較する。制御部２０１は、高周波成分ｆが閾値ｆ１以上であると判定した場合に、ステップＳ２０５へ進む。ステップＳ２０５では、制御部２０１は、分布テーブルを参照し、撮影時の画素分布を分布Ｐａに決定する。ステップＳ２０３で、制御部２０１は、高周波成分ｆがｆ１未満と判定した場合に、ステップＳ２０４へ進む。
【００８３】
ステップＳ２０４では、制御部２０１は、高周波成分ｆと閾値ｆ２とを比較する。制御部２０１は、高周波成分ｆが閾値ｆ２以上であると判定した場合は、ステップＳ２０６へ進む。ステップＳ２０６では、制御部２０１は、分布テーブルを参照し、撮影時の画素分布を分布Ｐｂに決定する。
【００８４】
ステップＳ２０４において、制御部２０１は、高周波成分ｆがｆ２未満であると判定した場合に、ステップＳ２０７に進む。ステップＳ２０７では、制御部２０１は、分布テーブルを参照し、撮影時の画素分布を分布Ｐａに決定する。
【００８５】
ステップＳ２０５、Ｓ２０６およびＳ２０７で、制御部２０１は、撮影時の画素分布を分布Ｐａ、分布Ｐｂもしくは分布Ｐｃいずれかに決定した後、ステップＳ２０８へ進む。ステップＳ２０８では、制御部２０１は、ユーザが撮影指示であるスイッチＳＷ２の押し下げるまで待機する。そして、スイッチＳＷ２が押されない場合に、ステップＳ２０１へ戻る。制御部２０１は、スイッチＳＷ２の押し下げを検知した場合に、ステップＳ２０９へ進む。ステップＳ２０９で撮影は完了し、ステップＳ２１０に進む。
【００８６】
画像処理部２０５は、図６に示した画像生成方法に従い、画像を生成する。そして、ステップＳ２１１では、ユーザは、生成された画像を保存するか否かを選択する。画像を保存しない場合は、ステップＳ２０１へ戻る。ステップＳ２１１で、ユーザが、画像の保存を選択する場合には、制御部２０１は、画像をメモリカード２２０に保存し、ひとつのシーンを撮影するフローを終了する。以上の説明では、分布テーブルに定義された画素分布は、分布Ｐａ、分布Ｐｂ、および分布Ｐｃの例を示したが、もちろん、これら以外の画素分布でもよい。
【００８７】
以上の説明では、制御部２０１は、シーンの高周波成分ｆの多寡に対応して定義された分布テーブルを参照し、シーン単位で撮影時に使用する画素分布を決定した。別の例として、制御部２０１は、高周波成分ｆの多寡によってシーンを複数の領域に分割し、分割された領域毎の高周波成分ｆに対応した画素分布に変更することもできる。具体的には、画像処理部２０５が、ＡＥセンサ２１１が測光する場合に用いる分割された領域を参照する。そして、周波数評価部２１３は、分割された領域毎の高周波成分ｆを評価する。その後、制御部２０１は、分布テーブルを参照し、画素分布を決定する。このように、制御部２０１は、ひとつのシーンの中で、高周波成分ｆの多寡に応じた領域毎で分布を変化することによって、ユーザは、立体感のある３Ｄ画像を取得することができる。
【００８８】
図６に示される画像生成方法によると、高周波成分ｆが多い領域は、視差なし画素の比率が高い分布Ｐａを適用するので、２Ｄ画像の情報が豊富である。一方、高周波数成分の少ない領域は、視差画素比率の高い分布Ｐｃを適用するので、空格子の数が少なく、得られる視差情報は高密度である。ひとつのシーンにおいて、高周波成分ｆが多い領域は、豊富な２Ｄ情報を有し、高周波成分ｆが少ない領域は、豊富な３Ｄ情報を有するため、ユーザは、より立体感のある３Ｄ画像を得ることができる。
【００８９】
以上の説明では、画素は、単位画素領域の中心に対して左方向に偏位した左側の光電変換部と、右方向に偏位した右側の光電変換部とを当該単位画素領域内に含む構成であったが、単位画素領域の中心に対して偏位していない光電変換部をさらに含む構成であってもよい。
【００９０】
図１２は、回路構成のバリエーションを説明する図である。フォトダイオード３０１は、左側フォトダイオード３０１Ｌおよび右側フォトダイオード３０１Ｒに加えて、単位画素領域１１１の中心に対して偏位していない中央の光電変換部である中央フォトダイオード３０１Ｃを含む。図１２に示す画素においても、図３に示す画素と同様に、転送トランジスタ３０２は、各フォトダイオードに対応して個別に設けられるのに対し、リセットトランジスタ３０３、増幅トランジスタ３０４、選択トランジスタ３０５は、全てのフォトダイオードに対してひとつ設けられる。図１２に示す画素は、図３に示す画素の回路構成に加えて、転送トランジスタ３０２Ｃを備える。中央フォトダイオード３０１Ｃは、転送トランジスタ３０２Ｃによって電荷蓄積が制御される。中央フォトダイオード３０１Ｃは、転送トランジスタ３０２Ｃに接続される。転送トランジスタ３０２ＣのゲートＴＧ３は、転送パルスが供給される転送パルス配線に接続される。転送トランジスタ３０２Ｃのドレインは、リセットトランジスタ３０３のソースに接続される。
【００９１】
図３に示した画素と同様に、左側フォトダイオード３０１Ｌに蓄積された電荷を画素信号として読み出すことにより、視差Ｌｔ画素として機能させることができる。右側フォトダイオード３０１Ｒに蓄積された電荷を画素信号として読み出すことにより、視差Ｒｔ画素として機能させることができる。ここで、図１０に示す左側フォトダイオード３０１Ｌは、図３に示す左側フォトダイオード３０１Ｌに比べて重心が左方向に寄っている。図１２に示す右側フォトダイオード３０１Ｒは、図３に示す右側フォトダイオード３０１Ｒに比べて重心が右方向に寄っている。すなわち、図１２に示す左側フォトダイオード３０１Ｌの重心と右側フォトダイオード３０１Ｒの重心との距離は、図３に示す左側フォトダイオード３０１Ｌの重心と右側フォトダイオード３０１Ｒの重心との距離より長くなっている。したがって、図１２に示す画素の視差量は、図３に示す画素の視差量よりも大きくなる。また、左側フォトダイオード３０１Ｌに蓄積された電荷と右側フォトダイオード３０１Ｒに蓄積された電荷と中央フォトダイオード３０１Ｃに蓄積された電荷を加算して画素信号として読み出すことにより、視差なし画素として扱うことができる。
【００９２】
左側フォトダイオード３０１Ｌに蓄積された電荷と中央フォトダイオード３０１Ｃに蓄積された電荷とを加算して読み出した画素信号を、視差Ｌｔ画素の画素信号として扱うこともできる。同様に、右側フォトダイオード３０１Ｒに蓄積された電荷と中央フォトダイオード３０１Ｃに蓄積された電荷とを加算して読み出した画素信号を、視差Ｒｔ画素の画素信号として扱うこともできる。この場合には、左側フォトダイオード３０１Ｌおよび右側フォトダイオード３０１Ｒのそれぞれに蓄積された電荷を単独で読み出す場合に比べて、視差量は小さくなる。一方で、中央フォトダイオード３０１Ｃに蓄積された電荷を加算することにより、感度を高めることができる。以上のことから、視差量の大きさを優先する場合には、左側フォトダイオード３０１Ｌおよび右側フォトダイオード３０１Ｒのそれぞれに蓄積された電荷を単独で読み出すとよい。感度を優先する場合には、左側フォトダイオード３０１Ｌおよび右側フォトダイオード３０１Ｒのそれぞれに蓄積された電荷に中央フォトダイオード３０１Ｃに蓄積された電荷を加算して読み出すとよい。
【００９３】
図１３は、フォトダイオードのバリエーションを説明する図である。図１３（ａ）、（ｂ）は、単位画素領域１１１内に形成された複数のフォトダイオードの形状が非対称な場合を示す。図１３（ａ）においては、左側フォトダイオード３０１Ｌは右側フォトダイオード３０１Ｒよりも幅広に形成されている。図１３（ａ）の左側フォトダイオード３０１Ｌは、図１２の左側フォトダイオード３０１Ｌと中央フォトダイオード３０１Ｃとを一体的に形成したものに相当する。図１３（ａ）の左側フォトダイオード３０１Ｌは、図１２の左側フォトダイオード３０１Ｌと中央フォトダイオード３０１Ｃとの分離部分をフォトダイオードとして機能させることができるので、感度を向上させることができる。
【００９４】
図１３（ｂ）においては、右側フォトダイオード３０１Ｒは左側フォトダイオード３０１Ｌよりも幅広に形成されている。図１３（ｂ）の右側フォトダイオード３０１Ｒは、図１２の右側フォトダイオード３０１Ｒと中央フォトダイオード３０１Ｃとを一体的に形成したものに相当する。図１３（ｂ）の右側フォトダイオード３０１Ｒは、図１２の右側フォトダイオード３０１Ｒと中央フォトダイオード３０１Ｃとの分離部分をフォトダイオードとして機能させることができるので、感度を向上させることができる。
【００９５】
視差Ｌｔ画素として、図１３（ａ）のフォトダイオード３０１Ｌを出力させ、視差Ｒｔ画素として図１３（ｂ）のフォトダイオード３０１Ｒを出力させれば、Ｓ／Ｎ比の良好な視差画像データを生成できる。逆に、視差Ｌｔ画素として、図１３（ｂ）のフォトダイオード３０１Ｌを出力させ、視差Ｒｔ画素として図１３（ａ）のフォトダイオード３０１Ｒを出力させれば、視差量の大きな視差画像データを生成できる。
【００９６】
図１３（ｃ）は、視差量を優先する場合のフォトダイオードの配置を示す。図３に示す構成と比較すると、左側フォトダイオード３０１Ｌと右側フォトダイオード３０１Ｒとの間の距離が離れている。二つのフォトダイオードの分離度を高めることにより、視差量を大きくすることができる。二つのフォトダイオードの分離度が異なる画素が混在してもよい。例えば、図３に示す画素と図１３（ｃ）に示す画素が混在してもよい。この場合には、視差量を優先するか、または感度を優先するかをユーザ操作によって選択してもよい。
【００９７】
また、左側フォトダイオード３０１Ｌおよび右側フォトダイオード３０１Ｒのそれぞれを、上下に分割してもよい。この場合には、単位画素領域１１１内に四つのフォトダイオードが形成されることになる。
【００９８】
図１３（ｄ）は、四つのフォトダイオードが配置された例を示す。左側の上下のフォトダイオード３０１Ｌ１、３０１Ｌ２に蓄積された電荷を加算して画素信号として読み出すことにより、視差Ｌｔ画素として機能させることができる。右側の上下のフォトダイオード３０１Ｒ１、３０１Ｒ２に蓄積された電荷を加算して画素信号として読み出すことにより、視差Ｒｔ画素として機能させることができる。また、四つのフォトダイオードに蓄積された電荷を加算して画素信号として読み出すことにより、視差なし画素として機能させることができる。なお、四つのフォトダイオードが配列された画素の場合、上下フォトダイオード３０１Ｌ１と３０１Ｌ２を用いる場合は、デジタルカメラ１０の横姿勢での視差画像が得られる。同様に左右のフォトダイオード３０１Ｒ１、および３０１Ｒ２を用いる場合は、縦姿勢での視差画像を得ることができ、デジタルカメラ１０の姿勢差に対応した視差画像を生成することができる。
【００９９】
図１４は、非分割画素１６０を配置する画素分布を示す図である。非分割画素は、単位画素領域１１１の中心に対して偏位していないひとつの光電変換部を含む画素である。図５（ａ）から（ｃ）に示した画素分布では、常に視差なし画素となる単位画素領域１１１が存在する。常に視差なし画素となる単位画素領域１１１は、分割画素ではなく非分割画素１６０を配置しておいてもよい。非分割画素１６０を配置することによって、分割画素における複数の光電変換素子間に発生する無感領域の存在を無くすことができ、受光感度が向上する。さらに、図３に示したような２つの光電変換素子を有する分割画素の場合、光電変換素子の数に対応した複数の転送トランジスタ３０２Ｌおよび転送トランジスタ３０２Ｒが必要となる。その結果、フローティングディフュージョン３１１の容量は増加し、変換効率の低下につながる。さらに、非分割画素は、分割画素よりも感度および対ノイズ性能が向上するので、常に視差なし画素として機能する単位画素領域１１１は、非分割画素を配置することが望ましい。なお、図１４に示した分布は、図６（ａ）から（ｃ）に対応した場合の例である。
【０１００】
従来のデジタルカメラは、シーンの状況に係らず一律に固定された画素分布を用いて撮影していた。しかし、上記の説明のように、本実施形態ではシーンの明るさや高周波成分など、シーンの状況に応じて撮像素子の画素分布を最適な分布に変更させることが可能となった。
【０１０１】
以上の説明では、シーンの明るさ、もしくは、高周波成分をデジタルカメラ１０の制御部２０１が判定して、制御部２０１が記憶部である不揮発性メモリ２３３に記憶されたテーブルを参照し、制御部２０１がシーンに応じた最適な画素分布を決定した。しかし、操作部２０８にマニュアルで画素分布を選択する手段を設けることによって、ユーザがマニュアルで画素分布を選択してもよい。
【０１０２】
さらに、画素の分布は撮影されるシーンに対応して変更する以外にも、計測用、モニタリング用など用途に応じて画素の分布は変更され、視差特性を変化させることもできる。
【０１０３】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【０１０４】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【０１０５】
１０  デジタルカメラ、２０  撮影レンズ、２１  光軸、１００、２００  撮像素子、１１１  単位画素領域、１１２  左側の光電変換部、１１３  右側の光電変換部、１１０  ベイヤー配列、１３０  基本格子、１４０  基本格子、１５０  基本格子、１６０  非分割画素、２０１  制御部、２０２  Ａ／Ｄ変換回路、２０３  揮発性メモリ、２０４  駆動部、２０５  画像処理部、２０７  メモリカードＩＦ、２０８  操作部、２０９  表示部、２１０  ＬＣＤ駆動回路、２１１  ＡＥセンサ、２１２  演算部、２１３  周波数評価部、２２０  メモリカード、２３３  不揮発性メモリ、３０１  フォトダイオード、３０１Ｌ１、３０１Ｌ２  左側フォトダイオード、３０１Ｒ１、３０１Ｒ１  右側フォトダイオード、３０２  転送トランジスタ、３０３  リセットトランジスタ、３０４  増幅トランジスタ、３０５  選択トランジスタ、３１１  フローティングディフュージョン、４０１  暗い被写体、４０２  中間被写体、４０３  明るい被写体、４０４  窓枠、４１１  暗い領域、４１２  中間領域、４１３  明るい領域、５０１  バス、５０２  樹木、５０３  山
【図１】
2015012485.tif 000003
【図２】
2015012485.tif 000004
【図３】
2015012485.tif 000005
【図４】
2015012485.tif 000006
【図５】
2015012485.tif 000007
【図６】
2015012485.tif 000008
【図７】
2015012485.tif 000009
【図８】
2015012485.tif 000010
【図９】
2015012485.tif 000011
【図１０】
2015012485.tif 000012
【図１１】
2015012485.tif 000013
【図１２】
2015012485.tif 000014
【図１３】
2015012485.tif 000015
【図１４】
2015012485.tif 000016