(57)【要約】【課題】撮影シーンに適した立体画像を得ることが可能な立体撮像装置を提供する。【解決手段】第１の撮像手段１１Ｒおよび第２の撮像手段１１Ｌは、単一の撮影光学系１２Ｒ，１２Ｌの瞳の異なる領域を通過した光束を画素群毎にそれぞれ光電変換する複数の画素群を含む単眼３Ｄセンサ１６Ｒ，１６Ｌを有し、ＬＳＩ４０Ｍは、第１の撮像手段１１Ｒにより得られた視点画像と第２の撮像手段１１Ｌにより得られた視点画像とを立体画像としてメディア５４に記録する複眼立体撮影の機能と、第１の撮像手段１１Ｒおよび第２の撮像手段１１Ｌのうち一方の撮像手段（例えば１１Ｒ）により得られた複数の視点画像を立体画像としてメディア５４に記録する単眼立体撮影の機能とを有する。【選択図】図５
2011211381.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像する第１の撮像手段および第２の撮像手段と、前記第１の撮像手段および前記第２の撮像手段を制御して立体画像を取得する制御手段とを備えた立体撮像装置であって、
前記第１の撮像手段および前記第２の撮像手段のうち少なくとも一方は、単一の撮影光学系の異なる領域を通過した光束を画素群毎にそれぞれ光電変換する複数の画素群を含む撮像素子を有し、
前記制御手段は、前記第１の撮像手段により得られた視点画像と前記第２の撮像手段により得られた視点画像とを前記立体画像として記録媒体に記録する複眼立体撮影の機能と、前記第１の撮像手段および前記第２の撮像手段のうち前記複数の画素群を有する一方の撮像手段により得られた複数の視点画像を前記立体画像として前記記録媒体に記録する単眼立体撮影の機能とを有することを特徴とする立体撮像装置。
【請求項２】
前記第１の撮像手段は、前記撮影光学系と、前記撮影光学系を通過した光束に対して瞳分割をせずに光電変換を行う通常撮像素子とを有することを特徴とする請求項１に記載の立体撮像装置。
【請求項３】
前記第１の撮像手段および前記第２の撮像手段は、それぞれ、前記撮影光学系と、前記複数の画素群を含む撮像素子とを有することを特徴とする請求項１に記載の立体撮像装置。
【請求項４】
被写体を撮像する第１の撮像手段および第２の撮像手段と、前記第１の撮像手段および前記第２の撮像手段を制御して立体画像を取得する制御手段とを備えた立体撮像装置であって、
前記第１の撮像手段と前記第２の撮像手段とで共用する撮影光学系としてのメイン光学系と、
前記メイン光学系を通過した光束を分割するミラーまたはプリズムからなる光束分割体と、を備え、
前記第１の撮像手段および前記第２の撮像手段は、それぞれ、前記光束分割体で分割された光束を結像する結像光学系と、前記結像光学系の異なる領域を通過した光束を画素群毎にそれぞれ光電変換する複数の画素群を含む撮像素子とを有し、
前記制御手段は、前記第１の撮像手段により得られた視点画像と前記第２の撮像手段により得られた視点画像とを前記立体画像として記録媒体に記録する複眼立体撮影の機能と、前記第１の撮像手段および前記第２の撮像手段のうち前記複数の画素群を有する一方の撮像手段により得られた複数の視点画像を前記立体画像として前記記録媒体に記録する単眼立体撮影の機能とを有することを特徴とする立体撮像装置。
【請求項５】
前記制御手段は、前記撮影光学系の撮影条件に基づいて、前記単眼立体撮影および前記複眼立体撮影のうちいずれを行うかを判断することを特徴とする請求項１ないし４のうちいずれか１項に記載の立体撮像装置。
【請求項６】
前記制御手段は、光学ズーム倍率および被写体距離のうち少なくとも一方に基づいて、前記単眼立体撮影および前記複眼立体撮影のうちいずれを行うかを判断することを特徴とする請求項５に記載の立体撮像装置。
【請求項７】
前記制御手段は、前記単眼立体撮影および前記複眼立体撮影のうち少なくとも一方における前記立体画像の視差量の適否を判定し、前記単眼立体撮影および前記複眼立体撮影のうちいずれを行うかを判断することを特徴とする請求項５または６に記載の立体撮像装置。
【請求項８】
前記撮影条件と前記単眼立体撮影および前記複眼立体撮影の切り替えとの関係を示すテーブル情報を記憶する記憶手段を備え、
前記制御手段は、前記テーブル情報に基づいて、前記単眼立体撮影および前記複眼立体撮影のうち前記撮影条件に対応する撮影を選択することを特徴とする請求項５または６に記載の立体撮像装置。
【請求項９】
前記撮影光学系の撮影条件と、前記第１の撮像手段の前記複数の画素群および前記第２の撮像手段の前記複数の画素群のうち前記立体画像の取得に用いる複数の画素群との関係を示すテーブル情報を記憶する記憶手段を備え、
前記制御手段は、前記テーブル情報に基づいて、前記第１の撮像手段の前記複数の画素群および前記第２の撮像手段の前記複数の画素群のうちから前記立体画像の取得に用いる画素群を選択することを特徴とする請求項３または４に記載の立体撮像装置。
【請求項１０】
前記制御手段は、少なくとも前記撮像手段での瞳分割の基線長と合焦位置の被写体の距離と非合焦位置の被写体の距離とに基づいて、前記立体画像での前記非合焦位置の被写体像の視差量を求め、該視差量に基づいて前記単眼立体撮影および前記複眼立体撮影の切り替えを行うことを特徴とする請求項１ないし４のうちいずれか１項に記載の立体撮像装置。
【請求項１１】
前記制御手段は、少なくとも前記撮像手段における瞳分割の基線長と焦点距離と合焦位置の被写体の距離と絞り値とに基づいて、前記立体画像での非合焦位置の被写体像の視差量を算出し、該視差量に基づいて前記単眼立体撮影および前記複眼立体撮影の切り替えを行うことを特徴とする請求項１ないし４のうちいずれか１項に記載の立体撮像装置。
【請求項１２】
前記第１の撮像手段での瞳分割の基線長と前記第２の撮像手段での瞳分割の基線長とが異なり、
前記制御手段は、前記単眼立体撮影を行う場合、前記第１の撮像手段および前記第２の撮像手段のうちいずれを用いて前記立体画像を生成するかを切り換えることで、前記立体画像の視差量を切り換えることを特徴とする請求項３または４に記載の立体撮像装置。
【請求項１３】
前記制御手段は、前記撮影光学系の撮影条件に基づいて、前記撮像手段の選択を行うことを特徴とする請求項１２に記載の立体撮像装置。
【請求項１４】
撮影モードを選択入力する撮影モード選択入力手段を備え、
前記制御手段は、選択入力された前記撮影モードに基づいて、前記撮像手段の選択を行うことを特徴とする請求項１２に記載の立体撮像装置。
【請求項１５】
前記瞳分割の基線長は、前記撮影光学系の光軸に直交する面における前記撮影光学系の前記異なる領域の重心位置間の間隔であることを特徴とする請求項１０ないし１４のうちいずれか１項に記載の立体撮像装置。
【請求項１６】
前記複数の画素群を含む撮像素子は、前記撮影光学系を通過した光束を集光するマイクロレンズと、前記マイクロレンズを通過した光束を受光するフォトダイオードと、前記フォトダイオードの受光面を部分的に遮光する遮光部材とを含んで構成され、
前記瞳分割の基線長は、前記撮影光学系の径と、前記遮光部材による前記フォトダイオードの受光面の遮光量とにより定まることを特徴とする請求項１０ないし１４のうちいずれか１項に記載の立体撮像装置。
【請求項１７】
前記複数の画素群を含む撮像素子は、前記撮影光学系を通過した光束を集光するマイクロレンズと、前記マイクロレンズを通過した光束を受光するフォトダイオードとを含んで構成され、
前記マイクロレンズの光軸と前記フォトダイオードの光軸とがずれて配置され、
前記瞳分割の基線長は、前記撮影光学系の径と、前記マイクロレンズの光軸と前記フォトダイオードの光軸とのずれ量とにより定まることを特徴とする請求項１０ないし１４のうちいずれか１項に記載の立体撮像装置。
【請求項１８】
撮影モードを選択入力する撮影モード選択入力手段を備え、
前記制御手段は、選択入力された前記撮影モードに応じて、前記単眼立体撮影および前記複眼立体撮影のうちいずれを行うかを判断することを特徴とする請求項１ないし４のうちいずれか１項に記載の立体撮像装置。
【請求項１９】
前記制御手段は、静止画撮影モードの場合には前記複眼立体撮影を行うと決定し、動画撮影モードの場合には前記単眼立体撮影を行うと判断することを特徴とする請求項１８に記載の立体撮像装置。
【請求項２０】
前記制御手段は、マクロ撮影モードの場合には前記単眼立体撮影を行うと決定することを特徴とする請求項１８に記載の立体撮像装置。
【請求項２１】
前記第１の撮像手段の前記複数の画素群および前記第２の撮像手段の前記複数の画素群により四つの視点画像を取得可能であり、
前記制御手段は、前記複眼立体撮影を行う場合、前記四つの視点画像に基づいて前記立体画像を生成することを特徴とする請求項３または４に記載の立体撮像装置。
【請求項２２】
前記第１の撮像手段の前記複数の画素群および前記第２の撮像手段の前記複数の画素群により四つの視点画像を取得可能であり、
前記制御手段は、前記複眼立体撮影を行う場合、前記四つの視点画像のうちから前記立体画像を構成する視点画像を選択することで、前記立体画像の視差量を切り換えることを特徴とする請求項３または４に記載の立体撮像装置。
【請求項２３】
本立体撮像装置の本体の傾きであって前記第１の撮像手段および前記第２の撮像手段の前記撮影光学系の光軸に直交する面内の傾きを検出する傾き検出センサを備え、
前記第１の撮像手段は、前記撮影光学系を通過した光束を受光する受光面にて第１の方向に分離された縦撮り用の複数の画素群を有し、
前記第２の撮像手段は、前記撮影光学系を通過した光束を受光する受光面にて前記第１の方向と直交する第２の方向に分離された横撮り用の複数の画素群を有し、
前記制御手段は、前記単眼立体撮影を行う場合、前記傾き検出センサにより検出された前記傾きに基づいて、前記第１の撮像手段の複数の画素群を用いた縦撮りの単眼立体撮影および前記第２の撮像手段の複数の画素群を用いた横撮りの単眼立体撮影のうちいずれかを選択することを特徴とする請求項３または４に記載の立体撮像装置。
【請求項２４】
前記制御手段は、前記第１の撮像手段の前記複数の画素群および前記第２の撮像手段の前記複数の画素群のうち、前記立体画像の生成に用いない画素群により得られる視点画像を用いて、前記立体画像の生成に用いる画素群により得られる視点画像に不足した情報を補間することを特徴とする請求項１ないし２３のうちいずれか１項に記載の立体撮像装置。
【請求項２５】
前記制御手段は、単眼立体撮影と複眼立体撮影とを切り替えるとき、単眼立体撮影と複眼立体撮影とで画角を一致させる制御を行うことを特徴とする請求項１ないし２４のうちいずれか１項に記載の立体撮像装置。
【請求項２６】
前記制御手段は、単眼立体撮影と複眼立体撮影とを切り替えるとき、前記立体画像の視差量を滑らかに変化させる制御を行うことを特徴とする請求項１ないし２５のうちいずれか１項に記載の立体撮像装置。
【請求項２７】
前記制御手段は、前記第１の撮像手段及び前記第２の撮像手段で得られた複数の視点画像に基づいて多視点化処理を行うことを特徴とする請求項１ないし２６のうちいずれか１項に記載の立体撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は立体撮像装置に係り、特に撮影レンズの異なる領域を通過した被写体像をそれぞれ撮像素子に結像させ、異なる視点画像を取得する技術に関する。
【背景技術】
【０００２】
従来、この種の立体撮像装置（単眼立体撮影装置）として、図１８に示す光学系を有するものが知られている（特許文献１）。
【０００３】
この光学系は、メインレンズ１及びリレーレンズ２の左右方向の異なる領域を通過した被写体像をミラー４により瞳分割し、それぞれ結像レンズ５、６を介して撮像素子７、８に結像させるようにしている。
【０００４】
図１９（Ａ）〜（Ｃ）は、それぞれ前ピン、合焦（ベストフォーカス）、及び後ピンの違いによる撮像素子に結像する像の分離状態を示す図である。尚、図１９では、フォーカスによる分離の違いを比較するために、図１８に示したミラー４を省略している。
【０００５】
図１９（Ｂ）に示すように瞳分割された像のうちの合焦している像は、撮像素子上の同一位置に結像する（一致する）が、図１９（Ａ）及び（Ｃ）に示すように前ピン及び後ピンとなる像は、撮像素子上の異なる位置に結像する（分離する）。
【０００６】
従って、左右方向に瞳分割された被写体像を撮像素子７、８を介して取得することにより、被写体距離に応じて視差の異なる左視点画像及び右視点画像（３Ｄ画像）を取得することができる。
【０００７】
特許文献２には、焦点検出技術に関し、一つのレンズの内部で偏向手段によって瞳分割し、分離した像情報から焦点検出（デフォーカス量の検出）を行う構成が記載されている。
【０００８】
特許文献３には、表示装置であって、立体表示／平面表示を切り替える構成が開示されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特表２００９−５２７００７号公報
【特許文献２】特開２００９−１６８９９５号公報
【特許文献３】ＷＯ２００６／０５４５１８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、撮影シーンにより適した立体画像を得られない場合がある。
【００１１】
例えば、遠距離の被写体を撮影する場合、従来の単眼立体撮影装置では立体画像の視差量が付き難いことがある。また、レンズズーム倍率が小さい場合、従来の単眼立体撮影装置では立体画像の視差量が付き難いことがある。遠距離撮影や小ズーム倍率で視差量が大きくなるように設計することも可能ではあるが、その場合には、マクロ（近距離）撮影や大ズーム倍率で視差量が付き過ぎてしまう。
【００１２】
本発明はこのような事情に鑑みてなされたもので、撮影シーンに適した立体画像を得ることが可能な立体撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
前記目的を達成するために、本発明は、被写体を撮像する第１の撮像手段および第２の撮像手段と、前記第１の撮像手段および前記第２の撮像手段を制御して立体画像を取得する制御手段とを備えた立体撮像装置であって、前記第１の撮像手段および前記第２の撮像手段のうち少なくとも一方は、単一の撮影光学系の瞳の異なる領域を通過した光束を画素群毎にそれぞれ光電変換する複数の画素群を含む撮影素子を有し、前記制御手段は、前記第１の撮像手段により得られた視点画像と前記第２の撮像手段により得られた視点画像とを前記立体画像として記録媒体に記録する複眼立体撮影の機能と、前記第１の撮像手段および前記第２の撮像手段のうち前記複数の画素群を有する一方の撮像手段により得られた複数の視点画像を前記立体画像として前記記録媒体に記録する単眼立体撮影の機能とを有することを特徴とする立体撮像装置を提供する。即ち、単眼立体撮影および複眼立体撮影の両機能を備えることで、撮影シーンに適した立体画像を得ることが可能になる。
【００１４】
本発明の一実施形態では、前記第１の撮像手段は、前記撮影光学系と、前記撮影光学系を通過した光束に対して瞳分割をせずに光電変換を行う通常撮像素子とを有することを特徴とする。即ち、平面（２Ｄ）撮影では、通常撮像素子を有する第１の撮像手段を用いて高品質の２Ｄ画像を取得することができ、立体（３Ｄ）撮影では単眼立体撮影および複眼立体撮影を選択することができる。これにより、撮影シーンに応じて適切な画像を取得することができる。
【００１５】
本発明の一実施形態では、前記第１の撮像手段および前記第２の撮像手段は、それぞれ、前記撮影光学系と、前記単眼立体撮影素子とを有することを特徴とする。
【００１６】
本発明の一実施形態では、被写体を撮像する第１の撮像手段および第２の撮像手段と、前記第１の撮像手段および前記第２の撮像手段を制御して立体画像を取得する制御手段とを備えた立体撮像装置であって、前記第１の撮像手段と前記第２の撮像手段とで共用する撮影光学系としてのメイン光学系と、前記メイン光学系を通過した光束を分割するミラーまたはプリズムからなる光束分割体と、を備え、前記第１の撮像手段および前記第２の撮像手段は、それぞれ、前記光束分割体で分割された光束を結像する結像光学系と、前記結像光学系の異なる領域を通過した光束を画素群毎にそれぞれ光電変換する複数の画素群を含む撮影素子とを有し、前記制御手段は、前記第１の撮像手段により得られた視点画像と前記第２の撮像手段により得られた視点画像とを前記立体画像として記録媒体に記録する複眼立体撮影の機能と、前記第１の撮像手段および前記第２の撮像手段のうち前記複数の画素群を有する一方の撮像手段により得られた複数の視点画像を前記立体画像として前記記録媒体に記録する単眼立体撮影の機能とを有することを特徴とする。
【００１７】
本発明の一実施形態では、前記制御手段は、前記撮影光学系の撮影条件に基づいて、前記単眼立体撮影および前記複眼立体撮影のうちいずれを行うかを判断することを特徴とする。
【００１８】
本発明の一実施形態では、前記制御手段は、光学ズーム倍率および被写体距離のうち少なくとも一方に基づいて、前記単眼立体撮影および前記複眼立体撮影のうちいずれを行うかを判断することを特徴とする。
【００１９】
本発明の一実施形態では、前記制御手段は、前記単眼立体撮影および前記複眼立体撮影の少なくとも一方における前記立体画像の視差量の適否を判定し、前記単眼立体撮影および前記複眼立体撮影のうちいずれを行うかを判断することを特徴とする。
【００２０】
本発明の一実施形態では、前記撮影条件と前記単眼立体撮影および前記複眼立体撮影の切り替えとの関係を示すテーブル情報を記憶する記憶手段を備え、前記制御手段は、前記テーブル情報に基づいて、前記単眼立体撮影および前記複眼立体撮影のうち前記撮影条件に対応する撮影を選択することを特徴とする。
【００２１】
本発明の一実施形態では、前記撮影光学系の撮影条件と、前記第１の撮像手段の前記複数の画素群および前記第２の撮像手段の前記複数の画素群のうち前記立体画像の取得に用いる複数の画素群との関係を示すテーブル情報を記憶する記憶手段を備え、前記制御手段は、前記テーブル情報に基づいて、前記第１の撮像手段の前記複数の画素群および前記第２の撮像手段の前記複数の画素群のうちから前記立体画像の取得に用いる画素群を選択することを特徴とする。
【００２２】
本発明の一実施形態では、前記制御手段は、少なくとも前記撮像手段での瞳分割の基線長と合焦位置の被写体の距離と非合焦位置の被写体の距離とに基づいて、前記立体画像での前記非合焦位置の被写体像の視差量を求め、該視差量に基づいて前記単眼立体撮影および前記複眼立体撮影の切り替えを行うことを特徴とする。
【００２３】
本発明の一実施形態では、前記制御手段は、少なくとも前記撮像手段における瞳分割の基線長と焦点距離と合焦位置の被写体の距離と絞り値とに基づいて、前記立体画像での非合焦位置の被写体像の視差量を算出し、該視差量に基づいて前記単眼立体撮影および前記複眼立体撮影の切り替えを行うことを特徴とする。
【００２４】
本発明の一実施形態では、前記第１の撮像手段での瞳分割の基線長と前記第２の撮像手段での瞳分割の基線長とが異なり、前記制御手段は、前記単眼立体撮影を行う場合、前記第１の撮像手段および前記第２の撮像手段のうちいずれを用いて前記立体画像を生成するかを切り換えることで、前記立体画像の視差量を切り換えることを特徴とする。即ち、画素群間の基線長が異なる複数の撮像手段から撮影シーンに適した撮像手段を選択して、立体感を有する立体画像を取得できる。
【００２５】
例えば、前記制御手段は、前記撮影光学系の撮影条件に基づいて、前記撮像手段の選択を行うことを特徴とする。
【００２６】
また、例えば、撮影モードを選択入力する撮影モード選択入力手段を備え、前記制御手段は、選択入力された前記撮影モードに基づいて、前記撮像手段の選択を行うことを特徴とする。
【００２７】
例えば、前記瞳分割の基線長は、前記撮影光学系の光軸に直交する面における前記撮影光学系の前記異なる領域の重心位置間の間隔である。
【００２８】
例えば、前記複数の画素群を含む撮像素子は、前記撮影光学系を通過した光束を集光するマイクロレンズと、前記マイクロレンズを通過した光束を受光するフォトダイオードと、前記フォトダイオードの受光面を部分的に遮光する遮光部材とを含んで構成され、前記瞳分割の基線長は、前記撮影光学系の径と、前記遮光部材による前記フォトダイオードの受光面の遮光量とにより定まる。
【００２９】
例えば、前記複数の画素群を含む撮像素子は、前記撮影光学系を通過した光束を集光するマイクロレンズと、前記マイクロレンズを通過した光束を受光するフォトダイオードとを含んで構成され、前記マイクロレンズの光軸と前記フォトダイオードの光軸とがずれて配置され、前記瞳分割の基線長は、前記撮影光学系の径と、前記マイクロレンズの光軸と前記フォトダイオードの光軸とのずれ量とにより定まる。
【００３０】
本発明の一実施形態では、撮影モードを選択入力する撮影モード選択入力手段を備え、前記制御手段は、選択入力された前記撮影モードに応じて、前記単眼立体撮影および前記複眼立体撮影のうちいずれを行うかを判断することを特徴とする。
【００３１】
本発明の一実施形態では、前記制御手段は、静止画撮影モードの場合には前記複眼立体撮影を行うと決定し、動画撮影モードの場合には前記単眼立体撮影を行うと判断することを特徴とする。
【００３２】
本発明の一実施形態では、前記制御手段は、マクロ撮影モードの場合には前記単眼立体撮影を行うと決定することを特徴とする。
【００３３】
本発明の一実施形態では、前記第１の撮像手段の前記複数の画素群および前記第２の撮像手段の前記複数の画素群により四つの視点画像を取得可能であり、前記制御手段は、前記複眼立体撮影を行う場合、前記四つの視点画像に基づいて前記立体画像を生成することを特徴とする。即ち、四視点から撮像された連続性のある立体画像を取得可能である。
【００３４】
本発明の一実施形態では、前記第１の撮像手段の前記複数の画素群および前記第２の撮像手段の前記複数の画素群により四つの視点画像を取得可能であり、前記制御手段は、前記複眼立体撮影を行う場合、前記四つの視点画像のうちから前記立体画像を構成する視点画像を選択することで、前記立体画像の視差量を切り換えることを特徴とする。
【００３５】
本発明の一実施形態では、本立体撮像装置の本体の傾きであって前記第１の撮像手段および前記第２の撮像手段の前記撮影光学系の光軸に直交する面内の傾きを検出する傾き検出センサを備え、前記第１の撮像手段は、前記撮影光学系を通過した光束を受光する受光面にて第１の方向に分離された縦撮り用の複数の画素群を有し、前記第２の撮像手段は、前記撮影光学系を通過した光束を受光する受光面にて前記第１の方向と直交する第２の方向に分離された横撮り用の複数の画素群を有し、前記制御手段は、前記単眼立体撮影を行う場合、前記傾き検出センサにより検出された前記傾きに基づいて、前記第１の撮像手段の複数の画素群を用いた縦撮りの単眼立体撮影および前記第２の撮像手段の複数の画素群を用いた横撮りの単眼立体撮影のうちいずれかを選択する。
【００３６】
本発明の一実施形態では、前記制御手段は、前記第１の撮像手段の前記複数の画素群および前記第２の撮像手段の前記複数の画素群のうち、前記立体画像の生成に用いない画素群により得られる視点画像を用いて、前記立体画像の生成に用いる画素群により得られる視点画像に不足した画素に関する情報を補間することを特徴とする。
【００３７】
本発明の一実施形態では、前記制御手段は、単眼立体撮影と複眼立体撮影とを切り替えるとき、単眼立体撮影と複眼立体撮影とで画角を一致させる制御を行うことを特徴とする。
【００３８】
本発明の一実施形態では、前記制御手段は、単眼立体撮影と複眼立体撮影とを切り替えるとき、前記立体画像の視差量を滑らかに変化させる制御を行うことを特徴とする。
【００３９】
本発明の一実施形態では、前記制御手段は、前記第１の撮像手段及び前記第２の撮像手段で得られた複数の視点画像に基づいて多視点化処理を行うことを特徴とする。
【発明の効果】
【００４０】
本発明によれば、撮影シーンに適した立体画像を得ることが可能な立体撮像装置を提供することができる。
【図面の簡単な説明】
【００４１】
【図１】立体撮像装置のブロック図
【図２】単眼３Ｄセンサの構成例を示す図
【図３】主、副画素の１画素ずつを示した図
【図４】図３の要部拡大図
【図５】第１実施形態における立体撮像装置の要部概略ブロック図
【図６】第２実施形態における撮影処理の流れを示す要部概略フローチャート
【図７】第３実施形態における撮影処理の流れを示す要部概略フローチャート
【図８】第４実施形態における立体撮像装置の要部構造を示す平面透視図
【図９】第５実施形態における立体撮像装置の要部概略ブロック図
【図１０】第６実施形態における立体撮像装置の要部概略ブロック図
【図１１】第７実施形態における立体撮像装置の要部概略ブロック図
【図１２】第８実施形態における立体撮像装置の要部概略ブロック図
【図１３】撮像手段の基線長の説明に用いる模式図
【図１４】第９実施形態におけるテーブル情報の一例を示す説明図
【図１５】第１０実施形態における撮影処理の流れを示す要部概略フローチャート
【図１６】視差量の説明図
【図１７】視差量算出の説明図
【図１８】従来の単眼の立体撮像装置の光学系の一例を示す図
【図１９】単眼の立体撮像装置により位相差のある画像が撮像される原理を示す図
【発明を実施するための形態】
【００４２】
以下、添付図面に従って、本発明の実施形態について、詳細に説明する。
【００４３】
［撮像装置の全体構成］
図１は本発明に係る立体撮像装置１０の実施の形態を示すブロック図である。
【００４４】
この立体撮像装置１０は、撮像した画像をメモリカード５４（以下「メディア」ともいう）に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。
【００４５】
立体撮像装置１０には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて立体撮像装置１０の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、立体表示用の液晶モニタ３０の表示制御などを行う。
【００４６】
シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、２Ｄ撮影モード、３Ｄ撮影モード、オート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、マクロモード、動画モード、本発明に係る視差優先撮影モードを選択する選択手段である。
【００４７】
再生ボタンは、撮影記録した立体視画像（３Ｄ画像）、平面画像（２Ｄ画像）の静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。
【００４８】
撮影モード時において、被写体を示す画像光は、フォーカスレンズ、ズームレンズを含む撮影レンズ１２（１２Ｒ，１２Ｌ）、絞り１４（１４Ｒ，１４Ｌ）を介して位相差イメージセンサである固体撮像素子１６（１６Ｒ，１６Ｌ、以下「単眼３Ｄセンサ」という）の受光面に結像される。撮影レンズ１２（１２Ｒ，１２Ｌ）は、ＣＰＵ４０によって制御されるレンズ駆動部３６（３６Ｒ，３６Ｌ）によって駆動され、フォーカス制御、ズーム制御等が行われる。絞り１４（１４Ｒ，１４Ｌ）は、例えば、５枚の絞り羽根からなり、ＣＰＵ４０によって制御される絞り駆動部３４（３４Ｒ，３４Ｌ）によって駆動され、例えば、絞り値Ｆ1.4〜Ｆ11まで１ＡＶ刻みで６段階に絞り制御される。
【００４９】
また、ＣＰＵ４０は、絞り駆動部３４（３４Ｒ，３４Ｌ）を介して絞り１４（１４Ｒ，１４Ｌ）を制御するとともに、ＣＣＤ制御部３２（３２Ｒ、３２Ｌ）を介して単眼３Ｄセンサ１６での電荷蓄積時間（シャッタ速度）や、単眼３Ｄセンサ１６からの画像信号の読み出し制御等を行う。
【００５０】
＜単眼３Ｄセンサの構成例＞
図２は単眼３Ｄセンサ１６の構成例を示す図である。
【００５１】
単眼３Ｄセンサ１６は、それぞれマトリクス状に配列された奇数ラインの画素（主画素）と、偶数ラインの画素（副画素）とを有しており、これらの主、副画素にてそれぞれ光電変換された２面分の画像信号は、独立して読み出すことができるようになっている。
【００５２】
図２に示すように単眼３Ｄセンサ１６の奇数ライン（１、３、５、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられ、一方、偶数ライン（２、４、６、…）の画素は、奇数ラインと同様に、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられるとともに、偶数ラインの画素に対して画素同士が２分の１ピッチだけライン方向にずれて配置されている。
【００５３】
図３は撮影レンズ１２（撮影光学系）、絞り１４、及び単眼３Ｄセンサ１６の主画素ＰＤａ、副画素ＰＤｂの１画素ずつを示した図であり、図４は図３の要部拡大図である。
【００５４】
図４（Ａ）に示すように通常のＣＣＤの画素（フォトダイオードＰＤ）には、射出瞳を通過する光束が、マイクロレンズＬを介して制限を受けずに入射する。
【００５５】
これに対し、図４（Ｂ）に示す単眼３Ｄセンサ１６は、撮影レンズ１２を通過した光束を集光するマイクロレンズＬと、マイクロレンズＬを通過した光束を受光するフォトダイオードＰＤ（主画素ＰＤａ及び副画素ＰＤｂ）と、フォトダイオードＰＤの受光面を部分的に遮光する遮光部材１６Ａを含んで構成されている。本例では、遮光部材１６Ａにより主画素ＰＤａ、副画素ＰＤｂの受光面の右半分、又は左半分が遮光されている。即ち、遮光部材１６Ａが瞳分割部材としての機能を有している。
【００５６】
尚、上記構成の単眼３Ｄセンサ１６は、主画素ＰＤａと副画素ＰＤｂとでは、遮光部材１６Ａにより光束が制限されている領域（右半分、左半分）が異なるように構成されているが、これに限らず、遮光部材１６Ａを設けずに、例えば図４（Ｃ）に示すように、マイクロレンズＬとフォトダイオードＰＤ（ＰＤａ，ＰＤｂ）とを相対的に左右方向（瞳分割方向）にずらし、マイクロレンズＬの光軸ＩｃとフォトダイオードＰＤａ，ＰＤｂの光軸Ｐｃとをずれて配置することで、フォトダイオードＰＤに入射する光束が制限されるものでもよい。また、２つの画素（主画素と副画素）に対して１つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるものでもよい。
【００５７】
図１に戻って、単眼３Ｄセンサ１６（１６Ｒ，１６Ｌ）に蓄積された信号電荷は、ＣＣＤ制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。単眼３Ｄセンサ１６（１６Ｒ，１６Ｌ）から読み出された電圧信号は、アナログ信号処理部１８（１８Ｒ，１８Ｌ）に加えられ、ここで各画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、ＣＰＵ４０から指定されたゲイン（ＩＳＯ感度に相当）で増幅されたのちＡ／Ｄ変換器２０（２０Ｒ，２０Ｌ）に加えられる。Ａ／Ｄ変換器２０（２０Ｒ，２０Ｌ）は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２（２２Ｒ，２２Ｌ）に出力する。
【００５８】
第１の撮影レンズ１２Ｒ、第１の絞り１４Ｒ、第１の単眼３Ｄセンサ１６Ｒ、第１のアナログ信号処理部１８Ｒ、第１のＡ／Ｄ変換器２０Ｒ、第１の画像入力コントローラ２２Ｒ、第１のＣＣＤ制御部３２Ｒ、第１の絞り駆動部３４Ｒ、および、第１のレンズ駆動部３６Ｒによって、第１の撮像手段１１Ｒが構成されている。また、第２の撮影レンズ１２Ｌ、第２の絞り１４Ｌ、第２の単眼３Ｄセンサ１６Ｌ、第２のアナログ信号処理部１８Ｌ、第２のＡ／Ｄ変換器２０Ｌ、第２の画像入力コントローラ２２Ｌ、第２のＣＣＤ制御部３２Ｌ、第２の絞り駆動部３４Ｌ、および、第２のレンズ駆動部３６Ｌによって、第２の撮像手段１１Ｌが構成されている。
【００５９】
デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、同時化処理、ＹＣ処理、シャープネス補正等の所定の信号処理を行う。
【００６０】
また、ＥＥＰＲＯＭ４６は、カメラ制御プログラム、単眼３Ｄセンサ１６の欠陥情報、画像処理等に使用する各種のパラメータやテーブル、プログラム線図、本発明に係る複数の視差優先プログラム線図等が記憶されている不揮発性メモリである。
【００６１】
ここで、図２（Ｂ）及び（Ｃ）に示すように、単眼３Ｄセンサ１６の奇数ラインの主画素から読み出される主画像データは、左視点画像データとして処理され、偶数ラインの副画素から読み出される副画像データは、右視点画像データとして処理される。
【００６２】
デジタル信号処理部２４で処理された左視点画像データ及び右視点画像データ（３Ｄ画像データ）は、ＶＲＡＭ５０に入力する。ＶＲＡＭ５０には、それぞれが１コマ分の３Ｄ画像を表す３Ｄ画像データを記憶するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の３Ｄ画像を表す３Ｄ画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域及びＢ領域のうち、３Ｄ画像データが書き換えられている方の領域以外の領域から、書き込まれている３Ｄ画像データが読み出される。ＶＲＡＭ５０から読み出された３Ｄ画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている立体表示用の液晶モニタ３０に出力され、これにより３Ｄの被写体像が液晶モニタ３０の表示画面上に表示される。
【００６３】
この液晶モニタ３０は、立体視画像（左視点画像及び右視点画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示手段であるが、これに限らず、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左視点画像と右視点画像とを個別に見ることができるものでもよい。
【００６４】
また、操作部３８のシャッタボタンの第１段階の押下（半押し）があると、単眼３Ｄセンサ１６は、ＡＦ動作及びＡＥ動作を開始させ、レンズ駆動部３６を介して撮影レンズ１２内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にＡ／Ｄ変換器２０から出力される画像データは、ＡＥ検出部４４に取り込まれる。
【００６５】
ＡＥ検出部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影ＥＶ値）を算出し、この撮影ＥＶ値に基づいて絞り１４の絞り値及び単眼３Ｄセンサ１６の電子シャッタ（シャッタ速度）を所定のプログラム線図にしたがって決定し、その決定した絞り値に基づいて絞り駆動部３４を介して絞り１４を制御するとともに、決定したシャッタ速度に基づいてＣＣＤ制御部３２を介して単眼３Ｄセンサ１６での電荷蓄積時間を制御する。
【００６６】
ＡＦ処理部４２は、コントラストＡＦ処理又は位相ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、左視点画像データ及び右視点画像データの少なくとも一方の画像データのうちの所定のフォーカス領域内の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮影レンズ１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。また、位相差ＡＦ処理を行う場合には、左視点画像データ及び右視点画像データのうちの所定のフォーカス領域内の主画素、副画素に対応する画像データの位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるように撮影レンズ１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。
【００６７】
ＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される主画素及び副画素に対応する左視点画像（主画像）及び右視点画像（副画像）の２枚分の画像データが画像入力コントローラ２２からメモリ(SDRAM) ４８に入力し、一時的に記憶される。
【００６８】
メモリ４８に一時的に記憶された２枚分の画像データは、デジタル信号処理部２４により適宜読み出され、ここで画像データの輝度データ及び色差データの生成処理（ＹＣ処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶される。続いて、２枚分のＹＣデータは、それぞれ圧縮伸長処理部２６に出力され、JPEG (joint photographic experts group)などの所定の圧縮処理が実行されたのち、再びメモリ４８に記憶される。
【００６９】
メモリ４８に記憶された２枚分のＹＣデータ（圧縮データ）から、マルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）が生成され、そのＰＭファイルは、メディア・コントローラ５２により読み出され、メモリカード５４に記録される。
【００７０】
図１に示した基本構成の立体撮像装置１０は、被写体を撮像する第１の撮像手段１１Ｒおよび第２の撮像手段１１Ｌと、第１の撮像手段１１Ｒおよび第２の撮像手段１１Ｌを制御する制御手段としてのＣＰＵ４０を備える。第１の撮像手段１１Ｒおよび第２の撮像手段１１Ｌのうち少なくとも一方は、単一の撮影レンズ１２（１２Ｒ、１２Ｌ）の射出瞳の異なる領域を通過した光束をそれぞれ光電変換する複数の画素群を含む撮像素子（単眼３Ｄセンサ１６）有する。ＣＰＵ４０は、第１の撮像手段１１Ｒにより得られた視点画像（画像情報）と第２の撮像手段１１Ｌにより得られた視点画像（画像情報）とを立体画像としてメモリカード５４に記録する複眼立体撮影の機能と、第１の撮像手段１１Ｒおよび第２の撮像手段１１Ｌのうち複数の画素群を有する一方の撮像手段により得られた複数の視画像（複数の画像情報）を立体画像としてメモリカード５４に記録する単眼立体撮影の機能とを有する。
【００７１】
以下では、本発明に係る立体撮像装置を各種の実施形態に分けて説明する。
【００７２】
＜第１実施形態＞
まず、第１実施形態について、説明する。
【００７３】
図５は、第１実施形態における立体撮像装置１０ａの要部概略ブロック図である。図５において、第１の撮像手段１１Ｒおよび第２の撮像手段１１Ｌは、それぞれ、単一の撮影レンズ１２Ｒ，１２Ｌと、撮影レンズ１２Ｒ，１２Ｌの射出瞳の異なる領域を通過した光束をそれぞれ光電変換する複数の画素群を含む単眼３Ｄセンサ１６Ｒ，１６Ｌを有する。第１の単眼３Ｄセンサ１６ＲはＡ画素群（主画素群）およびＢ画素群（副画素群）を有する。第２の単眼３Ｄセンサ１６ＬはＣ画素群（主画素群）およびＤ画素群（副画素群）を有する。画素群の配列の一例は、図２（Ａ）〜（Ｃ）に示し既に説明した通りである。また、各画素の構造の一例は、図３および図４を用いて説明した通りである。
【００７４】
図５に示す３つのＬＳＩ４０Ｒ、４０Ｌ、４０Ｍは、図１のＣＰＵ４０に対応する。第１のＬＳＩ４０Ｒは第１の撮像手段１１Ｒを制御し、第２のＬＳＩ４０Ｌは第２の撮像手段１１Ｌを制御し、第３のＬＳＩ４０Ｍは本装置の全体制御と複眼立体撮影および単眼立体撮影の選択および実行制御を行う。複眼立体撮影時には、第１の撮像手段１１Ｒの画素群（例えばＡ画素群）により得られた第１の視点画像と、第２の撮像手段１１Ｌの画素群（例えばＤ画素群）により得られた第２の視点画像とによって立体画像情報を生成し、メモリカード５４に記録する。また、単眼立体撮影時には、第１の撮像手段１１Ｒおよび第２の撮像手段のうち一方の撮像手段の複数の画素群によりそれぞれ得られた第１の視点画像および第２の視点画像情報によって立体画像を生成し、メモリカード５４に記録する。
【００７５】
例えば、ＬＳＩ４０は、マクロ（近接）撮影モードであるときには単眼立体撮影を行い、撮影モードが通常撮影モードであるときには複眼立体撮影を行う。
【００７６】
また、以下のような各種の応用を加えてもよい。
【００７７】
第１に、ＬＳＩ４０Ｍの制御により、第１の撮像手段１１Ｒの複数の画素群および第２の撮像手段１１Ｌの複数の画素群のうち、立体画像の生成に用いない画素群により得られる視点画像（画像情報）を用いて、立体画像の生成に用いる画素群により得られる視点画像（画素情報）に不足した情報を補間する態様がある。例えば、第１の撮像手段１１ＲのＡ画素群により得られる視点画像と第２の撮像手段のＤ画素群により得られる視点画像とにより立体画像を生成する場合、オクルージョン画素（立体画像を構成する視点画像間で対応点を検出することができなかった画素）に関する情報（オクルージョン画素の位置情報、画素値、視差マップなど）を算出し、その情報を立体画像に付加する。
【００７８】
第２に、ＬＳＩ４０Ｍの制御により、動画撮影中に単眼立体撮影と複眼立体撮影との切り替えを違和感無く行う態様がある。例えば、単眼立体撮影と複眼立体撮影とで画角を一致させる制御、立体画像の視差量を滑らかに変化させる制御等が挙げられる。具体的には、ズーム倍率、絞り値、画像切り出し範囲などを調整する制御が挙げられる。
【００７９】
第３に、第１の撮像手段１１Ｒ及び第２の撮像手段１１Ｌで得られた複数の視点画像に基づいて多視点化処理を行う。例えば、第１の撮像手段１１Ｒにより得られる視点画像と第２の撮像手段により得られる視点画像とにより立体画像を生成する場合、更に第１の撮像手段１１Ｒと第２の撮像手段１２Ｌとの間の仮想視点における中間視点画像を追加してもよい。中間視点画像を生成するには、複数の視点画像間で対応点を検出し、対応点間の視差量を示す視差マップを生成し、複数の視点画像と視差マップとに基づいて中間視点画像を生成する。
【００８０】
＜第２実施形態＞
次に、第２実施形態について説明する。
【００８１】
第２実施形態にて立体撮像装置の要部構成は、図５に示した第１実施形態と同様であり、ＬＳＩ４０Ｍによる撮像制御が異なる。本実施形態のＬＳＩ４０Ｍは、撮影レンズ１２の撮影条件を取得し、その撮影条件に基づいて視差量の適否を判定して、単眼立体撮影および複眼立体撮影のうちいずれを行うかを判断する。
【００８２】
図６は、第２実施形態における撮影処理の一例の流れを示す概略フローチャートである。本処理はＬＳＩ４０Ｍにより実行される。
【００８３】
ステップＳ２１にて、ＬＳＩ４０Ｍは、撮影レンズ１２（１２Ｒおよび１２Ｌ）に現在設定されているズーム倍率（光学倍率）を確認する。
【００８４】
ステップＳ２２にて、ＬＳＩ４０Ｍは、撮影レンズ１２に設定するズーム倍率（切り替え値Ａ）を取得する。本例では、ズーム倍率をメモリ４８（またはＥＥＰＲＯＭ４６）から取得する。尚、ズーム倍率は、操作部３８により指示入力され、メモリ４８（またはＥＥＰＲＯＭ４６）に格納されている。
【００８５】
ステップＳ２３にて、Ｓ１押し（シャッタボタンの半押し）を受け付ける。
【００８６】
ステップＳ２４にて、ＬＳＩ４０Ｍは、被写体距離Ｂを取得する。本例では、ＡＦ（オートフォーカス）合焦時のＳＴＭ（ステッピング・モータ）パルス数に基づいて、被写体距離Ｂを算出する。
【００８７】
ステップＳ２５にて、ＬＳＩ４０Ｍは、ズーム倍率（切り替え値Ａ）および被写体距離Ｂに基づいて、単眼立体撮影および複眼立体撮影における立体画像の視差量の適否を判定し、複眼立体撮影を行うか単眼立体撮影を行うかを決定する。ズーム倍率Ａおよび被写体距離Ｂのうちいずれか一方を用いて、視差量の適否を判定してもよい。単眼立体撮影および複眼立体撮影のうちいずれか一方の視差量の適否を判定してもよい。
【００８８】
立体画像における視差量は、撮影レンズ１２におけるズーム倍率が大きいほど大きくなり、被写体距離の大小によっても異なる。また、立体画像における視差量は、単眼立体撮影よりも複眼立体撮影の方が大きくなる。例えば、ＬＳＩ４０Ｍは、ズーム倍率Ａおよび被写体距離Ｂに基づいて、単眼立体撮影により生成される立体画像に視差量が付き難い撮影シーンであるか否かを判定し、視差量が付き難い撮影シーンであると判定した場合には複眼立体撮影を行うと決定し、視差量が付き易い撮影シーンであると判定した場合には単眼立体撮影を行うと決定する。あるいは、複眼立体撮影により生成される立体画像に視差量が付き過ぎる撮影シーンであるか否かを判定し、視差量が付き過ぎる撮影シーンであると判定した場合には単眼立体撮影を行うと決定し、視差量が付き過ぎない撮影シーンであると判定した場合には複眼立体撮影を行うと決定する。例えば、視差量を算出し、その視差量を閾値と比較することで撮影方法の決定を行う。
【００８９】
ステップＳ２６にて、Ｓ２押し（シャッタボタンの全押し）を受け付ける。
【００９０】
ステップＳ２７にて、ＬＳＩ４０Ｍは、単眼立体撮影および複眼立体撮影のうちステップＳ２５で決定された立体撮影を行う。
【００９１】
＜第３実施形態＞
次に、第３実施形態について、説明する。
【００９２】
第３実施形態にて立体撮像装置の要部構成は、図５に示した第１実施形態と同様であり、ＬＳＩ４０Ｍによる撮像制御が異なる。ＬＳＩ４０Ｍは、操作部３８により選択入力された撮影モードに応じて、視差量の適否を判定し、単眼立体撮影および複眼立体撮影のうちいずれを行うかを判断する。
【００９３】
図７（Ａ）は、第３実施形態の立体撮像装置における撮影処理の一例の流れを示す概略フローチャートである。
【００９４】
なお、本処理のスタート時点では、デフォルトとして静止画撮影および複眼立体撮影の設定が済んでいるものとする。
【００９５】
ステップＳ３１にて、ＬＳＩ４０Ｍは、静止画撮影モードであるか動画撮影モードであるかを判定する。ＬＳＩ４０Ｍは、静止画撮影モードの場合には、ステップＳ３２にて静止画撮影モードの設定を行い、動画撮影モードの場合には、ステップＳ３３にて動画撮影モードの設定を行い、ステップＳ３４にて単眼立体撮影の設定を行う。
【００９６】
そして、ステップＳ３５にて、設定された撮影が行われる。
【００９７】
図７（Ｂ）は、第３実施形態の立体撮像装置における撮影処理の他の例の要部概略フローチャートである。
【００９８】
本処理のスタート時点では、デフォルトとして通常撮影および複眼立体撮影の設定が済んでいるものとする。
【００９９】
ステップＳ３６にて、ＬＳＩ４０Ｌは、マクロ撮影モードであるか通常撮影モードであるかを判定する。ＬＳＩ４０Ｌは、通常撮影モードである場合には、ステップＳ３７にて複眼立体撮影の設定を行い、マクロ撮影モードである場合には、ステップＳ３８にてマクロ撮影モードの設定を行い、ステップＳ３９にて単眼立体撮影の設定を行う。
【０１００】
そして、ステップＳ４０にて、設定された撮影が行われる。
【０１０１】
＜第４実施形態＞
次に、第４実施形態について説明する。
【０１０２】
図８は、第４実施形態における立体撮像装置１０ｄの要部構造を示す平面透視図である。図８に示すように、本実施形態の立体撮像装置１０ｄは、メインレンズ１２Ａ（図１の撮影レンズ１２Ｒ、１２Ｌに相当）および絞り１４（図１の１４Ｒ、１４Ｌに相当）を有するメイン光学系ユニット６１を備える。メインレンズ１２Ａは、フォーカスレンズおよびズームレンズを含む。メイン光学系ユニット６１は、第１の撮像手段１１Ｒおよび第２の撮像手段１１Ｌとで共用される。なお、図８にて、単眼３Ｄセンサ１６Ｒ、１６Ｌよりも右側の構成、即ち図１にて単眼３Ｄセンサ１６Ｒ、１６Ｌよりも右側の構成は、図示を省略したが、図１に示した基本構成と同様である。また、本例の単眼３Ｄセンサ１６Ｒ、１６Ｌは、図２〜図４に示した通りである。以下では、図１に示した基本構成と異なる事項のみ説明する。
【０１０３】
図８にて、メインレンズ１２Ａおよび絞り１４を含むメイン光学系ユニット６１は、環状のレンズマウント６２を介して、鏡胴本体前部６３に装着されている。鏡胴本体前部６３は鏡胴本体中間部６４を介して鏡胴本体後部６５に連なっている。鏡胴本体中間部６４内にはリレーレンズ１３が配置されている。鏡胴本体後部６４内には、ミラー６６と、二つの結像レンズ１５Ｒ、１５Ｌと、二つの単眼３Ｄセンサ１６Ｒ，１６Ｌが配置されている。
【０１０４】
図８にて、メイン光学系ユニット６１の光軸Ｉｏはミラー６６により左右の二つの光軸ＩｏＲ，ＩｏＬに分岐されており、メイン光学系ユニット６１の瞳１２Ｂを通過した光束はミラー６６により左右に分割される。即ち、ミラー６６は、メイン光学系ユニット６１の瞳１２Ｂの右半分の領域を通過した光束を第１の結像レンズ１５Ｒに入射させて、メイン光学系ユニット６１の瞳１２Ｂの左半分の領域を通過した光束を第２の結像レンズ１５Ｌに入射させる。第１の結像レンズ１５Ｒに入射した光束は、第１の単眼３Ｄセンサ１６Ｒの受光面に被写体像として結像し、第２の結像レンズ１５Ｌに入射した光束は、第２の単眼３Ｄセンサ１６Ｌの受光面に被写体像として結像する。
【０１０５】
第１の単眼３Ｄセンサ１６Ｒは、第１の結像レンズ１５Ｒの互いに異なる領域（右半分、左半分）を通過した光束をそれぞれ光電変換するＡ画素群（主画素群）およびＢ画素群（副画素群）を有する。第２の単眼３Ｄセンサ１６Ｌは、第２の結像レンズ１５Ｌの互いに異なる領域（右半分、左半分）を通過した光束をそれぞれ光電変換するＣ画素群（主画素群）およびＤ画素群（副画素群）を有する。すなわち、メイン光学系ユニット６１の瞳１２Ｂを通過した光束は、ミラー６６で分割され、更に各単眼３Ｄセンサ１６Ｒ、１６Ｌ自体（具体的には図４の遮光部材１６Ａ）により分割されて、合計４視点の画素群（Ａ〜Ｄ画素群）にそれぞれ入射する。なお、各単眼３Ｄセンサ１６Ｒ、１６Ｌにおける画素群の配列は、図２に示した通りである。
【０１０６】
撮影処理は、ＬＳＩ４０Ｍにより、第２実施形態や第３実施形態で説明したように行うことができる。
【０１０７】
なお、メイン光学系ユニット６１を通過した光束を、ミラーを用いて分割する場合を例に説明したが、プリズムにより分割するようにしてもよい。
【０１０８】
＜第５実施形態＞
次に、第５実施形態について、説明する。
【０１０９】
図９は、第５実施形態における立体撮像装置１０ｅの要部概略ブロック図である。以下では、第１実施形態と異なる事項のみ説明する。
【０１１０】
本実施形態にて、ＬＳＩ４０Ｍは、複眼立体撮影を行う場合、合計四つの画素群（第１の単眼３Ｄセンサ１６ＲのＡ画素群およびＢ画素群と、第２の単眼３Ｄセンサ１６ＬのＣ画素群およびＤ画素群）で生成可能な合計四視点の視点画像（画像情報）のうちから、立体画像を構成する二視点の視点画像を選択することで、立体画像の視差量を切り換える。即ち、ＬＳＩ４０Ｍは、生成しようとする立体画像の視差の大きさ（目的の視差量）に応じて、四視点画像のうちからいずれの二視点画像により立体画像を生成するのかを、選択する。  
【０１１１】
例えば、ＬＳＩ４０Ｍは、被写体距離が遠距離（大）、通常距離（中）、近距離（小）のいずれであるかを判定し、遠距離の場合にはＡ画素群およびＤ画素群で生成された二視点の画像情報を選択し、通常距離の場合にはＢ画素群およびＣ画素群で生成された二つの視点画像（二視点画像）を選択し、近距離の場合にはＣ画素群およびＤ画素群（またはＡ画素群およびＢ画素群）で生成された二つの視点画像（二視点画像）を選択することで、立体画像を生成する。即ち、画素群Ａ−Ｄ間，Ｂ−Ｃ間，Ｃ−Ｄ（またはＡ−Ｂ）間の基線長の違いにより、立体画像の視差量を切り換える。
【０１１２】
なお、四つの視点画像に基づいて二視点の立体画像を生成してもよい。例えば、通常距離の場合、Ａ画素群で得られた画像情報とＢ画素群で得られた画像情報とを合成して第１の合成画像を生成し、Ｃ画素群で得られた画像情報とＤ画素群で得られた画像情報とを合成して第２の合成画像を生成し、第１の合成画像と第２の合成画像とにより立体画像を構成してもよい。例えば、複数の画像情報間で対応点検出を行って視差マップを生成し、複数の画像情報および視差マップに基づいて画像を再構築（合成）する。
【０１１３】
＜第６実施形態＞
次に、第６実施形態について、説明する。
【０１１４】
図１０は、第６実施形態における立体撮像装置１０ｆの要部概略ブロック図である。
【０１１５】
図１０にて、第１の撮像手段１１Ｒは、撮影レンズ１２Ｒおよび絞り１４Ｒと、通常画素が配列された通常センサ１７とを有する。通常センサ１７は、例えばＣＣＤセンサ等からなる。通常センサ１７の受光面には、図４（Ａ）に示した通常画素が配列されている。通常画素は、図４（Ｂ）に示した位相差画素とは異なり、遮光部材１６Ａが無く、撮影レンズ１２Ｒを通過した光束に対して瞳分割をせずに光電変換を行う。つまり、撮影レンズ１２Ｒの射出瞳の分割を行わない。
【０１１６】
第２の撮像手段１１Ｌは、第１実施形態にて説明したものと同じであり、撮影レンズ１２Ｌおよび絞り１４Ｌと、単眼３Ｄセンサ１６Ｌとを有する。単眼３Ｄセンサ１６Ｌは、撮影レンズ１２Ｌの瞳の互いに異なる領域を通過した光束をそれぞれ光電変換する複数の画素群を有する。
【０１１７】
本例のＬＳＩ４０Ｍは、単眼立体撮影の場合、第２の撮像手段１１ＬのＡ画素群（主画素群）により得られた右視点の画像情報と、第２の撮像手段１１ＬのＢ画素群（副画素群）により得られた左視点の画像情報とを、立体画像として、メディア（メモリカード５４）に記録する。
【０１１８】
また、本例のＬＳＩ４０Ｍは、複眼立体撮影の場合、第１の撮像手段１１Ｒの通常画素群により得られた右視点の画像情報と、第２の撮像手段１１Ｌの複数の画素群（Ａ画素群、Ｂ画素群）のうち一方の画素群（例えばＢ画素群）により得られた左視点の画像情報とを、立体画像として、メディア（メモリカード５４）に記録する。
【０１１９】
ＬＳＩ４０Ｍは、３Ｄ撮影（立体撮影）の場合、単眼立体撮影および複眼立体撮影のうちいずれで行うかを判断する。複眼立体撮影および単眼立体撮影の選択態様は、各種ある。例えば、第２実施形態にて説明したように、光学ズーム倍率、被写体距離などの視差量に関連する撮影条件に応じて、選択してもよい。また、例えば、第３実施形態で説明したように、撮影モードに応じて、選択してもよい。例えば、マクロ撮影モードの場合には単眼立体撮影を行い、通常撮影モードの場合には複眼立体撮影を行う。
【０１２０】
また、ＬＳＩ４０Ｍは、２Ｄ（平面）撮影の場合、第１の撮像手段１１Ｒにより平面画像を取得して、メモリカード５４に記録する。
【０１２１】
＜第７実施形態＞
次に、第７実施形態について、説明する。
【０１２２】
図１１は、第７実施形態における立体撮像装置１０ｇの概略ブロック図である。
【０１２３】
本実施形態の立体撮像装置１０ｇは、立体撮像装置１０ｇの本体の傾きであって撮影レンズ１２Ｒ，１２Ｌの光軸ＩＯに直交する面（図中の互いに直交するｘ軸およびｙ軸により定まる面）内の傾きを検出することで、縦撮りおよび横撮りのいずれであるかを検出する縦横検出センサ５８（傾き検出センサ）を備える。
【０１２４】
また、第１の撮像手段１１Ｒは、縦方向（図中のｙ軸方向）に分離（瞳分割）された複数の画素群を有し、第２の撮像手段１１Ｌは、横方向（図中のｘ方向）に分離（瞳分割）された複数の画素群を有する。本例にて、一方の撮像手段１１Ｒの単眼３Ｄセンサ１６Ｒは、図２の配列をｚ軸中心に９０度回転させた配列、即ち撮影レンズ１２Ｒを通過した光束を受光する受光面にてｙ軸方向（縦方向）に分離（瞳分割）された、縦撮り用の主画素群および副画素群を有する。また、他方の撮像手段１１Ｌの単眼３Ｄセンサ１６Ｌは、図２に示したように、撮影レンズ１２Ｌを通過した光束を受光する受光面にてｘ軸方向（横方向）に分離された横撮り用の主画素群および副画素群を有する。
【０１２５】
本実施形態のＬＳＩ４０Ｍは、単眼立体撮影を行う場合には、縦横検出センサ５８により検出された傾きに基づいて、第１の撮像手段１１Ｒの単眼３Ｄセンサ１６Ｒの複数の画素群を用いた縦撮りの単眼立体撮影、および、第２の撮像手段１１Ｌの単眼３Ｄセンサ１６Ｌの複数の画素群を用いた横撮りの単眼立体撮影のうち、いずれかを選択する。即ち、単眼立体撮影であって縦横検出センサ５８により縦撮りであることが検出された場合には、第１の撮像手段１１Ｒを用いた縦撮りの立体撮影を行い、単眼立体撮影であって縦横検出センサ５８により横撮りであることが検出された場合には、第２の撮像手段１１Ｌを用いた横撮りの立体撮影を行い、複眼立体撮影の場合には第１の撮像手段１１Ｒおよび第２の撮像手段１１Ｌを用いた横撮りの立体撮影を行う。
【０１２６】
＜第８実施形態＞
次に、第８実施形態について、説明する。
【０１２７】
図１２は、第８実施形態における立体撮像装置１０ｈの要部概略ブロック図である。以下では、図５に示した第１実施形態における立体撮像装置１０ａとは異なる事項のみ説明する。
【０１２８】
本実施形態の立体撮像装置１０ｈは、基線長（分離幅）が異なる複数の撮像手段１１Ｒ，１１Ｌを備える。
【０１２９】
まず、撮像手段１１Ｒ、１１Ｌの基線長について説明する。図１３の模式図に示すように、撮影レンズ１２の異なる瞳分割領域ＡＲ、ＡＬの重心位置ＧＲ、ＧＬ間の間隔が、基線長ＳＢである。この基線長ＳＢを本明細書では「瞳分割の基線長」という。詳細には、撮影レンズ１２の右半分ＡＲ（図中では上半分）のうち主画素ＰＤａにより受光される光束が通過する有効面積の重心位置ＧＲと、撮影レンズ１２の左半分ＡＬ（図中では下半分）のうち副画素ＰＤｂにより受光される光束が通過する有効面積の重心位置ＧＬとの間隔（｜ＧＲ−ＧＬ｜）が、基線長ＳＢである。
【０１３０】
基線長ＳＢは、基本的には、撮影レンズ１２の口径Ｄ(射出瞳の径)により定まる。即ち、基本的には、ＳＢ＝Ｄ×αである。αは、口径Ｄと基線長ＳＢとの対応関係を示す基本係数である。
【０１３１】
ただし、基線長ＳＢは、単眼３Ｄセンサ１６における画素ＰＤａ，ＰＤｂ間の分離量によっても定まる。
【０１３２】
例えば、図４（Ｂ）の単眼３Ｄセンサ１６では、撮影レンズ１２の口径Ｄと、遮光部材１６ＡによるフォトダイオードＰＤａ，ＰＤｂの遮光量（マスク量）とにより、基線長ＳＢが定まる。即ち、実際には、ＳＢ＝Ｄ×α×ｍであって、分離係数ｍは、図４（Ｂ）にてフォトダイオードＰＤａ，ＰＤｂの有効受光幅ＰＬとその遮光幅ＳＬとによって定まる。即ち、図４（Ｂ）の遮光幅ＳＬが大きいほど、分離係数ｍが大きくなり、図１３の基線長ＳＢが矢印ｋの方向に伸長する。
【０１３３】
例えば、図４（Ｃ）の単眼３Ｄセンサ１６では、撮影レンズ１２の口径Ｄと、マイクロレンズＬの光軸中心ＩｃとフォトダイオードＰＤとの光軸中心Ｐｃとのずれ量△ｃ（光軸ずれ量）とにより、基線長ＳＢが定まる。即ち、実際には、ＳＢ＝Ｄ×α×ｍであって、分離係数ｍは△ｃにより定まる。即ち、図４（Ｃ）の△ｃが大きいほど、分離係数ｍが大きくなり、図１３の基線長ＳＢが矢印ｋの方向に伸長する。
【０１３４】
本実施形態の立体撮像装置１０ｈは、第１の撮像手段１１Ｒの単眼３Ｄセンサ１６ＲにおけるＡ画素群（主画素群）とＢ画素群（副画素群）と、第２の撮像手段１１Ｌの単眼３Ｄセンサ１６ＬにおけるＣ画素群（主画素群）とＤ画素群（副画素群）とで、分離係数ｍが異なる。
【０１３５】
なお、図４（Ｂ）および（Ｃ）に示した以外の構造で画素群間の分離を行ってもよい。例えば、主画素および副画素のペアに対して１つのマイクロレンズを設けることにより、各画素に入射する光束が制限される構造でもよい。また、分離係数ｍ＝１である場合、即ちＳＢ＝Ｄ×αである場合にも、本発明を適用可能であることは、言うまでもない。
【０１３６】
ＬＳＩ４０Ｍは、単眼立体撮影を行う場合、第１の撮像手段１１Ｒおよび第２の撮像手段１１Ｌのうちいずれを用いて立体画像を生成するかを切り換えることで、立体画像の視差量を切り換える。
【０１３７】
撮像手段１１Ｒ、１１Ｌの選択態様には、第１に、撮影条件に基づいて選択する態様、第２に、撮影モードに基づいて選択する態様がある。撮影条件としては、撮影レンズ１２のズーム倍率、被写体距離などが挙げられる。撮影モードとしては、マクロ撮影モード／通常撮影モード、静止画撮影モード／動画撮影モードなどがある。
【０１３８】
例えば、遠景撮影モードの場合には複眼立体撮影を行い、通常撮影モードの場合には基線長が大きい方の単眼３Ｄセンサ１６Ｌを用いて単眼立体撮影を行い、マクロ撮影モードの場合には基線長が小さい方の単眼３Ｄセンサ１６Ｒを用いて単眼立体撮影を行う。
【０１３９】
＜第９実施形態＞
次に、第９実施形態について、説明する。
【０１４０】
第９実施形態にて立体撮像装置の要部構成は、図５に示した第１実施形態と同様であり、ＬＳＩ４０Ｍによる撮像制御が異なる。
【０１４１】
本実施形態のＬＳＩ４０Ｍは、図１のＥＥＰＲＯＭ４６に記憶されたテーブル情報に基づいて、単眼立体撮影および複眼立体撮影の切り替えを行う。図１４に示すように、テーブル情報は、撮影条件（本例では光学ズーム倍率と合焦被写体距離）と、単眼立体撮影および複眼立体撮影の切り替えとの関係を示す。
【０１４２】
次に、第９実施形態における撮影処理の一例を図６のフローチャートを用いて説明する。本処理はＬＳＩ４０Ｍにより実行される。以下では、第２実施形態と異なる事項のみ説明する。
【０１４３】
ステップＳ２１〜Ｓ２４は、第２実施形態と同様である。
【０１４４】
ステップＳ２５にて、ＬＳＩ４０Ｍは、ＥＥＰＲＯＭ４６に記憶されたテーブル情報に基づいて、単眼立体撮影および複眼立体撮影の切り替えを行う。
【０１４５】
通常撮影モードの場合には、図１４に示すように、合焦被写体距離（フォーカスレンズが合焦した被写体の距離）および光学ズーム倍率の組み合わせにより、単眼立体撮影および複眼立体撮影の切り替えを行う。合焦した被写体が遠距離である場合には、光学ズーム倍率が「Ｔ」（テレ）側であればＢ，Ｃ画素群を用いて複眼立体撮影を行うことで立体画像を取得し、「Ｗ」（ワイド）側であればＡ，Ｄ画素群を用いて複眼立体撮影を行うことで立体画像を取得する。また、合焦した被写体が近距離である場合には、光学ズーム倍率が「Ｔ」（テレ）側であればＡ，Ｂ画素群（またはＣ，Ｄ画素群）を用いて単眼立体撮影を行うことで立体画像を取得し、「Ｗ」（ワイド）側であればＢ，Ｃ画素群を用いて複眼立体撮影を行うことで立体画像を取得する。なお、合焦被写体距離の遠／近はフォーカスレンズ位置を用いて判定すればよく、光学ズーム倍率の大小（テレ側／ワイド側）は焦点距離（またはズームレンズ位置）を用いて判定すればよい。
【０１４６】
なお、マクロ撮影の場合には、図１４に示すように、Ａ、Ｂ画素群（またはＣ，Ｄ画素群）を用いて単眼立体撮影を行う。
【０１４７】
ステップＳ２６およびＳ２７は、第２実施形態と同様である。
【０１４８】
以上説明したように、本実施形態のＥＥＰＲＯＭ４６は、撮影条件と単眼立体撮影および複眼立体撮影の切り替えとの関係を示すテーブル情報を記憶し、本実施形態のＬＳＩ４０Ｍは、テーブル情報に基づいて、単眼立体撮影および複眼立体撮影のうち撮影条件に対応する撮影を選択する。また、本実施形態のＥＥＰＲＯＭ４６は、第１の撮像手段１１Ｒの複数の画素群および第２の撮像手段１１Ｌの複数の画素群のうち立体画像の取得に用いる複数の画素群との関係を示すテーブル情報を記憶し、本実施形態のＬＳＩ４０Ｍは、テーブル情報に基づいて、第１の撮像手段１１Ｒの複数の画素群および第２の撮像手段１１Ｌの複数の画素群のうちから立体画像の取得に用いる画素群を選択する。
【０１４９】
＜第１０実施形態＞
次に、第１０実施形態について、説明する。
【０１５０】
第１０実施形態にて立体撮像装置の要部構成は、図５に示した第１実施形態と同様であり、ＬＳＩ４０Ｍによる撮像制御が異なる。
【０１５１】
本実施形態のＬＳＩ４０Ｍは、少なくとも瞳分割の基線長ＳＢと合焦位置の被写体の距離（合焦被写体距離）と非合焦位置の被写体の距離（非合焦被写体距離）とに基づいて、立体画像での非合焦位置の被写体像の視差量を算出し、該視差量に基づいて単眼立体撮影および複眼立体撮影の切り替えを行う。
【０１５２】
図１５は、第１０実施形態における撮影処理の一例の流れを示す概略フローチャートである。本処理はＬＳＩ４０Ｍにより実行される。
【０１５３】
ステップＳ１０１にて、ＬＳＩ４０Ｍは、撮像手段１１（１１Ｒ、１１Ｌ）の基線長（瞳分割の基線長）を取得する。基線長は、第８実施形態にて説明したので、ここでは説明を省略する。例えば、ＬＳＩ４０Ｍは、ＥＥＰＲＯＭ４６に予め記憶されている基線長をＥＥＰＲＯＭ４６から取得する。
【０１５４】
ステップＳ１０２〜Ｓ１０５は、第２実施形態における図６のステップＳ２１〜Ｓ２４と同様である。
【０１５５】
ステップＳ１０６にて、ＬＳＩ４０Ｍは、絞り値（「Ｆ値」、「FNo.」ともいう）を取得する。絞り値は、ＡＥ検出部４４により、撮影ＥＶ値（被写体の明るさを示す）に基づいてプログラム線図等に基づいて決定される。例えば、ＡＥ検出部４４から直接取得しｔもよいし、メモリ４８を介して間接的に取得してもよい。
【０１５６】
ステップＳ１０７にて、ＬＳＩ４０Ｍは、撮像手段１１の基線長図（１３のＳＢ）と、合焦位置の被写体距離（合焦被写体距離）と、非合焦位置の被写体距離（非合焦被写体距離）に基づいて、視差量を求める。例えば、図１６に示すように、主画素群により得られる主画素データ（主画像）と副画素群により得られる副画素データ（副画像）との被写体（本例では顔）の像の視差量Ｐ／Ｗを取得する。尚、本例では、画素単位の視差量Ｐを画像幅Ｗにより正規化した値Ｐ／Ｗを用いているが、Ｐをそのまま用いてもよい。
【０１５７】
視差量の求め方には各種あるが、例えば、図１７に示すように、合焦被写体距離、焦点距離ｆ、絞り値ＦＮｏ、および基線長ＳＢに基づいて、視差量Ｐ／Ｗを演算する。本例では、基線長ＳＢ＝３．２１ｍｍである撮像手段１１について、合焦被写体距離別に、非合焦被写体距離に応じた視差量Ｐ／Ｗを算出する。
【０１５８】
即ち、撮像手段１１における焦点距離ｆ、絞り値ＦＮｏ（Ｆ値）、基線長ＳＢ、および、合焦位置（特定の被写体に合焦したフォーカスレンズの位置）に基づいて、視差量を算出する。
【０１５９】
ステップＳ１０８にて、ＬＳＩ４０Ｍは、求めた視差量に基づいて、単眼立体撮影および複眼立体撮影の切り替えを行う。例えば、無限遠における視差量が、閾値（単位％）以下の場合には複眼立体撮影を行い、閾値よりも大きい場合には単眼立体撮影を行うと判定する。近距離における視差量に基づいて、単眼立体撮影および複眼立体撮影の判定を行ってもよい。
【０１６０】
ステップＳ１０９〜Ｓ１１０は、第２実施形態におけるステップＳ２６〜Ｓ２７と同様である。
【０１６１】
なお、第１実施形態〜第１０実施形態に分けて説明したが、本発明は各実施形態を単独で実施する場合には特に限定されず、組み合わせ可能な任意の複数の実施形態を組み合わせて実施してもよい。
【０１６２】
また、撮像素子はＣＣＤセンサに限定されず、ＣＭＯＳセンサを用いてもよい。
【０１６３】
本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。
【符号の説明】
【０１６４】
１０（１０ａ，１０ｂ，１０ｃ，１０ｄ，１０ｅ，１０ｆ，１０ｇ，１０ｈ）…立体撮像装置、１１（１１Ｒ，１１Ｌ）…撮像手段、１２（１２Ｒ、１２Ｌ）…撮影レンズ、１４（１４Ｒ，１４Ｌ）…絞り、１６（１６Ｒ，１６Ｌ）…単眼３Ｄセンサ、１６Ａ…遮光部材、３０…ＬＣＤ、３８…操作部、４０（４０Ｍ，４０Ｒ，４０Ｌ）…ＣＰＵ（ＬＳＩ）、４６…ＥＥＰＲＯＭ、５４…メモリカード、６６…ミラー
【図１】
2011211381.tif 000003
【図２】
2011211381.tif 000004
【図３】
2011211381.tif 000005
【図４】
2011211381.tif 000006
【図５】
2011211381.tif 000007
【図６】
2011211381.tif 000008
【図７】
2011211381.tif 000009
【図８】
2011211381.tif 000010
【図９】
2011211381.tif 000011
【図１０】
2011211381.tif 000012
【図１１】
2011211381.tif 000013
【図１２】
2011211381.tif 000014
【図１３】
2011211381.tif 000015
【図１４】
2011211381.tif 000016
【図１５】
2011211381.tif 000017
【図１６】
2011211381.tif 000018
【図１７】
2011211381.tif 000019
【図１８】
2011211381.tif 000020
【図１９】
2011211381.tif 000021