(57)【特許請求の範囲】
【請求項１】
左眼用及び右眼用の受光素子を備え、絞りを有する同一の撮像光学系を通過した光束を変換して左眼用及び右眼用の画像を出力する撮像素子と、
左眼用及び右眼用の画像における視差が変化するよう前記絞りの開口を制御する制御手段と、
前記撮像素子により出力された左眼用及び右眼用の画像を用いて、両眼立体視用の画像を生成する生成手段と、を備え、
前記生成手段は、左眼用及び右眼用の画像における視差が異なる第１の状態及び第２の状態の各々について撮像された左眼用及び右眼用の画像各々の画素値を状態間で減算することにより、何れかの状態の左眼用及び右眼用の画像より視差を拡張した前記両眼立体視用の画像を生成する
ことを特徴とする撮像装置。
【請求項２】
前記第２の状態は左眼用及び右眼用の画像における視差が前記第１の状態よりも小さい状態であり、
前記生成手段は、前記第１の状態について撮像された左眼用及び右眼用の画像各々の画素値から、前記第２の状態について撮像された左眼用及び右眼用の画像各々の画素値を減算することにより前記両眼立体視用の画像を出力する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像素子は、撮像光学系の射出瞳の異なる領域を通過した光束をそれぞれ前記左眼用及び右眼用の受光素子により受光し、左眼用及び右眼用の画像を出力することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記第１の状態について撮像された画像に係る露光時間と前記第２の状態について撮像された画像に係る露光時間とは、同じ長さであることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記生成手段は、前記第１の状態について撮像された画像において前記絞りにより生じる周辺画素の光量の減衰率と、前記第２の状態について撮像された画像において生じる周辺画素の光量の減衰率とが同一となるように、少なくともいずれかの画像の周辺画素の光量の減衰率を補正してから、前記両眼立体視用の画像を生成することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記生成手段は、前記両眼立体視用の画像の生成において平均輝度を所定の輝度値に補償することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記生成手段は、前記第１の状態について撮像された画像に飽和画素が含まれる場合は、前記第１の状態について撮像された左眼用及び右眼用の画像を前記両眼立体視用の画像として出力することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記生成手段が出力する前記両眼立体視用の画像により生じる視差を設定する設定手段をさらに備え、
前記制御手段は、前記設定手段により設定された視差が大きいほど、前記第１の状態の左眼用及び右眼用の画像における視差と前記第２の状態の左眼用及び右眼用の画像における視差との差が小さくなるように、前記第１の状態及び前記第２の状態における前記絞りの開口を制御することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記設定手段は、ユーザにより設定された撮影モードに応じて、前記両眼立体視用の画像により生じる視差を設定することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
左眼用及び右眼用の受光素子を備え、絞りを有する同一の撮像光学系を通過した光束を変換して左眼用及び右眼用の画像を出力する撮像素子を備える撮像装置の制御方法であって、
制御手段が、左眼用及び右眼用の画像における視差が変化するよう前記絞りの開口を制御する制御工程と、
生成手段が、前記撮像素子により出力された左眼用及び右眼用の画像を用いて、両眼立体視用の画像を生成する生成工程と、を備え、
前記生成手段は前記生成工程において、左眼用及び右眼用の画像における視差が異なる第１の状態及び第２の状態の各々について撮像された左眼用及び右眼用の画像各々の画素値を状態間で減算することにより、何れかの状態の左眼用及び右眼用の画像より視差を拡張した前記両眼立体視用の画像を生成する
ことを特徴とする撮像装置の制御方法。
【請求項１１】
コンピュータを、請求項１乃至９のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
【請求項１２】
請求項１１に記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、１つの撮像光学系を用いて両眼立体視用の画像を生成する技術に関する。
【背景技術】
【０００２】
近年、様々な方式を用いてユーザに両眼立体視を可能せしめる表示装置や、このような表示装置で閲覧可能な両眼立体視用の画像を生成可能なデジタルカメラ等の撮像装置が普及してきている。
【０００３】
人間の脳は、左右の眼のそれぞれで捉えた画像を比較し、画像間で生じているずれである視差によって距離、即ち立体を知覚可能であるため、両眼立体視用の画像は左眼用及び右眼用の画像で構成されている。両眼立体視用の画像を生成可能な撮像装置の中には、離間して配置された２つの撮像光学系を有するものがあり、当該撮像光学系を用いて左眼用及び右眼用の画像を撮影することが可能である。
【０００４】
また一方で、１つの撮像光学系を有する撮像装置においても視差を有する両眼立体視用の画像を撮影することも可能である。例えば特許文献１には、マイクロレンズアレイを設け、１つのマイクロレンズに対応して配置された一対の受光素子それぞれに、撮像光学系の射出瞳の異なる位置を通過した光束を結像させることにより、左眼用及び右眼用の画像を撮影する技術が開示されている。
【０００５】
なお、両眼立体視用の画像において、奥行き方向で注視点の存在する基準面において視差は０となるが、当該面より遠離あるいは近接する位置に存在するように知覚されるオブジェクトについては、基準面より離れるほど視差が生じる。即ち、左眼用及び右眼用の画像間における像の最大の位置ずれ量を制御することにより、閲覧者に知覚させる奥行き方向の立体感を制御することができる。
【０００６】
このため、両眼立体視用の画像を撮影可能な撮像装置の中には、閲覧者に知覚させる立体感を決定した上で画像を撮影可能なものもある。例えば、２つの撮像光学系を有する撮像装置の場合、撮影した左眼用及び右眼用の画像それぞれにおける切り出し位置や、画像の拡大率を変更することにより、画像間における像の位置ずれ量を制御することができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開昭５８−２４１０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、１つの撮像光学系を有する撮像装置の場合、閲覧者に知覚させることが可能な立体感は、撮像光学系の仕様により制限される。例えば図１１（ａ）に示すように、１つのマイクロレンズ１１０１に対応して配置された、左眼用及び右眼用の一対の受光素子１１０２及び１１０３には、射出瞳１１０４のうちのそれぞれ異なる領域１１０５及び１１０６を通過した光束が結像される。このとき、左眼用の受光素子１１０２及び右眼用の受光素子１１０３のそれぞれにマイクロレンズにより屈折されたて入射する光束は、所定の入射角の範囲を有する。
【０００９】
入射角における入射光束の強度分布は図１１（ｂ）のようになる。図１１（ｂ）では、受光素子に対して入射する光の入射角を、右側からの入射角を横軸の正、左側からの入射角を横軸の負とし、それぞれの入射角で入射する光束の強度を縦軸とした図である。図には、左眼用の受光素子１１０２への入射光束の強度分布は１１１１、右眼用の受光素子１１０３への入射光束の強度分布は１１１２として示されている。強度のピークはそれぞれの入射光束が射出瞳を通過した領域における重心位置となっているため、当該受光素子により生成された左眼用及び右眼用の画像における最大の視差は、領域１１０５及び１１０６の重心位置がなす距離に制限されることになる。
【００１０】
即ち、１つの撮像光学系で撮影された両眼立体視用の画像における最大の視差は、絞りが開放状態である場合の射出瞳の半径に応じて決定されるため、左眼用および右眼用の画像の視差を拡張する場合は射出瞳の大きい撮像光学系を用いる必要があった。
【００１１】
本発明は、上述の問題点に鑑みてなされたものであり、射出瞳の異なる領域を通過した光束により得られる両眼立体視用の画像における視差を拡張することを目的とする。
【課題を解決するための手段】
【００１２】
前述の目的を達成するために、本発明の撮像装置は、以下の構成を備える。
左眼用及び右眼用の受光素子を備え、絞りを有する同一の撮像光学系を通過した光束を変換して左眼用及び右眼用の画像を出力する撮像素子と、左眼用及び右眼用の画像における視差が変化するよう絞りの開口を制御する制御手段と、撮像素子により出力された左眼用及び右眼用の画像を用いて、両眼立体視用の画像を生成する生成手段と、を備え、生成手段は、左眼用及び右眼用の画像における視差が異なる第１の状態及び第２の状態の各々について撮像された左眼用及び右眼用の画像各々の画素値を状態間で減算することにより、何れかの状態の左眼用及び右眼用の画像より視差を拡張した両眼立体視用の画像を生成することを特徴とする。
【発明の効果】
【００１３】
このような構成により本発明によれば、射出瞳の異なる領域を通過した光束により得られる両眼立体視用の画像における視差を拡張することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係るデジタルカメラ１００の機能構成を示したブロック図
【図２】本発明の実施形態に係るＣＭＯＳ型固体撮像素子の画素構成を示した図
【図３】本発明の実施形態に係るＣＭＯＳ型固体撮像素子の受光素子の内部構造を示した図
【図４】本発明の実施形態に係る撮像部１０６の読み出し動作を説明するための図
【図５】本発明の実施形態に係る視差拡張の概念を説明するための図
【図６】本発明の実施形態に係る視差拡張の概念を説明するための別の図
【図７】本発明の実施形態に係る立体視画像撮影処理のフローチャート
【図８】本発明の変形例に係る撮影処理のフローチャート
【図９】本発明の変形例に係る視差拡張の更なる方法を説明するための図
【図１０】本発明の課題を解決するための別の方法を説明するための図
【図１１】射出瞳の異なる領域を通過した光束を用いて、両眼立体視用の画像を取得する概念を説明するための図
【発明を実施するための形態】
【００１５】
［実施形態］
以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、撮像装置の一例としての、射出瞳の異なる領域を通過した光束を用いて、両眼立体視用の画像を撮影可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、射出瞳の異なる領域を通過した光束を用いて、両眼立体視用の画像を撮像することが可能な任意の機器に適用可能である。
【００１６】
＜デジタルカメラ１００の機能構成＞
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。
【００１７】
ＣＰＵ１０１は、デジタルカメラ１００が備える各ブロックの動作を制御する。ＣＰＵ１０１は、例えばＲＯＭ１０２に記憶されている、後述する立体視画像撮影処理のプログラムを読み出し、ＲＡＭ１０３に展開して実行することにより、各ブロックの動作を制御する。
【００１８】
ＲＯＭ１０２は、例えばＥＥＰＲＯＭ等の書き換え可能な不揮発性メモリであり、視差拡張処理のプログラムに加え、各ブロックの動作において必要な動作パラメータや、デジタルカメラ１００の設定等を記憶する。ＲＡＭ１０３は、揮発性メモリであり、視差拡張処理のプログラムの展開領域としてだけでなく、各ブロックの動作において出力された中間データ等を記憶する。
【００１９】
撮像光学系１０４は、対物レンズ、絞り、接眼レンズ等から構成され、撮像部１０６の受光素子に被写体像を結像する。なお、本実施形態の説明では、絞りはメカニカル絞りであるものとして説明するが、絞りの形状や直径等を制御可能な透過型の液晶絞りであっても本発明は実施可能である。
【００２０】
撮像部１０６は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子及び読み出し回路を備えるブロックであり、素子に結像された被写体像を光電変換して、アナログ画像信号を出力する。
【００２１】
（撮像素子の構成）
本実施形態では、撮像光学系１０４の射出瞳の異なる位置を通過した光束を用いて左眼用及び右眼用の画像を生成するため、図２に示すように撮像素子の１画素は左眼用及び右眼用の１対の受光素子２０１、２０２で構成される。１画素に対応する１対の受光素子には、それぞれ射出瞳の異なる領域を通過した光束が結像されるように、撮像素子の画素ごとにマイクロレンズ２０３が設けられている。
【００２２】
図３は、ＣＭＯＳセンサを例にとり、１つの画素に含まれる左眼用受光素子２０１、あるいは右眼用受光素子２０２の構成を示している。
【００２３】
光信号電荷を発生するフォトダイオード３０１は、図においてアノード側が接地されている。またフォトダイオード３０１のカソード側は、転送ＭＯＳトランジスタ３０２を介して増幅ＭＯＳトランジスタ３０４のゲートに接続されている。また、上記増幅ＭＯＳトランジスタ３０４のゲートには、これをリセットするためのリセットＭＯＳトランジスタ３０３のソースが接続されている。リセットＭＯＳトランジスタ３０３のドレインは電源電圧ＶＤＤに接続されている。さらに、増幅ＭＯＳトランジスタ３０４は、ドレインが電源電圧ＶＤＤに接続され、ソースが選択ＭＯＳトランジスタ３０５のドレインに接続されている。
【００２４】
転送ＭＯＳトランジスタ３０２のゲート端子はＰｔｘ信号により駆動され、リセットＭＯＳトランジスタ３０３のゲート端子はＰｒｅｓ信号により駆動される。また、選択ＭＯＳトランジスタ３０５のゲート端子はＰｓｅｌ信号により駆動され、フォトダイオード３０１により発生された光信号（画素信号）は、適切なタイミングでＶｏｕｔ端子から出力される。
【００２５】
具体的には、左眼用及び右眼用の受光素子で発生した画素信号は、ＣＰＵ１０１の制御の下でＴＧ１０５により入力された読み出しタイミングに応じて、読み出し回路（ＣＨ１）及び（ＣＨ２）により別々に読み出され出力される。
【００２６】
図４は、ＣＭＯＳセンサにおける画素信号の読み出しに必要な回路構成を示した図である。図４に示すように、左眼用受光素子２０１及び右眼用受光素子２０２それぞれの出力は、異なる読み出し回路に接続されている。なお、単位画素は、上述したように左眼用受光素子２０１及び右眼用受光素子２０２で構成されるため、破線で示されており、図の例では簡単のため、横２列、縦４行の８画素を備える撮像素子を示している。
【００２７】
ここでは、右眼用の画素信号の読み出しについて以下に説明する。なお、左眼用の画素信号の読み出しについても、読み出し回路（ＣＨ１）が同様に行うものとする。
【００２８】
垂直シフトレジスタ４０１は、ＴＧ１０５より入力されたタイミング信号に応じて、行選択線（垂直走査線）Ｐｒｅｓ、Ｐｔｘ、及びＰｓｅｌを介して、信号電圧を左眼用受光素子２０１及び右眼用受光素子２０２に印加する。各受光素子において、転送ＭＯＳトランジスタ３０２のゲートは行選択線Ｐｔｘに、リセットＭＯＳトランジスタ３０３のゲートは行選択線Ｐｒｅｓに、選択ＭＯＳトランジスタ３０５のゲートは行選択線Ｐｓｅｌに接続されている。このように、同一行の受光素子は同一の垂直走査線に共通接続されている。また、各受光素子の選択ＭＯＳトランジスタ３０５のソースは、垂直方向に延長して配置される垂直信号線の端子Ｖｏｕｔに接続され、負荷手段である定電流源４０７に接続される。
【００２９】
そして、各受光素子の出力は、当該垂直信号線を介して読み出し回路４０２により読み出される。読み出し回路４０２は、入力である垂直信号線上の画素信号のうち、画素信号をｎチャネルＭＯＳトランジスタ４０３に、ノイズ信号をｎチャネルＭＯＳトランジスタ４０４に出力する。そしてそれぞれのｎチャネルＭＯＳトランジスタに出力された信号は差動増幅器４０５に入力され、画素信号とノイズ信号の差分がアナログ画像信号として出力される。なお、読み出し回路４０２は、列ごとの読み出し回路を含んでいる。また水平シフトレジスタ４０６は、ｎチャネルＭＯＳトランジスタ４０３及びｎチャネルＭＯＳトランジスタ４０４のＯＮ／ＯＦＦを制御する。
【００３０】
このように、本実施形態の撮像部１０６は１画素中に１対の受光素子を備え、射出瞳の異なる領域を通過した光束により、左眼用及び右眼用の画像を取得し、アナログフロントエンド（ＡＦＥ）１０７に出力する。
【００３１】
ＡＦＥ１０７は、ＴＧ１０５より入力されたタイミング信号に従い、入力されたアナログ画像信号について信号増幅、及びＡ／Ｄ変換処理等を行ない、左眼用及び右眼用の画像データを出力する。
【００３２】
ＤＳＰ（Digital Signal Processor）１０８は、入力された画像データについて、色変換やホワイトバランス調整等の補正処理、及び予め定められた記録形式への符号化処理等を実行する画像処理回路である。
【００３３】
測光回路１０９は、被写体輝度を測定するための回路であり、当該回路により取得された被写体輝度の情報は、通常の画像撮影における絞り値の決定、及び露出量の決定に用いられる。
【００３４】
表示部１１０は、例えば小型ＬＣＤ等のデジタルカメラ１００が備える表示装置であり、撮影された画像、及び後述する記録媒体に記録されている画像の表示に用いられる。本実施形態では、表示部１１０はユーザが裸眼立体視可能なように左眼用及び右眼用画像を表示する表示装置であるものとする。また、撮像部１０６により撮像されたアナログ画像信号を順次表示部１１０に出力することにより、表示部１１０は電子ビューファインダとして機能する。
【００３５】
記録媒体１１１は、例えばデジタルカメラ１００が備える内蔵メモリや、メモリカードやＨＤＤ等のデジタルカメラ１００に着脱可能に接続される記録装置である。デジタルカメラ１００において撮影された画像は、所定の符号化形式に変換された後、当該記録媒体１１１に記録されるものとする。
【００３６】
操作部１１２は、例えば電源ボタン、シャッタボタン、モード切替スイッチ等のデジタルカメラ１００が備えるユーザインタフェースである。操作部１１２は、ユーザにより各操作部材が操作されたことに応じて、操作内容を示す制御信号をＣＰＵ１０１に出力する。
【００３７】
＜視差拡張の概念＞
ここで、本発明における、射出瞳の異なる領域を通過した光束により得られる両眼立体視用の画像における視差を拡張する方法の概念について、図５を用いて説明する。
【００３８】
例えば、撮像光学系１０４の絞りが開放状態である場合、左眼用受光素子５０１及び右眼用受光素子５０２に結像される光学像は、図５（ａ）のように射出瞳５０３において異なる領域５０４及び５０５のそれぞれを通過した光束である。このときの光束の入射角に対する強度分布は、図１１を参照して前述したように図５（ｄ）のようになり、当該光束により得られた両眼立体視用の画像における視差は、開放絞り時の射出瞳の半径Ｌ１に応じて決定される。
【００３９】
また、撮像光学系１０４の絞りが絞り状態である場合、左眼用受光素子５０１及び右眼用受光素子５０２に結像される光学像は図５（ｂ）のように、射出瞳５０３より狭められた射出瞳５１１において、異なる領域５１２及び５１３のそれぞれを通過した光束である。このとき、光束の入射角に対する強度分布は、図５（ｅ）のようになり、当該光束により得られた両眼立体視用の画像における視差は、絞り状態の射出瞳の半径Ｌ２（Ｌ２＜Ｌ１）に応じて決定される。
【００４０】
本発明では、このように絞り状態を異ならせて得られた左眼用及び右眼用の画像データの画素値を減算することにより、図５（ｃ）のような領域５２１及び５２２を通過した光束により結像された光学像に相当する画像データを取得する。即ち、当該減算により光束の入射角に対する強度分布は図５（ｆ）のようになり、レンズ外周からの光に対して相対的に感度が高くなるため、射出瞳における光束の通過領域の重心間距離Ｌ３を、絞り開放状態における重心間距離より拡張することができる。つまり、当該重心間距離に応じて決定される左眼用及び右眼用の画像における視差を、拡張することができる。
【００４１】
なお、絞り径と射出瞳の径が一致する撮像光学系の場合、 図５（ａ）乃至（ｃ）に示した左眼用及び右眼用の受光素子に到達する光束が、射出瞳において通過する領域の重心間距離Ｌ１、Ｌ２、及びＬ３は、概略以下のようになる。
Ｌ１＝Ｄ１／２
Ｌ２＝Ｄ２／２
Ｌ３＝Ｌ１＋Ｌ２
ここで、Ｄ１は開放絞り時の絞り径、Ｄ２は絞り状態における絞り径である。
【００４２】
また、図５（ｂ）の場合における左眼用受光素子５０１及び右眼用受光素子５０２の出力Ｐｂは、撮像光学系１０４の光学性能や、撮像部１０６のマイクロレンズ及び受光素子の配置に起因する集光性能により変化するが、絞り開放状態における出力Ｐａを基準として
Ｐａ×（Ｄ２／Ｄ１）≦Ｐｂ≦Ｐａ×（Ｄ２／Ｄ１）２
の範囲に含まれる。またこの場合、視差を拡張するために減算した画像データにおける出力Ｐｃは、
Ｐｃ＝Ｐａ−Ｐｂ
となる。
【００４３】
なお、絞りの開口はステッピングモータ等の駆動系により段階的に制御されるため、開放状態で得られた左眼用及び右眼用の画像データから、絞り状態で得られた左眼用および右眼用の画像データを減算しても、所望の視差を有する画像を得られないことがある。この場合、例えば図６に示すような、異なる絞り状態で得られた画像データを減算することにより、所望の視差を有する両眼立体視用の画像を取得するようにしてもよい。
【００４４】
両眼立体視用の画像が所望の視差となるように選択される２つの絞り値の組み合わせは、上述したようにＣＰＵ１０１は計算により算出してもよい。また、所望の視差となるように撮影を行う２つの絞り値の組み合わせの情報は、例えばＲＯＭ１０２に予め記憶されていてもよい。このようにすることで、ＣＰＵ１０１は設定された視差を有する両眼立体視用の画像を取得するために撮影する２種類の絞り値を決定することが可能となる。
【００４５】
なお、２つの絞り値の組み合わせは、所望される視差によって次のような傾向になる。即ち、大きい視差が要求される場合、より外側から入射する光束を取り込むために、開側の絞りの開口はより大きくなるように絞り値が決定される。また、減算後の画像データに対応する光束が射出瞳において通過する領域の重心間距離を大きくするために、閉側の絞りの開口はより開側の絞りの開口に近づく、即ち開側の絞りの開口と閉側の絞りの開口との差が小さくなるように絞り値が決定される。このように、本発明を用いることにより、射出瞳の異なる領域を通過した光束により得られる左眼用及び右眼用の画像データにおける視差は、理論的には略射出瞳の径に近い値まで拡張することができる。
【００４６】
＜立体視画像撮影処理＞
このような構成をもつ本実施形態のデジタルカメラ１００の立体視画像撮影処理について、図７のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、ＣＰＵ１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本立体視画像撮影処理は、例えばデジタルカメラ１００の撮影モードが、視差が大きい両眼立体視用の画像を撮影する視差強調モードに設定された状態で、ユーザのシャッタボタン操作により撮影指示が入力された際に開始されるものとして説明する。即ち、本立体視画像撮影処理により得られる両眼立体視用の画像は、当該画像における左眼用及び右眼用の画像の視差が、通常開放絞り状態で得られる画像よりも拡張されているものとする。
【００４７】
Ｓ７０１で、ＣＰＵ１０１は、絞り値を例えばＦ２．０等の開側の値（第１の絞り値）に設定して撮影処理を実行し、得られた絞り開側画像データをＲＡＭ１０３に格納する。なお、上述したように絞り開側画像データは左眼用及び右眼用の画像データで構成される。
【００４８】
Ｓ７０２で、ＣＰＵ１０１は、Ｓ７０１で撮影された絞り開側画像データの左眼用及び右眼用の画像データに飽和画素が含まれているか否かを判断する。具体的にはＣＰＵ１０１は、左眼用及び右眼用それぞれの画像データの各画素の画素値を取得し、最大値を示す画素が存在するか否かを判断する。ＣＰＵ１０１は、絞り開側画像データの左眼用及び右眼用の画像データに飽和画素が含まれていると判断した場合は処理をＳ７０７に移し、含まれていないと判断した場合は処理をＳ７０３に移す。
【００４９】
飽和画素が存在する場合、異なる絞り値で撮影された画像データと減算を行ったとしても、対応する射出瞳の領域を通過した光束により得られる画像データとは厳密には異なる。このため、本立体視画像撮影処理において飽和画素が存在した場合は、視差の拡張ができないと判断し、後述するＳ７０７において絞り開側画像データを両眼立体視用の画像として記録媒体１１１に記録する。
【００５０】
Ｓ７０３で、ＣＰＵ１０１は、絞り値を例えばＦ８．０等の閉側の値（第２の絞り値）に設定し、絞り開側画像データの撮影時と同一の露光時間で撮影処理を行い、得られた絞り閉側画像データをＲＡＭ１０３に格納する。即ち、同一の露光時間で撮影を行うことにより、飽和信号の発生を回避するとともに、絞り開側画像データと絞り閉側画像データの減算を行った際に、適切に絞り閉側画像データに対応する光束の成分を除去した画像データを得ることができる。
【００５１】
Ｓ７０４で、ＣＰＵ１０１は、左眼用及び右眼用それぞれの画像データについて、絞り開側画像データと絞り閉側画像データとの減算をＤＳＰ１０８に実行させる。例えばＤＳＰ１０８は、ＲＡＭ１０３に記憶されているそれぞれの画像データを読み出し、左眼用及び右眼用の画像データについて画素値の減算を行った後、得られた画像データをＲＡＭ１０３に格納する。
【００５２】
Ｓ７０５で、ＣＰＵ１０１は、画素値の減算により画像の平均輝度が低下するため、当該減算により低下した平均輝度を補償するようにゲイン補正処理をＤＳＰ１０８に実行させる。このとき、ゲイン補正量ｇは、絞り開側の絞り径をｄ１、絞り閉側の絞り径をｄ２とした場合、概略
ｇ＝（ｄ１／（ｄ１−ｄ２））２
となる。しかしながら、当該ゲイン補正量は上述したように撮像光学系の光学性能等に起因して変化するため、予め実験的に求められていてもよい。
【００５３】
また、絞り開側画像データと絞り閉側画像データとでは絞り径（開口状態）が異なるため、周辺光量落ちの特性（周辺画素における信号レベルの減衰率）が異なる。このため、ゲイン補正処理は、当該周辺光量落ち特性を他方の画像データに合わせるように補正する処理も含む。例えば、絞り値のそれぞれについて予め周辺光量落ちの特性を実験的に測定しておき、選択された２種類の絞り値に対して、当該周辺光量落ちの差分を取得し、一方に対して適用すればよい。このようにして周辺光量落ち特性を合わせた画像を用いて減算を行うことにより、周辺画素においても適切な減算結果を得ることができる。
【００５４】
Ｓ７０６で、ＣＰＵ１０１はＤＳＰ１０８に、ゲイン補正がなされた左眼用及び右眼用の画像データを、予め定められた両眼立体視用の画像データの記録形式に変換させる。そしてＣＰＵ１０１は得られた記録形式の両眼立体視用の画像データを記録媒体１１１に記録し、本立体視用画像撮影処理を完了する。
【００５５】
またＳ７０２において絞り開側画像データに飽和画素が含まれていると判断された場合、ＣＰＵ１０１はＳ７０７において、ＤＳＰ１０８に当該絞り開側画像データを予め定められた両眼立体視用の画像データの記録形式に変換させる。そしてＣＰＵ１０１は、得られた記録形式の両眼立体視用の画像データを記録媒体１１１に記録し、本立体視用画像処理を完了する。
【００５６】
なお、Ｓ７０２において、絞り開側画像データに飽和画素があった場合は、絞り閉側画像データの撮影を行わずに当該絞り開側画像データを用いて両眼立体視用の画像データを生成するものとして説明したが、本発明の実施はこれに限らない。例えば、飽和画素がなくなるような露光時間を設定し、当該露光時間を用いて再度絞り開側画像データの撮影処理を実行してもよい。
【００５７】
以上説明したように、本実施形態の撮像装置は、射出瞳の異なる領域を通過した光束により得られる両眼立体視用の画像における視差を拡張することができる。具体的には撮像装置は、絞りを含む撮像光学系と、各々が左眼用及び右眼用の受光素子を備える複数の画素からなり、左眼用及び右眼用の受光素子のそれぞれが左眼用及び右眼用の画像を出力する撮像素子とを備える。そして、左眼用及び右眼用の画像の各々について、絞りの開口が開側の状態である際に撮像素子により出力された第１の画像の画素値から、絞りの開口が閉側の状態である際に撮像素子により出力された第２の画像の画素値を減算することにより得られた第３の画像を両眼立体視用の画像データとして出力する。このとき、第３の画像データは、例えば図５における左眼用画素５０１から得られた左眼用画像と右眼用画素５０２から得られた右眼用画像を１つのシーンとして別々に記録する。再生装置では前記１つのシーンとして記録された左眼用画像を左眼で視認し右眼用画像を右眼で視認出来るように再生することで、撮影された画像を立体視することが可能である。
【００５８】
このようにすることで、単眼の撮像装置であっても、二眼の撮像装置と同様の視差を有する画像を取得することもできるため、ユーザに対して効果的に視差を調整した画像を提示することができる。
【００５９】
［変形例］
上述した実施形態では、視差強調モードのみの動作について説明したが、デジタルカメラ１００が通常の撮影モード、及び撮影する両眼立体視用の画像について異なる視差を設定可能なモードを備える場合の例について説明する。
【００６０】
＜撮影処理＞
上述の実施形態１と同様の構成を有する本変形例のデジタルカメラ１００の撮影処理について、図８のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、ＣＰＵ１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本撮影処理は、例えばデジタルカメラ１００が撮影可能なモードに設定されている状態で、ユーザがシャッタボタンを操作することにより撮影指示が入力された際に開始されるものとして説明する。
【００６１】
Ｓ８０１で、ＣＰＵ１０１は、現在のデジタルカメラ１００の撮影モードが両眼立体視用の画像データの撮影を行うモードに設定されているか否かを判断する。具体的にはＣＰＵ１０１は、例えばＲＡＭ１０３に格納されている現在の撮影モードの設定が、視差強調モード、視差低減モード、及び通常視差モードのいずれかに該当するか否かを判断する。なお、本実施形態で説明する両眼立体視用の画像データの撮影を行うモードの概要は、以下のようになる。
【００６２】
・通常視差モード：絞り開放状態（例えばＦ２．０）で得られた画像を両眼立体視用の画
像データとして記録するモード
・視差低減モード：通常視差モードよりも視差の小さい両眼立体視用の画像データを記録
するモード（例えば、絞り開放より６段絞ったＦ１６と、７段絞った
Ｆ２２とで得られた画像データの減算を行う）
・視差強調モード：通常視差モードよりも視差の大きい両眼立体視用の画像データを記録
するモード（例えば、絞り開放Ｆ２．０と、絞り開放より１段絞った
Ｆ２．８とで得られた画像データの減算を行う）
【００６３】
ＣＰＵ１０１は、現在のデジタルカメラ１００の撮影モードが両眼立体視用の画像データの撮影を行うモードに設定されていると判断した場合は処理をＳ８０３に移し、それ以外の撮影モードに設定されていると判断した場合は処理をＳ８０２に移す。
【００６４】
Ｓ８０２で、ＣＰＵ１０１は、測光回路１０９により決定された露光量に従って通常のＡＥ撮影を行い、ＤＳＰ１０８に得られた画像データを記録形式に変換させ、記録媒体１１１に記録し、本撮影処理を完了する。
【００６５】
また両眼立体視用の画像データの撮影を行うモードに設定されていると判断した場合、ＣＰＵ１０１はＳ８０３で、現在の撮影モードが視差強調モードであるか否かを判断する。ＣＰＵ１０１は、現在の撮影モードが視差強調モードであると判断した場合は処理をＳ８０４に移し、視差強調モードではないと判断した場合は処理をＳ８０５に移す。
【００６６】
Ｓ８０４で、ＣＰＵ１０１は、上述した実施形態の立体視画像撮影処理と同様に、Ｆ２．０とＦ２．８について撮影を行い、左眼用及び右眼用それぞれの画像データを減算して記録用の両眼立体視用の画像データを取得し、記録媒体１１１に記録する。
【００６７】
Ｓ８０５で、ＣＰＵ１０１は、現在の撮影モードが視差低減モードであるか否かを判断する。ＣＰＵ１０１は、現在の撮影モードが視差低減モードであると判断した場合は処理をＳ８０６に移し、視差低減モードではないと判断した場合は処理をＳ８０７に移す。
【００６８】
Ｓ８０６で、ＣＰＵ１０１は、上述した実施形態の立体視画像撮影処理と同様に、Ｆ１６とＦ２２について撮影を行い、左眼用及び右眼用それぞれの画像データを減算して記録用の両眼立体視用の画像データを取得し、記録媒体１１１に記録する。
【００６９】
Ｓ８０５において現在の撮影モードが視差低減モードではないと判断した場合、ＣＰＵ１０１は現在の撮影モードは通常視差モードであると判断する。そしてＣＰＵ１０１は、Ｓ８０７においてＦ２．０で撮影を行い、得られた左眼用及び右眼用の画像データをＤＳＰ１０８に記録形式の両眼立体視用の画像データに変換させ、記録媒体１１１に記録する。
【００７０】
なお、本実施形態では撮影モードによって３段階に視差を切り替えて両眼立体視用の画像データを撮影可能であるものとして説明したが、本発明の実施はこれに限らない。例えば、ユーザにより選択された視差の目標値について、絞り値の変更で対応可能か、あるいは異なる２つの絞り値の組み合わせを選択して、得られた２つの画像の画素値の減算を行うかを判断して撮影処理を行ってもよい。
【００７１】
このようにすることで、両眼立体視用の画像データを撮影する際に、ユーザはシーンに合わせて所望の視差を選択することができる。また、撮像光学系の射出瞳に制限されず、視差の選択について自由度を向上させることができる。
【００７２】
なお、上述した実施形態及び変形例は、異なる２つの絞り状態で撮影して得られた、左眼用及び右眼用の画像を減算することにより、両眼立体視用の画像における視差を拡張する方法について説明したが、本発明の実施はこれに限らない。
【００７３】
本発明のように単位画素内に複数の受光素子を設ける場合、受光素子の各々について読み出し回路が必要になる。このため、読み出し回路の設置スペースを確保すると、例えば図９（ａ）に示すように受光素子の受光面積は限定されることが考えられる。しかしながら図９（ａ）のように、撮像素子において、垂直方向に左眼用及び右眼用の受光素子９０１及び９０２の占有範囲を狭めることにより得られた画像データを用いて、上述の処理を行うことにより同様の効果を得ることができる。即ち、単位画素において受光可能な光束が制限されたとしても、異なる絞り開口で得られた画素信号の差分に対応する射出瞳の領域は図９（ｂ）のように垂直方向にのみ縮小されるため、当該領域の重心位置は受光面積に依らず変化しない。つまり、上述した実施形態及び変形例と同様に、視差をより拡張することが可能である。
【００７４】
なお、図９（ａ）の例では、受光素子の構成要素を効率的に配置するために、それぞれの受光素子であるフォトダイオードに接続される転送ＭＯＳトランジスタ９０３及び９０４とリセットＭＯＳトランジスタ９０５及び９０６とが配置されている。このとき、受光素子９０１及び９０２以外の部材については、光が入射しないように直上に金属遮光層が配置されているものとする。
【００７５】
また例えば上述したような、透過型の液晶等を絞りとして用いることで、異なる２つの絞り値で撮影された画像データの画素値を減算することなく、当該絞りにより射出瞳を通過する領域を制御することも可能である。具体的には例えば図１０（ａ）に示すような絞りを用いることで視差を拡張する、あるいは図１０（ｂ）に示すような絞りを用いることで視差を低減することが容易に実現できる。
【００７６】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
0005860251.tif 000002
【図２】
0005860251.tif 000003
【図３】
0005860251.tif 000004
【図４】
0005860251.tif 000005
【図５】
0005860251.tif 000006
【図６】
0005860251.tif 000007
【図７】
0005860251.tif 000008
【図８】
0005860251.tif 000009
【図９】
0005860251.tif 000010
【図１０】
0005860251.tif 000011
【図１１】
0005860251.tif 000012