(57)【要約】【課題】撮影光学系にケラレがあっても、ユーザーが優先する機能に応じた露出条件を決定できる撮像装置の提供。【解決手段】撮影レンズを含む撮影光学系で生成された被写体の光学像を光電変換する複数の画素を有し、画素データを生成する撮像手段を有する撮像装置は、各画素に入射する光束を、撮影レンズの特定の射出瞳領域からの光束に制限する瞳分割手段を有し、瞳分割手段を介して入射する光束を複数の画素で光電変換して生成される分割画素データに基づいて露光条件を決定し、撮影光学系の構成に関する情報に基づいて撮影光学系のケラレ状態を決定し、ケラレ状態に従って分割画素データから選択した画素データに基づいて露光条件を決定する第１の露光モードと、分割画素データを撮影レンズの射出瞳領域に関して加算したデータに基づいて露光条件を決定する第２の露光モードを有する。【選択図】図１
2015109635.tif 000002
【特許請求の範囲】
【請求項１】
撮影レンズを含む撮影光学系で生成された被写体の光学像を光電変換する複数の画素を有し、前記複数の画素の出力を用いて画素データを生成する撮像手段を有する撮像装置において、
前記撮像手段の各画素に入射する前記撮影光学系からの光束を、前記撮影レンズの特定の射出瞳領域からの光束に制限する瞳分割手段と、
前記瞳分割手段を介して入射する光束を前記複数の画素で光電変換することにより生成される分割画素データに基づいて、前記撮像手段の露光条件を決定する露光条件決定手段と、
前記撮影光学系の構成に関する情報に基づいて、前記撮影光学系のケラレ状態を決定するケラレ決定手段と、
を備え、
前記露光条件決定手段は、前記分割画素データから前記ケラレ状態に従って選択された画素データに基づいて前記露光条件を決定する第１の露光モードと、前記分割画素データを、前記撮影レンズの射出瞳領域に関して加算したデータに基づいて前記露光条件を決定する第２の露光モードを有することを特徴とする撮影装置。
【請求項２】
ユーザーによる設定を受け付ける設定手段をさらに備え、
前記露光条件決定手段は、前記ユーザーによる設定に基づいて前記第１の露光モードと第２の露光モードとを切り替え、前記ユーザーによる設定は、少なくとも連写速度、再構成画像の出力、露出条件の決定でのノイズ対策に関する設定を含むことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記露光モードに従って、前記分割画素データから前記被写体の所定の画像を生成する画像生成手段をさらに備え、
前記露光条件決定手段は、前記所定の画像に基づいて前記露光条件を決定することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記第１の露光モードにおいて前記画像生成手段が生成する前記所定の画像は、視差画像であり、前記露光条件決定手段が露光モードを前記第１の露光モードに切り替えた場合は、前記画像生成手段は、前記決定されたケラレ状態に基づいて各画素における画素面積とケラレが生じていない面積との比に従って選択された画素データから前記視差画像を生成することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記第２の露光モードにおいて前記画像生成手段が生成する前記所定の画像は、撮影画像であることを特徴とする請求項３に記載の撮像装置。
【請求項６】
前記露光条件決定手段は、前記分割画素データから生成される再構成画像に基づいて前記露光条件を決定する第３の露光モードをさらに有し、前記ユーザーによる設定に基づいて前記第１の露光モード、第２の露光モードおよび第３の露光モードを切り替えることを特徴とする請求項２から５のいずれか１項に記載の撮像装置。
【請求項７】
前記第３の露光モードにおいて前記画像生成手段が生成する前記所定の画像は、再構成画像であり、前記露光条件決定手段が露光モードを前記第３の露光モードに切り替えた場合は、前記画像生成手段は、前記設定手段で設定される像面に従って、前記分割画素データを用いて前記被写体の光学像のデフォーカス量を算出し、前記算出されたデフォーカス量に基づいて、前記分割画素データを選択して加算することで前記再構成画像を生成することを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記第３の露光モードにおける前記画素データの選択は、各マイクロレンズに対応する前記所定数の画素の前記分割画素データから前記像面における再構成画像の画素に対応する画素データの選択であることを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記瞳分割手段は、マイクロレンズを２次元に配列したマイクロレンズアレイであり、各マイクロレンズは前記撮像手段の複数の画素のうちの所定数の画素に対応し、前記第１の露光モードにおける前記画素データの選択は、各マイクロレンズに対応する前記所定数の画素のうちの所定の画素データの選択であり、前記第２の露光モードにおける前記画素データの加算は、各マイクロレンズに対応する前記所定数の画素について画素データの加算であることを特徴とする請求項３から８のいずれか１項に記載の撮像装置。
【請求項１０】
前記所定の画像を出力する出力手段と、前記出力手段から出力された画像を表示する表示手段と、前記出力手段から出力された画像を記憶する記憶手段とをさらに備えることを特徴とする請求項３乃至９のいずれか１項に記載の撮像装置。
【請求項１１】
前記撮影光学系は絞りを含み、前記撮影光学系の構成に関する情報は、前記撮像手段と前記絞りとの距離、Ｆナンバー、前記撮影レンズの枠と前記撮像手段との距離、および像高の情報を含むことを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
【請求項１２】
撮影レンズを含む撮影光学系で生成された被写体の光学像を光電変換する複数の画素を有し、前記複数の画素の出力を用いて画素データを生成する撮像手段、前記撮像手段の各画素に入射する前記撮影光学系からの光束を、前記撮影レンズの特定の射出瞳領域からの光束に制限する瞳分割手段を有する撮像装置の制御方法において、
前記瞳分割手段を介して入射する光束を前記複数の画素で光電変換することにより生成される分割画素データに基づいて、前記撮像手段の露光条件を決定する露光条件決定ステップと、
前記撮影光学系の構成に関する情報に基づいて、前記撮影光学系のケラレ状態を決定するケラレ決定ステップと、
を備え、
前記露光条件決定ステップは、前記分割画素データから前記ケラレ状態に従って選択された画素データに基づいて前記露光条件を決定する第１の露光モードと、前記分割画素データを、前記撮影レンズの射出瞳領域に関して加算したデータに基づいて前記露光条件を決定する第２の露光モードを有することを特徴とする制御方法。
【請求項１３】
コンピュータに請求項１２の制御方法を実行させるためのプログラム。
【請求項１４】
コンピュータに請求項１２の制御方法を実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【請求項１５】
コンピュータを、請求項１乃至１１のいずれか１項に記載の撮像装置の各手段として機能させるプログラム。
【請求項１６】
コンピュータを、請求項１乃至１１のいずれか１項に記載の撮像装置の各手段として機能させるプログラムを記憶した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に複数の視差画像を取得可能な撮像装置の露出制御技術に関する。
【背景技術】
【０００２】
従来、撮像装置の自動化の中で露出の自動化（いわゆる  ＡＥ）が図られてきた。一方、近年では２つ以上の視差像を取得するシステムが多く提案され、それらの露出制御に関しても提案がなされている。例えば、特許文献１では複数の撮像装置を備えた撮影システムにおいて、それぞれの撮像装置の露出条件を異ならせて撮影し、その後画像処理で合成するシステムが開示されている。
【０００３】
特許文献２では視差を優先するようにしてプログラム線図を組み、視差を優先した露出条件を決定する撮像システムが開示されている。
【０００４】
非特許文献１では、光線空間情報を取得可能なカメラシステムが開示されている。このシステムでは像の取得後にピント調整（いわゆる  リフォーカス）する方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−１２４６２２号公報
【特許文献２】特開２０１１−１９７２７８号公報
【非特許文献】
【０００６】
【非特許文献１】Ｒｅｎ  Ｎｇ，ｅｔ  ａｌ．，“Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｐｈｏｔｏｇｒａｐｈｙ  ｗｉｔｈ  ａ  Ｈａｎｄ−ｈｅｌｄ  Ｐｌｅｎｏｐｔｉｃ  Ｃａｍｅｒａ”，２００５  Ｃｏｍｐｕｔｅｒ  Ｓｃｉｅｎｃｅ  Ｔｅｃｈｎｉｃａｌ  Ｒｅｐｏｒｔ  ＣＴＳＲ
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述の特許文献に開示された従来技術では、１つの撮像素子から多くの視差像を同時に取得可能なシステムにおいて必ずしも望ましい露出が得られるとは限らない。すなわち特許文献１に開示された発明は、複数の撮像装置をまとめた撮像システム（いわゆる多眼カメラ）においては適用可能であるが、単眼システムでは実施が容易ではない。
【０００８】
特許文献２に開示された発明は、視差を優先する機能があるという概念は実現可能であるが、撮影光学系のケラレが複雑に存在する場合などに対応できない。
【０００９】
非特許文献１に開示された発明はリフォーカスや絞り値変更などの概念を広く開示しているが、光線空間情報の取得においていかに露出条件を決定するかについては述べていない。
【００１０】
そこで、本発明の目的は、撮影光学系にケラレがある状態にあっても、ユーザーが優先的に設定している機能に応じた露出条件を決定できる撮像装置を提供することである。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明によれば、撮影レンズを含む撮影光学系で生成された被写体の光学像を光電変換する複数の画素を有し、複数の画素の出力を用いて画素データを生成する撮像手段とを有する撮像装置は、撮像手段の各画素に入射する撮影光学系からの光束を、撮影レンズの特定の射出瞳領域からの光束に制限する瞳分割手段と、瞳分割手段を介して入射する光束を複数の画素で光電変換することにより生成される分割画素データに基づいて、撮像手段の露光条件を決定する露光条件決定手段と、撮影光学系の構成に関する情報に基づいて、撮影光学系のケラレ状態を決定するケラレ決定手段を備え、露光条件決定手段は、分割画素データからケラレ状態に従って選択された画素データに基づいて露光条件を決定する第１の露光モードと、分割画素データを、撮影レンズの射出瞳領域に関して加算したデータに基づいて露光条件を決定する第２の露光モードと有する。
【発明の効果】
【００１２】
本発明によれば、撮影光学系によるケラレがある状態にあっても、ユーザーが優先的に設定している機能に応じた露出条件を決定できる撮像装置を提供することが出来る。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施例に係る撮像装置のブロック図
【図２】図１の撮像装置の撮影光学系の要部を説明するための図
【図３】本発明の実施例に係る撮像装置の露出決定制御の動作のフローチャートを示す図
【図４】光学系のケラレ状態とケラレ算出部の動作を説明するための図
【図５】本発明の実施例に係わる撮像装置での撮影により得られる画像の例を示す図
【図６】図５に示す画像を生成するための画像処理を模式的に示す図
【発明を実施するための形態】
【００１４】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【実施例１】
【００１５】
以下、図１から図６を参照して、本発明の第１の実施例を説明する。
【００１６】
図１は、本実施例に係る撮影装置のブロック図である。本撮像装置は、例えばデジタルカメラなどのように、カメラ本体１とレンズユニット２からなるカメラシステムであり、撮像系、画像処理系、記録再生系、制御系を有する。なお、レンズユニット２は、カメラ本体１に着脱可能に構成することも可能である。
また、本実施例に係る撮像装置は、後述するように、光線空間情報の取得を可能にする撮影光学系と撮像手段とを有し、それらによって取得された画素データを用いた露出条件の決定を本発明の構成に従って制御する。このように、本発明は、光線空間情報の取得を可能な撮像装置における絞り位置や露出時間などの露出条件を決定するための技術的思想を対象にしている。
【００１７】
撮像系は、撮影レンズ、焦点レンズ等を含む撮影光学系３、撮像素子６を含み、画像処理系は、画像処理部７を含む。また、記録再生系は、メモリ部８、表示部９を含み、制御系は、カメラシステム制御部５、操作検出部１０、およびレンズシステム制御部１２、レンズ駆動部１３を含む。レンズ駆動部１３は、焦点レンズ、ブレ補正レンズ、絞りなどを駆動することができる。本実施例においては、操作検出部１０およびメモリ部８がユーザー設定部を構成する。すなわち後述する露光モードの設定および記憶をする。
【００１８】
撮像系は、物体からの光を、撮影光学系３を介して撮像素子６の撮像面に結像する光学処理系である。撮影素子６表面にはマイクロレンズ（以下、ＭＬ）が格子状に配置してあり、いわゆるマイクロレンズアレイ（以下、ＭＬＡ）１４を形成している。ＭＬＡ１４は本実施例において、瞳分割手段を構成する。ＭＬＡ１４の機能や配置の詳細については図３を用いて後述するが、瞳分割手段の作用により撮影素子６からピント評価量／適当な露光量が得られるので、この信号に基づいて適切に撮影光学系３が調整される。これにより、適切な光量の物体光を撮像素子６に露光するとともに、撮像素子６の近傍で被写体の光学像が結像することが可能となる。
【００１９】
画像処理部７は、内部にＡ／Ｄ変換器、ホワイトバランス部、ガンマ補正部、補間演算部等を有しており、記録用の画像を生成することができる。また、本発明の要部である、露光条件決定部、ケラレ決定部、画像生成部を含めることもできる。なお、本実施例ではこれらの要素はカメラシステム制御５内に配置する場合を想定している。
メモリ部８は実際にデータを記憶する記憶部に加えて記録に必要な処理部を備えている。メモリ部は、記録部へ出力を行うとともに、表示部９に出力する像を生成、保存する。また、メモリ部８は、予め定められた方法を用いて画像、動画、音声などの圧縮を行う。
【００２０】
カメラシステム制御部５は、撮像の際のタイミング信号などを生成して出力するとともに、外部操作に応動して撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、不図示のシャッターレリーズ釦の押下を操作検出部１０が検出して、撮像素子６の駆動、画像処理部７の動作、メモリ部８の圧縮処理などを制御する。さらにカメラシステム制御部５は、表示部９によって液晶モニタ等に情報表示を行うための情報表示装置の各セグメントの状態を制御する。これらの制御は、カメラシステム制御部５が、内部に含む図示しないメモリに記憶された制御プログラムをロードし、設定されているデータ等を参照して実行することで実現される。制御系による光学系の調整動作について説明する。カメラシステム制御部５には画像処理部７が接続されており、本発明に従い、撮像素子６からの信号に基づいて、撮影条件に適切な焦点位置、絞り位置を決定する。カメラシステム制御部５は、電気接点１１を介してレンズシステム制御部１２に指令を送信し、レンズシステム制御部１２は、受信した指令に従いレンズ駆動部１３を適切に制御する。さらにレンズシステム制御部１２には不図示の手ぶれ検出センサが接続されており、手ぶれ補正を行うモードにおいては、手ぶれ検出センサの信号に基づいてレンズ駆動部１３を介してブレ補正レンズを適切に制御する。
【００２１】
図２は、本実施例における撮影光学系の要部を説明するための図である。なお、同図において、図１と同様の部分は、同じ符号を付して示す。
【００２２】
本発明を適用した撮像装置においては、いわゆる光線空間情報等といわれる光線の位置に加えて角度の情報を取得する必要がある。そのために、本実施例では、角度情報の取得のために撮影光学系３の結像面近傍にＭＬＡ１４を配置するとともに、ＭＬＡを構成する１つのＭＬに対して、撮像素子６の複数の画素を対応させている。
【００２３】
図２（ａ）は撮像素子６とＭＬＡ１４の関係を模式的に示す図である。図２（ｂ）は撮像素子６の画素２１とＭＬＡ１４の対応を示す模式図である。図２（ｃ）は、ＭＬＡ１４によってＭＬＡ１４に対応して配置された画素が特定の瞳領域と対応づけられることを示す図である。
【００２４】
図２（ａ）に示すように撮像素子６上にはＭＬＡ１４が設けられており、ＭＬ２０の前側主点は、撮影光学系３の結像面近傍になるように配置されている。図２（ａ）は、撮影装置をその側面から、ＭＬＡ１４をその正面から見た外観を模式的に示し、撮像装置の正面から見るとＭＬＡ１４の各ＭＬ２０が撮像素子６上の画素を覆うように配列されている。なお、図２（ａ）では、ＭＬＡ１４を構成する各ＭＬを見やすくするために、大きく記載したが、実際には各ＭＬは画素の数倍程度の大きさしかない。なお、実際の大きさについては図２（ｂ）を用いて説明する。
【００２５】
図２（ｂ）は図２（ａ）の撮像装置の正面から見た図の一部を拡大した図である。図２（ｂ）に示す格子状の枠は、撮像素子６の各画素２１を示している。一方、ＭＬＡ１４を構成する各ＭＬ２０は太い円で示してある。図２（ｂ）から明らかなように、ＭＬ１つに対して所定数の画素が割り当てられており、図２（ｂ）の例では、５行×５列＝２５個の分割画素（まとめて単位画素と称す）が１つのマイクロレンズに対して設けられている。すなわち、各マイクロレンズの大きさは画素のおおきさの５倍×５倍の大きさであるが、これに限られるものではない。
【００２６】
図２（ｃ）は、撮像素子６を、ＭＬの光軸を含みセンサの長手方向が図の横方向になるように切断した図である。図２（ｃ）の２１−ａ、２１−ｂ、２１−ｃ、２１−ｄ、２１−ｅは、撮像素子６の画素（１つの光電変換部）を示している。一方、図２（ｃ）の上方に示した図は撮影光学系３の射出瞳面を示している。実際には、図２（ｃ）の下方に示したセンサの図と方向を合わせると、射出瞳面（Ｘ−Ｙ面）は図２（ｃ）の紙面垂直方向になるが、説明のために投影方向を変化させている。また、図２（ｃ）においては説明を簡単にするために、１次元の投影／信号処理について説明する。実際の装置においては、これを容易に２次元に拡張することができる。
【００２７】
図２（ｃ）の分割画素２１−ａ、２１−ｂ、２１−ｃ、２１−ｄ、２１−ｅは、図２（ｂ）の２１−ａ、２１−ｂ、２１−ｃ、２１−ｄ、２１−ｅとそれぞれ対応する位置関係にある。図２（ｃ）に示すように、ＭＬ２０によって各画素は、撮影光学系３の射出瞳面上の特定の射出瞳領域と共役になるように設計されている。図２（ｃ）の例では、画素２１−ａと領域２５−ａが、画素２１−ｂと領域２５−ｂが、画素２１−ｃと領域２５−ｃが、画素２１−ｄと領域２５−ｄが、画素２１−ｅと領域２５−ｅがそれぞれ対応している。すなわち画素２０−ａには撮影光学系３の射出瞳面上の領域３０−ａを通過した光束のみが入射する。他の画素も同様である。結果として、瞳面上での通過領域と撮像素子６上の位置関係から被写体光の角度の情報を取得することが可能となる。
【００２８】
ここで後述の説明を簡単にするために追加の記号を導入する。図２（ｃ）に示すように、撮像素子６の画素ピッチをΔx、角度分解能をΔθとする。さらに角度の分割数をＮθ（図２の例ではＮθ＝５）とする。画素ピッチは撮像素子６の形状によって決定され、Δθは光線の角度を取得する範囲と角度分割数Ｎθで決定される。すなわち、物理的な構造（撮像素子６およびＭＬ２０の構造）のみによってこれらのパラメータは決定される。
図２を用いて説明した光学系では、ＭＬＡを利用することで光線の入射角度を規定することができる。すなわち、図２の光学系を使用して被写体光を撮像することで、入射した光線の位置に加えて角度の情報を取得可能である。近年、このような光線の位置および角度の情報は、ライトフィールド情報と呼ばれて、ライトフィールド情報を取得可能な撮像装置をライトフィールドカメラまたはプレノプティックカメラと通称されている。
【００２９】
本実施例に係る撮像装置における露光条件の決定動作について図３および図４を用いて説明する。
【００３０】
図３は、本実施例に係わる撮像装置における露光条件の決定動作のフローチャートを示す。以下、図３のフローチャートに従って、本実施例示の動作を、順を追って説明する。なお、図３のフローチャートに従った動作は、カメラシステム制御部５が各部を制御することで行われる。
【００３１】
ステップＳ３０１で、カメラシステム制御部５は動作を開始する。例えば、操作検出部１０の出力や時間をトリガーとして動作を開始する。
【００３２】
ステップＳ３０２で、カメラシステム制御部５はユーザー設定部によって定められた設定を読み込む。この設定は、後述するステップＳ３０３やステップＳ３０４での分岐判断の根拠として用いられる。そのため、例えば、撮影において、ユーザーが連写速度を優先したいかどうか、リフォーカス画像を出力したいかどうか、ケラレによるノイズ対策（ノイズ低減）を優先したいかどうかなどの情報を、設定データ部の設定データとして保持しておく。
【００３３】
また、ステップＳ３０３やステップＳ３０４は本実施例の構成を反映した技術的構成についての分岐判断になっているが、実際のインターフェイスはこのようなものではなくカメラの機能に対応したものであっても良い。例えば“加算像に基づいて露出を設定する”というような表現ではなく、“連写速度を優先する”のように、ユーザーが機能として理解しやすい表現にしておくと都合が良い。また、ユーザーによる設定の一例として、カメラシステム制御部５及び画像処理部７は、予め取得される画素データに基づき被写体を検出して表示画面上に報知し、ユーザーは後にリフォーカスを行う可能性のある被写体を１乃至複数選択する。すると、後段の露出条件決定の際には、選択された１乃至複数の被写体にピントの合うリフォーカス面における露出が適切となるように、合焦面における各被写体を構成する画素からの信号に重みを付けて露出条件が決定される。また、別の例として、ユーザーは、後に視点変更を行いたいか否かの意思を入力、設定しておくことで、検出された被写体の数や位置、向きに応じてどの視点の画像が重要かを評価し、重要な視点の画像を構成する画素からの信号に重みを付けて露出条件が決定される。複数の被写体が左右に重なって検出されている場合には、マイクロレンズ中の左端、右端の画素からの信号ほど重みを付けて露出条件を決定することで、左右に視線を振った視点画像の明るさを適切にすることができる。
【００３４】
ステップＳ３０３は、カメラシステム制御部５は、露出条件を加算信号（単位画素データ）に基づいて決定するか、各視差画像に基づいて決定するかを、ステップＳ３０２で読み込んだユーザー設定に基づいて判断する。露出条件を加算信号に基づいて決定する場合はステップＳ３０４に進み、各視差像に基づいて決定する場合はステップＳ３０９に進む。また、これに限らず、加算信号、視差信号を両方加味して露出条件を決定しても良い。その場合、ステップＳ１０７、Ｓ１１０で生成される加算像、視差像それぞれで求まる露出条件を重み付け加算などして最終的な露出条件を決定するとよい。
【００３５】
ステップＳ３０４は、カメラシステム制御部５は、露出条件をリフォーカス面で求めるか否かを決定する。非特許文献１によると、上述した本実施例に係る撮像装置は、リフォーカス可能な画素データを生成することが可能である。リフォーカスの方法などについては、先行文献に開示されているのでここでは割愛する。
【００３６】
一般的な撮像装置においては、ピント調整はレンズユニット２のレンズ駆動部１３を介して撮影光学系３を調整することで行われる。つまり、撮像素子６上に結像している像が最終的に出力されるピント状態であり、その状態で露出条件を決定すればよい。一方、本実施例に係る撮像装置は、３つの露光モードを備えている。すなわち、ステップＳ３０３およびステップＳ３０４の分岐において、ステップＳ３０９を経由する場合が第１の露光モード、ステップＳ３０４→ステップＳ３０７を経由する場合が第２の露光モードである。また、ステップＳ３０４→ステップＳ３０５を経由する場合が第３の露光モードである。本実施例では、これら３つの露光モードを、ユーザー設定に従って使い分ける。
【００３７】
連写速度を優先したい場合には、読み出し時に視差像を加算して読み出すとともに、加算像に基づいて露出を決定すればよい。このようにすることで加算像の飽和を抑制しつつ（各視差像はアンダーな露光条件になっている）、高速に読み出しおよび連写することが可能となる。このような場合には第２の露光モードを使用すればよい。
【００３８】
一方、連写速度優先の場合には、ノイズの低減という効果が犠牲になる。ノイズ低減を優先したい場合には、読み出し時に視差像をそれぞれ分離して読み出し、各視差像に基づいて露出を決定する。このようにすることで、視差像の飽和を抑制しつつ（加算像はオーバーなので飽和の可能性がある）、読み出し後の加算合成によりノイズの低減を図ることが可能となる。このような場合には、第１の露光モードを使用すればよい。
【００３９】
また、リフォーカスを使用して最終的な像を生成するような場合には、露出条件をリフォーカス面で求めるほうが都合が良い。リフォーカスしない状態ではボケ像を観察していることになり、そのような画像で露出条件を決定すると、スポット測光などを行う場合には不適切になる可能性があるためである。このような場合には第３の露光モードを用いればよい。
【００４０】
上述した露出条件の決定における判断基準である連写速度、ノイズ低減、リフォーカスでの最終像の出力というような機能は、一つの例である。これらに限らず、実現したい機能や撮影設定に応じて露光モードを適当に選択すれば良い。本実施例では、ステップＳ３０２でユーザーの設定を確認して都合が良い読み出し方に適した露出条件を決定している。
【００４１】
本実施例に係わる撮像装置はリフォーカス可能な画素データを生成するので、ピント調整機能の一部を画像処理で行うシステムも考えられる。そのようなシステムにおいては、撮像素子６の信号をそのまま加算して（リフォーカスせずに）露出条件を求めた場合、その結果が適切にならない場合がある。具体的には、小さくて明るい輝点が露出条件を決定する範囲内に存在する場合に、ピントが合っていない状態とピントが合っている状態では輝度の分布が大きく変化する。ピントが合っている場合は輝点部が非常に明るく観察されるが、ピントがずれると大きく輝度が低減して（ピンボケによって平均化されて）観察される。このように明るさの分布が大きく異なってしまう。そこで、最終的に出力する像面（リフォーカス面）での像を予め生成して、当該リフォーカス面で露出条件を決定すると、出力されるリフォーカス像が適当な露出条件で得られるため都合が良い。
【００４２】
そこで、ステップＳ３０４の分岐は、ユーザーがリフォーカスによるピント調整を有効にしているか否かなどのユーザー設定によって分岐させればよい。リフォーカスによるピント調整を有効にしている場合にはステップＳ３０５に進み、リフォーカスによるピント調整を無効にしている場合にはリフォーカス量を０としてステップＳ３０７に進む。
【００４３】
ステップＳ３０５はデフォーカス量の計算を行う。いわゆるピント検知といわれる技術と同一である。デフォーカス量を計算することで、主要な被写体までのピントのずれ量を定量的に把握する。ステップＳ３０６では、カメラシステム制御部５が主被写体検知を行う。画像からの被写体検知や、ステップＳ３０５のデフォーカス量の計算時の評価量などから被写体を決定すればよい。画像からの被写体検知は、顔検出などとしてよく知られている。ステップＳ３０５を用いる方法としては、デフォーカス量の計算の評価値の変化量が大きい箇所やもっとも評価量が良いと判断された箇所などを利用すればよい。ステップＳ３０５とステップＳ３０６によって、被写体が存在する位置（奥行）が分かり、リフォーカスすべき量が決定される。
【００４４】
ステップＳ３０７では、カメラシステム制御部５はリフォーカス量に応じた面での像を生成する。光線空間情報はそのままではユーザーが直感的に認識しにくい形式であるため、通常の像と同じように扱えるようにするためには現像を行う必要がある。ここでいう現像とは、光線空間情報から任意のリフォーカス位置での再構成画像を生成する操作を画素データに行う処理動作である。具体的な内容は非特許文献１にあるように、リフォーカス面の各位置に入射する光線を集めて、瞳面に関して積分（加算）することでその面での単位画素を生成すればよい。ステップＳ３０７は、この現像を行う動作であり、カメラシステム制御部５の画像生成部によって行われる具体的な動作である。なお、本実施例に係る撮像装置におけるリフォーカス面の設定は、ユーザーがユーザー設定部により設定できる構成であるとする。
【００４５】
ステップＳ３０９は、カメラシステム制御部５のケラレ算出部の具体的動作であり、ケラレが最も少ない画素（視差画素）を求める。ケラレ算出部の動作については図４を用いて後述する。
【００４６】
ステップＳ３１０では、カメラシステム制御部５は、ステップＳ３０９で選んだ画素により視差像を生成する。ステップＳ３０８では、ステップＳ３０７またはステップＳ３１０から得られた像に基づいて露出条件を決定する。ステップＳ３１１で終了する。
【００４７】
次に、図４を用いて光学系のケラレ状態とケラレ算出部の動作を説明する。
【００４８】
図４（ａ）は、撮像素子６と絞り４３および各種レンズ枠４２，４４とケラレの関係を模式的に示している。ここで、レンズ枠はレンズの保持等を行う部分であり、一般的に画面中心４０では光線を制限しないが像高に応じて光線を制限する端面となりうる個所である。図４（ｂ）は、画面中心４０での絞り４３および各種レンズ枠４２，４４の位置関係を示す図であり、図４（ｃ）は、撮像素子６上の一つの点４１での絞り４３および各種レンズ枠４２，４４の位置関係を示す図である。図４（ｄ）および図４（ｅ）は、図４（ｃ）に示すケラレがある状態での撮像画素との対応を示す図であり、図２（ｂ）と同様に、撮像装置の正面から見た図である。
【００４９】
なお、図４（ａ）では説明を容易にするため、レンズ枠は絞り４３に対して撮像素子６側とその反対側に１つずつ描かれているが、必ずしも１つずつである必要はない。図４（ａ）において絞り４３を示す太い直線は、開口の大きさを１次元的に示したものである。実際の絞りはほぼ円形であるがその直径を模式的に示していると考えれば良い。これはレンズ枠４２，４４についても同様である。画面中心４０から見た場合、絞り４３に向かう光線はレンズ枠４２，４４によってケラレが発生することが無い。この場合を図４（ｂ）に示した。図４（ｂ）は、絞り４３およびレンズ枠４２，４４を画面中心４０に対して絞り４３の面に投影したものである。この時４２，４３，４４は同心円をなしており且つ絞り４３の径が最も小さいために、レンズ枠４２，４４によってケラレが発生していないことが分かる。
【００５０】
一方、一定の像高がある点４１から見た場合、レンズ枠４２，４４によるケラレが発生する可能性がある。図４の例では、撮像素子６側にあるレンズ枠４４によってケラレが発生している。ケラレの発生した領域を符号４５で図示す。図４（ｂ）と同様に、点４１に対して絞り４３およびレンズ枠４２，４４を絞り４３の面に投影したものを図４（ｃ）に示した。レンズ枠４４によってケラレが発生している様子が分かる。
【００５１】
また、図４（ａ）から（ｃ）から分かるように、このケラレの状態を決定している要因は、撮影光学系を構成している物理的要因である瞳距離、瞳径、像高、レンズ枠の距離、レンズ枠の径などによって支配されている。ここで、瞳距離は図４（ａ）での撮像素子６と絞り４３との距離、瞳径はＦナンバーで、図４（ａ）では絞り４３の幅であり、像高は図４（ａ）では画面中心４０と撮像素子６上のある点４１の比較で表現される位置である。また、レンズ枠の距離は、図４（ａ）では撮像素子６とレンズ枠４２，４４との距離であり、レンズ枠の径は、図４（ａ）ではレンズ枠４２，４４の幅である。これらの情報を実際の撮影条件に応じてレンズとの通信などによって取得して、適当に処理を施すことから図４（ｃ）のように瞳面でのケラレ状態が決定される。これにより、各ＭＬに対応する単位画素（５行×５列）内でケラレが発生している画素を特定することができるので、ケラレの影響の無い視差画像の生成が可能となる。図４（ｄ）は図２に示す例のように１つのＭＬに５ｘ５の画素が対応しており、Ｎθ＝５の状態を示している。図４（ｅ）は、Ｎθ＝２の状態を示している。
【００５２】
図４（ｄ）に示すように、ケラレがある場合には、入射する光束が大きく制限されている画素（視差）が存在する。図４（ｄ）の例では画素４６はケラレが無く画素が開口率１００％の状態にある。ここで、開口率とは、画素を瞳面に投影した時にケラレが生じていない面積の画素面積に対する比率と定義する。一方、画素４７に着目すると、ケラレがない状態では開口率が１００％となるはずであるが、図４（ｄ）では大きくケラレが存在している。画素４７のようにケラレが存在する画素に基づいて露出条件を決めた場合、ケラレのない画素４６は飽和する恐れがある。一方で、ケラレの存在しない画素４６に基づいて露出条件を決定すれば飽和を回避できる。
【００５３】
ケラレの状態を推定してケラレのある画素を利用する方法も考えられ、ステップＳ３０９による視差像の限定は必ずしも必要はない。しかし、ケラレが大きい画素には光束が少ししか入らないためノイズの影響を受けやすいとともに寸法誤差によるケラレ状態の推定にも誤差が生じる。つまり、部品の誤差や信号のノイズの影響を受けて安定して露出条件を決定するのには不向きである。従って、ケラレの少ない画素を使用することが好ましい。
【００５４】
図４（ｄ）の例では、ケラレのない画素（視差）は複数あるのでそのうち都合の良いものを用いればよい。例えばケラレのない範囲で光軸中心に近いものなどを選べばよい。
【００５５】
図４（ｅ）の例ではNθ=２なので図４（ｄ）と同じケラレ状態であるにもかかわらずケラレのない画素は存在しない。もっともケラレの小さい画素（視差）が４８であり、その他の画素４９ａ，４９ｂ，４９ｃはレンズ枠４４によって画素４８よりも大きくケラレている。図４（ｅ）の例では画素４８を選択すれば良い。
【００５６】
図４を用いて説明したようにケラレ算出部は、通信などで得た瞳距離、瞳径、像高、レンズ枠の距離、レンズ枠の径などの情報から各画素（視差）のケラレを算出する。
【００５７】
以上述べたように、ユーザーが連写速度を優先したい場合には、第２の露光モードになり、加算像(所定の画像)に基づいて露出を決定する。ノイズ低減を優先したい場合には、第１露光モードになり、各視差画像(所定の画像)に基づいて露出を決定する。さらにはリフォーカス像(所定の画像)を出力する場合には第３の露光モードになり、リフォーカス面での加算像（再構成画像）に基づいて露出を決定する。
【００５８】
図５および６を用いて、本実施例に係わる撮像装置が本実施例の露出制御を行って取得する所定の画像を利用するアプリケーションの例について説明する。図５は、１回の露光で得られた撮像信号を処理して生成された５種類の画像５０１、５０２、５０３、５０４、５０５を示す。それぞれの画像には、撮像装置に近い側から順に５１１、５１２、５１３で示す被写体が存在している。図５の画像配列において、横方向は視点の変更に対応し、縦方向はピント位置の変更（＝いわゆるリフォーカス）に対応している。つまり、画像５０２、５０３、５０４の組は視点が変更されて得られる画像の組み合わせであり、画像５０１、５０３、５０５の組はピント位置が変更されて得られる画像の組み合わせである。
【００５９】
視点が変更されて得られた画像５０２、５０３、５０４の組を見ると、被写体の距離に応じて画面内の位置が変化しているが、ピントは中央の被写体５１２に固定されている。このような画像は、例えば、疑似的な運動視差によって立体感を提示したい場合などに有効である。別の例としては、視点の異なる画像を左右の眼にそれぞれ提示可能なデバイスにおいては、視点変更により得られた画像のうちの１組（＝２枚）を提示することで立体視が可能となる。
【００６０】
ピント位置が変更されて得られる画像５０１、５０３、５０５の組を見ると、ピントが合っている被写体が画像５０１では５１１、画像５０３では５１２、画像５０５では５１３となっているが、各画像に写っている被写体の位置は変化していない。これらの画像は、例えば、リフォーカスによる新しい画像表現を提示したい場合などに有効である。
【００６１】
次に、図６を用いて図５で示した画像を生成する場合の具体的な画素の信号処理構成を説明する。図６（ａ）は、視点が変更された画像を得る場合の信号処理の構成を模式的に示し、図６（ｂ）はピント位置が変更された画像を得る場合の信号処理の構成を模式的に示す。
【００６２】
図６（ａ）および（ｂ）において上段に示した３つの円と格子は、図２（ｂ）と同様に、素子正面から見たマイクロレンズおよび撮像素子を示す。図６において、６２０、６４０、６４１、６４２はマイクロレンズを、６２０ａ、６２０ｂ、６２０ｃはマイクロレンズ６２０下の画素を、６３１、６３２、６３３は視点の異なる画像を、６４０ａ、６４０ｃはマイクロレンズ６４０下の分割画素を示す。また、６４１、６４１ｂ、６４１ｃはマイクロレンズ６４１下の画素を、６４２ａ、６４２ｃはマイクロレンズ６４２下の画素を、６５１、６５２、６５３はピント位置の異なる画像をそれぞれ示す。また、図６では、説明を簡単にするために１つのマイクロレンズに３ｘ３の分割画素が対応するNθ=３の配置構成を示しているがこれに限られるものではないことは、図２の場合と同様に、これに限られるものではない。
【００６３】
視点が変更された画像を生成する構成について図６（ａ）を用いて説明する。本実施例で示した撮影光学系においては、図６（ａ）に示すように、各マイクロレンズに対して相対的な位置が同じ分割画素データを集めることにより視点が変更された画像（＝視差像）を生成することができる。図６（ａ）の例では、画像６３１、６３２、６３３が、それぞれ異なる位置から被写体を観察した画像になっている。また図６（ａ）の視差画像の生成構成から明らかなように、視差画像は画素信号の並び替えのみで生成され、加算などの演算操作は行う必要がない。これは、後述するリフォーカス画像の生成と異なる点である。図３を用いて説明した本実施例に係わる露出制御動作によれば、ステップＳ３０９でケラレが最も少ない視差を求め、ステップＳ３１０でステップＳ３０９において選ばれた視差の視差画像を生成する。これは、図６（ａ）の生成構成では、マイクロレンズ６２０に対して中央に位置する画素６２０ｂを選択し、他のマイクロレンズに対しも相対的な位置が同じ分割画素データを集めて画像６３２を生成していることに対応する。その後、ステップＳ３０８において、画像６３２に基づいて露光条件を決定する。すなわち、画像６３２が適正な露光状態となる。これにより、各視差画像は適切に、またはやや露光量が少なく露光されるものの大幅に不適正な露光状態とはならないので、視点変更を伴うアプリケーションにすぐに提供可能な撮影画像を取得することができる。
【００６４】
ピント位置が変更された画像を生成する構成について図６（ｂ）を用いて説明する。図６（ｂ）に示す例では、説明を簡単にするために加算方向を横方向の１軸に限って説明する。つまり、ライトフィールド情報は角度２次元、位置２次元の４次元で表現されているが、ここではそのうちの２次元（ともに図６（ｂ）の横方向の角度の１次元と位置の１次元）のみを用いて説明する。
【００６５】
本実施例で示した撮影光学系においては、図６（ｂ）に示すように加算する位相を変化させることでピント位置を変更した画像を生成することができる。図６（ｂ）の例では、画像６５１、６５２、６５３がそれぞれピント位置が異なる画像となっている。被写体にピントが合っている場合は、被写体上の同じ点からの光束は通過する瞳領域によらず同じ点に結像する。これがいわゆるピントが合っている状態である。例えば、マイクロレンズ６４１に被写体上の同じ点からの光束が入射しているので、マイクロレンズ６４１に対応する分割画素６４１ａ、６４１ｂ、６４１ｃを加算した信号を生成し、他のマイクロレンズについても同に生成された信号を並べて画像６５２を得る。画像６５２は、マイクロレンズ６４１でピントが合っている被写体がくっきりとしている画像（撮影画像）として提示される。ピント位置を画像６５２とは異なる位置に変更する場合は、加算する位相を変化させればよい。例えばマイクロレンズ６４１に対して中央に位置する画素６４１ｂに、隣接するマイクロレンズ６４０の左側に偏って存在する画素６４０ａと隣接するマイクロレンズ６４２の右側の画素６４２ｃを加算する。他のマイクロレンズに対しても同様の位相関係にある画素を加算した信号を並べて、画像６５１を得る。画像６５１は、画像６５２とは異なった位置にピントが合った画像となる。同様に６４１ｂ、６４０ｃ、６４２ａとなるような位相関係で画素を加算すると画像６５３を得る。画像６５３と画像６５１はそれぞれ反対方向にピントをずらした画像（再構成画像）となる。
【００６６】
図６（ｂ）を用いて説明したように、ピント位置の変更は分割画素の加算を伴う。これは本実施例に係わる撮像装置において、ピント位置の変更は信号の畳み込みを伴うためである。すなわち、これまでのカメラ（＝ライトフィールドカメラではないカメラ）ではレンズのみを用いて光線の畳み込みが行われていたが、いわゆるライトフィールドカメラでは信号処理によって畳み込み処理がなされる。畳み込みで加算されるものが前述したように被写体上の同一の点に対応していればピントがあっており、異なる点に対応していればピントが外れている。
【００６７】
図３に示す露出制御動作では、ステップＳ３０７で加算像を生成しているが、これは図６（ｂ）の画像６５２に対応するものである。またステップＳ３０４からステップＳ３０５、Ｓ３０６を経由した場合は、主被写体にピントが合ったリフォーカス状態が選択される。図６（ｂ）においてはピントの状態に応じて画像６５１、６５２、６５３のいずれかがステップＳ３０７で生成され、その後ステップＳ３０８で画像６５１、６５２、６５３に基づいて露光条件が決められる。すなわち、画像６５１、６５２、６５３が適正露光状態となる。
【００６８】
図６（ａ）および図６（ｂ）に示すように、視点の変更とピント位置の変更という操作を考えた場合、一方は画素の加算を伴わない処理であり、他方は画素の加算を伴う。つまり、図６（ａ）の画像６３１、６３２、６３３に対して画像６５１、６５２、６５３は加算が行われているために信号レベルが高く、いわゆる明るい画像になる。本発明はそのいずれかの状態を適正な露光状態にするかどうかを決定する発明であり、ユーザーが優先した機能に応じて画像の提示がより容易になるように露光状態が決定される。そして、カメラシステム制御部５の制御により、露光状態の決定に使用された画像を表示部９又はメモリ部１３に出力することで、図５に示す画像利用を可能にすることができる。
【００６９】
以上に説明したように、本発明によれば、撮影光学系のケラレがある状態にあっても、ユーザーが優先的に設定した撮影機能に応じた露出条件を決定できる撮像装置を提供することが出来る。
【００７０】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても達成される。すなわち、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても本件発明の目的が達成されることは言うまでもない。
【００７１】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００７２】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００７３】
また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ(基本システム或いはオペレーティングシステム)などが実際の処理の一部又は全部を行うことによっても前述した実施形態の機能が実現される。この場合も本件発明に含まれることは言うまでもない。
【００７４】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づく処理も本件発明に含まれる。すなわち、機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等がプログラムコードの指示に基づき実際の処理の一部又は全部を行って前述した実施形態の機能を実現する場合も本件発明に含まれることは言うまでもない。
【００７５】
上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図１】
2015109635.tif 000003
【図２】
2015109635.tif 000004
【図３】
2015109635.tif 000005
【図４】
2015109635.tif 000006
【図５】
2015109635.tif 000007
【図６】
2015109635.tif 000008