(57)【要約】【課題】リフォーカス時のリフォーカス範囲を保持しつつ、画素データ量を削減して、メモリ容量の削減をも可能にする撮像装置の提供。【解決手段】それぞれが光学像を光電変換により画素信号に変換する複数の画素の二次元配列を有する撮像手段と、フォーカスレンズと撮像手段と前記フォーカスレンズとの間に配置された複数のマイクロレンズからなるマイクロレンズアレイを有する撮影光学系を有し、各マイクロレンズが、画素の二次元配列を所定数の画素を含むブロック単位で分割したときの一つの分割ブロックに対応している撮像装置は、読み出された画素信号に基づいて、撮影画面に含まれる被写体を検出し、被写体の検出の結果に基づいて、撮影画面における検出された被写体の検出領域に対応する分割ブロックから読み出される画素信号の削減量と検出領域以外の領域に対応する分割ブロックから読み出される画素信号の削減量を制御する。【選択図】図３
2014147062.tif 000002
【特許請求の範囲】
【請求項１】
それぞれが光学像を光電変換により画素信号に変換する複数の画素の二次元配列を有する撮像手段と、フォーカスレンズと前記撮像手段と前記フォーカスレンズとの間に配置された複数のマイクロレンズからなるマイクロレンズアレイを有する撮影光学系を有し、各マイクロレンズが、前記画素の二次元配列を所定数の画素を含むブロック単位で分割したときの一つの分割ブロックに対応している撮像装置において、
前記複数の画素から前記画素信号を読み出す読み出し手段と、
前記読み出し手段で読み出された画素信号に基づいて、撮影画面に含まれる被写体を検出する被写体検出手段と、
前記被写体検出手段による被写体の検出の結果に基づいて前記読み出し手段を制御し、前記撮影画面における前記検出された被写体の検出領域に対応する分割ブロックから読み出される画素信号の削減量と前記検出領域以外の領域に対応する分割ブロックから読み出される画素信号の削減量を制御する制御手段を備えることを特徴とする撮像装置。
【請求項２】
前記制御手段は、前記画素信号の削減量を、前記検出された被写体の検出領域に対応する分割ブロックよりも前記検出領域以外の領域に対応する分割ブロックにおいて大きくすることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記被写体検出手段は、複数の被写体を検出したときは、検出された各被写体の検出の信頼度を算出し、前記制御手段は前記読み出し手段を制御し、各被写体の検出領域に対応する分割ブロックから読み出される画素信号の削減量を、前記信頼度に応じて制御することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記制御手段は前記読み出し手段を制御して、前記信頼度が高い被写体の検出領域よりも、前記信頼度が低い被写体の検出領域における画素信号の削減量を大きくすることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記算出された信頼度が同じ検出領域がある場合は、前記制御手段は前記読み出し手段を制御し、前記信頼度が同じ各検出領域に対応する分割ブロックから読み出される画素信号の削減量を、前記信頼度が各検出領域の位置に応じて制御することを特徴とする請求項３又は４に記載の撮像装置。
【請求項６】
前記被写体検出手段が複数の被写体を検出したときは、前記制御手段は前記読み出し手段を制御し、各被写体の検出領域に対応する分割ブロックから読み出される画素信号の削減量を、各検出領域の位置に応じて制御することを特徴とする請求項１又は２に記載の撮像装置。
【請求項７】
前記制御手段は前記読み出し手段を制御して、前記検出領域の位置が前記撮影画面の中心部から離れるほど前記画素信号の削減量を大きくすることを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記被写体検出手段が検出した被写体の検出領域を選択する選択手段を備え、前記制御手段は前記読み出し手段を制御し、各被写体の検出領域に対応する分割ブロックから読み出される画素信号の削減量を、前記選択手段で選択された検出領域であるかどうかに従って制御することを特徴とする請求項１又は２に記載の撮像装置。
【請求項９】
前記制御手段は前記読み出し手段を制御して、前記選択手段で選択された検出領域に対応する分割ブロックから読み出される画素信号の削減量を、選択されなかった検出領域に対応する分割ブロックから読み出される画素信号の削減量より少なくすることを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記制御手段は、前記読み出し手段を制御して、前記検出領域の境界付近に前記境界を含む周辺領域を設定し、前記周辺領域に対応する分割ブロックから読み出される画素信号を、前記分割ブロック内の画素対が与える基線長に従って決定することを特徴とする請求項１乃至９のいずれか一項に記載の撮像装置。
【請求項１１】
前記制御手段は、前記読み出し手段を制御して、前記周辺領域の大きさを前記信頼度に従って決定することを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記画素信号の周波数成分に基づいて、前記撮影画面を異なる周波数成分に対応する複数の領域に分割する分割手段を備え、前記制御手段は前記読み出し手段を制御し、前記分割された各領域に対応する分割ブロックから読み出される画素信号の削減量を、前記異なる周波数成分に従って制御することを特徴とする請求項１に記載の撮像装置。
【請求項１３】
前記分割手段は、前記分割された各領域における異なる方向の周波数成分を算出し、前記制御手段は前記読み出し手段を制御し、前記分割された各領域に対応する分割ブロックから読み出される画素信号の削減量を、高い周波数成分が算出された方向に従って制御することを特徴とする請求項１２に記載の撮像装置。
【請求項１４】
前記制御手段は、前記読み出し手段を制御して、前記領域の境界付近に前記境界を含む周辺領域を設定し、前記周辺領域に対応する分割ブロックから読み出される画素信号を、前記分割ブロック内の画素対が与える基線長に従って決定することを特徴とする請求項１２または１３に記載の撮像装置。
【請求項１５】
前記制御手段は、前記読み出し手段を制御して、前記周辺領域の大きさを前記異なる方向の周波数成分に従って決定することを特徴とする請求項１４に記載の撮像装置。
【請求項１６】
前記制御手段は、前記読み出し手段を制御して前記分割ブロックに含まれる所定数の画素の画素信号を加算して読み出し、加算する画素の数を変更して前記画素信号の削減量を制御することを特徴とする請求項１乃至１５のいずれか一項に記載の撮像装置。
【請求項１７】
前記制御手段により削減量の制御に下で前記読み出し手段により読み出された画素信号を処理してライトフィールドデータを得る画像信号処理手段と、前記ライトフィールドデータを記録媒体に記録する記録手段をさらに備えることを特徴とする請求項１乃至１６のいずれか一項に記載の撮像装置。
【請求項１８】
それぞれが光学像を光電変換により画素信号に変換する複数の画素の二次元配列を有する撮像手段と、フォーカスレンズと前記撮像手段と前記フォーカスレンズとの間に配置された複数のマイクロレンズからなるマイクロレンズアレイを有する撮影光学系を有し、各マイクロレンズが、前記画素の二次元配列を所定数の画素を含むブロック単位で分割したときの一つの分割ブロックに対応している撮像装置の制御方法において、
前記複数の画素から前記画素信号を読み出す読み出しステップと、
前記読み出しステップで読み出された画素信号に基づいて、撮影画面に含まれる被写体を検出する被写体検出ステップと、
前記被写体検出ステップでの被写体の検出の結果に基づいて前記読み出しステップを制御し、前記撮影画面における前記検出された被写体の検出領域に対応する分割ブロックから読み出される画素信号の削減量と前記検出領域以外の領域に対応する分割ブロックから読み出される画素信号の削減量を制御する制御ステップを備えることを特徴とする制御方法。
【請求項１９】
それぞれが光学像を光電変換により画素信号に変換する複数の画素の二次元配列を有する撮像手段と、フォーカスレンズと前記撮像手段と前記フォーカスレンズとの間に配置された複数のマイクロレンズからなるマイクロレンズアレイを有する撮影光学系と、前記複数の画素から前記画素信号を読み出す読み出し手段を有し、各マイクロレンズが、前記画素の二次元配列を所定数の画素を含むブロック単位で分割したときの一つの分割ブロックに対応している撮像装置を制御するプログラムであり、
コンピュータを、
前記読み出し手段で読み出された画素信号に基づいて、撮影画面に含まれる被写体を検出する被写体検出手段、
前記被写体検出手段による被写体の検出の結果に基づいて前記読み出し手段を制御し、前記撮影画面における前記検出された被写体の検出領域に対応する分割ブロックから読み出される画素信号の削減量と前記検出領域以外の領域に対応する分割ブロックから読み出される画素信号の削減量をそれぞれ制御する制御手段
として機能させるプログラム。
【請求項２０】
請求項１９のプログラムを記録したコンピュータが読み取り可能な記憶媒体。
【請求項２１】
コンピュータを、請求項１乃至１７のいずれか一項に記載された撮像装置の各手段として機能させるプログラム。
【請求項２２】
コンピュータを、請求項１乃至１７のいずれか一項に記載された撮像装置の各手段として機能させるプログラムを格納した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置に関し、特に被写体の光学像を撮像してライトフィールドデータを取得する撮像装置およびその制御方法に関する。
【背景技術】
【０００２】
例えば、撮像素子の前面に複数画素に対し１つの割合で並ぶマイクロレンズアレイを配置することで、光の２次元強度分布だけでなく撮像素子に入射する光線の入射方向の情報を取得し、被写体空間の３次元的な情報を得ることが可能である。このような被写体空間の３次元的な情報を得ることが可能なカメラ（撮像装置）はライトフィールドカメラと呼ばれている。また、被写体空間の３次元的な情報はライトフィールドデータと呼ばれ、ライトフィールドデータの取得と撮影後の画像再構成処理によって、画像のピント位置変更や、撮影視点の変更、被写界深度の調節等のリフォーカスと呼ばれる画像処理が可能となる。
【０００３】
図１１にライトフィールドカメラにおける被写体空間の３次元的な情報を得るためのフォーカス機能を実現する構成例を示す図である。
【０００４】
同図において、像平面１１０３には、マイクロレンズ１１０４が配置されており、撮像素子１１０５は該マイクロレンズ１１０４の後ろの面に配置されている。フォーカスレンズ１１０２に集光された光は、像平面１１０３に配置されているマイクロレンズ１１０４に投射される。
【０００５】
このような構造を有する撮像装置であるライトフィールドカメラでは、マイクロレンズ１１０４に投射された被写体１１０１からの光線が、該マイクロレンズ１１０４により分割された後、撮像素子１１０５に投射される。これにより、該撮像素子１１０５により結像された情報には、複数の光線方向の情報が含まれる。このように、ライトフィールドカメラのフォーカス機能による撮像素子への結像の結果得られる画素データ（ライトフィールドデータ）は、異なる複数の視差を有することにより、記録画像のリフォーカスを可能にしている。
【０００６】
上述したライトフィールドカメラによる撮像画素データの数ＬＦＤＡＴＡ（画素数）は、撮像素子の画素数をＮ、一つのマイクロレンズにて分割される画像の分割数をＭとすると、
ＬＦＤＡＴＡ  ＝  Ｎ×Ｍ
となる。なお、図１１では、少なくとも撮像素子１１０５の撮像面に平行な方向に分割されている画素の数Ｍは４である。
【０００７】
このように、ライトフィールドカメラによる撮像画素データ量は分割数に応じて、増加し、ライトフィールドデータの取得を可能にするフォーカス機能を有する撮像装置では、撮像画素データに対し、各種信号処理を行う際、処理負荷が増大する。更に撮像画素データを各種画像信号処理手段に取り込む際、大容量のデータ格納手段が必要となる。
【０００８】
その結果、データ処理負荷増大に伴う消費電力が増加し、更に処理データ量増加に伴うデータ格納手段の容量増加によるコストアップとなる。
【０００９】
データ量の削減については、撮像素子において画素出力を加算することにより、処理する画素データ量を削減する方法が考えられている。
（例えば、特許文献１参照）
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００９−３１２２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかし、ライトフィールドカメラのフォーカス機能を有する撮像装置において、撮像素子における画素加算により、処理する画素データ量を削減した場合、次のような問題がある。画素データ量の削減によりリフォーカスする際に必要な情報も失われてしまうため、撮影した画像を再生時にリフォーカスする場合、リフォーカス範囲が浅くなってしまう。
【００１２】
本発明は上記の問題の鑑み、撮影後のリフォーカス時のリフォーカス範囲を保持しつつ、各種画像信号処理手段にて処理するデータ量を削減でき、かつ該データを格納する手段の容量の削減も可能なライトフィールドカメラの提供を目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、それぞれが光学像を光電変換により画素信号に変換する複数の画素の二次元配列を有する撮像手段と、フォーカスレンズと前記撮像手段と前記フォーカスレンズとの間に配置された複数のマイクロレンズからなるマイクロレンズアレイを有する撮影光学系とを有し、各マイクロレンズが、前記画素の二次元配列を所定数の画素を含むブロック単位で分割したときの一つの分割ブロックに対応している撮像装置は、複数の画素から前記画素信号を読み出す読み出し手段と、読み出し手段で読み出された画素信号に基づいて、撮影画面に含まれる被写体を検出する被写体検出手段と、被写体検出手段による被写体の検出の結果に基づいて読み出し手段を制御し、撮影画面における検出された被写体の検出領域に対応する分割ブロックから読み出される画素信号の削減量と検出領域以外の領域に対応する分割ブロックから読み出される画素信号の削減量を可変に制御する制御手段を備える。
【発明の効果】
【００１４】
本発明によれば、記録画像のリフォーカス時のリフォーカス範囲を極力保持しつつ、画像信号処理手段で処理するライトフィールドデータ量を削減することが可能な撮像装置の提供が可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１の実施例に係る撮像装置のブロック構成図。
【図２】本発明の第１の実施例に係る撮像装置の分割画素構成および撮像画像を示す図。
【図３】本発明の第１の実施例に係る撮像装置の撮像動作のフローチャートを示す図。
【図４】本発明の第１の実施例に係る撮像装置での分割画素データの加算を示す図。
【図５】撮像されたフレーム画像における被写体検出領域を示す図。
【図６】本発明の第１の実施例に係る撮像装置の他の撮像動作のフローチャートを示す図。
【図７】撮像されたフレーム画像における複数の被写体検出領域を示す図。
【図８】本発明の第２の実施例に係る撮像動作のフローチャートを示す図。
【図９】本発明の第２の実施例に係るフレーム画像における周波数領域の分割を示す図。
【図１０】本発明の第２の実施例に係る撮像装置での分割画素データの加算を示す図。
【図１１】ライトフィールドカメラのフォーカス機能を実現するための構成例を示す図。
【図１２】本発明の第１または第２の実施例に変形例に係る画素データを説明するための図。
【図１３】本発明の第１または第２の実施例の変形例に係る画素データの読み出し領域を説明するための図。
【発明を実施するための形態】
【００１６】
以下、図面を参照しながら本発明の好適な実施の形態を説明する。
【実施例１】
【００１７】
図１は本発明の第１の実施例に係る撮像装置の一例としてのライトフィールドカメラの全体構成のブロック図である。
【００１８】
同図において、１０１はズームレンズ、１０２はフォーカスレンズであり、撮影光学系を構成している。１０３はマイクロレンズアレイ、１０４はＣＭＯＳ等の撮像素子、１０５は撮像素子１０４と各種信号処理部とのインターフェース部である。１０６は撮像素子からの撮像信号（画素信号）を処理する画像信号処手段、１０７は被写体（物体）検出手段、１０８は各信号処理部にて処理されたデータを一旦、格納するＤＲＡＭ等のメインメモリである。なお、該各機能ブロックは、該メインメモリ１０８をシェアして使用しており、該メインメモリ１０８を介して各信号処理データの受け渡しを行っている。１０９はメインメモリ１０８の制御部であるメモリコントローラ、１１０は特徴検出手段であり、画像信号処理手段１０６からメモリ１０８で一時保持した映像データ（撮影画面）から被写体検出手段１０７で検出した領域の画素データを読み出して被写体の特徴を抽出する。例えば、検出対象が人間の場合、顔内の部位（耳、目、鼻、口等）を抽出する。１１１は認識・認証手段であり、特徴検出手段１１０が検出した被写体の特徴を解析し、例えば笑顔の有無、あるいは個人の特定を行う。また、被写体は人物以外でもよく、特徴検出手段１１０にて、検出した被写体の特徴（色、形状等）を抽出し、認識・認証手段１１１にて被写体認識を行う。
【００１９】
１１２は画像データの表示・記録処理手段であり、メインメモリ１０８に保持している画像データを読み出し、記録媒体（不図示）への記録、および表示手段（不図示）への画像の表示、また撮影画での被写体を指示する枠の表示を行う。１１３は撮像装置全体を制御するシステム制御部であり、図示しないメモリに記憶されたプログラムをロードして実行することで各部の制御を行う。このプログラムは、以下に説明する本発明の撮像装置の撮像動作の制御プログラムも含み、特に断わりのない限り、本実施例の撮像装置はこのプログラムによる制御の下で動作するものとする。また、１１４はＣＭＯＳ等の撮像素子１０４で光学像を光電変換した画素信号の読み出しを制御する撮像素子制御部（センサ制御部）である。
【００２０】
撮影光学系はズームレンズ１０１、フォーカスレンズ１０２で構成されており、被写体からの光を集光してマイクロレンズアレイ１０３に入射する。フォーカスレンズ１０２は被写体の各点からの光をマイクロレンズアレイ１０３の１つに投射する。すなわち本実施例の撮像装置は、図１１に示すライトフィールドカメラの機能を有する撮像装置である。なお、ライトフィールドカメラにおけるマイクロレンズアレイ１０３および撮像素子１０４の構成は、すでに周知であるので、ここでの説明は省略する。
【００２１】
図２は、図１に示すライトフィールドカメラの機能を有する撮像装置が含む撮像素子の分割画素と当該撮像素子で撮影された画像例を示す図である。撮像素子１０４に配置されている二次元配列の複数の画素をマイクロレンズアレイ１０３に対応して２×２（４分割）分割ブロック単位で分割し、分割ブロックに含まれる画素の撮像信号をライトフィールドデータとして処理する。この場合、撮像素子１０４の１つの分割ブロックに入射する光線は４種類となり、視差の異なる４種類（Ａ〜Ｄ）の画像が得られる。その結果、記録した画像を再生する際、可能な被写界深度は４通りとなり、リフォーカス範囲は４段階に調整できる。なお、分割ブロックは２×２分割に限られず、例えば後述するように４×４分割（１６分割）、あるいは他の所定数の分割画素を含む分割ブロックであってもよい。これらは、撮像素子１０４およびマイクロレンズアレイ１０３の設計的選択事項である。
【００２２】
図３は、本実施例の撮像装置の撮像動作のフローチャートを示す図である。本動作は、システム制御部１１３が制御プログラムを実行して行われる。
【００２３】
電源ＯＮ（Ｓ３０１）後、システム制御部１１３は撮像システムの同期信号を検出し（Ｓ３０２）、各処理の動作を開始させる（例えば垂直同期信号を検出し、撮像動作処理をスタートさせる）。まず、撮像素子制御部１１４が撮像素子１０４から画素信号を読み出し（Ｓ０３）、画像信号処理手段１０６が該画素信号を信号処理する（Ｓ３１２）。画像信号処理と平行して、システム制御部１１３は被写体検出機能のＯＮ／ＯＦＦを判定し（Ｓ３０４）、被写体検出機能がＯＦＦの場合は、次の映像フレーム開始のため、撮像システムの同期を検出するまで待機する（Ｓ３０２）。
【００２４】
また、Ｓ３０４で被写体検出機能がＯＮの場合は、被写体検出結果に基づいて特徴検出手段１１０は、撮影フレームにおける被写体が検出された検出領域を検出し、メモリ１０８から検出領域に対応する画素データを読み出す（Ｓ３０５）。なお、本実施例では、検出領域は矩形領域であるが、これに限定されるものではない。
【００２５】
被写体検出機能がＯＮの場合は、更に、システム制御部１１３は検出した被写体の状態を認識する機能のＯＮ／ＯＦＦを判定する（Ｓ３０６）。被写体認識機能がＯＮの場合、特徴検出手段はメモリ１０８から読み出した矩形領域の画素データから被写体の特徴を抽出し（Ｓ３０７）、矩形領域内における被写体の認証、認識を行う（Ｓ３０８）。
【００２６】
ここで、図５に被写体検出手段が被写体を検出した検出領域Ａの例を示す。システム制御部１１３は、該被写体の認証、認識を行った検出領域Ａ）に対し、図４（ａ）に示す撮像素子１０４の４×４分割（１６分割）画素の画素信号を読み出す指示を行い（Ｓ３０９）、撮像素子制御部１１４を制御する（Ｓ３１１）。読み出された画素信号は、画像信号処理手段１０６によりライトフィールドデータに変換される。
【００２７】
該読み出した画素信号は画像信号処理部１０６にて各種信号処理が施され（Ｓ３１２）、ライトフィールドデータとしてメモリ１０８に書き込まれる（Ｓ３１３）。
【００２８】
また、被写体の認証、認識を行った検出領域Ａ以外の領域Ｂについては、図４（ｂ）に示すように撮像素子１０４の４×４分割画素の隣接する画素同士を加算して２×２分割画素（４分割）の画素信号として撮像素子１０４から読み出す。システム制御部１１３は、撮像素子制御部１１４をそのように指示を行い（Ｓ３０９）、撮像素子制御部１１４を制御する（Ｓ３１１）。該読み出した画素信号は信号処理手段１０６にて各種信号処理が施され（Ｓ３１２）、ライトフィールドデータとしてメモリ１０８に書き込まれる（Ｓ３１３）。
【００２９】
表示・記録処理手段１１２は、メモリ１０８に書き込まれた画像データを所望のタイミングで読み出し（Ｓ３１４）、記録媒体（不図示）への記録、および表示手段（不図示）への画像の表示を行う（Ｓ３１５）。
【００３０】
このように記録した画像を再生する際、被写体の認証、認識を行った検出領域Ａにおいては、本実施例の場合、被写界深度は１６通りあることになり、リフォーカス範囲は１６段階に調整できる。
【００３１】
また、被写体の認証、認識を行った検出領域Ａ以外の領域（領域Ｂ）では、本実施例の場合、被写界深度は４通りあることになり、リフォーカス範囲は４段階に調整できる。
【００３２】
以上のように、被写体の認証、認識を行った検出領域においては、マイクロレンズに対応する撮像素子１０４の１画素を４×４分割（１６分割）にした分割画素の信号を撮像素子１０４から読み出す。他方、被写体の認証、認識を行った検出領域以外の領域においては、マイクロレンズに対応する撮像素子１０４の１画素を４×４分割（１６分割）した分割画素の隣接する画素同士を加算して２×２分割画素（４分割）の画素信号として撮像素子１０４から読み出す。これにより、記録画像の再生時において、所望の被写体（本実施形態では領域Ａにおける被写体）の記録画像を再生する際のリフォーカス範囲を保持し、被写体以外の記録画像については、処理する画素データの削減を可能とする。従って、画素データを格納するメモリ容量の削減も可能となる。なお、加算読み出しの指示については、４×４から２×２への切り替えに限るものではなく、例えば１×１（分割なし）への切り替えであってもよく、画素データの削減量に応じて適宜設定すればよい。
【００３３】
図６は、撮影時に複数の被写体が検出された場合の本実施例に係る撮像装置の撮像動作のフローチャートを示す図である。本動作も、システム制御部１１３が制御プログラムを実行して行われる。
【００３４】
本実施例では、撮影時に図７に示すように被写体が２人存在した場合の例を説明する。
【００３５】
電源ＯＮ（Ｓ６０１）後、システム制御部１１３は撮像システムの同期信号を検出し（Ｓ６０２）、各処理の動作を開始させる（例えば垂直同期信号を検出し、撮影処理動作を開始させる）。撮像システムの各種処理は、まず、撮像素子制御部１１４が撮像素子１０４から画素信号を読み出し（Ｓ６０３）、画像信号処理手段１０６が画素信号を信号処理する（６１２）。画像信号処理と平行して、システム制御部１１３は被写体検出機能のＯＮ／ＯＦＦを判定し（Ｓ６０４）、被写体検出機能がＯＦＦの場合は、次の映像フレーム開始のため、撮像システムの同期を検出するまで待機する（Ｓ６０２）。
【００３６】
また、Ｓ６０４で被写体検出機能がＯＮの場合は、被写体検出結果に基づいて、特徴検出手段１１０は撮影フレームにおける被写体が検出された検出領域を検出し、メモリ１０８から検出領域の画素データを読み出す（Ｓ６０５）。なお、本実施例では、検出領域は矩形領域であるが、これに限定されるものではない。
【００３７】
本実施形態では、１枚の撮影フレーム内の２つの被写体が検出された矩形領域（Ａ、Ｂ）に対応する画素データをメモリ１０８から読み出す（Ｓ６０５）。
【００３８】
特徴検出手段１１０は、読み出した２つの矩形領域から被写体の特徴を抽出して被写体の認証、認識を行い（Ｓ６０６）、該被写体の認証、認識を行った結果に基づいて検出領域の評価値（例えば、認識の信頼度）を算出する（Ｓ６０７）。
【００３９】
その後、各検出領域の算出された評価値を比較する（Ｓ６０８）。ここでは、矩形領域Ａにおける評価値（例えば、認識の信頼度Ａｔｈ）の方が矩形領域Ｂにおける評価値（例えば、認識の信頼度Ｂｔｈ）の方が大きいとする。これは、矩形領域Ａにおける被写体の方が所望の被写体である可能性が高いことを示唆している。
【００４０】
この場合、システム制御部１１３は、矩形領域Ａにおける画素信号に対しては、図４（ａ）に示す撮像素子１０４の４×４分割（１６分割）画素の画素信号を読み出す指示を行い（Ｓ６０９）、撮像素子制御部１１４を制御する（Ｓ６１１）。読み出された画素信号は画像信号処理手段１０６にて各種信号処理を施され（Ｓ６１２）、メモリ１０８にライトフィールドデータとして書き込まれる（Ｓ６１３）。そして、表示・記録処理手段１１２は、メモリに書き込まれた画素データを所望のタイミングで読み出し（Ｓ６１４）、記録媒体（不図示）への記録、および表示手段（不図示）への画像の表示を行う（Ｓ６１５）。
【００４１】
矩形領域Ｂにおける画素信号に対しては、図４（ｂ）に示すように撮像素子１０４の１画素の４×４分割（１６分割）画素の隣接する画素同士を加算し、２×２分割（４分割）の画素信号として撮像素子１０４から読み出す。システム制御部１１３は、撮像素子制御手段１１４にそのように指示を行い（Ｓ６１０）、撮像素子制御手段１１４の制御を行う（Ｓ６１１）。読み出した画素信号は画像信号処理手段１０６にて各種信号処理が施され（Ｓ６１２）、メモリ１０８に書き込まれる（Ｓ６１３）。そして表示・記録処理手段１１２は、メモリ１０８に書き込まれた画素データを所望のタイミングで読み出し（Ｓ６１４）、記録媒体（不図示）への記録、および表示手段（不図示）への画像の表示を行う（Ｓ６１５）。
【００４２】
また、矩形領域Ａ、Ｂ以外の領域は、図４（ｃ）に示すように、撮像素子１０４の１画素の４×４分割（１６分割）画素の隣接する画素同士を加算し、１×１分割（分割なし）にしてライトフィールドデータとして撮像素子１０４から読み出す。システム制御部１１３は、そのように撮像素子制御部１１４を制御する。読み出した画素信号は画像信号処理手段１０６にて各種信号処理が施され（Ｓ６１２）、メモリ１０８に書き込まれる（Ｓ６１３）。表示・記録処理手段１１２は、メモリ１０８に書き込まれた画素データを所望のタイミングで読み出し（Ｓ６１４）、記録媒体（不図示）への記録、および表示手段（不図示）への画像の表示を行う（Ｓ６１５）。
【００４３】
以上のように、被写体の認証、認識を行った検出領域が複数存在する場合、撮像素子１０４の１画素の４×４（１６分割）分割画素の撮像素子１０４から読み出す画素信号量を、被写体の検出結果の評価値に応じて、変更する。例えば、評価値に従って、４×４分割画素の隣接する画素同士を加算し、２×２分割の画素信号として読み出すか、さらに隣接する画素同士を加算して１×１分割画素（分割なし）の画素信号として読み出すのかを切り替える。これにより、所望の被写体に対しては、記録画像を再生する際のリフォーカス範囲が保持され、所望の被写体以外の被写体については、画素データ量が削減される。この結果、画素データを格納するためのメモリの容量も削減可能となる。
【００４４】
また、本実施例において、複数の被写体が検出された場合、評価値による判断に代えて、例えば、撮影者がタッチパネル等で構成されている表示パネル等から撮影画像を見て、複数の被写体の中から所望の被写体を選択してもよい。この場合も、上述のように選択した被写体の領域に対して４×４分割画素の画素信号として読み出し、選択されない領域に対しては２×２分割画素又は１×１分割画素として読み出す。
【００４５】
また、複数の被写体が検出された場合、検出領域の位置に応じて加算構成を切り替えてもよい。例えば、１フレーム画像内の中心部に最も近くにある検出領域に対しては、４×４分割画素の画素信号として読み出す。他の検出領域に対しては、４×４分割画素の隣接する画素同士を加算により、２×２分割画素又は１×１分割画素（分割なし）の画素信号として読み出してもよい。
【００４６】
また、被写体検出の評価値が同じ検出領域に対しては、その位置が１フレーム画像内の中心部により近いかどうかに従って加算構成（画素データの削減量）を切り替えてもよい。
【実施例２】
【００４７】
次に、図８のフローチャートを用いて、本発明の第２の実施例を説明する。
【００４８】
図８は、本実施例に係る撮影動作のフローチャートを示す図である。本動作も、システム制御部１１３が制御プログラムを実行して行われる。なお、撮像装置の構成は第１の実施例と同様であるので、ここでの説明を省略する。
【００４９】
電源ＯＮ（Ｓ８０１）後、システム制御部１１３は撮像システムの同期信号を検出し（Ｓ８０２）、各処理動作を開始させる（例えば垂直同期信号を検出し、処理動作を開始させる）。まず、ＣＭＯＳ等の撮像素子から画素信号を読み出し（Ｓ８０３）、読み出した１フレーム分の画素信号の周波数成分を算出し（Ｓ８０４）、算出した周波数成分をしきい値（ｆｔｈ）と比較する（Ｓ８０５）。周波数成分の比較の結果に従って、例えば、図９に示すように１フレーム分の画素信号を領域Ａ、領域Ｂの２画素信号に分割する。なお本実施例では、この機能を被写体検出手段１０７に持たせているが、画像信号処理手段１０６に持たせる構成でもよい。
【００５０】
算出した周波数成分がしきい値（ｆｔｈ）より大きい領域に対しては（図９における領域Ｂ、すなわち１フレーム分の画素データにおける周波数成分が高い）、撮像素子１０４の１画素を４×４分割画素（１６分割）の画素信号として読み出す。システム制御部１１３は、そのような読み出しの指示を行い（Ｓ８０６）、撮像素子制御手段１１４の制御を行う（Ｓ８０８）。読み出された画素信号は画像信号処理手段１０６で各種信号処理が施され（Ｓ８０９）、メモリ１０８に書き込まれる（Ｓ８１０）。
【００５１】
算出した周波数成分がしきい値（ｆｔｈ）より小さい領域に対しては（図９における領域Ａ、例えば風景における空など）、図４（ｂ）に示すように撮像素子１０４の１画素を４×４分割画素の隣接する画素同士を加算して２×２分割画素（４分割）として読み出す。システム制御部１１３は、そのような読み出しの指示を行い（Ｓ８０７）、撮像素子制御手段１１４の制御を行う（Ｓ８０８）。読み出された画素信号は画像信号処理手段１０６で各種信号処理が施され（Ｓ８０９）、メモリ１０８に書き込まれる（Ｓ８１０）。
【００５２】
表示・記録処理手段１１２は、メモリ１０８に書き込まれた画素データを所望のタイミングで読み出し、記録媒体（不図示）への記録、および表示手段（不図示）への画像の表示を行う。
【００５３】
本実施例に従って画素データを記録することで、画像を再生する際、１フレーム分の画素データにおいて、周波数成分が高い領域は、被写界深度が１６通りあることになり、リフォーカス範囲を１６段階に調整できる。
また、１フレーム分の画素データにおいて、周波数成分が低い領域は、撮像素子１０４の１画素の４×４分割画素の画素信号を隣接する画素同士の加算により２×２分割画素として読み出す。これにより、１フレーム分の画素データにおける周波数成分が低い領域については、処理する画素データの量を少なくすることが可能となり、画素データを格納するメモリ容量も削減することが可能となる。
【００５４】
また、１フレーム分の画素データにおける周波数成分を算出する際、水平方向の周波数成分と垂直方向の周波数成分を算出し、水平方向の周波数成分と垂直方向の周波数成分を比較する構成としてもよい。例えば、垂直方向の周波数成分が高い場合に、図１０（ａ）に示すように、撮像素子１０４の１画素の４×４分割画素において、水平方向に２画素加算（２分割）し、垂直方向に関しては加算せずに読み出してもよい。すなわち、水平・垂直方向の周波数成分を比較し、周波数成分の低い方向に対し、画素加算量を大きくする構成にしてもよい。さらに、水平、垂直方向の各周波数成分がそれぞれ所定の閾値より低い周波数成分が主成分であった場合、各成分に対して画素加算量を大きくしてもよい。
【００５５】
上述したように、本発明によれば、記録画像のリフォーカス時のリフォーカス範囲を極力保持しつつ、画像信号処理手段で処理するライトフィールドデータ量を削減することが可能な撮像装置の提供が可能となる。
【００５６】
［変形例］
次に上述した本発明の第１又は第２の実施例の変形例を説明する。
第１の実施例で検出される被写体領域及び第２の実施例で分割される領域内の被写体は、リフォーカス画像処理において、当該領域の外側（領域の境界を含む周辺領域）におけるライトフィールドデータで構成される場合もある。その場合、画素データの読み出しの際の削減量に応じてリフォーカス画像処理が不可能となることがある。本変形例は、このような問題を解決するために、被写体領域の境界付近の領域では、加算読み出しではなく、単位画素セル内で基線長の長い位置に存在する分割画素のデータをメモリ１０８から読み出すことでリフォーカスを可能にする。
【００５７】
図１３は、基線長の長い位置に存在する分割画素のデータを読み出す領域を説明するための図である。同図において、被写体が検出された領域（図中の黒枠の矩形領域）に対し、点線枠の灰色部が本変形例による画素データの読み出し対象となる周辺領域である。この周辺領域は、幅Ｘを持って設定されている。幅Ｘは後述するように可変制御可能とする。
【００５８】
次に、図１２を参照して、設定された周辺領域からの画素データの読み出し構成を説明する。周辺領域においては、例えば同図に示すように、マイクロレンズの下に存在する単位画素セルにおいて、４×４分割（１６分割）にしたライトフィールドデータにおける斜線部の画素データ（Ａ１、Ａ２）、あるいは灰色部の画素データ（Ｂ１、Ｂ２）をメモリ１０８から読み出す。すなわち、単位画素セルに分割したライトフィールドデータのうち最も基線長の長くなる分割画素対の各分割画素の画素データをメモリ１０８から読み出す。
【００５９】
なお、本変形例の場合、周辺領域においてメモリ１０８から読み出す画素データ量は、第１の実施例の変形例の場合は、被写体検出の信頼度に応じて可変となっている。これは、被写体領域と領域外との境界における基線長の長い画素位置に存在する画素データをメモリ１０８から読み出す際、周辺領域の幅Ｘを可変にして画素データを読み出す範囲を制御しているからである。例えば被写体検出の信頼度が低い場合、距離Ｘを大きくし、被写体検出の信頼度が高い場合、距離Ｘを小さくし、リフォーカスする際に用いる矩形領域周辺におけるライトフィールドデータを制御する。なお、信頼度を参照した周辺領域の設定機能は、被写体検出手段１０７に持たせてもよいし、画像信号処理手段１０６に持たせてもよい。また、第２の実施例の変形例の場合は、例えば図１０を参照して説明した画素データの削減量の制御と同様に、水平方向の周波数成分と垂直方向の周波数成分の比較に従って、水平方向と垂直方向で周辺領域の大きさを可変に決定するよう制御してもよい。
【００６０】
このように、本変形例に拠れば、被写体領域とその領域外との境界付近では、分割ブロック内で基線長の長い画素位置に存在する画素データをメモリ１０８から読み出すことにより、被写体領域内の被写体に対するリフォーカスの可能性をより高めることができる。
【００６１】
なお、上述した本発明の実施例および変形例においては、システム制御部１１３が行う装置全体の制御は、１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで行ってもよい。
【００６２】
前述した本発明の実施形態における撮像装置を構成する各手段、並びに記録方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。
【００６３】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００６４】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図３、６及び９に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００６５】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【００６６】
プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。
【００６７】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。
【００６８】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００６９】
また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００７０】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【００７１】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【図１】
2014147062.tif 000003
【図３】
2014147062.tif 000004
【図４】
2014147062.tif 000005
【図５】
2014147062.tif 000006
【図６】
2014147062.tif 000007
【図７】
2014147062.tif 000008
【図８】
2014147062.tif 000009
【図９】
2014147062.tif 000010
【図１０】
2014147062.tif 000011
【図１１】
2014147062.tif 000012
【図１２】
2014147062.tif 000013
【図１３】
2014147062.tif 000014
【図２】
2014147062.tif 000015