(57)【要約】【課題】撮像素子部が画素毎に複数の光電変換素子を有する場合に、撮像装置で生成される出力用映像の明るさを適切にできる撮像装置及びその制御方法、並びにプログラムを提供する。【解決手段】ｘ方向に並ぶ光電変換素子３０３，３０４及びこれらに光を集約するマイクロレンズ３０２を有する単位画素３０１をｘ方向及びｙ方向に行列配置する撮像素子部１０２を有する撮像装置１００は、マイクロレンズ３０２の位置に応じた撮像素子部１０２における単位画素３０１の夫々の光電変換素子３０３，３０４のｘ方向における感度分布を取得し、撮像素子部１０２の単位画素３０１の夫々の少なくとも一方の光電変換素子の出力値を用いてｘ方向の照度分布を算出し、算出されたｘ方向の照度分布と取得された感度分布に基づき、撮像素子部１０２の単位画素３０１の夫々に対し、出力用映像を生成するための光電変換素子を選択する。【選択図】図１
2020022089.tif 000002
【特許請求の範囲】
【請求項１】
第１の方向に並ぶ少なくとも２つの光電変換素子及び被写体から入射する光を前記少なくとも２つの光電変換素子に集約するレンズを有する画素を前記第１の方向及びこれに垂直な方向に行列配置する撮像素子部を有する撮像装置において、
前記レンズの位置に応じた前記撮像素子部における前記画素の夫々の前記少なくとも２つの光電変換素子の前記第１の方向における感度分布を取得する取得手段と、
前記撮像素子部の前記画素の夫々の少なくとも一つ以上の光電変換素子の出力値を用いて前記第１の方向の照度分布を算出する算出手段と、
前記算出手段で算出された前記第１の方向の照度分布と前記取得手段で取得された前記感度分布に基づき、前記撮像素子部の前記画素の夫々に対し、出力用映像を生成するための光電変換素子を選択する選択手段とを備えることを特徴とする撮像装置。
【請求項２】
前記選択手段は、前記撮像素子部の前記画素の夫々対して前記第１の方向における感度分布が同じである光電変換素子を選択することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記撮像素子部の前記第１の方向に関して所定の位置を境界とする２つ以上の領域を設定する設定手段を更に備え、
前記選択手段は、前記出力用映像の前記第１の方向の照度分布が均一となる光電変換素子として、前記設定された２つ以上の領域毎に、前記撮像素子部の前記画素の夫々対して前記第１の方向における感度分布が同じである光電変換素子を選択することを特徴とする請求項１記載の撮像装置。
【請求項４】
前記光を前記撮像素子部に結像する光学レンズと、
前記光学レンズの焦点調整を行う焦点調整手段と、
前記撮像素子部の前記画素の夫々の少なくとも一つ以上の光電変換素子の出力値を用いて映像を出力する出力手段と、
前記出力された映像内の被写体及びその明るさを検出する検出手段とを更に備え、
前記検出手段で２つ以上の被写体を検出した場合、前記焦点調整手段は、前記撮像素子部において前記検出された被写体のうちの最も暗い被写体が結像される暗領域に位置する前記画素の夫々に対して前記選択手段により選択された光電変換素子からの出力値に基づき、前記焦点調整を行うことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記撮像素子部の露出調整を行う露出調整手段を更に備え、
前記検出手段で２つ以上の被写体を検出した場合、前記選択手段は、前記撮像素子部において前記検出された被写体のうちの最も明るい被写体が結像される明領域に位置する前記画素の夫々に対して選択する光電変換素子として、前記感度分布に基づき前記明領域における感度が最も低い光電変換素子を選択し、前記露出調整手段は、前記明領域に対して選択された光電変換素子からの出力値に基づき、前記露出調整を行うことを特徴とする請求項４記載の撮像装置。
【請求項６】
前記選択手段は、前記暗領域に対する光電変換素子を、前記明領域の被写体と前記暗領域の被写体の明るさの差に応じて選択することを特徴とする請求項４又は５記載の撮像装置。
【請求項７】
第１の方向に並ぶ少なくとも２つの光電変換素子及び被写体から入射する光を前記少なくとも２つの光電変換素子に集約するレンズを有する画素を前記第１の方向及びこれに垂直な方向に行列配置する撮像素子部を有する撮像装置の制御方法において、
前記レンズの位置に応じた前記撮像素子部における前記画素の夫々の前記少なくとも２つの光電変換素子の前記第１の方向における感度分布を取得する取得ステップと、
前記撮像素子部の前記画素の夫々の少なくとも一つ以上の光電変換素子の出力値を用いて前記第１の方向の照度分布を算出する算出ステップと、
前記算出ステップにおいて算出された前記第１の方向の照度分布と前記取得ステップにおいて取得された前記感度分布に基づき、前記撮像素子部の前記画素の夫々に対し、出力用映像を生成するための光電変換素子を選択する選択ステップとを有することを特徴とする制御方法。
【請求項８】
請求項７記載の制御方法を実行することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びその制御方法、並びにプログラムに関し、特に、被写体を適正な明るさで撮影するための撮像装置およびその制御方法、並びにプログラムに関する。
【背景技術】
【０００２】
ネットワークカメラや、デジタルカメラ等に搭載される固体撮像素子には、画素毎に複数の光電変換素子を備えているものがある。このような固体撮像素子を使用することで、被写体の距離情報を取得して合焦動作に使用することや、画像のダイナミックレンジを広げることができる。また、１画素内で映像に使う光電変換素子を減らすことで、被写界深度を深くすることもできる。
【０００３】
こうした特徴を踏まえ、ピント面からの距離に応じて、映像に使う光電変換素子を選択し、画面全体でピントが合う領域が増やす技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１０４１１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の技術では、画素がその位置によって感度が変化することが考慮されていないため、撮像装置で生成される出力用映像が適切な明るさにならない場合がある。
【０００６】
本発明の目的は、撮像素子部が画素毎に複数の光電変換素子を有する場合に、撮像装置で生成される出力用映像の明るさを適切にできる撮像装置及びその制御方法、並びにプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明の請求項１に係る撮像装置は、第１の方向に並ぶ少なくとも２つの光電変換素子及び被写体から入射する光を前記少なくとも２つの光電変換素子に集約するレンズを有する画素を前記第１の方向及びこれに垂直な方向に行列配置する撮像素子部を有する撮像装置において、前記レンズの位置に応じた前記撮像素子部における前記画素の夫々の前記少なくとも２つの光電変換素子の前記第１の方向における感度分布を取得する取得手段と、前記撮像素子部の前記画素の夫々の少なくとも一つ以上の光電変換素子の出力値を用いて前記第１の方向の照度分布を算出する算出手段と、前記算出手段で算出された前記第１の方向の照度分布と前記取得手段で取得された前記感度分布に基づき、前記撮像素子部の前記画素の夫々に対し、出力用映像を生成するための光電変換素子を選択する選択手段とを備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、撮像素子部が画素毎に複数の光電変換素子を有する場合に、撮像装置で生成される出力用映像の明るさを適切にできる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施形態に係る撮像装置を含む撮像システムの構成を示すブロック図である。
【図２】図１における撮像装置の撮像素子部の構成を示す概略図である。
【図３】撮像素子部の画素部の本発明の第１の実施形態に係る構成を示す概略図である。
【図４】画素部の単位画素の回路図である。
【図５】撮像素子部における感度を示すグラフである。
【図６】本発明の第１の実施形態に係る、画素部の各単位画素の映像出力する光電変換素子の選択処理の手順を示すフローチャートである。
【図７】図６の選択処理を説明するためのグラフである。
【図８】画素部の周辺の照度が中央部の照度より低い場合の図６の選択処理を説明するためのグラフである。
【図９】画素部の周辺の照度が中央部の照度より高い場合の図６の選択処理を説明するためのグラフである。
【図１０】撮像素子部における被写界深度を示すグラフである。
【図１１】本発明の第２の実施形態に係る自動焦点制御方法の概略を説明するための図である。
【図１２】本発明の第２の実施形態に係る、映像出力する光電変換素子の選択処理の手順を示すフローチャートである。
【図１３】撮像素子部の画素部の本発明の第３の実施形態に係る構成を示す概略図である。
【発明を実施するための形態】
【００１０】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１１】
（第１の実施形態）
以下、本発明の第１の実施形態について説明する。
【００１２】
図１は、本発明の第１の実施形態に係る撮像装置１００を含む撮像システムの構成を示すブロック図である。
【００１３】
図１に示すように、撮像システムは、以下後述する被写体の明るさを適正にする機能を有した撮像装置１００と、撮像装置１００と接続する外部装置であるクライアント装置２００がネットワーク３００を介して相互に通信可能な状態で接続される。すなわち、撮像装置１００は図１の撮像システムにおいてはネットワークカメラとして用いられる。
【００１４】
クライアント装置２００は、撮像装置１００に対して、カメラ制御に関する各種コマンドを送信する。撮像装置１００は、それらのコマンドに対するレスポンスや撮像した画像データをクライアント装置２００に送信する。
【００１５】
続いて、撮像装置１００の詳細を説明する。
【００１６】
撮像装置１００は、レンズ１０１、撮像素子部１０２、画像処理部１０３、ＮＷ処理部１０４、レンズ駆動部１０５、絞り１０６、及び絞り駆動部１０７を備える。レンズ１０１は、被写体から入射する光を撮像素子部１０２に結像する光学レンズである。撮像素子部１０２はレンズ１０１によって入射した光を電気信号への変換を行う。画像処理部１０３は、撮像素子部１０２で撮像された画像信号に対して現像処理を施す。ＮＷ処理部１０４は、画像処理部１０３より現像された画像を圧縮しネットワーク３００へ配信する。またＮＷ処理部１０４は、クライアント装置２００から送信されるカメラ制御コマンドを受信し、適切なパケット処理等を行った後に画像処理部１０３、レンズ駆動部１０５、絞り駆動部１０７へ伝達する。レンズ駆動部１０５は、画像処理部１０３から出力された映像に基づき、適切な焦点位置になるようレンズ１０１のＡＦ制御（焦点調整）を行う。また、レンズ駆動部１０５は、クライアント装置２００から送信されるカメラ制御コマンドにより、レンズ１０１の画角制御も行う。絞り１０６は、撮像素子部１０２に入射する光の光量を設定する。絞り駆動部１０７は、画像処理部１０３から出力された映像に基づき、適切な露出になるよう絞り１０６の絞り値を制御し露出調整を行う。尚、ＡＦ制御や画角制御を必要としない場合は、撮像装置１００からレンズ駆動部１０５をなくしてもよい。
【００１７】
続いて、クライアント装置２００の詳細を説明する。
【００１８】
クライアント装置２００は、ＮＷ処理部２０１、制御部２０２、表示部２０３、及び入力部２０４を備える。ＮＷ処理部２０１は、撮像装置１００から画像データ等をネットワーク３００経由して受信する。またＮＷ処理部２０１では、撮像装置１００に対してカメラ制御コマンドの送信も行う。制御部２０２は、撮像装置１００から得た画像情報を、表示部２０３にて表示する。入力部２０４は、キーボード、マウス、タッチパネルなどのポインティング・デバイスなどが使用され、クライアント装置２００を操作するユーザは、入力部２０４を介して表示部２０３上に表示されるユーザーインターフェースを操作する。
【００１９】
ネットワーク３００は、例えばＥｔｈｅｒｎｅｔ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成される。しかしながら、撮像装置１００とクライアント装置２００との間の通信を行うことができるものであれば、その通信規格、規模、構成を問わない。例えば、ネットワーク３００は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ  ＬＡＮ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等により構成されていても良い。尚、本実施形態における撮像装置１００は、例えば、ＰｏＥ（Ｐｏｗｅｒ  Ｏｖｅｒ  Ｅｔｈｅｒｎｅｔ（登録商標））に対応していても良く、ネットワーク３００を構成するケーブルを介して電力を供給されても良い。
【００２０】
また、本実施形態の撮像装置１００は、上述した通りネットワークカメラとして用いられているが、ＮＷ処理部１０４を搭載せず、単独で動作するデジタルカメラやビデオカメラなどであってもよい。
【００２１】
図２は、図１における撮像装置１００の撮像素子部１０２の構成を示す概略図である。
【００２２】
図２において、撮像素子部１０２は、画素部１０２１、水平走査回路１０２２、垂直走査回路１０２３、ＣＤＳ部１０２４、ＡＤＣ部１０２５、及び出力部１０２６を備える。
【００２３】
画素部１０２１は、複数の単位画素３０１（図３）を行列状（２次元状）に配置しており、レンズ１０１により結像された光をその複数の単位画素３０１の夫々で受光する。水平走査回路１０２２は、画素部１０２１のｙ方向に延びる複数の列の１つに並ぶ単位画素を順に選択する。垂直走査回路１０２３は、画素部１０２１のｘ方向に延びる複数の行の1つに並ぶ単位画素を順に選択する。ＣＤＳ部１０２４は、水平走査回路１０２２及び垂直走査回路１０２３で選択された行及び列で特定される単位画素３０１において生じる読み出しノイズを公知の方法により低減する。ＡＤＣ部１０２５は、画素部１０２１からその列毎に出力されるアナログ信号（電荷）をデジタル信号に変換する。尚、本実施例ではＡＤＣ部１０２５は列毎に画素部１０２１より出力されるアナログ信号をデジタル信号に変換しているが、これに限定されず、行毎に変換するようにしてもよい。出力部１０２６は、単位画素３０１の画素情報（出力値）を画像処理部１０３に出力する。尚、図２では撮像素子部１０２からデジタル信号が出力されるが、撮像素子部１０２からＡＤＣ部１０２５をなくし、画素部１０２１からアナログ信号を出力するようにしてもよい。
【００２４】
図３は、撮像素子部１０２の画素部１０２１の本発明の第１の実施形態に係る構成を示す概略図である。
【００２５】
図３において、画素部１０２１は、複数の単位画素３０１をｘ方向及びｙ方向に二次元に行列配置する。単位画素３０１は夫々、マイクロレンズ３０２と、ｘ方向に並んだ光電変換素子３０３，３０４で構成される。マイクロレンズ３０２は、被写体から入射する光をで光電変換素子３０３，３０４に集約することで光電変換素子３０３，３０４の感度を向上させる。光電変換素子３０３，３０４は、マイクロレンズ３０２により集約された光を電荷に変換する素子である。尚、図３では、１つのマイクロレンズ３０２に対して、２つの光電変換素子３０３，３０４を設け、図３のｘ方向で分割している。尚、ｘ方向に直行する方向を方向とｙ方向とする。図３では、単位画素３０１がｘ方向に並ぶ２つの光電変換素子を有する場合を示したが、これに限定されない。すなわち、単位画素３０１がｘ方向に並ぶ、少なくとも２つの光電変換素子を有していればよく、例えば３つ以上の光電変換素子を有するようにしてもよい。
【００２６】
図４は、画素部１０２１の単位画素３０１の回路図である。
【００２７】
図４において、単位画素３０１は、光電変換素子３０３，３０４、転送スイッチ４０１，４０２、フローティングディフュージョン部（ＦＤ部）４０３、アンプ４０４、リセットスイッチ４０５、及びセレクトスイッチ４０６を備える。
【００２８】
光電変換素子３０３，３０４は、図３の説明において前述したように、同一のマイクロレンズ３０２と共に単位画素３０１を構成する。転送スイッチ４０１は、光電変換素子３０３から出力される電荷を転送するためのスイッチであり、転送スイッチ４０２は、光電変換素子３０４から出力される電荷を転送するためのスイッチである。これらの転送スイッチ４０１，４０２がＯＮになると、光電変換素子３０３，３０４に蓄積された電荷が光電変換素子３０３，３０４に対して共通のＦＤ部４０３に転送される。またこの転送スイッチ４０１，４０２のＯＮ／ＯＦＦは、転送信号φＴｘ＿１，φＴｘ＿２により独立に制御される。すなわち、光電変換素子３０３，３０４における電荷の蓄積時間、すなわちシャッタースピードは、転送信号φＴｘ＿１，φＴｘ＿２によりそれぞれに任意に変更できる。リセットスイッチ４０５はＦＤ部４０３を初期化するためのスイッチであり、リセット信号φＲＳＴによりそのＯＮ／ＯＦＦは制御される。ＦＤ部４０３はアンプ４０４に接続されており、ＦＤ部４０３に光電変換素子３０３，３０４から転送された電荷は、アンプ４０４によって、電荷量に応じた電圧値に変換される。セレクトスイッチ４０６は、ＯＮになるとアンプ４０４で変換された電圧値を画素信号として出力するスイッチであり、垂直パルス信号φＳＥＬによりそのＯＮ／ＯＦＦは制御される。尚、本実施形態の撮像素子部１０２の露出調整は、絞り駆動部１０７による絞り１０６の絞り値の制御と、転送スイッチ４０１，４０２による光電変換素子３０３，３０４のシャッタースピードの制御とにより行われる。
【００２９】
次に、図５を参照して、画素部１０２１における各単位画素３０１の光電変換素子３０３，３０４の感度分布を説明する。
【００３０】
図５（ａ）は、レンズ１０１を通った光が画素部１０２１に入射する様子を示した図である。図５（ｂ）は、画素部１０２１の各々の単位画素３０１の光電変換素子３０３，３０４の感度のｘ方向の画角依存性を示すグラフである。尚、図５以降においてｚ方向とはレンズ１０１の光軸方向を指す。
【００３１】
図５（ａ）に示すように、画素部１０２１における単位画素３０１の位置によってその光電変換素子３０３，３０４へのレンズ１０１からの光の入射角度が異なる。この影響で、画素部１０２１における単位画素３０１の位置によってその感度が変化する。この変化の様子（感度分布）を示したのが図５（ｂ）のグラフ５０１，５０２である。グラフ５０１は画素部１０２１における単位画素３０１のｘ方向の位置（以下単に、「ｘ方向の画素位置」という）とその光電変換素子３０３の感度の関係、すなわち光電変換素子３０３のｘ方向における感度分布を示すグラフである。また、グラフ５０２はｘ方向の画素位置とその光電変換素子３０４の感度の関係、すなわち光電変換素子３０４のｘ方向における感度分布を示すグラフである。また、画素部１０２１のｘ方向の左端に位置する単位画素３０１において、光電変換素子３０３に入射する光の角度をθ１、光電変換素子３０４に入射する光の角度θ２とする。同様に、画素部１０２１のｘ方向の右端に位置する単位画素３０１において、光電変換素子３０３に入射する光の角度をθ３、光電変換素子３０４に入射する光の角度θ４とする。
【００３２】
図５（ａ）に示すように、ｘ方向の左端に位置する画素位置ではθ１＜θ２となり、ｘ方向の右端に位置する画素位置ではθ３＞θ４となる。従って、画素部１０２１の全ての単位画素３０１が光電変換素子３０３のみから電荷を出力するようにすると、図５（ｂ）のグラフ５０２に示すように、画素の位置が左側に位置するほどその光電変換素子３０３の感度が低くなる。一方、画素の位置が右側に位置するほどその光電変換素子３０３の感度が高くなる。また、画素部１０２１の全ての単位画素３０１が光電変換素子３０４のみから電荷を出力するようにすると、図５（ｂ）のグラフ５０１に示すように、その感度のｘ方向の画角依存性が図５（ｂ）のグラフ５０２とは逆となる。
【００３３】
尚、マイクロレンズ３０２の位置をずらすと、図５（ｃ）に示すように、図５（ｂ）とはその感度のｘ方向の画角依存性が逆となる場合がある。以後の説明では、光電変換素子３０３，３０４のｘ方向における感度分布が、図５（ｂ）に示すグラフ５０１，５０２となることを前提に説明するが、図５（ｃ）に示すグラフ５０１，５０２となってもよい。
【００３４】
図６と図７を参照して、本発明の第１の実施形態に係る、出力用映像を生成する際の画素部１０２１の各単位画素３０１の電荷を出力する光電変換素子の選択処理について説明する。ここで、出力用映像とは、撮像装置１００がＮＷ処理部１０４からクライアント装置２００に出力する映像を指す。
【００３５】
尚、本処理を行なう前に、図５で前述したグラフ５０１，５０２で示す、画素部１０２１における各単位画素３０１の光電変換素子３０３，３０４のｘ方向における感度分布を後述する画素選択部は予め取得・保持している。
【００３６】
まずステップＳ６０１にて撮像素子部１０２より映像を出力する。ここで、撮像素子部１０２の画素部１０２１における各単位画素３０１で電荷を出力する光電変換素子は光電変換素子３０３，３０４のどちらか一方でもよいし、光電変換素子３０３，３０４の両方でもよい。
【００３７】
続いて、ステップＳ６０２にて出力した映像のｘ方向の照度分布を算出する。具体的には、まず、ステップＳ６０２で出力した映像のデータから、単位画素３０１のｘ方向の位置が図３に示す左端であるｙ方向に並ぶ単位画素３０１からの出力値を取得し、その平均値を算出する。次に、その算出された平均値をｘ方向の画素位置が図３に示す左端であるときの照度として取得する。同様の方法で、ｘ方向の各画素の位置の照度を取得することにより、ステップＳ６０２にて出力した映像のｘ方向の照度分布を得る。また、この照度分布の算出は撮像素子部１０２と画像処理部１０３のどちらで処理をしてもよい。
【００３８】
続いて、ステップＳ６０３にて、出力用映像を生成する際の、画素部１０２１で電荷を出力する光電変換素子を選択し、本処理を終了する。具体的には、ステップＳ６０３では光電変換素子が出力用映像の全体の照度分布が均一になるように選択される。例えば、ステップＳ６０２で算出された照度分布が図７（ａ）のグラフ７０１に示す照度分布である場合、図７（ｂ）のグラフ５０２に示すｘ方向における感度分布を持つ光電変換素子３０４を選択する。尚、ステップＳ６０３の処理を実行する画素選択部は、撮像素子部１０２に搭載されていてもよいし、画像処理部１０３に搭載されていてもよい。尚、図７では画素部１０２１の全ての単位画素３０１に対して光電変換素子３０４が選択されたが、画素部１０２１の領域毎に異なる光電変換素子を選択するようにしてもよい。また、この処理後の映像出力の際の照度は、ステップＳ６０３で選択された光電変換素子３０３，３０４のいずれかから出力された出力値に対して、その選択された光電変換素子の図５（ｂ）に示すｘ方向における感度分布を補正した値として算出される。
【００３９】
図７のケースでは、画素部１０２１の単位画素３０１の夫々に対してｘ方向における感度分布が同じである光電変換素子（すなわち、各単位画素３０１の光電変換素子３０４）が出力用映像を生成する際に電荷を出力する光電変換素子として選択される。かかる選択をした場合、出力用映像において、光電変換素子の感度差で生じる段差がなくなり、また画素部１０２１の駆動が簡略化される。ただし、全ての単位画素３０１とは欠陥画素や無効領域の画素など１部の画素は除いた場合を含む。
【００４０】
図８を参照して、画素部１０２１の周辺の照度が中央部の照度より低い場合の図６の選択処理を説明する。
【００４１】
図８（ａ）はステップＳ６０２で得られた照度分布で、図８（ｂ）は、この照度分布に対して図６の選択処理により選択される光電変換素子を太線で示すグラフである。図８（ａ）に示すように、ステップＳ６０２で得られた照度分布が画素部１０２１の周辺の方が中央部より低い場合がある。この場合、図８（ｂ）に示すように、画素部１０２１の左半分の領域における単位画素３０１に対しては光電変換素子３０３を選択し、画素部１０２１の右半分の領域における単位画素３０１に対しては光電変換素子３０４を選択する。これにより、出力用映像の全体の明るさが均一になる。
【００４２】
図９を参照して、画素部１０２１の周辺の照度が中央部の照度より高い場合の図６の選択処理を説明する。
【００４３】
図９（ａ）はステップＳ６０２で得られた照度分布で、図９（ｂ）は、この照度分布に対して図６の選択処理により選択される光電変換素子を太線で示すグラフである。図９（ａ）に示すように、ステップＳ６０２で得られた照度分布が画素部１０２１の周辺の方が中央部より高い場合がある。この場合、図９（ｂ）で示すように、画素部１０２１の左半分の領域における単位画素３０１に対しては光電変換素子３０４を選択し、画素部１０２１の右半分の領域における単位画素３０１に対しては光電変換素子３０３を選択する。これにより、出力用映像の全体の明るさが均一になる。
【００４４】
尚、図８，９では画素部１０２１のｘ方向に関して中心の付近を境界とする２つの領域を設定したが、これに限定されない。すなわち、出力用映像のｘ方向の照度分布が均一となる光電変換素子として、その設定された領域毎に、画素部１０２１の単位画素３０１の夫々に対してｘ方向における感度分布が同じである光電変換素子が選択できればよい。従って、かかる選択が可能なように、境界とする位置はｘ方向に関して所定の位置に設定されていればよく、また、設定される領域の数も２つ以上でもよい。
【００４５】
（第２の実施形態）
以下、本発明の第２の実施形態について説明する。尚、第２の実施形態は、第１の実施形態とそのハードウェア構成は同一であるので、同一の構成には同一の符号を付し、重複した説明は省略する。
【００４６】
第２の実施形態は、以下図１０に示す撮像素子部１０２における被写界深度の特性に考慮して、自動焦点調整を行う。
【００４７】
まず、図１０を参照して、画素部１０２１における各単位画素３０１の被写界深度の特性を説明する。
【００４８】
図１０（ａ）は、レンズ１０１を通った光が画素部１０２１に入射する様子を示した図である。図１０（ｂ）は、画素部１０２１の各々の単位画素３０１の光電変換素子３０３，３０４の被写界深度のｘ方向の画角依存性を示すグラフである。
【００４９】
図１０（ａ）に示すように、画素部１０２１における単位画素３０１の位置によってその光電変換素子３０３，３０４への光の入射角度が異なる。この影響で、画素部１０２１における単位画素３０１の位置によってその被写界深度が変化する。この変化の様子を示したのが図１０（ｂ）のグラフ１００１，１００２である。グラフ１００１はｘ方向の画素位置とその光電変換素子３０３の被写界深度の関係を示すグラフであり、グラフ１００２はｘ方向の画素位置とその光電変換素子３０４の被写界深度の関係を示すグラフである。また、画素部１０２１のｘ方向の左端に位置する単位画素３０１において、光電変換素子３０３に入射する光の角度をθ１、光電変換素子３０４に入射する光の角度θ２とする。また画素部１０２１のｘ方向の右端に位置する単位画素３０１において、光電変換素子３０３に入射する光の角度をθ３、光電変換素子３０４に入射する光の角度θ４とする。
【００５０】
図１０（ａ）に示すように、ｘ方向の左端に位置する画素位置ではθ１＜θ２となり、ｘ方向の右端に位置する画素位置ではθ３＞θ４となる。従って、画素部１０２１の全ての単位画素３０１が光電変換素子３０３のみから電荷を出力するようにすると、図１０（ｂ）のグラフ１００１に示すように、画素の位置が左側に位置するほどその光電変換素子３０３の被写界深度が浅くなる。一方、画素の位置が右側に位置するほどその光電変換素子３０３の被写界深度が深くなる。また、画素部１０２１の全ての単位画素３０１が光電変換素子３０４のみから電荷を出力するようにすると、図１０（ｂ）のグラフ１００２に示すように、図１０（ｂ）のグラフ１００１とは逆の特性となる。
【００５１】
尚、マイクロレンズ３０２の位置をずらすと、図１０（ｃ）に示すように、図１０（ｂ）とはその被写体深度のｘ方向の画角依存性が逆の特性となる場合がある。以後の説明では、光電変換素子３０３，３０４の被写界深度の特性が、図１０（ｂ）に示す特性となることを前提に説明するが、図１０（ｃ）の特性を有していてもよい。
【００５２】
図１１を参照して、本発明の第２の実施形態に係る自動焦点制御方法の概略を説明する。
【００５３】
図１１では撮像装置１００に映る被写体が２つ存在する。被写体（明）１１００は、画素部１０２１で結像する２つの被写体のうち明るい方の被写体である。被写体（暗）１１０１は、画素部１０２１で結像する２つの被写体の中で暗い方の被写体である。
【００５４】
第２の実施形態では、このように明るさの異なる２つの被写体がある場合、画素部１０２１の被写体（明）１１００を結像する画素領域（以下、「明領域」という。）に位置する単位画素３０１については感度の低い（被写体深度の深い）光電変換素子から電荷を出力し、被写体（明）１１００の映像の明るさを適切にする。
【００５５】
一方、画素部１０２１の被写体（暗）１１０１を結像する画素領域（以下、「暗領域」という。）に位置する単位画素３０１については、被写体（暗）１１０１の映像の明るさが適切となるのであれば、電荷を出力する光電変換素子の感度は低くても高くてもよい。但し、図１１では、画素部１０２１の暗領域に位置する単位画素３０１については感度の高い光電変換素子から電荷を出力する場合を例に説明する。
【００５６】
被写界深度範囲１１０２は被写体（明）１１００の被写界深度範囲で、被写界深度範囲１１０３は被写体（暗）１１０１の被写界深度範囲である。そして、撮像装置１００は被写体（暗）１１０１の映像を用いて自動焦点制御を行う。また、明領域に位置する単位画素３０１については感度の低い光電変換素子から電荷を出力しているため、その被写界深度範囲１１０２が深い。つまり、暗領域で焦点位置を合わせた場合、その被写体深度は被写体（明）１１００の被写界深度内に収まる可能性が高い。従って、第２の実施形態は、映像内に被写体（明）１１００と被写体（暗）１１０１が存在する場合、両被写体に対して明るさと焦点位置を適切にすることができ、ひいては画質を向上させることができる。
【００５７】
図１２を参照して、本発明の第２の実施形態に係る、画素部１０２１の各単位画素３０１の電荷を出力する光電変換素子の選択処理を説明する。第２の実施形態では、上述した通り、撮像装置１００に映る被写体が２つ以上存在する場合、その全被写体に対し明るさと焦点位置を適正にできる。
【００５８】
尚、本処理を行なう前に、図５で前述したグラフ５０１，５０２で示す、画素部１０２１における各単位画素３０１の光電変換素子３０３，３０４のｘ方向における感度分布を後述する画素選択部は予め取得・保持している。
【００５９】
まずステップＳ１２０１にて撮像素子部１０２より映像を出力する。ここで、撮像素子部１０２の画素部１０２１における各単位画素３０１で電荷を出力する光電変換素子は光電変換素子３０３，３０４のどちらか一方でもよいし、光電変換素子３０３，３０４の両方でもよい。
【００６０】
続いて、ステップＳ１２０２にて出力した映像のｘ方向の照度分布を算出する。この照度分布は、画素部１０２１の各単位画素３０１のｘ座標毎に、ｙ方向でその照度の平均値を算出することで得る。またこの照度分布の算出は撮像素子部１０２と画像処理部１０３のどちらで処理をしてもよい。
【００６１】
続いてステップＳ１２０３にて画像処理部１０３が撮像素子部１０２より出力された映像内の被写体の検出を行う。尚、以下の本処理のステップＳ１２０５〜Ｓ１２０９においては、ステップＳ１２０３にて図１１の被写体（明）１１００と被写体（暗）１１０１の２つの被写体が検出された場合について説明する。
【００６２】
続いて、ステップＳ１２０３にて検出された被写体が２つ以上存在するか否かを判別し（ステップＳ１２０４）、２つ以上存在する場合はステップＳ１２０５に進み、１つ以下しか存在しない場合はステップＳ１２１０に進む。
【００６３】
ステップＳ１２０５にて、画像処理部１０３がステップＳ１２０３で検出された被写体（明）１１００及び被写体（暗）１１０１の夫々の明るさを算出する。
【００６４】
続いてステップＳ１２０６にて、画素選択部により画素部１０２１の被写体（明）１１００が結像する領域、すなわち明領域に位置する単位画素３０１における光電変換素子を選択する。ここでは、明領域において、図１０（ｂ）に示す被写界深度の深い方の（感度の低い方の）光電変換素子（以下、単に「低感度素子」という。）を選択する。その後、ステップＳ１２０７にて、その選択された光電変換素子からの出力値に基づき、絞り駆動部１０７が絞り１０６の絞り値を制御すると共に、転送スイッチ４０１，４０２が光電変換素子３０３，３０４のシャッタースピードを制御する。これにより、画素部１０２１の被写体（明）１１００に対する露出調整を行う。尚、以下、画素部１０２１の所定領域において、図１０（ｂ）に示す被写界深度の浅い方の（感度の高い方の）光電変換素子を、単に高感度素子という。
【００６５】
続いてステップＳ１２０８にて、画素選択部により画素部１０２１の被写体（暗）１１０１が結像する領域、すなわち暗領域に位置する単位画素３０１における光電変換素子を選択する。ここでは、被写体（暗）１１０１の映像が適切な明るさになるよう光電変換素子が選択されればよく、その感度は低くても高くてもよいし、光電変換素子３０３，３０４の一方でも両方でもよい。例えば、被写体（明）１１００と被写体（暗）１１０１との明るさの差が小さい場合（ステップＳ１２０１で出力された映像全体の明るさが同程度の場合）には、ステップＳ１２０６と同様に暗領域においても低感度画素を選択する。また、被写体（明）１１００と被写体（暗）１１０１との明るさの差が所定値より大きくなると、暗領域においては高感度画素を選択する。更にこの明るさの差が大きくなった場合には暗領域においては高感度画素と低感度画素の合算値を用いる。このように、暗領域に位置する単位画素３０１における光電変換素子を選択することにより、選択される光電変換素子の感度が順次上がるため、被写体（暗）１１０１の像を適切に得ることが可能となる。
【００６６】
その後、ステップＳ１２０９にて、その選択された光電変換素子からの出力値に基づき、レンズ駆動部１０５がレンズ１０１の位置を制御し、被写体（暗）１１０１に対する焦点調整を行う。尚、ステップＳ１２０３にて被写体を３つ以上検出した場合は、検出した被写体で最も明るい被写体を被写体（明）１１００とし、最も暗い被写体を被写体（暗）１１０１としてステップＳ１２０５〜Ｓ１２０９までの処理を行った後、本処理を終了する。
【００６７】
一方、ステップＳ１２１０では、ステップＳ６０３と同様、光電変換素子は映像全体の明るさが均一になるよう光電変換素子を選択する。続いて、ステップＳ１２１１にて、検出した被写体、又はそれ以外の領域で自動露出調整と自動焦点調整を行った後、本処理を終了する。
【００６８】
以上、第２の実施形態によれば、被写体（明）１１００と被写体（暗）１１０１が検出された場合、画素部１０２１の明領域では被写界深度の深い（低い感度の）光電変換素子が出力用映像を生成するため選択される。また、その選択された光電変換素子からの出力値に基づき焦点調整を行う。これにより、両被写体に対して明るさと焦点位置を適切にすることができ、ひいては画質を向上させることができる。
【００６９】
（第３の実施形態）
以下、本発明の第３の実施形態について説明する。尚、第２の実施形態は、第１の実施形態とそのハードウェア構成は以下後述する図１３に示す画素部１０２１以外は同一であるので、同一の構成には同一の符号を付し、重複した説明は省略する。
【００７０】
本実施形態では、図１３に示す画素部１０２１を使用することによりｘ方向の照度分布だけでなくｙ方向の照度分布も照度分布も１定近づけることができる。
【００７１】
図１３は、撮像素子部１０２の画素部１０２１の本発明の第３の実施形態に係る構成を示す概略図である。
【００７２】
本実施形態の画素部１０２１は、その各単位画素１３０１がｘ方向とｙ方向に２つずつ並んだ４つの光電変換素子１３０３〜１３０６を備える点でのみ、第１の実施形態の画素部１０２１と構成が異なる。以下具体的に説明する。
【００７３】
図１３において、画素部１０２１は、複数の単位画素１３０１を行列状に配置する。単位画素１３０１は夫々、マイクロレンズ１３０２と、ｘ方向とｙ方向に２つずつ並んだ光電変換素子１３０３〜１３０６で構成される。マイクロレンズ１３０２は、光を集約することで光電変換素子１３０３〜１３０６の感度を向上させる。光電変換素子１３０３〜１３０６は、マイクロレンズ１３０２により集約された光を電荷に変換する素子である。図１３では、単位画素１３０１がｘ方向とｙ方向に２つずつ並ぶ４つの光電変換素子を有する場合を示したが、単位画素１３０１がｘ方向とｙ方向３つずつ以上に並ぶ光電変換素子を有するようにしてもよい。
【００７４】
第１の実施形態と第２の実施形態では、ｘ方向の照度分布に基づいて処理を行なった。これに対し、第３の実施形態はｘ方向とｙ方向に光電変換素子が２つ以上並ぶ単位画素１３０１を用いるため、ｘ方向の照度分布だけでなくｙ方向の照度分布にも基づいて処理を行なう。そのため、ｙ方向の照度分布についても一定に近づけることができる。
【００７５】
［その他の実施例］
本発明の目的は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、装置に供給することによっても、達成されることは言うまでもない。このとき、供給された装置の制御部を含むコンピュータ（またはＣＰＵやＭＰＵ）は、記憶媒体に格納されたプログラムコードを読み出し実行する。
【００７６】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００７７】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００７８】
また、上述のプログラムコードの指示に基づき、装置上で稼動しているＯＳ（基本システムやオペレーティングシステム）などが処理の一部又は全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。
【００７９】
さらに、記憶媒体から読み出されたプログラムコードが、装置に挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれ、前述した実施例の機能が実現される場合も含まれることは言うまでもない。このとき、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行う。
【符号の説明】
【００８０】
１００  撮像装置
１０２  撮像素子部
１０３  画像処理部
１０４  ＮＷ処理部
２００  クライアント装置
３００  ネットワーク
３０１  単位画素
３０２  マイクロレンズ
３０３，３０４  光電変換素子
１０２１  画素部
【図１】
2020022089.tif 000003
【図２】
2020022089.tif 000004
【図３】
2020022089.tif 000005
【図４】
2020022089.tif 000006
【図５】
2020022089.tif 000007
【図６】
2020022089.tif 000008
【図７】
2020022089.tif 000009
【図８】
2020022089.tif 000010
【図９】
2020022089.tif 000011
【図１０】
2020022089.tif 000012
【図１１】
2020022089.tif 000013
【図１２】
2020022089.tif 000014
【図１３】
2020022089.tif 000015