(57)【要約】【課題】撮像素子の全体の撮像領域から画像信号を読み出しても、撮像素子の特定の撮像領域から画素信号を高速に読み出すこと。【解決手段】撮像装置は、複数の撮像領域を有し、撮像領域に入射した光像に応じた画像信号を生成する撮像手段と、撮像手段から出力された画像信号に基づいて、画像信号の示す画像の特定領域を検出する特定領域検出手段と、複数の撮像領域のうち特定領域に対応する光像が入射した撮像領域を第１撮像条件で撮像を行うように制御する第１制御部と、複数の撮像領域のうち特定領域に対応する光像が入射した撮像領域以外の撮像領域を第１撮像条件とは異なる第２撮像条件で撮像を行うように制御する第２制御部と、を有する制御手段と、を備える。【選択図】図１
2020074596.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像する複数の撮像領域を有する撮像素子と、
前記撮像素子で撮像された被写体の信号に基づいて特定被写体を検出する検出部と、
前記複数の撮像領域のうち、前記検出部により検出された特定被写体の少なくとも一部を撮像した第１撮像領域と、前記複数の撮像領域のうち、前記第１撮像領域から行方向側の第２撮像領域と、が異なる撮像条件で被写体を撮像するように前記撮像素子を制御する制御部と、を備え、
前記撮像素子は、前記第１撮像領域において配置され、光を電荷に変換する第１光電変換部を含む第１画素と、前記第２撮像領域において配置され、光を電荷に変換する第２光電変換部を含む第２画素と、前記第１画素を制御するための第１制御信号が出力される第１制御線と、複数の前記第２画素に接続され、前記第２画素を制御するための第２制御信号が出力される第２制御線と、を有する撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記第１画素は、前記第１撮像領域において複数配置され、
前記第２画素は、前記第２撮像領域において複数配置される撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記第１画素は、前記第１撮像領域において、第１方向と前記第１方向と交差する第２方向とに並んで配置され、
前記第２画素は、前記第２撮像領域において、前記第１方向と前記第２方向とに並んで配置される撮像装置。
【請求項４】
請求項１から請求項３のいずれか一項に記載の撮像装置において、
前記制御部は、前記第１制御線に前記第１制御信号を出力するタイミングとは異なるタイミングで前記第２制御線に前記第２制御信号を出力する撮像装置。
【請求項５】
請求項１から請求項４のいずれか一項に記載の撮像装置において、
前記撮像素子は、前記第１画素に接続され、前記第１光電変換部で変換された電荷により生成される第１信号が出力される第１信号線と、前記第２画素に接続され、前記第２光電変換部で変換された電荷により生成される第２信号が出力される第２信号線と、を有する撮像装置。
【請求項６】
請求項１から請求項５のいずれか一項に記載の撮像装置において、
前記第１画素は、前記第１制御線に接続され、前記第１光電変換部で変換された電荷に基づく信号を読み出すための第１読出回路を有し、
前記第２画素は、前記第２制御線に接続され、前記第２光電変換部で変換された電荷に基づく信号を読み出すための第２読出回路を有する撮像装置。
【請求項７】
請求項６に記載の撮像装置において、
前記第１読出回路は、前記第１制御線に接続され、前記第１光電変換部で変換された電荷を転送する第１転送部を有し、
前記第２読出回路は、前記第２制御線に接続され、前記第２光電変換部で変換された電荷を転送する第２転送部を有する撮像装置。
【請求項８】
請求項６に記載の撮像装置において、
前記第１読出回路は、前記第１光電変換部で変換された電荷が転送される第１フローティングディフュージョンと、前記第１制御線に接続され、前記第１フローティングディフュージョンの電位をリセットする第１リセット部と、を有し、
前記第２読出回路は、前記第２光電変換部で変換された電荷が転送される第２フローティングディフュージョンと、前記第２制御線に接続され、前記第２フローティングディフュージョンの電位をリセットする第２リセット部と、を有する撮像装置。
【請求項９】
請求項１から請求項８のいずれか一項に記載の撮像装置において、
前記検出部は、前記撮像領域で撮像された被写体から人物と推定される被写体を前記特定被写体として検出する撮像装置。
【請求項１０】
請求項９に記載の撮像装置において、
前記検出部は、前記撮像領域で撮像された被写体から人物の目又は人物の口と推定される被写体を前記特定被写体として検出する撮像装置。
【請求項１１】
請求項１から請求項１０のいずれか一項に記載の撮像装置において、
前記撮像素子は、前記複数の撮像領域が配置された第１半導体チップと、信号処理を行う信号処理部を有する第２半導体チップと、を有する撮像装置。
【請求項１２】
請求項１１に記載の撮像装置において、
前記第１半導体チップは、前記第２半導体チップに積層されている撮像装置。
【請求項１３】
請求項１１又は請求項１２に記載の撮像装置において、
前記信号処理部は、アナログ信号をデジタル信号に変換する変換部の少なくとも一部の回路を有する撮像装置。
【請求項１４】
請求項１３に記載の撮像装置において、
前記撮像素子は、前記変換部によりデジタル信号に変換された信号を記憶する記憶部を含む第３半導体チップを有する撮像装置。
【請求項１５】
請求項１４に記載の撮像装置において、
前記第２半導体チップは、前記第３半導体チップにより積層されている撮像装置。
【請求項１６】
請求項１から請求項１５のいずれか一項に記載の撮像装置において、
前記制御部は、前記第１撮像領域と前記第２撮像領域とが異なるフレームレートで被写体を撮像するように制御する撮像装置。
【請求項１７】
請求項１６に記載の撮像装置において、
前記制御部は、前記第１撮像領域を、前記第２撮像領域のフレームレートよりも高いフレームレートで被写体を撮像するように制御する撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
撮像素子の特定の撮像領域からのみ画素信号を部分的に読み出すことで、高速読み出しが可能なデジタルカメラが知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−５８４６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来技術では、撮像素子の特定の撮像領域からのみ画素信号を部分的に読み出すため、この部分読み出しのときには、撮像素子の全体の撮像領域から画像信号を読み出すことはできない。
【課題を解決するための手段】
【０００５】
発明の一態様による撮像装置は、被写体を撮像する複数の撮像領域を有する撮像素子と、前記撮像素子で撮像された被写体の信号に基づいて特定被写体を検出する検出部と、前記複数の撮像領域のうち、前記検出部により検出された特定被写体の少なくとも一部を撮像した第１撮像領域と、前記複数の撮像領域のうち、前記第１撮像領域から行方向側の第２撮像領域と、が異なる撮像条件で被写体を撮像するように前記撮像素子を制御する制御部と、を備え、前記撮像素子は、前記第１撮像領域において配置され、光を電荷に変換する第１光電変換部を含む第１画素と、前記第２撮像領域において配置され、光を電荷に変換する第２光電変換部を含む第２画素と、前記第１画素を制御するための第１制御信号が出力される第１制御線と、複数の前記第２画素に接続され、前記第２画素を制御するための第２制御信号が出力される第２制御線と、を有する。
【発明の効果】
【０００６】
本発明によれば、撮像素子の全体の撮像領域から画像信号を読み出しても、撮像素子の特定の撮像領域から画素信号を高速に読み出すことができる。
【図面の簡単な説明】
【０００７】
【図１】カメラの構成を示すブロック図である。
【図２】撮像素子の断面図である。
【図３】撮像チップの画素配列と単位グループを説明する図である。
【図４】撮像チップの単位グループに対応する回路図である。
【図５】撮像素子の機能的構成を示すブロック図である。
【図６】第１の実施形態に係る自動撮影モードの処理を説明するフローチャートである。
【図７】撮像素子の撮像面の一例を示す図である。
【図８】撮像素子の撮像面の一例を示す図である。
【図９】撮像素子の撮像面の一例を示す図である。
【図１０】第２の実施形態に係る自動撮影モードの処理を説明するフローチャートである。
【発明を実施するための形態】
【０００８】
−第１の実施形態−
図面を参照して本発明の第１の実施形態について説明する。
【０００９】
図１は、撮像装置の一例であるカメラ１００の構成を示すブロック図である。カメラ１００は、撮像光学系としての撮影レンズ１２０及びカメラボディ１１０を備える。カメラボディ１１０には、撮影レンズ１２０が装着される。カメラ１００は、カメラボディ１１０及び撮影レンズ１２０が一体として構成されていてもよい。撮影レンズ１２０は、光軸に沿って入射する被写体光束を撮像素子２００へ導く。カメラボディ１１０は、撮像素子２００、制御部１０１、駆動部１０２、画像処理部１０３、ワークメモリ部１０４、記録部１０５及び表示部１０６を備える。
【００１０】
撮影レンズ１２０は、複数の光学レンズで構成され、シーンからの被写体光束を撮像素子２００の受光面に結像させる。図１では仮想的な１枚のレンズで当該撮影レンズ１２０を代表して表している。
【００１１】
駆動部１０２は、制御部１０１からの指示に従って撮像素子２００のタイミング制御や撮像素子２００に含まれる撮像領域制御等の電荷蓄積制御を実行する制御回路である。駆動部１０２は、撮像素子２００に対して電荷蓄積を実行させて画素信号を出力させる撮像素子制御部の機能を担う。駆動部１０２は、一部または全部が後述する撮像素子２００に含まれる撮像チップ２１３に搭載されてもよい。駆動部１０２は、一部または全部が信号処理チップ２１１に搭載されてもよい。制御部１０１は、一部が撮像チップ２１３または信号処理チップ２１１に搭載されてもよい。
【００１２】
撮像素子２００から出力された画像信号は、画像処理部１０３へ入力される。画像処理部１０３は、ワークメモリ部１０４をワークスペースとして種々の画像処理を施し、画像データを生成する。例えば、ＪＰＥＧファイル形式の画像データを生成する場合は、画像データを生成した後に圧縮処理を実行する。生成された画像データは、記録部１０５に記録されるとともに、表示信号に変換されて予め設定された時間の間、表示部１０６に表示される。
【００１３】
また画像処理部１０３は、機能ブロックとして、主要被写体検出部１１１及び特徴領域検出部１１２を有する。これらの各機能は、後述する。
【００１４】
図２は、カメラボディ１１０が備える撮像素子２００の断面図である。撮像素子２００は、入射光に対応した画素信号を生成する撮像チップ２１３と、撮像チップ２１３から出力された画素信号を処理する信号処理チップ２１１と、画素信号を記憶するメモリチップ２１２とを備える。
【００１５】
撮像チップ２１３は、信号処理チップ２１１に積層されている。撮像チップ２１３は、例えば、Ｃｕ等の導電性を有するバンプ２０９により信号処理チップ２１１と互いに電気的に接続される。信号処理チップ２１１は、メモリチップ２１２に積層されている。信号処理チップ２１１は、例えば、Ｃｕ等の導電性を有するバンプ２０９によりメモリチップ２１２と互いに電気的に接続される。
【００１６】
図２に示すように、入射光は主に白抜き矢印で示され、Ｚ軸プラス方向に沿って撮像素子２００へ向かって入射する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸及びＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図２の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
【００１７】
撮像チップ２１３の一例は、裏面照射型のＣＭＯＳイメージセンサである。撮像チップ２１３は、入射光が入射する側から順にＺ軸プラス方向に沿って、マイクロレンズ２０１、カラーフィルタ２０２、パッシベーション膜２０３、受光層２０６及び配線層２０８を有する。受光層２０６は、入射光に応じた電荷を蓄積する複数のフォトダイオード２０４とフォトダイオード２０４で蓄積された電荷に応じた画素信号を読み出すための読出回路２０５とを有する。読出回路２０５は、複数のトランジスタを含む。
【００１８】
マイクロレンズ２０１は、対応するフォトダイオード２０４へ向けて入射光を集光する。カラーフィルタ２０２は、互いに異なる波長を透過する複数の種類を有しており、フォトダイオード２０４のそれぞれに対応して特定の配列を有している。カラーフィルタ２０２の配列については後述する。パッシベーション膜２０３は、受光層２０６を保護するとともに平坦化膜としての機能を有する。
【００１９】
配線層２０８は、それぞれのフォトダイオード２０４から読出回路２０５を介して読み出された画素信号を信号処理チップ２１１に出力するための配線２０７を有する。配線２０７は多層配線で構成されてもよく、また、受動素子及び能動素子が設けられてもよい。
【００２０】
配線層２０８における受光層２０６と反対側の面には複数のバンプ２０９が配される。当該複数のバンプ２０９は、信号処理チップ２１１の対向する面に設けられた複数のバンプ２０９と位置合わせされて、撮像チップ２１３と信号処理チップ２１１とが加圧等されることにより、位置合わせされたバンプ２０９同士が接合されて、電気的に接続される。
【００２１】
同様に、信号処理チップ２１１及びメモリチップ２１２の互いに対向する面には、複数のバンプ２０９が配される。これらのバンプ２０９は、互いに位置合わせされて、信号処理チップ２１１とメモリチップ２１２とが加圧等されることにより、位置合わせされたバンプ２０９同士が接合されて、電気的に接続される。
【００２２】
撮像チップ２１３と信号処理チップ２１１との間の接合は、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。信号処理チップ２１１とメモリチップ２１２との間の接合は、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。バンプ２０９は、例えば後述する一つの単位グループに対して一つ程度設ければよい。したがって、バンプ２０９の大きさは、隣り合うフォトダイオード２０４間のピッチよりも大きくてもよい。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ２０９よりも大きなバンプを併せて設けてもよい。
【００２３】
信号処理チップ２１１は、表裏面にそれぞれ設けられた回路を互いに接続するシリコン貫通電極（ＴＳＶ）２１０を有する。シリコン貫通電極２１０は、周辺領域に設けられることが好ましい。また、シリコン貫通電極２１０は、撮像チップ２１３の周辺領域又はメモリチップ２１２にも設けられてもよい。
【００２４】
図３は、撮像チップ２１３の画素配列と単位グループ２３１を説明する図である。特に、撮像チップ２１３を入射面側から観察した様子を示す。撮像チップ２１３は、画素領域を有する。画素領域には複数の画素がマトリックス状に配列されている。本実施形態においては、隣接する４画素×４画素の１６画素が一つの単位グループ２３１を形成する。一つの単位グループ２３１は、換言すれば一つの撮像領域であり、撮像チップ２１３は複数の撮像領域（単位グループ２３１）を有している。図の格子線は、隣接する画素がグループ化されて単位グループ２３１を形成する概念を示す。単位グループ２３１を形成する画素の数はこれに限られず２０００個程度、例えば３２画素×６４画素でもよいし、それ以上でもそれ以下でもよい。
【００２５】
画素領域の部分拡大図に示すように、単位グループ２３１は、緑色画素Ｇｂ、緑色画素Ｇｒ、青色画素Ｂ及び赤色画素Ｒの４画素から成るいわゆるベイヤー配列で配列されている。緑色画素Ｇｂ及び緑色画素Ｇｒは、カラーフィルタ２０２として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。青色画素Ｂは、カラーフィルタ２０２として青色フィルタを有する画素であって青色波長帯の光を受光する。赤色画素Ｒは、カラーフィルタ２０２として赤色フィルタを有する画素であって赤色波長帯の光を受光する。
【００２６】
本実施形態の撮像素子２００では、特定の単位グループ２３１について、他の単位グループ２３１とは異なる撮像条件での撮像を行えるように構成されている。撮像条件とは、例えば、フレームレート、画素の間引き率、画素の加算数、画素信号のゲイン等である。
【００２７】
単位グループ２３１の画素の間引き率とは、単位グループ２３１に含まれる画素のうち、画素信号の読み出しを行わない画素の数を規定するものである。例えば、間引き率が「０」の場合には、単位グループ２３１に含まれる全ての画素から画素信号が読み出されるが、間引き率が「０．５」の場合には、単位グループ２３１に含まれる画素のうち、半分の画素については画素信号の読み出しが行われ、残り半分の画素については画素信号の読み出しが行われない。画素を間引く場合には、画像の情報が減るものの、消費電力を低減することができる。
【００２８】
また、単位グループ２３１の画素の加算数とは、単位グループ２３１に含まれる画素について、画素信号を加算する画素の数を規定するものである。例えば、加算数が「１」の場合には、隣接する画素同士で加算が行われずに画素信号の読み出しが行われるが、加算数が「２」の場合には、隣接する２つの画素同士で画素信号が加算されて読み出しが行われる。画素同士の画素信号を加算する場合には、画像の情報を維持しつつも画素数を減らすことができるので、その後の画像処理の演算量を低減することができる。
【００２９】
図４は、撮像チップ２１３の単位グループ２３１に対応する回路図である。図において、代表的に点線で囲む矩形が、１画素に対応する回路を表す。以下に説明する各トランジスタは、図２の読出回路２０５に含まれる。
【００３０】
上述のように、単位グループ２３１は、１６画素から形成される。それぞれの画素に対応する１６個のフォトダイオード２０４は、それぞれ転送トランジスタ３０２に接続され、各転送トランジスタ３０２の各ゲートには、転送パルスが供給されるＴＸ配線３０７に接続される。本実施形態において、ＴＸ配線３０７は、１６個の転送トランジスタ３０２の各ゲートに対して共通接続される。
【００３１】
各転送トランジスタ３０２のドレインは、対応する各リセットトランジスタ３０３のソースに接続されると共に、転送トランジスタ３０２のドレインとリセットトランジスタ３０３のソースとの間に形成されたいわゆるフローティングディフュージョンＦＤが増幅トランジスタ３０４のゲートに接続される。リセットトランジスタ３０３のドレインは電源電圧が供給されるＶｄｄ配線３５０に接続され、そのゲートはリセットパルスが供給されるリセット配線３０６に接続される。本実施形態において、リセット配線３０６は、１６個のリセットトランジスタ３０３の各ゲートに対して共通接続される。
【００３２】
各々の増幅トランジスタ３０４のドレインは電源電圧が供給されるＶｄｄ配線３５０に接続される。また、各々の増幅トランジスタ３０４のソースは、対応する各々の選択トランジスタ３０５のドレインに接続される。選択トランジスタ３０５の各ゲートは、選択パルスが供給されるデコーダ配線３０８に接続される。本実施形態において、デコーダ配線３０８は、１６個の選択トランジスタ３０５に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ３０５のソースは、共通の出力配線３０９に接続される。負荷電流源３５１は、出力配線３０９に電流を供給する。すなわち、選択トランジスタ３０５に対する出力配線３０９は、ソースフォロアにより形成される。負荷電流源３５１は、撮像チップ２１３側に設けてもよいし、信号処理チップ２１１側に設けてもよい。
【００３３】
ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。リセット配線３０６を通じてリセットパルスがリセットトランジスタ３０３のゲートに印加され、同時にＴＸ配線３０７を通じて転送パルスが転送トランジスタ３０２のゲートに印加されると、フォトダイオード２０４及びフローティングディフュージョンＦＤの電位は、電源電圧に対応した電圧であるリセット電位にリセットされる。
【００３４】
フォトダイオード２０４は、転送パルスの印加が解除されると、受光した入射光を電荷に変換して蓄積する。その後、リセットパルスがリセットトランジスタ３０３のゲートに印加されていない状態で再び転送パルスが転送トランジスタ３０２のゲートに印加されると、蓄積された電荷はフローティングディフュージョンＦＤへ転送され、フローティングディフュージョンＦＤの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線３０８を通じて選択パルスが選択トランジスタ３０５のゲートに印加されると、フローティングディフュージョンＦＤのリセット電圧から信号電位への変動に対応した画素信号が、増幅トランジスタ３０４及び選択トランジスタ３０５を介して出力配線３０９に伝わる。
【００３５】
図示するように、本実施形態においては、単位グループ２３１を形成する１６画素に対して、リセット配線３０６とＴＸ配線３０７が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、１６画素全てに対して同時に印加される。したがって、単位グループ２３１を形成する全ての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ３０５が選択パルスによって順次印加されて、選択的に出力配線３０９に出力される。また、リセット配線３０６、ＴＸ配線３０７及び出力配線３０９は、単位グループ２３１毎に別個に設けられる。ＴＸ配線３０７は、本実施形態では１６個の転送トランジスタ３０２の各ゲートに対して共通接続されるとしたが、これに限定されず、行方向に配列される画素に含まれる転送トランジスタ３０２の各ゲートに対して共通接続されてもよいし、１６個それぞれの転送トランジスタ３０２の各ゲートに対して接続されてもよい。リセット配線３０６は、本実施形態では１６個のリセットトランジスタ３０３の各ゲートに対して共通接続されるとしたが、これに限定されず、行方向に配列される画素に含まれるリセットトランジスタ３０３の各ゲートに対して共通接続されてもよいし、１６個それぞれのリセットトランジスタ３０３の各ゲートに対して接続されてもよい。
【００３６】
このように単位グループ２３１を基準として回路を構成することにより、単位グループ２３１ごとに電荷蓄積時間を制御することができる。換言すると、隣接する単位グループ２３１同士で、異なった電荷蓄積時間による画素信号をそれぞれ出力させることができる。更に言えば、一方の単位グループ２３１に１回の電荷蓄積を行わせている間に、他方の単位グループ２３１に何回もの電荷蓄積を繰り返させてその都度画素信号を出力させることにより、これらの単位グループ２３１同士で異なるフレームレートで動画用の各フレームを出力することもできる。
【００３７】
図５は、撮像素子２００の機能的構成を示すブロック図である。マルチプレクサ４１１は、単位グループ２３１を形成する１６個のフォトダイオード２０４を順番に選択して、それぞれの画素信号を当該単位グループ２３１に対応して設けられた出力配線３０９へ出力させる。マルチプレクサ４１１は、フォトダイオード２０４と共に、撮像チップ２１３に形成される。
【００３８】
マルチプレクサ４１１を介して出力された画素信号は、信号処理チップ２１１に形成された、相関二重サンプリング（ＣＤＳ）・アナログ／デジタル（Ａ／Ｄ）変換を行う信号処理回路４１２により、ＣＤＳ及びＡ／Ｄ変換が行われる。Ａ／Ｄ変換された画素信号は、デマルチプレクサ４１３に引き渡され、それぞれの画素に対応する画素メモリ４１４に格納される。画素メモリ４１４のそれぞれは、後述する最大積算回数に対応する画素信号を格納できる容量を有する。デマルチプレクサ４１３及び画素メモリ４１４は、メモリチップ２１２に形成される。
【００３９】
演算回路４１５は、画素メモリ４１４に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路４１５は、信号処理チップ２１１に設けられてもよいし、メモリチップ２１２に設けられてもよい。図では１つの単位グループ２３１の分の接続を示すが、実際にはこれらが単位グループ２３１ごとに存在して、並列で動作する。ただし、演算回路４１５は単位グループ２３１ごとに存在しなくても良く、例えば、一つの演算回路４１５がそれぞれの単位グループ２３１に対応する画素メモリ４１４の値を順に参照しながらシーケンシャルに処理してもよい。
【００４０】
上記の通り、単位グループ２３１のそれぞれに対応して出力配線３０９が設けられている。撮像素子２００は撮像チップ２１３、信号処理チップ２１１及びメモリチップ２１２を積層しているので、これら出力配線３０９にバンプ２０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
【００４１】
カメラ１００は、自動で静止画を撮影する自動撮影モードを有する。図６は、この自動撮影モードにおける処理の流れを説明するフローチャートである。また、図７〜図９は、撮像素子２００の撮像面の一例を示す図である。図７〜図９では、格子線が単位グループ２３１の境目を示しており、一つの矩形領域が一つの単位グループ２３１の撮像領域に対応している。カメラ１００は、ユーザにより不図示の操作部材を介して自動撮影モードが指示されたときに、図６に示す処理を開始する。
【００４２】
ステップＳ１０１において、画像処理部１０３の主要被写体検出部１１１は、駆動部１０２を駆動して撮像素子２００からの画像信号に基づく画像データを取得し、当該画像データが示す画像に含まれる主要被写体５００を検出する。本実施形態において、主要被写体５００とは、人物の顔である。画像から人物の顔を検出する顔検出処理については、公知の手法を用いればよいため、説明を省略する。
【００４３】
ステップＳ１０２において、画像処理部１０３の特徴領域検出部１１２は、撮像素子２００から取得した画像データに基づいて、主要被写体検出部１１１により検出された主要被写体５００における特徴的な領域（特徴領域）５１０を検出する。本実施形態において、特徴領域５１０とは、人物の目や口の領域である。画像から人物の目や口を検出する処理については、公知の手法を用いればよいため、説明を省略する。
【００４４】
ステップＳ１０３において、画像処理部１０３は、特徴領域検出部１１２により検出された特徴領域５１０の少なくとも一部を撮像している単位グループ２３１の集合を特徴領域単位グループ群５２０として設定する。また、画像処理部１０３は、主要被写体検出部１１１により検出された主要被写体５００の少なくとも一部を撮像している単位グループ２３１のうち、特徴領域単位グループ群５２０に含まれない単位グループ２３１の集合を被写体単位グループ群５３０として設定する。さらに、画像処理部１０３は、撮像素子２００が有する単位グループ２３１のうち、特徴領域単位グループ群５２０及び被写体単位グループ群５３０に含まれない単位グループ２３１の集合を周辺単位グループ群５４０として設定する。
【００４５】
制御部１０１は、特徴領域単位グループ群５２０に含まれる単位グループ２３１については撮像条件として特徴領域用フレームレートを設定する。制御部１０１は、被写体単位グループ群５３０に含まれる単位グループ２３１については撮像条件として被写体用フレームレートを設定する。制御部１０１は、周辺単位グループ群５４０に含まれる単位グループ２３１については撮像条件として周辺用フレームレートを設定する。このとき制御部１０１は、周辺用フレームレートよりも被写体用フレームレートのフレームレートを高く設定する。また、制御部１０１は、被写体用フレームレートよりも特徴領域用フレームレートのフレームレートを高く設定する。すなわち制御部１０１は、特徴領域５１０に対応する特徴領域単位グループ群５２０については最も高いフレームレートを設定する。また制御部１０１は、特徴領域５１０以外の主要被写体５００に対応する被写体単位グループ群５３０については、特徴領域５１０に対応する特徴領域単位グループ群５２０に設定されたフレームレートよりは低いフレームレートであるが周辺領域に対応する周辺単位グループ群５４０に設定されたフレームレートよりは高いフレームレートを設定する。特徴領域用フレームレート、被写体用フレームレート及び周辺用フレームレートの値については、予め設定されてカメラ１００内に格納されていてもよいし、ユーザが後から設定値を変更できるようになっていてもよい。
【００４６】
ステップＳ１０４において、制御部１０１は、主要被写体５００に対して撮影レンズ１２０のピントを合わせるＡＦ処理を行った後、撮像素子２００に撮像を行わせる。
【００４７】
制御部１０１は、特徴領域単位グループ群５２０、被写体単位グループ群５３０及び周辺単位グループ群５４０のそれぞれに含まれる単位グループ２３１を特定する情報とそれぞれに設定したフレームレートの情報とを駆動部１０２に伝達する。駆動部１０２は、制御部１０１から伝達された情報に従って撮像素子２００を駆動して撮像を行わせる。すなわち、駆動部１０２は、特徴領域単位グループ群５２０、被写体単位グループ群５３０及び周辺単位グループ群５４０について、それぞれ設定されたフレームレートに従って、単位グループ２３１に含まれる画素の電荷蓄積及び画素信号の出力を実行させる。
【００４８】
例えば、制御部１０１により特徴領域用フレームレート、被写体用フレームレート及び周辺用フレームレートがそれぞれ１２０ｆｐｓ、６０ｆｐｓ、及び３０ｆｐｓに設定されたとする。この場合、駆動部１０２は、周辺単位グループ群５４０から１フレーム分の画像信号を得る時間（１／３０ｓｅｃ）の間に、被写体単位グループ群５３０からは２フレーム分の画像信号を得ると共に、特徴領域単位グループ群５２０からは４フレーム分の画像信号を得る。このとき駆動部１０２は、周辺単位グループ群５４０に含まれる単位グループ２３１のリセットトランジスタ３０３、転送トランジスタ３０２及び選択トランジスタ３０５の組と、被写体単位グループ群５３０に含まれる単位グループ２３１のリセットトランジスタ３０３、転送トランジスタ３０２及び選択トランジスタ３０５の組と、特徴領域単位グループ群５２０に含まれる単位グループ２３１のリセットトランジスタ３０３、転送トランジスタ３０２及び選択トランジスタ３０５の組とを別個に駆動することにより、異なるフレームレートで画像信号を得る。
【００４９】
ステップＳ１０５において、画像処理部１０３は、特徴領域単位グループ群５２０からの画像信号をワークメモリ部１０４の予め定められた記憶領域に、フレームごとに順次、記憶する。同様に、画像処理部１０３は、被写体単位グループ群５３０からの画像信号をワークメモリ部１０４の予め定められた記憶領域に、フレームごとに順次、記憶する。また同様に、画像処理部１０３は、周辺単位グループ群５４０からの画像画号をワークメモリ部１０４の予め定められた記憶領域に、フレームごとに順次、記憶する。
【００５０】
ステップＳ１０６において、画像処理部１０３は、ワークメモリ部１０４から特徴領域単位グループ群５２０の複数フレームの画像信号を読み出し、この複数フレーム間の差分を算出することで、特徴領域５１０の変化を検出する。そして画像処理部１０３は、この検出結果に基づいて主要被写体５００の状態を判定する。
【００５１】
図８及び図９は、図７に示す撮像面から、主要被写体５００を含む領域のみを切り出した図である。図８は、人物が瞬きをしている状態を示す。図９は、人物が視線の方向を変化させている状態を示す。画像処理部１０３は、例えば、主要被写体５００の状態として、図８に示すような瞬きの状態を判定する。瞬きの状態を判定する場合、画像処理部１０３は、例えば、目の黒目部分が検出されていた箇所で黒目部分が検出されなくなった場合に瞬きが行われたと判定する。また、画像処理部１０３は、例えば、主要被写体５００の状態として、図９に示すような視線の方向を判定する。視線の方向を判定する場合、画像処理部１０３は、例えば、目の黒目部分の位置の変化に基づいて判定する。画像処理部１０３は、例えば、人物の目及び口が笑っている状態であれば、笑顔と判定するなど、顔の表情を主要被写体５００の状態として判定するようにしてもよい。
【００５２】
ステップＳ１０７において、画像処理部１０３は、ワークメモリ部１０４から特徴領域単位グループ群５２０、被写体単位グループ群５３０及び周辺単位グループ群５４０からの画像信号をそれぞれ読み出し、この画像信号に基づいて表示用の動画（スルー画）を生成する。画像処理部１０３は、被写体単位グループ群５３０からの画像信号に基づくフレームを周辺単位グループ群５４０からの画像信号に基づくフレームの被写体単位グループ群５３０に対応する箇所に嵌め込む。また、画像処理部１０３は、特徴領域単位グループ群５２０からの画像信号に基づくフレームを被写体単位グループ群５３０からの画像信号に基づくフレームの特徴領域単位グループ群５２０に対応する箇所に嵌めこむ。このようにして画像処理部１０３は、特徴領域５１０、主要被写体５００及び周辺領域のフレームを合成して、スルー画を生成する。スルー画の表示フレームレートについては、特徴領域用フレームレート、被写体用フレームレート及び周辺用フレームレートのいずれのフレームレートにしてもよいし、その他のフレームレートにしてもよい。また、単位時間あたりにおけるフレーム数は、特徴領域５１０、主要被写体５００及び周辺領域でそれぞれ異なるので、適宜フレームを間引いたり補完したりしてフレーム数を整合させるようにすればよい。
【００５３】
ステップＳ１０８において、画像処理部１０３は、ステップＳ１０７で生成したスルー画を表示部１０６に表示する。このとき画像処理部１０３は、人物の顔等の主要被写体５００と人物の目又は人物の口等の特徴領域５１０との位置を示す枠などをスルー画に重ねて表示する。また画像処理部１０３は、ステップＳ１０６で判定した瞬き、視線の方向及び顔の表情等の主要被写体５００の状態を示すアイコンなどをスルー画に重ねて表示する。このようにすることで、カメラ１００が認識している人物の顔の位置や状態と人物の目の位置や状態と人物の口の位置や状態とをユーザに通知することができる。
【００５４】
ステップＳ１０９において、画像処理部１０３は、ステップＳ１０６で判定した主要被写体５００の状態に基づいて、静止画記録（静止画撮影）を行うか否かを判定する。画像処理部１０３は、ステップＳ１０６で判定した人物の目の視線がカメラ１００側を向いている場合や、ステップＳ１０６で判定した人物の顔の表情が笑顔である場合などに静止画記録を行う。このとき、画像処理部１０３は、特徴領域、主要被写体５００及び周辺領域のフレームを合成して１枚の静止画を生成して、記録部１０５に記録する。一方、画像処理部１０３は、ステップＳ１０６で瞬きをしていると判定した場合などには、静止画記録を行わない。
【００５５】
ステップＳ１１０において、制御部１０１は、次の単位時間の撮像を行うか否かを判断する。次の単位時間の撮像を行うか否かは、その時点でユーザから自動撮影モードの終了が指示されているか否かで判断される。制御部１０１は、次の単位時間の撮像を行う場合は、ステップ１１０を肯定判定して上記ステップＳ１０１に戻り、次の単位時間の撮像を行わない場合は、ステップ１１０を否定判定して図６の処理を終了する。
【００５６】
「単位時間」とは、予め制御部１０１に設定されている時間であって、例えば、数秒程度である。また、図６に示す処理において、次の単位時間が開始されるときに、ステップＳ１０１及びＳ１０２で改めて主要被写体５００及び特徴領域５１０が検出され、特徴領域単位グループ群５２０、被写体単位グループ群５３０及び周辺単位グループ群５４０が更新される。これにより、主要被写体５００及び特徴領域５１０が移動してもこれに追従して特徴領域単位グループ群５２０、被写体単位グループ群５３０及び周辺単位グループ群５４０を逐次、更新することができる。また、ステップＳ１０１及びＳ１０２で改めて主要被写体５００及び特徴領域５１０を検出する際には、前の単位時間で周辺領域よりも高いフレームレートで撮像した主要被写体５００及び特徴領域５１０の撮像画像を参照できるので、主要被写体５００及び特徴領域５１０を精度よく検出することができる。
【００５７】
以上説明した実施形態によれば、次の作用効果が得られる。
（１）カメラ１００は、複数の単位グループ２３１（撮像領域）を有し、単位グループ２３１に入射した光像に応じた画像信号を生成する撮像チップ２１３を有する。またカメラ１００は、撮像チップ２１３から出力された画像信号に基づいて当該画像信号の示す画像の特徴領域５１０を検出する特徴領域検出部１１２と、複数の単位グループ２３１のうち特徴領域５１０に対応する光像が入射した単位グループ２３１を特徴領域用フレームレートで撮像を行うように制御し、複数の単位グループ２３１のうち特徴領域５１０に対応する光像が入射した単位グループ２３１以外の単位グループ２３１を特徴領域用フレームレートとは異なるフレームレートで撮像を行うように制御する制御部１０１と、を含む信号処理チップ２１１を有する。これにより、撮像素子２００の全体の撮像領域から画像信号を読み出しても、撮像素子２００の特定の撮像領域（特徴領域５１０に対応する光像が入射した単位グループ２３１）から画素信号を高速に読み出すことができ、特徴領域５１０の認識精度を向上することができる。また、特徴領域５１０以外の他の領域についてはフレームレートを低くして画像信号を取得しているので、全画素からの高速読み出しに比べて、撮像素子２００の駆動や画像処理の負荷を減らし、消費電力や発熱を抑えることができる。
【００５８】
（２）カメラ１００は、特徴領域５１０に対応する単位グループ２３１から出力される画像信号に基づいて、主要被写体５００の状態を判定する。これにより、主要被写体５００の状態の判定結果を用いて適切なシャッターチャンスを捉えて自動で静止画を記録することができる。
【００５９】
−第２の実施形態−
次に、本発明の第２の実施形態について説明する。第２の実施形態のカメラ１００及び撮像素子２００の構成は、第１の実施形態と同様であるため、説明を省略する。
【００６０】
図１０は、第２の実施形態における自動撮影モードにおける処理の流れを説明するフローチャートである。第２の実施形態に係るカメラ１００は、ユーザにより不図示の操作部材を介して自動撮影モードが指示されたときに、図１０に示す処理を開始する。ステップＳ２０１〜Ｓ２０２については、上記第１の実施形態のステップＳ１０１〜Ｓ１０２と同様の処理を行う。すなわち、画像処理部１０３は、撮像素子２００により撮像された画像から主要被写体を検出し、主要被写体から特徴領域を検出する。
【００６１】
ステップＳ２０３において、画像処理部１０３は、上記第１の実施形態と同様にして、特徴領域単位グループ群、被写体単位グループ群及び周辺単位グループ群を設定する。そして画像処理部１０３は、主要被写体の状況に応じて、特徴領域単位グループ群、被写体単位グループ群及び周辺単位グループ群のそれぞれに含まれる単位グループ２３１の画素の間引き率または加算数を設定する。
【００６２】
主要被写体の状況として、例えば、制御部１０１が、主要被写体に対する撮影レンズ１２０の焦点調節状態（デフォーカス量）を算出する。デフォーカス量の算出方法については、公知の方法を用いればよいので説明を省略する。
【００６３】
デフォーカス量が大きく（すなわち所定値以上であり）、主要被写体がある程度ボケていると判定できる場合には、細かいパターンを認識できず、主要被写体の状態を精度よく認識できないことが予測される。そこで、画像処理部１０３は、全ての単位グループ２３１において画素の間引き率または加算数を大きい値に設定する。これにより、撮像素子２００から読み出す画像信号の画素数が少なくなり、その後の画像処理における演算量の低減や撮像素子２００の消費電力を抑制することができる。
【００６４】
一方、デフォーカス量が小さく（すなわち所定値以下であり）、主要被写体に撮影レンズ１２０のピントが合っていると判定できる場合には、主要被写体の状態を正しく認識するために撮像素子２００から読み出す画像信号の画素数が多い方が望ましいが、画素数が多くなるとその分演算量や消費電力が大きくなってしまう。そこで、画像処理部１０３は、主要被写体の状態を認識するために使用する特徴領域に対応する特徴領域単位グループ群については、上記デフォーカス量が大きい場合よりも画素の間引き率または加算数を小さい値に設定する。これにより、特徴領域単位グループ群からの画像信号については画素数が多くなるため、精度よく主要被写体の状態を認識することができる。また画像処理部１０３は、この他被写体単位グループ群及び周辺単位グループ群については、特徴領域単位グループ群よりも画素の間引き率または加算数を大きい値に設定する。これにより、全体としては、画像処理の演算量が増えるのを防止でき、且つ撮像素子２００の消費電力を抑制できる。ただし、ＡＦ動作が行われる場合には主要被写体である顔に焦点を合わせるので、これからデフォーカス量が小さくなるものとして、デフォーカス量が所定値以下の場合と同様に間引き率と加算数を小さい設定にしてもよい。ＡＦ動作が行われる場合とは、撮影者によるＡＦ起動部材の操作や動画などの常時ＡＦ動作中に行われる。
【００６５】
また、主要被写体の状況として、画像処理部１０３が、撮像素子２００の撮像面において主要被写体が占める割合、すなわち撮像面の大きさに対する主要被写体の大きさの割合を算出するようにしてもよい。
【００６６】
撮像面において主要被写体が占める割合が所定値（たとえば３０％）以上である場合には、撮像画像上で主要被写体に関する情報量が多くなるので、画素の間引き率または加算数をある程度大きくしても、精度よく主要被写体の状態を認識できることが予測される。そこで画像処理部１０３は、全ての単位グループ２３１において、画素の間引き率または加算数を大きい値に設定する。これにより、撮像素子２００から読み出す画像信号の画素数が少なくなり、その後の画像処理における演算量の低減や撮像素子２００の消費電力を抑制することができる。
【００６７】
一方、撮像面において主要被写体が占める割合が所定値（たとえば１０％）以下である場合には、撮像画像上で主要被写体に関する情報量が少なくなるので、細かいパターンを認識しづらく、主要被写体の状態を認識しづらくなることが予測される。そこで、画像処理部１０３は、全ての単位グループ２３１において、上記主要被写体が占める割合が大きい場合よりも画素の間引き率または加算数を小さい値に設定する。これにより、撮像素子２００から読み出す画像信号の画素数が多くなるので、精度よく主要被写体の状態を認識することができる。
【００６８】
設定する画素の間引き率または加算数の値については、画像の用途に応じて上限値を設定しておくことが望ましい。画像をスルー画像として表示する場合には、表示画像の品質を損ねない程度の間引き率または加算数を上限値とする。例えば、表示部１０６の解像度を満たす画素数となる間引き率または加算数を上限値として設定する。また、画像を静止画あるいは動画として記録する場合には、記録画像の品質を損ねない程度の間引き率または加算数を上限値とする。例えば、記録解像度を満たす画素数となる間引き率または加算数を上限値として設定する。
【００６９】
ステップＳ２０３では、このようにして、画像処理部１０３が、主要被写体の状況に応じて、特徴領域単位グループ群、被写体単位グループ群及び周辺単位グループ群のそれぞれに対する画素の間引き率または加算数を設定する。
【００７０】
ステップＳ２０４において、制御部１０１は、特徴領域単位グループ群、被写体単位グループ群及び周辺単位グループ群のそれぞれに含まれる単位グループ２３１を特定する情報と、それぞれに設定した画素の間引き率または加算数の情報とを、駆動部１０２に伝達する。駆動部１０２は、制御部１０１から伝達された情報に従って撮像素子２００を駆動して撮像を行わせ、画像信号を出力させる。すなわち、駆動部１０２は、特徴領域単位グループ群５２０、被写体単位グループ群５３０及び周辺単位グループ群５４０について、それぞれ設定された画素の間引き率または加算数に従って、単位グループ２３１に含まれる画素の電荷蓄積及び画像信号の出力を実行させる。この場合、駆動部１０２は、特徴領域単位グループ群に含まれる単位グループ２３１のリセットトランジスタ３０３、転送トランジスタ３０２及び選択トランジスタ３０５の組と、被写体単位グループ群に含まれる単位グループ２３１のリセットトランジスタ３０３、転送トランジスタ３０２及び選択トランジスタ３０５の組と、周辺単位グループ群に含まれる単位グループ２３１のリセットトランジスタ３０３、転送トランジスタ３０２及び選択トランジスタ３０５の組とを別個に駆動することにより、異なる画素の間引き率または加算数で画像信号を得る。
【００７１】
ステップＳ２０５〜Ｓ２１０の処理は、上記第１の実施形態のステップＳ１０５〜Ｓ５１０と同様の処理を行う。すなわち、画像処理部１０３は、撮像素子２００からの画像信号をワークメモリ部１０４に記憶した後、特徴領域単位グループ群からの画像信号に基づいて主要被写体の状態を判定する。画像処理部１０３は、この判定結果に応じて静止画記録を行う。
【００７２】
また画像処理部１０３は、撮像素子２００からの画像信号に基づいてスルー画像を生成して、表示部１０６に表示する。特徴領域単位グループ群、被写体単位グループ群及び周辺単位グループ群においてそれぞれ画素の間引き率または加算数が異なる場合には、特徴領域、主要被写体及び周辺領域で画素数がそれぞれ異なるので、適宜画素を間引いたり補間したりして画素数を整合させるようにすればよい。
【００７３】
以上説明した実施形態によれば、次の作用効果が得られる。
（１）カメラ１００は、主要被写体領域のデフォーカス量が大きいほど、主要被写体領域に対応する光像が入射した撮像領域（単位グループ２３１）を撮像する際の画素の間引き率または加算数を大きくするようにした。このように、撮像画像の画素数を増やしても主要被写体の状態を精度よく認識できない状況では、撮像画像の画素数を減らすことで消費電力や演算負荷を抑制することができる。
【００７４】
（２）カメラ１００は、撮像チップ２１３から出力された画像信号の示す画像において主要被写体領域が占める割合が大きいほど、主要被写体領域に対応する光像が入射した撮像領域（単位グループ２３１）を撮像する際の画素の間引き率または加算数を大きくするようにした。このように、主要被写体の状態を十分認識できる状況では、撮像画像の画素数を減らすことで消費電力や演算負荷を抑制することができる。
【００７５】
（変形例１）
上述した実施形態において、画像処理部１０３は、複数の主要被写体(顔)を検出した場合には、その複数の主要被写体の中から優先する被写体（優先被写体）を１つ選択するようにしてもよい。
【００７６】
この場合、画像処理部１０３は、上述したステップＳ１０６と同様に、特徴領域の変化を検出して、主要被写体（顔）の状態を判定する。例えば、瞬きをしている顔は本物の人物の顔であるが、瞬きをしていない顔は絵や写真など本物の人物ではない可能性がある。そこで画像処理部１０３は、瞬きをしている顔を、優先被写体として選択する。
【００７７】
また、喋っている人物は、優先度が高いと考えられる。そこで、カメラ１００は、主要被写体の状態として、人物が喋っているか否かを判定する。カメラ１００は、マイクから得られる音声信号の変化と特徴領域である口の形の変化とが同時に検出された場合には、その人物が喋っていると判定する。そして、喋っている人物（顔）を、優先被写体として選択する。
【００７８】
制御部１０１は、優先被写体として選択した主要被写体について、撮影レンズ１２０のピントを合わせるＡＦ処理を行うようにする。また、優先被写体として選択されなかった主要被写体については、その後、特徴領域の検出を行わず、例えば周辺領域と同じフレームレートで撮像するようにする。
【００７９】
（変形例２）
上述した第１の実施形態において、特徴領域に対応する特徴領域単位グループ群については、主要被写体及び周辺領域よりも高いフレームレートで撮像を行うので、その分電荷の蓄積時間が短くなり、画像信号の出力が小さくなる場合がある。そこで、画像処理部１０３は、特徴領域単位グループ群については、被写体単位グループ群及び周辺単位グループ群よりも、単位グループ２３１に含まれる画素から読み出す画素信号のゲインを大きく設定するようにしてもよい。
【００８０】
この場合、駆動部１０２は、特徴領域単位グループ群、被写体単位グループ群及び周辺単位グループ群について、それぞれ設定されたゲインで、単位グループ２３１に含まれる画素から読み出した画素信号を増幅して出力させる。特徴領域単位グループ群については、ゲインの設定値が大きいので、画像信号の出力が大きくなり、特徴領域の変化の検出精度を高めることができる。
【００８１】
（変形例３）
上述した第１の実施形態において、画像処理部１０３は、特徴領域単位グループ群に特徴領域用フレームレートを設定する際、撮像面における主要被写体の占める割合に応じて設定する値を変化させるようにしてもよい。撮像面における主要被写体の占める割合が大きいほど特徴領域用フレームレートの設定値を低くし、撮像面における主要被写体の占める割合が小さいほど特徴領域用フレームレートの設定値を高くする。撮像面における主要被写体の占める割合が大きい場合には、撮像画像上で主要被写体に関する情報量が多く、特徴領域の変化も検出しやすいので、特徴領域用フレームレートを下げることで消費電力を低減できる。一方、撮像面における主要被写体の占める割合が小さい場合には、撮像画像上で主要被写体に関する情報量が少なく、特徴領域の変化も検出しにくいので、特徴領域用フレームレートを上げることで、主要被写体の状態の認識精度を高くできる。
【００８２】
（変形例４）
主要被写体として複数の人物の顔を検出した際、顔の数が所定値よりも多い場合には、撮像画像において一つ一つの顔に関する情報量が少なく、顔の状態を認識しにくいことが予測される。そこで、画像処理部１０３は、このような場合には、特徴領域についての画素の間引き率または加算数を小さい値に設定して、顔の状態の認識精度を高くするようにしてもよい。
【００８３】
また、主要被写体として検出した人物の顔の位置が撮像面の中央近傍である場合には、ポートレート撮影であり、撮像画像における顔の情報量が多く、顔の状態を認識しやすいことが予測される。そこで画像処理部１０３は、このような場合には、全体的に、画素の間引き率または加算数を大きい値に設定して、消費電力や演算負荷を低減するようにしてもよい。
【００８４】
（変形例５）
特徴領域、主要被写体領域及び周辺領域について、上述した第１の実施形態ではフレームレートを設定し、上述した第２の実施形態では、画素の間引き率または加算数を設定する例について説明した。しかしながら、設定する撮像条件は、上述した実施形態で説明した例に限定しなくてもよい。例えば、特徴領域、主要被写体領域及び周辺領域について、画素の間引き率と加算数の両方を設定するようにしてもよい。この場合は、画素が間引かれた後、残った画素の画素信号を加算することで、さらに画素数を少なくする。また、フレームレートと画素の間引き率または加算数との両方を設定するようにしてもよい。
【００８５】
また、主要被写体領域及び周辺領域のフレームレートは同じにして、特徴領域だけフレームレートを高くしてもよい。特徴領域のフレームレートを所定のフレームレートよりも高くすれば、特徴領域の認識精度を高めることができる。また、逆に特徴領域と主要被写体領域のフレームレートは同じにして周辺領域だけフレームレートを低くしたりしてもよい。特徴領域や主要被写体領域のフレームレートを所定のフレームレートのまま維持し、周辺領域のフレームレートを低くすることで、特徴領域や主要被写体領域の認識精度を維持しながら、消費電力や画像処理の負荷を低減することができる。
【００８６】
（変形例６）
上述した実施形態では、静止画の自動撮影を行う自動撮影モードに本発明を適用する例について説明したが、通常の撮影モード（すなわちユーザのレリーズボタン押下により静止画を記録するモード）に本発明を適用するようにしてもよい。この場合、カメラ１００は、例えば、ユーザがレリーズボタンを半押しした場合に上述した図６の処理を開始し、上述した実施形態と同様にステップＳ１０１〜Ｓ１０８の処理を行う。そして、カメラ１００は、ユーザによりレリーズボタンが全押しされると、静止画を記録する。
【００８７】
また、動画撮影モードに本発明を適用するようにしてもよい。この場合、カメラ１００は、例えば、ユーザが録画ボタンを押下した場合に上術した図６の処理を開始して、撮像素子２００により撮像された動画を記録し、再度ユーザが録画ボタンを押下した場合に図６の処理を終了する。
【００８８】
（変形例７）
上述した実施形態では、人物の顔を主要被写体として検出する例について説明したが、この他の被写体を主要被写体として検出するようにしてもよい。例えば、動物を主要被写体として検出するようにしてもよい。この場合、例えば、動物の目、口、鼻、耳、尾などを特徴領域として上述した実施形態と同様の制御を行う。これにより、動物の状態等の認識精度や認識速度を向上させることができる。
【００８９】
また、主要被写体は、人工物であってもよい。この場合は、人工物の色情報やパターン情報などから特徴領域を検出する。例えば、色や輝度のコントラストが大きい部分を特徴領域として上述した実施形態と同様の制御を行う。これにより、人工物の状態等の認識精度や認識速度を向上させることができる。
【００９０】
（変形例８）
上述した実施形態では、複数の画素から構成される単位グループ２３１ごとに撮像条件を設定可能な撮像素子２００を用いる例について説明したが、１つの画素ごとに個別に撮像条件を設定可能な撮像素子を用いるようにしてもよい。この場合、上述したステップＳ１０３，Ｓ２０３では、特徴領域、主要被写体領域及び周辺領域のそれぞれに対応する画素群を設定し、各画素群に対してフレームレートや画素の間引き率または加算数を設定すればよい。
【００９１】
（変形例９）
本発明による撮像装置は、デジタルカメラだけに限定されない。例えば、携帯電話機、スマートフォン、タブレット端末なども本発明による撮像装置に含まれる。
【００９２】
（変形例１０）
上述した実施の形態では、各画素に対応してフローティングディフュージョンが設けられた撮像素子を用いる例を説明した。しかしながら、少なくとも２つの画素でフローティングディフュージョンを共有する撮像素子を用いるようにしてもよい。
【００９３】
以上の説明はあくまで一例であり、上記実施形態の構成に何ら限定されるものではない。また、上記実施形態に各変形例の構成を適宜組み合わせてもかまわない。
【符号の説明】
【００９４】
１００…カメラ、１０１…制御部、１０２…駆動部、１０３…画像処理部、１１１…主要被写体検出部、１１２…特徴領域検出部、１２０…撮影レンズ、２００…撮像素子、２０４…フォトダイオード、２０９…バンプ、２１１…信号処理チップ、２１３…撮像チップ、ＦＤ…フローティングディフュージョン
【図１】
2020074596.tif 000003
【図２】
2020074596.tif 000004
【図３】
2020074596.tif 000005
【図４】
2020074596.tif 000006
【図５】
2020074596.tif 000007
【図６】
2020074596.tif 000008
【図７】
2020074596.tif 000009
【図８】
2020074596.tif 000010
【図９】
2020074596.tif 000011
【図１０】
2020074596.tif 000012