(57)【要約】【課題】同じ光学像を受光する2枚センサで構成するカメラにおいて、動き回る被写体の全画面像と拡大画像を同時に記録する。記録時の読み出しタイミングを調整して同時再生時にも違和感がないデータを記録する。【解決手段】第１の撮像素子の拡大用特定領域決定後に第１のセンサの蓄積を開始し、前記一部領域特定手段によって決定する基となった 第２センサのフレームの次フレームの読み出し終了前に、前記第１ のセンサからの画像信号読み出しを開始する。【選択図】図１
2017034567.tif 000002
【特許請求の範囲】
【請求項１】
光電変換素子を含む画素が２次元に配置されている第１の撮像素子と、
光電変換素子を含む画素が２次元に配置されている第２の撮像素子と、
第１、２の撮像素子それぞれに共通の結像光学系で像が入射される様に配置される光分割手段と、
第１、２の撮像素子それぞれの画素部で電荷蓄積を制御する電荷蓄積制御手段を有し
第２の撮像素子で読みだした画像を基に第２の読み出し領域を特定する読みだし領域特定手段を有する撮像装置において、
第１の撮像素子の特定領域決定後に第１のセンサの蓄積を開始し、前記一部領域特定手段によって決定する基となった 第２センサのフレームの次フレームの読み出し終了前に、前記第１のセンサからの画像信号読み出しを開始することを特徴とする撮像装置。
【請求項２】
第１の撮像素子は前記第２の撮像素子よりも高解像度であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
第１の撮像素子の蓄積開始と読み出しの開始と第２の撮像素子の蓄積開始は撮影条件によって決定することを特徴とする請求項１に記載の撮像装置。
【請求項４】
撮影条件は第１と第２の撮像素子の蓄積期間であることを特徴とする請求項３に記載の撮像装置。
【請求項５】
第１の撮像素子の読みだし領域決定直後に第１のセンサの蓄積を開始することを特徴とする請求項４に記載の撮像装置。
【請求項６】
第２撮像素子の次フレームの第１のセンサの読み出し領域に相当する部分の蓄積期間と第１の撮像素子の蓄積期間が所定値以上重なるように第１のセンサの蓄積開始と読み出し開始と第２の撮像素子の蓄積開始を制御することを特徴とする請求項５に記載の撮像装置。
【請求項７】
所定値は一部領域特定手段の所定行の第１の撮像素子の蓄積期間と第２の撮像素子の蓄積期間が一致することを特徴とする請求項６に記載の撮像装置。
【請求項８】
第２撮像素子の次フレームの第１のセンサの読み出し領域に相当する部分の蓄積期間と第１の撮像素子の蓄積期間が所定値以上重なるように第１のセンサの蓄積開始と読み出し開始と第２の撮像素子の蓄積開始を制御することを特徴とする請求項４に記載の撮像装置。
【請求項９】
領域特定手段の方法は第２の撮像素子で読みだした画像の特徴量で特定することを特徴とする請求項７に記載の撮像装置。
【請求項１０】
特徴量は顔の特徴であることを特徴とする請求項９に記載の撮像装置。
【請求項１１】
領域特定手段の方法は自動ＡＦエリアポイントであることを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に２つの撮像素子を搭載した撮像装置に関する。
【背景技術】
【０００２】
従来CCDやCMOS撮像素子を搭載した撮像装置が数多く使用されている。特にCMOS撮像素子は汎用の半導体製造装置を流用できるため撮像素子の製造コストを低くすることができる。そのメリットを一つの形にしたものとして、複数のCMOS撮像素子を撮像装置に搭載した製品や技術が広く生み出されている。
【０００３】
特許文献１には、複数個の撮像素子を搭載した撮像装置において、一方の撮像素子で一部の注目部分を高速、高解像度に読みだし、他方の撮像素子で画面全体を読みだし、それぞれを合成して画像を記録する技術が公開されている。
【０００４】
また、特許文献２には、複数の撮像素子のそれぞれの蓄積期間を変えて、画素位置の信号量によってどちらかの撮像素子の信号を選択して出力し、１枚の画像として出力する技術が公開されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２２８２３２号公報
【特許文献２】特開２０００−７８４６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献に開示された従来技術では、２つの撮像素子を搭載した撮像装置において、一方の撮像素子で全画面を読みだし、他方の撮像素子で注目部分である一部を高解像度で読みだし、それぞれを記録することは記載されていない。
【０００７】
そこで、本発明の目的は、２つの撮像素子を搭載した撮像装置において、第１の撮像素子で全画面を読みだし、その全画面の画像の解析と記録を行う。並行して前記全画面の解析結果から第２の撮像素子の高解像度で読みだす位置を決定する（一部分を高解像度で読みだし全画面と同じサイズの表示機器に出すため拡大表示したようになる。以後この読み出し方法を拡大読みとよぶ）。さらに第２の撮像素子で抜き出す位置がユーザー所望の位置になるような駆動を行う。また第前記全画面動画と拡大動画を同時に再生した場合にユーザーが違和感のないように、記録時に両撮像素子を駆動することができる撮像装置を提供する。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために、本発明に係る撮像装置は、
光電変換素子を含む画素が２次元に配置されている第１の撮像素子と、光電変換素子を含む画素が２次元に配置されている第２の撮像素子と、第１、２の撮像素子それぞれに共通の結像光学系で像が入射される様に配置される光分割手段と、第１、２の撮像素子それぞれの画素部で電荷蓄積を制御する電荷蓄積制御手段を有し、第２の撮像素子で読みだした画像を基に第２の読み出し領域を特定する読みだし領域特定手段を有する撮像装置において、第１の撮像素子の特定領域決定後に第１のセンサの蓄積を開始し、前記一部領域特定手段によって決定する基となった 第２センサのフレームの次フレームの読み出し終了前に、前記第１ のセンサからの画像信号読み出しを開始することを特徴とする。
【発明の効果】
【０００９】
本発明に係る撮像装置によれば、拡大読みする画像の追従性を高めることができユーザー所望の拡大動画像を記録することができる。さらに全画面動画像、拡大読み動画像を同時再生した時にユーザーが違和感じないようにすることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施例１における撮像素子の駆動タイミング図
【図２】本発明の実施例における撮像装置の構成を示すブロック図
【図３】本発明の実施例における撮像素子１４０１の簡易構成図
【図４】本発明の実施例における撮像素子２０３の構成図
【図５】本発明の実施例における動画像を記録するときの撮像素子駆動タイミング図
【図６】本発明の実施例１における撮像素子の画素数を説明する図
【図７】本発明の実施例１撮像素子１４００の簡易構成図
【図８】本発明の実施例１で拡大領域を特定したときの全画面・拡大の画像例を示す図
【図９】本発明の実施例１で拡大領域が動いた時の画像例を示す図
【図１０】本発明の実施例１におけるフローチャート図
【図１１】本発明の実施例２を実施しないときの撮像素子の駆動タイミング図
【図１２】本発明の実施例２における撮像素子の駆動タイミング図
【図１３】本発明の実施例２におけるフローチャート図
【図１４】本発明の実施例３における撮像素子の駆動タイミング図
【図１５】本発明の実施例３におけるフローチャート図
【図１６】本発明の実施例４におけるＡＦポイントを拡大領域とするときの説明図
【発明を実施するための形態】
【００１１】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１２】
図２は本発明の実施形態にかかわる撮像装置のブロック図である。１００は画像処理装置、２００はメモリーカードやハードディスク等の記録媒体、３００はレンズユニットである。続いて前記ブロックの詳細について説明する。
【００１３】
１００は画像処理装置、１２は撮像素子１４００の蓄積量を制御するシャッター、１４００、１４０１は光学像を電気信号に変換する撮像素子である。本実施例では１４００と１４０１の撮像素子の構成は同じである。違う構成でも同じ光学象が得られる撮像素子であれば構成が違っても構わない。解像度も同じでもいいし、異なっても構わない。１３はレンズユニット３００から入射された光を分光する透過ミラーである。
【００１４】
１６００と１６０１はそれぞれ撮像素子１４００、１４０１から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換器を内蔵するアナログフロントエンド（以降ＡＦＥ）である。１８００、１８０１はそれぞれ撮像素子やＡ／Ｄ変換器にクロック信号や制御信号を供給するタイミングジェネレータ（以下ＴＧ）である。
【００１５】
上記のＡＦＥ１６００、１６０１とＴＧ１８００、１８０１は撮像素子１４００、１４０１に内蔵することも可能である。５０は画像処理を含む撮像装置１００全体を制御するシステム制御回路（以下ＣＰＵ）である。６０はモードダイアルスイッチであり、自動撮影モード、プログラム撮影モード、シャッター速度優先撮影モード、絞り優先撮影モード等各機能撮影モード、バルブ撮影モードを切り替えて設定可能である。
【００１６】
６１はシャッタースイッチである。シャッタースイッチ６４は２段階になっていて、1段目まで浅く押すことを半押しといい、２段目まで深く押すことを全押しという。半押しでは自動ピンと合わせや、撮影前の状態における自動露出機構によるシャッター速度と絞り数値の設定が行われる。全押しはシャッター１２が動作し撮影動作が実施される。６２は動画記録、スタート・ストップスイッチであり、記録開始が指示されたら連続して動画記録動作を行う。
【００１７】
６３は動画全画面・拡大、同時記録用スタート・ストップスイッチであり、記録開始が指示されたら連続して以下に説明する全画面・拡大画面、両方の動画記録動作を行う。６４ＩＳＯ感度設定スイッチであり、撮像装置１００の光の量に対する感度が設定できる。６５は設定するダイヤル型スイッチであり、シャッター１２が開いて撮像素子１４００で蓄積する期間を設定する。また動画においては各行のリセット開始から読みだし開始までの時間の設定になる。
【００１８】
６６は電源スイッチであり、撮像装置１００の電源オン、電源オフの切り替えを行う。又、撮像装置１００に接続されたレンズユニット３００、外部ストロボ、記録媒体２００等の各種付属装置の電源オン、電源オフの設定も合わせて切り替え設定可能である。７０はＡＦＥ１６００、１６０１でデジタルデータに変換された画像データや、後述する画像処理部７２、７４で画像処理された画像データを一時的に記録する揮発性メモリ（以下ＲＡＭ）である。またＣＰＵ５０のワークメモリとしての機能ももつ。
【００１９】
７１は不揮発性メモリ（ROM）でありＣＰＵ５０が動作を行う際のプログラムを格納している。７２は静止画の補正・圧縮等の処理を行う画像処理部である。７３は動画の補正・圧縮等の処理を行う画像処理部である。また７４は動画拡大画像の補正・圧縮等の処理を行う画像処理部ある。
【００２０】
本件ではＣＰＵ５０を一つ持ち、静止画または拡大動画と、動画の処理を両方行うような構成になっているが、CPUを２個もち、一方で静止画または拡大動画の処理を、他方で全画面動画の処理をしても構わない。７５は後述する全画面動画から注目部分を検出し拡大動画像を作成する際の領域を特定する拡大読みだし部特定回路である。８０は電源制御部であり、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等から構成されている。さらに電池の装着の有無、電池の種類、電池残量の検出を行い、その検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部に供給する。
【００２１】
８２及び８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池、Ｌｉ電池などの二次電池、ＡＣアダプタ等から成る電源部である。９０はメモリーカードードやハードディスク等の記録媒体とのインターフェース、９２はメモリーカードやハードディスク等の記録媒体との接続を行うコネクタである。２００はメモリーカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、撮像装置１００とのインターフェース２０６を有している。
【００２２】
３００はレンズユニットであり、３１０は撮影レンズ、３１２は絞り、３１６、１０６はレンズを接続するレンズマウントである。３２０はレンズ制御部であり、３２２はレンズユニット３００を撮像装置１００と電気的に接続するコネクタである。レンズ制御部３２０はコネクタ３２２、１２２を介して、撮像装置１００からの信号を受ける。前記信号により撮像レンズ３１０の光軸上での位置を変更しフォーカスを制御する。同じようにレンズ制御部３２０は画像処理装置１００からの信号を受け、絞り３１２の大きさを制御する。尚１２０はレンズユニット３００と電気信号で通信するためのインターフェースである。
【００２３】
図３は撮像素子１４０１の簡易構成図である。
【００２４】
撮像素子１４０１画素２０３が２次元に配置されている。マトリクス状に配置されており、垂直方向の並びを「列」と呼び、水平方向の並びを「行」と呼ぶ。垂直走査回路２０２は選択行を読みだすための行選択と各行に電荷の読み出しに必要な信号を各画素の回路に出力する。
【００２５】
垂直走査回路２０２で内部にもつ行選択回路２０６が選択した行の各画素の画像信号を垂直出力線３１０に信号を出力する。また動画の読み出し時には行選択回路２０６が選択した行の各画素をリセットする機能も持つ。垂直出力線３１０に出力された信号は各垂直出力線につながっている列ゲイン２０４、列回路２０５を介して水平走査回路２０１に出力される。水平走査回路２０１は１行分の信号出力を水平方向に順次出力する。
【００２６】
図４は画素２０３の詳細を示した図である。
【００２７】
フォトダイオード３０４にて発生および蓄積された電荷を、転送制御信号３０１を制御して転送スイッチ３０５を作動させてフローティングデヒュージョン（以後ＦＤ）３０７に蓄積させる。ソースフォロアアンプ３０８はＦＤ３０７に蓄積された電荷に基づく電圧信号を増幅して、画素信号として出力する。前記ソースフォロアアンプの出力を行選択制御信号３０３が行選択スイッチ３０９を制御して垂直出力線３１０へ接続する。
【００２８】
フォトダイオード３０４、またはＦＤ３０７に蓄積されている不要電荷をリセットする場合はリセット制御信号３０２によりリセットスイッチ３０６を、転送制御信号３０１を制御して転送スイッチ３０５を制御してリセットを実行する。転送制御信号３０１、リセット制御信号３０２と行選択制御信号３０３は垂直走査回路２０２につながっており、各行にそれぞれの制御信号を持つ。また転送制御信号３０１、リセット制御信号３０２と行選択制御信号３０３はＣＰＵ５０がＴＧ１８００、１８０１を制御して出力する。
【００２９】
尚、図３と図４では撮像素子１４０１の撮像素子の簡易構成図を示したが、撮像素子１４０２の構成も基本的には同じである。実施例１で差異部分を説明する。図５は撮像装置１００における撮像素子１４０１で動画の露光、読み出し動作時をした時の各行リセットと読み出しを時系列に示した図である。ｔ４０３のタイミングでＣＰＵ５０がＴＧ１８０１を介して垂直走査回路２０２内行選択回路２０６により先頭の行を選択し、選択された行の各画素２０３を前記リセット動作によりリセットを実行する。前記リセット後に選択行を次の行に移行し、その行をリセットするという動作を繰り返していく。
【００３０】
この1行ずつのリセット実行タイミングを示すのが４００の点線である。リセット用の先頭行選択タイミングｔ４０３からシャッター秒時設定スイッチ６５によって指定された蓄積時間たったｔ４０４のタイミングでまで待つ。ｔ４０４でＣＰＵ５０がＴＧ１８０１を介し再度垂直走査回路２０２内行選択回路２０６により読み出し用の先頭の行を選択する。選択された先頭行の角画素２０３を前記読みだし動作によりフォトダイオード３０４に蓄積された電荷を電気信号として読みだす。前記読みだし後に選択行を次の行に移行し、その行を読み出しするという動作を繰り返していく。この1行ずつの読み出し実行タイミングを示すのが４０２の実線である。そして各行の蓄積タイミングは４０１の期間になる。
【００３１】
垂直走査回路２０２内選択行回路２０６は１つでありシフトレジスタ構成をとっている。撮像素子１４０１内部読みだし設定されたら、奇数番目の先頭行選択がリセット用の行選択、偶数番目の先頭行選択が読みだし用の行選択として駆動する。各選択行はTG１８０１が出力した行送り信号で同じタイミングで送られていく。上記説明では垂直走査回路２０２内選択行回路は１つだが、リセット用、読み出し用の２つにしてそれぞれを走査してもよい。
【００３２】
［実施例１］
実施例１では解像度の違う撮像素子を２つもつ撮像装置において、全画面を読みだした画像の人物の顔を検出し拡大領域を指定する方法を説明する。また実施例１では拡大領域の指定が決定したタイミングに拡大の蓄積を開始する方法を説明する。
【００３３】
図６に、撮像素子１４００、１４０１の画素数の概要を示す。撮像素子１４００の画素サイズ６００と撮像素子１４０１のサイズ６０１は異なり６００の方が小さい。同じ撮像素子サイズの中にそれぞれ別サイズの画素サイズの画素を持ち、各撮像素子別の画素数を持つ構成になっている。撮像素子１４００では静止画像用の画素数を有し、撮像素子１４０１が動画像全画面に必要な画素数を有している。動画に必要な画素数として例えばＦＵＬＬ  ＨＤの表示画素数であるの水平１９２０画素、垂直１０８０画素を表現するために、撮像素子１４０１では有効画素を水平１９２０画素、垂直１３００画素もつとする。撮像素子１４００では静止画用に例えば有効画素水平５８５０行、垂直３９００画素持つとする。このように今後の実施例ではＶ方向に撮像素子１４００の３つの画素サイズが撮像素子１４０１の画素サイズに合うようなサイズになる時の事例を説明する。
【００３４】
図７は静止画かつ動画拡大読みだし用の撮像素子１４００の簡易構成図である。
【００３５】
図６において図３撮像素子１４０１の簡易構成図との差は垂直走査回路２０２につながる垂直スキップ回路６０２と、水平走査回路２０１につながった水平スキップ回路６０１である。垂直スキップ回路６０２は選択回路２０６の開始行と終了行を指定することができ、垂直走査回路２０２は垂直スキップ回路６０２が指定した行数のみを読みだす。また水平スキップ回路６０１も開始列と終了列を指定することができ、1行よみだした信号のうちうちの開始列から終了列までのデータのみを転送する。
【００３６】
図７では、垂直スキップ回路６０２が開始行６０３、終了行６０４を指定し、水平スキップ回路６０１が開始列６０５、終了列６０６を指定する。そうする撮像素子１４０１の全画素数の領域６０７のみを拡大読みだすことができる。
【００３７】
本実施例では拡大読みを動画FULL  HDに合わせて水平１９２０、垂直１０８０画素読みだす方法を記載するが、たとえば同じ動画FULL  HD用の画素数を持つ二つの撮像素子において片方をFULL  HD画素分読みだして、他方を別の画素数（例えば水平１３６６、垂直７６８）のように異なる画素数で読みだして本件の技術を実現しても構わない。
【００３８】
次に拡大領域指定方法について説明する。本実施例では撮像素子１４０１から全画面動画像に１フレームを読みだし、その読みだした画像の読みだしたい部分を解析して撮像素子１４０１の拡大領域を指定する。前記読みだしたい部分の一つとして人物の顔を本実施例では説明する。動画全画面・拡大、同時記録用スタート・ストップスイッチ６３が押されるとＣＰＵ５０がＴＧ１８０１を駆動して１４００から全画面画像を読みだしＡ／Ｄ変換器１６０１でデジタル化され、ＲＡＭ７１に一時的に記憶する。その記憶された画像を、拡大読みだし部特定回路７５が解析を行う。
【００３９】
今回特定する部分として人間の顔とする。顔検出手法については詳細には記載しないが、たとえば画像の中に人間の顔のパーツ（眉、目、鼻、口、耳等）がある所定の距離以内にあるかで検出する手法等がある。例えば図８の（ａ）の画像にはある人物が写っており、その顔部分を検出し、その顔部分が中央にきて、さらにＦＵＬＬ  ＨＤで読みだすことができるように図８のように拡大領域７００を特定する。ＣＰＵ５０は前記ＲＡＭ７１に一時的に記憶された全画面フレームを動画画像処理部７３で画像処理し、メモリーカード２００に記憶する。
【００４０】
前記拡大読みだし部特定回路７５がおこなった解析結果である拡大特定領域をＣＰＵ５０が撮像素子１４００に送り、垂直スキップ回路６０２の開始・終了行、水平スキップ回路６０１の開始・終了列を設定する。ＣＰＵ５０はＴＧ１８００を介し撮像素子１４００を駆動して前記特定した部分を読みだす。読みだされたデータはＡ／Ｄ変換器１６００でデジタル化されＲＡＭ７１に一時的に記憶する。拡大よみされたデータは図８の(b)のような画像になる。ＣＰＵ５０は前記ＲＡＭ７１に一時的に記憶された拡大画像フレームを拡大動画画像処理部７４で画像処理し、メモリーカード２００に記憶する。
【００４１】
ここでは両方の画像を同じメモリーカードに書き込む例を記載しているが、別々のメモリーカードに記憶しても構わない。また全画面動画像、拡大動画像ともに別ファイルとして記憶するが、同時に記録されかつ全画面動画と全画面動画を解析して拡大領域を特定した拡大動画像であることをそれぞれの画像情報としてつけて、再生のときに同期して再生が可能にすることができる。
【００４２】
図９は顔画像が画面の中央から右側に移った時の拡大領域が変わる様子を示している。
【００４３】
拡大読みだし部特定回路７５が解析した結果、拡大領域を８００から８０１に移し、その結果をＣＰＵ５０が撮像素子１４００に送り、垂直スキップ回路６０２の開始・終了行、水平スキップ回路６０１の開始・終了列を設定する。決定された領域を元に前記拡大画像の読み出し手順と同じ方法で画像が読みだされる。
【００４４】
図１は撮像素子１４００と撮像素子１４０１の画像蓄積タイミングと、拡大読みだし部特定回路７５が顔画像を検出し拡大領域を特定したタイミングを示す拡大領域特定信号のタイミングの関係を示している。
【００４５】
ｔ９００でＣＰＵ５０がＴＧ１８０１を介し撮像素子１４０１の動画全画面のリセットを開始する。その後撮像素子１４０１のリセットタイミングはＣＰＵ５０がＴＧ１８０１を介し順次選択行２０６が選択する行を送っていき、リセットタイミングは９１０の点線の様になる。
【００４６】
次にｔ９０１はシャッター秒時スイッチ６５に基づいてＣＰＵ５０がＴＧ１８０１を介し撮像素子１４０１の動画全画面の読み出しを開始する。その後読みだしはＣＰＵ５０がＴＧ１８０１を介し順次選択行２０６が選択する行数を送っていき、読みだしは９１２の実線の様になる。動画全画面の蓄積タイミングは９１１の部分の様になる。
【００４７】
ｔ９０２に全画面フレーム９１２の読みだしが完了し、拡大読みだし部特定回路７５が動画全画面を解析し、拡大領域を特定するタイミングｔ９０３で拡大領域特定信号がＨＩＧHになる。ｔ９０３で特定領域がわかるとＣＰＵ５０は直後に撮像素子１４００の拡大領域を指定し、その指定された領域に従って拡大画像のリセットタイミングが開始される。ここでは垂直の開始行がｖ９３０、終了行がｖ９３２とする。
【００４８】
その後撮像素子１４００のリセットタイミングはＣＰＵ５０がＴＧ１８００を介し、垂直スキップ回路６０２が指定する範囲ｖ９３０からｖ９３２を順次選択行２０６が選択する行を送っていき、リセットタイミングは９２１の点線の様になる。
【００４９】
ｔ９０４では動画全画面の次フレームの蓄積を開始するため、ＣＰＵ５０がＴＧ１８０１を介し撮像素子１４０１の動画全画面のリセットを開始する。ｔ９０５ではシャッター秒時スイッチ６５に基づいて動画拡大の読み出しを開始する。その後読みだしはＣＰＵ５０がＴＧ１８００を介し、垂直スキップ回路６０２が指定する範囲ｖ９３０からｖ９３２を順次選択行２０６が選択する行を送っていき読みだしタイミングは９２３の実線の様になる。動画拡大の蓄積タイミングは９２１の部分の様になる。尚図示していないが、読み出し時の水平転送時もスキップを実行している。
【００５０】
ｔ９０６では動画全画面の次フレーム用に、シャッター秒時スイッチ６５に基づいて動画全画面の読み出しを開始する。その後読みだしはＣＰＵ５０がＴＧ１８０１を介し順次選択行２０６が選択する行を送っていき、読みだしは９１５の実線の様になる。動画全画面の次フレームの蓄積タイミングは９１４の部分の様になる。ｔ９０７で全画面フレーム９１５の読み出しが完了し、拡大読みだし部特定回路７５動画全画面を解析し、拡大領域を特定するタイミングｔ９０８で拡大領域特定信号がＨＩＧHになる。
【００５１】
ｔ９０８で特定領域がわかるとＣＰＵ５０は直後に撮像素子１４００の拡大領域を指定し、その指定された領域に従って拡大画像のリセットタイミングが開始される。ここでは垂直の開始行がｖ９３１、終了行がｖ９３３の様に前フレームとは異なる部分が読みだされている。
【００５２】
全画面を読みだし間隔ｔ９０１からｔ９０５までの間はフレームレートに応じて所定の時間間隔（例えば６０ｆｐｓの場合１６．６ｍｓｅｃ後）で読みだすことが望ましい。また拡大読みだし期間９２３とその次のフレーム（図示せず）も前記の様な時間間隔にすることがのぞましいが、拡大領域特定信号が出るタイミングにある程度左右されるので、記録するときのフレームレートが１６．６ｍｓｅｃに読みだしが間に合えば問題ない。
【００５３】
もし全画面読み出し９１２の終了タイミングｔ９０２の後、拡大領域特定信号が次フレームの読み出し９１５が読み終わるタイミングｔ９０７に間に合わない場合は、前フレームと同じ位置を読みだすようにしてもよい。
【００５４】
図１０に、実施例１のフローチャートを示す。
【００５５】
動画全画面・拡大の同時記録スイッチが押され、同時記録要求が発生したら、ＣＰＵ５０がＴＧ１８０１を介し撮像素子１４０１を駆動して、動画全画面用の映像を読みだす（ｓ１０００）。前記全画面画像を基に、顔検出を実行する（ｓ１００１）。顔を検出したらその顔位置が中央に来るようにＣＰＵ５０が動画拡大の読み出し位置を算出する（ｓ１００２）。ＣＰＵ５０は算出結果を基にＴＧ１８００を介し撮像素子１４００を駆動して、拡大画像を読みだす。
【００５６】
並行してＣＰＵ５０がＴＧ１８０１を介し撮像素子１４０１を駆動して、動画全画面用の映像を読みだす（ｓ１００３）。顔検出ができなかった場合は、初期に決まっている位置か、前フレームで顔を検出できたときの領域と同じ位置を、動画拡大の読み出し位置とする。ＣＰＵ５０はＴＧ１８００を介し撮像素子１４００を駆動して、前記拡大位置を読みだす。並行してＣＰＵ５０がＴＧ１８０１を介し撮像素子１４０１を駆動して、動画全画面用の映像を読みだす（ｓ１００４）。各映像を読みだした後、記録継続するかどうかの判定を行い（ｓ１００５）、続ける場合はｓ１００３またはｓ１００４で読みだした動画全画面を基に顔検出を実施する。記録継続しない場合は同時記録を終了する。
【００５７】
いままでの説明で全画面・拡大の同時記録は、ほぼ同じ時間分の動画像を記録する前提で説明したが、一定時間以上顔検出できた部分だけを記録するように設定で変えられるようにしてもよい。
【００５８】
この様に動画用撮像素子から全画面動画像を読みだし、その動画像を基に顔検出を行う。顔部分が特定されたら、その部分が中心となるような拡大用読み出し領域を決めて、その部分を静止画用撮像素子から読みだす。これにより動きが大きい被写体でもユーザー所望の顔部分の動画拡大画像を動画全画面と同時に読みだし記録することが可能である。
【００５９】
［実施例２］
実施例１において撮像素子１４０１から読みだした動画全画面と動画拡大の露出期間とが重なる部分がある例を示した。しかしたとえば図１１の様に、動画全画面の蓄積期間１１１１、１１１４、動画拡大の蓄積期間１１２１が短く、かつ動画のフレームレートが遅い（フレーム間隔が長い）ときは、動画全画面と動画拡大の蓄積タイミングが重ならない場合がある。
【００６０】
具体的には動画全画面の読みだしフレーム１１１２から顔画像を検出したタイミングｔ１１００からリセット動作を開始する。そこから撮像素子１４００の動画拡大読み出し動作終了タイミングｔ１１０１までが動画拡大の蓄積期間となる。動画全画面の読みだし１１１２の次フレームの読みだし１１１５の蓄積開始はｔ１１０２からリセットを開始する。そこから撮像素子１４００の動画拡大読み出し動作終了タイミングｔ１１０３まで動画全画面の蓄積期間となり、それぞれの蓄積期間がまったく重ならない。
【００６１】
実施例２においては、動画全画面の顔検出用フレームの次フレームと動画全画面の顔検出結果を反映した動画拡大読みだしフレームの蓄積時間が同じタイミングになるように蓄積時間を変更した例を示す。図１２に実施例２における撮像素子１４００と撮像素子１４０１の画像蓄積タイミングと、拡大読みだし部特定回路７５が顔画像を検出し拡大領域を特定したタイミングを示す拡大領域特定信号のタイミングの関係を示している。
【００６２】
ｔ１２００でＣＰＵ５０がＴＧ１８０１を介し撮像素子１４０１の動画全画面のリセットを開始する。その後撮像素子１４０１のリセットタイミングはＣＰＵ５０がＴＧ１８０１を介し順次選択行２０６が選択する行を送っていき、リセットタイミングは１２２０の点線の様になる。
【００６３】
ｔ１２０１でｔ１２００から露出が適正になるような蓄積期間たった後にＣＰＵ５０がＴＧ１８０１を介し撮像素子１４０１の読みだし開始する。実施例１では蓄積時間を設定された固定の時間で設定されているが、実施例２では露出制御用に自動で動かせる例を説明する。
【００６４】
ｔ１２０２で全画面フレーム１２２１の読みだしが完了し、拡大読みだし部特定回路７５が動画全画面を解析し、拡大領域を特定するタイミングｔ１２０３で拡大領域特定信号がＨＩＧHになる。ここでは垂直の開始行がｖ１２４０、終了行がｖ１２４１とする。
【００６５】
ｔ１２０３後から全画面読み出し開始ｔ１２０４までの間で拡大領域のＶ方向の中心ｖ１２４２にあたる部分の蓄積タイミングが重なるように各センサを動かす。ｖ１２４２は全画面での画面上部になる。そのため動画拡大のｖ１２４０からｖ１２４１までの読み出し時間と、動画全画面の開始行から動画拡大位置ｖ１２４２にあたる動画全画面の行ｖ１２５０まででは動画拡大の方が時間がかかる。そのため動画拡大のリセットから開始する。
【００６６】
ｔ１２０３でＣＰＵ５０がＴＧ１８００を介し、垂直スキップ回路６０２が指定する範囲ｖ１２４０からｖ１２４１を順次選択行２０６が選択する行を送っていき、リセットタイミングは１２３０の点線の様になる。その後で動画拡大用のｖ１２４２のリセットタイミングと動画拡大位置ｖ１２４２の動画全画面にあたる行ｖ１２５０のリセットタイミングが同じになるように動画全画面のリセットを開始する。
【００６７】
ｔ１２０４にＣＰＵ５０がＴＧ１８０１を介して撮像素子１４０１の動画全画面をリセット開始する。その後撮像素子１４０１のリセットタイミングはＣＰＵ５０がＴＧ１８０１を介し順次選択行２０６が選択する行を送っていき、リセットタイミングは１２２３の点線の様になる。ｔ１２０５では画面上で同じ垂直部分、動画全画面ではｖ１２５０、動画拡大ではｖ１２４２のリセットタイミングが同じになる。
【００６８】
例えば動画拡大で開始行ｖ１２４０が１２１行目、終了が１２００行目、中央部分であるｖ１２４２が６６０行目であるとする。前画面は３倍の行幅があるとすると、動画角第の６６０行目が全画面動画ｖ１２５０ｎあたる２２０行目になり、その分のスピードで読めてしまう。そのため動画拡大のリセット開始タイミングｔ１２０３が開始してから４４０行分の送りがおわってから画全画面読みのリセット開始タイミングｔ１２０４が開始される計算になる。尚この例では水平走査期間は同じとする。
【００６９】
ｔ１２０６でＣＰＵ５０は読みだし開始タイミングｔ１２０３から所定時間たってから撮像素子１４００の拡大領域の読み出しを開始する。動画拡大の読み出しから開始する。ＣＰＵ５０がＴＧ１８００を介し、垂直スキップ回路６０２が指定する範囲ｖ１２４０からｖ１２４１を順次選択行２０６を介して選択する行を送っていき、読み出しタイミングは１２３２の実線の様になる。
【００７０】
尚、蓄積期間は、動画全画面のリセット開始タイミングｔ１２０４から全画面読み出し開始タイミングｔ１２０７と同じにする。全画面読み出し開始タイミングｔ１２０７は前フレームの読みだし開始ｔ１２０１からフレームレートに合わせたタイミングで開始されるとする。本実施例では３０ｆｐｓとして全画面読み出しサイクル期間ｔ１２０１からｔ１２０７までを約３３．３ｍｓｅｃとする。
【００７１】
ｔ１２０７は動画全画面のリセット開始タイミングｔ１２０４から、動画拡大の蓄積期間であるｔ１２０３からｔ１２０６までの期間を加算したタイミングであり、且つｔ１２０５から３３．３ｍｓｅｃ後になる。ＣＰＵ５０がＴＧ１８０１を介し順次選択行２０６が選択する行を送っていき、動画全画面の読み出しタイミングは１２２５の実線の様になる。
【００７２】
ｔ１２０５で動画全画面と動画拡大のリセット開始タイミングが合ったように、ｔ１２０８では動画全画面と動画拡大の読みだしタイミングが合う。動画拡大のｖ１２４２と動画全画面の同じ位置である行ｖ１２５０は同じ蓄積タイミングになる。ｔ１２０９で読みだしタイミン動画全画面の読み出しが終わったら再度顔検知の動作に移る。
【００７３】
上記例で動画全画面の蓄積期間が最初のフレームの蓄積期間１２２１と次フレームの蓄積期間１２２４で大きく異なる。ただし蓄積期間１２２１で適正露出が得られている場合は蓄積期間１２２４では露出を合わせる必要がある。実施例２では撮像素子１４０１のゲイン部分２０４、またはＣＰＵ５０の動画の画像処理７３でゲインを落とすようにする。例えばフレーム蓄積期間１２２１のｔ１２００からｔ１２０１までを５ｍｓｅｃだとし、次フレーム１２２４の蓄積期間ｔ１２０４からｔ１２０７までを２０ｍｓｅｃだとする。蓄積期間は４倍になったので、撮像素子１４０１のゲイン部分２０４を１／４、またはＣＰＵ５０の動画の画像処理７３でゲインを１／４にする。このようにして適正な露出が変更しないように制御する。
【００７４】
図１３に、実施例２のフローチャートを示す。
【００７５】
動画全画面・拡大の同時記録スイッチが押され、同時記録要求が発生したら、ＣＰＵ５０がＴＧ１８０１を介し撮像素子１４０１を駆動して、動画全画面用の映像を読みだす（ｓ１３００）。前記全画面画像を基に、顔検出を実行する（ｓ１３０１）。顔を検出したらその顔位置が中央に来るようにＣＰＵ５０が動画拡大の読み出し位置を算出する（ｓ１３０２）。その後蓄積期間が動画全画面、動画拡大で同じになるように制御できるほどの期間あるかどうか確認し（ｓ１３０３）、一定以下の場合は蓄積期間の変更とゲインの変更を行う（ｓ１３０４）。その後ＣＰＵ５０がＴＧ１８００、１８０１を介して撮像素子１４００、１４０１から動画拡大と動画全画面の読み出しを実施する（ｓ１３０６）。
【００７６】
もしｓ１３０２で所定の蓄積時間より大きい場合は、蓄積時間をそのままにしてＣＰＵ５０がＴＧ１８００、１８０１を介して撮像素子１４００、１４０１から動画拡大と動画全画面の読み出しを実施する（ｓ１３０６）。ｓ１３０１で顔検出ができなかった場合は、初期に決まっている位置か、前フレームで顔を検出できたときの領域と同じ位置を、動画拡大の読み出し位置とする。ＣＰＵ５０はＴＧ１８００を介し撮像素子１４００を駆動して、前記拡大位置を読みだす。並行してＣＰＵ５０がＴＧ１８０１を介し撮像素子１４０１を駆動して、動画全画面用の映像を読みだす（ｓ１３０５）。各映像を読みだした後、記録継続するかどうかの判定を行い（ｓ１３０７）、続ける場合はｓ１３０４またはｓ１３０５で読みだした動画全画面を基に顔検出を実施する。記録継続しない場合は同時記録を終了する。
【００７７】
実施例２では蓄積タイミングが一致する場合を説明したが、たとえば蓄積期間が所定期間以上重なる、のように駆動しても構わない。例えば１０ｍｓｅｃ以上重なればよいことにし、実施２の蓄積期間２０ｍｓｅｃを動画拡大、動画全画面それぞれ１５ｍｓｅｃにして重なる期間を１０ｍｓｅｃとして駆動できるようにもなる。
【００７８】
この実施例２の様に、顔検知により決定した動画拡大位置の中央位置の蓄積タイミングが、動画全画面の蓄積タイミングと同タイミングになるように制御すれば、同時に再生した時に、タイミングがずれの影響が抑えられ違和感のない再生画像を得ることができる。
【００７９】
［実施例３］
実施例３では図１１で示した用にｔ１１００で動画拡大検出タイミング顔検出と動画全画面の蓄積タイミングが合うように、蓄積期間も変更したが、実施例３では蓄積期間は変えずに動画拡大の蓄積タイミングを遅らせて動画拡大と動画全画面の蓄積タイミングが合うように制御する例をしめす。
【００８０】
ｔ１４００でＣＰＵ５０がＴＧ１８０１を介し撮像素子１４０１の動画全画面のリセットを開始する。その後撮像素子１４０１のリセットタイミングはＣＰＵ５０がＴＧ１８０１を介し順次選択行２０６が選択する行を送っていき、リセットタイミングは１２２０の様になる。
【００８１】
ｔ１４０１でｔ１４００から露出が適正になるような蓄積期間たった後にＣＰＵ５０がＴＧ１８０１を介し撮像素子１４０１の読みだし開始する。実施例３でも実施例２と同じように露出制御用に自動で動かせる例を説明する。ｔ１４０２で全画面フレーム１４１１の読みだしが完了し、拡大読みだし部特定回路７５が動画全画面を解析し、拡大領域を特定するタイミングｔ１４０３で拡大領域特定信号がＨＩＧHになる。
【００８２】
動画拡大の読み出し開始位置がｖ１４３０、終了位置がｖ１４３２、その中央位置がｖ１４３２だとする。実施例３ではｖ１４３２が動画全画面の中央部ｖ１４４０と一致するとする。そのためｔ１４０３で動画全画面のリセット開始タイミングｔ１４０４に動画拡大のリセットタイミングも合わせる。
【００８３】
ｔ１４０４でＣＰＵ５０がＴＧ１８００、撮像素子１４０１の動画全画面のリセットを、ＴＧ１８０１を介し、撮像素子１４００の動画拡大のリセットを開始する。その後ＣＰＵ５０がＴＧ１８０１を介しリセット撮像素子１４０１の順次選択行２０６が選択する行を送っていき、動画全画面のリセットタイミングは１４１３の点線の様になる。同じようにＣＰＵ５０がＴＧ１８００を介し撮像素子１４００の垂直スキップ回路６０２が指定する範囲ｖ１４３０からｖ１４３１を順次選択行２０６が選択する行を送っていき、動画拡大のリセットタイミングは１４２０の点線の様になる。
【００８４】
その後、動画全画面フレーム１４１１と同じ蓄積期間で動画全画面、動画拡大の読み出しを開始する。ｔ１４０５でＣＰＵ５０がＴＧ１８００、撮像素子１４０１の動画全画面の読み出しを、ＴＧ１８０１を介し、撮像素子１４００の動画拡大の読み出しを開始する。ＣＰＵ５０がＴＧ１８０１を介しリセット撮像素子１４０１の順次選択行２０６が選択する行を送っていき、動画全画面の読み出しタイミングは１４１５の実線の様になる。同じようにＣＰＵ５０がＴＧ１８００を介し撮像素子１４００の垂直スキップ回路６０２が指定する範囲ｖ１４３０からｖ１４３１を順次選択行２０６が選択する行を送っていき、動画拡大のリセットタイミングは１４２２の実線の様になる。
【００８５】
図１５に、実施例３のフローチャートを示す。
【００８６】
動画全画面・拡大の同時記録スイッチが押され、同時記録要求が発生したら、ＣＰＵ５０がＴＧ１８０１を介し撮像素子１４０１を駆動して、動画全画面用の映像を読みだす（ｓ１５００）。前記全画面画像を基に、顔検出を実行する（ｓ１５０１）。顔を検出したらその顔位置が中央に来るようにＣＰＵ５０が動画拡大の読み出し位置を算出する（ｓ１５０２）。ＣＰＵ５０は算出結果を基にＴＧ１８００を介し撮像素子１４００を駆動して、拡大画像を読みだす。動画拡大の中央行と動画全画面に対応する行の蓄積タイミングが一致するようにＣＰＵ５０がＴＧ１８０１を介し撮像素子１４０１を駆動して、動画全画面用の映像を読みだす（ｓ１５０３）。
【００８７】
顔検出ができなかった場合は、初期に決まっている位置か、前フレームで顔を検出できたときの領域と同じ位置を、動画拡大の読み出し位置とする。ＣＰＵ５０はＴＧ１８００を介し撮像素子１４００を駆動して、前記拡大位置を読みだす。動画拡大の中央行と動画全画面に対応する行の蓄積タイミングが一致するようにＣＰＵ５０がＴＧ１８０１を介し撮像素子１４０１を駆動して、動画全画面用の映像を読みだす（ｓ１５０４）。各映像を読みだした後、記録継続するかどうかの判定を行い（ｓ１５０５）、続ける場合はｓ１５０３またはｓ１５０４で読みだした動画全画面を元に顔検出を実施する。記録継続しない場合は同時記録を終了する。
【００８８】
実施例３では蓄積時間とゲインを変更せずに動画全画面と動画拡大を記録し、それぞれを同時に再生した時にタイミングがずれの影響が抑えられ違和感のない再生画像を得ることができる。例えば顔検出している部分がしばらく動かない状態（拡大領域があまり動かないとき）に特に有効である。
【００８９】
実施例１〜３では、動画全画面に対する動画拡大の蓄積タイミングの例を示した。ただし動画拡大蓄積であるリセット開始と読み出し開始のタイミングが、前動画拡大の領域決定直後からその決定の基となった全画面フレームの次フレームの読み出し終了、の期間に収まれば、上記の実施例以外の読み出し動作が可能である。
【００９０】
［実施例４］
実施例４では拡大領域の検出を自動ＡＦポイントの選択後に拡大領域を決めるときの例を示す。例えば図１６の(a)のような動画像を撮影中に全画面用撮像素子１４００で撮像面ＡＦできるとしたとき、１６０２の月の被写体を認識して、１６００のエリアをＡＦポイントとする。そのＡＦエリアを中心として拡大領域を１６０１とし、動画拡大画像を撮像素子１４０１から読みだすことができる。
【００９１】
実施例４の様に動画全画面用のセンサから読みだした様々な情報を基に動画拡大領域を決めることにより、ユーザーの様々なニーズにこたえる応える撮像装置が可能であり、そのような撮像装置において実施例１~３のような駆動により、ユーザーに快適な動画全画面、拡大同時記録の機能を提供することができる。
【符号の説明】
【００９２】
１００  撮像装置、１４００  第１の撮像素子、１４０１  第２の撮像素子、
１３  透過ミラー、１８００  第１の撮像素子用ＴＧ、
１８０１  第２の撮像素子用ＴＧ、７５  拡大読みだし部特定回路
【図２】
2017034567.tif 000003
【図４】
2017034567.tif 000004
【図６】
2017034567.tif 000005
【図１】
2017034567.tif 000006
【図３】
2017034567.tif 000007
【図５】
2017034567.tif 000008
【図７】
2017034567.tif 000009
【図８】
2017034567.tif 000010
【図９】
2017034567.tif 000011
【図１０】
2017034567.tif 000012
【図１１】
2017034567.tif 000013
【図１２】
2017034567.tif 000014
【図１３】
2017034567.tif 000015
【図１４】
2017034567.tif 000016
【図１５】
2017034567.tif 000017
【図１６】
2017034567.tif 000018