(57)【要約】【課題】システムリソースの増大を抑制しつつ、多画素且つ高速フレームレートの動画撮影と静止画撮影との同時撮影を実現することが可能な撮像装置を提供する。【解決手段】上述の実施形態に係る撮像装置は、指示に応じて第１の画像信号を出力する第１の撮像手段と、所定のフレームレートで第２の画像信号を出力する第２の撮像手段と、第２の画像信号の少なくとも一部に所定の画像処理を施し、所定の画像処理が施された信号を伝送路を介して伝送する複数の画像処理手段と、第２の撮像手段が複数の画像処理手段のいずれかに所定のフレームレートで第２の画像信号を出力している間に、第１の撮像手段から第１の画像信号を受け付け、複数の画像処理手段のそれぞれに、第１の画像信号を分配する分配手段と、を有する。【選択図】図２
2018170608.tif 000002
【特許請求の範囲】
【請求項１】
指示に応じて第１の画像信号を出力する第１の撮像手段と、
所定のフレームレートで第２の画像信号を出力する第２の撮像手段と、
前記第２の画像信号の少なくとも一部に所定の画像処理を施し、前記所定の画像処理が施された信号を伝送路を介して伝送する複数の画像処理手段と、
前記第２の撮像手段が前記複数の画像処理手段のいずれかに前記所定のフレームレートで前記第２の画像信号を出力している間に、前記第１の撮像手段から前記第１の画像信号を受け付け、前記複数の画像処理手段のそれぞれに、前記第１の画像信号を分配する分配手段と、を有することを特徴とする撮像装置。
【請求項２】
前記複数の画像処理手段のそれぞれが画像信号を格納するメモリを有し、
前記複数の画像処理手段のそれぞれは、前記分配された前記第１の画像信号を前記メモリに格納し、前記第２の画像信号に対する前記所定の画像処理が完了した後に読み出す、ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記所定の画像処理は、前記第２の画像信号を記録するための処理を含む、ことを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記複数の画像処理手段のそれぞれが画像信号を格納するメモリを有し、
前記複数の画像処理手段のそれぞれが前記第２の画像信号を記録する前記所定の画像処理を行う場合、前記複数の画像処理手段のそれぞれが、前記分配された前記第１の画像信号を前記メモリに格納して、前記第２の画像信号に対する前記所定の画像処理が完了した後に読み出し、
前記複数の画像処理手段のそれぞれが前記第２の画像信号を記録する前記所定の画像処理を行わない場合、前記複数の画像処理手段のいずれかが、前記分配された前記第１の画像信号のそれぞれを前記メモリにまとめて格納する、ことを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記複数の画像処理手段のそれぞれが前記第２の画像信号を記録する前記所定の画像処理を行わない場合、前記複数の画像処理手段のいずれかが、まとめて格納された前記第１の画像信号に対して画像処理を施す、ことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記複数の画像処理手段は、第１の画像処理手段と第２の画像処理手段とから構成され、
前記分配手段は、前記第１の画像処理手段に前記第１の画像信号の一部を分配し、前記第２の画像処理手段に該一部の他の部分を分配する、ことを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
【請求項７】
前記分配手段は、前記第１の画像処理手段と前記第２の画像処理手段とに対して、前記第１の画像信号を行ごとに分配する、ことを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記分配手段は、前記第１の画像処理手段と前記第２の画像処理手段とに対して、前記第１の画像信号を列ごとに分配する、ことを特徴とする請求項６に記載の撮像装置。
【請求項９】
前記分配手段は、前記第１の画像処理手段と前記第２の画像処理手段とに対して、前記第１の画像信号の上半面と下半面とを分配する、ことを特徴とする請求項６に記載の撮像装置。
【請求項１０】
前記分配手段は、前記第１の画像処理手段と前記第２の画像処理手段とに対して、前記第１の画像信号の左半面と右半面とを分配する、ことを特徴とする請求項６に記載の撮像装置。
【請求項１１】
前記第１の撮像手段は、静止画の取得の指示に応じて前記第１の画像信号を静止画として出力し、前記第２の撮像手段は、前記第２の画像信号を動画像信号として出力することを特徴とする請求項１に記載の撮像装置。
【請求項１２】
指示に応じて第１の画像信号を出力する第１の撮像素子と、所定のフレームレートで第２の画像信号を出力する第２の撮像素子と、前記第２の画像信号の少なくとも一部に所定の画像処理を施し、前記所定の画像処理が施された信号を伝送路を介して伝送する複数の画像処理手段と、を有する撮像装置の制御方法であって、
分配手段が、前記第２の撮像素子が前記複数の画像処理手段のいずれかに前記所定のフレームレートで前記第２の画像信号を出力している間に、前記第１の撮像素子から前記第１の画像信号を受け付け、前記複数の画像処理手段のそれぞれに、前記第１の画像信号を分配する分配工程を有する、ことを特徴とする撮像装置の制御方法。
【請求項１３】
コンピュータを、請求項１から１１のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置およびその制御方法ならびにプログラムに関する。
【背景技術】
【０００２】
従来、動画撮影を行いながら、撮影を中断すること無く特定のシーンを静止画として記録したいという要求がある。このような要求に対し、静止画を撮影する撮像素子と動画を撮影する撮像素子とを別個に備える撮像装置が知られている（特許文献１）。
【０００３】
一方、近年の画素数の増大やフレームレートの高速化に伴い、撮影した画像データを処理する画像処理部（画像処理エンジンともいう）には高い処理能力が要求される。このような課題に対し、特許文献２は、複数の画像処理部を設け、撮影された画像データを複数の画像処理部で処理することにより、増大する動画処理の負荷に対応可能な構成を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１３０１００号公報
【特許文献２】特開２０１３−２１９６８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した技術を用いて、高解像度／高フレームレートの動画を撮影しつつ動画と並行して静止画も撮影可能にする場合、更に多くの画像処理部が必要となって、撮像装置のシステムリソースが増大してしまう。すなわち、高コスト且つ電力消費の高いシステムとなってしまう。
【０００６】
本発明は、上記課題に鑑みてなされ、その目的は、システムリソースの増大を抑制しつつ、多画素且つ高速フレームレートの動画撮影と静止画撮影との同時撮影を実現することである。
【課題を解決するための手段】
【０００７】
この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、指示に応じて第１の画像信号を出力する第１の撮像手段と、所定のフレームレートで第２の画像信号を出力する第２の撮像手段と、第２の画像信号の少なくとも一部に所定の画像処理を施し、所定の画像処理が施された信号を伝送路を介して伝送する複数の画像処理手段と、第２の撮像手段が複数の画像処理手段のいずれかに所定のフレームレートで第２の画像信号を出力している間に、第１の撮像手段から第１の画像信号を受け付け、複数の画像処理手段のそれぞれに、第１の画像信号を分配する分配手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、システムリソースの増大を抑制しつつ、多画素且つ高速フレームレートの動画撮影と静止画撮影との同時撮影を実現することが可能になる。
【図面の簡単な説明】
【０００９】
【図１】実施形態１における撮像装置の機能構成例を示すブロック図
【図２】実施形態１における画像処理回路の機能構成例を示すブロック図
【図３】実施形態１における撮像動作を示すフローチャート
【図４】実施形態１における撮像動作を示すシーケンス図
【図５】実施形態１における動画の撮像動作を示すフローチャート
【図６】実施形態１における動画フレームを分割する例を模式的に示す図
【図７】実施形態１における測距動作を示すフローチャート
【図８】実施形態１における静止画記録処理の動作を示すフローチャート
【図９】実施形態１における静止画を分割する例を模式的に示す図
【図１０】実施形態２におけるライブビュー撮像動作を示すフローチャート
【図１１】実施形態２におけるＬＶ撮像開始動作を示すフローチャート
【図１２】実施形態２における静止画撮影処理の動作を示すフローチャート
【図１３】実施形態２における静止画を分割する例の変形例を模式的に示す図
【発明を実施するための形態】
【００１０】
（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では撮像装置の一例として、動画と静止画の撮影を同時に行うことが可能なデジタルカメラについて説明する。しかし、本実施形態は、デジタルカメラに限らず、動画と静止画の撮影を同時に行うことが可能な他の機器にも適用可能である。これらの機器には、例えばスマートフォンを含む携帯電話機、ゲーム機、タブレット端末、眼鏡型の情報端末、医療機器、監視システムや車載用システムの機器などが含まれてよい。
【００１１】
図１を参照して、本実施形態に係るデジタルカメラ１００の機能構成例について説明する。
【００１２】
第１レンズ群１０１は結像光学系の先端に配置され、光軸方向に進退可能に保持される。絞り１０２は、その開口径を調節することで撮影時の光量調節を行う。第２レンズ群１０３は、第１レンズ群１０１の進退動作と連動して進退することにより、変倍作用（ズーム機能）を為す。第３レンズ群１０４は、光軸方向の進退により焦点調節を行う。
【００１３】
ミラー１０５は、半透過ミラー（ペリクルミラー）で構成され、レンズから入射された光束を、後述する第１撮像素子１０８Ａと第２撮像素子１０８Ｂのそれぞれの方向に分割する。図１に示す点線は、光束を示しており、第１レンズ群１０１に入射された後に、ミラー１０５により分割され、それぞれ第１撮像素子１０８Ａ及び第２撮像素子１０８Ｂへ導かれる。
【００１４】
メカニカルシャッター１０６は、第１撮像素子１０８Ａへ導かれる光量を調節する。このメカニカルシャッターは先幕と後幕とを有し、先幕を駆動することでシャッターを開き、後幕を駆動することでシャッターを閉じる動作が行われる。光学的ローパスフィルタ１０７Ａ、１０７Ｂは、撮影画像の偽色やモアレを軽減するための光学素子である。
【００１５】
第１撮像素子１０８Ａは、前述のレンズ群により結像された被写体像を光電変換したうえで、アナログ画像信号からデジタル画像信号に変換（Ａ／Ｄ変換）し、撮像信号として出力する。第１撮像素子１０８Ａは、主に静止画像の取得に使用される。第２撮像素子１０８Ｂは、前述のレンズ群により結像された被写体像を光電変換するとともにＡ／Ｄ変換を行って撮像信号を出力する。第２撮像素子１０８Ｂは、主に動画像の取得に使用され、所定のフレームレート（例えば６０ｆｐｓ）で例えば画素数が３８４０×２１６０である撮像画像を出力する。ここでは、第１撮像素子１０８Ａと第２撮像素子１０８Ｂは、例えばベイヤ配列のＣＭＯＳイメージセンサが使用される。また、少なくとも第２撮像素子１０８Ｂは、画像信号だけでなく測距用の情報も取得可能な構成であり、例えば、各画素の１つのマイクロレンズに対して２つのフォトダイオードが設けられて、瞳分割方式の焦点検出が可能な撮像素子を用いることができる。
【００１６】
フロントエンド（ＦＥ）回路１２１は、第１撮像素子１０８Ａから出力される撮像信号を受け取り、第１画像処理回路１０９Ａと第２画像処理回路１０９Ｂとに分配して伝送する。
【００１７】
第１画像処理回路１０９Ａと第２画像処理回路１０９Ｂのそれぞれは、第２撮像素子１０８Ｂ及びＦＥ回路１２１から伝達された撮像信号に対し、画像補正を含む各種画像処理を行なう。第１画像処理回路１０９Ａ、第２画像処理回路１０９Ｂの内部には、各種の処理を実現するためのハードウエアだけでなくそれぞれＣＰＵも内蔵する。このＣＰＵの制御により、レンズＣＰＵ１１７との通信や第１撮像素子１０８Ａ、第２撮像素子１０８Ｂ、シャッター駆動回路１１６など各部の制御を行うことができる。第１画像処理回路１０９Ａと第２画像処理回路１０９Ｂとの間は、伝送路である通信インターフェースで接続され、両者の間で情報の送受信が可能である。図１では、少量のデータを伝送する通信インターフェースと、データサイズの大きな画像信号を伝送するための高速インターフェースとをそれぞれ別個に有する構成を例示している。しかし、１つ以上のインターフェースで同等のデータ伝送を実現してもよい。また、本実施形態では、第１画像処理回路１０９Ａと第２画像処理回路１０９Ｂのそれぞれが１つの半導体集積回路チップとして構成される例について図示している。
【００１８】
尚、説明を簡単にするため、本実施形態ではＦＥ回路１２１が、第１撮像素子１０８Ａの信号を第１画像処理回路１０９Ａと第１画像処理回路１０９Ｂとに分配する構成を例に説明する。しかし、このＦＥ回路１２１の機能を第１撮像素子１０８Ａに含めて、第１撮像素子１０８Ａから第１画像処理回路１０９Ａと第２画像処理回路１０９Ｂに直接信号を入力する構成としても構わない。
【００１９】
ＲＡＭ１１０Ａ及びＲＡＭ１１０Ｂは、それぞれ第１画像処理回路１０９Ａ及び第２画像処理回路１０９Ｂと接続されており、撮像信号などを一時記憶する。ＲＯＭ１１１Ａ及びＲＯＭ１１１Ｂは、不揮発性メモリであり、それぞれ第１画像処理回路１０９Ａと第２画像処理回路１０９Ｂに内蔵されるＣＰＵで使用されるプログラムコードや、画像補正用の補正パラメータなどが記憶される。
【００２０】
表示部１１２は、撮影した画像や各種メニュー画面などを表示し、液晶ディスプレイ（ＬＣＤ）や電子ビューファインダーなどを構成する。後述するライブビュー動作時や動画記録時には連続して撮像した画像が表示部１１２に逐次表示される。記録媒体１１３は、例えばフラッシュメモリカードなどの半導体メモリであり、画像データを記録する。第１画像処理回路１０９Ａと第２画像処理回路１０９Ｂとの少なくとも一方によって生成された静止画や動画のデータが記録される。
【００２１】
制御部１１４は、例えばＣＰＵ（第１画像処理回路１０９Ａ，第２画像処理回路１０９Ｂ内のＣＰＵとは異なる）やＭＰＵを含み、制御部１１４は記録媒体１１３に格納されたプログラムをワークエリアに展開し実行する。シャッタースイッチ１１５や電源スイッチ１２０などの状態を検知して、第１画像処理回路１０９Ａを含むデジタルカメラ１００の各部を制御したり信号を伝達したりする。
【００２２】
シャッタースイッチ（ＳＨＳＷ）１１５は操作部材を構成し、撮影者の操作により撮影指示を制御部１１４に伝達する。シャッター駆動回路１１６は、制御部１１４の制御に従ってメカニカルシャッター１０６を駆動する。
【００２３】
レンズＣＰＵ１１７は、レンズ制御用のＣＰＵであり、第１画像処理回路１０９Ａと通信を行うと共に、絞り制御部１１８、フォーカス制御部１１９を制御する。絞り駆動回路１１８は、絞り１０２を駆動制御する。フォーカス制御部１１９は、第３レンズ群１０４を光軸方向に進退させることにより焦点調節を行う。
【００２４】
電源スイッチ１２０は操作部材を構成し、撮影者の操作によるデジタルカメラ１００の電源オン／オフの状態を検出する。動画記録釦（ＲＥＣＳＷ）１２２は動画の記録開始の指示と記録停止の指示のために用いられる。動画待機中において動画記録釦１２２が操作されると動画記録の開始の指示が出力され、動画記録中において動画記録釦１２２が操作されると動画記録の停止の指示が出力される。
【００２５】
（画像処理回路の構成）
次に、図２を参照して、本実施形態に係る第１画像処理回路１０９Ａ及び第２画像処理回路１０９Ｂの構成について説明する。図２は、第１画像処理回路１０９Ａ及び第２画像処理回路１０９Ｂにおける機能構成のうち撮像信号の処理に関わる部分を示している。
【００２６】
データバス２５０Ａは、後述する２０１Ａ〜２１２Ａの各ブロックを接続して、各ブロック間のデータの受送信を実現する。第１データ受信部２００Ａは、第２撮像素子１０８Ｂからの撮像信号を受信する。この撮像信号には、動画像信号だけでなく測距用に使用される信号も含まれる。
【００２７】
データ分離部２０１Ａは、第１データ受信部２００Ａで受信した撮像信号のうち、動画像信号を第１画像処理回路１０９Ａで処理する部分と第２画像処理回路１０９Ｂで処理する部分とに分離する。第２画像処理回路１０９Ｂで処理する部分はデータ送信部２１３Ａへ伝達され、後述するように第２画像処理回路１０９Ｂへと送信される。第１画像処理回路１０９Ａで処理する部分として分離されたデータはデータバス２５０Ａ側へ出力される。
【００２８】
本実施形態では、いわゆる４ｋ２ｋのように画素数の大きな動画については処理負荷の分散のため第１画像処理回路１０９Ａと第２画像処理回路１０９Ｂの２つの画像処理回路を使って処理を行う。本実施形態では、例えば第１画像処理回路１０９Ａは撮像画像の下半面、第２画像処理回路１０９Ｂは撮像画像の上半面を処理する。従って、データ分離部２０１Ａでは、取得した撮像画像の上半面を抽出／分離してデータ送信部２１３Ａへ転送する。当然ながら、このとき第１画像処理回路１０９Ａで処理する下半面と第２画像処理回路１０９Ｂで処理する上半面が領域としてある程度オーバーラップするように構成してもよい。
【００２９】
第２データ受信部２０２Ａは、第１撮像素子１０８Ａからの撮像信号の一部を、ＦＥ回路１２１を介して受信する。測距用信号補正部２０３Ａは、撮像信号から測距演算に使用する信号を抽出し、抽出した信号に対して像補正を施す。
【００３０】
画像用信号補正部２０４Ａは、撮像信号から画像生成に使用する信号を抽出し、抽出した画像信号に対して像補正を施す。なお、ここでは説明をわかり易くするために、測距用信号補正部２０３Ａと画像用信号補正部２０４Ａとをそれぞれに独立に記載する。しかし、画像用信号補正部２０４Ａで処理した後に測距用信号補正部２０３Ａで測距演算に使用するために必要な補正や処理を追加で行うような構成にしても構わない。ここでいう測距演算のために必要な補正とは、例えば瞳分割された像に対してそれぞれ独立の光学シェーディング補正を行うといったものが考えられる。
【００３１】
測距演算部２０５Ａは、測距用信号補正部２０３Ａで補正された信号に基づいて、相関演算やその演算結果に基づいたデフォーカス量の演算等を行い、最終的に第３レンズ群１０４の駆動量を算出する。画像処理部２０６Ａは、画像用信号補正部２０４Ａで補正処理が行われた画像信号に対して、ノイズ低減処理／現像処理などを行う。
【００３２】
測光演算部２０７Ａは、取得した画像信号を複数の領域に分割して領域ごとの積分値を算出するなど、露出値を決定するための測光演算を行う。測光演算の結果に基づいて、第１画像処理回路１０９Ａ内のＣＰＵ（不図示）がシャッター速度／絞り／ＩＳＯ感度といった露出制御値を算出し、露出制御を行う。メモリコントローラ２０８Ａは、ＲＡＭ１１０Ａへのデータの書込み／読出しといった制御を行う。
【００３３】
ベクトル検出部２０９Ａは、取得された画像信号から動きベクトルを算出し、被写体の移動量を算出する。ベクトル検出部２０９Ａは、算出結果と測距演算部２０５Ａの結果とに基づいて、焦点を合わせるべき被写体の位置を推定し、主被写体に焦点を合わせ続ける追尾処理を行う。
【００３４】
通信部２１１Ａは、対となる第２画像処理回路１０９Ｂの通信部２１１Ｂとの間で情報の送受信を行う。静止画コーデック２１２Ａは、静止画を符号化するエンコーダと、圧縮符号化された静止画を復号するデコーダから成る。エンコーダは、画像処理部２０６Ａで処理された画像信号を静止画としてＪＰＥＧ方式で圧縮符号化する。デコーダは、例えば記録媒体１１３に記録されたＪＰＥＧ方式の静止画を伸長し、表示部１１２で表示できる状態にするために用いられる。
【００３５】
データ送信部２１３Ａは、対となる第２画像処理回路１０９Ｂの第１データ受信部２００Ｂに接続されるように構成される。大サイズのデータを高速に転送するため、通信インターフェースとして例えばＬＶＤＳやＳＬＶＳといった高速なインターフェースを用いる。クロックエンベデッド方式で更に高速化してもよい。
【００３６】
動画コーデック２１４Ａは、動画を符号化するエンコーダと、圧縮符号化された動画を復号するデコーダとから成る。エンコーダは、画像処理部２０６Ａで処理された複数フレームの画像信号を動画としてＨ．２６４等の動画符号化方式で圧縮符号化する。デコーダは、例えば記録媒体１１３に記録された動画データを伸長し、表示部１１２で表示できるような状態にするために用いられる。
【００３７】
第２画像処理回路１０９Ｂについても、アルファベット部分を除く参照符号が共通するものについては第１画像処理回路１０９Ａと同様である。但し、データ受信部２００Ｂについては、前述の通り、第１画像処理回路１０９Ａのデータ送信部２１３Ａからの画像信号を受信するよう接続される。また、第２データ受信部２０２Ｂは、第１画像処理回路１０９Ａのデータ受信部２０２Ａと同様にＦＥ回路１２１によって振り分けられた第１撮像素子１０８Ａの撮像信号の一部を受信する。
【００３８】
表示制御部２１０Ｂは、メモリコントローラ２０８Ｂを介してＲＡＭ１１０Ｂに格納された画像を（分離されていた画像信号は１つの画像にして）表示部１１２に表示させる。これにより、静止画や動画を表示部１１２で再生することができる。
【００３９】
（撮像動作に係る一連の動作）
次に、図３を参照して、本実施形態における、動画の記録と静止画の記録とを並行して行う撮像動作について説明する。なお、本撮像動作は、第１画像処理回路１０９Ａ、第２画像処理回路１０９Ｂ及び制御部１１４によって１つ以上のステップが実行されることにより実現される。第１画像処理回路１０９Ａ及び第２画像処理回路１０９Ｂは、それぞれＲＯＭ１１１Ａ、ＲＯＭ１１１Ｂに格納されたプログラムを、それぞれのＲＡＭ１１０Ａ、ＲＡＭ１１０Ｂに展開、実行する。また、制御部１１４も記録媒体１１３に記録されるプログラムを内部のＲＡＭに展開、実行する。
【００４０】
また、図３の説明では、撮像素子の動作や電源状態について適宜図４を参照して説明する。図４は、横軸に時間軸をとり、縦軸には、それぞれの撮像素子の動作や電源状態、メカシャッタの動作を示している。
【００４１】
ステップＳ３０１で、第１画像処理回路１０９Ａは、動画の撮影を可能にするため、第２撮像素子１０８Ｂを起動する。このとき、図４の時刻Ｔａに示すように、第２撮像素子の電源状態はＯＦＦからＯＮの状態に変化する。ステップＳ３０２で、第１画像処理回路１０９Ａは、第２撮像素子１０８Ｂに垂直同期信号や水平同期信号を供給して、動画の撮影動作を開始させる。このとき、図４の時刻Ｔｂに示すように、第２撮像素子１０８Ｂは順次走査を開始する（リセット走査と読出し走査とを順次繰り返す）。第２撮像素子１０８Ｂによって撮像された撮像信号は、第１データ受信部２００Ａに供給され、その後、第１画像処理回路１０９Ａ及び第２画像処理回路１０９Ｂの処理を経てＲＡＭ１１０Ｂに記憶される。そして、表示部１１２に逐次表示される。なお、動画の撮像動作の詳細については後述する。
【００４２】
ステップＳ３０３で、制御部１１４は、撮影者が動画記録釦１２２を押下したかを判定する。動画記録釦１２２が押下されたと判定した場合にはステップＳ３０４へ移行し、そうでない場合にはステップＳ３０３に戻る。ステップＳ３０４で、第２画像処理回路１０９Ｂは、ＲＡＭ１１０Ｂに格納されている記録用の動画像を、メモリコントローラ２０８Ｂを介して読み出し、記録媒体１１３への記録を開始する。
【００４３】
ステップＳ３０５で、制御部１１４は、撮影者がＳＨＳＷ１１５を半押ししたかを判定する。制御部１１４は、ＳＨＳＷ１１５が半押しされたと判定した場合にはステップＳ３０６に進み、そうでない場合には、静止画を取得する一連の動作を行わないため後述するステップＳ３１５に進む。
【００４４】
ステップＳ３０６で、第１画像処理回路１０９Ａは、測距動作を行う。測距動作では、後述するように、焦点検出のための相関演算を行い、その演算結果をレンズＣＰＵ１１７へ送信する。レンズＣＰＵ１１７はフォーカス制御部１１９を駆動することにより測距動作を実現する。
【００４５】
ステップＳ３０７で、制御部１１４は、ＳＨＳＷ１１５が全押しされたかを判定する。ＳＨＳＷ１１５が全押しされたと判定した場合には静止画撮影を開始するためにステップ３０８に進み、そうでない場合には、静止画を取得する一連の動作を行なわずに後述するステップＳ３１４に進む。
【００４６】
ステップＳ３０８で、第１画像処理回路１０９Ａは、第１撮像素子１０８Ａ及びＦＥ回路１２１を起動する。このとき、図４の時刻Ｔｃに示すように、第１撮像素子１０８Ａの電源状態がＯＦＦからＯＮに変化する。第１撮像素子１０８Ａは、起動を完了すると、第１撮像素子１０８Ａの全画素を一旦リセットする一括リセット動作を行って光電変換部を蓄積状態にする。このとき、図４の時刻Ｔｄに示すように、第１撮像素子１０８Ａは時刻Ｔｄから静止画の蓄積を開始する。
【００４７】
ステップＳ３０９で、第１画像処理回路１０９Ａは、シャッター駆動回路１１６を制御してメカニカルシャッター１０６を開状態にする。このとき、図４の時刻Ｔｅに示すように、メカニカルシャッター１０６の開口が開始されて開状態となる。ステップＳ３１０で、第１画像処理回路１０９Ａは、所定の露光時間が経過した後にメカニカルシャッター１０６を閉状態に駆動する。このとき、図４の時刻Ｔｆに示すように、露光時間が完了した時刻Ｔｆからメカニカルシャッターを閉状態に変化させる。ここで用いられる露光時間は、ステップＳ３０７でＳＨＳＷ１１５が全押しされた直後に第２撮像素子１０８Ｂによって取得された動画の撮像画像に基づいて、測光演算部２０７Ａが算出した測光結果から決定される。
【００４８】
ステップＳ３１１で、第１撮像素子１０８Ａは、静止画の取得処理、すなわち静止画の撮像信号を読み出す。図４の時刻Ｔｇに示すように、第１撮像素子に蓄積された撮像信号が時刻Ｔｇから静止画として読み出される。ＦＥ回路１２１は、制御部１１４の指示に応じて、第１撮像素子１０８Ａから出力される撮像信号を分割して第１画像処理回路１０９Ａと第２画像処理回路１０９Ｂへ振り分ける。なお、分割の仕方については様々考えられるが、ここでは行毎に分割するものとする。即ち、奇数行は第１画像処理回路１０９Ａへ入力し、偶数行は第２画像処理回路１０９Ｂに入力するといった方法である。第１画像処理回路１０９Ａ及び第２画像処理回路１０９Ｂでは、それぞれの第２データ受信部２０２Ａ及び第２データ受信部２０２Ｂが静止画の撮像信号を受信する。そして、取得した静止画の撮像信号をＲＡＭ１１０Ａ及び１１０Ｂに格納する。この時点では、現像処理を始めとする撮像信号への画像処理は行わない。なお、この静止画取得と並行して、第１画像処理回路１０９Ａは、シャッター駆動回路１１６を制御し、次の撮影に備えてメカニカルシャッター１０６の羽根の位置を初期状態に戻しておく。
【００４９】
ステップＳ３１２で、制御部１１４は、撮影者によりＳＨＳＷ１１５の全押し状態が保持されているかどうかを判定する。全押し状態で保持されていた場合、ステップＳ３０９に戻って再度静止画の取得を行う。全押し状態が保持されていない（すなわち解除されている）と判定した場合、ステップＳ３１３へ進む。ステップＳ３１３で、第１画像処理回路１０９Ａは、第１撮像素子１０８Ａ及びＦＥ回路１２１の動作を停止する。図４の時刻Ｔｈに示すように、第１撮像素子１０８Ａは電源状態がＯＦＦとなり、不使用時の消費電力が抑制される。
【００５０】
ステップＳ３１４では、制御部１１４は、ＳＨＳＷ１１５が半押しされているかを判定する。半押しされていると判定した場合、ステップＳ３０７へ戻る。一方、半押しされていないと判定した（例えばＳＨＳＷ１１５が完全にＯＦＦされている）場合には、ステップＳ３１５へ進んで動画記録を継続する。
【００５１】
ステップＳ３１５で、制御部１１４は、動画記録釦１２２が押下されたかを判定する。動画記録釦１２２が押下された場合にはステップＳ３１６へ進んで動画の記録動作を停止する。そうでない場合、動画記録釦１２２が押下されるまで動画の記録を継続するためにステップＳ３０５へ戻る。
【００５２】
ステップＳ３１７で、第１画像処理回路１０９Ａは、第２撮像素子１０８Ｂを停止する。図４に示すように、時刻Ｔｉにおいて第２撮像素子１０８Ａの電源状態がＯＦＦとなる。ステップＳ３１８では、第１画像処理回路１０９Ａ及び第２画像処理回路１０９Ｂは、ステップＳ３１１で取得した静止画の撮像信号について現像処理などの画像処理、ＪＰＥＧ形式への符号化処理を行い、記録媒体１１３へ記録する。静止画が複数枚撮影されている場合には、その枚数分だけ記録処理を繰り返す。詳細は後述する。制御部１１４は、静止画の記録処理を完了すると、本一連の動作を終了する。
【００５３】
（動画の撮像動作）
次に、図５（ａ）及び図５（ｂ）を参照して、ステップＳ３０２で開始される動画の撮像動作の詳細について説明する。なお、本フローチャートにおいては、ステップＳ３０４後の動画記録中の動作についても併せて説明する。また、図５（ａ）及び図５（ｂ）は、それぞれ第１画像処理回路１０９Ａ及び第２画像処理回路１０９Ｂの動作を示している。
【００５４】
ステップＳ５０１で、第１データ受信部２００Ａは、第２撮像素子１０８Ｂからのデータを受信する。続いてステップＳ５０２で、第１データ分離部２０１Ａは、受信したデータを第１画像処理回路１０９Ａで処理する部分と第２画像処理回路１０９Ｂで処理する部分とに分離する。
【００５５】
図６は、本実施形態における動画像の１フレームの画像信号を模式的に示している。Ｕｐｐｅｒ６０１は１フレームの上側の一部（Ｕｐｐｅｒセンサデータ）、Ｌｏｗｅｒ６０２は１フレームの下側の一部（Ｌｏｗｅｒセンサデータ）を構成する。本実施形態では、Ｕｐｐｅｒ６０１とＬｏｗｅｒ６０２の境界部分の一部が重複するように、Ｕｐｐｅｒ６０１とＬｏｗｅｒ６０２が設定される。また、Ｕｐｐｅｒ６０１とＬｏｗｅｒ６０２のライン数が等しくなるように設定される。第１データ分離部２０１Ａは、Ｕｐｐｅｒ６０１に相当するデータを第２画像処理回路１０９Ｂにおいて処理するために分離して、データ送信部２１３Ａに転送する。また、Ｕｐｐｅｒ６０１及びＬｏｗｅｒ６０２の両方を第１画像処理回路１０９Ａ内で処理するため、画像用信号補正部２０４Ａ（及び測距用信号補正部２０３Ａ）に転送する。例えば画像のサイズが４ｋ×２ｋとなる場合、Ｕｐｐｅｒ６０１とＬｏｗｅｒ６０２とは、それぞれ略４ｋ×１ｋのサイズとなる。より詳細には、補正処理のために遮光画素（ＯＢ）データが含まれたり、画像処理のために境界部分が重複する。なお、測距用信号補正部２０３Ａに転送したデータを用いた測距処理については図７を参照して後述する。
【００５６】
ステップＳ５０３で、データ送信部２１３Ａは、Ｕｐｐｅｒセンサデータを第２画像処理回路１０９Ｂへ送信する。本実施形態の構成では、第１画像処理回路１０９Ａは、画像処理の対象としてＬｏｗｅｒ６０２のみを扱うが、測距動作において全面のデータを必要とする。このため、第１データ分離部２０１Ａは、第１画像処理回路１０９Ａ内にはＵｐｐｅｒ６０１及びＬｏｗｅｒ６０２の両方を伝達し、第２画像処理回路１０９Ｂへ送信するデータはＵｐｐｅｒ６０１のみを抽出して送信する。なお、第１データ分離部２０１Ａが分離する処理を行う時点で、Ｕｐｐｅｒ６０１を第２画像処理回路１０９Ｂ用に、Ｌｏｗｅｒ６０２を第１画像処理回路１０９Ａ用に完全に分離してしまってもよい。
【００５７】
ステップＳ５０４で、画像用信号補正部２０４Ａは、画像生成に使用する画像信号に対し、像補正を行う。像補正は、例えばダークレベルやダークシェーディングといったオフセット成分の補正や周辺光量落ちなどの光学シェーディングに対するゲイン補正、点キズの補正などを含む。補正された画像信号は一旦、ＲＡＭ１１０Ａに格納される。
【００５８】
ステップＳ５０５で、画像処理部２０６Ａは、ステップＳ５０４でＲＡＭ１１０Ａに格納された画像信号のうちＬｏｗｅｒ６０２に相当する部分を読み出す。そして、ノイズ低減処理やホワイトバランス処理、色補間処理／ガンマ処理／色変換処理といった現像処理などを行う。処理された画像信号は、例えばＹＣｒＣｂの形式で、ＲＡＭ１１０Ａに格納される。
【００５９】
ステップＳ５０６では、データ送信部２１３Ａは、ステップＳ５０５で生成された画像信号を表示部１１２へ表示させるために、第２画像処理回路１０９Ｂへ送信する。ここで、データ送信部２１３Ａは、前述したステップＳ５０３でもＵｐｐｅｒセンサデータを送信しているため、２種類のデータを送信することになる。そのため、データ送信部２１３Ａは、異なる種別のデータを多重化する機能を有し、Ｕｐｐｅｒセンサデータと表示用の画像信号（Ｌｏｗｅｒ表示データ）とに、それぞれ異なる識別用ヘッダを付加して送信する。第２画像処理回路１０９Ｂ側の第１データ分離部２０１Ｂは、識別用ヘッダを参照して、それぞれのデータの種別を識別する。
【００６０】
ステップＳ５０７では、動画記録釦１２２の操作履歴から動画記録中なのかを判別する。動画記録中でないと判定した場合、そのフレームでの処理を終了する。一方、動画記録中である場合、ステップＳ５０８に進める。ステップＳ５０８で、動画コーデック２１４Ｂは、例えばＨ．２６４等の公知の動画符号化方式に従って、入力した画像信号を圧縮符号化する。生成された符号化データ（Ｌｏｗｅｒ記録データ）はＲＡＭ１１０Ａに格納される。
【００６１】
ステップＳ５０９では、ＲＡＭ１１０Ａに格納されたＬｏｗｅｒ記録データを読み出して通信部２１１Ａを介して第２画像処理回路１０９Ｂへ転送する。その後、第１画像処理回路１０９Ａは本処理を終了する。
【００６２】
次に、第２画像処理回路１０９Ｂ側の動作について、図５（ｂ）を参照して説明する。
【００６３】
ステップＳ５２１で、第１データ受信部２００Ｂは、ステップＳ５０６においてデータ送信部２１３Ａから送信された画像信号を受信する。ステップＳ５２２で、第１データ分離部２０１Ｂは、ヘッダ情報を参照して、ＵｐｐｅｒセンサデータであるかＬｏｗｅｒ表示データであるかを判別する。ステップＳ５２３で、第１データ分離部２０１Ｂは、受信したデータにつきＬｏｗｅｒ表示データであると判定した場合、当該Ｌｏｗｅｒ表示データをＲＡＭ１１０Ｂに格納して、ステップＳ５２６に進む。一方、第１データ分離部２０１Ｂは、Ｕｐｐｅｒセンサデータであると判定した場合、後述する補正等の処理を行うためにステップＳ５２４に進む。
【００６４】
ステップＳ５２４で、画像用信号補正部２０４Ｂは、画像生成に使用するＵｐｐｅｒセンサデータに対し、像補正を行う。画像用信号補正部２０４Ｂは、補正したデータをＲＡＭ１１０Ｂに格納する。ステップＳ５２５で、画像処理部２０６Ｂは、ステップＳ５２４でＲＡＭ１１０Ｂに格納されたデータを読み出し、更にノイズ低減処理や現像処理等を行う。処理されたデータは再びＲＡＭ１１０Ｂに格納される。ステップＳ５２６では、表示制御部２１０Ｂは、ステップＳ５２３でＲＡＭ１１０Ｂに格納されたＬｏｗｅｒ表示データと、ステップＳ５２５で生成されたＵｐｐｅｒ表示データとをＲＡＭ１１０Ｂから読み出して、表示部１１２の表示を更新させる。
【００６５】
ステップＳ５２７で、動画コーデック２１４Ｂは、例えば制御部１１４からの指示に基づいて動画記録中であるかを判定し、動画記録中でないと判定した場合には、符号化等の処理を行うこと無くそのフレームでの処理（すなわち本一連の処理）を終了する。一方、動画記録中であると判定した場合には、動画のＵｐｐｅｅｒデータに対する処理を行うために、ステップＳ５２８に進む。ステップＳ５２８で、動画コーデック２１４Ｂは、Ｕｐｐｅｒデータに対して、例えばＨ．２６４等の動画符号化方式に従う圧縮符号化を行う。生成された符号化データ（Ｕｐｐｅｒ記録データ）は、ＲＡＭ１１０Ｂに格納される。
【００６６】
ステップＳ５２９で、通信部２１１Ｂは、ステップＳ５０９で第１画像処理回路１０９Ａ側から転送されるＬｏｗｅｒ記録データを受信し、受信したデータをＲＡＭ１１０Ｂに格納する。なお、説明の都合上、受信する処理をステップＳ５２９に記載しているが、実際にはステップＳ５０９で通信が発生した時点で処理され、次のフレームのＳ５２１〜Ｓ５２８のステップと並行して行われ得る。
【００６７】
ステップＳ５３０では、例えば動画コーデック２１４Ｂは、ステップＳ５２８及びＳ５２９でＲＡＭ１１０Ｂに格納されたＵｐｐｅｒ記録データとＬｏｗｅｒ記録データとを読み出して、記録媒体１１３に書き込む。第２画像処理回路１０９Ｂは、本ステップの処理が完了すると処理対象である現フレームの処理を完了し、本一連の動作を終了する。なお、更に次フレーム以降も上述したステップＳ５０１〜Ｓ５３０を繰り返すことで動画撮影が実行される。
【００６８】
（測距動作）
次に、図７を参照して、図３のステップＳ３０６で行われる測距動作の詳細な動作について説明する。図７は、測距動作における第１画像処理回路１０９Ａの処理内容を示している。なお、図５（ａ）及び図５（ｂ）において説明した動作と重複するステップについては、同一の参照番号を付して説明を省略する。
【００６９】
まず、第１画像処理回路１０９Ａは、第２撮像素子１０８Ｂからデータを受信して動画データを分離する。この動作は、図５（ａ）において上述したステップＳ５０１、ステップＳ５０２と共通である。撮像信号は、（画像用信号補正部２０４Ａへ入力されると共に）測距用信号補正部２０３Ａに入力される。
【００７０】
ステップＳ７０１で、測距用信号補正部２０３Ａは、測距演算に使用する信号を抽出し、瞳分割された像に対してそれぞれの光学シェーディングやダークシェーディングなどの補正を行う。ステップＳ７０２で、測距演算部２０５Ａは、例えばＬＰＦやＢＰＦなどの所定のフィルタを入力画像に適用するフィルタ処理を行う。ステップＳ７０３で、測距演算部２０５Ａは、フィルタ処理後の像信号に基づいて相関演算を行い、更にステップＳ７０４で、相関演算によって算出した像波形のずれから焦点のずれ量（デフォーカス量）を算出する。更に、ステップＳ７０５で、算出したデフォーカス量をレンズの駆動量としてレンズＣＰＵ１１７へ通信する。これにより、自動焦点調節が実現される。
【００７１】
（静止画記録処理に係る動作）
更に、図８（ａ）及び図８（ｂ）を参照して、図３のステップＳ３１８に記載した静止画記録処理の詳細について説明する。図８（ａ）及び図８（ｂ）は、それぞれ第１画像処理回路１０９Ａ及び第２画像処理回路１０９Ｂの処理に対応する。
【００７２】
ステップＳ８０１で、第２画像処理回路１０９Ｂは、第１画像処理回路１０９Ａに対して、ステップＳ３１１で取得している静止画の画像信号を要求する。なお、上述したように、第１撮像素子１０８Ａから出力された静止画の画像信号はＦＥ回路１２１によって分離され、第１画像処理回路１０９Ａと第２画像処理回路１０９Ｂとに入力される。
【００７３】
より具体的に、撮像された画像信号と分割後の画像信号とは、模式的に示すと図９に示すようになる。９０１と９０２とは、第１撮像素子１０８ＡからＦＥ回路１２１へ入力される静止画の画像信号の奇数行（ＯＤＤ）と偶数行（ＥＶＥＮ）をそれぞれ示す。ＦＥ回路１２１は、１フレームの画像信号を分割して、奇数行９０１のＯＤＤデータを第１画像処理回路１０９Ａへ、偶数行９０２のＥＶＥＮデータを第２画像処理回路１０９Ｂへ転送する。ステップＳ３１１の時点では、これらの静止画の画像信号は上述の通り、ＲＡＭ１１０Ａ及びＲＡＭ１１０Ｂにそれぞれ格納された状態となっている。
【００７４】
再び図８を参照して、ステップＳ８２１において第１画像処理回路１０９Ａは、第２画像処理回路１０９Ｂからの要求に基いて、まず１枚目の静止画のＯＤＤデータをＲＡＭ１１０Ａから読み出す。続いて、ステップＳ８２２で、データ送信部２１３Ａは、読み出されたＯＤＤデータを第２画像処理回路１０９Ｂへ送信する。
【００７５】
ステップＳ８０２で、第２画像処理回路１０９Ｂの第１データ受信部２００Ｂは、ＯＤＤデータを受信する。受信されたデータはステップＳ８０３においてＲＡＭ１１０Ｂに一旦格納される。ステップＳ８０４で、画像用信号補正部２０４Ｂは、ステップＳ８０３で格納された（１枚目の）ＯＤＤデータと、既に格納されている（１枚目の）ＥＶＥＮデータとをＲＡＭ１１０Ｂから読み出す。
【００７６】
ステップＳ８０５で、画像用信号補正部２０４Ｂは、読み出したＯＤＤデータ及びＥＶＥＮデータ（すなわち１枚目の静止画データ）に対して信号補正処理を行う。続いてステップＳ８０６で、画像処理部２０６Ｂは、ノイズ低減処理や現像処理といった所定の画像処理を行う。
【００７７】
ステップＳ８０７で、静止画コーデック２１２Ｂは、例えばＪＰＥＧ等の所定の符号化方式に従って、画像処理のなされた静止画データを圧縮符号化する。ステップＳ８０８で、第２画像処理回路１０９Ｂは、符号化された静止画データを出力して記録媒体１１３に書き込む。ステップＳ８０９で、第２画像処理回路１０９Ｂは、まだ未処理の静止画データが残っていないかを判定する。未処理の静止画データが残っている場合、撮像した枚数分の静止画に対して同様の処理を繰り返し、全ての静止画の記録を完了すると本処理を終了する。
【００７８】
このように、第１撮像素子１０８Ａから出力される信号を分割して第１画像処理回路１０９Ａと第２画像処理回路１０９Ｂに転送するため、各画像処理回路の第２データ受信部２０２Ａ、２０２Ｂの処理能力が静止画データ量の半分で済むことになる。
【００７９】
なお、本実施形態では、静止画のＯＤＤデータの転送をデータ送信部２１３Ａによって行う構成を例に説明したが、他の通信部２１１Ａから通信部２１１Ｂを介して転送するようにしてもよい。
【００８０】
また、本実施形態では、動画の記録中に静止画撮影を行った場合、静止画のＯＤＤデータをＲＡＭ１１０Ａに保持しておき、動画の記録を終了した後に静止画のＯＤＤデータの転送を開始する例を説明した。このようにすれば、動画記録中に生じる画像処理回路間の通信路の負荷や、画像処理回路における画像処理を実行する負荷が、静止画データのために更に増大することを防止することができる。
【００８１】
一方、この例では、静止画撮影枚数が一定量に達し、ＲＡＭ１１０Ａ及び１１０Ｂの空き領域を使い切ってしまった場合には、それ以上の静止画撮影ができなくなる場合も考えられる。このような場合に対処するため、通信路に余裕がある場合には、動画記録中の段階から静止画のＯＤＤデータの転送を開始するようにしてもよい。この場合、動画記録処理において画像用信号補正部２０４Ｂや画像処理部２０６Ｂにわずかでも余裕があれば、静止画データの処理を進めることができる。このようにすれば、動画記録中に撮影可能な静止画の枚数を増やすことが可能になる。
【００８２】
以上説明したように本実施形態では、第２撮像素子で取得された動画の画像信号を２つの画像処理回路で処理する際に更に静止画を画像処理回路に入力する場合、静止画の画像信号の一部ずつを画像処理回路に分配させるようにした。これにより、画像処理回路において静止画の画像信号を受信する負荷を低減することができる。また、第１画像処理回路１０９Ａは、動画記録中には静止画の画像信号をＲＡＭ１１０Ａに保持しておき、動画の記録を終了した後に静止画の画像信号を読み出して転送するようにした。これにより、動画記録中に生じる画像処理回路間の通信路の負荷や、画像処理回路における画像処理を実行する負荷を低減することができる。このように、多画素且つ高速フレームレートの動画撮影と静止画撮影とを異なる撮像素子で実現する構成であっても、画像処理回路のようなシステムリソースを効率的に活用しながら、動画記録を中断することなく並行して静止画撮影を行うことができる。従って、システムリソースの増大を抑制しつつ、多画素且つ高速フレームレートの動画撮影と静止画撮影との同時撮影を実現することができる。
【００８３】
（実施形態２）
上述の実施形態１では、動画の処理量が大きく、動画の画像処理を行うために複数の画像処理回路を併用する必要がある場合を例に説明した。実施形態２では、実施形態１と同様の構成において、動画を記録すること無く、表示部１１２に比較的少ない画素数で表示のみを行うＬｉｖｅ  Ｖｉｅｗ（以下ＬＶと称する）撮影と、静止画撮影とを並行して行う場合について説明する。なお、実施形態１と同様の構成やステップについては、実施形態１の説明を適宜参照して重複する説明は省略する。
【００８４】
（ＬＶ撮影時の動作）
図１０を参照して、ＬＶ撮影及び静止画撮影を行う際の撮像動作について説明する。まず、ステップＳ１００１で、ステップＳ３０１と同様に、第１画像処理回路１０９Ａは、第２撮像素子１０８Ｂを起動する。
【００８５】
ステップＳ１００２で、制御部１１４は、ＬＶの撮像動作を開始する。詳細は後述する。但し、実施形態１とは異なり、ＬＶモードでは画素加算などにより第２撮像素子１０８Ｂから読み出される画素数は圧縮されて小さくなっている。
【００８６】
ステップＳ１００３〜Ｓ１００４で、ＳＨＳＷ１１５の半押しが判定され、ＳＨＳＷ１１５が半押しされると、ステップＳ１００４で測距動作が行われる。この処理は、ステップＳ３０５及びＳ３０６と同様である。なお、ステップＳ１００３において、ＳＨＳＷ１１５が半押しされていないと判定された場合、処理はＳ１０１２に進む。
【００８７】
ステップＳ１００５〜１００８では、ＳＨＳＷ１１５が全押しされた場合に、静止画撮影の動作が行われる。これらの処理は、ステップＳ３０７〜Ｓ３１０までの動作と同様である。なお、ステップＳ１００５において、ＳＨＳＷ１１５が全押しされていない場合は、ステップＳ１０１２に進む。
【００８８】
ステップＳ１００９で、第１撮像素子１０８Ａからの静止画像の読み出しから静止画の画像処理／記録までの一連の処理が行われる。詳細は後述する。なお、この静止画撮影処理と並行して、第１画像処理回路１０９Ａはシャッター駆動回路１１６を制御して、メカニカルシャッター１０６の羽根の位置を次の撮影のために初期状態に戻しておく。
【００８９】
ステップＳ１０１０で、制御部１１４は、撮影者によりＳＨＳＷ１１５の全押し状態が保持されているかどうかを判定する。全押し状態で保持されていると判定した場合、ステップＳ１００７に戻って再度静止画撮影を行う。全押し状態が解除されていると判定した場合、ステップＳ１０１１へ進む。ステップＳ１０１１で、第１画像処理回路１０９Ａは、第１撮像素子１０８Ａ及びＦＥ回路１２１の動作を停止する。
【００９０】
ステップＳ１０１２で、制御部１１４は、ＬＶ撮影を継続するか否かを判定する。例えば電源スイッチ１２０がＯＦＦされたなどの要因によりＬＶ撮影を停止する場合、本処理の一連の動作を終了する。ＬＶ撮影を継続してよい場合には、ステップＳ１００３へ戻って処理を繰り返す。
【００９１】
（ＬＶ動画撮像の動作）
次に、図１１（ａ）及び図１１（ｂ）を参照して、ステップＳ１１０２で開始されるＬＶ撮像の詳細な動作について説明する。なお、本フローチャートにおいては、ステップＳ１１０２のＬＶ撮像を開始した後の動作についても併せて説明する。また、図１１（ａ）及び図１１（ｂ）は、それぞれ第１画像処理回路１０９Ａ及び第２画像処理回路１０９Ｂの動作を示している。
【００９２】
ステップＳ１１０１で、第１データ受信部２００Ａは、第２撮像素子１０８Ｂからのデータを受信する。このとき、ＬＶモードでは画素加算などにより第２撮像素子１０８Ｂから読み出される画素数は圧縮されて小さくなっている。このため、第１データ受信部２００Ａは、受信したデータを第１画像処理回路１０９Ａで処理する部分と第２画像処理回路１０９Ｂで処理する部分とに分離しない。
【００９３】
ステップ１１０２で、第１画像処理回路１０９Ａは、入力された画像データ（すなわちＬＶ用の画像データ）に対し、像補正を行う。像補正は、例えばダークレベルやダークシェーディングといったオフセット成分の補正や周辺光量落ちなどの光学シェーディングに対するゲイン補正、点キズの補正などを含む。補正されたデータは一旦、ＲＡＭ１１０Ａに格納される。
【００９４】
ステップＳ１１０３で、画像処理部２０６Ａは、ステップＳ１１０２でＲＡＭ１１０Ａに格納されたデータを読み出して、ノイズ低減処理やホワイトバランス処理、色補間処理／ガンマ処理／色変換処理といった現像処理などを行う。処理されたデータは、例えばＹＣｒＣｂの形式で、再びＲＡＭ１１０Ａに格納される。
【００９５】
ステップＳ１１０４では、データ送信部２１３Ａは、ステップＳ１１０３で生成されたデータを表示部１１２へ表示させるために、第２画像処理回路１０９Ｂへ送信する。なお、データ送信部２１３Ａは、ＬＶ撮像における表示用データを、実施形態１のＵｐｐｅｒセンサデータやＬｏｗｅｒ表示データと区別可能なように、上述の識別用ヘッダを用いて区別してもよい。
【００９６】
ステップＳ１１２０で、第１データ受信部２００Ｂは、ステップＳ１１０４においてデータ送信部２１３Ａから送信された表示用データを受信する。第１データ受信部２００Ｂは、受信した表示用データをＲＡＭ１１０Ｂに格納する。ステップＳ１１２１で、表示制御部２１０Ｂは、ステップＳ１１２０でＲＡＭ１１０Ｂに格納された表示用データを読み出して、表示部１１２の表示を更新させる。表示部１１２の表示が更新されると本処理の一連の動作を終了する。
【００９７】
（静止画撮影処理に係る動作）
更に、図１２（ａ）及び図１２（ｂ）を参照して、図１０のステップＳ１００９における静止画撮影処理の詳細について説明する。図１２（ａ）及び図１２（ｂ）は、それぞれ第１画像処理回路１０９Ａ及び第２画像処理回路１０９Ｂの処理に対応する。
【００９８】
第１画像処理回路１０９Ａ側の処理において、ステップＳ１２０１で、第２データ受信部２０２Ａは、静止画撮影によって得られる第１撮像素子１０８Ａのデータを受信する。ここで受信されるデータはＦＥ回路１２１によって振り分けられたＯＤＤデータである。なお、図８で説明した処理と異なり、静止画撮影処理の開始時点でＲＡＭ１１０Ａにデータが格納されていないためである。次に、ステップＳ１２０２で、データ送信部２１３Ａは、ＲＡＭ１１０ＡにＯＤＤデータを格納することなく、第２画像処理回路１０９Ｂへ送信する。
【００９９】
第２画像処理回路１０９Ｂ側の処理において、ステップＳ１２２１で、第２データ受信部２０２Ｂは、ＦＥ回路１２１を経由して送られてくるＥＶＥＮデータを受信する。これは、図８で説明した処理と異なり、静止画撮影処理の開始時点でＲＡＭ１１０Ｂにデータが格納されていないためである。次にステップＳ１２２２において、受信されたＥＶＥＮデータはＲＡＭ１１０Ｂに格納される。
【０１００】
ステップＳ１２２３で、第１データ受信部２００Ｂは、ステップＳ１２０２において第１画像処理回路１０９Ａから送信されるＯＤＤデータを受信する。ステップＳ１２２４で、受信されたＯＤＤデータは、既に格納されているＥＶＥＮデータとともにまとめてＲＡＭ１１０Ｂに格納される。ステップＳ１２２５以降では格納したＯＤＤ／ＥＶＥＮデータを読み出して、補正処理／画像処理／圧縮符号化／記録媒体への書き込みが行われる。なお、ステップＳ１２２５〜Ｓ１２２９に記載したこれらの処理は、実施形態１で説明したステップＳ８０５〜Ｓ８０８と同様であるため、ここでの説明は省略する。ステップＳ１２２９において記録データの書き込み処理が完了すると、本一連の動作は終了する。
【０１０１】
以上説明したように本実施形態では、動画記録を行わずにＬＶの表示のみを行う撮影モードにおいて、ＬＶ撮像動作を中断することなく、静止画撮影を行うことが可能となる。また、動画記録中でない場合には、静止画の画像信号をＲＡＭに蓄積しないようにすることで、一連の処理の間に静止画の撮影枚数に制限が発生する事態を解消することができる。
【０１０２】
（その他の実施形態）
上述の実施形態では、静止画データの信号補正や画像処理は、第２画像処理回路１０９Ｂのみで処理するように記載したが、第１画像処理回路１０９Ａの画像用信号補正部２０４Ａや画像処理部２０６Ａを使用する方法も考えられる。このようにすることで、溜められた静止画の画像信号に対して、全ての現像処理が完了するまでの時間を短縮することができる。この場合、第２画像処理回路１０９ＢのＥＶＥＮデータを第１画像処理回路１０９Ａに送信する必要が生じるが、通信部２１１Ｂを用いて送信するようにすればよい。
【０１０３】
また、上述した静止画の画像信号を（第１画像処理回路１０９Ａ及び第２画像処理回路１０９Ｂに）分配する方法は、図９で説明した例（すなわち奇数行と偶数行で分割する）以外の、他の方法を用いてもよい。
【０１０４】
例えば、図１３（ａ）〜図１３（ｄ）は、静止画データを分配する他の方法を模式的に示している。図１３（ａ）は、ＦＥ回路１２１が、複数行ごとに（例えば１、２行目を第１画像処理回路１０９Ａへ、３、４行目を第２画像処理回路１０９Ｂへ）静止画データを分配する方法を示している。ベイヤ配列の撮像素子ならば、Ｒ／Ｇ／Ｇ／Ｂのベイヤセット毎に第１画像処理回路１０９Ａと第２画像処理回路１０９Ｂに振り分けることができる。特に１行目のＲ／Ｇ行と３行目のＲ／Ｇラインを同時に出力するような撮像素子である場合には、ＦＥ回路１２１にメモリを持たずに分配可能なため都合がよい。
【０１０５】
図１３（ｂ）は、ＦＥ回路１２１が、図９に示した例のように静止画データを行毎に分配するのでなく、列毎に分配する方法を示している。また、図１３（ｃ）は、ＦＥ回路１２１が、静止画データの左半面、右半面で分割して転送する方法を示している。更に、図１３（ｄ）は、ＦＥ回路１２１が、静止画データの上半分、下半分で分配する方法を示している。このような方法では、撮像素子が画面上と下からそれぞれ１行ずつ（あるいは２行ずつ）読み出していくような構成である場合に、ＦＥ回路１２１にメモリが不要となり都合がよい。なお、これらに限らず、他の方法を用いてもよい。
【０１０６】
更に、上述の実施形態では、第１撮像素子１０８Ａの信号はＦＥ回路１２１によって第１画像処理回路１０９Ａ及び第２画像処理回路１０９Ｂに分配して入力される構成を例に説明した。しかし、ＦＥ回路１２１の機能を第１撮像素子１０８Ａの中に取り込んで撮像素子で分配して入力することにより、第１撮像素子１０８Ａと第１画像処理回路１０９Ａ及び第２画像処理回路１０９Ｂを直接接続する構成としても勿論構わない。
【０１０７】
或いは、（第１データ受信部２００Ａ、第１データ受信部２００Ｂには高い処理能力が必要になるが）ＦＥ回路１２１は、静止画データを分離せずに画像ごとに第１画像処理回路１０９Ａあるいは第２画像処理回路１０９Ｂに転送する構成としてもよい。ＦＥ回路１２１は、静止画データをフレーム毎に、例えば奇数フレームを第１画像処理回路１０９Ａ、偶数フレームを第２画像処理回路１０９Ｂに転送してもよい。或いは、ＦＥ回路１２１は、入力される全ての静止画データを第１画像処理回路１０９Ａへ転送し、その一部を第１画像処理回路１０９Ａから第２画像処理回路１０９Ｂへ転送するという構成としてもよい。転送手段としては、データ送信部２１３Ａや通信部２１１Ａを使用すればよい。
【０１０８】
また、画像処理回路を２つ用いる構成を例に説明したがこれに限られるものではない。３つ以上の画像処理回路を使用する構成に適用することも可能である。ＦＥ回路１２１が画像処理回路の数だけデータを分割してもよいし、例えば、Ｕｐｐｅｒデータ及びＬｏｗｅｒデータのそれぞれを更に複数の画像処理回路で処理を分担するようにしてもよい。
【０１０９】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１１０】
１０８Ａ…第１撮像素子、１０８Ｂ…第２撮像素子、１０９Ａ…第１画像処理回路、１０９Ｂ…第２画像処理回路、１２１…ＦＥ回路、１１４…制御部、１１２…表示部
【図１】
2018170608.tif 000003
【図２】
2018170608.tif 000004
【図３】
2018170608.tif 000005
【図４】
2018170608.tif 000006
【図５】
2018170608.tif 000007
【図６】
2018170608.tif 000008
【図７】
2018170608.tif 000009
【図８】
2018170608.tif 000010
【図９】
2018170608.tif 000011
【図１０】
2018170608.tif 000012
【図１１】
2018170608.tif 000013
【図１２】
2018170608.tif 000014
【図１３】
2018170608.tif 000015