(57)【要約】【課題】  複数の画像処理回路に跨った処理をより効率的に実行する。【解決手段】  撮像装置は、撮像部と、第１画像処理回路および第２画像処理回路と、第１画像処理回路に接続された第１メモリと、第２画像処理回路に接続された第２メモリと、第１画像処理回路および第２画像処理回路を接続するバスとを備える。第１画像処理回路および第２画像処理回路はそれぞれアドレス空間を有し、各々のアドレス空間にはいずれも第１メモリおよび第２メモリがマップされている。【選択図】  図１
2013211715.tif 000002
【特許請求の範囲】
【請求項１】
被写体の像を撮像した画像のデータを出力する撮像部と、
前記画像のデータに画像処理を施す第１画像処理回路と、
前記第１画像処理回路に接続された第１メモリと、
前記画像のデータに画像処理を施す第２画像処理回路と、
前記第２画像処理回路に接続された第２メモリと、
前記第１画像処理回路および前記第２画像処理回路を接続するバスと、を備え、
前記第１画像処理回路および前記第２画像処理回路はそれぞれアドレス空間を有し、各々の前記アドレス空間にはいずれも前記第１メモリおよび前記第２メモリがマップされている撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記第１画像処理回路は、前記第１メモリに記憶された前記画像を表示装置に表示出力する撮像装置。
【請求項３】
請求項１または請求項２に記載の撮像装置において、
前記撮像部は、動画像のデータを出力し、
前記第１画像処理回路は、前記動画像のデータを圧縮して得た動画像ファイルを不揮発性記録媒体に記録する記録処理を実行し、
前記第２メモリは、前記圧縮のときにフレーム間予測符号化で用いる参照フレームを記憶し、前記第２メモリから前記参照フレームの読み出しを実行する撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
前記第２画像処理回路は、前記圧縮における動画像の符号化処理を実行する撮像装置。
【請求項５】
請求項３または請求項４に記載の撮像装置において、
前記圧縮の対象となるカレントフレームは、前記第２メモリに記憶される撮像装置。
【請求項６】
請求項３または請求項４に記載の撮像装置において、
前記圧縮の対象となるカレントフレームは、前記第１メモリに記憶される撮像装置。
【請求項７】
請求項３から請求項６のいずれか１項に記載の撮像装置において、
前記動画像の撮像時に音声データを取得する音声信号処理部をさらに備え、
前記第２画像処理回路は、前記動画像に前記音声データを対応付ける撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の撮像装置では、イメージセンサの高画素化に伴い、画像処理回路の処理能力が不足する傾向にある。そのため、複数の画像処理回路を用いて並列処理により高速な画像処理を実現する撮像装置も提案されている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２１９３１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の撮像装置では、複数の画像処理回路に跨って画像データの処理を行う場合、画像処理回路間で画像データを受け渡すたびにメモリへの画像データの書き込みが発生する。
【０００５】
また、従来の撮像装置では、複数の画像処理回路に跨って画像データの処理を行う場合、転送元の画像処理回路のメモリに記録されている処理対象の画像データを、転送先の画像処理回路のメモリにコピー（または移動）させてから処理を実行していた。そのため、従来の撮像装置では、処理を開始するまでの時間が長くなってしまう（Ｌａｔｅｎｃｙが大きくなる）。
【課題を解決するための手段】
【０００６】
一の態様の撮像装置は、被写体の像を撮像した画像のデータを出力する撮像部と、それぞれ画像のデータに画像処理を施す第１画像処理回路および第２画像処理回路と、第１画像処理回路に接続された第１メモリと、第２画像処理回路に接続された第２メモリと、第１画像処理回路および第２画像処理回路を接続するバスと、を備える。第１画像処理回路および第２画像処理回路はそれぞれアドレス空間を有し、各々のアドレス空間にはいずれも第１メモリおよび第２メモリがマップされている。
【０００７】
上記の一の態様において、第１画像処理回路は、第１メモリに記憶された画像を表示装置に表示出力してもよい。
【０００８】
上記の一の態様において、撮像部は、動画像のデータを出力してもよい。また、第１画像処理回路は、動画像のデータを圧縮して得た動画像ファイルを不揮発性記録媒体に記録する記録処理を実行してもよい。また、第２メモリは、圧縮のときにフレーム間予測符号化で用いる参照フレームを記憶し、第２メモリから参照フレームの読み出しを実行してもよい。また、上記の第２画像処理回路は、圧縮における動画像の符号化処理を実行してもよい。
【０００９】
また、圧縮の対象となるカレントフレームは、第２メモリに記憶されていてもよい。あるいは、圧縮の対象となるカレントフレームは、第１メモリに記憶されていてもよい。
【００１０】
また、撮像装置は、動画像の撮像時に音声データを取得する音声信号処理部をさらに備えていてもよい。そして、第２画像処理回路は、動画像に音声データを対応付けてもよい。
【発明の効果】
【００１１】
各々の画像処理回路は、別の画像処理回路と接続されたメモリ上の画像のデータに直接アクセスすることができ、複数の画像処理回路に跨った処理を効率的に実行することができる。
【図面の簡単な説明】
【００１２】
【図１】一の実施形態での撮像装置の構成例を示す図
【図２】第１画像処理回路および第２画像処理回路の構成例を示すブロック図
【図３】メモリマップの一例を模式的に示す図
【図４】静止画撮影モードで連写撮影を行うときのフレームの分配例を示す図
【図５】スレーブ側のＪＰＥＧ画像ファイルを記録媒体に記録する場合の概要図
【図６】スレーブ側のフリーズ画を表示部に表示させる場合の概略図
【図７】動画撮影モードにおける電子カメラの動作例１の概略図
【図８】動画撮影モードにおける電子カメラの動作例２の概略図
【図９】動画撮影モードにおける電子カメラの動作例３の概略図
【図１０】動画撮影モードにおける電子カメラの動作例４の概略図
【図１１】動画撮影モードにおける電子カメラの動作例５の概略図
【図１２】動画撮影モードにおける電子カメラの動作例６の概略図
【発明を実施するための形態】
【００１３】
＜撮像装置の構成例の説明＞
図１は、一の実施形態での撮像装置の構成例を示す図である。本実施形態では撮像装置の一例として、静止画撮影モードおよび動画撮影モードを選択可能な電子カメラの例を説明する。
【００１４】
電子カメラは、撮影光学系１１と、撮像部１２と、データ分配器１３と、第１画像処理回路１４および第２画像処理回路１５と、シリアルバス１６と、第１メモリ１７および第２メモリ１８と、第１フラッシュメモリ１９および第２フラッシュメモリ２０と、表示部２１と、外部Ｉ／Ｆコネクタ２２と、メディアコネクタ２３と、レリーズ釦２４および操作釦２５と、音声信号処理部２７とを有している。なお、撮像部１２と音声信号処理部２７は、データ分配器１３に接続されている。
【００１５】
撮影光学系１１は、例えばズームレンズやフォーカスレンズを含む複数のレンズで構成されている。簡単のため、図１では撮影光学系１１を１枚のレンズで図示する。
【００１６】
撮像部１２は、撮像素子３１と、アナログフロントエンド（ＡＦＥ）部３２と、不図示のタイミングジェネレータ（ＴＧ）部とを有している。撮像素子３１は、撮影光学系１１を通過した光束による被写体の像を撮像するデバイスである。この撮像素子３１の画像信号出力はＡＦＥ部３２に接続されている。本実施形態の撮像素子３１は、順次走査方式（またはインターレース方式）で画像信号を読み出す固体撮像素子（例えばＣＣＤ）であってもよく、ＸＹアドレス方式で画像信号を読み出す固体撮像素子（例えばＣＭＯＳ）であってもよい。
【００１７】
また、撮像素子３１の受光面には、複数の受光素子がマトリクス状に配列されている。そして、撮像素子３１の各受光素子にはカラーフィルタが配置されている。例えば、本実施形態では赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタが公知のＢａｙｅｒ配列にしたがって各受光素子に配置される。そのため、撮像素子３１の受光素子は、カラーフィルタでの色分解によって各色に対応する画像信号を出力する。これにより、撮像素子３１は、撮影時にカラーの画像を取得できる。
【００１８】
ここで、撮像素子３１の基本動作は、各画素に電荷を蓄積する電荷蓄積動作と、蓄積した電荷を画素から移動させる電荷読み出し動作の２つに大別される。また、各画素に蓄積される電荷には、意図せぬ受光や暗電流により生成された不要電荷（ノイズ）と、被写体像の光束から生成された信号電荷との２種類がある。信号電荷に不要電荷を混入させないためには、撮像素子３１による撮像時において、不要電荷を排出した後に被写体像の光束を受光する状態で撮像素子３１を電荷蓄積動作に移行させればよい。これにより、各画素に信号電荷のみを蓄積していくことができる。このため、撮像素子３１の撮像は、「不要電荷の排出→信号電荷の蓄積（露光動作とも称する）→信号電荷の読み出し（画像信号の出力）」というシーケンスで行われる。このうち、信号電荷の蓄積期間がいわゆる露光時間（シャッター秒時）となる。また、上述した撮像素子３１の撮像は、不図示のＴＧ部からの制御によって行われる。
【００１９】
また、撮像部１２全体としての撮像動作には、撮像素子３１が露光動作と信号電荷の読み出し動作の２つを単発で行う第１モード（one-shotモードとも称する）と、撮像素子３１が上述した２つの動作を所定の時間周期（フレーム周期）で自動的に繰り返し行う第２モード（連続モードとも称する）とがある。この第１モードと第２モードの切り替えは、一般に不図示のＳＩＯ（シリアルＩ／Ｏ）を介してＴＧ部のレジスタを書き換えることにより行われる。
【００２０】
上述の第１モードは、電子カメラで静止画の撮影を行う場合に利用される。第１モードの場合、露光動作と信号電荷の読み出し動作が一般に外部からＴＧ部をそれぞれ操作することによって行われるため、それらの操作を行うタイミングによって露光時間を含む撮像動作のタイミングが決定される。このことは、静止画の撮影がユーザの操作によって非同期に起こることに対応している。なお、ＴＧ部に対する操作としては、上述したシリアル通信の他、後述するＧＰＩＯ部４９を利用した外部信号による操作も含まれる。また、第１モードで出力される画像信号は、一般に撮像素子３１のフル解像度のものである。電子カメラによる静止画の撮影では、この画像信号から生成した画像を記録している。
【００２１】
一方、上述の第２モードでは、予めＴＧ部のレジスタに設定されたパラメータによって撮像素子３１の撮像が行われる。第２モードでは、露光時間を含めた露光のタイミングや画像信号の出力タイミングもその設定に応じて固定され、また露光時間は上述したフレーム周期以下に限定されるという制約がある。その代わりに、第２モードでは、一定の周期で連続かつ自動的に画像信号が出力されるため、電子カメラの動画撮影や静止画撮影前のライブビュー（ＬｉｖｅＶｉｅｗ）に適している。第２モードの場合、出力される画像信号の解像度とフレーム周期の組み合わせが一般に複数あって、かかる組み合わせの変更はＴＧ部のレジスタを書き換えることで行われる。
【００２２】
第２モードでの画像信号の解像度は、利用目的に応じて選択される。例えば、ＶＧＡ（６４０×４８０画素）サイズのＬＣＤパネルでライブビューを行う場合、ＶＧＡサイズよりも若干大きい解像度の画像信号が撮像部１２から出力されるように設定する。この場合、必要以上に大きな画像信号を撮像部１２から出力させないことで、電子カメラのライブビュー時の消費電力を抑制できる。一方、フルＨＤ（１９２０×１０８０画素）サイズの動画を撮影する場合、フルＨＤサイズより若干大きい解像度の画像信号が撮像部１２から出力されるように設定する。
【００２３】
また、第２モードでのフレーム周期も、利用目的に応じて選択される。例えば、６０ｆｐｓの動画を撮影する場合、６０ｆｐｓで撮像部１２から画像信号が出力されるように設定する。３０ｆｐｓの動画を撮影する場合、３０ｆｐｓで撮像部１２から画像信号が出力されるように設定する。例えば、ＡＦによるピント合わせを高速に行おうとする場合、３０ｆｐｓよりも６０ｆｐｓで画像信号を出力する方が有利である。
【００２４】
電子カメラの静止画撮影モードでは、電子カメラの動作が「ライブビュー→静止画撮影→ライブビュー」と変化する。これに対応して、撮像部１２の撮像動作を「第２モード→第１モード→第２モード」のように切り替える必要がある。単写撮影の場合、撮像部１２の撮像動作は、第１モードの撮像動作が１フレーム分だけ行われた後に、第２モードの撮像動作に戻る。連写撮影の場合、撮像部１２の撮像動作は、第１モードの撮像動作が連写のフレーム数だけ続けて行われた後に、第２モードの撮像動作に戻る。
【００２５】
一方、電子カメラの動画撮影モードでは、上述したような撮像部１２の撮像動作の切り替えはなく、撮像部１２はその動画の仕様に合った解像度とフレーム周期の組み合わせで第２モードの撮像動作を継続する。
【００２６】
図１に戻って、ＡＦＥ部３２は、撮像素子３１から出力される画像信号にアナログ信号処理を施す回路である。このＡＦＥ部３２は、相関二重サンプリングや、画像信号のゲインの調整や、画像信号のＡ／Ｄ変換を行う。ＡＦＥ部３２による信号処理後のデジタル画像データは、データ分配器１３を介して第１画像処理回路１４または第２画像処理回路１５に送られる。なお、ＡＦＥ部３２から出力される画像データは、色補間前のＢａｙｅｒ配列構造のＲＧＢ画像データ（以下、Ｂａｙｅｒデータと称する）である。また、撮像素子３１がＣＭＯＳであるときには、撮像素子３１にＡＦＥ部３２やＴＧ部（不図示）が内蔵されていてもよい。
【００２７】
データ分配器１３は、１入力２出力のセレクタであって、その２つの出力は第１画像処理回路１４と第２画像処理回路１５にそれぞれ接続されている。データ分配器１３は、ＡＦＥ部３２から出力される画像データを第１画像処理回路１４と第２画像処理回路１５に出力する。また、データ分配器１３は、音声信号処理部２７から出力される音声データを第１画像処理回路１４と第２画像処理回路１５に出力する。
【００２８】
第１画像処理回路１４および第２画像処理回路１５は、画像データに所定の画像処理を施すための画像処理用プロセッサであり、それぞれ１つのＬＳＩで構成されることが多い。図２に示すように、本実施形態の第１画像処理回路１４と第２画像処理回路１５は同じ回路構成であって、データ分配器１３に対して並列に接続されている。
【００２９】
また、第１画像処理回路１４と第２画像処理回路１５は、外部のシリアルバス１６によって相互に接続されている。第１画像処理回路１４には、第１メモリ１７、第１フラッシュメモリ１９、表示部２１、外部Ｉ／Ｆコネクタ２２、メディアコネクタ２３、レリーズ釦２４および操作釦２５がそれぞれ接続されている。第２画像処理回路１５には、第２メモリ１８、第２フラッシュメモリ２０がそれぞれ接続されている。なお、本実施形態のシリアルバス１６は、第１画像処理回路１４から第２画像処理回路１５へデータを送信するバスと、第２画像処理回路１５から第１画像処理回路１４へデータを送信するバスとの２つからなる双方向性のバスである。
【００３０】
第１画像処理回路１４はマスタの画像処理回路として動作し、撮影モードにおいて常時動作状態にある。一方、第２画像処理回路１５はスレーブの画像処理回路として動作する。電子カメラの画像処理の負荷が比較的低いとき（例えば、静止画撮影モードで単写撮影を行う場合や、再生モードの場合）には、第２画像処理回路１５は電源オフの状態または低消費電力の状態となって動作を停止している。そして、電子カメラの画像処理の負荷が比較的高いとき（例えば、静止画撮影モードで連写を行う場合や動画撮影モードの場合）には、第２画像処理回路１５が動作状態となって、第１画像処理回路１４と第２画像処理回路１５によって並列に撮影の処理が行われる。なお、第２画像処理回路１５のオン／オフの制御は、第１画像処理回路１４によって行われる。
【００３１】
第１メモリ１７および第２メモリ１８は、大容量の揮発性メモリであって、通常はＤＲＡＭが使用される。これらのメモリは画像データ（一般に複数フレーム）を一時的に記憶する他、プログラム中で使用される変数を記憶したり、プログラムを実行する際のスタックとして使用される。第１フラッシュメモリ１９および第２フラッシュメモリ２０は、不揮発性のメモリであって、後述するリアルタイムオペレーティングシステム（ＲＴＯＳ）のカーネル、デバイスドライバ、ミドルウェア、アプリケーションなどのプログラム類、更には、ユーザによるカメラの設定情報等を記憶するために使用される。
【００３２】
表示部２１は、液晶パネルや有機ＥＬパネル等の表示装置であって、例えば電子カメラの筐体背面に配置される。外部Ｉ／Ｆコネクタ２２は、所定の通信規格のインターフェース（例えばＵＳＢ）を備えた外部機器（パーソナルコンピュータなど）を接続するために使用される。また、メディアコネクタ２３は、不揮発性の記録媒体３４を接続するために使用される。なお、メディアコネクタ２３に接続される記録媒体３４は、例えば、ハードディスクや、半導体メモリを内蔵したメモリカードである。
【００３３】
レリーズ釦２４は、静止画撮影モードと動画撮影モードで使用される釦であり、自動焦点調節（Ａｕｔｏｍａｔｉｃ  Ｆｏｃｕｓｉｎｇ：ＡＦ）などの撮影準備動作の開始を指示するための半押し信号と、撮影の開始を指示するための全押し信号の２つを発生する。また、操作釦２５は、ユーザによって操作される様々な釦をまとめて表したもので、例えば、撮影モードの切り替えを行うための釦などが含まれる。
【００３４】
音声信号処理部２７は、電子カメラの外部音声を集音するマイクと、マイクで収集した音声信号を増幅するアンプと、音声信号のレベルを一定に保つオートレベル制御部と、Ａ／Ｄ変換器と、デジタル化された音声データを出力するシリアルデータ出力部とを有している。
【００３５】
続いて、図２を参照しつつ、第１画像処理回路１４と第２画像処理回路１５の構成例を詳述する。なお、以下の説明では、第１画像処理回路１４の符号ｎの要素を指すときは「ｎ＿１」と表記し、第２画像処理回路１５の符号ｎの要素を指すときは「ｎ＿２」と表記する。
【００３６】
まず、第１画像処理回路１４の構成を説明する。第１画像処理回路１４は、画像処理部４１＿１と、静止画圧縮部４２＿１と、動画圧縮部４３＿１と、ＤＭＡＣ(Direct Memory Access Controller)４４＿１と、ＣＰＵ４５＿１と、割込コントローラ４６＿１と、内蔵メモリ４７＿１と、表示コントローラ４８＿１と、ＧＰＩＯ(General Purpose Input/Output)部４９＿１と、メモリコントローラ５０＿１と、フラッシュメモリコントローラ５１＿１と、外部Ｉ／Ｆコントローラ５２＿１と、メディアコントローラ５３＿１と、音声Ｉ／Ｆ５４＿１と、内部バス５５＿１と、バスブリッジ５６＿１とを有している。第１画像処理回路１４の各部は、内部バス５５＿１に接続されている。なお、内部バス５５＿１は、通常パラレルバスであり、例えば公知のオンチップバス（ＡＭＢＡ  ＡＸＩやＯＣＰ(Open Core Protocol)等）でよい。
【００３７】
画像処理部４１＿１は、独立した回路であるプリプロセス部とポストプロセス部（いずれも不図示）を内部に有しており、入力される画像データに画像処理（プリプロセス、ポストプロセス）を施す。ここで、プリプロセスとは、画像の補正を主体とする処理であって、入力される画像データに対して、欠陥画素補正、シェーディング補正、ＯＢクランプ処理などの信号処理を施す。また、画像処理部４１＿１は、プリプロセスを実行する傍ら、その補正された画像データを用いて、オートホワイトバランス（ＡＷＢ）評価値、ＡＦ評価値、自動露出（Ａｕｔｏ  Ｅｘｐｏｓｕｒｅ：ＡＥ）評価値をそれぞれ生成する。
【００３８】
また、ポストプロセスでは、プリプロセス後の画像データに対して、カラー処理を主体とする現像処理（例えば、色補間処理、階調変換処理、ホワイトバランス調整処理、ノイズ除去処理、輪郭強調処理、色変換処理等）を施す。上述した画像処理部４１＿１での画像処理によって、ＲＧＢのＢａｙｅｒデータが、所望の色再現がなされたＹＣｂＣｒ形式の画像データ（以下、ＹＣｂＣｒデータと称する）に変換される。画像データに対して圧縮処理を施したり、また画像データを表示部２１に表示したりする場合は、このＹＣｂＣｒデータが用いられる。
【００３９】
ここで、静止画の撮影時において、画像処理部４１＿１は、撮影された静止画のデータから、主画像、フリーズ画およびサムネイルをそれぞれ生成する。これらはいずれもＹＣｂＣｒデータの画像である。主画像は主たるデータとして記録される画像（通常は高解像度）のことである。フリーズ画は、撮影結果の確認のために撮影直後に表示部２１に表示される画像である。サムネイルは、画像の検索性を高めるために主画像とともに画像ファイルに記録される縮小画像である。なお、スルー画およびフリーズ画は、例えば６４０×４８０画素のサイズであり、サムネイルは、例えば１６０×１２０画素のサイズである。画像処理部４１＿１は、内部にある不図示の解像度変換回路を利用してこれらの小解像度画像を生成する。
【００４０】
静止画圧縮部４２＿１は、静止画撮影モードにおいて、撮影された静止画のＹＣｂＣｒデータに対して例えばＪＰＥＧ形式の圧縮処理を施す。
【００４１】
動画圧縮部４３＿１は、動画撮影モードにおいて、記録用の動画像のＹＣｂＣｒデータに対して、フレーム間予測を用いた圧縮処理を施す。例えば、動画圧縮部４３＿１は、Ｈ．２６４（ＭＰＥＧ−４  ＡＶＣ（Ｐａｒｔ１０））の動画圧縮規格を用いて動画像の圧縮処理を行う（なお、Ｈ．２６４での動画像の符号化については後述する）。
【００４２】
ＤＭＡＣ４４＿１は、ハードウェア的にデータ転送を行う回路であり、ＣＰＵ４５＿１のプログラムによってデータを転送する場合と比べて高速なデータ転送を実現する。ＤＭＡＣ４４＿１は、単位転送データ量ごとに、ソースアドレスおよびデスティネーションアドレスをシフトさせながらデータの転送を行う。なお、ＤＭＡＣ４４＿１は、上述した画像処理部４１＿１や静止画圧縮部４２＿１や動画圧縮部４３＿１、あるいは後述するいくつかの回路ブロックに内蔵されていてもよい。
【００４３】
ＣＰＵ４５＿１は、電子カメラの機能を実現するためのアプリケーションプログラムを実行し、また実行したアプリケーションプログラムに基づいて電子カメラ内各部の動作を制御する。例えば、ＣＰＵ４５＿１は、ＡＦ評価値を用いて公知のコントラスト検出方式によるＡＦや、ＡＥ評価値を用いたＡＥを行う。また、ＣＰＵ４５＿１は、表示部２１への画像の表示処理や、記録媒体３４への画像ファイルの記録処理などを実行する。ＡＦやＡＥといったこれらの処理は、ＣＰＵ４５＿１が実行する上述のアプリケーションプログラムとして実装される。アプリケーションプログラムは、それぞれの処理に対応したタスクと呼ばれる処理単位に分割可能であり、タスクは、ＲＴＯＳ（カーネル）の管理の下で複数並列に実行させることが可能である。複数のタスクの実行順序はその優先順位に依存しており、ＲＴＯＳは実行可能状態にある複数のタスクの中で最も優先順位の高いタスクを実行させる。一例として、タスクＡの実行中にそれよりも優先順位の高いタスクＢが実行可能状態になった場合、実行中のタスクＡが中断されてタスクＢが実行される。その後、タスクＢの処理が終了するか待ち状態になると、ＲＴＯＳは一時中断していたタスクＡの処理を再開させる。
【００４４】
割込コントローラ４６＿１は、各部からの割り込み処理要求を受信して、その優先度に応じてＣＰＵ４５＿１に割り込み信号を伝達するという交通整理の役割を果たす。割込コントローラ４６＿１の働きによって、ＣＰＵ４５＿１は１つの割り込み入力端子で複数の割り込み要因に対応することができる。
【００４５】
内蔵メモリ４７＿１は、ＣＰＵ４５＿１がプログラムを実行するときにデータを格納するための高速メモリであって、例えばＳＲＡＭが使用される。内蔵メモリ４７＿１は主記憶である第１メモリ１７よりも高速にアクセスすることができる。なお、ＣＰＵ４５＿１は、アプリケーションプログラムの一部を内蔵メモリ４７＿１に常駐させ、それらの処理を高速に行ってもよい。
【００４６】
表示コントローラ４８＿１には、表示部２１が接続されている。表示コントローラ４８＿１は、上述したスルー画やフリーズ画のデータを取り込んで、それを表示部２１に表示する。
【００４７】
ＧＰＩＯ部４９＿１は、例えば、操作釦２５やレリーズ釦２４からの信号を入力するとともに、電子カメラ内の周辺デバイスへそれら入力信号に対する制御信号などを出力する。ここで、上記の周辺デバイスとは、例えば、撮影光学系１１内のレンズやメカシャッタ、絞りを駆動するためのモータドライバＩＣや、フラッシュ装置に含まれる充電ＩＣおよび発光制御用ＩＧＢＴや、電子カメラの状態を表示するためのＬＥＤなどである（なお、周辺デバイスの図示はいずれも省略する）。
【００４８】
メモリコントローラ５０＿１には、第１メモリ１７が接続されている。メモリコントローラ５０＿１は、第１メモリ１７に対してデータの読み出しや書き込みを行う。
【００４９】
フラッシュメモリコントローラ５１＿１には、第１フラッシュメモリ１９が接続されている。フラッシュメモリコントローラ５１＿１は、第１フラッシュメモリ１９に対してデータの読み出しや書き込みを行う。
【００５０】
外部Ｉ／Ｆコントローラ５２＿１には、外部Ｉ／Ｆコネクタ２２が接続されている。外部Ｉ／Ｆコントローラ５２＿１は、外部Ｉ／Ｆコネクタ２２に接続された外部機器（パーソナルコンピュータなど）とのデータ通信を、所定の通信規格のインターフェース（例えばＵＳＢ）を用いて行う。
【００５１】
メディアコントローラ５３＿１には、メディアコネクタ２３が接続されている。メディアコントローラ５３＿１は、メディアコネクタ２３に接続された記録媒体３４に対してデータの読み出しや書き込みを行う。
【００５２】
音声Ｉ／Ｆ５４＿１は、データ分配器１３から送られた音声データを受信する。なお、音声Ｉ／Ｆ５４＿１には、例えばＩ２Ｓなどの標準インターフェースが用いられる。
【００５３】
バスブリッジ５６＿１は、内部バス５５＿１とシリアルバス１６と接続されている。バスブリッジ５６＿１は、内部バス−外部シリアルバス間のプロトコル変換を行う。これにより、第１画像処理回路１４の内部バス５５＿１からのアクセス（ＲＥＡＤ／ＷＲＩＴＥ）要求は、パケット（コマンド、アドレス、ＷＲＩＴＥデータ）としてシリアルバス１６に伝達される。逆に、シリアルバス１６から送られたパケット（レスポンス、ＲＥＡＤデータ）が第１画像処理回路１４の内部バス５５＿１に伝達される。したがって、第１画像処理回路１４のＣＰＵ４５＿１は、バスブリッジ５６＿１の働きによって、第１画像処理回路１４と第２画像処理回路１５の各資源に対して全く同一のプロトコルでアクセスすることができる。第１画像処理回路１４の資源に対するアクセスと第２画像処理回路１５の資源に対するアクセスとではアクセスに必要な時間が異なり、第２画像処理回路１５の資源に対するアクセスの方がより時間がかかる。また、第１画像処理回路１４のＤＭＡＣ４４＿１からのアクセスも上述した説明と同様である。なお、第２画像処理回路１５のＣＰＵ４５＿２とＤＭＡＣ４４＿２から上述した各資源に対するアクセスも同様であり、この場合には第１画像処理回路１４の資源に対するアクセスの方がより時間がかかることになる。
【００５４】
次に、第２画像処理回路１５の構成を説明する。第２画像処理回路１５については第１画像処理回路１４との相違点のみ説明し、重複する部分の説明はいずれも省略する。本実施形態の第２画像処理回路１５では、メモリコントローラ５０＿２に第２メモリ１８が接続され、フラッシュメモリコントローラ５１＿２に第２フラッシュメモリ２０が接続される。また、表示コントローラ４８＿２、ＧＩＰＯ部４９＿２、外部Ｉ／Ｆコントローラ５２＿２、メディアコントローラ５３＿２は、接続される外部デバイスが無いために、いずれも低消費電力のまま動作しないように設定されている。
【００５５】
ここで、第１画像処理回路１４のアドレス空間には、第１画像処理回路１４の資源と第２画像処理回路１５の資源とがそれぞれマップされている。同様に、第２画像処理回路１５のアドレス空間には、第１画像処理回路１４の資源と第２画像処理回路１５の資源とがそれぞれマップされている。これらの資源には、それぞれの画像処理回路の内部資源の他に、外部に接続された第１メモリ１７および第２メモリ１８の資源や、第１フラッシュメモリ１９および第２フラッシュメモリ２０の資源も含まれる。
【００５６】
図３は、第１画像処理回路１４と第２画像処理回路１５のメモリマップの一例を模式的に示している。第１画像処理回路１４の資源としては、第１メモリ１７、第１フラッシュメモリ１９、内蔵メモリ４７＿１、Ｐｅｒｉｐｈｅｒａｌ＿１などがある。また、第２画像処理回路１５の資源としては、第２メモリ１８、第２フラッシュメモリ２０、内蔵メモリ４７＿２、Ｐｅｒｉｐｈｅｒａｌ＿２などがある。なお、上述した「Ｐｅｒｉｐｈｅｒａｌ」とは、各画像処理回路において内蔵メモリ４７を除く内部資源を総称したものである。例えば、「Ｐｅｒｉｐｈｅｒａｌ」と記載されたアドレス領域には、画像処理部４１、静止画圧縮部４２等の各レジスタや、動画圧縮部４３に内蔵されているバッファメモリや、表示コントローラ４８、メディアコントローラ５３の各ＦＩＦＯ等がマップされている。なお、図３の例では、第１画像処理回路１４のアドレス空間の上位に第２画像処理回路１５の資源がマップされており、第２画像処理回路１５のアドレス空間の上位に第１画像処理回路１４の資源がマップされている。
【００５７】
第１画像処理回路１４と第２画像処理回路１５はそれぞれ、バスブリッジ５６とシリアルバス１６の機能を利用して、コマンド、アドレス、データ、レスポンス等のパケットを接続先の画像処理回路に伝達することができる。そして、各々の画像処理回路は、各々のメモリマップに従って、自己の資源のみならず接続先の画像処理回路の資源に直接アクセスすることができる。例えば、第１画像処理回路１４は、第１画像処理回路１４のメモリマップに従って、第２画像処理回路１５に接続された第２メモリ１８上の画像のデータに直接アクセスすることができる。逆に、第２画像処理回路１５は、第２画像処理回路１５のメモリマップに従って、第１画像処理回路１４に接続された第１メモリ１７上の画像のデータに直接アクセスすることができる。
【００５８】
すなわち、本実施形態では、転送元の画像処理回路に接続されたメモリ上に記憶されている画像データを、転送先の画像処理回路が直接読み出して処理するという動作を行うことができる。例えば、第１画像処理回路１４のＤＭＡＣ４４＿１は第２画像処理回路１５に接続された第２メモリ１８上に記憶されているフリーズ画のデータを直接読み出し、それを第１画像処理回路１４内の表示コントローラ４８＿１に転送して表示させることができるし、同じく第２メモリ１８上に記憶されているＪＰＥＧ画像ファイル（後述）のデータを直接読み出し、それを第１画像処理回路１４内のメディアコントローラ５３＿１に転送して記録媒体３４に記録させることができる。すなわち、それらのデータを転送先である第１画像処理回路１４に接続された第１メモリ１７に一旦移動（あるいはコピー）するという、従来の電子カメラで行われていた動作が不要になる。そのため、本実施形態では、第１画像処理回路１４と第２画像処理回路１５の間で画像データの転送が行われる場合でも、転送先の画像処理回路に接続されたメモリへの余計な書き込みが発生しないという利点がある。
したがって、転送先の画像処理回路に接続されたメモリの帯域が余分に消費されることがないし、画像データのメモリ間移動（あるいはコピー）にかかっていた時間も発生しないので処理時間（あるいはＬａｔｅｎｃｙ）が短縮される。
【００５９】
また、第１画像処理回路１４と第２画像処理回路１５が並列に処理を実行するため、互いに通信を行う場合、良く知られたシリアルポートを利用してデータを送受信することもできるが、上述したシリアルバスを利用して通信を行ってもよい。通信元から送信するデータは、通信先の画像処理回路のＣＰＵ４５が高速に読み出せるように、通信先の画像処理回路にある内蔵メモリ４７に書き込むとよい。また、データが送信されたことを通信先の画像処理回路に伝えるには、画像処理回路の外部端子に割り当てられているパラレルポートと割り込み信号を用いて割り込みを行うこともできるが、上述したシリアルバスを利用してもよい。この場合は、通信元の画像処理回路（ＣＰＵ４５）が、シリアルバスを通じて通信先の画像処理回路の内部にある割り込みコントローラ４６のレジスタに直接書き込みを行って、通信先のＣＰＵ４５に割り込みを発行する。
【００６０】
また、接続先の画像処理回路の資源を別の画像処理回路が不用意にアクセスしたことによって誤動作が起こらないよう、画像処理回路は、一部の資源については別の画像処理回路からアクセスができないようにするとよい。例えば、外部からアクセス可能なアドレスの範囲に制限を設け、アクセスが制限されている範囲のアドレスが別の画像処理回路からアクセスされたときは、アクセス元の画像処理回路にエラーのレスポンスを返すようにする。なお、上述したアドレス範囲の制限機能は、例えばバスブリッジ５６に実装される。
【００６１】
＜撮像装置の動作例の説明＞
続いて、本実施形態の電子カメラの動作を、静止画撮影モードにおける単写撮影と連写撮影、それに動画撮影モードにおける動画撮影という３つの場合を例に挙げ、それぞれ具体的に説明する。
【００６２】
（静止画撮影モードにおける単写撮影の動作）
静止画撮影モードで単写撮影を行う場合、第１画像処理回路１４が動作状態となって単写撮影の処理を行う一方で、第２画像処理回路１５は電源オフの状態または低消費電力の状態となって停止している。そして、第１画像処理回路１４のＣＰＵ４５＿１が、単写撮影全般の動作を制御する。なお、以下に述べる処理は全てＣＰＵ４５＿１が実行するプログラムの制御の下に行われるものである。
【００６３】
単写撮影に限らず電子カメラの撮影モードはライブビューの動作から始まる。ライブビューでは撮像部１２にスルー画の撮像動作を行わせる。撮像部１２は所定の周期（フレーム周期）でスルー画の撮像を繰り返し行い、その画像データを撮像部１２の外部へ出力する。撮像部１２から周期的に出力されるスルー画のデータは、データ分配器１３を介して第１画像処理回路１４に順次入力される。
【００６４】
画像処理部４１＿１は、入力されたデータに画像処理（プリプロセスとポストプロセス）を施してスルー画のＹＣｂＣｒデータを生成する。生成されたスルー画のＹＣｂＣｒデータは第１メモリ１７上に設けられたデータ記憶領域に一時的に記憶される。ＣＰＵ４５＿１はＤＭＡＣ４４＿１のソースアドレスとしてＹＣｂＣｒデータが記憶されているデータ記憶領域の先頭アドレス、デスティネーションアドレスとして表示コントローラ４８＿１（内部のＦＩＦＯ）のアドレス、データ転送数としてＹＣｂＣｒデータのバイト数を設定し、データの転送を開始させる。データの転送が開始されると、上述したからスルー画のＹＣｂＣｒデータが読み出されて表示コントローラ４８＿１に入力され、次いで表示部２１に送られて画面に表示される。これによって、表示部２１の画面上で被写体の生映像を見ることができる（ライブビュー表示）。ユーザは、表示部２１に表示されたスルー画を観察することによって、撮影の構図を決めたり、シャッターチャンス（レリーズ釦２４の全押し操作による撮影指示のタイミング）の判断を行ったりする。
【００６５】
また、ライブビューの動作中は画像処理部４１＿１が、プリプロセスの施されたスルー画のデータから、ＡＦ評価値、ＡＥ評価値、ＡＷＢ評価値をそれぞれ生成する。ＣＰＵ４５＿１は、生成したＡＥ評価値を用いて測光を行い、測光結果に基づいてスルー画の露出制御を行う。これによってスルー画の明るさが適正レベルに調整される。またＣＰＵ４５＿１は上述したＡＷＢ評価値を用いてＡＷＢアルゴリズムを実行し、その結果に基づいてスルー画のホワイトバランス調整を行う。これによってスルー画の色も適正な状態に調整される。また、ＣＰＵ４５＿１は、レリーズ釦２４の半押し操作が行われると、上述したＡＦ評価値を用いて公知のコントラスト検出方式によるＡＦを行い、撮影光学系１１のピントを目的の被写体に合わせる。なお、レリーズ釦２４の半押し操作が行われた時は、静止画撮影時の露出制御パラメータ（ＩＳＯ感度値、絞り値、シャッター秒時など）も併せて決定する。
【００６６】
そして、ＣＰＵ４５＿１は、レリーズ釦２４の全押し操作が行われると、撮像部１２をスルー画の撮像動作から静止画の撮像動作に切り換えて、被写体の静止画を撮影させる。このとき、ＣＰＵ４５＿１は、半押し操作に応じて決定した静止画撮影用の露出制御パラメータにしたがって露光を行わせる。露光が終了すると、ＣＰＵ４５＿１は撮像部１２を静止画の読み出し動作に移行させて、撮影された静止画の画像データを出力させる。撮像部１２から出力された静止画のデータはデータ分配器１３を介して第１画像処理回路１４に入力される。
【００６７】
第１画像処理回路１４に入力された静止画のデータ（Ｂａｙｅｒデータ）は、画像処理部４１＿１でまずプリプロセスだけが施され、次いで画像処理部４１＿１から出力されて第１メモリ１７上に設けられたＢａｙｅｒデータ記憶領域に一時的に記憶される。続いて、ＣＰＵ４５＿１はＤＭＡＣ４４＿１のソースアドレスとしてＢａｙｅｒデータが記憶されているＢａｙｅｒデータ記憶領域の先頭アドレス、デスティネーションアドレスとして画像処理部４１＿１（内部のＦＩＦＯ）のアドレス、データ転送数としてＢａｙｅｒデータのバイト数を設定し、データの転送を開始させる。データ転送が開始されると、上述したＢａｙｅｒデータ記憶領域からプリプロセスの施されたＢａｙｅｒデータが読み出されて画像処理部４１＿１に入り、画像処理部４１＿１でポストプロセスが施されて撮影された静止画の主画像（ＹＣｂＣｒデータ）が生成される。その際、画像処理部４１＿１は、内部の解像度変換回路（不図示）を利用して、上述したフリーズ画のＹＣｂＣｒデータとサムネイルのＹＣｂＣｒデータを併せて生成する。主画像、フリーズ画、サムネイルの各ＹＣｂＣｒデータは、第１メモリ１７上に設けられたＹＣｂＣｒデータ記憶領域（主画像用記憶領域、フリーズ画用記憶領域、サムネイル用記憶領域の３記憶領域を備える）に一時的に記憶される。ＣＰＵ４５＿１は、ＤＭＡＣ４４＿１のソースアドレスとしてフリーズ画のＹＣｂＣｒデータが記憶されているフリーズ画用記憶領域の先頭アドレス、デスティネーションアドレスとして表示コントローラ４８＿１（内部のＦＩＦＯ）のアドレス、データ転送数としてフリーズ画ＹＣｂＣｒデータのバイト数を設定し、直ちにフリーズ画のＹＣｂＣｒデータの転送を開始させる。データ転送が開始されると、上述したＹＣｂＣｒデータ記憶領域からフリーズ画のＹＣｂＣｒデータが読み出されて表示コントローラ４８＿１に入り、次いで表示部２１に送られて画面に表示される。これにより、ユーザは、撮影直後に撮影画像の状態を確認することができる。
【００６８】
続いて、静止画圧縮部４２＿１を利用して、上述した主画像とフリーズ画とサムネイルの各ＹＣｂＣｒデータに順次ＪＰＥＧ圧縮処理を施す。それら３つの画像データを１つずつ静止画圧縮部４２＿１に転送するため、ＣＰＵ４５＿１はその都度ＤＭＡＣ４４＿１のソースアドレス（各ＹＣｂＣｒデータのＹＣｂＣｒデータ記憶領域における先頭アドレス）、デスティネーションアドレス（静止画圧縮部４２＿１（内部のＦＩＦＯ）のアドレス）、データ転送数（各ＹＣｂＣｒデータのバイト数）をそれぞれ設定してデータ転送を合計３回行わせる。上述したＹＣｂＣｒデータ記憶領域から３つのＹＣｂＣｒデータが１つずつ読み出されて静止画圧縮部４２＿１に入り、静止画圧縮部４２＿１で個別にＪＰＥＧ圧縮が施されて、それぞれのＪＰＥＧ圧縮後の画像データ（以下、ＪＰＥＧデータと称する）が、第１メモリ１７上に設けられたＪＰＥＧデータ記憶領域に一時的に記憶される。ＣＰＵ４５＿１は、所定のファイルフォーマットに従って主画像とフリーズ画とサムネイルの各ＪＰＥＧデータを種々のメタデータと共にＪＰＥＧデータ記憶領域上で１つに結合し、１つのＪＰＥＧ画像ファイル（そのファイルのメモリイメージ）を生成する。ファイルフォーマットとしてはＥｘｉｆフォーマットや、マルチピクチャフォーマット（ＭＰＦ）などが利用される。なお、フリーズ画のＪＰＥＧデータは画像の再生時において高速表示のために利用されており、一方、サムネイルのＪＰＥＧデータはＪＰＥＧ画像ファイルの検索において利用されている。最後に、ＣＰＵ４５＿１は、ＪＰＥＧデータ記憶領域に記憶されているＪＰＥＧ画像ファイル（メモリイメージ）を記録媒体３４に記録する。ＣＰＵ４５＿１はＤＭＡＣ４４＿１のソースアドレスとしてＪＰＥＧ画像ファイルの先頭アドレス、デスティネーションアドレスとしてメディアコントローラ５３＿１（内部のＦＩＦＯ）のアドレス、データ転送数としてＪＰＥＧ画像ファイルのバイト数をそれぞれ設定し、データ転送を開始させる。データ転送が開始されると、上述したＪＰＥＧデータ記憶領域からＪＰＥＧ画像ファイル（メモリイメージ）のデータが読み出されてメディアコントローラ５３＿１に入り、次いで記録媒体３４に送られて記録媒体３４内部の記録領域に記録される。
【００６９】
ＪＰＥＧ画像ファイルの記録媒体３４への記録動作が終了すると単写撮影（１フレームの静止画の撮影）の処理は全て終了し、ＣＰＵ４５＿１は電子カメラを再びライブビューの動作に戻して、次の単写撮影に備える。以上が静止画撮影モードにおける単写撮影の基本的な動作である。
【００７０】
（静止画撮影モードにおける連写撮影での動作例）
次に、静止画撮影モードにおいて連射撮影を行う場合について説明する。連写撮影の場合、第１画像処理回路１４（マスタ側）と第２画像処理回路１５（スレーブ側）との２つで並列に撮影の処理が行われる。第１画像処理回路１４は、単写撮影の場合と同様にライブビューの動作を開始する一方、第２画像処理回路１５は静止画撮影に必要となる各種の設定を済ませた上で、連写撮影が開始されるまで待機する。このとき、第２画像処理回路１５は、必要となる回路ブロック以外の回路ブロックにはクロックの供給を停止して低消費電力の状態で待機することが好ましい。なお、第１画像処理回路１４と第２画像処理回路１５は、外部のシリアルバス１６を通じて互いにデータの送受信が可能な状態にしておくことが必要となる。
【００７１】
連写撮影での第１画像処理回路１４によるライブビューの動作は、レリーズ釦２４の半押し操作が行われた時の処理も含めて単写撮影の場合とほぼ同様であるので、重複する部分の説明は省略する。半押し操作に続いてレリーズ釦２４の全押し操作が行われると、静止画の連写撮影が開始されるが、これ以降の処理は単写撮影の場合と相違する。
【００７２】
レリーズ釦２４の全押し操作が続いている間（連写撮影中）は静止画の撮影が繰り返し行われる。この連写撮影中には、半押し操作時に決定された静止画撮影用の露出パラメータを用いて、フォーカスの状態を固定したままで静止画の撮影が続けられる。また、連写撮影中にはスルー画の表示は行われず、ライブビューの動作には移行しない。
【００７３】
連写撮影の場合、レリーズ釦２４の全押し操作が行われると、ＣＰＵ４５＿１は、第２画像処理回路１５を低消費電力の状態から動作状態（使用する回路ブロックの全てにクロックが供給されている状態）に移行させる。また、ＣＰＵ４５＿１は、撮像部１２をスルー画の撮像動作から静止画の撮像動作に切り替えて、被写体の静止画を撮影させる。ＣＰＵ４５＿１は上述した露出制御パラメータに従って露光を行わせる。露光が終了すると、ＣＰＵ４５＿１は撮像部１２を静止画の読み出し動作に移行させて、撮影された静止画の画像データを出力させる。なお、ＣＰＵ４５＿１は、後述するようにメモリ上に設けられたＢａｙｅｒデータ記憶領域に空きがないときには画像データを出力できないため、空いているＢａｙｅｒデータ記憶領域を予め１つ獲得してから撮像部１２に露光を開始させる。
【００７４】
連写撮影の場合、最初に撮影されたフレームを含めた奇数フレーム（１，３，５，７，…）の静止画データは第１画像処理回路１４で処理され、偶数フレーム（２，４，６，８，…）の静止画データは第２画像処理回路１５で処理される。そのため、データ分配器１３は、奇数フレームの静止画データを第１画像処理回路１４に出力し、偶数フレームの静止画データを第２画像処理回路１５に出力する（図４参照）。
【００７５】
上述した偶数フレームと奇数フレームの静止画は同じ撮像部１２で撮影されたものであり、撮像部１２の撮像動作はマスタ側（第１画像処理回路１４）のＣＰＵ４５＿１で制御されている。そのため、ＣＰＵ４５＿１は、連写によって撮影された各静止画の撮影順序を全て把握することができる。そこで、ＣＰＵ４５＿１は、連写撮影中は各静止画に対して撮影順序を示すフレーム番号（通し番号）を付与する。そして、このフレーム番号によって静止画データの撮影順序が管理される。
【００７６】
ここで、連写撮影で行われる基本的な処理は、単写撮影の場合と同様に、撮像部１２による「静止画の撮像動作」、画像処理部４１による「プリプロセス」、画像処理部４１による「ポストプロセス」、静止画圧縮部４２による「ＪＰＥＧ圧縮処理」、メディアコントローラ５３による「ＪＰＥＧ画像ファイルの記録」という５つの処理である。これらの５つの処理は単写撮影の場合と基本的に同様であるため重複する部分の説明は省略する。ただし、第２画像処理回路１５での「ＪＰＥＧ画像ファイルの記録」については、単写撮影の場合と異なる部分があるため後述する。
【００７７】
上述した単写撮影の場合、上述する５つの処理をシーケンシャルに実行してから、次のフレームの撮影が行われる。一方、連写撮影の場合には、上述する５つの処理が並列に実行され、或るフレームの静止画データに対して或る処理が実行されている間に、そのフレームとは異なる複数フレームの静止画のデータにそれぞれ別々の処理が実行される点で相違する。つまり、連写撮影の場合、１フレームの撮影における５つの処理が未だ終わらないうちに次のフレームの撮影を開始することができる。なお、連写撮影時に並列処理されている個々のフレームに注目すると、上述の５つの処理はシーケンシャルに実行される。
【００７８】
上述するような並列処理が可能となる理由は、それぞれの処理で使用される画像処理回路（１４、１５）の内部資源（ハードウェア）が異なるからである。例えば、画像処理部４１の内部にある不図示のプリプロセス部とホストプロセス部は独立した回路であるため、連続する２つのフレームの静止画データに対して、プリプロセスとポストプロセスとを並列に施すことができる。同様に、静止画圧縮部４２とメディアコントローラ５３もそれぞれ独立した回路であるため、これらの４つの回路を利用すると連続する４つのフレームの静止画データを並列に処理できる。なお、上述する５つの処理のうち、「静止画の撮像動作」に含まれる画像データの出力と「プリプロセス」とは、撮像部１２とプリプロセス部とを連続的に動作させて、同一のフレームについて常に一体的に実行される。そのため、連写撮影での並列処理を考えるときには、上述した「静止画の撮像動作」と「プリプロセス」の処理はまとめて１つの処理として扱われる。
【００７９】
上述した並列処理での具体的な動作は以下のようになる。なお、以下の並列処理の説明では、同じ画像処理回路で処理される連続した４つのフレームを、第１フレーム〜第４フレームと称している。
【００８０】
まず、連写撮影の第１フレームに対して「静止画の撮像動作」と「プリプロセス」の処理が単独で実行される。続いて、第１フレームは「ポストプロセス」の処理に移行し、それと並行して第２フレームに対して「静止画の撮像動作」と「プリプロセス」の処理が実行される。続いて、第１フレームは「ＪＰＥＧ圧縮処理」の処理に移行し、第２フレームは「ポストプロセス」の処理に移行し、それと並行して第３フレームに対して「静止画の撮像動作」と「プリプロセス」の処理が実行される。続いて、第１フレームは「ＪＰＥＧ画像ファイルの記録」の処理に移行し、第２フレームは「ＪＰＥＧ圧縮処理」の処理に移行し、第３フレームは上述した「ポストプロセス」の処理に移行し、それと並行して第４フレームに対して「静止画の撮像動作」と「プリプロセス」の処理が実行される。これ以降は第１フレームから順に撮影の処理が終了し、新たなフレームに対して撮影の処理が開始されてゆく。
【００８１】
上述した連写撮影の動作が定常状態に達すると、撮影の間隔（フレーム間隔）は、連写撮影での並列処理のうち最も時間のかかる処理によって決定され、その処理時間に等しくなる。すなわち、上述する処理時間ごとに１フレームの静止画の撮影が完了することとなる（パイプライン処理）。
【００８２】
また、上述した並列処理を行うときには、単写撮影のときに説明した各データ記憶領域（Ｂａｙｅｒデータ記憶領域、ＹＣｂＣｒデータ記憶領域、ＪＰＥＧデータ記憶領域）をそれぞれメモリ上に複数確保する必要がある。以下の説明では、第１フレームと第２フレームの場合を具体的に説明するが、これ以降のフレームについても事情は同様である。
【００８３】
例えば、撮像部１２から出力された第１フレームの静止画のデータ（Ｂａｙｅｒデータ）は、画像処理部４１でまずプリプロセスだけが施され、次いで画像処理部４１から出力されてメモリ上のＢａｙｅｒデータ記憶領域に一時的に記憶される。そして、プリプロセス後の第１フレームのＢａｙｅｒデータには、画像処理部４１でポストプロセスが施されて、第１フレームの主画像（ＹＣｂＣｒデータ）が生成される。その際、画像処理部４１は、内部の解像度変換回路（不図示）を利用して、上述したフリーズ画のＹＣｂＣｒデータとサムネイルのＹＣｂＣｒデータを併せて生成する。そして、第１フレームのＹＣｂＣｒデータは、メモリ上のＹＣｂＣｒデータ記憶領域に一時的に記憶される。一方、第１フレームに対するポストプロセスの実行中に、第２フレームのＢａｙｅｒデータが撮像部１２から出力され、画像処理部４１でプリプロセスだけが施されてＢａｙｅｒデータ記憶領域に一時的に記憶されることとなる。このとき、Ｂａｙｅｒデータ記憶領域が１つのみであると、第１フレームのＢａｙｅｒデータが第２フレームのＢａｙｅｒデータで上書きされてしまうため正常な処理が行えなくなってしまう。そのため、上述したデータの上書きを避けるために、少なくともＢａｙｅｒデータ記憶領域が２つ必要であることが分かる。
【００８４】
また、例えば、上述した第１フレームのＹＣｂＣｒデータには、静止画圧縮部４２でＪＰＥＧ圧縮処理が施されて、第１フレームのＪＰＥＧデータが生成される。そして、第１フレームのＪＰＥＧデータは、メモリ上のＪＰＥＧデータ記憶領域に一時的に記憶される。一方、第１フレームに対するＪＰＥＧ圧縮処理の実行中に、第２フレームのＢａｙｅｒデータに画像処理部４１でポストプロセスが施されて、第２フレームのＹＣｂＣｒデータが生成される。そして、第２フレームのＹＣｂＣｒデータは、メモリ上のＹＣｂＣｒデータ記憶領域に一時的に記憶される。このとき、ＹＣｂＣｒデータ記憶領域が１つのみであると、第１フレームのＹＣｂＣｒデータが第２フレームのＹＣｂＣｒデータで上書きされてしまうため正常な処理が行えなくなってしまう。そのため、上述したデータの上書きを避けるためには、少なくともＹＣｂＣｒデータ記憶領域が２つ必要であることが分かる。
【００８５】
また、例えば、上述した第１フレームのＪＰＥＧデータは、ＣＰＵ４５により種々のメタデータが付加されるとともにＪＰＥＧデータ記憶領域上で１つに結合されて、１つのＪＰＥＧ画像ファイルのメモリイメージが生成される。そして、第１フレームのＪＰＥＧ画像ファイルのメモリイメージが読み出されてメディアコントローラ５３＿１に入り、次いで記録媒体３４に送られて記録媒体３４内部の記録領域に記録される。一方、第１フレームのＪＰＥＧ画像ファイルの記録が行われている間に、第２フレームのＹＣｂＣｒデータに静止画圧縮部４２でＪＰＥＧ圧縮処理が施されて、第２フレームのＪＰＥＧデータが生成される。そして、第２フレームのＪＰＥＧデータは、メモリ上のＪＰＥＧデータ記憶領域に一時的に記憶される。このとき、ＪＰＥＧデータ記憶領域が１つのみであると、第１フレームのＪＰＥＧデータが第２フレームのＪＰＥＧデータで上書きされてしまうため正常な処理が行えなくなってしまう。そのため、上述したデータの上書きを避けるためには、少なくともＪＰＥＧデータ記憶領域が２つ必要であることが分かる。
【００８６】
上述する理由から、画像処理回路のメモリ（１７、１８）には、Ｂａｙｅｒデータ記憶領域、ＹＣｂＣｒデータ記憶領域、ＪＰＥＧデータ記憶領域がそれぞれ２以上ずつ確保されている（図４参照）。Ｂａｙｅｒデータ記憶領域は、プリプロセスとポストプロセスとによって共有されている。ＹＣｂＣｒデータ記憶領域は、ポストプロセスとＪＰＥＧ圧縮処理とによって共有されている。ＪＰＥＧデータ記憶領域は、ＪＰＥＧ圧縮処理とＪＰＥＧ画像ファイルの記録処理とによって共有されている。各データ記憶領域でデータの上書きを避けるため、前者の処理では共有する２つのデータ記憶領域の一方にデータが書き込まれ、後者の処理では共有する２つのデータ記憶領域の他方からデータが読み出される。
【００８７】
また、上述した並列処理を行うときには、「静止画の撮像動作」、「プリプロセス」、「ポストプロセス」、「ＪＰＥＧ圧縮処理」、「ＪＰＥＧ画像ファイルの記録」に対応するタスクがＲＴＯＳの管理の下で複数並列に実行される。各タスクは、タスク間で通信を行うことによりタスク間の同期をとるとともに、各データ記憶領域でのデータの書き込み・読み出しの排他制御を行う。
【００８８】
例えば、レリーズ釦の全押し操作が行われると、「静止画の撮像動作」に対応する撮像処理タスクは「プリプロセス」のタスクにメッセージを送信し、フレーム番号の情報を伝えるとともに「プリプロセス」の処理の準備を要求する。上述のメッセージを受信すると、「プリプロセス」のタスクは空いているＢａｙｅｒデータ記憶領域を獲得（セマフォの獲得）し、Ｂａｙｅｒデータ記憶領域の獲得後に撮像処理タスクに準備完了のレスポンスを返信する。上述のレスポンスを受信すると、撮像処理タスクは、撮像部１２に静止画の撮像動作を開始させる。露光が終了して撮像部１２から静止画のデータが出力されると、そのデータは所定の画像処理回路（１４、１５）に入力され、プリプロセス部でプリプロセスが施される。プリプロセス後のＢａｙｅｒデータの書き込みを行うＤＭＡＣ４４は、プリプロセス部（内部のＦＩＦＯ）をソースアドレスとし、予め獲得したＢａｙｅｒデータ記憶領域の先頭アドレスをデスティネーションアドレスとして、ＤＭＡ転送によりＢａｙｅｒデータ記憶領域にＢａｙｅｒデータを書き込む。１フレーム分のＢａｙｅｒデータの書き込みが終了すると、「プリプロセス」のタスクはそのＢａｙｅｒデータ記憶領域を返却する（セマフォの返却）。
【００８９】
続いて、「プリプロセス」のタスクは「ポストプロセス」のタスクにメッセージを送信し、上述のＢａｙｅｒデータにポストプロセスを施す旨を依頼する。このとき、「プリプロセス」のタスクは、「ポストプロセス」のタスクへのメッセージに、フレーム番号の情報と、上述のＢａｙｅｒデータ記憶領域の先頭アドレスとを含める。上述のメッセージを受信した「ポストプロセス」のタスクは、受信したアドレス値のＢａｙｅｒデータ記憶領域と、空いているＹＣｂＣｒデータ記憶領域とを獲得する（セマフォの獲得）。ＹＣｂＣｒデータ記憶領域の獲得後に、「ポストプロセス」のタスクはポストプロセス部にポストプロセスを開始させる。Ｂａｙｅｒデータ記憶領域からＢａｙｅｒデータを読み出すＤＭＡＣ４４は、予め獲得したＢａｙｅｒデータ記憶領域の先頭アドレスをソースアドレスとし、ポストプロセス部（内部のＦＩＦＯ）をデスティネーションアドレスとして、ＤＭＡ転送によりＢａｙｅｒデータをポストプロセス部に入力する。これにより、Ｂａｙｅｒデータはポストプロセス部に入力されてポストプロセスが施される。また、ポストプロセス後のＹＣｂＣｒデータの書き込みを行うＤＭＡＣ４４は、ポストプロセス部（内部のＦＩＦＯ）をソースアドレスとし、予め獲得したＹＣｂＣｒデータ記憶領域の先頭アドレスをデスティネーションアドレスとして、ＤＭＡ転送によりＹＣｂＣｒデータ記憶領域にＹＣｂＣｒデータ（主画像、フリーズ画、サムネイル）を書き込む。なお、１フレーム分のＢａｙｅｒデータの読み出しが終了すると、「ポストプロセス」のタスクはそのＢａｙｅｒデータ記憶領域を返却する（セマフォの返却）。また、１フレーム分のＹＣｂＣｒデータの書き込みが終了すると、「ポストプロセス」のタスクはそのＹＣｂＣｒデータ記憶領域を返却する（セマフォの返却）。
【００９０】
続いて、「ポストプロセス」のタスクは「ＪＰＥＧ圧縮処理」のタスクにメッセージを送信し、上述のＹＣｂＣｒデータにＪＰＥＧ圧縮処理を施す旨を依頼する。このとき、「ポストプロセス」のタスクは、「ＪＰＥＧ圧縮処理」のタスクへのメッセージに、フレーム番号の情報と、上述のＹＣｂＣｒデータ記憶領域の先頭アドレスとを含める。上述のメッセージを受信した「ＪＰＥＧ圧縮処理」のタスクは、受信したアドレス値のＹＣｂＣｒデータ記憶領域と、空いているＪＰＥＧデータ記憶領域とを獲得する（セマフォの獲得）。ＪＰＥＧデータ記憶領域の獲得後に、「ＪＰＥＧ圧縮処理」のタスクは静止画圧縮部４２にＪＰＥＧ圧縮処理を開始させる。ＹＣｂＣｒデータ記憶領域からＹＣｂＣｒデータを読み出すＤＭＡＣ４４は、予め獲得したＹＣｂＣｒデータ記憶領域の先頭アドレスをソースアドレスとし、静止画圧縮部４２（内部のＦＩＦＯ）をデスティネーションアドレスとして、ＤＭＡ転送によりＹＣｂＣｒデータを静止画圧縮部４２に入力する。これにより、ＹＣｂＣｒデータは静止画圧縮部４２に入力されてＪＰＥＧ圧縮処理が施される。また、ＪＰＥＧ圧縮処理後のＪＰＥＧデータの書き込みを行うＤＭＡＣ４４は、静止画圧縮部４２（内部のＦＩＦＯ）をソースアドレスとし、予め獲得したＪＰＥＧデータ記憶領域の先頭アドレスをデスティネーションアドレスとして、ＤＭＡ転送によりＪＰＥＧデータ記憶領域にＪＰＥＧデータを書き込む。また、「ＪＰＥＧ圧縮処理」のタスクは、これと並行して撮影情報などのメタデータを収集し、ＪＰＥＧデータ記憶領域内の別のアドレスにメタデータを書き込む。そして、「ＪＰＥＧ圧縮処理」のタスクは、静止画圧縮部４２から出力されたＪＰＥＧデータとメタデータとを１つに結合して、ＪＰＥＧデータ記憶領域の先頭から始める１つのＪＰＥＧ画像ファイル（メモリイメージ）を作成する。なお、１フレーム分のＹＣｂＣｒデータの読み出しが終了すると、「ＪＰＥＧ圧縮処理」のタスクはそのＹＣｂＣｒデータ記憶領域を返却する（セマフォの返却）。また、上述するＪＰＥＧ画像ファイルを作成すると、「ＪＰＥＧ圧縮処理」のタスクはそのＪＰＥＧデータ記憶領域を返却する（セマフォの返却）。
【００９１】
続いて、「ＪＰＥＧ圧縮処理」のタスクは「ＪＰＥＧ画像ファイルの記録」のタスクにメッセージを送信し、上述のＪＰＥＧ画像ファイルを記録媒体３４に記録するように依頼する。このとき、「ＪＰＥＧ圧縮処理」のタスクは、「ＪＰＥＧ画像ファイルの記録」のタスクへのメッセージに、フレーム番号の情報と、上述のＪＰＥＧデータ記憶領域の先頭アドレスと、ＪＰＥＧ画像ファイルのサイズを含める。ＪＰＥＧ圧縮は可変長圧縮であるため、圧縮処理ごとにＪＰＥＧデータのサイズ（符号量）も変わるため、ＪＰＥＧ画像ファイルのサイズも変化する。そのため、上述の場合にはメッセージにＪＰＥＧ画像ファイルのサイズを含めている。上述のメッセージを受信した「ＪＰＥＧ画像ファイルの記録」のタスクは、受信したアドレス値のＪＰＥＧデータ記憶領域を獲得する（セマフォの獲得）。そして、「ＪＰＥＧ画像ファイルの記録」のタスクは、メディアコントローラ５３＿１を動作状態（Ａｃｔｉｖｅ）にする。また、「ＪＰＥＧ画像ファイルの記録」のタスクは、メディアコントローラ５３＿１を介して記録媒体３４にＷＲＩＴＥコマンドと書き込みアドレスとを発行して、ＪＰＥＧ画像ファイルの記録動作を開始する。ＪＰＥＧデータ記憶領域からＪＰＥＧ画像ファイルを読み出すＤＭＡＣ４４は、予め獲得したＪＰＥＧデータ記憶領域の先頭アドレスをソースアドレスとし、メディアコントローラ５３＿１（内部のＦＩＦＯ）をデスティネーションアドレスとして、ＤＭＡ転送によりＪＰＥＧ画像ファイルのデータをメディアコントローラ５３＿１に入力する。メディアコントローラ５３＿１は、入力されたＪＰＥＧ画像ファイルのデータを記録媒体３４に送信し、上述する書き込みアドレスで指定された記録領域に記録する。なお、ＪＰＥＧ画像ファイルの記録が終了すると、「ＪＰＥＧ画像ファイルの記録」のタスクはそのＪＰＥＧデータ記憶領域を返却する（セマフォの返却）。
【００９２】
以上のように、ＲＴＯＳの機能（セマフォ）を利用することで、ＣＰＵ４５は各データ記憶領域でのデータの書き込み・読み出しの排他制御を確実に行うことができる。また、タスク間通信でフレーム番号の情報が伝達されるため、ＣＰＵ４５が実行するＲＴＯＳは、フレーム番号の情報を参照することで静止画データを撮影順に従って処理することができる。
【００９３】
また、本実施形態の電子カメラでは、奇数フレームの静止画データに対して第１画像処理回路１４で上述した並列処理が実行され、偶数フレームの静止画データに対して第２画像処理回路１５で上述した並列処理が実行される。２つの画像処理回路を用いると、同じ処理時間の間に２つのフレームを処理できるので、処理時間は相対的に１／２になることが分かる。すなわち、電子カメラ全体ではフレーム間隔が１／２になるため、１つの画像処理回路で処理する場合と比べて２倍高速な連写撮影を行うことができる。
【００９４】
ところで、本実施形態では、第１画像処理回路１４にのみメディアコネクタ２３が接続されている。そのため、第１画像処理回路１４で生成されたＪＰＥＧ画像ファイルと、第２画像処理回路１５で生成されたＪＰＥＧ画像ファイルとは、マスタ側のＣＰＵ４５＿１の制御により記録媒体３４にフレーム番号順で交互に記録されることになる。
【００９５】
スレーブ側のＪＰＥＧ画像ファイルの記録処理は、基本的にはマスタ側の場合と同様であるが、ＪＰＥＧ画像ファイルのデータが第２メモリ１８のＪＰＥＧデータ記憶領域に記録される点と、そのデータがシリアルバス１６を介して第１画像処理回路１４のブロックに転送される点でマスタ側の場合と相違がある。しかし、第１画像処理回路１４のＣＰＵ４５＿１やＤＭＡＣ４４＿１は、バスブリッジ５６の働きによって、第２メモリ１８上のデータに対して第１メモリ１７上のデータと同様にアクセスすることができる。そのため、第２画像処理回路１５で生成されたＪＰＥＧ画像ファイルを第１画像処理回路１４のブロックに転送することは容易である。
【００９６】
例えば、電子カメラはスレーブ側のＪＰＥＧ画像ファイルを以下の手順で記録媒体３４に記録すればよい。図５は、スレーブ側のＪＰＥＧ画像ファイルを記録媒体３４に記録する場合の概要図である。図５において、ＪＰＥＧ画像ファイルのデータの流れは一点鎖線の矢印で示す。
【００９７】
まず、スレーブ側のＣＰＵ４５＿２は、ＪＰＥＧ画像ファイルのデータが生成されるたびに、マスタ側のＣＰＵ４５＿１に対して、対象となるＪＰＥＧ画像ファイルが記憶されているＪＰＥＧデータ記憶領域のアドレスと、そのＪＰＥＧ画像ファイルのフレーム番号を伝える。ＣＰＵ４５＿１は、第２メモリ１８に記憶されているフレーム番号のＪＰＥＧ画像ファイルを記録媒体３４に記録するとき、上述の通信で取得したＪＰＥＧデータ記憶領域の先頭アドレスを用いて、対象のＪＰＥＧ画像ファイルを記録媒体３４へ転送すればよい。なお、ＪＰＥＧ画像ファイルの記録媒体３４への記録に関する具体的な処理については、既に上述した説明と同様であるので重複する説明は省略する。
【００９８】
また、連写撮影のときにフリーズ画を表示する場合を考える。本実施形態では第１画像処理回路１４にのみ表示部２１が接続されている。奇数フレームのフリーズ画を表示部２１に表示させる場合には、マスタ側では単写撮影の場合と同様の制御を行えばよい。偶数フレームのフリーズ画を表示部２１に表示させる場合、基本的にはマスタ側の場合と同様であるが、フリーズ画のＹＣｂＣｒデータが第２メモリ１８のＹＣｂＣｒデータ記憶領域に記録される点と、そのデータがシリアルバス１６を介して第１画像処理回路１４のブロックに転送される点でマスタ側の場合と相違がある。しかし、第１画像処理回路１４のＣＰＵ４５＿１やＤＭＡＣ４４＿１は、バスブリッジ５６の働きによって、第２メモリ１８上のデータに対して第１メモリ１７上のデータと同様にアクセスすることができる。そのため、第２画像処理回路１５で生成されたフリーズ画のデータを第１画像処理回路１４のブロックに転送することは容易である。
【００９９】
例えば、電子カメラは、以下の手順でフリーズ画の表示を行えばよい。図６は、スレーブ側のフリーズ画を表示部２１に表示させる場合の概略図である。図６において、フリーズ画のデータの流れは一点鎖線の矢印で示す。
【０１００】
連写撮影のときに、マスタ側のＣＰＵ４５＿１は、フリーズ画を表示するフレーム番号を求める。上記のフレーム番号が偶数であれば、表示すべきフリーズ画のデータは第２メモリ１８のＹＣｂＣｒデータ記憶領域に記憶されている。フリーズ画の表示を行う場合、ＣＰＵ４５＿１は、フレーム番号とともにフリーズ画の表示を示す表示フラグを、そのフレームの撮影時に予めＣＰＵ４５＿２に送信しておく。
【０１０１】
ここで、偶数フレームのＢａｙｅｒデータが第２画像処理回路１５に入力されると、ＣＰＵ４５＿２は、Ｂａｙｅｒデータが記憶された第２メモリ１８のＢａｙｅｒデータ記憶領域のアドレスと、フレーム番号と、表示フラグとを画像処理部４１＿２に伝える。そして、画像処理部４１＿２は、上記のＢａｙｅｒデータにポストプロセスを施して、主画像、フリーズ画、サムネイルの各ＹＣｂＣｒデータを生成する。上述の表示フラグがセットされていた場合、画像処理部４１＿２は、フリーズ画のＹＣｂＣｒデータが生成された時点で、表示すべきフリーズ画が記憶されているＹＣｂＣｒデータ記憶領域の先頭アドレスと、そのフレーム番号とをマスタ側のＣＰＵ４５＿１に送信する。
【０１０２】
そして、マスタ側のＣＰＵ４５＿１は、第２メモリ１８から表示コントローラ４８＿１にフリーズ画のデータをＤＭＡ転送する。このとき、ＣＰＵ４５＿１は、表示すべきフリーズ画が記録されているＹＣｂＣｒデータ記憶領域の先頭アドレスをＤＭＡＣ４４＿１のソースアドレスとし、表示コントローラ４８＿１のＦＩＦＯのアドレスをＤＭＡＣ４４＿１のデスティネーションアドレスとする。また、ＣＰＵ４５＿１は、表示すべきフリーズ画のバイト数をＤＭＡＣ４４＿１の転送カウントとすればよい。
【０１０３】
その後、ＣＰＵ４５＿１が表示ドライバを呼び出すと、フリーズ画のデータが表示コントローラ４８＿１に転送されて、フリーズ画が表示部２１の画面に表示される。なお、同じフリーズ画を一定期間表示部２１に表示し続ける場合、ＤＭＡＣ４４＿１が上述したフリーズ画のデータ転送を繰り返すように設定すればよい。このため、ＤＭＡＣ４４＿１には前回と同じアドレスでＤＭＡ転送を行うリロード機能を持たせてもよい。
【０１０４】
以上が静止画撮影モードで連写撮影を行う場合の動作である。
【０１０５】
（動画撮影モードでの動作例１）
次に、動画撮影モードでの電子カメラの動作例を説明する。まず、Ｈ．２６４規格での動画像の符号化について簡単に説明する。
【０１０６】
Ｈ．２６４による動画像の符号化では、１フレームの動画データをマクロブロックと称する多数のブロックに分割し、マクロブロック単位で符号化の処理が行われる。符号化のモードには、Ｉモード、Ｐモード、Ｂモードと称する３つのモードがある。
【０１０７】
Ｉモードは、フレーム内予測符号化モードである。Ｉモードでは、符号化の対象となるカレントフレーム内の画素のみを利用して各マクロブロックを符号化するフレーム内予測が行われる。
【０１０８】
一方、Ｐモード、Ｂモードは、フレーム間予測符号化モードである。一般的にＰモードは、時間的に過去の１フレームからカレントフレームを予測する。また、Ｂモードは、時間的に過去および未来のそれぞれ１フレームからカレントフレームを予測する。ここで、Ｐモード、Ｂモードのフレーム間予測でカレントフレームと対比されるフレームを参照フレームと称する。この参照フレームは、既に符号化されたフレームを再生（復号）したものが用いられる。なお、Ｈ．２６４の符号化器には、ローカル復号器が含まれている。符号化されたカレントフレームのマクロブロックはローカル復号器で直ちに復号化され、メモリ上の参照フレーム記憶領域に記憶される。
【０１０９】
また、フレーム間予測では、被写体の動き検出による動き補償を行うことで予測誤差の値を小さくしている。すなわち、動き検出では、カレントフレームのマクロブロックの位置を基準として、マクロブロックよりも大きな探索領域を参照フレームから読み出す。そして、探索領域内で上述の予測誤差が最小となるブロックの位置とそのときの予測誤差（最小値）とを求める。上記の動き検出で求めたブロックの位置と基準位置との差（オフセット）を動きベクトルと称する。フレーム間予測では、予測誤差および動きベクトルを併せて符号化し、ヘッダ情報を含んだマクロブロックの圧縮データを生成する。フレーム間予測を行った場合、符号化の終了したカレントフレームのマクロブロックの圧縮データは直ちにローカル復号器で復号される、そして、復号された予測誤差および動きベクトルから新しい参照フレーム（カレントフレームを復号したもの）が生成される。
【０１１０】
また、Ｈ．２６４規格では、スライス（Ｓｌｉｃｅ）と称するマクロブロックのグループで１フレームを分割し、スライス単位で符号化モードを変更できる。
【０１１１】
また、Ｈ．２６４規格では、従来のＭＰＥＧ規格よりも多数の参照フレームを利用できる。Ｐマクロブロックの場合、１つの参照フレームグループの中から１フレームを選択してＰモードの符号化を行う。また、Ｂマクロブロックの場合、２つの参照フレームグループの中からそれぞれ１フレーム、若しくは一方の参照フレームグループの中から２フレームを選択してＢモードの符号化を行う。
【０１１２】
ところで、上記のフレームの選択を行うときには、複数の参照フレームを評価した上で、カレントフレームのマクロブロック（カレントマクロブロック）により近い値を持つフレームを選択する可能性が高い。また、スライスが変わる場合には参照フレームも変わるので、上述した参照フレームの評価がその都度行われることになる。そのため、Ｈ．２６４規格では、参照フレームのアクセス回数が従来のＭＰＥＧの場合より多くなり、メモリの帯域が大幅に使用されうる。
【０１１３】
以上の説明をふまえて、本実施形態での動画撮影モードでの電子カメラの動作を説明する。
【０１１４】
図７は、動画撮影モードにおける電子カメラの動作例１の概略図である。図７において、カレントフレーム（記録用の動画像データを指す）、参照フレーム、動画像ファイルのデータの流れは、それぞれ一点鎖線の矢印で示す。
【０１１５】
図７に示す動作例１では、マスタ側の動画圧縮部４３＿１が動画像の符号化を行う。第１メモリ１７には、カレントフレームのＹＣｂＣｒデータと動画像ファイルとが記憶される。一方、第２メモリ１８には、参照フレームのＹＣｂＣｒデータが記憶される。また、動作例１では、スルー画および動画像のデータはデータ分配器１３を介して第１画像処理回路１４にのみ入力される。
【０１１６】
動画撮影モードの起動指示を受け付けた段階では、第１画像処理回路１４は、単写撮影の場合と同様にライブビューの動作を開始する一方、第２画像処理回路１５は動画撮影に必要となる各種の設定を済ませた上で、動画撮影が開始されるまで待機する。このとき、第２画像処理回路１５は、必要となる回路ブロック以外の回路ブロックにはクロックの供給を停止して低消費電力の状態で待機することが好ましい。なお、第１画像処理回路１４と第２画像処理回路１５は、外部のシリアルバス１６を通じて互いにデータの送受信が可能な状態にしておくことが必要となる。
【０１１７】
動画撮影での第１画像処理回路１４によるライブビューの動作は、静止画の単写撮影の場合とほぼ同様であるので、重複する部分の説明は省略する。
【０１１８】
また、ライブビューの動作中は画像処理部４１＿１が、プリプロセスの施されたスルー画のデータから、ＡＦ評価値、ＡＥ評価値、ＡＷＢ評価値をそれぞれ生成する。ＣＰＵ４５＿１は、生成したＡＥ評価値を用いて測光を行い、測光結果に基づいてスルー画の露出制御を行う。またＣＰＵ４５＿１は上述したＡＷＢ評価値を用いてＡＷＢアルゴリズムを実行し、その結果に基づいてスルー画のホワイトバランス調整を行う。また、ＣＰＵ４５＿１は、所定のタイミングでＡＦ評価値を用いて公知のコントラスト検出方式によるＡＦを行い、撮影光学系１１のピントを目的の被写体に合わせる。なお、ＣＰＵ４５＿１は、動画撮影時においても、上述したライブビュー表示、露出制御、ホワイトバランス調整、ＡＦを実行する（図７ではライブビュー表示に関するデータの流れの図示は省略する）。
【０１１９】
そして、ＣＰＵ４５＿１は、動画記録指示を受け付けると、動画像の記録を開始する。上述する動画記録指示が行われると、ＣＰＵ４５＿１は、第２画像処理回路１５を低消費電力の状態から動作状態（使用する回路ブロックの全てにクロックが供給されている状態）に移行させる。また、ＣＰＵ４５＿１は、撮像部１２に対して、動画の仕様に合った解像度とフレーム周期の組み合わせで動画像のデータを出力するように指示する。なお、動画撮影時には、ＣＰＵ４５＿１は、プリプロセスの施された動画像のデータに解像度変換を施すことでスルー画のＹＣｂＣｒデータを生成し、上述したライブビュー表示等を行えばよい。
【０１２０】
ここで、動画撮影で行われる基本的な処理は、撮像部１２による「動画像の撮像動作」、画像処理部４１＿１による「プリプロセス」、画像処理部４１＿１による「ポストプロセス」、動画圧縮部４３＿１による「動画圧縮処理」、メディアコントローラ５３＿１による「動画像ファイルの記録」という５つの処理である。これらの処理は、上述した連写撮影の場合と同様に、第１画像処理回路１４によって並列処理される。なお、動画像の撮像動作からポストプロセスの動作は、連写撮影の場合における静止画の撮像動作からポストプロセスの動作とほぼ同様であるので重複する説明を省略する。
【０１２１】
動画撮影時には、ＣＰＵ４５＿１の制御により、ポストプロセス後のカレントフレームのＹＣｂＣｒデータが、第１メモリ１７のＹＣｂＣｒデータ記憶領域に記録される。カレントフレームのＹＣｂＣｒデータが生成されると、ＣＰＵ４５＿１は動画圧縮部４３＿１に対して動画圧縮処理を開始する指示を行う。
【０１２２】
上述の指示に応じて、動画圧縮部４３＿１はカレントマクロブロックのデータを要求する。ＤＭＡＣ４４＿１は、メモリコントローラ５０＿１を介して第１メモリ１７のカレントフレーム（ＹＣｂＣｒデータ）からマクロブロックを部分的に読み出し、動画圧縮部４３＿１に転送する。このとき、ＣＰＵ４５＿１は、ＤＭＡＣ４４＿１のソースアドレスとして第１メモリ１７のＹＣｂＣｒデータ記憶領域の先頭アドレス、デスティネーションアドレスとして動画圧縮部４３＿１（内部のＦＩＦＯ）のアドレス、データ転送数をそれぞれ設定し、データ転送を行えばよい。
【０１２３】
一方、ＤＭＡＣ４４＿１は、別のチャネルを使って予測用のデータを動画圧縮部４３＿１に転送する。カレントマクロブロックがＩマクロブロックであれば、動画圧縮部４３＿１は、同一スライス内で先に符号化されたデータからフレーム内予測を行えばよい。
【０１２４】
ここで、カレントフレームが動画像の最初のフレームである場合、過去のフレームが無いので、動画圧縮部４３＿１は上述したＩモードで符号化を行う。動画圧縮部４３＿１は、上述した符号化の過程でカレントマクロブロックの復号データを逐次生成する。ＣＰＵ４５＿１は、カレントマクロブロックの復号データ（ＹＣｂＣｒデータ）を、ＤＭＡＣ４４＿１によって第２メモリ１８に確保された参照フレーム記憶領域に直接書き込ませる。このとき、ＣＰＵ４５＿１は、ＤＭＡＣ４４＿１のソースアドレスとして動画圧縮部４３＿１（内部のＦＩＦＯ）のアドレス、デスティネーションアドレスとして第２メモリ１８の参照フレーム記憶領域の先頭アドレス、データ転送数をそれぞれ設定し、データ転送を行えばよい。上述した参照フレーム記憶領域に記録された復号データは新たな参照フレームとなる。
【０１２５】
カレントフレームが２フレーム目以降である場合、動画圧縮部４３＿１は、第２メモリ１８の参照フレーム記憶領域に記憶されている参照フレームが使えるので、ＰスライスやＢスライスを含めることができる。上述するＰマクロブロックやＢマクロブロックの場合、動画圧縮部４３＿１は、第２メモリ１８に記憶された参照フレームから予測用のデータ（参照フレームの探索領域のＹＣｂＣｒデータ）を取得する。このとき、ＣＰＵ４５＿１は、ＤＭＡＣ４４＿１のソースアドレスとして、第２メモリ１８の参照フレーム記憶領域のアドレス、デスティネーションアドレスとして動画圧縮部４３＿１（内部のＦＩＦＯ）のアドレス、データ転送数をそれぞれ設定し、データ転送を行えばよい。なお、ＰマクロブロックやＢマクロブロックの圧縮では、動画圧縮部４３＿１は、複数の参照フレームから予測用のデータを読み出して、カレントマクロブロックとの予測誤差の大きさを評価してもよい。そして、動画圧縮部４３＿１は、上記の予測誤差がより小さい参照フレームを選択して、カレントマクロブロックの符号化に用いてもよい。
【０１２６】
ところで、動画像の圧縮時において、ＤＭＡＣ４４のソースアドレスは参照フレームのデータを読み出すために頻繁に変更される。そのため、動画圧縮時のＤＭＡ転送を効率的に行う観点から、動画圧縮部４３にＤＭＡＣを内蔵してもよい。このとき、動画圧縮部４３にマイコンを内蔵させることで、ソースアドレスおよびデスティネーションアドレスを変更する機能と、符号化を行うフレームを決定する機能とを動画圧縮部４３に付与してもよい。かかる構成によれば、カレントフレームが生成される毎に、ＣＰＵ４５がカレントフレームのアドレスを動画圧縮部４３に通信するだけで、動画圧縮部４３が自律的に動画像の符号化を行うことが可能となる。
【０１２７】
動画圧縮部４３＿１は、フレーム内予測符号化（Ｉモード）またはフレーム間予測符号化（Ｐモード、Ｂモード）によって生成した符号化データ（動画像ファイル）を、ヘッダを含んだ標準フォーマットのパケットに分割して出力する。上述のパケットは、ＤＭＡＣ４４＿１によって、第１メモリ１７の動画ファイル記憶領域に書き込まれる。このとき、ＣＰＵ４５＿１は、ＤＭＡＣ４４＿１のソースアドレスとして、動画圧縮部４３＿１（内部のＦＩＦＯ）のアドレス、デスティネーションアドレスとして第１メモリ１７の動画ファイル記憶領域のアドレス、データ転送数をそれぞれ設定し、データ転送を行えばよい。なお、ＣＰＵ４５＿１は、動画ファイル記憶領域に上述のパケットのデータが一定量蓄積されるごとに、別の動画ファイル記憶領域に記録先を切り替える。
【０１２８】
また、動画像ファイルの記録処理のときには、動画像ファイルのデータの書き込みを終えた動画ファイル記憶領域から、動画像ファイルのデータが読み出されて記録媒体３４へ書き込まれる。このとき、ＣＰＵ４５＿１はＤＭＡＣ４４＿１のソースアドレスとして動画ファイル記憶領域の先頭アドレス、デスティネーションアドレスとしてメディアコントローラ５３＿１（内部のＦＩＦＯ）のアドレス、データ転送数として動画像ファイルのパケットのバイト数をそれぞれ設定し、データ転送を開始させる。データ転送が開始されると、上述した動画ファイル記憶領域から動画像ファイルのデータが読み出されてメディアコントローラ５３＿１に入り、次いで記録媒体３４に送られて記録媒体３４内部の記録領域に記録される。
【０１２９】
なお、上述するように、パケットのデータが一定量蓄積されるごとに記録先の動画ファイル記憶領域を切り替えることで、或る動画ファイル記憶領域にパケットのデータを書き込みつつ、別の動画ファイル記憶領域からデータを読み出して記録媒体３４にデータを書き込むことができる。そのため、動画撮影の場合にも、連写撮影の場合と同様に上述した５つの処理を並列処理できることが分かる。以上で、動作例１の説明を終了する。
【０１３０】
なお、動画像ファイルの再生の場合、動き検出がないのでメモリの帯域が大幅に消費されることはない。そのため、動画像ファイルの再生の場合、第１画像処理回路１４のみを動作状態とする。そして、第１画像処理回路１４の動画圧縮部４３が動画像ファイルの各フレームを復号すればよい。
【０１３１】
以下、図７に示す動画撮影モードの動作例１での作用効果を述べる。
【０１３２】
上述した動作例１では、第１メモリ１７にカレントフレームを記憶し、第２メモリ１８に参照フレームを記憶する。また、動画圧縮部４３＿１は、第２メモリ１８の参照フレームに直接アクセスして、カレントフレームのフレーム間予測による符号化を行う。
【０１３３】
そのため、上述した動作例１では、第１メモリ１７の帯域は、カレントフレームのプリプロセス・ポストプロセスの処理と、スルー画の表示と、記録媒体３４への動画像ファイルの記録とに使用される。そして、第２メモリ１８の帯域は、比較的負荷の大きい参照フレームのデータの書き込み／読み込みで使用される。したがって、上述した動作例１では各メモリへのアクセスが分散されるので、２つの画像処理回路により効率的な処理が可能となる。
【０１３４】
また、上述した動作例１では、転送元の画像処理回路に接続されたメモリ上に記憶されている画像データを、転送先の画像処理回路が直接読み出して処理するという動作を行うことができる。そのため、転送先の画像処理回路に接続されたメモリにデータを一旦移動（あるいはコピー）するという動作は不要になる。また、転送先の画像処理回路に接続されたメモリの帯域が余分に消費されることがないし、画像データのメモリ間移動（あるいはコピー）にかかっていた時間も発生しないので処理時間（あるいはＬａｔｅｎｃｙ）が短縮される。
【０１３５】
なお、以下に説明する動画撮影での各動作例の説明では、上記の動作例１と共通する部分の重複する説明はいずれも省略する。
【０１３６】
（動画撮影モードでの動作例２）
図８は、動画撮影モードにおける電子カメラの動作例２の概略図である。この動作例２は、図７に示す動作例１の変形例であって、第２画像処理回路１５の動画圧縮部４３が動画像の符号化を行う点で動作例１と相違する。図８において、カレントフレーム、参照フレーム、動画像ファイルのデータの流れは、それぞれ一点鎖線の矢印で示す。
【０１３７】
動作例２の動画撮影の場合においても、ＣＰＵ４５＿１の制御により、ポストプロセス後のカレントフレームのＹＣｂＣｒデータが、第１メモリ１７のＹＣｂＣｒデータ記憶領域に記録される。カレントフレームのＹＣｂＣｒデータが生成されると、ＣＰＵ４５＿１は動画圧縮部４３＿２に対して動画圧縮処理を開始する指示を行う。
【０１３８】
上述の指示に応じて、動画圧縮部４３＿２はカレントマクロブロックのデータを要求する。ＤＭＡＣ４４＿２は、メモリコントローラ５０＿１を介して第１メモリ１７のカレントフレーム（ＹＣｂＣｒデータ）からマクロブロックを部分的に読み出し、動画圧縮部４３＿２に転送する。このとき、ＣＰＵ４５＿２は、ＤＭＡＣ４４＿２のソースアドレスとして第１メモリ１７のＹＣｂＣｒデータ記憶領域の先頭アドレス、デスティネーションアドレスとして動画圧縮部４３＿２（内部のＦＩＦＯ）のアドレス、データ転送数をそれぞれ設定し、データ転送を行えばよい。
【０１３９】
一方、ＤＭＡＣ４４＿２は、別のチャネルを使って第２メモリ１８に記憶されている予測用のデータ（参照フレーム記憶領域の参照フレームのデータ）を動画圧縮部４３＿２に転送する。そして、動画圧縮部４３＿２は、上述したＩモード、Ｐモード、Ｂモードのいずれかで符号化を実行する。なお、上述の各モードでの動画圧縮部４３＿２の動作は、動作例１での動画圧縮部４３＿１の動作と同様であるので説明を省略する。
【０１４０】
動画圧縮部４３＿２は、フレーム内予測符号化（Ｉモード）またはフレーム間予測符号化（Ｐモード、Ｂモード）によって生成した符号化データ（動画像ファイル）を、ヘッダを含んだ標準フォーマットのパケットに分割して出力する。上述のパケットは、ＤＭＡＣ４４＿２によって、第１メモリ１７の動画ファイル記憶領域に書き込まれる。このとき、ＣＰＵ４５＿２は、ＤＭＡＣ４４＿２のソースアドレスとして、動画圧縮部４３＿２（内部のＦＩＦＯ）のアドレス、デスティネーションアドレスとして第１メモリ１７の動画ファイル記憶領域のアドレス、データ転送数をそれぞれ設定し、データ転送を行えばよい。なお、ＣＰＵ４５＿２は、動画ファイル記憶領域に上述のパケットのデータが一定量蓄積されるごとに、別の動画ファイル記憶領域に記録先を切り替える。なお、動画像ファイルの記録処理は、ＣＰＵ４５＿１の制御によって動作例１の場合と同様に実行される。以上で、動作例２の説明を終了する。
【０１４１】
以下、図８に示す動画撮影モードの動作例２での作用効果を述べる。
【０１４２】
図８に示す動作例２では、各メモリへのアクセスが分散される点、転送先の画像処理回路でメモリの帯域が余計に消費されない点で、上述した動作例１と同様の効果を得ることができる。
【０１４３】
また、上述した動作例２では、第２画像処理回路１５側の動画圧縮部４３＿２が、第２メモリ１８に記憶された参照フレームを用いて符号化処理を行う。そのため、動作例２でシリアルバス１６を通過するデータは、カレントフレームのＹＣｂＣｒデータと、符号化されたデータとなる。シリアルバス１６を通過するデータのうち、符号化されたデータは圧縮されているのでデータ量は少ない。また、動作例２では参照フレームのデータがシリアルバス１６を通過しないので、シリアルバス１６の帯域に余裕が生じる。
【０１４４】
また、動作例２では、動画圧縮部４３＿２が符号化処理を行うため、画像処理回路間で演算負荷の差が小さくなる。そのため、２つの画像処理回路における消費電力の偏りを小さくすることができる。
【０１４５】
（動画撮影モードでの動作例３）
図９（ａ）、（ｂ）は、動画撮影モードにおける電子カメラの動作例３の概略図である。動作例３において、動画記録指示を受け付けるまでの動作は上述する動作例１の場合と同様である。
【０１４６】
動作例３で動画記録指示を受け付けると、ＣＰＵ４５＿１は、第２画像処理回路１５を低消費電力の状態から動作状態（使用する回路ブロックの全てにクロックが供給されている状態）に移行させる。また、ＣＰＵ４５＿１は、撮像部１２に対して、動画の仕様に合った解像度とフレーム周期の組み合わせで動画像のデータを出力するように指示する。また、ＣＰＵ４５＿１は、データ分配器１３の動作を切り替えて、第１画像処理回路１４および第２画像処理回路１５の両方に動画像の各フレームのＢａｙｅｒデータを入力させる。そして、動作例３では、第１画像処理回路１４がライブビュー表示の処理を負担し、第２画像処理回路１５が記録用の動画像へのプリプロセス、ポストプロセス、動画像圧縮処理を負担する。
【０１４７】
図９（ａ）は、動作例３での動画記録時における第１画像処理回路１４による処理の概要を示している。マスタ側の画像処理部４１＿１は、データ分配器１３から入力されたＢａｙｅｒデータにプリプロセス、ポストプロセスを順次施す。このとき、画像処理部４１＿１は、不図示の解像度変換回路によって、プリプロセスの施された動画像のデータに解像度変換を施してスルー画のＹＣｂＣｒデータを生成する。ＣＰＵ４５＿１は、スルー画のＹＣｂＣｒデータを第１メモリ１７のＹｃｂＣｒデータ記憶領域に記録する。そして、表示部２１は、ＣＰＵ４５＿１の制御により、スルー画をライブビュー表示する。なお、ライブビュー表示の動作の詳細は上述した動作例と同様であるため、重複する部分の説明は省略する。また、図９（ａ）において、ライブビュー表示に関するスルー画のデータの流れは一点鎖線の矢印で示す。
【０１４８】
一方、図９（ｂ）は、動作例３での動画記録時における第２画像処理回路１５による処理の概要を示している。スレーブ側の画像処理部４１＿２は、データ分配器１３から入力されたＢａｙｅｒデータにプリプロセス、ポストプロセスを順次施して、カレントフレームのＹＣｂＣｒデータを生成する。ＣＰＵ４５＿２は、カレントフレームのＹＣｂＣｒデータを第２メモリ１８のＹｃｂＣｒデータ記憶領域に記録する。カレントフレームのＹＣｂＣｒデータが生成されると、ＣＰＵ４５＿２は動画圧縮部４３＿２に対して動画圧縮処理を開始する指示を行う。
【０１４９】
上述の指示に応じて、動画圧縮部４３＿２はカレントマクロブロックのデータを要求する。ＤＭＡＣ４４＿２は、メモリコントローラ５０＿２を介して第２メモリ１８のカレントフレーム（ＹＣｂＣｒデータ）からマクロブロックを部分的に読み出し、動画圧縮部４３＿２に転送する。このとき、ＣＰＵ４５＿２は、ＤＭＡＣ４４＿２のソースアドレスとして第２メモリ１８のＹＣｂＣｒデータ記憶領域の先頭アドレス、デスティネーションアドレスとして動画圧縮部４３＿２（内部のＦＩＦＯ）のアドレス、データ転送数をそれぞれ設定し、データ転送を行えばよい。
【０１５０】
一方、ＤＭＡＣ４４＿２は、別のチャネルを使って第２メモリ１８に記憶されている予測用のデータ（参照フレーム記憶領域の参照フレームのデータ）を動画圧縮部４３＿２に転送する。そして、動画圧縮部４３＿２は、上述したＩモード、Ｐモード、Ｂモードのいずれかで符号化を実行する。なお、上述の各モードでの動画圧縮部４３＿２の動作は、動作例１での動画圧縮部４３＿１の動作と同様であるので説明を省略する。
【０１５１】
動画圧縮部４３＿２は、フレーム内予測符号化（Ｉモード）またはフレーム間予測符号化（Ｐモード、Ｂモード）によって生成した符号化データ（動画像ファイル）を、ヘッダを含んだ標準フォーマットのパケットに分割して出力する。上述のパケットは、ＤＭＡＣ４４＿２によって、第２メモリ１８の動画ファイル記憶領域に書き込まれる。このとき、ＣＰＵ４５＿２は、ＤＭＡＣ４４＿２のソースアドレスとして、動画圧縮部４３＿２（内部のＦＩＦＯ）のアドレス、デスティネーションアドレスとして第２メモリ１８の動画ファイル記憶領域のアドレス、データ転送数をそれぞれ設定し、データ転送を行えばよい。なお、ＣＰＵ４５＿２は、動画ファイル記憶領域に上述のパケットのデータが一定量蓄積されるごとに、別の動画ファイル記憶領域に記録先を切り替える。そして、ＣＰＵ４５＿２は、ＣＰＵ４５＿１に対してカレントフレームの符号化完了を通知する。
【０１５２】
ＣＰＵ４５＿１は、上述する符号化完了の通知を受信すると、記録媒体３４への動画像ファイルの記録処理を実行する。このとき、ＣＰＵ４５＿１はＤＭＡＣ４４＿１のソースアドレスとして第２メモリ１８の動画ファイル記憶領域の先頭アドレス、デスティネーションアドレスとしてメディアコントローラ５３＿１（内部のＦＩＦＯ）のアドレス、データ転送数として動画像ファイルのパケットのバイト数をそれぞれ設定し、データ転送を開始させる。データ転送が開始されると、上述した動画ファイル記憶領域から動画像ファイルのデータが読み出されてメディアコントローラ５３＿１に入り、次いで記録媒体３４に送られて記録媒体３４内部の記録領域に記録される。なお、図９（ｂ）において、カレントフレーム、参照フレーム、動画像ファイルのデータの流れは、それぞれ一点鎖線の矢印で示す。
【０１５３】
図９に示す動作例３では、各メモリへのアクセスが分散される点、転送先の画像処理回路でメモリの帯域が余計に消費されない点で、上記の動作例１と同様の効果を得ることができる。
【０１５４】
また、上記の動作例３では、第２画像処理回路１５で生成されたカレントフレームのＹＣｂＣｒデータが第２メモリ１８のＹＣｂＣｒデータ記憶領域に記憶される。そして、上記の動作例３では、動画圧縮部４３＿２が、第２メモリ１８に記憶された参照フレームを用いて符号化処理を行う。すなわち、動作例３においてシリアルバス１６を通過するデータは符号化されたデータのみとなるので、２つの画像処理回路を接続するシリアルバス１６の帯域が比較的小さくても、動画像のデータの並列処理を容易に行うことができる。
【０１５５】
また、上記の動作例３では、動画像の圧縮処理をすべて第２画像処理回路１５で行い、電子カメラの動画撮影時の全体的な制御を第１画像処理回路１４が負担する。よって、動作例３では、動画像の画像処理がシステム全体に及ぼす影響を比較的小さくできる。
【０１５６】
（動画撮影モードでの動作例４）
図１０は、動画撮影モードにおける電子カメラの動作例４の概略図である。この動作例４は、図９に示す動作例３の変形例であって、ＤＭＡＣ４４＿２が、動画圧縮部４３＿２から出力された符号化データを第１メモリ１７の動画ファイル記憶領域に書き込む点で動作例３と相違する。なお、図１０では、動画像ファイルのデータの流れを一点鎖線の矢印で示す。
【０１５７】
この動作例４によれば、動画像ファイルのデータを第１メモリ１７に記憶させる分、第２メモリ１８から第１メモリ１７にアクセスが分散する。そのため、上記の動作例３の場合と比べて、第２メモリ１８へのアクセス量を緩和できる。
【０１５８】
（動画撮影モードでの動作例５）
図１１は、動画撮影モードにおける電子カメラの動作例５の概略図である。この動作例５は、動画像に音声データを対応づけて動画像ファイルを生成する例である。動作例５において、動画記録指示を受け付けるまでの動作は上述する動作例１の場合と同様である。
【０１５９】
動作例５で動画記録指示を受け付けると、ＣＰＵ４５＿１は、第２画像処理回路１５を低消費電力の状態から動作状態（使用する回路ブロックの全てにクロックが供給されている状態）に移行させる。また、ＣＰＵ４５＿１は、撮像部１２に対して、動画の仕様に合った解像度とフレーム周期の組み合わせで動画像のデータを出力するように指示する。また、ＣＰＵ４５＿１は、データ分配器１３の動作を切り替えて、第１画像処理回路１４および第２画像処理回路１５の両方に動画像の各フレームのＢａｙｅｒデータを入力させる。そして、第１画像処理回路１４は、上述の動作例３と同様の処理により、表示部２１でライブビュー表示を行う。また、ＣＰＵ４５＿１は、音声信号処理部２７による録音処理を開始させる。
【０１６０】
スレーブ側の画像処理部４１＿２は、データ分配器１３から入力されたＢａｙｅｒデータにプリプロセス、ポストプロセスを順次施して、カレントフレームのＹＣｂＣｒデータを生成する。ＣＰＵ４５＿２は、カレントフレームのＹＣｂＣｒデータを第２メモリ１８のＹｃｂＣｒデータ記憶領域に記録する。カレントフレームのＹＣｂＣｒデータが生成されると、ＣＰＵ４５＿２は動画圧縮部４３＿２に対して動画圧縮処理を開始する指示を行う。なお、動画圧縮部４３＿２による動画圧縮処理の動作は、上述の動作例３とほぼ同様であるので、重複する部分の説明は省略する。
【０１６１】
一方、録音処理によって音声信号処理部２７から出力される音声データは、データ分配器１３を介して、第２画像処理回路１５に入力される。上記の音声データは、非圧縮のデータ（リニアＰＣＭ）であってもよく、不図示の音声圧縮部で圧縮されたデータであってもよい。ＣＰＵ４５＿２は、入力された音声データを第２メモリ１８の音声データ記憶領域に一時的に記憶する。図１１において、音声データの流れを一点鎖線の矢印で示す。
【０１６２】
そして、ＣＰＵ４５＿２は、動画圧縮処理によって圧縮された画像データと、上述する音声データとを多重化して１つの圧縮ＡＶデータ（ＡＶコードストリーム）を生成する。このとき、ＣＰＵ４５＿２は、上述する圧縮ＡＶデータを第１メモリ１７の動画ファイル記録領域に記憶する。上述の圧縮ＡＶデータは、ＤＭＡＣ４４＿２によって、第１メモリ１７の動画ファイル記憶領域に書き込まれる。このとき、ＣＰＵ４５＿２は、ＤＭＡＣ４４＿２のソースアドレスとして、動画圧縮部４３＿２（内部のＦＩＦＯ）のアドレス、デスティネーションアドレスとして第１メモリ１７の動画ファイル記憶領域のアドレス、データ転送数をそれぞれ設定し、データ転送を行えばよい。なお、ＣＰＵ４５＿２は、動画ファイル記憶領域に上述のパケットのデータが一定量蓄積されるごとに、別の動画ファイル記憶領域に記録先を切り替える。なお、動画像ファイルの記録処理は、ＣＰＵ４５＿１の制御によって動作例１の場合と同様に実行される。以上で、動作例５の説明を終了する。
【０１６３】
この動作例５によれば、上記の動作例４と同様の効果に加えて、音声データが付与された動画像を記録媒体３４に記録することができる。
【０１６４】
（動画撮影モードでの動作例６）
図１２は、動画撮影モードにおける電子カメラの動作例６の概略図である。この動作例６は、上記の動作例５の変形例であって、第１画像処理回路１４からシリアルバス１６を介して第２画像処理回路１５に音声データを入力する点で動作例５と相違する。図１２において、音声データの流れを一点鎖線の矢印で示す。
【０１６５】
この動作例６の構成では、音声信号処理部２７を第１画像処理回路１４とのみ接続すればよく、第２画像処理回路１５に音声データを入力する構成が不要となる。そのため、動作例６の構成によれば、電子カメラのハードウェア構成をより簡素化できる。なお、シリアルバス１６のデータ通信において、音声データのビットレートは画像データのビットレートよりも著しく低いので、音声データはシリアルバス１６の帯域をさほど消費しない。よって、上記の動作例６において、音声データの送信が画像処理回路間の通信に悪影響を及ぼすおそれは極めて低いと考えられる。
【０１６６】
＜実施形態の補足事項＞
（１）  上記実施形態では、記録用の画像を撮像する撮像素子３１でＡＦおよびＡＥを行ういわゆるコンパクト型電子カメラの例を説明したが、本発明の撮像装置は一眼レフレックス型の電子カメラにも当然に適用できる。
【０１６７】
（２）  上記実施形態では、静止画の連写撮影時および動画撮影時に２つの画像処理回路を用いて処理を行う例を説明した。しかし、静止画の連写速度が低い場合や静止画の解像度が低い場合には、連写撮影時でも第２画像処理回路１５を電源オフまたは低消費電力の状態としてもよい。同様に、動画像のフレームレートが低い場合や解像度が低い場合には、動画撮影時でも第２画像処理回路１５を電源オフまたは低消費電力の状態としてもよい。
【０１６８】
（３）  上記実施形態において、動画圧縮部４３は、Ｈ．２６４以外の動画圧縮規格（ＭＰＥＧ２など）で動画像の符号化を行ってもよい。
【０１６９】
（４）  動画撮影モードの動作例５，６において、電子カメラは、圧縮ＡＶデータを第２メモリ１８の動画ファイル記憶領域に一時的に記憶してもよい。
【０１７０】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。
【符号の説明】
【０１７１】
１１…撮影光学系、１２…撮像部、１３…データ分配器、１４…第１画像処理回路、１５…第２画像処理回路、１６…シリアルバス、１７…第１メモリ、１８…第２メモリ、１９…第１フラッシュメモリ、２０…第２フラッシュメモリ、２１…表示部、２２…外部Ｉ／Ｆコネクタ、２３…メディアコネクタ、２４…レリーズ釦、２５…操作釦、２７…音声信号処理部、３１…撮像素子、３２…ＡＦＥ部、３４…記録媒体、４１…画像処理部、４２…静止画圧縮部、４３…動画圧縮部、４４…ＤＭＡＣ、４５…ＣＰＵ、４６…割込コントローラ、４７…内蔵メモリ、４８…表示コントローラ、４９…ＧＰＩＯ部、５０…メモリコントローラ、５１…フラッシュメモリコントローラ、５２…外部Ｉ／Ｆコントローラ、５３…メディアコントローラ、５４…音声Ｉ／Ｆ、５５…内部バス、５６…バスブリッジ
【図１】
2013211715.tif 000003
【図２】
2013211715.tif 000004
【図３】
2013211715.tif 000005
【図４】
2013211715.tif 000006
【図５】
2013211715.tif 000007
【図６】
2013211715.tif 000008
【図７】
2013211715.tif 000009
【図８】
2013211715.tif 000010
【図９】
2013211715.tif 000011
【図１０】
2013211715.tif 000012
【図１１】
2013211715.tif 000013
【図１２】
2013211715.tif 000014