(57)【要約】【課題】撮影に不足する情報をサブカメラにアシストさせることができる撮像装置、撮像システム、撮像方法およびプログラムを提供する。【解決手段】第１撮像装置１０は、第２撮像装置２０の撮影によって第１撮像部１１の撮影をアシストさせるための第２撮影条件を設定する設定部１７２と、第１通信部１６を介して設定部１７２が設定した第２撮影条件を第２撮像装置２０に送信する第１通信制御部１７３と、第１通信部１６を介して第２撮影条件で第２撮像装置が撮影して生成した第２画像データを受信した場合、第１画像データと第２画像データとを合成した合成画像データまたは第１画像データに第２画像データを重畳した重畳画像データを生成する第１画像処理部１７７と、第１画像処理部１７７が生成した合成画像または重畳画像を表示する表示部１２と、を備える。【選択図】図２
2016143915.tif 000002
【特許請求の範囲】
【請求項１】
被写体を所定の第１撮影条件で撮像し、該被写体の第１画像データを生成する第１撮像部と、
前記被写体を撮像し、該被写体の第２画像データを生成可能な第２撮像装置と相互に通信可能な第１通信部と、
前記第２撮像装置の撮影によって前記第１撮像部の撮影をアシストさせるための第２撮影条件を設定する設定部と、
前記第１通信部を介して前記設定部が設定した前記第２撮影条件を前記第２撮像装置に送信する第１通信制御部と、
前記第１通信部を介して前記第２撮影条件で前記第２撮像装置が撮影して生成した第２画像データを受信した場合、前記第１画像データと前記第２画像データとを合成した合成画像データまたは前記第２画像データに前記第１画像データを重畳した重畳画像データを生成する画像処理部と、
前記画像処理部が生成した前記合成画像データに対応する合成画像または前記重畳画像データに対応する重畳画像を表示する表示部と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記第２撮影条件は、露出値、ピント情報、当該撮像装置の撮影状態、撮影タイミング、シャッタスピードおよびフレームレートのいずれか一つ以上であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１撮像部が生成した前記第１画像データに基づいて、前記第２撮像装置の撮影によって前記第１撮像部の撮影をアシストが必要であるか否かを判定する判定部をさらに備え、
前記設定部は、前記判定部の判定結果に基づいて、前記第２撮影条件を設定することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記判定部は、前記第１撮像部が生成した前記第１画像データの露出が適正露出であるか否かを判定し、
前記設定部は、前記判定部によって前記適正露出でないと判定された場合、前記第２撮影条件として前記第１画像データに対応する第１画像が前記適正露出になる露出値を設定することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記判定部は、前記第１撮像部が生成した前記第１画像データに対応する第１画像内に複数の被写体が含まれているか否かを判定し、
前記設定部は、前記判定部によって前記第１画像内に複数の被写体が含まれていると判定された場合、前記第２撮影条件として前記第１撮像部がピントを合わせている主被写体以外の被写体毎にピントが合うピント情報を設定することを特徴とする請求項３に記載の撮像装置。
【請求項６】
前記第１撮像部は、前記第１画像データを連続的に生成し、
前記判定部は、前記第１撮像部が生成した時間的に前後する前記第１画像データに基づいて、前記第１撮像部の視野領域が変化しているか否かを判定し、
前記設定部は、前記判定部によって前記視野領域が変化していると判定された場合、前記第１撮影条件として第１シャッタスピードを設定し、前記第２撮影条件として前記第１シャッタスピードより低速な第２シャッタスピードであって、前記第１撮像部より露光開始タイミングが早く、前記第１シャッタスピードの撮影による露光終了タイミングと一致する第２シャッタスピードを設定することを特徴とする請求項３に記載の撮像装置。
【請求項７】
前記判定部は、前記第１撮像部が静止画像の連写撮影を行っているか否かを判定し、
前記設定部は、前記判定部によって前記第１撮像部が前記連写撮影を行っていると判定された場合、前記第２撮影条件として前記第１撮像部が１つの前記静止画像の撮影を行ってから次の前記静止画像の撮影を行うまでのブラックアウト期間において前記第１撮像部が前記連写撮影を開始する直前のフレームレートを設定することを特徴とする請求項３に記載の撮像装置。
【請求項８】
前記設定部は、前記第２撮影条件として前記第１撮像部の撮影タイミングと一致する撮影タイミングをさらに設定することを特徴とする請求項１〜６のいずれか一つに記載の撮像装置。
【請求項９】
前記第１撮像部の撮影領域は、少なくとも前記第２撮像装置の撮影領域の一部と重なることを特徴とする請求項１〜８のいずれか一つに記載の撮像装置。
【請求項１０】
被写体を撮像し、該被写体の第２画像データを生成可能な第２撮像部と、
前記被写体を所定の第１撮影条件で撮像し、該被写体の第１画像データを生成する第１撮像装置と相互に通信可能な第２通信部と、
前記第２通信部を介して前記第１撮像装置から前記第２撮像部の撮影によって前記第１撮像装置の撮影をアシストさせるための第２撮影条件を受信した場合、該第２撮影条件で前記第２撮像部に撮影を実行させる第２撮影制御部と、
前記第２通信部を介して前記第２撮像部が生成した前記第２画像データを前記第１撮像装置に送信する第２通信制御部と、
を備えたことを特徴とする撮像装置。
【請求項１１】
各々が被写体を撮像し、該被写体の画像データを生成する第１撮像装置および第２撮像装置を備え、第１撮像装置および第２撮像装置が連携しながら撮影する撮影システムにおいて、
前記被写体を所定の第１撮影条件で撮像し、該被写体の第１画像データを生成する第１撮像部と、
前記被写体を撮像し、該被写体の第１画像データを生成可能な第２撮像装置と相互に通信可能な第１通信部と、
前記第２撮像装置の撮影によって前記第１撮像部の撮影をアシストさせるための第２撮影条件を設定する設定部と、
前記第１通信部を介して前記設定部が設定した前記第２撮影条件を前記第２撮像装置に送信する第１通信制御部と、
前記第１通信部を介して前記第２撮影条件で前記第２撮像装置が撮影して生成した第２画像データを受信した場合、前記第１画像データと前記第２画像データとを合成した合成画像データまたは前記第２画像データに前記第１画像データを重畳した重畳画像データを生成する画像処理部と、
前記画像処理部が生成した前記合成画像データに対応する合成画像または前記重畳画像データに対応する重畳画像を表示する表示部と、
を備えたことを特徴とする撮像システム。
【請求項１２】
被写体を所定の第１撮影条件で撮像し、該被写体の第１画像データを生成する第１撮像部と、前記被写体を撮像し、該被写体の第２画像データを生成可能な第２撮像装置と相互に通信可能な第１通信部と、を備えた撮像装置が実行する撮像方法であって、
前記第２撮像装置の撮影によって前記第１撮像部の撮影をアシストさせるための第２撮影条件を設定する設定ステップと、
前記第１通信部を介して前記設定ステップが設定した前記第２撮影条件を前記第２撮像装置に送信する第１通信制御ステップと、
前記第１通信部を介して前記第２撮影条件で前記第２撮像装置が撮影して生成した第２画像データを受信した場合、前記第１画像データと前記第２画像データとを合成した合成画像データまたは前記第２画像データに前記第１画像データを重畳した重畳画像データを生成する画像処理ステップと、
前記画像処理ステップにおいて生成した前記合成画像データに対応する合成画像または前記重畳画像データに対応する重畳画像を表示する表示ステップと、
を含むことを特徴とする撮像方法。
【請求項１３】
被写体を所定の第１撮影条件で撮像し、該被写体の第１画像データを生成する第１撮像部と、前記被写体を撮像し、該被写体の第２画像データを生成可能な第２撮像装置と相互に通信可能な第１通信部と、を備えた撮像装置に、
前記第２撮像装置の撮影によって前記第１撮像部の撮影をアシストさせるための第２撮影条件を設定する設定ステップと、
前記第１通信部を介して前記設定ステップが設定した前記第２撮影条件を前記第２撮像装置に送信する第１通信制御ステップと、
前記第１通信部を介して前記第２撮影条件で前記第２撮像装置が撮影して生成した第２画像データを受信した場合、前記第１画像データと前記第２画像データとを合成した合成画像データまたは前記第２画像データに前記第１画像データを重畳した重畳画像データを生成する画像処理ステップと、
前記画像処理ステップにおいて生成した前記合成画像データに対応する合成画像または前記重畳画像データに対応する重畳画像を表示する表示ステップと、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮像して該被写体の画像データを生成する撮像装置、撮像システム、撮像方法およびプログラムに関する。
【背景技術】
【０００２】
近年、複数の撮像装置を用いて３次元画像を生成する技術が知られている（特許文献１参照）。この技術では、メインカメラで生成したメイン画像と、通信部を介してサブカメラから送信されたサブ画像を生成した際の撮影情報とに基づいて、サブカメラの制御に関する撮影情報を決定し、この撮影情報をサブカメラに送信することで、メインカメラとサブカメラとを連携させながら撮影を行うことによって、３次元画像を生成する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１６２３４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、近年、メインカメラとサブカメラとを連携させながら撮影する場合、撮影時の状況によっては、メインカメラの撮影に対して不足する情報を、サブカメラにアシストさせたいと言う要望がある。しかしながら、上述した特許文献１では、３次元画像の撮影しか考慮されていなかった。
【０００５】
本発明は、上記に鑑みてなされたものであって、撮影に不足する情報をサブカメラにアシストさせる撮像装置、撮像システム、撮像方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、被写体を所定の第１撮影条件で撮像し、該被写体の第１画像データを生成する第１撮像部と、前記被写体を撮像し、該被写体の第２画像データを生成可能な第２撮像装置と相互に通信可能な第１通信部と、前記第２撮像装置の撮影によって前記第１撮像部の撮影をアシストさせるための第２撮影条件を設定する設定部と、前記第１通信部を介して前記設定部が設定した前記第２撮影条件を前記第２撮像装置に送信する第１通信制御部と、前記第１通信部を介して前記第２撮影条件で前記第２撮像装置が撮影して生成した第２画像データを受信した場合、前記第１画像データと前記第２画像データとを合成した合成画像データまたは前記第２画像データに前記第１画像データを重畳した重畳画像データを生成する画像処理部と、前記画像処理部が生成した前記合成画像データに対応する合成画像または前記重畳画像データに対応する重畳画像を表示する表示部と、を備えたことを特徴とする。
【０００７】
また、本発明に係る撮像装置は、被写体を撮像し、該被写体の第２画像データを生成可能な第２撮像部と、前記被写体を所定の第１撮影条件で撮像し、該被写体の第１画像データを生成する第１撮像装置と相互に通信可能な第２通信部と、前記第２通信部を介して前記第１撮像装置から前記第２撮像部の撮影によって前記第１撮像装置の撮影をアシストさせるための第２撮影条件を受信した場合、該第２撮影条件で前記第２撮像部に撮影を実行させる第２撮影制御部と、前記第２通信部を介して前記第２撮像部が生成した前記第２画像データを前記第１撮像装置に送信する第２通信制御部と、を備えたことを特徴とする。
【０００８】
また、本発明に係る撮像システムは、各々が被写体を撮像し、該被写体の画像データを生成する第１撮像装置および第２撮像装置を備え、第１撮像装置および第２撮像装置が連携しながら撮影する撮影システムにおいて、前記被写体を所定の第１撮影条件で撮像し、該被写体の第１画像データを生成する第１撮像部と、前記被写体を撮像し、該被写体の第１画像データを生成可能な第２撮像装置と相互に通信可能な第１通信部と、前記第２撮像装置の撮影によって前記第１撮像部の撮影をアシストさせるための第２撮影条件を設定する設定部と、前記第１通信部を介して前記設定部が設定した前記第２撮影条件を前記第２撮像装置に送信する第１通信制御部と、前記第１通信部を介して前記第２撮影条件で前記第２撮像装置が撮影して生成した第２画像データを受信した場合、前記第１画像データと前記第２画像データとを合成した合成画像データまたは前記第２画像データに前記第１画像データを重畳した重畳画像データを生成する画像処理部と、前記画像処理部が生成した前記合成画像データに対応する合成画像または前記重畳画像データに対応する重畳画像を表示する表示部と、を備えたことを特徴とする。
【０００９】
また、本発明に係る撮像方法は、被写体を所定の第１撮影条件で撮像し、該被写体の第１画像データを生成する第１撮像部と、前記被写体を撮像し、該被写体の第２画像データを生成可能な第２撮像装置と相互に通信可能な第１通信部と、を備えた撮像装置が実行する撮像方法であって、前記第２撮像装置の撮影によって前記第１撮像部の撮影をアシストさせるための第２撮影条件を設定する設定ステップと、前記第１通信部を介して前記設定ステップが設定した前記第２撮影条件を前記第２撮像装置に送信する第１通信制御ステップと、前記第１通信部を介して前記第２撮影条件で前記第２撮像装置が撮影して生成した第２画像データを受信した場合、前記第１画像データと前記第２画像データとを合成した合成画像データまたは前記第２画像データに前記第１画像データを重畳した重畳画像データを生成する画像処理ステップと、前記画像処理ステップにおいて生成した前記合成画像データに対応する合成画像または前記重畳画像データに対応する重畳画像を表示する表示ステップと、を含むことを特徴とする。
【００１０】
また、本発明に係るプログラムは、被写体を所定の第１撮影条件で撮像し、該被写体の第１画像データを生成する第１撮像部と、前記被写体を撮像し、該被写体の第２画像データを生成可能な第２撮像装置と相互に通信可能な第１通信部と、を備えた撮像装置に、
前記第２撮像装置の撮影によって前記第１撮像部の撮影をアシストさせるための第２撮影条件を設定する設定ステップと、前記第１通信部を介して前記設定ステップが設定した前記第２撮影条件を前記第２撮像装置に送信する第１通信制御ステップと、前記第１通信部を介して前記第２撮影条件で前記第２撮像装置が撮影して生成した第２画像データを受信した場合、前記第１画像データと前記第２画像データとを合成した合成画像データまたは前記第２画像データに前記第１画像データを重畳した重畳画像データを生成する画像処理ステップと、前記画像処理ステップにおいて生成した前記合成画像データに対応する合成画像または前記重畳画像データに対応する重畳画像を表示する表示ステップと、を実行させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、撮影に不足する情報をサブカメラにアシストさせることができるという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の一実施の形態に係る撮像システムの概略構成図である。
【図２】図２は、本発明の一実施の形態に係る撮像システムの機能構成を示すブロック図である。
【図３】図３は、本発明の一実施の形態に係る第１撮像装置が実行する処理の概要を示すフローチャートである。
【図４】図４は、本発明の一実施の形態に係る第１画像処理部が行うＨＤＲライブビュー画像合成処理の概要を説明する図である。
【図５】図５は、本発明の一実施の形態に係る第１撮像装置が生成したライブビュー画像に含まれる輝度のヒストグラムを示す図である。
【図６】図６は、本発明の一実施の形態に係る判定部がライブビュー画像に含まれる被写体の判定方法を模式的に示す図である。
【図７】図７は、図３のアシスト処理の概要を示すフローチャートである。
【図８】図８は、本発明の一実施の形態に係る第１画像処理部が生成する深度合成処理の概要を説明する図である。
【図９】図９は、本発明の一実施の形態に係る第１画像処理部が実行する流し撮り合成画像処理の概要を説明する図である。
【図１０】図１０は、本発明の一実施の形態に係る第１撮像装置と第２撮像装置それぞれの撮影タイミングを示す図である。
【図１１】図１１は、本発明の一実施の形態に係る第１画像処理部が行う画像処理の概要を説明する図である。
【図１２】図１２は、本発明の一実施の形態に係る第２撮像装置が実行する処理の概要を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。
【００１４】
〔撮像システムの概略構成〕
図１は、本発明の一実施の形態に係る撮像システムの概略構成図である。図２は、本発明の一実施の形態に係る撮像システムの機能構成を示すブロック図である。
【００１５】
図１に示す撮像システム１は、被写体を撮像し、被写体の画像データを撮像する第１撮像装置１０（メインカメラ）と、第１撮像装置１０に着脱自在に接続、または双方向に通信可能な無線によって接続され、第１撮像装置１０の撮影をアシストするための撮影を行う第２撮像装置２０（サブカメラ）と、を備える。
【００１６】
〔第１撮像装置の構成〕
まず、第１撮像装置１０（メインカメラ）の構成について説明する。第１撮像装置１０は、第１撮像部１１と、表示部１２と、第１操作部１３と、タッチパネル１４と、第１記録部１５と、第１通信部１６と、を備える。
【００１７】
第１撮像部１１は、第１制御部１７の制御のもと、被写体を撮像し、被写体の画像データ（第１画像データ）を連続的に生成する。第１撮像部１１は、光学系１１１と、絞り１１２と、シャッタ１１３と、撮像素子１１４と、第１駆動部１１５と、を有する。光学系１１１は、少なくともフォーカスレンズおよびズームレンズを有し、被写体像を撮像素子１１４の受光面に結像する。光学系１１１は、第１光軸Ｌ１に沿って移動可能に設けられる。絞り１１２は、光学系１１１が集光した光の入射量を制限することで露出の調整を行う。シャッタ１１３は、フォーカルプレーンシャッタ等を用いて構成され、撮像素子１１４の状態を露光状態または遮光状態に設定する。撮像素子１１４は、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）等を用いて構成され、光学系１１１が結像した被写体像を受光して光電変換を行うことによって被写体の画像データを生成する。第１駆動部１１５は、第１制御部１７の制御のもと、駆動することによって、光学系１１１を第１光軸Ｌ１に沿って移動させたり、絞り１１２の絞り量の調整（Ｆ値の調整）を行ったり、およびシャッタ１１３の開閉を行う。第１駆動部１１５は、例えばステッピングモータやボイスコイルモータ等を用いて構成される。
【００１８】
表示部１２は、第１制御部１７の制御のもと、第１撮像部１１が生成した画像データに対応する画像を表示する。表示部１２は、液晶や有機ＥＬ（Electro  Luminescence）の表示パネル等を用いて構成される。また、表示部１２は、第１撮像装置１０および第２撮像装置２０に関する各種情報を表示する。
【００１９】
第１操作部１３は、第１撮像装置１０の各種操作に関する信号の入力を受け付ける。第１操作部１３は、レリーズスイッチ、モードスイッチ、電源スイッチおよび再生スイッチ等を用いて構成される。
【００２０】
タッチパネル１４は、表示部１２の表示領域に重畳して設けられ、外部からの物体が接触した接触位置に応じた信号の入力を受け付け、この信号を第１制御部１７へ出力する。
【００２１】
第１記録部１５は、第１撮像装置１０に関する各種情報、第１撮像装置１０が実行するプログラム、プログラムの実行中における各種情報、第１撮像部１１が生成した画像データ等を記録する。第１記録部１５は、揮発性メモリや不揮発性メモリおよび外部から装着可能なメモリカード等の記録媒体等を用いて構成される。
【００２２】
第１通信部１６は、第１制御部１７の制御のもと、第２撮像装置２０または外部機器、例えば携帯電話との間で通信に必要な信号を含む各種データの無線通信を所定のプロトコルに従って行う。具体的には、第１通信部１６は、第１撮像部１１が生成した画像データを補助する情報を第２撮像装置２０へ送信する。また、第１通信部１６は、Ｗｉ-Ｆｉ（Wireless  Fidelity）（登録商標）通信、またはＢｌｕｅｔｏｏｔｈ（登録商標）通信を採用している。なお、第１通信部１６は、Ｗｉ-Ｆｉ通信の他、４Ｇ無線や３Ｇ無線を利用した通信や、ＷｉＭＡＸ（Worldwide  Interoperability  for  Microwave  Access）通信等、他の通信を採用しても構わない。
【００２３】
第１制御部１７は、第１撮像装置１０を構成する各部を統括的に制御する。第１制御部１７は、ＣＰＵ（Central  Processing  Unit）等を用いて構成される。ここで、第１制御部１７の詳細な構成について説明する。第１制御部１７は、判定部１７１と、設定部１７２と、第１通信制御部１７３と、第１ＡＥ部１７４と、第１ＡＦ部１７５と、第１撮像制御部１７６と、第１画像処理部１７７と、表示制御部１７８と、を有する。
【００２４】
判定部１７１は、第１撮像部１１が生成した第１画像データに基づいて、第２撮像装置２０の撮影によって第１撮像部１１の撮影をアシストが必要であるか否かを判定する。具体的には、判定部１７１は、第１撮像部１１が生成した第１画像データに基づいて、第１撮像部１１による撮影が適正露出であるか否かを判定する。より具体的には、判定部１７１は、第１撮像部１１が生成した第１画像データに対応する第１画像に含まれる輝度のヒストグラムに基づいて、第１撮像部１１による撮影が適正露出であるか否かを判定する。また、判定部１７１は、第１撮像部１１が生成した第１画像データに対応する第１画像内に複数の被写体が含まれているか否かを判定する。具体的には、判定部１７１は、第１画像に対して周知のパターンマッチング等を用いて被写体の顔を検出し、この検出した顔が複数あるか否かを判定することによって、第１画像内に複数の被写体が含まれているか否かを判定する。
【００２５】
また、判定部１７１は、第１撮像部１１が生成した時間的に前後する第１画像データに基づいて、第１撮像部１１の視野領域が変化しているか否かを判定する。具体的には、判定部１７１は、第１撮像部１１が生成した時間的に前後する２つの第１画像の類似度が所定の閾値以上である場合、第１撮像部１１の視野領域が変化していないと判定する一方、第１撮像部１１が生成した時間的に前後する２つの第１画像の類似度が所定の閾値未満の場合、第１撮像部１１の視野領域が変化していると判定する。さらにまた、判定部１７１は、第１撮像部１１が静止画像の連写撮影を行っているか否かを判定する。具体的には、判定部１７１は、第１操作部１３から静止画撮影を指示するレリーズ信号が入力され続けている場合、第１撮像部１１が静止画像の連写撮影を行っていると判定する。
【００２６】
設定部１７２は、第２撮像装置２０の撮影によって第１撮像部１１の撮影をアシストさせるための第２撮影条件を設定する。ここで、第２撮影条件とは、露出値、ピント情報、前記第１撮像装置の状態、撮影タイミング、シャッタスピードおよびフレームレートのいずれか一つ以上である。具体的には、設定部１７２は、判定部１７１によって第１撮像部１１による撮影が適正露出でないと判定された場合、前記第２撮影条件として前記第１画像データに対応する第１画像が適正露出になる露出値を設定する。また、設定部１７２は、判定部１７１によって第１撮像部１１が生成した第１画像データに対応する第１画像内に複数の被写体が含まれていると判定された場合、第２撮影条件として第１撮像部１１がピントを合わせている主被写体以外の被写体毎にピントが合うピント情報を設定する。
【００２７】
また、設定部１７２は、判定部１７１によって第１撮像部１１の視野領域が変化していると判定された場合、第１撮像部１１の第１撮影条件として第１シャッタスピードを設定し、第２撮影条件として第１シャッタスピードより低速な第２シャッタスピードであって、第１撮像部１１より露光開始タイミングが早く、第１シャッタスピードの撮影による露光終了タイミングと一致する第２シャッタスピードを設定する。さらにまた、設定部１７２は、判定部１７１によって第１撮像部１１が連写撮影を行っていると判定された場合、第２撮影条件として第１撮像部１１が１つの静止画像の撮影を行ってから次の静止画像の撮影を行うまでのブラックアウト期間において第１撮像部１１が連写撮影を開始する直前のフレームレートを設定する。
【００２８】
第１通信制御部１７３は、第１通信部１６を介して設定部１７２が設定した第２撮影条件を第２撮像装置２０に送信する。また、第１通信制御部１７３は、第１通信部１６を介して第１撮像装置１０の撮影をアシストさせるための要求信号を送信する。
【００２９】
第１ＡＥ部１７４は、第１撮像部１１が生成した画像データに基づいて、第１撮像装置１０が静止画撮影を行う際の露出条件を設定する。具体的には、第１ＡＥ部１７４は、画像データから輝度を算出し、算出した輝度に基づいて、例えば絞り値、露光時間、ＩＳＯ感度等を決定することで第１撮像装置１０の自動露出（Ａｕｔｏ  Ｅｘｐｏｓｕｒｅ）を行う。
【００３０】
第１ＡＦ部１７５は、第１撮像部１１が生成した画像データに基づいて、第１撮像装置１０が撮影を行う際の自動焦点の調整を行う。例えば、第１ＡＦ部１７５は、画像データから高周波成分の信号を取り出し、高周波成分の信号に対してＡＦ(Ａｕｔｏ  Ｆｏｃｕｓ)演算処理を行うことによって、第１撮像部１１の合焦評価を決定することで第１撮像装置１０の自動焦点の調整を行う。なお、第１撮像装置１０の自動焦点の調整方法は、撮像素子１１４で位相差信号を取得するものであってもよい。
【００３１】
第１撮像制御部１７６は、第１操作部１３から静止画撮影を指示する指示信号が入力された場合、第１撮像装置１０における撮影動作を開始する制御を行う。ここで、第１撮像装置１０における撮影動作とは、撮像素子１１４が出力した画像データに対し、第１画像処理部１７７が所定の画像処理を施す動作をいう。このように処理が施された画像データは、第１撮像制御部１７６の制御のもと、第１記録部１５に記録される。
【００３２】
第１画像処理部１７７は、第１撮像部１１が生成した画像データに対して、所定の画像処理を行う。ここで、所定の画像処理とは、少なくともＡ／Ｄ変換処理、オプティカルブラック減算処理、ホワイトバランス調整処理、撮像素子１１４がベイヤー配列の場合には画像データの同時化処理、カラーマトリクス演算処理、γ補正処理、色再現処理およびエッジ強調処理等を含む基本の画像処理を行う。また、第１画像処理部１７７は、第１撮像部１１が第１撮影条件で生成した第１画像データと、第２撮像装置２０が第２撮影条件で撮影して生成した第２画像データとを合成した合成画像データまたは第１撮像部１１が第１撮影条件で生成した第１画像データに第２撮像装置２０が第２撮影条件で撮影して生成した第２画像データを重畳した重畳画像データを生成する。
【００３３】
表示制御部１７８は、第１画像処理部１７７が画像処理を施した画像および第１撮像装置１０に関する各種情報を表示部１２に表示させる。また、表示制御部１７８は、第２撮像装置２０から送信された画像や情報を表示部１２に表示させる。
【００３４】
〔第２撮像装置の構成〕
次に、第２撮像装置２０の構成について説明する。第２撮像装置２０は、第２撮像部２１と、第２操作部２２と、第２記録部２３と、第２通信部２４と、第２制御部２５と、を備える。
【００３５】
第２撮像部２１は、少なくとも第１撮像部１１の視野領域の一部と重なる領域を撮像し、この視野領域の画像データを連続的に生成する。第２撮像部２１は、上述した第１撮像部１１と同様の構成を有し、光学系２１１と、絞り２１２と、シャッタ２１３と、撮像素子２１４と、第２駆動部２１５と、を有する。光学系２１１は、少なくともフォーカスレンズおよびズームレンズを有し、被写体像を撮像素子２１４の受光面に結像する。光学系２１１は、第２光軸Ｌ２に沿って移動可能に設けられる。絞り２１２は、光学系２１１が集光した光の入射量を制限することで露出の調整を行う。シャッタ２１３は、フォーカルプレーンシャッタ等を用いて構成され、撮像素子２１４の状態を露光状態または遮光状態に設定する。撮像素子２１４は、ＣＣＤやＣＭＯＳ等を用いて構成され、光学系２１１が結像した被写体像を受光して光電変換を行うことによって被写体の画像データを生成する。第２駆動部２１５は、第２制御部２５の制御のもと、駆動することによって、光学系２１１を第２光軸Ｌ２に沿って移動させたり、絞り２１２の絞り量の調整（Ｆ値の調整）を行ったり、およびシャッタ２１３の開閉を行う。第２駆動部２１５は、例えばステッピングモータやボイスコイルモータ等を用いて構成される。
【００３６】
第２操作部２２は、上述した第１操作部１３と同様の機能を有し、第２撮像装置２０の各種操作に関する信号の入力を受け付ける。
【００３７】
第２記録部２３は、上述した第１記録部１５と同様の機能を有し、第２撮像装置２０に関する各種情報、第２撮像装置２０が実行するプログラムおよび第２撮像部２１が生成した画像データ等を記録する。
【００３８】
第２通信部２４は、第２制御部２５の制御のもと、第１撮像装置１０または外部機器との間で通信に必要な信号を含む各種データの無線通信を所定のプロトコルに従って行う。第２通信部２４は、上述した第１通信部１６と同様の通信方式を用いて無線通信を行う。
【００３９】
第２制御部２５は、上述した第１制御部１７と同様の機能を有し、第２撮像装置２０を構成する各部を統括的に制御する。第２制御部２５は、ＣＰＵ等を用いて構成される。ここで、第２制御部２５は、第２通信制御部２５１と、第２ＡＥ部２５２と、第２ＡＦ部２５３と、第２撮像制御部２５４と、第２画像処理部２５５と、を有する。
【００４０】
第２通信制御部２５１は、第２通信部２４を介して第２撮像部２１が第２撮影条件で生成した第２画像データを第１撮像装置１０に送信する。
【００４１】
第２ＡＥ部２５２は、上述した第１ＡＥ部１７４と同様の機能を有し、第２撮像部２１が生成した画像データに基づいて、第２撮像装置２０が撮影を行う際の露出条件を設定する。
【００４２】
第２ＡＦ部２５３は、上述した第１ＡＦ部１７５と同様の機能を有し、第２撮像部２１が生成した画像データに基づいて、第２撮像装置２０が撮影を行う際の自動焦点の調整を行う。
【００４３】
第２撮像制御部２５４は、第２操作部２２から静止画撮影を指示する指示信号が入力された場合、または第２通信部２４を介して第１撮像装置１０の撮影のアシストを要求する要求信号が入力された場合、第２撮像装置２０における撮影動作を開始する制御を行う。例えば、第２撮像制御部２５４は、第２通信部２４を介して第２撮影条件を含む要求信号が入力された場合、この第２撮影条件で第２撮像部２１に撮影を実行させる。
【００４４】
第２画像処理部２５５は、上述した第１画像処理部１７７と同様の機能を有し、第２撮像部２１が生成した画像データに対して、所定の画像処理を行う。
【００４５】
〔第１撮像装置の処理〕
次に、第１撮像装置１０が実行する処理について説明する。図３は、第１撮像装置１０が実行する処理の概要を示すフローチャート図である。
【００４６】
図３に示すように、第１撮像装置１０のアクセサリーシュー（図示せず）に第２撮像装置２０が接続されている場合（ステップＳ１０１：Ｙｅｓ）において、第２撮像装置２０と通信確立済みであるとき（ステップＳ１０２：Ｙｅｓ）、第１撮像装置１０は、後述するステップＳ１０４へ移行する。これに対して、第１撮像装置１０のアクセサリーシュー（図示せず）に第２撮像装置２０が接続されている場合（ステップＳ１０１：Ｙｅｓ）において、第２撮像装置２０と通信確立済みでないとき（ステップＳ１０２：Ｎｏ）、第１撮像装置１０は、第２撮像装置２０と初期通信処理を行う（ステップＳ１０３）。ここで、初期通信処理とは、第２撮像装置２０との間で通信に必要な信号、機器アドレスやキー情報を含む各種データを通信規格に従ったプロトコルによって行う処理である。ステップＳ１０３の後、第１撮像装置１０は、後述するステップＳ１０４へ移行する。
【００４７】
ステップＳ１０１において、第１撮像装置１０のアクセサリーシュー（図示せず）に第２撮像装置２０が接続されていない場合（ステップＳ１０１：Ｎｏ）、第１撮像装置１０は、後述するステップＳ１０４へ移行する。
【００４８】
続いて、第１撮像装置１０が撮影モードに設定されている場合（ステップＳ１０４：Ｙｅｓ）、第１撮像制御部１７６は、第１撮像部１１にライブビュー画像を撮影させる（ステップＳ１０５）。
【００４９】
その後、第１画像処理部１７７は、第１撮像部１１が生成したライブビュー画像データにライブビュー画像処理を実行する（ステップＳ１０６）。
【００５０】
続いて、第１ＡＥ部１７４は、第１画像処理部１７７が画像処理を施したライブビュー画像データに対して、ＡＥ処理を実行する（ステップＳ１０７）。
【００５１】
その後、判定部１７１によって第１撮像部１１が生成したライブビュー画像の露出が適正露出であると判定された場合（ステップＳ１０８：Ｙｅｓ）、第１撮像装置１０は、後述するステップＳ１１４へ移行する。これに対して、判定部１７１によって第１撮像部１１が生成したライブビュー画像の露出が適正露出でないと判定された場合（ステップＳ１０８：Ｎｏ）、第１撮像装置１０は、後述するステップＳ１０９へ移行する。
【００５２】
ステップＳ１０９において、第２撮像装置２０と接続中である場合（ステップＳ１０９：Ｙｅｓ）、第１撮像装置１０は、後述するステップＳ１１０へ移行する。これに対して、第２撮像装置２０と接続中でない場合（ステップＳ１０９：Ｎｏ）、第１撮像装置１０は、後述するステップＳ１１４へ移行する。
【００５３】
ステップＳ１１０において、第１通信制御部１７３は、第１通信部１６を介して第２撮像装置２０に起動を指示する起動信号を送信し（ステップＳ１１０）、第１撮像装置１０の撮影のアシストを要求するため、設定部１７２が設定した第２撮影条件としてライブビュー画像（第１画像）が適正露出になる露出値を含むＨＤＲアシスト要求信号を送信する（ステップＳ１１１）。
【００５４】
続いて、第１通信部１６を介して第２撮像装置２０からＨＤＲアシスト画像情報を受信した場合（ステップＳ１１２：Ｙｅｓ）、第１撮像装置１０は、後述するステップＳ１１３へ移行する。これに対して、第１通信部１６を介して第２撮像装置２０からＨＤＲアシスト画像情報を受信していない場合（ステップＳ１１２：Ｎｏ）、第１撮像装置１０は、ステップＳ１１１へ戻る。
【００５５】
ステップＳ１１３において、第１画像処理部１７７は、第１撮像部１１が生成したライブビュー画像と、第２撮像装置２０から送信されたＨＤＲアシスト画像情報と、に基づいて、ＨＤＲライブビュー画像合成処理を実行する（ステップＳ１１３）。ステップＳ１１３の後、第１撮像装置１０は、ステップＳ１１４へ移行する。
【００５６】
図４は、第１画像処理部１７７が行うＨＤＲライブビュー画像合成処理の概要を説明する図である。図５は、第１撮像装置１０が生成したライブビュー画像に含まれる輝度のヒストグラムを示す図である。図４において、ライブビュー画像Ｗ１が第１撮像装置１０によって生成された第１のライブビュー画像（第１画像）を示し、ライブビュー画像Ｗ２が第２撮像装置２０によって生成された第２のライブビュー画像（第２画像）を示し、画像Ｗ３が第１画像処理部１７７によって生成された合成画像データに対応するＨＤＲのライブビュー画像を示す。さらに、図５において、横軸が明暗を示し、縦軸がダイナミックレンズを示す。
【００５７】
図４（ａ）のライブビュー画像Ｗ１および図５に示すように、設定部１７２は、判定部１７１によってライブビュー画像Ｗ１の露出が適正露出でないと判定された場合、第１撮像装置１０の撮影を第２撮像装置２０の撮影によってアシストさせるための第２撮影条件としてライブビュー画像Ｗ１が適正露出になるような露出値を設定する。具体的には、図５に示すように、設定部１７２は、ライブビュー画像Ｗ１において黒飛び（ダイナミックレンジＤ２）の画素数が白飛び（ダイナミックレンジＤ１）の画素数より多い場合、第２撮影条件としてライブビュー画像Ｗ１の露出値より高い露出値を設定する。これにより、図４（ａ）に示すように、ライブビュー画像Ｗ２に含まれる被写体Ｋ１の露出値がオーバー気味（点線で表現）となる一方、被写体Ｋ２に対して適正露出となる。その後、第１画像処理部１７７は、ライブビュー画像Ｗ１とライブビュー画像Ｗ２とを周知のＨＤＲ合成処理を用いてＨＤＲのライブビュー画像Ｗ３（図４（ｂ）を参照）を生成する。これにより、表示部１２は、被写体Ｋ１および被写体Ｋ２それぞれの適正露出のライブビュー画像Ｗ３を表示することができる。
【００５８】
図３に戻り、ステップＳ１１４以降の説明を続ける。
ステップＳ１１４において、判定部１７１は、第１撮像部１１が生成したライブビュー画像に基づいて、被写体の判定を行う（ステップＳ１１４）。具体的には、判定部１７１は、第１撮像部１１が生成したライブビュー画像に含まれる被写体（人物）の数を検出したり、ライブビュー画像に含まれる輝度やコントラスト等に基づいて撮影シーンの判定を行ったり、ライブビュー画像に含まれる被写体が動体であるか否かを判定したりする。
【００５９】
続いて、判定部１７１によってライブビュー画像に複数被写体があると判定された場合（ステップＳ１１５：Ｙｅｓ）、第１撮像装置１０は、後述するステップＳ１１６へ移行する。これに対して、判定部１７１によってライブビュー画像に複数被写体がないと判定された場合（ステップＳ１１５：Ｎｏ）、第１撮像装置１０は、後述するステップＳ１２０へ移行する。
【００６０】
ステップＳ１１６において、第２撮像装置２０と接続中である場合（ステップＳ１１６：Ｙｅｓ）、第１撮像装置１０は、後述するステップＳ１１７へ移行する。これに対して、第２撮像装置２０と接続中でない場合（ステップＳ１１６：Ｎｏ）、第１撮像装置１０は、後述するステップＳ１２０へ移行する。
【００６１】
ステップＳ１１７において、第１通信制御部１７３は、第１通信部１６を介して第２撮像装置２０に起動を指示する起動信号を送信し（ステップＳ１１７）、各被写体に対して測距することで、第１撮像部１１のピントが合った主被写体以外の被写体毎の過焦点距離を検出させることによって、第１撮像装置１０のＡＦ処理のアシストを要求するＡＦアシスト要求信号を送信する（ステップＳ１１８）。
【００６２】
続いて、第１通信部１６を介して第２撮像装置２０からＡＦアシスト情報を受信した場合（ステップＳ１１９：Ｙｅｓ）、第１ＡＦ部１７５は、第１撮像部１１が生成した画像データと、ステップＳ１１９で受信したＡＦアシスト情報とに基づいて、ＡＦ処理を実行する（ステップＳ１２０）。ステップＳ１２０の後、第１撮像装置１０は、後述するステップＳ１２１へ移行する。これに対して、第１通信部１６を介して第２撮像装置２０からＡＦアシスト情報を受信していない場合（ステップＳ１１９：Ｎｏ）、第１撮像装置１０は、ステップＳ１１８へ戻る。
【００６３】
図６は、判定部１７１がライブビュー画像に含まれる被写体の判定方法を模式的に示す図である。
【００６４】
図６に示すように、判定部１７１は、第１撮像部１１が生成したライブビュー画像Ｗ１０に基づいて、第１撮像装置１０に最も近接し、ライブビュー画像Ｗ１０に最も領域を占める被写体Ｋ１０を主被写体と判定する。この場合、第１ＡＦ部１７５は、ライブビュー画像Ｗ１０に被写体Ｋ１１および被写体Ｋ１２が含まれていても、被写体Ｋ１０に対してピントが合うようにＡＦ処理を実行する。このため、設定部１７２は、第１撮像部１１の撮影を第２撮像装置２０にアシストさせるため、第２撮像装置２０に被写体Ｋ１０と異なるピント位置、例えば被写体Ｋ１１および被写体Ｋ１２それぞれに対する過焦点距離およびピント情報それぞれを設定する。この場合、第１通信制御部１７３は、設定部１７２が設定した過焦点距離およびピント情報それぞれの要求を含むＡＦアシスト要求信号を送信する。
【００６５】
図３に戻り、ステップＳ１２１以降の説明を続ける。
ステップＳ１２１において、表示制御部１７８は、第１画像処理部１７７が画像処理を施したライブビュー画像を表示部１２に表示させる。
【００６６】
その後、第１操作部１３が撮影を指示する指示信号の入力を受け付けた場合（ステップＳ１２２：Ｙｅｓ）、第１撮像装置１０は、後述するステップＳ１２４へ移行する。これに対して、第１操作部１３が撮影を指示する指示信号の入力を受け付けていない場合（ステップＳ１２２：Ｎｏ）、第１撮像装置１０は、後述するステップＳ１２３へ移行する。
【００６７】
続いて、第１操作部１３が操作され、第１撮像装置１０の電源がオフになった場合（ステップＳ１２３：Ｙｅｓ）、第１撮像装置１０は、本処理を終了する。これに対して、第１撮像装置１０の電源がオフになっていない場合（ステップＳ１２３：Ｎｏ）、第１撮像装置１０は、ステップＳ１０１へ戻る。
【００６８】
ステップＳ１２４において、第２撮像装置２０が接続中である場合（ステップＳ１２４：Ｙｅｓ）、第１撮像装置１０は、第２撮像装置２０に撮影のアシストを行わせながら静止画撮影を行うアシスト処理を実行する（ステップＳ１２６）。なお、アシスト処理の詳細は、後述する。ステップＳ１２６の後、第１撮像装置１０は、ステップＳ１２３へ移行する。
【００６９】
ステップＳ１２４において、第２撮像装置２０が接続中でない場合（ステップＳ１２４：Ｎｏ）、第１撮像制御部１７６は、第１撮像部１１に静止画撮影を実行させる（ステップＳ１２５）。ステップＳ１２５の後、第１撮像装置１０は、ステップＳ１２３へ移行する。
【００７０】
ステップＳ１０４において、第１撮像装置１０が撮影モードに設定されていない場合（ステップＳ１０４）、第１撮像装置１０は、第１記録部１５に記録された画像データに対応する再生画像を表示部１２に表示させる再生処理を実行する（ステップＳ１２７）。ステップＳ１２７の後、第１撮像装置１０は、ステップＳ１２３へ移行する。
【００７１】
〔アシスト処理の概要〕
次に、図３で上述したステップＳ１２６のアシスト処理の詳細について説明する。図７は、上述したステップＳ１２６のアシスト処理の概要を示すフローチャートである。
【００７２】
図７に示すように、第１通信制御部１７３は、第１通信部１６を介して第２撮像装置２０に起動信号を送信する（ステップＳ２０１）。
【００７３】
続いて、判定部１７１によって深度合成が必要であると判定された場合（ステップＳ２０２：Ｙｅｓ）、第１通信制御部１７３は、深度合成用の画像を第２撮像装置２０に要求するため、設定部１７２が設定した第２撮像部２１の絞り値を含む深度合成アシスト要求信号を送信する（ステップＳ２０３）。この場合、設定部１７２は、上述したＳ１１９で受信したＡＦアシスト情報に含まれる複数の被写体それぞれの過焦点距離Ｈ、第２撮像部２１の焦点距離ｆおよび許容錯乱円ｃに基づいて、設定部１７２が設定した主被写体以外の被写体が第２撮像部２１の被写体界深度内に入る第２撮像部２１の絞り値Ｎを設定する。具体的には、設定部１７２は、以下の式（１）によって第２撮像部２１の絞り値を設定する。
Ｎ＝（ｆ２／（Ｈ−ｆ））×ｃ      ・・・（１）
【００７４】
なお、設定部１７２は、絞り値Ｎが第２撮像部２１による撮影可能な最小絞り値Ｎｍｉｎより小さい場合、第１撮像部１１に絞り込み撮影を実行させる一方、絞り値Ｎが第２撮像部２１による撮影可能な最小絞り値Ｎｍｉｎ以上の場合、この絞り値Ｎを第２撮像部２１の絞り値として設定する。このように、第１通信制御部１７３は、設定部１７２が設定した第２撮像部２１の絞り値Ｎおよび撮影タイミングを含む深度合成アシスト要求信号を送信する。
【００７５】
その後、第１通信部１６を介して第２撮像装置２０から深度合成アシスト画像情報を受信した場合（ステップＳ２０４：Ｙｅｓ）、第１撮像装置１０は、後述するステップＳ２０５へ移行する。これに対して、第１通信部１６を介して第２撮像装置２０から深度合成アシスト画像情報を受信していない場合（ステップＳ２０４：Ｎｏ）、第１撮像装置１０は、ステップＳ２０３へ戻る。
【００７６】
ステップＳ２０５において、第１撮像制御部１７６は、第１撮像部１１に静止画撮影を実行させる。
【００７７】
続いて、第１画像処理部１７７は、第２撮像装置２０から送信された深度合成アシスト画像情報に含まれる主被写体以外にピントがあった画像と、第１撮像部１１が撮影した静止画像と、に基づいて、深度を合成した深度合成処理を実行する（ステップＳ２０６）。ステップＳ２０６の後、第１撮像装置１０は、後述するステップＳ２０７へ移行する。
【００７８】
図８は、第１画像処理部１７７が生成する深度合成処理の概要を説明する図である。図８に示すように、第１画像処理部１７７は、被写体Ｋ１１にピントがあった静止画像Ｗ１０と、第２撮像部２１が生成した被写体Ｋ１２にピントがあった静止画像Ｗ１１と、第２撮像部２１が生成した被写体Ｋ１３にピントがあった静止画像Ｗ１２とを用いて周知の深度合成処理を行うことによって、被写体Ｋ１１〜Ｋ１３それぞれにピントがあった合成画像データに対応する合成画像Ｗ１３を生成する。
【００７９】
ステップＳ２０２において、判定部１７１によって深度合成が必要でないと判定された場合（ステップＳ２０２：Ｎｏ）、第１撮像装置１０は、ステップＳ２０７へ移行する。
【００８０】
続いて、判定部１７１によって第１撮像装置１０が流し撮りを行っていると判定された場合（ステップＳ２０７：Ｙｅｓ）、第１通信制御部１７３は、流し撮りに用いる背景の撮影を要求するため、設定部１７２が設定した第２撮像部２１の第２シャッタスピードを含む流し撮りアシスト画像撮影要求信号を送信する（ステップＳ２０８）。この場合、設定部１７２は、第１撮像部１１の第１撮影条件として第１シャッタスピードを設定し、第２撮影条件として第１シャッタスピードより低速な第２シャッタスピードであって、第１撮像部１１より露光開始タイミングが早く、第１シャッタスピードの撮影による露光終了タイミングと一致する第２シャッタスピードを設定する。
【００８１】
続いて、第１通信部１６を介して第２撮像装置２０から流し撮りアシスト画像情報を受信した場合（ステップＳ２０９：Ｙｅｓ）、第１撮像装置１０は、後述するステップＳ２１０へ移行する。これに対して、第１通信部１６を介して第２撮像装置２０から流し撮りアシスト画像情報を受信していない場合（ステップＳ２０９：Ｎｏ）、第１撮像装置１０は、ステップＳ２０８へ戻る。
【００８２】
ステップＳ２１０において、第１撮像制御部１７６は、第１撮像部１１に静止画撮影を実行させる。
【００８３】
続いて、第１画像処理部１７７は、第２撮像装置２０から送信された流し撮りアシスト画像情報に含まれる第２撮像部２１が生成した静止画像と、第１撮像部１１が撮影した静止画像と、に基づいて、流し撮り合成処理を実行する（ステップＳ２１１）。ステップＳ２１１の後、第１撮像装置１０は、後述するステップＳ２１２へ移行する。
【００８４】
図９は、第１画像処理部１７７が実行する流し撮り合成画像処理の概要を説明する図である。図１０は、第１撮像装置１０と第２撮像装置２０それぞれの撮影タイミングを示す図である。
【００８５】
図９に示すように、第１画像処理部１７７は、第１撮像部１１が第１シャッタスピード（例えば１／１０００〜１／８０００秒）で撮影された画像Ｗ２２と、第１シャッタスピードより低速な第２シャッタスピード（例えば１／６０〜１／１２５秒）で撮影された画像Ｗ２１とを合成することによって、擬似的に流し撮り撮影を行った際に撮影可能な合成画像データに対応する合成画像Ｗ２３を生成する。この場合、図１０に示すように、設定部１７２は、第１撮像部１１の露光開始タイミングｔ２より露光開始タイミングｔ１が早く、第２撮像装置２０による撮影の露光終了タイミングｔ３と第１シャッタスピードの撮影による露光終了タイミングｔ３とが一致する第２シャッタスピードを設定する。第１通信制御部１７３は、第１通信部１６を介して設定部１７２が設定した第２シャッタスピードを第２撮像装置２０へ送信する。
【００８６】
ステップＳ２０７において、判定部１７１によって第１撮像装置１０が流し取りを行ってないと判定された場合（ステップＳ２０７：Ｎｏ）、第１撮像装置１０は、ステップＳ２１２へ移行する。
【００８７】
続いて、判定部１７１によって第１撮像装置１０が連写中であると判定された場合（ステップＳ２１２：Ｙｅｓ）、第１通信制御部１７３は、第２撮像装置２０に連写中の撮影のアシストを要求するため、設定部１７２が設定した第２撮像部２１のフレームレートを含む連写アシスト要求信号を送信する（ステップＳ２１３）。この場合、設定部１７２は、第２撮影条件として第１撮像部１１が１つの静止画像の撮影を行ってから次の静止画像の撮影を行うまでのブラックアウト期間において第１撮像部１１が連写撮影を開始する直前のフレームレートを設定する。例えば、設定部１７２は、第１撮像部１１の連写が１０ｆｐｓの場合において、連写を開始する前の撮影フレームレートが６０ｆｐｓのとき、この６０ｆｐｓを第２撮像部２１の撮影フレームレートに設定する。
【００８８】
その後、第１通信部１６を介して第２撮像装置２０から連写アシスト画像情報を受信した場合（ステップＳ２１４：Ｙｅｓ）、第１撮像装置１０は、後述するステップＳ２１５へ移行する。これに対して、第１通信部１６を介して第２撮像装置２０から連写アシスト画像情報を受信していない場合（ステップＳ２１４：Ｎｏ）、第１撮像装置１０は、ステップＳ２１３へ戻る。
【００８９】
ステップＳ２１５において、第１撮像制御部１７６は、第１撮像部１１に静止画撮影を実行させる。
【００９０】
続いて、第１画像処理部１７７は、第２撮像装置２０から送信された連写アシスト画像情報と、第１撮像部１１が撮影した静止画像と、に基づいて、第２撮像装置２０から送信された連写アシスト画像に含まれるライブビュー画像に、第１撮像部１１が撮影した静止画像をリサイズ処理して重畳する合成処理を実行する（ステップＳ２１６）。
【００９１】
その後、表示制御部１７８は、第１画像処理部１７７が画像処理を行ったライブビュー画像を表示部１２に表示させる（ステップＳ２１７）。
【００９２】
図１１は、第１画像処理部１７７が行う画像処理の概要を説明する図である。図１１において、図１１（ａ）が第１撮像部１１によって生成された静止画像と撮影タイミングを示し、図１１（ｂ）が第２撮像部２１によって生成されたライブビュー画像と撮影タイミングとを示し、図１１（ｃ）が表示部１２によって表示されるライブビュー画像を示す。
【００９３】
図１１に示すように、第１画像処理部１７７は、第２撮像装置２０から連続的に送信された連写アシスト画像に含まれるライブビュー画像Ｗ４１〜Ｗ４８に、第１撮像部１１が撮影した静止画像Ｗ３１，Ｗ３２を順次リサイズ処理したリサイズ画像Ｗ３１１，Ｗ３２２を重畳して合成する。表示部１２は、第１画像処理部１７７がリサイズ画像Ｗ３１１，Ｗ３２２を合成したライブビュー画像Ｗ４１〜Ｗ４８を表示する。これにより、第１撮像部１１が１つの静止画像を行ってから次の静止画像の撮影を行うまでのブラックアウト期間において、第２撮像部２１のライブビュー画像を表示部１２に表示させることで、第１撮像装置１０の撮影をアシストさせることができ、第１撮像装置１０の連写中に生じるブラックアウト期間において被写体の消失を防止することができる。
【００９４】
図７に戻り、ステップＳ２１８以降の説明を続ける。
ステップＳ２１８において、判定部１７１によって第１撮像装置１０の連写が終了したと判定された場合（ステップＳ２１８：Ｙｅｓ）、第１撮像装置１０は、後述するステップＳ２１９へ移行する。これに対して、判定部１７１によって第１撮像装置１０の連写が終了していないと判定された場合（ステップＳ２１８：Ｎｏ）、第１撮像装置１０は、ステップＳ２１３へ戻る。
【００９５】
ステップＳ２１２において、判定部１７１によって第１撮像装置１０が連写中でないと判定された場合（ステップＳ２１２：Ｎｏ）、第１撮像装置１０は、ステップＳ２１９へ移行する。
【００９６】
続いて、判定部１７１によって第１撮像装置１０がライブビュー画像ＨＤＲ中であると判定された場合（ステップＳ２１９：Ｙｅｓ）、第１制御部１７は、第１通信部１６を介して第２撮像装置２０にＨＤＲのアシストを要求するＨＤＲアシスト要求信号を送信する（ステップＳ２２０）。
【００９７】
その後、第１通信部１６を介して第２撮像装置２０からＨＤＲアシスト画像情報を受信した場合（ステップＳ２２１：Ｙｅｓ）、第１撮像装置１０は、後述するステップＳ２２２へ移行する。これに対して、第１通信部１６を介して第２撮像装置２０からＨＤＲアシスト画像情報を受信していない場合（ステップＳ２２１：Ｎｏ）、第１撮像装置１０は、ステップＳ２２０へ戻る。
【００９８】
ステップＳ２２２において、第１撮像制御部１７６は、第１撮像部１１に静止画撮影を実行させる。
【００９９】
続いて、第１画像処理部１７７は、第２撮像装置２０から送信されたＨＤＲアシスト画像情報と、第１撮像部１１が撮影した静止画像と、に基づいて、ＨＤＲ合成処理を実行する（ステップＳ２２３）。具体的には、上述した図３のステップＳ１１３と同様の処理を行う。ステップＳ２２３の後、第１撮像装置１０は、図３のメインルーチンへ戻る。
【０１００】
ステップＳ２１９において、判定部１７１によって第１撮像装置１０がＨＤＲライブビュー画像中でないと判定された場合（ステップＳ２１９：Ｎｏ）、第１撮像装置１０は、図３のメインルーチンへ戻る。
【０１０１】
〔第２撮像装置の処理〕
次に、第２撮像装置２０が実行する処理について説明する。図１２は、第２撮像装置２０が実行する処理の概要を示すフローチャートである。
【０１０２】
図１２に示すように、第１撮像装置１０と接続している場合（ステップＳ３０１：Ｙｅｓ）において、第１撮像装置１０と通信確立済みであるとき（ステップＳ３０２：Ｙｅｓ）、第２撮像装置２０は、後述するステップＳ３０４へ移行する。これに対して、第１撮像装置１０と接続している場合（ステップＳ３０１：Ｙｅｓ）において、第１撮像装置１０と通信確立済みでないとき（ステップＳ３０２：Ｎｏ）、第２撮像装置２０は、第１撮像装置１０と初期通信処理を行う（ステップＳ３０３）。ステップＳ３０３の後、第２撮像装置２０は、後述するステップＳ３０４へ移行する。
【０１０３】
ステップＳ３０１において、第２撮像装置２０が第１撮像装置１０と接続していない場合（ステップＳ３０１：Ｎｏ）、第２撮像装置２０は、ステップＳ３０４へ移行する。
【０１０４】
続いて、第２通信部２４を介して第１撮像装置１０からＨＤＲライブビュー画像アシスト要求信号を受信した場合（ステップＳ３０４：Ｙｅｓ）、第２撮像装置２０は、ステップＳ３０５へ移行する。
【０１０５】
続いて、第２通信制御部２５１によってＨＤＲライブビュー画像アシスト要求信号に含まれる露出情報が黒つぶれと判定された場合（ステップＳ３０５：Ｙｅｓ）、第２撮像制御部２５４は、ＨＤＲライブビュー画像アシスト要求信号に含まれる第１撮像装置１０の撮影開始タイミングと同期するように撮影開始タイミングを調整し（ステップＳ３０６）、ＨＤＲライブビュー画像アシスト要求信号に含まれる第２撮影条件の露出値に基づいて、露出がオーバーしたオーバー画像を第２撮像部２１に撮像させる（ステップＳ３０７）。ステップＳ３０７の後、第２撮像装置２０は、後述するステップＳ３０８へ移行する。
【０１０６】
ステップＳ３０５において、第２通信制御部２５１によってＨＤＲライブビュー画像アシスト要求信号に含まれる露出情報が黒つぶれと判定されなかった場合（ステップＳ３０５：Ｎｏ）、第２撮像装置２０は、ステップＳ３０８へ移行する。
【０１０７】
続いて、第２通信制御部２５１によってＨＤＲライブビュー画像アシスト要求信号に含まれる露出情報が白つぶれと判定された場合（ステップＳ３０８：Ｙｅｓ）、第２撮像制御部２５４は、ＨＤＲライブビュー画像アシスト要求信号に含まれる第１撮像装置１０の撮影開始タイミングと同期するように撮影開始タイミングを調整し（ステップＳ３０９）、ＨＤＲライブビュー画像アシスト要求信号に含まれる第２撮影条件の露出値に基づいて、露出がアンダーのアンダー画像を第２撮像部２１に撮像させる（ステップＳ３１０）。ステップＳ３０７の後、第２撮像装置２０は、後述するステップＳ３１１へ移行する。
【０１０８】
ステップＳ３０８において、第２通信制御部２５１によってＨＤＲライブビュー画像アシスト要求信号に含まれる露出情報が白つぶれと判定されなかった場合（ステップＳ３０８：Ｎｏ）、第２撮像装置２０は、ステップＳ３１１へ移行する。
【０１０９】
続いて、第２画像処理部２５５は、第２撮像部２１が撮影したライブビュー画像に対してライブビュー画像処理を実行する（ステップＳ３１１）。
【０１１０】
その後、第２制御部２５は、第２通信部２４を介して第２画像処理部２５５がライブビュー画像処理を施したライブビュー画像と、撮影タイミングを示す時刻情報と、露出情報と、を含むアシスト要求情報を第１撮像装置１０へ送信する（ステップＳ３１２）。ステップＳ３１２の後、第２撮像装置２０は、後述するステップＳ３１３へ移行する。
【０１１１】
ステップＳ３０４において、第２通信部２４を介して第１撮像装置１０からＨＤＲライブビュー画像アシスト要求信号を受信していない場合（ステップＳ３０４：Ｎｏ）、第２撮像装置２０は、ステップＳ３１３へ移行する。
【０１１２】
続いて、第２通信部２４を介して第１撮像装置１０からＡＦアシスト要求信号を受信した場合（ステップＳ３１３：Ｙｅｓ）、第２撮像制御部２５４は、第２撮像部２１にライブビュー画像を撮像させる（ステップＳ３１４）。
【０１１３】
その後、第２ＡＦ部２５３は、第２撮像部２１が生成したライブビュー画像に基づいて、ＡＦ処理を実行し（ステップＳ３１５）、第２撮像部２１が生成したライブビュー画像に含まれる被写体情報を検出する（ステップＳ３１６）。具体的には、第２ＡＦ部２５３は、主被写体以外の被写体に対して測距を行うことによって、主被写体以外の被写体毎の過焦点距離を被写体情報として算出する。
【０１１４】
続いて、第２制御部２５は、第２通信部２４を介して第２ＡＦ部２５３によって算出された被写体情報を含むＡＦアシスト画像情報を第１撮像装置１０へ送信する（ステップＳ３１７）。ステップＳ３１７の後、第２撮像装置２０は、後述するステップＳ３１８へ移行する。
【０１１５】
ステップＳ３１３において、第２通信部２４を介して第１撮像装置１０からＡＦアシスト要求信号を受信していない場合（ステップＳ３１３：Ｎｏ）、第２撮像装置２０は、ステップＳ３１８へ移行する。
【０１１６】
続いて、第２通信部２４を介して第１撮像装置１０から深度合成アシスト画像要求信号を受信した場合（ステップＳ３１８：Ｙｅｓ）、第２撮像装置２０は、ステップＳ３１９へ移行する。
【０１１７】
その後、第２撮像制御部２５４は、深度合成アシスト画像要求信号に含まれる第１撮像装置１０のピント位置および被写体情報に基づいて、第２撮像部２１のピント位置を調整し（ステップＳ３１９）、第２撮像部２１に静止画撮影を実行させる（ステップＳ３２０）。
【０１１８】
続いて、第２画像処理部２５５は、第２撮像部２１が生成した静止画像に対して画像処理を行う（ステップＳ３２１）。
【０１１９】
その後、第２制御部２５は、第２通信部２４を介して第２画像処理部２５５によって画像処理が施された静止画像を含む深度合成アシスト画像情報を第１撮像装置１０へ送信する（ステップＳ３２２）。
【０１２０】
続いて、第２通信制御部２５１によって深度合成を行うために必要な枚数を終了したと判定された場合（ステップＳ３２３：Ｙｅｓ）、第２撮像装置２０は、後述するステップＳ３２４へ移行する。これに対して、第２通信制御部２５１によって深度合成を行うために必要な枚数を終了していないと判定された場合（ステップＳ３２３：Ｎｏ）、第２撮像装置２０は、ステップＳ３１９へ移行する。
【０１２１】
ステップＳ３１８において、第２通信部２４を介して第１撮像装置１０から深度合成アシスト要求信号を受信していない場合（ステップＳ３１８：Ｎｏ）、第２撮像装置２０は、ステップＳ３２４へ移行する。
【０１２２】
続いて、第２通信部２４を介して第１撮像装置１０から流し撮りアシスト要求信号を受信した場合（ステップＳ３２４：Ｙｅｓ）、第２撮像装置２０は、ステップＳ３２５へ移行する。
【０１２３】
その後、第２撮像制御部２５４は、流し撮りアシスト要求信号に含まれるシャッタスピード情報およびタイミング情報に基づいて、第２撮像部２１のシャッタスピードおよび撮影タイミングを調整し（ステップＳ３２５）、第２撮像部２１に静止画撮影を実行させる（ステップＳ３２６）。
【０１２４】
続いて、第２画像処理部２５５は、第２撮像部２１が生成した静止画像に対して画像処理を行う（ステップＳ３２７）。
【０１２５】
その後、第２制御部２５は、第２通信部２４を介して第２画像処理部２５５によって画像処理が施された静止画像を含む流し撮りアシスト画像情報を第１撮像装置１０へ送信する（ステップＳ３２８）。ステップＳ３２８の後、第２撮像装置２０は、ステップＳ３２９へ移行する。
【０１２６】
ステップＳ３２４において、第２通信部２４を介して第１撮像装置１０から流し撮りアシスト要求信号を受信していない場合（ステップＳ３２４：Ｎｏ）、第２撮像装置２０は、ステップＳ３２９へ移行する。
【０１２７】
続いて、第２通信部２４を介して第１撮像装置１０から連写アシスト要求信号を受信した場合（ステップＳ３２９：Ｙｅｓ）、第２撮像装置２０は、ステップＳ３３０へ移行する。
【０１２８】
その後、第２撮像制御部２５４は、連写アシスト要求信号に含まれる第１撮像部１１のフレームレートに基づいて、第２撮像部２１にライブビュー画像を撮像させる（ステップＳ３３０）。
【０１２９】
続いて、第２画像処理部２５５は、第２撮像部２１が生成したライブビュー画像に対して画像処理を行う（ステップＳ３３１）。
【０１３０】
その後、第２制御部２５は、第２画像処理部２５５が画像処理を施したライブビュー画像を含む連写アシスト画像情報を送信する（ステップＳ３３２）。ステップＳ３３２の後、第２撮像装置２０は、後述するステップＳ３３３へ移行する。
【０１３１】
ステップＳ３２９において、第２通信部２４を介して第１撮像装置１０から連写アシスト要求信号を受信していない場合（ステップＳ３２９：Ｎｏ）、第２撮像装置２０は、ステップＳ３３３へ移行する。
【０１３２】
続いて、第２通信部２４を介して第１撮像装置１０からＨＤＲアシスト要求信号を受信した場合（ステップＳ３３３：Ｙｅｓ）、第２撮像装置２０は、ステップＳ３３４へ移行する。
【０１３３】
その後、第２撮像制御部２５４は、ＨＤＲアシスト要求信号に含まれる第２撮像部２１の露出値に基づいて、第２撮像部２１の露出を設定し（ステップＳ３３４）、第２撮像部２１に静止画撮影を実行させる（ステップＳ３３５）。
【０１３４】
続いて、第２画像処理部２５５は、第２撮像部２１が生成した静止画像に対して画像処理を行う（ステップＳ３３６）。
【０１３５】
その後、第２制御部２５は、第２通信部２４を介して第２画像処理部２５５が画像処理を施した静止画像を含むＨＤＲアシスト画像情報を第１撮像装置１０へ送信する（ステップＳ３３７）。ステップＳ３３７の後、第２撮像装置２０は、本処理を終了する。
【０１３６】
ステップＳ３３３において、第２通信部２４を介して第１撮像装置１０からＨＤＲアシスト要求信号を受信していない場合（ステップＳ３３３：Ｎｏ）、第２撮像装置２０は、本処理を終了する。
【０１３７】
以上説明した本発明の一実施の形態によれば、設定部１７２が第２撮像装置２０の撮影によって第１撮像部１１の撮影をアシストさせるための第２撮影条件を設定し、第１通信制御部１７３が設定部１７２によって設定された第２撮影条件を第２撮像装置２０に送信し、第１画像処理部１７７が第２撮影条件で第２撮像装置２０が撮影して生成した第２画像データと第１撮像部１１が生成した第１画像データとを合成した合成画像データを生成するので、第１撮像装置１０の撮影に不足する情報を第２撮像装置２０の撮影によってアシストさせることができる。
【０１３８】
また、本発明の一実施の形態によれば、設定部１７２が判定部１７１によって第１撮像部１１による撮影が適正露出でないと判定された場合、第２撮影条件として第１画像データに対応する第１画像が適正露出になる露出値を設定し、第１画像処理部１７７が設定部１７２によって設定された露出値で第２撮像装置２０が生成した第２画像データと第１撮像部１１が生成した第１画像データとを合成した合成画像データを生成するので、被写体に対して適切な露出で撮影した画像を得ることができる。
【０１３９】
また、本発明の一実施の形態によれば、設定部１７２が判定部１７１によって第１撮像部１１が生成した第１画像データに対応する第１画像内に複数の被写体が含まれていると判定された場合、第２撮影条件として第１撮像部１１がピントを合わせている主被写体以外の被写体毎にピントが合うピント情報を設定し、第１画像処理部１７７が設定部１７２によって設定されたピント情報で第２撮像装置２０が生成した第２画像データと第１撮像部１１が生成した第１画像データとを合成した合成画像データを生成するので、全ての被写体に対してピントがあった画像を得ることができる。
【０１４０】
また、本発明の一実施の形態によれば、設定部１７２が判定部１７１によって第１撮像部１１の視野領域が変化していると判定された場合、第１撮像部１１の第１撮影条件として第１シャッタスピードを設定し、第２撮影条件として第１シャッタスピードより低速な第２シャッタスピードであって、第１撮像部１１より露光開始タイミングが早く、第１シャッタスピードの撮影による露光終了タイミングと一致する第２シャッタスピードを設定し、第１画像処理部１７７が設定部１７２によって設定された第２シャッタスピードで第２撮像装置２０が生成した第２画像データと第１撮像部１１が生成した第１画像データとを合成した合成画像データを生成するので、流し撮り撮影の画像を容易に得ることができる。
【０１４１】
また、本発明の一実施の形態によれば、設定部１７２が判定部１７１によって第１撮像部１１が連写撮影を行っていると判定された場合、第２撮影条件として第１撮像部１１が１つの静止画像の撮影を行ってから次の静止画像の撮影を行うまでのブラックアウト期間において第１撮像部１１が連写撮影を開始する直前のフレームレートを設定し、第１画像処理部１７７が設定部１７２によって設定されたフレームレートで第２撮像装置２０が生成した第２画像データと第１撮像部１１が生成した第１画像データとを重畳して合成した合成画像データ（重畳画像データ）を生成するので、第１撮像装置１０の連写中に生じるブラックアウト期間において被写体を見失うことを防止することができる。
【０１４２】
なお、本発明の一実施の形態では、第１撮像装置１０（メインカメラ）の撮影を第２撮像装置２０（サブカメラ）の撮影によってアシストしていたが、複数の撮像装置（サブカメラ）を用いて第１撮像装置１０の撮影をアシストしてもよい。
【０１４３】
また、本発明の一実施の形態では、第１撮像装置１０と第２撮像装置２０とが無線通信によって双方向に通信可能に接続されていたが、有線接続によって双方向に通信可能なものであっても適用することができる。
【０１４４】
また、本発明の一実施の形態では、第２撮像装置２０が第１撮像装置１０の撮影をアシストしていたが、第１撮像装置１０が第２撮像装置２０の撮影をアシストしてもよい。この場合、少なくとも第１撮像装置１０の判定部１７１および設定部１７２の機能を第２撮像装置２０に設けられればよい。
【０１４５】
（その他の実施の形態）
また、本発明に係る撮像装置は、デジタルスチイルカメラ以外にも、デジタルビデオカメラ、撮像機能を有するタブレット型携帯機器等の電子機器および内視鏡や顕微鏡で撮像された医療用、産業用分野の画像データに対応する画像を表示する表示装置等にも適用することができる。
【０１４６】
また、本発明に係る撮像装置に実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【０１４７】
また、本発明に係る撮像装置に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。さらに、本発明に係る撮像装置に実行させるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【０１４８】
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
【０１４９】
このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、特許請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。
【符号の説明】
【０１５０】
１・・・撮像システム；１０・・・第１撮像装置；１１・・・第１撮像部；１２・・・表示部；１３・・・第１操作部；１４・・・タッチパネル；１５・・・第１記録部；１６・・・第１通信部；１７・・・第１制御部；２０・・・第２撮像装置；２１・・・第２撮像部；２２・・・第２操作部；２３・・・第２記録部；２４・・・第２通信部；２５・・・第２制御部；１１１，２１１・・・光学系；１１２，２１２・・・絞り；１１３，２１３・・・シャッタ；１１４，２１４・・・撮像素子；１１５・・・第１駆動部；１７１・・・判定部；１７２・・・設定部；１７３・・・第１通信制御部；１７４・・・第１ＡＥ部；１７５・・・第１ＡＦ部；１７６・・・第１撮像制御部；１７７・・・第１画像処理部；１７８・・・表示制御部；２１５・・・第２駆動部；２５１・・・第２通信制御部；
２５２・・・第２ＡＥ部；２５３・・・第２ＡＦ部；２５４・・・第２撮像制御部；２５５・・・第２画像処理部
【図１】
2016143915.tif 000003
【図２】
2016143915.tif 000004
【図３】
2016143915.tif 000005
【図４】
2016143915.tif 000006
【図５】
2016143915.tif 000007
【図６】
2016143915.tif 000008
【図７】
2016143915.tif 000009
【図８】
2016143915.tif 000010
【図９】
2016143915.tif 000011
【図１０】
2016143915.tif 000012
【図１１】
2016143915.tif 000013
【図１２】
2016143915.tif 000014