(57)【要約】【課題】合成処理用画像取得の開始及び終了タイミングを自動的に設定し常に良好な撮像画像合成結果を得る撮像装置を提供する。【解決手段】撮像素子を含む撮像部１２と、集音し音データを検出する集音部２３と、集音部によって検出された音データを判定する音声判定部１１ｄと、撮像部によって連続的に取得される画像データの画像合成処理を行う画像合成処理部１１ｆとを具備し、音声判定部によって判定された音データに基づいて画像合成処理部による画像合成処理の開始タイミング及び終了タイミングを設定する。【選択図】図１
2016021643.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子を含む撮像部と、
集音し音データを検出する集音部と、
上記集音部によって検出された音データを判定する音声判定部と、
上記撮像部によって連続的に取得される画像データの画像合成処理を行う画像合成処理部と、
上記音声判定部によって判定された音データに基づいて上記画像合成処理部による画像合成処理の終了タイミングを設定する制御部と、
を有することを特徴とする撮像装置。
【請求項２】
上記画像合成処理部は、比較明合成処理を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記撮像部からの出力若しくは姿勢判定用センサからの出力に基づいて当該撮像装置の姿勢を判定する姿勢判定部を、さらに具備し、
上記制御部は、上記姿勢判定部の出力結果に従って上記タイミング設定を行うことを特徴とする請求項１に記載の撮像装置。
【請求項４】
対象物までの距離を判定する距離判定部を、さらに具備し、
上記制御部は、上記距離判定部によって判定された対象物距離が所定の距離よりも遠距離である場合に、上記タイミング設定を行うことを特徴とする請求項１に記載の撮像装置。
【請求項５】
周囲の音声を集音して音データを検出し、
検出された音データを判定し、
連続的に取得された画像データの画像合成処理を行い、
判定された上記音データに基づいて画像合成処理の終了タイミングを設定する
ことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮像機能を備え複数の画像データに基づいて画像処理を行う画像処理機能を備えた撮像装置に関するものである。
【背景技術】
【０００２】
従来、撮像光学系により結像された光学像を光電変換素子等によって順次画像信号に変換し、これにより得られた画像信号を所定の形態の画像データとして記録媒体に記録し得ると共に、この記録媒体に記録された画像データを画像として表示する画像表示装置等を備えて構成された撮像装置、例えばデジタルカメラやビデオカメラ等（以下、これらを総称してカメラという）が一般に実用化され広く普及している。
【０００３】
この種の従来のカメラにおいては、例えば連続的に撮像動作を行って得られた複数の画像データに基づいて画像の部分ごとの比較結果などから適応的に画像合成を行う、例えば比較明合成処理等を行って、所望の合成画像を得るといった機能を備えたものが、例えば特開２０１３−６２７４０号公報等によって、種々提案されており、また実用化されている。
【０００４】
ここで、上記比較明合成処理とは、複数の画像データにおける同一画素位置の画素値（明るさ等）を比較して、当該画素値が大きい方（即ち明るい方）の画素値を、その画素位置における画素値として採用し、これにより、例えば指定した露出値よりも明るく変化した部分の画素のみを合成していく合成処理を言うものである。
【０００５】
このような比較明合成処理は、画像が暗い場合の光の描写にふさわしく、例えば、天体撮影等において地球自転に伴って地球上に載置されたカメラに対して相対的に移動する星等の軌跡を撮影する天体写真や、さらに建物，樹木等の地上構造物，風景等を画面内に同時に含めて撮像するいわゆる星野写真の撮影等に利用される。
【０００６】
このような星野写真撮影は、従来においては、例えばいわゆるバルブ撮影，タイム撮影等と呼ばれる長時間露出を行う撮影によって行われていたものである。しかしながら、長時間露出では、星等の相対移動する被写体は一定の明るさの軌跡として撮像されることになる一方、同一画面内に写り込むビル等の地上構造物等の移動しない被写体は、露出時間の長さに応じて画像上の明るさが明るくなってしまうことになる。そのため、長時間露出を行った場合、これらの不動被写体に対応する部分では、いわゆる白飛びが生じてしまうことがある。これに対し、連続的な撮像動作を行った場合に得られる複数の画像データのそれぞれにおける上記不動被写体の露出は常に一定である一方、相対移動する被写体は、上記複数の画像データのそれぞれにおいて画像内における位置変化が生じる。したがって、上記複数の画像データに基づいて比較明合成処理を行えば、ビル等の地上構造物（不動被写体）に対応する画像領域を適正露出で写し込みつつ、星等の相対移動する被写体の光跡を写し込むことができることになる。また、比較明合成処理は、上述のような星野写真撮影以外にも、例えば市街地の夜景撮影や打ち上げ花火撮影，蛍等の撮影時に応用することができる。
【０００７】
上記特開２０１３−６２７４０号公報等によって開示されている撮像装置は、所定の時間間隔を置いて連続的な撮像動作（インターバル撮像動作）を実行しているとき、連続的に取得される画像データに基づく比較明合成処理を並行して実行するようにしている。そして、使用者（ユーザ）が所望する時に、上記連続撮像動作を中断させることなく、その時点における比較明合成処理の途中結果を表示装置に表示させて確認することができるというものである。このことは、使用者（ユーザ）が、撮像処理実行途中の経過を見ながら、連続撮像動作の中止時期を決定することができ、よって、撮像装置の使い勝手の向上に寄与するというものである。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１３−６２７４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところが、上記特開２０１３−６２７４０号公報等によって開示されている撮像装置においては、撮像中止時期を決定する判断が、使用者（ユーザ）に委ねられていることから、常に良好な撮像結果を得られるとは限らないという問題点がある。
【００１０】
上述のように連続的に取得した複数の画像データに基づいて比較明合成処理を行うという撮像手法では、複数の画像データが必要となるため、実際の撮像動作は長時間かかることになるのだが、適切なタイミングで撮像を中止させることができずに良好な画像を得ることができなければ、余計なノイズ成分の影響を受けやすくなり、画質劣化を招き、撮像にかけられた時間的損失が大きなものとなってしまう。
【００１１】
本発明は、上述した点に鑑みてなされたものであって、その目的とするところは、撮像機能を備え複数の画像データに基づいて比較明合成処理等の画像合成処理を行う画像処理機能を備えた撮像装置において、合成処理の終了タイミングを他の情報を利用して最適に設定し、簡単かつ常に良好な撮像画像合成結果を得ることができる撮像装置を提供することである。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明の一態様の撮像装置は、撮像素子を含む撮像部と、集音し音データを検出する集音部と、上記集音部によって検出された音データを判定する音声判定部と、上記撮像部によって連続的に取得される画像データの画像合成処理を行う画像合成処理部と、上記音声判定部によって判定された音データに基づいて上記画像合成処理部による画像合成処理の終了タイミングを設定する制御部と、を有する。
【発明の効果】
【００１３】
本発明によれば、撮像機能を備え複数の画像データに基づいて比較明合成処理等の画像合成処理を行う画像処理機能を備えた撮像装置において、合成処理の終了タイミングを他の情報を利用して最適に設定し、簡単かつ常に良好な撮像画像合成結果を得ることができる撮像装置を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態の撮像装置の概略構成を示すブロック構成図
【図２】図１の撮像装置を花火モードに設定して撮像動作を行う際のようすを示し、使用者（ユーザ）が花火モードに設定した撮像装置を構え、打ち上げ花火が開花したときのようすを示す概念図
【図３】図２の状況から所定時間経過後の状況を示し、撮像対象としている打ち上げ花火に変化が生じたようすを示す概念図
【図４】図１の撮像装置を撮像動作モードのうちの花火モードに設定して撮像したときに得られる画像の一例を示す概念図
【図５】図３の状況の後、使用者（ユーザ）が花火モードでの撮像動作を中断若しくは中止して撮像装置の構えを解いたようすを示す概念図
【図６】図１の撮像装置において花火モード時の撮像動作が行われる際の作用の概略を示すタイムチャート
【図７】図１の撮像装置のカメラ制御のメインフローチャート
【図８】図１の撮像装置において、例えば打ち上げ花火を撮像対象として撮像動作を実行したときに行われる比較明合成処理を説明する概念図であって、図８（Ａ）は花火の開花予想領域において開花する寸前の打ち上げ花火のようすを概念的に示し、図８（Ｂ）は図８（Ａ）で示す時点における画像データについて光量ｐと画像位置ｗとで表す線図
【図９】図９（Ａ）は図８（Ａ）の時点から所定の時間が経過して、花火が散開した後に所定の時間が経過したようすを概念的に示し、図９（Ｂ）は図９（Ａ）で示す時点における画像データについて光量ｐと画像位置ｗとで表す線図
【図１０】図１０（Ａ）は図８（Ａ）から図９（Ａ）への画像変化を比較明合成処理により表す概念図であり、図１０（Ｂ）は図１０（Ａ）で示す時点における画像データの合成光量ｐと画像位置ｗとを表す線図
【図１１】図７のメインフローチャートのうち焦点調節制御処理（ステップＳ１３１に対応）に代わる別の形態の焦点調節制御処理のサブルーチンを示すフローチャート
【図１２】図１１に示す焦点調節制御処理のうち花火距離分析処理の概念を説明する図
【発明を実施するための形態】
【００１５】
以下、図示の実施の形態によって本発明を説明する。以下の説明に用いる各図面においては、各構成要素を図面上で認識可能な程度の大きさとするため、各構成要素毎に縮尺を異ならせて示している場合がある。したがって、本発明は、これらの図面に記載された構成要素の数量，構成要素の形状，構成要素の大きさの比率及び各構成要素の相対的な位置関係は、図示の形態のみに限定されるものではない。
【００１６】
本発明の一実施形態は、例えば撮像光学系により結像された光学像を、例えばＣＣＤ（Charge Coupled Device；電荷結合素子）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor；相補性金属酸化膜半導体）型イメージセンサ等の光電変換素子等（以下、撮像素子という）を用いて順次光電変換し、これにより得られた画像信号を所定の形態の画像データ（例えば静止画像又は動画像を表わすデジタル画像データ）として記憶媒体に記憶すると共に、この記憶媒体に記憶されたデジタル画像データに基づいて静止画像又は動画像を再生表示する画像表示装置、例えば液晶表示ディスプレイ（Liquid Crystal Display；ＬＣＤ）や有機エレクトロルミネッセンス（有機ＥＬ；Organic Electro-Luminescence：ＯＥＬ）ディスプレイ等を備えて構成された撮像装置、例えばデジタルカメラ等を例示するものである。なお、撮像装置をカメラと言い換えている場合がある。
【００１７】
まず、本発明の一実施形態の撮像装置の概略的な構成について、図１を用いて以下に説明する。図１は、本発明の一実施形態の撮像装置の概略構成を示すブロック構成図である。
【００１８】
図１に示すように、本実施形態の撮像装置１は、ボディ１０とレンズ鏡筒３０とによって主に構成されている。本実施形態の撮像装置１は、ボディ１０に対してレンズ鏡筒３０が着脱自在に構成されるいわゆるレンズ交換式撮像装置である。本実施形態においては、撮像装置１の一例としてレンズ交換式撮像装置を例に挙げて説明するが、本発明を適用し得る撮像装置としては、この形態に限られることはない。本発明を適用し得るその他の形態の撮像装置としては、例えばボディ１０とレンズ鏡筒３０とが一体に構成された形態のレンズ固定式撮像装置等があり、この形態の撮像装置であっても本実施形態の撮像装置と全く同様に本発明を適用することができる。
【００１９】
ボディ１０は、信号処理制御部１１と、撮像部１２と、ブレ補正部１３と、記憶部１４と、操作部１５と、タッチパネル１６と、時計部１７と、背面表示部１８と、ＥＶＦ１９と、アイセンサ２０と、本体通信部２１と、姿勢センサ２２と、集音部２３等を有して構成されている。
【００２０】
信号処理制御部１１は、当該撮像装置１の全体の動作を統括的に制御する制御部としての機能を備え、レンズ鏡筒３０を含む各構成ユニットを制御するための制御信号を処理する制御部として機能すると共に、撮像部１２によって取得された画像信号（画像データ）を受けて所定の信号処理等を行なう信号処理部として機能する回路部である。
【００２１】
信号処理制御部１１の内部には、操作判定部１１ａと、表示制御部１１ｂと、ＡＦ制御部１１ｃと、音声判定部１１ｄと、姿勢判定部１１ｅと、比較合成処理部１１ｆ等の各種の回路部が具備されている。
【００２２】
このうち、操作判定部１１ａは、操作部１５及びタッチパネル１６から入力された指示信号を判定する回路部である。信号処理制御部１１における制御部は、上記操作判定部１１ａによって判定された操作指示信号を受けて対応する制御処理を実行する。
【００２３】
表示制御部１１ｂは、背面表示部１８やＥＶＦ１９等を駆動制御する制御回路部である。この表示制御部１１ｂは、撮像部１２によって取得され、上記信号処理制御部１１における所定の信号処理を経て出力される表示用の画像データ（画像信号）を受けて、背面表示部１８もしくはＥＶＦ１９の表示パネルを用いて視認可能な画像を表示させるための制御等を行なう。なお、本実施形態においては、撮像部１２から出力された画像データを受けて表示用画像データを生成する画像処理等は、上記信号処理制御部１１における信号処理部によって行うようにしているが、この表示用画像データを生成する画像処理等は、上記表示制御部１１ｂにおいて行うように構成してもよい。その場合には、上記表示制御部１１ｂは、背面表示部１８もしくはＥＶＦ１９の駆動制御を行なう制御回路であると共に、表示用画像データを生成する画像処理等を行なう信号処理回路としても機能するものになる。
【００２４】
ＡＦ制御部１１ｃは、上記撮像部１２のＡＦ部１２ａからの出力を受けて、自動焦点調節動作を実行するための制御処理を行なう回路部である。そのためにＡＦ制御部１１ｃは、レンズ鏡筒３０のレンズ制御部３１を介してレンズ駆動部３３等を駆動制御する。
【００２５】
音声判定部１１ｄは、集音部２３によって集音されデータ化された音のデータ（以下、音声データという）を受けて音声判定等、各種の音声データ処理等を行う回路部である。音声判定部１１ｄにて行われる処理内容は、例えば集音部２３により集音されデータ化された音声データのアナログ−デジタル（ＡＤ）／デジタル−アナログ（ＤＡ）変換処理や、同音声データの圧縮及び伸張処理等の通常の処理のほか、取得された音声が、所定の音声、例えば打ち上げ花火の炸裂音（後述する）であるか否か等の音声判定処理を行う。
【００２６】
姿勢判定部１１ｅは、姿勢判定用センサである姿勢センサ２２からの出力信号若しくは撮像部１２からの出力信号等を受けて、当該撮像装置１の姿勢（例えば重力方向に対するレンズ光軸方向の傾き状態等）等を判定する回路部である。
【００２７】
比較合成処理部１１ｆは、撮像部１２から連続的に出力される複数の画像データを受けて、例えば比較明合成処理等の画像合成処理を行う画像合成処理部であり画像信号処理回路部である。
【００２８】
撮像部１２は、レンズ鏡筒３０に含まれる撮像光学系３２（詳細後述）によって結像された被写体像を受光し光電変換処理を行なって画像データを生成する撮像素子等の電子部品及びＡＦ部１２ａ等を含む構成ユニットである。撮像部１２における撮像素子としては、例えばＣＣＤ等の回路素子を用いたＣＣＤ型イメージセンサ若しくはＭＯＳ等を用いたＭＯＳ型イメージセンサ等の固体撮像素子である光電変換素子等が適用される。この撮像部１２の撮像素子から出力されるアナログ画像信号は、信号処理制御部１１へと出力されて各種の信号処理が行なわれる。
【００２９】
ＡＦ部１２ａは、例えば画像を形成するための信号を出力する複数の撮像用画素を撮像面（受光面）の全域に亘って二次元状に配列した撮像素子において、その撮像面の少なくとも一部の複数の画素を焦点検出を行うための信号を出力する焦点検出用画素とし、これら複数の焦点検出用画素の出力に基づいて焦点検出処理を行なう回路部の一部を構成する。このＡＦ部１２ａは、撮像面位相差検出方式のＡＦ（オートフォーカス）制御処理、いわゆる像面位相差ＡＦ制御処理を行なう回路部の一部を構成している。このＡＦ部１２ａによって生成される像面位相差ＡＦ制御処理用データは、上記ＡＦ制御部１１ｃへと出力される。
【００３０】
また、本実施形態の撮像装置１におけるＡＦ機能を実現する形態としては、上記の像面位相差ＡＦ制御処理に限られることはなく、従来形態の各種ＡＦ制御処理に対応した形態を適用できる。一般的な従来の撮像装置においてＡＦ機能を実現するための形態としては、例えば上記ＡＦ制御部１１ｃの制御によって撮像光学系を駆動させ撮像部１２に含まれる撮像素子の撮像面上に結像される被写体像のコントラスト差を検出し被写体像の合焦状態を判定するいわゆるコントラストＡＦ制御処理のほか、位相差検出用センサを別に備え撮像光学系からの一部の光束を用いて被写体像の合焦状態を判定するいわゆる位相差検出方式ＡＦ制御処理等、従来からある様々なＡＦ方式のものを適用できる。また、特定の用途であれば、その用途に適した固定焦点にしても良い。
【００３１】
ブレ補正部１３は、撮像対象とする被写体に対して当該撮像装置１の撮像光学系３２の光軸や、撮像部１２の撮像素子の撮像面の位置が不安定になることに起因して生じる像ぶれを補正するための機構部及び回路部を含む構成ユニットである。なお、ブレ補正部１３に含まれる各種機構ユニット等の具体的な構成は周知の技術が適用されているものとして、その詳細説明は省略する。
【００３２】
姿勢センサ２２は、撮像装置１の姿勢変化等を検出する検出手段であって、例えばジャイロセンサや加速度センサ等が適用される。この姿勢センサ２２の出力は、上記信号処理制御部１１の姿勢判定部１１ｅへと出力される。これを受けて、姿勢判定部１１ｅは、当該撮像装置１の姿勢判定を行う。そして、その姿勢判定の結果は、上記ブレ補正部１３によるブレ補正制御に反映される。
【００３３】
記憶部１４は、記憶媒体やこの記憶媒体を駆動制御する媒体駆動部等によって構成される構成ユニットである。記憶媒体は、画像データや各種の情報若しくは各種のプログラムなどを記憶するデバイスである。記憶媒体としては、例えばカード型着脱式若しくは装置内蔵型の半導体メモリ媒体や磁気記憶媒体等が適用される。上記媒体駆動部は、上記記憶媒体を駆動制御する制御部のほかに、画像データの入出力を司る信号処理回路部等を有する回路部等からなる。具体的には、上記媒体駆動部は、例えば撮像部１２によって取得され信号処理制御部１１を経て所定の画像データ処理等が施された画像データを受けて、これを例えば信号圧縮処理等を行って記憶用画像データに変換する信号処理を行ったり、記憶媒体に記憶済みの画像データを読み込んで伸長処理等を施して画像データを復元させる信号処理等を行なう。なお、画像データについての圧縮伸長処理については、当該媒体駆動部において処理する形態に限られることはなく、例えば信号処理制御部１１内に同様の信号処理回路部を設け、それによって実行するような形態としてもよい。
【００３４】
また、上記記憶部１４には、上述した記憶媒体，媒体駆動部等のほかにも、例えば本撮像装置１における各種の制御プログラムや各種の情報データを予め記憶した書き換え可能な不揮発性の半導体メモリ、具体的には例えばＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等や、撮像部１２によって取得された画像信号や各種の情報データ等を一時的に記憶して一時的な作業用途に用いられる揮発性の半導体メモリ、具体的には例えばＳＤＲＡＭ (Synchronous Dynamic Random Access Memory) 等の一時メモリをも含むものとする。この記憶部１４の具体的な構成についても、周知の技術が適用されているものとして、その詳細説明は省略する。
【００３５】
操作部１５は、本撮像装置１のボディ１０の外装部分等に設けられる通常の押しボタン式若しくはスライド式，ダイヤル式等の形態の各種の操作部材であって、具体的には例えばシャッターリリースボタンや設定操作部材等、各種の一般的な操作部材を含めた操作用の構成部材を指すものである。操作部１５から出力される指示信号は、信号処理制御部１１の操作判定部１１ａへと出力されて、操作指示信号が判定される。
【００３６】
タッチパネル１６は、操作部１５とは別系統の操作用部材として設けられる電子部品である。タッチパネル１６は、背面表示部１８の表示パネル上に配置されており、当該撮像装置１の使用者（ユーザ）が背面表示部１８に表示中の画像に対応する所定領域や各種アイコン表示に相当する領域等に対してタッチ操作やスライド操作等を行なうことによって、各種の操作指示信号が発生するように構成されている。タッチパネル１６からの指示入力信号は、信号処理制御部１１の操作判定部１１ａへと出力されて、当該操作判定部１１ａにおいて操作入力が判定される。
【００３７】
時計部１７は、いわゆるリアルタイムクロック（Real-Time Clock；ＲＴＣ）と言われるコンピュータの内部時計である。時計部１７は、例えばデータファイル等の日時情報を付与したり、制御処理中における計時や時間制御等の際に参照される。
【００３８】
背面表示部１８及びＥＶＦ１９は、例えば撮像部１２によって取得された画像データに基づいて生成された表示用画像データ等を受けてライブビュー画像を表示したり、記憶部１４に記憶済みの画像データに基づいて静止画像若しくは動画像の画像再生表示を行ったり、記憶部１４等に予め用意された各種データ等を読み込んで生成されるメニュー表示等を表示する表示ユニットである。
【００３９】
このうち、背面表示部１８は、例えばボディ１０の背面側に設けられ、比較的大型（例えば３型程度のサイズ）の表示パネルを採用する形態の表示ユニットである。また、ＥＶＦ１９は、例えばアクセサリーシュー等に装着したりボディ１０に内蔵可能な小型（例えば０．５型程度のサイズ）の表示パネルを用いて構成されるいわゆる電子ビューファインダ（ＥＶＦ；Electric View Finder）形態の表示ユニットである。これらの表示ユニットは、信号処理制御部１１の表示制御部１１ｂによって制御される。
【００４０】
上記表示ユニット（背面表示部１８及びＥＶＦ１９）は、例えば液晶ディスプレイ（ＬＣＤ），プラズマディスプレイ（ＰＤＰ），有機エレクトロルミネッセンスディスプレイ（ＯＥＬＤ）等の表示パネルと、その駆動回路等を含んで構成される。
【００４１】
上記表示ユニット（１８，１９）は、信号処理制御部１１の表示制御部１１ｂの制御下において、撮像装置１の動作モードが再生モードに設定されている時には、撮像記憶済みの画像データに基づく画像（静止画像，動画像等）を再生表示する表示装置として機能する。また、撮像装置１の動作モードが撮像モードに設定されている時には、同様に信号処理制御部１１の表示制御部１１ｂの制御下において、撮像部１２によって所得され信号処理制御部１１において所定の信号処理が施された画像データを受けて順次連続的にリアルタイムの画像を表示し続けることによって、撮像範囲の観察，確認を行ない得る電子ビューファインダとして機能する。
【００４２】
表示ユニットとしての背面表示部１８とＥＶＦ１９とは、適宜、用途に応じて切り換えて使用されるようになっている。そのために、例えばＥＶＦ１９の近傍には、アイセンサ２０が配設されている。上記アイセンサ２０は、例えばＥＶＦ１９の近傍に設けられ、例えば使用者（ユーザ）の顔（眼）を検出することにより、使用者（ユーザ）がＥＶＦ１９を使用する状態にあるかを検出する検出手段である。具体的には、例えば当該撮像装置１の使用中において、背面表示部１８を使用しているものとする。この状態において、例えば使用者（ユーザ）がＥＶＦ１９を用いてその表示パネルの表示を視認するために、当該ＥＶＦ１９の表示部近傍に顔（眼）を近付けると、アイセンサ２０は、これを検出する。これを受けて、信号処理制御部１１は、背面表示部１８の表示駆動を一時停止させ、ＥＶＦ１９の表示駆動に切り換える制御を行なう。なお、この場合において、一方の表示ユニットの表示駆動を停止させることなく、例えばメニュー表示等の情報表示を行うように制御し、他方をライブビュー画像表示駆動を行うような制御としてもよい。このように、上記二つの表示ユニットは、用途に応じて様々な形態の制御が上記表示制御部１１ｂを介してなされる。
【００４３】
本体通信部２１は、ボディ１０とレンズ鏡筒３０との間の制御信号，情報信号等をやり取りするために設けられる通信用信号処理回路部である。ボディ１０にレンズ鏡筒３０を装着すると、両者は電気的に接続されるように構成されている。これにより、本体通信部２１と、レンズ鏡筒３０側のレンズ通信部３７（後述）との間が電気的に接続され、よって、ボディ１０側の信号処理制御部１１とレンズ鏡筒３０側のレンズ制御部３１（後述する）とは電気的に接続される。そして、この状態において両者は協働してボディ１０及びレンズ鏡筒３０をそれぞれ制御するように構成されている。
【００４４】
集音部２３は、例えばマイクロフォン等を含んで構成される構成ユニットであって、音声を集音して電気信号に変換し音声データを生成する構成部である。この集音部２３において集音されデータ化された音声データは上記信号処理制御部１１の音声判定部１１ｄへと出力される。これは、撮影時の音声を記録するためのものであるが、本願では、撮影時の制御にもコストやスペースの増加を招くことなく共用し、有効活用している。もちろん、専用のものを設けてもよい。
【００４５】
一方、レンズ鏡筒３０は、レンズ制御部３１と、撮像光学系３２と、レンズ駆動部３３と、状態判定部３４と、レンズ側操作部３５と、レンズ側記憶部３６と、レンズ通信部３７等によって主に構成されている。
【００４６】
レンズ制御部３１は、上記ボディ１０側の信号処理制御部１１の制御下において、若しくはこれと協働して、レンズ鏡筒３０側の各構成ユニットの動作を制御する制御回路部である。なお、このレンズ制御部３１は省略して構成することもできる。その場合には、レンズ鏡筒３０側の制御の全てをボディ１０側の信号処理制御部１１が担うように構成すればよい。
【００４７】
撮像光学系３２は、撮像対象とする被写体からの光を透過させて被写体の光学像を結像させる複数の光学レンズ等によって構成される光学ユニットである。なお、図面においては詳細な図示を省略しているが、撮像光学系３２には、光学レンズを保持する複数の保持枠部材や、これら複数の保持枠部材を各個別に光軸方向に進退させる駆動部材等のほか、ズーミングのためのズーム駆動機構部，フォーカシングのためのフォーカス駆動機構部、透過光束の光量を調整する絞り装置等を含めて構成される構成ユニットである。
【００４８】
レンズ駆動部３３は、上記撮像光学系３２に含まれる複数の保持枠部材等を光軸方向に進退させる駆動部材及びアクチュエータ等を含んで構成され、上記ズーム駆動機構部や上記フォーカス駆動機構部等を駆動する駆動ユニットである。
【００４９】
状態判定部３４は、例えば上記撮像光学系３２に含まれる各光学レンズのうちフォーカス光学系やズーム光学系等の光軸上における位置を検出するセンサ等を含んで構成され、撮像装置１の使用中における上記撮像光学系３２の光学レンズの位置を検出し、当該撮像光学系３２の状態を判定するための構成ユニットである。
【００５０】
レンズ側操作部３５は、レンズ鏡筒３０側における各種の操作を行うための操作部材、例えば手動による焦点調節操作やズーム操作を行なう操作環や、電動による焦点調節操作やズーム操作を行なう操作スイッチに連動する操作部材のほか、マクロモードと通常撮像モードとの切換操作を行なう操作部材等を含む構成部である。
【００５１】
レンズ側記憶部３６は、レンズ鏡筒３０における固有の情報、例えば焦点距離，開放絞り値，レンズ特性等、各種の情報を予め記憶させておく半導体メモリ等を含む構成ユニットである。
【００５２】
レンズ通信部３７は、上述したように本体通信部２１との間で電気的に接続されることにより、レンズ鏡筒３０とボディ１０との間の通信を確保する通信用信号処理回路部である。
【００５３】
本実施形態の撮像装置１におけるボディ１０及びレンズ鏡筒３０の構成要素としては、上述した構成部材以外にも、その他の各種構成ユニット等を有して構成されているものであるが、それらの各種構成ユニット等は、本発明に直接関連しない構成であるので、従来の一般的な撮像装置と同様の構成を具備するものとして、その詳細説明及び図示を省略している。
【００５４】
例えば、撮像光学系の光路を開閉し、撮像動作の際に撮像光学系を透過する光束の光量を調整するための絞り機構及びシャッター機構については図示及び説明を省略しているが、本実施形態の撮像装置１においても、従来の撮像装置と同様構成の絞り機構及びシャッター機構を有している。この場合において、絞り機構はレンズ鏡筒３０側に設けられるのが普通である。また、シャッター機構としては、ボディ１０側に配設するフォーカルプレーンシャッターでもよいし、レンズ鏡筒３０側に配設するレンズシャッターでもよい。また、機械的なシャッター機構に変えて若しくはこれに加えて撮像部１２における撮像素子を電気的に制御することによってシャッター機構として機能させる素子シャッター機能を備えていてもよい。なお、シャッター機構がボディ１０側に配設されている場合（素子シャッターも含む）には、シャッター機構は主にボディ側の制御部によって制御される。また、シャッター機構がレンズ鏡筒３０側に配設されている場合には、シャッター機構は主にボディ側の制御部の制御下においてレンズ制御部３１を介して制御される。
【００５５】
このような構成からなる本実施形態の撮像装置１を用いて行なう撮像動作時の作用について、以下に説明する。
【００５６】
本実施形態の撮像装置１は、撮像動作モードとして花火モードを有している。この花火モードは、例えば打ち上げ花火等を撮像対象として撮像する際に適した撮像動作モードである。この花火モードは、具体的には、例えば撮像対象としての打ち上げ花火が打ち上がり、開花し、散開する過程において、その花火が現出させる光跡を一つの画像に写し込んだ撮像結果（画像データ）を、特別な工夫や知識なしに、誰でも簡単に撮像し得る撮像動作モードである。以下の説明は、本実施形態の撮像装置１を花火モードに設定して撮像動作を実行した場合の作用である。もちろん、画像や音声や時刻や季節や場所のデータ、また、ユーザの構え方や行動履歴からシーン判定等で、花火モードが自動設定されても良い。
【００５７】
図２〜図５は、本実施形態の撮像装置１を花火モードに設定して撮像動作を行う際のようすを示す概念図である。このうち、図２は使用者（ユーザ）が花火モードに設定した撮像装置を構え、打ち上げ花火が開花したときのようすを示す図である。図３は、図２の状況から所定時間経過後の状況を示し、撮像対象としている打ち上げ花火に変化が生じたようすを示している。図４は、本撮像装置を撮像動作モードのうちの花火モードに設定して撮像したときに得られる画像の一例を示す概念図である。図５は使用者（ユーザ）が花火モードでの撮像動作を中断若しくは中止して撮像装置の構えを解いたようすを示す図である。
【００５８】
本実施形態の撮像装置１を用いて、例えば打ち上げ花火を撮像対象として撮像動作を行う場合には、まず、使用者（ユーザ）１００は、撮像装置１を起動させて撮像動作モードを花火モードに設定する。そして、使用者（ユーザ）１００は、図２に示すように、当該撮像装置１手に持って、撮像対象とする打ち上げ花火が開花するであろうと予想される領域に向けて構えつつ、その状態で待機する。ここで、撮像装置１を手に持って構える撮像待機形態を例示したが、この例に限らず、撮像装置１を例えば三脚若しくは一脚上に固定する等の撮像待機形態であってもよい。
【００５９】
この場合において、撮影対象を打ち上げ花火とする場合には、撮像装置１の撮像光学系３２の光軸は、地平線若しくは水平線（重力方向に直交する方向）に対して仰角となっているのが一般である。このような状況から花火モードを判定しても良い。三脚判定用のスイッチを設けてもよい。距離を遠距離固定にしたりしても良い。
【００６０】
この待機中において、撮影対象とする打ち上げ花火が打ち上げられて、その花火が所定の領域（上空）にて開花したとする。図２は、撮像装置１が撮像待機状態にあるときに打ち上げ花火が開花した瞬間の状況を概念的に示している。図２において、符号１１０ａは打ち上げ花火の開花状態を概念的に示すものとする。
【００６１】
通常の場合、打ち上げ花火は、上空の開花予想領域にて炸裂音と共に開花する。図２に示す矢印Ｓ１は、その時の炸裂音（以下、第１炸裂音という）を表すものとする。次いで、打ち上げ花火は、上記第１炸裂音と共に開花した後（図２で示す状況の後）、その光跡が炸裂点を中心として略放射状に散開し、所定時間後に光跡が消滅する。通常の打ち上げ花火では、この放射散開時において、例えば散開終末時点等、所定のタイミングに上記第１炸裂音とは異なる炸裂音が余韻のように発生する。図３に示す矢印Ｓ２は、後者の余韻音（以下、第２炸裂音という）を表すものとする。また、図３において、符号１１０ｂは打ち上げ花火の散開状態を概念的に示す。
【００６２】
本実施形態の撮像装置１においては、図２に示す状況から図３に示す状況に至るまでの期間、つまり打ち上げ花火の打ち上げ前の状態から、花火が打ち上げられて、所定領域にて炸裂開花し、散開して、その光跡が消滅するまでの間において、撮像部１２の撮像素子から出力される複数の画像データ（例えばフレーム毎の画像データ）に基づく画像処理、即ち比較明合成処理等が実行される。その場合において、上記第１炸裂音や第２炸裂音は、集音部２３によって検出されることによって、それらの炸裂音の発生（検出）タイミングを、上記画像処理（比較明合成処理等）の開始タイミングや終了タイミング等として利用される。なお、上記画像処理（比較明合成処理等）が開始された場合においても、通常の場合は、背面表示部１８の表示画面上には通常のライブビュー画像が表示される。それとは別に、例えば通常ライブビュー画像表示に代えて、若しくは使用者（ユーザ）による所定の操作に応じて、上記画像処理結果を背面表示部１８の表示画面上に順次表示するようにしてもよい。
【００６３】
このような画像処理が施された結果得られる画像の一例を、図４に示している。即ち図４においては、図２から図３の状況において、打ち上げ花火が開花した瞬間から散開する間の光跡が一画像中に写し込まれていることを概念的に示している。
【００６４】
そして、これら一連の撮像動作が完了すると、使用者（ユーザ）１００は、撮像対象としていた打ち上げ花火に対する撮像装置１の構えを解く。即ち、使用者（ユーザ）１００は、手に持って花火の開花予想領域に向けて構えていた撮像装置１を手に持った状態で下に下ろす。すると、当該撮像装置１においては、例えば姿勢センサ２２の検出結果、若しくは撮像部１２の撮像素子から出力される複数の画像データに基づいて、姿勢判定部１１ｅにより姿勢判定がなされ、花火モード時における撮像装置１の所定の構えが解かれたと判断される。これによって一連の花火モード時における撮像動作が完了する。もちろん、他の動作で完了制御してもよい。
【００６５】
次に、本実施形態の撮像装置において、花火モード時の上記一連の撮像動作が行なわれる際の作用を、主に図６に示すタイムチャート及び図７，図１１のフローチャートによって以下に説明する。図６は、本実施形態の撮像装置において花火モード時の撮像動作が行われる際の作用の概略を示すタイムチャートである。図７は、本実施形態の撮像装置のカメラ制御のメインフローチャートである。
【００６６】
まず、本実施形態の撮像装置１の電源状態が、使用者（ユーザ）によってオン状態にされる。すると、信号処理制御部１１は、図７に示すカメラ制御処理のメインフローチャートの実行を開始する。
【００６７】
図７のステップＳ１０１において、信号処理制御部１１は、現在設定されている動作モードが、撮像動作を実行し得る撮像モードに設定されているか否かの確認を行なう。ここで、撮像モードに設定されていることが確認されると、次のステップＳ１０２の処理に進む。また、撮像モード以外に設定されている場合にはステップＳ１２１の処理に進む。
【００６８】
撮像モードに設定されている場合には、次のステップＳ１０２において、信号処理制御部１１は、撮像部１２等を駆動制御して、順次取得される複数の画像データを記憶部１４に含まれる一時メモリに順次取り込む画像取り込み処理を実行する（図６（Ａ）参照）。同時に、信号処理制御部１１は、背面表示部１８若しくはＥＶＦ１９等を駆動制御して、上記撮像部１２にて取得した画像データに基づく画像を、背面表示部１８又はＥＶＦ１９の表示画面を用いて連続的に表示させ続けるライブビュー画像表示処理を実行する（図６（Ｃ）参照）。
【００６９】
なお、この時点、即ち撮像装置１の起動直後の時点においては、各構成ユニットは初期化された状態にあり、例えば撮像光学系３２は、例えば無限遠への合焦状態となる規定位置に設定されている。したがって、この時点においては、撮像光学系３２による正確な焦点調節動作が行われているわけではないが、画面全体としておおまかな合焦状態にあるものとされている。
【００７０】
続いて、ステップＳ１０３において、信号処理制御部１１における信号処理部は、上記撮像部１２により順次取得され上記一時メモリに順次取り込まれて蓄積された複数の画像データのうち、例えば時系列に並ぶ前後の画像データの比較を行って、画像変化判定処理を行う。
【００７１】
ここで行われる画像変化判定処理では、次のような処理が行われる。例えば、図６（Ａ）は画像取り込み処理のようすを示している。図６（Ａ）において、符号ａ１，ａ２，ａ３，……，ａ１１……は、各フレーム毎に発生し取り込まれる個々のフレーム画像信号を表している。これらのフレーム画像信号から複数の画像データが生成される。この複数の画像データは、上述したように一時メモリに順次蓄積されている。上記画像変化判定処理は、これら複数のフレーム画像データに基づいて行われる。即ち、上記画像変化判定処理は、具体的には例えば、時系列に前後に並ぶ画像データ（ａ１）と（ａ２）とを比較して、その間の画像変化の発生を判定する。これにより、図６（Ｂ）に示す符号（ｂ１）の信号を得る。ここで、画像変化が確認された場合には、その画像変化が撮像装置１の姿勢変化によるものか否か等、姿勢変化の判定を行う。同様に、画像データ（ａ２）と（ａ３）とを比較して、信号（ｂ２）を得る。以降同様に、時系列の前後に隣接する画像データの比較判定処理を行う。この場合における姿勢変化の判定は、例えば上記姿勢判定部１１ｅが関与して行う。
【００７２】
以上のようにして、上記ステップＳ１０３の処理（画像（姿勢）変化判定処理）が完了すると、その後、ステップＳ１０４の処理に進む。
【００７３】
次いで、ステップＳ１０４において、信号処理制御部１１は、姿勢判定部１１ｅを介して姿勢センサ２２からの出力信号の監視を開始して、当該撮像装置１の現在の姿勢（例えば重力方向に対するレンズ光軸方向の傾き状態等）の姿勢判定処理の実行を開始する。これと同時に、信号処理制御部１１は、音声判定部１１ｄを介して集音部２３からの入力信号の監視を開始して音声判定処理の実行を開始する。その後、ステップＳ１０５の処理に進む。
【００７４】
ステップＳ１０５において、信号処理制御部１１は、記憶部１４等を制御して記録用画像データの取り込み処理を開始する。この画像データの取り込みは一時メモリへの記憶動作として、以降継続して行われる。また、ここで、信号処理制御部１１は、音声判定部１１ｄを介して集音部２３からの入力信号の監視を開始する（図６（Ｅ）参照）。
【００７５】
続いて、ステップＳ１０６の処理にて、信号処理制御部１１は、上記ステップＳ１０４の処理にて実行した姿勢判定処理結果を参照し、当該撮像装置１（カメラ）が上向きで固定された状態にあるか否かを確認する。ここで、撮像装置１（カメラ）が上向き状態であるとは、例えば撮像光学系３２の光軸が、重力方向に直交する方向である地平線若しくは水平線に対して仰角となっている場合が相当する。また、撮像装置１（カメラ）が固定された状態とは、姿勢センサ２２等の出力が一定であり、姿勢が安定している状態をいうものとする。このステップＳ１０６の処理にて、撮像装置１（カメラ）が上向きで固定された状態にあることが確認された場合には、撮影動作モードのうち花火モードへのモード設定を行って、次のステップＳ１３１の処理に進む。また、撮像装置１（カメラ）が上向きで固定された状態にはないことが確認された場合には、撮影動作モードのうち通常撮影モードへのモード設定を行って、次のステップＳ１１１の処理に進む。
【００７６】
上述のステップＳ１０６の処理にて、撮像装置１（カメラ）が上向きで固定された状態であることが確認されて、花火モードが設定された後、次のステップＳ１３１の処理に進むと、このステップＳ１３１において、信号処理制御部１１は、本体通信部２１，レンズ通信部３７を介してレンズ制御部３１と通信を行ない、レンズ制御部３１と協働してレンズ駆動部３３を駆動制御し焦点調節動作を実行する。このときの焦点調節動作は、撮像光学系３２を無限遠（∞）位置に設定する動作となる（図６（Ｉ）参照）。
【００７７】
次いで、ステップＳ１３２において、信号処理制御部１１は、音声判定部１１ｄを介して集音部２３からの入力信号の監視を行ない、上記第１炸裂音の入力を判定する。ここで、第１炸裂音が確認されると、次のステップＳ１３３の処理に進む。また、第１炸裂音が確認されなければ、ステップＳ１１１の処理に進む。
【００７８】
ステップＳ１３３において、信号処理制御部１１は、上述のステップＳ１３２の処理にて判定された第１炸裂音の発生時点よりも所定時間（例えば１０秒）前の時点以降の撮像結果（画像データ）を確保し、それ以前の蓄積画像データを上記一時メモリから削除する処理を行う。つまり、図６（Ｄ）で示す符号（ｄ１）から符号（ｄ２）までの範囲内の画像データが、花火モードにおける撮像動作の撮像結果に反映されることになる。
【００７９】
ここで、第１炸裂音の発生時点よりも所定時間（例えば１０秒）前の時点以降の撮像結果（画像データ）を確保することにしたのは次のような理由による。即ち、通常の場合、打ち上げ花火は、上述したように（図２，図３にて説明したように）、打ち上げられると所定時間（例えば１０秒程度）の後に、上空の所定領域にて第１炸裂音と共に開花し（図２参照）、その後、余韻音（第２炸裂音）と共に光跡が炸裂点を中心として略放射状に散開し、その光跡は所定時間後に消滅する。したがって、第１炸裂音の発生タイミングより約１０秒前を、打ち上げ花火の開花開始時点として推定するものとしている。つまり、上記１０秒前の数値は、撮影状況等を考慮すると、場合によって異なる数値を使用者（ユーザ）が任意に設定し得るようにしてもよい。
【００８０】
打ち上げ花火におけるこのような一連の状況のうち、打ち上げ花火の見所としては、開花期間と散開期間、即ち第１炸裂音，第２炸裂音が発生するタイミングが相当する。図６（Ｇ）は、花見の見所タイミングを示しており、開花期間を符号ｇ１で示し、散開期間を符号ｇ２で示している。なお、光の到達速度と音の到達速度には相違があることは周知である。打ち上げ花火は、その打ち上げ地点からある程度離れた地点で鑑賞するのが普通である。したがって、鑑賞者、即ち撮影者、つまり打ち上げ花火を撮影対象とする撮像装置１の使用者（ユーザ）にとっては、上記開花を視認してから所定時間後に第１炸裂音が確認され、上記散開を視認した後に、第２炸裂音が確認されることになる。図６（Ｈ）は、このときの状況、即ち、花火の発する音、即ち第１及び第２炸裂音が、図６（Ｇ）に示す発光タイミングから遅延する様子を示している。具体的には、図６（Ｈ）の符号ｈ１は第１炸裂音を示し、符号ｈ２は第２炸裂音を示している。このように、光の変化が音の変化より早く終わり、逆に言うと、光の変化の終わる頃に音が検出されるのは、雷や空爆など遠距離での事象では必ず起こることで、光速と音速の差異によって生じるため、光変化を伴う画像の記録終了制御、特に、画像合成時の判定に用いれば有効であることを本願では積極的に利用している。
【００８１】
図７に戻って、ステップＳ１３４において、信号処理制御部１１は、操作判定部１１ａを介して操作部１５からの操作指示信号を監視して、使用者（ユーザ）によるレリーズ操作によりレリーズ信号が発生したか否かの確認をする。上述したように、花火モードが設定された時点において、撮像動作、即ち画像データの取り込み動作は開始している。したがって、花火モードによる撮像動作の実行中において、使用者（ユーザ）が行うレリーズ操作は、実際の撮像動作等のタイミングを決めるものではなく、使用者（ユーザ）の撮像意思を決定するために行われる。つまり、花火モード実行中のレリーズ操作は、使用者（ユーザ）が撮像動作を望む所定期間中の任意の時点で行われるものである。上記ステップＳ１３４にて行うレリーズ信号の確認処理は、使用者（ユーザ）の撮像意思の確認というほどの意味である（図６（Ｆ）参照）。ここで、レリーズ信号の発生が確認された場合には、次のステップＳ１３５の処理に進む。また、レリーズ信号の発生が確認されない場合には、ステップＳ１４１の処理に進む。
【００８２】
レリーズ信号の発生が確認されずに、ステップＳ１４１の処理に進んだ場合には、このステップＳ１４１において、信号処理制御部１１は、姿勢判定部１１ｅを制御して、姿勢センサ２２の出力、若しくは撮像部１２により取得された画像等に基づく姿勢判定処理を行って、撮像装置１の姿勢が変化したか否かの確認を行う。ここで、撮像装置１の姿勢変化が確認された場合には、次のステップＳ１４１の処理に進む。また、撮像装置１の姿勢変化が確認されない場合には、ステップＳ１０１の処理に戻る。この場合において、撮像装置１の姿勢変化が確認された場合とは、例えば上向き固定された状態が解除されたことを意味する（図５参照）
ステップＳ１４２において、信号処理制御部１１は、所定の撮像終了処理を実行する。この撮像終了処理は、例えば花火モードの解除に加えて、撮像部１２からの画像データの取り込みを中止する処理や、記憶部１４の一時メモリへの画像データの記憶処理等である。その後、ステップＳ１０１の処理に戻る。
【００８３】
一方、上述のステップＳ１３４の処理にて、レリーズ信号の発生が確認されて、次のステップＳ１３５の処理に進むと、このステップＳ１３５において、信号処理制御部１１の比較合成処理部１１ｆは、合成用画像データを生成するための実際の合成用撮像処理の実行を開始する。
【００８４】
ステップＳ１３６において、信号処理制御部１１は、音声判定部１１ｄを介して集音部２３からの入力信号の監視を開始して、上記第２炸裂音（余韻音）の入力を判定する。ここで、第２炸裂音が確認されると、次のステップＳ１３７の処理に進む。また、第２炸裂音が確認されなければ、ステップＳ１４３の処理に進む。
【００８５】
ステップＳ１４３において、信号処理制御部１１は、姿勢判定部１１ｅを制御して、姿勢センサ２２の出力、若しくは撮像部１２により取得された画像等に基く姿勢判定処理を行って、撮像装置１の姿勢が変化したか否かの確認を行う。ここで、撮像装置１の姿勢変化が確認された場合には、次のステップＳ１４４の処理に進む。また、撮像装置１の姿勢変化が確認されない場合には、ステップＳ１３６の処理に戻る。ここで、撮像装置１の姿勢変化が確認された場合とは、例えば上向き固定された状態が解除されたことを意味する（図５参照）
ステップＳ１４４において、信号処理制御部１１は、所定の撮像終了処理を実行する。この撮像終了処理は、例えば花火モードの解除に加えて、撮像部１２からの画像データの取り込みを中止する処理や、記憶部１４の一時メモリへの画像データの記憶処理等である。その後、ステップＳ１３８の処理に進む。
【００８６】
上述のステップＳ１３６の処理にて第２炸裂音（余韻音）が確認されて、次のステップＳ１３７の処理に進むと、このステップＳ１３７において、信号処理制御部１１は、花火モードによる撮像終了処理を実行する。その後、ステップＳ１３８の処理に進む。
【００８７】
このように、本実施形態の撮像装置１において、花火モードの終了タイミングは、上記第２炸裂音（余韻音）の発生時点としている。上述したように、花火モードの開始タイミングは、上記第１炸裂音の１０秒前の時点としているので、これにより、花火モード時における撮像動作による合成処理対象とする画像データは、図６（Ｊ）の符号（ｊ１）で示される蓄積時間内において、図６（Ｄ）の符号（ｄ１）〜（ｄ２）の範囲内で取得される画像データとなる。
【００８８】
ステップＳ１３８において、信号処理制御部１１は、上記記憶部１４の一時メモリに蓄積記憶されている撮像結果（画像データ）のうち不要となる画像データの削除処理を実行する。ここで、不要画像データとは、例えば今回の花火モードにて合成処理の対象とする範囲（図６（Ｄ）の符号（ｄ１）〜（ｄ２））以外の画像データである。
【００８９】
ステップＳ１３９において、信号処理制御部１１は、比較合成処理部１１ｆを制御して、上記一時メモリ内に残された画像データに基づいて所定の画像合成処理、即ち比較明合成処理を実行する。ここで行われる比較明合成処理は、次のようなものである。図８〜図１０は、本実施形態の撮像装置１において、例えば打ち上げ花火を撮像対象として撮像動作を実行したときに行われる比較明合成処理を説明する概念図である。このうち、図８（Ａ）は、花火の開花予想領域において開花する寸前の打ち上げ花火のようすを概念的に示している。図８（Ｂ）は、図８（Ａ）で示す時点における画像データについて光量ｐと画像位置ｗとで表す線図である。図９（Ａ）は図８（Ａ）の時点から所定の時間が経過して、花火が散開した後に所定の時間が経過したようすを概念的に示している。図９（Ｂ）は、図９（Ａ）で示す時点における画像データについて光量ｐと画像位置ｗとで表す線図である。図１０（Ａ）は図８（Ａ）から図９（Ａ）への画像変化を比較明合成処理により表す概念図である。図１０（Ｂ）は図１０（Ａ）で示す時点における画像データの合成光量ｐと画像位置ｗとを表す線図である。
【００９０】
図８（Ａ）で示す状態にあるとき、その画像データにおける光量ｐと画像位置ｗとの関係は、図８（Ｂ）のようになる。このとき、背面表示部１８の表示画面内の所定の位置ｗ１に写り込んでいる被写体（花火）の光量は、符号ｐ１の波形で表される。
【００９１】
一方、図９（Ａ）で示す状態にあるとき、その画像データにおける光量ｐと画像位置ｗとの関係は、図９（Ｂ）のようになる。このとき、背面表示部１８の表示画面内の所定の位置ｗ２，ｗ３に写り込んでいる被写体（花火）の光量は、符号ｐ２，ｐ３の波形で表される。
【００９２】
ここで、図８（Ａ）の状態の画像データ（図８（Ｂ））と、図９（Ａ）の状態の画像データ（図９（Ｂ））とに基づいて比較明合成処理を施すと、図１０（Ａ）の状態になり、そのときの画像データは図１０（Ｂ）で示すようになる。
【００９３】
このように、比較明合成処理は、複数の連続的な画像データにおいて、時系列で前後の画像データを比較して、同一画素位置の明るさが大きい方（明るい方）を採用し、これを繰り返す合成処理である。このような画像合成処理を行うことにより、背景は暗いままの状態を保ったまま、複数の撮像結果（画像データ）の明るい部分の変化を光跡として抽出して一つの画像として合成することができる。
【００９４】
一般に、花火等のように、暗い空（背景）の中に明るい部分（光跡）が変化してパターンを描くような被写体に対しては比較明合成画像処理の技術が有効である。このような画像合成処理技術は、被写体（花火）以外の光成分をなるべく排除するような工夫が必要になるが、本実施形態においては、撮像動作中において被写体が発する音（炸裂音等）や、撮像装置１の姿勢変化を判定することによって、画像合成処理の対象とする画像データの選別を行う、つまり、処理対象の開始画像データと終了画像データの時間的な範囲を決定するようにしている。これにより、常にきれいな合成画像を得るようにしている。
【００９５】
図７に戻って、上述のステップＳ１０６の処理にて、撮像装置１（カメラ）が上向きで固定された状態にはないことが確認されて、通常撮影モードが設定された後、次のステップＳ１１１の処理に進むか、若しくは、上述のステップＳ１３２の処理にて、第１炸裂音が確認されなかった場合に、ステップＳ１１１の処理に進むと、このステップＳ１１１において、信号処理制御部１１は、操作判定部１１ａを介して操作部１５からの操作指示信号を監視して、実際の撮像動作の実行を開始するレリーズ信号が発生したか否かの確認をする。ここで、レリーズ信号の発生が確認された場合には、次のステップＳ１１２の処理に進む。また、レリーズ信号の発生が確認されない場合には、ステップＳ１０１の処理に戻る。
【００９６】
レリーズ信号の発生が確認されてステップＳ１１２の処理に進むと、このステップＳ１１２において、信号処理制御部１１は、ＡＦ制御部１１ｃを介して撮像部１２，ＡＦ部１２ａ等を制御して通常の焦点調節制御処理を実行する。
【００９７】
続いて、ステップＳ１１３において、信号処理制御部１１は、撮像部１２，記憶部１４等を制御して、通常の撮像動作及び記憶動作を実行する。その後、ステップＳ１１４の処理に進む。
【００９８】
ステップＳ１１４において、信号処理制御部１１は、表示制御部１１ｂを介して背面表示部１８若しくはＥＶＦ１９を制御して、上述のステップＳ１１３の処理における撮像動作により取得された画像データに基く画像を、所定の時間（例えば５秒間）だけ表示画面に表示するいわゆるレックビュー処理を実行する。その後、ステップＳ１１５の処理に進む。
【００９９】
ステップＳ１１５において、信号処理制御部１１は、操作判定部１１ａを介して操作部１５からの操作指示信号を監視して、電源オフ信号が発生したか否かの確認をする。ここで、電源オフ信号が確認されると、所定の電源オフ処理を実行した後、一連の処理を終了する（エンド）。また、電源オフ信号が確認されない場合には、上述のステップＳ１０１の処理に戻る。
【０１００】
他方、上述のステップＳ１０１の処理にて、撮像モード以外に設定されていることが確認されて、ステップＳ１２１の処理に進んだ場合には、次のような処理の流れとなる。
【０１０１】
まず、ステップＳ１２１において、信号処理制御部１１は、現在設定されている動作モードが画像表示再生動作処理を実行し得る再生モードに設定されているか否かの確認を行なう。ここで、再生モードに設定されていることが確認されると、次のステップＳ１２２の処理に進む。また、再生モード以外に設定されている場合には、ステップＳ１０１の処理に戻る。なお、本フローチャートにおいては、撮像モードと再生モード以外の動作モードについての動作は、本発明に直接関連しないものであるので、その図示及び説明は省略し、ステップＳ１０１の処理へ戻る制御処理としている。しかしながら、実際の撮像装置においては、撮像モード及び再生モード以外の、その他の動作モードが存在する場合には、それに対応する制御処理へと進むような制御処理とすればよい。
【０１０２】
次に、ステップＳ１２２において、信号処理制御部１１は、表示制御部１１ｂを介して背面表示部１８を駆動制御して、記憶部１４の記憶媒体に記憶済みの画像データに基くファイル一覧表示処理を実行する。
【０１０３】
次いで、ステップＳ１２３において、信号処理制御部１１は、操作判定部１１ａを介して操作部１５若しくはタッチパネル１６への操作指示信号を監視して、ファイル選択指示とその選択ファイルの再生動作とを指示するファイル選択再生指示信号が発生したか否かの確認を行なう。ここで、ファイル選択再生指示信号が確認された場合には、次のステップＳ１２５の処理に進む。また、ファイル選択再生指示信号が確認されない場合には、ステップＳ１２４の処理に進む。
【０１０４】
ステップＳ１２４において、信号処理制御部１１は、操作判定部１１ａを介して操作部１５若しくはタッチパネル１６への操作指示信号を監視して、再生モードの終了を指示する指示信号が発生したか否かの確認を行なう。ここで、再生モード終了指示信号が確認された場合には、再生モードによる動作制御を終了し、ステップＳ１０１の処理に戻る。また、再生モード終了指示信号が確認されない場合にはステップＳ１２２の処理に戻る。
【０１０５】
一方、上述のステップＳ１２３の処理にて、ファイル選択再生指示信号が確認されて、次のステップＳ１２５の処理に進むと、このステップＳ１２５において、信号処理制御部１１は、表示制御部１１ｂを介して背面表示部１８を制御すると共に、記憶部１４を制御して、上述のステップＳ１２３の処理にて選択された画像ファイル（選択画像）を背面表示部１８の表示画面に表示する（再生する）選択画像再生処理を実行する。その後、ステップＳ１２６の処理に進む。
【０１０６】
ステップＳ１２６において、信号処理制御部１１は、操作判定部１１ａを介して操作部１５若しくはタッチパネル１６への操作指示信号を監視して、現在表示中の画像表示処理の終了を指示する指示信号が発生したか否かの確認を行なう。ここで、表示終了指示信号が確認された場合には、現在表示中の画像表示処理を終了して、上述のステップＳ１２１の処理に戻る。また、表示終了指示信号が確認されない場合には、ステップＳ１２５の処理に戻る。即ち、表示終了指示信号が確認されるまで、現在表示中の画像表示処理を継続する。
【０１０７】
上述の実施形態においては、図７に示すメインフローチャート中において、花火モードにおける対象被写体への焦点調節制御は、ステップＳ１３１の処理で説明したように、無限遠（∞）位置への設定としている。しかしながら、花火モードにおける対象被写体への焦点調節制御は、この形態に限られることはない。以下に、花火モードにおける対象被写体への焦点調節制御についての別の制御形態の一例を説明する。
【０１０８】
図１１は、図７のメインフローチャートのうち焦点調節制御処理（ステップＳ１３１に対応）に代わる別の形態の焦点調節制御処理のサブルーチンを示すフローチャートである。図１２は、図１１に示す焦点調節制御処理のうち花火距離分析処理の概念を説明する図である。
【０１０９】
上述の一実施形態においては、花火モード時には、焦点調節制御処理として無限遠固定としている。この場合、さらに、撮像光学系に含まれる絞り装置の絞り込み設定を行うようにする工夫も、従来の撮像装置において行われている。撮像対象物としての花火は遠距離被写体であることから、このような設定は無難ではあるが、必ずしも最適な設定とはいえない。
【０１１０】
また、打ち上げ花火を撮像する際には、花火が打ち上げられる上空の開花予想領域から一定の距離を置いた位置に撮像装置を設置し、移動することなく、複数の撮像を断続的に継続して行われることが多い。
【０１１１】
一方、打ち上げ花火等の明滅する点光源を撮像対象とする場合、従来の撮像装置に適用されているオートフォーカス機構では、確実に焦点調節をおこなうことができない場合がある。さらに、打ち上げ花火の場合、開花予想領域が一定ではないことから、露出設定や撮像画角設定等を、打ち上げ前に確実に行うことができないことが多い。
【０１１２】
そこで、打ち上げ花火等を主な撮像対象とするための撮像モードとしての花火モードをプログラムするのに際しては、撮像動作処理のバックグラウンドにおいて、撮像部１２（撮像素子，イメージセンサ等を含む）や集音部２３（マイクロフォン等を含む），姿勢センサ２２等からの入力信号に基づいて、撮像装置１に対する撮像対象物としての打ち上げ花火までの距離や露出設定，画角設定（花火の大きさ等）等の各種情報を総合的に蓄積し、繰り返し撮像を行う際の焦点調節ミスを回避して、より理想的な撮像結果を得られるような工夫をする必要がある。
【０１１３】
撮像動作処理のバックグラウンドにおいて行う音と光の情報精度を確保するためには、打ち上げ花火のサイズや、打ち上げ高さ、撮像装置１からの仰角度等を考慮して、花火の炸裂音の判定を行う。これによって、距離が遠いと判定された時には、この光と音の速度差を利用した露出制御が可能である、と判定しても良い。つまり、近距離であれば、光と音の到達時間に差異がなくなり、こうした音を判定しての時間制御の信頼性がなくなってしまう。
【０１１４】
また、近年においては、撮像装置１にＧＰＳ（Global Positioning System）受信機を具備し、ＧＰＳを利用して打ち上げ花火の打ち上げ位置を指定し、角度情報とあわせて焦点調節制御を設定するような工夫も考えられる。
【０１１５】
ここで、図１１のサブルーチンで示す焦点調節制御の作用を説明する。この焦点調節制御は、図７のステップＳ１３１の処理を置き換え得るものである。
【０１１６】
まず、図１１のステップＳ２０１において、信号処理制御部１１は、各種構成ユニットを制御して、通常花火モードとしての設定を行う。ここで、通常花火モードの設定は、例えば撮像光学系３２を無限遠（∞）位置に設定すると共に、撮像光学系に含まれる絞り装置（不図示）を、絞り込んだ状態（小絞り状態）とする設定を行う。この形態の制御においては、この状態、即ち無限遠（∞）設定を初期値とする。
【０１１７】
ステップＳ２０２において、信号処理制御部１１は、花火距離分析処理を実行する。この花火距離分析処理は、次のような処理である（図１２参照）。
【０１１８】
まず、花火モードに設定された後に撮像される輝度変化から打ち上げ花火の開花タイミングを検出し、これを符号Ｔ１とする。
【０１１９】
次いで、集音部２３（マイク）からの入力に基づいて、打ち上げ花火の第１炸裂音が撮像装置１に届くタイミングを検出し、これを符号Ｔ２とする。
【０１２０】
すると、光の到達時間と音の到達時間との差、即ち音の遅延時間ΔＴは、
Ｔ２−Ｔ１＝ΔＴ（秒；sec.）
となる。
【０１２１】
ここで、音の伝達速度は３４０ｍ／ｓｅｃ．である。また、光の伝達速度は３０万ｋｍ／ｓｅｃ．である。無限遠（∞）相当の距離から発せられる光であっても、光の伝達時間としては略ゼロに等しいと考えてよい。
【０１２２】
したがって、花火までの距離を（ObjectDistance）とすると
（ObjectDistance）＝音の遅延時間（ΔＴ）×音速
である。これにより、
（ObjectDistance）＝３４０（ｍ／ｓｅｃ．）×ΔＴ（ｍ）
となる。
【０１２３】
また、このときの撮像装置１の姿勢は、姿勢センサ２２若しくは撮像部１２によって取得される画像データによって検出される。この場合において、図１２に示すように、、例えば撮像装置１の仰角＝θ２とし、花火の打ち上げ場所までの直線距離を（BaseDistance）とすると、
（BaseDistance）＝ｃｏｓθ２×（ObjectDistance）（ｍ）
である。
【０１２４】
こうして算出された（BaseDistance）のデータを撮像装置１内において例えば記憶部１４に保存しておけば、撮像装置１の姿勢変化、即ち仰角の変化、例えば仰角θ２から仰角θ１に変化する等に応じて対応する焦点位置（フォーカス位置）を求めることができる。したがって、以降の撮像動作においては、打ち上げ花火の高さによって変化する撮像装置１の仰角に応じて焦点位置（フォーカス位置）の微調整を行うことができる。
【０１２５】
（ObjectDistance（new））＝（BaseDistance）／ｃｏｓθ(new)
撮像装置１においては、連続的な撮像動作の最中においても、上記（BaseDistance）をバックグラウンドにて常に算出しており、測定誤差やバラツキを吸収させ、所定のヒステリシスをもって焦点調節制御処理に適用することで安定した撮像結果を得られるようにしている。
【０１２６】
図１１に戻る。上述のステップＳ２０２の処理、即ち花火距離分析処理が完了したら、続いてステップＳ２０３の処理に進む。
【０１２７】
ステップＳ２０３において、信号処理制御部１１は、上述のステップＳ２０２の処理による分析結果が更新されたか否かの確認を行う。ここで、分析結果の更新が確認された場合には、ステップＳ２０５の処理に進む。また、分析結果の更新が確認されない場合には、ステップＳ２０４の処理に進む。ここで、本例の場合には、花火の上がる都度、上記距離演算を行っており、その距離分析結果が算出されている。その場合において、前回のデータと今回のデータとで距離演算結果が異なる場合にデータ更新がなされる。
【０１２８】
ステップＳ２０４において、信号処理制御部１１は、所定の回数（時間）更新が無かった場合には分析結果をリセットする。その後、当該サブルーチンを終了し、元の処理シーケンスに復帰する（リターン）。
【０１２９】
一方、ステップＳ２０５において、信号処理制御部１１は、データに基づいて最適なフォーカス位置（焦点位置）の設定を行うと共に、分析結果の表示を行う。その後、元の処理シーケンスに復帰する（リターン）。
【０１３０】
以上説明したように上記一実施形態によれば、撮像装置１の姿勢変化を検出して特定の撮像動作モードである花火モードに自動設定すると共に、花火モードに設定された後は、使用者（ユーザ）による撮像開始操作（レリーズ操作）に関わらず撮像動作を開始して、フレーム毎の画像データの蓄積を始めると共に、花火から生じる炸裂音を検出して撮像用画像合成処理（比較明合成処理）の開始タイミング及び終了タイミングを設定する。そして、使用者（ユーザ）による撮像開始操作（レリーズ操作）が検出されると、そのレリーズ信号の発生時点を含む期間の画像合成処理結果を、取得画像データとして保存するようにしている。
【０１３１】
このような構成とすることによって、使用者（ユーザ）は、花火モードによる特殊な撮像動作であることを特に意識することなく、通常行っている操作を行うのみで、撮像装置１は自動的に各種の処理を実行する。これにより、本実施形態の撮像装置１においては、常に良好な合成画像の撮像結果を手軽に取得することができる。もちろん、このような方法以外にも、距離判定は可能であるが、距離が遠いと判定された時には、この光と音の速度差を利用した露出制御が可能である、としてもよい。つまり、近距離であれば、光と音の到達時間に差異がなくなり、こうした音を判定しての時間制御の信頼性がなくなってしまうが、遠距離であれば、音が花火に限らず、稲妻や爆発の露出修了に利用が可能である。
【０１３２】
上述の各実施形態で説明した各処理シーケンスは、その性質に反しない限り、手順の変更を許容し得る。したがって、上述の処理シーケンスに対して、例えば各処理ステップの実行順序を変更したり、複数の処理ステップを同時に実行させたり、一連の処理シーケンスを実行する毎に、各処理ステップの順序が異なるようにしてもよい。
【０１３３】
即ち、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。
【０１３４】
また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがプログラムにより設定可能であり、そのプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ−ＲＯＭ等、不揮発性メモリ等の可搬媒体や、ハードディスク、揮発性メモリ等の記憶媒体に、その全体あるいは一部を記憶又は記憶することができ、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供可能である。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記憶媒体からコンピュータにインストールすることで、容易に本実施の形態の撮影機器を実現することができる。
【０１３５】
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用を実施し得ることが可能であることは勿論である。さらに、上記実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせによって、種々の発明が抽出され得る。例えば、上記一実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題が解決でき、発明の効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【産業上の利用可能性】
【０１３６】
本発明は、デジタルカメラ等の撮像機能に特化した電子機器である撮像装置に限られることはなく、自動焦点調節機能を有し撮像機能を備えた他の形態の電子機器、例えば携帯電話，スマートフォン，録音機器，電子手帳，パーソナルコンピュータ，タブレット端末機器，ゲーム機器，携帯テレビ，時計，ＧＰＳ（Global Positioning System）を利用したナビゲーション機器等、各種の撮像機能付き電子機器にも広く適用することができる。
【０１３７】
さらに、撮像素子を用いて画像を取得する際の自動焦点調節機能を有し、取得された画像を表示装置に表示する機能を有する電子機器、例えば望遠鏡，双眼鏡，顕微鏡等の観察用機器に対しても同様に適用することができる。
【符号の説明】
【０１３８】
１……撮像装置，
１０……ボディ，
１１……信号処理制御部，
１１ａ……操作判定部，
１１ｂ……表示制御部，
１１ｃ……ＡＦ制御部，
１１ｄ……音声判定部，
１１ｅ……姿勢判定部，
１１ｆ……比較合成処理部，
１２……撮像部，
１２ａ……ＡＦ部，
１３……ブレ補正部，
１４……記憶部，
１５……操作部，
１６……タッチパネル，
１７……時計部，
１８……背面表示部，
２０……アイセンサ，
２１……本体通信部，
２２……姿勢センサ，
２３……集音部，
３０……レンズ鏡筒，
３１……レンズ制御部，
３２……撮像光学系，
３３……レンズ駆動部，
３４……状態判定部，
３５……レンズ側操作部，
３６……レンズ側記憶部，
３７……レンズ通信部，
【図１】
2016021643.tif 000003
【図２】
2016021643.tif 000004
【図３】
2016021643.tif 000005
【図４】
2016021643.tif 000006
【図５】
2016021643.tif 000007
【図６】
2016021643.tif 000008
【図７】
2016021643.tif 000009
【図８】
2016021643.tif 000010
【図９】
2016021643.tif 000011
【図１０】
2016021643.tif 000012
【図１１】
2016021643.tif 000013
【図１２】
2016021643.tif 000014