(57)【要約】 【課題】複数枚の画像の撮影を行い、それらを合成して手振れを補正する場合に、合成処理時に、合成すべき複数の画像の関連性を容易に判断可能とする【解決手段】被写体の輝度に対して適正露出が得られる第１の露光時間が手ブレを起こすと予想される露光時間である場合に、手ブレを起こさないと予想される第１の露光時間よりも短い第２の露光時間で複数枚の画像の撮影を行い、その複数枚の画像を合成して１枚の適正露出の画像を得るための撮像装置であって、複数枚の画像のうち、被写体を照明する補助光を発する閃光装置により照明されて撮影された１枚の画像を主画像データとし、その他の閃光装置により照明されずに撮影された画像を主画像データに従属する従属画像データとして記録する。【選択図】      図６
2006197243.tif 000002
【特許請求の範囲】
【請求項１】
被写体の輝度に対して適正露出が得られる第１の露光時間が手ブレを起こすと予想される露光時間である場合に、手ブレを起こさないと予想される第１の露光時間よりも短い第２の露光時間で複数枚の画像の撮影を行い、該複数枚の画像を合成して１枚の適正露出の画像を得るための撮像装置であって、
前記複数枚の画像のうち、被写体を照明する補助光を発する閃光装置により照明されて撮影された１枚の画像を主画像データとし、その他の前記閃光装置により照明されずに撮影された画像を前記主画像データに従属する従属画像データとして記録することを特徴とする撮像装置。
【請求項２】
前記従属画像データは、前記主画像データのファイル名と、該ファイル名の拡張子を除いた部分が同一で拡張子が異なるファイル名で記録されることを特徴とする請求項１に記載の撮像装置。
【請求項３】
手振れを検知する手振れ検知センサをさらに具備し、該手振れ検知センサの検知情報を前記主画像データに従属するデータとして記録することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記複数枚の画像の撮影開始から撮影終了までの間の前記手振れ検知センサの検知情報と、前記複数枚の画像の各露光タイミングの情報とを、前記主画像データに従属するデータとして記録することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記従属画像データとして、前記主画像と前記従属画像の差分情報を記録することを特徴とする請求項１に記載の撮像装置。
【請求項６】
被写体の輝度に対して適正露出が得られる第１の露光時間が手ブレを起こすと予想される露光時間である場合に、手ブレを起こさないと予想される第１の露光時間よりも短い第２の露光時間で複数枚の画像の撮影を行う撮影工程と、
前記複数枚の画像のうち、被写体を照明する補助光を発する閃光装置により照明されて撮影された１枚の画像を主画像データとし、その他の前記閃光装置により照明されずに撮影された画像を前記主画像データに従属する従属画像データとして記録する記録工程と、
を具備することを特徴とする撮像方法。
【請求項７】
前記記録工程では、前記従属画像データを、前記主画像データのファイル名と、該ファイル名の拡張子を除いた部分が同一で拡張子が異なるファイル名で記録することを特徴とする請求項６に記載の撮像方法。
【請求項８】
前記記録工程では、手振れを検知する手振れ検知センサの検知情報を前記主画像データに従属するデータとして記録することを特徴とする請求項６に記載の撮像方法。
【請求項９】
前記記録工程では、前記複数枚の画像の撮影開始から撮影終了までの間の前記手振れ検知センサの検知情報と、前記複数枚の画像の各露光タイミングの情報とを、前記主画像データに従属するデータとして記録することを特徴とする請求項８に記載の撮像方法。
【請求項１０】
前記記録工程では、前記従属画像データとして、前記主画像と前記従属画像の差分情報を記録することを特徴とする請求項６に記載の撮像方法。
【請求項１１】
請求項６乃至１０のいずれか１項に記載の撮像方法をコンピュータに実行させることを特徴とするプログラム。
【請求項１２】
請求項１１に記載のプログラムをコンピュータ読み取り可能に記憶したことを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画像を撮像して記録する撮像装置における手振れを補正する技術に関するものである。
【背景技術】
【０００２】
従来、銀塩カメラやビデオカメラ、電子スチルカメラなどを手持ちで撮影する場合に発生する手振れを補正する技術についてはさまざまなものが提案され、かつ実用化されている。
【０００３】
たとえば、振動ジャイロなどの角速度センサによって手振れを検知し、光学系を揺動させる、または光軸と垂直方向に補正光学系を駆動することによって手振れを抑制する技術が、一眼レフ用の交換レンズ、ビデオカメラ、電子スチルカメラに既に用いられている。防振機能により撮影領域は拡大されるので、これらの効果は大きいものであるが、しかし、センサおよび補正光学系を追加する必要があるために、手振れ補正機能を持たない交換レンズ、ビデオカメラ、電子スチルカメラに比べて大型化やコスト増が避けられないという問題が有った。
【０００４】
また、ビデオカメラではＮＴＳＣやＰＡＬなどのテレビ方式に合わせて１／６０秒または１／５０秒間隔で撮影が行われるが、手振れ量を測定するために、角速度センサの代わりに、撮像された各画像間での動きベクトルを検知するという技術を用いているものが有る。このような方式には、手振れを補正するために撮像素子から画像を取り出す切り出し位置を検知された手ぶれ量に応じて変えるようにすることにより、補正光学系のような可動部分を持たずに手振れ抑制機能を実現しているものもある。これらの技術では大型化やコスト増を回避することが出来る。
【０００５】
しかしながら、デジタルカメラにおいては、動画と静止画の違いから、このようなビデオカメラの手振れ補正技術をそのまま応用することは困難である。なぜなら、デジタルカメラでは銀塩カメラと同様に、測光結果によって定まった露光時間中、連続して撮像素子での電荷蓄積が行われており、その期間は蓄積が行われているためにリアルタイムに動きベクトルを得ることができない。また手振れ補正についても、露光中にすでに撮像素子上には手振れ成分が重畳された画像が蓄積されているため、画像の切り出し位置を変えて手振れ補正することができない。
【０００６】
デジタルカメラに好適な手振れ補正技術として、手振れを生じない程度のシャッター速度で複数枚の画像を連写撮影し、撮影後の処理でその複数枚の画像を位置合わせを行いながら合成して手振れのない画像を得るという技術が提案されている。
【０００７】
本願出願人が既に出願している特許文献１では、順次撮像した画像を経時的な位置ずれに対応して座標変換を行った後に合成する技術を提案している。
【０００８】
また、特許文献２には、同様に複数枚の画像を撮影し、ずれを補正しながら合成することでぶれのない画像を得る技術が開示されている。
【０００９】
また、特許文献３には、連写した画像データをmotion JPEGデータとして手振れデータとともに記録し、再生時に記録されている手振れデータに応じてぶれを補正しながら連写した画像データを再生するという技術が開示されている。
【特許文献１】特許３１１０７９７号公報
【特許文献２】特開平９−２６１５２６号公報
【特許文献３】特開２０００−２９９８１３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
複数枚の画像を撮影し、手振れ量を補正しながら合成することでぶれのない画像を得る技術について、手振れの補正および合成のプロセスは、デジタルカメラ内で行う必要は必ずしも無い。デジタルカメラ内では、複数枚の画像の撮影だけを行い、手振れ量補正および合成に関しては、パーソナルコンピュータ（以下ＰＣ）に取り込んで行うようにしても良い。
【００１１】
このようにＰＣ上で画像の後処理を行うことは既に知られていることであり、たとえば一眼レフタイプのデジタルカメラや高級コンパクトデジタルカメラの多くでは、ＰＣ上での後処理を想定して、撮像素子から得られた生データ画像をそのまま保存しておくことが出来るようになっている（一般にこれをＲＡＷ画像データと呼ぶ）。ＲＡＷ画像データは、そのままでは画像として見ることは出来ないが、ＰＣ上で色温度補正、階調補正、露出補正などを行いつつＪＰＥＧ画像に変換する処理（銀塩のイメージから現像処理と呼ばれる）を行なうことにより可視画像化することができる。このようなＰＣ上での後処理は、一般的に行われている。
【００１２】
また、撮像素子の画素数増大や連写性能向上が進むにつれて、デジタルカメラ内での撮像から画像の記録までの時間短縮も必要となってきており、後処理で手振れ補正、合成を行わせることは、デジタルカメラ側の負荷を減らすことができるという点で有利である。
【００１３】
しかしながら、後処理で手振れ補正を行う場合、記録されている複数枚の画像データの相互の関連性が問題となる。
【００１４】
合成すべき複数画像のそれぞれを個別の画像として記録した場合、それらが自動的に合成すべき画像のグループに属するのか否かを判断するのは困難であり、後処理時にユーザーがどの画像を合成するのかを指定する必要が生じる。自動的にグループ分けする方法としては、たとえば画像ファイルが作成された日時を秒単位で比較することが考えられるが、それぞれの画像が連写で個別の画像として撮影された可能性もあるので、画像作成日時だけで単純に判断はできない。
【００１５】
また、それぞれの画像同士を比較し、相違が多いか少ないかにより合成すべき画像か否かを判断することも考えられるが、撮影された内容が似ている画像でも、たとえば記念写真などでは、背景は同じで人の組み合わせが変わって撮影するような場合もあり得る。また、逆に合成すべき画像のグループでも、夜景時に人物をスローシンクロ撮影するケースなど、１コマだけストロボ撮影が行われて人物にストロボ光が照射され、合成すべき画像であるにも拘わらず、他の画像と類似性が維持されない場合も有り得る。
【００１６】
先の従来例に関しては、特許文献１で開示されているのはビデオカメラに応用した例であり、後処理で手振れ補正、合成を行う技術は開示されていない。
【００１７】
特許文献２には、デジタルカメラへの応用例が開示されているが、同様に手振れ補正と合成はカメラ内で行われる例のみが開示され、後処理で手振れ補正、合成を行う技術は開示されていない。
【００１８】
特許文献３に開示されている技術では、連写された複数画像はMotion JPEGの動画として記録されるので、複数画像に対する関連づけはされているが、再生時にブレ補正を行いながら再生するためのものであり、画像合成で１枚の手振れのない画像を得るような手法は開示されていない。
【００１９】
従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、複数枚の画像の撮影を行い、それらを合成して手振れを補正する場合に、合成処理時に、合成すべき複数の画像の関連性を容易に判断可能とすることである。
【課題を解決するための手段】
【００２０】
上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、被写体の輝度に対して適正露出が得られる第１の露光時間が手ブレを起こすと予想される露光時間である場合に、手ブレを起こさないと予想される第１の露光時間よりも短い第２の露光時間で複数枚の画像の撮影を行い、該複数枚の画像を合成して１枚の適正露出の画像を得るための撮像装置であって、前記複数枚の画像のうち、被写体を照明する補助光を発する閃光装置により照明されて撮影された１枚の画像を主画像データとし、その他の前記閃光装置により照明されずに撮影された画像を前記主画像データに従属する従属画像データとして記録することを特徴とする。
【００２１】
また、本発明に係わる撮像方法は、被写体の輝度に対して適正露出が得られる第１の露光時間が手ブレを起こすと予想される露光時間である場合に、手ブレを起こさないと予想される第１の露光時間よりも短い第２の露光時間で複数枚の画像の撮影を行う撮影工程と、前記複数枚の画像のうち、被写体を照明する補助光を発する閃光装置により照明されて撮影された１枚の画像を主画像データとし、その他の前記閃光装置により照明されずに撮影された画像を前記主画像データに従属する従属画像データとして記録する記録工程と、を具備することを特徴とする。
【００２２】
また、本発明に係わるプログラムは、上記の撮像方法をコンピュータに実行させることを特徴とする。
【００２３】
また、本発明に係わる記憶媒体は、上記のプログラムをコンピュータ読み取り可能に記憶したことを特徴とする。
【発明の効果】
【００２４】
本発明によれば、複数枚の画像の撮影を行い、それらを合成して手振れを補正する場合に、合成処理時に、合成すべき複数の画像の関連性を容易に判断可能とすることができる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。
【００２６】
（第１の実施形態）
図１は、本発明の第１の実施形態のデジタルカメラの構成を示すブロック図である。
【００２７】
図１において、１００はデジタルカメラである。
【００２８】
１０は撮影レンズ、１２は絞り機能を備えるシャッター、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ出力信号をデジタル信号に変換するＡ／Ｄ変換器である。
【００２９】
１８は撮像素子１４、 Ａ／Ｄ変換器１６、 Ｄ／Ａ変換器２６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。
【００３０】
２０は画像処理回路であり、 Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。
【００３１】
また、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０が露光制御部４０、測距制御部４２に対して制御を行う、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行っている。
【００３２】
さらに、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。
【００３３】
２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。
【００３４】
Ａ／Ｄ変換器１６からのデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６からのデータが直接メモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。
【００３５】
２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はＴＦＴ  ＬＣＤ等から成る画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。
【００３６】
画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。
【００３７】
また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合にはデジタルカメラ１００の消費電力を大幅に削減することが出来る。
【００３８】
３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を備えている。
【００３９】
これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。
【００４０】
また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。
【００４１】
３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮又は伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。
【００４２】
４０は絞り機能を備えるシャッター１２を制御する露光制御部であり、フラッシュ４８と連携することによりフラッシュ調光機能も有するものである。
【００４３】
４２は撮影レンズ１０のフォーカシングを制御する測距制御部、４４は撮影レンズ１０のズーミングを制御するズーム制御部、４６はバリアである保護部１０２の動作を制御するバリア制御部である。
【００４４】
４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。
【００４５】
露光制御部４０、測距制御部４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御部４０、測距制御部４２に対して制御を行う。
【００４６】
５０はデジタルカメラ１００全体を制御するシステム制御回路、５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。
【００４７】
５４はシステム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカー等の表示部であり、デジタルカメラ１００の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。
【００４８】
また、表示部５４は、その一部の機能が光学ファインダー１０４内に設置されている。
【００４９】
表示部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体１５０及び１６０の着脱状態表示、通信Ｉ／Ｆ動作表示、日付け・時刻表示、防振機能表示、等がある。
【００５０】
また、表示部５４の表示内容のうち、光学ファインダー１０４内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示、等がある。
【００５１】
５６は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。
【００５２】
６０，６２，６４，６６，６８，７０は、システム制御回路５０の各種の動作指示を入力するための操作部であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。
【００５３】
ここで、これらの操作部の具体的な説明を行う。
【００５４】
６０はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することが出来る。
【００５５】
６２はシャッタースイッチＳＷ１で、不図示のシャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。
【００５６】
６４はシャッタースイッチＳＷ２で、不図示のシャッターボタンの操作完了でＯＮとなり、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データとして書き込む露光処理、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、記録媒体１５０或いは１６０に画像データとして書き込む記録処理という一連の処理の動作開始を指示する。
【００５７】
６６は画像表示ＯＮ／ＯＦＦスイッチで、画像表示部２８のＯＮ／ＯＦＦを設定することが出来る。
【００５８】
この機能により、光学ファインダー１０４を用いて撮影を行う際に、ＴＦＴ  ＬＣＤ等から成る画像表示部２８への電流供給を遮断することにより、省電力を図ることが可能となる。
【００５９】
６８は、防振機能ＯＮ／ＯＦＦスイッチで、防振機能の作動／非作動を設定することができる。本実施形態では防振機能が非作動の場合は通常撮影を行なうモードとなり、防振機能を作動させると、通常の１回の撮影で適正露出が得られるシャッタースピードよりもシャッタースピードを早くして、所定枚数のアンダー露出の画像を連写撮影するモードとなる。防振機能作動時の詳細については後述する。
【００６０】
実際に、撮影した複数枚の画像を合成して一枚のブレのない画像を作成する処理は後述する画像処理装置側にて行われる。
【００６１】
７０は各種ボタンやタッチパネル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等を備えている。
【００６２】
８０は電源制御部で、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。
【００６３】
８２はコネクタ、８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる電源部である。
【００６４】
９０及び９４はメモリカードやハードディスク等の記録媒体とのインターフェース、９２及び９６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタ、９８はコネクタ９２及び／又は９６に記録媒体１５０或いは１６０が装着されているか否かを検知する記録媒体着脱検知部である。
【００６５】
なお、本実施形態では記録媒体を取り付けるインターフェース及びコネクタを２系統持つものとして説明しているが、もちろん、記録媒体を取り付けるインターフェース及びコネクタは、単数でも良いし、或いは２系統以上の任意の数でも良い。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。
【００６６】
インターフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード、或いはその他種々の記憶媒体の規格に準拠したものを用いて構成して構わない。
【００６７】
さらに、インターフェース９０及び９４、そしてコネクタ９２及び９６をＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成した場合、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カード、等の各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことが出来る。
【００６８】
１０２は、デジタルカメラ１００のレンズ１０を含む撮像部を覆うことにより、撮像部の汚れや破損を防止するバリアである保護部である。
【００６９】
１０４は光学ファインダであり、画像表示部２８による電子ファインダー機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。また、光学ファインダー１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などが配置されている。
【００７０】
１１０は通信部で、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信機能を有する。
【００７１】
１１２は通信部１１０によりデジタルカメラ１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。
【００７２】
１５０はメモリカードやハードディスク等の記録媒体である。
【００７３】
記録媒体１５０は、半導体メモリや磁気ディスク等から構成される記録部１５２、デジタルカメラ１００とのインターフェース１５４、デジタルカメラ１００と接続を行うコネクタ１５６を備えている。
【００７４】
１６０はメモリカードやハードディスク等の記録媒体である。
【００７５】
記録媒体１６０は、半導体メモリや磁気ディスク等から構成される記録部１６２、デジタルカメラ１００とのインターフェース１６４、デジタルカメラ１００と接続を行うコネクタ１６６を備えている。
【００７６】
次に、図２乃至図６を参照して、第１の実施形態のデジタルカメラの動作を説明する。
【００７７】
図２及び図３は本実施形態のデジタルカメラ１００の主ルーチンのフローチャートである。
【００７８】
図２及び図３を用いて、デジタルカメラ１００の動作を説明する。
【００７９】
電池交換等の電源投入により、システム制御回路５０はフラグや制御変数等を初期化し（ステップＳ１０１）、画像表示部２８の画像表示をＯＦＦ状態に初期設定する（ステップＳ１０２）。
【００８０】
システム制御回路５０は、モードダイアル６０の設定位置を判断し、モードダイアル６０が電源ＯＦＦに設定されていたならば（ステップＳ１０３）、各表示部の表示を終了状態に変更し、保護部１０２のバリアを閉じて撮像部を保護し、フラグや制御変数等を含む必要なパラメータや設定値、設定モードを不揮発性メモリ５６に記録し、電源制御部８０により画像表示部２８を含むデジタルカメラ１００各部の不要な電源を遮断する等の所定の終了処理を行った後（ステップＳ１０５）、ステップＳ１０３に戻る。
【００８１】
モードダイアル６０が撮影モードに設定されていたならば（ステップＳ１０３）、ステップＳ１０６に進む。
【００８２】
モードダイアル６０がその他のモードに設定されていたならば（ステップＳ１０３）、システム制御回路５０は選択されたモードに応じた処理を実行し（ステップＳ１０４）、処理を終えたならばステップＳ１０３に戻る。
【００８３】
システム制御回路５０は、電源制御部８０により電池等により構成される電源８６の残容量や動作情況がデジタルカメラ１００の動作に問題があるか否かを判断し（ステップＳ１０６）、問題があるならば表示部５４を用いて画像や音声により所定の警告表示を行った後に（ステップＳ１０８）、ステップＳ１０３に戻る。
【００８４】
電源８６に問題が無いならば（ステップＳ１０６）、システム制御回路５０は記録媒体１５０或いは１６０の動作状態がデジタルカメラ１００の動作、特に記録媒体に対する画像データの記録再生動作に問題があるか否かを判断し（ステップＳ１０７）、問題があるならば表示部５４を用いて画像や音声により所定の警告表示を行った後に（ステップＳ１０８）、ステップＳ１０３に戻る。
【００８５】
記録媒体１５０或いは１６０の動作状態に問題が無いならば（ステップＳ１０７）、表示部５４を用いて画像や音声によりデジタルカメラ１００の各種設定状態の表示を行う（ステップＳ１０９）。なお、画像表示部２８の画像表示がＯＮであったならば、画像表示部２８も用いて画像や音声によりデジタルカメラ１００の各種設定状態の表示を行う。
【００８６】
システム制御回路５０は、防振機能ＯＮ／ＯＦＦスイッチ６８の設定状態を調べ（ステップＳ１１０）、防振機能ＯＮに設定されていたならば防振機能フラグを設定し（ステップＳ１１１）、防振機能ＯＦＦに設定されていたならば防振機能フラグを解除する（ステップＳ１１２）。
【００８７】
なお、防振機能フラグの状態は、システム制御回路５０の内部メモリ或いはメモリ５２に記憶する。
【００８８】
続いて、システム制御回路５０は、画像表示ＯＮ／ＯＦＦスイッチ６６の設定状態を調べ（ステップＳ１１３）、画像表示ＯＮに設定されていたならば、画像表示フラグを設定すると共に（ステップＳ１１４）、画像表示部２８の画像表示をＯＮ状態に設定し（ステップＳ１１５）、さらに撮像した画像データを逐次表示するスルー表示状態に設定して（ステップＳ１１６）、ステップＳ１１９に進む。
【００８９】
スルー表示状態に於いては、撮像素子１２、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して、画像表示メモリ２４に逐次書き込まれたデータを、メモリ制御回路２２、Ｄ／Ａ変換器２６を介して画像表示部２８に逐次表示することにより、電子ファインダー機能を実現している。
【００９０】
画像表示ＯＮ／ＯＦＦスイッチ６６が画像表示ＯＦＦに設定されていたならば（ステップＳ１１３）、画像表示フラグを解除すると共に（ステップＳ１１７）、画像表示部２８の画像表示をＯＦＦ状態に設定して（ステップＳ１１８）、ステップＳ１１９に進む。
【００９１】
画像表示ＯＦＦの場合は、画像表示部２８による電子ファインダー機能を使用せず、光学ファインダー１０４を用いて撮影を行う。この場合、電力消費量の大きい画像表示部２８やＤ／Ａ変換器２６等の消費電力を削減することが可能となる。
【００９２】
なお、画像表示フラグの状態は、システム制御回路５０の内部メモリ或いはメモリ５２に記憶する。
【００９３】
シャッタースイッチＳＷ１が押されていないならば（ステップＳ１１９）、ステップＳ１０３に戻る。
【００９４】
シャッタースイッチＳＷ１が押されたならば（ステップＳ１１９）、システム制御回路５０はシステム制御回路５０の内部メモリ或いはメモリ５２に記憶される画像表示フラグの状態を判断し（ステップＳ１２０）、画像表示フラグが設定されていたならば画像表示部２８の表示状態をフリーズ表示状態に設定して（ステップＳ１２１）、ステップＳ１２２に進む。
【００９５】
フリーズ表示状態に於いては、撮像素子１２、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介した画像表示メモリ２４の画像データ書き換えを禁止し、最後に書き込まれた画像データを、メモリ制御回路２２、Ｄ／Ａ変換器２６を介して画像表示部２８に表示することにより、フリーズした映像を電子ファインダーに表示している。
【００９６】
画像表示フラグが解除されていたならば（ステップＳ１２０）、ステップＳ１２２に進む。
【００９７】
システム制御回路５０は、測距処理を行って撮影レンズ１０の焦点を被写体に合わせ、測光処理を行って絞り値及びシャッター時間（シャッタースピード）を決定する（ステップＳ１２２）。測光処理に於いて、必要であればフラッシュの設定も行う。
【００９８】
この測距・測光処理ステップＳ１２２の詳細は図４を用いて後述する。
【００９９】
測距・測光処理ステップＳ１２２を終えたならば、システム制御回路５０はシステム制御回路５０の内部メモリ或いはメモリ５２に記憶される画像表示フラグの状態を判断し（ステップＳ１２３）、画像表示フラグが設定されていたならば画像表示部２８の表示状態をスルー表示状態に設定して（ステップＳ１２４）、ステップＳ１２５に進む。なお、ステップＳ１２４でのスルー表示状態は、ステップＳ１１６でのスルー表示状態と同じ動作状態である。
【０１００】
シャッタースイッチＳＷ２が押されずに（ステップＳ１２５）、さらにシャッタースイッチＳＷ１も解除されたならば（ステップＳ１２６）、ステップＳ１０３に戻る。
【０１０１】
シャッタースイッチＳＷ２が押されたならば（ステップＳ１２５）、システム制御回路５０はシステム制御回路５０の内部メモリ或いはメモリ５２に記憶される画像表示フラグの状態を判断し（ステップＳ１２７）、画像表示フラグが設定されていたならば画像表示部２８の表示状態を固定色表示状態に設定して（ステップＳ１２８）、ステップＳ１２９に進む。
【０１０２】
固定色表示状態に於いては、撮像素子１２、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して画像表示メモリ２４に書き込まれた撮影画像データの代わりに、差し替えた固定色の画像データを、メモリ制御回路２２、Ｄ／Ａ変換器２６を介して画像表示部２８に表示することにより、固定色の映像を電子ファインダーに表示している。
【０１０３】
画像表示フラグが解除されていたならば（ステップＳ１２７）、ステップＳ１２９に進む。
【０１０４】
システム制御回路５０は、撮像素子１２、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６から直接メモリ制御回路２２を介して、メモリ３０に撮影した画像データを書き込む露光処理、及び、メモリ制御回路２２そして必要に応じて画像処理回路２０を用いて、メモリ３０に書き込まれた画像データを読み出して各種処理を行う現像処理からなる撮影処理を実行する（ステップＳ１２９）。
【０１０５】
この撮影処理ステップＳ１２９の詳細は図５を用いて後述する。
【０１０６】
システム制御回路５０は、システム制御回路５０の内部メモリ或いはメモリ５２に記憶される画像表示フラグの状態を判断し（ステップＳ１３０）、画像表示フラグが設定されていたならばステップＳ１２９で撮影した画像の表示を行う（ステップＳ１３１）。
【０１０７】
画像表示フラグが解除されていたならば（ステップＳ１３０）、画像表示を行わずに次のステップＳ１３２に進む。
【０１０８】
システム制御回路５０は、メモリ３０に書き込まれた撮影画像データを読み出して、メモリ制御回路２２そして必要に応じて画像処理回路２０を用いて各種画像処理を、また、圧縮・伸長回路３２を用いて設定したモードに応じた画像圧縮処理を行った後、記録媒体１５０或いは１６０へ画像データの書き込みを行う記録処理を実行する（ステップＳ１３２）。
【０１０９】
この記録処理ステップＳ１３２の詳細は図６を用いて後述する。
【０１１０】
記録処理ステップＳ１３２が終了した際に、シャッタースイッチＳＷ２が押された状態であったならば（ステップＳ１３３）、システム制御回路５０はシステム制御回路５０の内部メモリ或いはメモリ５２に記憶される連写フラグの状態を判断し（ステップＳ１３４）、連写フラグが設定されていたならば、連続して撮影を行うためにステップＳ１２９に戻り、次の撮影を行う。
【０１１１】
連写フラグが設定されていないならば（ステップＳ１３４）、シャッタースイッチＳＷ２が放されるまで（ステップＳ１３３）、現在の処理を繰り返す。
【０１１２】
シャッタースイッチＳＷ１が押された状態であったならば（ステップＳ１３５）、システム制御回路５０は、ステップＳ１２５に戻って次の撮影に備える。
【０１１３】
シャッタースイッチＳＷ１が放された状態であったならば（ステップＳ１３５）、システム制御回路５０は、一連の撮影動作を終えてステップＳ１０３に戻る。
【０１１４】
図４は、図３のステップＳ１２２における測距・測光処理の詳細なフローチャートである。
【０１１５】
システム制御回路５０は、撮像素子１４から電荷信号を読み出し、Ａ／Ｄ変換器１６を介して画像処理回路２０に撮影画像データを逐次読み込む（ステップＳ２０１）。この逐次読み込まれた画像データを用いて、画像処理回路２０はＴＴＬ（スルー・ザ・レンズ）方式のＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理、ＡＦ（オートフォーカス）処理に用いる所定の演算を行っている。
【０１１６】
なお、ここでの各処理は、撮影した全画素数のうちの必要に応じた特定の部分を必要個所分切り取って抽出し、演算に用いている。これにより、 ＴＴＬ方式のＡＥ、ＥＦ、ＡＷＢ、ＡＦの各処理において、中央重点モード、平均モード、評価モード等の異なる各モード毎に最適な演算を行うことが可能となる。
【０１１７】
画像処理回路２０での演算結果を用いて、システム制御回路５０は露出（ＡＥ）が適正と判断されるまで（ステップＳ２０２）、露光制御部４０を用いてステップＳ２０３〜ステップＳ２０７のＡＥ制御を行う。
【０１１８】
ＡＥ制御時、システム制御回路５０はシステム制御回路５０の内部メモリ或いはメモリ５２に記憶される防振機能フラグの状態を判断し（ステップＳ２０３）、防振機能ＯＮの場合は防振用ＡＥ制御を行い（ステップＳ２０４）、防振機能ＯＦＦ時は通常のＡＥ制御を行う（ステップＳ２０５）。
【０１１９】
防振機能がＯＮの場合は、複数枚の画像が撮影され、その後、画像処理装置にて像の位置ズレを補正しながら加算合成が行われる。このときのシャッター速度は手振れが発生しにくい速度にする必要がある。このようなシャッター速度は次のようにして求めることが出来る。従来より３５ｍｍフィルムを使用するカメラでは撮影レンズの焦点距離をｆｍｍとすると、１／ｆ（ｓｅｃ）のシャッター速度であれば手振れが画像に影響しにくいと言われている。一般的にデジタルカメラの撮像素子は３５ｍｍフィルムに対して小さいが、３５ｍｍフィルムに対する撮像素子の大きさの比と撮影レンズの実焦点距離から、３５ｍｍフィルムカメラ相当の焦点距離を求め、これをｆ’とすると、この逆数（１／ｆ’（ｓｅｃ））をシャッター速度とすれば手振れしにくいシャッター速度とすることが出来る。または、ＰＣ用モニタなどで拡大表示して観察されることを考慮して、より高速なシャッター速度としても良い。
【０１２０】
このようにして求めたシャッター速度と、ＡＥ制御で決まる適正露光量とカメラ側で設定される絞り値および感度値などから、求めたシャッター速度で１枚撮影したときの露光量と適正露光量の比を求めることができ、この比から、加算合成した画像が適正露出となるためには、何枚の撮影画像を加算すればよいかが求まる。たとえば、１枚あたりの露光量が適正露光量の１／４であれば、撮影枚数は４枚として、４枚の画像を加算することで適正露光となる画像を求められる。
【０１２１】
防振時の撮影枚数については、少ないと防振効果が少なくなり、また、多すぎると１枚あたりの露光量が少なくなりすぎて、後処理での動きベクトル検出の処理などが困難になったり、処理にも時間がかかるようになるので、４〜８枚程度が適切である。
【０１２２】
次にＡＥ制御で得られた測定データを用いて、システム制御回路５０はフラッシュが必要か否かを判断し（ステップＳ２０６）、フラッシュが必要ならばフラッシュフラグをセットし、フラッシュ４８を充電する（ステップＳ２０７）。
【０１２３】
露出（ＡＥ）が適正と判断したならば（ステップＳ２０２）、測定データ及び／或いは設定パラメータをシステム制御回路５０の内部メモリ或いはメモリ５２に記憶する。
【０１２４】
画像処理回路２０での演算結果及びＡＥ制御で得られた測定データを用いて、システム制御回路５０はホワイトバランス（ＷＢ）が適正と判断されるまで（ステップＳ２０８）、画像処理回路２０を用いて色処理のパラメータを調節してＡＷＢ（オートホワイトバランス）制御を行う（ステップＳ２０９）。
【０１２５】
ホワイトバランス（ＷＢ）が適正と判断されたならば（ステップＳ２０８）、測定データ及び／又は設定パラメータをシステム制御回路５０の内部メモリ或いはメモリ５２に記憶する。
【０１２６】
ＡＥ制御及びＡＷＢ制御で得られた測定データを用いて、システム制御回路５０は測距（ＡＦ）が合焦と判断されるまで（ステップＳ２１０）、測距制御部４２を用いてＡＦ制御を行う（ステップＳ２１１）。
【０１２７】
測距（ＡＦ）が合焦と判断したならば（ステップＳ２１０）、測定データ及び／又は設定パラメータをシステム制御回路５０の内部メモリ或いはメモリ５２に記憶し、測距・測光処理ルーチンＳ１２２を終了する。
【０１２８】
図５は、図３のステップＳ１２９における撮影処理の詳細なフローチャートである。
【０１２９】
システム制御回路５０は、システム制御回路５０の内部メモリ或いはメモリ５２に記憶される測光データに従い、露光制御部４０によって、絞り機能を有するシャッター１２を絞り値に応じて開放して撮像素子１４を露光する（ステップＳ３０１、ステップＳ３０２）。
【０１３０】
システム制御回路５０はシステム制御回路５０の内部メモリ或いはメモリ５２に記憶される防振機能フラグの状態を判断し（ステップＳ３０３）、防振機能ＯＮの場合は防振時連写の何コマ目かを判断し（ステップＳ３０４）、１コマ目ならフラッシュ使用の判断（ステップＳ３０５）に進み、１コマ目以外の場合は、露光終了判断（ステップＳ３０７）に進む。ステップＳ３０３にて防振機能ＯＦＦならばフラッシュ使用の判断（ステップＳ３０５）に進む。
【０１３１】
ステップＳ３０５ではフラッシュ・フラグによりフラッシュ４８が必要か否かを判断し、必要な場合はフラッシュを発光させる（ステップＳ３０６）。
【０１３２】
上記により、防振機能ＯＮかつフラッシュを使用する場合には、防振機能による連写の１コマ目だけ、フラッシュが発光することとなる。１コマ目だけ発光させるのは、フラッシュに関してはフラッシュ光到達距離範囲内の被写体については一度の発光で適正露出が得られるためである。また、フラッシュを複数コマで発光させようとすると発光後の充電に時間を要するため、各露光間の時間差が大きくなってブレ量（画角変化）が過大となり、後処理での画像処理装置での画像合成が困難になること、また、全体の撮影に長時間かかることになり、被写体が人物の場合など被写体ぶれが大きくなってしまうためである。本実施形態のように構成することで、夜景をバックにした人物撮影などの場合、手前の人物には一度のフラッシュ撮影で適正露光が得られ、背景については防振機能を利用してぶれの少ない夜景が撮影できることとなり、非常に有効である。
【０１３３】
システム制御回路５０は、測光データに従って撮像素子１４の露光終了を待ち（ステップＳ３０７）、シャッター１２を閉じて（ステップＳ３０８）、撮像素子１４から電荷信号を読み出し、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６から直接メモリ制御回路２２を介して、メモリ３０に撮影画像のデータを書き込む（ステップＳ３０９）。
【０１３４】
設定された撮影モードに応じて、フレーム処理を行う必要があるならば（ステップＳ３１０）、システム制御回路５０は、メモリ制御回路２２そして必要に応じて画像処理回路２０を用いて、メモリ３０に書き込まれた画像データを読み出して垂直加算処理や（ステップＳ３１１）、色処理（ステップＳ３１２）を順次行った後、メモリ３０に処理を終えた画像データを書き込む。
【０１３５】
次に防振機能フラグがセットされている場合（ステップＳ３１３）は、防振用連写撮影が終了したかどうかを判断し（ステップＳ３１４）、終了していない場合はステップＳ３０１に戻り、防振用連写が終了するまで上記のステップを繰り返す。防振連写が終了した場合は、ここで撮影終了後の画像表示のために表示用画像データを生成するとともに、インデックス表示や再生表示のためのサムネイル画像を生成する。しかしながら、本実施形態においては、ＰＣ上などでの後処理にて画像合成処理を行うこととしているため、この時点では合成前の画像しかない。また、防振用連写撮影で得られた個々の画像は手振れしない秒時で撮影され、適正露光よりアンダー露出となっている。そのため、そのままでは表示用画像やサムネイル画像として適さない。そこで主画像として用いる画像（通常は連写の１コマ目の画像）を略撮影枚数分ゲインアップを行って表示画像データおよびサムネイル画像を生成する（ステップＳ３１５）。
【０１３６】
具体的には、主画像データの輝度情報を撮影枚数分乗算する。たとえば４枚を合成する場合は、主画像の輝度情報を４倍する。このように整数倍することで、階調性は失われるが、画像表示部２８に使われる液晶上では元画像に対してかなり縮小された画像が表示されるため、階調性が失われていても撮影画像の構図確認などの用途には十分である。そして次のステップ（ステップＳ３１７）に進む。
【０１３７】
またステップＳ３１３にて防振機能フラグがセットされてない場合はゲインアップ処理は行わずに、撮影画像から表示画像データおよびサムネイル画像を生成する（ステップＳ３１６）。
【０１３８】
そして、システム制御回路５０は、メモリ３０から画像データを読み出し、メモリ制御回路２２を介して画像表示メモリ２４に表示画像データの転送を行う（ステップＳ３１７）。以上で撮影処理ルーチンＳ１２９を終了する。
【０１３９】
次に本実施形態における画像データの記録形式について説明する。なお、本実施形態では、記録される画像データの記録形式については、デジタルカメラの画像ファイルフォーマット規格Exif2.2およびカメラファイルシステム規格DCF1.0に準拠している。
【０１４０】
図７に本実施形態の画像データの記録媒体上でのディレクトリ構成、ファイル構成を示す。まず、ルートディレクトリ直下にDCFイメージルートディレクトリであるDCIMディレクトリが作られる。DCIMという名前はDCFに基づき固定である。DCIMディレクトリの下に複数のDCFディレクトリが作られる。DCFディレクトリの命名規則は、ディレクトリ名は８文字で構成され、最初の３文字はディレクトリ番号を表し、”100”〜”999”までの数字、次の５文字は自由文字であり任意の文字列である。図７では仮にDCFディレクトリ名を”100CANOC”、”101CANOC”、 ”102CANOC”とする。
【０１４１】
DCFディレクトリの下に画像データが記録される。図７では100CANOCディレクトリ下に記録されている画像データの様子を表している。
【０１４２】
DCFでは、画像データのファイル名は、ファイル名８文字、拡張子３文字で与えられ、ファイル名は最初の４文字は任意の文字列の自由文字、次の４文字はファイル番号を表す４桁の数字で”0001”〜”9999”までの範囲を取る。本実施形態では、自由文字は”IMG_”としている。
【０１４３】
さらに、関連のあるファイル群をまとめて取り扱うことができるよう、同一ファイル番号を持つファイル群をDCFオブジェクトとすることが規定されている。DCFオブジェクトでは、ファイル番号が同一であれば、自由文字および拡張子は異なって良い。このうち、拡張子については、DCF基本ファイルとして、JPEG方式で記録された画像データに”.JPG”の拡張子を与えることが規定されている。また、同一オブジェクト内ではDCF基本ファイルは一つしか存在できないと規定されている。
【０１４４】
以上のDCFの規定に基づき、本実施形態では防振機能ＯＮのときの連写画像において、1コマ目をDCF基本ファイルとして、”.JPG”の拡張子を与え、”IMG_nnnn.JPG（nnnnは”0001”〜”9999”までの範囲の任意の４桁数字）”というファイル名で記録し、２コマ目以降の画像については、１コマ目の画像と同じファイル番号で、拡張子を”.Smm”(mmは”01”、”02”、”03”と増える２桁の数字)として、”IMG_nnnn.S01”、”IMG_nnnn.S02”、”IMG_nnnn.S03”というファイル名で記録し、これらを同一オブジェクトとする。これにより、ぶれ補正、加算合成処理を行う後処理工程で、特別な処理やデータ付加を行わずに、防振機能有りで撮影された一連の関連する画像を判定することが容易に行える。
【０１４５】
次に記録処理の動作について図６を用いて説明する。
【０１４６】
図６は、図３のステップＳ１３２における記録処理の詳細なフローチャートである。
【０１４７】
図６において、システム制御回路５０は、メモリ制御回路２２そして必要に応じて画像処理回路２０を用いて、メモリ３０に書き込まれた撮影画像データを読み出して撮像素子の縦横画素比率を１：１に補間する画素正方化処理を行った後（ステップＳ４０１）、メモリ３０に処理を終えた画像データを書き込む。そして、メモリ３０に書き込まれた画像データを読み出して、設定したモードに応じた画像圧縮処理を圧縮・伸長回路３２により行う（ステップＳ４０２）。
【０１４８】
次に、システム制御回路５０はシステム制御回路５０の内部メモリ或いはメモリ５２に記憶される防振機能フラグの状態を判断し（ステップＳ４０３）、防振機能ＯＦＦの場合は、通常の撮影であるので、ファイル番号を、前回記録したファイル番号に対して＋１加算したファイル番号とし（ステップＳ４０４）、拡張子をJPGに設定し（ステップＳ４０５）、インターフェース９０或いは９４、コネクタ９２或いは９６を介して、メモリカードやコンパクトフラッシュ（登録商標）カード等の記録媒体１５０或いは１６０へ圧縮した画像データの書き込みを行う（ステップＳ４０６）。このときインデックス用のサムネイル画像もともに書き込まれる。
【０１４９】
記録媒体への書き込みが終わったならば、記録処理ルーチンＳ１３２を終了する。
【０１５０】
ステップＳ４０３において防振機能がＯＮの場合は、防振連写した１コマ目の記録かどうかの判断を行う（ステップＳ４０７）。防振連写の１コマ目の場合は、連写の２枚目以降の拡張子名を決定するためのシステム制御回路５０の内部メモリ或いはメモリ５２に記憶される変数”mm”を”00”に初期化する（ステップＳ４０８）。次に、ファイル番号を、前回記録したファイル番号に対して＋１加算したファイル番号とし（ステップＳ４０９）、拡張子を”.JPG”に設定し（ステップＳ４１０）、インターフェース９０或いは９４、コネクタ９２或いは９６を介して、メモリカードやコンパクトフラッシュ（登録商標）カード等の記録媒体１５０或いは１６０へ圧縮した画像データの書き込みを行う（ステップＳ４１３）。このときインデックス用のサムネイル画像もともに書き込まれる。
【０１５１】
それから、防振連写の最終コマであるかどうかの判定を行い（ステップＳ４１４）、最終コマであれば記録処理ルーチンＳ１３２を終了する。そうでなければステップＳ４０１に戻る。
【０１５２】
ステップＳ４０７において、防振連写した１コマ目以外の場合は、変数mmを＋１する（S４１１）。そして、ファイル番号は防振連写の１コマ目と同じとし、拡張子は変数mmの前にSを付けたものとして設定する（ステップＳ４１２）。これにより、防振連写の２〜４コマ目については、それぞれ”.S01”、”.S02”、”.S03”という拡張子が設定されることになる。そして、インターフェース９０或いは９４、コネクタ９２或いは９６を介して、メモリカードやコンパクトフラッシュ（登録商標）カード等の記録媒体１５０或いは１６０へ圧縮した画像データの書き込みを行う（ステップＳ４１３）。それから防振連写の最終コマかどうかの判定を行う（ステップＳ４１４）。最終コマであれば記録処理ルーチンＳ１３２を終了する。そうでなければステップＳ４０１に戻る。
【０１５３】
以上のように構成することで、防振機能ＯＮのときに４枚の連写を行う場合、ファイル番号をnnnnとすると１枚目の画像はファイル名は”IMG_nnnn.JPG”、２枚目の画像のファイル名は、”IMG_nnnn.S01”、３枚目の画像のファイル名は”IMG_nnnn.S02”、４枚目の画像のファイル名は”IMG_nnnn.S03”となり、一連の防振連写の画像が同一オブジェクトとなり、ファイル名を見るだけで、どの画像が一連の防振連写で撮影された画像かが明らかになるため、後処理の画像処理時に、加算すべき画像の判定が容易に行える。
【０１５４】
次に本実施形態の画像処理装置側の処理について説明する。
【０１５５】
図８は本実施形態のデジタルカメラと画像処理装置の接続を表す図である。
【０１５６】
デジタルカメラ１００と画像処理装置２００は、接続ケーブル２０１で接続され、デジタルカメラ１００内の画像データは画像処理装置２００に転送され、そこで防振用連写された画像の位置合わせおよび加算合成処理が行われる。接続は、デジタルカメラ１００内のインターフェース９０、９４に接続されたＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、等の各種通信カードによって行われる。また、以上のような有線接続ではなく、ＩｒＤＡによる赤外線接続、ＩＥＥＥ８０２．１１ａ、同８０２．１１ｂ、同８０２．１１ｇなどの無線ＬＡＮカードによる無線接続であってもかまわない。
【０１５７】
また、ＣＦ（コンパクトフラッシュ（登録商標））カード等のメモリ媒体を介して画像データを転送しても良い。
【０１５８】
画像処理装置２００は、形態としては一般的なＰＣ（パーソナルコンピュータ）でも良いし、画像処理専用のグラフィックワークステーション（ＧＷＳ）や画像処理専用のハードウェアでも良い。また、ダイレクトプリント機能のように直接デジタルカメラと接続して印刷が行えるようなプリンタの形態であっても良い。
【０１５９】
図９は画像処理装置２００内の画像処理のフローチャートであり、デジタルカメラ１００から転送された画像を、防振用画像合成処理が必要な画像だけ、自動的に判断して処理を行うようなフローチャートである。
【０１６０】
まず、未処理の画像データがあるかどうかを判断し（ステップＳ５０１）、無い場合は処理を終了する。
【０１６１】
未処理の画像データがある場合は、それを画像処理装置内のメモリに読み込む（ステップＳ５０２）。ここでは、まず主画像データを読むこととし、拡張子.JPGのデータを読み込む。次に、防振用画像処理が必要な画像かどうかを判断する（ステップＳ５０３）。防振用画像合成処理が必要ない場合は、ステップＳ５０１に戻って次の画像データを読み込む。防振用画像合成処理が必要か否かは、読み込んだ主画像データと同一ファイル番号を持ち、拡張子が”.Smm”の従属データの有無によって判断することができる。
【０１６２】
防振用画像合成処理が必要な場合、まず読み込んだ画像データを、加算合成処理のために輝度リニアフォーマットに変換する（ステップＳ５０４）。読み込まれた画像データは元々JPEG形式であり、ガンマ処理や、デジタルカメラに固有の階調補正などがされている。このままで加算処理を行うとガンマ処理などの影響で色調や明度、コントラストなどが変化してしまう。このため、輝度リニアなフォーマットへの変更が必要になる。
【０１６３】
次に、画像合成のために拡張子”.Smm”の従属データを１枚読み込む（ステップＳ５０５）。このデータはデジタルカメラのフローで説明したように、拡張子は異なるがフォーマットはJPEG形式であるので、主画像データと同様に輝度リニアフォーマットへの変換を行う（ステップＳ５０６）。そして、主画像データと従属画像データの位置合わせを行う（ステップＳ５０７）。位置合わせは２枚の画像間の動きベクトルを求めることにより行う。動きベクトルの検出には多数の公知の手法が提案されている。一例をあげると、画像を小ブロックに分割し、対応するブロック間で二次元の相関を求め、対応する全てのブロックの動きベクトルを求める。こうして求められた各領域の動きベクトルをヒストグラムに取り、動きベクトルの最頻値をその画像間の動きベクトルとする手法である。
【０１６４】
位置合わせが完了したなら、次の従属データがあるかどうかをチェックし（ステップＳ５０８）、まだ残っている場合はステップＳ５０５に戻り、従属データの読み込み、輝度リニアフォーマットへの変換、主画像との動きベクトル量の検出というステップが繰り返される。
【０１６５】
全ての従属データの読み込み、変換、位置合わせが完了したなら、次に位置合わせした画像データを全て加算して合成を行う（ステップＳ５０９）。
【０１６６】
合成が終了した時点で得られた画像は輝度リニアフォーマットなので、ここで再度JPEGフォーマットへの変換を行う（ステップＳ５１０）。
【０１６７】
また、この時点までのサムネイル画像は主画像だけをゲインアップした画像であったので、合成が完了したこの時点で合成された画像から改めてサムネイル画像を生成する（ステップＳＳ５１１）。
【０１６８】
最後に合成した画像、サムネイル画像を保存して（ステップＳ５１２）、ステップＳ５０１に戻って次の画像データの処理に進む。
【０１６９】
本実施形態では、デジタルカメラ１００が主画像とするデータを防振用連写の１枚目とする場合について説明した。しかしながら、主画像とするのは連写中の任意の枚数目のデータを主画像としてもかまわない。連写の最後に撮影した画像を主画像としてもかまわない。
【０１７０】
また、ステップＳ５０３の判断では、従属画像データの有無により防振連写をしたか否かを判断しているが、これに限定されず、主画像データのタグ情報に防振連写で撮影されたかどうかを記録するようにして、そのタグ情報で判断するようにしてもかまわない。
【０１７１】
（第２の実施形態）
第２の実施形態は、防振用連写撮影中のある１コマの撮影時にストロボ光を使用する場合の例であり、特に、夜景を背景に手前の人物などに対してストロボを使用して撮影するスローシンクロ撮影に好適な例である。
【０１７２】
このような撮影の場合、ストロボ光の到達可能範囲内の被写体に対しては一度のストロボ発光で十分な露光が得られるため、一連の防振用連写撮影のうち、ストロボ発光は１コマだけ行えばよい。また、その場合主被写体となる手前の人物に対して露光が得られているのは、ストロボ発光時のコマだけであるので、ストロボ光を使用して撮影した画像を主画像とするのが、好ましい。また、連写撮影後の、レビュー画像やサムネイル画像も主被写体に十分な露光がされているストロボ発光時の画像から生成するのが望ましく、かつ、前述のようにストロボ発光時の画像のみで主被写体に対して適正な露光が得られているため、ゲインアップはしないで画像をそのまま表示およびサムネイル画像生成に用いるのが望ましい。以下の第２の実施形態は、そのような動作を行なうように構成されている。
【０１７３】
以下、図１０及び図１１を用いて第２の実施形態について説明するが、以降の実施形態の説明においては、第１の実施形態と共通な構成、シークエンスについては説明を省略する。また、説明するシークエンスについても、第１の実施形態で説明済みのステップには同じ番号を付しているので説明を省略する。本実施形態では、ストロボ発光するときには、防振連写の１コマ目でストロボ発光するものとしている。
【０１７４】
図１０は第２の実施形態のデジタルカメラ側の撮影時のシークエンスを表す図である。
【０１７５】
本実施形態では、防振連写撮影が終了してから、その一連の撮影でストロボ（フラッシュ）が使用されたかどうかが判断され（ステップＳ３２０）、ストロボが使用されなかった場合は第１の実施形態と同様に撮影したうちの一画像をゲインアップして表示画像およびサムネイル画像の生成を行う（ステップＳ３１５）。
【０１７６】
また、ストロボを使用した場合は、主被写体に対してストロボ光が到達したかどうかが判断される（ステップＳ３２１）。ストロボ光が到達していないと判断される場合には、ストロボ光が使用されていない場合と同様の処理を行えばよいのでステップＳ３１５に進む。ストロボ光が到達していると判断された場合は、ストロボ撮影した画像からゲインアップせずに表示画像、サムネイル画像を作成する（ステップＳ３２２）。
【０１７７】
ストロボ光が主被写体に到達したかどうかは、調光できたかどうか、あるいは主被写体の距離とストロボのガイドナンバー、撮影時の絞りとの関係から公知の技術により判断することができる。
【０１７８】
図１１は第２の実施形態における記録時のシークエンスを表す図である。
【０１７９】
本実施形態では、記録時における防振連写された一連の画像の記録の際には、連写中にストロボ（フラッシュ）が使用されたかどうかが判断され（ステップＳ４２０）、使用されていない場合は、防振連写の１コマ目かどうか判断するステップ（ステップＳ４０７）に進み、以下、第１の実施形態で説明したのと同様のシークエンスに進む。
【０１８０】
ステップＳ４２０にてストロボが使用されたと判断された場合は、主被写体に対してストロボ光が到達したかどうかが判断される（ステップＳ４２１）。ストロボ光が到達していないと判断される場合には、ストロボを使用していない場合と同様の処理を行えばよいのでステップＳ４０７に進む。ストロボ光が到達していると判断された場合は、今記録しようとしている画像がストロボ撮影画像かどうかが判断され（ステップＳ４２２）、ストロボ撮影した画像の場合は、その画像を主画像とするため、ステップＳ４０８へ進み、連写の２枚目以降の拡張子名を決定するためのシステム制御回路５０の内部メモリ或いはメモリ５２に記憶される変数”mm”を”00”に初期化し、以下第１の実施形態で説明した主画像記録用のシークエンスに進む。
【０１８１】
ステップＳ４２２でストロボが使用されていない画像、すなわち２コマ目以降の画像に対しては、従属画像の記録シークエンスであるステップＳ４１１以降に進む。
【０１８２】
以上の説明では防振連写の１コマ目でストロボ発光させる例を説明したが、ストロボを発光させるのは連写中の任意のコマでかまわない。たとえば、後幕シンクロ撮影のように連写の最終コマでストロボを発光させるようにしても良い。その場合、ストロボ発光により被写体が撮影終了と思い動いてしまうことによる被写体ブレを防止できるという効果がある。１コマ目以外でストロボ発光させる場合も、ストロボ発光した画像を主画像とし、その画像から表示画像、サムネイル画像を生成することで、主被写体に適正露光された画像を表示、またはサムネイル画像とすることができる。
【０１８３】
（第３の実施形態）
第１、第２の実施形態では、従属画像としては主画像と同様にJPEG形式の画像を記録するようにしていたが、同一シーンを連写した画像であるため、従属画像は主画像との差異がほとんどない。従って、従属画像用のデータとして、主画像との差分を取り、かつ差分情報を圧縮して記録するようにすることで、差分情報の高圧縮化が期待でき、従属画像用のデータ量を減少させることができる。
【０１８４】
第３の実施形態は、このように差分情報を記録するようにした例である。
【０１８５】
図１２は第３の実施形態における記録時のシークエンスを表す図である。
【０１８６】
防振撮影かどうかが判断されるステップＳ４０３において、防振撮影で無いと判断された場合は画像データがJPEG形式に圧縮され（ステップＳ４３０）、以下、第１の実施形態で説明したようにファイル番号、拡張子が設定され（ステップＳ４０４、ステップＳ４０５）、記録媒体への記録が行われる（ステップＳ４０６）。
【０１８７】
ステップＳ４０３にて、防振撮影と判断された場合は、防振連写の１コマ目かどうかの判断が行われ（ステップＳ４０７）、防振連写の１コマ目ならば、画像データがJPEG形式に圧縮され（ステップＳ４３１）、以下、第１の実施形態で説明したように、従属画像データ記録用変数”mm”の初期化（ステップＳ４０８）、ファイル番号設定（ステップＳ４０９）、拡張子設定（ステップＳ４１０）、記録媒体への記録が行われる（ステップＳ４１３）。
【０１８８】
ステップＳ４０７において、１コマ目以降の場合は、主画像との差分演算が行われ（ステップＳ４３２）、次に差分データを圧縮し（ステップＳ４３３）、変数”mm”を＋１する（ステップＳ４１１）。そして、ファイル番号は防振連写の1コマ目と同じとし、拡張子は変数”mm”の前に”D”を付けたものとして設定する（ステップＳ４３４）。これにより、防振連写の２〜４コマ目については、差分情報が圧縮されて、それぞれ”.D01”、”.D02”、”.D03”という拡張子が設定されることになる。差分データの圧縮方法としては、公知のランレングス法、ハフマン符号化などが用いられる。
【０１８９】
図１３に本実施形態の画像データの記録媒体上でのディレクトリ構成、ファイル構成例を示す。
【０１９０】
図１３に示すように100CANOCディレクトリ下に、主画像ファイルであるIMG_1234.JPGと、２コマ目以降の画像については、１コマ目の画像と同じファイル番号で、拡張子を”.Dmm”(mmは”01”、”02”、”03”と増える２桁の数字)として、”IMG_1234.D01”、”IMG_1234.D02”、”IMG_1234.D03”というファイル名で記録し、これらを同一オブジェクトとする。
【０１９１】
図１４は第３の実施形態における画像処理装置２００内の画像処理のフローチャートである。第１の実施形態で説明したフローチャート（図９）とは、従属画像の読み込み時の処理が異なっている。
【０１９２】
防振用画像処理が必要な画像かどうかを判断するステップ（ステップＳ５２０）において、防振用画像合成処理が必要か否かは、読み込んだ主画像データと同一ファイル番号を持ち、本実施形態の場合は拡張子が”.Dmm”の従属データの有無によって判断することができる。
【０１９３】
従属画像の読み込みはステップＳ５２１からステップＳ５０８までのステップであり、まず従属画像差分データを読み込み（ステップＳ５２１）、差分データを公知のアルゴリズムにより圧縮状態から解凍するとともに、既にステップＳ５０２からステップＳ５０４で読み込まれている主画像データと解凍した差分データより従属画像データを復元する（ステップＳ５２２）。復元した画像を輝度リニアフォーマットに変換し（ステップＳ５２３）、主画像データとの位置合わせを行い（ステップＳ５０７）、これを従属画像の枚数分繰り返した後、加算合成を行う（ステップＳ５０９）。
【０１９４】
以上説明したように、従属画像データとして主画像との差分データを圧縮して記憶するようにしたことにより、記録媒体への記録領域を節約することができる。
【０１９５】
（第４の実施形態）
第１から第３の実施形態までは、画像処理装置側で、画像データのみから動きベクトルを検出してブレ量を演算し、画像を重ね合わせる例を示したが、ブレ量の求め方はこのような方法に限定されない。
【０１９６】
光学系を変位させる光学防振方式を採用したレンズやカメラ、ビデオカメラなどが実用化されているが、これらの防振機構では、ブレ量は振動ジャイロなど角速度を検知するセンサによって検知される。
【０１９７】
同様に、デジタルカメラ側にブレセンサを搭載し、センサから得られるブレ信号を撮影時に記録しておき、画像処理装置側での後処理時に、記録されているブレ信号をもとにブレ量を求め、画像の重ね合わせを行うようにすることが可能である。
【０１９８】
図１５は、第４の実施形態のデジタルカメラの構成を示す図である。
【０１９９】
第１の実施形態で示したデジタルカメラに対して、ブレを検知するブレ検知センサ１８０が内蔵されている。ブレ検知センサ１８０は、システム制御回路５０のＡ／Ｄ入力に接続されており、その出力はシステム制御制御回路５０でＡ／Ｄ変換されて記録される。
【０２００】
ブレ検知センサ１８０としては、たとえば前述のような角速度検知センサである振動ジャイロでも良いし、同様に角速度を検知するレーザージャイロやまたは角度や角加速度を検知するセンサ、またはシフトブレのような平行移動の変位、または速度、または加速度を検知するセンサ、あるいは以上の任意の組み合わせでも良い。
【０２０１】
また、本来ブレの記録のためには、撮影画像に対してヨーイングとピッチング方向の二軸の回転方向についてブレを検出する必要があるが、図１５では、簡単のため、ブレ検知センサ１８０として１個のセンサしか図示していない。
【０２０２】
図１６は、防振用連写撮影時のブレ信号１８０の（一軸分の）出力の例を表す図である。
【０２０３】
図１６の横方向が時間軸ｔ、縦方向がブレ信号の振幅を表す。時間軸上の１ａ，１ｂは、それぞれ防振連写の１コマ目のシャッター開タイミング、同じく１コマ目のシャッター閉タイミングを表す。同様に、２ａ，２ｂは、２コマ目、３ａ，３ｂは３コマ目、４ａ，４ｂは４コマ目のそれぞれのシャッターの開、および閉のタイミングを表す。
【０２０４】
ブレ信号としては、連写撮影開始時点からのブレ検知センサ１８０の出力を連続的にＡ／Ｄ変換した信号をブレ波形信号として取り込むとともに、連写撮影開始時点１ａから終了時点４ｂまでのそれぞれのシャッター開および閉の時間をシステム制御回路５０内のタイマーで測定したタイミング信号が記録される。
【０２０５】
図１７に本実施形態における画像データの記録媒体上でのディレクトリ構成、ファイル構成例を示す。
【０２０６】
防振連写時の画像データは、第１の実施形態と同様に100CANOCディレクトリ下に、１コマ目が主画像としてJPEG形式でたとえば”IMG_1234.JPG”というファイル名で記録されるとともに、２から４コマ目もJPEG形式でそれぞれ”IMG_1234.S01”、”IMG_1234.S02”、”IMG_1234.S03”というファイル名で記録される。さらにブレ信号は、二軸分のデータで、波形信号であるので、音声の記録形式であるWAV形式を用いて、”IMG_1234．WAV”というファイル名で記録する。また、シャッター開閉のタイミングデータについては、システム制御回路５０内のタイマで記録した時間データを”IMG_1234.TIM”というファイル名で記録する。一連のデータはファイル番号（この場合1234）が同一であるので、”IMG_1234.JPG”に対するオブジェクトデータを構成することとなる。
【０２０７】
このようにデジタルカメラ側にて、連写撮影時のブレ信号を測定し、主画像に対する従属データとして記録することで、画像処理装置側ではこのブレ信号を読み取り、記録されている信号が角速度信号である場合には、順次積分動作を行い、変位信号に変換し、シャッター開および閉のタイミング信号から、露光時の像のブレ変位を求めることが可能であり、求めたブレ変位より画像の重ね合わせを行うことが出来る。こうすることで、画像のみからブレ量を検知する場合に比べて、画面内の被写体の動きなどによる誤検知を防げるという効果が有る。
【０２０８】
また、第１から第３の実施形態に述べた画像による動きベクトル検知と併用することで、被写体の動きなどによる誤検知を防げるとともに、ブロック分割を粗くしたり、白黒二値化を採用するなど動きベクトル検知部の構成を簡易で安価なものとすることが出来るという効果がある。
【０２０９】
ブレ信号やシャッター開閉のタイミングデータについては、本実施形態で記載した以外の任意の形式で記録することができる。たとえばブレ信号については２チャンネル分の音声信号と同様であるので、たとえばｍｐ３形式のような圧縮を伴うフォーマットであってもよい。
【０２１０】
（第５の実施形態）
今までの実施形態ではJPEG方式で記録された画像を画像処理装置側で、輝度リニアフォーマットに変換してから位置合わせ、加算合成するようにしていたが、JPEG画像は８ｂｉｔ精度で記録されるのに対し、カメラ側の撮像素子からのＡ／Ｄ変換値をそのまま出力するいわゆるＲＡＷフォーマットの場合は、１２ｂｉｔから１４ｂｉｔの精度が有り、加算や変換など演算を行う場合はより精度の高いＲＡＷ画像データを使って処理を行うことが望ましい。第５の実施形態は、防振用の画像処理をＲＡＷデータを使って行うようにした例である。
【０２１１】
図１８は、第５の実施形態における記録時のシークエンスを表す図である。
【０２１２】
本実施形態では、カメラファイルシステム規格DCF1.0の規定に従い、JPEG画像データを記録するとともに、ＲＡＷ画像データをも記録するようにしている。
【０２１３】
防振撮影かどうかが判断されるステップＳ４０３において、防振撮影で無いと判断された場合は画像データがJPEG形式に圧縮され（ステップＳ４３０）、以下、第１の実施形態で説明したようにファイル番号、拡張子が設定され（ステップＳ４０４、ステップＳ４０５）、記録媒体への記録が行われる（ステップＳ４０６）。そして、JPEG形式のデータとは別に、ＲＡＷ画像データも記録媒体上に記録される（ステップＳ４５０）。
【０２１４】
ステップＳ４０３にて、防振撮影と判断された場合は、防振連写の１コマ目かどうかの判断が行われ（ステップＳ４０７）、防振連写の１コマ目ならば、画像データがJPEG形式に圧縮され（ステップＳ４３１）、以下、第１の実施形態で説明したように、従属画像データ記録用変数”mm”の初期化（ステップＳ４０８）、ファイル番号設定（ステップＳ４０９）、拡張子設定（ステップＳ４１０）が行われ、記録媒体への記録が行われる（ステップＳ４１３）。そして、JPEG形式のデータとは別に、ＲＡＷ画像データも記録媒体上に記録される（ステップＳ４５１）。
【０２１５】
ステップＳ４０７において、１コマ目以降の場合は、変数”mm”を＋１し（ステップＳ４１１）。そして、ファイル番号は防振連写の1コマ目と同じとし、拡張子は変数”mm”の前にRを付けたものとして設定する（ステップＳ４５２）。これにより、防振連写の２〜４コマ目については、それぞれ”.R01”、”.R02”、”.R03”という拡張子が設定されることになる。そして、従属画像の場合は、ＲＡＷ画像データだけが記録媒体上に記録される（ステップＳ４５１）。
【０２１６】
図１９に本実施形態の画像データの記録媒体上でのディレクトリ構成、ファイル構成例を示す。
【０２１７】
防振連写時の画像データは、図１９に示すように100CANOCディレクトリ下に、１コマ目に撮影された画像が主画像としてJPEGフォーマットで”IMG_1234.JPG”として記録されるとともに、ＲＡＷ形式で、”IMG_1234.RAW”としても記録される。２コマ目以降の画像については、１コマ目の画像と同じファイル番号で、拡張子を”.Rmm”(mmは”01”、”02”、”03”と増える２桁の数字)として、”IMG_1234.R01”、”IMG_1234.R02”、”IMG_1234.R03”というファイル名で記録し、これらを同一オブジェクトとする
図２０は第５の実施形態における画像処理装置２００内の画像処理のフローチャートである。
【０２１８】
第１の実施形態で説明した画像処理のフローチャートとは、主画像および従属画像の読み込み時にＲＡＷから輝度リニアフォーマットへの変換処理が入ることが異なっている。
【０２１９】
防振用画像処理が必要な画像かどうかを判断するステップ（ステップＳ５３０）において、防振用画像合成処理が必要か否かは、読み込んだ主画像データと同一ファイル番号を持ち、本実施形態の場合は拡張子が”.Rmm”の従属データの有無によって判断することができる。
【０２２０】
防振画像合成処理が必要と判断された場合は、まず主画像データをＲＡＷフォーマットから輝度リニアフォーマットに変換する（ステップＳ５３１）。
【０２２１】
次に従属画像の読み込みが行われる（ステップＳ５０５）。読み込まれた従属画像は主画像と同様にＲＡＷフォーマットから輝度リニアフォーマットに変換される（ステップＳ５３２）。変換されたデータは、主画像データとの位置合わせを行い（ステップＳ５０７）、これを従属画像の枚数分繰り返した後、加算合成を行う（ステップＳ５０９）。
【０２２２】
以上述べたようにＲＡＷ画像データを使って合成処理を行うことで精度を保ったまま防振処理が行えるという効果がある。上記では、従属画像データとしてＲＡＷ画像データをそのまま記録する例を示したが、第３の実施形態と同様に従属画像データは差分データとして、可逆圧縮して記録するようにしてもよい。
【０２２３】
また、本実施形態では防振撮影でないときもＲＡＷデータを記録する場合について説明したが、画像処理装置側での画像合成処理が必要となる防振撮影のときのみ、自動的にＲＡＷデータを記録するようにしても良い。
【０２２４】
以上、図１〜図２０を用いて本発明の実施形態の説明を行った。
【０２２５】
本発明の実施形態の説明ではレンズや鏡筒が本体と一体化された、いわゆるデジタルコンパクトカメラに適用した場合について説明したが、レンズ交換式の一眼レフタイプのデジタルカメラ、または静止画撮影機能を有するビデオカメラなどについても本発明が適用可能なことは言うまでもない。
【０２２６】
また、シャッター１２は絞りとシャッターを兼用するレンズシャッタータイプで説明を行ったが、絞りとシャッターは独立していても良い。また、シャッターはフォーカルプレーン式のシャッターで構成されても良い。
【０２２７】
またズーム機能の無い単焦点レンズ内蔵のデジタルカメラであっても良いし、バリア１０２を有してなくとも良い。フラッシュ４８も内蔵でなく、外付けフラッシュであってもかまわない。
【０２２８】
また、操作系についてもモードダイヤルでなく、プッシュＳＷの組み合わせでモードが切り替え可能なように構成しても良い。操作系および表示系については、本発明の趣旨に沿った範囲でさまざまな変形例の形態をとってもかまわない。
【０２２９】
また、従属データの拡張子の形態としては本発明の実施形態での説明に限定されるものでなく、Exifで主データ用に規定されている”.JPG”以外の任意の拡張子を使用することが出来る。
【０２３０】
また、今後のExifの改訂、または別の新たな規格に適合した形態を取ることが可能である。
【０２３１】
また、本発明の実施形態ではぶれ補正、加算合成の処理は、カメラ本体とは別の画像処理装置で行う例を説明したが、これらの画像処理はカメラ本体で行ってもかまわないし、図８に示した画像処理装置２００をデジタルカメラ（撮像装置）１００内に内蔵するようにしてデジタルカメラ１００内で画像合成処理を行なうようにしても良い。その際、カメラ側でオリジナル画像を残す際に本発明の主旨に沿った形式でファイルを記録するようにしてもかまわない。
【０２３２】
また、DCFに規定されているJPEG画像ではなく、各カメラメーカーの独自記録形式のＲＡＷで記録されることが有るが、これに対してもファイル番号は同一で、拡張子を変えることで互いの関連付けを行いながら容易に記録することができる。
【０２３３】
また、処理後の画像だけでなく、処理前の画像を保存するときに本発明を適用すれば、カメラ側で処理が難しい特殊なケースにおいても、後処理で画像処理することができる。
【０２３４】
また、記録媒体１５０及び１６０は、ＰＣＭＣＩＡカードやコンパクトフラッシュ（登録商標）等のメモリカード、ハードディスク等だけでなく、マイクロＤＡＴ、光磁気ディスク、ＣＤ−ＲやＣＤ−ＲＷ等の光ディスク、ＤＶＤ等の相変化型光ディスク等で構成されていても勿論問題無い。
【０２３５】
また、記録媒体１５０及び１６０がメモリカードとハードディスク等が一体となった複合媒体であっても勿論問題無い。さらに、その複合媒体から一部が着脱可能な構成としても勿論問題無い。
【０２３６】
また、実施形態の説明に於いては、記録媒体１５０及び１６０はデジタルカメラ１００と分離していて任意に接続可能なものとして説明したが、いずれか或いは全ての記録媒体がデジタルカメラ１００に固定したままとなっていても勿論問題無い。
【０２３７】
また、デジタルカメラ１００に記録媒体１５０或いは１６０が、単数或いは複数の任意の個数接続可能な構成であっても構わない。
【０２３８】
また、デジタルカメラ１００に記録媒体１５０及び１６０を装着する構成として説明したが、記録媒体は単数或いは複数の何れの組み合わせの構成であっても、勿論問題無い。
【０２３９】
画像合成を行う画像処理装置としては、汎用のいわゆるパソコン（パーソナルコンピューター（ＰＣ））やワークステーション、およびそれらの上で動く画像処理ソフトとの組み合わせという形態でも良い。また、上記の実施形態で説明した処理に特化した画像処理専用の処理装置であってもかまわない。また、画像処理はソフトウェアで実現しても良いし、ハードウェアで実現しても良い。
【０２４０】
また、画像処理は銀塩フィルムのラボのように、ユーザーが記憶媒体に記憶された画像をラボに持ち込んだり、インターネットなどの通信機能によりラボ側に画像を送付し、ラボ側にて画像合成処理を行うという形態でもかまわない。
【０２４１】
以上説明したように、上記の第１乃至第５の実施形態によれば、撮影時に露光時間を手振れを起こしにくい複数の秒時に分割して複数枚の画像撮影を行い、撮影後に画像処理装置にて前記複数枚の画像を位置合わせを行いながら合成することで手振れを補正する手振れ補正機能を有するデジタルカメラにおいて、記録時に撮影した複数枚の画像のうち１枚を主画像データとし、その他の画像を主画像データに対する従属画像データとして記録することにより、画像処理装置側で手振れ補正用合成処理の必要性の有無を容易に判断することが可能となる。
【０２４２】
また、複数枚の画像のうち、１枚目に撮影した画像を主画像データとすることにより、どの画像を主画像としたかをユーザーに対して分かりやすくすることができる。
【０２４３】
また、複数枚の画像のうち、最後に撮影した画像を主画像データとすることにより、同様にどの画像を主画像としたかをユーザーに対して分かりやすくすることができる。
【０２４４】
また、複数枚の画像のうち、ストロボ光を使用して撮影した画像が有る場合は、そのストロボ光使用画像を主画像データとすることにより、主被写体に対して適正な露光がされている画像を主画像とすることが出来る。
【０２４５】
また、従属画像データは、関係づけられる主画像データとファイル名を同一とし、かつ主画像データとは拡張子を変えたものとすることにより、画像処理装置側で従属画像データの判別を容易にすることができる。
【０２４６】
また、主画像データと従属画像データのそれぞれのファイル名に少なくとも一桁以上の数値を含み、従属画像データのファイル名に含まれる数値は、関連づけられる主画像データのファイル名に含まれる数値と一致するようにしたことにより、同様に、画像処理装置側で従属画像データの判別を容易にすることができる。
【０２４７】
また、手振れを検知するセンサを有し、撮影時の手振れ検知センサからの出力を手振れ情報として主画像データに従属するデータとして記録するようにしたことにより、画像処理装置側で手振れ補正を行う際に手振れ情報を参照することができるので、画像のみで動きベクトル検出を行う場合に比べ、被写体ブレなどによる誤検出を排除することができる。
【０２４８】
また、手振れ検知センサ出力の開始時点から各露光のタイミングのデータを露光タイミング情報として主画像データに従属するデータとして記録するようにしたことにより、露光時の手振れ状態の検知をより正確に行なうことが可能となる。
【０２４９】
また、従属画像データとして、主画像と従属画像との差分情報を記録するようにしたことにより、従属画像データを記録する容量を節約でき、記録媒体を効率よく使用できる。
【０２５０】
また、主画像データおよび従属画像データを、少なくともデジタルカメラ内部の撮像素子からの出力データを直接記録するＲＡＷ形式、あるいはＲＡＷ形式に復元可能な形式で記録するようにしたことにより、手振れ補正のための合成処理をより高精度に行うことができ、ポスタリゼーションなどのbit落ちによる悪影響を除去することができる。
【０２５１】
また、撮影時に露光時間を手振れを起こしにくい複数の秒時に分割して複数枚の画像撮影を行い、撮影後に画像処理装置にて前記複数枚の画像を位置合わせを行いながら合成することで手振れを補正する手振れ補正機能を有するとともに撮影後の画像確認表示機能を有するデジタルカメラにおいて、記録時に撮影した複数枚の画像のうち１枚を主画像データとし、撮影後の確認表示用画像を前記主画像データからゲインアップして作成するようにしたことにより、手振れ補正撮影時でも撮影後の画像の構図やフォーカスなどの確認を容易に行なうことができる。
【０２５２】
また、撮影時に露光時間を手振れを起こしにくい複数の秒時に分割して複数枚の画像撮影を行い、撮影後に画像処理装置にて前記複数枚の画像を位置合わせを行いながら合成することで手振れを補正する手振れ補正機能を有するデジタルカメラにおいて、記録時に撮影した複数枚の画像のうち１枚を主画像データとし、インデックス用のサムネイル画像を前記主画像データからゲインアップして作成するようにしたことにより、サムネイル画像と手振れ補正合成後の画像との対応が容易に可能となる。
【０２５３】
また、ゲインアップは、画像データを撮影枚数分整数倍することによって行うことにより、合成後の画像に近い露出状態の画像を容易に得られる。
【０２５４】
また、ゲインアップは、輝度に対して線形に行うことにより、同様に合成後の画像に近い露出状態の画像を容易に得られる。
【０２５５】
また、主被写体に対してストロボ光が十分到達したか否かを判定するストロボ光到達判定部を有し、複数枚の画像のうち、ストロボ光を使用して撮影した画像が有り、かつ前記ストロボ光到達判定部により主被写体に対してストロボ光が十分到達したと判断された場合には、撮影後の確認表示用画像および／またはインデックス用サムネイル画像をストロボ光使用撮影画像からゲインアップを行わずに作成することにより、ストロボ使用時に主被写体に適正露光された確認表示用画像やサムネイル画像を得ることができる。
【０２５６】
また、撮影時に露光時間を手振れを起こしにくい複数の秒時に分割して複数枚の撮影を行うことによって得られた画像データを、撮影後に前記複数枚の画像を位置合わせを行いながら合成することで手振れを補正する画像処理装置において、従属画像データの有無によって手振れ補正の合成が必要か否かを判断する判断部を有することにより、画像処理装置側で手振れ補正用合成処理の必要性の有無を容易に判断することが可能となる。
【０２５７】
また、従属画像データは、関係づけられる主画像データとファイル名を同一とし、かつ前記主画像データとは拡張子を変えたものであるようにしたことにより、画像処理装置側で従属画像データの判別を容易にすることができる。
【０２５８】
また、主画像データと従属画像データのそれぞれのファイル名に少なくとも一桁以上の数値を含み、従属画像データのファイル名に含まれる数値は、関連づけられる主画像データのファイル名に含まれる数値と一致するようにしたことにより、同様に画像処理装置側で従属画像データの判別を容易にすることができる。
【０２５９】
また、画像合成後に、インデックス用のサムネイル画像を合成した画像から生成するようにしたことにより、合成終了後の画像とサムネイル画像を完全に一致させることが可能となる。
【０２６０】
また、撮影時に露光時間を手振れを起こしにくい複数の秒時に分割して複数枚の撮影を行うことによって得られた画像データを、撮影後に前記複数枚の画像を位置合わせを行いながら合成することで手振れを補正する画像処理方法において、従属画像データの有無によって手振れ補正の合成が必要か否かを判断するようにしたことにより、手振れ補正用合成処理の必要性の有無を容易に判断することが可能となる。
【０２６１】
（他の実施形態）
また、各実施形態の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０２６２】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０２６３】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【０２６４】
【図１】本発明の第１の実施形態のデジタルカメラの構成を示すブロック図である。
【図２】本発明の第１の実施形態のデジタルカメラの主ルーチンのフローチャートである。
【図３】本発明の第１の実施形態のデジタルカメラの主ルーチンのフローチャートである。
【図４】本発明の第１の実施形態のデジタルカメラの測距・測光ルーチンのフローチャートである。
【図５】本発明の第１の実施形態のデジタルカメラの撮影ルーチンのフローチャートである。
【図６】本発明の第１の実施形態のデジタルカメラの記録ルーチンのフローチャートである。
【図７】本発明の第１の実施形態のデジタルカメラの記録ディレクトリの構成図である。
【図８】デジタルカメラと画像処理装置の接続を表す図である。
【図９】本発明の第１の実施形態における画像処理装置内の画像処理のフローチャートである。
【図１０】本発明の第２の実施形態のデジタルカメラの撮影ルーチンのフローチャートである。
【図１１】本発明の第２の実施形態のデジタルカメラの記録ルーチンのフローチャートである。
【図１２】本発明の第３の実施形態のデジタルカメラの記録ルーチンのフローチャートである。
【図１３】本発明の第３の実施形態のデジタルカメラの記録ディレクトリの構成図である。
【図１４】本発明の第３の実施形態における画像処理装置内の画像処理のフローチャートである。
【図１５】本発明の第４の実施形態のデジタルカメラの構成を示すブロック図である。
【図１６】防振用連写撮影時のブレ信号の（一軸分の）出力の例を表す図である。
【図１７】本発明の第４の実施形態のデジタルカメラの記録ディレクトリの構成図である。
【図１８】本発明の第５の実施形態のデジタルカメラの記録ルーチンのフローチャートである。
【図１９】本発明の第５の実施形態のデジタルカメラの記録ディレクトリの構成図である。
【図２０】本発明の第５の実施形態における画像処理装置内の画像処理のフローチャートである。
【符号の説明】
【０２６５】
１０  撮影レンズ
１２  シャッター
１４  撮像素子
１６  Ａ／Ｄ変換器
１８  タイミング発生回路
２０  画像処理回路
２２  メモリ制御回路
２４  画像表示メモリ
２６  Ｄ／Ａ変換器
２８  画像表示部
３０  メモリ
３２  画像圧縮・伸長回路
４０  露光制御部
４２  測距制御部
４４  ズーム制御部
４６  バリア制御部
４８  フラッシュ
５０  システム制御回路
５２  メモリ
５４  表示部
５６  不揮発性メモリ
６０  モードダイアルスイッチ
６２  シャッタースイッチＳＷ１
６４  シャッタースイッチＳＷ２
６６  画像表示ＯＮ／ＯＦＦスイッチ
６８  防振機能ＯＮ／ＯＦＦスイッチ ７０：操作部
８０  電源制御部
８２  コネクタ
８４  コネクタ
８６  電源部
９０  インターフェース
９２  コネクタ
９４  インターフェース
９６  コネクタ
９８  記録媒体着脱検知部
１００  デジタルカメラ
１０２  保護部
１０４  光学ファインダ
１１０  通信部
１１２  コネクタ（またはアンテナ）
１５０  記録媒体
１５２  記録部
１５４  インターフェース
１５６  コネクタ
１６０  記録媒体
１６２  記録部
１６４  インターフェース
１６６  コネクタ
１８０  ブレ検知センサ
【図１】
2006197243.tif 000003
【図２】
2006197243.tif 000004
【図３】
2006197243.tif 000005
【図４】
2006197243.tif 000006
【図５】
2006197243.tif 000007
【図６】
2006197243.tif 000008
【図７】
2006197243.tif 000009
【図８】
2006197243.tif 000010
【図９】
2006197243.tif 000011
【図１０】
2006197243.tif 000012
【図１１】
2006197243.tif 000013
【図１２】
2006197243.tif 000014
【図１３】
2006197243.tif 000015
【図１４】
2006197243.tif 000016
【図１５】
2006197243.tif 000017
【図１６】
2006197243.tif 000018
【図１７】
2006197243.tif 000019
【図１８】
2006197243.tif 000020
【図１９】
2006197243.tif 000021
【図２０】
2006197243.tif 000022