(57)【要約】【課題】  自然な流し取り画像を容易に取得できるようにすること。【解決手段】  連続して撮影された複数の画像を撮影し（Ｓ３０１〜Ｓ３１４）、前記複数の画像の各画像を注目領域とそれ以外の領域に分割し（Ｓ３３２）、前記注目領域を前記複数の画像間で位置合わせしながら合成し（Ｓ３３３）、前記それ以外の領域を連続して撮影された画像間でぶらし処理を行いながら合成し（Ｓ３３４）、前記合成した主被写体を含む領域とそれ以外の領域とを１枚の画像に合成する（Ｓ３３５）。【選択図】  図６
2007074031.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像して該画像の画像信号を出力する撮像素子と、
複数の画像を連続して撮影するように前記撮像手段を制御する制御手段と、
前記複数の画像の各画像を注目領域とそれ以外の領域に分割し、前記注目領域を前記複数の画像間で位置合わせしながら合成し、それ以外の領域を連続して撮影された画像間でぶらし処理を行いながら合成し、合成した主被写体を含む領域とそれ以外の領域とを１枚の画像に合成する第１の合成手段と
を有することを特徴とする撮像装置。
【請求項２】
前記複数の画像の各画像間のずれ量を所定領域毎にそれぞれ検出するずれ検出手段を更に有し、
前記第１の合成手段は、前記ずれ検出手段の検出結果に基づいて前記各画像の所定領域を複数の領域にまとめ、前記まとめた領域を、前記注目領域とそれ以外の領域とに分けることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記ずれ検出手段は、前記所定領域毎のずれ量をベクトルとして検出し、
前記第１の合成手段は、各画像毎に、該検出されたベクトルが略一致する所定領域を複数の領域にまとめることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記複数の画像の枚数は、前記複数の画像を１枚の画像に加算合成した際に、所定の露出となるように撮影時のシャッタ秒時が設定されることを特徴とする請求項１乃至３のいずれかに記載の撮像装置。
【請求項５】
前記注目領域は、主被写体を含む領域であることを特徴とする請求項１乃至４のいずれかに記載の撮像装置。
【請求項６】
前記注目領域は、画面内の位置関係、測距領域及び測光領域の少なくともいずれかに基づいて決定されることを特徴とする請求項１乃至５のいずれかに記載の撮像装置。
【請求項７】
前記複数の画像を画像単位で位置合わせしながら１枚の画像に合成する第２の合成手段と、
前記第１の合成手段と前記第２の合成手段のいずれかを選択する選択手段と
を更に有することを特徴とする請求項１乃至６のいずれかに記載の撮像装置。
【請求項８】
連続して撮影された複数の画像を入力する入力手段と、
前記複数の画像の各画像を注目領域とそれ以外の領域に分割し、前記注目領域を前記複数の画像間で位置合わせしながら合成し、それ以外の領域を連続して撮影された画像間でぶらし処理を行いながら合成し、合成した主被写体を含む領域とそれ以外の領域とを１枚の画像に合成する第１の合成手段と
を有することを特徴とする画像処理装置。
【請求項９】
前記複数の画像の各画像間のずれ量を所定領域毎にそれぞれ検出するずれ検出手段を更に有し、
前記第１の合成手段は、前記ずれ検出手段の検出結果に基づいて前記各画像の所定領域を複数の領域にまとめ、前記まとめた領域を、前記注目領域とそれ以外の領域とに分けることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記ずれ検出手段は、前記所定領域毎のずれ量をベクトルとして検出し、
前記第１の合成手段は、各画像毎に、該検出されたベクトルが略一致する所定領域を複数の領域にまとめることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記複数の画像の枚数は、前記複数の画像を１枚の画像に加算合成した際に、所定の露出となるように撮影時のシャッタ秒時が設定されることを特徴とする請求項８乃至１０のいずれかに記載の画像処理装置。
【請求項１２】
前記注目領域は、主被写体を含む領域であることを特徴とする請求項８乃至１１のいずれかに記載の画像処理装置。
【請求項１３】
前記複数の画像を画像単位で位置合わせしながら１枚の画像に合成する第２の合成手段と、
前記第１の合成手段と前記第２の合成手段のいずれかを選択する選択手段と
を更に有することを特徴とする請求項８乃至１２のいずれかに記載の画像処理装置。
【請求項１４】
連続して撮影された複数の画像を入力する入力ステップと、
前記複数の画像の各画像を注目領域とそれ以外の領域に分割する分割ステップと、
前記注目領域を前記複数の画像間で位置合わせしながら合成する第１の合成ステップと、
前記それ以外の領域を連続して撮影された画像間でぶらし処理を行いながら合成する第２の合成ステップと、
前記合成した主被写体を含む領域とそれ以外の領域とを１枚の画像に合成する第３の合成ステップと
を有することを特徴とする画像処理方法。
【請求項１５】
前記複数の画像の各画像間のずれ量を所定領域毎にそれぞれ検出するずれ検出ステップを更に有し、
前記分割ステップでは、前記ずれ検出ステップの検出結果に基づいて前記各画像の所定領域を複数の領域にまとめ、前記まとめた領域を、前記注目領域とそれ以外の領域とに分けることを特徴とする請求項１４に記載の画像処理方法。
【請求項１６】
前記ずれ検出ステップは、前記所定領域毎のずれ量をベクトルとして検出し、
前記分割ステップでは、各画像毎に、該検出されたベクトルが略一致する所定領域を複数の領域にまとめることを特徴とする請求項１５に記載の画像処理方法。
【請求項１７】
前記複数の画像の枚数は、前記複数の画像を１枚の画像に加算合成した際に、所定の露出となるように撮影時のシャッタ秒時が設定されることを特徴とする請求項１４乃至１６のいずれかに記載の画像処理方法。
【請求項１８】
前記注目領域は、主被写体を含む領域であることを特徴とする請求項１４乃至１７のいずれかに記載の画像処理方法。
【請求項１９】
前記注目領域は、画面内の位置関係、前記複数の画像を撮影した撮像装置の測距領域及び測光領域の少なくともいずれかに基づいて決定されることを特徴とする請求項１４乃至１８のいずれかに記載の撮像装置。
【請求項２０】
前記複数の画像を画像単位で位置合わせしながら１枚の画像に合成する第４の合成ステップと、
前記分割ステップ及び第１乃至第３の合成ステップからなる第１の合成方法と、前記第４の合成ステップからなる第２の合成方法のいずれかを選択する選択ステップと
を更に有することを特徴とする請求項１４乃至１９のいずれかに記載の画像処理方法。
【請求項２１】
請求項１４乃至２０のいずれかに記載の画像処理方法を実現するためのプログラムコードを有することを特徴とする情報処理装置が実行可能なプログラム。
【請求項２２】
請求項２１に記載のプログラムを記憶したことを特徴とする情報処理装置が読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、及び、画像処理装置及び方法に関し、複数枚の画像を合成することで手振れを補正可能な撮像装置、及び、画像処理装置及び方法に関するものである。
【背景技術】
【０００２】
従来、銀塩カメラやビデオカメラ、電子スチルカメラなどの手持ち撮影時に発生する手振れを補正する技術についてはさまざまなものが提案され、かつ実用化されている。
【０００３】
たとえば、振動ジャイロなどの角速度センサによって手振れを検知し、光学系を揺動したり、光軸と垂直方向に補正光学系を駆動することによって手振れを抑制する技術が、一眼レフ用の交換レンズ、ビデオカメラ、電子スチルカメラにおいて既に用いられている。防振機能により撮影可能になる状況が広がるので、その効果は大きい。しかしながら、角速度センサ及び補正光学系の追加のために、手振れ補正機能を持たない交換レンズ、ビデオカメラ、電子スチルカメラに比べて大型化やコスト増が避けられないという問題があった。
【０００４】
一方、ビデオカメラではＮＴＳＣやＰＡＬなどのテレビ方式に合わせて１／６０秒または１／５０秒間隔で撮影が行われるため、撮像された各画像間での動きベクトルを検知して、角速度センサの代わりに手振れ量を測定する技術を用いるものがある。また手振れ補正に関しても、撮像素子から画像を取り出す切り出し位置を検知された手振れ量に応じて変えることにより、補正光学系のような可動部分を持たずに手振れ抑制機能を実現しているものもある。これらの技術では大型化やコスト増を回避することができる。
【０００５】
しかしながら、電子スチルカメラにおいては、動画と静止画の違いから、このようなビデオカメラの手振れ補正技術をそのまま応用することは困難である。なぜなら、電子スチルカメラでは銀塩カメラと同様に、測光結果によって定まった露光時間中、連続して撮像素子での蓄積を行うからである。蓄積に並行して画像データを読み出すことは困難であることから、電子スチルカメラでは露光中にリアルタイムに画像から動きベクトルを得ることができない。また手振れ補正についても、露光中にすでに撮像素子上には手振れが重畳された画像が蓄積されているため、画像の切り出し位置を変えても手振れ補正することができない。
【０００６】
そこで、電子スチルカメラに好適な手振れ補正技術として、手振れを生じない程度のシャッター速度で複数枚の画像を連写撮影し、撮影後の処理でそれら複数枚の画像の位置合わせを行いながら合成して手振れの無い画像を得るという技術が提示されている。
【０００７】
本出願人が提案している特許文献１によれば、順次撮像した画像を経時的な位置ずれに対応して複数画面の座標変換を行った後に画像の合成を行う技術が開示されている。
【０００８】
ところで、自動車などのモータースポーツや航空機、またスポーツなどの撮影で動体感を表現するために、いわゆる「流し撮り」という撮影方法が知られている。流し取り撮影においては、低速シャッター速度を用い、動体の動きに合うように露光中にカメラをパンニングしながら撮影することで、動体の動きは止め、かつ背景は動体の動き方向にぶれるように撮影する。流し撮り撮影の効果について図１３を用いて簡単に説明する。
【０００９】
図１３は流し撮りの効果を模式的に説明する図である。図１３（ａ）は走行している車を高速シャッター速度で撮影した場合に撮影できる画像を示す。高速シャッターにより、車も背景もぶれない状態で撮影できるが、画像としては静止している車を撮影したのと変わらず、この状態では車の走行感を表現できない。図１３（ｂ）は走行している車を流し撮りした場合に撮影できる画像を示す。車は静止しているが、背景は車の走行方向にぶれて撮影され、これにより車の動体感を表現することができる。
【００１０】
しかし、流し撮りにおいては、動体の動きに合わせてカメラをパンニングさせる必要があるが、動きの速い被写体に対してその動きに合わせてパンニングするのは難しい。更に、スポーツ撮影に多く用いられる一眼レフタイプのカメラでは、露光時にファインダー像が消失するために露光中に動体の姿をファインダーでとらえながらカメラをパンニングすることもできず、被写体がぶれないように流し撮りを行うには熟練を要する。また熟練したとしても、必ず主被写体がぶれずに流し撮り撮影できるとは限らなかった。
【００１１】
しかしながら、特許文献１に開示されているような上記の手振れ補正のための画像合成技術を応用すれば、主被写体がぶれない撮影を、熟練を要することなく容易に行うことができる。つまり、主被写体である動体がぶれないようなシャッター速度で複数枚の撮影を行い、主被写体が静止するように位置合わせをしながら画像合成する。
【００１２】
上記の他にも、画像処理による様々なぶれ補正の方法及びぶれ補正を応用した技術が、例えば特許文献２〜５にも開示されている。
【００１３】
【特許文献１】特許3110797号公報
【特許文献２】特開平10-191136号公報
【特許文献３】特開2003-134385公報
【特許文献４】特開2003-125289公報
【特許文献５】特開2000-13683公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
特許文献１に開示されている方法を応用して流し撮り撮影を行った場合、主被写体はぶれずに画像合成することは可能である。しかしながら、合成する個々の画像は主被写体がぶれないように高速なシャッター速度で撮影されるために、通常の流し撮りとは異なり、背景部分も静止した状態で撮影される。しかも、個々の画像は離散的に撮影され、主被写体は動いているために、個々の画像の主被写体と背景の位置関係はそれぞれ異なることとなる。従って、このような複数枚画像を主被写体で位置合わせして合成した場合、背景に関しては静止した背景がずれて合成されることになり、いわゆる流し撮り的な画像とならないという問題があった。この様子を図１４に示す。
【００１５】
図１４は従来の画像合成方法で流し撮りした画像を説明する図である。図１４（ａ）から（ｄ）は走行している車が静止して撮影されるような高速シャッター速度で、走行している車を４枚連写した場合の個々の画像を示す。実際には高速シャッターで個々の絵は露出アンダーで撮影され、合成後に適正露出になるよう撮影されるが、図１４では露出アンダーの表現は省略してある。図１４（ａ）から（ｄ）に示すように、背景に対して、走行している車の位置が少しずつ変わっていく画像が得られる。これら４枚の画像を主被写体である車を基準にして、位置合わせして合成した結果を図１４（ｅ）に示す。車は位置合わせの基準なので静止した状態で合成できるが、背景については、ぶれのない背景が４つ写しこまれたようになってしまい、図１３で説明した流し撮りと同じ効果を得ることはできなかった。
【００１６】
また、特許文献２は、画素ずらしや複数枚画像合成による手振れ補正などを組み合わせた場合の露光中の被写体ぶれに対処する技術が開示されている。しかしながら、被写体の動きによる画像の不連続性を平均化処理などで不自然にならないよう補正するという内容であり、動きの方向性については考慮されておらず、上述した流し撮りの背景画像の画像処理にそのまま適用できるものでは無い。
【００１７】
また、特許文献３は、手振れか被写体振れかを判別して処理を変え、被写体振れ時には、ローパスフィルタを掛けるとしているが、特許文献２と同様に動きの方向は考慮されていないので、流し撮りの背景画像の画像処理にそのまま適用できるものでは無い。
【００１８】
更に、特許文献４では、背景画像と主被写体画像を合成する際に、背景までの距離と主被写体までの距離に応じて背景画像のぼかし量を変えて合成する技術が開示されている。しかしながら、望遠レンズでの背景ボケの効果を得るためのものであり、主被写体と背景の動きについて考慮されておらず、流し撮り時の合成にそのまま適用できるものではない。
【００１９】
また、特許文献５では、別個に用意された背景画像と被写体画像を合成する際に、背景画像のぶれを背景画像の動きベクトルによって検出し、それを考慮して、被写体画像を合成する位置を変える技術が開示されている。しかしながら、流し撮り撮影のような状況を想定しているものではなく、合成の際に背景に適切な処理を行うものでもない。
【００２０】
本発明は上記問題点を鑑みてなされたものであり、自然な流し取り画像を容易に取得できるようにすることを目的とする。
【課題を解決するための手段】
【００２１】
上記目的を達成するために、本発明の撮像装置は、画像を撮像して該画像の画像信号を出力する撮像素子と、複数の画像を連続して撮影するように前記撮像手段を制御する制御手段と、前記複数の画像の各画像を注目領域とそれ以外の領域に分割し、前記注目領域を前記複数の画像間で位置合わせしながら合成し、それ以外の領域を連続して撮影された画像間でぶらし処理を行いながら合成し、合成した主被写体を含む領域とそれ以外の領域とを１枚の画像に合成する第１の合成手段とを有する。
【００２２】
また、本発明の画像処理装置は、連続して撮影された複数の画像を入力する入力手段と、前記複数の画像の各画像を注目領域とそれ以外の領域に分割し、前記注目領域を前記複数の画像間で位置合わせしながら合成し、それ以外の領域を連続して撮影された画像間でぶらし処理を行いながら合成し、合成した主被写体を含む領域とそれ以外の領域とを１枚の画像に合成する第１の合成手段とを有する。
【００２３】
また、本発明の画像処理方法は、連続して撮影された複数の画像を入力する入力ステップと、前記複数の画像の各画像を注目領域とそれ以外の領域に分割する分割ステップと、前記注目領域を前記複数の画像間で位置合わせしながら合成する第１の合成ステップと、前記それ以外の領域を連続して撮影された画像間でぶらし処理を行いながら合成する第２の合成ステップと、前記合成した主被写体を含む領域とそれ以外の領域とを１枚の画像に合成する第３の合成ステップとを有する。
【発明の効果】
【００２４】
本発明によれば、自然な流し取り画像を容易に取得することが可能になる。
【発明を実施するための最良の形態】
【００２５】
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。
【００２６】
図１は、本発明の実施の形態における撮像装置の構成を示すブロック図である。
【００２７】
図１において、１００は撮像装置である。１０は撮影レンズ、１２は絞り機能を備えるシャッター、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。
【００２８】
１８は撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にそれぞれクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。
【００２９】
２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０は、Ａ／Ｄ変換器１６から出力される画像データを用いて所定の演算処理を行う。そして、得られた演算結果に基づいてシステム制御回路５０が露光制御部４０、測距制御部４２に対して、ＴＴＬ（スルー・ザ・レンズ）方式のオートフォーカス（ＡＦ）処理、自動露出（ＡＥ）処理、フラッシュプリ発光（ＥＦ）処理を行っている。さらに、画像処理回路２０は、Ａ／Ｄ変換器１６から出力される画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のオートホワイトバランス（ＡＷＢ）処理も行っている。
【００３０】
２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６から出力される画像データは、画像処理回路２０、メモリ制御回路２２を介して、或いはメモリ制御回路２２のみを介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。
【００３１】
２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はＴＦＴ  ＬＣＤ等から成る画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。画像表示部２８を用いて、撮像した画像データを逐次表示することで、電子ビューファインダー（ＥＶＦ）機能を実現することができる。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には撮像装置１００の電力消費を大幅に低減することができる。
【００３２】
３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。
【００３３】
３２は適応離散コサイン変換（ＡＤＣＴ）等、公知の圧縮方法を用いて画像データを圧縮・伸長する圧縮・伸長回路である。圧縮・伸長回路３２は、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータを再びメモリ３０に書き込む。
【００３４】
４０は露光制御部であり、絞り機能を備えるシャッター１２を制御する。露光制御部４０は、フラッシュ４８と連携することによりフラッシュ調光機能も有する。４２は撮影レンズ１０のフォーカシングを制御する測距制御部、４４は撮影レンズ１０のズーミングを制御するズーム制御部、４６はバリア１０２の動作を制御するバリア制御部である。４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。露光制御部４０及び測距制御部４２はＴＴＬ方式を用いて制御されている。上述の通り、Ａ／Ｄ変換器１６からの画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御部４０及び測距制御部４２を制御する。
【００３５】
５０は撮像装置１００全体を制御するシステム制御回路、５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。
【００３６】
５４はシステム制御回路５０でのプログラムの実行に応じて、文字、画像、音声などを用いて動作状態やメッセージなどを外部に通知するための通知部である。通知部５４としては、例えばＬＣＤやＬＥＤなどによる視覚的な表示を行う表示部や音声による通知を行う発音素子などが用いられるが、これらのうち１つ以上の組み合わせにより構成される。特に、表示部の場合には、撮像装置１００の操作部７０近辺の、視認しやすい、単数あるいは複数箇所に設置されている。また、通知部５４は、その一部の機能が光学ファインダー１０４内に設置されている。
【００３７】
通知部５４の表示内容の内、ＬＣＤなどに表示するものとしては以下のものがある。まず、シングルショット／連写撮影表示、セルフタイマー表示等、撮影モードに関する表示がある。また、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示等の記録に関する表示がある。また、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示等の撮影条件に関する表示がある。その他に、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及び２１０の着脱状態表示、通信Ｉ／Ｆ動作表示、日付・時刻表示、防振機能表示なども行われる。
【００３８】
また、通知部５４の表示内容の内、光学ファインダー１０４内に表示するものとしては、合焦表示、手ぶれ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などがある。
【００３９】
５６は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。
【００４０】
６０、６２、６４、６６、６８及び７０は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。
【００４１】
ここで、これらの操作手段の具体的な説明を行う。
【００４２】
６０はモードダイアルスイッチで、電源オフ、自動撮影モード、プログラム撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することができる。
【００４３】
６２はシャッタースイッチＳＷ１で、不図示のシャッターボタンの第１ストローク（例えば半押し）によりＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始を指示する。
【００４４】
６４はシャッタースイッチＳＷ２で、不図示のシャッターボタンの第２ストローク（例えば全押し）によりＯＮとなり、露光処理、現像処理、及び記録処理からなる一連の処理の動作開始を指示する。まず、露光処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介して画像データをメモリ３０に書き込み、更に、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理が行われる。更に、メモリ３０から画像データを読み出し、圧縮・伸張回路３２で圧縮を行い、記録媒体２００あるいは２１０に画像データを書き込む記録処理が行われる。
【００４５】
６６は流し撮りモードスイッチで、防振機能をＯＮにした際に、通常の処理モードか、流し撮りを考慮した処理を行うかを切り替えることができる。
【００４６】
６８は、防振機能ＯＮ／ＯＦＦスイッチで、防振機能の作動／非作動を設定することができる。本実施の形態では防振機能が非作動の場合は通常撮影が行われ、防振機能を作動させると、通常撮影時の露出に対して、シャッタースピードを速くして、所定枚数の連写撮影を行い、位置合わせをしながら合成を行うモードとなる。なお、防振機能動作時の詳細については後述する。
【００４７】
７０は各種ボタンやタッチパネルなどから成る操作部である。一例として、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り換えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタンを含む。更に、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタンなども含む。
【００４８】
７２は、動きベクトル検知回路であり、連続して撮影されたコマ間の画像の動きを検知する。
【００４９】
８０は電源制御部で、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。
【００５０】
８２、８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ−ｉｏｎ電池等の二次電池、ＡＣアダプター等からなる電源部である。
【００５１】
９０及び９４はメモリカードやハードディスク等の記録媒体とのインタフェース、９２及び９６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。９８はコネクタ９２及び／或いは９６に記録媒体２００或いは２１０が装着されているか否かを検知する記録媒体着脱検知回路である。
【００５２】
なお、本実施の形態では記録媒体を取り付けるインタフェース及びコネクタを２系統持つものとして説明している。もちろん、記録媒体を取り付けるインタフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインタフェース及びコネクタを組み合わせて備える構成としても構わない。
【００５３】
インタフェース及びコネクタとしては、ＰＣＭＣＩＡ（Personal Computer Memory Card International Association）カードやＣＦ（コンパクトフラッシュ（登録商標））カード、ＳＤカード等の種々の記憶媒体の規格に準拠したものを用いて構成することが可能である。インタフェース９０及び９４、そしてコネクタ９２及び９６をＰＣＭＣＩＡカードやＣＦ（登録商標）カード等の規格に準拠したものを用いて構成した場合、各種通信カードを接続することができる。通信カードとしては、ＬＡＮカードやモデムカード、ＵＳＢ（Universal Serial Bus）カード、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４カードがある。他にも、Ｐ１２８４カード、ＳＣＳＩ（Small Computer System Interface）カード、ＰＨＳ等がある。これら各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。
【００５４】
１０２は、撮像装置１００のレンズ１０を含む撮像部を覆う事により、撮像部の汚れや破損を防止する保護装置であるバリアである。
【００５５】
１０４は光学ファインダであり、画像表示部２８による電子ファインダー機能を使用すること無しに、光学ファインダーのみを用いて撮影を行うことが可能である。また、光学ファインダー１０４内には、通知部５４の一部の機能、例えば、合焦状態、手振れ警告、フラッシュ充電、シャッタースピード、絞り値、露出補正などが表示される。
【００５６】
１１０は通信回路で、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信機能を有する。
【００５７】
１１２は通信手段１１０により撮像装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。
【００５８】
２００及び２１０はメモリカードやハードディスク等の記録媒体である。この記録媒体２００及び２１０は、それぞれ、半導体メモリや磁気ディスク等から構成される記録部２０２及び２１２、撮像装置１００とのインタフェース２０４及び２１４、撮像装置１００と接続を行うコネクタ２０６及び２１６を備えている。
【００５９】
記録媒体２００及び２１０としては、ＰＣＭＣＩＡカードやコンパクトフラッシュ（登録商標）等のメモリカード、ハードディスク等を用いることができる。また、マイクロＤＡＴ、光磁気ディスク、ＣＤ−ＲやＣＤ−ＷＲ等の光ディスク、ＤＶＤ等の相変化型光ディスク等で構成されていても勿論構わない。
【００６０】
また、記録媒体２００及び２１０がメモリカードとハードディスク等が一体となった複合媒体であっても勿論問題無い。さらに、その複合媒体から一部が着脱可能な構成としても勿論問題無い。
【００６１】
また、上記説明に於いては、記録媒体２００及び２１０は撮像装置１００と分離していて任意に接続可能なものとして説明したが、いずれか或いは全ての記録媒体が撮像装置１００に固定したままとなっていても勿論問題無い。
【００６２】
また、撮像装置１００に記録媒体２００或いは２１０が、単数或いは複数の任意の個数接続可能な構成であっても構わない。
【００６３】
次に、図２乃至図７を参照して、本発明の実施の形態における上記構成を有する撮像装置１００の動作を説明する。
【００６４】
図２及び図３は本実施の形態の撮像装置１００の主ルーチンのフローチャートである。
【００６５】
図２において、電池交換等の電源投入により、システム制御回路５０はフラグや制御変数等を初期化し（ステップＳ１０１）、画像表示部２８の画像表示をＯＦＦ状態に初期設定する（ステップＳ１０２）。次にステップＳ１０３でシステム制御回路５０は、モードダイアル６０の設定位置を判断する。モードダイアル６０が電源ＯＦＦに設定されていたならば、システム制御回路５０は各表示部の表示を終了状態に変更し、バリア１０２を閉じて撮像部を保護し、フラグや制御変数等を含む必要なパラメータや設定値、設定モードを不揮発性メモリ５６に記録する。更に、システム制御回路５０は、電源制御部８０により画像表示部２８を含む画像表示装置１００各部の不要な電源を遮断する等の所定の終了処理を行った後（ステップＳ１０５）、ステップＳ１０３に戻る。
【００６６】
また、ステップＳ１０３でモードダイアル６０が撮影モードに設定されていたならば、ステップＳ１０６に進む。
【００６７】
また、ステップＳ１０３でモードダイアル６０がその他のモードに設定されていたならば、システム制御回路５０は選択されたモードに応じた処理を実行し（ステップＳ１０４）、処理を終えたならばステップＳ１０３に戻る。
【００６８】
ステップＳ１０６において、システム制御回路５０は、電源制御部８０により電池等により構成される電源８６の残容量や動作情況が画像表示装置１００の動作に問題があるか否かを判断する。問題があるならば（ステップＳ１０６でＮＯ）、通知部５４を用いて画像や音声により所定の警告表示を行った後に（ステップＳ１０８）、ステップＳ１０３に戻る。
【００６９】
一方、電源８６に問題が無いならば（ステップＳ１０６でＹＥＳ）、システム制御回路５０は記録媒体２００或いは２１０の動作状態が画像表示装置１００の動作、特に記録媒体２００或いは２１０に対する画像データの記録再生動作に問題があるか否かを判断する。問題があるならば（ステップＳ１０７でＮＯ）通知部５４を用いて画像や音声により所定の警告表示を行った後に（ステップＳ１０８）、ステップＳ１０３に戻る。
【００７０】
記録媒体２００或いは２１０の動作状態に問題が無いならば（ステップＳ１０７でＹＥＳ）、通知部５４を用いて画像や音声により画像表示装置１００の各種設定状態の告知を行う（ステップＳ１０９）。なお、画像表示部２８の画像表示をＯＮにして、画像表示部２８も用いて画像や音声により画像表示装置１００の各種設定状態の告知を行うようにしてもよい。
【００７１】
次に、ステップＳ１１０において、システム制御回路５０は防振機能ＯＮ／ＯＦＦスイッチ６８の設定状態を調べる。防振機能ＯＮに設定されていたならば防振機能フラグを設定し（ステップＳ１１１）、防振機能ＯＦＦに設定されていたならば防振機能フラグを解除する（ステップＳ１１２）。なお、防振機能フラグの状態は、システム制御回路５０の内部メモリ或いはメモリ５２に記憶する。
【００７２】
防振機能ＯＮ／ＯＦＦスイッチ６８の設定状態の確認後、ステップＳ１１３に進み、シャッタスイッチＳＷ１が押されていないならば、ステップＳ１０３に戻る。シャッタスイッチＳＷ１が押されたならば、ステップＳ１１４に進む。システム制御回路５０は、測距処理を行って撮影レンズ１０の焦点を被写体に合わせ、測光処理を行って絞り値及びシャッタ時間を決定する（ステップＳ１１４）。測光の結果、必要であればフラッシュ・フラグをセットし、フラッシュの設定も行う。このステップＳ１２２で行う測距・測光処理の詳細は図４を用いて後述する。
【００７３】
測距・測光処理（ステップＳ１１４）を終えたならば、ステップＳ１１５に進む。シャッタスイッチＳＷ２が押されずに（ステップＳ１１５でＯＦＦ）、さらにシャッタスイッチＳＷ１も解除されたならば（ステップＳ１１６でＯＦＦ）、ステップＳ１０３に戻る。シャッタスイッチＳＷ２が押されたならば（ステップＳ１１５でＯＮ）、ステップＳ１１７に進む。
【００７４】
次にステップＳ１１７において、システム制御回路５０は、露光処理と現像処理とからなる撮影処理を実行する。露光処理では、撮像素子１４、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６から直接メモリ制御回路２２を介して、メモリ３０に撮影した画像データを書き込む。また、現像処理では、メモリ制御回路２２そして必要に応じて画像処理回路２０を用いて、メモリ３０に書き込まれた画像データを読み出して各種処理を行う。なお、このステップＳ１１７における撮影処理の詳細は図５を用いて後述する。
【００７５】
撮影処理が終了するとステップＳ１１８に進み、システム制御回路５０は、メモリ３０に書き込まれた撮影画像データを読み出して、メモリ制御回路２２そして必要に応じて画像処理回路２０を用いて各種画像処理を行う。更に、圧縮・伸長回路３２を用いて設定したモードに応じた画像圧縮処理を行った後、記録媒体２００或いは２１０へ画像データの書き込みを行う記録処理を実行する。このステップＳ１１８における記録処理の詳細は図７を用いて後述する。
【００７６】
記録処理（ステップＳ１１８）が終了した際に、システム制御回路５０はシャッタスイッチＳＷ２の状態を判断する。シャッタスイッチＳＷ２が押された状態であったならば（ステップＳ１１９でＯＮ）、システム制御回路５０はシステム制御回路５０の内部メモリ或いはメモリ５２に記憶される連写フラグの状態を判断する（ステップＳ１２０）。連写フラグが設定されていたならば、連続して撮影を行うためにステップＳ１１７に戻り、次の撮影を行う。連写フラグが設定されていないならば（ステップＳ１２０でＮＯ）、ステップＳ１１９に戻り、シャッタースイッチＳＷ２が放されるまで、現在の処理を繰り返す。
【００７７】
シャッタスイッチＳＷ２が放されたなら、ステップＳ１２１でシャッタスイッチＳＷ１の状態を調べる。シャッタスイッチＳＷ１が押された状態であったならば、システム制御回路５０は、ステップＳ１１５に戻って次の撮影に備える。シャッタスイッチＳＷ１が放された状態であったならば、システム制御回路５０は、一連の撮影動作を終えてステップＳ１０３に戻る。
【００７８】
図４は、図３のステップＳ１１４における測距・測光処理の詳細なフローチャートを示す。システム制御回路５０は、撮像素子１４から電荷信号を読み出し、Ａ／Ｄ変換器１６を介して画像処理回路２０に画像データを逐次読み込む（ステップＳ２０１）。この逐次読み込まれた画像データを用いて、画像処理回路２０はＴＴＬ方式のＡＥ処理、ＥＦ処理、ＡＦ処理に用いる所定の演算を行う。
【００７９】
なお、ここでの各処理は、撮影した全画素数のうちの必要に応じた特定の部分を必要個所分切り取って抽出し、演算に用いる。これにより、ＴＴＬ方式のＡＥ、ＥＦ、ＡＷＢ、ＡＦの各処理において、中央重点モード、平均モード、評価モードの各モード等の異なるモード毎に最適な演算を行うことが可能となる。
【００８０】
システム制御回路５０は、画像処理回路２０での演算結果を用いて露出（ＡＥ）が適正と判断されるまで（ステップＳ２０２でＹＥＳとなるまで）、露光制御部４０を用いてＡＥ制御を行う。このＡＥ制御時、システム制御回路５０はシステム制御回路５０の内部メモリ或いはメモリ５２に記憶される防振機能フラグの状態を判断し（ステップＳ２０３）、防振機能ＯＮの場合は防振時ＡＥ制御を行う（ステップＳ２０４）。防振機能ＯＦＦ時は通常のＡＥ制御を行う（ステップＳ２０５）。
【００８１】
ここで、ステップＳ２０４で行われる防振機能ＯＮ時の防振時ＡＥ制御について説明する。
【００８２】
上述したように、本実施の形態においては、防振機能がＯＮの場合、複数枚の画像を撮影し、その後、画像処理装置にて像の位置ズレを補正しながら撮影した複数枚の画像の加算合成を行う。このとき、複数枚の画像を撮影する時のシャッター速度は、手振れが発生しにくい速度にする必要がある。このようなシャッター速度は次のようにして求めることができる。従来より３５ｍｍフィルムを使用するカメラでは撮影レンズの焦点距離をｆｍｍとすると、１／ｆ（ｓｅｃ）のシャッター速度であれば手振れが影響しにくいと言われている。一般的にデジタルカメラの撮像素子は３５ｍｍフィルムに対して小さいので、３５ｍｍフィルムに対する撮像素子の大きさの比と撮影レンズの実焦点距離から、３５ｍｍフィルムカメラ相当の焦点距離を求め、これをｆ’とする。求めたｆ’の逆数（１／ｆ’（ｓｅｃ））をシャッター速度とすれば、手振れしにくいシャッター速度とすることができる。または、ＰＣ用モニタなどで拡大表示して観察されることを考慮して、より高速なシャッター速度に設定するようにしても良い。
【００８３】
このようにして求めたシャッター速度と、ＡＥ制御で決まる適正露光量とカメラ側で設定される絞り値および感度値などから、画像を１枚撮影したときの露光量と適正露光量の比を求めることができる。この比から、適正露光を得るためには、何枚の撮影画像を加算すればいいか求まる。たとえば、１枚あたりの露光量が適正露光量の１／４であれば、撮影枚数は４枚であり、４枚の画像を加算することで適正露光となる画像を求めることができる。
【００８４】
防振時の撮影枚数については、少ないと防振効果が少なくなり、また、多すぎると１枚あたりの露光量が少なくなりすぎて、後処理での動きベクトル検出の処理などが困難になったり、処理にも時間が掛かったりするようになるので、４〜８枚程度が適切である。
【００８５】
また、本発明では、防振機能ＯＮ時に通常の画像合成モードと流し撮り撮影モードを設定できるため、この二つのモードでシャッター速度などＡＥ制御を変えるようにすることも可能である。例えば、流し撮り撮影モードでは移動被写体を撮影するので、より高速側のシャッター速度にするなど、それぞれのモードに、より適するようにＡＥ制御を変更するようにしてもよい。
【００８６】
次に、ステップＳ２０６に進み、システム制御回路５０は、ＡＥ制御で得られた測定データを用いてフラッシュが必要か否かを判断する。フラッシュが必要ならば（ステップＳ２０６でＹＥＳ）フラッシュ・フラグをセットし、フラッシュ４８を充電する（ステップＳ２０７）。
【００８７】
露出（ＡＥ）が適正と判断したならば（ステップＳ２０２でＹＥＳ）、測定データ及び／或いは設定パラメータをシステム制御回路５０の内部メモリ或いはメモリ５２に記憶する。
【００８８】
次に、画像処理回路２０での演算結果及びＡＥ制御で得られた測定データを用いて、システム制御回路５０はホワイトバランス（ＡＷＢ）が適正かどうか判断する。適正であると判断されるまで（ステップＳ２０８でＹＥＳとなるまで）、画像処理回路２０を用いて色処理のパラメータを調節してＡＷＢ制御を行う（ステップＳ２０９）。
【００８９】
ＡＷＢが適正と判断したならば（ステップＳ２０８でＹＥＳ）、測定データ及び／或いは設定パラメータをシステム制御回路５０の内部メモリ或いはメモリ５２に記憶する。
【００９０】
次に、画像処理回路２０での演算結果及びＡＥ制御及びＡＷＢ制御で得られた測定データを用いて、システム制御回路５０は測距（ＡＦ）を行う。そして、その結果が合焦と判断されるまで（ステップＳ２１０でＮＯの間）、測距制御部４２を用いてＡＦ制御を行う（ステップＳ２１１）。
【００９１】
測距（ＡＦ）の結果、合焦と判断したならば（ステップＳ２１０でＹＥＳ）、測定データ及び／或いは設定パラメータをシステム制御回路５０の内部メモリ或いはメモリ５２に記憶し、測距・測光処理ルーチン（ステップＳ１１４）を終了する。
【００９２】
図５及び図６は、図３のステップＳ１１７における撮影処理の詳細なフローチャートを示す。
【００９３】
システム制御回路５０は、ステップＳ３０１において、システム制御回路５０の内部メモリ或いはメモリ５２に記憶される測光データに従い、露光制御部４０により、絞り機能を有するシャッター１２を、得られた測光データに対応する絞り値に設定する。設定後、ステップＳ３０２で絞り値に応じてシャッター１２を開放して、撮像素子１４を露光する。
【００９４】
システム制御回路５０は、システム制御回路５０の内部メモリ或いはメモリ５２に記憶される防振機能フラグの状態を判断し（ステップＳ３０３）、防振機能ＯＮの場合は現在露光中の画像が防振時連写の１コマ目かどうかを判断する（ステップＳ３０４）。１コマ目ならステップＳ３０５に進み、１コマ目でなければ、ステップＳ３０８に進んで露光終了判断を行うに進む。一方、ステップＳ３０３で防振機能ＯＦＦと判断されるとステップＳ３０５に進む。
【００９５】
ステップＳ３０５で、フラッシュ・フラグがセットされているかをチェックしてフラッシュ４８が必要か否かを判断し、必要な場合にはフラッシュ４８を発光させる（ステップＳ３０６）。
【００９６】
上記制御により、防振機能ＯＮかつフラッシュを使用する場合には、防振機能による連写の１コマ目だけ、フラッシュを発光することとなる。フラッシュを１コマ目だけ発光させるのは、フラッシュ光到達距離範囲内の被写体については一度の発光で適正露出が得られるためと、フラッシュの発光後の充電に時間を要するためである。即ち、フラッシュを複数コマで発光させようとすると各露光（コマ）間のブレ量（画角変化）が大きくなり、後処理での画像合成が困難になる。更に、全体の撮影に長時間かかることになるため、被写体が人物の場合などには被写体ぶれが大きくなってしまう。従って、本実施の形態のようにフラッシュを１コマ目だけ発光させることで、夜景をバックにした人物撮影などの場合、手前の人物には一度のフラッシュ撮影で適正露光が得られるとともに、背景については防振機能を利用してぶれの少ない夜景を撮影できる。
【００９７】
ステップＳ３０７において、システム制御回路５０は、測光データに従って撮像素子１４の露光終了を待ち、シャッター１２を閉じて（ステップＳ３０８）、撮像素子１４から電荷信号を読み出す。そして、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６から直接メモリ制御回路２２を介して、メモリ３０に撮影画像のデータを書き込む（ステップＳ３０９）。
【００９８】
設定された撮影モードに応じて、フレーム処理を行う必要があるならば（ステップＳ３１０でＹＥＳ）、システム制御回路５０は、メモリ制御回路２２そして必要に応じて画像処理回路２０を用いて、メモリ３０に書き込まれた画像データを読み出す。読み出した画像データに対して垂直加算処理や（ステップＳ３１１）、色処理（ステップＳ３１２）を順次行った後、メモリ３０に処理を終えた画像データを書き込む。
【００９９】
次にステップＳ３１３で防振機能フラグがセットされているかどうかを判断する。セットされてない場合は、ステップＳ３１７において、撮影画像から撮影終了後の画像表示のために表示画像データおよびインデックス表示や再生表示のためのサムネイル画像データを生成する。
【０１００】
一方、防振機能フラグがセットされている場合には（ステップＳ３１３でＹＥＳ）、防振用連写撮影が終了したかどうかを判断し（ステップＳ３１４）、終了していない場合はステップＳ３０１に戻って、防振用連写が終了するまで上記のステップを繰り返す。防振用連写撮影が終了すると、表示画像データ及びサムネイル画像データを生成する。
【０１０１】
まず、ステップＳ３１５でフラッシュ撮影されたか否かを判断し、フラッシュを使用していない場合はステップＳ３１６に進む。防振用連写撮影で得られた個々の画像は、手振れしない短秒時で撮影されるため、適正露光よりアンダーとなっている。そのため、そのままでは表示用画像やサムネイル画像として適さない。そこでステップＳ３１６では、連写撮影したうちの１コマの画像に対して略撮影枚数相当分のゲインアップを行い、ゲインアップした１コマの画像から表示画像データおよびサムネイル画像データを生成する。ゲインアップとしては、具体的には、画像データの輝度情報を撮影枚数分乗算する。たとえば４枚の画像を合成する場合は、画像の輝度情報を４倍する。なお、このように整数倍することで階調性は失われるが、画像表示部２８に使われる液晶上では元画像に対してかなり縮小された画像が表示されるため、階調性が失われていても撮影画像の構図確認などの用途には十分である。また、ここでの画像情報がすでに輝度に対してリニア（線形）でない場合には輝度に対してリニアなデータに変換してから整数倍することが望ましい。
【０１０２】
また、ステップＳ３１５でフラッシュを使用したと判断された場合は、主被写体に対してフラッシュ光が到達したかどうかを判断する（ステップＳ３１８）。上述したように、一連の防振用連写撮影の内、フラッシュ発光は一コマ目だけ行われている。従って、フラッシュ光の到達範囲内に主被写体がある場合には（ステップＳ３１８でＹＥＳ）、１コマ目の画像が適正な露光となっているため、ゲインアップせずに、１コマ目の画像をそのまま用いて表示用画像およびサムネイル画像を生成する。一方、フラッシュ光の到達範囲内に主被写体が無い場合には（ステップＳ３１８でＮＯ）、ステップＳ３１６に進んで、フラッシュ光が使用されていない場合と同様の処理を行う。
【０１０３】
なお、フラッシュ光が主被写体に到達したかどうかは、調光できたかどうか、あるいは主被写体の距離とフラッシュのガイドナンバー、撮影時の絞りとの関係から公知の技術により判断することができる。
【０１０４】
ステップＳ３１６、Ｓ３１７、Ｓ３１９いずれかの処理後、ステップＳ３２０において、システム制御回路５０は、メモリ３０から画像データを読み出し、メモリ制御回路２２を介して画像表示メモリ２４に表示画像データの転送を行い、画像を表示する。
【０１０５】
次にステップＳ３２１では、防振機能がＯＮされているかどうか、防振機能フラグにより再度判断する。防振機能フラグがセットされていない場合は、撮影処理ルーチンＳ１１７を終了する。
【０１０６】
防振機能フラグがセットされている場合は、図６のステップＳ３２２に進み、以降の防振用画像合成処理を行う。
【０１０７】
まず、システム制御回路５０がメモリ５２内にある防振用画像処理に用いる変数で何枚目を処理しているかを表す変数ｎを１に初期化する（ステップＳ３２２）。次に、システム制御回路５０は、動きベクトル検知回路７２により防振連写撮影された複数画像のｎコマ目画像とｎ＋１コマ目画像間の動きベクトルを演算する（ステップＳ３２３）。
【０１０８】
動きベクトルの検知方法としてはさまざまな手法が公知であり、そのうちどのような手法を用いることも可能である。図８を用いて一例を説明する。図８は動きベクトル検知方法の一例を説明する図である。
【０１０９】
図８（ａ）は画面を小ブロックに分割する様子を示した図である。３００は撮影された画像であり、ここでは横３０７２画素、縦２０４８画素、総画素数６，２９１，４５６画素の画像が撮影されるものとする。動きベクトルを求めるためにここでは画面全体を横２５６画素、縦２５６画素の小ブロック３０１に分割する。このようにして図８（ａ）に示すように横１２ブロック、縦８ブロックに分割される。
【０１１０】
次に、各小ブロック３０１ごとに、動きベクトルを求めるためのもう１枚の画像との二次元相関値を求めていく。相関値としては、小ブロック３０１を画素単位でずらしながら、対応する各画素間の差の絶対値の和を次々に求めていき、その和が最小となるずらし量をその小ブロックの動きベクトルとする。このようにして、図８（ｂ）に示すように全ての小ブロックにおいてその動きベクトル３０２を求める。
【０１１１】
次にそのようにして求めた動きベクトル３０２の頻度を調べる。頻度を最頻値から順にプロットしたヒストグラムが図８（ｃ）である。このようにして求めたヒストグラムから二画像間の動きベクトルを求める。たとえば、図８（ｃ）の場合は（２、１）が最頻値で有り、この二画像間の動きベクトルとなる。
【０１１２】
次にシステム制御回路５０は流し撮りモードＳＷ６６がＯＮかＯＦＦかを判断する（ステップＳ３２４）。
【０１１３】
流し撮りモードＳＷ６６がＯＦＦの場合は通常処理モードとし、システム制御回路５０は、ステップＳ３２３で求めた動きベクトルを基にして、画像の位置合わせのための座標変換を行う（ステップＳ３２５）。そして画像処理回路２０により位置合わせされた画像を加算合成し（ステップＳ３２６）、メモリ３０上に記録する（ステップＳ３２７）。そして変数ｎを＋１し（ステップＳ３２８）、防振連写した画像の座標変換および合成が終了したかどうかを判断する（ステップＳ３２９）。終了していない場合は、ステップＳ３２３に戻って、画像間の動きベクトル検知、座標変換、および合成を繰り返す。
【０１１４】
次にステップＳ３２４において流し撮りモードＳＷ６６がＯＮの場合は、ステップＳ３３２に進んで、以降の流し撮り処理を行う。流し撮り撮影の場合、主被写体は移動しているため、背景と主被写体の動きベクトルが異なることとなる。この様子を図９を用いて説明する。
【０１１５】
図９は流し撮り撮影時の動きベクトルの様子を示す図である。図９（ａ）は走行している車を連写した画像に対して、ステップＳ３２３で図８を参照して説明した方法で、動きベクトル検知を行った際の各ブロック間の動きベクトルの様子を表している。ここでは、画面を１２×８のブロックに分割した場合を例示している。図９（ａ）から分かるように、動体を流し撮りした場合、このように背景と移動している主被写体は大きく異なる動きベクトルを示す。
【０１１６】
これをヒストグラムにした様子を図９（ｂ）に示す。背景については、（５，１）というベクトルとして主に分布し、動体である主被写体は（−３，１）というベクトルとして分布していることを示している。通常の撮影時はヒストグラムに現れるベクトルは互いに近いベクトルになるが、流し撮り撮影時は、大きく二方向のベクトルが出ることになる。なお、ベクトル同士がほぼ同じか大きく異なるかは、ベクトル間の内積を求めたり、二個のベクトル間の差の絶対値を計算することで判断することができる。
【０１１７】
この大きく二方向に分かれたベクトルにより画面内のエリアを主被写体エリア（注目領域）と背景エリア（注目領域以外の領域）に二分割することができる（ステップＳ３３２）。図９において分割した主被写体エリアを図９（ｃ）に、背景エリアを図９（ｄ）に示す。また、この図９（ｂ）のヒストグラムから主被写体エリアの動きベクトルと背景エリアの動きベクトルを求めることができる。
【０１１８】
分割したエリアのうち、どちらが主被写体エリアになるかは、たとえばエリアの位置により画面の中央側が主被写体エリア、周辺側が背景エリアであると判断することが可能である。
【０１１９】
また、多点測距可能な機種において選択された測距点を含むエリアを主被写体エリアとしたり、最も近い被写体距離のエリアを主被写体と判定するなど、ＡＦ結果により判定しても良い。また、多点測光の結果から所定の明るさの領域を主被写体とするようなＡＥ結果により判定しても良いし、視線検出のように他のセンサを設けてその情報により判断するようにしても構わない。また、ユーザーがエリアを指定できるようなユーザーインターフェースを設けてユーザー自身が指定できるようにしても良い。
【０１２０】
次に、主被写体エリアについて、主被写体エリアの動きベクトルに基づいて位置合わせを行い、合成する（ステップＳ３３３）。このときの座標変換と合成の動作は、位置合わせに用いる動きベクトルが主被写体エリアの動きベクトルに限定されていることを除いて、ステップＳ３２５及びＳ３２６で説明した内容と同等である。
【０１２１】
次に背景エリアについてぶらし処理を加えて合成する（ステップＳ３３４）。
【０１２２】
図１０は背景エリアのぶらし処理の方向について説明するための図である。前述のようにステップＳ３２３の動きベクトル検知で主被写体エリアと背景エリアのそれぞれごとの動きベクトルが求まっている。図１０で図示するように、この二つの動きベクトルの差分が主被写体を静止するように位置合わせした場合の背景のぶれる方向のベクトルとなる。よってその差分ベクトルの方向と量に応じて背景についてぶらし処理を加えて主被写体画像と合成すれば、流し撮り画像が合成できることになる。図９の場合を例にとって説明すると、主被写体の動きベクトルは（−３，１）、背景の動きベクトルは（５，１）なので、その差分（８，０）が背景に加えるべき、ぶらし処理のベクトルとなる。
【０１２３】
直線方向について画像にぶれたような効果を与える処理については、多くの画像処理ソフトに実装されており、公知の技術である。たとえばＡｄｏｂｅ社のＰｈｏｔｏｓｈｏｐ ＣＳ（登録商標）では、「フィルタ−ぼかし（移動）」という名称で搭載されており、同様にＵｌｅａｄ社のＰｈｏｔｏＩｍｐａｃｔ１０（登録商標）では「モーションブラー」という名称で搭載されている。ぶらし処理は公知のどのような技術を応用してもいいことはいうまでもない。
【０１２４】
ここでは図１１を用いてぶらし処理の一例を説明する。図１１はぶらし処理を説明するための図である。ここでは、図１１（ａ）に示すように例として画素単位の動きベクトルが（３，１）である場合のぶらし処理について説明する。基本的にはぶらし処理はぶらし方向のベクトルに沿って１画素単位でずらした画像を作り、それらを加算し、加算した枚数で合成結果を除算する（すなわち平均化する）ことによって実現できる。図１１では、図１１（ｂ）に示す五角形の図形を図１１（ａ）の動きベクトルに沿って（０，０）、（１，０）、（２，１）、（３，１）という画素数分ずらした４枚の画像を作成し（図１１（ｃ））、それらを加算する。そして、合成した枚数分である４で結果を除算すれば、（３，１）の方向にぶらした画像を合成することができる（図１１（ｄ））。
【０１２５】
ここでは一方の画像を動きベクトルに沿ってずらした画像を作り合成する例を示したが、以下のように処理しても良い。まず、二枚の画像の双方を用いて、１枚目の画像は１枚目から２枚目の画像の方向へ、重み付けを１から０の間で徐々に変え、また２枚目の画像は２枚目から１枚目の画像の方向へ同様に重み付けを１から０に徐々に変えた画像を作成する。そして、作成した画像を加算平均するブレンド（混合）処理を行う。
【０１２６】
また、ここでは１画素単位でずらした画像を合成する例を示したが、より精度よく合成するために補間を行い１画素より小さいサブピクセル単位で合成を行っても良い。
【０１２７】
このようにしてそれぞれ合成した主被写体エリアと背景エリアを再び１枚の画像になるように合成し（ステップＳ３３５）、合成した画像をメモリ３０上に記録する（ステップＳ３３６）。このようにして、連写した画像全てについて（ステップＳ３２９でＹＥＳとなるまで）、流し撮り連写要の画像合成を行うことにより、主被写体は静止し、背景が主被写体の動き方向にぶれた流し撮り画像の合成を行うことができる。
【０１２８】
合成処理が終了すると（ステップＳ３２９でＹＥＳ）、合成後の画像を用いて表示用画像などを生成することが可能になるので、表示画像データおよびサムネイル画像データの再生成を行う（ステップＳ３３０）。そして再生成された表示画像の表示を行う（ステップＳ３３１）。以上でステップＳ１１７の撮影処理を終了する。
【０１２９】
図１２は、本実施の形態で説明した流し撮りモードで実際に画像を処理した例を示す図で、従来例で説明した図１４（ａ）〜（ｄ）に示す４画像を、本実施の形態の流し撮り処理した場合を示している。図１２（ｅ）に示すように、主被写体である車はぶれずに、背景は流れた、流し撮り画像を合成することができる。
【０１３０】
なお、以上の説明では防振連写の１コマ目でフラッシュ発光させる例を説明したが、フラッシュを発光させるのは連写中の任意のコマでも構わない。たとえば、後幕シンクロ撮影のように、連写の最終コマでフラッシュを発光させるようにしても良い。その場合、フラッシュ発光により被写体が撮影終了と思い動いてしまうことによる被写体ブレを防止できるという効果がある。
【０１３１】
次に記録処理の動作について図７を用いて説明する。図７は、図３のステップＳ１１８における記録処理の詳細なフローチャートを示す。
【０１３２】
図７において、システム制御回路５０は、メモリ制御回路２２そして必要に応じて画像処理回路２０を用いて、メモリ３０に書き込まれた撮影画像データを読み出して撮像素子の縦横画素比率を１：１に補間する画素正方化処理を行う。そして、メモリ３０に処理を終えた画像データを書き込む（ステップＳ４０１）。
【０１３３】
メモリ３０に書き込まれた画像データを再び読み出して、設定したモードに応じた画像圧縮処理を圧縮・伸長回路３２により行う（ステップＳ４０２）。そして、インターフェース９０或いは９４、コネクタ９２或いは９６を介して、メモリカードやコンパクトフラッシュ（登録商標）カード等の記録媒体２００或いは２１０へ圧縮した画像データの書き込みを行う（ステップＳ４０３）。
【０１３４】
記録媒体への書き込みが終わったならば、記録処理ルーチン（ステップＳ１１８）を終了する。
【０１３５】
上記の通り本実施の形態によれば、流し撮り撮影時、主被写体と背景とに分離し、それぞれの動きベクトルを求めて、背景側にのみ、求めた動きベクトルに基づく方向および量に応じたぶらし処理を加えて主被写体と合成する。これにより、違和感の無い流し撮り画像を得ることができる。また、撮影後に主被写体の位置合わせをしながら合成することにより、熟練した技能を要せずとも、容易に主被写体が止まって写っている流し撮り画像を得ることができる。
【０１３６】
なお、流し撮りではない通常の画像合成のモードでは、結果として位置合わせができれば良いので、位置合わせの基準をどこに置いても良い。たとえば１枚目を基準に、１枚目と２枚目、１枚目と３枚目、１枚目と４枚目の動きベクトルを求めて、２〜４枚目を１枚目の画像に重ねるという処理をしても構わない。これに対し、流し撮りモードでは背景のぶらし処理が発生するので、かならず隣接する画像間で合成処理を行う必要がある。たとえば１枚目と２枚目、２枚目と３枚目、３枚目と４枚目間でぶらし処理を行う必要が有る。
【０１３７】
また、本実施の形態では４枚を合成する場合を例にとって説明したが、８枚合成など、４枚以外の防振用画像を撮影し、合成しても良いことは言うまでもない。
【０１３８】
なお、本実施の形態における撮像装置として、レンズや鏡筒が本体と一体化された、いわゆるデジタルコンパクトカメラであるものとして説明したが、レンズ交換式の一眼レフタイプの撮像装置、または静止画撮影機能を有するビデオカメラなどが考えられる。
【０１３９】
また、シャッター１２は、絞りとシャッターを兼用するレンズシャッタータイプとして説明したが、絞りとシャッターは独立していても良い。また、シャッターはフォーカルプレーン式のシャッターで構成されても良い。
【０１４０】
また、上記例では、ＡＥやＡＦ、ＥＦなどの処理を撮像素子１４からの信号を基にして行う例を示した。しかし、一眼レフタイプの場合は、撮影時のみ撮像素子に露光がされるため、ＡＥ、ＡＦ、ＥＦなどの処理は通常撮像素子と別個のセンサを持ち、その信号をもとに処理が行われる。このような一眼レフタイプに本発明が適用可能であることは言うまでもない。
【０１４１】
またズーム機能の無い単焦点レンズ内蔵の撮像装置であっても良いし、バリア１０２を有していなくとも良い。フラッシュ４８も内蔵でなく、外付けフラッシュであっても構わない。
【０１４２】
また、操作系についてもモードダイヤルでなく、プッシュＳＷの組み合わせでモードが切り替え可能なように構成しても良い。
【０１４３】
また、上記説明では、画像の平行移動（動きベクトル）で説明を行ったが、画像の回転まで考慮して合成、ぶらし処理を行って良いことは言うまでもない。
【０１４４】
また、説明を簡単にするために画面を１２×８のブロックに分割した例を示したが、１ブロックの大きさをたとえば１６×１６画素程度にして、より細かく分割すれば、より主被写体と背景とを分離しやすくなる。また、画像処理ソフトなどで、画像内の一部を指定すると、指定部分の色や明るさに近い領域を自動的に切り出すような機能が内蔵されている。このような技術を用いて、主被写体と背景を分離するようにして良いことは言うまでもない。
【０１４５】
また、小ブロックの分割画素数は本実施の形態で説明した分割によらず、たとえば１２８画素×１２８画素など任意の大きさのブロックで構わない。また、画面全体の動きベクトルの判定もたとえば頻度順に２〜３の動きベクトル候補値を選び、それらから補間によって求めるようにしてもよい。
【０１４６】
また、他の公知の方法によって動きベクトルを求めても構わない。例えば、画面から特徴となる点を抽出し、それと対応する点を探しだすことで動きベクトルを求めるようにしても良いし、画面全体を調べるのではなく、演算量を減らすために小ブロックを一部選択してそれらについての動きベクトルから求めるようにしてもよい。
【０１４７】
また、直線的動きだけではなく、アフィン変換など回転を考慮するようにしてもよいことは言うまでもない。
【０１４８】
また、本実施の形態では、流し撮りモードＳＷ６６により明示的に流し撮りモードであるかどうかをユーザーが指定できるようにしているが、これを自動で行わせるようにしてもよい。たとえば、画像間の動きベクトル検出で、画面全内がほぼ同方向に動いていると判断された場合は通常モードでの処理を行い、動きベクトルが大きく二群に分かれた場合は一方を主被写体、他方を背景として流し撮りモードの処理を行うようにしても良い。
【０１４９】
また、振動ジャイロなどの角速度センサを設けて撮影中のカメラの動きを検出して、動きが小の場合は通常撮影、一方向に大きく動かされている場合は流し撮りモードと判断して自動的に処理を切り替えられるようにしても良い。
【０１５０】
その際の主被写体の判断は、実施の形態中で説明したように、画面内の位置（端部の場合は背景）やＡＥやＡＦの結果、画面内の大きさ、または視線検出など他のセンサの情報を用いるようにしても良い。
【０１５１】
さらに上記以外に本発明の趣旨に沿った範囲でさまざまな変形例の形態をとっても構わない。
【０１５２】
また、本発明は、複数の機器（例えばホストコンピュータ、プリンタ、インターフェイス機器、カメラヘッドなど）により構成されるシステムに適用することも可能である。その場合、例えば、カメラ側では連写撮影のみを行い、撮影された複数画像をＰＣやプリンタなどに取り込み、そちらで後処理的に位置合わせ、および合成処理を行うようにしても良いことは言うまでもない。また画像合成処理も、銀塩フィルムのラボのように、ユーザーが記憶媒体に記憶された画像をラボに持ち込んだり、インターネットなどの通信機能によりラボ側に画像を送付し、ラボ側にて画像合成処理を行うという形態としても構わない。
【０１５３】
また、本発明の画像合成処理は、その一部または全部をソフトウェアを用いて実現しても良いし、ハードウェアで実現しても良い。ソフトウェアを用いる場合、まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１５４】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、以下のようにして達成することも可能である。即ち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合である。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。
【図面の簡単な説明】
【０１５５】
【図１】本発明の実施の形態における撮像装置の構成を示すブロック図である。
【図２】本発明の実施の形態における主ルーチンの一部を示すフローチャートである。
【図３】本発明の実施の形態における主ルーチンの一部を示すフローチャートである。
【図４】本発明の実施の形態における測距・測光ルーチンのフローチャートである。
【図５】本発明の実施の形態における撮影ルーチンの一部を示すフローチャートである。
【図６】本発明の実施の形態における撮影ルーチンの一部を示すフローチャートである。
【図７】本発明の実施の形態における記録ルーチンのフローチャートである。
【図８】動きベクトル検知方法の一例を説明する図である。
【図９】流し撮り撮影時の動きベクトルの様子を示す図である。
【図１０】本発明の実施の形態における背景エリアのぶらし処理の方向について説明するための図である。
【図１１】本発明の実施の形態におけるぶらし処理を説明するための図である。
【図１２】本発明の実施の形態における流し撮り処理を行った画像の例を示す図である。
【図１３】従来の流し撮りの効果を説明する図である。
【図１４】従来の画像合成方法で流し撮りした画像を説明する図である。
【符号の説明】
【０１５６】
１０：撮影レンズ、１２：シャッター、１４：撮像素子、１６：Ａ／Ｄ変換器、１８：タイミング発生回路、２０：画像処理回路、２２：メモリ制御回路、２４：画像表示メモリ、２６：Ｄ／Ａ変換器、２８：画像表示部、３０：メモリ、３２：圧縮伸長回路、４０：露光制御部、４２：測距制御部、４４：ズーム制御部、４６：バリア制御部、４８：フラッシュ、５０：システム制御回路、５２：メモリ、５４：通知部、５６：不揮発性メモリ、６０：モードダイアルスイッチ、６２：シャッタースイッチＳＷ１、６４：シャッタースイッチＳＷ２、６６：流し撮りモードスイッチ、６８：防振機能ＯＮ／ＯＦＦスイッチ、７０：操作部、７２：動きベクトル検知回路、８０：電源制御部、８２、８４：コネクタ、８６：電源、９０、９４：入出力Ｉ／Ｆ、９２、９６：コネクタ、９８：記録媒体着脱検知部、１００：撮像装置、１０２：バリア、１１０：通信回路、１１２：コネクタ（アンテナ）、２００、２１０：記録媒体、２０２、２１２：記録部、２０４、２１４：インタフェース、２０６、２１６：コネクタ、３００：撮影画像、３０１：小ブロック、３０２：動きベクトル
【図１】
2007074031.tif 000003
【図２】
2007074031.tif 000004
【図３】
2007074031.tif 000005
【図４】
2007074031.tif 000006
【図５】
2007074031.tif 000007
【図６】
2007074031.tif 000008
【図７】
2007074031.tif 000009
【図８】
2007074031.tif 000010
【図９】
2007074031.tif 000011
【図１０】
2007074031.tif 000012
【図１１】
2007074031.tif 000013
【図１２】
2007074031.tif 000014
【図１３】
2007074031.tif 000015
【図１４】
2007074031.tif 000016