(57)【要約】  【課題】夜景撮影時に三脚を使用せず、良好なＳ／Ｎの撮影画像を取得する。  【解決手段】撮影素子１では、フラッシュ３の発光を伴う１枚の画像が撮影され、その後、Ｔ秒間隔でＮ枚のフラッシュ発光を伴わない画像が撮影される。露光時間は、手ぶれが生じない程度に設定される。フラッシュ発光画像がＳＤＲＡＭ５に蓄積される。フラッシュ非発光画像が動き補償回路８で動き補償され、加算器９に供給される。加算結果の加算画像がＳＤＲＡＭ１０に蓄積され、加算画像が加算器９に戻される。合成回路１１では、フラッシュ発光画像とＳＤＲＡＭ１０からの加算画像とが合成され、合成画像がディスプレイ１２に表示され、また、フラッシュ発光画像とＮ枚のフラッシュ非発光画像の加算画像の合成画像が記憶メディア１４に圧縮器１３で圧縮されて記憶される。【選択図】図１
2007288235.tif 000002
【特許請求の範囲】
【請求項１】
時間的に連続する撮影によって複数の画像を捕捉する撮像手段と、
上記複数の画像の先頭の画像の撮影時にのみ発光するフラッシュと、
上記フラッシュの発光を伴い撮影された１枚の第１の画像を蓄積する第１のメモリと、
上記フラッシュの発光を伴わずに撮影された複数の第２の画像を加算して加算画像を形成し、上記加算画像を第２のメモリに蓄積する加算画像形成手段と、
上記第１のメモリからの上記第１の画像と上記第２のメモリからの上記加算画像とを合成し、出力画像を形成する合成手段と
を備えた撮像装置。
【請求項２】
時間的に連続する撮影によって複数の画像を捕捉する撮像手段と、
上記複数の画像の最後の画像の撮影時にのみ発光するフラッシュと、
上記フラッシュの発光を伴わずに撮影された複数の第２の画像と、上記フラッシュの発光を伴い撮影された１枚の第１の画像を加算して加算画像を形成し、加算画像をメモリに蓄積する加算画像形成手段とを備え、
上記加算画像形成手段から出力画像を得る撮像装置。
【請求項３】
上記第１および第２の画像の撮影中の露光時間が手ぶれが生じない程度の長さに設定された請求項１または請求項２記載の撮像装置。
【請求項４】
手ぶれ補正手段をさらに有し、上記露光時間は、上記手ぶれ補正手段の機能によって手ぶれが生じない程度の長さに設定された請求項１または請求項２記載の撮像装置。
【請求項５】
上記加算画像形成手段は、加算される複数の第２の画像において、最初の上記第２の画像を基準として後続する上記第２の画像のそれぞれに対して動き検出および動き検出結果に基づく動き補償を行う請求項１または請求項２記載の撮像装置。
【請求項６】
上記加算画像形成手段は、背景部分の領域の画像のみを加算して上記加算画像を形成する請求項１、請求項２または請求項５記載の撮像装置。
【請求項７】
上記出力画像を表示する表示部と、上記出力画像を記録する記憶部とをさらに有する請求項１または請求項２記載の撮像装置。
【請求項８】
上記表示部は、上記第２の画像の加算過程の画像を表示する請求項１または請求項２記載の撮像装置。
【請求項９】
時間的に連続する撮影によって複数の画像を捕捉する撮像ステップと、
上記複数の画像の先頭の画像の撮影時にのみフラッシュを発光させる発光ステップと、
上記フラッシュの発光を伴い撮影された１枚の第１の画像を第１のメモリに蓄積する第１の蓄積ステップと、
上記フラッシュの発光を伴わずに撮影された複数の第２の画像を加算して加算画像を形成し、上記加算画像を第２のメモリに蓄積する加算画像形成ステップと、
上記第１のメモリからの上記第１の画像と上記第２のメモリからの上記加算画像とを合成し、出力画像を形成する合成ステップと
を備えた撮像方法。
【請求項１０】
時間的に連続する撮影によって複数の画像を捕捉する撮像ステップと、
上記複数の画像の最後の画像の撮影時にのみフラッシュを発光させる発光ステップと、
上記フラッシュの発光を伴わずに撮影された複数の第２の画像と、上記フラッシュの発光を伴い撮影された１枚の第１の画像を加算して加算画像を形成し、加算画像をメモリに蓄積する加算画像形成ステップとを備え、
上記加算画像形成ステップによって出力画像を得る撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、フラッシュ発光を伴う撮影画像とフラッシュ発光を伴わない撮影画像とを合成することによって、夜間撮影時等において、被写体および背景の両方を適切な露光状態とすることを可能とした撮像装置および撮像方法に関する。
【背景技術】
【０００２】
フラッシュは、閃光装置、ストロボ、エレクトロフラッシュ、スピードライト等とも呼ばれ、キセノンガスを封入したガラス管に電圧をかけて発光させる装置のことである。本明細書では、フラッシュの用語を使用する。従来から夜景を背景として人物を撮影するような場合に、通常のフラッシュを使用した撮像では、被写体としての人物は、適正な露光状態で撮影されるが、背景としての夜景は、光量が不足し、暗いままで撮影されてしまう問題がある。このことを解決するために、最初にフラッシュを発光して人物を撮影し、シャッター速度を遅くして背景も明るく映るようにするスローシンクロモードが知られている。通常のストロボ撮影の場合では、手ブレが生じにくいシャッター速度（レンズの焦点距離に反比例し、例えば１／３０秒）が設定されるが、スローシンクロモードでは、より遅いシャッター速度（例えば１秒）が設定される。そのため、スローシンクロモードでは、カメラを三脚に設置するのが普通であった。
【０００３】
下記特許文献１には、三脚を使用しないでも、夜景撮影モードにおいて、フラッシュを発光させて被写体と背景の夜景とを撮影するようにしたディジタルカメラが記載されている。
【０００４】
【特許文献１】特開２００４−２１４８３６号公報
【０００５】
この特許文献１に記載のものは、フラッシュを発光させて撮影を行い、通常のγ変換特性曲線を使用する第１の撮影と、手ブレが生じない程度のシャッター速度で撮影を行い、通常のγ変換特性に比して低輝度部分のコントラストが強調されるγ変換特性曲線を使用する第２の撮影とを行い、第１の撮影によって得られた画像と、第２の撮影によって得られた画像とを合成して最終的な撮像画像を取得する。このように、通常のγ変換を適用して得られる第１の撮影による画像と、低輝度部分のコントラストが強調されるγ変換を適用して得られる第１の撮影による画像とを合成することによって、背景の夜景と手前の人物との両方が良好な露光状態と撮影画像を得ることができる。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載のものは、低輝度部分のコントラストが強調されるγ変換を適用した場合に、低輝度部分のノイズが強調される問題があった。また、かかるγ変換を使用しないと、シャッター速度を遅くする必要があり、手ブレが生じやすくなる。したがって、特許文献１に記載のものは、低輝度部分の画像を良好な露光状態で撮影することが難しい問題があった。
【０００７】
したがって、この発明の目的は、低輝度部分の背景のノイズが強調されることなく、背景および被写体の両者の露光状態を良好とすることが可能な撮像装置および撮像方法を提供することにある。
【課題を解決するための手段】
【０００８】
上述した課題を解決するために、この発明は、時間的に連続する撮影によって複数の画像を捕捉する撮像手段と、
複数の画像の先頭の画像の撮影時にのみ発光するフラッシュと、
フラッシュの発光を伴い撮影された１枚の第１の画像を蓄積する第１のメモリと、
フラッシュの発光を伴わずに撮影された複数の第２の画像を加算して加算画像を形成し、加算画像を第２のメモリに蓄積する加算画像形成手段と、
第１のメモリからの第１の画像と第２のメモリからの加算画像とを合成し、出力画像を形成する合成手段と
を備えた撮像装置である。
また、この発明は、時間的に連続する撮影によって複数の画像を捕捉する撮像手段と、
複数の画像の最後の画像の撮影時にのみ発光するフラッシュと、
フラッシュの発光を伴わずに撮影された複数の第２の画像と、フラッシュの発光を伴い撮影された１枚の第１の画像を加算して加算画像を形成し、加算画像をメモリに蓄積する加算画像形成手段とを備え、
加算画像形成手段から出力画像を得る撮像装置である。
【０００９】
この発明は、時間的に連続する撮影によって複数の画像を捕捉する撮像ステップと、
複数の画像の先頭の画像の撮影時にのみフラッシュを発光させる発光ステップと、
フラッシュの発光を伴い撮影された１枚の第１の画像を第１のメモリに蓄積する第１の蓄積ステップと、  フラッシュの発光を伴わずに撮影された複数の第２の画像を加算して加算画像を形成し、加算画像を第２のメモリに蓄積する加算画像形成ステップと、
第１のメモリからの第１の画像と第２のメモリからの加算画像とを合成し、出力画像を形成する合成ステップと
を備えた撮像方法である。
この発明は、時間的に連続する撮影によって複数の画像を捕捉する撮像ステップと、
複数の画像の最後の画像の撮影時にのみフラッシュを発光させる発光ステップと、
フラッシュの発光を伴わずに撮影された複数の第２の画像と、フラッシュの発光を伴い撮影された１枚の第１の画像を加算して加算画像を形成し、加算画像をメモリに蓄積する加算画像形成ステップとを備え、
加算画像形成ステップによって出力画像を得る撮像方法である。
【発明の効果】
【００１０】
この発明によれば、フラッシュ発光を伴い撮影した画像と、フラッシュ発光を伴わずに連続撮像し得られる複数枚の画像とを重ね合わせ合成する。このため、フラッシュ発光を伴い撮影したときにも十分な露光量を得ることが難しい背景部分に対しても、フラッシュ発光を伴わずに連続撮像し得られる複数枚の画像を重ね合わせ合成することにより適切な露光量を得ることができる。フラッシュ発光を伴わずに連続撮像する際、各撮像により得られる画像と１回目の撮像により得られる画像との動きベクトルを算出し、背景部分が重なるように、動き補償を行ってから加算処理を行う。これにより、撮影中に生じた背景部分における画像ぶれを補正し、フラッシュ発光を伴う撮影の際に手振れの影響を受けやすい背景部分においても画像ぶれの少ない撮影を行うことができる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照しながらこの発明の一実施の形態について説明する。この一実施の形態は、撮像装置であり、図１に示す構成を有している。撮像素子１は、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)、ＣＣＤ（Charge Coupled Device)等のイメージセ
ンサである。撮像素子１に対してフォーカス機構、メカニカルシャッター機構、絞り機構等の光学系２を介して被写体像が結像される。また、参照符号３がフラッシュを示す。
【００１２】
被写体像に対応する電気信号である撮像信号がカメラ信号処理部４に供給される。カメラ信号処理部４には、前処理部が含まれ、前処理部は、ＣＤＳ（Correlated Double Sampling）処理を行って、Ｓ／Ｎ比を良好にし、ＡＧＣ（Automatic Gain Control）処理を行って、利得を制御し、そして、Ａ／Ｄ（Analog/Digital）変換によって、デジタル信号とされた撮像データを形成する。そして、カメラ信号処理部４が撮像データに対して、ＡＦ（Auto Focus）、ＡＥ（Auto Exposure）、ＡＷＢ（Auto White Balance）などのカメラ
信号処理を施す。
【００１３】
カメラ信号処理がなされた画像データがＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）５および６の一方に書き込まれる。ＳＤＲＡＭ５には、フラッシュ３の発光を伴って撮影された画像（以下、フラッシュ発光画像と適宜称する）が蓄積され、ＳＤＲＡＭ６には、フラッシュ３の発光を伴わずに撮影された画像（以下、フラッシュ非発光画像と適宜称する）が蓄積され、連続撮影されたフラッシュ非発光画像が動き補償および加算処理がなされた後の加算画像がＳＤＲＡＭ１０に蓄積される。
【００１４】
ＳＤＲＡＭ５から読み出されたフラッシュ発光画像がＳＤＲＡＭ１０の出力画像との重ね合わせのための合成回路１１に供給される。合成回路１１の合成後の画像データがＬＣＤ（Liquid Crystal Display）等のディスプレイ１２において表示されると共に、圧縮器１３にて例えばＪＰＥＧで圧縮されて記憶メディア１４に画像ファイルとして記憶される。通常撮影モードでは、ＳＤＲＡＭ５の出力画像データに対してＳＤＲＡＭ１０の出力画像データが合成されないで、ディスプレイ１２および記憶メディア１４に対して供給される。
【００１５】
記憶メディア１４は、例えば着脱可能とされている。記憶メディア１４は、例えば半導体メモリーを用いたいわゆるメモリーカードである。メモリカード以外に、ハード・ディスク装置、記録可能なＤＶＤ（Digital Versatile Disc）や記録可能なＣＤ（Compact Disc）等の光記録媒体、磁気ディスクなどを用いることができる。
【００１６】
なお、図１には撮影画像の表示並びに記録のための構成のみが示されているが、通常、記憶メディア１４に記憶されている画像ファイルの再生機能を有している。その場合には、ユーザが指定した目的とする画像データが記憶メディア１４から読み出され、圧縮されている画像データに関して、その圧縮の解凍処理（伸張処理）を行い、解凍後の画像データをディスプレイ１２により表示するようになされる。
【００１７】
上述したように、一実施の形態の撮像装置は、被写体の画像を撮影して、撮影画像を装填された記憶メディアに記録することができ、さらに、図示しないが、記憶メディアに記録された画像データを読み出して、画像データを再生し、利用することができる。
【００１８】
この発明の特徴とする動作モード（一例として夜景撮影モードと称する）では、操作者が一回シャッターボタンを押すと、フラッシュの発光と同期して１枚のフラッシュ発光画像がＳＤＲＡＭ５に取り込まれ、フラッシュの発光が終了後に露光中の手ぶれが生じない程度のシャッター速度（ｔ秒間露光）と所定の時間間隔Ｔの連続撮影動作によってＮ枚のフラッシュ非発光画像が取得される。Ｎの値は、夜景撮影時に背景がある程度の明るさとなる程度に選定される。Ｎ＝４程度から効果が発生する。ここで、光学的手ぶれ補正機能が備えられている場合には、その機能によって手ぶれが生じない程度の露光時間ｔ秒が設定される。手ぶれ補正機能によって例えば１／４秒程度の露光時間であっても手ぶれが生じないようにすることができる。
【００１９】
このように、実質的には、フラッシュ非発光状態において、（ｔ×Ｎ）秒間露光がなされる。撮影間隔Ｔ秒が短いほどＴ秒間の動きの影響を少なくできるので好ましいが、ＣＣＤの読み出し速度と、メカニカルシャッターの動作速度との関係で、Ｔ＝０．５秒程度となされる。連続撮影動作は、操作者がシャッターボタンを押している間、継続するようになされる。但し、１回シャッターを押すと、予め設定された枚数の画像を撮影するような構成としても良い。
【００２０】
図２は、撮像素子１がＣＣＤの場合における撮像動作の概略を示す。図２Ａに示すように、１画面内で上下方向および左右方向で異なる位置Ａ、Ｂ、Ｃを設定すると、図２Ｂに示すように、フレーム同期信号ＶＤの１周期（１／３０秒）の露光を行った場合、位置Ａ，Ｂ，Ｃの蓄積（露光）タイミングＥａ，Ｅｂ，Ｅｃが同一となる蓄積の同時性があり、蓄積された信号電荷が次の１フレームで読み出される。そして、連続撮影動作を行った場合に、図２Ｃに示すように、ＣＣＤの読み出し速度およびメカニカルシャッターの動作速度を考慮して設定された時間間隔Ｔ秒毎にフラッシュ非発光画像Ｐ１，Ｐ２，Ｐ３，・・・が撮像画像として取得される。
【００２１】
さらに、図３を参照して夜景撮像モードの処理について説明する。最初のフラッシュ発光画像がＳＤＲＡＭ５に蓄積された後に、ＳＤＲＡＭ６に対して、フラッシュ非発光時の第１番目の画像Ｐ１が書き込まれる。第１番目の画像Ｐ１は、動き検出の基準とされ、動き補償回路８による動き補償の処理を受けずに、加算器９に供給される。加算器９にＳＤＲＡＭ１０から供給されるデータが初期値（例えばゼロのデータ）であるため、第１番目の画像データがそのままＳＤＲＡＭ１０に蓄積される。合成回路１１において、ＳＤＲＡＭ５から読み出されたフラッシュ発光時の画像と合成され、合成回路１１の出力画像がディスプレイ１２に表示される。この段階では、フラッシュの光が不充分な背景部分が暗い画像が表示される。
【００２２】
第１番目の画像から例えばＴ＝０．５秒後にフラッシュ非発光時の第２番目の画像Ｐ２がＳＤＲＡＭ６に供給され、動き検出回路７は、第１番目の画像Ｐ１に対する第２番目の画像Ｐ２の動き、すなわち、０．５秒間に生じた動き（被写体の動きおよび手ぶれの両方を含む）を検出する。動き検出方法としては、既存の動きベクトル検出等を使用できる。一例として、１枚の画像を複数の２次元領域（ブロックと称する）に分割し、画像Ｐ１およびＰ２間の同一位置の画素値同士の差分の絶対値を求め、差分の絶対値が最小となる画素の位置からそのブロックの動きベクトルを求め、ブロック毎に求められた動きを平均化、多数決論理等の処理を行うことによって、１枚の画像全体の動きベクトルを推定する方法を使用できる。動きベクトルとしては、水平方向、垂直方向の動きベクトルに加えて回転の動きベクトルも検出することが好ましい。
【００２３】
原画像から参照画像（Ｐ１）を減算した差分の絶対値は、ＳＡＤ(Sum of Absolute Difference:予測誤差の絶対値誤差和）と称される。このＳＡＤが動き検出回路７に備えられるメモリにテーブルとして保存される。このテーブルは、ＳＡＤテーブルと称される。図３では、画像Ｐ1と画像Ｐ２のＳＡＤテーブルを｜Ｐ2−Ｐ1｜と表記する。第１番目の画
像Ｐ１は、動き検出のためにＳＤＲＡＭ６または動き検出回路７内のメモリに保存しておく必要があり、必要なメモリ容量が増加する。しかしながら、上述した動きベクトル検出時に全画素を使用しないで、サブサンプリングによって間引かれた画素を使用することによってメモリ容量の増加を抑えることが可能である。
【００２４】
ブロック毎の動き量を示すＳＡＤテーブルに基づいて０．５秒間で生じた画像全体の動きが補償され、動き補償回路８で動き補償された第２番目の画像Ｐ２'（'は動き補償後を表す）が加算器９に供給される。加算器９において、ＳＤＲＡＭ１０からの第１番目の画像Ｐ１が供給され、（Ｐ１＋Ｐ２'）の加算器９の出力データがＳＤＲＡＭ１０に保存さ
れる。合成回路１１にて、ＳＤＲＡＭ５からのフラッシュ発光画像Ｐ０と合成され、合成回路１１の出力がディスプレイ１２に表示される。操作者は、ディスプレイ１２の表示から背景がやや明るくなったことが分かる。
【００２５】
以下、同様の加算（積算）動作が繰り返され、例えば５回の連続撮影がなされ、２．５秒後には、ＳＤＲＡＭ１０から合成回路１１に対して、（Ｐ１＋Ｐ２'＋Ｐ３'＋Ｐ４'＋
Ｐ５'）の出力データが供給される。各画像を撮影する露光時間をｔ秒とすると、５ｔ秒
間の長時間露光がなされたことになり、背景例えば夜景がかなり明るいものとなったことを操作者がディスプレイ１２の撮影画像の表示から知ることができる。この時点で、シャッターから指を離すか、または設定回数に到達したものと判断されると、連続撮影動作が終了し、合成回路１１の出力画像データが圧縮器１３で圧縮されて記憶メディア１４に対して保存される。
【００２６】
操作者は、ディスプレイ１２を見ながら加算される画像の枚数Ｎを適切なものに設定できる。フラッシュ非発光時に得られた複数枚の画像を加算する場合に、フラッシュ発光時に比してＡＧＣ回路のゲインをより大きくするようにしても良い。ゲインをＧ倍としてフラッシュ非発光画像を明るくし、加算された画像データに対して１／Ｇのゲインを乗じるようにしても良い。この方法では、連続撮影中に表示画像が徐々に明るくならず、表示画像中のノイズが徐々に減少するものとなる。
【００２７】
このように、複数枚の画像を加算する処理は、手で持って撮影して背景の部分の画像信号のレベルを増強することを可能とする。のみならず、被写体が複数の非フラッシュ発光画像の間で相関を有するのに対してランダムノイズが相関を有しないことを利用してＳ／Ｎを向上させる効果を生じさせる。さらに、前景例えば人物の部分も夜景の背景部分と同様に動き補償および加算の処理を受ける。
【００２８】
上述した一実施の形態では、フラッシュ発光時の画像とフラッシュ非発光時の第１番目の画像との間で動き補正を行っても良いが、夜景の背景部分は、フラッシュ発光時の画像であってもかなり暗いために、動き補正を行っていないために生じた画像のずれは、視覚上目立たず、画質劣化とならない。但し、フラッシュ発光時の画像を基準として動き検出を行うようにしても良い。
【００２９】
上述した説明では、フラッシュ非発光画像に関して背景（例えば夜景）と前景（例えば人物）とを区別しないで処理を行うものとしている。人物は、フラッシュが発光しない場合には、殆ど黒レベルの部分であるために、加算結果も黒レベルの部分であり、フラッシュ発光画像に対して影響を与えない。仮に、ある程度の明るさを有している場合でも、加算処理の結果、ノイズが低減されるので、フラッシュ発光画像と合成されることによる悪影響が殆ど生じない。
【００３０】
しかしながら、動き検出回路７が背景部分の動きを検出し、動き補償回路８によって背景部分が動き補償され、加算器９およびＳＤＲＡＭ１０によって背景部分の加算処理がなされ、合成回路１１では、フラッシュ発光画像に対してフラッシュ非発光画像の背景部分の加算出力が合成されることが前景に対する影響を与えない点で好ましい。
【００３１】
図４は、背景画像の抽出処理の一例を示す。図４において、Ｐ１０は、ＳＤＲＡＭ５に保存されたフラッシュ発光画像を示し、Ｐ１１がフラッシュ非発光画像を示す。フラッシュ発光画像Ｐ１０からフラッシュ非発光画像Ｐ１１が減算されることによって、フラッシュによって明るい部分の前景（人物）のみが映った差分画像Ｐ１２が得られる。
【００３２】
差分画像Ｐ１２に関して画素値が比較的高いレベルの部分を前景部分ＦＧと判定し、前景部分ＦＧを除く部分（斜線領域で示す）を背景部分ＢＧと判定する。そして、保存されているフラッシュ発光画像Ｐ１０（または保存したフラッシュ非発光画像Ｐ１１）に対して背景部分ＢＧを抽出するようにスイッチング処理がなされ、前景部分ＦＧが無信号レベルとされた背景画像Ｐ１３が得られる。この背景画像Ｐ１３がフラッシュ非発光画像Ｐ１１の代わりに使用される。
【００３３】
背景画像を抽出するための信号が保存され、連続撮影動作によって取得される後続のフラッシュ非発光画像に関しても背景部分ＢＧを抽出するための信号が適用されて背景画像が形成される。背景画像に関して上述した動き検出、動き補償および加算処理がなされ、処理後のフラッシュ非発光画像が合成回路１１において、フラッシュ発光画像と合成される。
【００３４】
図５は、ＳＤＲＡＭ６または動き検出回路７に保存されている画像データの背景部分Ｐ２１と、新しいフラッシュ非発光画像の背景部分Ｐ２２との間で、動き補償・加算の処理を概略的に示すものである。保存されている画像データの背景部分Ｐ２１と、新しいフラッシュ非発光画像の背景部分Ｐ２２の差分を算出することにより画像間の動きベクトルＭＶが求められる。動きベクトルＭＶは、水平方向、垂直方向のそれぞれの動きの方向と動き量を示すと共に、回転の方向および量を示すものである。求められた動きベクトルＭＶを用いて新しいフラッシュ非発光画像の背景部分Ｐ２２に、水平方向、垂直方向、回転方向による動き補償がなされ、動き補償後の新しい撮像画像の背景部分Ｐ２２'がＳＤＲＡ
Ｍ１０に保存されている画像データと加算されて合成画像が得られる。
【００３５】
図６は、この発明の一実施の形態におけるフラッシュ発光画像とフラッシュ非発光画像から得られた加算結果の画像データとの合成処理の過程を概略的に示す。図６においては、フラッシュ発光画像をＰ３０と表記し、フラッシュ発光を伴わずに連続撮像し得られるフラッシュ非発光画像をＰ３１、Ｐ３２、Ｐ３３、・・・，Ｐ３Nと表記する。また、上
述したように、背景部分ＢＧによってフラッシュ非発光画像Ｐ３１、Ｐ３２、Ｐ３３、・・・，Ｐ３Nのそれぞれをスイッチングすることによって得られたフラッシュ非発光背景
画像をＰ４１、Ｐ４２、Ｐ４３、・・・，Ｐ４Nと表記する。また、フラッシュ非発光背
景画像Ｐ４２、Ｐ４３、・・・，Ｐ４Nは、動き補償されたものである。
【００３６】
１枚目のフラッシュ非発光画像Ｐ３１に対応する背景画像Ｐ４１と、２枚目のフラッシュ非発光画像Ｐ３２に対応する背景画像Ｐ４２とが加算され、加算結果の合成画像Ｐ５２が形成される。合成画像Ｐ５２は、ＳＤＲＡＭ１０に保存されると共に、図６では省略されているが、合成回路１１にてフラッシュ発光画像Ｐ３０と合成され、合成画像がディスプレイ１２に表示される。なお、他の合成画像Ｐ５２，Ｐ５３，・・・，Ｐ５Nも同様に
フラッシュ発光画像Ｐ３０と合成され、合成画像がディスプレイ１２に表示される。
【００３７】
次に、合成画像Ｐ５２と、３枚目のフラッシュ非発光画像Ｐ３３に対応する背景画像Ｐ４３とが加算され、加算結果の合成画像Ｐ５３が形成される。以下、同様の動作が繰り返され、最終的にフラッシュ非発光背景画像Ｐ４１、Ｐ４２、Ｐ４３、・・・，Ｐ４Nが加
算された合成画像Ｐ５Nが形成される。この合成画像Ｐ５Nが合成回路１１にてフラッシュ発光画像Ｐ３０と合成された合成画像Ｐ６０が得られる。合成画像Ｐ６０が記憶メディア１４に記憶される。
【００３８】
図７は、この発明の一実施の形態の処理の流れを示すフローチャートである。図１では省略されているが、撮像装置の動作を制御するコントローラ（マイクロコンピュータを含む）によって処理が制御される。ステップＳ１において、ユーザーの操作によりレリーズスイッチがＯＮにされるとフラッシュ発光を行い（ステップＳ２）、フラッシュ発光を伴う撮像が行われる（ステップＳ３）。ステップＳ４において、カメラ信号処理４によりフラッシュ発光をともなう撮像画像が取得され、ステップＳ５において、フラッシュ発光画像がＳＤＲＡＭ５に保存される。フラッシュ発光画像がディスプレイ１２に表示される（ステップＳ６）。
【００３９】
フラッシュ発光画像を取得した後に、フラッシュ非発光画像が連続撮影によって取得される。ステップＳ７において、撮影枚数のカウント値ｉが初期値の０に設定される。フラッシュ発光を伴わずに撮影がなされ（ステップＳ８）、カメラ信号処理４によりフラッシュ非発光画像が取得され（ステップＳ９）、フラッシュ非発光画像がＳＤＲＡＭ６に保存される（ステップＳ１０）。
【００４０】
１枚目のフラッシュ非発光画像は、動き補償回路８および加算器９によりなされる動き補償・加算（ステップＳ１１）を行わずにＳＤＲＡＭ１０に保存される（ステップＳ１２）。ステップＳ１３（合成回路１１）のフラッシュ発光画像とフラッシュ非発光画像の合成において、ＳＤＲＡＭ１０に保存されているフラッシュ非発光画像とＳＤＲＡＭ５に保存されているフラッシュ発光画像とが重ね合わされ、ステップＳ１４において、合成画像がディスプレイ１２に表示される。
【００４１】
ステップＳ１５において、撮影枚数のカウント値ｉがインクリメントされ、ステップＳ１６において、カウント値ｉと繰り返し設定回数Ｎとが比較され、比較結果に応じて分岐処理がなされる。ｉ＝Ｎにならない限り、処理がステップＳ８（撮像）に戻り、次の新たなフラッシュ非発光画像が取得される。
【００４２】
２枚目以降のフラッシュ非発光画像においては、動き補償・加算（ステップＳ１１）において、動き検出回路７により求められた動きベクトルを用いて、フラッシュ非発光画像またはその背景部分とＳＤＲＡＭ１０に保存されている画像とが重なるように、動き補償がなされる。動き補償後のフラッシュ非発光画像とＳＤＲＡＭ１０に保存されている画像とが加算される。加算結果の加算画像がＳＤＲＡＭ１０に保存される（ステップＳ１２）。
【００４３】
ステップＳ１３において、フラッシュ発光画像とフラッシュ非発光画像とが合成され、合成画像が表示され（ステップＳ１４）、フラッシュ非発光画像の撮影枚数カウント値ｉがインクリメントされる（ステップＳ１５）。カウント値ｉと繰り返し設定回数Ｎとが等しくなるまでフラッシュ非発光撮影が繰り返される。前述したように、ユーザがディスプレイ１２に表示される撮影画像を見て背景が所望の明るさとなったと判断した時点で連続撮影を終了することも可能である。フラッシュ発光を伴わない撮影における連続撮像が終了したのち、フラッシュ発光画像とＮ枚のフラッシュ非発光画像との合成画像が記憶メディア１４に書き込まれ（ステップＳ１７）、夜景撮影モードの処理が終了する。
【００４４】
図８は、この発明の他の実施の形態を示す。上述した一実施の形態における夜景撮影モードでは、最初にフラッシュ発光画像を取得し、その後、Ｎ枚のフラッシュ非発光画像を取得している。これに対して、他の実施の形態では、Ｎ枚のフラッシュ非発光画像を取得した後に、一枚のフラッシュ発光画像を取得する順序で処理するものである。以下、この発明の他の実施の形態について、一実施の形態と異なる点を主として説明する。
【００４５】
撮像素子１に対して光学系２を介して被写体像が結像される。被写体像に対応する電気信号である撮像信号がカメラ信号処理部４に供給される。カメラ信号処理部４には、前処理部が含まれ、前処理部は、ＣＤＳ（Correlated Double Sampling）処理を行って、Ｓ／Ｎ比を良好にし、ＡＧＣ（Automatic Gain Control）処理を行って、利得を制御し、そして、Ａ／Ｄ（Analog/Digital）変換によって、デジタル信号とされた撮像データを形成する。そして、カメラ信号処理部４が撮像データに対して、ＡＦ（Auto Focus）、ＡＥ（Auto Exposure）、ＡＷＢ（Auto White Balance）などのカメラ信号処理を施す。
【００４６】
カメラ信号処理がなされた画像データがＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１５に書き込まれる。ＳＤＲＡＭ１５には、フラッシュ非発光画像およびフラッシュ発光画像が保存される。ＳＤＲＡＭ１５から読み出された画像データが動き補償回路８に供給され、動き検出回路７において検出された動きベクトルによって動き補償の処理を受ける。
【００４７】
動き補償回路８からの画像データとＳＤＲＡＭ１０に蓄積されている画像データとが加算器９によって加算され、加算結果の加算画像がＳＤＲＡＭ１０に書き込まれる。ＳＤＲＡＭ１０には、Ｎ枚のフラッシュ非発光画像の撮影後に、フラッシュ３が発光を伴う１枚のフラッシュ発光画像が撮影されるので、フラッシュ発光画像とＳＤＲＡＭ１０に蓄積されているＮ枚の加算画像とが加算され、加算画像がＳＤＲＡＭ１０に書き込まれる。
【００４８】
ＳＤＲＡＭ１０の出力画像データがディスプレイ１２に表示される。また、最後に形成されるフラッシュ発光画像とＳＤＲＡＭ１０に蓄積されているＮ枚の加算画像とを加算した合成画像がディスプレイ１２に表示されると共に、圧縮器１３にて例えばＪＰＥＧで圧縮されて記憶メディア１４に画像ファイルとして記憶される。なお、通常撮影モードでは、動き補償および加算処理がなされず、撮影画像がＳＤＲＡＭ１５およびＳＤＲＡＭ１０を介してディスプレイ１２および記憶メディア１４に対して供給される。
【００４９】
記憶メディア１４は、例えば着脱可能とされている。記憶メディア１４は、例えば半導体メモリーを用いたいわゆるメモリーカードである。メモリカード以外に、ハード・ディスク装置、記録可能なＤＶＤ（Digital Versatile Disc）や記録可能なＣＤ（Compact Disc）等の光記録媒体、磁気ディスクなどを用いることができる。
【００５０】
この発明の他の実施の形態では、一実施の形態と比較してフラッシュ発光画像を保存するＳＤＲＡＭと、合成回路とを省略することができる。なお、この発明の他の実施の形態においても、フラッシュ非発光画像中の背景部分が抽出され、フラッシュ非発光背景画像に対して動き補償および加算の処理が行われることが好ましい。
【００５１】
図９は、この発明の他の実施の形態におけるフラッシュ発光画像とフラッシュ非発光画像から得られた加算結果の画像データとの合成処理の過程を概略的に示す。図９においては、フラッシュ発光を伴わずに連続撮像し得られるフラッシュ非発光画像をＰ７１、Ｐ７２、Ｐ７３、・・・，Ｐ７Nと表記し、フラッシュ発光画像をＰ７N+1と表記する。また、背景部分ＢＧによってフラッシュ非発光画像Ｐ７１、Ｐ７２、Ｐ７３、・・・，Ｐ７Nの
それぞれをスイッチングすることによって得られたフラッシュ非発光背景画像をＰ８１、Ｐ８２、Ｐ８３、・・・，Ｐ８Nと表記する。また、フラッシュ非発光背景画像Ｐ８１、
Ｐ８２、Ｐ８３、・・・，Ｐ８Nは、動き補償されたものである。
【００５２】
前述した方法では、背景部分ＢＧを検出するために、フラッシュ発光画像とフラッシュ非発光画像の差分画像を形成している。他の実施の形態では、フラッシュ非発光画像の連続撮影の後にフラッシュ発光画像が得られるので、前述の方法と異なる方法によって背景部分ＢＧを検出する必要がある。例えば１枚目のフラッシュ非発光画像Ｐ７１の画素値のレベル分布を調べ、画素値が比較的大きい領域を背景領域と判定して背景部分ＢＧを形成することができる。さらに、動き検出・補償は、画像全体に関して行うことになるが、動きラッシュ非発光画像をＮ枚加算した加算画像と（Ｎ＋１）枚目のフラッシュ発光画像との間で背景部分の検出を行い、加算画像の背景部分のみをフラッシュ発光画像に対して加算するようにしても良い。なお、背景画像に変換せずに、前景および背景を含む全体画像を使用した処理を行うことも可能である。
【００５３】
１枚目のフラッシュ非発光画像Ｐ７１に対応する背景画像Ｐ８１は、動き補償および加算処理を受けずに、ＳＤＲＡＭ１０に蓄積される。１枚目のフラッシュ非発光背景画像Ｐ８１が背景部分の動きベクトルの検出の参照画像として使用される。フラッシュ非発光背景画像Ｐ８１と、２枚目のフラッシュ非発光画像Ｐ７２に対応する背景画像Ｐ８２とが加算器９で加算され、加算結果の合成画像Ｐ９２が形成される。合成画像Ｐ９２は、ＳＤＲＡＭ１０に保存される。この合成画像Ｐ９２、他の合成画像Ｐ９３，・・・，Ｐ９Nをデ
ィスプレイ１２に表示しても良い。
【００５４】
次に、合成画像Ｐ９２と、３枚目のフラッシュ非発光画像Ｐ７３に対応する背景画像Ｐ８３とが加算され、加算結果の加算画像Ｐ９３が形成される。以下、同様の動作が繰り返され、最終的に、Ｎ枚のフラッシュ非発光背景画像Ｐ８１、Ｐ８２、Ｐ８３、・・・，Ｐ８Nが加算された合成画像Ｐ９Nが形成される。
【００５５】
フラッシュ非発光時のＮ枚の連続撮影が終了すると、フラッシュ３が発光し、光学系２および撮像素子１により被写体を撮像し、カメラ信号処理４によりフラッシュ発光画像が取得される。取得されたフラッシュ発光画像Ｐ７N+1がＳＤＲＡＭ１５に保存される。フ
ラッシュ発光画像Ｐ７N+1は、動き補償処理を受けて加算器９に供給される。加算器９に
おいて、ＳＤＲＡＭ１０に保存されているフラッシュ非発光背景画像の加算画像Ｐ９Nと
重ね合わせられ、合成画像Ｐ１００が作成され、合成画像Ｐ１００がＳＤＲＡＭ１０に保存される。この合成画像Ｐ１００が表示されると共に、記憶メディア１４に記憶される。
【００５６】
図１０は、この発明の他の実施の形態の処理の流れを示すフローチャートである。図８では省略されているが、撮像装置の動作を制御するコントローラ（マイクロコンピュータを含む）によって処理が制御される。ステップＳ２１において、ユーザーの操作によりレリーズスイッチがＯＮにされる。ステップＳ２２において、撮影枚数のカウント値ｉが初期値の０に設定される。フラッシュ発光を伴わずに撮像がなされ（ステップＳ２３）、カメラ信号処理４により１枚目のフラッシュ非発光画像が取得され（ステップＳ２４）、フラッシュ非発光画像がＳＤＲＡＭ１５に保存される（ステップＳ２５）。
【００５７】
１枚目のフラッシュ非発光画像は、動き補償回路８および加算器９によりなされる動き補償・加算（ステップＳ２６）を行わずにＳＤＲＡＭ１０に保存される（ステップＳ２７）。ＳＤＲＡＭ１０保存されている画像データがディスプレイ１２に表示される（ステップＳ２８）。
【００５８】
ステップＳ２９において、撮影枚数のカウント値ｉがインクリメントされ、ステップＳ３０において、カウント値ｉと繰り返し設定回数Ｎとが比較され、比較結果に応じて分岐処理がなされる。ｉ＝Ｎにならない限り、処理がステップＳ２３（撮像）に戻り、次の新たなフラッシュ非発光画像が取得され、フラッシュ非発光画像がＳＤＲＡＭ１５に保存される（ステップＳ２５）。
【００５９】
２枚目以降のフラッシュ非発光画像においては、動き補償・加算（ステップＳ２６）において、動き検出回路７により求められた動きベクトルを用いて、フラッシュ非発光画像またはその背景部分とＳＤＲＡＭ１０に保存されている画像とが重なるように、動き補償がなされる。動き補償後のフラッシュ非発光画像とＳＤＲＡＭ１０に保存されている画像データとが加算される。加算結果の加算画像がＳＤＲＡＭ１０に保存される（ステップＳ２７）。
【００６０】
フラッシュ非発光画像の撮影枚数カウント値ｉがインクリメントされる（ステップＳ２９）。カウント値ｉと繰り返し設定回数Ｎとが等しくなるまでフラッシュ非発光撮影が繰り返される。前述したように、ユーザがディスプレイ１２に表示される撮影画像を見て背景が所望の明るさとなったと判断した時点で連続撮影を終了することも可能である。
【００６１】
フラッシュ発光を伴わない撮影における連続撮像が終了すると、ステップＳ３１においてフラッシュ発光を行い、フラッシュ発光を伴う撮像が行われる（ステップＳ３２）。ステップＳ３３において、カメラ信号処理４によりフラッシュ発光を伴う撮像画像が取得され、ステップＳ３４において、フラッシュ発光画像がＳＤＲＡＭ１５に保存される。
【００６２】
フラッシュ発光画像がステップＳ３５において動き補償・加算の処理を受け、ＳＤＲＡＭ１０に保存されているＮ枚のフラッシュ非発光画像（またはフラッシュ非発光背景画像）の加算画像と加算され、加算結果の合成画像がＳＤＲＡＭ１０に書き込まれる（ステップＳ３６）。そして、ステップＳ３７において合成画像が表示され、ステップＳ３８において合成画像が記憶メディア１４に書き込まれ夜景撮影モードの処理が終了する。
【００６３】
上述した説明では、撮像素子の例としてＣＣＤを挙げたが、この発明は、他の撮像素子例えばＣＭＯＳ(Complementary Metal Oxide Semiconductor)を使用することができる。
ＣＣＤは、各画素に対応する信号電荷を垂直ＣＣＤおよび水平ＣＣＤを介して転送する走査方式であり、前述したように、１画面内の位置が異なっても露光のタイミングが同一となる。これに対して、ＣＭＯＳの場合は、撮像部の周囲に走査回路が設けられ、ＸＹアドレス方式で指定された画素から出力が取り出される走査方式である。
【００６４】
図１１は、撮像素子１がＣＭＯＳの場合における撮像動作の概略を示す。ＣＭＯＳの場合には、信号を出力した画素は、出力時点から光電変換された信号の蓄積を開始するので、撮像面の走査タイミングによって蓄積期間が異なったものとなる。図１１Ａに示すように、１画面内で上下方向および左右方向で異なる位置Ａ、Ｂ、Ｃを設定すると、図１１Ｂに示すように、フレーム同期信号の１周期ＶＤ（１フレーム＝１／３０秒）の露光（蓄積）を行った場合、位置Ａ，Ｂ，Ｃの蓄積（露光）タイミングＥａ，Ｅｂ，Ｅｃが相違したものとなる。撮像信号は、第１ラインから順に出力される。したがって、撮像信号の各フレームを１，２，３，・・・と表すと、図１１Ｃに示すように撮像信号が出力される。
【００６５】
このようなＣＭＯＳの特性は、動きが速い被写体では、撮影画像の歪みをもたらすが、この発明における夜景撮影モードは、多くの場合、動きが殆どない被写体の撮影に適用されることが多いので、図１１Ｃに示すように、ＣＭＯＳから出力された撮像信号を図８におけるＳＤＲＡＭ１５に順次書き込む。したがって、実質的な撮影間隔Ｔをフレーム周期の１／３０秒とすることができ、Ｎ枚のフラッシュ非発光画像を連続撮影するのに要する時間をＣＣＤに比して短縮することができ、連続撮影の枚数Ｎが少ない場合、または光学式の手ぶれ補正を備えている場合では、動き検出および動き補償を小さくすることができる。
【００６６】
図１２は、図８に示す構成のこの発明の他の実施の形態の夜景撮像モードの処理を示す。ＳＤＲＡＭ１５に対して、フラッシュ非発光時の第１番目の画像Ｐ１が書き込まれる。第１番目の画像Ｐ１は、動き検出の基準とされ、動き補償回路８による動き補償の処理を受けずに、加算器９に供給される。加算器９にＳＤＲＡＭ１０から供給されるデータが初期値（例えばゼロのデータ）であるため、第１番目の画像データがそのままＳＤＲＡＭ１０に蓄積される。ＳＤＲＡＭ１０から読み出されたフラッシュ非発光画像がディスプレイ１２に表示される。この段階では、フラッシュの光が不充分な背景部分が暗い画像が表示される。
【００６７】
第１番目の画像から例えばＴ＝ＶＤ（１／３０秒）後にフラッシュ非発光時の第２番目の画像Ｐ２がＳＤＲＡＭ１５に供給され、動き検出回路７は、第１番目の画像Ｐ１に対する第２番目の画像Ｐ２の動き、すなわち、ＶＤ間に生じた動き（被写体の動きおよび手ぶれの両方を含む）を検出する。動き検出方法としては、前述した一実施の形態と同様に、既存の動きベクトル検出等を使用できる。動きベクトルとしては、水平方向、垂直方向の動きベクトルに加えて回転の動きベクトルも検出することが好ましい。
【００６８】
画像Ｐ1と画像Ｐ２のＳＡＤテーブル｜Ｐ2−Ｐ1｜が形成される。１番目の画像Ｐ１は
、動き検出の基準としてＳＤＲＡＭ１５または動き検出回路７内のメモリに保存される。ブロック毎の動き量を示すＳＡＤテーブルに基づいてＶＤ間で生じた画像全体の動きが補償され、動き補償回路８で動き補償された第２番目の画像Ｐ２'（'は動き補償後を表す）が加算器９に供給される。加算器９において、ＳＤＲＡＭ１０からの第１番目の画像Ｐ１が供給され、（Ｐ１＋Ｐ２'）の加算器９の出力データがＳＤＲＡＭ１０に保存される。
ＳＤＲＡＭ１０から読み出された出力画像がディスプレイ１２に表示される。操作者は、ディスプレイ１２の表示から背景がやや明るくなったことが分かる。
【００６９】
以下、ＶＤを周期として同様の動作が繰り返され、例えば４回の連続撮影がなされ、フラッシュ発光を伴う５枚目の画像Ｐ５がＳＤＲＡＭ１５に蓄積される。フラッシュ発光画像Ｐ５に動き補償を施した画像Ｐ５'が加算器９に供給され、ＳＤＲＡＭ１０からの加算
画像（Ｐ１＋Ｐ２'＋Ｐ３'＋Ｐ４'）のデータと加算される。各画像を撮影する露光時間
をｔ秒とすると、５ｔ秒間の長時間露光がなされたことになり、背景例えば夜景がかなり明るいものとなったことを操作者がディスプレイ１２の撮影画像の表示から知ることができる。この時点で、シャッターから指を離すか、または設定回数に到達したものと判断されると、連続撮影動作が終了し、ＳＤＲＡＭ１０の出力画像データが圧縮器１３で圧縮されて記憶メディア１４に対して保存される。
【００７０】
図１３は、この発明を適用できるディジタルカメラのより具体的な構成例を示す。撮像装置は、カメラ部１０１と、カメラＤＳＰ（Digital Signal Processor）１０２と、ＳＤＲＡＭ１０３と、媒体インターフェース（以下、媒体Ｉ／Ｆという。）１０４と、制御部１０５と、操作部１０６と、ＬＣＤコントローラ１０７と、ＬＣＤ１０８と、外部インターフェース（以下、外部Ｉ／Ｆという。）１０９からなり、記録媒体１１０が着脱可能とされている。
【００７１】
記録媒体１１０は、例えば半導体メモリーを用いたいわゆるメモリーカードである。メモリカード以外に、ハード・ディスク装置、記録可能なＤＶＤ（Digital Versatile Disc）や記録可能なＣＤ（Compact Disc）等の光記録媒体、磁気ディスクなどを用いることができる。
【００７２】
カメラ部１０１は、光学ブロック１１１、ＣＭＯＳ１１２、前処理回路１１３、光学ブロック用ドライバ１１４、ＣＭＯＳ用ドライバ１１５、タイミング生成回路１１６とを備えたものである。ここで、光学ブロック１１１は、レンズ、フォーカス機構、シャッター機構、絞り（アイリス）機構などを備えている。
【００７３】
制御部１０５は、ＣＰＵ（Central Processing Unit）１５１、ＲＡＭ（Random Access Memory）１５２、フラッシュＲＯＭ（Read Only Memory）１５３、時計回路１５４がシ
ステムバス１５５を通じて接続されて構成されたマイクロコンピュータであり、この一実施の形態の撮像装置の各部を制御する。ＲＡＭ１５２は、処理の途中結果を一時記憶するなど主に作業領域として用いられるものである。フラッシュＲＯＭ１５３は、ＣＰＵ１５１において実行する種々のプログラムや、処理に必要になるデータなどが記憶されたものである。時計回路１５４は、現在年月日、現在曜日、現在時刻、撮影日時などを提供する。
【００７４】
撮影時においては、光学ブロック用ドライバ１１４は、制御部１０５からの制御に応じて、光学ブロック１１１を動作させるための駆動信号を形成し、駆動信号を光学ブロック１１１に供給して、光学ブロックを動作させる。光学ブロック１１１では、ドライバ１１４からの駆動信号に応じて、フォーカス機構、シャッター機構、絞り機構が制御され、被写体像が取り込まれ、被写体像がＣＭＯＳ１１２に対して提供される。
【００７５】
ＣＭＯＳ１１２は、光学ブロック１１１からの被写体像を光電変換して出力する。ＣＭＯＳドライバ１１５からの駆動信号に応じてＣＭＯＳ１１２が動作し、被写体像が取り込まれ、制御部１０５によって制御されるタイミング生成回路１１６からのタイミング信号に基づいて、取り込まれた被写体の画像が電気信号として前処理回路１１３に供給される。
【００７６】
なお、上述したように、タイミング生成回路１１６は、制御部１０５からの制御に応じて、所定のタイミングを提供するタイミング信号を形成する。また、ＣＭＯＳドライバ１１５は、タイミング生成回路１１６からのタイミング信号に基づいて、ＣＭＯＳ１１２に供給する駆動信号を形成する。
【００７７】
前処理回路１１３は、供給された撮像信号に対して、ＣＤＳ（Correlated Double Sampling）処理を行って、Ｓ／Ｎ比を良好にし、ＡＧＣ（Automatic Gain Control）処理を行って、利得を制御し、そして、Ａ／Ｄ（Analog/Digital）変換によって、デジタル信号とされた撮像データを形成する。
【００７８】
前処理回路１１３からのデジタル撮像データがＤＳＰ１０２に供給される。ＤＳＰ１０２は、撮像データに対して、ＡＦ（Auto Focus）、ＡＥ（Auto Exposure）、ＡＷＢ（Auto White Balance）などのカメラ信号処理を施す。カメラ信号処理がなされた画像データ
が所定の圧縮方式でデータ圧縮され、システムバス１５５、媒体Ｉ／Ｆ１０４を通じて装填された記録媒体１１０に供給され、記録媒体１１０に画像ファイルとして記録される。
【００７９】
また、記録媒体１１０に記録された画像データは、タッチパネルやコントロールキーなどからなる操作部１０６を通じて受け付けたユーザーからの操作入力に応じて、目的とする画像データが媒体Ｉ／Ｆ１０４を通じて記録媒体１１０から読み出され、これがＤＳＰ１０２に供給される。さらに、制御部１０５のＣＰＵ１５１によって制御されるフラッシュ１５６が設けられている。
【００８０】
ＤＳＰ１０２は、記録媒体１１０から読み出され、媒体Ｉ／Ｆ１０４を通じて供給された圧縮されている画像データに関して、その圧縮の解凍処理（伸張処理）を行い、解凍後の画像データをシステムバス１５５を通じて、ＬＣＤコントローラ１０７に供給する。ＬＣＤコントローラ１０７は、画像データからＬＣＤ１０８に供給する表示画像信号を形成し、表示画像信号をＬＣＤ１０８に供給する。これにより、記録媒体１１０に記録されている画像データに応じた画像がＬＣＤ１０８の画面に表示される。
【００８１】
なお、画像の表示の形態は、ＲＯＭに記録された表示処理プログラムに従う。つまり、この表示処理プログラムは後述するファイルシステムがどのような仕組みで記録されているのか、どのように画像を再生するのかというプログラムである。
【００８２】
また、撮像装置には、外部Ｉ／Ｆ１０９が設けられている。この外部Ｉ／Ｆ１０９を通じて、例えば外部のパーソナルコンピュータが接続され、パーソナルコンピュータから画像データの供給を受けて、これを自身に装填された記録媒体に記録したり、また、自身に装填された記録媒体に記録されている画像データを外部のパーソナルコンピュータに供給することが可能とされている。
【００８３】
また、外部Ｉ／Ｆ１０９に通信モジュールを接続することにより、例えば、インターネットなどのネットワークと接続して、ネットワークを通じて種々の画像データやその他の情報を取得し、自身に装填された記録媒体に記録したり、あるいは、自身に装填された記録媒体に記録されているデータを、ネットワークを通じて目的とする相手先に送信することが可能とされている。
【００８４】
また、外部のパーソナルコンピュータやネットワークを通じて取得し、記録媒体に記録した画像データなどの情報についても、上述したように、読み出して再生し、ＬＣＤ１０８に表示することが可能とされている。
【００８５】
なお、外部Ｉ／Ｆ１０９は、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）１３９４、ＵＳＢ（Universal Serial Bus）などの有線用インターフェースと
して設けることも可能であるし、光や電波による無線インターフェースとして設けることも可能である。すなわち、外部Ｉ／Ｆ１０９は、有線、無線のいずれのインターフェースであってもよい。
【００８６】
上述したように、一実施の形態のディジタルカメラは、被写体の画像を撮影して、撮影画像を装填された記録媒体に記録することができ、また、記録媒体に記録された画像データを読み出して、画像データを再生し、利用することができる。また、外部のパーソナルコンピュータやネットワークを通じて、画像データの提供を受けて、これを自身に装填された記録媒体に記録したり、また、読み出して再生することもできる。
【００８７】
上述したこの発明の一実施の形態（図３）および他の実施の形態（図８）の構成要素との対応関係は、撮像素子１および光学系２が図１３のカメラ部１０１内のＣＭＯＳ１１２、光学ブロック１１１に対応し、フラッシュ３がフラッシュ１５６に対応し、カメラ信号処理部４が前処理回路１１３およびカメラＤＳＰ１０２に対応し、ＳＤＲＡＭ１０，１５がＳＤＲＡＭ１０３に対応する。制御部１０５のソフトウェア処理、またはハードウェアとして動き検出回路７および動き補償回路８が構成される。ディスプレイ１２は、ＬＣＤコントローラ１０７およびＬＣＤ１０８に対応し、記憶メディア１４が記録媒体１１０に対応する。
【００８８】
以上、この発明の一実施の形態について具体的に説明したが、この発明は、上述した一実施の形態に限定されるものではなく、この発明の技術的思想に基づく各種の変形が可能である。例えばこの発明は、ディジタルカメラに限らず、携帯電話等の撮像装置に対しても適用することができる。
【図面の簡単な説明】
【００８９】
【図１】この発明の一実施の形態のブロック図である。
【図２】この発明の一実施の形態における撮像素子としてのＣＣＤの露光タイミングの説明のための略線図である。
【図３】この発明の一実施の形態において撮像素子としてＣＣＤを使用した場合の動作の時系列を示す略線図である。
【図４】この発明の一実施の形態の動作の概略を示す略線図である。
【図５】この発明の一実施の形態の動き検出動作および動き補償動作の概略を示す略線図である。
【図６】この発明の一実施の形態の夜間撮影モードの動作の概略を示す略線図である。
【図７】この発明の一実施の形態の処理の流れを示すフローチャートである。
【図８】この発明の他の実施の形態のブロック図である。
【図９】この発明の他の実施の形態の夜間撮影モードの動作の概略を示す略線図である。
【図１０】この発明の他の実施の形態の処理の流れを示すフローチャートである。
【図１１】この発明において撮像素子としてＣＭＯＳを使用した場合の露光タイミングの説明のための略線図である。
【図１２】この発明の他の実施の形態において撮像素子としてＣＭＯＳを使用した場合の動作の時系列を示す略線図である。
【図１３】この発明を適用できる撮影装置の一例のより具体的な構成を示すブロック図である。
【符号の説明】
【００９０】
１    撮像素子
２    光学系
３    フラッシュ
４    カメラ信号処理部
５，６，１０  ＳＤＲＡＭ
７  動き検出回路
８  動き補償回路
９  加算器
１１  合成回路
１２  ディスプレイ
１３  圧縮器
１４  記憶メディア
【図１】
2007288235.tif 000003
【図２】
2007288235.tif 000004
【図３】
2007288235.tif 000005
【図４】
2007288235.tif 000006
【図５】
2007288235.tif 000007
【図６】
2007288235.tif 000008
【図７】
2007288235.tif 000009
【図８】
2007288235.tif 000010
【図９】
2007288235.tif 000011
【図１０】
2007288235.tif 000012
【図１１】
2007288235.tif 000013
【図１２】
2007288235.tif 000014
【図１３】
2007288235.tif 000015