(57)【要約】【課題】  撮影中に適正な明るさと判断した合成画像を撮影後明るさ調整を行う際、より滑らかな中間調を表現することが可能であり、さらに調整が簡単に行える撮像装置、その制御方法、画像処理装置、その制御方法、及びそのプログラムを提供する。【解決手段】  第１の所定枚数の時間的に連続した画像データのうち、第２の所定枚数の画像データを用いて合成画像データを作成するときに、前記合成された画像データに合成情報を付加する。【選択図】  図７
2011029764.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を撮像して画像データを取得する撮像手段と、
前記撮像手段により取得された複数枚の画像データの合成を行い、合成された画像データを取得する合成手段と、
前記撮像手段及び前記合成手段によって取得された情報を前記合成された画像データに付加する付加手段と、を有し、
複数回の撮影を連続して行う連写撮影モードである場合、
前記合成手段は、前記連写撮影モードでの撮影によって得られた第１の所定枚数の画像データのうち、時間的に連続する第２の所定枚数の画像データを合成し、
前記付加手段は、前記合成された画像データの合成に用いられた第２の所定枚数の画像データが特定できる情報を前記合成された画像データに付加することを特徴とする撮像装置。
【請求項２】
前記付加手段は、前記合成された画像データの合成に用いられた画像データと時間的に隣接した画像データが特定できる情報を前記合成された画像データに付加することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記付加手段は、前記合成された画像データの合成に用いられた画像データと、前記合成された画像データの合成に用いられた画像データに時間的に隣接した画像データとを合成した画像データのサムネイル画像データを付加することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記付加手段は、前記合成された画像データの合成に用いられた第２の所定枚数の画像データとは撮影期間の異なる第２の所定枚数の画像データから合成された画像データのサムネイル画像データを、前記合成された画像データに付加することを特徴とする請求項１乃至３のいずれか１つに記載の撮像装置。
【請求項５】
前記被写体像の動きを検出する動体検出手段を有し、
前記動体検出手段の検出結果に応じて、前記第１の所定枚数、前記第２の所定枚数、前記撮像手段によって取得された画像データの露光時間、前記合成された画像データの撮影期間の少なくとも１つを決定することを特徴とする請求項１乃至４のいずれか１つに記載の撮像装置。
【請求項６】
前記被写体像の動きを検出する動体検出手段を有し、
前記動体検出手段の検出結果に応じて、前記合成された画像データに用いられた前記第２の所定枚数の画像データとは撮影期間の異なる前記第２の所定枚数の画像データの撮影期間を決定することを特徴とする請求項４に記載の撮像装置。
【請求項７】
前記被写体の顔を検出する顔検出手段を有し、
前記顔検出手段の検出結果に応じて、前記第１の所定枚数、前記第２の所定枚数、前記撮像手段によって取得された画像データの露光時間、前記合成された画像データの撮影期間の少なくとも１つを決定することを特徴とする請求項１乃至６のいずれか１つに記載の撮像装置。
【請求項８】
前記被写体の顔を検出する顔検出手段を有し、
前記顔検出手段の検出結果に応じて、前記合成された画像データに用いられた所定枚数の画像データとは撮影期間の異なる所定枚数の画像データの撮影期間を決定することを特徴とする請求項４に記載の撮像装置。
【請求項９】
被写体像を撮像して画像データを取得する撮像手段と、
前記撮像手段により取得された複数枚の画像データの合成を行い、合成された画像データを取得する合成手段と、を有する撮像装置の制御方法であって、
前記撮像手段が複数回の撮影を連続して行い、時間的に連続した複数枚の画像データを取得する撮影ステップと、
前記合成手段によって、撮影ステップで得られた時間的に連続した第１の所定枚数の画像データのうち、時間的に連続した第２の所定枚数の画像データを合成する合成ステップと、
前記合成された画像データの合成に用いられた画像データが特定できる情報を前記合成された画像データに付加する付加ステップとを有することを特徴とする撮像装置の制御方法。
【請求項１０】
時間的に連続した複数枚の画像データの合成を行い、合成された画像データを取得する合成手段を有する画像処理装置であって、
前記合成手段によって取得された情報を付加する付加手段を有し、
前記合成手段は、メモリに記憶された時間的に連続した第１の所定枚数の画像データのうち、時間的に連続した第２の所定枚数の画像データを合成し、
前記付加手段は、前記合成された画像データの合成に用いられた画像データが特定できる情報を前記合成された画像データに付加することを特徴とする画像処理装置。
【請求項１１】
時間的に連続した複数枚の画像データの合成を行い、合成された画像データを取得する合成手段を有する画像処理装置の制御方法であって、
前記合成手段によって、メモリ手段に記憶された時間的に連続した第１の所定枚数の画像データのうち、時間的に連続した第２の所定枚数の画像データを合成する合成ステップと、
前記合成された画像データの合成に用いられた画像データが特定できる情報を前記合成された画像データに付加する付加ステップとを有することを特徴とする画像処理装置の制御方法。
【請求項１２】
前記付加ステップでは、前記合成された画像データの合成に用いられた画像データと時間的に隣接した画像データが特定できる情報を前記合成された画像データに付加することを特徴とする請求項１１に記載の画像処理装置の制御方法。
【請求項１３】
前記付加ステップでは、前記合成された画像データの合成に用いられた画像データと、前記合成された画像データの合成に用いられた画像データに時間的に隣接した画像データとを合成した画像データのサムネイル画像データを付加することを特徴とする請求項１１または１２に記載の画像処理装置の制御方法。
【請求項１４】
前記付加ステップでは、前記合成された画像データの合成に用いられた前記第２の所定枚数の画像データとは撮影期間の異なる前記第２の所定枚数の画像データから合成された画像データのサムネイル画像データを、前記合成された画像データに付加することを特徴とする請求項１１または１２に記載の画像処理装置の制御方法。
【請求項１５】
前記被写体像の動きを検出する動体検出ステップを有し、
前記動体検出ステップでの検出結果に応じて、前記第１の所定枚数、前記第２の所定枚数、前記画像データの露光時間、前記合成された画像データの撮影期間の少なくとも１つを決定することを特徴とする請求項１１乃至１４のいずれか１つに記載の画像処理装置の制御方法。
【請求項１６】
前記被写体像の動きを検出する動体検出ステップを有し、
前記動体検出ステップでの検出結果に応じて、前記合成された画像データに用いられた前記第２の所定枚数の画像データとは撮影期間の異なる前記第２の所定枚数の画像データの撮影期間を決定することを特徴とする請求項１４に記載の画像処理装置の制御方法。
【請求項１７】
前記被写体の顔を検出する顔検出ステップを有し、
前記顔検出ステップでの検出結果に応じて、前記第１の所定枚数、前記第２の所定枚数、画像データの露光時間、前記合成された画像データの撮影期間の少なくとも１つを決定することを特徴とする請求項１１乃至１６のいずれか１つに記載の画像処理装置の制御方法。
【請求項１８】
前記被写体の顔を検出する顔検出ステップを有し、
前記顔検出ステップでの検出結果に応じて、前記合成された画像データに用いられた所定枚数の画像データとは撮影期間の異なる前記第２の所定枚数の画像データの撮影期間を決定することを特徴とする請求項１６に記載の画像処理装置の制御方法。
【請求項１９】
請求項９に記載の撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
【請求項２０】
請求項１１乃至１８のいずれか１つに記載の画像処理装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
【請求項２１】
請求項９に記載の撮像装置の制御方法の手順が記述されたプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【請求項２２】
請求項１１乃至１８のいずれか１つに記載の画像処理装置の制御方法の手順が記述されたプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数枚の撮影画像を画像合成処理で合成することのできる撮像装置、画像処理装置及び画像処理装置の制御方法に関するものである。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置を用いて暗所を撮像する方法として、手ぶれの影響の少ない露光時間で被写体を連続撮影し、これら複数の画像の動きを補正しながら当該画像を加算して、一枚の画像を生成する方法が知られている。
【０００３】
特許文献１は、少ない露光時間で被写体を連続撮影しながら画像フレームが所定枚数加算された途中加算画像を表示する。ユーザはこの途中加算画像で画像の明るさを確認しながら、シャッターの押下操作の解除タイミングを分かり易くすることができる。この方法によれば、撮像装置が複数の画像フレームを合成して、合成画像の明るさを適正に調整する様子をユーザが知ることができるので、ユーザは撮影中に今どのような状態にあるのかを知ることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−０６６９７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、撮影中に適正な明るさと判断した合成画像を撮影後、再度調整したい場合がある。その場合、特許文献１の方法では、記録した合成画像のゲイン調整を行うことになるが、この操作に伴って、不自然なコントラスト変化が生じてしまう、という問題がある。
【０００６】
本発明は、かかる従来の課題に鑑みてなされたものであり、簡単に所望のタイミング及び所望の露出の合成画像が得られる撮像装置、画像処理装置、それらの制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明の撮像装置は、請求項１に記載の通り、被写体像を撮像して画像データを取得する撮像手段と、前記撮像手段により取得された複数枚の画像データの合成を行い、合成された画像データを取得する合成手段と、前記撮像手段及び前記合成手段によって取得された情報を前記合成された画像データに付加する付加手段と、を有し、複数回の撮影を連続して行う連写撮影モードである場合、前記合成手段は、前記連写撮影モードでの撮影によって得られた第１の所定枚数の画像データのうち、時間的に連続する第２の所定枚数の画像データを合成し、前記付加手段は、前記合成された画像データの合成に用いられた第２の所定枚数の画像データが特定できる情報を前記合成された画像データに付加することを特徴とする。
【０００８】
また本発明の撮像装置の制御方法は、請求項９に記載の通り、被写体像を撮像して画像データを取得する撮像手段と、前記撮像手段により取得された複数枚の画像データの合成を行い、合成された画像データを取得する合成手段と、を有する撮像装置の制御方法であって、前記撮像手段が複数回の撮影を連続して行い、時間的に連続した複数枚の画像データを取得する撮影ステップと、前記合成手段によって、撮影ステップで得られた時間的に連続した第１の所定枚数の画像データのうち、時間的に連続した第２の所定枚数の画像データを合成する合成ステップと、前記合成された画像データの合成に用いられた画像データが特定できる情報を前記合成された画像データに付加する付加ステップとを有することを特徴とする。
【０００９】
また本発明の画像処理装置は、請求項１０に記載の通り、時間的に連続した複数枚の画像データの合成を行い、合成された画像データを取得する合成手段を有する画像処理装置であって、前記合成手段によって取得された情報を付加する付加手段を有し、前記合成手段は、メモリに記憶された時間的に連続した第１の所定枚数の画像データのうち、時間的に連続した第２の所定枚数の画像データを合成し、前記付加手段は、前記合成された画像データの合成に用いられた画像データが特定できる情報を前記合成された画像データに付加することを特徴とする。
【００１０】
また本発明の画像処理装置の制御方法は、請求項１１に記載の通り、時間的に連続した複数枚の画像データの合成を行い、合成された画像データを取得する合成手段を有する画像処理装置の制御方法であって、前記合成手段によって、メモリ手段に記憶された時間的に連続した第１の所定枚数の画像データのうち、時間的に連続した第２の所定枚数の画像データを合成する合成ステップと、前記合成された画像データの合成に用いられた画像データが特定できる情報を前記合成された画像データに付加する付加ステップとを有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、複数の連続した画像データから、簡単に所望のタイミング及び所望の露出の合成画像データを得ることができる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態に係る撮像装置のブロック図
【図２】第１の実施形態に係る画像記録媒体に記録された画像ファイル構成の一例
【図３】第１の実施形態に係る画像記録媒体への画像ファイルの記録方法の一例
【図４】第１の実施形態に係る画像処理システムの外観図
【図５】第１の実施形態に係る単位画像から合成画像を作成する様子の概念図
【図６】第１の実施形態に係る単位画像と合成画像の間の撮影期間および露光時間における関係を示したタイムチャート図
【図７】第１の実施形態に係る記録の処理プログラムのフローチャート
【図８】第１の実施形態に係る調整の処理プログラムのフローチャート
【図９】第２の実施形態に係る単位画像から合成画像を生成する様子を概念的に示した図
【発明を実施するための形態】
【００１３】
（第１の実施形態）
図１は、第１の実施形態に係る撮像装置として挙げられる、デジタルカメラの構成を示すブロック図である。１０１はレンズ及び絞りからなる撮像光学系であり、１０２はメカニカルシャッタ（メカシャッタと図示する）であり、１０３はＣＣＤセンサ（撮像素子）である。また、１０４はアナログ信号処理を行う相関二重サンプリング（Ｃｏｒｒｅｌｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ：以下ＣＤＳ）回路である。１０５は所望の増幅度に設定可能なプログラマブル・ゲイン・アンプ（Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｉｎ  Ａｍｐ：以下ＰＧＡ）回路であり、１０６はアナログデジタルコンバータ（Ａｎａｌｏｇ  Ｄｉｇｉｔａｌ  Ｃｏｎｖｅｒｔｅｒ：以下ＡＤＣ）回路である。また、１０７は、ＣＣＤセンサ１０３、ＣＤＳ回路１０４、ＰＧＡ回路１０５、及びＡＤＣ回路１０６を動作させる信号を発生するタイミング信号発生回路であり、１０８は、光学系１０１、及びメカニカルシャッタ１０２の駆動回路である。１０３〜１０６までを合わせて撮像手段とし、後述するシステム制御部１１５をタイミング信号発生回路１０７を用いて撮像手段を制御する制御手段とする。
【００１４】
１０９〜１１８は１０９に入力される画像データを処理する画像処理装置１１９を構成する。１０９は撮影した画像データに必要な信号処理を行う信号処理回路であり、１１０は信号処理された画像データを記憶する画像メモリであり、１１１は撮像装置から取り外し可能な画像記録媒体である。１１２は信号処理された画像データを画像記録媒体１１１に記録する記録制御部であり、１１３は信号処理された画像データを表示する画像表示装置であり、１１４は画像表示装置１１３に画像を表示する表示回路である。１１５は撮像装置全体を制御するシステム制御部であり、１１６は不揮発性メモリ（ＲＯＭ）である。不揮発性メモリ１１６には、システム制御部１１５により実行される制御方法を記載したプログラム、プログラムを実行する際に使用されるパラメータ及びテーブル等の制御データ、並びにキズアドレス等の補正データが記憶されている。１１７は不揮発性メモリ１１６に記憶されたプログラム、制御データ及び補正データが転送されて記憶し、システム制御部１１５が撮像装置を制御する際に使用する揮発性メモリ（ＲＡＭ）である。１１８は操作部であり、ユーザから撮像装置あるいは画像処理装置へ与える指示全般を、指示信号としてシステム制御部１１５に送信する。
【００１５】
次に、上述のように構成された撮像装置を用いてメカニカルシャッタ１０２を使用した撮影動作について説明する。なお、撮影動作に先立ち、撮像装置の電源投入時等のシステム制御部１１５の動作開始時において、不揮発性メモリ１１６から必要なプログラム、制御データ及び補正データを揮発性メモリ１１７に転送して記憶してある。また、これらのプログラムやデータは、システム制御部１１５が撮像装置を制御する際に使用される。更に、必要に応じて、追加のプログラムやデータが不揮発性メモリ１１６から揮発性メモリ１１７に転送されたり、システム制御部１１５により直接不揮発性メモリ１１６内のデータが読み出されて使用されたりする。
【００１６】
光学系１０１は、システム制御部１１５からの制御信号により、絞りとレンズを駆動して、適切な明るさに設定された被写体像を撮像素子１０３上に結像させる。次に、メカニカルシャッタ１０２は、システム制御部１１５からの制御信号により、必要な露光時間となるようにＣＣＤセンサ１０３の動作に合わせてＣＣＤセンサ１０３を遮光するように撮像条件が設定され、駆動される。この時、ＣＣＤセンサ１０３が電子シャッタ機能を有する場合は、メカニカルシャッタ１０２と併用して、必要な露光時間を確保してもよい。この撮像条件に当たる露光動作の制御方法には、通常撮影モードと連写撮影モードとがある。通常撮影モードは、１回のシャッタ動作で１回の露光動作を行い、その撮影によって得られた撮影画像を画像記録媒体１１１に記録するモードである。連写撮影モードは、１回のシャッタ操作で所定時間内に撮影を連続して複数回（ｎ回）行い、ｎ枚（第１の所定枚数）の単位画像を順次取得する。そしてそのうちの連続する所定数（第２の所定枚数：ｍ枚）を加算して合成された画像とともに、画像記録媒体１１１に記録するモードである。その際の撮影条件、すなわち加算される単位画像の数（ｍ枚）、単位画像それぞれの露光時間は、ユーザが所望の明るさになるように任意に設定可能である。また、通常の撮影モードにおける自動露出制御を行ったときに決定される露光時間と略同等の明るさになるように自動で加算枚数が決定されるようにしても良い。
【００１７】
また、取得される単位画像の枚数（ｎ枚）は、ユーザが適正な露光時間の枚数（ｍ枚）より大きい数で適宜設定可能とする。あるいは、ユーザが設定した露光時間と、全体の撮影期間（単位画像を取得する期間）や単位露光時間などから自動で取得枚数を決定してもよい。このとき、例えば全体の撮影期間が設定された露光時間に対して長い場合には、単位露光時間を長く、枚数を少なめに設定し、設定された露光時間に対して短い場合には、単位露光時間を短く、取得枚数を多めに設定するなどの制御が考えられる。また露光時間と単位露光時間が設定され、露光時間に比べて単位露光時間が短い場合は、微調整を必要とする場合と判断して多めに取得し、単位露光時間が長い場合には撮影期間も長くなるので少なめに取得するなどの制御が考えられる。
【００１８】
また、さらに自動化した制御としては、シーン判別の機能を搭載し、判別結果に応じて露光時間、単位露光時間、取得枚数を全て決定することもできる。例えば、夜景など暗いシーンを撮影していると判別されれば、単位露光時間は明るいシーンよりも長く、取得枚数も少なめに設定する。また被写体に動きがあると判別されれば、単位露光時間は、静止した被写体を撮影する場合より短く、取得枚数を多めに設定したりするなどという制御が考えられる。
【００１９】
シーン判別の機能としては任意かつ公知の方法を適用することができる。例えば、被写体距離に基づいてマクロ撮影かどうかを判定したり、また平均輝度や平均彩度が所定値以下のときに夜景シーンと判定したりなどがある。これ以外にも本実施形態に適用できるシーン判定の技術に特に限定はない。単位画像は全て、所定の単位露光時間ｔで撮像されるようになっている。単位露光時間ｔは適宜に設定可能であるが、例えば、撮影期間の長さが１／６０秒、単位露光時間１／１０００秒、単位画像を１０枚などと設定することができる。連写撮影モードで撮影された連続する複数枚の単位画像は、デジタルカメラ内で後述する合成の調整処理を行っても良いし、後述するコンピュータ等からなる画像処理システムで調整処理を行ってもよい。ＣＣＤセンサ１０３は、システム制御部１１５により制御されるタイミング信号発生回路１０７が発生する動作パルスをもとにした駆動パルスで駆動され、被写体像を光電変換により電気信号に変換してアナログ画像信号として出力する。ＣＣＤセンサ１０３から出力されたアナログの画像信号は、タイミング信号発生回路１０７が発生する動作パルスにより、ＣＤＳ回路１０４でクロック同期性相関ノイズを除去し、ＡＤＣ回路１０６でデジタル画像信号（単位画像）に変換される。通常撮影モードでは１枚の単位画像に対して、連写撮影モードでは複数の単位画像のうち連続する所定数を加算して合成された合成画像に対して、システム制御部１１５により制御される信号処理回路１０９が、デジタル画像信号に対して処理を行う。例えば色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、ハフマン符号化等のＪＰＥＧ方式による所定の画像圧縮処理等である。画像メモリ１１０は、信号処理中のデジタル画像信号を一時的に記憶したり、信号処理された画像データを記憶したりするために用いられる。記録制御部１１２は、例えば、画像メモリ１１０から縦横両方向でそれぞれ８画素毎に画素データをＲＡＭ１１７に読み出すことで、サムネイル画像を作成する。更に、これらの記録用の画像データに付随して記録される撮影画像に関するタグ情報を作成する。このタグ情報には、コマ番号、撮影時のシャッタースピード、撮影時のＦナンバー、撮影時のＩＳＯスピード、ホワイトバランス調整値、撮影モード、圧縮率、撮影日、フラッシュ発光の有無等が含まれる。そして、記録制御部１１２は圧縮された撮影画像及びサムネイル画像の画像データにタグ情報を添付する。すなわちＥＸＩＦ（Ｅｘｃｈａｎｇｅａｂｌｅ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ）形式の画像ファイルを作成し、この画像ファイルを、画像記録媒体１１１に記録する。すなわち、本実施形態では信号処理回路１０９が合成手段であり、記録制御部１１２が付加手段として機能する。
【００２０】
信号処理回路１０９により解像度変換処理を実施された後、表示回路１１４により画像表示装置１１３に適した信号に変換されて画像表示装置１１３に表示されることもある。信号処理回路１０９は、システム制御部１１５からの制御信号に基づく信号処理をせずに、デジタル画像信号をそのまま画像データとして、画像メモリ１１０や記録制御部１１２に出力してもよい。また、信号処理回路１０９は、システム制御部１１５から要求があった場合に、信号処理の過程で生じたデジタル画像信号や画像データの情報をシステム制御部１１５に出力することがある。このような情報としては、例えば、画像の空間周波数、指定領域の平均値、圧縮画像のデータ量等の情報、又はこれらから抽出された情報が挙げられる。更に、記録制御部１１２は、システム制御部１１５から要求があった場合に、画像記録媒体１１１の種類や空き容量等の情報をシステム制御部１１５に出力する。
【００２１】
図２は、画像記録媒体１１１に記録された画像ファイル構成の一例を示す図である。同図において、「ＩＭＧ＿０００１．ＪＰＧ」、「ＩＭＧ＿０００２．ＲＡＷ」等は画像ファイル名を示している。本実施形態では画像ファイル名を「ＩＭＧ＿Ｘ．Ｙ」で表記しており、「ＩＭＧ＿Ｘ．Ｙ」の「Ｘ」は画像ファイルが作成された順番を示す４桁の番号であり、「Ｙ」は画像データの形式を示す記号である。「Ｙ」に入る記号「ＲＡＷ」はＣＣＤから出力されるデジタル画像信号（単位画像）をそのまま記録する形式のデータであることを示し、記号「ＪＰＧ」はＪＰＥＧ形式で圧縮されたデータであることを示している。本実施形態における連写撮影モードでは、連続して複数枚の単位画像が取り込まれ、これらの画像データについてそれぞれＲＡＷ形式で画像ファイルが作成される。それらの単位画像データから、合成画像データが予め設定された形式（ＲＡＷ形式かＪＰＥＧ形式のいずれか）で合成画像データが作成され、両画像ファイルを１つのフォルダに纏めて画像記録媒体１１１に記録する。単位画像データと合成画像データへの付番の方法は特に限定しない。本実施形態では合成画像データを先頭に配し（色付きのファイル）、単位画像データに続く番号をそれぞれ撮影された時間順に付番している。「１ａ」及び「１ｂ」は、それぞれ連写撮影モードで撮影された画像ファイルのフォルダ名を示している。
【００２２】
図３は、画像記録媒体１１１への画像ファイルの記録方法の一例を示す図である。画像記録媒体１１１の先頭の記憶領域にはフォルダ情報と各フォルダに属する画像ファイルの情報とを記憶するインデックス領域が設けられ、その後の領域に各画像ファイルがファイル番号Ｘの順に記憶されている。画像記録媒体１１１における各画像ファイルの記録領域は３つの領域からなり、上から各領域にタグ情報のデータ、撮影画像のデータ及びサムネイル画像のデータが記憶される。タグ情報データ及びサムネイル画像データのデータサイズは画像ファイルによって変化しないが、撮影画像のデータサイズは圧縮率や撮影モードによって変化する。このため、画像記録媒体１１１の画像ファイルの記憶領域に記憶可能なファイル数は各画像ファイルの撮影画像データのデータサイズによって変化する。また、タグ情報にはシャッタースピード、Ｆナンバーなど、記録された画像データが撮影された条件が記憶されている。
【００２３】
本実施形態では、連写撮影モードにおいて作られた合成画像データにはさらにタグ情報とサムネイル画像データの領域に合成情報を付加する。合成情報の内容についての例は後述する。
【００２４】
ここまで、本実施形態に係るデジタルカメラにおいて、合成に用いる単位画像データの撮影処理及び記録処理について述べた。しかし、本実施形態を利用できる装置は、上述したような撮像装置に限定されない。
【００２５】
図４は、本実施形態を利用できる画像処理システム４の構成を示す外観図である。画像処理システム４は、パーソナルコンピュータ（以下、パソコン）４０とその出力装置であるプリンタ４１とで構成されている。パソコン本体４０１は、その内部に図１の画像処理装置１１９を内包しているとする。パソコン４０は、ＣＤ−ＲＯＭドライバ４０１ａ、メモリカードリーダ４０１ｂを備えたパソコン本体４０１とＣＲＴ若しくはＬＣＤからなるディスプレイ４０２とキーボード４０３とマウス４０４とで構成されている。４２は、画像メモリ１１０に記憶された時間的に連続したｎ枚の画像データを用いて合成画像データを取得する処理プログラム、また合成された画像データの明るさを調整する画像処理を行うための処理プログラムが記録されたＣＤ−ＲＯＭである。このＣＤ−ＲＯＭ４２をＣＤ−ＲＯＭドライバ４０１ａに装着し、処理プログラムをパソコン本体４０１内のハードディスク（主記憶装置）にインストールすることにより画像処理装置として機能する。なお、本実施形態では、ＣＤ−ＲＯＭ４２に記録された処理プログラムをパソコン４０にインストールすることにより画像処理装置を構成するようにしているが、予めＲＯＭ１１６に処理プログラムが記憶された専用の画像処理装置１１９を使用していてもよい。画像処理プログラムによる連写撮影モードで撮影された撮影画像は、ディスプレイ４０２に表示される。また、処理後の画像はプリンタ４１によってハードコピーを作成することができる。
【００２６】
次に、複数の単位画像データから合成画像データを生成する方法について説明する。図５は、複数の単位画像データから合成画像データを生成する様子を概念的に表しており、図６は、単位画像データと合成画像データの間の露光時間の関係を示したタイムチャートである。本実施形態では、単位画像データはＲＡＷ形式で作成される（ＲＡＷ１〜ＲＡＷｎ）。このうち、連続するｍ枚を加算することによって合成画像データを生成する。合成画像データの記録形式はＲＡＷ形式でもＪＰＥＧ形式でもよい。
【００２７】
本実施形態では、連続する単位画像データのｍ枚を加算するので、露光時間が単位露光時間ｔのｍ倍で、撮影期間が、加算した単位画像５０１の撮影期間の合計となる合成画像５０２が得られる。この操作は、画像メモリ１１０からｍ枚の単位画像データを読み出し、これら画像データを露光時間に応じて画素単位に加算し、合成画像５０２を生成することで行われる。得られた画像データは、画像メモリ１１０に格納される。ここで、単位画像データの数、単位画像データそれぞれの露光時間は、合成画像の明るさが、通常撮影モードにて撮影された画像と略同等の明るさになるよう設定されている。なお、図６で示した本実施形態では、単位画像データは全て単位露光時間ｔで撮像されるようにしたが、各単位画像データの露光時間は任意に選ぶことができ、同一の値でなくともよい。ただし、単位画像データの露光時間を一定としておくと、合成画像の露光時間が、加算する単位画像データの数に比例するために制御しやすくなる。
【００２８】
ここで、本実施形態の特徴部分である記録制御部１１２で行われる記録処理に関して説明する。図１のデジタルカメラにおける連写撮影モードでは、順次撮影された複数枚の単位画像データを記録するとともに、以下の処理を行う。図４の画像処理システム４においては、画像メモリ１１０に予め記録されている複数枚の単位画像データを読み出して、以下の処理を行う。
【００２９】
図７は、合成画像データの記録処理の一例のフローチャートを示す図である。なお、下記の処理はシステム制御部１１５の指示により記録制御部１１２にて行われる。図１のデジタルカメラにおいては、連写撮影モードでの記録処理が開始されると処理が開始され、図４の画像処理システム４においては、合成画像作成の指示信号がシステム制御部１１５に送信されると処理が開始される（Ｓ７０１）。記録制御部１１２は画像メモリ１１０からｍ枚の連続した単位画像５０１の画像データを読み出し、単位画像データのｉ番目からｊ番目までの合成画像データを作成する（Ｓ７０２）。なお、１≦ｉ≦ｊ≦ｎ、ｊ−ｉ＋１＝ｍである。次に、合成画像データに対して図３に示したような合成情報を付加する（Ｓ７０３）。作成された合成情報を含む合成画像データが記録媒体に記録され（Ｓ７０４）、記録処理は終了する（Ｓ７０５）。
【００３０】
ここで、合成情報とは、まずどの単位画像データから加算が開始されたか（本実施形態ではｉ番目）、どの単位画像データまで加算されたか（本実施形態ではｊ番目）、つまりは撮影期間などがわかるタグ情報に付加するデータを含む。さらに、現在の合成画像データ（ｉ〜ｊ）と時間的に隣接した、その前または後ろ１枚をそれぞれ合成したときの合成画像のサムネイル画像データを含む。これは撮影後、合成画像データを扱うにあたって、ユーザビリティを向上させるための情報である。
【００３１】
例えば、ユーザが撮影後、上述の撮影処理によって得られた合成画像データを閲覧し、所望の明るさ、あるいは所望のタイミングでなかった場合、再度、単位画像データの組み合わせを変えて新しい合成画像データを作成しなければならない。本実施形態では合成情報が付加されているので、この合成情報を用いて現在の合成画像データを基準にして明るさ（加算枚数）、タイミング（合成範囲ｉ〜ｊ）を簡単に調整することができる。具体的には、ユーザが現在の合成画像データを確認するためにユーザーインターフェース（以下、ＵＩ）上で合成画像データを選択した場合を考える。このとき、現在の合成画像データが複数の単位画像データの何番目から何番目までを合成したものであるかを示すようにしておくと、調整がしやすい。ｉ＝１の場合、加算開始単位画像データと時間的に隣接する単位画像情報は無し、ｊ＝ｎの場合、加算終了単位画像と時間的に隣接する単位画像情報は無し、である旨を示すものとする。このように、記録されている単位画像のうち、どの画像を使って合成されたかがわかる情報であれば、特に情報の形式は限定されない。
【００３２】
さらに本実施形態では、合成情報として前または後ろの一枚を追加して合成した合成画像のサムネイル画像データも付加されており、ＵＩ上での確認時にそれらのサムネイル画像も確認できるようにしておく。すると、調整後の結果を予め確認しながら調整することができ、調整がしやすくなる。追加のサムネイル画像データは、それぞれ前または後ろの一枚を追加した単位画像データ群から合成画像を作成し、サムネイル画像データを作成することはできる。しかし、本実施形態では処理負荷の軽減のため、追加のサムネイル画像データは、各単位画像データのサムネイル画像データを合成して作成するものとする。
【００３３】
合成情報としては、加算を開始、終了した単位画像データの情報すなわち撮影期間の情報（ｉ〜ｊ）そのものでなくとも、例えばそれらに時間的に隣接した画像データの情報（ｉ−１、ｊ＋１）などを持っていても、後の調整を簡単にすることができる。
【００３４】
また、サムネイル画像データについても、前または後ろ１枚を加えた合成画像のサムネイル画像データに限らない。例えば単位画像のアンダーを強めにして撮影を行う場合には、それに応じて付加するサムネイル画像データの枚数を増やして微調整をしやすくするなど、撮影条件によって用意するサムネイル画像データやその枚数を変更してもよい。
【００３５】
次に、画像処理装置１１９で行われる合成画像の明るさやタイミングを調整する画像処理の概要について説明する。撮影中には適正な明るさと判断した撮影画像を、パーソナルコンピュータで画像確認を行ったり、プリンタでハードコピーを作成する際、撮影画像の明るさを調整したい場合がある。従来は、撮影画像のゲイン調整を行うので、不自然なコントラスト変化が生じてしまう、という問題があった。本実施形態では、合成画像データに前述した合成情報を付加することにより、画像確認時に簡単に明るさやタイミングを調整できる。また、順次撮影された複数枚の単位画像データが、ユーザが所望する露光時間に対応する所定の枚数（ｍ枚）より多く画像記録媒体１１１に記録されているので、単位画像データの加算数を画像処理装置１１９により後から変更することができる。例えば、撮影画像を明るくしたい場合、単位画像データの加算数を増やす、すなわち、撮影画像作成に使用した単位画像データに、時間的に隣接する単位画像データから順に、明るくしたい程度に合った枚数分、加算すればよい。また、撮影のタイミングを調整したい場合、加算数は変えずに、合成する連続した単位画像の組み合わせを前後にずらせばよい。
【００３６】
しかしここで、撮影画像の明るさを調整するのに、どの単位画像データを加算すればよいか判断するため、記録されている単位画像データの内容を確認するのは、ユーザにとって煩わしく手間のかかる作業である。本実施形態では、撮影画像に、作成に使用した単位画像データが特定できる情報が記録されているので、この作業を必要以上の手間をかけずに簡単に行うことができる。
【００３７】
図８は、画像処理装置１１９で行われる合成画像の明るさを調整する画像処理の一例のフローチャートを示す図である。システム制御部１１５の指示により記録制御部１１２が処理を行う。操作部１１８によって合成画像の調整指示がシステム制御部１１５になされると、処理が開始される（Ｓ８０１）。記録制御部１１２は画像記録媒体１１１から図３で示したタグ情報、サムネイル画像データを含めた合成画像データを読出す（Ｓ８０２）。そして合成画像そのもののサムネイル画像データを含めた合成情報が画像表示装置１１３に表示される（Ｓ８０３）。ユーザは合成情報に基づいて、明るさや撮影のタイミングを変更するか否かを判断する。システム制御部１１５は、操作部１１８から調整の指示があった場合には、Ｓ８０５に移り、無かった場合には、Ｓ８０６に移り、処理を終了する（Ｓ８０４）。Ｓ８０５では、調整の指示に従って、新しく合成画像データが生成され、Ｓ８０３に戻り、新しい合成画像データとその合成情報が表示される。
【００３８】
以上、本発明の第１の実施形態においては、連写撮影モードで適正な露光時間として設定されたｍ枚よりも余分にｎ枚の連続する単位画像データを撮影する。そのうちｍ枚を加算することによって、露光時間が単位露光時間ｔのｍ倍で、撮影期間が、加算した単位画像データの撮影期間の合計となる合成画像データが得られる。従って、撮影画像の明るさを調整したい場合、単位画像データの加算数を変更することで、ゲイン調整による明るさ調整より滑らかな中間調を表現することが可能となる。さらに、加算する単位画像データの組み合わせを変更することで、撮影画像のタイミングを調整することも可能となる。さらに、これら明るさやタイミングの変更を行うにあたって、合成画像データに合成情報を付加しているので、簡単に調整が行える。
【００３９】
（第２の実施形態）
本実施形態は、図１に示したものと同様の構成を備えたデジタルカメラにおいて、特に移動する被写体の撮影時にユーザが所望の画像を得るのに好適なものである。なお、第１の実施形態と構成が同様のものである場合は、番号を等しくするなどして説明を省略する。
【００４０】
撮影画像での移動する被写体位置を調整するのに、どの単位画像データを加算すればよいか判断するために、記録されている単位画像データの内容を確認するのは、ユーザにとって煩わしく手間のかかる作業である。そこで本実施形態では、合成画像データに付加するサムネイル画像データとして、被写体の構図が変化している複数パターンのサムネイル画像データを付加することを特徴とする。これによって、ユーザは現在の合成画像データの被写体の構図位置を確認すると共に、他の組合せによって被写体の構図位置が変わった画像も確認することができるため、所望の構図位置に被写体をおいた合成画像が簡単に作成できる。
【００４１】
図９は、第２の実施形態に係るデジタルカメラの単位画像データから合成画像を生成する様子の概念図である。同図の例では、画面内を移動する自動車を連写撮影モードで撮影して、３２枚の単位画像９０１を順次取得している。合成画像９０２は単位画像データの１から５枚目を、合成画像９０３は単位画像データの１４から１８枚目を、合成画像９０４は単位画像データの２８から３２枚目を、それぞれ加算して生成されたものである。本実施形態では、最初に作成される合成画像データは、合成画像９０３とする。作成される合成画像データの撮影期間（１４〜１８枚目）や、サムネイル画像データの撮影期間（１〜５枚目、２８〜３２枚目）は、ユーザが予め設定できても良いし、撮影時に動体検出などの技術を用いて決定されても良い。動体検出には例えば、画像データ間でブロック単位の動きベクトル検出を行い、この検出結果に基づいて動体の動きを追跡する方法など、公知の技術を用いることができる。具体的には、特開２００７−２８１９６１号公報などに記載されているが、本実施形態にはこれに限らず動体検出の技術が適用できる。
【００４２】
また、動体検出によってどの撮影期間の合成画像データを作成するかを自動判別するようにしてもよい。さらに、被写体が人である場合、顔検出技術を利用して、その検出結果から合成画像データの特定、サムネイル画像データの決定も行うことができる。この場合、例えば顔が中央付近に検出できているものや、人数分検出できているものを合成画像データとして作成するといった決定方法が考えられる。また、そのほか動体や顔の全体像が検出できているものでサムネイル画像データを作成するなどといった方法も考えられる。
【００４３】
なお、顔検出技術には、任意かつ公知の方法を適用することができる。公知の顔検出技術としては、ニューラルネットワークなどを利用した学習に基づく手法、テンプレートマッチングを用いて目、鼻、口等の形状に特徴のある部位を画像から探し出し、類似度が高ければ顔とみなす手法などがある。また、他にも、肌の色や目の形といった画像特徴量を検出し、統計的解析を用いた手法等、多数提案されている。これらの手法を複数組み合わせ、顔検出の精度を向上させることもできる。具体的な例としては特開２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。
【００４４】
なお、連写撮影モードで連続的に撮影された複数枚（本実施形態では３２枚）の撮影画像は、例えば位置合わせ処理を行った後、両撮影画像の重なる部分について画素位置毎に両撮影画像のデータを用いて所定の演算処理を行って合成される。位置合わせ処理は、画像合成処理において画面内の同一の図柄を正確に合成するため、合成対象となる２枚の画像の位置を合わせるものである。位置合わせ処理では、例えば一方の撮影画像Ａを基準にして他方の撮影画像Ｂを平行移動しつつ両撮影画像Ａ，Ｂを照合して、両撮影画像Ａ，Ｂが一致する撮影画像Ｂの平行移動量が算出される。撮影画像Ａに対する撮影画像Ｂの一致度は、撮影画像Ｂの平行移動量を引数とする両撮影画像Ａ，Ｂのレベル差の絶対値の総和（相関関数）が最小となる平行移動量が算出される。言い換えれば、撮影画像Ｂを撮影画像Ａに一致させるための移動量（すなわち、位置ずれ量）として算出される。このような位置合わせ処理には、バイリニア法、バイキュービック法、ニアレストネイバ法等の補間処理を併用すると効果的である。
【００４５】
以上、本発明の第２の実施形態においては、連写撮影モードで適正な露光時間として設定されたｍ枚よりも余分にｎ枚の連続する単位画像データを撮影する。そのうちｍ枚を加算することによって、露光時間が単位露光時間ｔのｍ倍で、撮影期間が、加算した単位画像データの撮影期間の合計となる合成画像データが得られる。従って、撮影画像の明るさを調整したい場合、単位画像データの加算数を変更することで、ゲイン調整による明るさ調整より滑らかな中間調を表現することが可能となる。さらに、加算する単位画像データの組み合わせを変更することで、撮影画像のタイミングを調整することも可能となる。さらに、これら明るさやタイミングの変更を行うにあたって、合成画像データに合成情報を付加されているので、簡単に調整が行える。また、本実施形態は被写体として動体や人が対象となっている場合に、所望の撮影画像が得られやすい構成となっている。
【００４６】
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
【００４７】
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
【００４８】
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。
【００４９】
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
【００５０】
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。
【符号の説明】
【００５１】
１０１  撮像光学系
１０２  メカニカルシャッタ
１０３  撮像素子
１０４  ＣＤＳ回路
１０５  ＰＧＡ回路
１０６  ＡＤＣ回路
１０７  タイミング信号発生回路
１０８  駆動回路
１０９  信号処理回路
１１０  画像メモリ
１１１  画像記録媒体
１１２  記録制御部
１１３  画像表示装置
１１４  表示回路
１１５  システム制御部
１１６  不揮発性メモリ
１１７  揮発性メモリ
１１８  操作部
【図１】
2011029764.tif 000003
【図２】
2011029764.tif 000004
【図３】
2011029764.tif 000005
【図４】
2011029764.tif 000006
【図５】
2011029764.tif 000007
【図６】
2011029764.tif 000008
【図７】
2011029764.tif 000009
【図８】
2011029764.tif 000010
【図９】
2011029764.tif 000011