(57)【要約】【課題】  デジタルカメラにおいて適正露出での多重露出撮影画像を得ること。【解決手段】  画像処理回路６は、撮像素子２によって多重露出により撮像された各画像のデジタルゲインを多重露出によって撮像されたコマ数に応じて設定し、設定されたデジタルゲインに基づいて各画像をゲインダウンしてから画像上の同一位置の画素データを加算することによって合成する。【選択図】      図１
2006128740.tif 000002
【特許請求の範囲】
【請求項１】
多重露出撮影モードが設定されているときに撮像素子で撮像される複数枚の画像を記憶する記憶手段と、
多重露出撮影枚数に基づいて総和が１となるように決定されたゲインを撮像された複数枚の画像に付与するゲイン付与手段と、
前記ゲイン付与手段でゲインを付与した後に、前記複数枚の画像を合成して多重露出撮影画像を生成する合成手段とを備えることを特徴とするデジタルカメラ。
【請求項２】
請求項１に記載のデジタルカメラにおいて、
撮像された画像に前記ゲインを付与した後に前記記憶手段に記憶した場合は、前記記憶手段から複数枚の画像を読み出して合成し、撮像された画像に前記ゲインを付与せずに前記記憶手段に記憶した場合は、前記記憶手段から読み出した複数枚の画像に前記ゲインを付与して合成することを特徴とするデジタルカメラ。
【請求項３】
請求項１または２に記載のデジタルカメラにおいて、
前記多重露出撮影枚数の撮像が完了する前に撮像を中断する中断手段をさらに備え、
前記中断手段で前記多重露出撮影枚数の撮像が完了する前に撮像が中断された場合には、前記ゲイン付与手段は、中断されるまでに撮像された枚数に基づいて総和が１となるように決定された前記ゲインを撮像された複数枚の画像に付与し、
前記合成手段は、前記中断されるまでに撮像された複数枚の画像を合成して前記多重露出撮影画像を生成することを特徴とするデジタルカメラ。
【請求項４】
請求項１〜３のいずれか一項に記載のデジタルカメラにおいて、
前記ゲイン付与手段によるゲイン付与の有効および無効を切り替える切り替え手段をさらに備え、
前記ゲイン付与手段は、前記切り替え手段によってゲイン付与が有効にされたときに、前記ゲインを撮像された複数枚の画像に付与することを特徴とするデジタルカメラ。
【請求項５】
請求項１〜４のいずれか一項に記載のデジタルカメラにおいて、
前記合成手段によって生成された前記多重露出撮影画像に対して、各種画像処理を実行する画像処理手段をさらに備えることを特徴とするデジタルカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多重露出により撮像した画像を合成する多重露出機能付きのデジタルカメラに関する。
【背景技術】
【０００２】
次のようなデジタルカメラが特許文献１によって知られている。多重露出により撮像した複数の画像を重ね合わせて１枚の画像にする場合に、各コマの画像データを加算した後、コマ数で除算して加算平均化処理を行う。
【０００３】
【特許文献１】特開２００３−６９８８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のデジタルカメラにおいては、多重露出により撮像した複数の画像を重ね合わせて１枚の画像にする場合に、各コマの画像データを加算した後にコマ数で除算しているが、重ね合わせる画像の枚数が増加すると除算する前にデータがオーバーフローする可能性があった。また、多重露出により撮像した複数の画像データをそのまま加算しているため、露出オーバーとなる可能性があるという問題が生じていた。
【課題を解決するための手段】
【０００５】
請求項１に記載の発明は、多重露出撮影モードが設定されているときに撮像素子で撮像される複数枚の画像を記憶する記憶手段と、多重露出撮影枚数に基づいて総和が１となるように決定されたゲインを撮像された複数枚の画像に付与するゲイン付与手段と、ゲイン付与手段でゲインを付与した後に、複数枚の画像を合成して多重露出撮影画像を生成する合成手段とを備えることを特徴とする。
請求項２に記載の発明は、請求項１に記載のデジタルカメラにおいて、撮像された画像にゲインを付与した後に記憶手段に記憶した場合は、記憶手段から複数枚の画像を読み出して合成し、撮像された画像にゲインを付与せずに記憶手段に記憶した場合は、記憶手段から読み出した複数枚の画像にゲインを付与して合成することを特徴とする。
請求項３に記載の発明は、請求項１または２に記載のデジタルカメラにおいて、多重露出撮影枚数の撮像が完了する前に撮像を中断する中断手段をさらに備え、中断手段で多重露出撮影枚数の撮像が完了する前に撮像が中断された場合には、ゲイン付与手段は、中断されるまでに撮像された枚数に基づいて総和が１となるように決定されたゲインを撮像された複数枚の画像に付与し、合成手段は、中断されるまでに撮像された複数枚の画像を合成して多重露出撮影画像を生成することを特徴とする。
請求項４に記載の発明は、請求項１〜３のいずれか一項に記載のデジタルカメラにおいて、ゲイン付与手段によるゲイン付与の有効および無効を切り替える切り替え手段をさらに備え、ゲイン付与手段は、切り替え手段によってゲイン付与が有効にされたときに、ゲインを撮像された複数枚の画像に付与することを特徴とする。
請求項５に記載の発明は、請求項１〜４のいずれか一項に記載のデジタルカメラにおいて、合成手段によって生成された多重露出撮影画像に対して、各種画像処理を実行する画像処理手段をさらに備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、多重露出撮影枚数に基づいて総和が１となるように決定されたゲインを撮像された複数枚の画像に付与してから、当該複数枚の画像を合成して多重露出撮影画像を生成するようにした。これによって、合成途中でデータがオーバーフローするのを回避することができる。また、合成時に露出オーバーとなることを防ぐことができ、適正露出での多重露出撮影画像を得ることができる。
【発明を実施するための最良の形態】
【０００７】
図１は、本実施の形態におけるデジタルカメラの一実施の形態の構成を示すブロック図である。デジタルカメラ１００は、撮影レンズ１と、ＣＣＤなどの撮像素子２と、撮像素子２から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換回路３と、撮像素子２に対してタイミング信号を与えるタイミングジェネレータ（ＴＧ）４と、撮像した複数の画像を一時的に記憶するイメージメモリ（半導体メモリ）５と、後述する各種画像処理を実行する画像処理回路６と、画像処理回路６で画像処理された画像データをＪＰＥＧ等の画像形式に圧縮して変換する圧縮回路７と、撮像した画像をＴＦＴなどの表示装置９に表示するための表示処理を行う表示回路８と、圧縮回路７で圧縮された画像データを一時的に記憶するメモリ１０と、メモリ１０に記憶された画像データをコピーして保存するためのメモリーカード等の着脱可能な記憶媒体１１と、デジタルカメラ１０２を制御するＣＰＵ１２と、使用者によって操作されるレリーズボタンや各種設定ボタンなどを含む入力装置１３とを備えている。
【０００８】
なお、表示装置９には上述した画像表示機能以外に、デジタルカメラ１００の各種設定値を変更するためのメニューが表示され、表示されたメニューにしたがって使用者が入力装置１３を操作することによって、デジタルカメラ１００の設定を変更することが可能となっている。
【０００９】
デジタルカメラ１００においては、使用者によってレリーズボタンが押下されると、被写体の輝度に応じて設定された絞りとシャッタースピードで撮影が行われ、撮像素子２には被写体像に対応した電荷が蓄積される。撮像素子２に蓄積された電荷は、Ａ／Ｄ変換回路３によってデジタル信号に変換され、各種画像処理が行われる前の生の画像データ、すなわちＲＡＷデータがイメージメモリ５に記憶される。なお、イメージメモリ５はバッファメモリであり、複数枚のＲＡＷデータを記憶することができる。
【００１０】
画像処理回路６は、イメージメモリ５に記憶されたＲＡＷデータを読み込んで、補間、色温度補正、および階調補正などの公知の画像処理や後述する自動ゲイン補正、および画像の合成を行う。その後、圧縮回路７によって所定の圧縮形式、例えばＪＰＥＧ形式に画像データを圧縮変換してメモリ１０に記憶する。メモリ１０に記憶された画像データは、自動的に、または使用者からの指示により記憶媒体１１にコピーされて記憶される。また、画像処理回路６で画像処理された画像データは、表示回路８によって表示処理が実行され、表示装置９に表示される。
【００１１】
本実施の形態におけるデジタルカメラ１００は、多重露出による撮像が可能となっており、多重露出撮影モードが設定されると、使用者によってあらかじめ設定されたコマ数（枚数）の画像を多重露出撮影モードによって撮像する。使用者により多重露出撮影モードが指示されると、表示装置９に図２に示す多重露出設定画面が表示される。この多重露出設定画面において、まず多重露出によって撮像するコマ数をコマ数入力欄２ａに入力して設定する。コマ数は、所定の範囲、例えば２コマ〜１０コマの間で任意に設定できるようになっている。また、使用者は、同時に後述する自動ゲイン補正を行うか否かを設定する。自動ゲイン補正を行うか否は、自動ゲイン補正設定欄２ｂで、自動ゲイン補正を「しない」（無効）および「する」（有効）のいずれかを選択することによって設定する。なお、コマ数入力欄２ａにコマ数が設定されない場合には、多重露出による撮像は行わないものとする。
【００１２】
使用者によって多重露出撮影のコマ数が設定された多重露出撮影モード設定状態では、設定されたコマ数の撮影が行われるまで、レリーズスイッチの押下のたびに設定された露出値で各コマの画像が撮像される。そして、各コマの画像データ、すなわちＲＡＷデータはイメージメモリ５に記憶される。例えば、コマ数が５に設定されている場合には、図３に示すように画像１〜画像５の５コマのＲＡＷデータがイメージメモリ５に記憶される。
【００１３】
画像処理回路６は、イメージメモリ５に記憶された全てのＲＡＷデータを加算して合成する。このとき、図２に示す多重露出設定画面で自動ゲイン補正が「しない」に設定されていた場合には、イメージメモリ５に記憶された全てのＲＡＷデータを順番に加算して合成する。すなわち、イメージメモリ５に記憶された各ＲＡＷデータは、撮像素子２の各画素から出力された電荷をデジタル化したデジタルデータであるため、画像上の同一位置の画素データを加算することによって合成が可能である。したがって、例えば画像１に画像２を加算（画像１＋画像２）した後、その加算結果にさらに画像３を加算するように、順番に画像を加算すれば合成することができる。
【００１４】
しかし、このようにイメージメモリ５に記憶されたＲＡＷデータをそのまま合成していくと露出オーバーとなってしまうおそれがある。そこで、これを回避するために、多重露出を行うコマ数に応じて、露出値を露出アンダーに設定しておく必要があり、例えば５コマの多重露出を行う場合には、次式（１）によって適正露出値を算出して設定しておく必要がある。
適正露出値＝Ｌｏｇ（１／５）／Ｌｏｇ２＝２．３  ・・・（１）
これにより、５コマの多重露出を行う場合には露出を２．３段アンダーにあらかじめ設定してから撮像すればよいことが分かる。
【００１５】
しかし、このように多重露出による撮影時に、多重露出を行うコマ数に応じた適正露出をその都度算出することは作業が煩雑となり好ましくない。そこで、本実施の形態において、図２に示す多重露出設定画面で自動ゲイン補正が「する」に設定されていた場合には、イメージメモリ５に記憶された各ＲＡＷデータをあらかじめデジタル的にゲインダウンしてから画像上の同一位置の画素データを加算することによって合成する。例えば、５コマの多重露出を行った場合、イメージメモリ５に記憶された５枚のＲＡＷデータを次式（２）によりあらかじめ自動ゲイン設定、すなわちゲインダウンしてから加算する。
Ｋ１・画像１＋Ｋ２・画像２＋Ｋ３・画像３＋Ｋ４・画像４＋Ｋ５・画像５  ・・・（２）
【００１６】
式（２）において変数Ｋ１〜Ｋ５は、各画像のデジタルゲインを示しており、その総和が１となるように設定される。例えば、Ｋ１＝Ｋ２＝Ｋ３＝Ｋ４＝Ｋ５＝０．２のように１をコマ数で按分して各画像に乗じる（付与する）ことで、全ての画像を同一のデジタルゲインでゲインダウンすることができる。また、Ｋ１＞Ｋ２＞Ｋ３＞Ｋ４＞Ｋ５とすることで、後に撮像したＲＡＷデータほど暗い画像となり、画像をフェードアウトするように表示させることが可能となり、Ｋ１＜Ｋ２＜Ｋ３＜Ｋ４＜Ｋ５とすることで、後に撮像したＲＡＷデータほど明るい画像となり、画像をフェードインするように表示させることが可能となる。
【００１７】
このように、多重露出により撮像した各ＲＡＷデータに対して、その総和が１となるゲインを乗じてゲインダウンしてから加算して合成することによって、合成時に露出オーバーとなることを防ぐことができ、適正露出での多重露出撮影画像を得ることができる。また、上述したイメージメモリ５に記憶されたＲＡＷデータをそのまま合成していく方法では、あらかじめ設定された多重露出によって撮像するコマ数が多い場合には、ＲＡＷデータを加算していく途中でデータがオーバーフローする可能性があるが、本発明によればあらかじめゲインダウンしてから加算するため、これも回避することが可能となる。
【００１８】
さらに本実施の形態においては、多重露出を途中で中断した場合にも適正露出での多重露出撮影画像を得ることができるように以下のように処理する。なお、多重露出が途中で中断される場合としては、例えば、（Ａ）使用者による入力装置１３の操作により多重露出の中断が指示された場合、（Ｂ）あらかじめ設定された所定時間、デジタルカメラ１００が操作されなかった場合に自動的に電源をオフする機能を有している場合に、その所定時間操作されずに自動的に電源がオフされたとき、（Ｃ）使用者によって入力装置１３が操作され、デジタルカメラ１００の電源がオフされたとき、のいずれかが考えられ、これらはＣＰＵ１２によって制御される。
【００１９】
画像処理回路６は、上記（Ａ）〜（Ｃ）のいずれかによって、多重露出が途中で中断したと判断した場合には、中断時に撮像されたコマ数のＲＡＷデータに基づいて、式（２）により合成を行う。例えば、多重露出によって撮像するコマ数が８に設定されている場合、中断が無ければ撮像した８コマのＲＡＷデータに対してＫ１〜Ｋ８の合計が１になるようにデジタルゲインを設定して式（２）に基づいて自動ゲイン設定して合成を行うが、５コマ撮像時点で多重露出が中断した場合には、撮像した５コマのＲＡＷデータに対して、Ｋ１〜Ｋ５の合計が１になるようにデジタルゲインを設定して式（２）に基づいて自動ゲイン設定して合成を行う。これによって、多重露出が途中で中断した場合でも、適正露出での多重露出撮影画像を得ることができる。
【００２０】
図４は、本実施の形態のデジタルカメラ１００における処理の流れを示したフローチャートである。図４に示す処理は、デジタルカメラの電源がオンされると起動するプログラムとしてＣＰＵ１２により実行される。ステップＳ１０において、使用者によってレリーズボタンが押下されたか否かが判断される。使用者によってレリーズボタンが押下されたと判断された場合には、ステップＳ２０へ進む。ステップＳ２０では、撮影レンズ１を介して撮像素子２により被写体の撮像を行う。このとき、露出条件が自動露出撮影モードであれば、被写体の輝度によって適正露出値が設定される。その後ステップＳ３０へ進む。ステップＳ３０では、撮像素子２に蓄積された電荷をＡ／Ｄ変換回路３によってデジタル信号に変換したＲＡＷデータをイメージメモリ５に記憶する。
【００２１】
その後ステップＳ４０へ進み、使用者によって図２に示す多重露出設定画面上で多重露出撮影モードが指示されているか、すなわち多重露出によって撮像するコマ数が設定されているかを判断する。多重露出による撮像が指示されていない場合には、後述するステップＳ１００へ進む。これに対して、多重露出撮影モードが指示されている場合には、ステップＳ５０へ進む。ステップＳ５０では、使用者によってあらかじめ設定された多重露出によって撮像するコマ数の撮像が完了したか否かを判断する。多重露出によって撮像するコマ数の撮像が完了したと判断した場合には、ステップＳ７０へ進む。
【００２２】
一方、多重露出によって撮像するコマ数の撮像が完了していないと判断した場合には、ステップＳ６０へ進む。ステップＳ６０では、上述した（Ａ）〜（Ｃ）のいずれかの理由によって、多重露出が途中で中断したか否かを判断する。多重露出が中断していないと判断した場合には、ステップＳ１０へ戻ってレリーズスイッチの押下を待つ。そして、レリーズスイッチが押下されると上述した処理を行う。一方、多重露出が中断したと判断した場合には、ステップＳ７０へ進む。
【００２３】
ステップＳ７０では、図２に示す多重露出設定画面で使用者によって自動ゲイン補正が「する」に設定されていたか否かを判断する。自動ゲイン補正が「しない」に設定されていたと判断した場合には、ステップＳ９０へ進む。これに対して、自動ゲイン補正が「する」に設定されていたと判断した場合には、ステップＳ８０へ進み、画像処理回路６は上述したように式（２）に基づいてイメージメモリ５に記憶されている各ＲＡＷデータをゲインダウンしてからステップＳ９０へ進む。なお、上述したように、ゲインＫはコマ数に基づいて設定されるので、中断した場合には予め定めたコマ数に応じて決定されるゲインを用いるのではなく、実撮影コマ数に基づいて決定されるゲインを用いる。
【００２４】
ステップＳ９０では、画像処理回路６はイメージメモリ５に記憶されている各ＲＡＷデータ、もしくはステップＳ８０でゲインダウンした後のＲＡＷデータを加算して合成して、ステップＳ１００へ進む。ステップＳ１００では、補間、色温度補正、および階調補正などの公知の画像処理を実行して、ステップＳ１１０へ進む。ステップＳ１１０では、画像処理回路６によって合成された画像が圧縮回路７によって所定の圧縮形式に圧縮変換されてメモリ１０に記憶される。そして、メモリ１０に記憶された画像データは、自動的に、または使用者からの指示により記憶媒体１１にコピーされて記憶される。また、画像処理回路６によって合成された画像は表示回路８によって表示装置９に表示される。
【００２５】
その後、ステップＳ１２０へ進み、デジタルカメラ１００の電源がオフされたか否かを判断する。電源がオフされていないと判断した場合には、ステップＳ１０へ戻って処理を繰り返す。一方、電源がオフされたと判断した場合には、処理を終了する。
【００２６】
以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）使用者によって自動ゲイン補正が「する」に設定されていた場合には、イメージメモリ５に記憶された各ＲＡＷデータをあらかじめデジタル的にゲインダウンしてから画像上の同一位置の画素データを加算して合成するようにした。これによって、合成時に露出オーバーとなることを防ぐことができ、適正露出での多重露出撮影画像を得ることができる。また、ＲＡＷデータを加算していく途中でデータがオーバーフローするのを回避することができる。
（２）多重露出により撮像した各ＲＡＷデータに対して、その総和が１となるデジタルゲインを乗じてゲインダウンすることとした。これによって、例えば、総和１を多重露出によって撮像するコマ数で按分して算出したデジタルゲインによってゲインダウンすることができ、各コマが適正な露出値で撮像されていれば、多重露出によって撮像するコマ数に応じた適切な露出での多重露出撮影画像を得ることができる。
【００２７】
（３）多重露出が途中で中断したと判断した場合には、中断時までの撮像コマ数によりデジタルゲインを算出し、撮像された複数コマのＲＡＷデータにデジタルゲインを乗じた画像データを合成することとした。これによって、多重露出を途中で中断した場合にも適正露出での多重露出撮影画像を得ることができる。
（４）自動ゲイン設定を「する」か「しない」かを使用者があらかじめ設定できるようにした。これによって、被写体の撮像条件を加味した適切な多重露出撮影画像の撮像が可能となる。
【００２８】
なお、以下のように変形することもできる。
（１）上述した実施の形態では、自動ゲイン設定が「する」に設定されていた場合には、ＲＡＷデータを一旦イメージメモリ５に記憶した後に、画像処理回路６は、イメージメモリ５に記憶されたＲＡＷデータを読み込んで、自動ゲイン設定して合成する例について説明した。しかし、これに限定されず、自動ゲイン設定した後にＲＡＷデータをイメージメモリ５に記憶してもよい。なお、多重露出を途中で中断した場合には、中断後に実撮影コマ数に基づいて再度自動ゲイン設定を行う必要がある。
【００２９】
（２）上述した実施の形態では、ＲＡＷデータを合成した後に、合成後の画像データに対して補間、色温度補正、および階調補正などの画像処理を行う例について説明した。しかし、これに限定されず、ＲＡＷデータに対して画像処理を行った結果、画像上の同一位置の画素データを加算することによって合成可能なデータを得られる場合には、各種画像処理を行った後に合成を行ってもよい。
【００３０】
（３）上述した実施の形態では、画像処理回路６、圧縮回路７、および表示回路８をデジタルカメラ１００に搭載する例について説明したが、これに限定されず、画像処理回路６、圧縮回路７、および表示回路８によって実現される機能を外部機器、例えばパソコン等に搭載してもよい。この場合、撮像素子２によって撮像されたＲＡＷデータをメモリーカードやインタフェースケーブルを介してパソコンにコピーしてから各種処理を行う。
【００３１】
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。
【００３２】
特許請求の範囲の構成要素と実施の形態との対応関係について説明する。撮像素子２は撮像手段に、イメージメモリ５は記憶手段に、画像処理回路６はゲイン付与手段、合成手段、および画像処理手段に相当する。入力装置１３は切り替え手段、および中断手段に、ＣＰＵ１２は中断手段に相当する。なお、この対応は一例であり、実施の形態の構成によって対応関係は異なるものである。
【図面の簡単な説明】
【００３３】
【図１】デジタルカメラの一実施の形態の構成を示すブロック図である。
【図２】多重露出設定画面の具体例を示す図である。
【図３】イメージメモリ５に記憶されるＲＡＷデータの具体例を示す図である。
【図４】デジタルカメラ１００における処理の流れを示したフローチャート図である。
【符号の説明】
【００３４】
１  撮影レンズ
２  撮像素子
３  Ａ／Ｄ変換回路
４  タイミングジェネレータ
５  イメージメモリ
６  画像処理回路
７  圧縮回路
８  表示回路
９  表示装置
１０  メモリ
１１  記憶媒体
１２  ＣＰＵ
１３  入力装置
【図１】
2006128740.tif 000003
【図２】
2006128740.tif 000004
【図３】
2006128740.tif 000005
【図４】
2006128740.tif 000006