(57)【特許請求の範囲】
【請求項１】
被写体を撮像して複数の画像データを連続して取得する撮像手段と、
前記撮像手段により連続して取得された画像データ毎に所定の第一基準輝度レベル以上の画素が存在するか否かを判定する判定手段と、
前記判定手段により前記所定の第一基準輝度レベル以上の画素が存在すると判定された各画像データを合成する合成手段と、
を備えたことを特徴とする画像合成装置。
【請求項２】
前記合成手段は、合成対象となった各画像データ間で互いに一致する位置にある画素の輝度レベルを加算した輝度レベルを、前記画素位置の輝度レベルに設定することを特徴とする請求項１記載の画像合成装置。
【請求項３】
前記合成手段は、加算された輝度レベルが所定の最大輝度レベルを超えたときには、前記所定の最大輝度レベルを超えた画素位置の輝度レベルを、前記最大輝度レベルに設定することを特徴とする請求項２記載の画像合成装置。
【請求項４】
前記合成手段は、合成対象となった各画像データ間で互いに一致する位置にある画素の輝度レベルを比較し、大きい方の輝度レベルを前記画素位置の輝度レベルに設定することを特徴とする請求項１記載の画像合成装置。
【請求項５】
前記合成手段は、合成対象となった各画像データ間で互いに一致する位置にある画素の輝度レベルが共に所定の第二基準輝度レベル以下であったときには、前記画素位置の輝度レベルを、前記共に所定の第二基準輝度レベル以下となっている画素の輝度レベルの平均値に設定することを特徴とする請求項２から４の何れかに記載の画像合成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、銀塩カメラの撮影方法である多重露光撮影の効果を電子撮像装置において一定露光周期で撮り続けた画像を合成することによって同様の効果を得る画像合成装置に関するものである。
【背景技術】
【０００２】
従来銀塩カメラの撮影方法に、同一フィルム上に複数回露光を行い、複数の重なった像を得る多重露光という方法がある。多重露光を行うには、通常レンズの前を黒幕などで覆った状態でバルブ（シャッターが開放状態なので長時間露光状態。）に設定し、その後レンズの前の黒幕を取り去った間だけ露光を行い露光終了後に再びレンズ前を黒幕で覆う。この動作を複数回繰り返すことにより、多重露光の画像を得ることができる。
【０００３】
また、電子撮像装置として、デジタルカメラが知られている。このデジタルカメラは、記録モードと再生モードとを設定可能であり、記録モードの状態においては、レンズ後方に配置されたＣＣＤ等の撮像素子は一定周期毎に光電変換出力を１画面分出力する。この光電変換出力はサンプルホールド回路でサンプルホールドされ、Ａ／Ｄ変換器でデジタルデータに変換され、カラープロセス回路でカラープロセス処理され、デジタルの輝度、色差マルチプレクス信号（ＹＵＶデータ）とがＤＭＡ（Direct  Memory  Access）コントローラに出力される。ＤＭＡコントローラはカラープロセス回路のＹＵＶデータ出力を、同じくカラープロセス回路の同期信号、メモリ書き込みイネーブル、クロック出力を用いて一度ＤＭＡコントローラ内部のバッファに書き込みＤＲＡＭＩ／Ｆを介してＤＲＡＭにＤＭＡ転送される。
【０００４】
ＣＰＵは、前記ＹＵＶデータのＤＲＡＭへのＤＭＡ転送終了後に、このＹＵＶデータをＤＲＡＭＩ／Ｆを介してＤＲＡＭより読み出して、ＶＲＡＭコントローラを介してＶＲＡＭに書き込む。デジタルビデオエンコーダー（以下、単にビデオエンコーダという。）は、前記ＹＵＶデータをＶＲＡＭコントローラを介してＶＲＡＭより周期的に読み出し、これらのデータを元にビデオ信号を発生して表示装置に出力する。これにより表示装置には、現在のＣＣＤから取り込んでいる画像情報に基づく画像が表示される。
【０００５】
このように表示装置に現在画像が表示されている状態で、記録保存を行いたいタイミングでシャッターキーを操作すると、信号を発生する。するとＣＰＵは、この信号に応じて現在のＣＣＤから取り込んでいる１画面分のＹＵＶデータのＤＲＡＭへのＤＭＡ転送後、直ちにＣＣＤからのＤＲＡＭへの経路を停止し、記録保存状態に遷移する。この記録保存状態では、ＣＰＵがＤＲＡＭに書き込まれている１フレーム分のＹＵＶデータをＤＲＡＭＩ／Ｆを介して、Ｙ，Ｃｂ，Ｃｒの各コンポーネント毎に縦８画素×横８画素の基本ブロックと呼ばれる単位で読み出してＪＰＥＧ回路に書き込み、ＪＰＥＧ回路で圧縮した符号データを該ＪＰＥＧ回路より読み出して、不揮発性メモリであるフラッシュメモリに書き込む。そして、１フレーム分のＹＵＶデータの圧縮処理及びフラッシュメモリへの全圧縮データの書き込み終了に伴って、ＣＰＵは再度ＣＣＤからＤＲＡＭへの経路を起動する。
【０００６】
再生モードでは、ＣＰＵはＣＣＤからＤＲＡＭへの経路を停止し、画像選択キー等の押下に応じてＣＰＵがフラッシュメモリから特定の１フレーム分の符号データを読み出してＪＰＥＧ回路に書き込み、ＪＰＥＧ回路で伸長処理を行って得られた８×８の基本ブロック単位に、ＶＲＡＭコントローラを介して、ＶＲＡＭへ１フレーム分のＹＵＶデータを展開する。すると、ビデオエンコーダは、ＶＲＡＭに展開されている１フレーム分のＹＵＶデータを元にビデオ信号を発生し、表示装置で表示を行う。
【０００７】
そして上記に示すようなデジタルカメラは撮影した画像を画像データとして扱えるので複数回の撮影によって得られた複数のすべての画像を合成することで多重露光のような効果を実現していた。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、このような従来の銀塩カメラにおいて多重露光を行うには、レンズの前を黒幕などで覆った状態でバルブ（シャッターが開放状態なので長時間露光状態。）に設定し、レンズの前の黒幕を取り去ったり覆ったりする動作を複数回繰り返すことで、多重露光の画像を得るといった非常に手間のかかる作業であり、デジタルカメラでは銀塩カメラのようにシャッターをバルブ（シャッターが開放状態なので長時間露光状態。）に設定し撮影することはＣＣＤ上に像を重ねていくことになり電荷の放電などの関係で難しかった。
【０００９】
本発明は、このような従来の課題に鑑みてなされたものであり、非常に簡単な操作で合成画像を得ることができる画像合成装置を提供することを目的とするものである。
【課題を解決するための手段】
【００１０】
以上の課題を解決すべく請求項１記載の発明は、被写体を撮像して複数の画像データを連続して取得する撮像手段と、前記撮像手段により連続して取得された画像データ毎に所定の第一基準輝度レベル以上の画素が存在するか否かを判定する判定手段と、前記判定手段により前記所定の第一基準輝度レベル以上の画素が存在すると判定された各画像データを合成する合成手段と、を備えたことを特徴としている。
【００１２】
また、請求項２記載の発明は、請求項１記載の発明において、前記合成手段は、合成対象となった各画像データ間で互いに一致する位置にある画素の輝度レベルを加算した輝度レベルを、前記画素位置の輝度レベルに設定することを特徴としている。
【００１４】
また、請求項３記載の発明は、請求項２記載の発明において、前記合成手段は、加算された輝度レベルが所定の最大輝度レベルを超えたときには、前記所定の最大輝度レベルを超えた画素位置の輝度レベルを、前記最大輝度レベルに設定することを特徴としている。
【００１７】
また、請求項４記載の発明は、請求項１記載の発明において、前記合成手段は、合成対象となった各画像データ間で互いに一致する位置にある画素の輝度レベルを比較し、大きい方の輝度レベルを前記画素位置の輝度レベルに設定することを特徴としている。
【００１９】
また、請求項５記載の発明は、請求項２から４の何れかに記載の発明において、前記合成手段は、合成対象となった各画像データ間で互いに一致する位置にある画素の輝度レベルが共に所定の第二基準輝度レベル以下であったときには、前記画素位置の輝度レベルを、前記共に所定の第二基準輝度レベル以下となっている画素の輝度レベルの平均値に設定することを特徴としている。
【発明の効果】
【００２５】
本発明によれば、容易に合成画像を得ることができ、花火や天体（流星）等の撮影ができる。
【００２６】
また、画像の暗い部分が明るくなってしまうことを防ぐことができ、コントラストの高い合成画像を得ることが可能となる。
【発明を実施するための最良の形態】
【００３３】
本発明の実施の形態を図に従って説明する。図１は本装置のブロック図である。記録モードではＣＣＤ１によって取り込まれた画像はＣＣＤを制御しているＣＣＤ制御部２によってＹＵＶプロセッサ３に送られる。ＹＵＶプロセッサ３でカラープロセス処理された画像データはメモリコントローラ５を介して画像メモリ４へと送られる。同時にスルー画像表示を行うために取り込まれた画像データはビデオエンコーダ６にも送られ、ビデオエンコーダ６はメモリコントローラ５から送られた画像データを元にビデオ信号を発生しビデオ出力部７へ出力する。また、キー処理部１０はキーの入力を処理する。
【００３４】
ここで自動多重露光モードになっているとＣＰＵ８は取り込んだ画像の中に判定レベル以上の画素が存在するか否かを判定して、そのような画素が１つでも存在するならば取り込んだ画像を画像合成の対象にする。このように判定レベル以上の画素が存在することにより合成の対象となった画像は画像メモリ４上で順次合成されていく。自動多重露光モードが終了すると、合成された画像データは記録媒体９に書き込まれ保存される。このように取り込んだ画像の中から一定レベル以上の画素を判別し画像合成を行うので簡単に合成画像を得ることができる。
【００３５】
図２に本装置のＣＣＤ１の露光及び取り込み画像の転送、合成対象画像の判別のタイミングを示す。フレーム周期毎に出力されるフレームパルスＦを基準として、ＣＣＤ１の露光及び画像メモリ４への画像転送が行われる。本実施の形態では４フレーム分の露光時間で１枚の画像を得るように設定されている。４フレーム時間分の露光が終了すると、ＣＣＤ１から画像メモリ４に対して直ちに画像転送が行われる。４フレーム毎に転送される画像のうち、画像合成判定レベル以上の画素を含む画像が合成の対象になる。すべての画像を合成するのではなく、必要な画像だけ選んで合成するので煩雑にならず効率のよい画像合成が行える。また、露光時間を４フレーム周期に固定したが露光時間は４フレームに限定されない。
【００３６】
図３にＣＣＤ１から取り込んだ画像の中に一定レベル以上の画素が存在するか否かの合成対象の画像の判定方法を示す。わかりやすくするため、各画素はモノクロで各０〜２５５（８ビット）のレベルを持つものとする。各画素のレベルとは画素の輝度または濃淡に相当するものである。取り込んだ画像１１は、４〜１３のレベルの画素から構成されている。判定レベルは１００に設定してあり、画像１１にはレベル１００以上の画素が存在していないので画像１１は画像合成の対象にならない画像ということになる。取り込んだ画像１２は２〜１５６のレベルの画素から構成されている。画像１２にはレベル１００以上の画素は５つ存在する。よってレベル１００以上の画素が１つ以上存在するので、画像１２は画像合成の対象となる。
【００３７】
他の判別方法として画像中のすべての画素のレベルの平均値によって判別してもいいし、画像中に一定レベル以上の画素がいくつ存在するかといったように画素の個数で判別してもよい。また、上記に示すように図３ではモノクロ画像（各画素のレベルが１種類の場合。）を例に説明したが各画素がＲＧＢの３種類から構成されるカラー画像に対しても同様の画像の合成方法を用いることができる。この場合、合成する画像を判別するための各画素レベルは各画素毎にＲＧＢの３値を加算した値を使用し、画像の合成では対応する２つの画素に対して、そのＲＧＢそれぞれの値を別々に加算して合成後のＲＧＢ値を求めればよい。
【００３８】
図４は画像の合成方法である。レベルの単純加算によって合成画像を得る方法を示す。画像１３は画像合成の対象になった画像で予め画像メモリ４に記憶されている画像であり、画像１４は新たに画像合成の対象になった画像である。画像１３と画像１４の対応する画素を順番に加算して合成画像を得る。例えば、左上の画素では画像１３はレベル１１を持っており、対応する画像１４の左上の画素はレベル８を持っている。これらを加算すると画像１５の左上の画素のようにレベル１９になる。同様にその右隣の画素について見てみると画像１３ではレベル９であり画像１４ではレベル７なので画像１５で示すようにレベル１６となる。以下同様に各の画素ごとに繰り返すと、画像１３と画像１４から合成された画像１５が得られる。
【００３９】
なお、図４では存在しないが加算した結果、画素レベルが２５５以上になった場合、画像１３の画素がレベル１８１で画像１４の画素レベルが１７７であり、加算した結果２５８になる。この場合は加算した結果の２５５以上である部分の３は削って２５５にする。以上のように合成の対象となる画像を判別することにより単純な画素レベルの加算による画像合成が可能となる。また、画像の合成方法として２つの合成対象の画像において各の対応する画素のレベルを比較し、大きい方の画素のレベルを選択するようにしてもよい。
【００４０】
図５ではＣＰＵの処理動作をフローチャートで示す。ＣＰＵはまずフレームカウンタを計数して、露光時間の４フレームが経過したか否かを判別する（Ｓ１）。４フレームが経過していればＣＣＤ１からの画像データを画像メモリ４に転送する（Ｓ２）。画像メモリ４に取り込んだ画像データはスルー画像表示を行うためにビデオエンコーダ６に送出される（Ｓ３）。次に図３でも説明したように取り込み画像の画素に判定レベル以上の画素が存在するか否かを判別する（Ｓ４）。その結果判定レベル以上の画素が１画素でも存在するならば、その画像を合成対象の画像とし、図４で説明したように画素毎に加算され画像の合成が行われ記録用の画像が作成される（Ｓ５）。以上のように一定露光周期で画像を撮り続け、取り込み画像中に判別レベル以上の画素が存在する画像のみを合成対象としたので、非常に簡単な操作でデジタルカメラでも銀塩写真の多重露光と同等の画像を得ることができる。特に花火や天体（流星）の撮影に効果を発揮する。
【００４１】
図６ではコントラストの高い合成画像を得るための方法を示す。図４で示した合成方法であるレベルの単純加算はレベルの低い画素のレベルについても単純加算が行われるため、何度も画像の合成を繰り返すと画像の暗い部分（画素レベルの低い値の部分。）がだんだん明るくなってしまう。画素のレベルの低い値についても一定の基準レベル設定し、合成対象である２つの画像において対応する画素のレベルが共に一定のレベル以下ならば単純加算するのではなく、両画素のレベルの平均値を取る方法を行う。
【００４２】
一定の基準レベル１６とする。画像１６の左上の画素のレベルは１１であり、対応する画像１７の左上の画素のレベルは８である。ここで両画素とも基準レベル１６以下なので、（１１＋８）／２＝９．５になり小数点以下は切り捨てで、両画素の平均値は９となり、合成された画像１８の画素のレベルは９になる。その右隣の画素も同様に両画素とも基準レベル１６以下なので、（９＋７）／２＝８になり両画素の平均値は８となり、合成された画像１８の画素のレベルは８になる。また、二つの画素のうち少なくとも一方が基準レベル１６以上であれば図４で示したように単純加算を行う。画像１６の上から２行目、左から３列目の画素では、画素のレベルが１６７で対応する画像１７の画素のレベルは５である。ここで一方の画素が基準レベル１６以上なので単純加算を行い、１６７＋５＝１７２で合成された画像１８の画素のレベルは１７２になる。
【００４３】
このように低い画素のレベルにも一定の基準レベルを設けて合成方法を変えることにより、度重なる画像の合成によって画像の暗い部分が明るくなってしまうのを防ぐことができ、コントラストの高い画像を得ることが可能となる。なお、上記実施の形態では合成対象である２つの画像において対応する画素のレベルが共に一定のレベル以下ならば両画素のレベルの平均値を用いたが、対応する画素のレベルが共に一定のレベル以下の場合にはレベルの小さい方の画素のレベルを選択する方法にしてもよい。
【図面の簡単な説明】
【００４４】
【図１】本発明装置のブロック図である。
【図２】自動多重露光処理のタイミングを示す図である。
【図３】合成対象の画像の判別方法を示す図である。
【図４】画像の合成方法を示す図である。
【図５】ＣＰＵの処理を示したフローである。
【図６】コントラストの高い画像を得る合成方法を示す図である。
【符号の説明】
【００４５】
１  ＣＣＤ
２  ＣＣＤ制御部
３  ＹＵＶプロセッサ
４  画像メモリ
５  メモリコントローラ
６  ビデオエンコーダ
７  ビデオ出力部
８  ＣＰＵ
９  記録媒体
１０  キー処理部
【図１】
0004565504.tif 000002
【図２】
0004565504.tif 000003
【図３】
0004565504.tif 000004
【図４】
0004565504.tif 000005
【図５】
0004565504.tif 000006
【図６】
0004565504.tif 000007