(57)【要約】【課題】撮影された画像を一時保存するバッファメモリの容量を抑えつつ、合成画像の画質の向上を可能とするカメラを提供することを目的とする。【解決手段】被写体の像を適正露出にて撮影する第1の撮像部と、被写体の像をマイナス露出にて撮影する第２の撮像部と、前記第1の撮像部により取得した適正露出の参照画像および前記第２の撮像部により取得したマイナス露出の複数の被合成画像の輝度情報を抽出する輝度情報抽出部と、該輝度情報抽出部により抽出された参照画像および被合成画像の輝度情報に基づいて、入力された複数の被合成画像の中から、該被合成画像の合成後の輝度情報と参照画像の輝度情報との差が所定値以下となるような被合成画像を選択する画像選択部と、該画像選択部により選択された複数の被合成画像を合成する画像合成部とを有するカメラを採用する。【選択図】図１
2009033220.tif 000002
【特許請求の範囲】
【請求項１】
被写体の像を適正露出にて撮影する第1の撮像部と、
被写体の像をマイナス露出にて撮影する第２の撮像部と、
前記第1の撮像部により取得した適正露出の参照画像および前記第２の撮像部により取得したマイナス露出の複数の被合成画像の輝度情報を抽出する輝度情報抽出部と、
該輝度情報抽出部により抽出された参照画像および被合成画像の輝度情報に基づいて、入力された複数の被合成画像の中から、該被合成画像の合成後の輝度情報と参照画像の輝度情報との差が所定値以下となるような被合成画像を選択する画像選択部と、
該画像選択部により選択された複数の被合成画像を合成する画像合成部とを有するカメラ。
【請求項２】
前記画像選択部が、参照画像と少なくとも１枚の被合成画像との輝度情報の比率に基づいて、合成される被合成画像の枚数を算出し、その枚数の被合成画像を選択する請求項１に記載のカメラ。
【請求項３】
画像合成部により生成された合成画像の輝度情報と、参照画像の輝度情報とに基づいて、合成画像の輝度情報を補正する輝度補正部を備える請求項１または請求項２に記載のカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像の合成処理を行うカメラに関するものである。
【背景技術】
【０００２】
従来、複数の画像の中から予め設定された条件に基づいて所定枚数の画像を選択し、選択した所定枚数の画像を合成する技術が知られている（例えば、特許文献１参照。）。この技術は、予め設定された条件を満足する画像のみを用いて合成画像を作成することにより、合成画像の画質を向上させることを目的としている。
【特許文献１】特開２００６−２４６３０９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記技術においては合成する画像枚数が予め設定されているため、平均的な画像を基準として被合成画像の条件が決定されることとなる。したがって、平均的な画像に対して、例えば、輝度が所定値以上高い画像および低い画像は被合成画像として選択されないことととなり、合成画像を得るために多くの画像を必要とする。そのため、撮影された画像を一時保存するバッファメモリの容量を大きくする必要がある。
【０００４】
さらに、選択した被合成画像を所定の枚数合成しても、必ずしも所望する露出とはならない場合がある。つまり、選択した被合成画像の多くが、設定された露出条件の上限に近い場合には合成画像の露出は所望する画像の露出よりも高く、設定された露出条件の下限に近い場合には合成画像の露出は所望する画像の露出よりも低くなるという不都合がある。
【０００５】
本発明は、上記事情に鑑みてなされたもので、撮影された画像を一時保存するバッファメモリの容量を抑えつつ、合成画像の画質の向上を可能とするカメラを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は以下の手段を採用する。
本発明は、被写体の像を適正露出にて撮影する第1の撮像部と、被写体の像をマイナス露出にて撮影する第２の撮像部と、前記第1の撮像部により取得した適正露出の参照画像および前記第２の撮像部により取得したマイナス露出の複数の被合成画像の輝度情報を抽出する輝度情報抽出部と、該輝度情報抽出部により抽出された参照画像および被合成画像の輝度情報に基づいて、入力された複数の被合成画像の中から、該被合成画像の合成後の輝度情報と参照画像の輝度情報との差が所定値以下となるような被合成画像を選択する画像選択部と、該画像選択部により選択された複数の被合成画像を合成する画像合成部とを有するカメラを採用する。
【０００７】
本発明によれば、輝度情報抽出部が、第1の撮像部により取得した適正露出の参照画像および第２の撮像部により取得したマイナス露出の複数の被合成画像の輝度情報を抽出し、画像選択部が、参照画像および複数の被合成画像の輝度情報を比較して、複数の被合成画像を選択し、画像合成部が、選択された複数のマイナス露出の被合成画像を合成することにより、適正露出の参照画像と同等の輝度情報を有する画像を生成することができる。また、撮像部を２つ有することにより、参照画像の取得と被合成画像の取得とを平行して行うことができるので、任意のタイミングにおける被合成画像を取得することが可能となる。
【０００８】
シャッタスピードを速くすることにより得られたマイナス露出の被合成画像を合成することにより、ブレのない鮮明な適正露出の画像を得ることができる。また、絞りを絞ることにより得られたマイナス露出の被合成画像を合成することにより、被写界深度の深い適正露出の画像を得ることができる。さらに、感度を低下させることにより得られたマイナス露出の被合成画像を合成することにより、ノイズの少ない適正露出の画像を得ることができる。
【０００９】
これらの場合に、合成後の画像の輝度情報と適正露出の参照画像の輝度情報とがほぼ一致するように被合成画像を選択するので、撮影条件の変動により被合成画像ごとに露出が変動しても、適正露出の画像を生成することができる。輝度情報としては、所定の画素の輝度値、全画素の平均輝度値等を用いることができる。
【００１０】
また、上記発明において、前記画像選択部が、参照画像と少なくとも１枚の被合成画像との輝度情報の比率に基づいて、合成される被合成画像の枚数を算出し、その枚数の被合成画像を選択してもよい。
このようにすることで、複数の被合成画像の撮影条件の変動が少ない場合には、１枚または少数枚の被合成画像の輝度情報に基づいて合成すべき被合成画像の枚数を算出することにより、簡易に適正露出の画像を生成することができる。輝度情報としては複数の被合成画像の所定画素あるいは全画素の平均輝度値等を用いることができる。
【００１１】
また、上記発明において、前記画像合成部により生成された合成画像の輝度情報と、参照画像の輝度情報とに基づいて、前記合成画像の輝度情報を補正する輝度補正部を備えてもよい。
このようにすることで、参照画像の露出により近い露出を有する合成画像を得ることが可能となる。
【発明の効果】
【００１２】
本発明によれば、撮影された画像を一時保存するバッファメモリの容量を抑えつつ、合成画像の画質の向上を可能とするという効果を奏する。
【発明を実施するための最良の形態】
【００１３】
以下に、本発明の一実施形態に係るカメラについて、図面を参照して説明する。
図１および図２に示すように、本実施形態に係るカメラ１は、略直方体形状に形成されたカメラ本体３と、カメラ本体３の前面に設けられ、被写体の像を撮影する撮像装置５と、カメラ本体３の上面に設けられ、撮像装置５の操作を行うシャッタ操作部７と、例えば、背面液晶等の表示デバイスである表示部１０９とを備えている。
【００１４】
カメラ本体３は、図３に示すように、撮像装置５により取得される画像の露出を調節する露出調節部６と、撮像装置５により取得された画像を処理する画像処理装置１０と、画像処理装置１０により画像処理された画像を記録する記録メディア等である外部メモリ１１２と、これらを制御する制御部４とを備えている。
【００１５】
撮像装置５は、レンズ等の光学系１２０と、ＣＣＤ等の第１の撮像部１０４および第２の撮像部１０５とを備えている。第１の撮像部１０４および第２の撮像部１０５は、光学系１２０によって取得された画像にＡＤ変換を施し、ＳＤＲＡＭ１１０に出力するようになっている。
【００１６】
露出調節部６は、被写体の明るさを検知するＡＥセンサー１２１と、ＡＥセンサー１２１から明るさ情報を受け取り、露出設定値を決定するＡＥ部１０６とを備えている。ＡＥ部１０６は、決定した露出設定値を制御部４に出力するようになっている。
【００１７】
シャッタ操作部７は、カメラ本体３の上端面に対して垂直方向に押し込み可能なシャッタボタン１２３と、シャッタボタン１２３が所定量押し込まれたことを判定するシャッタボタン判定部１０１とを備えている。シャッタボタン判定部１０１は、シャッタボタン１２３が所定量押し込まれたことを、制御部４に出力するようになっている。なお、シャッタボタン判定部１０１は、シャッタボタン１２３が所定量押し込まれている間には、制御部４への出力を継続するようになっている。
【００１８】
制御部４は、シャッタボタン判定部１０１からの情報に基づいて撮像装置５と露出調節部６とを制御するようになっている。具体的には、シャッタボタン１２３が所定量押し込まれたことが、シャッタボタン判定部１０１より入力されると、制御部４は、露出調節部６に対して、第１の撮像部１０４より取得される画像が適正露出となるように露出設定値の決定を指示するとともに、第２の撮像部１０５より取得される画像がマイナス露出となるように露出設定値の決定を指示するようになっている。また、シャッタボタン１２３が更に所定量押し込まれたことが、シャッタボタン判定部１０１より入力されると、制御部４は、第１の撮像部１０４および第２の撮像部１０５に対して、露出調節部６により決定された露出設定値にて画像の取得を指示するようになっている。さらに、シャッタボタン１２３が所定量押し込まれていることが、シャッタボタン判定部１０１より継続して入力されると、制御部４は、第２の撮像部１０５を連写撮影状態に維持するようになっている。
【００１９】
画像処理装置１０は、第１の撮像部１０４および第２の撮像部１０５より入力された画像を一時保存するＳＤＲＡＭ１１０と、ＳＤＲＡＭ１１０に一時保存された画像を読み出して画像処理を施す画像処理部１０８と、画像処理部１０８により画像処理された画像の輝度の平均値を算出する輝度算出部（輝度情報抽出部）１２５と、輝度算出部１２５により算出された輝度の平均値に基づいて被合成画像を複数選択する画像選択部１２６と、画像選択部１２６により選択された複数の被合成画像を合成する画像合成部１２７とを備えている。
【００２０】
ＳＤＲＡＭ１１０には、適正露出にて第１の撮像部１０４により取得された画像（参照画像）およびマイナス露出にて第２の撮像部１０５により取得された複数の画像（被合成画像）が入力され、ＳＤＲＡＭ１１０は、これらの画像を一時保存するようになっている。
画像処理部１０８は、ＳＤＲＡＭ１１０に一時保存された参照画像および被合成画像を読み出し、三板化や補正などの画像処理を施し、画像処理が行われた参照画像および被合成画像を輝度算出部１２５および画像選択部１２６に出力するようになっている。
輝度算出部１２５は、画像処理部１０８により画像処理された参照画像および被合成画像の輝度の平均値を算出し、算出した輝度の平均値を画像選択部１２６に出力するようになっている。
【００２１】
画像選択部１２６は、輝度算出部１２５により算出された参照画像および被合成画像の輝度の平均値に基づいて、入力された複数の被合成画像の中から、該被合成画像の合成後の輝度の平均値と参照画像の輝度の平均値との差が所定値以下となるような被合成画像を選択し、選択した被合成画像を画像合成部１２７に出力するようになっている。また、画像選択部１２６は、参照画像を外部メモリ１１２に出力するようになっている。なお、選択されなかった被合成画像については削除することとしても良いし、外部メモリ１１２に出力することとしても良い。
【００２２】
画像合成部１２７は、画像選択部１２６により選択された複数の被合成画像を合成し、合成画像を外部メモリ１１２に出力するようになっている。
外部メモリ１１２は、画像選択部１２６より出力された参照画像および画像合成部１２７より出力された合成画像を記録するようになっている。
【００２３】
表示部１０９は、参照画像および合成画像を外部メモリ１１２から読み出し、フォーマット変換を行うことによりユーザに目視可能に表示するようになっている。
【００２４】
このように構成された本実施形態に係るカメラの作用について、以下に説明する。
本実施形態に係るカメラ１が起動されると、光学系１２０によって取得された被写体像は、第１の撮像部１０４および第２の撮像部１０５の撮像面に結像される。そして、ユーザによってシャッタボタン１２３が所定量押し込まれると、シャッタボタン判定部１０１は当該情報を制御部４に出力し、制御部４はＡＥ部１０６に露出調節指示を出力する。
【００２５】
ＡＥ部１０６は、制御部４からの露出調節指示が入力されることにより、ＡＥセンサー１２１からの被写体の明るさ情報に基づいて露出設定値を決定する。該露出設定値は制御部４を介して第１の撮像部１０４および第２の撮像部１０５に出力され、第１の撮像部１０４により取得する画像が適正露出となるように制御されるとともに、第２の撮像部１０５により取得する画像がマイナス露出となるように制御される。
【００２６】
このように制御された第１の撮像部１０４および第２の撮像部１０５により取得された被写体の像は、ユーザによってシャッタボタン１２３が更に所定量押し込まれると、制御部４からの指示により第１の撮像部１０４によって参照画像として取得されるとともに、第２の撮像部１０５によって被合成画像として取得され、これらの画像はＳＤＲＡＭ１１０に出力される。
【００２７】
ＳＤＲＡＭ１１０に一時保存された参照画像および被合成画像は、画像処理部１０８により画像処理が施され、画像処理が行われた参照画像および被合成画像に対して輝度算出部１２５により輝度の平均値が算出される。輝度算出部１２５により算出された参照画像および被合成画像の輝度の平均値は、画像選択部１２６に出力される。また、画像処理が行われた参照画像は、画像選択部１２６を介して外部メモリ１１２に出力されて記録される。一方、画像処理が行われた被合成画像は、画像選択部１２６に出力される。
【００２８】
なお、シャッタボタン１２３が継続して所定量押し込まれている場合には、第２の撮像部１０５により被合成画像の連写撮影が行われる。
具体的には、ＡＥ部１０６により、マイナス露出とされた被写体の像は、シャッタボタン１２３が所定量押し込まれている間には、連続して第２の撮像部１０５により取得され、被合成画像としてＳＤＲＡＭ１１０に一時保存される。
【００２９】
画像選択部１２６では、画像処理部１０８より入力された複数の被合成画像の中から、合成後の画像の輝度の平均値と参照画像の輝度の平均値との差が所定値以下となるように、被合成画像の選択が行われる。例えば、被合成画像の輝度の平均値が加算され、合計値が参照画像の輝度の平均値に最も近くなる組み合わせの被合成画像が選択される。そして、選択された被合成画像は、画像合成部１２７に出力される。また、参照画像は、外部メモリ１１２に出力されて記録される。
【００３０】
画像合成部１２７では、画像選択部１２６により選択された複数の被合成画像の合成が行われ、合成画像は外部メモリ１１２に出力されて記録される。
このように外部メモリ１１２に記録された参照画像および合成画像が、表示部１０９により読み出され、ユーザに対して目視可能に表示される。
【００３１】
以上説明したように、本実施形態に係るカメラによれば、画像選択部１２６が、輝度算出部１２５により算出された参照画像および複数の被合成画像の輝度の平均値を比較して、複数の被合成画像を選択し、画像合成部１２７が、選択された複数のマイナス露出の被合成画像を合成することにより、適正露出の参照画像と同等の輝度の平均値を有する画像を生成することができる。また、参照画像を取得する第１の撮像部１０４と被合成画像を取得する第２の撮像部１０５とを有することにより、参照画像の取得と被合成画像の取得とを平行して行うことができるので、任意のタイミングにおける被合成画像を取得することが可能となる。
【００３２】
ここで、被合成画像は、マイナス露出で撮影された画像であるが、シャッタスピード、絞り、および感度のいずれかを操作してマイナス露出とされたかによって、合成画像の性質が異なる。
例えば、シャッタスピードを速くすることにより得られたマイナス露出の被合成画像を合成することにより、ブレのない鮮明な適正露出の画像を得ることができる。また、絞りを絞ることにより得られたマイナス露出の被合成画像を合成することにより、被写界深度の深い適正露出の画像を得ることができる。さらに、感度を低下させることにより得られたマイナス露出の被合成画像を合成することにより、ノイズの少ない適正露出の画像を得ることができる。
【００３３】
これらの場合に、画像選択部１２６が、合成後の画像の輝度の平均値と適正露出の参照画像の輝度の平均値とがほぼ一致するように被合成画像を選択するので、撮影条件の変動により被合成画像ごとに露出が変動しても、適正露出の画像を生成することができる。
【００３４】
なお、複数の被合成画像の撮影条件の変動が少ない場合には、輝度算出部１２５は、１枚または少数枚の被合成画像についてのみ輝度の平均値を算出することとしても良い。そして、画像選択部１２６は、輝度算出部１２５により算出された１枚または少数枚の被合成画像についての輝度の平均値と参照画像の輝度の平均値との比率から、合成される被合成画像の枚数を算出し、算出した枚数の被合成画像を画像合成部１２７に出力することとしても良い。
【００３５】
また、輝度算出部１２５が算出する輝度情報としては、全画素の平均輝度値を用いて説明したが、これに限定されるものではなく、例えば、所定の画素の輝度値を用いることも可能である。
また、本実施形態において、参照画像の撮影後で、かつ、被合成画像の撮影前に一回のみ露出変更を行うとして説明したが、各被合成画像を撮影する度に露出変更を行っても良い。
さらに、本実施形態において、参照画像を外部メモリ１１２に記録することとして説明したが、輝度情報を抽出した後は削除することとしても良い。これにより、外部メモリ１１２に記録する合成画像の枚数を増加させることができる。
【００３６】
また、本実施形態では、画像処理装置としてハードウェアによる処理を前提としていたが、このような構成に限定されるものではない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を備えていればよい。そして、ＣＰＵが上記記憶媒体に記録されているプログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させることができる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。
【００３７】
上記のソフトウェアによる具体的な処理について、図４に示すフローチャートに基づいて以下に説明する。
ユーザによってシャッタボタンが押され、連写モードによって撮影が開始されると（Ｓ１）、被写体の画像が適正露出となるように第１の撮像部の露出が変更される（Ｓ２）。
次に、第１の撮像部により撮影された画像が参照画像としてＳＤＲＡＭ等の記憶手段に一時保存され（Ｓ３）、所定の画像処理が施された後に輝度平均値が算出される（Ｓ４）。ここで、算出された輝度平均値が、見本の輝度平均値Ａである。
そして、上記の処理が行われた参照画像は、外部メモリに出力されて記録される（Ｓ５）。
【００３８】
また、シャッタボタンの押下が解除されているか否かの判定が行われ（Ｓ６）、解除されている場合には連写撮影を終了し、解除されていない場合には被写体の画像がマイナス露出となるように第２の撮像部の露出が変更される（Ｓ７）。
次に、第２の撮像部により撮影された画像が、被合成画像としてＳＤＲＡＭ等の記憶手段に一時保存され（Ｓ８）、所定の画像処理が施された後に輝度平均値が算出される（Ｓ９）。ここで、各被合成画像に対して算出された輝度平均値が、各フレームの輝度平均値Ｂnである。
そして、上記の処理が行われた各被合成画像は外部メモリに出力されて記録される（Ｓ１０）。
【００３９】
次に、シャッタボタンの押下が解除されているか否かの判定が行われ（Ｓ１１）、解除されていない場合にはＳ８に戻り、解除されている場合には見本の輝度平均値Ａに近くなるような各フレームの輝度平均値Ｂnの組み合わせを算出し、合成に用いる被合成画像の選択が行われる（Ｓ１２）。なお、Ｓ１１において、シャッタボタンの押下が解除されていない場合には、Ｓ７に戻り、第２の撮像部の露出の変更をその都度行うこととしてもよい。
次に、選択した被合成画像を合成し（Ｓ１３）、合成画像は外部メモリに出力されて記録される（Ｓ１４）。
上記のように外部メモリに記録された参照画像および合成画像が、表示部にサムネイル画像として表示され、連写撮影が終了する（Ｓ１５）。
【００４０】
なお、上記の説明において、第１の撮像部により参照画像を取得した後に第２の撮像部により被合成画像を取得するとして説明したが、第１の撮像部と第２の撮像部とは独立しているため、第１の参照画像の取得は、シャッタボタンが押されている間（Ｓ１からＳ１１）であれば、いずれのタイミングで実施しても良い。
【００４１】
また、本実施形態に係るカメラの変形例として、図５に示すように、画像合成部１２７の後段に輝度補正部１３０を備えてもよい。
本変形例に係るカメラによれば、輝度補正部１３０は、画像合成部１２７より出力された合成画像に対して、輝度算出部１２５により算出された参照画像および被合成画像の輝度の平均値を用いて、参照画像の輝度の平均値と合成画像の輝度の平均値とが更に近づくように補正を行う。このようにすることで、更に参照画像の露出に近い合成画像を得ることが可能となる。
【図面の簡単な説明】
【００４２】
【図１】本発明の一実施形態に係るカメラの上面図である。
【図２】図１に示すカメラの背面図である。
【図３】図１に示すカメラが備える機能を展開して示した機能ブロック図である。
【図４】本発明の一実施形態に係るカメラの処理手順を示すフローチャートである。
【図５】本発明の変形例に係るカメラが備える機能を展開して示した機能ブロック図である。
【符号の説明】
【００４３】
１  カメラ
３  カメラ本体
４  制御部
５  撮像装置
６  露出調節部
７  シャッタ操作部
１０，２０  画像処理装置
１０４  第１の撮像部
１０５  第２の撮像部
１２５  輝度算出部
１２６  画像選択部
１２７  画像合成部
１３０  輝度補正部
【図１】
2009033220.tif 000003
【図２】
2009033220.tif 000004
【図３】
2009033220.tif 000005
【図４】
2009033220.tif 000006
【図５】
2009033220.tif 000007