(57)【要約】【課題】被合成画像の枚数に関わらず適正露出の合成画像を得ることができるカメラを提供することを目的とする。【解決手段】被写体の像を撮影してマイナス露出の画像を取得する撮像装置と、該撮像装置により取得された複数枚の画像を合成して適正露出の画像を生成する画像処理装置とを備え、該画像処理装置が、前記撮像装置により取得された複数枚の画像を合成した際の合成画像の露出情報の適正露出の画像の露出情報に対する比率の逆数を、取得された画像または前記合成画像の輝度情報に乗算するカメラを採用する。【選択図】図３
2009044362.tif 000002
【特許請求の範囲】
【請求項１】
被写体の像を撮影してマイナス露出の画像を取得する撮像装置と、
該撮像装置により取得された複数枚の画像を合成して適正露出の画像を生成する画像処理装置とを備え、
該画像処理装置が、前記撮像装置により取得された複数枚の画像を合成した際の合成画像の露出情報の適正露出の画像の露出情報に対する比率の逆数を、取得された画像または前記合成画像の輝度情報に乗算するカメラ。
【請求項２】
前記適正露出の画像を合成するために必要とされる画像の必要枚数を設定する画像枚数設定部と、
該画像枚数設定部により設定された必要枚数に基づいて、前記撮像装置の露出を調節する露出調節部とを備える請求項1に記載のカメラ。
【請求項３】
前記撮像装置により取得された複数枚の画像を合成した際の合成画像の露出情報が、前記撮像装置により実際に取得された画像の枚数であり、
前記適正露出の画像の露出情報が、前記画像枚数設定部により設定された画像の必要枚数である請求項２に記載のカメラ。
【請求項４】
前記撮像装置により取得された複数枚の画像を合成した際の合成画像の露出情報が、前記撮像装置により実際に取得された各画像の平均輝度値の合計であり、
前記適正露出の画像の露出情報が、予め設定された平均輝度値である請求項２に記載のカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像の合成処理を行うカメラに関するものである。
【背景技術】
【０００２】
従来、複数の画像の中から予め設定された条件に基づいて所定枚数の画像を選択し、選択した所定枚数の画像を合成する技術が知られている（例えば、特許文献１参照。）。この技術は、予め設定された条件を満足する画像のみを用いて合成画像を作成することにより、合成画像の画質を向上させることを目的としている。
【０００３】
ところで、例えば連写撮影により複数枚の画像を撮影した際、各画像は十分な露光時間を得られないことが多く、暗めに撮影した画像を合成して適正露出の画像を得る場合がある。この場合において、撮影開始後、画像の合成完了前に合成画像の構図やフォーカスなどを確認することを目的として、1枚の被合成画像の明るさを補正して表示する技術が知られている（例えば、特許文献２参照。）。
【特許文献１】特開２００６−２４６３０９号公報
【特許文献２】特開２００６−５４６９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記技術において明るさの補正は、あくまで合成画像の構図やフォーカスなどを画像の合成完了前に確認するために行われるものであり、最終的に適正露出の合成画像を得るためには、所定の枚数の被合成画像が必要となる。そのため、例えば、被合成画像の枚数が所定の枚数に満たない場合には、合成画像を得ることができない、あるいは露出不足の合成画像しか得ることができないという不都合があった。
【０００５】
本発明は、上記事情に鑑みてなされたもので、被合成画像の枚数に関わらず適正露出の合成画像を得ることができるカメラを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は以下の手段を採用する。
本発明は、被写体の像を撮影してマイナス露出の画像を取得する撮像装置と、該撮像装置により取得された複数枚の画像を合成して適正露出の画像を生成する画像処理装置とを備え、該画像処理装置が、前記撮像装置により取得された複数枚の画像を合成した際の合成画像の露出情報の適正露出の画像の露出情報に対する比率の逆数を、取得された画像または前記合成画像の輝度情報に乗算するカメラを採用する。
【０００７】
本発明によれば、画像処理装置が、適正露出の画像の露出情報に対する合成画像の露出情報の比率の逆数を、取得された画像または合成画像の輝度情報に乗算することにより、適正露出の合成画像を生成することができる。すなわち、例えば、連写撮影において、撮影予定枚数よりも少ない枚数で連写を終了した場合にも、その少ない枚数の画像を合成して得られる合成画像の露出情報に応じた比率で、画像処理装置により合成前の画像または合成画像の輝度が増幅されるので、適正露出の合成画像を生成することができる。
【０００８】
ここで、シャッタスピードを速くすることにより得られたマイナス露出の画像を合成することにより、ブレのない鮮明な適正露出の画像を得ることができる。また、絞りを絞ることにより得られたマイナス露出の画像を合成することにより、被写界深度の深い適正露出の画像を得ることができる。さらに、感度を低下させることにより得られたマイナス露出の画像を合成することにより、ノイズの少ない適正露出の画像を得ることができる。
【０００９】
また、上記発明において、前記適正露出の画像を合成するために必要とされる画像の必要枚数を設定する画像枚数設定部と、該画像枚数設定部により設定された必要枚数に基づいて、前記撮像装置の露出を調節する露出調節部とを備えてもよい。
このようにすることで、画像枚数設定部により必要枚数が設定されると、露出調節部によりその必要枚数の画像を合成した合成画像の露出が適正露出となるように、撮像装置の露出が調節される。したがって、連写撮影において必要枚数の画像が取得されれば、それらの画像を合成して適正露出の合成画像を容易に生成することができる。また、必要枚数に満たない画像が取得された場合には、これを増幅して適正露出の合成画像を得ることができる。
【００１０】
また、上記発明において、前記撮像装置により取得された複数枚の画像を合成した際の合成画像の露出情報が、前記撮像装置により実際に取得された画像の枚数であり、前記適正露出の画像の露出情報が、前記画像枚数設定部により設定された画像の必要枚数であってもよい。
このようにすることで、画像処理装置により、設定された画像の必要枚数と実際に取得された画像の枚数との比率が、合成前の画像または合成画像の輝度情報に乗算され、より容易に適正露出の合成画像を生成することができる。
【００１１】
また、上記発明において、前記撮像装置により取得された複数枚の画像を合成した際の合成画像の露出情報が、前記撮像装置により実際に取得された各画像の平均輝度値の合計であり、前記適正露出の画像の露出情報が、予め設定された平均輝度値であってもよい。
このようにすることで、画像処理装置により、予め設定された適正露出の画像の平均輝度値と実際に取得された各画像の平均輝度値の合計との比率が、合成前の画像または合成画像の輝度情報に乗算され、適正露出の合成画像を生成することができる。また、露出情報として平均輝度値を用いることにより、合成画像の平均輝度値が適正露出の画像の平均輝度値よりも大きくなってしまった場合においても、適正露出の合成画像を得ることができる。
【発明の効果】
【００１２】
本発明によれば、被合成画像の枚数に関わらず適正露出の合成画像を得ることができるという効果を奏する。
【発明を実施するための最良の形態】
【００１３】
以下に、本発明の一実施形態に係るカメラについて、図面を参照して説明する。
図１および図２に示すように、本実施形態に係るカメラ１は、略直方体形状に形成されたカメラ本体３と、カメラ本体３の前面に設けられ、被写体の像を撮影する撮像装置５と、カメラ本体３の上面に設けられ、撮像装置５の操作を行うシャッタ操作部７と、例えば、背面液晶等の表示デバイスである表示部１０９とを備えている。
【００１４】
カメラ本体３は、図３に示すように、適正露出の画像を合成するために必要とされる画像の必要枚数を設定する画像枚数設定部１３０と、撮像装置５により取得される画像の露出を調節する露出調節部６と、撮像装置５により取得された画像を処理する画像処理装置１０と、画像処理装置１０により画像処理された画像を記録する記録メディア等である外部メモリ１１２と、これらを制御する制御部４とを備えている。
【００１５】
撮像装置５は、レンズ等の光学系１２０と、ＣＣＤ等の撮像部１０７とを備えており、撮像部１０７は、光学系１２０によって取得された画像にＡＤ変換を施し、ＳＤＲＡＭ１１０に出力するようになっている。
【００１６】
露出調節部６は、被写体の明るさを検知するＡＥセンサー１２１と、ＡＥセンサー１２１からの明るさ情報および画像枚数設定部１３０からの画像の必要枚数を用いて、撮像装置５の露出設定値を決定するＡＥ部１０６とを備えている。ＡＥ部１０６は、決定した露出設定値を制御部４に出力するようになっている。
【００１７】
シャッタ操作部７は、カメラ本体３の上端面に対して垂直方向に押し込み可能なシャッタボタン１２３と、シャッタボタン１２３が所定量押し込まれたことを判定するシャッタボタン判定部１０１とを備えている。シャッタボタン判定部１０１は、シャッタボタン１２３が所定量押し込まれたことを、制御部４に出力するようになっている。なお、シャッタボタン判定部１０１は、シャッタボタン１２３が所定量押し込まれている間には、制御部４への出力を継続するようになっている。
【００１８】
制御部４は、シャッタボタン判定部１０１からの情報に基づいて撮像装置５と露出調節部６とを制御するようになっている。具体的には、シャッタボタン１２３が所定量押し込まれたことが、シャッタボタン判定部１０１より入力されると、制御部４は、露出調節部６に対して、露出設定値の決定を指示するようになっている。また、シャッタボタン１２３が更に所定量押し込まれたことが、シャッタボタン判定部１０１より入力されると、制御部４は、撮像装置５に対して、露出調節部６により決定された露出設定値にて画像の取得を指示するようになっている。さらに、シャッタボタン１２３が所定量押し込まれていることが、シャッタボタン判定部１０１より継続して入力されると、制御部４は、撮像装置５を連写撮影状態に維持するようになっている。
【００１９】
画像処理装置１０は、撮像部１０７より入力された画像を一時保存するＳＤＲＡＭ１１０と、ＳＤＲＡＭ１１０に一時保存された画像を読み出して画像処理を施す画像処理部１０８と、撮像部１０７より入力された画像の枚数をカウントする撮影枚数カウント部１０２と、撮影枚数カウント部１０２によりカウントされた画像の枚数および画像枚数設定部１３０により設定された画像の必要枚数を用いて、合成前の画像の輝度情報のゲインを算出するゲイン算出部１０３と、ゲイン算出部１０３により算出されたゲインと画像処理部１０８により画像処理された画像の輝度情報とを乗じることにより、合成前の画像の輝度情報を調整する輝度情報調整部１２６と、輝度情報調整部１２６により輝度情報が調整された複数の画像を合成する画像合成部１２７とを備えている。
【００２０】
ＳＤＲＡＭ１１０は、撮像部１０７より入力された画像を一時保存するようになっている。
画像処理部１０８は、ＳＤＲＡＭ１１０に一時保存された画像を読み出し、三板化や補正などの画像処理を施し、画像処理が行われた画像を輝度調整部１２６に出力するようになっている。
【００２１】
撮影枚数カウント部１０２は、撮像部１０７より入力された画像の枚数をカウントし、カウントした結果をゲイン算出部１０３に出力するようになっている。
ゲイン算出部１０３は、画像枚数設定部１３０により設定された画像の必要枚数に対する撮影枚数カウント部１０２によりカウントされた画像の枚数の比率の逆数を算出し、算出した値をゲインとして輝度情報調整部１２６に出力するようになっている。
【００２２】
輝度情報調整部１２６は、ゲイン算出部１０３により算出されたゲインと画像処理部１０８により画像処理された画像の輝度情報とを乗じることにより、合成前の画像の輝度情報を調整し、輝度情報が調整された画像を画像合成部１２７に出力するようになっている。
画像合成部１２７は、輝度情報調整部１２６により輝度情報が調整された複数の画像を合成し、合成画像を外部メモリ１１２に出力するようになっている。
【００２３】
外部メモリ１１２は、画像合成部１２７より出力された合成画像を記録するようになっている。
表示部１０９は、合成画像を外部メモリ１１２から読み出し、フォーマット変換を行うことによりユーザに目視可能に表示するようになっている。
【００２４】
このように構成された本実施形態に係るカメラの作用について、図３および図４を用いて具体的な例を挙げて以下に説明する。
本実施形態に係るカメラ１が起動されると、図４に示す被写体の像は、光学系１２０によって取得され、撮像部１０７の撮像面に結像される。そして、ユーザによってシャッタボタン１２３が所定量押し込まれると、シャッタボタン判定部１０１は当該情報を制御部４に出力し、制御部４はＡＥ部１０６に露出調節指示を出力する。
【００２５】
ＡＥ部１０６は、制御部４からの露出調節指示が入力されることにより、ＡＥセンサー１２１からの被写体の明るさ情報と、画像枚数設定部１３０に予め設定された、適正露出の画像を合成するために必要とされる画像の必要枚数とに基づいて露出設定値を決定する。なお、ここでは、画像の必要枚数は４枚として、画像枚数設定部１３０に予め設定されているものとして説明する。したがって、露出設定値は、ＡＥ部１０６により適正露出値の１／４として決定される。
上記のように決定された露出設定値は、制御部４を介して撮像装置５に出力され、撮像装置５は、制御部４により取得する画像が設定された露出となるように制御される。
【００２６】
このように制御された撮像装置５により取得された被写体の像は、ユーザによってシャッタボタン１２３が更に所定量押し込まれると、制御部４からの指示により撮像部１０７によって取得され、ＳＤＲＡＭ１１０に出力される。
また、シャッタボタン１２３が所定量押し込まれている間には、撮像装置５により取得された被写体像は連続して撮像部１０７により取得され、ＳＤＲＡＭ１１０に一時保存される。
上記のように連写撮影された画像として、図４の画像Ａ，Ｂ，Ｃを例示する。なお、画像Ｄについては、撮影時間等の都合により撮影が行われなかったものとする。
【００２７】
ＳＤＲＡＭ１１０に一時保存された画像は、撮影枚数カウント部１０２により画像の枚数がカウントされるとともに、画像処理部１０８により画像処理が施される。
また、ゲイン算出部１０３では、画像枚数設定部１３０により設定された画像の必要枚数に対する撮影枚数カウント部１０２によりカウントされた画像の枚数の比率の逆数（ゲイン）が算出される。
すなわち、図４の例において、撮影枚数カウント部１０２により画像の枚数として３枚がカウントされ、前述のとおり画像枚数設定部１３０において画像の必要枚数は４枚として設定されているので、ゲインとして４／３が算出される。
【００２８】
そして、輝度情報調整部１２６により、ゲイン算出部１０３により算出されたゲインと画像処理部１０８により画像処理された画像の輝度情報とが乗算され、その輝度情報が調整される。
このように、画像Ａ，Ｂ，Ｃの輝度情報がそれぞれ４／３倍されることにより、ゲインアップされた画像Ａ’，Ｂ’，Ｃ’が得られる。
【００２９】
輝度情報調整部１２６により輝度情報がゲインアップされた画像Ａ’，Ｂ’，Ｃ’は、画像合成部１２７により合成され、合成された画像は外部メモリ１１２に出力されて記録される。
このように外部メモリ１１２に記録された合成画像が、表示部１０９により読み出され、ユーザに対して目視可能に表示される。
【００３０】
ここで、画像Ａ’，Ｂ’，Ｃ’は、それぞれ画像Ａ，Ｂ，Ｃの輝度情報をゲインアップした画像であるため、画像Ａ’，Ｂ’，Ｃ’を合成して得られる合成画像は、画像Ａ，Ｂ，Ｃ，Ｄを合成して得られる適正露出の合成画像と同等の輝度情報を有することとなる。
【００３１】
以上説明したように、本実施形態に係るカメラによれば、画像処理装置１０が、適正露出の画像の露出情報に対する合成画像の露出情報の比率の逆数を、取得された画像または合成画像の輝度情報に乗算することにより、適正露出の合成画像を生成することができる。すなわち、例えば、連写撮影において、撮影予定枚数よりも少ない枚数で連写を終了した場合にも、その少ない枚数の画像を合成して得られる合成画像の露出情報に応じた比率で、画像処理装置１０により合成前の画像または合成画像の輝度が増幅されるので、適正露出の合成画像を生成することができる。
【００３２】
ここで、合成前の画像は、マイナス露出で撮影された画像であるが、例えば、シャッタスピードを速くすることにより得られたマイナス露出の画像を合成することにより、ブレのない鮮明な適正露出の画像を得ることができる。また、絞りを絞ることにより得られたマイナス露出の画像を合成することにより、被写界深度の深い適正露出の画像を得ることができる。さらに、感度を低下させることにより得られたマイナス露出の画像を合成することにより、ノイズの少ない適正露出の画像を得ることができる。
【００３３】
また、本実施形態に係るカメラによれば、画像枚数設定部１３０により必要枚数が設定されると、露出調節部６によりその必要枚数の画像を合成した合成画像の露出が適正露出となるように、撮像装置５の露出が調節される。したがって、連写撮影において必要枚数の画像が取得されれば、それらの画像を合成して適正露出の合成画像を容易に生成することができる。また、必要枚数に満たない画像が取得された場合には、これを増幅して適正露出の合成画像を得ることができる。
また、露出情報として画像の枚数を用いることによって、より容易に適正露出の合成画像を生成することができる。
【００３４】
なお、本実施形態において、ゲイン算出部１０３により算出されるゲインは、合成前の各画像に対して一定であるとして説明したが、例えば、合成前の各画像のノイズ量を算出し、該ノイズ量に応じたゲインをそれぞれ算出してもよい。これにより、ノイズ量が比較的小さな画像のゲインを、ノイズ量が比較的大きな画像のゲインよりも大きくすることによって、合成画像の画質を向上させることができる。
【００３５】
また、本実施形態において、合成前の画像に対してゲインを乗じることとして説明したが、輝度調整部１２６を画像合成部１２７の後段に設け、合成後の画像に対してゲインを乗じることとしてもよい。これにより、より容易に適正露出の合成画像を生成することができる。
【００３６】
また、本実施形態では、画像処理装置としてハードウェアによる処理を前提としていたが、このような構成に限定されるものではない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を備えていればよい。そして、ＣＰＵが上記記憶媒体に記録されているプログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させることができる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。
【００３７】
上記のソフトウェアによる具体的な処理について、図５に示すフローチャートに基づいて以下に説明する。
まず、ユーザによって１枚の合成画像を生成するために必要となる画像の枚数Ｎの設定が行われる（Ｓ１）。
そして、ユーザによってシャッタボタンが押下され、連写モードによって撮影が開始されると（Ｓ２）、撮影枚数のカウント値Ｍがリセットされ（Ｓ３）、Ｓ１によって設定された必要枚数Ｎに基づいて合成前の画像の露出が設定される（Ｓ４）。
撮像部により撮影された画像は、ＳＤＲＡＭ等の記憶手段に一時保存され（Ｓ５）、所定の画像処理が施されるとともに（Ｓ６）、撮影枚数がカウントされる（Ｓ７）。
【００３８】
そして、撮影した画像の枚数Ｍが必要枚数Ｎに達したか否かの判断が行われ（Ｓ８）、撮影した画像の枚数Ｍが必要枚数Ｎに達した場合には後述するＳ１１に進み、撮影した画像の枚数Ｍが必要枚数Ｎよりも少ない場合にはシャッタボタンの押下が解除されているか否かの判定が行われる（Ｓ９）。シャッタボタンの押下が解除されていない場合にはＳ５に戻って処理が継続され、シャッタボタンの押下が解除されている場合には合成対象の画像に対してＮ／Ｍのゲインが乗じられる（Ｓ１０）。
【００３９】
次に、ゲインが乗じられた画像の合成が行われ（Ｓ１１）、合成画像は外部メモリに出力されて記録される（Ｓ１２）。
上記のように外部メモリに記録された参照画像および合成画像が、表示部にサムネイル画像として表示され、連写撮影が終了する（Ｓ１３）。
【００４０】
また、本実施形態に係る画像処理装置およびカメラの変形例として、図６に示すように、撮影枚数カウント部１０２の替わりに、合成前の画像の平均輝度値を抽出する輝度抽出部１４０を設けてもよい。
本変形例に係るカメラによれば、輝度抽出部１４０が、実際に取得された各画像の平均輝度値を抽出し、ゲイン算出部１０３が、予め設定された適正露出の画像の平均輝度値と輝度抽出部１４０により抽出された各画像の平均輝度値の合計との比率を算出する。そして、輝度調整部１２６により、ゲイン算出部１０３により算出された比率が合成前の画像または合成画像の輝度情報に乗算されるので、適正露出の合成画像を生成することができる。また、露出情報として平均輝度値を用いることにより、合成画像の平均輝度値が適正露出の画像の平均輝度値よりも大きくなってしまった場合においても、１よりも小さなゲインを乗じることによって、適正露出の合成画像を得ることができる。
【００４１】
なお、ゲイン算出部１０３は、輝度抽出部１４０により抽出された各画像の平均輝度値に応じて、画像毎にゲインを変化させてもよい。具体的には、例えば、各画像の平均輝度値の平均値を求め、各画像の平均輝度値が該平均値となるようなゲインをそれぞれ算出することとしてもよい。
【図面の簡単な説明】
【００４２】
【図１】本発明の一実施形態に係るカメラの上面図である。
【図２】図１に示すカメラの背面図である。
【図３】図１に示すカメラが備える機能を展開して示した機能ブロック図である。
【図４】図１に示すカメラの具体的な動作を説明する図である。
【図５】本発明の一実施形態に係るカメラの処理手順を示すフローチャートである。
【図６】本発明の変形例に係るカメラが備える機能を展開して示した機能ブロック図である。
【符号の説明】
【００４３】
１  カメラ
３，３０  カメラ本体
４  制御部
５  撮像装置
６  露出調節部
７  シャッタ操作部
１０，２０  画像処理装置
１０２  撮影枚数カウント部
１０３  ゲイン算出部
１０８  画像処理部
１０９  表示部
１１０  ＳＤＲＡＭ
１１２  外部メモリ
１２６  輝度調整部
１２７  画像合成部
１３０  画像枚数設定部
１４０  輝度抽出部
【図１】
2009044362.tif 000003
【図２】
2009044362.tif 000004
【図３】
2009044362.tif 000005
【図４】
2009044362.tif 000006
【図５】
2009044362.tif 000007
【図６】
2009044362.tif 000008