(57)【要約】【課題】被写体の位置ずれを最小限にし、ユーザの納得を得られる合成画像を生成するとともに、ユーザの納得を得られる露出条件の合成画像を提供すること。【解決手段】撮影部１０３は、画像毎にオーバー露出とアンダー露出とを交互に繰り返すとともに、画像毎に異なる露出値を設定して複数枚の画像を撮影する。メモリ１０７は、撮影部１０３により撮影した画像を順次記憶する。ダイナミックレンジ拡大合成処理部１０８は、メモリ１０７に記憶した画像を順次合成する。表示部１１０は、ダイナミックレンジ拡大合成処理部１０８により合成した合成画像を表示する。【選択図】図１
2011205546.tif 000002
【特許請求の範囲】
【請求項１】
画像毎にオーバー露出とアンダー露出とを交互に繰り返すとともに、画像毎に異なる可変露出値を設定して複数枚の画像を撮影する撮影手段と、
前記撮影手段により撮影した画像を順次記憶する記憶手段と、
前記記憶手段に記憶した画像を順次合成する合成手段と、
前記合成手段により合成した合成画像を表示する表示手段と、
を具備する撮影装置。
【請求項２】
前記撮影手段は、前記複数枚の画像の撮影を開始するタイミングに近いタイミングで撮影する画像ほど、適正露出値との差分が大きくなる前記可変露出値を設定する請求項１記載の撮影装置。
【請求項３】
前記撮影手段は、前記複数枚の画像の撮影を開始するタイミングに近いタイミングで撮影する画像ほど、適正露出値との差分が小さくなる前記可変露出値を設定する請求項１記載の撮影装置。
【請求項４】
前記撮影手段は、過去に選択された前記合成画像の前記可変露出値に基づいて、新たに撮影する前記複数枚の画像の前記可変露出値を設定する請求項１記載の撮影装置。
【請求項５】
前記撮影手段は、前記複数枚の画像を連写により撮影する請求項１記載の撮影装置。
【請求項６】
撮影した画像を合成する撮影装置における画像合成方法であって、
画像毎にオーバー露出とアンダー露出とを交互に繰り返すとともに、画像毎に異なる可変露出値を設定して複数枚の画像を撮影するステップと、
前記撮影した画像を順次記憶するステップと、
前記記憶した画像を順次合成するステップと、
を具備する画像合成方法。
【請求項７】
コンピュータに、
画像毎にオーバー露出とアンダー露出とを交互に繰り返すとともに、画像毎に異なる可変露出値を設定して複数枚の画像を撮影するステップと、
前記撮影した画像を順次記憶するステップと、
前記記憶した画像を順次合成するステップと、
を実行させる画像合成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置、画像合成方法及び画像合成プログラムに関し、特に露出を変化させながら複数枚の画像を撮影して合成する撮影装置、画像合成方法及び画像合成プログラムに関する。
【背景技術】
【０００２】
従来、撮影条件を変えた複数の画像を合成して、ダイナミックレンジの拡張及び好ましい階調表現を実現する撮影装置が知られている（例えば、特許文献１）。
【０００３】
特許文献１の撮影装置は、被写界を測光する測光部と、測光部による測光値の最小値から最大値までの幅を、複数回の撮影によりカバーする撮影条件を決定する決定部と、撮影条件に従って被写体像を複数回撮影して複数の画像を生成する撮影部とを具備する。そして、撮影部により撮影したｎ枚の画像は記録部に記録され、記録されたｎ枚の画像は適宜合成される。これにより、特許文献１では、ダイナミックレンジが拡張され、かつ、好ましい階調表現の画像を生成することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２７６２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１においては、合成する画像の各々の撮影タイミングの間隔が長い場合には被写体の位置ずれが生じ、ユーザの納得を得られる合成画像を生成することが困難であるという問題がある。また、特許文献１においては、ｎ枚の画像における露出条件のバリエーションが少ない場合には、ユーザの納得を得られる露出条件の合成画像を提供することが困難であるという問題がある。
【０００６】
本発明の目的は、被写体の位置ずれを最小限にすることができ、ユーザの納得を得られる合成画像を生成することができるとともに、ユーザの納得を得られる露出条件の合成画像を提供することができる撮影装置、画像合成方法及び画像合成プログラムを提供することである。
【課題を解決するための手段】
【０００７】
本発明の撮影装置は、画像毎にオーバー露出とアンダー露出とを交互に繰り返すとともに、画像毎に異なる可変露出値を設定して複数枚の画像を撮影する撮影手段と、前記撮影手段により撮影した画像を順次記憶する記憶手段と、前記記憶手段に記憶した画像を順次合成する合成手段と、前記合成手段により合成した合成画像を表示する表示手段と、を具備する構成を採る。
【０００８】
本発明の画像合成方法は、撮影した画像を合成する撮影装置における画像合成方法であって、画像毎にオーバー露出とアンダー露出とを交互に繰り返すとともに、画像毎に異なる可変露出値を設定して複数枚の画像を撮影するステップと、前記撮影した画像を順次記憶するステップと、前記記憶した画像を順次合成するステップと、を具備するようにした。
【０００９】
本発明の画像合成プログラムは、コンピュータに、画像毎にオーバー露出とアンダー露出とを交互に繰り返すとともに、画像毎に異なる可変露出値を設定して複数枚の画像を撮影するステップと、前記撮影した画像を順次記憶するステップと、前記記憶した画像を順次合成するステップと、を実行させるようにした。
【発明の効果】
【００１０】
本発明によれば、被写体の位置ずれを最小限にすることができ、ユーザの納得を得られる合成画像を生成することができるとともに、ユーザの納得を得られる露出条件の合成画像を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態に係る撮影装置の構成を示すブロック図
【図２】本発明の実施の形態に係る画像合成方法を示すフロー図
【図３】本発明の実施の形態に係る連写による撮影の際の露出設定方法を示す図
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１３】
（実施の形態）
図１は、本発明の実施の形態に係る撮影装置１００の構成を示すブロック図である。
【００１４】
撮影装置１００は、適正露出決定部１０１と、露出補正部１０２と、撮影部１０３と、事前露出補正値決定部１０４と、カメラ画像取込制御部１０５と、メモリ１０６と、メモリ１０７と、ダイナミックレンジ拡大合成処理部１０８と、メモリ１０９と、表示部１１０とから主に構成される。また、撮影手段であるカメラ部１５０は、適正露出決定部１０１と、露出補正部１０２と、撮影部１０３とを含む。以下に、各構成について、詳細に説明する。
【００１５】
適正露出決定部１０１は、適正露出値を決定し、決定した適切露出値を露出補正部１０２へ出力する。
【００１６】
露出補正部１０２は、カメラ画像取込制御部１０５から入力した露出補正値を設定する。また、露出補正部１０２は、設定した露出補正値と、適正露出決定部１０１から入力した適正露出値とに基づいて、撮影部１０３における連写による撮影時の露出を、画像毎に逐次変化させる制御を行う。
【００１７】
撮影部１０３は、露出補正部１０２の制御に従って、オーバー露出とアンダー露出とを画像毎に交互に繰り返すとともに、画像毎に異なる露出値を設定することにより、露出値を逐次変化させて複数枚の画像を撮影する。また、撮影部１０３は、撮影した画像をカメラ画像取込制御部１０５へ出力する。ここで、オーバー露出とは、適正露出以上の露出を意味する。また、アンダー露出とは、適正露出以下の露出を意味する。
【００１８】
事前露出補正値決定部１０４は、連写撮影枚数分の露出補正値を各々決定する。そして、事前露出補正値決定部１０４は、決定した露出補正値をカメラ画像取込制御部１０５へ出力する。
【００１９】
カメラ画像取込制御部１０５は、事前露出補正値決定部１０４から露出補正値を取得して露出補正部１０２へ出力する。また、カメラ画像取込制御部１０５は、撮影部１０３において撮影した画像を取り込んで、メモリ１０６及びメモリ１０７へ出力する。この際、カメラ画像取込制御部１０５は、適正露出により撮影した画像を、プレビュー用画像データ１ｇとして取り込んでメモリ１０６へ出力する。
【００２０】
メモリ１０６は、カメラ画像取込制御部１０５から入力した画像を、プレビュー用画像データ１ｇとして記憶する。
【００２１】
メモリ１０７は、カメラ画像取込制御部１０５から入力した複数枚の画像を、ダイナミックレンジ拡大合成用画像群１ｉとして順次記憶する。メモリ１０７に記憶されたダイナミックレンジ拡大合成用画像群１ｉは、撮影した時間順に管理される。
【００２２】
ダイナミックレンジ拡大合成処理部１０８は、メモリ１０７に記憶した２枚の画像を、時間順に順次合成するダイナミックレンジ拡大合成処理を実施する。そして、ダイナミックレンジ拡大合成処理部１０８は、ダイナミックレンジ拡大合成処理後の合成画像をメモリ１０９へ出力する。
【００２３】
メモリ１０９は、ダイナミックレンジ拡大合成処理部１０８から入力した複数の合成画像を、ダイナミックレンジ拡大合成画像群１ｌとして記憶する。
【００２４】
表示部１１０は、メモリ１０６に記憶しているプレビュー用画像データ１ｇの画像をプレビュー画像として表示する。また、表示部１１０は、メモリ１０９に記憶しているダイナミックレンジ拡大合成画像群１ｌの各合成画像を表示する。
【００２５】
以上で、撮影装置１００の構成の説明を終える。
【００２６】
次に、撮影装置１００における画像合成方法について、図２を用いて説明する。図２は、画像合成方法を示すフロー図である。
【００２７】
最初に、事前露出補正値決定部１０４は、オーバー露出の最大露出値及びアンダー露出の最大露出値を決定する（ステップＳＴ２０１）。また、適正露出決定部１０１は、適正露出を決定する。
【００２８】
また、事前露出補正値決定部１０４は、ステップＳＴ２０１において決定した最大露出値に基づいて、撮影枚数（Ｎ（Ｎは１以上の任意の自然数）＋１枚）分の露出補正値を各々決定する（ステップＳＴ２０２）。
【００２９】
次に、露出補正部１０２は、ステップＳＴ２０２において決定した露出補正値と適正露出値とに基づいて撮影部１０３における連写時の露出を制御する。そして、撮影部１０３は、露出補正部１０２の制御に従って露出値を設定し、撮影枚数分の連写撮影を実施する（ステップＳＴ２０３）。
【００３０】
次に、ダイナミックレンジ拡大合成処理部１０８は、撮影した時間順に従って２枚の画像を合成するダイナミックレンジ拡大合成処理をＮ回実施する（ステップＳＴ２０４）。
【００３１】
以上で、撮影装置１００における画像合成方法の説明を終える。
【００３２】
次に、連写による撮影の際の露出設定方法について、図３を用いて説明する。図３は、連写による撮影の際の露出設定方法を示す図である。
【００３３】
図３では、連写による撮影枚数を６枚とする。また、図３では、平均露出値３ｃを０ＥＶ（Exposure Value）とする。また、図３では、オーバー露出の最大露出値３ａ（＋２ＥＶ）と、アンダー露出の最大露出値３ｂ（−２ＥＶ）との範囲（−２ＥＶ〜＋２ＥＶの範囲）において、３分の２刻みで逐次露出値を設定して露出補正する。そして、奇数枚目の撮影画像をオーバー露出とし、偶数枚目の撮影画像をアンダー露出とし、オーバー露出とアンダー露出とを交互に繰り返す。ここで、平均露出値３ｃは、適正露出決定部１０１により決定した適正露出値である。また、最大露出値３ａ及び最大露出値３ｂは、露出補正部１０２に設定される。
【００３４】
また、連写時の１枚目の露出値〜(Ｎ＋１)枚目の露出値を決定する際に、１枚目を先頭とする奇数枚目は、１枚目の露出値をオーバー露出の最大露出値３ａとし、以降、３枚目、５枚目と枚数が増えるにつれて平均露出値３ｃに近づくように露出値を減らしていく。同様に、２枚目を先頭とする偶数枚目は、２枚目の露出値をアンダー露出の最大露出値３ｂとし、以降、４枚目、６枚目と枚数が増えるにつれて平均露出値３ｃに近づくように露出値を増やしていく。この結果、連写時の１枚目の露出値〜(Ｎ＋１)枚目の露出値は、オーバー側の露出値と、アンダー側の露出値とが交互に繰り返し設定され、ジグザグの変化をしながら、枚数が増えるにつれて平均露出値３ｃに近づく。なお、図３では、奇数枚目をオーバー側及び偶数枚目をアンダー側としたが、これに限らず、奇数枚目をアンダー側及び偶数枚目をオーバー側としてもよい。
【００３５】
具体的には、図３において、オーバー露出の最大露出値３ａを＋２ＥＶとし、アンダー露出の最大露出値３ｂを−２ＥＶとする。奇数枚目は１枚目、３枚目、５枚目であり、１枚目の露出値は＋２ＥＶ、３枚目の露出値は＋４／３ＥＶ、５枚目の露出値は＋２／３ＥＶとなり、枚数が増えるほど平均露出値３ｃに近づくように減らしていく。即ち、連写時の撮影開始タイミングに近いタイミングで撮影する画像ほど、平均露出値３ｃと撮影部１０３において設定する露出値との差分が大きくなる。
【００３６】
一方、偶数枚目は２枚目、４枚目、６枚目であり、２枚目の露出値は−２ＥＶ、４枚目の露出値は−４／３ＥＶ、６枚目の露出値は−２／３ＥＶとなり、枚数が増えるほど平均露出値３ｃに近づくように増やしていく。即ち、連写時の撮影開始タイミングに近いタイミングで撮影する画像ほど、平均露出値３ｃと撮影部１０３において設定する露出値との差分が大きくなる。
【００３７】
この結果、連写時の１枚目〜６枚目の露出値の変化は、「＋２ＥＶ」、「−２ＥＶ」、「＋４／３ＥＶ」、「−４／３ＥＶ」、「＋２／３ＥＶ」、「−２／３ＥＶ」の順に変化する。即ち、オーバー露出の露出値とアンダー露出の露出値とが交互に設定されるジグザグの変化をしながら、平均露出値３ｃに近づく。
【００３８】
また、事前露出補正値決定部１０４は、ユーザが選択した合成画像の撮影部１０３において設定した露出値を記憶し、記憶した露出値に基づいて露出補正値を決定し、決定した露出補正値により、新たに連写する画像の露出値を設定してもよい。例えば、事前露出補正値決定部１０４は、２／３ＥＶ以外の一定の補正量で、撮影部１０３において設定する露出値を変化させてもよいし、連写する画像毎に異なる補正量で、撮影部１０３において設定する露出値を変化させてもよい。
【００３９】
このように、本実施の形態によれば、連続して撮影した露出条件の異なる２枚の画像を合成するので、被写体の位置ずれを最小限にすることができ、ユーザの納得を得られる合成画像を生成することができる。また、本実施の形態によれば、全ての画像において露出条件を異ならせるので、露出条件のバリエーションを増やすことができ、ユーザの納得を得られる露出条件の合成画像を提供することができる。
【００４０】
なお、本実施の形態の図３において、設定する露出値をＥＶ値にしたが、本発明はこれに限らず、例えば、カメラ部１５０において定義される独自の露出補正パラメータにより露出を設定してもよい。即ち、本実施の形態において、撮影枚数以上の異なる露出値を設定できる任意のパラメータを用いることができる。また、本実施の形態の図３において、連写時の撮影開始タイミングに近いタイミングで撮影する画像ほど、平均露出値３ｃとの差分が大きくなる露出値を設定したが、本発明はこれに限らず、連写時の撮影開始タイミングに近いタイミングで撮影する画像ほど、平均露出値３ｃとの差分が小さくなる露出値を設定してもよい。また、連写する画像毎に、任意の露出値を設定してもよい。また、本実施の形態において、撮影装置には、カメラ付き携帯電話機等のカメラ付き通信端末装置を含む。
【産業上の利用可能性】
【００４１】
本発明にかかる撮影装置、画像合成方法及び画像合成プログラムは、特に露出を変化させながら複数枚の画像を撮影して合成するのに好適である。
【符号の説明】
【００４２】
１００  撮影装置
１０１  適正露出決定部
１０２  露出補正部
１０３  撮影部
１０４  事前露出補正値決定部
１０５  カメラ画像取込制御部
１０６、１０７、１０９  メモリ
１０８  ダイナミックレンジ拡大合成処理部
１１０  表示部
１５０    カメラ部
【図１】
2011205546.tif 000003
【図２】
2011205546.tif 000004
【図３】
2011205546.tif 000005