(57)【要約】      （修正有）【課題】光源の色比が時間によって変化する環境下でも露光時間や撮影のタイミングによらず、正しいホワイトバランスを設定することを可能にした撮像装置を提供する。【解決手段】撮像素子１０３、光源光量の時間変化を取得する測光センサ１０８、測光センサ１０８から得られた光源光量の周期と位相と露光時間を元に、露光時間の中央が光源光量のピークと合うような露光開始タイミングを生成する画像処理演算用のＣＰＵ１１２を有し、マニュアルホワイトバランス撮影において秒時を変えた2枚以上の画像を取得し、取得した画像を元に、露光秒時に応じて適用するホワイトバランス設定を変化させる。【選択図】図２
2015115806.tif 000002
【特許請求の範囲】
【請求項１】
以下の構成要素、特徴を有する撮像装置。
A．撮像素子(103)
B．光源光量の時間変化を取得する手段(108)
C．「Bの手段から得られた光源光量の周期と位相」と「露光時間」を元に、「露光時間の中央が光源光量のピークと合うような露光開始タイミング」を生成する手段(112)
D．マニュアルホワイトバランス撮影において秒時を変えた2枚以上の画像を取得することを特徴とする(図1)
E．Dで取得した画像を元に、露光秒時に応じて適用するホワイトバランス設定を変化させることを特徴とする(図5)。
【請求項２】
請求項1の構成に加えて以下の構成要素、特徴を追加する。
F．Dで取得する画像には以下の2つが含まれていることを特徴とする
F1.光源の光量が最大になるタイミングを中心として光源の周期の1/2周期以下の時間で露光した画像(図1:露光A)
F2.光源の周期の1周期以上露光した画像(図1:露光B)
G．撮影する画像の露光時間が上記1と2の間のときはホワイトバランス設定を補完する(図5)。
【請求項３】
以下の構成要素、特徴を有する撮像装置。
A．撮像素子(103)
B．光源光量の時間変化を色ごとに取得する手段(108)
C．「Bの手段から得られた光源光量の周期と位相」と「露光時間」を元に、「露光時間の中央が光源光量のピークと合うような露光開始タイミング」を生成する手段(112)
D．マニュアルホワイトバランス撮影において以下の2つを取得する
D1.光源光量の1周期の区間、前記Aで露光した画像の色比(図6:WRC)
D2.光源光量の1周期を複数の区間に分割して、それぞれの区間を前記Bで測光した色比(図6:AER(0) 〜AER(5))
E．Dの結果と撮影画像の露光時間を元に画像のホワイトバランスを算出する。
演算方法は((D2を露光時間で積分したもの)/(D2を光源光量の1周期で積分したもの))*D1とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特にホワイトバランスの制御に関するものである。
【背景技術】
【０００２】
デジタルカメラにはホワイトバランス設定方法として、「マニュアルホワイトバランス撮影機能」を有するものがある。この機能では画像を1枚撮影し、その画像が白い被写体を撮影されたものとして画像のRGBの色比を算出し、算出された色比をホワイトバランスとして設定する（特許文献１）。
【０００３】
そのため色温度でホワイトバランスを設定するのに比べてRGBの色比を正確に設定できるという利点がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−３４２９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献１に記載されたような「マニュアルホワイトバランス機能」では、光源のRGBの色比が時間によって変化する環境下では露光時間や撮影のタイミングによって撮影画像の色比が変化するため、マニュアルホワイトバランス機能で設定した固定のホワイトバランス設定値では対応できないという問題があった。
【０００６】
そこで、本発明の目的は、光源の色比が時間によって変化する環境下でも露光時間や撮影のタイミングによらず、正しいホワイトバランスを設定することを可能にした撮像装置を提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は、以下の構成要素、特徴を有する。
A．撮像素子(103)
B．光源光量の時間変化を取得する手段(108)
C．「Bの手段から得られた光源光量の周期と位相」と「露光時間」を元に、「露光時間の中央が光源光量のピークと合うような露光開始タイミング」を生成する手段(112)
D．マニュアルホワイトバランス撮影において秒時を変えた2枚以上の画像を取得することを特徴とする(図1)
E．Dで取得した画像を元に、露光秒時に応じて適用するホワイトバランス設定を変化させることを特徴とする(図5)
【発明の効果】
【０００８】
本発明によれば光源のRGBの色比が時間によって変化する環境下でも露光時間や撮影のタイミングによらず、正しいホワイトバランスを設定することを可能にした撮像装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】実施例1のマニュアルホワイトバランス撮影のフロー
【図２】カメラシステムの構成
【図３】光源周期とピーク
【図４】実施例1のマニュアルホワイトバランス撮影の露光時間とタイミング
【図５】実施例1のホワイトバランス算出時のフロー
【図６】実施例2のマニュアルホワイトバランス撮影のフロー
【図７】実施例2のマニュアルホワイトバランス撮影の露光時間とタイミング
【図８】実施例2のマニュアルホワイトバランス撮影時の測光センサによる測光
【図９】実施例2のホワイトバランス算出時のフロー
【発明を実施するための形態】
【００１０】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１１】
図2は本発明の実施例にかかわるカメラシステムの構成を示す図である。
【００１２】
100はカメラ本体を、200はレンズを示している。101はカメラ100の各部を制御するマイクロコンピュータCPU（以下、カメラマイコン）である。102はカメラマイコン101に接続されているRAMやROM等のメモリである。103は赤外カットフィルタやローパスフィルタ等を含むCCD，CMOS等の撮像素子であり、レンズ200によって撮影時に被写体の像が結像される。104はシャッターで非撮影時には撮像素子103を遮光し、撮影時には開いて撮像素子103へ光線を導く。
【００１３】
105はハーフミラーで非撮影時にレンズ200より入射する光の一部を反射し106のピント板に結像させる。107はPN液晶等のAF測距枠を表示するための表示素子であり、光学ファインダーを覗いたときにどの位置でAFしているか等をユーザーに示す。108は測光センサで、CCD、COMS等の撮像素子を使用することによりRGBの色ごとに測光できる。また、5/3[ms]の周期で測光する機能を備えているため光源光量の時間変化を検出可能である。
【００１４】
本実施例では光源光量の時間変化を検出する手段として測光センサを例に挙げているが、本画像の撮像素子を用いても良い。また、測光できる周期が5/3[ms]以外でもよい。
【００１５】
109はペンタプリズムで、ピント板106の被写体像を測光センサ108及び光学ファインダーに導く。測光センサはペンタプリズムを介してピント板106に結像された被写体像を斜めの位置から見込んでいる。110は焦点検出回路で、111のAFミラーで、レンズより入射し、ハーフミラー105を通過した光線の一部を焦点検出回路内のAFセンサに導き測距を行っている。
【００１６】
112は測光センサ108の駆動制御や画像処理・演算用のCPU（以下ICPUと呼ぶ）で、測光センサの出力値を元に各種演算を行う。静止画を撮影する際には露光時間の中央が光源光量のピークと合うような露光開始タイミングを生成する。
【００１７】
113はAECPU112に接続されているRAMやROM等のメモリである。今回は、112のように測光センサ専用のCPUを用意したが、101のカメラマイコン等で処理を行っても良い。
【００１８】
201はレンズ内のCPU（以下LPUと呼ぶ）で、被写体との距離情報等をカメラマイコンに送る。
【００１９】
以上で図2の本発明の実施例にかかわるカメラシステムの構成図の説明を終わる。
【００２０】
以下に本発明の実施例1と実施例2について説明する。なお、ホワイトバランスの設定はRGB成分のGを基準として、「Gに対するRの比」と「Gに対するBの比」の2つのパラメータが必要になるが、以下の実施例では「Gに対するRの比(以下WRと表記)」についてのみ説明する。「Gに対するBの比」についても同様の方法で算出可能である。
【００２１】
［実施例１］
(実施例1の概要)
マニュアルホワイトバランス撮影では図4のように露光時間を変化させた2枚の画像を撮影し、それぞれのホワイトバランスを記憶する。
画像のホワイトバランスは露光時間に応じて
・露光Aのホワイトバランスを使う
・露光Bのホワイトバランスを使う
・露光AとBの間を線形補完したホワイトバランスを使う
のいずれかにする。
【００２２】
実施例1のマニュアルホワイトバランス撮影時のフローを図1のフローチャートを用いて説明する。
【００２３】
(図1の概要)
露光時間を変化させた2枚の画像を撮影し、それぞれのホワイトバランスを記憶する。
【００２４】
[S101]ICPU112で測光センサ108を駆動させ、出力された測光結果を元に光源の「光源周期λ」と「光源光量のピークタイミングt_peak」を算出する。例を図3用いて説明する。
測光センサ108で取得した光源の光量を実線で示している。このときの光源の光量はRGB成分ごとに分ける必要はない。この時間変化を元に「光源周期λ」と「光源光量のピークタイミングt_peak」を算出する。算出の方法については省略する。
【００２５】
[S102]露光時間TVA=1/1000として撮像素子103で露光を行う。この露光を「露光A」と定義する。光源光量の変化と露光Aのタイミングは図4左のようになる。この時、ICPU112が露光時間の中央がt_peakと合うような露光開始タイミングを生成することで露光時間の中央がt_peakと合う。
【００２６】
[S103]露光Aで取得された画像からホワイトバランスパラメータWRAを算出する。WRAはRGBのGに対するRの比で、(全画素のR成分の和/全画素のG成分の和)で算出できる。WRAの算出方法はこれ以外の演算式で行ってもよい。
【００２７】
[S104]露光時間TVB=λとしてS102の露光Aと同様に露光Bを行う。光源光量の変化と露光Bのタイミングは図4右のようになる。
【００２８】
[S105]露光Bで取得された画像からS103と同様の方法でホワイトバランスパラメータWRBを算出する。
【００２９】
[S106]メモリ113にWRA,WRB,TVA,TVBをマニュアルホワイトバランス設定値として保存する。
【００３０】
続いて、ホワイトバランス設定を「図1のフローで取得されたマニュアルホワイトバランス設定値」に設定した状態で画像を撮影するときのホワイトバランス算出フローについて、図5のフローチャートを用いて説明する。ここで算出するホワイトバランスのパラメータはRGB成分の「Gに対するRの比(WR)」である。
【００３１】
（図5の概要）
画像の露光時間が図4の
TVA以下のとき：露光Aのホワイトバランスを使う
TVB以上の時：露光Bのホワイトバランスを使う
TVAとTVBの間の時：露光Aと露光Bのホワイトバランスを線形補完する。
【００３２】
[S201]ICPU112で測光センサ108を駆動させ、得られた測光値を元に露光時間tvを算出する。算出方法は省略。
【００３３】
[S202]S201で算出したtvがマニュアルホワイトバランス撮影時の露光Aの露光時間TVA(図4左側で図示)以下のときはS204の処理を行う。そうでないときはS203の処理を行う。
【００３４】
[S203]S201で算出したtvがマニュアルホワイトバランス撮影時の露光Bの露光時間TVB(図4右側で図示)以上のときはS205の処理を行う。そうでないときはS206の処理を行う。
【００３５】
[S204]WRはマニュアルホワイトバランス撮影時の露光Aの画像から算出されたWRAと同じ値にする。
【００３６】
[S205]WRはマニュアルホワイトバランス撮影時の露光Bの画像から算出されたWRBと同じ値にする。
【００３７】
[S206]WRは「露光Aの画像から算出されたWRA」と「露光Bの画像から算出されたWRB」の間を露光時間に応じて線形補完した値にする。演算式は
【００３８】
【数１】
2015115806.tif 000003
【００３９】
となる。
【００４０】
以上のフローでホワイトバランスのパラメータを算出することで、図4のようにRGBの色比が時間によって変化する光源下でも露光時間によらず適切なホワイトバランスが算出できる。
【００４１】
［実施例２］
以下に実施例2について説明する。
【００４２】
(実施例2の概要)
マニュアルホワイトバランス撮影時に光源光量の1周期を露光時間とした画像を撮像センサで撮影し、画像のRGBの色比をホワイトバランスの基準値として保存しておく。加えて測光センサでRGBの色比AERの時間変化を保存しておく。画像のホワイトバランス算出時は露光時間とAERの時間変化を元にホワイトバランスのパラメータを調整する。
【００４３】
実施例2のマニュアルホワイトバランス撮影時のフローを図6のフローチャートを用いて説明する。この実施例の光源光量の周期は10[ms]としている。
【００４４】
(図6の概要)
光源光量の1周期を露光時間とした画像を撮像センサで撮影し、RGBの色比をホワイトバランスの基準値として保存しておく。加えて測光センサでRGBの色比を光源光量の1周期より短い区間に分割して取得しておき、露光時間が変わったときの補正に使うパラメータとして保存しておく。
【００４５】
[S301] ICPU112で測光センサ108を駆動させ、出力された測光結果を元に光源の「光源周期λ」と「光源光量のピークタイミングt_peak」を算出する。例を図3を用いて説明する。
【００４６】
測光センサ108で取得した光源の光量を実線で示している。このときの光源の光量はRGB成分ごとに分ける必要はない。この時間変化を元に「光源周期λ」と「光源光量のピークタイミングt_peak」を算出する。算出の方法については省略する。
【００４７】
[S302]露光時間TVC=λとして撮像素子103で露光を行う。この露光を「露光C」と定義する。光源光量の変化と露光Cのタイミングは図7のようになる。この時、ICPU112が露光時間の中央がt_peakと合うような露光開始タイミングを生成することで露光時間の中央がt_peakと合う。
【００４８】
[S303]露光Cで取得された画像からホワイトバランスパラメータWRCを算出する。WRCはRGBのGに対するRの比(全画素のR成分の和/全画素のG成分の和)で算出できる。WRCの算出方法はこれ以外の演算式で行ってもよい。
【００４９】
[S304]ICPU112で測光センサ108を駆動させ、5/3[ms]おきに合計6回測光を行う。各測光のタイミングを図8に示す。図8で示されるように、「光量ピークタイミングt_peak」がAER(2)の測光(3回目の測光)とAER(3)の測光(4回目の測光)の間に入るように測光タイミングを制御する。また、ここでの測光はRGBの色ごとに測光値を出す。
【００５０】
[S305]S304で取得した測光値を元に5/3[ms]おきのRGBのGに対するRの比であるAER(0)〜AER(5)を算出する。AER(0)〜AER(5)は図示した測光タイミングで取得した「R成分/G成分」で算出できる。
【００５１】
[S306]メモリ113にWRCとAER(0)〜AER(5) をマニュアルホワイトバランス設定値として保存する。
【００５２】
続いて、ホワイトバランス設定を「図6のフローで取得されたマニュアルホワイトバランス設定値」に設定した状態で画像を撮影するときのホワイトバランス算出フローについて、図9のフローチャートを用いて説明する。ここで算出するホワイトバランスのパラメータはRGB成分の「Gに対するRの比(WR)」である。
【００５３】
(図9の概要)
撮影する画像が露光時間によらずマニュアルホワイトバランス撮影時の色になるようにホワイトバランスのパラメータを補正する。補正にはマニュアルホワイトバランス撮影時に測光センサで記録した「色比の時間変化」を用いる。
【００５４】
[S401]ICPU112で測光センサ108を駆動させ、得られた測光値を元に露光時間tvを算出する。算出方法は省略。
【００５５】
[S402]露光時間tvでAER(0)〜AER(5)を積分し、ホワイトバランス補正パラメータXRを算出する。撮影時の露光は図8のt_peakを中央として行われるので具体的な式は以下のようにtv値によって変化する。
・tv<(λ/3)のとき
【００５６】
【数２】
2015115806.tif 000004
【００５７】
・tv<(2λ/3)のとき
【００５８】
【数３】
2015115806.tif 000005
【００５９】
・tv≧(2λ/3)のとき
【００６０】
【数４】
2015115806.tif 000006
【００６１】
[S403]S402で算出したホワイトバランス補正パラメータXRと図6のフローで取得したマニュアルホワイトバランス設定値から画像のホワイトバランスパラメータWRを以下の式で算出する。
【００６２】
【数５】
2015115806.tif 000007
【００６３】
以上のフローでホワイトバランスのパラメータを算出することで、図8のようにRGBの色比が時間によって変化する光源下でも露光時間によらず適切なホワイトバランスが算出できる。
【００６４】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００６５】
１００    カメラ
１０１    カメラマイコン
１０３    撮像素子
１０４    シャッター
１０５    ハーフミラー
１０７    測距枠表示素子
１０８    測光センサ
１１０    焦点検出回路
１１２    画像処理・演算用のCPU
２００    レンズ
２０１    レンズマイコン
【図１】
2015115806.tif 000008
【図２】
2015115806.tif 000009
【図３】
2015115806.tif 000010
【図４】
2015115806.tif 000011
【図５】
2015115806.tif 000012
【図６】
2015115806.tif 000013
【図７】
2015115806.tif 000014
【図８】
2015115806.tif 000015
【図９】
2015115806.tif 000016