(57)【要約】  本発明は、パルス状フラッシュを用いる際のカメラ設定を決定するための、カメラにおける方法に関する。カメラは光源を備える。光源は被写体を照らすために発光するように構成される。被写体は環境光にも照らされる。方法は、以下のステップを有する。被写体が光源によって出射される光及び環境光によって照らされている際に被写体の第１の画像データを取り込むステップと、被写体が環境光によって照らされ、光源からの光には照らされていない際に同一被写体の第２の画像データを取り込むステップと、第１の画像データから第２の画像データを減算することによって差分画像を生成するステップ。方法はさらに、差分画像データに基づいてカメラ設定を決定するステップをさらに有する。決定されたカメラ設定は、被写体を照らすために光源から出射されるパルス状フラッシュを用いて被写体の第３の画像を取り込む際に用いられる。
2010509613.tif 000002
【特許請求の範囲】
【請求項１】
パルス状フラッシュを用いる際にカメラ設定を決定するための、カメラ(100)における方法であって、前記カメラは被写体(140)を照らすための光を出射するように構成された光源(110)を有し、前記被写体は環境光によっても照らされており、前記方法が、
前記被写体が前記光源の出射光及び前記環境光で照らされている際に、前記被写体の第１の画像を取り込むステップ(701)と、
前記被写体が前記環境光で照らされ、前記光源からの光では照らされていない際に、前記被写体の第２の画像データを取り込むステップ(702)と、
前記第１の画像データから前記第２の画像データを減算して差分画像データを生成するステップ(703)と、
前記生成された差分画像データに基づいてカメラ設定が決定するステップ(705)とを有し、前記決定されたカメラ設定は、前記光源によって出射されるパルス状フラッシュを用いて前記被写体を照らして前記被写体の第３の画像を取り込む際に用いられることを特徴とする方法。
【請求項２】
前記第１の画像を取り込む際に前記光源から出射される光が、連続光によって代表されることを特徴とする請求項１記載の方法。
【請求項３】
前記差分画像が、前記被写体から反射される光の程度を測定するために用いられるとともに、
前記連続光と、前記出射されるパルス状フラッシュとの電力比を前記差分画像に乗算し、乗算結果を第２の画像データと加算するステップをさらに有することを特徴とする請求項２記載の方法。
【請求項４】
前記差分画像を複数のゾーンに分割するステップをさらに有し、前記ゾーンの各々は、それが表す画像部分の輝度値の平均値を有することを特徴とする請求項１乃至請求項３のいずれか１項に記載の方法。
【請求項５】
前記第２の画像を複数のゾーンに分割するステップであって、各ゾーンはそれが表す前記画像部分の輝度値の平均値を有するステップと、
前記ゾーン分割された差分画像を前記ゾーン分割された第２の画像で除算することにより注目ゾーン画像を生成するステップと、
をさらに有することを特徴とする請求項４記載の方法。
【請求項６】
閾値を超える前記画像データのゾーンが前記カメラ設定の決定の基礎として使用されるように、前記注目ゾーン画像に対して閾値を適用するステップをさらに有することを特徴とする請求項５記載の方法。
【請求項７】
前記光源の前記色特性が、前記カメラのメモリ又は、携帯型電子機器又は移動端末といった前記カメラの任意のホストのメモリに保存され、前記決定される前記カメラ設定がホワイトバランスであり、前記方法がさらに、
前記ホワイトバランスの前記決定を、前記閾値を超えた前記注目ゾーンの値と前記光源の前記保存された色特性とに基づかせるステップを有することを特徴とする請求項６記載の方法。
【請求項８】
前記光源が発光ダイオード(LED)で代表されることを特徴とする請求項１乃至請求項７のいずれか１項に記載の方法。
【請求項９】
前記カメラ設定が、露出時間、絞り値、撮像センサゲイン、ホワイトバランス及び前記光源の出射光の設定の少なくともいずれかによって代表されることを特徴とする請求項１乃至請求項８のいずれか１項に記載の方法。
【請求項１０】
前記第１の画像が撮像される際、前記光源が低電力で用いられることを特徴とする請求項１乃至請求項９のいずれか１項に記載の方法。
【請求項１１】
前記カメラが携帯型電子機器に備えられていることを特徴とする請求項１乃至請求項１０のいずれか１項に記載の方法。
【請求項１２】
前記カメラが携帯端末に備えられていることを特徴とする請求項１乃至請求項１１のいずれか１項に記載の方法。
【請求項１３】
カメラ内のコンピュータプログラム製品であって、前記カメラに読み込まれた際、前記カメラ内に配置されたコンピュータ内部の処理手段に、請求項１乃至請求項１２のいずれか１項に記載された各工程の実行を制御させるようにするコンピュータプログラムコードを備えることを特徴とするコンピュータプログラム製品。
【請求項１４】
被写体(140)を照らすために発光するように構成された光源(110)を備えるとともに、前記被写体の画像を画像データの形式で取り込むように構成された撮像部(130)を備えるカメラ(100)であって、
前記撮像部(130)が、前記光源が出射する光及び前記環境光により照らされている前記被写体の第１の画像データを取り込むように構成され、
前記撮像部(130)は、前記光源からの光には照らされず、前記環境光によって照らされている前記同一被写体の第２の画像データを取り込むようにさらに構成され、
前記カメラはさらに、前記第１の画像から前記第２の画像を減算することにより、差増画像を生成するように構成される画像処理部(150)をさらに有し、
前記カメラは、前記差分画像データに基づいてカメラ設定を決定するように構成されたカメラ設定部をさらに有し、前記決定されたカメラ設定は、前記被写体を照らすために前記光源から出射されるパルス状フラッシュを用いて前記被写体の第３の画像を取り込む際に用いられることを特徴とするカメラ。
【請求項１５】
前記光源が連続光を出射するように構成され、前記第１の画像を取り込む際に前記光源から出射される光が連続光によって代表されることを特徴とする請求項１４記載のカメラ。
【請求項１６】
前記画像処理部が、前記差分画像に、前記連続光及び前記出射されたパルス状フラッシュの電力比を乗算し、乗算結果を前記第２の画像のデータに加算するように構成されることを特徴とする請求項１５記載のカメラ。
【請求項１７】
前記画像処理部が、前記差分画像を複数のゾーンに分割するようにさらに構成され、各ゾーンは、自身が表す前記画像部分の輝度値の平均値を有することを特徴とする請求項１４乃至請求項１６のいずれか１項に記載のカメラ。
【請求項１８】
前記画像処理部が、前記第２の画像を複数のゾーンに分割するようにさらに構成され、各ゾーンは、自身が表す前記画像部分の輝度値の平均値を有するとともに、前記ゾーン分割された差分画像を前記ゾーン分割された第２の画像で除算するように構成されることを特徴とする請求項１７記載のカメラ。
【請求項１９】
前記画像処理部が、閾値を超える前記画像データのゾーンが前記カメラ設定の決定の基礎として使用されるように、前記注目ゾーン画像に対して閾値を適用するように構成されることを特徴とする請求項１７又は請求項１８に記載のカメラ。
【請求項２０】
前記カメラが、前記光源の色特性を保存するように構成されたメモリをさらに備え、前記決定される前記カメラ設定がホワイトバランスであり、前記カメラ設定部は、前記ホワイトバランスの決定を、前記閾値を超えた注目ゾーンの値と前記保存されている光源の色特性とに基づくように構成されることを特徴とする請求項１９記載のカメラ。
【請求項２１】
前記光源が発光ダイオード(LED)で代表されることを特徴とする請求項１４乃至請求項２０のいずれか１項に記載のカメラ。
【請求項２２】
前記カメラ設定が、露出時間、絞り値、撮像センサゲイン、ホワイトバランス及び前記光源の出射光の設定の少なくともいずれかによって代表されることを特徴とする請求項１４乃至請求項２１のいずれか１項に記載のカメラ。
【請求項２３】
前記第１の画像が撮像される際、前記光源が低電力で用いられることを特徴とする請求項１４乃至請求項２２のいずれか１項に記載のカメラ。
【請求項２４】
前記カメラが携帯型電子機器に備えられていることを特徴とする請求項１４乃至請求項２３のいずれか１項に記載のカメラ。
【請求項２５】
前記カメラが携帯端末に備えられていることを特徴とする請求項１４乃至請求項２４のいずれか１項に記載のカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は概してカメラ及びカメラにおける方法に関する。本発明は、特に、パルス状フラッシュを用いる際のカメラ設定の決定に関する。
【背景技術】
【０００２】
カメラ付き電話機は、暗い環境下において被写体を照らすための白色発光ダイオード(LED)を一般に有している。LEDから出力される光は非常に弱く、長秒時露光を必要とする。ユーザの手振れによってぶれた画像が撮影されるので、長い露出時間は問題である。技術進歩により、より強力なLEDが実現されている。これらのLEDは短いパルス状でさえ、十分な光量を生成可能である。許容損失がLEDの効率を制限するが、短パルスを用いてより高い光量に到達することもまた可能である。
【０００３】
被写体輝度は、環境光とLEDからの光との両方に依存する。LEDの効果は、被写体との距離と被写体の反射率に応じて変化する。これらの条件は通常不明であるため、カメラが正しい露出を調整することは困難である。
【０００４】
連続発光するLEDが用いられていれば、カメラは自動的に露出設定を調整する。なぜなら、カメラはLEDが発光している際に複数の画像フレームを取り込み、それに従って調整することが可能だからである。パルス発光するLEDを用いた場合、被写体輝度が予測できないため、この方法は用いることができない。
【０００５】
この問題を解決する一方法は、キセノンフラッシュと同様にしてLED電力を調節することである。光センサが被写体からの反射光を積分し、所定の光束が到達した場合には、電子回路がフラッシュをオフする。
【０００６】
しかし、この方法には不利な点が存在する。装置に望まれる最大距離で十分な光束が得られることを保証するため、所定の光束を十分低いレベルに設定しなければならない。つまり、LEDが最大動作距離で用いられる際にのみ、LEDの利点を最大限に享受することができ、大半の場合は、能力を浪費していることになる。
【０００７】
例えば、最大動作距離が２メートルに設定されている場合、１メートルではLEDの潜在能力のわずか２５％が使われるに過ぎない。
【０００８】
さらに別の問題は、ホワイトバランス調整を何とかしなければならないことである。典型的な室内環境は、（昼光と比較してかなり赤みがかった）色温度が約2800Kのタングステン球で照明されている。典型的な白色LEDは約7000Kの色温度を有する。LEDがシーンの総光量にどの程度寄与しているかがわからないため、ホワイトバランス調整は非常に困難である。
【０００９】
理想的にはLEDが常に最大電力で用いられ、カメラ露出設定（ゲイン及び露出時間）が環境に適合するように調整されるべきである。
【発明の概要】
【００１０】
本発明の目的は、改良されたカメラ設定機能を有するカメラを提供することにある。
【００１１】
本発明の第１の見地によれば、この目的は、パルス状フラッシュを用いる際のカメラ設定を決定するための、カメラにおける方法によって達成される。カメラは光源を有する。光源は発光して被写体を照射するように構成される。被写体は環境光によっても照らされている。方法は以下のステップを有する。光源が出射する連続光と環境光とで被写体が照射されている際に被写体の第１の画像データを取り込み、前記被写体が環境光で照射され、前記光源によっては照射されていない際に前記被写体の第２の画像データを取り込み、前記第２の画像データを前記第１の画像データから減算することによって差分画像データを生成する。前記方法は、前記生成された差分画像データに基づいてカメラ設定を決定するステップをさらに有する。決定されたカメラ設定は、前記光源によるパルス状フラッシュによって前記被写体を照射して前記被写体の第３の画像を取り込む際に用いられる。
【００１２】
本発明の第２の見地によれば、上述の目的は光源を有するカメラによって達成される。光源は発光して被写体を照射するように構成される。カメラは、被写体の画像を画像データの形式で取り込むように構成された撮像部をさらに有する。撮像部は、前記光源が発光する連続光並びに環境光とで照射されている被写体の第１の画像データを取り込む様に構成される。さらに前記撮像部は、前記環境光で照射され、前記光源からの光では照射されていない前記被写体の第２の画像データを取り込むように構成される。カメラは、前記第２の画像データを前記第１の画像データから減算することによって差分画像を生成するように構成された画像処理部をさらに有する。カメラは、前記生成された差分画像データに基づいてカメラ設定を決定するように構成されたカメラ設定部をさらに有し、決定されたカメラ設定は、パルス状フラッシュで前記被写体を照らして前記被写体の第３の画像を取り込む際に用いられる。
【００１３】
前記差分画像は前記第２の画像データを前記第１の画像データから減算することによって生成されるため、光源のみの効果が明確にされ、その結果は光源をパルス状フラッシュに用いる際のカメラ設定の決定において重要な基礎となる。
【００１４】
本発明によれば、より良い画像を取り込むことができる。
【００１５】
本発明の別の利点は、光源としての白色LEDの最大能力を利用可能なことである。
【図面の簡単な説明】
【００１６】
【図１】カメラを示す模式的なブロック図である。
【図２ａ】環境光のみを用いて撮像した画像を示す図である。
【図２ｂ】図２ａと同一被写体の画像であるが、図２ａと同様の環境光に加え、カメラからの連続光を用いて撮像した画像を示す図である。
【図３ａ】、
【図３ｂ】図２ａ及び図２ｂに対応する画像であるが、より明るい環境光下での画像を示す図である。
【図４ａ】図２における画像例に適用された差分画像を示す図である。
【図４ｂ】図４ａと同一の差分画像を増幅した画像を示す図である。
【図５】図４の画像をマトリックスに分割した画像を示す図である。
【図６ａ】ゾーン画像を示す図である。
【図６ｂ】図６ａのゾーン画像にしきい値を適用した画像を示す図である。
【図７】カメラにおける方法を説明するフローチャートである。
【図８】カメラを備える携帯型電子機器を示す模式的なブロック図である。
【図９】カメラを備える携帯電話機の模式的なブロック図である。
【発明を実施するための形態】
【００１７】
図１はカメラ１００を示す。カメラ１００は、例えば携帯電話機のような携帯型電子機器が備えていても良い。カメラ１００は光源１１０を備える。光源１１０はパルス状フラッシュ並びに連続光を出射するように構成されている。本明細書において連続光とは、撮像に要する時間よりも長い期間、好ましくは数秒（例えば２秒）の期間より、短く出射される光として規定される。連続光モードは、ユーザがカメラを被写体に向けることができるよう、ファインダー動作をしやすくするために用いることができる。このモードにおいて、光源１１０は、消費電力及び放熱が問題とならないよう、一般的には比較的低い電力で数秒間点灯することができる。光源１１０は代わりに、測定目的で、例えば赤目抑制機能と組み合わせて、短いパルス光を単独又は連続的なファインダー光とともに出射することができる。低電力の連続ファインダー光は、ファインダーモードにおいて、高解像度の静止画を撮影する際よりも長い積分時間及びより高いゲイン設定が可能になるため都合がよい。光源１１０からの出射光は図１において点線１２０によって示されている。別の実施形態において、カメラ１００は第２の光源をさらに備えても良い。この別の実施形態において、光源１１０は、パルス状フラッシュを出射するように構成され、第２の光源は連続光を出射するように構成される。しかし、以下の説明において、本発明は１つの光源１１０を用いる実施形態について記述並びに説明される。光源１１０及び第２の光源は、必要に応じて、発光ダイオード(LED)又は、電球のような他の任意の好適な光源であってよい。
【００１８】
カメラ１００は、被写体１４０の画像を画像データの形式で取り込むように構成された撮像部１３０をさらに有する。撮像は、図１において点線１４５で示される。
【００１９】
図２ａは環境光のみを用いて撮像された被写体の画像を、図２ｂは図２ａと同じ被写体の画像であるが、図２ａと同様の環境光に加え光源１１０が出射する連続光を用いた撮像された画像を示す。本例において、光源１１０は低電力LEDによって代表される。
【００２０】
図３ａおよび図３ｂは、図２ａ及び図２ｂに対応する画像であるが、より明るい環境光条件での画像を示す図である。図３ａはより明るい環境光のみを用いて撮像された被写体の画像を、図３ｂは図３ａと同じ、より明るい環境光に加え、光源１１０から出射される連続光を用いて撮像された被写体の画像を示す。本例においても、光源１１０は低電力LEDによって代表される。
【００２１】
環境光は、図３ａ及び図３ｂの例では比較的強いが、図２ａ及び図２ｂの例では非常に弱い。これは、光源１１０から出射される連続光が用いられる際の被写体輝度の予測が困難であることを示している。図２ａ及び図２ｂにおいて、光源１１０から出射される連続光の効果は強いが、図３ａ及び図３ｂにおいては非常に弱い。図２ａ及び図２ｂにおいては、環境光により壁の右部分が良く照らされており、光源１１０から出射される連続光からの補助光による差はごくわずかであることに留意されたい。
【００２２】
図２及び図３の例はいずれも、光源１１０から出射される連続光がファインダー動作(view finding)に用いられる効果を示している。光源１１０がずっと高い電力で出射するパルス状フラッシュを用いて写真が撮影される場合、露出設定を設定するためにシーンの輝度を決定しなければならない。例えば被写体距離のばらつきにより、光源１１０によって画像の全ての部分が等しく照らされるわけではないことを考慮する必要がある。
【００２３】
光源からの連続光は通常、写真撮影前に、ファインダー動作のために被写体を照らすのに用いられる。一般に、カメラの光源は、その最大能力よりもずっと低い電力で用いられている（例えば、最大能力の１０〜２０％）。カメラの光源は、エネルギーを節約し、過熱を回避し、撮影される人物の目に害を与えないように、低い電力レベルで用いられている。
【００２４】
パルス状フラッシュを用いる際、被写体１４０の画像の撮影前により正確な方法でカメラ１００のカメラ設定を調整するためには、光源１１０から光が出射され、環境光がない場合に、画像がどのように見えるかの知見が必要である。すなわち、光源１１０の出射光の効果の知見が必要である。これは、環境光が強い場合には、光源１１０からシーンへの光の寄与が環境光が弱い場合と比較して相対的に小さくなるために必要となる。従って、差分画像データを含む差分画像が生成される。
【００２５】
差分画像を生成するため、撮像部１３０は、光源１１０から出射される出射光を用い、被写体１４０の第１の画像データを取り込む。出射光は連続光であること、上述したファインダーモードで用いられるような低電力で用いられることが好ましいであろう。従って、被写体１４０は環境光とカメラ１００の光源１１０から出射される光の両方によって照らされる。
【００２６】
さらに、撮像部１３０は同一被写体１４０の第２の画像データを、光源１１０からの出射光を全く用いずに取り込む。すなわち、この場合に被写体１４０は環境光のみによって照らされる。第１の画像及び第２の画像はどのような順序で撮像されても良い。撮影順序は本発明にとって重要でないからである。
【００２７】
カメラ１００は、画像処理部１５０をさらに有する。画像処理部１５０は、第１の画像データから第２の画像データを減算して（すなわち、環境光及びカメラ１００から出射された連続光の両方で照らされた第１の画像から、環境光で照らされた第２の画像を減算して）、差分画像データを生成する。従って、この差分画像データは、出射光のみを用いた効果を表している。
【００２８】
図４ａ及び図４ｂは、上述した図２の例の画像に適用された差分画像、すなわち、図２ｂの画像から図２ａの画像を減算した画像を示す。図４ａは図２の例の差分画像を示し、図４ｂは効果を可視化するために図４ａの画像を増幅したものを示している。この図４の差分画像は、環境光が存在せず、光源１１０から出射される光のみが存在したとした場合に画像がどのように見えるかを表している。
【００２９】
カメラ１００は、例えば露出時間、絞り値、撮像素子ゲイン、ホワイトバランス設定、及び光源１１０の発光設定といった、カメラ１００のための露出設定及び他のカメラ設定を決定するように構成されたカメラ設定部１６０をさらに有する。カメラ設定部１６０は、生成された差分画像に基づいて、１つ又は複数のカメラ設定を決定する。決定されたカメラ設定は、パルス状フラッシュを用いて第３の画像を取り込む際、すなわち、カメラ１００のユーザが本当に撮像したい画像の撮像時、に用いられる。好ましくは、決定は線形画像データに実施される。オリジナル画像データは線形であるが、データにガンマ曲線が適用されるため、処理された画像データは非線形である。
【００３０】
差分画像データは、カメラ１００の露出設定を決定する際、注目画像のどの部分を選択するかの根拠として用いることができる。一例として、差分画像データは被写体１４０からの反射光の程度を測定するために用いることができる。この情報は、露出設定が決定される際に利用することができる。変更される設定は、センサゲイン、絞り値、LED電力のような光源１１０の電力又は出力画像の輝度レベルに影響を与えるであろう他の任意の設定であってよい。
【００３１】
被写体１４０の第１の画像データを取り込む際に、光源１１０から出射される連続光出射光が用いられる場合、比は変わらないので、連続状のフラッシュとパルス状フラッシュとの比は既知である。比は、光源１１０に適用される電力量によって規定されるため、正確に制御することができる。反射光強度は、環境（シーンまでの距離、シーン反射率、等）によって変化するであろう。そのため、連続出射光からの反射光が測定可能であれば、パルス状の出射光からの反射光を求めることができる。
【００３２】
この測定は、低電力出射連続光と高電力出射パルス状フラッシュの電力比を差分画像データに乗算し、その後、第２の画像データ、すなわち環境光画像のデータと加算することにより実施することができる。これは、例えば画像処理部１５０か、カメラ１００内の他の適切な構成要素によって実行されうる。
【００３３】
光源１１０の出射する光は、近くにいる被写体には大きな影響を与えるが、遠くにいる被写体にはほとんど影響を与えない。従って、遠くの被写体を表す画像の部分を無視しながら、画像中の距離の近い部分で所望の輝度レベルを実現するには、露出設定を調整することが重要となる。
【００３４】
決定を容易にするため、差分画像を複数のゾーン、好ましくは例えば６×４の正方形マトリックスのような少数のゾーンに分割することができる。図５は、図４からの画像が、６×４の正方形マトリックスに分割されたとした場合に、どのように見えるかを示している。各正方形は、それが表す画像部分の平均輝度値を有している。図５は、可視化のために増幅されている。
【００３５】
本方法は、被写体が光源１１０の最大電力で照らされている際の被写体輝度のみならず、特定の状況における反射光の空間分布についても予測することの問題を解決することができる。どのゾーンを露出評価に用いるべきかを決定するため、注目ゾーン画像が生成される。第２の画像（すなわち、環境光画像）が差分画像と同様にして複数のゾーンに分割される。注目ゾーン画像は、ゾーン分割された差分画像をゾーン分割された第２の画像で除算(divide)することにより生成される。この操作は、単なる差分よりも、環境光と光源１１０が出射した光との比を表すため、光源１１０が出射した光によって最も影響を受けているゾーンを特定するであろう。これは、例えば、画像処理部１５０又はカメラ１００内の他の任意の好適な構成要素によって実行することができる。注目ゾーン画像は、光源１１０が出射する光によって最も影響を受けるであろう被写体の部分を明らかにするであろう。注目ゾーン画像は、可視化のため増幅されている図６ａに示されている。どのゾーンが注目ゾーンかを決定するため、差分画像のゾーンのうち閾値を超えるゾーンがカメラ設定を決定するための基礎として用いられるよう、注目ゾーン画像に閾値が適用される。図６ｂは、注目ゾーンを分類するために図６ａの注目ゾーン画像に閾値を適用した画像を示し、白い部分が注目ゾーンを表している。所望の結果は肉眼で判断されるため、撮像システムにおける正確な目標値の規定には、経験に基づく作業が多数含まれるのが一般的である。所望の結果は芸術的かつ主観的に評価される品質に依存する。そのため、正確な閾値は、所望の結果が得られるように経験的な方法で規定されるべきである。しかしながら、閾値は比較的低い（例えば、典型的には画像輝度値が1024階調であれば100未満）であろうことが予期されることに留意することができる。注目ゾーンからのデータは、差分画像及び環境光画像から得られるが、注目していることが示されるゾーン（図６ｂで白のゾーン）からのみ取得する。
【００３６】
LEDの様な白色光源の色温度は、製造上の困難性によりばらつきが大きいのが一般的である。問題が解決されなければ、これらのばらつきは質の悪いホワイトバランス処理された画像の原因となる。この問題に対処する従来技術の一般的な方法は、光源を測定し、類似した色特性を有する群に分類することであるが、面倒かつ高コストである。
【００３７】
例えばカメラ１００内のメモリ１７０個々の光源１１０の色特性を保存することで、個々の光源の色温度のばらつきの問題を解決することができるため、本方法は上述の分類を不要としながら、ホワイトバランスの精度を高めることを実現する。なお、カメラがホスト内に備えられている場合、上述のメモリは、例えば携帯型電子機器又は移動端末のような、カメラ１００のホストが備えていてもよい。このデータは、カメラ１００、携帯型電子機器又は携帯端末の製造時におけるキャリブレーション処理により、メモリ１７０に保存することができる。このキャリブレーションはカメラ１００で撮像される画像の画質を向上させ、光源１１０の色特性の許容範囲を拡大することを可能にするため、上述の方法より低いコストでの実現を暗示する。注目ゾーン画像は、ホワイトバランスの設定が、保存された光源１１０の色特性と閾値を超えた注目ゾーンの値のみに基づくように、カメラ１００のホワイトバランス設定の基礎として用いることができる。光源１１０の色特性を知ることは、自動ホワイトバランスを実行する際に大きな価値がある。上述した方法は、環境光と光源１１０が出射する光とを対比して、画像のどの部分が最も影響を受けるかの情報を提供するので、画像全体の平均値に依存する方法よりも良好な演色を達成するためのより良い根拠を提供する。例えば、差分画像及び注目ゾーン画像に基づく計算が、光源１１０の出射光が支配的となるであろうことを示す場合、ホワイトバランスアルゴリズムは個々の光源１１０の保存された色特性値に基づく固定ホワイトバランス設定を用いるように決定することができる。
【００３８】
以下、図７に示すフローチャートを参照して、カメラ１００において、パルス状フラッシュを用いる際のカメラ設定を決定するための方法のステップを説明する。カメラ１００は、携帯型電子機器又は移動端末に備えられていても良い。方法は以下のステップを有する。
【００３９】
701. 被写体１４０が光源１１０及び環境光で照らされている際に、被写体１４０の第１の画像データを取り込む。光源１１０が出射する連続光は連続的であって良く、また第１の画像が撮像される際に光源１１０は低電力で用いられてよい。
【００４０】
702. 被写体１４０が環境光で照らされ、光源１１０からの光では照らされていない際に、被写体１４０の第２の画像データを取り込む。
【００４１】
703. 第１の画像データから第２の画像データを減算して差分画像を生成する。差分画像は複数のゾーンに分割することができ、個々のゾーンはそれが表す画像の部分の輝度値の平均値を有する。
【００４２】
704. 何らかのカメラ設定を決定する前に、このステップにおいて差分画像を、例えば画像処理部１５０によって処理することができる。差分画像データは、例えば被写体１４０からの反射光の程度を測定するために用いることができる。この場合、差分画像は、連続光及び高電力で出射されるパルス状フラッシュとの電力比を乗算された後、第２の画像データと加算される。別の実施形態において、第２の画像は複数のゾーンに分割され、各ゾーンはそれが表す画像部分の輝度値の平均値を有する。また、ゾーン分割された画像をゾーン分割された第２の画像で除算することにより、注目ゾーン画像が生成される。画像データのゾーンのうち閾値を超えるゾーンがカメラ設定を決定するための基礎として用いられるよう、注目ゾーン画像に閾値を適用することができる。
【００４３】
705. 生成された差分画像データに基づいてカメラ設定が決定され、決定されたカメラ設定は、パルス状フラッシュで被写体を照らして被写体の第３の画像を取り込む際に用いられる。カメラ設定は露出時間、絞り値、撮像素子ゲイン、ホワイトバランス及び／又は光源の出射光の設定によって表されて良い。
【００４４】
一実施形態においては、カメラのメモリ又は、携帯型電子機器や移動端末といったカメラのホストのメモリに、光源の色特性が保存され、決定されるカメラ設定がホワイトバランスである。この場合、ホワイトバランスの決定は、保存された光源１１０の色特性と、閾値を超えた注目ゾーンの値に基づく。
【００４５】
以下、カメラ１００を、図１にも示されるような、パルス状フラッシュを用いる際にカメラ設定を決定するための方法のステップを実行するために用いられる様々な部品及び構成要素の観点から説明する。
【００４６】
カメラ１００は、被写体１４０を照らすための光を出射するように構成された光源１１０を備える。光源１１０は被写体１４０を照らすためにパルス状フラッシュを出射するように構成される。光源１１０はさらに、被写体を照らすための連続光を出射するように構成されても良い。光源はLEDによって代表されてよい。
【００４７】
カメラは、被写体１４０の画像を画像データの形式で取り込むように構成された撮像部１３０をさらに有する。撮像部１３０はさらに、光源１１０が出射する光及び環境光で照らされている被写体１４０の第１の画像データを取り込む様に構成される。光源は連続光を出射するように構成されて良く、また光源は第１の画像が撮像される際に低電力で用いられてよい。さらに撮像部１３０は、環境光で照射され、光源１１０からの光では照射されていない同一被写体の第２の画像データを取り込むように構成される。
【００４８】
カメラ１００は、第２の画像データを第１の画像データから減算することによって差分画像を生成するように構成された画像処理部１５０をさらに有する。画像処理部１５０はさらに、連続光と高電力で出射されるパルス状フラッシュとの電力比を差分画像に乗算された後、第２の画像データと加算するように構成されて良い。一実施形態において画像処理部１５０はさらに、差分画像を複数のゾーンに分割するように構成される。ここで、個々のゾーンはそれが表す画像部分の輝度値の平均値を有する。別の実施形態において、画像処理部１５０は差分画像を第２の画像で除算して第４の画像を生成し、第４の画像を複数のゾーンに分割して注目ゾーン画像を生成するように構成される。この実施形態において、画像処理部１５０はさらに、画像データのゾーンのうち閾値を超えるゾーンがカメラ設定を決定するための基礎として用いられるよう、注目ゾーン画像に閾値を適用するように構成されて良い。
【００４９】
カメラ１００は、生成された差分画像データに基づいてカメラ設定を決定するように構成されたカメラ設定部１６０をさらに有する。決定されたカメラ設定は、被写体を照らすために出射されたパルス状フラッシュを用いて被写体１４０の第３の画像を取り込む際に用いられる。カメラ設定は露出時間、絞り値、撮像素子ゲイン、ホワイトバランス及び／又は光源の出射光の設定によって表されて良い。カメラ１００はさらに、光源１１０の色特性を保存するように構成されたメモリ１７０を有してよい。この場合、決定されるカメラ設定はホワイトバランスであってよい。そして、カメラ設定部はさらに、閾値を超える注目ゾーンの値と保存された光源の色特性とに基づいてホワイトバランスを決定するように構成されて良い。カメラ１００は図８に示されるように携帯型電子機器８００に備えられてたり、図９に示されるように移動端末９００に備えられていてよい。
【００５０】
このカメラ設定の仕組みは、本発明の機能を実行するためのコンピュータプログラムコードと、図１に示すカメラ１００内のプロセッサ１８０のような、１つ又は複数のプロセッサとを通じて実施可能である。上述のプログラムコードは、例えば、カメラ１００に読み込まれた際に本発明の方法を実行するためのコンピュータプログラムコードを備えるデータ記憶媒体の形式のコンピュータプログラム製品として提供されてもよい。そのような記録媒体の一例は、CD ROMディスクの形式であって良い。しかし、メモリスティックのような他のデータ記憶媒体を用いても実現可能である。さらに、コンピュータプログラムコードはサーバ上で純粋なプログラムコードとして提供され、遠隔的にカメラ１００にダウンロードされても良い。
【００５１】
なお、本明細書において「有する／備える」という語が用いられる場合、説明された機能、整数、ステップ又は構成部品の存在を特定するものとして解釈されるが、他の機能、整数、ステップ、構成部品又はそれらのグループの存在や付加を排除するものではないことを強調しておく。
【００５２】
本発明は、上述した好適な実施形態には限定されない。様々な代替物、変形物及び等価物を使用可能である。従って、本発明の範囲は特許請求の範囲によって規定され、上述の実施形態は本発明の範囲を限定するものとして解すべきものではない。
【図１】
2010509613.tif 000003
【図６ｂ】
2010509613.tif 000004
【図７】
2010509613.tif 000005
【図８】
2010509613.tif 000006
【図９】
2010509613.tif 000007
【図２ａ】
2010509613.tif 000008
【図２ｂ】
2010509613.tif 000009
【図３ａ】
2010509613.tif 000010
【図３ｂ】
2010509613.tif 000011
【図４ａ】
2010509613.tif 000012
【図４ｂ】
2010509613.tif 000013
【図５】
2010509613.tif 000014
【図６ａ】
2010509613.tif 000015
【手続補正書】
【提出日】平成20年9月8日(2008.9.8)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
被写体１４０の第１の画像データを取り込む際に、光源１１０から出射される連続光が用いられる場合、比は変わらないので、連続状のフラッシュとパルス状フラッシュとの比は既知である。比は、光源１１０に適用される電力量によって規定されるため、正確に制御することができる。反射光強度は、環境（シーンまでの距離、シーン反射率、等）によって変化するであろう。そのため、連続出射光からの反射光が測定可能であれば、パルス状の出射光からの反射光を求めることができる。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
パルス状フラッシュを用いる際にカメラ設定を決定するための、カメラ(100)における方法であって、前記カメラは被写体(140)を照らすための光を出射するように構成された光源(110)であって、低電力連続光の出射及びパルス状フラッシュの出射を行うように構成された光源を有し、前記被写体は環境光によっても照らされており、前記方法が、
前記被写体が低電力連続光を用いる前記光源の出射光及び前記環境光で照らされている際に、前記被写体の第１の画像を取り込むステップ(701)と、
前記被写体が前記環境光で照らされ、前記光源からの光では照らされていない際に、前記被写体の第２の画像データを取り込むステップ(702)と、
前記第１の画像データから前記第２の画像データを減算して差分画像データを生成するステップ(703)と、
前記被写体から反射される光の程度を測定するため、前記低電力連続光と前記出射されるパルス状フラッシュとの電力比を前記差分画像に乗算し、乗算結果を第２の画像データと加算するステップと、
前記生成された写真差分画像データ及び前記乗算された第２の画像データに基づいてカメラ設定が決定するステップ(705)とを有し、前記決定されたカメラ設定は、前記光源によって出射されるパルス状フラッシュを用いて前記被写体を照らして前記被写体の第３の画像を取り込む際に用いられることを特徴とする方法。
【請求項２】
前記差分画像を複数のゾーンに分割するステップをさらに有し、前記ゾーンの各々は、それが表す画像部分の輝度値の平均値を有することを特徴とする請求項１記載の方法。
【請求項３】
前記第２の画像を複数のゾーンに分割するステップであって、各ゾーンはそれが表す前記画像部分の輝度値の平均値を有するステップと、
前記ゾーン分割された差分画像を前記ゾーン分割された第２の画像で除算することにより注目ゾーン画像を生成するステップと、
をさらに有することを特徴とする請求項２記載の方法。
【請求項４】
閾値を超える前記画像データのゾーンが前記カメラ設定の決定の基礎として使用されるように、前記注目ゾーン画像に対して閾値を適用するステップをさらに有することを特徴とする請求項３記載の方法。
【請求項５】
前記光源の前記色特性が、前記カメラのメモリ又は、携帯型電子機器又は移動端末といった前記カメラの任意のホストのメモリに保存され、前記決定される前記カメラ設定がホワイトバランスであり、前記方法がさらに、
前記ホワイトバランスの前記決定を、前記閾値を超えた前記注目ゾーンの値と前記光源の前記保存された色特性とに基づかせるステップを有することを特徴とする請求項４記載の方法。
【請求項６】
前記光源が発光ダイオード(LED)で代表されることを特徴とする請求項１乃至請求項５のいずれか１項に記載の方法。
【請求項７】
前記カメラ設定が、露出時間、絞り値、撮像センサゲイン、ホワイトバランス及び前記光源の出射光の設定のすくなくともいずれかによって代表されることを特徴とする請求項１乃至請求項６のいずれか１項に記載の方法。
【請求項８】
前記カメラが携帯型電子機器に備えられていることを特徴とする請求項１乃至請求項７のいずれか１項に記載の方法。
【請求項９】
前記カメラが携帯端末に備えられていることを特徴とする請求項１乃至請求項８のいずれか１項に記載の方法。
【請求項１０】
カメラ内のコンピュータプログラム製品であって、前記カメラに読み込まれた際、前記カメラ内に配置されたコンピュータ内部の処理手段に、請求項１乃至請求項９のいずれか１項に記載された各工程の実行を制御させるようにするコンピュータプログラムコードを備えることを特徴とするコンピュータプログラム製品。
【請求項１１】
被写体(140)を照らすために発光するように構成された光源(110)であって、低電力連続光の出射及びパルス状フラッシュの出射を行うように構成された光源を備えるとともに、前記被写体の画像を画像データの形式で取り込むように構成された撮像部(130)を備えるカメラ(100)であって、
前記撮像部(130)が、低電力連続光を用いる前記光源の出射光及び前記環境光により照らされている前記被写体の第１の画像データを取り込むように構成され、
前記撮像部(130)は、前記光源からの光には照らされず、前記環境光によって照らされている前記同一被写体の第２の画像データを取り込むようにさらに構成され、
前記カメラはさらに、前記第１の画像から前記第２の画像を減算することにより、差増画像を生成するように構成される画像処理部(150)をさらに有し、前記画像処理部(150)はさらに、前記低電力連続光と前記出射されるパルス状フラッシュとの電力比を前記差分画像に乗算し、乗算結果を第２の画像データと加算するように構成され、
前記カメラは、前記差分画像データ及び前記乗算された第２の画像データに基づいてカメラ設定を決定するように構成されたカメラ設定部をさらに有し、前記決定されたカメラ設定は、前記被写体を照らすために前記光源から出射されるパルス状フラッシュを用いて前記被写体の第３の画像を取り込む際に用いられることを特徴とするカメラ。
【請求項１２】
前記画像処理部が、前記差分画像を複数のゾーンに分割するようにさらに構成され、各ゾーンは、自身が表す前記画像部分の輝度値の平均値を有することを特徴とする請求項１１記載のカメラ。
【請求項１３】
前記画像処理部が、前記第２の画像を複数のゾーンに分割するようにさらに構成され、各ゾーンは、自身が表す前記画像部分の輝度値の平均値を有するとともに、前記ゾーン分割された差分画像を前記ゾーン分割された第２の画像で除算するように構成されることを特徴とする請求項１２記載のカメラ。
【請求項１４】
前記画像処理部が、閾値を超える前記画像データのゾーンが前記カメラ設定の決定の基礎として使用されるように、前記注目ゾーン画像に対して閾値を適用するように構成されることを特徴とする請求項１１乃至請求項１３のいずれか１項に記載のカメラ。
【請求項１５】
前記カメラが、前記光源の色特性を保存するように構成されたメモリをさらに備え、前記決定される前記カメラ設定がホワイトバランスであり、前記カメラ設定部は、前記ホワイトバランスの決定を、前記閾値を超えた注目ゾーンの値と前記保存されている光源の色特性とに基づくように構成されることを特徴とする請求項１４記載のカメラ。
【請求項１６】
前記光源が発光ダイオード(LED)で代表されることを特徴とする請求項１１乃至請求項１５のいずれか１項に記載のカメラ。
【請求項１７】
前記カメラ設定が、露出時間、絞り値、撮像センサゲイン、ホワイトバランス及び前記光源の出射光の設定の少なくともいずれかによって代表されることを特徴とする請求項１１乃至請求項１６のいずれか１項に記載のカメラ。
【請求項１８】
前記カメラが携帯型電子機器に備えられていることを特徴とする請求項１１乃至請求項１７のいずれか１項に記載のカメラ。
【請求項１９】
前記カメラが携帯端末に備えられていることを特徴とする請求項１１乃至請求項１８のいずれか１項に記載のカメラ。
【国際調査報告】
2010509613.tif 000016
2010509613.tif 000017
2010509613.tif 000018