(57)【要約】【課題】画面周辺部の光量が落ちた場合でもフラッシュバンドを検出することができる撮像装置及びその制御方法並びにプログラムを提供する。【解決手段】ローリングシャッタ方式で制御されるＣＭＯＳセンサ１０２のライン毎の輝度レベルを検出し、対象フレームとこれに隣接するフレーム間の前記検出された輝度レベルの差を輝度差として算出したときに、輝度差がフラッシュバンド検出用の閾値を越えるラインが連続した場合、対象フレームにおいてフラッシュバンドが存在すると判定し、フラッシュバンドを補正する。フラッシュバンド検出用の閾値は、フラッシュバンドの補正の前に、ＣＭＯＳセンサ１０２の撮像素子に被写体像を結像させる光学レンズ１０１のライン毎の周辺光量落ちのレベルに基づいて補正する。【選択図】図３
2018074421.tif 000002
【特許請求の範囲】
【請求項１】
２次元状に撮像素子が配列されるセンサと、前記撮像素子に被写体像を結合させる光学レンズと、前記センサをローリングシャッタ方式で制御する制御手段とを有する撮像装置において、
前記センサのライン毎の輝度レベルを検出する輝度検出手段と、
対象フレームとこれに隣接するフレーム間の前記検出された輝度レベルの差を輝度差として算出する輝度差算出手段と、
前記算出された輝度差が閾値を越えるラインが連続したときに、前記対象フレームにおいてフラッシュバンドが存在すると判定するフラッシュバンド判定手段と、
前記フラッシュバンド判定手段により前記フラッシュバンドが存在すると判定された場合に、前記フラッシュバンドを補正するフラッシュバンド補正手段と、
前記ライン毎の前記光学レンズの周辺光量落ちのレベルに基づき、前記フラッシュバンド判定手段による判定の前に前記閾値を補正する閾値補正手段とを備えることを特徴とする撮像装置。
【請求項２】
前記閾値補正手段により補正された閾値を保持する第２の保持手段を備えることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記周辺光量落ちのレベルが所定の値より大きい場合は、前記周辺光量落ちのレベルが所定の値よりも小さい領域で前記フラッシュバンドの検出を行う請求項１又は２記載の撮像装置。
【請求項４】
前記周辺光量落ちのレベルに基づきゲインを補正するゲイン補正手段を更に備え、
前記ゲイン補正手段を実行する場合は、前記閾値補正手段による前記閾値の補正を行わないことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記閾値補正手段を実行するか、前記ゲイン補正手段を実行するかをユーザに問い合わせる問合手段を備えることを特徴とする請求項４記載の撮像装置。
【請求項６】
２次元状に撮像素子が配列されるセンサと、前記撮像素子に被写体像を結合させる光学レンズと、前記センサをローリングシャッタ方式で制御する制御部とを有する撮像装置の制御方法において、
前記センサのライン毎の輝度レベルを検出する輝度検出ステップと、
対象フレームとこれに隣接するフレーム間の前記検出された輝度レベルの差を輝度差として算出する輝度差算出ステップと、
前記算出された輝度差が閾値を越えるラインが連続したときに、前記対象フレームにおいてフラッシュバンドが存在すると判定するフラッシュバンド判定ステップと、
前記フラッシュバンド判定ステップにおいて前記フラッシュバンドが存在すると判定された場合に、前記フラッシュバンドを補正するフラッシュバンド補正ステップと、
前記ライン毎の前記光学レンズの周辺光量落ちのレベルに基づき、前記フラッシュバンド判定ステップにおける判定の前に前記閾値を補正する閾値補正ステップとを有することを特徴とする制御方法。
【請求項７】
前記請求項６記載の制御方法を実行することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びその制御方法並びにプログラムに関し、特にフラッシュバンドを検出する撮像装置及びその制御方法並びにプログラムに関する。
【背景技術】
【０００２】
２次元状に撮像素子が配列され、レンズを介して入射した光を映像信号に変換するＣＭＯＳセンサを用いた撮像装置においては、ローリングシャッタ方式が用いてＣＭＯＳセンサの制御が行われる。具体的には、ＣＭＯＳセンサの各ライン毎に異なるタイミングで電荷蓄積を開始し、所定の電荷蓄積時間の経過後に各ライン毎に画像信号を読み出す制御が行われる。
【０００３】
このローリングシャッタ方式は、各ライン毎に画像信号を読み出す時間が異なるという特徴があるため、フラッシュやストロボのような非常に発光時間の短い照明成分があると、例えば、画面の上半分だけ明るく、下半分は暗い現象が発生する。これをフラッシュバンドと呼ぶ。
【０００４】
フラッシュバンドの検出に関して、特許文献１に記載の発明によれば画面のライン方向の輝度を算出し、フレーム間の輝度差が所定の閾値以上高い領域が帯状に存在した場合にフラッシュバンドと判定し補正をおこなう方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１３５９２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の発明のように画面のライン方向の輝度に基づきフラッシュバンドを検出する場合、周辺光量落ちレベルが大きいレンズだと画面周辺部の光量が下がる。このためライン方向の輝度レベルが画面上部においても輝度が下がってしまいフラッシュバンドが検出できない可能性がある。
【０００７】
そこで、本発明は、画面周辺部の光量が落ちた場合でもフラッシュバンドを検出することができる撮像装置及びその制御方法並びにプログラムを提供することである。
【課題を解決するための手段】
【０００８】
本発明の撮像装置は、２次元状に撮像素子が配列されセンサと、前記撮像素子に被写体像を結合させる光学レンズと、前記センサをローリングシャッタ方式で制御する制御手段とを有する撮像装置において、前記センサのライン毎の輝度レベルを検出する輝度検出手段と、対象フレームとこれに隣接するフレーム間の前記検出された輝度レベルの差を輝度差として算出する輝度差算出手段と、前記算出された輝度差が閾値を越えるラインが連続したときに、前記対象フレームにおいてフラッシュバンドが存在すると判定するフラッシュバンド判定手段と、前記フラッシュバンド判定手段により前記フラッシュバンドが存在すると判定された場合に、前記フラッシュバンドを補正するフラッシュバンド補正手段と、前記ライン毎の前記光学レンズの周辺光量落ちのレベルに基づき、前記フラッシュバンド判定手段による判定の前に前記閾値を補正する閾値補正手段とを備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、画面周辺部の光量が落ちた場合でもフラッシュバンドを検出することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の撮像装置のハードウェア構成を示す図である。
【図２】図１におけるＣＰＵによるフラッシュバンドの判定方法を説明するための図である。
【図３】本発明の第１の実施形態におけるフラッシュバンドの検出制御処理の手順を示すフローチャートである。
【図４】図３のステップＳ１０３で実行されるフラッシュバンド検出用の閾値の補正方法を説明するための図である。
【図５】本発明の第２の実施形態におけるフラッシュバンドの検出制御処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、各図を参照し、本発明の第１の実施形態について説明する。
【００１２】
＜第１の実施形態＞
図１は、本発明の撮像装置のハードウェア構成を示す図である。
【００１３】
図１において、光学レンズ１０１は、ピントを合わせるためのフォーカス機構、光量や被写界深度を調節する絞り機構、焦点距離を変化させるためのズーム機構を有する。
【００１４】
ＣＭＯＳセンサ１０２は、２次元状に配列された複数の撮像素子から構成されるセンサであり、光学レンズ１０１により被写体像を各撮像素子で結合し映像信号に変換する。ＣＭＯＳセンサ１０２から出力された映像信号は、不図示のメモリに一時的に記録され、その後ライン方向輝度検出部１０３に入力される。
【００１５】
ライン方向輝度検出部１０３はライン方向に水平積分した輝度レベルを検出する（輝度検出手段）。
【００１６】
ＣＰＵ１０７は、撮像装置全体の制御を司る。
【００１７】
また、ＣＰＵ１０７は、ライン方向輝度検出部１０３によって検出された輝度レベルをもとに、フラッシュバンドが発生しているか否かの判定（フラッシュバンド判定）をおこなう。ＣＰＵ１０７は、図４で後述する方法により、光学レンズ１０１の情報をもとに周辺光量落ちによる光量の減衰分だけフラッシュバンド検出用の閾値を補正して不図示のＨＤＤ等のメモリに保持する。その後、この補正後のフラッシュバンド検出用閾値をメモリから読み出して、ＣＰＵ１０７はフラッシュバンド判定をおこなう。
【００１８】
映像信号処理部１０４は、ＣＰＵ１０７によるフラッシュバンド判定によりフラッシュバンドが発生していると判定された場合はフラッシュバンド補正を行う。映像信号処理部１０４はさらに、映像信号の補正処理、及び現像処理などを行う。この映像信号処理部１０４から出力されたデータは表示部記録媒体１０５に出力される。
【００１９】
センサ制御部１０６は、ＣＰＵ１０７からの信号をもとに、ＣＭＯＳセンサ１０２のシャッタースピード、ゲイン、フレームレートを制御する。本実施形態においては、センサ制御部１０６は、各ライン毎に異なるタイミングで電荷蓄積を開始させるとともに、所定の電荷蓄積時間の経過後に各ライン毎に前記映像信号を読み出すローリングシャッタ方式でＣＭＯＳセンサ１０２を制御する。
【００２０】
次にフラッシュバンドの検出について詳しく説明する。
【００２１】
図２は、ＣＰＵ１０７によるフラッシュバンドの判定方法を説明するための図である。
【００２２】
図２（ａ）は、横軸を時間、縦軸を垂直方向ライン数とした場合の、外部閃光の発生タイミングと、そのときの画像信号出力を表す。図２（ｂ）は、フレーム間輝度差検出結果を示したものであり、フレーム毎に横軸を垂直方向ライン数、縦軸を輝度差とするグラフを示す。
【００２３】
図２（ａ）に示すように、フレーム３、フレーム４の電荷蓄積期間中に外部閃光が発生している。このときの出力画像はフレーム３では画面下部にフラッシュバンドが、フレーム４では画面上部にフラッシュバンドが発生している。
【００２４】
図２（ｂ）では、垂直方向ライン毎に、対象フレームとこれに隣接する前後のフレームの水平方向の輝度平均値を算出し、算出した前後フレームの輝度平均値と対象のフレームの輝度値の差を輝度差として算出する（輝度差算出手段）。この算出された輝度差が閾値Ｔｈを超えたラインが連続した場合、ＣＰＵ１０７はフラッシュバンドが発生したと判定する。
【００２５】
しかしながら、図２のフラッシュバンド判定方法では、周辺光量落ちにより画面周辺部のフラッシュバンドの輝度レベルが低くなってしまった場合にフラッシュバンドが発生していても輝度差が閾値Ｔｈよりも小さくなってしまう問題がある。本実施形態では以下の図３の処理を行うことによりかかる問題を解消している。
【００２６】
図３は、本発明の第１の実施形態におけるフラッシュバンドの検出制御処理の手順を示すフローチャートである。この処理はＣＰＵ１０７が不図示のＲＯＭに保持されるプログラムを展開することにより実行される。
【００２７】
まず、フラッシュバンド補正モードをユーザが選択すると（ステップＳ１００でＹＥＳ）、ライン方向に水平積分した輝度レベルを検出する（ステップＳ１０１）。
【００２８】
次に、ステップＳ１０２で取得した画像データに周辺光量落ち補正がおこなわれているかを判定する。この判定の結果、周辺光量落ち補正が行われている場合は（ステップＳ１０２でＹＥＳ）、補正後のフラッシュバンド検出用の閾値をメモリから取得してステップＳ１０４に進む。一方、周辺光量落ち補正がおこなわれていない場合は（ステップＳ１０２でＮＯ）、ステップＳ１０３に進む。
【００２９】
ステップＳ１０３では、図４で後述する方法により、光学レンズ１０１からの情報をもとに周辺光量落ちによる光量の減衰分だけフラッシュバンド検出用の閾値を補正する（閾値補正手段）。
【００３０】
ステップＳ１０４では、ステップＳ１０１で検出した輝度レベルと上記補正後のフラッシュバンド検出用の閾値をもとに、フレーム間の輝度レベルを比較する。この比較の結果、フラッシュバンドが発生している場合（ステップＳ１０５でＹＥＳ）、ステップＳ１０６に進みフラッシュバンド補正を実施した後に本処理を終了する。一方、フラッシュバンドが発生していない場合（ステップＳ１０５でＮＯ）、フラッシュバンド補正は実施せず、そのまま本処理を終了する。
【００３１】
周辺光量落ちが発生している時のフラッシュバンド検出用の閾値の算出方法の一例を図４を用いて説明する。
【００３２】
図４は、図３のステップＳ１０３で実行されるフラッシュバンド検出用の閾値の補正方法を説明するための図である。
【００３３】
まず、図４（ａ）は周辺光量落ちが発生する光学レンズ１０１を用いて得られた画像データを表す図である。ここでは画像データのＨ（ｎ）ライン目におけるフラッシュバンド検出用の閾値の算出方法について述べる。ａは画面中心からＨ（ｎ）ラインの中央までの像高を表している。ｂは画面中心からＨ（ｎ）ラインの左端までの像高を表している。
【００３４】
図４（ｂ）は図４（ａ）の画像データのＨ（ｎ）ラインにおける、像高に対する周辺光量落ちのレベルを表した図である。Ｈ（ｎ）ラインの場合、周辺光量落ちによる光量の減衰量は像高ａから像高ｂまでの光量落ちレベルの積分値Ｃ（ｎ）で表すことができる。周辺光量落ちが無い場合のフラッシュバンド検出用の閾値をＴｈとした場合、Ｈ（ｎ）ライン目の閾値Ｔｈ（ｎ）は以下の式（１）で算出される。
【００３５】
Ｔｈ（ｎ）＝Ｔｈ／Ｃ（ｎ）  ・・・（１）
以上、説明したように、フラッシュバンド判定において、周辺光量落ちのレベルを用いてフラッシュバンド検出用の閾値を補正することでフラッシュバンド検出の精度向上が可能になる。
【００３６】
＜第２の実施形態＞
第１の実施形態ではフラッシュバンド検出領域を画像データのすべての領域に設定していた。しかし、レンズの周辺光量落ちが非常に大きい場合、フラッシュバンド検出用の閾値に補正をかけてもフラッシュバンドを誤検出してしまう可能性がある。
【００３７】
そこで第２の実施形態では周辺光量落ちのレベルが所定の値よりも大きくなる場合は、画像データの領域周辺部でフラッシュバンド検出を実施しないことを特徴としている。
【００３８】
本発明の第２の実施形態の制御について、図５のフローチャートを用いて説明する。
【００３９】
図５は、本発明の第２の実施形態におけるフラッシュバンドの検出制御処理の手順を示すフローチャートである。図３と同様、この処理もＣＰＵ１０７が不図示のＲＯＭに保持されるプログラムを展開することにより実行される。
【００４０】
基本的な処理は第１の実施形態と同じであるが、ステップＳ２０４およびステップＳ２０５の処理が異なる。ステップＳ２０４では周辺光量落ちのレベルが所定の値よりも大きいかを判定する。所定の値よりも大きい場合、フラッシュバンドの誤検出が発生する可能性があるためフラッシュバンド検出用のエリアを周辺光量落ちのレベルが所定の値よりも小さいエリアに設定する。その後ステップＳ２０７のフラッシュバンドの判定まではステップＳ２０５で設定したエリアで処理をおこなう。
【００４１】
以上、説明したように、周辺光量落ちのレベルによりフラッシュバンド検出エリアを変更することでフラッシュバンドの誤検出をより減らすことが可能になる。
【００４２】
尚、上記実施形態１，２においては、フラッシュバンド検出用の閾値の補正を行ったが、この補正を行なわず、周辺光量落ちのレベルに基づきゲインを補正するようにしてもよい（ゲイン補正手段）。また、フラッシュバンド検出用の閾値の補正を行うか、ゲインの補正を行うかを、フラッシュバンド補正モードがユーザ選択されたときに、ユーザに問い合わせるようにしてもよい（問合手段）。例えば、この問い合わせは、本発明の撮像装置にある不図示の表示部に表示するようにしてもよい。
【００４３】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯステップＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
【符号の説明】
【００４４】
１０１  光学レンズ
１０２  ＣＭＯＳセンサ
１０３  ライン方向輝度検出部
１０４  映像信号処理部
１０５  表示部記録媒体
１０６  センサ制御部
１０７  ＣＰＵ
【図１】
2018074421.tif 000003
【図２】
2018074421.tif 000004
【図３】
2018074421.tif 000005
【図４】
2018074421.tif 000006
【図５】
2018074421.tif 000007