(57)【要約】【課題】画像の一部領域にフラッシュ光が当たっていない状態であっても精度よくフラッシュバンドを検出する。向上させる【解決手段】撮像装置は、撮像によって連続する複数のフレームを有する映像を出力する。輝度検出領域分割部１０３は撮像装置と被写体との距離を示す距離情報に基づいて求められた被写体領域に応じて、複数のフレームにおいて少なくとも１つの輝度検出領域を設定する。そして、映像信号処理部１０６は、ライン方向輝度検出部で得られた輝度検出領域における平均輝度レベルに基づいてフラッシュ発光で生じるフラッシュバンドが発生したか否かを判定する。【選択図】図１
2017011351.tif 000002
【特許請求の範囲】
【請求項１】
撮像によって連続する複数のフレームを有する映像を出力する撮像装置であって、
前記複数のフレームにおいて、被写体を示す被写体領域に応じて少なくとも１つの輝度検出領域を設定する設定手段と、
前記輝度検出領域において帯状の明るさの段差が生じているか否かを判定する判定手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記設定手段は、前記撮像装置と前記被写体との距離を示す距離情報に基づいて前記被写体領域を求め、前記被写体領域に応じて複数の輝度検出領域を設定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記設定手段は、前記画像において被写体を示す被写体領域を検出して、当該被写体領域を含む所定は範囲の領域を前記輝度検出領域として設定することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記判定手段は、前記複数のフレームにおいて前記輝度検出領域についてライン方向における輝度データを求めて、連続する２フレームにおいて対応する輝度検出領域における前記ライン方向の輝度差が所定の閾値を超えるラインの数が予め設定されたライン数連続すると、前記輝度検出領域において帯状の明るさの段差が生じていると判定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記輝度データは、ライン方向における平均輝度レベルを示すデータであることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記輝度データは、ライン方向における輝度積分値を示すデータであることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項７】
前記判定手段によって前記帯状の明るさの段差が生じていると判定されると、前記帯状の明るさの段差を補正する補正手段を有することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
撮像によって連続する複数のフレームを有する映像を出力する撮像装置の制御方法であって、
前記複数のフレームにおいて、被写体を示す被写体領域に応じて少なくとも１つの輝度検出領域を設定する設定ステップと、
前記輝度検出領域において帯状の明るさの段差が生じているか否かを判定する判定ステップと、
を有することを特徴とする制御方法。
【請求項９】
撮像によって連続する複数のフレームを有する映像を出力する撮像装置で用いられる制御プログラムであって、
前記撮像装置が備えるコンピュータに、
前記複数のフレームにおいて、被写体を示す被写体領域に応じて少なくとも１つの輝度検出領域を設定する設定ステップと、
前記輝度検出領域において帯状の明るさの段差が生じているか否かを判定する判定ステップと、
を実行させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、その制御方法、および制御プログラムに関し、特に、デジタル一眼レフカメラ、デジタルスチルカメラ、又はデジタルビデオカメラなどの撮像装置に関する。
【背景技術】
【０００２】
ＣＭＯＳセンサーなどの撮像素子を用いた撮像装置では、撮像素子のライン毎に異なるタイミングで電荷蓄積を開始させる。そして、所定の電荷蓄積時間の経過後、ライン毎に画像信号を読み出すローリングシャッタが用いられている。
【０００３】
上記のローリングシャッタにおいては、ライン毎に画像信号を読み出す時間が異なる。このため、フラッシュ又はストロボのような非常に発光時間の短い照明が行われると、例えば、画像で下半分のみが明るく、上半分が暗いという現象が発生することがある。そして、このような画像に生じた帯状の明るさの段差はフラッシュバンドと呼ばれている。
【０００４】
フラッシュバンドを検出する際、例えば、画像のライン方向の輝度を算出するようにしたものがある（特許文献１参照）。そして、フレーム間における輝度差が所定の閾値以上高い領域が帯状に存在した場合にフラッシュバンドと判定して、当該フラッシュバンドを補正するようにしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１３５９２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところが、特許文献１に記載の手法においては、画像のライン方向における平均輝度を算出しているため、例えば、画像の一部領域にのみフラッシュ光が当たっていない状態ではフラッシュバンドを検出することが困難となる。
【０００７】
例えば、主被写体から背景までに距離があって、手前の主被写体のみにフラッシュ光が当たっていない場合がある。この場合に、ライン方向の平均輝度レベルを検出するとフラッシュ光が当たっていない領域も存在するので、フレーム間における輝度差が小さくなってフラッシュバンドが検出できないことがある。
【０００８】
従って、本発明の目的は、画像の一部領域にフラッシュ光が当たっていない状態であっても精度よくフラッシュバンドを検出することのできる撮像装置、その制御方法、および制御プログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記の目的を達成するため、本発明による撮像装置は、撮像によって連続する複数のフレームを有する映像を出力する撮像装置であって、前記複数のフレームにおいて、被写体を示す被写体領域に応じて少なくとも１つの輝度検出領域を設定する設定手段と、前記輝度検出領域において帯状の明るさの段差が生じているか否かを判定する判定手段と、を有することを特徴とする。
【００１０】
本発明による制御方法は、撮像によって連続する複数のフレームを有する映像を出力する撮像装置の制御方法であって、前記複数のフレームにおいて、被写体を示す被写体領域に応じて少なくとも１つの輝度検出領域を設定する設定ステップと、前記輝度検出領域において帯状の明るさの段差が生じているか否かを判定する判定ステップと、を有することを特徴とする。
【００１１】
本発明による制御プログラムは、撮像によって連続する複数のフレームを有する映像を出力する撮像装置で用いられる制御プログラムであって、前記撮像装置が備えるコンピュータに、前記複数のフレームにおいて、被写体を示す被写体領域に応じて少なくとも１つの輝度検出領域を設定する設定ステップと、前記輝度検出領域において帯状の明るさの段差が生じているか否かを判定する判定ステップと、を実行させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、画像において被写体領域に応じて輝度検出領域を設定し、輝度検出領域において帯状の明るさの段差が生じているか否かを判定する。これによって、画像の一部領域にフラッシュ光が当たっていない状態であっても精度よくフラッシュバンドを検出することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施形態による撮像装置の一例についてその構成を示すブロック図である。
【図２】従来のフラッシュバンド検出の一例を説明するための図である。
【図３】図１に示すビデオカメラで行われるフラッシュバンドの検出を説明するための図である。
【図４】図１に示すビデオカメラで行われるフラッシュバンド補正モードの一例を説明するためのフローチャートである。
【図５】本発明の第２の実施形態によるビデオカメラの一例についてその構成を示すブロック図である。
【図６】図５に示すビデオカメラで行われるフラッシュバンド補正処理の一例を説明するためのフローチャートである。
【発明を実施するための形態】
【００１４】
以下に、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。
【００１５】
［第１の実施形態］
図１は、本発明の第１の実施形態による撮像装置の一例についてその構成を示すブロック図である。
【００１６】
図示の撮像装置は、例えば、デジタルビデオカメラ（以下単にビデオカメラと呼ぶ）であり、光学レンズユニット（以下単に光学レンズと呼ぶ）１０１を有している。図示はしないが、光学レンズ１０１には、ピントを合わせるためのフォーカス機構、光量および被写界深度を調節する絞り機構、および焦点距離を変化させるためのズーム機構が備えられている。
【００１７】
光学レンズ１０１を介して入射した光（光学像）は、ＣＭＯＳセンサーなどの撮像素子１０２に結像する。そして、撮像素子１０２は光学像に応じたデジタル映像信号（以下単に映像信号と呼ぶ）を出力する。この映像信号は輝度検出領域分割部１０３に入力される。
【００１８】
距離情報検出部１０４は、例えば、赤外光源と赤外線センサーを用いて被写体とビデオカメラとの距離を検出して距離情報を輝度検出領域分割部１０３に送る。輝度検出領域分割部１０３は距離情報に基づいて、映像信号が示す画像（１フレーム）を複数の輝度検出領域（つまり、フラッシュバンド検出領域）に分割する。なお、被写体とビデオカメラとの距離を検出する方法は赤外線を用いる方法以外でもよく、距離情報検出部を用いることなく、輝度検出領域分割部１０３が光学レンズ１０１のフォーカスレンズ位置情報や映像信号に基づいて距離情報を算出するようにしてもよい。
【００１９】
ライン方向輝度検出部１０５は輝度検出領域毎にライン方向における輝度を検出して輝度データを得る。映像信号処理部１０５は、ＣＰＵ１０７の制御下でライン方向輝度検出部１０５の出力である輝度データに基づいて、輝度検出領域毎に帯状の明るさの段差（フラッシュバンド）が発生しているか否かを判定する。
【００２０】
映像信号処理部１０６はフラッシュバンド判定の他、映像信号に対して所定の補正処理を行うとともに現像処理などを行って画像データを生成する。映像信号処理部１０６の出力である画像データは表示部記録媒体１０８に出力される。そして、表示部には画像データに応じた画像が表示され、記録媒体には画像データが記録される。
【００２１】
ＣＰＵ１０７はビデオカメラ全体の制御を司る。撮像素子制御部１０９はＣＰＵ１０７の制御下で、撮像素子１０２のシャッタースピード、ゲイン、およびフレームレートを制御する。
【００２２】
図２は、従来のフラッシュバンド検出の一例を説明するための図である。
【００２３】
図２において、撮像素子からは垂直同期信号（ＶＤ）に応じて順次フレーム１からフレーム５の映像信号が読み出されるものとする。そして、図示の例では、フレーム３および４に係る電荷の蓄積期間中において外部閃光が発生したものとする。さらに、この外部閃光によってフレーム３（出力画像）においては、画像の下部にフラッシュバンド（斜線で示す）が発生し、フレーム４（出力画像）においては、画像の上部にフラッシュバンドが発生したものとする。
【００２４】
フラッシュバンドを検出する際には、連続する２フレームの各々においてライン方向の平均輝度値を算出する。そして、連続する２フレーム間において平均輝度値の差を輝度差として求めて、当該輝度差が所定の閾値Ｔｈを超えたラインの数が予め定められた数（例えば１０ライン）連続するとフラッシュバンドが発生したとする。
【００２５】
図２に示す例では、フレーム３およびフレーム４において、輝度差が閾値Ｔｈを超えるラインの数が予め定められた数連続しており、フレーム３およびフレーム４においてフラッシュバンドが発生したと判定される。
【００２６】
上述のように、図２に示すフラッシュバンドの検出手法では、ライン方向における平均輝度値はフラッシュバンドが発生していない部分も含めて算出される。このため、画像の一部領域にのみフラッシュバンドが発生した場合には、ライン方向における平均輝度値が低くなることがある。この結果、輝度差が閾値Ｔｈを超えるラインの数が予め定められた数連続しないことがあり、フラッシュバンドの発生を検出できないことがある。
【００２７】
図３は、本実施形態に係るビデオカメラで行われるフラッシュバンドの検出を説明するための図である。
【００２８】
図３において、撮像素子１０２からは垂直同期信号（ＶＤ）に応じて順次フレーム１からフレーム５の映像信号が読み出されるものとする。そして、図示の例では、フレーム３および４に係る電荷の蓄積期間中において外部閃光（例えば、フラッシュ発光）が発生したものとする。さらに、この外部閃光によってフレーム３（出力画像）においては、被写体の一部（体部分）にフラッシュバンド（斜線で示す）が発生し、フレーム４（出力画像）においては、被写体の一部（顔部分）にフラッシュバンドが発生したものとする。
【００２９】
前述のように、フラッシュバンドを検出する際には、輝度検出領域分割部１０３は距離情報に応じて画像を複数の輝度検出領域に分割する。図示の例では、背景領域を輝度検出領域Ａとし、被写体領域を輝度検出領域Ｂとする。ライン方向輝度検出部１０５は輝度検出領域Ａおよび輝度検出領域Ｂの各々においてライン方向の輝度を検出して輝度データ（平均輝度レベル）を得る。
【００３０】
なお、本実施形態では、輝度データとしてライン方向の平均輝度レベルを示すデータを得る例を説明するが、連続する２フレーム間における輝度差を算出することができるデータであれば輝度データの種類は限定されない。例えば、ライン方向の輝度積分値を示すデータを輝度データとしてもよい。
【００３１】
映像信号処理部１０６は、輝度データに基づいて連続する２フレーム間における輝度差を算出する。そして、映像信号処理部１０６は、輝度検出領域Ａおよび輝度検出領域Ｂのいずれかにおいて輝度差が閾値Ｔｈを超えるラインの数が予め定められたライン数（例えば、１０ライン）連続するとフラッシュバンドが発生したと判定する。
【００３２】
図３に示す例では、フレーム１〜５の輝度検出領域Ａについては、いずれも輝度差が閾値ｔｈを超えていないが、輝度検出領域Ｂについては、フレーム３および４において輝度差が閾値Ｔｈを超えるラインの数が予め定められた数連続する。よって、映像信号処理部１０６は、フレーム３および４においてフラッシュバンドが発生したと判定することになる。
【００３３】
このように、画像を複数の輝度検出領域を分割することによって、画像の一部領域にのみフラッシュバンドが発生した場合にはおいても、輝度検出領域においてライン方向における輝度平均値が低くなることが少ない。この結果、一部領域にのみフラッシュバンドが発生しても、輝度差が閾値Ｔｈを超えるラインの数が予め定められた数連続することになって、フラッシュバンドの発生を精度よく検出することができる。
【００３４】
図４は、図１に示すビデオカメラで行われるフラッシュバンド補正モードの一例を説明するためのフローチャートである。なお、図示のフローチャートに係る処理はＣＰＵ１０７の制御下で行われる。
【００３５】
フラッシュバンド補正モードを開始すると、距離情報検出部１０４は被写体からビデオカメラまでの距離を示す距離情報を検出する（ステップＳ１０１）。なお、ここでの被写体は、人物などの主要な被写体領域だけでなく画角内の背景領域も含んでいる。輝度検出領域分割部１０３は、距離情報に応じて画像を複数の輝度検出領域に分割する必要があるか否かを判定する（ステップＳ１０２）。ここでは、輝度検出領域分割部１０３は、例えば、画像に被写体領域と他の領域とが存在する場合に、距離情報に応じて画像を複数の輝度検出領域に分割する。
【００３６】
画像を複数の輝度検出領域に分割する必要があると判定すると（ステップＳ１０２において、ＹＥＳ）、輝度検出領域分割部１０３は距離情報に応じて画像を複数の輝度検出領域に分割する領域分割処理を行う（ステップＳ１０３）。
【００３７】
続いて、ライン方向輝度検出部１０５は、輝度検出領域毎にライン方向の輝度を検出して平均輝度値（以下平均輝度レベルともいう）を得る（ステップＳ１０４）。映像信号処理部１０６は連続する２フレーム間において対応する輝度検出領域の平均輝度レベルを比較して輝度差を求める（ステップＳ１０５）。
【００３８】
続いて、映像信号処理部１０６は輝度差に応じてフラッシュバンドが発生しているか否かを判定する（ステップＳ１０６）。つまり、映像信号処理部１０６は、輝度差が閾値Ｔｈを超えるラインの数が予め定められたライン数連続しているか否かを判定する。フラッシュバンドが発生していると判定すると（ステップＳ１０６において、ＹＥＳ）、映像信号処理部１０６は既知の手法を用いてフラッシュバンド補正を行う（ステップＳ１０７）。ここでは、映像信号処理部１０６は、例えば、フラッシュバンドが発生したフレームの直前のフレームを、アラッシュバンドが発生したフレームの代わりに用いるフラッシュバンド補正を行う。その後、ＣＰＵ１９７はフラッシュバンド補正モードを終了する。
【００３９】
一方、画像を複数の輝度検出領域に分割する必要がないと判定すると（ステップＳ１０２において、ＮＯ）、輝度検出領域分割部１０３は領域分割処理を行わない。そして、ライン方向輝度検出部１０５は、画像においてライン方向の輝度を検出して平均輝度レベルを得る（ステップＳ１０８）。その後、映像信号処理部１０６は連続する２フレーム間において輝度レベルを比較して輝度差を求めて（ステップＳ１０９）、前述のステップＳ１０６の処理に進む。
【００４０】
このように、本発明の第１の実施形態では、画像においてフラッシュバンドの発生を検出する際、距離情報に応じて画像を複数の輝度検出領域に分割する。そして、輝度検出領域毎にフラッシュバンドの発生を検出するようにしたので、フラッシュバンドの検出精度を向上させることができる。
【００４１】
［第２の実施形態］
続いて、本発明の第２の実施形態によるビデオカメラについて説明する。
【００４２】
前述の第１の実施形態においては距離情報に応じて画像を複数の輝度検出領域に分割して、輝度検出領域毎にフラッシュバンドの発生を検出するようにした。この場合、背景領域などにおいて輝度検出領域が狭いと誤検出が発生することがある。そこで、第２の実施形態では、画像において被写体を検出して、当該被写体の周辺にフラッシュバンド検出領域である輝度検出領域を設定する。
【００４３】
図５は、本発明の第２の実施形態によるビデオカメラの一例についてその構成を示すブロック図である。なお、図５において、図１に示すビデオカメラと同一の構成要素については同一の参照番号を付して説明を省略する。
【００４４】
図示のビデオカメラは、図１で説明した輝度検出領域分割部１０３および距離情報検出部１０４の代わりに、被写体検出部２０３および検出領域算出部２０４が備えられている。
【００４５】
被写体検出部２０３には、撮像素子の出力である映像信号が与えられる。被写体検出部２０３は、映像信号においてフレーム毎に顔領域又は人体領域などの被写体領域を検出する。顔領域又は人体領域などの被写体領域を検出する方法については、既知の方法（例えばパターンマッチングなど）を用いればよく、詳細な説明は省略する。そして、被写体検出部２０３は被写体検出結果を検出領域算出部２０４に送る。なお、映像信号は被写体検出部２０３を介して検出領域算出部２０４に与えられ、被写体検出結果には被写体のサイズおよび画像上の位置が含まれている。
【００４６】
検出領域算出部２０４は被写体検出結果に基づいて、被写体領域を含む所定の範囲の領域（被写体およびその周辺）を輝度検出領域（つまり、フラッシュバンド検出領域）として設定する。そして、検出領域算出部２０４は映像信号とともに、設定した輝度検出領域をライン方向輝度検出部１０５に送る。
【００４７】
図６は、図５に示すビデオカメラで行われるフラッシュバンド補正処理の一例を説明するためのフローチャートである。
【００４８】
なお、図６に示すフローチャートにおいて、図４に示すフローチャートのステップと同一のステップについては同一の参照番号を付して説明を省略する。また、図示のフローチャートに係る処理はＣＰＵ１０７の制御下で行われる。
【００４９】
フラッシュバンド補正モードを開始すると、被写体検出部２０３は、撮像素子１０２の出力である映像信号においてフレーム毎に被写体領域を検出する（ステップＳ２０１）。そして、被写体検出部２０３は被写体検出結果を検出領域算出部２０４に送る。検出領域算出部２０４は被写体検出結果に応じて、輝度検出領域を設定（指定）する必要があるか否かを判定する（ステップＳ２０２）。ここでは、被写体検出結果において被写体領域が検出されていると、検出領域算出部２０４は輝度検出領域の指定が必要であると判定する。
【００５０】
検出領域算出部２０４によって輝度検出領域の指定が必要でないと判定されると（ステップＳ２０２において、ＮＯ）、ライン方向輝度検出部１０５は、ステップＳ１０８において１フレームの画像全体についてライン方向の平均輝度レベルを検出する。
【００５１】
一方、輝度検出領域の指定が必要であると判定すると（ステップＳ２０２において、ＹＥＳ）、検出領域算出部２０４は、被写体検出結果に基づいて、被写体領域を含む所定の範囲の領域を輝度検出領域として設定する（ステップＳ２０３）。そして、ライン方向輝度検出部１０５は、設定された輝度検出領域においてライン方向の輝度を検出して輝度レベルを得る（ステップＳ２０４）。
【００５２】
続いて、映像信号処理部１０６は連続する２フレーム間において対応する輝度検出領域の輝度レベルを比較して輝度差を求める（ステップＳ２０５）。その後、映像信号処理部１０６は、図４で説明したステップＳ１０６の処理に進む。
【００５３】
このように、本発明の第２の実施形態では、画像においてフラッシュバンドの発生を検出する際、画像において検出された被写体領域を含む所定の範囲の領域を輝度検出領域、つまり、フラッシュバンド検出領域とする。そして、輝度検出領域においてフラッシュバンドの発生を検出するようにしたので、誤検出を回避してフラッシュバンドの検出精度を向上させることができる。
【００５４】
上述の説明から明らかなように、図１に示す例においては、輝度検出領域分割部１０３、距離情報検出部１０４、およびＣＰＵ１０７が設定手段として機能する。また、ライン方向輝度検出部１０５、映像信号処理部１０６、およびＣＰＵ１０７は判定手段として機能し、映像信号処理部１０６およびＣＰＵ１０７は補正手段として機能する。
【００５５】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【００５６】
また、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【００５７】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５８】
１０１  光学レンズ
１０２  撮像素子
１０３  輝度検出領域分割部
１０４  距離情報検出部
１０５  ライン方向輝度検出部
１０６  映像信号処理部
１０７  ＣＰＵ
２０３  被写体検出部
２０４  検出領域算出部
【図１】
2017011351.tif 000003
【図２】
2017011351.tif 000004
【図３】
2017011351.tif 000005
【図４】
2017011351.tif 000006
【図５】
2017011351.tif 000007
【図６】
2017011351.tif 000008