(57)【要約】【課題】  電子防振を行った場合にも、適切にフラッシュバンド検出を行うことが可能となる撮像装置及びその制御方法並びにプログラムを提供する。【解決手段】  ローリングシャッター方式で撮像素子から読み出された画像信号から得られた映像信号の複数のフレームから、外部閃光により生じた２つのフレームにまたがったフラッシュバンドを検出し、検出されたフレームの画像を全面閃光画像に補正する際、電子防振により補正された複数のフレームの夫々のぶれ量に応じて、フラッシュバンドの検出方法を変更する。【選択図】  図２
2018085637.tif 000002
【特許請求の範囲】
【請求項１】
ローリングシャッター方式で撮像素子から読み出された画像信号を取得し、複数のフレームからなる映像信号に変換する変換手段と、
外部閃光により生じた、前記複数のフレームのうちの２つにまたがったフラッシュバンドを検出するフラッシュバンド検出手段と、
前記フラッシュバンドが検出されたフレームの画像を、全面閃光画像に補正するフラッシュバンド補正手段と、
電子防振により前記複数のフレームの夫々のぶれを補正する防振手段と、
前記防振手段により補正されたぶれ量に応じて、前記フラッシュバンドの検出方法を変更する変更手段を備えることを特徴とする撮像装置。
【請求項２】
前記フラッシュバンドの検出方法は、連続する２つのフレームにおいて閾値より輝度レベルが高いライン数が所定のライン数であった場合に、前記フラッシュバンドが発生したと判定する方法であって、
前記フラッシュバンド検出手段は、前記連続する２つのフレームについて、前記防振手段で補正された垂直方向のぶれ量に応じて、前記所定のライン数を変更することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記連続する２つのフレームについて、前記防振手段で補正された垂直方向のぶれ量を保持する第１の保持手段と、
前記フラッシュバンド検出手段は、前記連続する２つのフレームに対する前記フラッシュバンドの検出を行う際、前記第１の保持手段に保持された前記垂直方向のぶれ量に基づいて、前記所定のライン数を変更することを特徴とする請求項２記載の撮像装置。
【請求項４】
前記フラッシュバンド検出手段は、前記複数のフレームのうちの１つのフレームについて、前記防振手段で補正された水平方向のぶれ量だけ、フラッシュバンド検出枠を水平方向に変更することを特徴とする前記請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記１つのフレームについて、前記防振手段で補正された水平方向のぶれ量を保持する第２の保持手段と、
前記フラッシュバンド検出手段は、前記１つのフレームに対する前記フラッシュバンドの検出を行う際、前記第２の保持手段に保持された前記水平方向のぶれ量に基づいて、フラッシュバンド検出枠の水平開始位置と水平終了位置を変更することを特徴とする請求項４記載の撮像装置。
【請求項６】
ローリングシャッター方式で撮像素子から読み出された画像信号を取得し、複数のフレームからなる映像信号に変換する変換ステップと、
外部閃光により生じた、前記複数のフレームのうちの２つにまたがったフラッシュバンドを検出するフラッシュバンド検出ステップと、
前記フラッシュバンドが検出されたフレームの画像を、全面閃光画像に補正するフラッシュバンド補正ステップと、
電子防振により前記複数のフレームの夫々のぶれを補正する防振ステップと、
前記防振ステップで補正されたぶれ量に応じて、前記フラッシュバンドの検出方法を変更する変更ステップを有することを特徴とする制御方法。
【請求項７】
請求項６記載の制御方法を実行するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びその制御方法並びにプログラムに関し、特に電子防振及びフラッシュバンド検出を行う撮像装置及びその制御方法並びにプログラムに関する。
【背景技術】
【０００２】
従来より、ローリングシャッター方式で撮像素子からの画像信号を読み出す撮像装置では、瞬間的に発光された外部のフラッシュにより、１フレーム内の画に輝度段差が生じるフラッシュバンドが問題となっている。これを補正する方法としては、フラッシュバンドが検出されたフレームでは、そのフレームの代わりに、前のフレームの画像を使うという方法や、前後の複数のフレームを加算平均することで、輝度段差のない画を作るという方法が知られている。
【０００３】
一方、フラッシュバンドの検出方法として、まず、各ラインの輝度の積分値を算出する。次に、低輝度から高輝度へ遷移したラインから、次のフレームで高輝度から低輝度へ遷移したラインまでの合計がおよそ１フレーム分であった場合にフラッシュバンドが発生したと判定する従来例が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２５３３６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、電子防振後に上記従来例の方法でフラッシュバンドを検出すると、連続する２フレームで電子防振補正量が異なる場合がある。この場合、フラッシュバンドが発生したラインの合計が１フレーム分にならず、フラッシュバンドが検出できないという問題点があった。また、フラッシュバンド検出枠も電子防振後においては意図した領域に設定されず、検出精度が低下するという問題があった。
【０００６】
そこで、本発明は、電子防振を行った場合にも、適切にフラッシュバンド検出を行うことが可能となる撮像装置及びその制御方法並びにプログラムを提供することである。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、ローリングシャッター方式で撮像素子から読み出された画像信号を取得し、複数のフレームからなる映像信号に変換する変換手段と、外部閃光により生じた、前記複数のフレームのうちの２つにまたがったフラッシュバンドを検出するフラッシュバンド検出手段と、前記フラッシュバンドが検出されたフレームの画像を、全面閃光画像に補正するフラッシュバンド補正手段と、電子防振により前記複数のフレームの夫々のぶれを補正する防振手段と、前記防振手段により補正されたぶれ量に応じて、前記フラッシュバンドの検出方法を変更する変更手段とを備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、電子防振を行った場合にも、適切にフラッシュバンド検出を行うことが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明に係る撮像装置としてのビデオカメラのブロック図である。
【図２】本発明の第１の実施形態における撮影後の画像補正処理の手順を示すフローチャートである。
【図３】図２のステップＳ１０１における図１の防振部での電子防振の方法を説明する図である。
【図４】防振部による電子防振が行われない場合の、フラッシュバンド検出方法を説明するための図である。
【図５】防振部による電子防振が行われる場合の、フラッシュバンド検出方法を説明するための図である。
【図６】本発明の第２の実施形態における撮影後の画像補正処理の手順を示すフローチャートである。
【図７】図６のステップＳ２０２のフラッシュバンド検出枠の変更方法を説明するための図である。
【発明を実施するための形態】
【００１０】
以下に、本発明の好ましい実施形態について、図面を用いて説明する。
【００１１】
まず、本発明に係る撮像装置としてのビデオカメラの構成を図１を用いて説明する。その後、第１〜２の実施形態について図２〜図７を用いてそれぞれ説明する。
【００１２】
図１は、本発明に係る撮像装置としてのビデオカメラ１のブロック図である。
【００１３】
図１において、１０１は被写体の光学像を形成する複数の光学レンズからなる撮影光学系であり、変倍に際して光軸方向に移動する変倍レンズ（ズームレンズ）と、焦点調節（合焦）に際して光軸方向に移動するフォーカスレンズと、を有する。また、撮影光学系１０１は入射光量を制御する絞りとＮＤを備えている。
【００１４】
１０２は撮影光学系１０１が形成した光学像を画像信号に光電変換する撮像素子を２次元配列で有するＣＭＯＳセンサである。ＣＭＯＳセンサ１０２はローリングシャッター方式で露光を行い、画像信号を読み出す。１０３はＣＭＯＳセンサ１０２から読み出された画像信号を取得し、所定のフォーマットの複数のフレームからなる映像信号に変換する映像信号処理部である。
【００１５】
１０４はビデオカメラ１全体を制御するための全体制御演算部である。全体制御演算部１０４は映像信号処理部１０３の出力信号から、適切な露出量を算出し、撮影光学系１０１内部にある絞りとＮＤ、また、ＣＭＯＳセンサ１０２でのシャッタースピード、さらに映像信号処理部１０３でかけるゲインの値を制御する。ここでいうシャッタースピードとは電子シャッターの露光時間のことであり、全体制御演算部１０４がＣＭＯＳセンサ１０２に電荷の蓄積開始タイミングと電荷の読み出しタイミングを送ることによって制御する。また、全体制御演算部１０４は、以下後述するフラッシュバンド検出部１０９、フラッシュバンド補正部１１０、及び防振部１１１を制御し、撮影後の画像補正処理を実行する。この処理については図２において後述する。
【００１６】
１０５はメモリ部であり、上記変更された基準ライン数等、全体制御演算部１０４の演算結果や映像信号処理部１０３の出力信号を一時的に記憶する。１０６はＤＶＤ、ハードディスク、不揮発性メモリなどの記録媒体である。１０７は記録媒体１０６とのデータの入出力を制御する記録媒体制御Ｉ／Ｆ部である。１０８は外部Ｉ／Ｆ部であり、撮影した映像を外部のモニタやレコーダに出力したり、他のビデオカメラやプレーヤから映像を入力したりできる。あるいは、外部Ｉ／Ｆ部１０８を介してビデオカメラ１はコンピュータと接続し、コンピュータとインターネットを介して必要な情報を取得することができる。１０９はフラッシュバンド検出部であり、メモリ部１０５に格納された連続する２フレームの画像情報を用いて、外部閃光によりフラッシュバンドが発生した領域を検出する。１１０はフラッシュバンド補正部であり、メモリ部１０５に格納されているフラッシュバンドが検出されたフレームと、その直前のフレームの画像を合成することで、全面閃光画像に補正するフラッシュバンド補正を行う。１１１は防振部であり、ジャイロの情報を元にビデオカメラ１のぶれを算出し、それを軽減するようフレーム毎に上下左右方向に画素単位で画像をずらすことで、電子防振を行う。ＣＭＯＳセンサ１０２からの映像信号は、映像信号処理部１０３で必要な処理が行われた後、防振部１１１を通って、フラッシュバンド検出部１０９へ入力される。
【００１７】
＜第１の実施形態＞
第１の実施形態では、防振補正量に応じてフラッシュバンド検出時の判定に用いるライン数（以下「基準ライン数」という。）を変更する例を示す。
【００１８】
図２は、本発明の第１の実施形態における撮影後の画像補正処理の手順を示すフローチャートである。本処理は、全体制御演算部１０４により実行される。
【００１９】
ステップＳ１０１では、防振部１１１において、入力された画像に対して、ジャイロで検出されたぶれ量分だけ、水平および垂直方向に画像をずらして電子防振を行う。詳細は図３において後述する。ステップＳ１０１の処理が完了したら、ステップＳ１０２へ進む。
【００２０】
ステップＳ１０２では、防振部１１１での防振補正量に応じて、フラッシュバンド検出における判定の基準ライン数を変更する。詳細は図４，５において後述する。ステップＳ１０２の処理が完了したら、ステップＳ１０３へ進む。
【００２１】
ステップＳ１０３では、フラッシュバンド検出部１０９において防振部１１１からの映像信号に対してフラッシュバンド検出を行う。このときステップＳ１０２で変更した判定の基準ライン数を用いてフラッシュバンド検出を行う。処理が完了したら、ステップＳ１０４へ進む。
【００２２】
ステップＳ１０４では、フラッシュバンド検出部１０９において、フラッシュバンドが検出されたかどうかを判定する。フラッシュバンドが検出された場合は、ステップＳ１０５へ進み、そうでない場合は図２の処理をそのまま終了する。
【００２３】
ステップＳ１０５では、フラッシュバンド補正部１１０において、フラッシュバンド補正を行い、その後図２の処理を終了する。尚、ステップＳ１０５のフラッシュバンド補正については公知の方法で行われるため、説明を省略する。
【００２４】
図３は、図２のステップＳ１０１における図１の防振部１１１での電子防振の方法を説明する図である。
【００２５】
図３の上部に示すように、防振補正前は、画像の中心に静止した被写体があり、撮影者の手ぶれにより、２フレーム目では右下、３フレーム目では左上方向にビデオカメラ１の光軸がぶれている様子を表している。また、２フレーム目では画像下部、３フレーム目では画像上部にフラッシュバンドが発生している。
【００２６】
一方、これらの画像は防振補正後、図３の下部に示すようになる。
【００２７】
１フレーム目の画像に対しては、ぶれが検出されていないため、補正することなく、入力画像をそのまま出力する。
【００２８】
２フレーム目の画像に対しては、水平方向にＨ２画素分、垂直方向にＶ２画素分のぶれが発生している。よって、入力された画素データのアドレス（Ｘ，Ｙ）については、防振補正後にはアドレス（Ｘ＋Ｈ２，Ｙ＋Ｖ２）のデータとして出力する。画像の周辺部に関しては、有効領域外の余剰画素を用いて補正を行うため、防振合成後においても画像の周辺部が欠けることはない。こうすることで、防振補正後の画像として、被写体が画像の中心に、フラッシュバンドの開始ラインがＶ２画素分だけ移動する。
【００２９】
３フレーム目の画像に対しては、水平方向にＨ３画素分、垂直方向にＶ３画素分のぶれが発生している。このとき、入力された画素データのアドレス（Ｘ，Ｙ）は、防振補正後にはアドレス（Ｘ＋Ｈ３，Ｙ＋Ｖ３）のデータとして出力する。２フレーム目と同様、画像の周辺部に関しては、有効領域外の余剰画素を用いて補正を行うため、防振合成後においても画像の周辺部が欠けることはない。こうすることで、防振補正後の画像として、被写体が画像の中心に、フラッシュバンドの終了ラインがＶ３画素分だけ移動する。
【００３０】
４フレーム目の画像に対しては、ぶれが検出されていないため、補正することなく、入力画像をそのまま出力する。
【００３１】
図４は、防振部１１１による電子防振が行われない場合の、フラッシュバンド検出方法を説明するための図である。この方法は従来のフラッシュバンド検出方法である。
【００３２】
図４では、被写体が中心にあり、２フレーム目の下部と、３フレームの上部にフラッシュバンドが発生している例を示す。また、図４では被写体に対してビデオカメラ１の光軸のぶれが生じていない例を示す。
【００３３】
まず、図４（ａ），（ｂ），（ｃ）のように、１フレーム目、２フレーム目、３フレーム目の画像に対して、ライン毎に輝度レベルの平均値（平均レベル）を算出する。
【００３４】
次に、図４（ｄ）のように、２フレーム目と１フレーム目に対して、各ラインの平均レベルの差分を算出する（以下、第１のレベル差とする）。ここで、第１のレベル差のうち、閾値より高いライン数をＮとする。
【００３５】
また、図４（ｅ）のように、３フレーム目と１フレーム目に対して、各ラインの平均レベルの差分を算出する（以下、第２のレベル差とする）。ここで、第２のレベル差のうち、閾値より高いライン数をＭとする。
【００３６】
ここでフラッシュバンド検出における判定の基準ライン数を、１フレーム分の全ライン数とし、Ｎ＋Ｍが１フレーム分の全ライン数に相当すれば、フラッシュバンドが検出されたと判定する。この基準ライン数はメモリ部１０５にデフォルト値として保持される。
【００３７】
図５は、防振部１１１による電子防振が行われる場合の、フラッシュバンド検出方法を説明するための図である。
【００３８】
図５では、被写体が中心にあり、２フレーム目の下部と、３フレームの上部にフラッシュバンドが発生している例を示す。また、図５では被写体に対してビデオカメラ１の光軸のぶれが生じており、そのぶれを防振部１１１によって補正した後の画像を例として示している。防振部１１１での防振補正量は、２フレーム目では水平Ｈ２画素分、垂直Ｖ２画素分、３フレーム目では水平Ｈ３画素分、垂直Ｖ３画素分であるとする。防振補正量については、正の値であれば右もしくは下方向への補正、負の値であれば左もしくは上方向への補正とする。
【００３９】
まず、図５（ａ），（ｂ），（ｃ）のように、１フレーム目、２フレーム目、３フレーム目の画像に対して、各ラインの平均レベルを算出する。
【００４０】
次に、図５（ｄ）のように、２フレーム目と１フレーム目に対して、各ラインの平均レベルの差分を算出する（以下、第１のレベル差とする）。ここで、第１のレベル差のうち、閾値より高いライン数をＮ’とする。
【００４１】
また、図５（ｅ）のように、３フレーム目と１フレーム目に対して、各ラインの平均レベルの差分を算出する（以下、第２のレベル差とする）。ここで、第２のレベル差のうち、閾値より高いライン数をＭ’とする。
【００４２】
ここでフラッシュバンド検出における判定の基準ライン数を、上記メモリ部１０５に保持されるデフォルト値から（１フレーム分の全ライン数−Ｖ２＋Ｖ３）に変更する。この処理が図２のステップＳ１０２の処理に対応する。
【００４３】
このとき、Ｎ’＋Ｍ’が（１フレーム分の全ライン数−Ｖ２＋Ｖ３）に相当すれば、フラッシュバンドが検出されたと判定する。この処理が図２のステップＳ１０５の処理に対応する。
【００４４】
以上、説明したように、第１の実施形態においては、防振補正量に応じて、判定の基準ライン数を変更することで、被写体に対して光軸のぶれが生じた場合にも、電子防振を行った後に適切にフラッシュバンド検出を行うことが可能となる。
【００４５】
＜第２の実施形態＞
第２の実施形態では、防振補正量に応じて、フラッシュバンド検出枠を変更する例を示す。
【００４６】
図６は、本発明の第２の実施形態における撮影後の画像補正処理の手順を示すフローチャートである。
【００４７】
図６のステップＳ１０１，Ｓ１０４，Ｓ１０５の処理については、図２と同様の処理なので説明を省略する。
【００４８】
ステップＳ２０２では、防振部１１１での防振補正量に応じて、図２のステップＳ１０２と同様の方法でフラッシュバンド検出における判定の基準ライン数を変更すると共に、後述する図７の方法でフラッシュバンド検出枠を変更する。処理が完了した後、ステップＳ２０３へ進む。
【００４９】
ステップＳ２０３では、ステップＳ２０２で変更された基準ライン数及びフラッシュバンド検出枠を用いてフラッシュバンド検出を行う。検出方法は図５で説明した方法と同様である。処理が完了した後、ステップＳ１０４へ進む。
【００５０】
図７は、図６のステップＳ２０２のフラッシュバンド検出枠の変更方法を説明するための図である。
【００５１】
図７の上部に示すように、防振補正前は、画像の中心に静止した被写体があり、撮影者の手ぶれにより、２フレーム目では右下、３フレーム目では左上方向にビデオカメラ１の光軸がぶれている様子を表している。また、２フレーム目では画像下部、３フレーム目では画像上部にフラッシュバンドが発生している。尚、フラッシュバンド検出枠に関して、メモリ部１０５に水平開始位置のデフォルト値としてＨＳ、水平終了位置のデフォルト値としてＨＥが保持されている。例えば、撮影光学系１０１において光学特性が劣化（例えば周辺光量落ちにより感度が低下）する領域を避けて、検出精度を上げたい場合などに、フラッシュバンド検出枠をこのように設定する。
【００５２】
一方、これらの画像は防振補正後、図７の下部に示すようになる。ここで、防振補正量は、２フレーム目では水平Ｈ２画素分、垂直Ｖ２画素分、３フレーム目では水平Ｈ３画素分、垂直Ｖ３画素分であり、１フレーム目と４フレーム目ではぶれは発生しておらず、電子防振もおこなっていない。
【００５３】
１フレーム目では、電子防振を行っていないので、フラッシュバンド検出枠も変わらず、水平開始位置ＨＳ、水平終了位置ＨＥのままである。
【００５４】
２フレーム目では、水平Ｈ２画素分、垂直Ｖ２画素分の電子防振が行われている。このとき、防振補正後のフラッシュバンド検出枠は、防振補正量の分だけ変更され、水平開始位置ＨＳ＋Ｈ２、水平終了位置ＨＥ＋Ｈ２となる。また、図７では不図示であるが、フラッシュバンド検出における判定の基準ライン数を、上記メモリ部１０５に保持されるデフォルト値から（１フレーム分の全ライン数−Ｖ２＋Ｖ３）に変更する。この処理が図６のステップＳ２０２の処理に対応する。
【００５５】
３フレーム目では、水平Ｈ３画素分、垂直Ｖ３画素分の電子防振が行われている。このとき、防振補正後のフラッシュバンド検出枠は、防振補正量の分だけ変更され、水平開始位置ＨＳ＋Ｈ３、水平終了位置ＨＥ＋Ｈ３となる。また、２フレームと同様、図７では不図示であるが、フラッシュバンド検出における判定の基準ライン数を、上記メモリ部１０５に保持されるデフォルト値から（１フレーム分の全ライン数−Ｖ２＋Ｖ３）に変更する。この処理が図６のステップＳ２０２の処理に対応する。
【００５６】
４フレーム目では、電子防振を行っていないので、フラッシュバンド検出枠も変わらず、水平開始位置ＨＳ、水平終了位置ＨＥのままである。
【００５７】
上述のように決定されたフラッシュバンド検出枠を用いて、ステップＳ２０３において、フラッシュバンド検出を実施する。
【００５８】
以上、説明したように、第２の実施形態においては、防振補正量に応じてフラッシュバンド検出における判定の基準ライン数だけでなくフラッシュバンド検出枠を変更することにより、好適なフラッシュバンド検出が可能となる。特に、撮影光学系１０１やＣＭＯＳセンサ１０２などの特性が悪い領域を避けて、検出精度を向上させる目的で設定された枠に対しては、電子防振後もその効果を維持できるので有用である。
【００５９】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【００６０】
また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。
【００６１】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
【００６２】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００６３】
プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。
【００６４】
また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータがコンピュータプログラムをダウンロードするような方法も考えられる。
【符号の説明】
【００６５】
１０１  撮影光学系
１０２  ＣＭＯＳセンサ
１０３  映像信号処理部
１０４  全体制御演算部
１０５  メモリ部
１０６  記録媒体
１０７  記録媒体制御Ｉ／Ｆ部
１０８  外部Ｉ／Ｆ部
１０９  フラッシュバンド検出部
１１０  フラッシュバンド補正部
１１１  防振部
【図１】
2018085637.tif 000003
【図２】
2018085637.tif 000004
【図３】
2018085637.tif 000005
【図４】
2018085637.tif 000006
【図５】
2018085637.tif 000007
【図６】
2018085637.tif 000008
【図７】
2018085637.tif 000009