(57)【要約】【課題】外部閃光により発生したフラッシュバンドの幅が１フレームのライン数に満たない場合でも、フラッシュバンドを良好に補正して補正画像に閃光の不感ラインが生じるのを防止する。【解決手段】撮像装置は、画素のライン毎に順次露光を開始して順次読み出しを行う撮像素子１０２と、撮像素子１０２から出力された画像信号を用いて、外部閃光により時間的に連続する複数のフレームに発生したフラッシュバンドを検出する検出手段１０４と、フラッシュバンドが検出されたフレームを全面閃光の画像に補正する補正手段１０５とを備える。補正手段１０５は、フラッシュバンドの幅が１フレームのライン数を満たしていない場合、フラッシュバンドが発生していないラインの直前または直後のフラッシュバンドが発生しているラインを用いてフラッシュバンドが発生していないラインを補間する。【選択図】図１
2017224982.tif 000002
【特許請求の範囲】
【請求項１】
画素のライン毎に順次露光を開始して順次読み出しを行う撮像素子と、
前記撮像素子から出力された画像信号を用いて、外部閃光によって時間的に連続する複数のフレームに発生したフラッシュバンドを検出する検出手段と、
前記検出手段によって前記フラッシュバンドが検出されたフレームを全面閃光の画像に補正する補正手段と、
前記検出手段によって検出された前記フラッシュバンドの幅が１フレームのライン数を満たしているか否かを判断する判断手段と、を備え、
前記補正手段は、前記判断手段によって前記フラッシュバンドの幅が１フレームのライン数を満たしていないと判断された場合、前記フラッシュバンドが発生していないラインの直前または直後の前記フラッシュバンドが発生しているラインを用いて前記フラッシュバンドが発生していないラインを補間することを特徴とする撮像装置。
【請求項２】
前記判断手段は、前記検出手段によって前記フラッシュバンドを検出したフレームにおいて前記撮像素子の電子シャッタがオンされていない場合、前記フラッシュバンドの幅が１フレームのライン数に満たしていると判断することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記補正手段は、前記撮像素子の電子シャッタのオンされた位置が、前記撮像素子の露光時間があらかじめ定めた値より短い位置である場合、前記フラッシュバンドが発生していないラインを補間する処理を行わないことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記補正手段は、補正した画像の平均輝度値があらかじめ定めた値を超えている場合、前記フラッシュバンドが発生していないラインを補間する処理を行わないことを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。
【請求項５】
前記補正した画像の平均輝度値は、補正した画像全体の平均輝度値もしくは前記フラッシュバンドが発生しているラインと発生していないラインとの境界ラインの平均輝度値であることを特徴とする請求項４に記載の撮像装置。
【請求項６】
画素のライン毎に順次露光を開始して順次読み出しを行う撮像素子を備える撮像装置の制御方法であって、
前記撮像素子から出力された画像信号を用いて、外部閃光によって時間的に連続する複数のフレームに発生したフラッシュバンドを検出する検出ステップと、
前記検出ステップで前記フラッシュバンドが検出されたフレームを全面閃光の画像に補正する補正ステップと、
前記検出ステップで検出された前記フラッシュバンドの幅が１フレームのライン数を満たしているか否かを判断する判断ステップと、を備え、
前記補正ステップは、前記判断ステップで前記フラッシュバンドの幅が１フレームのライン数を満たしていないと判断された場合、前記フラッシュバンドが発生していないラインの直前または直後の前記フラッシュバンドが発生しているラインを用いて前記フラッシュバンドが発生していないラインを補間することを特徴とする撮像装置の制御方法。
【請求項７】
請求項６に記載の撮像装置の制御方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル一眼レフカメラやデジタルスチルカメラ、デジタルビデオカメラ等撮像装置におけるフラッシュバンド補正技術の改良に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置には、画素のライン毎に順次露光を開始して順次読み出しを行うローリングシャッタ方式の撮像素子を備えるものがある。このような撮像装置では、ラインごとの露光タイミングと読出し時間がずれているため、外部閃光により１フレーム内の画像に輝度段差が生じるフラッシュバンドが問題となっている。従来、撮像素子の電子シャッタを使用している際にフラッシュバンドが発生してフラッシュバンドの幅が１フレームのライン数に満たない場合におけるフラッシュバンドの補正技術が提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１９７８２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上記特許文献１では、撮像素子の出力信号からフラッシュバンドを検出し、その検出結果に基づき、撮像素子の駆動方法を変えてフラッシュバンドを補正するため、１フレームよりも短いフィードバック回路を組む必要があり、実現が難しい。
【０００５】
そこで、本発明は、外部閃光により発生したフラッシュバンドの幅が１フレームのライン数に満たない場合でも、フラッシュバンドを良好に補正して補正画像に閃光の不感ラインが生じるのを防止するフラッシュバンド補正技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の撮像装置は、画素のライン毎に順次露光を開始して順次読み出しを行う撮像素子と、前記撮像素子から出力された画像信号を用いて、外部閃光によって時間的に連続する複数のフレームに発生したフラッシュバンドを検出する検出手段と、前記検出手段によって前記フラッシュバンドが検出されたフレームを全面閃光の画像に補正する補正手段と、前記検出手段によって検出された前記フラッシュバンドの幅が１フレームのライン数を満たしているか否かを判断する判断手段と、を備え、前記補正手段は、前記判断手段によって前記フラッシュバンドの幅が１フレームのライン数を満たしていないと判断された場合、前記フラッシュバンドが発生していないラインの直前または直後の前記フラッシュバンドが発生しているラインを用いて前記フラッシュバンドが発生していないラインを補間することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、外部閃光により発生したフラッシュバンドの幅が１フレームのライン数に満たない場合でも、フラッシュバンドを良好に補正して補正画像に閃光の不感ラインが生じるのを防止することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の撮像装置の第１の実施形態であるデジタルビデオカメラの制御系の概略を示すブロック図である。
【図２】ストロボ光等による外部閃光があった場合の出力画像を説明する図である。
【図３】図２のフレーム１とフレーム２の露光期間を拡大した図である。
【図４】フラッシュバンドが検出された画像を画像補正部により全画面閃光画像に補正する例を説明する図である。
【図５】フラッシュバンドが発生していないフレーム境界ラインの補間処理を説明するフローチャート図である。
【図６】本発明の撮像装置の第２の実施形態であるデジタルビデオカメラにおいて、フラッシュバンドが発生していないフレーム境界ラインの補間処理を説明するフローチャート図である。
【図７】本発明の撮像装置の第３の実施形態であるデジタルビデオカメラにおいて、フラッシュバンドが発生していないフレーム境界ラインの補間処理を説明するフローチャート図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して、本発明の実施形態を説明する。
【００１０】
（第１の実施形態）
図１は、本発明の撮像装置の第１の実施形態であるデジタルビデオカメラの制御系の概略を示すブロック図である。
【００１１】
図１において、レンズ部１０１は、フォーカス機構、絞り機構、ＮＤフィルタ及びズーム機構等を有する。撮像素子１０２は、画素のライン毎に順次露光を開始して順次読み出しを行うＣＭＯＳセンサ等により構成され、レンズ部１０１を通過して結像した被写体光束を電気信号に光電変換して映像信号を出力する。画像取得部１０３は、撮像素子１０２からの画像信号を用いて生成した画像情報を取得する。なお、画像取得部１０３は、撮像素子１０２からの出力がアナログ信号であれば、アナログ・デジタルフロントエンドを含む。
【００１２】
フラッシュバンド検出部１０４は、ストロボ光等の外部閃光により時間的に連続する複数のフレームに発生したフラッシュバンドが映像信号として現れたかを検出する。画像補正部１０５は、フラッシュバンド検出部１０４によってフラッシュバンドが検出された場合、フラッシュバンドが検出された画像を全画面閃光画像に補正する。
【００１３】
システム制御部１０６は、ＣＰＵやＲＡＭ、ＲＯＭ等を含み、カメラの各ブロックと情報を送受信したり、ユーザ操作によってカメラの動作を決定し、各ブロックの動作を制御したりする等、カメラ全体の制御を司る。撮像素子制御部１０７は、撮像素子１０２の駆動を制御する。例えば、撮像素子制御部１０７は、撮像素子１０２のゲインを決定したり、垂直同期信号ＶＤを撮像素子１０２に出力したりする等の制御の他に、シャッタスピードを制御する。ここでいうシャッタスピードとは、撮像素子１０２の電子シャッタの露光時間のことであり、撮像素子制御部１０７が撮像素子１０２に対して電荷の蓄積開始タイミングと電荷の読み出しタイミングを送ることによって制御する。
【００１４】
レンズ制御部１０８は、レンズ部１０１の絞り機構やフォーカス機構、ズーム機構、ＮＤフィルタなどの制御を行う。記録・出力部１０９は、所定の画像補正を行った映像信号を記録媒体へ記録したり、もしくはディスプレイ等の表示装置へ出力したりする。
【００１５】
次に、図２乃至図４を参照して、フラッシュバンドが発生した場合のフレーム補正方法の一例を説明する。
【００１６】
図２は、ストロボ光等による外部閃光があった場合の出力画像を説明する図である。図２では、横軸を時間、縦軸を垂直方向ライン数とし、外部閃光の発生タイミングと、そのときの画像出力の関係を示している。また、ＶＤは、撮像素子１０２に入力される垂直同期信号を示している。
【００１７】
図２に示すタイミングで１ライン時間よりも短い閃光が発生したとき、画面下部はフレーム１の露光期間中であり、画面上部は次のフレーム２の露光期間中である。そのため、フレーム１の途中から下部にかけてフラッシュバンドが発生し、フレーム２ではフレーム１で発生した同じラインまでフラッシュバンドが発生する。
【００１８】
次に、図３及び図４を参照して、１フレーム内の露光期間中に撮像素子１０２のフォトダイオードのリセットを行う電子シャッタを使用している場合の問題点について説明する。図３は、図２のフレーム１とフレーム２の露光期間を拡大した図である。
【００１９】
電子シャッタを入れながら露光期間を最も長くするため、露光期間開始のはじめの１ＨＤ（ＨＤ：水平同期信号）目を電子シャッタをオンするタイミングとしている。
【００２０】
図３に示すタイミングでストロボ発光などの非常に短い時間の閃光が発生した場合、フレーム１のラインＭ＋１からストロボ光が入光し始め、フラッシュバンドが発生する。フレーム２は、ラインＭ−１までストロボ光が入光する。フレーム２のラインＭは、本来であればストロボ光が入光するが、この期間は、電子シャッタがオンされているため入光せず、ラインＭ−１までフラッシュバンドが発生することになる。そのため、電子シャッタがオン状態でなければ、１フレームのライン数Ｎ分のフラッシュバンドが発生するが、電子シャッタがオンされることにより、フラッシュバンドの発生ライン数は、１フレームのライン数Ｎよりも小さくなる。
【００２１】
次に、図４を参照して、フラッシュバンドが検出された画像を画像補正部１０５により全画面閃光画像に補正する例を説明する。図４（ａ）は、図２のフラッシュバンドが発生したフレーム１，２と、その前後のフレーム０，３とを模式的に示す図である。図４（ａ）に示すように、フレーム１とフレーム２にかけて発生したフラッシュバンドを１フレームにまとめるために、フレーム１の領域Ｂには、フレーム０の領域Ａを置換して領域Ａ′とする。フレーム２の領域Ｄには、フレーム１の領域Ｂを置換して領域Ｂ′とする。
【００２２】
このような置換を行うことで、フレーム１は、フラッシュバンドが発生していないフレーム１′とし、フレーム２は、全面でフラッシュバンドが発生しているフレーム２′として、１フレームのみ全面が光っている画像を生成する補正を行うことができる。
【００２３】
しかしながら、上述したように、電子シャッタが入っている場合、フラッシュバンドは、１フレームのライン数に満たない。このため、フレーム２′を生成しようとしたとき、図４（ｂ）に示すように、領域Ｃと領域Ｂ′との間にフラッシュバンドが発生していないラインが存在することになり、全面閃光画像に横線が発生し、補正した画像に違和感が残ってしまう。
【００２４】
そこで、本実施形態では、全面閃光画像を生成したフレーム２′の補正画像に対し、例えば、フラッシュバンドが発生していない境界ラインは、領域Ｃの最終（境界ラインの直前）ライン、もしくは領域Ｂ′の最初（境界ラインの直後）のラインを用いて補間する。これにより、全面閃光画像に閃光の不感ラインである横線が発生しないようにしている。
【００２５】
次に、図５を参照して、フラッシュバンドが発生していないフレーム境界ラインの補間処理について説明する。図５の各処理は、システム制御部１０６のＲＯＭ等に記憶されたプログラムがＲＡＭに展開されてＣＰＵ等により実行される。
【００２６】
図５において、ステップＳ５０１では、システム制御部１０６は、フラッシュバンド検出部１０４により映像信号にフラッシュバンドが発生したか否かを判定し、フラッシュバンドが発生している場合は、発生ラインを特定し、ステップＳ５０２に進む。ステップＳ５０２では、システム制御部１０６は、画像補正部１０５により、図４（ａ）にて説明したフラッシュバンド補正を行って全面閃光画像を生成し、ステップＳ５０３に進む。
【００２７】
ステップＳ５０３では、システム制御部１０６は、フラッシュバンドを検出したフレームにおいて、撮像素子１０２に電子シャッタが入っていたか否かを判定する。そして、システム制御部１０６は、電子シャッタがオンされていなかった場合は、ステップＳ５０２で補正した全面閃光画像は、正常に補正できているものとして、処理を終了し、電子シャッタがオンであった場合は、ステップＳ５０４に進む。なお、電子シャッタのオン／オフではなく、ステップＳ５０１にてフラッシュバンド発生ラインを特定したときに、フラッシュバンドが１フレームのライン数分発生しているか否かを判定してもよい。
【００２８】
ステップＳ５０４では、システム制御部１０６は、ステップＳ５０２で補正した全面閃光画像のフレームの境界部分にフラッシュバンドが発生していないラインがあるはずなので、画像補正部１０５により、その境界ラインの補間処理を行い、処理を終了する。なお、ここでは、補間処理に関しては、図４（ｂ）の領域Ｃの最終ラインもしくは領域Ｂ′の最初のラインをフラッシュバンドが発生していないラインに写すという簡易的なものを採用しているが、これに限定されない。例えば、図４（ｂ）の領域Ｃの最終ラインと領域Ｂ′の最初のラインを平均して補間したり、もしくはその２ライン以上のライン数を使って加重平均したりして補間してもよい。
【００２９】
以上説明したように、本実施形態では、電子シャッタを入れる等して外部閃光によるフラッシュバンドの幅が１フレームのライン数に満たない場合でも、フラッシュバンドを良好に補正して補正画像に閃光の不感ラインが生じるのを防止することができる。
【００３０】
（第２の実施形態）
次に、図６を参照して、本発明の撮像装置の第２の実施形態であるデジタルビデオカメラについて説明する。なお、上記第１の実施形態と重複する部分については、図及び符号を流用して説明する。
【００３１】
上記第１の実施形態では、電子シャッタのオン／オフにより、フラッシュバンドが発生していないフレーム境界ラインを補間するか否かを判定したが、電子シャッタ位置によっては、補間した全面閃光画像の違和感が大きくなることがある。そのため、本実施形態では、電子シャッタをオンするタイミングによっては、フラッシュバンドが発生していないフレーム境界ラインの補間を行わないように制御する。
【００３２】
図６は、フラッシュバンドが発生していないフレーム境界ラインの補間処理について説明するフローチャート図である。図６の各処理は、システム制御部１０６のＲＯＭ等に記憶されたプログラムがＲＡＭに展開されてＣＰＵ等により実行される。なお、図６のステップＳ６０１、ステップＳ６０２、及びステップＳ６０４の処理は、それぞれ上記第１の実施形態（図５）のステップＳ５０１、ステップＳ５０２及びステップＳ５０４と同様であるため、その説明を省略する。
【００３３】
図６において、ステップＳ６０３では、システム制御部１０６は、ステップＳ６０１でフラッシュバンドを検出したフレームにおいて、撮像素子１０２の電子シャッタをオンするタイミングをｎ（ＨＤ目）で判定する。ここで、電子シャッタがオンされていない場合は、ｎ＝０となり、電子シャッタをオンしながら最も露光期間を長くとるときは、ｎ＝１となる。ｎの数値が大きくなるほど、露光時間（シャッタスピード）は短くなる。
【００３４】
そして、システム制御部１０６は、電子シャッタのオンのタイミングｎがあらかじめ定めた任意の数値ｍ未満の場合、ステップＳ６０４に進んでステップＳ６０２で補正した全面閃光画像のフレームの境界ラインの補間処理を行い、処理を終了する。また、システム制御部１０６は、電子シャッタのオンのタイミングｎが数値ｍ以上の場合、即ち露光時間が数値ｍより短い場合、全面閃光画像のフレーム境界ラインの補間処理によって画像に違和感が大きくなる為、補間処理は行わず、処理を終了する。なお、上述した数値ｍは、電子シャッタの位置によらず、違和感なく画像を出力できる値として予め定めた値である。
【００３５】
このように、本実施形態では、電子シャッタ使用時に、電子シャッタのオンのタイミングｎによっては、全面閃光画像のフレーム境界ラインの補間処理を行わないことで、違和感のない画像を出力することができる。その他の構成、及び作用効果は、上記第１の実施形態と同様である。
【００３６】
（第３の実施形態）
次に、図７を参照して、本発明の撮像装置の第３の実施形態であるデジタルビデオカメラについて説明する。なお、上記第１及び第２の実施形態と重複する部分については、図及び符号を流用して説明する。
【００３７】
図４（ｂ）において、補正画像の平均輝度値もしくはフレーム境界ラインの平均輝度値が大きいと、領域Ｃと領域Ｂ′との差が小さく、画像に違和感が発生しない。このため，本実施形態では、補正画像の平均輝度値もしくはフレーム境界ラインの平均輝度値があらかじめ定めた値より大きい場合は、フレーム境界ラインの補間処理を行わないように制御する。
【００３８】
図７は、フラッシュバンドが発生していないフレーム境界ラインの補間処理について説明するフローチャート図である。図７の各処理は、システム制御部１０６のＲＯＭ等に記憶されたプログラムがＲＡＭに展開されてＣＰＵ等により実行される。なお、図７のステップＳ７０１〜ステップＳ７０３、及びステップＳ７０５の処理は、それぞれ上記第２の実施形態（図６）のステップＳ６０１〜ステップＳ６０３及びステップＳ６０４と同様であるため、その説明を省略する。
【００３９】
図７において、システム制御部１０６は、ステップＳ７０３で電子シャッタのオンのタイミングｎがあらかじめ定めた任意の数値ｍ未満の場合、ステップＳ７０４に進む。ステップＳ７０４では、システム制御部１０６は、ステップＳ７０２で生成した補正画像の平均輝度値（もしくはフレーム境界ラインの平均輝度値）を算出し、算出した平均輝度値があらかじめ定めた任意の値Ｘ［ＬＳＢ］を超えているか否かを判断する。
【００４０】
そして、システム制御部１０６は、平均輝度値が値Ｘ以下の場合は、全面閃光画像に違和感が発生すると判断してステップＳ７０５でフレーム境界ラインの補間処理を行い、平均輝度値が値Ｘを超えている場合は、補間処理は行わずに、処理を終了する。なお、本実施形態では、平均輝度値として、補正画像全体、もしくはフレーム境界ラインを例示したが、これは任意の領域でも良い。また、上述した値Ｘは、電子シャッタの位置によらず、違和感なく画像を出力できる値として予め定めた値である。
【００４１】
このように、本実施形態では、補正画像等の平均輝度値が所定の値Ｘを超えている場合には、補間処理を行うことなく、違和感のない画像を出力することができる。その他の構成、及び作用効果は、上記第１及び第２の実施形態と同様である。
【００４２】
なお、本発明は、上記各実施形態に例示したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。
【００４３】
また、本発明は、以下の処理を実行することによっても実現される。即ち、本発明は、上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４４】
１０１  レンズ部
１０２  撮像素子
１０３  画像取得部
１０４  フラッシュバンド検出部
１０５  画像補正部
１０６  システム制御部
１０７  撮像素子制御部
１０８  レンズ制御部
【図１】
2017224982.tif 000003
【図２】
2017224982.tif 000004
【図３】
2017224982.tif 000005
【図４】
2017224982.tif 000006
【図５】
2017224982.tif 000007
【図６】
2017224982.tif 000008
【図７】
2017224982.tif 000009