(57)【要約】【課題】白とびのない動画像を生成する。【解決手段】動画像を構成する複数の連続したフレーム画像のそれぞれに対して、フレーム画像の一部または全体が白くなる白とびの有無を判定する白とび判定手段と、白とび判定手段により白とびが発生していると判定されたフレーム画像に対して、他のフレーム画像と異なる処理を施す画像処理手段とを備える。【選択図】図２
2013135391.tif 000002
【特許請求の範囲】
【請求項１】
動画像を構成する複数の連続したフレーム画像のそれぞれに対して、フレーム画像の一部または全体が白くなる白とびの有無を判定する白とび判定手段と、
前記白とび判定手段により白とびが発生していると判定されたフレーム画像に対して、他のフレーム画像と異なる処理を施す画像処理手段とを備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記白とび判定手段は、フレーム画像を構成する画素ごとの画像データを所定のしきい値と比較し、該しきい値よりも大きい画像データを有する画素の数がフレーム画像全体の画素の数に対して所定の割合以上ある場合には、当該フレーム画像に白とびが発生していると判定することを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記白とび判定手段は、フレーム画像を構成する画素ごとの画像データを、当該フレーム画像の前に撮像されたフレーム画像の画素ごとの画像データと比較して画素ごとに差分を求め、画素ごとの差分が所定量を超える画素の数がフレーム画像全体の画素の数に対して所定の割合以上ある場合には、当該フレーム画像に白とびが発生していると判定することを特徴とする画像処理装置。
【請求項４】
請求項２または請求項３に記載の画像処理装置において、
前記白とび判定手段は、フレーム画像の横帯状の領域において前記白とびの有無を判定することを特徴とする画像処理装置。
【請求項５】
請求項１〜４のいずれか一項に記載の画像処理装置において、
前記画像処理手段は、前記白とび判定手段により白とびが発生していると判定されたフレーム画像に対して、白とび有りの情報を付加することを特徴とする画像処理装置。
【請求項６】
請求項１〜４のいずれか一項に記載の画像処理装置において、
前記画像処理手段は、前記白とび判定手段により白とびが発生していると判定されたフレーム画像に対して、当該フレーム画像の画像データを、当該フレーム画像の前に撮像されたフレーム画像の画像データで置き換えることを特徴とする画像処理装置。
【請求項７】
請求項１〜４のいずれか一項に記載の画像処理装置において、
前記画像処理手段は、前記白とび判定手段により白とびが発生していると判定されたフレーム画像に対して、当該フレーム画像の画像データを、当該フレーム画像の前後に撮像されたフレーム画像の画像データを用いて補間により求めることを特徴とする画像処理装置。
【請求項８】
画像を撮像する撮像手段と、
前記撮像手段により撮像された複数の連続したフレーム画像から成る動画像に対して画像処理を施す請求項１〜７のいずれか一項に記載の画像処理装置と、
前記画像処理装置による画像処理後の動画像を記録媒体に記録する記録制御手段とを備えることを特徴とするデジタルカメラ。
【請求項９】
動画像を構成する複数の連続したフレーム画像のそれぞれに対して、画像の一部または全体が白くなる白とびの有無を判定する白とび判定手順と、
前記白とび判定手順により白とびが発生していると判定されたフレーム画像に対して、他のフレーム画像と異なる処理を施す画像処理手順とをコンピューターに実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、デジタルカメラおよび画像処理プログラムに関する。
【背景技術】
【０００２】
速い光応答性と低輝度から高輝度までの広いダイナミックレンジ性能の測光装置とＡＥ（Automatic exposure）機能を備えたデジタルカメラが知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−０４５２９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、動画を撮影中に他のカメラでフラッシュが発光した場合には、露光中のフレームの画像全体または一部が白くなる、いわゆる“白とび”現象が発生する。しかし、上述した従来のデジタルカメラでも、ＡＥ機能はフラッシュによる閃光に応答できず、白とびの発生を防止できない。
【課題を解決するための手段】
【０００５】
(１)  本発明の画像処理装置は、動画像を構成する複数の連続したフレーム画像のそれぞれに対して、フレーム画像の一部または全体が白くなる白とびの有無を判定する白とび判定手段と、前記白とび判定手段により白とびが発生していると判定されたフレーム画像に対して、他のフレーム画像と異なる処理を施す画像処理手段とを備える。
(２)  本発明のデジタルカメラは、画像を撮像する撮像手段と、前記撮像手段により撮像された複数の連続したフレーム画像から成る動画像に対して画像処理を施す請求項１〜７のいずれか一項に記載の画像処理装置と、前記画像処理装置による画像処理後の動画像を記録媒体に記録する記録制御手段とを備える。
(３)  本発明の画像処理プログラムは、動画像を構成する複数の連続したフレーム画像のそれぞれに対して、画像の一部または全体が白くなる白とびの有無を判定する白とび判定手順と、前記白とび判定手順により白とびが発生していると判定されたフレーム画像に対して、他のフレーム画像と異なる処理を施す画像処理手順とをコンピューターに実行させる。
【発明の効果】
【０００６】
本発明によれば、白とびのない動画像を生成することができる。
【図面の簡単な説明】
【０００７】
【図１】一実施の形態のデジタルカメラの構成を示す図
【図２】一実施の形態の動画撮影プログラムを示すフローチャート
【発明を実施するための形態】
【０００８】
本発明をコンパクトデジタルカメラに適用した一実施の形態を説明する。なお、本発明はコンパクトデジタルカメラに限定されず、一眼レフデジタルカメラやビデオカメラなど、動画を撮影するあらゆる種類のカメラに適用することができる。
【０００９】
図１は一実施の形態のデジタルカメラの構成を示す図である。なお、図１において本発明と直接関係のないカメラの機器、回路および装置の図示と説明を省略する。カメラ１は撮影レンズ２、撮像素子３、ＡＦＥ(Analog Front End)回路４、白とび判定回路５、ＤＦＥ(Digital Front End)回路６、画像処理回路７、ＴＧ(Timing Generator)回路８、ＡＦ(Auto Focus)回路９、レンズ駆動回路１０、フラグメモリ１１、画像メモリ１２、モニター１３、インターフェース１４、メモリカード１５、操作部材１６、コントローラー１７などを備えている。
【００１０】
撮影レンズ２は単レンズとして図示しているが、ズーミングレンズやフォーカシングレンズを含む複数のレンズ群で構成され、被写体像を撮像素子３の撮像面に結像させる。撮像素子３は、受光面に複数の画素が二次元状に配列されたＣＭＯＳイメージセンサーなどから構成され、撮影レンズ２により結像された被写体像を光電変換してアナログ画像信号を出力する。
【００１１】
ＡＦＥ回路４は、アナログ画像信号に対して相関二重サンプリングやゲイン調整などのアナログ処理を行うとともに、アナログ処理後の画像信号をデジタル画像データに変換する。白とび判定回路５は、フレーム画像ごとに“白とび”の発生有無を判定する（詳細を後述する）。ＤＦＥ回路６は、後段の画像処理回路７による画像処理を行う前の信号処理、すなわちＡＦＥ回路４からの画像信号に対するクランプ処理、ＡＧＣ処理（自動利得調整）、シェージング処理などの前段補正処理を画像信号に対して施す回路である。
【００１２】
画像処理回路７は、前段の処理回路すなわちＤＦＥ６による処理後の画像信号に対して画像に関する処理、すなわちホワイトバランス処理、ガンマ補正、色補間、輪郭強調、ビネット補正、圧縮／伸張などを行う後段の処理回路である。ＴＧ回路８は、撮像素子３、ＡＦＥ回路４、ＤＦＥ回路６および画像処理回路７に対して電荷蓄積、蓄積信号の読み出し、Ａ／Ｄ変換、画像処理などの各種処理のタイミングを制御する。
【００１３】
ＡＦ回路９は、撮影画面内に設定された複数の焦点検出エリアにおいて、撮像用画素Ｒ、Ｇ、Ｂから出力される画像信号のコントラストがピークとなるフォーカシングレンズ位置を検出する回路である。レンズ駆動回路１０は、撮影レンズ２のフォーカシングレンズを駆動して焦点調節を行うとともに、ズーミングレンズを駆動して焦点距離を変える。フラグメモリ１１は、白とびが発生していると判定されたフレームに対応付けてフラグを記憶するメモリである。画像メモリ１２は、フレーム画像データを一時的に記憶するメモリである。
【００１４】
モニター１３は、撮像素子３により撮像したスルー画像や撮影した画像と各種情報を表示するＬＣＤである。インターフェース１４は、メモリカード１５に対する画像データや各種情報データの書き込みや、メモリカード１５からの画像データや各種情報データの読み出しを行う。操作部材１６には、レリーズ半押しおよび全押しスイッチ、ズームスイッチ、モードスイッチ、メニュースイッチ、十字キースイッチ、ＯＫスイッチなどの各種スイッチ類が含まれる。
【００１５】
コントローラー１７はＣＰＵ１７ａとメモリ１７ｂなどの周辺部品から構成され、上述したデジタルカメラ１の各種機器、回路および装置を制御して撮像、露出、焦点調節（ＡＦ）、画像表示などのデジタルカメラ１の各種動作を実行するとともに、後述する動画撮影プログラムを実行して動画を撮影する。なお、メモリ１７ｂには後述する動画撮影プログラムの他に、デジタルカメラ１の各種データや設定値が記憶されている。
【００１６】
図２は一実施の形態の動画撮影プログラムを示すフローチャートである。このフローチャートにより、一実施の形態の動画撮影動作を説明する。操作部材１６の撮影モードスイッチにより動画撮影モードが選択され、操作部材１６のレリーズ全押しスイッチがオンすると、コントローラー１７のＣＰＵ１７ａは図２に示す動画撮影プログラムの実行を開始する。
【００１７】
ステップ１において、予め決められたフレームレート、例えば３０ＦＰＳで撮像を開始する。続くステップ２で、撮像素子３からＡＦＥ回路４へ撮像したフレームの画像データを読み出し、ＡＦＥ回路４により各種アナログ処理とＡＤ変換を行った後、画像メモリ１２に一時記憶する。ステップ３では、白とび判定回路５により画像メモリ１２に一時記憶されている撮像直後のフレームの画像データに対して白とび判定処理を行う。
【００１８】
この明細書では、非常に明暗の差のある被写体のもとで、強い光があたっている部分（ハイライト）が極端に露出オーバーになり、諧調（グラデーション）の情報を失って真っ白になることを“白とび”という。撮像画像に白とびを発生させる原因には、撮像中に別のカメラでフラッシュが焚かれ、被写体に強い光があてられた場合の他、太陽などの光源からの光が直接、撮影レンズに入射した場合や、フレアが生じた場合などがある。別のカメラのフラッシュによる閃光は数十マイクロ秒という短い時間であるのに対し、光源からの光やフレアはフラッシュによる閃光よりもはるかに長い時間継続する。
【００１９】
従来のＡＥ（Automatic exposure）機能では、短時間に強い光を発生するフラッシュによる閃光に応答できず、白とびの発生を防止できない。一方、光源からの光やフレアに対しては、当初は応答できないがある程度の時間の経過後にＡＥ機能が応答し、その後の白とびの発生を抑制できる可能性がある。
【００２０】
《白とび判定処理》
フレーム画像を構成する画素ごとの画像データを所定のしきい値と比較し、しきい値よりも大きく、飽和に近い画像データを有する画素の数が画面全体の画素の数に対して所定の割合以上ある場合には、このフレーム画像に白とびが発生していると判定する。この白とび判定方法によれば、前後のフレーム画像とは無関係に、フレーム画像ごとに絶対的な白とび判定を行うことができる。
【００２１】
上記の白とび判定方法では、画素ごとの画像データを予め設定した一定のしきい値と比較する例を示したが、判定対象のフレーム画像よりも前に撮像されたフレーム画像の同じ位置の画素の画像データをしきい値としてもよい。そして、今回撮像されたフレーム画像の画素ごとに画像データを前フレームの同じ位置の画素の画像データと比較し、画素ごとに差分を取る。画素ごとの差分が所定量を超える画素の数が画面全体の画素の数に対して所定の割合以上ある場合には、今回のフレーム画像に白とびが発生していると判定する。この白とび判定方法によれば、直前のフレーム画像との相対的な差により白とび判定を行うので、例えば画面の一部に太陽などの光源があるのを承知で撮影を行っているような場合でも、一連の連続したフレーム画像に白とび判定がなされるのを避けることができる。
【００２２】
ところで、撮影時のシャッター速度が速い場合（露光時間が短い場合）にはスリット露光が行われるため、フラッシュによる閃光を受けてフレーム画像に横帯状の白とびが発生する場合がある。このような場合には、上述した絶対的な白とび判定方法ではしきい値を超える画素の数が少なく、また上述した相対的な白とび判定方法では所定の差分を越える画素の数が少ないため、白とびが発生していると判定されないおそれがある。そこで、画面内のスリット露光幅に対応する横帯状の領域において、上記の絶対的な白とび判定方法でしきい値を超える画素の数が当該領域内の全画素の数に対して所定の割合以上の場合、または上記の相対的な白とび判定方法で所定の差分を越える画素の数が当該領域内の全画素の数に対して所定の割合以上の場合には、そのフレーム画像に白とびが発生していると判定する。この白とび判定方法によれば、撮影時のシャッター速度が速くてスリット露光が行われる場合でも、正確な白とび判定を行うことができる。
【００２３】
また、人物などの主要被写体と背景が離れている場合に、別のカメラのフラッシュによる閃光によってフレーム画像上の主要被写体のみが白とびする場合がある。このような場合には、上記スリット露光の場合と同様な理由で白とびが発生していると判定されないおそれがある。そこで、撮影画面内の複数の焦点検出エリアの内、ＡＦ回路９により合焦している焦点検出エリアとその周辺の領域において、上述した絶対的な白とび判定方法または相対的な白とび判定方法で白とび判定を行う。あるいは、シーン認識機能を搭載しているカメラでは、シーン認識により認識された主要被写体とその周辺の領域において、上述した絶対的な白とび判定方法または相対的な白とび判定方法で白とび判定を行う。このような白とび判定方法によれば、主要被写体のみが白とびするような撮影シーンにおいても、正確な白とび判定を行うことができる。
【００２４】
上述した白とび判定方法により白とび判定を行った後の図２のステップ４において、白とび発生と判定されたか否かを確認する。白とびが発生していると判定された場合はステップ５へ進み、フレーム画像データを一時記憶する画像メモリ１２とは別に設けられたフラグメモリ１１に、白とび発生フレーム画像に対する白とびフラグを記憶する。一方、白とびが発生していないと判定された場合はステップ５をスキップする。
【００２５】
ステップ６において、操作部材１６のレリーズ全押しスイッチがオフして動画の撮影が終了したか否かを判別する。動画撮影が終了していない場合はステップ１へ戻り、次のフレーム画像の撮像を行う。一方、動画撮影が終了した場合はステップ７へ進み、白とび発生フレームに対する補正を行う。
【００２６】
《白とびフレーム補正》
白とび判定処理後のフレーム画像に対してＤＦＥ回路６および画像処理回路７で上述したデジタル処理と各種画像処理を行う際に、白とびフラグが立っているフレーム画像をフレーム画像として採用せず、当該白とびフレーム画像の前のフレーム画像の画像データを白とびフレーム画像の画像データとして採用する。これにより、前回と同じ画像データのフレーム画像が連続することになるが、例えば３０ＦＰＳ程度のフレームレートで動画撮影を行う場合には、再生時に同じ画像のフレームが２枚連続しても視聴者に不自然さを感じさせることはなく、白とびのない動画を鑑賞させることができる。
【００２７】
上記の白とびフレーム画像の補正方法では、白とびフレーム画像を採用せずに前のフレーム画像を用いる例を示したが、フレームレートが低くなると視聴者に画像変化の不自然さを感じさせることになる。そこで、第１、第２および第３の３枚の連続したフレーム画像の内の中央の第２のフレーム画像に白とびが発生していると判定された場合には、第２のフレーム画像データを採用せずに、第１と第２の画素ごとのフレーム画像データから補間により第２のフレーム画像データを求め、それを第２のフレーム画像データとして記録するようにしてもよい。この白とびフレーム画像の補正方法によれば、低いフレームレートで撮影された動画の場合でも画像変化が滑らかになり、視聴者に不自然さを感じさせないようにすることができる。
【００２８】
なお、フレーム画像の一部の領域に白とびが発生していると判定された場合には、その領域の画像データを前のフレーム画像の同じ領域の画像データで置き換えるか、あるいはその前後のフレーム画像データから白とび領域の画像データを補間により求める補正方法としてもよい。
【００２９】
また、白とびの発生が複数のフレームに連続して判定された場合には、上述した補正方法を採用すると再生時の画像変化の不自然さが顕著になる。このような場合には、白とびフレーム全体または白とび領域の画像データを所定の割合（例えば８０％）まで均一に低減してもよい。あるいは、ＡＥ機能が応答するまで白とびに対する補正を行わず、ＡＥ機能の応答後はＡＥ機能により白とびが解消されるのを待つようにしてもよい。
【００３０】
白とびフレーム画像に対する補正を行った後のステップ８において、ＤＦＥ回路６および画像処理回路７により上述したデジタル処理と各種の画像処理を行う。このとき、白とびフレームに対しては補正により生成した画像データに対して上記のデジタル処理と各種画像処理を行う。ステップ９では、インターフェース１４を介してメモリカード１５に動画の一連のフレーム画像データを記録し、この動画撮影プログラムの実行を終了する。
【００３１】
なお、上述した一実施の形態では、デジタルカメラにおいて白とび判定と判定結果に基づく処理を実行する例を説明したが、上述した白とび判定と判定結果に基づく処理とをコンピューターに実行させるプログラムをインターネットを介して、または記録媒体に記録して使用者に提供し、使用者のパソコン上で当該プログラムを実行してもよい。その場合には、カメラや記録媒体から動画像を読み込んでもよいし、インターネットを介して動画像を取得してもよい。
【００３２】
なお、上述した実施の形態とそれらの変形例において、実施の形態どうし、または実施の形態と変形例とのあらゆる組み合わせが可能である。
【００３３】
上述した実施の形態とその変形例によれば以下のような作用効果を奏することができる。まず、動画像を構成する複数の連続したフレーム画像のそれぞれに対して、フレーム画像の一部または全体が白くなる白とびの有無を判定する白とび判定を行い、白とびが発生していると判定されたフレーム画像に対して、他のフレーム画像と異なる処理を施すようにしたので、白とびの発生しているフレーム画像を識別して適切な処置を施すことができる。
【００３４】
上述した実施の形態とその変形例によれば、フレーム画像を構成する画素ごとの画像データを所定のしきい値と比較し、このしきい値よりも大きい画像データを有する画素の数がフレーム画像全体の画素の数に対して所定の割合以上ある場合には、当該フレーム画像に白とびが発生していると判定するようにしたので、前後のフレーム画像とは無関係に、フレーム画像ごとに絶対的な白とび判定を行うことができる。
【００３５】
上述した実施の形態とその変形例によれば、フレーム画像を構成する画素ごとの画像データを、当該フレーム画像の前に撮像されたフレーム画像の画素ごとの画像データと比較して画素ごとに差分を求め、画素ごとの差分が所定量を超える画素の数がフレーム画像全体の画素の数に対して所定の割合以上ある場合には、当該フレーム画像に白とびが発生していると判定するようにしたので、例えば画面の一部に太陽などの光源があるのを承知で撮影を行っているような場合でも、一連の連続したフレーム画像に白とび判定がなされるのを避けることができる。
【００３６】
上述した実施の形態とその変形例によれば、フレーム画像の横帯状の領域において白とびの有無を判定するようにしたので、撮影時のシャッター速度が速くてスリット露光が行われる場合でも、正確な白とび判定を行うことができる。
【００３７】
上述した実施の形態とその変形例によれば、白とびが発生していると判定されたフレーム画像に対応付けて白とび有りのフラグを付加するようにしたので、白とびの発生しているフレーム画像を識別して適切な処置を施すことができる。
【００３８】
上述した実施の形態とその変形例によれば、白とびが発生していると判定されたフレーム画像に対して、当該フレーム画像の画像データを、当該フレーム画像の前に撮像されたフレーム画像の画像データで置き換えるようにしたので、視聴者に白とびのない動画を鑑賞させることができる。
【００３９】
上述した実施の形態とその変形例によれば、白とびが発生していると判定されたフレーム画像に対して、当該フレーム画像の画像データを、当該フレーム画像の前後に撮像されたフレーム画像の画像データを用いて補間により求めるようにしたので、低いフレームレートで撮影された動画の場合でも画像変化が滑らかになり、視聴者に不自然さを感じさせないようにすることができる。
【符号の説明】
【００４０】
３；撮像素子、５；白とび判定回路、７；画像処理回路、１１；フラグメモリ、１２；画像メモリ、１５；メモリカード、１７；コントローラー、１７ａ；ＣＰＵ
【図１】
2013135391.tif 000003
【図２】
2013135391.tif 000004