(57)【要約】【課題】周期的に点滅するＬＥＤ光を含む被写体を撮影する際に、撮影画像中のＬＥＤ領域が滅灯状態のままとなることを防止できるとともに、できる限り任意のシャッタスピードで撮影できるようにすること。【解決手段】撮像手段により撮像された画像から、周期的に点滅するＬＥＤ光を含むＬＥＤ領域を検出し（ステップＳ１０）、撮影指示に応じて撮像手段により１枚目の撮影を行って（ステップＳ１８）、１枚目の撮影画像のＬＥＤ領域が点灯状態で撮像されたか滅灯状態で撮像されたかを判定し（ステップＳ２４）、１枚目の撮影画像のＬＥＤ領域が滅灯状態で撮像されたと判断された場合、ＬＥＤの点滅周期の１周期以上の露出時間で撮像手段により２枚目の撮影を行ない（ステップＳ２６）、２枚目の撮影画像のＬＥＤ領域を１枚目の撮影画像に合成する（ステップＳ２８、Ｓ３０）。【選択図】  図２
2012119788.tif 000002
【特許請求の範囲】
【請求項１】
被写体を連続して撮像可能な撮像手段と、
撮影指示の入力を受け付ける指示入力手段と、
前記撮像手段により撮像された画像から、周期的に点滅するＬＥＤ光を含むＬＥＤ領域を検出するＬＥＤ検出手段と、
前記ＬＥＤ領域が点灯状態で撮像されたか滅灯状態で撮像されたかを判定する判定手段と、
前記撮影指示に応じて前記撮像手段により少なくとも１枚の撮影を行う制御手段であって、前記ＬＥＤ検出手段によりＬＥＤ領域が検出され、かつ、１枚目の撮影画像のＬＥＤ領域が前記判定手段により滅灯状態で撮像されたと判定された場合、前記ＬＥＤの点滅周期の１周期以上の露出時間で前記撮像手段により２枚目の撮影を行なう制御手段と、
前記２枚目の撮影画像のＬＥＤ領域を前記１枚目の撮影画像に合成する合成手段と、
を備えたことを特徴とする撮影装置。
【請求項２】
被写体を連続して撮像可能な撮像手段と、
撮影指示の入力を受け付ける指示入力手段と、
前記撮像手段により撮像された画像から、周期的に点滅するＬＥＤ光を含むＬＥＤ領域を検出するＬＥＤ検出手段と、
前記ＬＥＤ領域が点灯状態で撮像されたか滅灯状態で撮像されたかを判定する判定手段と、
前記撮影指示に応じて前記撮像手段により少なくとも１枚の撮影を行う制御手段であって、前記ＬＥＤ検出手段によりＬＥＤ領域を検出され、かつ、１枚目の撮影画像のＬＥＤ領域が前記判定手段により滅灯状態で撮像されたと判定された場合、前記ＬＥＤ領域が点灯状態で撮像されるまで前記撮像手段により２枚目以降の撮影を繰り返す制御手段と、
を備えたことを特徴とする撮影装置。
【請求項３】
前記１枚目の撮影画像に前記２枚目以降の撮影画像の部分画像を合成可能な合成手段を備え、
前記制御手段は、前記２枚目以降の撮影画像であって前記ＬＥＤ領域が点灯状態で撮像された撮影画像から前記ＬＥＤ領域の部分画像を分離し、該分離された部分画像を前記合成手段により前記１枚目の撮影画像に合成させることを特徴とする請求項２に記載の撮影装置。
【請求項４】
前記１枚目の撮影画像に前記２枚目以降の撮影画像の部分画像を合成可能な合成手段を備え、
前記撮像素子は、複数の光電変換素子が配列された受光画素面を有するとともに該受光画素面の読出可能な最大領域から任意の部分領域を部分読み出し可能であり、
前記制御手段は、前記撮影指示後の２枚目以降の撮影にて前記撮像素子の前記最大領域のうちで前記ＬＥＤ領域に対応する部分領域のみ読み出す部分読み出しを制御し、前記２枚目以降の撮影画像であって点灯状態で撮像されて部分読み出しされた前記ＬＥＤ領域の部分画像を前記１枚目の撮影画像に合成させることを特徴とする請求項２に記載の撮影装置。
【請求項５】
被写体を連続して撮像可能な撮像手段と、
撮影指示の入力を受け付ける指示入力手段と、
前記撮像手段により撮像された画像から、周期的に点滅するＬＥＤ光を含むＬＥＤ領域を検出するＬＥＤ検出手段と、
前記ＬＥＤ領域が点灯状態で撮像されたか滅灯状態で撮像されたかを判定する判定手段と、
前記撮影指示に応じて前記撮像手段により少なくとも１枚の撮影を行う制御手段であって、前記ＬＥＤ検出手段によりＬＥＤ領域を検出され、かつ、１枚目の撮影画像のＬＥＤ領域が前記判定手段により滅灯状態で撮像されたと判定された場合、前記撮影画像のうち前記ＬＥＤ領域の部分画像の少なくとも輝度を補正する制御を行う制御手段と、
を備えたことを特徴とする撮影装置。
【請求項６】
撮像時のブレを検出するブレ検出手段と、
前記撮影指示後の１枚目の撮影画像に２枚目以降の撮影画像の部分画像を合成可能な合成手段と、を備え、
前記制御手段は、前記撮影画像のＬＥＤ領域が滅灯状態で撮像されたと判定され且つ撮像時のブレが検出された場合のみ前記ＬＥＤ領域の部分画像の輝度を制御し、前記撮影画像のＬＥＤ領域が滅灯状態で撮像されたと判定されても撮像時のブレが検出されなかった場合には前記合成手段により再撮影画像のＬＥＤ領域を前記１枚目の撮影画像に合成させることを特徴とする請求項５に記載の撮影装置。
【請求項７】
前記制御手段は、前記撮影画像のＬＥＤ領域が滅灯状態で撮像されたと判定され且つ撮影時のブレが検出された場合、前記撮影画像のＬＥＤ領域の輝度を閾値と比較し、前記閾値よりも輝度が小さい場合には前記撮影画像のＬＥＤ領域の部分画像を前記ＬＥＤの分光特性に対応した画像に置き換えることで前記ＬＥＤ領域の部分画像の輝度を制御することを特徴とする請求項６に記載の撮影装置。
【請求項８】
前記制御手段は、前記撮影指示後の再撮影時に、前記ＬＥＤの点滅周期と同じ露出時間を設定することを特徴とする請求項１、６、７のうちいずれか１項に記載の撮影装置。
【請求項９】
前記制御手段は、前記撮影指示後の再撮影時に、露出時間、絞り量及び感度を１枚目の撮影時と同じ値に設定することを特徴とする請求項２から４のうちいずれか１項に記載の撮影装置。
【請求項１０】
前記撮影指示の入力前に前記撮像手段により撮像された動画像をライブビュー画像として表示する表示手段を備え、
前記ＬＥＤ検出手段は、前記表示手段に表示される前記ライブビュー画像の複数フレームから前記ＬＥＤ領域を検出することを特徴とする請求項１から９のうちいずれ１項に記載の撮影装置。
【請求項１１】
被写体を連続して撮像可能な撮像手段と、
撮影指示の入力を受け付ける指示入力手段と、
前記撮影指示の入力に応じて、周期的に点滅するＬＥＤの点滅周期とは異なる周期で前記撮像手段により連写する制御手段と、
前記撮像手段の連写で得られた複数枚の撮影画像から、前記周期的に点滅するＬＥＤ光を含むＬＥＤ領域を検出するＬＥＤ検出手段と、
前記ＬＥＤ領域が点灯状態で撮像されたか滅灯状態で撮像されたかを判定する判定手段と、
前記複数枚の撮影画像のうちから前記ＬＥＤ領域が点灯状態で撮像されたと判定された撮影画像を選択する選択手段と、
を備えたことを特徴とする撮影装置。
【請求項１２】
前記ＬＥＤ検出手段は、前記撮像手段により連続して撮像された画像を複数の分割領域に分割して前記分割領域ごとに前記ＬＥＤの周期的な点滅を検出するとともに、前記点滅が検出された分割領域の分光特性を検出し、該分光特性が前記ＬＥＤの分光特性であるか否かを判定することにより、前記ＬＥＤ領域の検出を行なうことを特徴とする請求項１から１１のうちいずれか１項に記載の撮影装置。
【請求項１３】
前記判定手段は、前記ＬＥＤ検出手段により検出された前記ＬＥＤ領域の輝度を、点灯状態で撮像された場合のＬＥＤ領域の輝度の下限値を示す閾値であって前記撮像手段の露出時間に基づいて算出された閾値と比較することで、前記ＬＥＤ領域が点灯状態で撮像されたか滅灯状態で撮像されたかを判定することを特徴とする請求項１から１２のうちいずれか１項に記載の撮影装置。
【請求項１４】
周期的に点滅するＬＥＤの点滅周期とは異なる周期で連写された複数枚の撮影画像を取得する画像取得手段と、
前記画像取得手段により得られた複数枚の撮影画像から、前記周期的に点滅するＬＥＤ光を含むＬＥＤ領域を検出するＬＥＤ検出手段と、
前記ＬＥＤ領域が点灯状態で撮像されたか滅灯状態で撮像されたかを判定する判定手段と、
前記複数枚の撮影画像のうちから前記ＬＥＤ領域が点灯状態で撮像されたと判定された撮影画像を選択する選択手段と、
を備えたことを特徴とする画像処理装置。
【請求項１５】
前記ＬＥＤ検出手段は、前記撮像手段により連写された複数枚の撮影画像を複数の分割領域に分割して前記分割領域ごとに前記ＬＥＤの周期的な点滅を検出するとともに、前記点滅が検出された分割領域の分光特性を検出し、該分光特性が前記ＬＥＤの分光特性であるか否かを判定することにより、前記ＬＥＤ領域の検出を行なうことを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
被写体を連続して撮像可能な撮像手段、及び、撮影指示の入力を受け付ける指示入力手段を用いる撮影方法であって、
前記撮像手段により撮像された画像から、周期的に点滅するＬＥＤ光を含むＬＥＤ領域を検出するステップと、
前記撮影指示に応じて前記撮像手段により１枚目の撮影を行って、前記１枚目の撮影画像のＬＥＤ領域が点灯状態で撮像されたか滅灯状態で撮像されたかを判定するステップと、
前記１枚目の撮影画像のＬＥＤ領域が滅灯状態で撮像されたと判断された場合、前記ＬＥＤの点滅周期の１周期以上の露出時間で前記撮像手段により２枚目の撮影を行なうステップと、
前記２枚目の撮影画像のＬＥＤ領域を前記１枚目の撮影画像に合成するステップと、
を備えたことを特徴とする撮影方法。
【請求項１７】
被写体を連続して撮像可能な撮像手段、及び、撮影指示の入力を受け付ける指示入力手段を用いる撮影方法であって、
前記撮像手段により撮像された画像から、周期的に点滅するＬＥＤ光を含むＬＥＤ領域を検出するステップと、
前記撮影指示に応じて前記撮像手段により１枚目の撮影を行って、前記１枚目の撮影画像のＬＥＤ領域が点灯状態で撮像されたか滅灯状態で撮像されたかを判定するステップと、
前記１枚目の撮影画像のＬＥＤ領域が滅灯状態で撮像されたと判断された場合、前記ＬＥＤ領域が点灯状態で撮像されるまで前記撮像手段により２枚目以降の撮影を繰り返すステップと、
を備えたことを特徴とする撮影方法。
【請求項１８】
前記２枚目以降の撮影画像であって前記ＬＥＤ領域が点灯状態で撮像された撮影画像から前記ＬＥＤ領域の部分画像を分離し、該分離された部分画像を前記１枚目の撮影画像に合成することを特徴とする請求項１７に記載の撮影方法。
【請求項１９】
前記撮像素子は、複数の光電変換素子が配列された受光画素面を有するとともに該受光画素面の読出可能な最大領域から任意の部分領域を部分読み出し可能であり、
前記撮影指示後の２枚目以降の撮影にて前記撮像素子の前記最大領域のうちで前記ＬＥＤ領域に対応する部分領域のみ読み出す部分読み出しを制御し、前記２枚目以降の撮影画像であって点灯状態で撮像されて部分読み出しされた前記ＬＥＤ領域の部分画像を前記１枚目の撮影画像に合成することを特徴とする請求項１７に記載の撮影方法。
【請求項２０】
被写体を連続して撮像可能な撮像手段、及び、撮影指示の入力を受け付ける指示入力手段を用いる撮影方法であって、
前記撮像手段により撮像された画像から、周期的に点滅するＬＥＤ光を含むＬＥＤ領域を検出するステップと、
前記撮影指示に応じて前記撮像手段により１枚目の撮影を行って、前記１枚目の撮影画像のＬＥＤ領域が点灯状態で撮像されたか滅灯状態で撮像されたかを判定するステップと、
前記１枚目の撮影画像のＬＥＤ領域が滅灯状態で撮像されたと判断された場合、前記撮影画像のうち前記ＬＥＤ領域の部分画像の少なくとも輝度を補正することを特徴とする撮影方法。
【請求項２１】
撮像時のブレを検出するブレ検出手段を用い、
前記撮影画像のＬＥＤ領域が滅灯状態で撮像されたと判定され且つ撮像時のブレが検出された場合のみ前記ＬＥＤ領域の部分画像の輝度を制御し、前記撮影画像のＬＥＤ領域が滅灯状態で撮像されたと判定されても撮像時のブレが検出されなかった場合には前記合成手段により再撮影画像のＬＥＤ領域を前記１枚目の撮影画像に合成することを特徴とする請求項２０に記載の撮影方法。
【請求項２２】
前記撮影画像のＬＥＤ領域が滅灯状態で撮像されたと判定され且つ撮像時のブレが検出された場合、前記撮影画像のＬＥＤ領域の輝度を閾値と比較し、前記閾値よりも輝度が小さい場合には前記撮影画像のＬＥＤ領域の部分画像を前記ＬＥＤの分光特性に対応した画像に置き換え、前記閾値以上である場合には前記撮影画像のＬＥＤ領域の輝度を高めることを特徴とする請求項２１に記載の撮影方法。
【請求項２３】
被写体を連続して撮像可能な撮像手段、及び、撮影指示の入力を受け付ける指示入力手段を用いる撮影方法であって、
前記撮影指示の入力に応じて、周期的に点滅するＬＥＤの点滅周期とは異なる周期で前記撮像手段により連写するステップと、
前記撮像手段の連写で得られた複数枚の撮影画像から、前記周期的に点滅するＬＥＤ光を含むＬＥＤ領域を検出するステップと、
前記ＬＥＤ領域が点灯状態で撮像されたか滅灯状態で撮像されたかを判定するステップと、
前記複数枚の撮影画像のうちから前記ＬＥＤ像が点灯状態で撮像されたと判定された撮影画像を選択するステップと、
を備えたことを特徴とする撮影方法。
【請求項２４】
周期的に点滅するＬＥＤの点滅周期とは異なる周期で連写された複数枚の撮影画像を取得する画像取得手段を用い、
前記画像取得手段により得られた複数枚の撮影画像から、前記周期的に点滅するＬＥＤ光を含むＬＥＤ領域を検出するステップと、
前記ＬＥＤ領域が点灯状態で撮像されたか滅灯状態で撮像されたかを判定するステップと、
前記複数枚の撮影画像のうちから前記ＬＥＤ領域が点灯状態で撮像されたと判定された撮影画像を選択するステップと、
を備えたことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、周期的に点滅するＬＥＤ光を含む被写体を撮影する際に、撮影画像中のＬＥＤ領域が滅灯状態のままとなることを防止することができる技術に関する。
【背景技術】
【０００２】
特許文献１には、光電変換機能を有する固体撮像素子を備えた撮影装置において、固体撮像素子の露出時間（電荷蓄積時間）を、５０ミリ秒の整数倍に制御する構成が開示されている。
【０００３】
特許文献２には、入力映像信号を垂直同期信号の周期に同期して複数のフィールドに分割し、その各フィールドごとの映像信号の大きさに応じて利得制御回路の利得を自動調整することで、蛍光灯照明下での映像のフリッカを低減する構成が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特公昭６１−５６９５１号公報
【特許文献２】特公平６−２０２７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
インバータを内蔵しない安価な回路構成のＬＥＤ光源は、交流電源の周波数に応じて周期的な点滅（いわゆる「フリッカ」）を起こしている。そのため、例えば晴天下のＬＥＤ信号機や華美なＬＥＤイルミネーションを撮影すると、露出時間がＬＥＤの点滅周期よりも短くなり、全く点灯していないかの様に撮影されることがある。そうすると、撮影者の意図にそぐわない画像が撮影されてしまうことになる。
【０００６】
特許文献１記載の構成では、撮像素子の露出時間を交流電源の周期以上に設定することで、異なる撮像タイミングでの画像の変動を防止することは可能になるが、露出時間を交流電源の周期以上に設定することが必須であり、任意のシャッタスピードで撮影できない。即ち、撮影環境や撮影者の意図に合わせて撮影することができない場合がある。
【０００７】
また、特許文献２記載の構成は、蛍光灯照明下でのフリッカ低減を目的としており、ＬＥＤ信号機やＬＥＤイルミネーション等のＬＥＤ光を含む被写体の撮影画像に対して同様の利得制御を行っても、垂直同期信号の周期に同期して分割したフィールドごとに利得（ゲイン）が調整されることで略画像全体に対する利得が上がるだけであり、ＬＥＤ領域が滅灯状態である場合の撮影画像（特にＬＥＤ領域）は適切に補正されない。
【０００８】
本発明はこのような事情に鑑みてなされたもので、周期的に点滅するＬＥＤ光を含む被写体を撮影する際に、撮影画像中のＬＥＤ領域が滅灯状態のままとなることを防止できるとともに、できる限り任意のシャッタスピードで撮影できるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
前記目的を達成するために、本発明は、被写体を連続して撮像可能な撮像手段と、撮影指示の入力を受け付ける指示入力手段と、前記撮像手段により撮像された画像から、周期的に点滅するＬＥＤ光を含むＬＥＤ領域を検出するＬＥＤ検出手段と、前記ＬＥＤ領域が点灯状態で撮像されたか滅灯状態で撮像されたかを判定する判定手段と、前記撮影指示に応じて前記撮像手段により少なくとも１枚の撮影を行う制御手段であって、前記ＬＥＤ検出手段によりＬＥＤ領域を検出され、かつ、１枚目の撮影画像のＬＥＤ領域が前記判定手段により滅灯状態で撮像されたと判定された場合、前記ＬＥＤの点滅周期の１周期以上の露出時間で前記撮像手段により２枚目の撮影を行なう制御手段と、前記２枚目の撮影画像のＬＥＤ領域を前記１枚目の撮影画像に合成する合成手段と、を備えたことを特徴とする撮影装置を提供する。
【００１０】
即ち、撮影指示に応じて撮影された１枚目の撮影画像のうち周期的に点滅するＬＥＤ領域が滅灯状態で撮像されたと判定された場合のみＬＥＤの点滅周期の１周期以上の露出時間で２枚目の撮影が行われて、２枚目の撮影画像のＬＥＤ領域が１枚目の撮影画像に合成されるので、周期的に点滅するＬＥＤ光を含む被写体を撮影する場合でも、撮影画像中のＬＥＤ領域が滅灯状態のまま目視されることを防止できるとともに、任意のシャッタスピードで撮影できる。また、２枚目の撮影画像のうち１枚目の撮影画像に合成されるのはＬＥＤ領域のみであり、それ以外の領域はレリーズタイミング（撮影指示のタイミング）で撮像された１枚目の撮影画像のままなので、レリーズタイミングに合った画像が得られる。しかも、撮影指示後の撮影回数は最大でも２回で終わるので、撮影者に違和感を与えることがない。
【００１１】
また、本発明は、被写体を連続して撮像可能な撮像手段と、撮影指示の入力を受け付ける指示入力手段と、前記撮像手段により撮像された画像から、周期的に点滅するＬＥＤ光を含むＬＥＤ領域を検出するＬＥＤ検出手段と、前記ＬＥＤ領域が点灯状態で撮像されたか滅灯状態で撮像されたかを判定する判定手段と、前記撮影指示に応じて前記撮像手段により少なくとも１枚の撮影を行う制御手段であって、前記ＬＥＤ検出手段によりＬＥＤ領域を検出され、かつ、１枚目の撮影画像のＬＥＤ領域が前記判定手段により滅灯状態で撮像されたと判定された場合、前記ＬＥＤ領域が点灯状態で撮像されるまで前記撮像手段により２枚目以降の撮影を繰り返す制御手段と、を備えたことを特徴とする撮影装置を提供する。
【００１２】
即ち、撮影指示に応じて撮影された１枚目の撮影画像のうち周期的に点滅するＬＥＤ領域が滅灯状態で撮像されたと判定された場合のみ、そのＬＥＤ領域が点灯状態で撮像されたと判定されるまで２枚目以降の撮影が繰り返されるので、周期的に点滅するＬＥＤ光を含む被写体を撮影する場合でも、撮影画像中のＬＥＤ領域が滅灯状態のまま目視されることを防止できるとともに、できる限り任意のシャッタスピード（露出時間）で撮影できる。１枚目の撮影画像と２枚目の撮影画像とでシャッタスピードを揃えることも可能である。
【００１３】
本発明の一実施形態にて、前記１枚目の撮影画像に前記２枚目以降の撮影画像の部分画像を合成可能な合成手段を備え、前記制御手段は、前記２枚目以降の撮影画像であって前記ＬＥＤ領域が点灯状態で撮像された撮影画像から前記ＬＥＤ領域の部分画像を分離し、該分離された部分画像を前記合成手段により前記１枚目の撮影画像に合成させることを特徴とする。即ち、２枚目以降の撮影画像のうち１枚目の撮影画像に合成されるのはＬＥＤ領域のみであり、それ以外の領域はレリーズタイミング（撮影指示のタイミング）で撮像された１枚目の撮影画像のままなので、レリーズタイミングに合った画像が得られる。本実施形態では、１枚目の撮影画像と同じシャッタスピードで撮影された２枚目以降の撮影画像を合成することが可能である。
【００１４】
本発明の一実施形態にて、前記１枚目の撮影画像に前記２枚目以降の撮影画像の部分画像を合成可能な合成手段を備え、前記撮像素子は、複数の光電変換素子が配列された受光画素面を有するとともに該受光画素面の読出可能な最大領域から任意の部分領域を部分読み出し可能であり、前記制御手段は、前記撮影指示後の２枚目以降の撮影にて前記撮像素子の前記最大領域のうちで前記ＬＥＤ領域に対応する部分領域のみ読み出す部分読み出しを制御し、前記２枚目以降の撮影画像であって点灯状態で撮像されて部分読み出しされた前記ＬＥＤ領域の部分画像を前記１枚目の撮影画像に合成させることを特徴とする。即ち、２枚目以降の撮影画像のうち１枚目の撮影画像に合成されるのはＬＥＤ領域のみであり、それ以外の領域はレリーズタイミング（撮影指示のタイミング）で撮像された１枚目の撮影画像のままなので、レリーズタイミングに合った画像が得られる。本実施形態では、１枚目の撮影画像と同じシャッタスピードで撮影された２枚目以降の撮影画像を合成することが可能である。また、再撮影（２枚目以降の撮影）ではＬＥＤ領域に対応する部分領域のみ部分読み出しされるので、再撮影の間隔を短縮することができ、よりレリーズタイミングに合った撮影画像を得ることができる。
【００１５】
また、本発明は、被写体を連続して撮像可能な撮像手段と、撮影指示の入力を受け付ける指示入力手段と、前記撮像手段により撮像された画像から、周期的に点滅するＬＥＤ光を含むＬＥＤ領域を検出するＬＥＤ検出手段と、前記ＬＥＤ領域が点灯状態で撮像されたか滅灯状態で撮像されたかを判定する判定手段と、前記撮影指示に応じて前記撮像手段により少なくとも１枚の撮影を行う制御手段であって、前記ＬＥＤ検出手段によりＬＥＤ領域を検出され、かつ、１枚目の撮影画像のＬＥＤ領域が前記判定手段により滅灯状態で撮像されたと判定された場合、前記撮影画像のうち前記ＬＥＤ領域の部分画像の少なくとも輝度を制御する制御手段と、を備えたことを特徴とする撮影装置を提供する。
【００１６】
即ち、撮影指示に応じて撮影された撮影画像のうち周期的に点滅するＬＥＤ領域が滅灯状態で撮像されたと判定された場合、前記ＬＥＤ領域の部分画像の輝度が制御されるので、周期的に点滅するＬＥＤ光を含む被写体を撮影する場合でも、撮影画像中のＬＥＤ領域が滅灯状態のまま目視されることを防止することが可能になるとともに、任意のシャッタスピードで撮影できる。また、レリーズタイミング（撮影指示のタイミング）に合った画像が得られる。
【００１７】
本発明の一実施形態にて、撮像時のブレを検出するブレ検出手段と、前記撮影指示後の１枚目の撮影画像に２枚目以降の撮影画像の部分画像を合成可能な合成手段と、を備え、前記制御手段は、前記撮影画像のＬＥＤ領域が滅灯状態で撮像されたと判定され且つ撮像時のブレが検出された場合のみ前記ＬＥＤ領域の部分画像の輝度を制御し、前記撮影画像のＬＥＤ領域が滅灯状態で撮像されたと判定されても撮像時のブレが検出されなかった場合には前記合成手段により再撮影画像のＬＥＤ領域を前記１枚目の撮影画像に合成させることを特徴とする。即ち、ブレがある場合には、ブレたＬＥＤ領域が合成されてしまうことを防止できる。また、ブレがない場合には、再撮影画像のうち１枚目の撮影画像に合成されるのはＬＥＤ領域のみであり、それ以外の領域はレリーズタイミング（撮影指示のタイミング）で撮像された１枚目の撮影画像のままなので、レリーズタイミングに合った画像が得られる。
【００１８】
本発明の一実施形態にて、前記制御手段は、前記撮影画像のＬＥＤ領域が滅灯状態で撮像されたと判定され且つ撮影時のブレが検出された場合、前記撮影画像のＬＥＤ領域の輝度を閾値と比較し、前記閾値よりも輝度が小さい場合には前記撮影画像のＬＥＤ領域の部分画像を前記ＬＥＤの分光特性に応じた画像に置き換えることで前記ＬＥＤ領域の部分画像の輝度を制御することを特徴とする。即ち、ＬＥＤの分光特性に応じた画像の置換により、著しく暗く撮影されてしまったＬＥＤ領域を、発色良く補正できる。
【００１９】
本発明の一実施形態にて、前記制御手段は、前記撮影指示後の再撮影時に、前記ＬＥＤの点滅周期と同じ露出時間を設定することを特徴とする。即ち、再撮影を１回（２枚目）のみに抑えることと、再撮影時間を短くすることとを、両立できる。
【００２０】
本発明の一実施形態にて、前記制御手段は、前記撮影指示後の再撮影時に、露出時間、絞り量及び感度を１枚目の撮影時と同じ値に設定することを特徴とする。即ち、１枚目の撮影画像と再撮影画像とで、同質の画像が得られるので、観察者に違和感を与えないようにすることができる。
【００２１】
本発明の一実施形態にて、前記撮影指示の入力前に前記撮像手段により撮像された動画像をライブビュー画像として表示する表示手段を備え、前記ＬＥＤ検出手段は、前記表示手段に表示される前記ライブビュー画像の複数フレームから前記ＬＥＤ領域を検出することを特徴とする。即ち、ライブビュー画像を利用することで撮影指示前にＬＥＤ領域を容易に検出することができるので、撮影時間をあまり延ばさないようにすることができる。
【００２２】
また、本発明は、被写体を連続して撮像可能な撮像手段と、撮影指示の入力を受け付ける指示入力手段と、前記撮影指示の入力に応じて、周期的に点滅するＬＥＤの点滅周期とは異なる周期で前記撮像手段により連写する制御手段と、前記撮像手段の連写で得られた複数枚の撮影画像から、前記周期的に点滅するＬＥＤ光を含むＬＥＤ領域を検出するＬＥＤ検出手段と、前記ＬＥＤ領域が点灯状態で撮像されたか滅灯状態で撮像されたかを判定する判定手段と、前記複数枚の撮影画像のうちから前記ＬＥＤ領域が点灯状態で撮像されたと判定された撮影画像を選択する選択手段と、を備えたことを特徴とする撮影装置を提供する。
【００２３】
即ち、連写で得られた複数枚の撮影画像からＬＥＤ領域が検出されて、前記複数枚の撮影画像のうちからＬＥＤ領域が点灯状態で撮像されたと判定された撮影画像が選択されるので、周期的に点滅するＬＥＤ光を含む被写体を撮影する場合でも、撮影画像中のＬＥＤ領域が滅灯状態のまま目視されることを防止できるとともに、任意のシャッタスピードで撮影できる。
【００２４】
本発明の一実施形態にて、前記ＬＥＤ検出手段は、前記撮像手段により連続して撮像された画像を複数の分割領域に分割して前記分割領域ごとに前記ＬＥＤの周期的な点滅を検出するとともに、前記点滅が検出された分割領域の分光特性を検出し、該分光特性が前記ＬＥＤの分光特性であるか否かを判定することにより、前記ＬＥＤ領域の検出を行なうことを特徴とする。
【００２５】
本発明の一実施形態にて、前記判定手段は、前記ＬＥＤ検出手段により検出された前記ＬＥＤ領域の輝度を、点灯状態で撮像された場合のＬＥＤ領域の輝度の下限値を示す閾値であって前記撮像手段の露出時間に基づいて算出された閾値と比較することで、前記ＬＥＤ領域が点灯状態で撮像されたか滅灯状態で撮像されたかを判定することを特徴とする。
【００２６】
本発明は、周期的に点滅するＬＥＤの点滅周期とは異なる周期で連写された複数枚の撮影画像を取得する画像取得手段と、前記画像取得手段により得られた複数枚の撮影画像から、前記周期的に点滅するＬＥＤ光を含むＬＥＤ領域を検出するＬＥＤ検出手段と、前記ＬＥＤ領域が点灯状態で撮像されたか滅灯状態で撮像されたかを判定する判定手段と、前記複数枚の撮影画像のうちから前記ＬＥＤ領域が点灯状態で撮像されたと判定された撮影画像を選択する選択手段と、を備えたことを特徴とする画像処理装置を提供する。
【発明の効果】
【００２７】
本発明によれば、周期的に点滅するＬＥＤ光を含む被写体を撮影する際に、撮影画像中のＬＥＤ領域が滅灯状態のままとなることを防止できるとともに、任意のシャッタスピードで撮影できる。
【図面の簡単な説明】
【００２８】
【図１】第１実施形態における撮影装置の一例の全体構成図
【図２】第１実施形態における撮影処理の一例の要部を示すフローチャート
【図３】ＬＥＤ検出処理の詳細フローチャート
【図４】単色ＬＥＤの分光特性の一例を示す説明図
【図５】第２実施形態における撮影処理の一例の要部を示すフローチャート
【図６】第３実施形態における撮影装置の一例の全体構成図
【図７】第３実施形態における撮影処理の一例の要部を示すフローチャート
【図８】第４実施形態における撮影処理の一例の要部を示すフローチャート
【図９】第５実施形態における撮影処理の一例の要部を示すフローチャート
【図１０】第６実施形態における撮影装置の一例の全体構成図
【図１１】ＬＥＤ検出回路の一例を示すブロック図
【図１２】第７実施形態における撮影装置の一例の全体構成図
【図１３】輝度補正回路の一例を示すブロック図
【発明を実施するための形態】
【００２９】
以下、添付図面に従って、本発明の実施形態について、詳細に説明する。
【００３０】
＜第１実施形態＞
図１は、第１実施形態における撮影装置の一例の全体構成図である。
【００３１】
図１において、本例の撮影装置１０は、撮影光学系１２、撮像素子１４、ＡＦＥ１６（アナログ信号処理部）、ＤＳＰ１８（デジタル信号処理部）、操作部２０、ＬＣＤ２２、ＲＡＭ２４、フラッシュＲＯＭ２６、マイク２８、撮影光学系ドライバ４６などを備えている。
【００３２】
撮影光学系１２は、ズームレンズ４１、フォーカスレンズ４２、アイリス４３、メカニカルシャッタ４４、ブレ補正ユニット４５などから構成される。撮影光学系ドライバ４６は、ズームレンズ４１、フォーカスレンズ４２、アイリス４３及びメカニカルシャッタ４４を駆動する回路、モータなど含んで構成される。ズームレンズ４１及びフォーカスレンズ４２は、光軸Ｌ１に沿って移動自在に設けられている。撮影光学系ドライバ４６は、ズームレンズ４１を移動させることで、撮影倍率を変化させる。また、フォーカスレンズ４２を移動させることで、焦点合わせを行う。また、アイリス４３の開口量（絞り量）を変化させることで、撮像素子１４の受光量を調節する。また、メカニカルシャッタ４４により光軸Ｌ１上の光路の開閉を行なう。ブレ補正ユニット４５は、光軸Ｌ１に直交する方向に移動自在に設けられたレンズからなる。ブレ検出部４７は、撮影装置１０のブレを検出する。ブレ補正制御部４８は、ブレ検出部４７の検出結果に基づいて、ブレ補正ユニット４５を移動させる。具体的には、撮影装置１０のブレの周波数に応じて光軸Ｌ１に垂直な方向にブレ補正ユニット４５を移動させる。なお、ブレ補正ユニット４５、ブレ検出部４７及びブレ補正制御部４８は、公知のものを用いればよく、詳細な説明を省略する。検出する装置ブレの原因は、撮影者の手ブレなどである。
【００３３】
撮像素子１４は、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサなどからなる。撮像素子１４は、光電変換素子（撮像画素）が配列された受光面に撮影光学系１２によって結像された被写体光を光電変換し、アナログの画像信号（撮像画像）を出力する。撮像素子１４は、いわゆる電子シャッタ機能を有しており、ＡＦＥ１６のＴＧ（タイミングジェネレータ）４９からシャッタパルス信号が入力されると、それまでに蓄積された電荷を掃き出して消去する。即ち、ＴＧ４９により撮像素子１４における電荷蓄積時間（「露出時間」、「シャッタスピード」ともいう）が調節される。撮像素子１４における露出量は、電子シャッタのシャッタスピードとアイリス４３の絞り量とによって定められる。撮像素子１４から出力されたアナログの画像信号は、ＡＦＥ１６のゲインコントロール回路５０によりＩＳＯ感度に応じたゲインで増幅され、Ａ／Ｄ変換器５１によりデジタルの画像信号に変換される。
【００３４】
撮影光学系１２、撮像素子１４、ＡＦＥ１６及び撮影光学系ドライバ４６を含んで、被写体を撮像する撮像手段１１が構成される。本例の撮像手段１１は、被写体を時間的に連続して撮像可能である。
【００３５】
ＤＳＰ１８（デジタル信号処理部）は、ＡＦＥ１６のＡ／Ｄ変換器５１から出力された画像信号（撮像画像）をデータとして一時的に記憶する画像バッファ５２と、ＲＧＢ信号からＹＣ信号に変換するＹ／Ｃ処理部５３と、被写体の輝度及び合焦評価値を検出するＡＥ／ＡＦ回路５４と、ホワイトバランスの評価値を算出するＡＷＢ回路５５と、撮像画像の圧縮及び伸長を行なう圧縮伸張回路５６と、撮像画像等の各種データの記録メディア３０への記録及び記録メディア３０からの読み込みを行なう記録メディア・インタフェース５７と、計時を行うタイマ５８と、撮像画像から顔画像を検出する顔検出回路５９と、ＣＰＵ６０と、撮像画像をＬＣＤ２２（表示部）の表示用に変換するエンコーダ６１を含んで構成される。
【００３６】
ＣＰＵ（Central Processing Unit）６０は、所定のプログラムを実行することにより、撮影装置１０の各部を制御する。
【００３７】
操作部２０は、ユーザが撮影装置１０に対し各種の指示を入力するための指示入力デバイスである。本例では、モード切換スイッチ、ズームレバー、シャッタスイッチを含んで構成される。シャッタスイッチは２段式であり、第１スイッチ（Ｓ１）のオンで撮影準備指示を受け付け、第２スイッチ（Ｓ２）のオンで撮影指示を受け付ける。モード切換スイッチは、被写体を撮影する撮影モード、画像を再生する再生モードなどのモードの設定を受け付ける。
【００３８】
ＬＣＤ（液晶表示デバイス）２２は、エンコーダ６１で符号化された撮像画像などの各種データを、ＬＣＤドライバ２１の駆動により、表示する。ＬＣＤ２２は、撮影モード時、電子ビューファインダとして、撮像手段１１で時間的に連続して撮像しているライブビュー画像（スルー画像）をリアルタイムに連続して表示するライブビュー表示に用いられる。また、ＬＣＤ２２は、再生モード時、記録メディア３０に記録された撮像画像を表示する。ＬＣＤ以外の表示デバイスを用いてもよい。
【００３９】
ＲＡＭ２４は、プログラムの動作に必要な情報等を記憶する。フラッシュＲＯＭ２６は、プログラムや設定情報等を記憶する。マイク２８は、マイク・ドライバ２９の駆動により音入力を行なう。
【００４０】
図２は、第１実施形態における撮影処理の一例の要部を示すフローチャートである。本処理はＣＰＵ６０によりプログラムに従って実行される。
【００４１】
操作部２０により撮影モードが設定されると、ＣＰＵ６０は、ライブビュー表示の開始とともに、図２の撮影処理をスタートさせる。ライブビュー表示では、撮像手段１１により時間的に連続して撮像された画像をＬＣＤ２２に連続して表示する。
【００４２】
ステップＳ１０にて、ＣＰＵ６０は、時間的に連続的に撮像された撮像画像から周期的に点滅するＬＥＤの像を含むＬＥＤ領域を検出する。このＬＥＤ検出処理の詳細フローを図３に示す。
【００４３】
図３にて、ＣＰＵ６０は、画像バッファ５２から時間的に連続した複数枚の撮像画像（本例ではライブビュー画像の複数フレーム）を取得し（ステップＳ３２）、各撮像画像を縦横二次元に配列された複数個（ｎ個）の分割領域に分割し（ステップＳ３４）、分割数ｎでループ処理（ステップＳ３６〜Ｓ５４）を開始する。ループ処理にて、ＣＰＵ６０は、複数枚の撮像画像にわたって相互に対応する分割領域の輝度に基づいて、各分割領域ごとにフリッカ（ＬＥＤの点滅）を検出し（ステップＳ３８）、その検出結果により各分割領域のフリッカの有無を判定する（ステップＳ４０）。フリッカが有った場合、ＣＰＵ６０は、ＬＥＤのフリッカ周波数ｆｎの設定（ステップＳ４２）、輝度ピークｄｎの設定（ステップＳ４４）、及び、ＬＥＤの分光特性の検出（ステップＳ４６）を行なう。
【００４４】
ＬＥＤのフリッカ周波数ｆｎは、周期的に点滅するＬＥＤの発光周期である。ｆｎは、例えば分割領域ごとの画像（分割画像）からフレームレートを基準に検出してもよいし、フラッシュＲＯＭ２６から取得してもよい。また、ｆｎは、交流電源の周波数（例えば５０Ｈｚ又は６０Ｈｚ）と同じであり、現在位置に基づいて決定してもよい。
【００４５】
ライブビュー画像における撮像周期は、交流電源の周期の１／２以下である。
【００４６】
輝度ピークｄｎは、フリッカが検出された分割領域（ＬＥＤ領域）の輝度の測定値であって、フリッカ周期にわたる積算値である。
【００４７】
ＬＥＤの分光（スペクトル）特性は、ＬＥＤから発光される光の色（波長）と強度との関係を示す。例えば単色ＬＥＤは図４に示すような分光特性を有しており、このような分光特性を予めフラッシュＲＯＭ２６に記憶しておき、フリッカが検出され且つ点灯状態で撮像されたと判例された分割領域（ＬＥＤ領域）の分光特性と比較する。図４（Ａ）は紫色ＬＥＤの分光特性、図４（Ｂ）は青色ＬＥＤの分光特性と緑色ＬＥＤの分光特性、図４（Ｃ）は赤色ＬＥＤの分光特性を示す。なお、図４（Ｄ）は赤外ＬＥＤの分光特性を示す。これらの各色の単色ＬＥＤの分光特性を点灯状態のＬＥＤ領域の分光特性とそれぞれ比較することで、どの色のＬＥＤ光がＬＥＤ領域に含まれているかを判定することができる。なお、本例では、説明の便宜上、単色ＬＥＤ（分光特性の極大値がひとつの波長に対応しているＬＥＤ）の光を含むＬＥＤ領域を検出する場合を例に説明するが、複数色が混在したＬＥＤであっても同様に本発明を適用できる。
【００４８】
ＣＰＵ６０は、ＬＥＤの分光特性（本例では単色ＬＥＤの分光特性）であるか否かの判定を行ない（ステップＳ４８）、ＬＥＤ分光特性であればＲＡＭ２４内の単色ＬＥＤ領域フラグをオンし（ステップＳ５０）、ＬＥＤ分光特性でなければ単色ＬＥＤ領域フラグをオフする（ステップＳ５２）。ｎ回ループすると、ループ処理を終了する（ステップＳ５４）。
【００４９】
図２にて、ＣＰＵ６０は、操作部２０のＳ１スイッチが押されたか否かを判定し（ステップＳ１２）、押されるまでステップＳ１０を繰り返す。Ｓ１スイッチが押された場合、ＡＥ／ＡＦ回路５４を用いて自動露出（ＡＥ）及び自動合焦（ＡＦ）等の撮影準備処理を行なう（ステップＳ１４）。
【００５０】
次に、ＣＰＵ６０は、操作部２０のＳ２スイッチが押されたか否かを判定し（ステップＳ１６）、押されるまで待つ。
【００５１】
Ｓ２スイッチが押された場合（撮影指示が入力されたとき）、ステップＳ１８にて、１枚目の撮影を行う。即ち、撮像手段１１により撮像を行なって、撮像画像をＲＡＭ２４に一時的に記憶する。
【００５２】
ステップＳ２０にて、シャッタスピードＳＳ（露出時間）とフリッカの１周期（１／ｆｎ）とを比較し、１／ｆｎ未満であればステップＳ２２に進み、１／ｆｎ以上であればステップＳ３２に進む。
【００５３】
ステップＳ２２にて、単色ＬＥＤ領域フラグがオンである（即ち、周期的に点滅し且つＬＥＤの分光特性を有するＬＥＤ領域が検出された）か否かを判定し、オンであればステップＳ２４に進み、オフであればステップＳ３２に進む。
【００５４】
ステップＳ２４にて、ＬＥＤ輝度（ＬＥＤ領域の輝度）と期待値（ｄｎ×ＳＳ×ｆｎ）とを比較し、期待値未満であればステップＳ２６に進み、期待値以上であればステップＳ３２に進む。
【００５５】
即ち、ライブビュー画像にて検出されたＬＥＤ領域に対応する１枚目の撮影画像の分割領域（１枚目の撮影画像のＬＥＤ領域）が、滅灯状態で撮像されたか点灯状態で撮像されたかを判定し、滅灯状態で撮像されたと判定した場合にはステップＳ２６に進む。
【００５６】
例えば、交流電源の周波数（例えば５０Ｈｚ、１周期２０ｍｓ）でＬＥＤが点滅し、シャッタスピード（露出時間）が１０ｍｓ以下であるとすると、露出時間はＬＥＤの点滅周期の半分以下なので、露出期間がＬＥＤの点灯期間内にて入る場合と、滅灯期間内に全て入る場合と、点灯期間と滅光期間とにまたがる場合とがある。本明細書にて、ＬＥＤ領域が「点灯状態」で撮像されたとは、露出期間が点灯期間内に全て入る場合だけでなく、滅灯期間にまたがる場合を含む。また、ＬＥＤ領域が「滅灯状態」で撮像されたとは、露出期間が滅灯期間内に全て入る場合だけでなく、点灯期間にまたがる場合を含む。本例では、フリッカ周期に対応する輝度値（輝度ピークｄｎ）に対し、シャッタスピードＳＳとフリッカ周期（１／ｆｎ）との比（ＳＳ×ｆｎ）を乗算して、期待値（ｄｎ×ＳＳ×ｆｎ）を求めて、この期待値を閾値として用いるので、露出期間が点灯状態及び滅灯状態とにまたがる場合でも、点灯状態／滅灯状態の判別を適切に行なうことができる。
【００５７】
ステップＳ２６にて、シャッタスピードＳＳ（露出時間）をフリッカの１周期（１／ｆｎ）にして自動撮影する。なお、ＳＳは、１／ｆｎ以上であればよいが、１／ｆｎに設定することが好ましい。
【００５８】
ステップＳ２８にて、２枚目の撮影画像からＬＥＤ領域を抽出する。即ち、２枚目の撮影画像からライブビュー画像のＬＥＤ領域に対応する分割領域（２枚目の撮影画像のＬＥＤ領域）を分離する。
【００５９】
ステップＳ３０にて、１枚目の撮影画像に対し、２枚目の撮影画像のＬＥＤ領域の部分画像を合成する。即ち、１枚目の撮影画像のＬＥＤ領域を２枚目の撮影画像のＬＥＤ領域で置換する。
【００６０】
ステップＳ３２にて、本処理を終了する。
【００６１】
本実施形態の撮影装置１０では、ライブビュー画像から周期的に点滅するＬＥＤ光を含むＬＥＤ領域を検出するＬＥＤ検出手段と、ＬＥＤ領域が点灯状態で撮像されたか滅灯状態で撮像されたかを判定する判定手段と、撮影指示に応じて撮像手段１１により１枚目の撮影を行なって、１枚目の撮影画像のＬＥＤ領域が滅灯状態で撮像されたと判定された場合、ＬＥＤの点滅周期の１周期以上の露出時間で撮像手段１１により２枚目の撮影を行なう制御手段と、２枚目の撮影画像のＬＥＤ領域を前記１枚目の撮影画像に合成する合成手段とを、ＣＰＵ６０によって構成している。
【００６２】
＜第２実施形態＞
次に、第２実施形態における撮影装置について説明する。なお、第１実施形態にて説明した点は省略し、第１実施形態とは異なる点を説明する。
【００６３】
第２実施形態のＣＰＵ６０は、１枚目の撮影画像のＬＥＤ領域が滅灯状態で撮像されたと判定された場合、ＬＥＤ領域が点灯状態で撮像されるまで撮像手段１１により２枚目以降の撮影画像の撮像を繰り返し、ＬＥＤ領域が点灯状態で撮像された撮影画像を記録メディア３０に記録する。
【００６４】
図５は、第２実施形態における撮影処理の一例の要部を示すフローチャートである。本処理はＣＰＵ６０によりプログラムに従って実行される。
【００６５】
ステップＳ１０〜Ｓ２４は、第１実施形態と同じである。
【００６６】
ステップＳ２４にて、ＣＰＵ６０は、１枚目の撮影画像のＬＥＤ領域が滅灯状態で撮像されたか点灯状態で撮像されたかを判定し、滅灯状態で撮像されたと判定した場合にはステップＳ６０に進み、点灯状態で撮像されたと判定された場合にはステップＳ３２に進む。
【００６７】
ステップＳ６０にて、ＣＰＵ６０は、１枚目の撮影画像と同じ設定で自動的に再撮影を行う。即ち、撮像手段１１により、被写体を同じ撮影条件（露出時間、絞り値、感度等）で再び撮像を行なう。ここで、再撮影のタイミング（１枚目の撮像タイミングと２枚目の撮像タイミングとの時間間隔）は、フリッカ周期（１／ｆｎ）とならないようにする。
【００６８】
ステップＳ６２にて、再撮影画像のＬＥＤ領域が滅灯状態で撮像されたか点灯状態で撮像されたかを判定し、点灯状態で撮像されたと判定された場合にはステップＳ６４に進み、滅灯状態で撮像されたと判定した場合にはステップＳ６０に戻って再撮影を繰り返す。
【００６９】
ステップＳ６４にて、ＬＥＤ領域が点灯状態で撮像された再撮影画像からＬＥＤ領域を抽出する。即ち、２枚目以降の撮影画像からライブビュー画像のＬＥＤ領域に対応する分割領域（再撮影画像のＬＥＤ領域）を分離する。
【００７０】
ステップＳ６６にて、１枚目の撮影画像に対し、再撮影画像のＬＥＤ領域の部分画像を合成する。即ち、１枚目の撮影画像のＬＥＤ領域を、再撮影画像のうち点灯状態で撮像されたＬＥＤ領域で、置換する。
【００７１】
ステップＳ３２にて、撮影画像を記録メディア３０に記録して本処理を終了する。
【００７２】
本実施形態の撮影装置１０では、ライブビュー画像から周期的に点滅するＬＥＤ光を含むＬＥＤ領域を検出するＬＥＤ検出手段と、ＬＥＤ領域が点灯状態で撮像されたか滅灯状態で撮像されたかを判定する判定手段と、撮影指示に応じて撮像手段１１により１枚目の撮影を行なって、１枚目の撮影画像のＬＥＤ領域が滅灯状態で撮像されたと判定された場合、ＬＥＤ領域が点灯状態で撮像されるまで撮像手段１１により２枚目以降の撮影を繰り返す制御手段であって、再撮影画像の点灯状態で撮像されたＬＥＤ領域を１枚目の撮影画像に合成する合成手段とを、ＣＰＵ６０によって構成している。
【００７３】
なお、ステップＳ６４にて、再撮影画像からＬＥＤ領域を抽出して合成する場合を例に説明したが、再撮影画像（ただしＬＥＤ領域が点灯状態のもの）をそのまま記録メディア３０に記録するようにしてもよい。本実施形態のようにＬＥＤ領域のみ合成する場合には、他の領域は撮影指示直後の画像になるので、より好ましい。
【００７４】
＜第３実施形態＞
次に、第３実施形態における撮影装置について、第２実施形態と異なる点のみを説明する。
【００７５】
図６は、第３実施形態における撮影装置の一例を示す全体構成図である。
【００７６】
本実施形態の撮像素子１４は、ＣＭＯＳイメージセンサによって構成されている。本例の撮像素子１４は、被写体像の光電変換を行なう光電変換素子（撮像画素）を所定配列形状（例えばハニカム配列、ベイヤ配列）で配列した受光画素面にて、読出可能な最大領域から任意の部分領域（「取込領域」ともいう）のみを部分読み出し可能である。部分読み出しにより、注目した部分領域のみを高速で画像バッファ５２に取り込むことができる。
【００７７】
取込領域制御部７１は、ＣＰＵ６０の指示に従ってＴＧ４９を制御することで、撮像素子１４の部分読出しを制御する。なお、部分読み出しについては公知の技術を用いればよく、詳細な説明を省略する。
【００７８】
図７は、第３実施形態における撮影処理の一例の要部を示すフローチャートである。本処理はＣＰＵ６０によりプログラムに従って実行される。
【００７９】
ステップＳ１０〜Ｓ２４は、第１実施形態と同じである。
【００８０】
ステップＳ２４にて、ＣＰＵ６０は、１枚目の撮影画像のＬＥＤ領域が滅灯状態で撮像されたか点灯状態で撮像されたかを判定し、滅灯状態で撮像されたと判定した場合にはステップＳ７０に進み、点灯状態で撮像されたと判定された場合にはステップＳ３２に進む。
【００８１】
ステップＳ７０は、第２実施形態におけるステップＳ６０と同様である。即ち、撮像手段１１により、被写体を同じ撮影条件（シャッタスピード、絞り値、ゲイン等）で再び撮像を行なう。
【００８２】
ステップＳ７２にて、ＣＰＵ６０は、ステップＳ１０で得られたＬＥＤ領域情報に基づいて、撮像素子１４の受光画素面のうちＬＥＤ領域のみ部分読み出しを行う。
【００８３】
ステップＳ７４にて、第２実施形態におけるステップＳ６０と同様であり、点灯状態で撮像されたと判定された場合にはステップＳ７６に進み、滅灯状態で撮像されたと判定した場合にはステップＳ７０に戻る。
【００８４】
ステップＳ７６にて、画像バッファ５２からＬＥＤ領域の部分画像を取得する。
【００８５】
ステップＳ７８は、第２実施形態のステップＳ６６と同様であり、１枚目の撮影画像に対し再撮影画像のＬＥＤ領域の部分画像を合成する。
【００８６】
＜第４実施形態＞
次に、第４実施形態における撮影装置について説明する。以下では、第１実施形態と同じ点は省略して異なる点を述べる。
【００８７】
第４実施形態において、図１のＣＰＵ６０は、撮影指示の入力前に撮像手段１１により撮像されたライブビュー画像からＬＥＤ領域を検出し、撮影指示に応じて撮像手段１１により撮影を行って、撮影画像のうちライブビュー画像のＬＥＤ領域に対応する領域（ＬＥＤ領域）が滅灯状態である場合、その撮影画像のＬＥＤ領域の部分画像の少なくとも輝度を調整する制御を行う。なお、本例のＣＰＵ６０は、最初の撮影画像の撮影時にブレが検出された場合のみ最初の撮影画像のＬＥＤ領域の輝度を補正して記録メディア３０に記録する制御を行い、最初の撮影画像の撮影時にブレが検出されなかった場合には、撮像手段１１により再撮影を行って、再撮影画像のＬＥＤ領域を最初の撮影画像に合成して記録メディア３０に記録する制御を行う。ＣＰＵ６０は、本発明におけるＬＥＤ検出手段、判定手段、制御手段及び合成手段を構成している。
【００８８】
図８は、第４実施形態における撮影処理の一例の要部を示すフローチャートである。本処理はＣＰＵ６０によりプログラムに従って実行される。
【００８９】
ステップＳ１０〜Ｓ２６は、第１実施形態と同じである。
【００９０】
ステップＳ８０にて、ブレ検出部４７のブレ検出結果に基づいて、１枚目の撮影画像の撮像時に手ブレ等に因る撮影装置１０のブレが有あったか否かを判定する。ブレ検出は、公知の技術を用いればよい。例えば、手ブレ補正用のジャイロセンサ出力を用いてブレ検出を行なってもよいし、複数枚の画像（例えばライブビュー画像）から動きベクトルを検出することでブレ検出を行なってもよい。
【００９１】
撮像時のブレが有った場合には、ステップＳ８２にて、１枚目の撮影画像中のＬＥＤ領域の輝度（ＬＥＤ輝度）を閾値（本例ではｄｎ×ＳＳ×ｆｎ／１０）と比較し、閾値以上であればＬＥＤ領域の輝度が著しく暗いわけではないと判断してステップＳ８４に進み、閾値未満であればＬＥＤ領域の輝度が著しく暗いと判断してステップＳ８６に進む。
【００９２】
ステップＳ８４では、１枚目の撮影画像のうちＬＥＤ領域の輝度を上げる輝度補正を行う。
【００９３】
ステップＳ８６では、ＬＥＤ領域の輝度をＬＥＤ分光特性（本例では単色ＬＥＤの分光特性）に応じた画像に置換することでＬＥＤ領域の部分画像の輝度を補正する。ＬＥＤ領域が著しく暗い場合、単に輝度を上げるだけであると、色あいが変わってしまうためである。例えば、ステップＳ１０（図３のステップＳ４６）で検出された分光特性を参照し、１枚目の撮影画像のＬＥＤ領域をＬＥＤの分光特性に応じた画像に置き換える。フラッシュＲＯＭ２６に各色のＬＥＤに対応する画像を予め記憶させておき、フラッシュＲＯＭ２６から読み出した画像に置き換えるようにしてもよい。
【００９４】
ステップＳ８０にて撮像時のブレが無かった場合には、２枚目の撮影画像からＬＥＤ領域を抽出し（ステップＳ８８）、１枚目の撮影画像に対し２枚目の撮影画像のＬＥＤ領域を合成する(ステップＳ９０)。ステップＳ８８〜Ｓ９０及びＳ３２は、図２に示した第１実施形態のステップＳ２８〜Ｓ３２と同様であり、詳細な説明を省略する。
【００９５】
なお、ＬＥＤ領域が著しく暗いか否かを判定するための閾値を、ＬＥＤ輝度の期待値（ｄｎ×ＳＳ×ｆｎ）の１／１０とした場合を例に示したが、期待値に他の係数を乗算して閾値としてもよい。閾値は、期待値の１／２以上であり、好ましくは期待値の１／３以上である。
【００９６】
＜第５実施形態＞
次に、第５実施形態における撮影装置について説明する。なお、第１実施形態にて説明した点は省略し、第１実施形態とは異なる点を説明する。
【００９７】
第５実施形態のＣＰＵ６０は、ＬＥＤのフリッカ周期（点滅周期）とは異なる周期で撮像手段１１により連写し、その連写により取得された複数枚の撮影画像のうちでＬＥＤ像が点灯状態である撮影画像を選択して、記録メディア３０に記録する。
【００９８】
図９は、第５実施形態における撮影処理の一例の要部を示すフローチャートである。本処理はＣＰＵ６０によりプログラムに従って実行される。
【００９９】
図９にて、ＣＰＵ６０は、操作部２０のＳ１スイッチが押されたか否かを判定し（ステップＳ１０２）、Ｓ１スイッチが押された場合、ＡＥ／ＡＦ回路５４を用いてＡＥ、ＡＦ等の撮影準備処理を行なう（ステップＳ１０４）。次に、ＣＰＵ６０は、操作部２０のＳ２スイッチが押されたか否かを判定し（ステップＳ１０６）、押されるまで待つ。
【０１００】
Ｓ２スイッチが押された場合（撮影指示が入力されたとき）、ＬＥＤのフリッカ周期ｆｎとは異なる周期で撮像手段１１により複数枚（本例ではｍ枚）の連写を行なう（ステップＳ１０８）。ｍ枚の撮影画像は画像バッファ５２又はＲＡＭ２４に一時的に記憶される。
【０１０１】
次に、ＣＰＵ６０は、連写された撮影画像からＬＥＤ領域を検出する（ステップＳ１１０）。即ち、第１実施形態ではライブビュー画像からＬＥＤ領域を検出したが(図２のステップＳ１０)、本実施形態では連写画像からＬＥＤ領域を検出する点が異なるが、その他の点は第１実施形態とほぼ同様である。
【０１０２】
ＣＰＵ６０は、連写枚数ｍでループ処理を開始し（ステップＳ１１２）、シャッタスピードＳＳとフリッカの１周期（１／ｆｎ）との比較（ステップＳ１１４）、単色ＬＥＤ領域フラグがオンであるか否かの判定（ステップＳ１１６）、及び、ＬＥＤ領域の輝度と期待値（ｄｎ×ＳＳ×ｆｎ）との比較（ステップＳ１１８）を行なう。ここで、ＣＰＵ６０は、ＳＳ＞１／ｆｎ、且つ、単色ＬＥＤ領域フラグオン、且つ、ＬＥＤ輝度＜期待値である場合、その撮影画像を選択する（ステップＳ１２０）。ＣＰＵ６０は、連写枚数ｍのループが終了すると（ステップＳ１２２）、選択された撮影画像を記録メディア３０に記録する（ステップＳ１２４）。
【０１０３】
＜第６実施形態＞
次に、第６実施形態における撮影装置１０について説明する。なお、第１実施形態にて説明した点は省略し、第１実施形態とは異なる点を説明する。
【０１０４】
図１０は、第６実施形態における撮影装置の一例を示す全体構成図である。本実施形態のＤＳＰ１８は、撮像画像からＬＥＤ領域を検出するＬＥＤ検出回路７２と、１枚目の撮影画像に２枚目の撮影画像のＬＥＤ領域を合成するＬＥＤ領域合成回路７４を備えている。
【０１０５】
ＬＥＤ検出回路７２の詳細を図１１に示す。ＬＥＤ検出回路７２は、画像分割回路８１、フリッカ検出回路８２及び分光特性検出回路８３を含んで構成されている。画像分割回路８１は、画像バッファ５２から時間的に連続した複数枚の撮像画像（例えばライブビュー画像）を取得して、各撮像画像を縦横二次元に配列された複数個の分割領域に分割し、分割画像を出力する。フリッカ検出回路８２は、複数枚の撮像画像にわたって相互に対応する分割領域（分割画像）の輝度に基づいて、各分割領域ごとにフリッカ（ＬＥＤの点滅）を検出し、フリッカ周波数ｆｎと輝度ピークｄｎを出力する。分光特性検出回路８３は、フリッカが検出され且つ点灯状態で撮像された分割領域（ＬＥＤ領域）の分光特性がＬＥＤの分光特性であるか否かを検出する。本実施形態のＣＰＵ６０は、図１１のＬＥＤ検出回路７２を用いて、図３に示したＬＥＤ検出処理を行なう。また、本実施形態のＣＰＵ６０は、ＬＥＤ領域合成回路７４を用いて画像合成を行なう。
【０１０６】
＜第７実施形態＞
次に、第７実施形態における撮影装置１０について説明する。以下では、第４実施形態と異なる点を説明する。
【０１０７】
図１２は、第７実施形態における撮影装置の一例を示す全体構成図である。本実施形態のＤＳＰ１８は、ＬＥＤ検出回路７２、ＬＥＤ領域合成回路７４、及び、輝度補正回路７６を備えている。なお、ＬＥＤ検出回路７２及びＬＥＤ領域合成回路７４は、第６実施形態を同様であり、説明を省略する。
【０１０８】
輝度補正回路７６の詳細を図１３に示す。輝度補正回路７６は、ＬＥＤ輝度判断部８４、分光特性置換部８５及びＬＥＤ領域輝度補正部８６を含んで構成されている。ＬＥＤ輝度判断部８４は、画像バッファ５２からＬＥＤ領域の部分画像（ＬＥＤ領域画像）を取得して、そのＬＥＤ領域の輝度（ＬＥＤ輝度）を閾値（例えばｄｎ×ＳＳ×ｆｎ／１０）と比較し、閾値未満であれば分光置換フラグをオンに設定し、閾値以上であれば分光置換フラグをオフに設定する。分光特性置換部８５は、分光置換フラグがオンである場合に、ＬＥＤ領域画像の輝度をＬＥＤ分光特性に基づいて補正する。ＬＥＤ領域輝度補正部８６は、分光置換フラグがオフである場合に、ＬＥＤ領域の輝度を上げる輝度補正を行う。本実施形態のＣＰＵ６０は、ＬＥＤ検出回路７２、ＬＥＤ領域合成回路７４及び輝度補正回路７６を用いて、図８に示す撮影処理を行なう。
【０１０９】
なお、第１実施形態から第７実施形態に分けて説明したが、これらの組み合わせの実施形態を実施してもよい。例えば、図６に示した第４実施形態の撮影装置において、図１０に示したＬＥＤ検出回路７２、ＬＥＤ領域合成回路７４を設けて第６実施形態と同様なＬＥＤ検出およびＬＥＤ領域合成を行なってもよいし、図１２に示した輝度補正回路７６を設けて第７実施形態と同様な輝度補正を行なってもよい。
【０１１０】
また、第１実施形態から第７実施形態では、撮影シーンに物体として存在する可能性のあるＬＥＤが単色ＬＥＤ（例えば青、緑、赤のＬＥＤ）である場合を例に説明したが、本発明はこのような場合に特に限定されない。例えば、白色ＬＥＤのように複数色（波長が異なる複数色）が混在したＬＥＤが撮影シーンに物体として存在する可能性がある場合には、白色ＬＥＤの分光特性にも基づいて、ＬＥＤ領域の検出を行うようにすればよい。
【０１１１】
また、本発明は、デジタルカメラなどの撮影装置で実施する場合には特に限定されない。例えば、パーソナルコンピュータなどのコンピュータ装置を本発明の画像処理装置として用いることで、本発明を実施してもよい。
【０１１２】
本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。
【符号の説明】
【０１１３】
１０…撮影装置、１１…撮像手段、１２…撮影光学系、１４…撮像素子、１６…ＡＦＥ（アナログ信号処理部）、１８…ＤＳＰ（デジタル信号処理部）、２０…操作部、２２…ＬＣＤ、３０…記録メディア、４３…アイリス（絞り）、４６…レンズドライバ、４７…ブレ検出部、５２…画像バッファ、６０…ＣＰＵ
【図１】
2012119788.tif 000003
【図２】
2012119788.tif 000004
【図３】
2012119788.tif 000005
【図４】
2012119788.tif 000006
【図５】
2012119788.tif 000007
【図６】
2012119788.tif 000008
【図７】
2012119788.tif 000009
【図８】
2012119788.tif 000010
【図９】
2012119788.tif 000011
【図１０】
2012119788.tif 000012
【図１１】
2012119788.tif 000013
【図１２】
2012119788.tif 000014
【図１３】
2012119788.tif 000015