(57)【要約】【課題】小型の撮像素子を用いても、背景などの他の被写体に比べて主要被写体を際立たせるための、主要被写体以外に対するぼかし処理を確かなものにでき、しかも、光学レンズの周辺光量および周辺解像度の変化の影響を受けない画像処理装置や撮像装置を提供する。【解決手段】画像相関検出部３１は、照度の異なる照明下での撮影で得られた複数の画像データを入力し、入力した画像データ間の相関を検出する。フィルタ処理部３２は、画像相関検出部３１の検出結果に基づいて、少なくとも１つの入力画像データに対して適応フィルタ処理を行い、輝度差の小さい画像領域における画像データに対してぼかし処理を行う。これによって、主要被写体以外をぼかした画像を得ることができる。【選択図】図１
2009055174.tif 000002
【特許請求の範囲】
【請求項１】
照度の異なる照明下での撮影で得られた複数の画像データを入力し、入力した画像データ間の相関を検出する画像相関検出部と、前記画像相関検出部の検出結果に基づいて、少なくとも１つの入力画像データに対して適応フィルタ処理を行い出力画像データとするフィルタ処理部とを備えた画像処理装置。
【請求項２】
前記画像相関検出部は、入力画像データ間の輝度差を画素単位または複数画素からなるブロック単位で算出し、検出結果とする請求項１に記載の画像処理装置。
【請求項３】
前記画像相関検出部は、入力画像データ間の色相差を画素単位または複数画素からなるブロック単位で算出し、検出結果とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記フィルタ処理部は、前記画像相関検出部で得られた検出結果に基づいて周波数特性を変化させフィルタである請求項１から請求項３までのいずれかに記載の画像処理装置。
【請求項５】
前記フィルタ処理部は、前記画像相関検出部で得られた検出結果である輝度差と色相差について、輝度差が指定範囲内の値であった場合には輝度差、色相差の両方またはいずれか一方に基づき適応フィルタ処理を行い、輝度差が指定範囲外の値であった場合には色相差のみに基づき適応フィルタ処理を行う請求項１から請求項４までのいずれかに記載の画像処理装置。
【請求項６】
請求項１から請求項５までのいずれかに記載の画像処理装置に加え、撮像素子と、前記撮像素子を介して得られた画像データを記憶する画像記憶部と、ストロボの発光量を制御するストロボ制御手段を有する制御部を備え、前記制御部によりストロボ発光量を変化させて前記撮像素子を介して得られた複数の画像データを前記画像処理装置の入力とするように構成されている撮像装置。
【請求項７】
前記ストロボ制御手段は、前記ストロボ発光量の変化を強発光、弱発光の２種類とする請求項６に記載の撮像装置。
【請求項８】
前記ストロボ制御手段は、前記強発光をストロボ発光量１００％、前記弱発光をストロボ発光量０％とする請求項７に記載の撮像装置。
【請求項９】
前記制御部は露出制御手段を備え、前記露出制御手段は露出条件に基づいてストロボ発光量を前記ストロボ制御手段に与え、前記強発光および弱発光の発光量の調節を可能とする請求項６から請求項８までのいずれかに記載の撮像装置。
【請求項１０】
前記制御部は露出制御手段を備え、弱発光下で撮影した後に露出をロックし、その後、強発光下で撮影する請求項６から請求項９までのいずれかに記載の撮像装置。
【請求項１１】
前記制御部は露出制御手段を備え、強発光下で撮影した後に露出をロックし、その後、弱発光下で撮影する請求項６から請求項９までのいずれかに記載の撮像装置。
【請求項１２】
前記制御部はホワイトバランス制御手段を備え、弱発光下で撮影した後にホワイトバランスをロックし、その後、強発光下で撮影する請求項６から請求項１１までのいずれかに記載の撮像装置。
【請求項１３】
前記制御部はホワイトバランス制御手段を備え、強発光下で撮影した後にホワイトバランスをロックし、その後、弱発光下で撮影する請求項６から請求項１１までのいずれかに記載の撮像装置。
【請求項１４】
前記フィルタ処理部は、弱発光下での撮影で得られた画像データに対してフィルタ処理を行う請求項６から請求項１３までのいずれかに記載の撮像装置。
【請求項１５】
前記フィルタ処理部は、強発光下での撮影で得られた画像データに対してフィルタ処理を行う請求項６から請求項１３までのいずれかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子を用いた電子スチルカメラ等の撮像装置または画像処理装置において、表現力向上の一環として、撮影画像中の写したい人物などの主要被写体を背景などの他の被写体に比べて際立たせるために、主要被写体以外の被写体を積極的にぼかす技術に関する。固体撮像素子を用いた撮像装置においては、銀塩カメラに比べて、被写界深度が深いことから、このような技術課題が生じている。
【背景技術】
【０００２】
近年、固体撮像素子を用いた小型電子カメラが市販され、人気を集めている。小型電子カメラに使用される固体撮像素子のサイズは２／３インチ（対角１６．９ｍｍ）から１／２．５インチ（対角１０．２ｍｍ）であり、これは、銀塩カメラに使用される３５ｍｍフィルムや大型電子カメラに使用される固体撮像素子と比べて非常に小さい。
【０００３】
撮像素子やフィルムの撮像面のサイズが小さくなるにつれ、同じ画角であっても光学レンズの焦点距離は短くなる。また、焦点距離が短くなるほど焦点の合っている被写体間の距離は長く、つまり被写界深度は深くなる。
【０００４】
被写界深度は、光学レンズの焦点が合う被写体間の距離のことである。合焦状態の被写体間距離が長いほど被写界深度は深く、被写体間距離が短いほど被写界深度は浅い。被写界深度が浅いと特定被写体のみにピントを合わせることができる。被写界深度は、光学レンズのＦ値（Ｆナンバ）が小さくなればなるほどまた光学レンズの焦点距離が長くなればなるほど、浅くなる。したがって、光学レンズの絞りを開放にして撮影することにより被写界深度を浅くすることができる。
【０００５】
しかし、固体撮像素子型の撮像装置の場合には、固体撮像素子の記録画面が小さく、光学レンズの焦点距離が短いので、レンズの絞りを開けてＦ値を小さくしても、被写界深度は深いままであり、特定被写体から距離の離れた背景などの主要被写体以外の被写体をぼかすことがむずかしい。すなわち、小型電子カメラは、その被写界深度が非常に深く、例えば人物などの主要被写体だけに焦点を合わせ、背景などその他の被写体をぼかすといった表現が困難である。
【０００６】
特許文献１では、可変絞り機構を設けて上記の問題の解決を試みている。すなわち、絞り値を変えて同じ被写体を撮影した少なくとも２つの画像の画像データを比較し、相互にピントの異なる被写体部分を抽出し、フィルタ処理を行ってピントのぼけた画像データを生成し、ピントの合った被写体部分の元の画像データとピントのぼけた画像データを合成する。
【特許文献１】特開２００１−１５７１０７号公報（第３−４頁、第１−８図）
【特許文献２】特開２００３−１２５２８１号公報
【特許文献３】特開２００７−１２９３１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、上記の絞り値を変えて撮影する手法には、以下のような問題がある。まず、撮像素子が非常に小さい場合、絞り値を変化させても被写界深度の差が十分には得られず、ピントの比較が困難である。次に、絞り値を変化させると、光学レンズの物理的特性上、周辺光量および周辺解像度も変化してしまい、絞り値を変えて撮影した複数の画像からは純粋な被写界深度の変化だけを抽出できない。よって、主要被写体とその他の被写体の分離が不正確になり、フィルタ処理に過不足が生じる可能性がある。
【０００８】
本発明は、このような事情に鑑みて創作したものであり、小型の撮像素子を用いても、背景などの他の被写体に比べて主要被写体を際立たせるための、主要被写体以外に対するぼかし処理を確かなものにでき、しかも、光学レンズの周辺光量および周辺解像度の変化の影響を受けない画像処理装置や撮像装置を提供することを目的としている。
【課題を解決するための手段】
【０００９】
本発明による画像処理装置は、照度の異なる照明下での撮影で得られた複数の画像データを入力し、入力した画像データ間の相関を検出する画像相関検出部と、前記画像相関検出部の検出結果に基づいて、少なくとも１つの入力画像データに対して適応フィルタ処理を行い出力画像データとするフィルタ処理部とを備えたものである。
【００１０】
同一被写体を照度の異なる照明下で撮影すると、照明光が到達している部分では２つの画像の輝度差は大きく、照明光が到達していない部分では２つの画像の輝度差は小さくなる。主要被写体以外の被写体では、照明光で撮影した方が暗くなる。画像相関検出部は、照度の異なる照明下での撮影による複数の画像データにおいて画像データ間の相関を検出し、輝度差の小さい画像領域の情報をフィルタ処理部に与える。フィルタ処理部は、適応フィルタ処理によって、輝度差の小さい画像領域における画像データに対してぼかし処理を行う。これによって、主要被写体以外をぼかした画像を得ることが可能である。すなわち、小型の撮像素子を用いても、背景などの他の被写体に比べて主要被写体を際立たせるための、主要被写体以外に対するぼかし処理を確かなものにすることが可能となる。しかも、絞り値を変化させて撮影を行う従来の技術の場合のような光学レンズの周辺光量および周辺解像度の変化の影響を受けないですむ。
【００１１】
上記構成の画像処理装置において、前記画像相関検出部は、入力画像データ間の輝度差を画素単位または複数画素からなるブロック単位で算出し、検出結果とするという態様がある。画素単位での輝度差ではぼかし処理の精細度が高くなり、逆に、ブロック単位での輝度差ではぼかし処理の精細度が低くなる。
【００１２】
また上記構成の画像処理装置において、前記画像相関検出部は、入力画像データ間の色相差を画素単位または複数画素からなるブロック単位で算出し、検出結果とするという態様がある。照明下では主要被写体による影が生じるが、この影が色相差に影響を与える。そこで、画像相関検出部は、照度の異なる照明下での複数の画像データの色相差を検出し、フィルタ処理部は、適応フィルタ処理によって、色相差に従ってぼかし処理の制御を行う。
【００１３】
また上記構成の画像処理装置において、前記フィルタ処理部は、前記画像相関検出部で得られた検出結果に基づいて周波数特性を変化させフィルタであるという態様がある。これは、注目画素や周辺画素において、その画素値に係数をかけることにより、元の画像データに対して画素値が変化したぼかしの画像データを得るものである。
【００１４】
また上記構成の画像処理装置において、前記フィルタ処理部は、前記画像相関検出部で得られた検出結果である輝度差と色相差について、輝度差が指定範囲内の値であった場合には輝度差、色相差の両方またはいずれか一方に基づき適応フィルタ処理を行い、輝度差が指定範囲外の値であった場合には色相差のみに基づき適応フィルタ処理を行うという態様がある。輝度差が小さい場合は原則、ぼかし処理を適用するのであるが、照度の高い場合の画像データの方が照度の低い場合の画像データよりも輝度が小さくなる場合には、別の処理が必要となる。照明下では主要被写体による影が生じるが、この影には主要被写体の濃い影である本影とそれ以外の薄い影である半影とがある。半影は主要被写体以外の被写体に対応する。半影では照度の異なる複数画像データ間で色相差が大きく、本影では色相差が小さい。そこで、画像相関検出部は、照度の異なる照明下での複数の画像データの色相差の大きい画像領域の情報をフィルタ処理部に与える。フィルタ処理部は、適応フィルタ処理によって、色相差の大きい画像領域における画像データに対してぼかし処理を行う。
【００１５】
以上は本発明にかかわる画像処理装置についての説明であったが、以下では本発明にかかわる撮像装置について説明する。
【００１６】
本発明による撮像装置は、上記のいずれかの画像処理装置に加え、撮像素子と、前記撮像素子を介して得られた画像データを記憶する画像記憶部と、ストロボの発光量を制御するストロボ制御手段を有する制御部を備え、前記制御部によりストロボ発光量を変化させて前記撮像素子を介して得られた複数の画像データを前記画像処理装置の入力とするように構成されているものである。照度の異なる照明下での撮影のための構成要素として、ストロボの発光量を制御するストロボ制御手段を有する制御部に言及している。制御部におけるストロボ制御手段がストロボ発光量を変化させ、それぞれの場合の画像データを取得し、画像記憶部に格納する。画像処理装置は画像記憶部から画像データを読み出して、上記のような処理を行い、主要被写体以外の被写体の画像データに対してぼかし処理を施す。
【００１７】
上記構成の撮像装置において、前記ストロボ制御手段は、前記ストロボ発光量の変化を強発光、弱発光の２種類とするという態様がある。
【００１８】
また上記構成の撮像装置において、前記ストロボ制御手段は、前記強発光をストロボ発光量１００％、前記弱発光をストロボ発光量０％とするという態様がある。
【００１９】
また上記構成の撮像装置において、前記制御部は露出制御手段を備え、前記露出制御手段は露出条件に基づいてストロボ発光量を前記ストロボ制御手段に与え、前記強発光および弱発光の発光量の調節を可能とするという態様がある。シャッタスピードとの関係において、シャッタスピードが遅いと手振れの問題が生じる。そこで、弱発光時には、ストロボ発光量を増加させ、シャッタスピードを速くする。すなわち、シャッタスピードに反比例して弱発光時の発光量を増加させる。
【００２０】
また上記構成の撮像装置において、前記制御部は露出制御手段を備え、弱発光下で撮影した後に露出をロックし、その後、強発光下で撮影するという態様がある。あるいは、上記構成の撮像装置において、前記制御部は露出制御手段を備え、強発光下で撮影した後に露出をロックし、その後、弱発光下で撮影するという態様がある。輝度差や色相差を求めるときに、露出をロックすることにより、輝度差や色相差の精度を高くするためである。
【００２１】
また上記構成の撮像装置において、前記制御部はホワイトバランス制御手段を備え、弱発光下で撮影した後にホワイトバランスをロックし、その後、強発光下で撮影するという態様がある。あるいは、上記構成の撮像装置において、前記制御部はホワイトバランス制御手段を備え、強発光下で撮影した後にホワイトバランスをロックし、その後、弱発光下で撮影するという態様がある。輝度差や色相差を求めるときに、ホワイトバランスをロックすることにより、輝度差や色相差の精度を高くするためである。
【００２２】
また上記構成の撮像装置において、前記フィルタ処理部は、弱発光下での撮影で得られた画像データに対してフィルタ処理を行うという態様がある。あるいは、上記構成の撮像装置において、前記フィルタ処理部は、強発光下での撮影で得られた画像データに対してフィルタ処理を行うという態様がある。
【発明の効果】
【００２３】
本発明によれば、小型の撮像素子を用いても、主要被写体を背景などの他の被写体に比べて際立たせるために、主要被写体以外に対するぼかし処理を確かなものにすることができ、フィルムカメラに近い表現が可能となる。それでいて、絞り値を変化させて撮影を行う従来手法と比べて、光学レンズの周辺光量および周辺解像度の変化の影響を受けないため画像周辺においても画質破綻がなく、さらに、被写界深度の調節用途としての絞り機構が不要になるため、構造が簡略化できる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明にかかわる画像処理装置の実施の形態を図面を用いて詳細に説明する。
【００２５】
（実施形態例１）
図１は本発明の実施形態例１における撮像装置の構成を模式的に示すブロック図である。この撮像装置Ａは、光学レンズ系１によって結像された被写体の画像を撮像し、デジタル電気信号として出力する撮像素子１０と、撮像素子１０から出力されたデジタル電気信号を画像データとして記憶する画像記憶部２０と、画像記憶部２０に記憶された画像データを読み出し、所定のフィルタ処理を施し、改めて画像データとして画像記憶部２０に記憶させる画像処理装置３０と、ストロボ発光を行うストロボ装置２の発光制御および露出、ホワイトバランスの制御を行う制御部４０を備えている。なお、光学レンズ系１およびストロボ装置２は撮像装置Ａに内蔵する構成であってもよい。
【００２６】
ストロボ装置２は、少なくとも２段階の発光量を選択可能であり、本実施形態例では発光（発光量１００％）、無発光（発光量０％）の２種類とする。ストロボ装置２は、制御部４０が有するストロボ制御手段４１によって発光、無発光の動作が選択される。また、制御部４０は、さらに露出の制御を行う露出制御手段４２と、ホワイトバランスの制御を行うホワイトバランス制御手段４３とを有している。
【００２７】
なお、本発明においては、照度の異なる照明下で複数の画像を撮影可能であればよく、照明はストロボ装置２に限定されない。例えば、一般に携帯電話器等に搭載される簡易照明用途のＬＥＤ（発光ダイオード）ライトをストロボ装置２の代わりに用いてもよいし、スタジオ等の設備の整った場所においてはハロゲン光源等の定常光源と接続して用いてもよい。ただし、後者の場合は一般に発光量制御の応答性が緩慢であり、発光量を変化させて連続撮影を行う際にはストロボ装置２を用いる場合に比べて撮影間隔が長くなるという点を配慮する必要がある。また、同様に発光量についても発光、無発光の２種類に限定するものではない（詳細は実施形態例２に示す）。
【００２８】
画像記憶部２０は、少なくともストロボ無発光下の撮影で取得した無発光撮影画像データＰａ、ストロボ発光下の撮影で取得した発光撮影画像データＰｂおよび画像処理装置３０で処理された出力画像データＰｏを記憶するだけの領域を備えている。
【００２９】
画像処理装置３０は、画像記憶部２０上の無発光撮影画像データＰａと発光撮影画像データＰｂの相関を検出する画像相関検出部３１と、画像相関検出部３１の検出結果に基づいて適応フィルタ処理を行うフィルタ処理部３２を備えている。フィルタ処理部３２は、適応フィルタ処理によって、輝度差の小さい画像領域における画像データに対してぼかし処理を行う。これによって、主要被写体以外をぼかした画像を得ることができる。
【００３０】
以下に図２から図６を参照して、撮像装置Ａの制御方法および画像処理装置３０の処理方式を説明する。図２は撮像装置Ａの撮影開始から終了までの処理の手順を示すフローチャートである。
【００３１】
ステップＳ１において、ストロボ無発光下で撮影を行う。すなわち、露出制御手段４２、ホワイトバランス制御手段４３により露出とホワイトバランスが適正になるように調整した後、ストロボ制御手段４１によりストロボ装置２を無発光状態にし、撮像素子１０で撮像を行い、得られた画像データを無発光撮影画像データＰａとして画像記憶部２０に記憶する。なお、前述の周辺光量、周辺解像度への影響を回避するために、光学レンズ系１に可変絞り機構を備えている場合であっても、露出制御では極力絞りを変化させないことが望ましい。
【００３２】
ステップＳ２では、ステップＳ１で調整した露出とホワイトバランスをロック（維持）し、そのままステップＳ３でストロボ発光下の撮影を連続して行う。ストロボ発光下の撮影では、ストロボ制御手段４１によりストロボ装置２を発光状態にし、撮像素子１０で撮像を行い、得られた画像データを発光撮影画像データＰｂとして画像記憶部２０に記憶する。
【００３３】
ステップＳ４，Ｓ５は画像処理装置３０の処理となり、画素単位に処理が行われ、すべての画素について処理が終了した時点で全処理終了となる。ステップＳ４は画像相関検出部３１の処理であり、無発光撮影画像データＰａと発光撮影画像データＰｂの輝度および色相の差分を求める。またステップＳ５はフィルタ処理部３２の処理であり、ステップＳ４で求めた輝度と色相の差分からフィルタ適応量γを求め、フィルタ適応量γに基づき無発光撮影画像データＰａに対して適応フィルタ処理を行い、画像記憶部２０に出力画像データＰｏとして記憶する。なお、画像相関検出部３１の処理の単位は画素単位に限定されず、複数画素からなるブロック単位であってもよい。
【００３４】
ここで、フィルタ適応量γは図３に示すフィルタ適応量算出規則に基づいて算出される。まず、条件１では発光撮影画像データＰｂの輝度Ｙｂが無発光撮影画像データＰａの輝度Ｙａよりも十分に高い場合、すなわち、（Ｙｂ−Ｙａ）≧Ｔ１（Ｔ１≫０）の場合、フィルタ適応量γを小さくすることで適応フィルタの効果がなくなる、あるいは弱められるようにする。この規則は以下の原理に基づいている。
【００３５】
発光撮影画像データＰｂは、無発光撮影画像データＰａの撮影時の露出をロックした状態で撮影されているため、図４に示すように撮像装置に近い被写体ほど白飛びを起こし、反対に撮像装置から遠い背景ほどストロボ到達量が少なく適正露出に近づく。すなわち、主要被写体では輝度差（Ｙｂ−Ｙａ）は大きく、背景では輝度差（Ｙｂ−Ｙａ）は小さく０に近づく。
【００３６】
次に条件１を満たさず、条件２の（Ｙｂ−Ｙａ）≦Ｔ２（Ｔ２＜０）を満たす場合、すなわち、発光撮影画像データＰｂの方が無発光撮影画像データＰａよりも輝度が低くなる場合は、ストロボ光により発生した影であると判断し条件３に移り、そうでない場合は背景であると判断し、フィルタ適応量γを大きくし、適応フィルタの効果が強められるようにする。
【００３７】
条件３では、影発生箇所のため、輝度差により撮像装置からの距離算出を判断するのが困難であるとして、色相差に基づいてフィルタ適応量γを決定する。ここで、図５にストロボ光による影発生例を示す。主要被写体ａのように撮像装置Ａからのストロボ光照射領域Ｋ０内にあり、ストロボ光が十分に到達する位置にある物体付近には自己投影（セルフシャドウ）も含め、本影Ｋ１のように濃い影が発生する。これは、影でない部分では定常光に対してストロボ光の照射量が十分多く、影である部分はストロボ光はほとんど遮断され、定常光のみ照射されているからである。反対に、背景ｂ付近では主要被写体ａを回折によりすり抜けたストロボ光が当たるため、半影Ｋ２のように薄い影となり、半影Ｋ２ではストロボ光による反射と定常光による反射が混在している。すなわち、半影Ｋ２では発光撮影画像データＰｂと無発光撮影画像データＰａの色相差が大きく、本影Ｋ１では色相差は小さい。したがって、図３の条件３においても、｜Ｈｂ−Ｈａ｜≧Ｔ３（Ｔ３≧０）を満たすなら半影（主要被写体から遠い）としてフィルタ適応量γを大きくし、満たさない場合は本影（主要被写体に近い）としてフィルタ適応量γを小さくしている。半影では照度の異なる複数画像データ間で色相差が大きく、本影では色相差が小さい。そこで、画像相関検出部３１は、照度の異なる照明下での複数の画像データの色相差の大きい画像領域の情報をフィルタ処理部３２に与える。フィルタ処理部３２は、適応フィルタ処理によって、色相差の大きい画像領域における画像データに対してぼかし処理を行う。
【００３８】
さらに、主要被写体より手前の被写体をぼかす必要がある場合は、条件１′を設けることで対応できる。条件１′では、輝度差が非常に高い場合、すなわち（Ｙｂ−Ｙａ）≧Ｔ１′を満たす場合はフィルタ適応量γを大きくすることで、適応フィルタを強めている。
【００３９】
なお、フィルタ適応量算出規則は上記規則に限定されるものではなく、輝度差が指定範囲内の値であった場合には輝度差、色相差の両方またはいずれか一方に基づきフィルタ適応量γを決定し、輝度差が指定範囲外の値であった場合には、色相差のみに基づきフィルタ適応量γを決定することを特徴とする。よって、条件１を満たす場合や、条件２を満たさない場合においても、色相差をフィルタ適応量γの増減判断に用いてもよい。
【００４０】
ここで、図６に適応フィルタの構成例を示す。まず、入力画像に対して５×５の係数を持った行列との畳み込みが行われる。行列の係数の和は６４となっているので、畳み込み後に６４で除算している。これにより、入力画像の５×５画素による加重平均が求められる。そして、求められた加重平均値と入力画像をフィルタ適応量γによりさらに加重平均を行うことで、フィルタ適応量γに応じて出力画像は入力値とフィルタ処理結果の間を変化させることが可能である。すなわち、周波数特性を変化させることにより、ぼかし処理を実現している。
【００４１】
以上の処理により、本実施形態例では、ストロボ発光下、無発光下の２回の撮影を連続して行うことで、小さな撮像素子を用いても、主要被写体以外を十分にぼかすことができる。
【００４２】
なお、本実施形態例では無発光撮影後に露出、ホワイトバランスをロックして発光撮影を行い、無発光撮影画像データＰａに適応フィルタ処理を施したが、これとは逆の手順で、発光撮影後に露出、ホワイトバランスをロックして無発光撮影を行い、発光撮影画像データＰｂに適応フィルタ処理を施しても同様の結果が得られる。ただし、その際は、輝度差、色相差の極性が反転するため、フィルタ処理部３２の処理も極性を考慮して行う必要がある。
【００４３】
（実施形態例２）
図７は本発明の実施形態例２における撮像装置の構成を模式的に示すブロック図である。この撮像装置Ａは、ストロボ制御手段４１と露出制御手段４２とが接続されており、露出制御手段４２の演算結果に応じてストロボ制御手段４１を制御するようになっている。画像記憶部２０に記憶される画像データが弱発光撮影画像データＰａ′と強発光撮影画像データＰｂ′である点を除けば、実施形態例１の撮像装置と同じ構成である。すなわち、光学レンズ系１によって結像された被写体の画像を撮像し、デジタル電気信号として出力する撮像素子１０と、撮像素子１０から出力されたデジタル電気信号を画像データとして記憶する画像記憶部２０と、画像記憶部２０に記憶された画像データを読み出し、所定のフィルタ処理を施し、改めて画像データとして画像記憶部２０に記憶させる画像処理装置３０と、ストロボ発光を行うストロボ装置２の発光制御および露出、ホワイトバランスの制御を行う制御部４０を備えている。
【００４４】
ここで、ストロボ装置２は発光量を任意に設定可能であり、ストロボ制御手段４１は露出制御手段４２によりストロボ発光量を得て、ストロボ装置２に発光量を設定する。
【００４５】
以下に図８から図９を参照して、撮像装置Ａの制御方法および画像処理装置３０の処理方式を説明する。図８は撮像装置Ａの撮影開始から終了までの処理の手順を示すフローチャートである。
【００４６】
ステップＳ１１では、ステップＳ１２の弱発光撮影、ステップＳ１４の強発光撮影におけるストロボ発光量を決定する。発光量は露出制御手段４２、ホワイトバランス制御手段４３により、露出とホワイトバランスが適正になるように調整される際に得られるシャッタスピード等の露出パラメータにより決定される。
【００４７】
ここで、図９に無発光下での撮影に必要なシャッタスピードと弱発光撮影および強発光撮影時の露光量の関係を示す。一般にシャッタスピードが遅くなれば手振れ等の問題が発生するため、ストロボ発光量を増加させシャッタスピードを速くした方がよい。よって、シャッタスピードに反比例して弱発光時の発光量を増加させている。また、強発光時は適正露出である必要はないので、発光量は常に１００％としている。ただし、強発光時の発光量を弱発光時同様に調節してもよい。
【００４８】
ステップＳ１２では、ステップＳ１１で決定した発光量で弱発光撮影を行う。すなわち、ストロボ制御手段４１によりストロボ装置２を弱発光状態にし、撮像素子１０で撮像を行い画像記憶部２０に弱発光撮影画像データＰａ′として記憶する。
【００４９】
ステップＳ１３では、ステップＳ１１における露出とホワイトバランスを維持し、そのままステップＳ１４でストロボ強発光下の撮影を連続して行う。ストロボ強発光下の撮影では、ストロボ制御手段４１によりストロボ装置２を強発光状態にし、撮像素子１０で撮像を行い、画像記憶部２０に強発光撮影画像データＰｂ′として記憶する。
【００５０】
ステップＳ１５，Ｓ１６の処理は、弱発光撮影画像データＰａ′に対して適応フィルタ処理を行う点を除いては、実施形態例１における図２のステップＳ４，Ｓ５と同等であり、画素単位に処理が行われ、すべての画素について処理が終了した時点で全処理終了となる。
【００５１】
以上の処理により、本実施形態例ではストロボ無発光では適正露出を得られない、あるいは手振れが発生する環境においても、ストロボ弱発光下、強発光下の２回の撮影を連続して行うことで、小さな撮像素子を用いても、主要被写体以外を十分にぼかすことができる。
【００５２】
なお、本実施形態例では弱発光撮影後に露出、ホワイトバランスをロックして強発光撮影を行い、強発光撮影画像データＰｂ′に適応フィルタ処理を施したが、これとは逆の手順で、強発光撮影後に露出、ホワイトバランスをロックして弱発光画像を行い、弱発光撮影画像データＰａ′に適応フィルタ処理を施しても同様の結果が得られる。
【産業上の利用可能性】
【００５３】
本発明は、サイズの小さな固体撮像素子を用いても十分なぼけ表現が可能なため、電子カメラの小型化、高画質化の両立において有用である。
【図面の簡単な説明】
【００５４】
【図１】本発明の実施形態例１における撮像装置の構成を示すブロック図
【図２】本発明の実施形態例１における撮像装置の処理の手順を示すフローチャート
【図３】本発明の実施形態例１におけるフィルタ適応量算の処理の手順を示すフローチャート
【図４】本発明の実施形態例１における輝度差と撮像装置からの距離の関係を示すグラフ
【図５】本発明の実施形態例１におけるストロボ光による影の模式図
【図６】本発明の実施形態例１における適応フィルタのブロック図
【図７】本発明の実施形態例２における撮像装置の構成を示すブロック図
【図８】本発明の実施形態例２における撮像装置の処理の手順を示すフローチャート
【図９】本発明の実施形態例２におけるストロボ発光量を示すグラフ
【符号の説明】
【００５５】
１  光学レンズ系
２  ストロボ装置
１０  撮像素子
２０  画像記憶部
３０  画像処理装置
３１  画像相関検出部
３２  フィルタ処理部
４０  制御部
４１  ストロボ制御手段
４２  露出制御手段
４３  ホワイトバランス制御手段
Ａ  撮像装置
ａ  主要被写体
ｂ  背景
Ｋ０  ストロボ光照射範囲
Ｋ１  本影
Ｋ２  半影
Ｐａ  無発光撮影画像データ
Ｐｂ  発光撮影画像データ
Ｐａ′  弱発光撮影画像データ
Ｐｂ′  強発光撮影画像データ
Ｐｏ  出力画像データ
【図１】
2009055174.tif 000003
【図２】
2009055174.tif 000004
【図３】
2009055174.tif 000005
【図４】
2009055174.tif 000006
【図５】
2009055174.tif 000007
【図６】
2009055174.tif 000008
【図７】
2009055174.tif 000009
【図８】
2009055174.tif 000010
【図９】
2009055174.tif 000011