(57)【要約】      （修正有）【課題】欠陥画素の検出精度を高めて、画像品位を向上させる。【解決手段】前ピン位置で露光を行い、各画素の読み出しと並行してキズ検出とキズ補正とを行、読み出した画素のうち欠陥画素についてだけ、信号レベルを補正する。そしてキズ画素の位置情報を保存すると共に、欠陥画素の出力信号が補正されたボケ画像を保存する。次に合焦位置で露光を行い、保存された画素の位置情報を読み出して、それに基づき各画素の読み出しと並行してキズ補正を行って、欠陥画素の出力信号が補正された合焦画像を保存する。そして、２枚の画像（ボケ画像及び合焦画像）を用いて、合成処理により背景ぼかし画像を生成する。【選択図】図４
2015156614.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子の出力信号からボケ画像を生成する第１の生成手段と、
前記第１の生成手段により生成されたボケ画像から欠陥画素を検出する検出手段と、
前記欠陥画素の出力信号を前記検出手段の検出結果に基づき補正する補正手段と、
前記補正手段により補正された前記欠陥画素の出力信号を含む前記撮像素子の出力信号から被写体画像を生成する第２の生成手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記補正手段により補正された前記欠陥画素の出力信号を含む前記撮像素子の出力信号から前記第１の生成手段により生成されたボケ画像と、前記第２の生成手段により生成された被写体画像とを、合成する合成手段を有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第２の生成手段は、主被写体に合焦した状態で前記被写体画像を生成することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記第１の生成手段は、主被写体よりも近距離側に合焦した状態で前記ボケ画像を生成することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
前記第２の生成手段は前記被写体画像を第１のフレームレートで生成すると共に、前記第１の生成手段は、前記第１のフレームレートよりも低い第２のフレームレートで前記ボケ画像を生成することを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
【請求項６】
主被写体に対する合焦位置からのフォーカスレンズの距離に応じて前記第２のフレームレートが決定されることを特徴とする請求項５に記載の撮像装置。
【請求項７】
当該撮像装置の動きを検知する検知手段を有し、前記検知手段により検知された動きに応じて前記第２のフレームレートが決定されることを特徴とする請求項５に記載の撮像装置。
【請求項８】
前記検出手段は、露出条件を含む撮影条件が所定の条件を満たす場合にだけ、前記欠陥画素の検出を実行することを特徴とする請求項１に記載の撮像装置。
【請求項９】
撮像装置の制御方法であって、
撮像素子の出力信号からボケ画像を生成する第１の生成ステップと、
前記第１の生成ステップにより生成されたボケ画像から欠陥画素を検出する検出ステップと、
前記欠陥画素の出力信号を前記検出ステップの検出結果に基づき補正する補正ステップと、
前記補正ステップにより補正された前記欠陥画素の出力信号を含む前記撮像素子の出力信号から被写体画像を生成する第２の生成ステップと、
を有することを特徴とする撮像装置の制御方法。
【請求項１０】
請求項９に記載の撮像装置の制御方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、欠陥画素の検出を行える撮像装置等に関する。
【背景技術】
【０００２】
一般に、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置に搭載されて被写体を撮像するための撮像素子では、多数の画素のうちの一部に欠陥（キズ）が生じることがある。このような欠陥は、暗電流の発生やフォトダイオードの異常などの様々な原因により発生する。
【０００３】
欠陥が生じた画素は異常なレベルの信号を出力する。例えば、欠陥画素の出力レベルが本来の出力レベルより高い場合は白キズと呼ばれ、低い場合は黒キズと呼ばれる。このような欠陥画素を有する撮像素子の出力信号を基に撮影画像を画面表示すると、欠陥画素の情報は本来、被写体に存在しない誤った情報であるため、不自然な画像が表示され、画像品位の観点で好ましくない。従って、欠陥画素の位置を検出してその出力信号を補正する技術が必要とされる。
【０００４】
従来、製造過程において発生した欠陥画素を検出し、その画素の出力を補正する技術として、次のようなものがあった。まず、撮像素子の受光面を遮光した状態で得られた出力信号から、出力レベルが突出した画素を検出し、その画素の位置を撮像装置内のＲＯＭに記憶しておく。そして、実際に撮影するときにＲＯＭから欠陥画素の位置の情報を読み出し、欠陥画素の情報を、それの周囲の画素の情報を用いて補間する。このような技術により、白キズの生じた画素の出力については補正することができる。
【０００５】
また、黒キズが生じた画素を検出してその出力を補正するためには、撮像素子に一様な明るい被写体を撮像させ、周囲の画素より突出して暗い画素を欠陥画素とみなす。そしてその欠陥画素の位置をＲＯＭに記憶しておき、実際の撮影時にその位置の情報を読み出して同様に補間すればよい。
【０００６】
しかし、製品出荷段階で欠陥画素を検出する従来の方法によると、製品出荷後に撮像素子の使用環境に応じて発生する欠陥画素を検出することができない。撮像素子の欠陥は一般に、温度や光の蓄積時間などの影響により増加する。そのため、上記の検出方法によれば製品出荷時までに欠陥として検出されなかった画素にも、使用環境の変化により事後的に欠陥が生じ、その影響が出力画面に現れてしまうことがある。このように製品出荷後に生じる欠陥を、「後発欠陥」と呼称することにする。
【０００７】
このような後発欠陥の発生に対処するために、近年では、注目画素とそれに隣接する周辺画素の各出力信号とを比較することにより、欠陥が生じているか否かを例えば撮像時などに判断し、欠陥画素の出力をリアルタイムに補正することが考えられている。例えば、特許文献１では、注目画素（重心画素）とその周囲の複数の画素との信号出力レベルを比較し、注目画素のレベルが極端に高い場合にその注目画素を欠陥画素と判定する。そしてその注目画素の信号出力レベルを補正する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００２−３２０１４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、従来の技術では、注目画素と周辺画素との出力同士の比較により欠陥画素を検出しているため、細かな模様のように、注目画素と隣接画素との輝度信号の差分が大きい被写体の撮影では、キズと被写体とを明確に区別することは困難である。すなわち、被写体としての起点なのかキズなのかの判断が難しく、欠陥画素の検出精度が低くなる場合があるという問題があった。欠陥画素の検出精度が低いと、画像品位にも影響が生じる。
【００１０】
本発明は上記従来技術の問題を解決するためになされたものであり、その目的は、欠陥画素の検出精度を高めて、画像品位を向上させることにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するために本発明は、撮像素子の出力信号からボケ画像を生成する第１の生成手段と、前記第１の生成手段により生成されたボケ画像から欠陥画素を検出する検出手段と、前記欠陥画素の出力信号を前記検出手段の検出結果に基づき補正する補正手段と、前記補正手段により補正された前記欠陥画素の出力信号を含む前記撮像素子の出力信号から被写体画像を生成する第２の生成手段と、を有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、欠陥画素の検出精度を高めて、画像品位を向上させることができる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施の形態に係る撮像装置の概略構成を示すブロック図である。
【図２】キズ処理回路、キズ検出回路、キズ補正回路を示すブロック図である。
【図３】合焦画像とボケ画像におけるキズの発生、及び、キズ発生画素を通る水平ラインの信号値を、それぞれ模式的に示した図である。
【図４】背景ぼかし処理動作のフローチャートである。
【図５】背景ぼかし処理動作のタイミングチャートである。
【図６】背景ぼかし処理動作のフローチャートである。
【図７】背景ぼかし処理動作のタイミングチャートである。
【図８】変形例の背景ぼかし処理動作のタイミングチャートである。
【図９】フォーカスレンズの移動距離と背景のぼけ量との関係を説明するための模式図である。
【図１０】撮像装置の動きによる背景の変化を模式的に示した図である。
【図１１】キズ検出動作を行なうか否かの判定基準及び判定結果の一例を示す図である。
【図１２】背景ぼかし動画撮影のフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態を図面を参照して説明する。
【００１５】
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る撮像装置の概略構成を示すブロック図である。この撮像装置は、例えば、デジタルスチルカメラやデジタルビデオカメラとして構成される。
【００１６】
図１において、被写体像を撮像素子１０５上に結像させるためのレンズ部１０１が設けられる。図１ではレンズ部１０１は１つのレンズとして表されているが、実際にはフォーカスレンズ１０１ａ（図９参照）やズームレンズ等、複数のレンズから構成されている。レンズ駆動部１０２は、全体制御回路１１２による制御に基づいて、レンズ部１０１のフォーカス、ズーム及び絞りを制御する。メカニカルシャッタ１０３は、開閉動作することで、撮像素子１０５への入射光を露光／遮光する。シャッタ駆動部１０４は、本実施の形態では、撮影時にメカニカルシャッタ１０３を駆動して、被写体の像光を一定期間、撮像素子１０５に露光させる。
【００１７】
撮像素子１０５は、光信号を電気信号に変換する固体撮像素子である。温度検知部１０６は、例えばサーミスタ等で構成され、撮像素子１０５の周囲の温度を検知する。タイミング発生部１０７は、全体制御回路１１２による制御に基づいて、撮像素子１０５を駆動するためのタイミング信号を生成する。全体制御回路１１２の制御に基づいて、撮像素子１０５の撮影時の露光時間などを変更することができる。
【００１８】
画像処理回路１０８は、キズ処理回路１０９、背景ぼかし画像生成回路１１０及び露出条件算出回路１２０を備える。撮像素子１０５から出力された画像信号は、画像処理回路１０８に取り込まれる。キズ処理回路１０９は、撮像素子１０５から出力された画像信号から、キズ検出及びキズ補正を行う機能を備えている。背景ぼかし画像生成回路１１０は、メモリ部１１１上に保存された合焦画像およびボケ画像を用いて背景ぼかし画像を生成する機能を備えている。
【００１９】
全体制御回路１１２は、画像処理回路１０８と協働して、ボケ画像を生成する第１の生成手段、欠陥画素の出力信号を補正する補正手段、及び、被写体画像（合焦画像）を生成する第２の生成手段としての機能を果たす。
【００２０】
露出条件算出回路１２０は、入力された画像から適正露出を算出し、その結果を全体制御回路１１２に伝達する。算出された露出条件（ＩＳＯ感度及び露出値等）は、全体制御回路１１２に伝達された後、メモリ部１１１に記録される。この際、すでにメモリ部１１１に露出条件が記録されている場合には、露出条件が更新されて記録される。
【００２１】
画像処理回路１０８は、画像信号のゲイン変更を行なう。また画像処理回路１０８は、画像信号をデジタル変換するとともにガンマ処理、ホワイトバランス処理などの各種信号処理を行う。この際、画像処理回路１０８は、画像信号をメモリ部１１１との間で書き込み／読み出し処理している。また、画像処理回路１０８の出力はＬＣＤ等の表示部１１３にて表示することも可能となっている。
【００２２】
画像処理回路１０８で画像処理が施された画像データは、画像変換回路１１４を介して圧縮され、記録媒体の一例であるメモリカード１１５に書き込まれ、記録される。画像変換回路１１４は、画像処理回路１０８からの画像データを圧縮してメモリカード１１５へ出力する機能と、メモリカード１１５から読み出した画像データを伸長して画像処理回路１０８へ出力する機能とを有する。
【００２３】
全体制御回路１１２はキズ検出要否判定回路１１６を備える。なお、キズ検出要否判定回路１１６は本実施の形態では使用されず、後述する第５の実施の形態で使用される。全体制御回路１１２は、画像処理回路１０８にて処理された信号を用いて、ＴＴＬ（スルー・ザ・レンズ）方式のオートフォーカス（ＡＦ）処理、自動露出（ＡＥ）処理、フラッシュプリ発光（ＥＦ）処理等を行う。なお画像撮影時の露出条件については、全体制御回路１１２は、露出条件算出回路１２０の算出結果などから、任意の条件をレンズ駆動部１０２やタイミング発生部１０７に制御指示することができる。
【００２４】
操作部１１７は、例えば、レリーズボタンやモード切り換えダイヤルなど、撮影者が撮像装置に指示を入力するための操作部であり、その入力内容は全体制御回路１１２に通知される。モーションセンサ１１８は、加速度や角速度を検出する機能を有し、本撮像装置の傾きや移動を検知し、その検知信号を全体制御回路１１２に通知する。外部Ｉ/Ｆ（インターフェース）部１１９は、外部ＰＣ等と通信を行うためのインターフェースである。
【００２５】
本実施の形態では、撮影された画像からキズ検出およびキズ補正を行う。図２（ａ）〜（ｃ）を参照して、キズを検出する検出手段として機能するキズ処理回路１０９によるキズ検出とキズ補正の動作について説明する。
【００２６】
図２（ａ）、（ｂ）、（ｃ）は、それぞれ、キズ処理回路１０９、キズ検出回路、キズ補正回路を示すブロック図である。まず、図２（ａ）に示すように、キズ処理回路１０９は、Ａ／Ｄ変換器２１０、閾値制御回路２２０、キズ検出回路２３０及びキズ補正回路２４０を備える。以降、撮像素子１０５における画素の欠陥を「キズ」とも呼称する。キズ検出動作では欠陥画素（キズ画素）が検出される。検出対象の画素を注目画素と呼称する。
【００２７】
Ａ／Ｄ変換器２１０は、撮像素子１０５から読み出された各画素の値をデジタル値に変換する。Ａ／Ｄ変換器２１０の出力である輝度信号２１に基づき注目画素がキズか否かを検出するための閾値を、閾値制御回路２２０は制御する。キズ検出回路２３０は、Ａ／Ｄ変換器２１０の出力の輝度信号２１と閾値とに基づいて、Ａ／Ｄ変換器２１０の出力が画素欠陥を示すか否かを検出する。キズ補正回路２４０は、キズ検出回路２３０の出力を用いて、Ａ／Ｄ変換器２１０の出力の輝度信号２１を補正する。
【００２８】
以下に、撮像素子１０５のキズ検出方法及びキズ補正方法について述べる。キズが発生した画素の信号レベルは、その画素に隣接する周辺画素の信号レベルに対して、通常、その１画素だけが突出している。このため、信号レベルについて注目画素とその周辺の画素とを比較し、注目画素が一定レベル以上、周辺画素に対して異なっている場合に、注目画素をキズと判別することができる。
【００２９】
図２（ｂ）に示すように、Ａ／Ｄ変換器２１０の出力である輝度信号２１は、キズ検出回路２３０に入力され、フリップフロップ２３１とフリップフロップ２３２とを通る。そして、注目画素Ｙｎを基準として、注目画素Ｙｎと注目画素Ｙｎの１画素前の画素Ｙｎ−１との差分（第１の差分）が加算器２３３で生成され、この第１の差分と所定の閾値Ａとを比較器２３５が比較する。
【００３０】
一方、注目画素Ｙｎと注目画素Ｙｎの１画素後ろの画素Ｙｎ＋１との差分（第２の差分）が加算器２３４で生成され、この第２の差分と所定の閾値Ｂとを比較器２３６が比較する。そして比較器２３５、２３６による比較の結果、閾値Ａ＜第１の差分、且つ、閾値Ｂ＜第２の差分が成立する場合に、注目画素Ｙｎをキズと判定したことを示す信号を、論理積部２３７がキズ検出回路２３０の出力としてキズ補正回路２４０に供給する。
【００３１】
図２（ｃ）に示すように、キズ補正回路２４０は、フリップフロップ２４１、フリップフロップ２４２、加算器２４３及びセレクタ部２４４を備える。
【００３２】
セレクタ部２４４は、キズ検出回路２３０から供給される信号によって、端子への接続状態を切り替える。すなわち、セレクタ部２４４は、キズ検出回路２３０から、注目画素Ｙｎをキズであると検出した信号が入力されると、図２（ｃ）の下側の端子に接続し、そうでない場合は、上側の端子に接続する。
【００３３】
キズ補正回路２４０は、キズと検出した注目画素Ｙｎの輝度信号２１を周辺画素の平均値で置換することで補間する。具体的には、セレクタ部２４４が下側の端子に接続することで、注目画素Ｙｎの信号レベルを、注目画素Ｙｎ−１と注目画素Ｙｎ＋１の信号レベルの平均値に置き換える。
【００３４】
なお、補間処理についてはこれに限るものではなく、任意の周辺画素の出力レベルを用いた他の公知の補間処理を採用してもよい。
【００３５】
本実施の形態では、ボケ画像を使用してキズ検出をすることによりキズ検出精度を向上させる。以下に、ボケ画像によるキズ検出精度向上のメカニズムを説明する。ここで、合焦画像は、主被写体に合焦した状態で得られる被写体画像である。ボケ画像は、一例として、主被写体に合焦しない状態で得られる画像であり、ボケ画像、あるいはぼかし画像とも称される。本実施の形態では、ボケ画像は、主被写体よりも近距離側に合焦した状態で得られるとする。
【００３６】
図３（ａ）、（ｂ）は、それぞれ、合焦画像とボケ画像におけるキズの発生を模式的に表した図である。図３（ｃ）、（ｄ）は、それぞれ図３（ａ）、（ｂ）に対応し、キズ発生画素を通る水平ラインの信号値を模式的に示した図である。
【００３７】
細かな模様などの、隣接画素との輝度信号の差分が大きい被写体を撮影した場合、キズと被写体とを正確に区別することが困難である。例えば、図３（ａ）に示すように、輝度の低い一様な被写体に輝点が無数にある場合を想定する。このような被写体の場合、被写体としての輝点とキズとの区別が困難になる。仮に、図３（ｃ）のようにキズ判定の閾値を設定してキズ検出を行った場合、輝点もキズとして誤検出されてしまう。
【００３８】
一方、図３（ｂ）に示すようなボケ画像の場合、被写体としての輝点がぼけていることで、輝点の一画素あたりの信号レベルが低下し、キズと区別されやすくなる。仮に図３（ｄ）のようにキズ判定の閾値を設定してキズ検出を行った場合でも、欠陥画素の信号レベルだけは低下しないので、キズのみを検出することが可能となる。
【００３９】
このように、ボケ画像を使用することでキズ検出精度が向上する。なお、ボケ画像を得る手法は合焦位置を変えることに限定されず、他のぼかし処理を採用してもよい。ぼかし処理は色々な手法があるが、例えば、ぼかしの対象となる画素の輝度及びその近傍の画素の輝度に夫々重み付けて足し合わせることにより得た新たな画素を対象画素の輝度とする方法などがある。あるいは、被写体に合焦した画像データの背景領域にのみ特殊フィルタ処理を施して、ボケ画像を取得するようにしてもよい。
【００４０】
本実施の形態では、被写体に焦点が合った状態で撮影した合焦画像と、被写体から焦点を外したデフォーカス状態で被写体を撮影したボケ画像とを合成して、背景ぼかし画像を生成する。この背景ぼかし画像を生成する背景ぼかし処理において、ボケ画像に基づくキズ検出及びキズ補正が実行される。背景ぼかし処理の動作を、図４、図５を用いて説明する。
【００４１】
図４は、背景ぼかし処理動作のフローチャートである。
【００４２】
まず、ステップＳ４０１において、全体制御回路１１２は、操作部１１７の不図示のレリーズボタンが半押しとなったか否かを判別する。そしてレリーズボタンが半押しされると、ステップＳ４０２において、全体制御回路１１２は露出設定を実行する。すなわち、全体制御回路１１２は、撮像素子１０５から得られた画像データに基づいて撮影シーンの明るさを求め、本撮影時における露出条件を決定する。その際、露出条件算出回路１２０によって、ゲイン、絞り値、シャッタスピードが算出・決定される。全体制御回路１１２は、得られた露出条件の設定情報をメモリ部１１１に格納する。
【００４３】
ステップＳ４０３において、全体制御回路１１２は、レンズ部１０１のフォーカスレンズ１０１ａ（図９参照）を至近から無限遠に移動させ、所定のフォーカスエリアにおいて小刻みに焦点評価値を取得し、そのピーク位置である合焦位置Ｆ１を検出する。なお、顔検出処理を行っている場合、フォーカスエリアは、検出した顔位置に自動設定することが好ましい。全体制御回路１１２は、検出した合焦位置Ｆ１の情報をメモリ部１１１に格納する。
【００４４】
ステップＳ４０４において、全体制御回路１１２は、得られた合焦位置Ｆ１の情報を基に、主被写体に対して前ピン（近距離側）となる位置を算出し、それを前ピン位置Ｆ２として設定する。ここで、前ピン位置Ｆ２は、例えば、合焦位置Ｆ１に対して、予め設定された距離だけ手前の位置に設定される。この距離は、固定値として製品出荷時に定めておいてもよいし、また、ユーザが任意に設定できるようにしてもよい。全体制御回路１１２は、得られた前ピン位置Ｆ２の情報をメモリ部１１１に格納する。 
【００４５】
全体制御回路１１２は、以上の撮影準備が完了すると、ステップＳ４０５において、操作部１１７からの入力に基づいてレリーズボタンが全押しされたか否かを判別する。その判別の結果、レリーズボタンが全押しされていない場合は、ステップＳ４０１において、再度、レリーズボタンの半押しの有無を判別する。一方、レリーズボタンが全押しされた場合は、ステップＳ４０６において、全体制御回路１１２は、フォーカスレンズ１０１ａを前ピン位置Ｆ２に移動させる。
【００４６】
フォーカスレンズ１０１ａが前ピン位置Ｆ２に移動すると、ステップＳ４０７において、全体制御回路１１２は、撮像素子１０５の露光を開始する。この後、全体制御回路１１２は、設定された露光時間（シャッタスピード）となると、ステップＳ４０８で露光を終了する。
【００４７】
露光が終了すると、ステップＳ４０９において、全体制御回路１１２は、画像処理回路１０８を制御して、各画素の読み出しと並行してキズ検出とキズ補正とを行う。すなわち、画像処理回路１０８は、読み出した画素のうち欠陥画素についてだけ、信号レベルの補正を行い、その他の画素については補正を行わない。従って、キズ検出においては、撮像素子１０５の補正されていない出力信号から生成したボケ画像から欠陥画素が検出される。キズ検出及びキズ補正の方法については前述しているためここでは省略する。
【００４８】
ステップＳ４１０において、全体制御回路１１２は、ステップＳ４０９のキズ検出によりキズと判定された画素の位置情報をメモリ部１１１へ保存する。キズ補正後、全画素の読み出しが完了すると、全体制御回路１１２は、ステップＳ４１１において、得られた画像をメモリ部１１１に記録・保存する。これにより、欠陥画素について出力信号の補正が反映されたボケ画像が生成、保存される。
【００４９】
次に、ステップＳ４１２において、全体制御回路１１２は、フォーカスレンズ１０１ａを合焦位置Ｆ１に移動させる。ステップＳ４１３において、全体制御回路１１２は、撮像素子１０５の露光を開始する。この後、全体制御回路１１２は、設定された露光時間（シャッタスピード）となると、ステップＳ４１４で露光を終了する。
【００５０】
露光が終了すると、ステップＳ４１５において、全体制御回路１１２は、画像処理回路１０８を制御して、各画素の読み出しと並行してキズ補正を行う。ここで画像処理回路１０８のキズ処理回路１０９はキズ検出を行わず、キズと判定された画素の位置情報をメモリ部１１１から読み出し、それに基づいてキズ補正を行う。すなわち、キズ処理回路１０９は、読み出した位置情報に基づき、読み出した画素のうち欠陥画素についてだけ信号レベルの補正を行い、その他の画素については補正を行わない。キズ補正の方法については前述しているためここでは省略する。
【００５１】
キズ補正後、全画素の読み出しが完了すると、ステップＳ４１６において、全体制御回路１１２は、得られた画像をメモリ部１１１に記録・保存する。これにより、欠陥画素について出力信号の補正が反映された合焦画像が生成、保存される。
【００５２】
ステップＳ４１７において、メモリ部１１１に記録されている２枚の画像（ボケ画像及び合焦画像）を用いて、全体制御回路１１２は、背景ぼかし画像生成回路１１０に合成処理を行わせ、背景ぼかし画像を生成する。
【００５３】
なお、ボケ画像と合焦画像を利用した背景ぼかし画像生成処理の手法は公知の手法でなされ、その手法は一般的であるため詳細説明を省略する。例えば、合焦画像の被写体領域を切り出し、それをボケ画像と合成して背景ぼかし画像を得る。
【００５４】
ステップＳ４１８において、全体制御回路１１２は、生成された背景ぼかし画像に画像処理回路１０８による各種画像処理を施し、それを出力画像としてメモリカード１１５に保存して、図４の処理を終了させる。
【００５５】
図４の処理を図５で時系列に説明する。図５は、背景ぼかし処理動作のタイミングチャートである。
【００５６】
図４のステップＳ４０５で、シャッタボタンの全押しがなされた時刻Ｔ１において、前ピン状態で露光が開始され、時刻Ｔ２において露光が終了する（ステップＳ４０６〜Ｓ４０８の処理）。時刻Ｔ２で露光が終了し、さらに撮像素子１０５からの画像信号が出力されると同時に欠陥画素（キズ画素）の検出、補正が行なわれる。さらに、キズ画素の位置情報の記憶、ボケ画像の保存がなされて、それらが時刻Ｔ３で終了する（ステップＳ４０９〜Ｓ４１１の処理）。
【００５７】
時刻Ｔ３で、合焦状態で露光が開始され（ステップＳ４１２〜Ｓ４１３の処理)、時刻Ｔ４において露光が終了する（ステップＳ４１４の処理）。時刻Ｔ４で露光が終了し、さらに撮像素子１０５からの画像信号が出力されると同時に、欠陥画素の補正が行なわれ、さらに、合焦画像の保存がなされて、それらが時刻Ｔ５で終了する（ステップＳ４１５〜Ｓ４１６の処理）。時刻Ｔ５から時刻Ｔ６の期間で、保存された２枚の画像を用いて合成処理が行われ、それにより生成された背景ぼかし画像が保存される。（ステップＳ４１７〜Ｓ４１８の処理）。
【００５８】
本実施の形態によれば、撮像素子１０５の出力信号から合焦した被写体画像を生成するに当たって、ボケ画像から欠陥画素が検出され、その検出結果に基づき欠陥画素の出力信号が補正される。これにより、欠陥画素の検出精度を高めて、画像品位を向上させることができる。
【００５９】
補正された欠陥画素の出力信号を用いて生成されたボケ画像と、補正された欠陥画素の出力信号を用いて生成された合焦画像とを合成することで、背景ぼかし画像が生成される。これにより、背景をぼかした画像の品位を高めることができる。なお、ぼかしを施す領域は、必ずしも背景に限定されるものでなく、撮影領域の一部であればよい。
【００６０】
なお、本実施の形態では、背景ぼかし画像を生成する処理においてボケ画像から欠陥画素を検出する構成としたが、必ずしも背景ぼかし画像の生成を伴わなくてもよい。すなわち、欠陥画素を検出するためだけにボケ画像を生成し、補正された欠陥画素の出力信号を用いて合焦画像等の被写体画像を得てもよい。
【００６１】
（第２の実施の形態）
第１の実施の形態では、一枚の背景ぼかし画像を生成する場合の動作について説明したが、第２の実施の形態では、静止画の連写や動画撮影など、背景ぼかし画像を連続して生成する場合の動作（以後、背景ぼかし動画と称する）について説明する。
【００６２】
一般的に、被写体と背景を撮影した場合、被写体の動き量に比べて、背景の動き量は少ない。そのため、背景画像として使用するボケ画像のフレームレートを低下させても、背景ぼかし動画においては違和感が発生しにくい。
【００６３】
本実施の形態では、ボケ画像を合焦画像よりも低いフレームレートで撮影することで、動画撮影時におけるボケ画像の取得動作とキズ検出の動作の頻度を減らし、消費電力を抑える。従って、第１の実施の形態に対して、図４、図５に代えて図６、図７を用いて第２の実施の形態を説明する。
【００６４】
図６は、背景ぼかし処理動作のフローチャートである。
【００６５】
まず、動画撮影が開始されると、全体制御回路１１２は、ステップＳ６０１において、撮影開始から何フレーム目かを表すためのカウント値ｎを０に初期化する。全体制御回路１１２は、ステップＳ６０２、Ｓ６０３では、図４のステップＳ４０２、Ｓ４０３と同様の処理を実行する。
【００６６】
次に、ステップＳ６０４において、全体制御回路１１２は、カウント値ｎが所定値である３の倍数であるか否かを判別する。その判別の結果、カウント値ｎが３の倍数である場合（ｎ＝０の場合も該当する）、全体制御回路１１２は、処理をステップＳ６０５に進める。
【００６７】
ステップＳ６０５〜Ｓ６１０では、全体制御回路１１２は、図４のステップＳ４０６〜Ｓ４１１と同様の処理を実行する。すなわち、合焦位置Ｆ１よりも手前の前ピン位置Ｆ２で露光を行い、画像処理回路１０８を制御して、各画素の読み出しと並行してキズ検出とキズ補正とを行う。ただし、ステップＳ６０９で、キズと判定された画素の位置情報をメモリ部１１１へ保存する際、前回にステップＳ６０９を実行したときに保存された値が今回の値に更新される。全体制御回路１１２は、ステップＳ６１０の処理後は処理をステップＳ６１６に進める。
【００６８】
一方、ステップＳ６０４の判別の結果、カウント値ｎが３の倍数でない場合、全体制御回路１１２は、処理をステップＳ６１１に進める。ステップＳ６１１〜Ｓ６１５では、全体制御回路１１２は、図４のステップＳ４１２〜Ｓ４１６と同様の処理を実行する。すなわち、合焦位置Ｆ１で露光を行い、画像処理回路１０８を制御して、各画素の読み出しと並行してキズ補正を行う。キズ検出は行わない。ただし、ステップＳ６１４では、画像処理回路１０８のキズ処理回路１０９は、ステップＳ６０９で保存された、キズと判定された画素の位置情報を、メモリ部１１１から読み出し、それに基づいてキズ補正を行う。全体制御回路１１２は、ステップＳ６１５の処理後は処理をステップＳ６１６に進める。
【００６９】
ステップＳ６１６において、全体制御回路１１２は、カウント値ｎが１以上であるか否かを判別する。その判別の結果、カウント値ｎが０である場合、全体制御回路１１２は、ステップＳ６１７でカウント値ｎを１つ加算し（ｎ＝ｎ＋１）、処理をステップＳ６０２に戻す。
【００７０】
一方ステップＳ６１６においてカウント値ｎが１以上である場合、全体制御回路１１２は、ステップＳ６１８、Ｓ６１９で、ステップＳ４１７、Ｓ４１８と同様の処理を実行して、背景ぼかし画像を得る。次に、ステップＳ６２０では、全体制御回路１１２は、操作部１１７による撮影終了の指示があるか否かを判別する。
【００７１】
その判別の結果、撮影終了の指示がない場合には、全体制御回路１１２は、処理をステップＳ６０２に戻す一方、撮影終了の指示があると、図６の処理を終了させる。
【００７２】
従って、３回に１回の割合で、欠陥画素の検出と欠陥補正を反映させたボケ画像の生成がなされ、３回に２回の割合で、欠陥補正を反映させた合焦画像の生成がなされる。フレームレートは合焦画像よりもボケ画像の方が低い。
【００７３】
図６の処理を図７で時系列に説明する。図７は、背景ぼかし処理動作のタイミングチャートである。
【００７４】
時刻Ｔ１において撮影が開始されると、まず、１フレーム目（カウント値ｎ＝０）の撮影が行われる。フォーカスレンズ１０１ａの合焦位置算出、露出設定の後、フォーカスレンズ１０１ａを前ピン位置Ｆ２へ移動させて露光、画素信号の出力、キズ検出、キズ補正が行われ、時刻Ｔ２でボケ画像が取得される（ステップＳ６０２〜Ｓ６１０の処理）。
【００７５】
時刻Ｔ２の時点では、取得されているのはボケ画像のみであり、ｎ＝０であるため、撮影は継続される（ステップＳ６１６→Ｓ６１７→Ｓ６０２）。時刻Ｔ２では、２フレーム目（カウント値ｎ＝１）の撮影に移行する。そしてフォーカスレンズ１０１ａの合焦位置算出、露出設定の後、フォーカスレンズ１０１ａを合焦位置Ｆ１へ移動させて露光、画素信号の出力、キズ補正が行われ、時刻Ｔ３で合焦画像が取得される。これはステップＳ６０２〜Ｓ６０４、ステップＳ６１１〜Ｓ６１５の処理に対応する。
【００７６】
時刻Ｔ３では、時刻Ｔ２で取得されたボケ画像と時刻Ｔ３で取得された合焦画像とが合成されて背景ぼかし画像が生成される（ステップＳ６１８〜Ｓ６１９の処理）。ここで生成された背景ぼかし画像は時刻Ｔ３から時刻Ｔ４の期間、表示部１１３に表示される。
【００７７】
時刻Ｔ３では、撮影終了の指示がないと（ステップＳ６２０の処理）、３フレーム目（カウントｎ＝２）の撮影に移行する。そしてフォーカスレンズ１０１ａの合焦位置算出、露出設定の後、フォーカスレンズ１０１ａを合焦位置Ｆ１へ移動させて露光、画素信号の出力、キズ補正が行われ、時刻Ｔ４で合焦画像が取得される。これはステップＳ６０２〜Ｓ６０４、ステップＳ６１１〜Ｓ６１５の処理に対応する。
【００７８】
時刻Ｔ４では、時刻Ｔ２で取得されたボケ画像と時刻Ｔ４で取得された合焦画像とが合成されて背景ぼかし画像が生成される（ステップＳ６１８〜Ｓ６１９の処理）。ここで生成された背景ぼかし画像は時刻Ｔ４から時刻Ｔ５の期間、表示部１１３に表示される。
【００７９】
時刻Ｔ４で、撮影終了の指示がないと（ステップＳ６２０の処理）、４フレーム目（カウント値ｎ＝３）の撮影に移行する。ここでカウント値ｎが３の倍数となるので、ボケ画像の取得が行われる。フォーカスレンズ１０１ａの合焦位置算出、露出設定の後、フォーカスレンズ１０１ａを前ピン位置Ｆ２へ移動させて露光、画素信号の出力、キズ検出、キズ補正が行われ、時刻Ｔ５でボケ画像が取得される（ステップＳ６０２〜Ｓ６１０の処理）。
【００８０】
時刻Ｔ５では、時刻Ｔ４で取得された合焦画像と時刻Ｔ５で取得されたボケ画像とが合成されて背景ぼかし画像が生成される（ステップＳ６１８〜Ｓ６１９の処理）。ここで生成された背景ぼかし画像は時刻Ｔ５から時刻Ｔ６の期間、表示部１１３に表示される。以降、撮影終了まで上記の動作が繰り返される。
【００８１】
本実施の形態によれば、連続撮影において、欠陥画素の検出精度を高めて、画像品位を向上させることができ、しかも背景をぼかした画像の品位を高めることに関し、第１の実施の形態と同様の効果を奏することができる。さらに、ボケ画像を合焦画像よりも低いフレームレートで撮影することで、動画撮影時ないし静止画連写時におけるボケ画像の撮影動作とキズ検出の動作を減らし、消費電力を抑えることができる。
【００８２】
なお、本実施の形態では、ボケ画像を合焦画像よりも低いフレームレートで撮影する例として、説明を簡単にするために、カウント値ｎが３の倍数となるとき、すなわち３フレームに一度、ボケ画像を取得する場合について説明した。しかし、ボケ画像を合焦画像よりも低いフレームレートで撮影するという本発明の主旨に従えば、ボケ画像と合焦画像のフレームレートの設定方法はこれに限定されず、４以上のフレームに一度、ボケ画像を取得する構成であってもよい。
【００８３】
例えば高速な連写や動画の場合には主被写体の動きの滑らかさの再現がより求められるため、撮影におけるボケ画像のフレームレートを合焦画像のフレームレートよりもさらに低く抑えて、合焦画像による撮影の連続性を高める工夫が必要である。
【００８４】
そのような例を図８で説明する。図８は、変形例の背景ぼかし処理動作のタイミングチャートである。図８に示すように、静止画連写のような撮影の場合には、１枚目だけボケ画像を撮影し、２枚目以降は合焦画像を撮影するなど、撮影におけるボケ画像のフレームレートを合焦画像のフレームレートより極端に低く設定してもよい。
【００８５】
なお、本実施の形態では、連続撮影において背景ぼかし画像を生成する処理においてボケ画像から欠陥画素を検出する構成としたが、必ずしも背景ぼかし画像の生成を伴わなくてもよい。すなわち、欠陥画素を検出するためだけにボケ画像を生成し、補正された欠陥画素の出力信号を用いて連続した被写体画像を得てもよい。
【００８６】
第２の実施の形態では、ステップＳ６０４の判別からわかるように、撮影におけるボケ画像と合焦画像のフレームレートは固定値であった。しかし、これらのフレームレートを動的に設定してもよい。この例を第３、第４の実施の形態として説明する。
【００８７】
（第３の実施の形態）
まず、動画時にボケ画像のフレームレートを落とし過ぎると、背景の変化に追従できない場合がしばしば発生する。そこで、第３の実施の形態では、第２の実施の形態の改良として、背景の変化に適度に追従しながらボケ画像のフレームレートを落とすための施策の一例を示す。すなわち、背景のぼけ量に応じて、ボケ画像と合焦画像のフレームレートを設定する方法を採用する。
【００８８】
一般的にぼけ量が大きい場合には、背景の変化が認識しにくい。つまり、ぼけ量が大きい時には、仮にボケ画像のフレームレートを落とすことで背景の変化に追従できなくなったとしても、違和感のない背景ぼかし動画を撮影することが可能である。
【００８９】
図９は、フォーカスレンズ１０１ａの移動距離と背景のぼけ量との関係を説明するための模式図である。
【００９０】
本実施の形態では、主被写体に対する合焦位置Ｆ１からのフォーカスレンズ１０１ａの距離ｄによって、ボケ画像のフレームレートを設定する。
【００９１】
まず、図９において、フォーカスレンズ１０１ａが主被写体に対する合焦位置Ｆ１から距離ｄ１だけ移動した場合には、背景のぼけ量はａ１となる。これに対して、フォーカスレンズが合焦位置Ｆ１からさらに離れた距離ｄ２だけ移動した場合には、背景のぼけ量はぼけ量ａ１より大きいａ２となる。すなわちフォーカスレンズ１０１ａが主被写体に対する合焦位置Ｆ１から離れれば、その距離ｄに比例して背景のぼけ量が大きくなる。
【００９２】
そこで、距離ｄが大きいほど、すなわち、背景のぼけ量が大きいほど、合焦画像のフレームレートに対してボケ画像のフレームレートを落とす度合いを大きくする。フレームレートの設定は全体制御回路１１２が行う。
【００９３】
例えば、距離ｄが所定の値よりも小さい時には、合焦画像のフレームレート３０ｆｐｓに対して、その半分の１５ｆｐｓにボケ画像のフレームレートを設定する。距離ｄが所定の値よりも大きい場合には、さらにボケ画像のフレームレートを落として、合焦画像のフレームレートの６分の１の５ｆｐｓに設定する。
【００９４】
このように、本実施の形態によれば、背景のぼけ量に応じてボケ画像のフレームレートを変更することで、第２の実施の形態と同様の効果を確保しつつ、違和感の少ない背景ぼかし動画を撮影することができる。
【００９５】
なお、合焦画像のフレームレートは固定値に設定してもよいし、ユーザにより設定されるとしてもよい。これらいずれの場合でも、合焦画像のフレームレートとボケ画像のフレームレートとの比率を距離ｄによって設定することで、実質的にボケ画像のフレームレートが定まるようにしてもよい。
【００９６】
（第４の実施の形態）
本発明の第４の実施の形態では、第２の実施の形態の改良として、背景の変化に適度に追従しながらボケ画像のフレームレートを落とすための施策の他の一例を示す。
【００９７】
図１０（ａ）、（ｂ）は、撮像装置の動きによる背景の変化を模式的に示した図である。本実施の形態では、本撮像装置（カメラ）の動きを検知することで、背景の変化の有無を判断する。
【００９８】
一般的に背景として撮影されるものは、山や建物といった、動きがほとんどないものが多い。図１０（ａ）に示すように、カメラが固定された状態では、動きのないものを背景として撮影した場合には背景に変化は起きにくい。一方、図１０（ｂ）に示すように、カメラが移動した場合には、動きのないものを背景として撮影したとしても背景の変化が起こりやすい。
【００９９】
つまり、カメラが移動する場合に比べれば、カメラが固定されている場合には、ボケ画像のフレームレートを低下させても違和感の少ない背景ぼかし動画を撮影することが可能である。
【０１００】
そこで、モーションセンサ１１８によりカメラ、すなわち撮像装置本体の動きが検知されない場合には、動きが検知された場合よりも、合焦画像のフレームレートに対してボケ画像のフレームレートを落とす度合いを大きくする。フレームレートの設定は全体制御回路１１２が行う。
【０１０１】
例えば、モーションセンサ１１８によりカメラ、すなわち撮像装置本体の動きが検知された場合には、撮影におけるボケ画像のフレームレートを、合焦画像のフレームレート３０ｆｐｓの半分の１５ｆｐｓとする。カメラの動きが検知されない場合には、ボケ画像のフレームレートをさらに落として、合焦画像のフレームレート３０ｆｐｓの６分の１の５ｆｐｓとする。
【０１０２】
このように、本実施の形態によれば、カメラの動きの有無に応じてボケ画像と合焦画像のフレームレートを変更することで、第２の実施の形態と同様の効果を確保しつつ、違和感の少ない背景ぼかし動画を撮影することができる。
【０１０３】
なお、カメラの動きを、動きの有無だけでなく動きの程度として複数段階で検知し、その結果に応じて、ボケ画像のフレームレートを複数段階で設定してもよい。
【０１０４】
（第５の実施の形態）
本発明の第５の実施の形態では、背景ぼかし動画や静止画連写撮影において、ボケ画像撮影時にキズ検出動作を行なうか否かを判定し、必要なタイミングにおいてのみキズ検出動作を行うことで、消費電力を低下させる。
【０１０５】
図１１は、キズ検出動作を行なうか否かの判定基準及び判定結果の一例を示す図である。
【０１０６】
前述した欠陥画素における突出した信号発生のレベルは、ゲインアップ量に応じて異なる。また、欠陥画素は高温になるほどより顕著に画像に現れるため、高温時にはキズ検出・補正が重要となるが、低温時にはあまり問題にならない場合も多い。つまり、動画撮影等においてキズ検出時のフレームからゲインアップ量が大きく変化し、且つ、環境温度が高い場合には、キズの再検出の必要性が高くなる。
【０１０７】
そこで本実施の形態では、ゲインアップ量の変化が大きく且つ温度が高いという条件が成立した場合にだけキズ検出を行なうこととする。キズ検出した結果は次の検出まで保持され、再検出されると更新される。
【０１０８】
以下に、図１に示す全体制御回路１１２のキズ検出要否判定回路１１６の動作の詳細について説明する。まず、キズ検出要否判定回路１１６には、メモリ部１１１に記録されている（前回のキズ検出により保存された）露出条件と、露出条件算出回路１２０で算出された露出条件と、温度検知部１０６で検知された検知温度Ｔとが入力される。
【０１０９】
キズ検出要否判定回路１１６では、メモリ部１１１に記録されている露出条件のうちのゲインアップ量（Ｇ１とする）と、露出条件算出回路１２０で今回算出された露出条件のうちのゲインアップ量（Ｇ２とする）との差分ΔＧを数式１により算出する。
［数１］
ΔＧ＝Ｇ２−Ｇ１
キズ検出要否判定回路１１６は、数式１により算出された差分ΔＧ及び検知温度Ｔと、図１１に示す判定基準とから、キズ検出を行なうか否かを判定し、必要と判定した場合は、それに応じた動作をキズ処理回路１０９に指示する。例えば、差分ΔＧ＜−２ｄＢで且つＴ＞３０°Ｃが成立する場合、または差分２ｄＢ＜ΔＧで且つＴ＞３０°Ｃが成立する場合に、キズ検出を行なうと判定され、その他の場合にはキズ検出を行なわないと判定される。
【０１１０】
図１２は、本実施の形態における背景ぼかし動画撮影のフローチャートである。
【０１１１】
まず、動画撮影が開始されると、ステップＳ１２０１で、全体制御回路１１２は、図４のステップＳ４０２と同様に、撮像素子１０５から得られた画像データに基づいて撮影シーンの明るさを求め、本撮影時における露出条件を決定する。その際、露出条件算出回路１２０によって今回算出された露出設定は、前回に算出された露出設定とは別個にメモリ部１１１に格納される。
【０１１２】
ステップＳ１２０２では、全体制御回路１１２は、図４のステップＳ４０３と同様の処理により、合焦位置Ｆ１を検出する。ステップＳ１２０３において、全体制御回路１１２は、温度検知部１０６により検出された撮像素子１０５の周囲の温度の検知結果（検知温度Ｔ）を取得する。
【０１１３】
ステップＳ１２０４において、全体制御回路１１２は、ステップＳ１２０１で今回算出された露出条件と、ステップＳ１２０３で取得した検知温度Ｔと、メモリ部１１１に格納されている前回の露出条件とから、キズ検出要否を判定する。上述のように、キズ検出要否は、数式１を用いて図１１の判定基準に従ってなされる。
【０１１４】
ステップＳ１２０４の判定の結果、キズ検出が必要（行う）と判定した場合は、全体制御回路１１２は、ステップＳ１２０５において、キズ検出及びキズ補正を行なう。すなわち、ステップＳ１２０５では、全体制御回路１１２は、図６のステップＳ６０５〜Ｓ６０９と同様の処理を実行する。従って、全体制御回路１１２は、合焦位置Ｆ１よりも手前の前ピン位置Ｆ２で露光を行い、画像処理回路１０８を制御して、各画素の読み出しと並行してキズ検出とキズ補正とを行う。ただし、今回キズと判定された画素の位置情報をメモリ部１１１へ保存する際、前回にステップＳ１２０５を実行したときに保存された値が今回の値に更新される。
【０１１５】
一方、ステップＳ１２０４の判定の結果、キズ検出が必要でない（行わない）と判定した場合は、全体制御回路１１２は、ステップＳ１２０６において、キズ検出を行うことなくキズ補正を行なう。すなわち、ステップＳ１２０６では、全体制御回路１１２は、図６のステップＳ６０５〜Ｓ６０９と同様の処理のうち、キズ検出だけを行わない処理を実行する。従って、メモリ部１１１に保存されているキズ画素の位置情報は、前回に保存されたままの値となる。
【０１１６】
次に、ステップＳ１２０７においては、全体制御回路１１２は、図６のステップＳ６１０と同様に、欠陥画素について出力信号の補正が反映されたボケ画像を取得し、メモリ部１１１に記録・保存する。
【０１１７】
ステップＳ１２０８では、全体制御回路１１２は、ステップＳ６１１〜Ｓ６１５と同様の処理を実行することで、欠陥画素について出力信号の補正が反映された合焦画像を取得し、メモリ部１１１に記録・保存する。この処理の際に用いられる、キズと判定された画素の位置情報は、直近に実行されたキズ検出により得られメモリ部１１１に保存された情報である。
【０１１８】
ステップＳ１２０９では、全体制御回路１１２は、図６のステップＳ６１８、Ｓ６１９と同様の処理を実行することで、背景ぼかし画像を取得する。ステップＳ１２１０では、全体制御回路１１２は、図６のステップＳ６２０と同様の処理を実行する。
【０１１９】
本実施の形態によれば、ボケ画像の取得時にキズ検出要否を判定し、必要なときのみキズ検出を行なうことで、キズ処理回路１０９によるキズ検出の頻度を低くし、消費電力を抑えることができる。従って、欠陥画素の検出精度を高めて背景をぼかした画像の品位を高めることに関し、第１の実施の形態と同様の効果を奏するだけでなく、動画撮影ないし静止画連写の際に消費電力の増加を抑えることができる。
【０１２０】
なお、第５の実施の形態においては、露出条件のうちのゲインアップ量の変化と検知温度Ｔとに基づき、欠陥画素の検出の可否を判定したが、判定の手法はこれに限られない。従って、露出条件を含む撮影条件が所定の条件を満たす場合にだけ、欠陥画素の検出を実行するようにしてもよい。構成を簡単にする観点からは、露出条件の変化だけに基づいて、あるいは検知温度Ｔだけに基づいて、欠陥画素の検出可否を判定するようにしてもよい。
【０１２１】
なお、上記各実施の形態において、ＥＶＦ撮影時にはリアルタイムのキズ補正を行わないようにしてもよい。
【０１２２】
なお、背景ぼかし画像の生成を伴わなくてもよい点については、第４、第５の実施の形態においても適用可能である。
【０１２３】
（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【０１２４】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【符号の説明】
【０１２５】
１０５  撮像素子
１０８  画像処理回路
１０９  キズ処理回路
１１０  背景ぼかし画像生成回路
１１２  全体制御回路
【図１】
2015156614.tif 000003
【図２】
2015156614.tif 000004
【図３】
2015156614.tif 000005
【図４】
2015156614.tif 000006
【図５】
2015156614.tif 000007
【図６】
2015156614.tif 000008
【図７】
2015156614.tif 000009
【図８】
2015156614.tif 000010
【図９】
2015156614.tif 000011
【図１０】
2015156614.tif 000012
【図１１】
2015156614.tif 000013
【図１２】
2015156614.tif 000014