(57)【要約】【課題】簡便な操作でより正確に欠陥画素や異物に起因するデータ欠損画素を検出する。【解決手段】先天的および後天的に発生する欠陥画素（画素傷）の検出、または異物に起因してデータが欠損する画素を検出するデータ欠損画素検出処理において、前回の同処理の起動からの経過時間が、所定時間よりも短いか否かを判定する（ステップＳ１１４）。経過時間が所定時間以上のときには通常の検出レベルに設定する（ステップＳ１１６）。経過時間が所定時間よりも短いときには、検出レベルを高感度に設定する（ステップＳ１１８）。【選択図】図２
2017055262.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子から供給される画像信号に基づき、欠陥画素または前記撮像素子に付着する異物が写り込む画素の検出を行う検出手段と、
前記検出手段における検出レベルを設定・変更するための検出レベル設定手段と、
前記検出手段が前回起動されたときから今回起動されるまでの時間を取得する起動間隔取得手段と、
前記起動間隔取得手段において取得された前記時間に基づき前記検出レベル設定手段を起動する
ことを特徴とするデータ欠損画素検出装置。
【請求項２】
前記検出レベル設定手段が、前記時間が短いとき前記検出レベルを高感度とすることを特徴とする請求項１に記載のデータ欠損画素検出装置。
【請求項３】
前記検出レベル設定手段が、前記検出レベルを選択するための設定メニュを表示することを特徴とする請求項１に記載のデータ欠損画素検出装置。
【請求項４】
前記検出レベル設定手段において決定された検出レベルから近い検出レベルでも前記検出手段を駆動し、その結果を比較表示することを特徴とする請求項１〜３の何れか一項に記載のデータ欠損画素検出装置。
【請求項５】
前記欠陥画素の検出が、画素値と閾値との比較により行われ、前記閾値が前記検出レベルおよび温度に基づき設定されることを特徴とする請求項１〜４の何れか一項に記載のデータ欠損画素検出装置。
【請求項６】
前記異物が写り込む画素の検出が、異物の影の大きさと閾値との比較により行われ、前記閾値が前記検出レベルに基づき設定されることを特徴とする請求項１〜５の何れか一項に記載のデータ欠損画素検出装置。
【請求項７】
請求項１〜６の何れか一項に記載のデータ欠損画素検出装置を搭載したことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子を用いた撮影を行うデジタルカメラなどの撮像装置に関する。
【背景技術】
【０００２】
撮像素子には一般に欠陥画素が存在し、欠陥画素により欠損した画素データは、例えば画像処理により補間される。また、レンズ交換可能なカメラでは、レンズを取り外した際、塵や埃などの異物が撮像素子表面などに付着し、撮影画像にこれら異物の影が写り込むことがある。そのためデジタルカメラには、欠陥画素や異物によりデータが欠損する画素を検出する機能を備えたものも存在する。なお、異物検出は、無地の画像を撮像し、異物の影が写り込んだ画像領域を検出することで行われる。
【０００３】
しかし画素の欠陥は出荷後も発生(後天的欠陥画素)し、欠陥画素の数は時間の経過とともに増大する。そのため欠陥画素の位置情報を更新しないと、異物検出を行う際に誤検出が発生する。このような問題に対しては、カメラに欠陥画素の位置を検出する手段を設けるとともに、異物検出を行う前に、前回の欠陥画素の位置検出処理の実行から現在までの経過時間を求め、経過時間が設定値を超えていれば、改めて欠陥画素の位置検出処理を実行してから異物検出処理を実行する構成が提案されている（特許文献１参照）。また、異物検出処理では、撮影された画像の用途などによって要求される異物検出レベル（異物検出感度）が異なる。そのためユーザ操作に基づき異物検出レベルを選択可能とした構成も提案されている（特許文献２参照）。なお、本明細書、特許請求の範囲において使用される「欠陥画素」には、出荷後に発生した後天的な欠陥画素が含まれる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２０８７４３号公報
【特許文献２】特許第４６４０１０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
欠陥画素の情報は、異物検出精度や欠損した画素データの補間処理に影響し、撮像された画像の画質に大きく影響する。そのためユーザは画質に問題があると感じたときなど、随時欠陥画素の位置検出（ピクセルマッピング）を実行する必要がある。しかし、欠陥画素検出における検出レベルが適正でないとピクセルマッピングを繰り返しても良好な画質の画像を得ることはできない。
【０００６】
従来のカメラは、特許文献１のように欠陥画素検出機能を備えていても、欠陥画素検出処理の検出レベルを変更する機能は備えていない。特許文献２の異物検出処理では、異物検出レベルをユーザが選択できるが、欠陥画素の検出レベルを変更する機能は備えていない。また、欠陥画素や異物の検出処理に検出レベルを設定する機能を設けたとしても、ユーザは設定変更の必要を感じたときに、同設定を行うためのメニューを開かなければならず、その作業は煩雑である。
【０００７】
本発明は、簡便な操作で常に適正に欠陥画素や異物に起因する画素データの欠損を検出可能にすることを課題としている。
【課題を解決するための手段】
【０００８】
本発明のデータ欠損画素検出装置は、撮像素子から供給される画像信号に基づき、欠陥画素または撮像素子に付着する異物が写り込む画素の検出を行う検出手段と、この検出手段における検出レベルを設定・変更するための検出レベル設定手段と、検出手段が前回起動されたときから今回起動されるまでの時間を取得する起動間隔取得手段と、起動間隔取得手段において取得された時間に基づき検出レベル設定手段を起動することを特徴としている。
【０００９】
検出レベル設定手段は、検出手段が前回起動されたときから今回起動されるまでの時間が短いとき、検出レベルを高感度とする。検出レベル設定手段は、例えば検出レベルを選択するための設定メニューを表示する。検出レベル設定手段において決定された検出レベルから近い検出レベルでも検出手段を駆動し、その結果を比較表示してもよい。欠陥画素の検出は、画素値と閾値との比較により行われ、閾値は検出レベルおよび温度に基づき設定される。異物が写り込む画素の検出は、異物の影の大きさと閾値との比較により行われ、この閾値は検出レベルに基づき設定される。
【００１０】
本発明の撮像装置は、上記の何れかのデータ欠損画素検出装置を搭載したことを特徴としている。
【発明の効果】
【００１１】
本発明によれば、簡便な操作でより正確に欠陥画素や異物に起因する画素データの欠損を検出可能にすることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態である撮像装置の概略的な構成を示すブロック図である。
【図２】本実施形態のデータ欠損画素検出処理の流を示すフローチャートである。
【図３】図２のステップＳ１０４で実行される欠陥画素検出処理のフローチャートである。
【図４】図２のステップＳ１０４で実行される異物検出処理のフローチャートである。
【図５】変形例における検出レベル設定メニューの図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態を、図面を参照して説明する。図１は、本発明の一実施形態である撮像装置の概略的な構成を示すブロック図である。
【００１４】
本実施形態の撮像装置１０は、例えばデジタルカメラ（スマートホンや携帯電話、ビデオカメラなどでもよい）である。撮像装置１０では、レンズ部１２を通して撮像部１４で画像が撮像され、撮像部１４からの画像データは画像信号処理回路部１６において画像処理が施され、画像表示部１８に表示される。また、撮像部１４からの画像データは、例えば画像処理後、メモリ部２０に記録可能である。メモリ部２０に記憶された画像データは、データ欠損画素検出部２２へ読み出し可能であり、データ欠損画素検出部２２では、後述する欠陥画素検出処理や異物検出処理が実行され、画素データが欠損している画素の検出が行われる。なお、撮像部１４は、撮像素子の撮像面を保護ガラスや光学フィルタ等で覆いパッケージ化したもので、塵や埃などの異物はその表面に付着する。
【００１５】
レンズ部１２は、レンズ制御部２４によって制御され、レンズ制御部２４は、全体制御・演算部２６によって制御される。また、撮像装置１０は、撮像部１４の温度を計測する温度検出部２８を備え、温度検出部２８で検出される撮像素子の温度は、後述するように全体制御・演算部２６を通して、データ欠損画素検出部２２での欠陥画素検出処理で利用される。なお、全体制御・演算部２６は、撮像部１４や画像信号処理回路１６等を含め、撮像装置１０全体のデバイス制御や、日時（時刻）管理を行い、図示しない、スイッチ類や表示器類、不揮発性のメモリ等のデバイスとも接続されている。
【００１６】
図２は、本実施形態のデータ欠損画素検出処理の流れを説明するフローチャートである。後述するように、図２に示されるデータ欠損画素検出処理は、欠陥画素検出処理または異物検出処理の何れかに対応し、両検出処理において、画素データが欠損していると考えられる画素を検出するための処理である。欠陥画素検出処理および異物検出処理は、例えば画像表示部１８に表示されるメニュ画面を操作することでそれぞれ選択・起動される。欠陥画素検出処理では、例えば遮光した状態で撮影した画像が用いられ、異物検出処理では例えば無地の被写体を撮影した画像が用いられる。なお、本処理は、例えば全体制御・演算部２６が、データ欠損画素検出部２２と協働して行う。
【００１７】
ステップＳ１００では、前回のデータ欠損画素検出処理（欠陥画素検出処理であれば前回の欠陥画素検出処理、また異物検出処理であれば前回の異物検出処理）が実行された際の時刻が設定されているか否かが判定される。設定されていなければ、ステップＳ１０２において、デフォルトで設定されている通常の検出レベルが設定される。
【００１８】
ステップＳ１０４では、撮影画像に対して、設定検出レベルに対応する閾値、およびその前後の値（設定検出レベル対応閾値±所定値）を閾値として、欠陥画素検出または異物検出が行われる。すなわち、画素データが欠損する画素（データ欠損画素）の検出が行われ、データ欠損画素の検出データが作成される。すなわち、各閾値との比較で画素データが欠損していると判断される画素が、設定閾値を中心とする３つの検出レベルで検出され、各検出レベルに対応するデータ欠損画素の検出データがメモリ部２０に一時保存される。
【００１９】
ステップＳ１０６では、一時保存された欠損画素検出データに基づき、データ欠損画素と判断される画素を例えば所定の色で表示、あるいは強調表示した画像がそれぞれの検出レベルに対して作成され、作成された３枚の画像が画像表示部１８に順次表示される。なお、この表示は、例えばユーザがキー操作することで、循環的に画像表示部１８に表示可能である。ステップＳ１０８では、ユーザが画像表示部１８に表示された３枚の画像の中からデータ欠損画素の検出データとして適正と思われるものを選択（決定）し、選択されたデータ欠損画素の検出データが不揮発性のメモリ（不図示）に記録される。そして、ステップＳ１１０では、現在の時刻（日時）がデータ欠損画素検出処理実行時刻として設定され本処理は終了する。なお、ステップＳ１１０で設定される時刻は、次回同処理が実行される際、ステップＳ１００において、本処理の前回の実行時刻として参照される。なお、本撮像装置１０では、ステップＳ１０８で記録されたデータ欠損画素の検出データに基づき、画像データが欠損していると判断される画素の画素値が補間される。また、これら欠陥画素検出処理および異物検出処理で取得されたデータ欠損画素の検出データに基づき異物の警告表示が実行される。
【００２０】
また、ステップＳ１００において、時刻設定が行われていると判断されたときには、ステップＳ１１２において、現在の時刻（日時）が取得され、ステップＳ１１４において（ステップＳ１１２において取得された現在時刻と、ステップＳ１００において参照された前回データ欠損画素検出処理が実行された時刻との差が所定時間（例えば１０分）未満であるか否かが判定される。同時刻差が所定時間未満でなければ、ステップＳ１１６において、ステップＳ１０２と同様に、デフォルトで設定されている通常の検出レベルが設定され、ステップＳ１０４以下の処理が実行される。また、同時刻差が所定時間未満であれば、ステップＳ１１８においてデータ欠損画素を検出し易いより高い感度の検出レベルが設定され、ステップＳ１０４以下の処理が実行される。
【００２１】
図３は、図２のステップＳ１０４で実行される欠陥画素検出処理のフローチャートである。ステップＳ２００では、欠陥画素検出が行える状況にあるか否かが判定される。なお、欠陥画素検出が行えない状況としては、電池残量が少ない場合や、遮光できない場合などが挙げられる。欠陥画素検出が行えない状況では、本処理は直ちに終了し、行える状況であると判定されるとステップＳ２０２において撮像部１４の撮像素子（イメージセンサ）が駆動中であるか否かが判定される。
【００２２】
撮像素子が既に駆動されていれば、ステップＳ２０４において、温度検出部２８を用いて撮像素子の駆動完了後の温度が取得され、駆動されていなければ、ステップＳ２０３において撮像素子を駆動した後、ステップＳ２０４において、撮像素子の駆動完了後の温度が取得される。次にステップＳ２０６において、遮光した状態で画像が取得され、ステップＳ２０８では、図２のステップＳ１０２、Ｓ１１６、Ｓ１１８で設定された検出レベルに対応して、ステップＳ２０４で取得された温度や、露光時間、ゲイン（ＩＳＯ）などに基づき欠陥画素検出のための閾値が算出される。
【００２３】
ステップＳ２１０では、ステップＳ２０６において遮光状態で取得された画像の各画素値をステップＳ２０８で算出された閾値、およびこの閾値の前後で設定される閾値（設定検出レベル対応閾値±所定値）と比較し、それぞれの閾値において当該画素が欠陥画素であるか否かが判別される（欠陥画素検出）。ステップＳ２１２において、欠陥画素と判別された画素の位置と、同検出処理が行われたときの温度（ステップＳ２０４で求められた温度）と、使用された閾値とが例えばメモリ部２０にそれぞれ一時的に記録され、本処理は終了する。なお、本処理実行中にユーザがキャンセル操作を行い終了要求があった場合や、算出された閾値が予め設定された規定値を超えている場合などには、本処理は直ちに終了する。
【００２４】
図４は、図２のステップＳ１０４で実行される異物検出処理のフローチャートである。ステップＳ３００では、埃検出許可の有無が判定される。すなわち、現在の状況が異物検出を行える状況にあるか否かが判定される。なお、異物検出が行えない状況としては、電池残量が少ない場合や、露光量が規定値に達していない場合などが挙げられる。異物検出が行えない状況では、本処理は直ちに終了し、行える状況であると判定されるとステップＳ３０２において撮像部１４の撮像素子（イメージセンサ）が駆動中であるか否かが判定される。
【００２５】
撮像素子が既に駆動されていれば、ステップＳ３０４において、画像取得条件が設定され、駆動されていなければ、ステップＳ３０３において撮像素子を駆動した後、ステップＳ３０４において、画像取得条件が設定される。画像取得条件は、撮像素子表面に付着した塵や埃などの異物の影を強調して撮影するための撮影条件であり、絞りをなるべく絞った条件の下、一様な平面（無地）を十分な露光量で撮影するための露出パラメータである。
【００２６】
次にステップＳ３０６において、ステップＳ３０４で設定された画像取得条件下、一様な平面の画像が取得される。この画像データは、ステップＳ３０８においてＹＣｂＣｒ信号に変換され、ステップＳ３１０において、輝度データＹが二値化される。ステップＳ３１２では、二値化された画像データに対して画像処理が施され、画像に写り込んだ異物の輪郭が抽出され、その位置および大きさ検出される。
【００２７】
ステップＳ３１４では、図２のステップＳ１０２、Ｓ１１６、Ｓ１１８で設定された検出レベルに対応する閾値、およびこの閾値の前後で設定される閾値（設定検出レベル対応閾値±所定値）と、ステップＳ３１０で抽出された異物の輪郭の大きさを各閾値と比較し、各画素が異物によりデータが欠損する画素であるか否かが判別される（異物検出）。ステップＳ３１６では、ステップＳ３１４において、異物によりデータが欠損する画素と判別された画素の位置と、使用された閾値とが例えばメモリ部２０にそれぞれ一時的に記録され、本処理は終了する。なお、本処理実行中にユーザがキャンセル操作を行い終了要求があった場合や、異物の大きさや数が予め設定された規定値を超えている場合などには、本処理は直ちに終了する。
【００２８】
以上のように本実施形態では、前回検出処理を実行してから時間があまり経過していないにも関わらずユーザが検出処理を再度実行する場合に、検出レベルを自動的に高めに設定している。すなわち、このような状況は、一般的にユーザが検出レベルに満足していない場合と考えられるので、本実施形態では、このような場合に検出レベルを自動的に高めることで、ユーザはメニュー操作を行い、設定用のメニューを起動させなくとも、検出レベルの変更を行うことができる。これによりユーザは簡便な操作でより正確に欠陥画素や異物により画像データが欠損する画素を検出可能となる。
【００２９】
また、本実施形態では、自動で検出レベルの高低を決定した後、その検出レベルの前後の検出レベルでも検出処理を行い、その結果をユーザが比較し選択するようにしたことでより適正な閾値の選択が可能となり、より正確な欠陥画素検出、異物検出を行うことができる。
【００３０】
図５は、本実施形態の変形例を説明する図である。本実施形態では、前回の検出処理の実行からの時間に基づき自動的にデータ欠損画素検出のための検出レベルの高低を変更したが、変形例では、前回の検出処理の実行からの時間に基づき自動的にデータ欠損画素検出のための検出レベル設定メニューを起動する構成としている。すなわち変形例では、図１のステップＳ１１８において、データ欠損画素検出のための検出レベル設定メニューが画像表示部１８に表示される。図５には、データ欠損画素検出のための検出レベル設定メニューの一例が示される。図示例の設定メニューには例えば選択可能な検出レベルとして弱、中、強が用意されており、図は「弱」の検出レベルが選択されている状況を示す。なお、スライドバーの操作や数値入力で、より多段的に検出レベルを設定する構成とすることもできる。以上のように、変形例においても、実施形態と略同様の効果を得ることができる。
【符号の説明】
【００３１】
１０  デジタルカメラ（撮像装置）
１２  レンズ部
１４  撮像部
１６  画像信号処理回路部
１８  画像表示部
２０  メモリ部
２２  データ欠損画素検出部
２４  レンズ制御部
２６  全体制御・演算部
２８  温度検出部
【図１】
2017055262.tif 000003
【図２】
2017055262.tif 000004
【図３】
2017055262.tif 000005
【図４】
2017055262.tif 000006
【図５】
2017055262.tif 000007