(57)【要約】【課題】  撮像された画像内の目的物が約１画素程度と微小であり、かつ欠陥画素の位置に当該目的物が存在している場合に目的物が存在する欠陥画素の候補を判定する目的物検出装置を提供する。【解決手段】  実施形態の目的物検出装置は、欠陥画素の位置が予め判明している撮像素子を用いて所定の領域を撮像する撮像手段と、撮像した画像から前記欠陥画素に隣接する複数の第１の画素群、及びこれら第１の画素群に対して前記欠陥画素と反対側に隣接する複数の第２の画素群に基づいて、前記第２の画素群から前記第１の画素群に向かう輝度値のベクトルを算出する算出手段と、前記算出手段で算出した輝度値のベクトルに基づいて前記欠陥画素の輝度値を推定し、推定された輝度値に基づいて、前記欠陥画素を目的物が存在する候補の画素として判定する判定手段とを具備している。【選択図】図１
2017022527.tif 000002
【特許請求の範囲】
【請求項１】
欠陥画素の位置が予め判明している撮像素子を用いて所定の領域を撮像する撮像手段と、
撮像した画像から前記欠陥画素に隣接する複数の第１の画素群、及びこれら第１の画素群に対して前記欠陥画素と反対側に隣接する複数の第２の画素群に基づいて、前記第２の画素群から前記第１の画素群に向かう輝度値のベクトルを算出する算出手段と、
前記算出手段で算出した輝度値のベクトルに基づいて前記欠陥画素を目的物が存在する候補の画素として判定する判定手段と、
を有する目的物検出装置。
【請求項２】
前記判定手段は、複数の輝度値のベクトルの値に基づいて前記欠陥画素の輝度値を推定し、推定された輝度値に基づいて前記欠陥画素を目的物が存在する候補として判定する、
請求項１に記載の目的物検出装置。
【請求項３】
前記判定手段は、前記欠陥画素に向かう複数の輝度値のベクトルの値の平均値と、前記輝度値のベクトルの数を含む関数式とに基づいて前記欠陥画素の輝度値を推定し、推定された輝度値に基づいて前記欠陥画素を目的物が存在する候補として判定する、
請求項１又は請求項２に記載の目的物検出装置。
【請求項４】
前記関数式は、前記欠陥画素に向かう輝度値のベクトルの数からなる指数関数である、
請求項１に記載の目的物検出装置。
【請求項５】
前記算出手段は、
前記欠陥画素を複数の領域に分割した分割領域を形成し、前記各領域に隣接する前記第１の画素群、及びこれら前記第１の画素群に隣接する前記第２の画素群に基づいて、前記各領域に対して前記第２の画素群から前記第１の画素群に向かう輝度値のベクトルを算出し、
前記判定手段は、
前記算出手段で算出した輝度値のベクトルに基づいて前記各領域ごとの輝度値を推定し、推定された輝度値に基づいて、前記欠陥画素内のどの領域に目的物が存在するかを判定する、
請求項１乃至請求項４のいずれか１項に記載の目的物検出装置。
【請求項６】
前記判定手段は、前記欠陥画素の行方向、列方向、対角方向のいずれかの方向において、輝度値のベクトルの値が所定の値以上であるベクトルの本数に基づいて前記欠陥画素を目的物が存在する候補の画素として判定する、
請求項１に記載の目的物検出装置。
【請求項７】
前記判定手段は、前記欠陥画素の行方向、列方向、対角方向のいずれかの方向において、輝度値のベクトルの値が所定の値以上であるベクトルの本数が４本以上存在するときに、前記欠陥画素を目的物が存在する候補の画素として判定する、
請求項６に記載の目的物検出装置。
【請求項８】
欠陥画素の位置が予め判明している撮像素子を用いて所定の領域を撮像し、
撮像した画像から前記欠陥画素に隣接する第１の画素群、及びこれら第１の画素群に対して前記欠陥画素と反対側に隣接する第２の画素群に基づいて、前記第２の画素群から前記第１の画素群に向かう輝度値のベクトルを算出し、
前記算出した輝度値のベクトルに基づいて前記欠陥画素を目的物が存在する候補の画素として判定する、
目的物検出方法。
【請求項９】
欠陥画素の位置が予め判明している撮像素子を用いて所定の領域を撮像し、
撮像した画像から前記欠陥画素に隣接する第１の画素群、及びこれら第１の画素群に対して前記欠陥画素と反対側に隣接する第２の画素群に基づいて、前記第２の画素群から前記第１の画素群に向かう輝度値のベクトルを算出し、
前記算出した輝度値のベクトルに基づいて前記欠陥画素の輝度値を推定し、
前記推定した輝度値に基づいて前記欠陥画素を目的物が存在する候補の画素として判定する、
目的物検出方法。
【請求項１０】
欠陥画素の位置が予め判明している撮像素子を用いて所定の領域を撮像する撮像手段と、
撮像した画像から前記欠陥画素に隣接する複数の第１の画素群、及びこれら第１の画素群に対して前記欠陥画素と反対側に隣接する複数の第２の画素群に基づいて、前記第２の画素群から前記第１の画素群に向かう輝度値のベクトルを算出する算出手段と、
前記算出手段で算出した輝度値のベクトルに基づいて前記欠陥画素の輝度値を補正する補正手段と、
を有する欠陥画素の補正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、目的物検出装置、目的物検出方法および、欠陥画素の補正装置に関する。
【背景技術】
【０００２】
近年、赤外線撮像器などの撮像装置は、画素数の増加による高精細な画像の撮像が可能となっている反面、欠陥を有する画素（以下、欠陥画素と称する）が多くなっている。欠陥画素は輝度の値（以下、輝度値と称する）が欠落した画素となる。欠陥画素の補正には、主に隣接する画素のコピーや周辺画素の輝度値の平均値を登録するなどの方法がある。
【０００３】
しかし、検出対象である目的物を撮像した画像において、当該目的物が約１画素程度と微小であり、かつ欠陥画素の位置に当該目的物が存在している場合がある。当該目的物が存在する画素の輝度値は周辺の画素の輝度値よりも大きくなるが、上記の欠陥画素の補正方法では、欠陥画素の輝度値は隣接する画素の輝度値と同等となるため、当該目的物を検出することができない。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１８４３０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、撮像された画像内の目的物が約１画素程度と微小であり、かつ欠陥画素の位置に当該目的物が存在している場合にも欠陥画素を目的物が存在する候補として判定する目的物検出装置を提供する。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、実施形態の目的物検出装置は、欠陥画素の位置が予め判明している撮像素子を用いて所定の領域を撮像する撮像手段と、撮像した画像から前記欠陥画素に隣接する複数の第１の画素群、及びこれら第１の画素群に対して前記欠陥画素と反対側に隣接する複数の第２の画素群に基づいて、前記第２の画素群から前記第１の画素群に向かう輝度値のベクトルを算出する算出手段と、前記算出手段で算出した輝度値のベクトルに基づいて前記欠陥画素を目的物が存在する候補の画素として判定する判定手段とを具備している。
【図面の簡単な説明】
【０００７】
【図１】本発明の第１の実施形態である目的物検出装置のブロック図。
【図２】第２の実施形態の目的物検出装置のフローチャート。
【図３】欠陥画素の周辺に位置する第１の画素群と第２の画素群との配置の図。
【図４】欠陥画素と第１の画素群と第２の画素群との輝度値の分布を示す図。
【図５】欠陥画素と第１の画素群と第２の画素群との輝度値のベクトルの図。
【図６】欠陥画素と第１の画素群と第２の画素群との輝度値の行列表記の図。
【図７】第３の実施形態の欠陥画素の分割領域の図。
【図８】第３の実施形態のベクトル場と欠陥画素の分割領域の輝度値の図。
【図９】対角方向における欠陥画素内の分割領域の輝度値の算出方法の図。
【図１０】行方向における欠陥画素内の分割領域の輝度値の算出方法の図。
【図１１】分割領域の輝度値の値の図。
【図１２】４分割の分割領域の例。
【図１３】４分割の分割領域の他の例。
【図１４】行方向における欠陥画素に向かう輝度値のベクトルとその値を示す図。
【図１５】欠陥画素に向かう輝度値のベクトルと値を示す図。
【図１６】欠陥画素の補正装置の構成図。
【発明を実施するための形態】
【０００８】
以下、目的物検出装置、目的物検出方法および、欠陥画素の補正装置の実施形態を図面に基づき説明する。
【０００９】
（第１の実施形態）
図１は第１の実施形態である目的物検出装置のブロック図である。本実施形態の目的物検出装置は目的物１０を撮像する撮像器２０と制御部３０とモニタ４０とを有する。撮像器２０はレンズ２１と画素が二次元に配置された撮像素子２２とを有している。そして、撮像器２０はレンズ２１が集光した光を、撮像素子２２の受光により目的物１０が映し出された画像を撮像する。本実施形態および以下の実施形態において、撮像素子２２の欠陥画素の位置は予め判明しており、記憶部に予め記憶されているものとして説明する。
【００１０】
制御部３０は画像メモリ３１と欠陥画素位置記憶部３２と輝度値推定部３３と補正画像メモリ３４と目的物存在位置判定部３５とを有する。撮像素子２２によって撮像された画像は画像メモリ３１に記憶される。欠陥画素位置記憶部３２は撮像素子２２の欠陥画素の位置を予め記憶している。これにより、画像メモリ３１に記憶されている撮像画像の欠陥画素の位置情報を取得する。輝度値推定部３３は撮像画像の欠陥画素について、輝度値の推定を行うものである。補正画像メモリ３４は欠陥画素の輝度値を、輝度値推定部３３により推定された輝度値に補正し、補正後の撮像画像を記憶するメモリである。目的物存在位置判定部３５は補正画像メモリ３４に記憶されている補正後の撮像画像について、当該欠陥画素に目的物１０が存在するか否か、及びその他の位置に目的物１０が存在するか否かを判定する回路である。
【００１１】
モニタ４０は、補正画像メモリ３４にて記憶されている輝度値の補正後の撮像画像と、目的物存在位置判定部３５にて目的物１０が存在する候補と判定された情報を表示する。
【００１２】
図２は本実施形態の目的物検出装置のフローチャートである。本実施形態の目的物検出装置は撮像器２０にて撮像された画像を画像メモリ３１に記憶する（ステップＳ１００）。その後、欠陥画素位置記憶部３２から撮像画像の欠陥画素の位置（ｉ、ｊ）を取得する（ステップＳ１０１）。本実施形態において、撮像画像の画素は二次元の行列構造をしており、欠陥画素は撮像画像のｉ行目、ｊ列目の画素に位置している。輝度値推定部３３は欠陥画素の周辺に隣接する、第１の画素群の輝度値Ｐｉ±１，ｊ±１を取得する（ステップＳ１０２）。さらに輝度値推定部３３は第１の画素群の周辺に隣接する第２の画素群の輝度値Ｐｉ±２，ｊ±２を取得する（ステップＳ１０３）。
【００１３】
輝度値推定部３３は第１の画素群の輝度値と第２の画素群の輝度値とから輝度値のベクトルを算出する（ステップＳ１０４）。次に、輝度値推定部３３は算出された輝度値のベクトルから、目的物検出装置は輝度値推定部３３にて算出された輝度値のベクトルに基づいて、欠陥画素の輝度値をＰｉ，ｊを推定する（ステップＳ１０５）。目的物存在位置判定部３５は推定された欠陥画素の輝度値Ｐｉ，ｊに基づいて当該欠陥画素に目的物１０が存在するか否かを判定する（ステップＳ１０６）。その後、撮像画素中のすべての欠陥画素について判定されている場合（ステップＳ１０７のＹＥＳ）はフローを終了する。判定していない欠陥画素が存在する場合（ステップＳ１０７のＮＯ）は次の欠陥画素について位置情報の取得（ステップＳ１０１）に戻り、同様に輝度値のベクトルの算出、目的物１０が存在するか否かの判定を行う。
【００１４】
次に、輝度値推定部３３による欠陥画素の輝度値の推定について説明する。輝度値推定部３３は撮像器２０にて撮像された画像に欠陥画素が含まれているとき、当該欠陥画素の周辺に隣接する複数の画素を第１の画素群と第２の画素群とを決定する。
【００１５】
図３は欠陥画素５０の周辺に隣接する第１の画素群５１と、第１の画素群５１に対して欠陥画素５０とは反対側に隣接する第２の画素群５２との配置の図である。欠陥画素５０と第１の画素群５１と第２の画素群５２とは行列を構成している。図中、左右方向を行方向、上下方向を列方向、斜め方向を対角方向と称する。
【００１６】
欠陥画素５０は撮像画像のｉ行目、ｊ列目の画素に位置している。当該欠陥画素５０の本来の輝度値はＰｉ，ｊであるが、撮像画像には輝度値が正しく反映されていない。
【００１７】
第１の画素群５１は欠陥画素５０に行方向、列方向、対角方向それぞれに１画素分隣接して配置された８個の画素の集合である。即ち、第１の画素群５１はｉ±１行目、ｊ±１列目の範囲に位置する画素の内、欠陥画素５０を除いた８画素である。当該第１の画素群５１の輝度値をＰｉ±１，ｊ±１とする。
【００１８】
第２の画素群５２は第１の画素群５１に行方向、列方向、対角方向それぞれに欠陥画素５０とは反対側に１画素分隣接して配置された１６の画素の集合である。即ち、ｉ±２行目、ｊ±２列目の範囲に位置する画素の内、欠陥画素５０と第１の画素群５１を除いた１６画素である。当該第２の画素群５２の輝度値をＰｉ±２，ｊ±２とする。
【００１９】
図４は欠陥画素５０に目的物１０が存在する場合の輝度値の分布図の例である。目的物１０が撮像された画素の輝度値は周辺の画素の輝度値と比べて大きく、目的物１０が撮像された画素から離れるに従い、画素の輝度値は小さくなる。
【００２０】
目的物１０が撮像された画素の輝度値を４．０とする。ただし、本実施形態において、欠陥画素５０の本来の輝度値は４．０であるが、輝度値が欠落した状態となっている。第１の画素群５１の輝度値は欠陥画素５０の本来の輝度値４．０の影響を受けた輝度値を持つ。第２の画素群５２は第１の画素群５１よりも小さな輝度値を持つ。
【００２１】
本実施形態の欠陥画素５０の輝度値は、欠陥画素５０の行方向、列方向および対角方向における、第２の画素群５２から第１の画素群５１へ向かう輝度値のベクトルの数をもとに推定する。
【００２２】
図５は本実施形態の欠陥画素５０に目的物１０が存在する場合の輝度値のベクトルの例である。輝度値のベクトルは欠陥画素５０の行方向、列方向および対角方向のいずれかの方向においても、欠陥画素５０に向かって形成される。本実施形態の場合、輝度値のベクトルは行方向、列方向および対角方向のいずれの方向においても欠陥画素５０に向かって形成されている。
【００２３】
本実施形態では、欠陥画素５０の輝度値の推定方法は前記欠陥画素５０に向かう輝度値の複数の方向のベクトルの値の平均値と、ベクトルの数とからなる関数式から推定する。ここで、ベクトルの方向は全て欠陥画素５０に向かう方向とし、輝度値は増加するときは正の値に、減少するときは負の値になると定義して説明する。
【００２４】
図６は第１の画素群５１の輝度値と第２の画素群５２の輝度値とに基づく輝度値のベクトル場の図である。欠陥画素５０に向かう輝度値のベクトルを、ベクトルｖ１乃至ｖ８とする。列方向の上側より欠陥画素５０に向かう輝度値のベクトルをベクトルｖ１とし、時計まわりにベクトルｖ２乃至ｖ８とする。
【００２５】
欠陥画素５０は撮像画像のｉ行目、ｊ列目に位置している。このとき、欠陥画素５０の輝度値の推定値をＰｉ，ｊとする。第１の画素群５１と第２の画素群５２との輝度値についても同様に行列表記したものが図６となる。
【００２６】
欠陥画素５０、第１の画素群５１、第２の画素群５２の輝度値が図５と同様の数値とした場合、欠陥画素５０に向かうベクトルｖ１乃至ｖ８における輝度値のベクトルの大きさの値は以下のように求める。
【００２７】
ｖ１＝Ｐｉ−１，ｊ＋（Ｐｉ−１，ｊ−Ｐｉ−２，ｊ）＝０．２‥‥（式１）
ｖ２＝Ｐｉ−１，ｊ＋１＋（Ｐｉ−１，ｊ＋１−Ｐｉ−２，ｊ＋２）＝０．２‥‥（式２）
ｖ３＝Ｐｉ，ｊ＋１＋（Ｐｉ，ｊ＋１−Ｐｉ，ｊ＋２）＝０．４‥‥（式３）
ｖ４＝Ｐｉ＋１，ｊ＋１＋（Ｐｉ＋１，ｊ＋１−Ｐｉ＋２，ｊ＋２）＝０．４‥‥（式４）
ｖ５＝Ｐｉ＋１，ｊ＋（Ｐｉ＋１，ｊ−Ｐｉ＋２，ｊ）＝０．８‥‥（式５）
ｖ６＝Ｐｉ＋１，ｊ−１＋（Ｐｉ＋１，ｊ−１−Ｐｉ＋２，ｊ−２）＝０．４‥‥（式６）
ｖ７＝Ｐｉ，ｊ−１＋（Ｐｉ，ｊ−１−Ｐｉ，ｊ−２）＝０．６‥‥（式７）
ｖ８＝Ｐｉ−１，ｊ−１＋（Ｐｉ−１，ｊ−１−Ｐｉ−２，ｊ−２）＝０．３‥‥（式８）
欠陥画素５０の輝度値の推定値は、これらのベクトルｖ１乃至ｖ８の大きさの平均値と、ベクトルの数とからなる関数式に基づいて導出する。欠陥画素５０に向かう輝度値のベクトルの数をＮとすると、欠陥画素５０の輝度値の推定値は
ΣｖＭ／Ｎ×ｅｘｐ（Ｎ／４）‥‥（式９）
となる。Ｍは１からＮまでの自然数である。
【００２８】
図８の輝度値の場合、欠陥画素５０の輝度値の推定値は
（０．２＋０．２＋０．４＋０．４＋０．８＋０．４＋０．６＋０．３）／８×ｅｘｐ（８／４）＝３．０‥‥（式１０）
となる。
【００２９】
輝度値推定部３３で推定された欠陥画素５０の輝度値は補正画像メモリ３４に記憶される。
【００３０】
目的物存在位置判定部３５は、この推定された輝度値が例えば１以上であれば欠陥画素５０の位置に目的物１０が存在する候補の画素であると判定する。欠陥画素５０の本来の輝度値が４．０であり、推定された輝度値が３．０であるが、輝度値が１以上であるため、目的物１０の存在の判定をすることができる。
【００３１】
ただし、上記の例示における関数式の指数関数ｅｘｐ（Ｎ／４）は本実施形態において一例に過ぎず、この関数式に限定されるものではない。関数式は以下の（式１１）のように輝度値のベクトルの数をＮの３次以上の高次関数式でもよい。ａ、ｂ、ｃ、ｄは定数とする。
【００３２】
ΣｖＭ／Ｎ×（ａＮ３＋ｂＮ２＋ｃＮ＋ｄ）‥‥（式１１）
このように、制御部３０は欠陥画素５０に隣接する第１の画素群５１と、第１の画素群５１に隣接する第２の画素群５２とから当該欠陥画素５０の輝度値を推定する。その後、推定された輝度値に基づいて欠陥画素５０を目的物１０が存在する候補の画素として判定することができる。
【００３３】
（第２の実施形態）
第２の実施形態である目的物検出装置のブロック図及びフローチャートは図１及び図２と同様である。本実施形態では、欠陥画素５０を目的物１０が存在する候補の画素であると判定されたとき、さらに欠陥画素５０の中のどの領域に目的物１０が存在するかについても判定するものである。このため、前記欠陥画素５０に分割した複数の領域を形成する。そして、それぞれの領域には第１の実施形態にて導出したベクトルｖ１乃至ｖ８の大きさの値が格納される。各領域に格納された値から、以下のようにして当該欠陥画素５０のどの領域に目的物１０が存在するかを判定する。
【００３４】
図７は欠陥画素５０を９分割した場合の分割領域の図である。第１の実施形態と同様にベクトルｖ１乃至ｖ８を設定する。目的物１０が欠陥画素５０に存在する場合、輝度値のベクトルは欠陥画素５０の分割領域の内、中心以外の８つの分割領域に向かって形成される。当該８つの分割領域に、ベクトルｖ１乃至ｖ８の大きさの値を格納する。
【００３５】
図８は第１の画素群５１と第２の画素群５２との輝度値が図５と同様の場合のベクトル場（ａ）と欠陥画素５０の分割領域の輝度値の図（ｂ）である。図８（ａ）におけるベクトルｖ１乃至ｖ８の大きさは第１の実施形態にて導出した値と同様である。すなわち、値の求め方は上記式１乃至式８と同じである。図８（ｂ）における欠陥画素５０内の分割領域にはベクトルｖ１乃至ｖ８の大きさが格納されている。
【００３６】
分割領域の内、３行目２列目の分割領域を分割領域５０１とする。３行目１列目の領域を分割領域５０２とする。２行目１列目の領域を分割領域５０３とする。例えば、分割領域５０１にはベクトルｖ５から輝度値０．８が格納され、分割領域５０２にはベクトルｖ６から輝度値０．４が格納され、分割領域５０３にはｖ７から輝度値０．６が格納されている。
【００３７】
そして、分割領域の輝度値の値の大きさから欠陥画素５０のどの部分に目的物１０が存在するかを判定する。
【００３８】
図８においては分割領域における輝度値の相関から輝度値の大きい左下に目的物１０が存在していると判定する。
【００３９】
このように、制御部３０は欠陥画素５０に隣接する第１の画素群５１と、第１の画素群５１に隣接する第２の画素群５２とから当該欠陥画素５０の輝度値を推定する。その後、当該輝度値のベクトルから欠陥画素５０を目的物１０が存在する候補として判定し、更に欠陥画素５０内のどの領域に目的物１０が存在するかを詳細に判定することができる。
【００４０】
（第３の実施形態）
第３の実施形態である目的物検出装置のブロック図及びフローチャートは図１及び図２と同様である。本実施形態は第２の実施形態と同様に欠陥画素５０に分割領域を形成させ、分割領域に各領域の推定した輝度値を格納し、目的物１０が存在する箇所の詳細を判定する。
【００４１】
各領域の輝度値を算出するための輝度値のベクトル場は図７と同様である。各領域の輝度値はベクトルｖ１乃至ｖ８から導出するが、本実施形態におけるベクトルｖ１乃至ｖ８の大きさは、第１の画素群５１内の３画素の輝度値の平均値と、第２の画素群５２内の５画素の輝度値の平均値と、に基づいて導出する。
【００４２】
図９は本実施形態における分割領域５０２の輝度値の算出方法の図である。（ａ）は第１の画素群５１と第２の画素群５２との輝度値を示した図である。（ｂ）は欠陥画素５０内の分割領域の図である。
【００４３】
以下、分割領域５０２に格納される輝度値について説明をする。第１の画素群５１内の画素の内、分割領域５０２と辺または対角方向において隣接する画素は３画素であり、これらを画素５１１、画素５１２、画素５１３とする。
【００４４】
また、第２の画素群５２の内、画素５１１と画素５１２と画素５１３とにおいて隣接する画素の内４画素と、画素５１２と対角方向において隣接する１画素とを抽出する。これら合計５画素をそれぞれ、画素５２１、画素５２２、画素５２３、画素５２４、画素５２５とする。
【００４５】
即ち第１の画素群５１の内、分割領域５０２と対角方向に隣接する画素５１２を抽出する。そして、画素５１２に行方向に隣接する１画素分の画素５１１と、列方向に隣接する１画素分の画素５１３とを抽出する。さらに、第２の画素群５２の内、分割領域５０２と対角方向に位置し、画素５１２と対角方向に隣接する画素５２３を抽出する。そして、画素５２３に行方向に隣接する２画素分の画素５２１と画素５２２と、列方向に隣接する２画素分の画素５２４と画素５２５とを抽出する。
【００４６】
分割領域５０２の輝度値は図１０における対角方向のベクトルｖ６の大きさにより導出する。ベクトルｖ６の大きさは、第１の画素群５１の３画素（画素５１１、画素５１２、画素５１３）の輝度値の平均値と、第２の画素群５２の５画素（画素５２１、画素５２２、画素５２３、画素５２４、画素５２５）の輝度値の平均値とから導出する。
【００４７】
第１の画素群５１の３画素の輝度値の平均値をＰ１ＡＶＥとし、第２の画素群５２の５画素の輝度値の平均値をＰ２ＡＶｅとすると、それぞれの輝度値の平均値は
Ｐ１ＡＶＥ＝（Ｐｉ＋１，ｊ＋Ｐｉ＋１，ｊ−１＋Ｐｉ，ｊ−１）／３‥‥（式１２）
Ｐ２ＡＶＥ＝（Ｐｉ＋２，ｊ＋Ｐｉ＋２，ｊ−１＋Ｐｉ＋２，ｊ−２＋Ｐｉ＋１，ｊ−２＋Ｐｉ，ｊ−２）／５‥‥（式１３）
となる。これにより、対角方向のベクトルｖ６の大きさは
ｖ６＝Ｐ１ＡＶＥ＋（Ｐ１ＡＶＥ−Ｐ２ＡＶＥ）‥‥（式１４）
となる。分割領域５０２の輝度値はベクトルｖ６の大きさの値が格納される。
【００４８】
さらに、分割領域５０３に格納される輝度値について説明をする。
【００４９】
図１０は分割領域５０３の輝度値の算出方法の図である。（ａ）は第１の画素群５１と第２の画素群５２との輝度値を示した図である。（ｂ）は欠陥画素５０内の分割領域の図である。
【００５０】
第１の画素群５１内の画素の内、分割領域５０３と辺において隣接する画素は画素５１３である。第１の画素群５１の内、画素５１３と下側で隣接する画素は画素５１２である。第１の画素群５１の内、画素５１３と上側で隣接する画素を画素５１４とする。
【００５１】
また、第２の画素群５２の内、画素５１３と辺において隣接する画素は画素５２５である。第２の画素群５２の内、画素５２５と下側で隣接する２画素分の画素は画素５２３と画素５２４である。第２の画素群５２の内、画素５２５と上側で隣接する２画素分の画素は画素５２６と画素５２７である。
【００５２】
即ち第１の画素群５１の内、分割領域５０３と行方向に隣接する画素５１３を抽出する。そして、画素５１３に列方向に隣接する１画素分の画素５１２と、画素５１４とを抽出する。さらに、第２の画素群５２の内、分割領域５０３と対角方向に位置し、画素５１３と行方向に隣接する画素５２５を抽出する。そして、画素５２５に列方向に隣接する２画素分の画素５２３と画素５２４と画素５２６と画素５２７とを抽出する。
【００５３】
分割領域５０３の輝度値は図７における対角方向のベクトルｖ７の大きさにより導出する。ベクトルｖ７の大きさは、第１の画素群５１の３画素（画素５１２、画素５１３、画素５１４）の輝度値の平均値と、第２の画素群５２の５画素（画素５２３、画素５２４、画素５２５、画素５２６、画素５２７）の輝度値の平均値とから導出する。
【００５４】
第１の画素群５１の３画素の輝度値の平均値をＰ１ＡＶＥとし、第２の画素群５２の５画素の輝度値の平均値をＰ２ＡＶｅとすると、それぞれの輝度値の平均値は
Ｐ１ＡＶＥ＝（Ｐｉ＋１，ｊ−１＋Ｐｉ，ｊ−１＋Ｐｉ−１，ｊ−１）／３‥‥（式１５）
Ｐ２ＡＶＥ＝（Ｐｉ＋２，ｊ−２＋Ｐｉ＋１，ｊ−２＋Ｐｉ，ｊ−２＋Ｐｉ―１，ｊ−２＋Ｐｉ−２，ｊ−２）／５‥‥（式１６）
となる。これにより、行方向のベクトルｖ７の大きさは
ｖ７＝Ｐ１ＡＶＥ＋（Ｐ１ＡＶＥ−Ｐ２ＡＶＥ）‥‥（式１７）
となる。分割領域５０３の輝度値はベクトルｖ７の大きさの値が格納される。
【００５５】
分割領域５０１の輝度値は分割領域５０３の輝度値の求め方と同様に導出する。分割領域５０１の輝度値は、欠陥画素５０が撮像画像のｉ行目、ｊ列目にある場合、第１の画素群５１内のｉ＋１行目のｊ−１列目からｊ＋１列目までの３画素の輝度値の平均値と、第２の画素群５２内のｉ＋２行目のｊ−２列目からｊ＋２列目までの５画素の輝度値の平均値とに基づいて導出する。
【００５６】
図１１は第１の画素群５１と第２の画素群５２の輝度値が図５の値であった場合の分割領域の輝度値の値である。
【００５７】
そして、前記の第２の実施形態において算出した輝度値と前記所定の閾値（第２の実施形態で用いた値１）とから当該欠陥画素５０に目的物１０が存在する画素の候補として判定する。更に分割領域の輝度値の値の大きさから欠陥画素５０のどの部分に目的物１０が存在するかを判定する。
【００５８】
図１１においては分割領域における輝度値の相関から輝度値の大きい左下に目的物１０が存在していると判定する。
【００５９】
なお、本実施形態において、欠陥画素５０の分割領域を９分割としたが、分割数は９に限定されるものではない。分割数は例えば、図１２および図１３のように４分割にしても良い。図１２の場合、各領域には対角方向のベクトルから求めたベクトル（ベクトルｖ２、ベクトルｖ４、ベクトルｖ６、ベクトルｖ８）の大きさを輝度値として格納する。図１３の場合、各領域には行方向および列方向のベクトルから求めたベクトル（ベクトルｖ１、ベクトルｖ３、ベクトルｖ５、ベクトルｖ７）の大きさを輝度値として格納する。図１２および図１３の場合であっても目的物１０が欠陥画素５０の左下に存在することを判定することができる。
【００６０】
このように、制御部３０は欠陥画素５０に隣接する第１の画素群５１と、第１の画素群５１に隣接する第２の画素群５２とから当該欠陥画素５０の輝度値を推定する。その後、当該輝度値のベクトルから欠陥画素５０を目的物１０が存在する候補として判定し、更に目的物１０の存在する箇所の詳細を判定することができる。
【００６１】
（第４の実施形態）
なお、第１乃至第３の実施形態では、欠陥画素５０の輝度値を推定し、その輝度値に基づいて欠陥画素５０の位置に目的物１０が存在する候補として判定したが、第４の実施形態では輝度値推定部３３で算出したベクトルの値が所定の値以上のベクトルの本数に基づいて判定するものである。
【００６２】
本実施形態の目的物検出装置は、目的物存在位置判定部３５において、欠陥画素５０に向かうベクトルの値が所定の値以上のベクトルの本数が所定の本数以上のとき、欠陥画素５０を目的物１０が存在する候補の画素として判定する。この第４の実施形態のベクトルの値は画素の輝度値の差分として求める。
【００６３】
判定方法の第１の例として、上記所定の本数を２とする。輝度値のベクトルが行方向、列方向および対角方向のいずれかの方向において、欠陥画素５０に向かう輝度値のベクトルの値が０．１以上のベクトルが２本以上のときは、当該欠陥画素５０を目的物１０が存在する候補の画素として判定する。
【００６４】
図１４の（ａ）（ｂ）は行方向における欠陥画素５０に向かう輝度値のベクトルの例である。各画素の数値は各々の輝度値である。（ａ）は第１の画素群５１と第２の画素群５２との輝度値とから、行方向における欠陥画素５０に向かう０．１以上の輝度値のベクトルの本数は２本である。このため、（ａ）では欠陥画素５０を目的物１０が存在する候補の画素として判定する。
【００６５】
しかしながら、（ｂ）は欠陥画素５０の左側では輝度値のベクトルの値が０．１以上であるが、右側では欠陥画素５０に向うベクトルの値は−０．２と０．１以下である。このため、（ｂ）は行方向における欠陥画素５０に向かう０．１以上の輝度値のベクトルの本数は１本となる。このため、（ｂ）では欠陥画素５０を目的物１０が存在する候補ではない画素として判定する。
【００６６】
また、判定方法の第２の例として、上記所定の数を４とする。欠陥画素５０に向かって形成される輝度値のベクトルが４本以上のときは、当該欠陥画素５０を目的物１０が存在する候補の画素として判定する。
【００６７】
図１５は欠陥画素５０に向かう輝度値のベクトルの例である。各画素の数値は各々の輝度値である。第１の画素群５１と第２の画素群５２との輝度値とから、欠陥画素５０に向かう輝度値のベクトルの値を各画素の輝度値の差分として求める。その結果、図１５の例では、欠陥画素５０に向かう０．１以上の輝度値のベクトルの本数は５本となる。所定の数を４とした場合、ベクトルの数は所定の数以上のため、本実施形態の目的物検出装置は、当該欠陥画素５０を目的物１０が存在する候補の画素として判定する。
【００６８】
なお、ベクトルの値である第１の画素群５１の輝度値と第２の画素群５２の輝度値との差分が０．１以上のベクトルの数で判定したが、差分は０．１に限定されるものではなく、例えば、所定の値を０．２とした場合、図１５において、輝度値の差分が０．２以上のベクトルは４本となる。所定の数を４とした場合、ベクトルの数は所定の数以上のため、本実施形態の目的物検出装置は、当該欠陥画素５０を目的物１０が存在する候補の画素として判定する。
【００６９】
このように、制御部３０は欠陥画素５０に隣接する第１の画素群５１と、第１の画素群５１に隣接する第２の画素群５２とから、欠陥画素５０を目的物１０が存在する候補として判定することができる。
【００７０】
（第５の実施形態）
図１６は第５の実施形態である欠陥画素の補正装置のブロック図である。本実施形態の欠陥画素の補正装置は、上記第１の実施形態乃至第４の実施形態において導出された欠陥画素５０の輝度値の推定値に基づいて、撮像された画像を補正する装置である。
【００７１】
制御部３０は欠陥画素５０における輝度値の推定値を欠陥画素５０の部分に適用して、撮像画像を補正する。
【００７２】
モニタ４０は制御部３０にて補正された撮像画像を表示する。
【００７３】
これにより欠陥画素５０を含む撮像画像を、目的物１０の位置を特定した画像に補正することが可能となる。このような補正装置を用いることにより１画素程度の小さな物体でも周囲の画素と区別して表示することができる。
【００７４】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、そのほかの様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７５】
１０‥‥目的物、
２０‥‥撮像器、
２１‥‥レンズ、
２２‥‥撮像素子、
３０‥‥制御部、
３１‥‥画像メモリ、
３２‥‥欠陥画素位置記憶部、
３３‥‥輝度値推定部、
３４‥‥補正画像メモリ、
３５‥‥目的物存在位置判定部、
４０‥‥モニタ、
５０‥‥欠陥画素、
５０１、５０２、５０３‥‥分割領域、
５１‥‥第１の画素群、
５１１、５１２、５１３‥‥第１の画素群内の画素、
５２‥‥第２の画素群、
５２１、５２２、５２３、５２４、５２５、５２６、５２７‥‥第２の画素群内の画素。
【図１】
2017022527.tif 000003
【図２】
2017022527.tif 000004
【図３】
2017022527.tif 000005
【図４】
2017022527.tif 000006
【図５】
2017022527.tif 000007
【図６】
2017022527.tif 000008
【図７】
2017022527.tif 000009
【図８】
2017022527.tif 000010
【図９】
2017022527.tif 000011
【図１０】
2017022527.tif 000012
【図１１】
2017022527.tif 000013
【図１２】
2017022527.tif 000014
【図１３】
2017022527.tif 000015
【図１４】
2017022527.tif 000016
【図１５】
2017022527.tif 000017
【図１６】
2017022527.tif 000018