(57)【要約】      （修正有）【課題】撮像素子の不良画素のデータをより好適な値に補正する。【解決手段】撮像装置１は、２次元配列された複数の画素を有し各画素の撮像データを出力する撮像素子１１と撮像素子の複数の画素のうち不良画素の位置情報を記憶する記憶部１５と、撮像素子から出力された正常画素の撮像データに基づいて記憶部に記憶された不良画素のデータを補正する補正部１３とを備える。補正部１３は撮像素子１１において補正対象の不良画素（補正対象画素）を含めて第１方向に連続する不良画素の個数が３未満である場合に、補正対象画素から第１方向の両側それぞれで最も近い１組の正常画素の撮像データを用いて補正対象画素のデータを補正する。【選択図】図１
2017098775.tif 000002
【特許請求の範囲】
【請求項１】
２次元配列された複数の画素を有し各画素の撮像データを出力する撮像素子と、
前記撮像素子の前記複数の画素のうち不良画素の位置情報を記憶する記憶部と、
前記撮像素子から出力された正常画素の撮像データに基づいて、前記記憶部に記憶された不良画素のデータを補正する補正部と、
を備え、
前記補正部は、
前記撮像素子において補正対象の不良画素（以下「補正対象画素」という。）を含めて第１方向に連続する不良画素の個数が３未満である場合に、前記補正対象画素から前記第１方向の両側それぞれで最も近い１組の正常画素の撮像データを用いて前記補正対象画素のデータを補正し、
前記撮像素子において前記補正対象画素を含めて前記第１方向に連続する不良画素の個数が３以上である場合であって、前記第１方向に直交する第２方向または斜め方向に隣接する正常画素の個数が複数である場合に、これら複数個の正常画素の撮像データを用いて前記補正対象画素のデータを補正し、
前記撮像素子において前記補正対象画素を含めて前記第１方向に連続する不良画素の個数が３以上である場合であって、前記第２方向または前記斜め方向に隣接する正常画素の個数が１である場合に、この１個の正常画素の撮像データを用いて前記補正対象画素のデータを補正し、
前記撮像素子において前記補正対象画素に対して前記第１方向，前記第２方向または前記斜め方向に隣接する画素が全て不良画素である場合に、所定値を前記補正対象画素のデータとする、
撮像装置。
【請求項２】
前記補正部は、複数個の正常画素の撮像データを用いて前記補正対象画素のデータを補正する際に、前記複数個の正常画素の撮像データの平均値を前記補正対象画素のデータとする、請求項１に記載の撮像装置。
【請求項３】
前記補正部は、複数個の正常画素の撮像データを用いて前記補正対象画素のデータを補正する際に、前記複数個の正常画素の撮像データのメジアンを前記補正対象画素のデータとする、請求項１に記載の撮像装置。
【請求項４】
前記補正部は、複数個の正常画素の撮像データを用いて前記補正対象画素のデータを補正する際に、前記撮像素子における前記複数個の正常画素および前記補正対象画素それぞれの位置に基づいて補間計算を行って前記補正対象画素のデータを補正する、請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関するものである。
【背景技術】
【０００２】
撮像装置は、２次元配列された複数の画素を有し各画素の撮像データを出力する撮像素子を備える。このような撮像装置において、撮像素子の複数の画素のうち何れかの画素が不良画素であると、その不良画素の撮像データは異常な値となる。そこで、撮像装置を工場から出荷する段階で、撮像素子を検査することで複数の画素の中から不良画素を見出して、その不良画素を特定する情報を撮像装置の記憶部に記憶させておく。そして、撮像装置を使用する段階では、記憶部に記憶された不良画素に隣接する正常画素の撮像データを用いて不良画素のデータを補間する処理が行われる（特許文献１参照）。このような処理が行われることにより、不良画素に起因する画質劣化が低減される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−９３６８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載された不良画素のデータ補正方法では、その不良画素の位置でデータの連続性が悪くなる場合があることを、本発明者は見出した。
【０００５】
本発明は、上記問題点を解消する為になされたものであり、撮像素子の不良画素のデータをより好適な値に補正することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の撮像装置は、(1) ２次元配列された複数の画素を有し各画素の撮像データを出力する撮像素子と、(2) 前記撮像素子の前記複数の画素のうち不良画素の位置情報を記憶する記憶部と、(3) 前記撮像素子から出力された正常画素の撮像データに基づいて、前記記憶部に記憶された不良画素のデータを補正する補正部と、を備える。
【０００７】
この撮像装置において、補正部は、前記撮像素子において補正対象の不良画素（以下「補正対象画素」という。）を含めて第１方向に連続する不良画素の個数が３未満である場合に、前記補正対象画素から前記第１方向の両側それぞれで最も近い１組の正常画素の撮像データを用いて前記補正対象画素のデータを補正する。補正部は、前記撮像素子において前記補正対象画素を含めて前記第１方向に連続する不良画素の個数が３以上である場合であって、前記第１方向に直交する第２方向または斜め方向に隣接する正常画素の個数が複数である場合に、これら複数個の正常画素の撮像データを用いて前記補正対象画素のデータを補正する。補正部は、前記撮像素子において前記補正対象画素を含めて前記第１方向に連続する不良画素の個数が３以上である場合であって、前記第２方向または前記斜め方向に隣接する正常画素の個数が１である場合に、この１個の正常画素の撮像データを用いて前記補正対象画素のデータを補正する。また、補正部は、前記撮像素子において前記補正対象画素に対して前記第１方向，前記第２方向または前記斜め方向に隣接する画素が全て不良画素である場合に、所定値を前記補正対象画素のデータとする。
【発明の効果】
【０００８】
本発明によれば、撮像素子の不良画素のデータをより好適な値に補正することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、本実施形態の撮像装置１の構成を示す図である。
【図２】図２は、撮像素子１１の複数の画素のうち５×５個の画素の配置を示す図である。
【図３】図３は、撮像素子１１の複数の画素のうち５×５個の画素の配置を示す図である。
【図４】図４は、撮像素子１１の複数の画素のうち５×５個の画素の配置を示す図である。
【図５】図５は、撮像素子１１の複数の画素のうち５×５個の画素の配置を示す図である。
【図６】図６は、撮像素子１１の複数の画素のうち５×５個の画素の配置を示す図である。
【図７】図７は、撮像素子１１の複数の画素のうち５×５個の画素の配置を示す図である。
【図８】図８は、撮像素子１１の複数の画素のうち５×５個の画素の配置を示す図である。
【図９】図９は、撮像素子１１の複数の画素のうち５×５個の画素の配置を示す図である。
【図１０】図１０は、撮像素子１１の複数の画素のうち５×５個の画素の配置を示す図である。
【図１１】図１１は、撮像素子１１の複数の画素のうち５×５個の画素の配置を示す図である。
【発明を実施するための形態】
【００１０】
本発明の撮像装置は、(1) ２次元配列された複数の画素を有し各画素の撮像データを出力する撮像素子と、(2) 前記撮像素子の前記複数の画素のうち不良画素の位置情報を記憶する記憶部と、(3) 前記撮像素子から出力された正常画素の撮像データに基づいて、前記記憶部に記憶された不良画素のデータを補正する補正部と、を備える。
【００１１】
この撮像装置において、補正部は、前記撮像素子において補正対象の不良画素（補正対象画素）を含めて第１方向に連続する不良画素の個数が３未満である場合に、前記補正対象画素から前記第１方向の両側それぞれで最も近い１組の正常画素の撮像データを用いて前記補正対象画素のデータを補正する。補正部は、前記撮像素子において前記補正対象画素を含めて前記第１方向に連続する不良画素の個数が３以上である場合であって、前記第１方向に直交する第２方向または斜め方向に隣接する正常画素の個数が複数である場合に、これら複数個の正常画素の撮像データを用いて前記補正対象画素のデータを補正する。補正部は、前記撮像素子において前記補正対象画素を含めて前記第１方向に連続する不良画素の個数が３以上である場合であって、前記第２方向または前記斜め方向に隣接する正常画素の個数が１である場合に、この１個の正常画素の撮像データを用いて前記補正対象画素のデータを補正する。また、補正部は、前記撮像素子において前記補正対象画素に対して前記第１方向，前記第２方向または前記斜め方向に隣接する画素が全て不良画素である場合に、所定値を前記補正対象画素のデータとする。
【００１２】
前記補正部は、複数個の正常画素の撮像データを用いて前記補正対象画素のデータを補正する際に、前記複数個の正常画素の撮像データの平均値を前記補正対象画素のデータとするのが好適である。
【００１３】
前記補正部は、複数個の正常画素の撮像データを用いて前記補正対象画素のデータを補正する際に、前記複数個の正常画素の撮像データのメジアンを前記補正対象画素のデータとするのが好適である。
【００１４】
また、前記補正部は、複数個の正常画素の撮像データを用いて前記補正対象画素のデータを補正する際に、前記撮像素子における前記複数個の正常画素および前記補正対象画素それぞれの位置に基づいて補間計算を行って前記補正対象画素のデータを補正するのが好適である。
【００１５】
以下、添付図面を参照して、本発明を実施するための形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。本発明は、これらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【００１６】
図１は、本実施形態の撮像装置１の構成を示す図である。撮像装置１は、撮像素子１１、出力値変換部１２、補正部１３、インターフェース部１４、記憶部１５および制御部１６を備える。
【００１７】
撮像素子１１は、２次元配列された複数の画素を有し、各画素の撮像データを出力値変換部１２へ出力する。出力値変換部１２は、撮像素子１１から出力された各画素のデータを入力するとともに、記憶部１５により予め記憶されている各画素の特性情報を入力して、各画素について特性情報に基づいてデータを変換する。出力値変換部１２により変換された後の各画素のデータは、受光量に対応した値となる。この変換処理はＮＵＣ補正（Non-uniformity correction）と呼ばれる。出力値変換部１２は、この変換後の各画素のデータを補正部１３へ出力する。
【００１８】
補正部１３は、撮像素子１１から出力されて出力値変換部１２により変換処理された各画素の撮像データを入力するとともに、記憶部１５により予め記憶されている撮像素子１１の複数の画素のうち不良画素の位置情報を入力して、正常画素の撮像データに基づいて不良画素のデータを補正する。補正部１３は、正常画素の撮像データおよび不良画素の補正後のデータをインターフェース部１４へ出力する。インターフェース部１４は、これら各画素のデータを外部へ出力する。また、インターフェース部１４は、外部から制御信号を入力して、この制御信号を制御部１６へ出力する。
【００１９】
記憶部１５は、撮像素子１１の複数の画素のうち不良画素の位置情報を予め記憶しており、また、撮像素子１１の各画素の特性情報を予め記憶している。記憶部１５は、これらの情報を工場出荷時または出荷後のメンテナンス時に記憶し、これらの情報を使用時に出力値変換部１２または補正部１３へ出力する。
【００２０】
制御部１６は、外部からインターフェース部１４を経て与えられた制御信号を受け取り、撮像素子１１、出力値変換部１２、補正部１３、インターフェース部１４および記憶部１５それぞれの動作を制御する。制御部１６は、例えば、撮像素子１１の状態制御、画素情報の読取および書込、出力値変換部１２による変換処理、補正部１３による補正処理、記憶部１５による不良画素の位置情報の読取および書込、ならびに、インターフェース部１４によるデータ出力処理、等を行う。
【００２１】
撮像素子１１の画素は、内部の構造欠陥等に因り異常な値のデータを出力する場合がある。このような画素を不良画素という。不良画素を含む撮像素子１１で撮影した画像は、異常値を示す画素が点として現れ、品質が劣化する。そこで、補正部１３は、撮像素子１１から出力された正常画素の撮像データに基づいて、不良画素のデータを補正する。補正部１３は、補正対象の不良画素（補正対象画素）のデータを、その補正対象画素に近い位置にある１個または複数個の正常画素の撮像データを用いて所定の方法で求めた補正値に置き換えて、その置き換え後のデータを補正対象画素のデータとして出力する。
【００２２】
次に、補正部１３による不良画素のデータの補正の方法について図２〜図１１を用いて説明する。図２〜図１１は、撮像素子１１の複数の画素のうち５×５個の画素の配置を示す図である。これら５×５個の画素のうち中央位置にある画素を補正対象画素ｗとする。
【００２３】
図２に示される例では、補正対象画素ｗの左側に隣接して正常画素ａがあり、補正対象画素ｗの右側に隣接して正常画素ｂがある。このように補正対象画素ｗに対し横方向の両側に隣接して正常画素ａ，ｂがある場合には、補正部１３は、これら２個の正常画素ａ，ｂの撮像データの平均値を補正対象画素ｗのデータとする。
【００２４】
図３に示される例では、補正対象画素ｗの左側に隣接して正常画素ａがあり、補正対象画素ｗの右側に隣接して不良画素ｚがある。この場合には、補正部１３は、１個の正常画素ａの撮像データを補正対象画素ｗのデータとする。
【００２５】
図４に示される例では、補正対象画素ｗの左側に隣接して不良画素ｚがあり、補正対象画素ｗの右側に隣接して正常画素ｂがある。この場合には、補正部１３は、１個の正常画素ｂの撮像データを補正対象画素ｗのデータとする。
【００２６】
図５に示される例では、補正対象画素ｗの左側に隣接して不良画素ｚがあり、補正対象画素ｗの右側に隣接して不良画素ｚがある。この場合には、補正部１３は、左右に隣接する画素のデータを用いて補正対象画素ｗのデータを求めることができない。
【００２７】
図３および図４に示される例では、補正対象画素ｗのデータは、左右に隣接する２個の正常画素のデータの平均値ではないので、真値との差が大きくなり易い。図５に示される例では、補正対象画素ｗのデータは、左右に隣接する２個の正常画素のデータとは関係ない値となるので、連続性が悪くなる場合がある。そこで、本実施形態では、図３〜図５の場合には、図６〜図１１で説明する補正方法を採用する。
【００２８】
図６に示される例では、補正対象画素ｗの左側に隣接して正常画素ａがある。補正対象画素ｗの右側に隣接して不良画素ｚがあり、この不良画素ｚの右側に隣接して正常画素ｄがある。この場合、補正部１３は、これら２個の正常画素ａ，ｄの撮像データの平均値を補正対象画素ｗのデータとする。
【００２９】
図７に示される例では、補正対象画素ｗの左側に隣接して不良画素ｚがあり、この不良画素ｚの左側に隣接して正常画素ｃがある。補正対象画素ｗの右側に隣接して正常画素ｂがある。この場合、補正部１３は、これら２個の正常画素ｃ，ｂの撮像データの平均値を補正対象画素ｗのデータとする。
【００３０】
すなわち、図２，図６および図７に示されるように、本実施形態では、補正部１３は、撮像素子１１において補正対象画素ｗを含めて横方向に連続する不良画素の個数が３未満である場合に、補正対象画素ｗから横方向の両側それぞれで最も近い１組の正常画素の撮像データを用いて補正対象画素ｗのデータを補正する。
【００３１】
図８に示される例では、補正対象画素ｗの左側に隣接して不良画素ｚがあり、補正対象画素ｗの右側に隣接して不良画素ｚがある。補正対象画素ｗの左上側に隣接して正常画素ｅがあり、補正対象画素ｗの上側に隣接して正常画素ｆがあり、補正対象画素ｗの右上側に隣接して正常画素ｇがある。また、補正対象画素ｗの左下側に隣接して正常画素ｈがあり、補正対象画素ｗの下側に隣接して正常画素ｊがあり、補正対象画素ｗの右下側に隣接して正常画素ｋがある。この場合、補正部１３は、これら６個の正常画素ｅ，ｆ，ｇ，ｈ，ｊ，ｋの撮像データの平均値を補正対象画素ｗのデータとする。
【００３２】
図９に示される例では、補正対象画素ｗの左側に隣接して不良画素ｚがあり、補正対象画素ｗの右側に隣接して不良画素ｚがある。補正対象画素ｗの左上側に隣接して不良画素ｚがあり、補正対象画素ｗの上側に隣接して正常画素ｆがあり、補正対象画素ｗの右上側に隣接して正常画素ｇがある。また、補正対象画素ｗの左下側に隣接して正常画素ｈがあり、補正対象画素ｗの下側に隣接して不良画素ｚがあり、補正対象画素ｗの右下側に隣接して正常画素ｋがある。この場合、補正部１３は、これら４個の正常画素ｆ，ｇ，ｈ，ｋの撮像データの平均値を補正対象画素ｗのデータとする。
【００３３】
すなわち、図８および図９に示されるように、本実施形態では、補正部１３は、撮像素子１１において補正対象画素ｗを含めて横方向に連続する不良画素の個数が３以上である場合であって、縦方向または斜め方向に隣接する正常画素の個数が複数である場合に、これら複数個の正常画素の撮像データを用いて補正対象画素ｗのデータを補正する。
【００３４】
図１０に示される例では、補正対象画素ｗの左側に隣接して不良画素ｚがあり、補正対象画素ｗの右側に隣接して不良画素ｚがある。補正対象画素ｗの左上側に隣接して不良画素ｚがあり、補正対象画素ｗの上側に隣接して不良画素ｚがあり、補正対象画素ｗの右上側に隣接して不良画素ｚがある。また、補正対象画素ｗの左下側に隣接して正常画素ｈがあり、補正対象画素ｗの下側に隣接して不良画素ｚがあり、補正対象画素ｗの右下側に隣接して不良画素ｚがある。この場合、補正部１３は、この１個の正常画素ｈの撮像データを補正対象画素ｗのデータとする。
【００３５】
すなわち、図１０に示されるように、本実施形態では、補正部１３は、撮像素子１１において補正対象画素ｗを含めて横方向に連続する不良画素の個数が３以上である場合であって、縦方向または斜め方向に隣接する正常画素の個数が１である場合に、この１個の正常画素の撮像データを用いて補正対象画素ｗのデータを補正する。
【００３６】
図１１に示される例では、補正対象画素ｗに対して横方向，縦方向または斜め方向に隣接する画素が全て不良画素ｚである。この場合、補正部１３は、所定値（例えば値０）を補正対象画素ｗのデータとする。
【００３７】
本実施形態では、補正部１３が以上のような補正処理をすることで、撮像素子１１の補正対象画素ｗのデータをより好適な値に補正することができ、データの不連続性の発生を抑制することができる。
【００３８】
本発明は、上記実施形態に限定されるものではなく、種々の変形が可能である。補正部１３は、複数個の正常画素の撮像データを用いて補正対象画素のデータを補正する際に、上記実施形態では、これら複数個の正常画素の撮像データの平均値を補正対象画素のデータとしたが、これら複数個の正常画素の撮像データのメジアンを補正対象画素のデータとしてもよい。また、上記実施形態の説明において、横方向と縦方向とを逆にして補正処理をしてもよい。
【００３９】
加えて、補正部１３は、撮像素子１１における複数個の正常画素および補正対象画素それぞれの位置に基づいて線形補間計算を行って補正対象画素のデータを補正するのも好適である。具体的には、補正対象画素の座標を原点として、近傍のｉ（1,2,…,N）番目の画素の相対座標を(ｘｉ，ｙｉ)、出力値をｚｉ、画素の種別をｗｉ（算出に使う場合１、そうでない場合は０）とする。出力値ｚが座標(ｘ，ｙ)の線形結合であると見なしたときの関数を、定数ａ，ｂ，ｄを用いて ｚ＝ａｘ＋ｂｙ＋ｄとしたときに、算出対象の画素群について相対座標(ｘｉ，ｙｉ)での前述の関数による補間値と実際の出力値ｚｉの誤差の二乗和が最小になる定数ａ，ｂ，ｄは、下記方程式（１）の解であり、補正対象画素での補間値ｚ０はｚ０＝ｄ で求められる。この補正値ｚ０は算出対象の出力値ｚｉの線形結合であり、算出対象は高々８画素であるので、前述の方程式を一回一回解かずに、画素の種別のパターン毎にこの方程式から求められる線形結合の式を予め用意して補正値を求めても良い。
【００４０】
【数１】
2017098775.tif 000003
【符号の説明】
【００４１】
１…撮像装置、１１…撮像素子、１２…出力値変換部、１３…補正部、１４…インターフェース部、１５…記憶部、１６…制御部。
【図１】
2017098775.tif 000004
【図２】
2017098775.tif 000005
【図３】
2017098775.tif 000006
【図４】
2017098775.tif 000007
【図５】
2017098775.tif 000008
【図６】
2017098775.tif 000009
【図７】
2017098775.tif 000010
【図８】
2017098775.tif 000011
【図９】
2017098775.tif 000012
【図１０】
2017098775.tif 000013
【図１１】
2017098775.tif 000014