(57)【要約】【課題】特に、車両などの移動体に撮像方向が固定されている場合でも画素の欠陥を適切に補正できるようにする。【解決手段】撮像方向が固定された状態で画像を撮像する撮像部の欠陥画素の候補の画素値が、被写体との相対的な移動の情報である被写体に対する撮像部が固定された物体の移動速度で移動するとき所定時間内に所定数だけ隣の画素に移動しなかった場合、欠陥画素の候補を欠陥画素であるものと検出し、検出した欠陥画素を欠陥補正する。本技術は、撮像装置に適用することができる。【選択図】図５
2017022671.tif 000002
【特許請求の範囲】
【請求項１】
撮像方向が固定された状態で画像を撮像する撮像部と、
前記撮像部の欠陥画素を、被写体との相対的な移動の情報に基づいて検出し、検出した前記欠陥画素を欠陥補正する欠陥検出補正部と
を含む撮像装置。
【請求項２】
前記欠陥検出補正部は、
前記撮像部で撮像された画像の各画素の画素値の周辺画素レベルに基づいて、欠陥画素の候補を検索し、
前記被写体との相対的な移動の情報により、前記欠陥画素の候補の画素信号が、所定のピクセル数だけ動くのに必要とされる移動時間を演算し、
前記欠陥画素の候補が前記移動時間内に前記所定のピクセル数だけ移動しない場合、前記欠陥画素の候補を、欠陥画素に特定し、前記欠陥画素に特定した画素を欠陥補正する
請求項１に記載の撮像装置。
【請求項３】
前記欠陥検出補正部は、
前記欠陥画素の候補が前記移動時間内に前記所定のピクセル数だけ移動しない場合、前記欠陥画素の候補として登録し、
前記欠陥画素の候補となる画素が登録されてから所定時間が経過したとき、登録された前記欠陥画素の候補となる画素を欠陥画素に特定し、前記欠陥画素に特定した画素を欠陥補正する
請求項２に記載の撮像装置。
【請求項４】
前記欠陥検出補正部は、
前記欠陥画素の候補となる画素を登録するとき、登録回数をカウントアップし、
前記欠陥画素の候補となる画素が登録されてから所定時間が経過し、かつ、前記登録回数が所定回数よりも多いとき、登録された前記欠陥画素の候補となる画素を欠陥画素に特定し、前記欠陥画素に特定した画素を欠陥補正する
請求項３に記載の撮像装置。
【請求項５】
前記被写体との相対的な移動の情報は、前記撮像装置本体と前記被写体との相対的な移動速度、相対的な加速度、相対的な角速度、およびGPS（Global Positioning System）により得られる相対的な位置情報を含む
請求項１に記載の撮像装置。
【請求項６】
前記撮像部は、動力を備えて、前記動力により移動する移動体に、撮像方向が固定された状態で画像を撮像し、
前記欠陥検出補正部は、前記撮像部の欠陥画素を、前記移動体と前記被写体との相対的な移動の情報に基づいて検出し、検出した前記欠陥画素を欠陥補正する
請求項１に記載の撮像装置。
【請求項７】
前記移動体は、車両であり、前記相対的な移動の情報は、前記被写体に対する前記車両の相対的な移動速度である
請求項６に記載の撮像装置。
【請求項８】
撮像方向が固定された状態で画像を撮像する撮像部を備えた撮像装置における撮像方法において、
前記撮像部の欠陥画素を、被写体との相対的な移動の情報に基づいて検出し、検出した前記欠陥画素を欠陥補正する
ステップを含む撮像方法。
【請求項９】
撮像方向が固定された状態で画像を撮像する撮像部を備えた撮像装置を制御するコンピュータに、
前記撮像部の欠陥画素を、被写体との相対的な移動の情報に基づいて検出し、検出した前記欠陥画素を欠陥補正する欠陥検出補正部として機能させる
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、撮像装置および撮像方法、並びにプログラムに関し、特に、車両などの移動体に撮像方向が固定されている場合でも画素の欠陥を適切に補正できるようにした撮像装置および撮像方法、並びにプログラムに関する。
【背景技術】
【０００２】
一般に、メカシャッタを持つ撮像装置では、シャッタを閉塞し、撮像素子への入射光を遮光した状態で欠陥画素を測定し、これを記憶しておき、メカシャッタを解放して実際に撮像された画像に対して処理を施すことで欠陥を補正するStatic（静的）欠陥補正が行われている。
【０００３】
ところが、メカシャッタを持たない撮像装置では、静的欠陥補正を実施することができないので、撮像中に繰り返し欠陥画素となる位置を検出することで、欠陥画素らしい画素とみなして補正する、Dynamic（動的）欠陥補正が行われている。
【０００４】
このようなDynamic（動的）欠陥補正を行う技術として、手振れが起きた前後のフレームで欠陥検出した座標が一致している場合に、欠陥の確度が高いとして、欠陥補正の強度を強くする技術が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４５４８１２８号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、Dynamic欠陥補正においては、一般的に、欠陥画素とテクスチャに属する画素との区別が難しい部分があり、テクスチャである画素を過剰に補正してしまうことがあり、適切に欠陥画素を補正することができない恐れがあった。
【０００７】
本技術は、このような状況に鑑みてなされたものであり、特に、車両などの移動体に撮像方向が固定された状態で搭載されている撮像装置でも適切に画素の欠陥を補正できるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の一側面の撮像装置は、撮像方向が固定された状態で画像を撮像する撮像部と、前記撮像部の欠陥画素を、被写体との相対的な移動の情報に基づいて検出し、検出した前記欠陥画素を欠陥補正する欠陥検出補正部とを含む撮像装置である。
【０００９】
前記欠陥検出補正部には、前記撮像部で撮像された画像の各画素の画素値の周辺画素レベルに基づいて、欠陥画素の候補を検索させ、前記被写体との相対的な移動の情報により、前記欠陥画素の候補の画素信号が、所定のピクセル数だけ動くのに必要とされる移動時間を演算させ、前記欠陥画素の候補が前記移動時間内に前記所定のピクセル数だけ移動しない場合、前記欠陥画素の候補を、欠陥画素に特定させ、前記欠陥画素に特定した画素を欠陥補正させるようにすることができる。
【００１０】
前記欠陥検出補正部には、前記欠陥画素の候補が前記移動時間内に前記所定のピクセル数だけ移動しない場合、前記欠陥画素の候補として登録させ、前記欠陥画素の候補となる画素が登録されてから所定時間が経過したとき、登録された前記欠陥画素の候補となる画素を欠陥画素に特定させ、前記欠陥画素に特定した画素を欠陥補正させるようにすることができる。
【００１１】
前記欠陥検出補正部には、前記欠陥画素の候補となる画素を登録するとき、登録回数をカウントアップさせ、前記欠陥画素の候補となる画素が登録されてから所定時間が経過し、かつ、前記登録回数が所定回数よりも多いとき、登録された前記欠陥画素の候補となる画素を欠陥画素に特定させ、前記欠陥画素に特定した画素を欠陥補正させるようにすることができる。
【００１２】
前記被写体との相対的な移動の情報には、前記撮像装置本体と前記被写体との相対的な移動速度、相対的な加速度、相対的な角速度、およびGPS（Global Positioning System）により得られる相対的な位置情報を含ませるようにすることができる。
【００１３】
前記撮像部には、動力を備えて、前記動力により移動する移動体に、撮像方向が固定された状態で画像を撮像させ、前記欠陥検出補正部には、前記撮像部の欠陥画素を、前記移動体と前記被写体との相対的な移動の情報に基づいて検出させ、検出した前記欠陥画素を欠陥補正させるようにすることができる。
【００１４】
前記移動体は、車両とすることができ、前記相対的な移動の情報は、前記被写体に対する前記車両の相対的な移動速度とすることができる。
【００１５】
本技術の一側面の撮像方法は、動力を備えて、前記動力により移動する移動体に、撮像方向が固定された状態で画像を撮像する撮像部を備えた撮像装置における撮像方法であって、前記撮像部の欠陥画素を、被写体との相対的な移動の情報に基づいて検出し、検出した前記欠陥画素を欠陥補正するステップを含む。
【００１６】
本技術の一側面のプログラムは、動力を備えて、前記動力により移動する移動体に、撮像方向が固定された状態で画像を撮像する撮像部を備えた撮像装置を制御するコンピュータに、前記撮像部の欠陥画素を、被写体との相対的な移動の情報に基づいて検出し、検出した前記欠陥画素を欠陥補正する欠陥検出補正部として機能させる。
【００１７】
本技術の一側面においては、動力を備えて、前記動力により移動する移動体に、撮像方向が固定された状態の撮像部により画像が撮像され、前記撮像部の欠陥画素が、被写体との相対的な移動の情報に基づいて検出され、検出された前記欠陥画素が欠陥補正される。
【００１８】
本技術の一側面の撮像装置は、それぞれ独立した装置であっても良いし、撮像装置として機能するブロックであっても良い。
【発明の効果】
【００１９】
本技術の一側面によれば、移動体に撮像方向が固定されている状態で搭載された撮像装置でも画素の欠陥を適切に補正することが可能となる。
【図面の簡単な説明】
【００２０】
【図１】一般的な欠陥補正を説明する図である。
【図２】動的な欠陥補正を説明する図である。
【図３】欠陥画素であるかハイライト画素であるかの認識が困難であることを説明する図である。
【図４】本技術を適用した撮像システムの構成例を説明する図である。
【図５】欠陥画素検出処理を説明するフローチャートである。
【図６】欠陥画素を検出する処理を説明する図である。
【図７】汎用のパーソナルコンピュータの構成例を説明する図である。
【発明を実施するための最良の形態】
【００２１】
＜一般的な欠陥画素補正＞
図１は、一般的なメカシャッタを備えた撮像装置における構成例と、欠陥画素補正の方法を示している。
【００２２】
図１で示されるように、一般的な撮像装置においては、メカシャッタを備えた固体撮像素子からなるイメージセンサ１１、イメージセンサ１１からの撮像結果に基づいて、静的（Static）に欠陥画素を検出して、検出結果を欠陥座標メモリ１３に記憶させ、さらに、検出結果に基づいて欠陥画素を補正するStatic欠陥検出補正部１２、および後発の白点欠陥を動的（Dynamic）に補正するDynamic欠陥補正部１４を備えている。尚、欠陥画素が補正された画像信号は、Dynamic欠陥補正部１４の後段の図示せぬ構成により信号処理されて画像が生成される。
【００２３】
図１で示されるような撮像装置の場合、欠陥画素を検出する動作時には、図１の上部で示されるように、イメージセンサ１１は、シャッタが閉塞されることで遮光され、この状態における画素信号がStatic欠陥検出補正部１２に出力される。
【００２４】
Static欠陥検出補正部１２は、この状態における画素信号に基づいて、欠陥画素を検出し、検出した欠陥画素の座標を欠陥座標メモリ１３に記憶させる。
【００２５】
次に、欠陥画素を補正して撮像する動作時には、図１の下部で示されるように、イメージセンサ１１は、シャッタが解放される状態となることで入射光に応じた画素信号を生成し、Static欠陥検出補正部１２に出力する。
【００２６】
Static欠陥検出補正部１２は、この状態における画素信号のうち、欠陥座標メモリ１３に記憶されている座標の画素を欠陥画素とみなして補正し、Dynamic欠陥補正部１４に出力する。
【００２７】
Dynamic欠陥補正部１４は、静的に欠陥画素が補正された画素信号より、動的に欠陥画素を補正して出力する。
【００２８】
一方、メカシャッタを設けていない撮像装置では、イメージセンサ１１を遮光した状態で撮像することができないので、Static欠陥検出を適切にすることができない。このため、Dynamic欠陥補正部１４が、動的欠陥補正により欠陥画素を検出した上で補正する必要がある。
【００２９】
Dynamic欠陥補正部１４は、図２で示されるように、処理対象となる注目画素の画素値に対して、その周辺の画素値との差分の平均となる周辺レベルｕを基準としたとき、この周辺レベルｕに基づいて設定されるショットノイズσに対して十分な差分Ｄｔｈより大きいとき、欠陥であるものとみなし、ショットノイズσの数倍程度の差分Ｆｔｈより大きいときエッジであるものとみなす。
【００３０】
ところで、撮像装置が、車両の前方に対して撮像方向が固定された状態で搭載されている場合、図３で示されるように、処理対象となる注目画素が比較的近い位置に存在する信号機を撮像している画素Ｐ１１であるようなとき、画素Ｐ１１の周辺に色が滲み出ることにより、画素欠陥ではなくエッジ等であることを認識することができる。
【００３１】
しかしながら、例えば、図３の現実の欠陥画素である画素Ｐ１２と、遠方の信号機を撮像した画素Ｐ１３との差異については、いずれも１画素単位であり、欠陥画素であるのか、またはハイライト画素などであるのかを判断することができない。
【００３２】
このため、メカシャッタを備えていない撮像装置において、動的な欠陥補正のみを適用しようとすると、エッジに含まれる画素であるにもかかわらず欠陥画素として処理されてしまう恐れや、エッジの中にある欠陥画素を補正処理できない恐れがあった。
【００３３】
＜本技術を適用した撮像装置を搭載した車両の一実施の形態＞
本技術の撮像装置は、メカシャッタを備えていない構成でも動的に適切な欠陥補正を実現させるものである。
【００３４】
そこで、図４を参照して、本技術を適用した欠陥画素を適切に補正できるようにした撮像装置について説明する。図４の撮像装置２１は、車両２０に対して撮像方向が固定された状態で搭載されており、車両２０からの車両速度に応じて、適切に欠陥画素を補正するものである。尚、図４の撮像装置２１は、車両２０に設けられた各構成とからなる撮像システムを構成するものとして捉えることもできる。
【００３５】
したがって、図４の車両２０を、撮像装置２１と車両２０とからなる撮像システムと捉える場合、撮像方向が固定された状態で撮像装置２１が搭載される限り、動力を備えて移動する移動体であれば、車両２０に限るものではなく、その他の移動体であってもよい。
【００３６】
図４の撮像装置２１は、撮像方向が固定された状態で、車両２０に搭載されており、例えば、車両２０の進行方向の前方を固定したズームサイズで撮像している。
【００３７】
車両２０には、撮像装置２１、画像受信部２２、外部カメラコントローラ２３、およびECU（Engine Control Unit）２４が設けられている。
【００３８】
撮像装置２１は、レンズ４１、撮像素子４２、欠陥検出補正部４３、信号処理部４４、制御部４５を備えている。
【００３９】
レンズ４１は、例えば、複数の光学レンズなどから構成され、入射光を集光して撮像素子４２の入射面に結像させる。
【００４０】
撮像素子４２は、例えば、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどの複数の画素からなるイメージセンサであり、制御部４５の制御下において、レンズ４１により入射光が結像された光より、複数の画素信号を生成し、欠陥検出補正部４３に出力する。尚、図４の撮像装置２１には、メカシャッタやそれに準じた構成は存在しないため、遮光状態で撮像することはできない。
【００４１】
欠陥検出補正部４３は、制御部４５の制御下において動作し、欠陥画素を検出して、座標位置を記憶すると共に、以降の画像において、欠陥画素として記憶した画素の画素値を補正する。
【００４２】
より詳細には、欠陥検出補正部４３は、図２を参照して説明した注目画素の周辺画素レベルｕを基準として設定される閾値Ｄｔｈを超える画素信号を検出する。そして、閾値Ｄｔｈを超える画素信号の座標位置と、ECU２４より外部カメラコントローラ２３、および制御部４５を介して供給されてくる車両速度とに基づいて、車両２０の移動に伴って、所定ピクセルだけ隣の画素位置へと移動するのに要する移動時間を推定し、移動時間内に所定ピクセルだけ隣の画素位置に移動しないとき、欠陥画素の候補として登録し、欠陥画素の候補として登録された回数をカウントアップする。
【００４３】
さらに、欠陥検出補正部４３は、記憶した欠陥画素の候補が、記憶されてから所定時間が経過し、かつ、所定回数以上欠陥画素の候補として登録されたとき、欠陥画素の候補を欠陥画素として、その座標位置を記憶する。
【００４４】
この処理により、以降において、欠陥検出補正部４３は、撮像素子４２より供給されてくる画素信号のうち、欠陥画素として記憶した座標位置の画素信号に対して欠陥補正を施して信号処理部４４に出力する。
【００４５】
信号処理部４４は、欠陥検出補正部４３より供給されてくる、欠陥補正が施された画素信号に基づいて、信号処理を施し、画像を生成して画像受信部２２に出力する。
【００４６】
制御部４５は、撮像素子４２、欠陥検出補正部４３、および信号処理部４４を制御して撮像装置２１の動作の全体を制御する。また、制御部４５は、外部カメラコントローラ２３を介して、ECU２４より供給されてくる車両速度、および、その他の情報を取得し、このうち、車両速度の情報を欠陥検出補正部４３に出力する。
【００４７】
画像受信部２２は、撮像装置２１より供給されてくる画像信号を受信すると、外部カメラコントローラ２３に供給する。
【００４８】
外部カメラコントローラ２３は、画像受信部２２より供給されてくる画像信号に基づいて、画像内に含まれる信号機や前方の車両等の物体を認識すると共に、自車両と物体までの距離等の情報を含めた認識結果をECU２４に供給する。
【００４９】
ECU２４は、外部カメラコントローラ２３より供給されてくる画像の認識結果に応じて、例えば、車両２０の図示せぬエンジンの回転数を制御する、図示せぬ自動ブレーキの動作を制御する、または、自動運転制御などを行う。また、ECU２４は、車両速度や、その他の情報を計測し、外部カメラコントローラ２３を介して撮像装置２１に供給する。
【００５０】
＜欠陥画素検出処理＞
次に、図５のフローチャートを参照して、図４の車両２０からなる撮像システムによる欠陥画素検出処理について説明する。
【００５１】
ステップＳ１１において、欠陥検出補正部４３は、撮像素子４２より新たな処理対象フレームが入力されたか否かを判定し、処理対象フレームが入力されたと判定されるまで同様の処理を繰り返す。ステップＳ１１において、新たな処理対象フレームが入力されたと判定された場合、処理は、ステップＳ１２に進む。
【００５２】
ステップＳ１２において、欠陥検出補正部４３は、処理対象フレームの画素のうちのいずれか未処理の画素を処理対象画素に設定する。
【００５３】
ステップＳ１３において、欠陥検出補正部４３は、処理対象画素が欠陥画素としての条件を備えているか否かを判定する。より具体的には、欠陥検出補正部４３は、図２を参照して説明した処理対象画素の周辺画素レベルｕを基準として設定される閾値Ｄｔｈを超える画素値であるか否かに基づいて、欠陥画素としての条件を備えているか否かを判定する。
【００５４】
ステップＳ１３において、例えば、処理対象画素が欠陥画素の条件を満たしていると判定された場合、処理は、ステップＳ１４に進む。
【００５５】
ステップＳ１４において、欠陥検出補正部４３は、処理対象画素の画素信号が、２画素（ピクセル）だけ隣の画素に移動するまでの移動時間を演算する。より詳細には、欠陥検出補正部４３は、例えば、ベイヤ配列において同色の画素が存在する、隣接する２画素だけ隣の画素に移動するまでの移動時間を演算する。例えば、図６で示されるように、車両２０が処理対象画素の画素信号に対応する物体Ｂの方向に車両速度ｖで移動しているものとする。ここで、撮像素子４２上の処理対象画素の座標は（ｘ，ｙ）であり、レンズ４１および撮像素子４２間の距離は焦点距離ｆであり、レンズ４１から物体Ｂまでの距離が距離ｄであり、物体Ｂの高さが高さｈであるものとし、撮像素子４２上の画素ピッチがｐであるものとする。また、図６においては、レンズ４１の光軸をx軸とし、撮像素子４２の撮像面上の交点を原点として、撮像素子４２の撮像面に平行な、図中上方をy軸とする。このとき、処理対象画素（ｘ，ｙ）の画素信号が、２画素移動するまでの移動時間ｔが経過するとき、レンズ４１から物体Ｂまでの距離は、ｖ・ｔだけ距離ｄから接近して、図中の物体Ｂ’の位置に移動することになる。このような関係から、処理対象画素の画素信号が２画素だけ移動するまでの時間ｔは、以下の式（１）で表される。
【００５６】
ｔ＝ｄ／ｖ・１／（１＋ｙ／２ｐ）
・・・（１）
【００５７】
尚、撮像装置２１は、通常、フロントウィンドウの内側であって、上部付近に搭載されて、光軸は、車体の上部とされる。このため、図６においては、撮像素子４２における光軸（x軸）に対して下部の範囲（y<0）での受光がなされるときには、車両２０より高い位置の信号機などが撮像された場合であり、光軸対して上部の範囲（y>0）での受光がなされるときには、バイクのテールランプなどが撮像された場合である。
【００５８】
より具体的には、例えば、距離ｄが600(m)であり、車両速度ｖが60(km/h)（＝1000/60(m/s)）である場合、y=200であるとき、移動時間ｔは、以下の式（２）で示されるように0.36秒(s)となる。
【００５９】
ｔ＝600/(1000/60)・1/(1+y/2p)＝36/(1+200p/2p)＝0.36(s)
・・・（２）
【００６０】
したがって、60fpsであれば、22フレーム後に処理対象画素の画素信号が同色隣接画素（2画素だけ隣の画素）に移動する。また、この移動時間ｔは、画素座標依存で、欠陥であるか否かを判定するのに必要な時間であるともいえる。
【００６１】
ステップＳ１５において、欠陥検出補正部４３は、処理対象画素の画素信号が、ステップＳ１４の処理により演算された移動時間ｔ内に、２画素だけ隣の画素に移動したか否かを判定する。すなわち、欠陥検出補正部４３は、処理対象画素の画素信号が欠陥画素を示すものではなく、遠方の信号機やバイクのテールランプなどの画素信号であるか否かを判定する。ステップＳ１５において、処理対象画素の画素信号が、移動時間ｔ内に２画素だけ隣の画素に移動することがない場合、すなわち、処理対象画素が欠陥画素であるとみなされる場合、処理は、ステップＳ１６に進む。
【００６２】
ステップＳ１６において、欠陥検出補正部４３は、処理対象画素を欠陥画素候補とみなして、処理対象画素の画素位置を示す撮像素子４２内の座標位置を欠陥画素の候補として登録する（記憶する）。
【００６３】
ステップＳ１７において、欠陥検出補正部４３は、欠陥画素候補となる画素数が最大数（ＤＥＦＭＡＸ）を超えているか否かを判定する。ステップＳ１７において、登録されている欠陥画素の候補となる画素の座標位置の情報が最大数（ＤＥＦＭＡＸ）を超えている場合、欠陥画素候補となる基準が低く、必要以上に欠陥画素候補が登録されているものとみなし、処理は、ステップＳ２４に進む。
【００６４】
ステップＳ２４において、欠陥検出補正部４３は、欠陥画素としての条件を調整する。すなわち、ステップＳ１３における判定処理で使用される欠陥画素としての条件が低過ぎるため、必要以上に欠陥画素候補が登録されているものとみなされるので、欠陥検出補正部４３は、欠陥画素としての条件を引き上げるように調整する。すなわち、欠陥検出補正部４３は、例えば、図２を参照して説明した周辺画素レベルに応じて設定される閾値Ｄｔｈをより高く設定するといった調整を行う。尚、欠陥画素としての条件を、より高くできれば、これ以外の条件を調整するようにしてもよい。
【００６５】
ステップＳ２５において、欠陥検出補正部４３は、これまでに欠陥画素として登録していた座標位置の情報をリセットすると共に、処理対象フレームにおける全画素を未処理の画素とみなして、処理は、ステップＳ１２に戻る。すなわち、これまでの処理を全て破棄して、処理をやり直す。
【００６６】
一方、ステップＳ１７において、欠陥画素候補の画素の座標の登録数が、最大値（ＤＥＦＭＡＸ）を超えていないとみなされた場合、処理は、ステップＳ１８に進む、
【００６７】
ステップＳ１８において、欠陥検出補正部４３は、処理対象画素の欠陥画素候補への登録回数をカウントアップする。より詳細には、欠陥検出補正部４３は、欠陥画素の候補を示す座標位置の情報に対応づけた図示せぬカウンタにより欠陥画素候補への登録回数をカウントアップする。
【００６８】
ステップＳ１９において、欠陥検出補正部４３は、処理対象画素が欠陥画素候補に設定されてから所定時間が経過したか否かを判定し、所定時間が経過している場合、処理は、ステップＳ２０に進む。ここでいう所定時間は、欠陥画素であるか否かを判定するのに必要とされる、ステップＳ１４の処理で求められる必要時間以上である必要がある。
【００６９】
ステップＳ２０において、欠陥検出補正部４３は、処理対象画素が欠陥画素候補とされた登録回数が所定回数以上となっているか否かを判定し、所定回数以上になっているとみなされた場合、すなわち、処理対象画素が欠陥画素候補とされてから所定時間が経過して、かつ、欠陥画素の候補として登録された回数が所定回数以上である場合、処理は、ステップＳ２１に進む。ここで、所定回数は、アナログゲイン、シャッタ時間、温度特性、および量産特性等における最悪条件を考慮した回数とするようにすることが望ましい。ただし、テクスチャの誤検出により、欠陥候補画素数が最大数（ＤＥＦＭＡＸ）を超える可能性があるため、欠陥判定方法の組み合わせや閾値を調整するなどして、最大数（ＤＥＦＭＡＸ）に収まるようにする必要がある。
【００７０】
ステップＳ２１において、欠陥検出補正部４３は、処理対象画素が欠陥画素であるものとみなし、その画素の座標位置を記憶する。すなわち、これ以降においては、欠陥検出補正部４３は、撮像素子４２より供給されてくる処理対象フレームの各画素に対して、対応する座標位置の画素に対しては、欠陥補正処理を施して信号処理部４４に出力する。
【００７１】
ステップＳ２２において、欠陥検出補正部４３は、未処理の画素が存在するか否かを判定し、未処理の画素が存在する場合、処理は、ステップＳ１２に戻る。また、ステップＳ２２において、未処理の画素が存在しない場合、処理は、ステップＳ２３に進む。
【００７２】
ステップＳ２３において、欠陥検出補正部４３は、撮像素子４２より新たな未処理のフレームが入力されてきたか否かを判定し、未処理のフレームが入力されてきた場合、処理は、ステップＳ１１に戻り、それ以降の処理が繰り返される。そして、ステップＳ２３において、未処理のフレームの入力がない場合、処理は終了する。
【００７３】
尚、ステップＳ１３において、処理対象画素が欠陥画素としての条件を備えていない場合、ステップＳ１５において、処理対象画素の画素信号が、演算された移動時間内に２画素隣の画素に移動した場合、ステップＳ１９において、処理対象画素が欠陥画素候補とされてから所定の時間が経過していない場合、ステップＳ２０において、処理対象画素が欠陥画素候補とされた登録回数が所定回数以上ではない場合、何れの場合も処理は、ステップＳ２２に進む。
【００７４】
また、ステップＳ１９，Ｓ２０において、処理対象画素が欠陥画素候補とされてから所定時間が経過して、かつ、欠陥画素候補に登録された回数が所定回数以上である場合にのみ、処理対象画素を欠陥画素としてみなすようにすることで、点滅欠陥をも適切に欠陥画素として検出することが可能となる。ただし、所定時間については、点滅欠陥の点滅周期を考慮する必要がある。
【００７５】
以上の処理により、遠方の信号機やバイクのテールランプ等、１画素単位で検出されるハイライト画素と欠陥画素との区別が可能になる。また、従来の監視カメラのメカシャッタの閉塞による遮光による欠陥検出工程が不要になり、移動中に、動的に欠陥検出を常時実現することが可能となる。さらに、動的な欠陥検出による精度を向上させることが可能となるので、過補正を低減することができる。また、遠方より信号機や車両の存在を検知して追尾することができ、欠陥画素による検出結果を信号機や車両と誤認識することが低減されるので、例えば、自動運転の精度を向上させることが可能となる。
【００７６】
尚、以上においては、撮像装置２１が車両２０に撮像方向が固定された状態である場合について説明してきたが、パン・チルト・ズームを備えた撮像装置２１であっても、動作を固定させた状態であれば同様の処理により同様の効果を奏することができる。また、撮像装置２１は、動力を備えた移動体であれば、車両以外のものでもよく、例えば、船舶や航空機であってもよいし、または、バイクや自転車などでもよい。
【００７７】
さらに、車両のECUから供給される車両速度に基づいて、欠陥画素の候補となる画素が所定数だけ隣の画素に移動するのに要する移動時間を演算し、演算した移動時間内に画素値の移動があった場合であって、所定時間以上で、かつ、所定回数だけ登録されているときに欠陥画素として特定する例について説明してきた。しかしながら、欠陥画素の候補となる画素の画素値の移動時間を演算できれば、車両速度以外の移動体の移動状態を示す情報を利用するようにしてもよく、例えば、車両２０の移動に係る加速度や角速度などを利用してもよいし、GPS（Global Positioning System）により得られる位置情報やモーションセンサの加速度の情報を利用して移動速度を演算するようにしてもよい。
【００７８】
以上においては、車載などの移動体に固定される撮像装置の例について説明してきたが、移動することがない物体に固定された、パン・チルト・ズームの機能を備えた撮像装置においても、動作を固定させ、撮像視野内で被写体を移動させて撮像し、被写体の移動速度の情報を利用することで、同様の手法により欠陥検出を実現することができる。すなわち、この場合、撮像装置が移動するのではなく、被写体が移動することになるが、撮像装置が移動し、被写体が固定されている場合と、相対的な位置関係を同一の条件にすることで、すなわち、撮像装置と被写体との相対的な移動速度の情報（相対的な加速度、相対的な角速度、およびGPS（Global Positioning System）により得られる相対的な位置情報を含む）を利用することで、上述した構成と同様の効果を奏することができる。
【００７９】
＜ソフトウェアにより実行させる例＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【００８０】
図１１は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
【００８１】
入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
【００８２】
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００８３】
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
【００８４】
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【００８５】
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
【００８６】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【００８７】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【００８８】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【００８９】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【００９０】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【００９１】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【００９２】
尚、本技術は、以下のような構成も取ることができる。
＜１＞  撮像方向が固定された状態で画像を撮像する撮像部と、
前記撮像部の欠陥画素を、被写体との相対的な移動の情報に基づいて検出し、検出した前記欠陥画素を欠陥補正する欠陥検出補正部と
を含む撮像装置。
＜２＞  前記欠陥検出補正部は、
前記撮像部で撮像された画像の各画素の画素値の周辺画素レベルに基づいて、欠陥画素の候補を検索し、
前記被写体との相対的な移動の情報により、前記欠陥画素の候補の画素信号が、所定のピクセル数だけ動くのに必要とされる移動時間を演算し、
前記欠陥画素の候補が前記移動時間内に前記所定のピクセル数だけ移動しない場合、前記欠陥画素の候補を、欠陥画素に特定し、前記欠陥画素に特定した画素を欠陥補正する
＜１＞に記載の撮像装置。
＜３＞  前記欠陥検出補正部は、
前記欠陥画素の候補が前記移動時間内に前記所定のピクセル数だけ移動しない場合、前記欠陥画素の候補として登録し、
前記欠陥画素の候補となる画素が登録されてから所定時間が経過したとき、登録された前記欠陥画素の候補となる画素を欠陥画素に特定し、前記欠陥画素に特定した画素を欠陥補正する
＜２＞に記載の撮像装置。
＜４＞  前記欠陥検出補正部は、
前記欠陥画素の候補となる画素を登録するとき、登録回数をカウントアップし、
前記欠陥画素の候補となる画素が登録されてから所定時間が経過し、かつ、前記登録回数が所定回数よりも多いとき、登録された前記欠陥画素の候補となる画素を欠陥画素に特定し、前記欠陥画素に特定した画素を欠陥補正する
＜３＞に記載の撮像装置。
＜５＞  前記被写体との相対的な移動の情報は、前記撮像装置本体と前記被写体との相対的な移動速度、相対的な加速度、相対的な角速度、およびGPS（Global Positioning System）により得られる相対的な位置情報を含む
＜１＞乃至＜４＞のいずれかに記載の撮像装置。
＜６＞  前記撮像部は、動力を備えて、前記動力により移動する移動体に、撮像方向が固定された状態で画像を撮像し、
前記欠陥検出補正部は、前記撮像部の欠陥画素を、前記移動体と前記被写体との相対的な移動の情報に基づいて検出し、検出した前記欠陥画素を欠陥補正する
＜１＞に記載の撮像装置。
＜７＞  前記移動体は、車両であり、前記相対的な移動の情報は、前記被写体に対する前記車両の相対的な移動速度である
＜６＞に記載の撮像装置。
＜８＞  撮像方向が固定された状態で画像を撮像する撮像部を備えた撮像装置における撮像方法において、
前記撮像部の欠陥画素を、被写体との相対的な移動の情報に基づいて検出し、検出した前記欠陥画素を欠陥補正する
ステップを含む撮像方法。
＜９＞  撮像方向が固定された状態で画像を撮像する撮像部を備えた撮像装置を制御するコンピュータに、
前記撮像部の欠陥画素を、被写体との相対的な移動の情報に基づいて検出し、検出した前記欠陥画素を欠陥補正する欠陥検出補正部として機能させる
プログラム。
【符号の説明】
【００９３】
１１  イメージセンサ，  １２  Static欠陥検出補正部，  １３  欠陥座標メモリ，  １４  Dynamic欠陥補正部，  ２１  撮像装置，  ２２  画像受信部，  ２３  外部カメラコントローラ，  ２４  ECU，  ４１  レンズ，  ４２  撮像素子，  ４３  欠陥検出補正部，  ４４  信号処理部，  ４５  制御部
【図１】
2017022671.tif 000003
【図２】
2017022671.tif 000004
【図３】
2017022671.tif 000005
【図４】
2017022671.tif 000006
【図５】
2017022671.tif 000007
【図６】
2017022671.tif 000008
【図７】
2017022671.tif 000009