(57)【特許請求の範囲】
【請求項１】
中央部を拡大しその周辺部を圧縮する歪曲収差特性を持つ光学系と、
この光学系を介して受光した光学像を画像信号に変換して出力するイメージセンサと、
前記歪曲収差特性に応じた、前記イメージセンサの欠陥画素の画像信号を補正するために用いる周辺画素の位置に係る補正係数を出力する補正係数出力回路と、
前記周辺画素の画像信号と前記補正係数とに基づき、前記欠陥画素の画像信号に係る補正値を算出する補正値算出回路と
を備え、
前記補正係数出力回路は、
欠陥画素を検出する欠陥画素検出回路と、
検出された欠陥画素に係る前記周辺画素の位置を出力する周辺画素位置出力回路と、
前記周辺画素の位置に基づき、前記周辺画素が、前記補正係数の大きさに従って分割して設定された複数の画像領域のうちの、何れの画像領域に属するかを示す領域識別信号を出力する領域識別回路と、
前記画像領域を単位として設定された前記補正係数のうち、前記領域識別信号に対応する前記補正係数を出力する領域補正係数選択回路と
を有し、
前記補正値算出回路を第１の補正値算出回路とし、前記補正係数を用いることなく、前記周辺画素の画素値に基づいて前記補正値を算出する第２の補正値算出回路と、
前記第１の補正値算出回路からの前記補正値、或いは、前記第２の補正値算出回路からの前記補正値の何れか一方を、前記周辺画素の位置に基づいて選択する補正値選択回路と、
を更に有することを特徴とする画像処理装置。
【請求項２】
前記第２の補正値算出回路は、
前記欠陥画素の周辺画素から、所定の複数画素を選択する画素選択回路と、
前記複数画素に係る画像信号の平均を算出し前記補正値として出力する平均欠陥画素補正回路と
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の補正値算出回路は、
前記欠陥画素の周辺画素から、所定の画素を選択する画素選択回路と、
前記選択された周辺画素に係る画像信号を前記補正値として出力する置換欠陥画素補正回路と
を有することを特徴とする請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に、イメージセンサに存在する画素欠陥に起因する画像信号を補正する画像処理装置に関する。
【背景技術】
【０００２】
ビデオカメラやデジタルカメラなどの画像入力装置に於いて、撮影する被写体までの距離や画角に占める大きさに合わせて、拡大縮小を自由に行うズーム機能が広く利用されている。これらのズーム機能は通常内部のレンズを機械的に動かすことにより実現されている光学ズームと、イメージセンサから出力される画像の一部を利用し、画素間に新たな画素を補間することで補間画像を生成して拡大する電子ズームに大別される。電子ズームは光学ズームと比較して駆動部分がなく小型かつ安価に実現できるが、画質的に劣るという問題点がある。
【０００３】
こういった課題に対して、特許文献１では、入力画像の周辺部を圧縮する機能を持つ固定焦点距離画像入力光学系と、これを受光する主として均一な画素密度の受光素子とを備え、この圧縮による歪みを含んだ該受光素子の受光画像を補正変換する機能を備えることにより、高画質なズーム画像を実現することを特徴とする電子ズーム画像入力方式を提案している。この方式を採用することにより広角画像も望遠画像も周辺部の画質劣化は避けられないものの中央部は劣化が少ない画像を得ることが期待できる。
【特許文献１】特開平１０−２３３９５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、ビデオカメラやデジタルカメラなどのイメージセンサとしては、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  ＭＯＳ)イメージセンサやＣＣＤ(Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ)イメージセンサが用いられる。このようなイメージセンサでは、製造工程上のごみの混入或いは製造後の放射線（宇宙線）照射の影響などにより、いくつかの画素では、特異的に大きな暗電流、画素部からの信号読み出し不良、特異的な画素感度不足等の原因により、欠陥画素が発生する。従来では、このような欠陥画素が生じた場合には、その周辺の画素により欠陥画素を線形補間して、欠陥画素の補正が行われている。
【０００５】
ところが、特許文献１に示すような歪曲収差を有する光学系を用いた場合には、歪曲収差の特性により、イメージセンサの各画素の受け持ち範囲が均一でなくなるため、単純な線形補間では、正しい補正値を得られない。
【０００６】
本発明は、以上の課題に鑑み、大きな歪曲収差を持つ光学系で撮影された画像の場合にも、誤差なくイメージセンサの欠陥補正を行うことができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
請求項１の発明に係る画像処理装置は、中央部を拡大しその周辺部を圧縮する歪曲収差特性を持つ光学系と、この光学系を介して受光した光学像を画像信号に変換して出力するイメージセンサと、前記歪曲収差特性に応じた、前記イメージセンサの欠陥画素の画像信号を補正するために用いる周辺画素の位置に係る補正係数を出力する補正係数出力回路と、前記周辺画素の画像信号と前記補正係数とに基づき、前記欠陥画素の画像信号に係る補正値を算出する補正値算出回路とを備え、前記補正係数出力回路は、欠陥画素を検出する欠陥画素検出回路と、検出された欠陥画素に係る前記周辺画素の位置を出力する周辺画素位置出力回路と、前記周辺画素の位置に基づき、前記周辺画素が、前記補正係数の大きさに従って分割して設定された複数の画像領域のうちの、何れの画像領域に属するかを示す領域識別信号を出力する領域識別回路と、前記画像領域を単位として設定された前記補正係数のうち、前記領域識別信号に対応する前記補正係数を出力する領域補正係数選択回路とを有し、前記補正値算出回路を第１の補正値算出回路とし、前記補正係数を用いることなく、前記周辺画素の画素値に基づいて前記補正値を算出する第２の補正値算出回路と、前記第１の補正値算出回路からの前記補正値、或いは、前記第２の補正値算出回路からの前記補正値の何れか一方を、前記周辺画素の位置に基づいて選択する補正値選択回路と、を更に有することを特徴とする。
【００１１】
請求項２の発明に係る画像処理装置では、第２の補正値算出回路は、欠陥画素の周辺画素から、所定の複数画素を選択する画素選択回路と、複数画素に係る画像信号の平均を算出し補正値として出力する平均欠陥画素補正回路とを有することを特徴とする。
【００１２】
請求項３の発明に係る画像処理装置では、第２の補正値算出回路は、欠陥画素の周辺画素から、所定の画素を選択する画素選択回路と、選択された周辺画素に係る画像信号を補正値として出力する置換欠陥画素補正回路とを有することを特徴とする。
【発明の効果】
【００１４】
請求項１の発明によれば、中央部を拡大しその周辺部を圧縮する歪曲収差特性を持つ光学系と、この光学系を介して受光した光学像を画像信号に変換して出力するイメージセンサと、前記歪曲収差特性に応じた、前記イメージセンサの欠陥画素の画像信号を補正するために用いる周辺画素の位置に係る補正係数を出力する補正係数出力回路と、前記周辺画素の画像信号と前記補正係数とに基づき、前記欠陥画素の画像信号に係る補正値を算出する補正値算出回路とを備え、前記補正係数出力回路は、欠陥画素を検出する欠陥画素検出回路と、検出された欠陥画素に係る前記周辺画素の位置を出力する周辺画素位置出力回路と、前記周辺画素の位置に基づき、前記周辺画素が、前記補正係数の大きさに従って分割して設定された複数の画像領域のうちの、何れの画像領域に属するかを示す領域識別信号を出力する領域識別回路と、前記画像領域を単位として設定された前記補正係数のうち、前記領域識別信号に対応する前記補正係数を出力する領域補正係数選択回路とを有し、前記補正値算出回路を第１の補正値算出回路とし、前記補正係数を用いることなく、前記周辺画素の画素値に基づいて前記補正値を算出する第２の補正値算出回路と、前記第１の補正値算出回路からの前記補正値、或いは、前記第２の補正値算出回路からの前記補正値の何れか一方を、前記周辺画素の位置に基づいて選択する補正値選択回路と、を更に有するようにしている。欠陥画素に係る周辺画素の画像信号と、周辺画素に係る補正係数とに基づき、欠陥画素の画像信号に係る補正値が演算されるので、歪曲収差の影響を考慮した精度の高い欠陥画素補正を行うことができ、高画質化することが可能となる。また、画像領域単位で補正係数を出力するようにすることで、画素毎に補正係数を求める構成を省くことが可能となるので、画像処理装置自体の構成を簡単化可能となる。例えば、補正係数を予めＳＤＲＡＭ等の記憶装置に格納しておき、呼び出すようにする構成においては、記憶装置の記憶容量を抑えることが可能である。また、補正係数を用いることなく、周辺画素の画像信号に基づいて補正値を算出する第２の補正値算出回路と、異なる手法で算出された補正値を選択する補正値選択回路とを有することにより、歪曲収差が小さい領域、例えば、画像の中心部分においては第２の補正値算出回路を用いるようにすることで、処理時間を抑えることが可能となる。
【００１８】
請求項２の発明に係る画像処理装置によれば、第２の補正値算出回路は、欠陥画素の周辺画素から、所定の複数画素を選択する画素選択回路と、複数画素に係る画像信号の平均を算出し補正値として出力する平均欠陥画素補正回路とを有するようにしている。所定の複数画素、例えば、欠陥画素と同色の周辺画素に係る画像信号から平均により補正画素値を求め、欠陥画素補正を行うようにすることで、処理時間を抑えることが可能となる。
【００１９】
請求項３の発明に係る画像処理装置によれば、第２の補正値算出回路は、欠陥画素の周辺画素から、所定の画素を選択する画素選択回路と、選択された周辺画素に係る画像信号を補正値として出力する置換欠陥画素補正回路とを有するようにしている。所定の画素、例えば、欠陥画素と同色の後行或いは先行する画素を選択し、この画素の画素値でもって欠陥画素の画像信号とするので、処理時間を抑えることが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施の形態について図面を参照しながら説明する。
（第１の実施形態）
図１は、本発明が適用される画像撮影装置の全体構成を示すものである。図１において、１は光学系である。光学系１としては、中央部を拡大し周辺部を圧縮するような歪曲収差を持つものが用いられる。すなわち、光学系１としては、通常の光学系と、図２で示すようなカマボコ形のシリンドリカルレンズ１１及び１２を縦横に組み合わせてなる歪曲収差を持つ光学系とが用いられる。
【００２２】
光学系１からの光学像はイメージセンサ２の受光面に結像される。イメージセンサ２としては、ＣＣＤ(Charge Coupled Device)イメージセンサや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  ＭＯＳ)イメージセンサが用いられる。イメージセンサ２の前面には、例えばＲＧＢの各色のフィルタがベイヤー配列で配設されている。
【００２３】
イメージセンサ２で、光学系１からの光学像が光電変換される。光学系１として上述の歪曲収差を持つ光学系を用いた場合、図３（Ａ）に示すような被写体像は、イメージセンサ２上では、図３（Ｂ）に示すような歪曲を生じた画像信号となる。このように、歪曲収差を持つ光学系では、周辺部が圧縮され、同じ画角の電子ズーム画像を得る場合に、画像データの面積が大きくなる。
【００２４】
イメージセンサ２の出力信号は、歪曲収差補正画像処理装置３に送られる。歪曲収差補正画像処理装置３は、図４に示すように、欠陥画素補正回路２１と、画像補正回路２２と、ＲＧＢ同時化回路２３と、歪曲収差補正回路２４と、拡大縮小回路２５と、ＹＣ変換回路２６と、圧縮回路２７とから構成される。
【００２５】
図４において、イメージセンサ２からの画像信号は、欠陥画素補正回路２１に供給される。欠陥画素補正回路２１で、イメージセンサ２の欠陥画素の補正が行われる。後に詳述するように、本発明の第１実施形態では、歪曲収差を生じさせる光学系１を考慮して、欠陥補正が行われる。
【００２６】
欠陥画素補正回路２１の出力信号が画像補正回路２２に供給される。画像補正回路２２で、ホワイトバランス補正、シェーディング補正等の画像補正処理が行われる。
【００２７】
画像補正回路２２の出力信号がＲＧＢ同時化回路２３に供給される。ＲＧＢ同時化回路２３は、ＲＧＢベイヤー配列の画像信号の色データの補間処理を行い、ＲＧＢの各色信号を同時化する。
【００２８】
ＲＧＢ同時化回路２３の出力信号が歪曲収差補正回路２４に供給される。歪曲収差補正回路２４により、光学系１による歪曲収差の補正が行われる。
【００２９】
歪曲収差補正回路２４の出力信号が拡大縮小回路２５に供給される。拡大縮小回路２５で、任意のサイズに画像が拡大、縮小される。
【００３０】
拡大縮小回路２５の出力信号がＹＣ変換回路２６に供給される。ＹＣ変換回路２６は、ＲＧＢ信号から、輝度・色差信号Ｙ、Ｃｒ、Ｃｂへの変換を行う。
【００３１】
ＹＣ変換回路２６の出力信号が圧縮回路２７に供給される。圧縮回路２７は、画像信号をＪＰＥＧ(Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ)方式等に圧縮符号化する。
【００３２】
図１において、歪曲収差補正画像処理装置３からの画像信号は、画像記録装置５に送られ、画像記録装置５に記憶される。また、撮影画像に基づく画像信号は画像表示装置４に送られ、画像表示装置４にモニタ画像が表示される。
【００３３】
制御装置６は、光学系１やイメージセンサ２、歪曲収差補正画像処理装置３、画像表示装置４の制御を行っている。操作部７は、カメラを操作するためのボタンやスイッチ類、情報表示部などからなる。
【００３４】
図５は、本発明の第１実施形態の欠陥画素補正回路２１の構成を示すものである。この欠陥画素補正回路２１は、欠陥画素検出回路３１と、周辺画素位置出力回路３２と、領域識別回路３３と、領域補正係数選択回路３４と、補正値算出回路３５と、遅延回路３６と、選択回路３７とから構成される。
【００３５】
図５において、入力画像信号は、選択回路３７及び、補正値算出回路３５に供給されるとともに、その入力画像信号の位置情報が欠陥画素検出回路３１に供給されている。また、欠陥画素検出回路３１には、イメージセンサ２における出荷前試験や後発欠陥画素検出の自動欠陥画素検出などで検出された欠陥画素の位置情報が記録されている。欠陥画素検出回路３１は、入力画像信号が欠陥画素に係るものであることを検出すると、欠陥画素の位置に対応するアドレスを周辺画素位置出力回路３２に送る。
【００３６】
周辺画素位置出力回路３２は、欠陥画素の画像信号を補正するために用いる周辺画素の位置を、欠陥画素の位置に対応付けて記憶している。欠陥画素の位置に対応するアドレスが欠陥画素検出回路３１から周辺画素位置出力回路３２に送られると、周辺画素位置出力回路３２から、欠陥画素の画像信号を補正するために用いる周辺画素の位置が出力される。
【００３７】
周辺画素位置出力回路３２の出力信号が領域識別回路３３に供給される。領域識別回路３３で、周辺画素の位置が属する領域が判断され、これに基づいて、領域識別信号が出力される。この領域識別信号が領域補正係数選択回路３４に送られる。
【００３８】
後に説明するように、本発明の第１実施形態では、画面が歪曲収差特性の特性値により領域分割され、各領域毎に、補正係数が設定される。領域補正係数選択回路３４には補正係数テーブルが設けられ、補正係数テーブルには、歪曲収差特性の特性値の大きさに応じて分割した領域に対応する補正係数が格納されている。領域補正係数選択回路３４からは、領域識別回路３３からの領域識別信号に従い、補正係数テーブルからその領域に対応する補正係数が出力される。領域補正係数選択回路３４の補正係数テーブルからは、その領域に対応する補正係数が読み出される。この補正係数が補正値算出回路３５に送られる。
【００３９】
補正値算出回路３５は、入力画像信号と、領域補正係数選択回路３４からの補正係数により、補正値を算出する。この補正値が選択回路３７に送られる。
【００４０】
欠陥画素の位置では、欠陥画素検出回路３１から選択信号が出力される。この選択信号が遅延回路３６を介して選択回路３７に供給される。なお、遅延回路３６は、補正値算出処理の処理時間に対応する遅延合わせのために設けられる。欠陥画素が発生していないときには、選択回路３７からは、入力画像信号がそのまま出力される。欠陥画素が発生しているときには、選択回路３７からは、補正値算出回路３５で欠陥補正された補正値が出力される。
【００４１】
このように、本発明の第１実施形態の欠陥画素補正回路２１では、画面が歪曲収差特性の特性値により領域分割される。そして、領域補正係数選択回路３４には補正係数テーブルが設けられ、補正係数テーブルには、歪曲収差特性の特性値の大きさに応じて分割した領域に対応する補正係数が格納される。領域識別回路３３で、周辺画素の位置が属する領域が判断され、これに基づいて、領域補正係数選択回路３４の補正係数テーブルから、その領域に対応する補正係数が読み出される。この補正係数を用いて、補正値算出回路３５で歪曲収差に応じて欠陥補正の補正値が求められる。これにより、歪曲収差を持つ光学系１を用いた場合にも、精度の高い欠陥画素補正が可能となる。
【００４２】
次に、本発明の第１実施形態の欠陥補正について詳述する。本発明の第１実施形態では、ベイヤー配列のイメージセンサ２が用いられる。このようなベイヤー配列のイメージセンサ２では、図６に示すような画像が得られる。
【００４３】
今、図６において、座標（ｃ，２）の画素が欠陥画素であったとする。座標（ｃ，２）の画素はＲ色の画素であるから、この欠陥画素は、その周辺のＲ色の画素のデータから補間する。例えば水平方向の周辺２画素のデータから補間する場合、座標（ｃ，２）画素の補間値ｉＰｃ２は、座標（ａ，２）の画素値Ｐａ２と、座標（ｅ，２）の画素値Ｐｅ２とから、線形補間により、以下のように求められる。
ｉＰｃ２＝（Ｐａ２＋Ｐｅ２）／２  …（１）
【００４４】
前述したように、本発明の第１実施形態では、光学系１として歪曲収差を有するものが用いられている。歪曲収差がない場合には、イメージセンサ２の各画素の受け持ち範囲は図７（Ａ）に示すように全て等しくなるが、歪曲収差を有する光学系１を用いた場合には、図７（Ｂ）に示すように、イメージセンサ２の各画素の受け持ち範囲は異なってくる。
【００４５】
図７（Ａ）に示すように、光学系の歪曲収差がなく、イメージセンサ２の各画素の受け持ち範囲が等しい場合には、上述の（１）式による線形補間により、欠陥画素の補正が行える。ところが、図７（Ｂ）に示すように、光学系の歪曲収差があり、イメージセンサ２の各画素の受け持ち範囲が異なる場合には、上述の（１）式による線形補間では、正しい補正値を得られない。
【００４６】
図８は、そのことを示すものである。図８（Ａ）は、光学系の歪曲収差がなく、イメージセンサ２の各画素の受け持ち範囲Ｌ０、Ｌ１が等しい場合である。この場合、座標（ａ，２）の画素値Ｐａ２と、座標（ｅ，２）の画素値Ｐｅ２とから、（１）式に基づいて、座標（ｃ，２）画素の補間画素値ｉＰｃ２を求めると、求められた補間画素値ｉＰｃ２は、本来の画素値ｒＰｃ２と略等しくなる。
【００４７】
これに対して、図８（Ｂ）は、歪曲収差を有する光学系１を用い、各画素の受け持ち範囲Ｌ２、Ｌ３が異なる場合である。この場合、座標（ａ，２）の画素値Ｐａ２と、座標（ｅ，２）の画素値Ｐｅ２とから、（１）式に基づいて座標（ｃ，２）画素の補間画素値ｉＰｃ２を求めると、求められた補間画素値ｉＰｃ２と、本来の画素値ｒＰｃ２との間に誤差ｅが生じてくる。
【００４８】
そこで、本発明の第１実施形態では、図８（Ｃ）に示すように、画面を歪曲収差特性の特性値により補正係数を設定し、この補正係数を乗じて誤差が生じないようにしている。
【００４９】
つまり、本発明の第１の実施形態では、補正係数をｎ１（０）、ｎ１（１）とすると、座標（ｃ，２）画素の補間画素値ｉＰｃ２を、座標（ａ，２）の画素値Ｐａ２と、座標（ｅ，２）の画素値Ｐｅ２とから、
ｉＰｃ２＝（ｎ１（０）×Ｐａ２＋ｎ１（１）×Ｐｅ２）／２  …（２）
として求めるようにしている。
【００５０】
ここで、座標（ａ，２）の画素の歪曲収差の特性値をＫａ、座標（ｅ，２）の歪曲収差の特性値をＫｅとすると、補正係数ｎ１（０）は、
ｎ１（０）＝Ｋｅ／（Ｋａ＋Ｋｅ）  …（３）
として求めることができる。
【００５１】
また、補正係数ｎ１（１）は、
ｎ１（１）＝Ｋａ／（Ｋａ＋Ｋｅ）  …（４）
として求めることができる。
【００５２】
なお、歪曲収差の特性値は、歪曲収差の度合いを示すものであり、歪曲収差の特性値は、画面の周辺部では大きくなる。歪曲収差の特性値は、上述の各画素の受け持ち範囲と対応し、歪曲収差の特性値が大きくなる程、受け持ち範囲が大きくなる。
【００５３】
以上のように、歪曲収差を有する光学系１を用いた場合には、歪曲収差特性の特性値により補正係数を設定し、この補正係数を乗じることで、誤差のない欠陥補正を行うことができる。
【００５４】
本発明の第１実施形態では、画面が歪曲収差特性の特性値により領域分割される。図９は、歪曲収差特性に応じて画面を複数の領域に分割したものである。歪曲収差特性に応じて領域を分割する方法としては、分割する各領域の歪曲収差特性の特性値の閾値が決められ、その閾値の範囲にあてはまる特性値の範囲毎に分割が行われる。補正係数（ｎ１（０），ｎ１（１））は、図１０に示すように、光学中心の縦軸に対して線対称の関係となる。
【００５５】
図５における領域補正係数選択回路３４には、図１１に示すように、このようにして作成された補正係数テーブル４１が設けられる。そして、図１１に示すように、補正係数テーブル４１は、ＳＤＲＡＭ(Synchronous Dynamic Random Access Memory)等のメモリ４２に格納される。
【００５６】
図５における補正値算出回路３５は、図１２に示すように、乗算器４３、４４と、加算器４５と、割算器４６とを含んでいる。
【００５７】
例えば、図６に示した座標（ｃ，２）の画素が欠陥画素の場合には、補正係数テーブル４１から、補正係数ｎ１（０）及びｎ１（１）が出力される。また、乗算器４３には、座標（ａ，２）の画素値Ｐａ２が供給され、乗算器４４には、座標（ｅ，２）の画素値Ｐｅ２が供給される。
【００５８】
乗算器４３で、画素値Ｐａ２と補正係数ｎ１（０）とが乗算され、乗算器４４で、画素値Ｐｅ２と補正係数ｎ１（１）とが乗算される。乗算器４３の出力（ｎ１（０）×Ｐａ２）と乗算器４４の出力（ｎ１（１）×Ｐｅ２）とが加算器４５で加算される。加算器４５の出力（ｎ１（０）×Ｐａ２＋ｎ１（１）×Ｐｅ２）は割算器４６に供給され、割算器４６からは、補間画素値ｉＰｃ２
ｉＰｃ２＝（ｎ１（０）×Ｐａ２＋ｎ１（１）×Ｐｅ２）／２
が出力される。なお、割算器４６は１／２の割り算なので、ビットシフトで実現できる。
【００５９】
以上説明したように、本発明の第１実施形態の欠陥画素補正回路２１では、歪曲収差特性の特性値により画面を領域分割し、補正係数テーブル４１には、歪曲収差特性の特性値の大きさに応じて分割した領域に対応する補正係数を格納し、周辺画素の位置がどの領域の属するかを判断し、これに基づいて、補正係数テーブル４１からその領域に対応する補正係数を読み出し、この補正係数を乗算して欠陥補正の補正値を求めるようにしている。これにより、歪曲収差を持つ光学系１を用いた場合にも、精度の高い欠陥画素補正が可能となる。
【００６０】
（第２の実施の形態）
図１３は、本発明の第２実施形態の欠陥画素補正回路２１の構成を示すものである。なお、画像撮影装置の全体構成については、第１の実施の形態と同様であり、第１の実施形態と同様な部分については、同一の符号を付し、その説明を省略する。
【００６１】
この第２実施形態では、図５に示した第１の実施形態の欠陥画素補正回路２１において、更に、補正係数再算出回路５１と、補正係数選択回路５２とが設けられている。補正係数再算出回路５１は、歪曲収差特性による特性値に応じて、再算出補正係数を外挿で算出する。補正係数選択回路５２は、周辺画素位置出力回路３２から出力された周辺画素の位置により、領域補正係数選択回路３４からの領域補正係数または補正係数再算出回路５１で各々求められた再算出補正係数のうちどちらか一方を選択して出力する。
【００６２】
本発明の第２実施形態による欠陥補正について更に説明する。本発明の第２の実施形態では、図１４（Ａ）に示すように、画面が歪曲収差特性の特性値により、領域Ａ１、Ａ２、Ａ３、…に分割される。各領域Ａ１、Ａ２、Ａ３、…毎の補正係数が、前述の第１の実施形態と同様に、領域補正係数選択回路３４の補正係数テーブルに蓄積される。そして、各領域Ａ１、Ａ２、Ａ３、…が更に複数の領域に分割される。図１４（Ｂ）では、領域Ａ３が例えば３つの再分割領域Ｍ０、Ｍ１、Ｍ２に再分割される。他の領域についても、同様に再分割される。
【００６３】
このように、各領域を３つの領域Ｍ０、Ｍ１、Ｍ２に再分割した場合、再分割領域Ｍ０、Ｍ１，Ｍ２の補正係数は、以下のようにして求められる。
【００６４】
先ず、その領域の補正係数がｎＭであった場合、再分割領域Ｍ０、Ｍ１、Ｍ２のうち中央の再分割領域Ｍ１の補正係数ｎＭ＿１については、その領域の補正係数ｎＭと等しいとして、
ｎＭ＿１＝ｎＭ  …（５）
とする。
【００６５】
再分割領域Ｍ０の補正係数ｎＭ＿０は、その領域の補正係数（ｎＭ）と、再分割領域毎の歪曲収差の特性値（Ｍ０＿ｄ，Ｍ１＿ｄ，Ｍ２＿ｄ）とから、以下のように算出する。
ｎＭ＿０＝ｎＭ×（Ｍ０＿ｄ／Ｍ１＿ｄ）  …（６）
【００６６】
再分割領域Ｍ２の補正係数ｎＭ＿２は、その領域の補正係数（ｎＭ）と、再分割領域毎の歪曲収差の特性値（Ｍ０＿ｄ，Ｍ１＿ｄ，Ｍ２＿ｄ）とから、以下のように算出する。
ｎＭ＿２＝ｎＭ×（Ｍ２＿ｄ／Ｍ１＿ｄ）  …（７）
【００６７】
図１３に示す本発明の第２の実施形態の欠陥画素補正回路２１の構成において、欠陥画素検出回路３１で欠陥画素が検出されると、欠陥画素検出回路３１から周辺画素位置出力回路３２に、欠陥画素の位置に対応するアドレスが送られ、周辺画素位置出力回路３２から、欠陥画素の画像信号を補正するために用いる周辺画素の位置が出力され、これが領域識別回路３３に送られる。
【００６８】
領域識別回路３３で、周辺画素の属する位置の領域が判断され、これに基づいて、領域識別回路３３から領域識別信号が出力される。この領域識別信号が領域補正係数選択回路３４に送られ、領域補正係数選択回路３４の補正係数テーブルからは、その領域に対応する補正係数が読み出される。この各領域毎の補正係数は、補正係数選択回路５２に送られると共に、補正係数再算出回路５１に送られる。
【００６９】
補正係数再算出回路５１は、上述した周辺画素位置出力回路３２の出力に基づいて、各領域を複数の再分割領域に再分割し、再分割領域のそれぞれの補正係数を算出する。算出された再分割領域の補正係数が補正係数選択回路５２に送られる。
【００７０】
補正係数選択回路５２により、周辺画素位置出力回路３２から出力される周辺画素の位置に基づき、領域補正係数選択回路３４からの補正係数と、補正係数再算出回路５１からの再算出補正係数のうちの何れか一方が選択され、選択された補正係数が補正値算出回路３５に供給される。
【００７１】
補正値算出回路３５により、第１実施形態と同様に、欠陥画素の複数の周辺同色画素と補正係数とから補正値が算出されて出力される。
【００７２】
以上説明したように、本発明の第２の実施形態では、各領域を更に複数の再分割領域に分けて、再分割領域では、歪曲収差特性の特性値により、補正係数を外挿で算出するようにしている。
【００７３】
歪曲収差特性の特性値の変化が小さい領域、ここでは、中央部の領域に対しては第１の実施の形態と同じ方法で補正係数の算出方法で対応できる。周辺部においては、歪曲収差特性の特性値の変化が大きいので、補正係数を領域補正係数選択回路３４うちの補正係数テーブルに格納する方法では、歪曲収差特性の特性値の変化が大きい領域に対し、精度の高い補正係数を格納すると、補正係数を格納するデータ量が増大することにより、補正係数テーブルが巨大化してしまう。
【００７４】
本発明の第２の実施形態では、この補正係数テーブルを大きくせず、かつ精度の高い補正係数の算出のため、歪曲収差特性の特性値が大きい領域に対しては、補正係数テーブルに格納された補正係数に割り当てられている領域を細かく再分割し、その再分割した領域毎の補正係数の算出を行う。このことにより歪曲収差を持つ光学系においても、現行のイメージセンサを用い精度の高い欠陥画素補正が可能となる。
【００７５】
勿論、画面の中央部と周辺部とを区別せずに、全画面の領域を更に複数に再分割するようにしても良い。
【００７６】
（第３の実施の形態）
図１５は、本発明の第３実施形態の欠陥画素補正回路２１の構成を示すものである。なお、画像撮影装置の全体構成については、第１及び第２の実施の形態と同様であり、第１及び第２の実施形態と同様な部分については、同一の符号を付し、その説明を省略する。
【００７７】
この第３実施形態では、図５に示した第１の実施形態の欠陥画素補正回路における補正値算出回路３５を、画像信号と補正係数から演算により欠陥画素補正値を求める第１の補正値算出回路６１と、歪曲収差特性を考慮しない補正を行う第２の補正値算出回路６２とから構成するようにしている。そして、補正値選択回路６３により、周辺画素位置出力回路３２から出力される周辺画素の位置に基づき、第１の補正値算出回路６１からの補正値と第２の補正値算出回路６２からの補正値とのどちらか一方を選択して補正値として出力するようにしている。
【００７８】
この第３実施形態の欠陥画素補正回路２１について、更に説明する。図１６に示すように、本発明の第３の実施形態では、画面を周辺部分の第１の領域Ｂ１と、中央の第２の領域Ｂ２とに大別する。図１６における第１の補正値算出回路６１は、第１の領域Ｂ１に対する歪曲収差特性を考慮した補正値算出を行うものである。第２の補正値算出回路６２は、第２の領域Ｂ２に対する、歪曲収差特性を考慮しない補正値算出を行うものである。
【００７９】
補正値選択回路６３は、周辺画素位置出力回路３２から出力される周辺画素の位置に従い、第１の算出補正値と第２の算出補正値のどちらか一方を選択して補正値として出力する。
【００８０】
より詳しくは、第１の補正値算出回路６１は、例えば、欠陥画素の複数の周辺同色画素と補正係数とに基づき、補正値を演算して出力する。補正値算出方法は第１の実施の形態と同じである。
【００８１】
一方、第２の補正値算出回路６２は、例えば、欠陥画素の周辺同色画素から、簡易的な方法で補正値を算出して出力する。
【００８２】
第２の補正値算出回路６２は、図１７又は図１８に示すように構成される。図１７に示す第２の補正値算出回路６２は、第１画素選択回路７１と平均欠陥画素補正回路７２とから構成される。第１画素選択回路７１は、図１９に示すように、欠陥画素の周辺の同色画素の画素を選択する。そして、平均欠陥画素補正回路７２は、これらの欠陥画素の周辺の同色画素の平均値から、欠陥画素の補正値を求める。
【００８３】
一方、図１８に示す第２の補正値算出回路６２は、第２画素選択回路８１と置換欠陥画素補正回路８２とから構成される。第２画素選択回路は、図２０（Ａ）又は図２０（Ｂ）に示すように、前置置換や後置置換を行うための置換画素の選択を行う。置換欠陥画素補正回路８２は、第２画素選択回路８１で選択された画素と欠陥画素の画素を置換し補正値として出力する。
【００８４】
中央部分では各画素が受け持つ範囲がほぼ等しいので、歪曲収差による影響を考慮しないで、図１７や図１８に示したような、簡易的な従来のやり方でも精度の高い欠陥画素の補正が可能である。
【００８５】
図１５において、補正値選択回路６３により、周辺画素位置出力回路３２から出力される周辺画素の位置が第１の領域Ｂ１に属していた場合は、補正値として第１算出補正値が選択され、一方、周辺画素位置出力回路３２から出力される周辺画素の位置が第２の領域Ｂ２に属していた場合は、補正値として第２算出補正値が選択されて出力される。
【００８６】
以上のように、本実施の形態では、歪曲収差が小さい領域（第２の領域Ｂ２）に対しては簡易的な補正値算出を行い、歪曲収差が大きい領域（第１の領域Ｂ１）に対しては、歪曲収差特性の特性値に応じた補正係数により補正値算出を行う。歪曲収差の小さい領域である画像の中心部分における欠陥画素補正を簡易化することで、処理時間を短縮し、画像の中心部分を用いる電子ズームにおける画像処理の処理時間短縮を図ることが可能となる。
【００８７】
（第４の実施の形態）
図２１は、本発明の第４の実施の形態を示すものである。なお、画像撮影装置の全体構成については、第１〜第３の実施の形態と同様であり、第１〜第３の実施形態と同様な部分については、同一の符号を付し、その説明を省略する。
【００８８】
本発明の第４実施形態では、図２１に示すように、欠陥画素及びその周辺画素の位置における、歪曲収差特性に係る特性値を出力する特性値出力回路９１と、この特性値に基づき、置換画素たる周辺画素を選択する画素選択回路９２とを有している。
【００８９】
次に、本発明の第４の実施形態における各構成要素について説明する。画素選択回路９２により、図２２に示すように、欠陥画素と周辺同色画素との歪曲収差の特性値が比較され、欠陥画素の歪曲収差の特性値との差が一番小さい周辺同色画素を選択するための信号が出力される。
【００９０】
補正値算出回路３５は、画素選択回路９２からの出力に基づき、画像信号の置換を行う。選択回路３７は、遅延回路３６を介して送られる選択信号に基づき、画像信号が欠陥画素に係るものの時には補正値算出回路３５からの画像信号を選択、それ以外の時には補正前の画像信号を選択し出力する。このように、欠陥画素の歪曲収差の特性値との差が一番小さい画素と置換することで、誤差量を少なく抑えた置換補正が可能となる。
【００９１】
大きな歪曲収差を持つ光学系で撮影された画像に対する欠陥画素補正を行う場合、この歪曲収差を考慮した欠陥画素補正を行うことで、歪曲収差を考慮しない場合に比べ、精度の高い欠陥画素補正を行うことができ、欠陥画素補正を演算により行う場合に比べ、回路を簡略化することが可能となる。
【００９２】
本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【産業上の利用可能性】
【００９３】
本発明は、歪曲収差を有する光学系を用いた場合のイメージセンサの欠陥補正に用いることができる。
【図面の簡単な説明】
【００９４】
【図１】本発明が適用される画像撮影装置の一例のブロック図である。
【図２】歪曲収差を有する光学系の説明に用いる斜視図である。
【図３】歪曲収差を有する光学系の説明図である。
【図４】本発明が適用される画像撮影装置における歪曲収差補正画像処理装置の一例のブロック図である。
【図５】本発明の第１実施形態の欠陥画素補正回路のブロック図である。
【図６】欠陥画素補正の説明図である。
【図７】歪曲収差を有していない光学系の欠陥画素と歪曲収差を有する光学系との欠陥画素の説明図である。
【図８】本発明の第１実施形態の欠陥画素補正の説明図である。
【図９】本発明の第１実施形態における領域分割の説明図である。
【図１０】本発明の第１実施形態における領域内の補正係数の説明図である。
【図１１】本発明の第１実施形態における補正係数テーブルの説明図である。
【図１２】本発明の第１実施形態における補正値算出の説明図である。
【図１３】本発明の第２実施形態の欠陥画素補正回路のブロック図である。
【図１４】本発明の第２実施形態における領域分割および再分割領域の説明図である。
【図１５】本発明の第３実施形態の欠陥画素補正回路のブロック図である。
【図１６】本発明の第３実施形態における領域分割の説明図である。
【図１７】本発明の第３実施形態における第２の補正値算出回路の一例のブロック図である。
【図１８】本発明の第３実施形態における第２の補正値算出回路の他の例のブロック図である。
【図１９】本発明の第３実施形態における第２の補正値算出回路の補正値の算出の説明図である。
【図２０】本発明の第３実施形態における第２の補正値算出回路の補正値の算出の説明図である。
【図２１】本発明の第４実施形態の欠陥画素補正回路のブロック図である。
【図２２】本発明の第４実施形態の欠陥画素補正の説明図である。
【符号の説明】
【００９５】
１：光学系
２：イメージセンサ
３：歪曲収差補正画像処理装置
５：画像記録装置
６：制御装置
７：操作部
１１，１２：シリンドリカルレンズ
２１：欠陥画素補正回路
２２：画像補正回路
２３：ＲＧＢ同時化回路
２４：歪曲収差補正回路
２５：拡大縮小回路
２６：ＹＣ変換回路
２７：圧縮回路
３１：欠陥画素検出回路
３２：周辺画素位置出力回路
３３：領域識別回路
３４：領域補正係数選択回路
３５：補正値算出回路
３６：遅延回路
３７：選択回路
４１：補正係数テーブル
４２：メモリ
【図１】
0004754939.tif 000002
【図２】
0004754939.tif 000003
【図３】
0004754939.tif 000004
【図４】
0004754939.tif 000005
【図５】
0004754939.tif 000006
【図６】
0004754939.tif 000007
【図７】
0004754939.tif 000008
【図８】
0004754939.tif 000009
【図９】
0004754939.tif 000010
【図１０】
0004754939.tif 000011
【図１１】
0004754939.tif 000012
【図１２】
0004754939.tif 000013
【図１３】
0004754939.tif 000014
【図１４】
0004754939.tif 000015
【図１５】
0004754939.tif 000016
【図１６】
0004754939.tif 000017
【図１７】
0004754939.tif 000018
【図１８】
0004754939.tif 000019
【図１９】
0004754939.tif 000020
【図２０】
0004754939.tif 000021
【図２１】
0004754939.tif 000022
【図２２】
0004754939.tif 000023