(57)【要約】【課題】注目画素を通過する１ドット単位の直線が存在する場合における欠陥画素の誤検出を抑えることができる欠陥画素検出装置を提供する。【解決手段】ベイヤー配列の画像データの注目画素が赤（青）色成分画素である場合に、所定の画素数からなり前記注目画素が含まれる画素ブロック内に前記注目画素を通過する１ドット単位の斜めの直線が存在するか否かを判定する（ステップＳ１０参照）第１判定部と、ベイヤー配列の画像データの注目画素が緑色成分画素である場合に、所定の画素数からなり前記注目画素が含まれる画素ブロック内に前記注目画素を通過する１ドット単位の上下の直線又は左右の直線が存在するか否かを判定する第２判定部と、注目画素が１ドット単位の直線上に存在すると判定された場合、前記注目画素を正常な画素として認識する（ステップＳ４０参照）認識部とを備える欠陥画素検出装置。【選択図】図２
2008131161.tif 000002
【特許請求の範囲】
【請求項１】
ベイヤー配列の画像データの欠陥画素を検出する欠陥画素検出装置であって、
注目画素が赤色成分画素又は青色成分画素である場合に、所定の画素数からなり前記注目画素が含まれる画素ブロック内に前記注目画素を通過する１ドット単位の斜めの直線が存在するか否かを判定する第１判定部と、
注目画素が緑色成分画素である場合に、所定の画素数からなり前記注目画素が含まれる画素ブロック内に前記注目画素を通過する１ドット単位の上下の直線又は左右の直線が存在するか否かを判定する第２判定部と、
前記第１判定部又は前記第２判定部によって注目画素が１ドット単位の直線上に存在すると判定された場合、前記注目画素を正常な画素として認識する認識部とを備えることを特徴とする欠陥画素検出装置。
【請求項２】
請求項１に記載の欠陥画素検出装置と、前記欠陥画素検出装置によって検出された欠陥画素の画素データを補正する補正部とを有する画像処理装置を備えることを特徴とする電子機器。
【請求項３】
ベイヤー配列の画像データの欠陥画素を検出するための欠陥画素検出プログラムであって、
コンピュータを、
注目画素が赤色成分画素又は青色成分画素である場合に、所定の画素数からなり前記注目画素が含まれる画素ブロック内に前記注目画素を通過する１ドット単位の斜めの直線が存在するか否かを判定する第１判定手段、
注目画素が緑色成分画素である場合に、所定の画素数からなり前記注目画素が含まれる画素ブロック内に前記注目画素を通過する１ドット単位の上下の直線又は左右の直線が存在するか否かを判定する第２判定手段、及び
前記第１判定手段又は前記第２判定手段によって注目画素が１ドット単位の直線上に存在すると判定された場合、前記注目画素を正常な画素として認識する認識手段として機能させるための欠陥画素検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ベイヤー配列の画像データの欠陥画素を検出する欠陥画素検出装置及びそれを備える電子機器並びにベイヤー配列の画像データの欠陥画素を検出するようにコンピュータを機能させるための欠陥画素検出プログラムに関するものである。
【背景技術】
【０００２】
ベイヤー配列の画像データの欠陥画素を検出する欠陥画素検出方法に関する従来技術の一例を以下に説明する。
【０００３】
注目画素が赤色成分画素で有る場合、図４に示す注目画素Ｒ33を中心とする５×５画素の画素ブロックを用いて欠陥画素検出を行う。注目画素Ｒ33の信号レベルが注目画素Ｒ33の最も近くに存在する上下左右の四つの赤色成分画素Ｒ31，Ｒ35，Ｒ13，Ｒ53の信号レベル全てに対して極端に高い場合又は注目画素Ｒ33の最も近くに存在する上下左右の四つの画素Ｒ31，Ｒ35，Ｒ13，Ｒ53の信号レベル全てに対して極端に低い場合に、注目画素Ｒ33は欠陥画素として検出される。注目画素が青色成分画素で有る場合も同様の方法すなわち注目画素の最も近くに存在する上下左右の四つの青色成分画素を参照して欠陥画素を検出する。
【０００４】
注目画素が緑色成分画素で有る場合、図５に示す注目画素Ｇ33を中心とする５×５画素の画素ブロックを用いて欠陥画素検出を行う。注目画素Ｇ33の信号レベルが注目画素Ｇ33の最も近くに存在する左斜め上、左斜め下、右斜め上、右斜め下の四つの緑色成分画素Ｇ22，Ｇ24，Ｇ42，Ｇ44の信号レベル全てに対して極端に高い場合又は注目画素Ｇ33の最も近くに存在する左斜め上、左斜め下、右斜め上、右斜め下の四つの緑色成分画素Ｇ22，Ｇ24，Ｇ42，Ｇ44の信号レベル全てに対して極端に低い場合に、注目画素Ｇ33は欠陥画素として検出される。
【特許文献１】特開２００５−１２３９４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記欠陥画素検出方法では、注目画素が赤色成分画素又は青色成分画素で有って、注目画素を通過する１ドット単位の斜めの直線（一例として、図６に注目画素Ｒ33を通過する周囲より暗い１ドット単位の右下がりの斜線を示す。）が存在する場合、注目画素が実際には欠陥画素でなくても欠陥画素として検出され、注目画素が緑色成分画素で有って、注目画素を通過する１ドット単位の上下又は左右の直線（一例として、図７に注目画素Ｇ33を通過する周囲より暗い１ドット単位の左右の直線を示す。）が存在する場合、注目画素が実際には欠陥画素でなくても欠陥画素として誤検出される。このように欠陥画素が誤検出されると、後段の補正回路での欠陥画素の信号レベルの補正によって、１ドット単位の直線が消去されてしまう。
【０００６】
また、ベイヤー配列の画像データの欠陥画素を検出する欠陥画素検出方法に関する従来技術の他の例として、特許文献１に開示されている欠陥画素検出方法がある。特許文献１に開示されている欠陥画素検出方法は、注目画素と同色成分の周辺画素の信号レベルの分散値を用いることで、欠陥画素検出の誤検出を少なくしているが、注目画素と同色成分の周辺画素８個のうち注目画素を通過する１ドット単位の直線に含まれる画素は２個しかないため、注目画素を通過する１ドット単位の直線が存在する場合に上記分散値が低い値になり、注目画素が実際には欠陥画素でなくても欠陥画素として検出されるおそれがあった。
【０００７】
本発明は、上記の状況に鑑み、注目画素を通過する１ドット単位の直線が存在する場合における欠陥画素の誤検出を抑えることができる欠陥画素検出装置及びそれを備える電子機器並びに欠陥画素検出プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明に係る欠陥画素検出装置は、ベイヤー配列の画像データの欠陥画素を検出する欠陥画素検出装置であって、注目画素が赤色成分画素又は青色成分画素である場合に、所定の画素数からなり前記注目画素が含まれる画素ブロック内に前記注目画素を通過する１ドット単位の斜めの直線が存在するか否かを判定する第１判定部と、注目画素が緑色成分画素である場合に、所定の画素数からなり前記注目画素が含まれる画素ブロック内に前記注目画素を通過する１ドット単位の上下の直線又は左右の直線が存在するか否かを判定する第２判定部と、前記第１判定部又は前記第２判定部によって注目画素が１ドット単位の直線上に存在すると判定された場合、前記注目画素を正常な画素として認識する認識部とを備える構成としている。
【０００９】
このような構成によると、注目画素が１ドット単位の直線上に存在する場合に注目画素を正常な画素として認識するので、注目画素が１ドット単位の直線上に存在する場合に注目画素が実際には欠陥画素でなくても欠陥画素として誤検出されることを抑えることができる。
【００１０】
また、上記目的を達成するために、本発明に係る電子機器は、上記構成の欠陥画素検出装置と、前記欠陥画素検出装置によって検出された欠陥画素の画素データを補正する補正部とを有する画像処理装置を備える構成としている。本発明に係る電子機器の例としては、カメラ付き携帯電話装置、デジタルスチールカメラ、デジタルビデオカメラ等が挙げられる。
【００１１】
また、上記目的を達成するために、本発明に係る欠陥画素検出プログラムは、ベイヤー配列の画像データの欠陥画素を検出するための欠陥画素検出プログラムであって、コンピュータを、注目画素が赤色成分画素又は青色成分画素である場合に、所定の画素数からなり前記注目画素が含まれる画素ブロック内に前記注目画素を通過する１ドット単位の斜めの直線が存在するか否かを判定する第１判定手段、注目画素が緑色成分画素である場合に、所定の画素数からなり前記注目画素が含まれる画素ブロック内に前記注目画素を通過する１ドット単位の上下の直線又は左右の直線が存在するか否かを判定する第２判定手段、及び前記第１判定手段又は前記第２判定手段によって注目画素が１ドット単位の直線上に存在すると判定された場合、前記注目画素を正常な画素として認識する認識手段として機能させるようにする。
【発明の効果】
【００１２】
本発明によると、注目画素が１ドット単位の直線上に存在する場合に注目画素を正常な画素として認識するので、注目画素を通過する１ドット単位の直線が存在する場合における欠陥画素の誤検出を抑えることができる。
【発明を実施するための最良の形態】
【００１３】
本発明の実施形態について図面を参照して以下に説明する。本発明に係る電子機器として、ここではカメラ付き携帯電話装置を例に挙げて説明する。
【００１４】
本発明に係るカメラ付き携帯電話装置の概略構成例を図１に示す。光学レンズ系１と、ベイヤー配列のカラーフィルタを有するＣＣＤ等の固体撮像素子２と、固体撮像素子２から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換部３とによって構成されるカメラモジュール４は、ベイヤー配列のデジタル画像データであるＲＡＷ形式の画像データを半導体集積回路装置である画像処理装置５に出力する。
【００１５】
画像処理装置５においては、カメラモジュール４から出力されたＲＡＷ形式の画像データをフレームメモリ６が一時的に保存し、欠陥画素検出装置７がＲＡＷ形式の画像データの欠陥画素を検出し、欠陥画素の画素データを欠陥画素の最も近くに存在する画素であって欠陥画素と同色成分の画素の画素データを演算処理して得られるデータに置換する等の補正処理によって補正部８が欠陥画素の画素データを補正し、画像処理部９が欠陥画素の画素データが補正されたＲＡＷ形式の画像データに色補間等の各種画像処理を施してＲＧＢ画像データを作成する。
【００１６】
ＣＰＵ１１によってプレビューモードに設定されている場合、画像処理装置５は、画像処理部９によって作成されたＲＧＢ画像データを液晶ディスプレイ等の表示装置１２に出力する。これにより、カメラモジュール４によって撮像された画像が表示装置１２に表示される。また、ＣＰＵ１１によって画像記録が指示されると、画像処理装置５は、画像処理部９によって作成されたＲＧＢ画像データをデータ圧縮部１０での圧縮処理により圧縮画像データに変換した後、メモリカード等の外部記憶媒体が着脱可能に装着される記憶媒体インターフェース１３にその圧縮画像データを出力し、その圧縮画像データを外部記憶媒体に書き込む。これにより、カメラモジュール４によって撮像された画像の圧縮データが外部記憶媒体に記録される。
【００１７】
また、図１に示す本発明に係るカメラ付き携帯電話装置は、アンテナ１４と、アンテナ１４を介して基地局と送受信する無線部１５と、着信を音や振動によって報知する報知部１６と、キー入力部１７と、音声通話時に操作者が発する音声を入力して電気信号に変換する音声入力部１８と、音声通話時に相手方の音声に応じた電気信号を音声に変換して出力する音声出力部１９とを備えている。なお、表示装置１２は、ＣＰＵ１１の制御によって電話番号等の表示も行う。
【００１８】
次に、欠陥画素検出装置７の動作について詳細に説明する。注目画素が赤色成分画素で有る場合、欠陥画素検出装置７は、図４に示す注目画素Ｒ33を中心とする５×５画素の画素ブロックを用いて図２に示すフローチャートの手順に従って欠陥画素検出を行う。
【００１９】
ステップＳ１０において、欠陥画素検出装置７は、注目画素Ｒ33を通過する１ドット単位の斜めの直線が存在するか否かを判定する。かかる判定の一具体例としては、画素Ｒ11の信号レベルと注目画素Ｒ33の信号レベルとの差分が所定値以下であり、且つ画素Ｒ55の信号レベルと注目画素Ｒ33の信号レベルとの差分が所定値以下であれば、注目画素Ｒ33を通過する１ドット単位の斜めの直線（右下がりの斜線）が存在すると判定し、画素Ｒ51の信号レベルと注目画素Ｒ33の信号レベルとの差分が所定値以下であり、且つ画素Ｒ15の信号レベルと注目画素Ｒ33の信号レベルとの差分が所定値以下であれば、注目画素Ｒ33を通過する１ドット単位の斜めの直線（右上がりの斜線）が存在すると判定し、画素Ｒ11の信号レベルと注目画素Ｒ33の信号レベルとの差分及び画素Ｒ55の信号レベルと注目画素Ｒ33の信号レベルとの差分の少なくとも一つが所定値より大きく、且つ、画素Ｒ51の信号レベルと注目画素Ｒ33の信号レベルとの差分及び画素Ｒ15の信号レベルと注目画素Ｒ33の信号レベルとの差分の少なくとも一つが所定値より大きい場合、注目画素Ｒ33を通過する１ドット単位の斜めの直線が存在しないと判定するという手順が挙げられる。
【００２０】
ステップＳ１０において注目画素Ｒ33を通過する１ドット単位の斜めの直線が存在すると判定された場合（ステップＳ１０のＹＥＳ）、後述するステップＳ４０に移行する。
【００２１】
一方、ステップＳ１０において注目画素Ｒ33を通過する１ドット単位の斜めの直線が存在すると判定されなかった場合（ステップＳ１０のＮＯ）、欠陥画素検出装置７は、注目画素Ｒ33が欠陥画素であるか否かを判定する。かかる判定の一具体例としては、注目画素Ｒ33の信号レベルＬR33と注目画素Ｒ33の最も近くに存在する四つの赤色成分画素Ｒ31，Ｒ53，Ｒ35，Ｒ13の信号レベルＬR31，ＬR53，ＬR35，ＬR13との各差分Δ１〜Δ４を求め、差分Δ１〜Δ４全てが予め設定された第１の閾値（負の値）より小さければ注目画素Ｒ33が欠陥画素（より詳細には白欠陥画素）であると判定し、差分Δ１〜Δ４全てが予め設定された第２の閾値（正の値）より大きければ注目画素Ｒ33が欠陥画素（より詳細には黒欠陥画素）であると判定するという手順が挙げられる。なお、差分Δ１〜Δ４は以下の（１）式〜（４）式によって求められる。
Δ１＝ＬR31−ＬR33  ・・・（１）
Δ２＝ＬR53−ＬR33  ・・・（２）
Δ３＝ＬR35−ＬR33  ・・・（３）
Δ４＝ＬR13−ＬR33  ・・・（４）
【００２２】
ステップＳ２０において注目画素Ｒ33が欠陥画素でないと判定された場合（ステップＳ２０のＹＥＳ）、後述するステップＳ４０に移行する。
【００２３】
一方、ステップＳ２０において注目画素Ｒ33が欠陥画素であると判定された場合（ステップＳ２０のＮＯ）、後述するステップＳ３０に移行する。
【００２４】
欠陥画素検出装置７は、ステップＳ３０において注目画素Ｒ33を欠陥画素として検出し、ステップＳ４０において注目画素Ｒ33を正常な画素として認識し、ステップＳ３０又はステップＳ４０の処理が終了するとフローを終了する。
【００２５】
注目画素が青色成分画素で有る場合には、欠陥画素検出装置７が、上述した注目画素が赤色成分画素で有る場合と同様の動作（上述した動作において赤色成分画素を青色成分画素に置換する）によって、欠陥画素検出を行うようにすればよい。
【００２６】
注目画素が緑色成分画素で有る場合、欠陥画素検出装置７は、図５に示す注目画素Ｇ33を中心とする５×５画素の画素ブロックを用いて図３に示すフローチャートの手順に従って欠陥画素検出を行う。
【００２７】
ステップＳ５０において、欠陥画素検出装置７は、注目画素Ｇ33を通過する１ドット単位の上下の直線又は左右の直線が存在するか否かを判定する。かかる判定の一具体例としては、画素Ｇ31の信号レベルと注目画素Ｇ33の信号レベルとの差分が所定値以下であり、且つ画素Ｇ35の信号レベルと注目画素Ｇ33の信号レベルとの差分が所定値以下であれば、注目画素Ｇ33を通過する１ドット単位の上下の直線が存在すると判定し、画素Ｇ13の信号レベルと注目画素Ｇ33の信号レベルとの差分が所定値以下であり、且つ画素Ｇ53の信号レベルと注目画素Ｇ33の信号レベルとの差分が所定値以下であれば、注目画素Ｇ33を通過する１ドット単位の左右の直線が存在すると判定し、画素Ｇ31の信号レベルと注目画素Ｇ33の信号レベルとの差分及び画素Ｇ35の信号レベルと注目画素Ｇ33の信号レベルとの差分の少なくとも一つが所定値より大きく、且つ、画素Ｇ13の信号レベルと注目画素Ｇ33の信号レベルとの差分及び画素Ｇ53の信号レベルと注目画素Ｇ33の信号レベルとの差分の少なくとも一つが所定値より大きい場合、注目画素Ｇ33を通過する１ドット単位の直線が存在しないと判定するという手順が挙げられる。
【００２８】
ステップＳ５０において注目画素Ｇ33を通過する１ドット単位の上下の直線又は左右の直線が存在すると判定された場合（ステップＳ５０のＹＥＳ）、後述するステップＳ８０に移行する。
【００２９】
一方、ステップＳ５０において注目画素Ｇ33を通過する１ドット単位の上下の直線又は左右の直線が存在すると判定されなかった場合（ステップＳ５０のＮＯ）、欠陥画素検出装置７は、注目画素Ｇ33が欠陥画素であるか否かを判定する。かかる判定の一具体例としては、注目画素Ｇ33の信号レベルＬG33と注目画素Ｇ33の最も近くに存在する四つの緑色画素Ｇ22，Ｇ42，Ｇ24，Ｇ44の信号レベルＬG22，ＬG42，ＬG24，ＬG44との各差分Δ５〜Δ８を求め、差分Δ５〜Δ８全てが予め設定された第３の閾値（負の値）より小さければ注目画素Ｇ33が欠陥画素（より詳細には白欠陥画素）であると判定し、差分Δ５〜Δ８全てが予め設定された第４の閾値（正の値）より大きければ注目画素Ｇ33が欠陥画素（より詳細には黒欠陥画素）であると判定するという手順が挙げられる。なお、差分Δ５〜Δ８は以下の（５）式〜（８）式によって求められる。
Δ５＝ＬG22−ＬG33  ・・・（５）
Δ６＝ＬG42−ＬG33  ・・・（６）
Δ７＝ＬG24−ＬG33  ・・・（７）
Δ８＝ＬG44−ＬG33  ・・・（８）
【００３０】
ステップＳ６０において注目画素Ｇ33が欠陥画素でないと判定された場合（ステップＳ６０のＹＥＳ）、後述するステップＳ８０に移行する。
【００３１】
一方、ステップＳ６０において注目画素Ｇ33が欠陥画素であると判定された場合（ステップＳ６０のＮＯ）、後述するステップＳ７０に移行する。
【００３２】
欠陥画素検出装置７は、ステップＳ７０において注目画素Ｇ33を欠陥画素として検出し、ステップＳ８０において注目画素Ｇ33を正常な画素として認識し、ステップＳ７０又はステップＳ８０の処理が終了するとフローを終了する。
【００３３】
また、本発明の他の実施形態として、コンピュータが、デジタルスチールカメラから出力されるベイヤー配列のデジタル画像データであるＲＡＷ形式の画像データを入力し、そのコンピュータが、図１中の画像処理装置５と同様の動作を行う実施形態が挙げられる。この場合、当該コンピュータは、本発明に係る欠陥画素検出プログラムによって、図１中の欠陥画素検出装置７と同様の動作を行う。
【図面の簡単な説明】
【００３４】
【図１】は、本発明に係るカメラ付き携帯電話装置の概略構成例を示す図である。
【図２】は、図１に示すカメラ付き携帯電話装置が備える欠陥画素検出装置の注目画素が赤色成分画素であるときの動作例を示すフローチャートである。
【図３】は、図１に示すカメラ付き携帯電話装置が備える欠陥画素検出装置の注目画素が緑色成分画素であるときの動作例を示すフローチャートである。
【図４】は、赤色成分画素である注目画素を中心とする５×５画素の画素ブロックを示す図である。
【図５】は、緑色成分画素である注目画素を中心とする５×５画素の画素ブロックを示す図である。
【図６】は、注目画素を通過する周囲より暗い１ドット単位の右下がりの斜線が存在する場合の赤色成分画素である注目画素を中心とする５×５画素の画素ブロックを示す図である。
【図７】は、注目画素を通過する周囲より暗い１ドット単位の左右の直線が存在する場合の緑色成分画素である注目画素を中心とする５×５画素の画素ブロックを示す図である。
【符号の説明】
【００３５】
１    光学レンズ系
２    固体撮像素子
３    Ａ／Ｄ変換部
４    カメラモジュール
５    画像処理装置
６    フレームメモリ
７    欠陥画素検出装置
８    補正部
９    画像処理部
１０    データ圧縮部
１１    ＣＰＵ
１２    表示装置
１３    記憶媒体インターフェース
１４    アンテナ
１５    無線部
１６    報知部
１７    キー入力部
１８    音声入力部
１９    音声出力部
【図１】
2008131161.tif 000003
【図２】
2008131161.tif 000004
【図３】
2008131161.tif 000005
【図４】
2008131161.tif 000006
【図５】
2008131161.tif 000007
【図６】
2008131161.tif 000008
【図７】
2008131161.tif 000009