(57)【要約】【課題】適切なキズ補正及びスケーリング処理を経た高品質な画像が得られ、回路規模の削減及び低消費電力化を可能とする画像処理装置を提供すること。【解決手段】画像データとして信号値が入力された入力画素に対して、スケーリング処理のための重み係数を計算する重み係数計算回路１２と、入力画素のうちキズが検出されたキズ検出対象画素について、キズ補正のための重み係数の切り替えを実行するキズ補正用係数切り替え回路１３と、キズ補正用係数切り替え回路１３における切り替えを経た重み係数を含む重み係数群を使用した畳み込み演算を実行する畳み込み演算回路１０と、を有する。【選択図】図５
2011114537.tif 000002
【特許請求の範囲】
【請求項１】
画像データとして信号値が入力された入力画素に対して、スケーリング処理のための重み係数を計算する重み係数計算手段と、
前記入力画素のうちキズが検出されたキズ検出対象画素について、キズ補正のための前記重み係数の切り替えを実行するキズ補正用係数切り替え手段と、
前記キズ補正用係数切り替え手段における前記切り替えを経た前記重み係数を含む重み係数群を使用した畳み込み演算を実行する畳み込み演算手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記キズ補正用係数切り替え手段は、前記キズ検出対象画素について、前記重み係数をゼロに切り替えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記キズ補正用係数切り替え手段による前記切り替えの前後における前記重み係数群の総和を均等にさせるための再正規化処理を実行する再正規化手段をさらに有し、
前記畳み込み演算手段は、前記再正規化手段における前記再正規化処理を経た前記重み係数群を前記畳み込み演算に用いることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記キズ検出対象画素の周辺画素についての信号値の中から、前記キズ検出対象画素の信号値と置き換えられる置換信号値を検出し、
前記キズ補正用係数切り替え手段は、前記重み係数計算手段において前記キズ検出対象画素について計算された重み係数を、前記置換信号値として信号値が採用された画素について計算された重み係数に加算することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項５】
前記置換信号値が、前記周辺画素の信号値を輝度レベル順とした場合の中間値であることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記置換信号値を検出するための前記周辺画素の範囲を、前記スケーリング処理により一画素を生成するための前記畳み込み演算に使用される前記入力画素の範囲より広く設定可能であることを特徴とする請求項４又は５に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
近年、携帯電話に搭載されるカメラ、デジタルカメラ等のカメラモジュールの高画素化が進行している。画素サイズの大型化により、画素の微細化も求められるようになっている。このような状況下において、正常に機能していない画素によるデジタル画像信号の欠損部分（以下、適宜「キズ」と称する）の発生が問題視されるようになっている。カメラモジュールの製造時の欠陥検査において規定より多くの画素欠陥が認められた場合は不良品として扱われることになるが、規定が厳格であるほど、カメラモジュールの歩留まりを低下させ製造コストを増加させることとなる。そこで、従来、キズ補正回路における信号処理によってキズを目立たなくする手法（例えば、特許文献１参照）が積極的に採用されている。また、カメラモジュールの高画素化が進むことにより、ディスプレイの画素数に応じた画像のリサイズや電子ズームのためのスケーラ回路に高い性能が求められるようになっている（スケーリング処理の手法については、例えば特許文献２参照）。
【０００３】
スケーラ回路は、高解像度画像から低解像度画像を生成するスケーリング処理において、複数の周辺画素の信号値を使用した畳み込み演算により、新たな信号値を算出する。かかる周辺画素にキズが存在している場合、スケーリング処理後の低解像度画像にもキズの影響がノイズとなって残ることとなる。このため、キズ補正回路とスケーラ回路とを組み合わせる場合、スケーラ回路へは、キズ補正回路におけるキズ補正を経た画像信号が入力されることが望ましいとされている。また、従来提案されているキズ補正の方式は、周辺画素の信号値を使用してキズ補正後の信号値を求めることから、キズ補正回路の構成要素としてラインメモリが必須となる。キズ補正回路及びスケーラ回路を併設する構成では、それぞれの回路に、水平方向の画素サイズ分のラインメモリが設けられることとなる。特に、カメラモジュールの画素サイズが大きくなるほど、回路規模は大幅に増大することになる。さらに、電子ズームのためのクロップ処理を実施する場合に、クロップ処理の対象外である部分もキズ補正の対象となるため、無用なキズ補正により電力が消費されることにもなる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２５８９０９号公報
【特許文献２】特開２００５−１４２８５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、適切なキズ補正及びスケーリング処理を経た高品質な画像が得られ、回路規模の削減および低消費電力化を可能とする画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本願発明の一態様によれば、画像データとして信号値が入力された入力画素に対して、スケーリング処理のための重み係数を計算する重み係数計算手段と、前記入力画素のうちキズが検出されたキズ検出対象画素について、キズ補正のための前記重み係数の切り替えを実行するキズ補正用係数切り替え手段と、前記キズ補正用係数切り替え手段における前記切り替えを経た前記重み係数を含む重み係数群に応じた畳み込み演算を実行する畳み込み演算手段と、を有することを特徴とする画像処理装置が提供される。
【発明の効果】
【０００７】
本発明によれば、適切なキズ補正及びスケーリング処理を経た高品質な画像が得られ、回路規模の削減および低消費電力化が可能となるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】第１の実施の形態に係る画像処理装置を備えるカメラモジュールの構成を示すブロック図。
【図２】キズ補正機能付きスケーラ回路の構成を示すブロック図。
【図３】キズ補正機能付きスケーラ回路によるキズ補正及びスケーリング処理の態様の一例を説明する図。
【図４】畳み込み演算回路の具体的な回路構成例を示す図。
【図５】キズ補正機能付きスケーラ回路の動作を説明するブロック図。
【図６】キズ補正機能付きスケーラ回路によるキズ補正とクロップ処理との関係を説明する図。
【図７】第２の実施の形態に係る画像処理装置のうち、キズ補正機能付きスケーラ回路の動作を説明するブロック図。
【図８】第３の実施の形態に係る画像処理装置によるキズ補正及びスケーリング処理の態様の一例を説明する図。
【発明を実施するための形態】
【０００９】
以下に添付図面を参照して、本発明の実施の形態に係る画像処理装置を詳細に説明する。
【００１０】
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る画像処理装置３を備えるカメラモジュール１の構成を示すブロック図である。カメラモジュール１は、被写体からの光を取り込む撮像レンズ２及び画像処理装置３を備える。
【００１１】
画像処理装置３は、センサ部４、アナログデジタル変換器（ＡＤＣ）５、キズ補正機能付きスケーラ回路６及びＩＳＰ処理回路８を備える。センサ部４は、被写体からの光を信号電荷に変換することにより、被写体像を撮像する。センサ部４は、Ｒ、Ｇ、Ｂの信号値をベイヤー配列に対応する順序で取り込み、取り込んだアナログ画像信号を、外部から指定された撮像条件に応じたゲインにて順次増幅して出力する。ＡＤＣ５は、センサ部４から出力されるアナログ画像信号をデジタル画像信号に変換する。
【００１２】
キズ補正機能付きスケーラ回路６は、キズ補正及びスケーリング処理を実施する。ＩＳＰ処理回路８は、キズ補正機能付きスケーラ回路６から出力されたデジタル画像信号に対して、種々の画像処理、例えば、デモザイキング、ホワイトバランス調整、ガンマ処理等を実施する。キズ補正機能付きスケーラ回路６及びＩＳＰ処理回路８は、それぞれラインメモリ（遅延素子）７、９を備える。
【００１３】
図２は、キズ補正機能付きスケーラ回路６の構成を示すブロック図である。キズ補正機能付きスケーラ回路６は、畳み込み演算回路（畳み込み演算手段）１０及び係数演算回路１１を備える。係数演算回路１１は、スケーリング情報及びキズアドレス情報に応じた重み係数を算出する。畳み込み演算回路１０は、係数演算回路１１で算出された重み係数を使用した畳み込み演算を実行する。なお、スケーリング情報は、スケーリング設定によるスケール率を表す情報とする。キズアドレス情報は、キズ検出手段によって検出されたキズの位置を表す情報とする。
【００１４】
本実施の形態において、キズアドレス情報は、欠陥検査でのキズ検出によって事前にメモリに保存されたもの、カメラモジュール１の動作中にデジタル画像信号からリアルタイムに検出されたもののいずれであっても良いものとする。また、スケーリング処理は、いずれのアルゴリズムによるものであっても良い。アルゴリズムとしては、例えば、バイキュービック法、バイリニア法、ニアレストネイバー法等、或いはこれらから派生したアルゴリズムを使用する。アルゴリズムは、カメラモジュール１の仕様に必要となる性能の高低や回路規模の大小に応じて、適宜選択される。
【００１５】
図３は、キズ補正機能付きスケーラ回路６によるキズ補正及びスケーリング処理の態様の一例を説明する図である。（ｊ，ｉ）は、ＡＤＣ５から画像データとして信号値が入力された同色の入力画素のうち、スケーリング処理により一画素を生成するための畳み込み演算に使用される画素についての座標を表すものとする。ここでは、キズ補正機能付きスケーラ回路６によるスケーリング処理は、水平方向に４個（ｊ＝−１、０、１、２）、垂直方向に４個（ｉ＝−１、０、１、２）のマトリクスをなす１６個の入力画素から一つの画素Ｐを生成するダウンスケーリングであるものする。なお、図２に示すｆ（ｊ，ｉ）は、（ｊ，ｉ）に位置する画素の信号値とする。Ｗ’（ｊ，ｉ）は、（ｊ，ｉ）に位置する画素について係数演算回路１１で算出された重み係数とする。ｆ’（Ｐ）は、キズ補正機能付きスケーラ回路６で算出された画素Ｐの信号値とする。
【００１６】
キズ補正機能付きスケーラ回路６によるキズ補正の対象となるキズには、画素が正常に機能する場合より輝度が低くなる、いわゆる黒キズと、画素が正常に機能する場合より輝度が高くなる、いわゆる白キズと、がある。ここでは、（０，０）の画素に黒キズが生じている場合を例とする。黒キズを含めたスケーリング処理を実行すると、画素Ｐの出力輝度が本来より低くなるノイズが生じることとなる。以下、キズ補正の対象となる（０，０）の画素を「キズ補正対象画素」、１６個の入力画素のうちキズ補正対象画素以外の１５個の画素を「周辺画素」、と適宜称する。なお、各実施の形態において、キズ補正の対象は黒キズである場合を例としているが、白キズである場合も同様とする。白キズを含めたスケーリング処理を実行すると、画素Ｐの出力輝度が本来より高くなるノイズが生じることとなる。
【００１７】
図４は、畳み込み演算回路１０の具体的な回路構成例を示す図である。図２に示したラインメモリ７は、三つのラインメモリ０、１、２を備え、３ライン分のデジタル画像信号を保持する。各ラインメモリ０、１、２は、入力画像の水平方向１ライン分の信号値を一時格納する。畳み込み演算回路１０は、三つのラインメモリ０、１、２と、４段のＦＩＲフィルタとを備える。ＦＩＲフィルタは、入力画素の信号値を一時格納するＦＦ（ＦｌｉｐＦｌｏｐ）回路、信号値に重み係数Ｗ’（ｊ，ｉ）を乗算する乗算器、重み係数Ｗ’（ｊ，ｉ）が乗算された信号値を足し合わせる加算器を備える。なお、畳み込み演算回路１０は、本実施の形態で説明する構成である場合に限られない。例えば、ラインメモリの数やＦＩＲフィルタの段数は、スケーリング処理において必要となるライン数に応じて適宜変更しても良い。
【００１８】
ラインメモリ０、１、２に保持された３ライン及び入力された１ラインを合わせた４ラインにまたがる１６個の各入力画素の信号値それぞれに重み係数Ｗ’（ｊ，ｉ）を乗算して足し合わせた値が、画素Ｐの信号値ｆ’（Ｐ）となる。信号値ｆ’（Ｐ）は、以下の式により表される。
【００１９】
【数１】
2011114537.tif 000003
【００２０】
図５は、キズ補正機能付きスケーラ回路６の動作を説明するブロック図である。図２に示した係数演算回路１１は、重み係数計算回路（重み係数計算手段）１２、キズ補正用係数切り替え回路（キズ補正用係数切り替え手段）１３及び再正規化回路（再正規化手段）１４を備える。重み係数計算回路１２は、スケーリング情報に応じて、スケーリング処理のための重み係数Ｗ（ｊ，ｉ）を計算する。重み係数Ｗ（ｊ，ｉ）は、画素Ｐとの間の距離を基にして算出される。
【００２１】
キズ補正用係数切り替え回路１３は、キズ補正対象画素について、キズ補正のための重み係数の切り替えを実行する。キズ補正用係数切り替え回路１３のスイッチＳＷは、キズアドレス情報に応じて、（０，０）のキズ補正対象画素に対する重み係数Ｗ（０，０）を「０」に切り替える。
【００２２】
再正規化回路１４は、キズ補正用係数切り替え回路１３からの重み係数群に対して、再正規化処理を実行する。再正規化処理は、キズ補正用係数切り替え回路１３による切り替えの前後における重み係数群の総和を均等にさせるための演算処理とする。この例の場合、キズ補正対象画素についてゼロに切り替えられる前の重み係数Ｗ（０，０）が、各周辺画素についての重み係数に振り分けられる。再正規化回路１４による再正規化処理を実行することで、キズ補正のための重み係数の切り替え前後における出力輝度の総和を一定に保つことが可能となる。再正規化回路１４は、キズ補正のための切り替えと再正規化処理とが実行された重み係数Ｗ’（ｊ，ｉ）を出力する。
【００２３】
畳み込み演算回路１０は、入力画素の信号値ｆ（ｊ，ｉ）と、再正規化回路１４からの重み係数群を使用した畳み込み演算を実行し、画素Ｐの信号値ｆ’（Ｐ）を出力する。このように、畳み込み演算回路１０は、キズ補正用係数切り替え回路１３における切り替えと再正規化回路１４における再正規化処理とを経た重み付け係数群を使用した畳み込み演算を実行する。
【００２４】
このようにして、キズ補正機能付きスケーラ回路６において、キズ補正のための切り替えを経た重み係数を含めてスケーリング処理を実行することにより、スケーリング処理後の画像へのキズの影響を低減させることができる。画像処理装置３は、適切なキズ補正及びスケーリング処理を経た高品質な画像を得ることが可能となる。また、画像処理装置３は、キズ補正とスケーリング処理とで共通のラインメモリ７を使用可能な構成とすることにより、キズ補正回路及びスケーラ回路のそれぞれにラインメモリを設ける場合と比較して、回路規模を大幅に削減することが可能となる。特に、カメラモジュール１の画素サイズが大型化するほど、回路規模の増大を効果的に抑制可能となる。
【００２５】
画像処理装置３は、キズ補正機能付きスケーラ回路６におけるスケーリング処理をクロップ処理と組み合わせることにより、電子ズームが可能となる。例えば、５メガピクセルサイズ（２６０８×１９６０）からＸＧＡ（１０２４×７６８）に変換する場合、１倍から２．５倍までの電子ズームを実現できる。
【００２６】
図６は、キズ補正機能付きスケーラ回路６によるキズ補正とクロップ処理との関係を説明する図である。例えば、図中「×」を付した位置にキズが生じているとする。図５を参照して説明したように、畳み込み演算回路１０は、重み係数計算回路１２においてスケーリング処理のための重み係数を計算してから、キズ補正用係数切り替え回路１３におけるキズ補正のための重み係数の切り替えを行うため、クロップ処理の対象外である部分についてのキズ補正を省略可能となる。以上により、画像処理装置３は、無用なキズ補正による電力消費が抑制され、低消費電力化が可能となる。なお、キズ補正機能付きスケーラ回路６は、例えば高いスケール率でのスケーリングである場合に、周辺画素の一部を間引いてスケーリング処理を実行することとしても良い。この場合も、スケーリング処理の対象外となる画素についてのキズ補正を省略可能とすることで、低消費電力化が可能となる。
【００２７】
（第２の実施の形態）
図７は、本発明の第２の実施の形態に係る画像処理装置のうち、キズ補正機能付きスケーラ回路の動作を説明するブロック図である。本実施の形態は、メディアンフィルタ処理と等価な処理を実行するキズ補正用係数切り替え回路（キズ補正用係数切り替え手段）２１を備えることを特徴とする。第１の実施の形態と同一の部分には同一の符号を付し、重複する説明を省略する。
【００２８】
本実施の形態に係る画像処理装置は、キズ検出手段によりキズ補正対象画素を検出するとともに、キズ検出対象画素の周辺画素についての信号値の中から、キズ検出対象画素の信号値と置き換えられる置換信号値を検出する。本実施の形態では、置換検出値として、周辺画素の信号値を輝度レベル順とした場合の中間値（メディアン）を採用する。例えば、周辺画素が１５個である場合、周辺画素の信号値を輝度レベル順に並べて８番目に大きい信号値をメディアンとする。以下、周辺画素のうち信号値がメディアンとして採用された画素を「メディアン画素」と適宜称する。キズ補正用係数切り替え回路２１へは、キズアドレス情報及びメディアンアドレス情報が入力される。メディアンアドレス情報は、メディアン画素の位置を表す情報とする。
【００２９】
ここで、図３に表した例において、（０，０）の画素がキズ補正対象画素、（１，２）の画素がメディアン画素であったとする。キズ補正用係数切り替え回路２１のスイッチＳＷは、キズアドレス情報に応じて、（０，０）のキズ補正対象画素に対する重み係数Ｗ（０，０）を「０」に切り替える。また、キズ補正用係数切り替え回路２１は、（０，０）のキズ補正対象画素に対して重み係数計算回路１２で計算された重み係数Ｗ（０，０）を、（１，２）のメディアン画素について計算された重み係数Ｗ（１，２）に加算する。
キズ補正用係数切り替え回路２１の加算器は、キズアドレス情報及びメディアンアドレス情報に応じて、重み係数Ｗ（０，０）及びＷ（１，２）を加算する。
【００３０】
キズ補正用係数切り替え回路２１は、キズ補正のための切り替えが実行された重み係数Ｗ’（ｊ，ｉ）を出力する。畳み込み演算回路１０は、入力画素の信号値ｆ（ｊ，ｉ）と、キズ補正用係数切り替え回路２１からの重み係数群を使用した畳み込み演算を実行し、画素Ｐの信号値ｆ’（Ｐ）を出力する。
【００３１】
このようにして、キズ補正用係数切り替え回路２１での重み係数の加算によって、キズ補正対象画素の信号値がメディアンに切り替えられたことと等価の処理が実質的になされたこととなる。本実施の形態に係る画像処理装置は、回路規模の削減、低消費電力化、適切なスケーリング処理を可能とするとともに、メディアンフィルタ処理と等価な処理によるキズ補正を経た高品質な画像を得ることができる。なお、本実施の形態の場合は、キズ補正用係数切り替え回路２１における重み係数の切り替え前後における出力輝度の総和は保たれることから、再正規化処理を省略することができる。
【００３２】
置換信号値は、周辺画素の信号値を輝度レベル順とした場合のメディアンである場合に限られない。置換信号値としては、例えば、キズ補正対象画素が白キズである場合は周辺画素の信号値の最大値、キズ補正対象画素が黒キズである場合は周辺画素の信号値の最小値等を採用しても良く、欠陥画素に対して信号値を置換する多種多様な方式を適宜応用可能である。
【００３３】
（第３の実施の形態）
図８は、本発明の第３の実施の形態に係る画像処理装置によるキズ補正及びスケーリング処理の態様の一例を説明する図である。本実施の形態は、置換画素値を検出するための周辺画素の範囲を、スケーリング処理により一画素を生成するための畳み込み演算に使用される入力画素の範囲（カーネルサイズ）より広く設定可能であることを特徴とする。第１及び第２の実施の形態と重複する説明は省略するものとする。なお、第２の実施の形態では、周辺画素の範囲とカーネルサイズとが一致している。
【００３４】
本実施の形態におけるカーネルサイズは、図中太線で囲んで示すように、水平方向に２個（ｊ＝０、１）、垂直方向に２個（ｉ＝０、１）のマトリクスをなす４画素であるとする。これに対して、置換画素値を検出するための周辺画素の範囲は、第２の実施の形態の場合と同様に、キズ補正対象画素の周囲の１５画素とする。本実施の形態の場合、図４に示す畳み込み演算回路１０を用いることとし、４×４の１６画素を最大としてカーネルサイズの調整を行うものとする。２×２の４画素をカーネルサイズとする場合、１６画素のうちカーネルサイズ外となる１２画素については重み係数Ｗ’（ｊ，ｉ）を「０」に固定してスケーリング処理を実行する。
【００３５】
スケーリング設定によるスケール率が低い場合に、畳み込み演算に使用される狭い範囲内で置換画素値を検出することとすると、信号値の分布によっては、キズ補正に適切な信号値を置換画素値として採用することが困難な場合が生じ得る。そこで、スケール率が低い場合であっても、置換画素値を検出するための周辺画素の範囲をカーネルサイズより拡大することにより、キズ補正に適切な置換画素値を検出可能とし、効果的なキズ補正とともにスケーリング処理の実行が可能となる。
【符号の説明】
【００３６】
３  画像処理装置、６  キズ補正機能付きスケーラ回路、１０  畳み込み演算回路、１２  重み係数計算回路、１３、２１  キズ補正用係数切り替え回路、１４  再正規化回路。
【図１】
2011114537.tif 000004
【図２】
2011114537.tif 000005
【図３】
2011114537.tif 000006
【図４】
2011114537.tif 000007
【図５】
2011114537.tif 000008
【図６】
2011114537.tif 000009
【図７】
2011114537.tif 000010
【図８】
2011114537.tif 000011