(57)【特許請求の範囲】
【請求項１】
画像信号の補間処理により不足色成分の感度レベル値を生成する画素補間処理部と、
色成分ごとの前記画像信号を、色差信号及び輝度信号に変換する信号変換部と、を有し、
前記画素補間処理部は、前記不足色成分についての前記画像信号の第１の周波域成分と、前記第１の周波域成分より低い周波数帯域の第２の周波域成分との加算を経て前記感度レベル値を生成し、
前記信号変換部は、前記不足色成分について、前記画像信号の前記第２の周波域成分から前記色差信号を生成し、前記画素補間処理部において加算された前記第１の周波域成分及び前記第２の周波域成分から前記輝度信号を生成し、
前記輝度信号の生成に使用される前記第２の周波域成分に対する前記第１の周波域成分の割合を、前記画像信号のアナログゲインに応じて調整可能であることを特徴とする画像処理装置。
【請求項２】
前記輝度信号の生成に使用される前記第２の周波域成分に対する前記第１の周波域成分の割合を、前記画像信号のアナログゲインに相関させたアナログゲイン係数の乗算により調整可能であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記アナログゲイン係数は、前記アナログゲインが高くなるに従って低くなるような相関を持たせて設定されることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画素補間処理部は、前記第１の周波域成分と前記第２の周波域成分との加算より前に、前記第１の周波域成分の割合を調整可能であることを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
フルカラー撮像装置の一つであるいわゆる単板式撮像装置は、例えば民生用のデジタルスチルカメラ（ＤＳＣ）やカメラ付き携帯電話のように、構成の小型化、低価格化が求められる場合に適している。単板式撮像装置は、赤色（Ｒ）用、緑色（Ｇ）用、青色（Ｂ）用のカラーフィルタのいずれかを光電素子上に設け、不足色成分の感度信号を画素位置ごとに算出することにより、一つの二次元撮像素子から複数色の画像信号を得る。不足色成分の感度レベル値は、対象画素及びその周辺画素における既知の感度レベル値を使用する補間処理により生成される（例えば、特許文献１参照）。
【０００３】
従来、不足色成分の感度レベル値の生成において、例えば、画像信号の低域成分と高域成分とを抽出し、加算する手法が採用されている。高域成分の加算により解像度の劣化を抑制させることで、画素補間処理がなされた高い解像度の画像を得ることが可能となる。しかし、低照度な環境下での撮影のように、解像度よりＳ／Ｎ（信号対ノイズ比）を重視した画像処理が求められる場合には、高域成分がＳ／Ｎ劣化の要因となる場合が生じる。また、画像信号をＲＧＢ形式からＹＵＶ形式へ変換して出力する場合に、高域成分が要因となって色ノイズが悪化する場合も生じる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１９７５１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、画像信号の補間処理により不足色成分の感度レベル値を生成する場合における解像度の劣化を抑制させるとともにＳ／Ｎ劣化の抑制を可能とする画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本願発明の一態様によれば、画像信号の補間処理により不足色成分の感度レベル値を生成する画素補間処理部を有し、前記画素補間処理部は、前記不足色成分についての前記画像信号の第１の周波域成分と、前記第１の周波域成分より低い周波数帯域の第２の周波域成分との加算を経て前記感度レベル値を生成し、前記第２の周波域成分に加算させる前記第１の周波域成分の割合を調整可能であることを特徴とする画像処理装置が提供される。
【発明の効果】
【０００７】
本発明によれば、解像度の劣化を抑制させるとともにＳ／Ｎの劣化を抑制できるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】第１の実施の形態に係る画像処理装置を備えるカメラモジュールの構成を示すブロック図。
【図２】画素補間処理部における補間処理の態様の一例を説明する図。
【図３】画素補間処理部による補間処理の動作を説明するブロック図。
【図４】第２の実施の形態に係る画像処理装置における補間処理及び信号変換の動作を説明するブロック図。
【図５】第３の実施の形態に係る画像処理装置における補間処理及び信号変換の動作を説明するブロック図。
【発明を実施するための形態】
【０００９】
以下に添付図面を参照して、本発明の実施の形態に係る画像処理装置を詳細に説明する。
【００１０】
（第１の実施の形態）
図１は、第１の実施の形態に係る画像処理装置１を備えるカメラモジュールの構成を示すブロック図である。カメラモジュールは、画像処理装置１、撮像レンズ２及びイメージセンサ３を備える。撮像レンズ２は、被写体からの光を取り込み、イメージセンサ３の画素部１０に被写体像を結像させる。イメージセンサ３は、画素部１０、アナログデジタル変換器（ＡＤＣ）１１、及び三角波（ＶＲＥＦ）発生回路１２を備える。
【００１１】
画素部１０は、被写体からの光を信号電荷に変換することにより、被写体像を撮像する。画素部１０は、Ｒ、Ｇ、Ｂの信号値をベイヤー配列に対応する順序で取り込み、アナログ信号を生成する。ＡＤＣ１１は、画素部１０からのアナログ信号をデジタル信号に変換（ＡＤ変換）する。ＡＤＣ１１は、カラム型ノイズキャンセル回路（ＣＤＳ）と一体としたものであっても良い。ＶＲＥＦ発生回路１２は、ＡＤＣ１１でのＡＤ変換に用いるＶＲＥＦを発生させる。
【００１２】
画像処理装置１は、ＡＤＣ１１から出力されたデジタル画像信号に対して、以下に説明する種々の画像処理を施す。キズ補正回路１４は、画素部１０において正常に機能していない画素によるデジタル画像信号の欠損部分（キズ）を補正するためのキズ補正処理を実行する。ノイズ低減回路１５は、ノイズ低減処理を実行する。
【００１３】
画素補間処理部１７は、ベイヤー配列の順序で伝達されてくるデジタル画像信号に対して、画素補間処理（デモザイク処理）を実行する。カラーマトリックス処理部１８は、色再現性を得るためのカラーマトリックス演算処理（色再現性処理）を実行する。輪郭処理部１９は、イメージセンサ３による撮像条件及び各画素の位置に基づいて算出した補正係数を用いて、輪郭強調処理を実行する。
【００１４】
ガンマ補正部２０は、画像の彩度や明るさを補正するためのガンマ補正を実行する。エッジ抽出部２１は、ベイヤー配列の順序で伝達されてくるデジタル画像信号からエッジ抽出をし、抽出結果をＲＧＢ／ＹＵＶ変換部２２へ出力する。ＲＧＢ／ＹＵＶ変換部（信号変換部）２２は、Ｒ、Ｇ、Ｂの感度信号から輝度（Ｙ）信号及び色差（ＵＶ）信号を生成することにより、画像信号をＲＧＢ形式からＹＵＶ形式（例えば、ＹＵＶ４２２など）へ変換する。
【００１５】
ＡＥ／ＡＷＢ演算回路２３は、ガンマ補正部２０によるガンマ補正の結果から、ＡＥ（Ａｕｔｏ  Ｅｘｐｏｓｕｒｅ）、ＡＷＢ（Ａｕｔｏ  Ｗｈｉｔｅ  Ｂａｌａｎｃｅ）のための各係数を算出し、出力する。デジタルＡＭＰ係数回路２４は、ＡＥ／ＡＷＢ演算回路２３の出力と、シェーディング補正係数とを基にしてデジタルＡＭＰ係数を算出する。アナログゲイン（ＡＧ）設定部２５は、ＡＥ／ＡＷＢ演算回路２３の出力を基にしてＡＧを設定する。ＡＧ設定部２５で設定されたＡＧは、ＶＲＥＦ発生回路１２と画素補間処理部１７とへ入力される。ＶＲＥＦ発生回路１２は、ＡＧ設定部２５からのＡＧに応じたＶＲＥＦを発生させる。
【００１６】
ラインメモリ１３、１６は、ベイヤー配列に対応する順序で伝達されてくるデジタル画像信号のデータを一時的に貯える。キズ補正回路１４及びノイズ低減回路１５は、ラインメモリ１３を共用している。キズ補正回路１４、ノイズ低減回路１５からの画像信号に対しては、デジタルＡＭＰ係数回路２４からのデジタルＡＭＰ係数により、ＡＥ、ＡＷＢ、及びレンズシェーディング補正のためのデジタルゲインＡＭＰ処理を行う。デジタルゲインＡＭＰ処理が施された画像信号は、ラインメモリ１６に格納される。
【００１７】
画像処理装置１は、ラインメモリ１６に格納された画像信号に対して、画素補間処理部１７からＲＧＢ／ＹＵＶ変換部２２までの各処理を順次実行し、ＲＧＢ／ＹＵＶ変換部２２でＹＵＶ形式へ変換された画像信号を出力する。なお、本実施の形態で説明する画像処理装置１の構成は一例であって、適宜変形しても良い。例えば、本実施の形態で説明する構成において、他の処理のための要素の追加や、省略可能な要素を省略するなどの変更をしても良い。
【００１８】
図２は、画素補間処理部１７における補間処理の態様の一例を説明する図である。ここで、Ｒ用画素は、Ｒ光を選択的に透過させるカラーフィルタが設けられた画素であって、Ｒを既得色成分、Ｇ及びＢを不足色成分とする。Ｇ用画素は、Ｇ光を選択的に透過させるカラーフィルタが設けられた画素であって、Ｇを既得色成分、Ｒ及びＢを不足色成分とする。Ｂ用画素は、Ｂ光を選択的に透過させるカラーフィルタが設けられた画素であって、Ｂを既得色成分、Ｒ及びＧを不足色成分とする。画素部１０には、Ｒ用画素、Ｇ用画素、Ｂ用画素がベイヤー配列をなして配置されている。
【００１９】
図２に示すように、２５個の画素Ｄ１〜Ｄ２５が、５×５のマトリクス状に配置されているとする。２５個の画素Ｄ１〜Ｄ２５の中心の画素Ｄ１３がＲ用画素であるとした場合に、画素補間処理部１７は、画素Ｄ１３について、例えば、以下の式によってＲ、Ｇ、Ｂの各感度レベル値を算出する。画素Ｄ１３の不足色成分であるＧ、Ｂの感度レベル値は、既得色成分の感度レベル値を用いた補間処理によって生成する。なお、以下の式において、Ｄ１、Ｄ２・・・Ｄ２５は、それぞれ画素Ｄ１、画素Ｄ２・・・画素Ｄ２５にて検出された既得色成分の感度レベル値を表すものとする。
【００２０】
Ｒ＝Ｄ１３
Ｇ＝（Ｄ８＋Ｄ１２＋Ｄ１４＋Ｄ１８）／４＋｛Ｄ１３−（Ｄ３＋Ｄ１１＋Ｄ１５＋Ｄ２３）／４｝／４
Ｂ＝（Ｄ７＋Ｄ９＋Ｄ１７＋Ｄ１９）／４＋｛Ｄ１３−（Ｄ３＋Ｄ１１＋Ｄ１５＋Ｄ２３）／４｝／２
【００２１】
Ｇについて使用した補間式のうち前段の項（Ｄ８＋Ｄ１２＋Ｄ１４＋Ｄ１８）／４は、画像信号の低域成分を抽出したものに相当し、後段の項のうち｛Ｄ１３−（Ｄ３＋Ｄ１１＋Ｄ１５＋Ｄ２３）／４｝は、画像信号の高域成分を抽出したものに相当する。Ｂについて使用した補間式のうち前段の項（Ｄ７＋Ｄ９＋Ｄ１７＋Ｄ１９）／４は、画像信号の低域成分を抽出したものに相当し、後段の項のうち｛Ｄ１３−（Ｄ３＋Ｄ１１＋Ｄ１５＋Ｄ２３）／４｝は、画像信号の高域成分を抽出したものに相当する。画素補間処理部１７は、不足色成分についての画像信号の第１の波長域成分である高域成分と、第１の波長域成分より低い周波数帯域の第２の周波域成分である低域成分との加算を経て感度レベル値を生成する。
【００２２】
図３は、画素補間処理部１７による補間処理の動作を説明するブロック図である。ラインメモリ１６は、４ライン分のデジタル画像信号を保持する（４Ｈ）。画素補間処理部１７には、ラインメモリ１６に保持された４ラインと、ラインメモリ１６へ入力される直前の１ラインと、の計５ラインのデータが入力される。
【００２３】
画素補間処理部１７は、５ラインで入力されるデータの信号値をＶＨカウントに応じてサンプリングし、Ｒ成分、Ｇ成分、Ｂ成分の各感度レベル値を生成する。画素補間処理部１７は、上述と同様の補間式を各色成分について適用することで、Ｒ成分、Ｇ成分、Ｂ成分のそれぞれについて、低域成分と高域成分とを抽出する。
【００２４】
画素補間処理部１７において、Ｒ成分、Ｇ成分、Ｂ成分のそれぞれについて低域成分と高域成分とが加算される前に、各色成分の高域成分には、ＡＧ係数が乗算される。ＡＧ係数は、ＡＧ設定部２５で設定された画像信号のアナログゲインに相関させた係数とする。ＡＧ係数は、ＡＧが高くなるに従って、リニアに低くなるような相関を持たせて設定されている。画像処理装置１には、ＡＧとＡＧ係数との相関関係が予め格納されている。画素補間処理部１７は、ＡＧ設定部２５から入力されるＡＧに対して、かかる相関関係を参照することにより求められたＡＧ係数を高域成分に乗算する。画素補間処理部１７は、ＡＧ係数の乗算により、低域成分に加算させる高域成分の割合を調整する。画素補間処理部１７は、低域成分と、ＡＧ関数が乗算された高域成分との加算を経て生成された各色成分の感度レベル値を出力する。
【００２５】
ＡＧが高くなるに従って低くなるような相関を持たせてＡＧ係数を高域成分に乗算することにより、低照度な環境下での撮影のようにＡＧを高くするほど、高域成分の比率を減少させるような調整をする。このため、解像度よりＳ／Ｎを重視した画像処理が求められる場合に、Ｓ／Ｎの劣化の要因となる高域成分の比率を減少させることが可能となる。ＡＧに応じて割合が調整された高域成分の加算を経て感度レベル値を生成することで、解像度の劣化を抑制させる効果を得ることも可能となる。以上により、画像処理装置１は、画像信号の補間処理により不足色成分の感度レベル値を生成する場合における解像度の劣化を抑制させるとともに、Ｓ／Ｎの劣化を抑制することも可能となる。
【００２６】
なお、本実施の形態に適用される補間処理は、画像信号の高域成分と低域成分との抽出を経るいずれの手法を用いても良く、補間式を適宜変形しても良い。補間処理のために入力されるデータのライン数は、本実施の形態で説明する５ラインである場合に限られず、いずれのライン数としても良い。
【００２７】
ＡＧ係数は、ＡＧに対してリニアに増減するような相関を持たせる場合に限られず、Ｓ／Ｎの改善が求められる高いＡＧに対してＡＧ係数が低い値となるように設定されたものであれば良い。例えば、ＡＧ係数としては、ＡＧの逆数を採用しても良い。また、解像度よりＳ／Ｎを重視した画像処理が求められる所定範囲のＡＧに対してのみ、高域成分の割合を調整することとしても良い。
【００２８】
（第２の実施の形態）
図４は、第２の実施の形態に係る画像処理装置における補間処理及び信号変換の動作を説明するブロック図である。本実施の形態は、ＲＧＢ／ＹＵＶ変換部２２（図１参照）における信号変換において、画像信号の低域成分から色差（ＵＶ）信号を生成することを特徴とする。第１の実施の形態と同一の部分には同一の符号を付し、重複する説明を適宜省略する。
【００２９】
画素補間処理部１７（図１参照）は、Ｒ成分、Ｇ成分、Ｂ成分のそれぞれについて、低域成分と高域成分とを抽出し、低域成分と高域成分との加算により、不足色成分の感度レベル値を生成する。ＲＧＢ／ＹＵＶ変換部２２は、画素補間処理部１７で抽出され加算された低域成分と高域成分とからＹ信号を生成し、Ｙ成分の感度レベル値を出力する。また、ＲＧＢ／ＹＵＶ変換部２２は、画素補間処理部１７で抽出され加算された低域成分と高域成分とのうち、低域成分のみからＵＶ信号を生成し、Ｕ成分、Ｖ成分の感度レベル値を出力する。
【００３０】
このように、高域成分が除去されたＲＧＢ信号からＵＶ信号を生成することにより、色度に関するＳ／Ｎの劣化を抑制させることが可能となる。人は色度の変化よりも輝度の変化に対して高感度であることを鑑みると、低域成分と高域成分とが加算されたＲＧＢ信号からＹ信号を生成することにより、解像度の劣化を抑制させることが可能となる。これにより、本実施の形態においても、画像信号の補間処理により不足色成分の感度レベル値を生成する場合における解像度の劣化を抑制させるとともに、Ｓ／Ｎの劣化を抑制することも可能となる。
【００３１】
（第３の実施の形態）
図５は、第３の実施の形態に係る画像処理装置における補間処理及び信号変換の動作を説明するブロック図である。本実施の形態は、第１の実施の形態及び第２の実施の形態の特徴を兼ね備えることを特徴とする。第１の実施の形態及び第２の実施の形態と同一の部分には同一の符号を付し、重複する説明を適宜省略する。
【００３２】
画素補間処理部１７（図１参照）において、Ｒ成分、Ｇ成分、Ｂ成分のそれぞれについて低域成分と高域成分とが加算される前に、各色成分の高域成分には、ＡＧ係数が乗算される。ＡＧ係数は、ＡＧが高くなるに従って、リニアに低くなるような相関を持たせて設定されている。画素補間処理部１７は、低域成分と、ＡＧ係数が乗算された高域成分との加算を経て生成された各色成分の感度レベル値を出力する。
【００３３】
ＲＧＢ／ＹＵＶ変換部２２（図１参照）は、画素補間処理部１７で抽出され加算された低域成分と高域成分とからＹ信号を生成し、Ｙ成分の感度レベル値を出力する。また、ＲＧＢ／ＹＵＶ変換部２２は、画素補間処理部１７で抽出され加算された低域成分と高域成分とのうち、低域成分のみからＵＶ信号を生成し、Ｕ成分、Ｖ成分の感度レベル値を出力する。
【００３４】
本実施の形態においても、画像信号の補間処理により不足色成分の感度レベル値を生成する場合における解像度の劣化を抑制させるとともに、Ｓ／Ｎの劣化を抑制することも可能となる。
【符号の説明】
【００３５】
１  画像処理装置、３  イメージセンサ、１０  画素部、１１  ＡＤＣ、１２  ＶＲＥＦ発生回路、１７  画素補間処理部、２５  ＡＧ設定部。
【図１】
0005523802.tif 000002
【図２】
0005523802.tif 000003
【図３】
0005523802.tif 000004
【図４】
0005523802.tif 000005
【図５】
0005523802.tif 000006