(57)【要約】【課題】  効果的なジャギー改善が可能な位置補正を行う画像処理装置及びその制御方法を提供する。【解決手段】  画素の空間的な位置が等間隔でない画像の、補正対象画素の値を、補正対象画素と同色の画素との加重加算値と、同色の画素よりも近くに存在する画素との加重加算値とを補正対象画素の色情報に応じた比率で合成した値で置き換えることにより、補正対象画素の位置を補正する。【選択図】  図３
2015095890.tif 000002
【特許請求の範囲】
【請求項１】
画素の空間的な位置が等間隔でない画像を処理する画像処理装置であって、
補正対象画素の値を、前記画像において前記補正対象画素から所定方向に存在する前記補正対象画素と同色の画素と、前記補正対象画素とを加重加算した値で置き換えることにより、前記補正対象画素の前記所定方向における位置を所定の位置に補正する第１の補正手段と、
前記補正対象画素の値を、前記同色の画素よりも前記所定方向において前記補正対象画素の近くに存在する画素と、前記補正対象画素とを加重加算した値で置き換えることにより、前記補正対象画素の前記所定方向における位置を前記所定の位置に補正する第２の補正手段と、
前記第１の補正手段で補正された前記補正対象画素の値と、前記第２の補正手段で補正された前記補正対象画素の値とを、前記補正対象画素の色情報に応じた比率で合成する合成手段と、を有し、
前記合成の結果を、前記補正対象画素の、前記所定の位置における値とすることを特徴とする画像処理装置。
【請求項２】
前記合成手段は、前記色情報により、前記補正対象画素が無彩色である度合いが大きいことが示されるほど、前記第２の補正手段で補正された前記補正対象画素の値の比率を大きくして前記合成を行うことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記第１の補正手段が、前記画像において前記補正対象画素と前記所定方向に隣接する前記補正対象画素と同色の画素を用いて前記補正を行うことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記第２の補正手段が、前記画像において前記補正対象画素と前記所定方向に隣接する画素を用いて前記補正を行うことを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
前記色情報を前記第１の補正手段で補正された前記補正対象画素の値から算出する算出手段をさらに有することを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
前記第１の補正手段で補正された前記補正対象画素の値に対して偽色低減処理を適用する偽色低減手段をさらに有し、
前記算出手段は、前記色情報を、前記偽色低減処理が適用された前記補正対象画素の値から算出することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記合成手段は前記補正対象画素の輝度成分の値を生成し、前記補正対象画素の色成分の値は、前記第１の補正手段の出力する値を用いることを特徴とする請求項１から請求項６のいずれか１項に記載の画像処理装置。
【請求項８】
前記輝度成分の値に対してノイズ低減処理を適用するとともに、前記ノイズ低減処理前後の値を前記色情報に応じて加重加算するノイズ低減手段をさらに有し、
前記ノイズ低減手段は、前記色情報により、前記補正対象画素が無彩色である度合いが大きいことが示されるほど、前記ノイズ低減処理後の値の比率を大きくして前記加重加算を行うことを特徴とする請求項７記載の画像処理装置。
【請求項９】
前記所定の位置が、前記所定方向における画素の空間的な位置が等間隔になるように定められることを特徴とする請求項１から請求項８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記画像が、カラー撮像素子から加算読み出しもしくは間引き読み出しされた画像であることを特徴とする請求項１から請求項９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記画像が、カラー撮像素子から読み出された画像の画素を加算もしくは間引いた画像であることを特徴とする請求項１から請求項９のいずれか１項に記載の画像処理装置。
【請求項１２】
前記色情報が彩度又は色差であることを特徴とする請求項１から請求項１１のいずれか１項に記載の画像処理装置。
【請求項１３】
画素の空間的な位置が等間隔でない画像を処理する画像処理装置の制御方法であって、
第１の補正手段が、補正対象画素の値を、前記画像において前記補正対象画素から所定方向に存在する前記補正対象画素と同色の画素と、前記補正対象画素とを加重加算した値で置き換えることにより、前記補正対象画素の前記所定方向における位置を所定の位置に補正する第１の補正工程と、
第２の補正手段が、前記補正対象画素の値を、前記同色の画素よりも前記所定方向において前記補正対象画素の近くに存在する画素と、前記補正対象画素とを加重加算した値で置き換えることにより、前記補正対象画素の前記所定方向における位置を前記所定の位置に補正する第２の補正工程と、
合成手段が、前記第１の補正工程で補正された前記補正対象画素の値と、前記第２の補正工程で補正された前記補正対象画素の値とを、前記補正対象画素の色情報に応じた比率で合成する合成工程と、を有し、
前記合成の結果を、前記補正対象画素の前記所定の位置における値とすることを特徴とする画像処理装置の制御方法。
【請求項１４】
コンピュータを、請求項１から請求項１２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置およびその制御方法に関し、特には、カラー撮像素子から読み出された画像信号の位置補正技術に関する。
【背景技術】
【０００２】
撮影画像の用途や撮影条件などに応じて、撮像素子の全画素数より少ない画素数の画像信号を読み出すことがある。この場合、複数の同色画素の信号を加算して読み出したり、画素を間引いて読み出したりする。
【０００３】
しかしながら、加算読み出しや間引き読み出しされた画像信号の論理的な空間位置（加算された画素の位置から得られる仮想的な画素位置）は等間隔にならない。このような位置の偏りを重心ずれといい、重心ずれは画質を低下させるジャギー（傾斜エッジなどに発生するギザギザ）の原因となる。
この問題に対し特許文献１、特許文献２では、加算読み出しされた同色画素を加重加算して、加算画素の重心位置を補正する技術を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１９９１７７号公報
【特許文献２】特許２０１１−９７５４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１及び特許文献２に開示されているような同色画素のみを用いた加重加算による位置補正では、補正によるジャギー改善の効果が必ずしも十分とは言えず、改善の余地があった。
【０００６】
本発明は、より効果的なジャギー改善が可能な位置補正を行う画像処理装置及びその制御方法の提供を目的とする。
【課題を解決するための手段】
【０００７】
上述の目的は、画素の空間的な位置が等間隔でない画像を処理する画像処理装置であって、補正対象画素の値を、画像において補正対象画素から所定方向に存在する補正対象画素と同色の画素と、補正対象画素とを加重加算した値で置き換えることにより、補正対象画素の所定方向における位置を所定の位置に補正する第１の補正手段と、補正対象画素の値を、同色の画素よりも所定方向において補正対象画素の近くに存在する画素と、補正対象画素とを加重加算した値で置き換えることにより、補正対象画素の所定方向における位置を所定の位置に補正する第２の補正手段と、第１の補正手段で補正された補正対象画素の値と、第２の補正手段で補正された補正対象画素の値とを、補正対象画素の色情報に応じた比率で合成する合成手段と、を有し、合成の結果を、補正対象画素の、所定の位置における値とすることを特徴とする画像処理装置によって達成される。
【発明の効果】
【０００８】
本発明によれば、より効果的なジャギー改善が可能な位置補正を行う画像処理装置及びその制御方法を提供できる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態にかかる画像処理装置の一例としてのデジタルカメラの構成を示すブロック図
【図２】画素加算読み出しによって発生する重心ずれを説明するための図
【図３】図１の画像処理部の機能構成例を示すブロック図
【図４】図１の画像処理部の動作を説明するためのフローチャート
【図５】実施形態における画素位置補正処理を説明するための図
【図６】無彩色被写体に対する第１位置補正部と第２位置補正部の補正効果の差異を示す図
【図７】ベイヤー配列の画像信号からＹＵＶ形式の画像信号を生成する処理を模式的に示す図
【図８】図３の画像合成部３０６が用いる、彩度と合成比率の関係例を示す図
【図９】図３のノイズ低減部３０７の構成構成例を示すブロック図
【図１０】図３のノイズ低減部３０７の動作を説明するためのフローチャート
【図１１】図３のノイズ低減部３０７が用いる、彩度と合成比率との関係例を示す図
【図１２】同色４画素加算読み出し時の画素位置の変化と、補正後の画素位置の例とを示す図
【発明を実施するための形態】
【００１０】
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では、画像処理装置の一例としてのデジタルカメラに本発明を適用した実施形態について説明するが、本発明はカラー撮像素子から読み出された画像信号を処理可能な任意の装置において実施可能である。従って、画像処理装置には、パーソナルコンピュータ、タブレット端末、ゲーム機、携帯電話機など、カメラを内蔵もしくは接続可能な任意の電子機器や、画像処理ソフトウェアを実行可能な任意の電子機器が含まれる。
【００１１】
図１は、本発明の実施形態にかかる画像処理装置の一例としてのデジタルカメラの構成を示すブロック図である。
デジタルカメラ１００は、光学系１０１、撮像素子１０２、Ａ／Ｄ変換部１０３、画像処理部１０４、記録部１０５、制御部１０６、操作部１０７、表示部１０８を備えている。光学系１０１にはフォーカスレンズや絞り、シャッターが含まれる。光学系１０１は、撮影時には制御部１０６の制御に従ってフォーカスレンズを駆動してピント合わせを行うとともに、絞りの開口やシャッターの開閉を行う。
【００１２】
撮像素子１０２は、光学系１０１が形成する被写体像を光電変換して画素単位の電気信号に変換する、ＣＣＤイメージセンサやＣＭＯＳイメージセンサである。撮像素子１０２にはＲ（赤）、Ｇ１（緑）、Ｇ２（緑）、Ｂ（青）の画素が原色ベイヤー配列で配置されている。また、撮像素子１０２は加算読みだしや間引き読み出しに対応している。撮像素子１０２からの電気信号の読み出しは、制御部１０６が制御する。
【００１３】
Ａ／Ｄ変換部１０３は、撮像素子１０２から入力された電気信号をデジタル化する。デジタル化された信号は画像処理部１０４でホワイトバランス補正処理、偽色低減処理、画素位置補正処理、ノイズ低減処理等を施され、最終的に記録部１０５でＪＰＥＧやＭＯＶ等の画像、動画形式に変換され記録される。記録部１０５は例えば半導体メモリカードや内蔵メモリ等の記録媒体に画像ファイルを記録する。
【００１４】
制御部１０６は、例えばプログラマブルプロセッサ、不揮発性メモリ、および揮発性メモリを有し、不揮発性メモリに記憶されたプログラムを揮発性メモリに読み出して実行することにより、デジタルカメラ１００内の各部の動作を制御する。なお、Ａ／Ｄ変換部１０３および画像処理部１０４の一部または全部は、個別のハードウェアで実現してもよいし、制御部１０６が有するプログラマブルプロセッサでソフトウェア的に実現してもよい。
【００１５】
操作部１０７は、ユーザがデジタルカメラ１００に対して指示やデータの入力を行うためのスイッチ、ボタン、タッチパネルなどの入力デバイス群である。なお、操作部１０７は入力デバイスを包括的に示したものであり、入力デバイスはデジタルカメラの様々な場所に設けられてよい。例えばタッチパネルは表示部１０８に設けられてもよい。また、音声認識や視線検知といった、物理的な入力機構を必要としない入力方法を実現するための回路なども操作部１０７に含まれる。
【００１６】
表示部１０８は、例えばデジタルカメラ１００の背面に設置された液晶ディスプレイ等であり、撮影時の操作の補助を行うための画面や、記録部１０５に保存されている画像、各種メニュー画面等の表示に用いられる。
【００１７】
ここで、図２（ａ）を用いて重心ずれについて説明する。図２（ａ）は、撮像素子のある水平ラインにおける画素配列と、この水平ラインから２画素加算読み出した画素の位置を示している。ここでは、原色ベイヤー配列におけるＲ画素とＧ１画素が含まれる水平ラインを例示しているが、Ｇ２画素とＢ画素が含まれる水平ラインにおいても同様である。
【００１８】
ここでは、一例として、式（１），式（２）で表される加算読み出しを行ったものとする。ｉは画素の番号であり、１以上の整数である。またＲi’は加算後のＲ画素、Ｇ１i’は加算後のＧ１画素の値を示す。
Ｒi’ ＝ （Ｒ(2i-1) ＋ Ｒ2i）／２      …  式（１）
Ｇ１i’ ＝ （Ｇ１(2i-1) ＋ Ｇ１2i）／２  …  式（２）
【００１９】
このような加算読み出しは線形補間と同様であるため、読み出された画素（加算画素）の空間的な論理位置は、加算に用いられた隣接同色画素の重心位置を結ぶ直線の中央であると考えられる。このように、加算読みだしにより画素の論理的な位置が移動することで、隣接する画素Ｒi’とＧ１i’の間隔と、画素Ｇ１i’とＲi＋１’の間隔とが均等にならなくなる。例えば、垂直方向にも同様の加算読み出しを行った場合、加算前後の画素の位置は図２（ｂ）に示すようになる。このような重心ずれはジャギーが発生する原因となるため、加算画素の位置が等間隔になるように補正する必要がある。位置を補正するための具体的な処理については後述する。
【００２０】
次に、本実施形態における画像処理部１０４の機能構成例を示すブロック図である図３と、画像処理部１０４の動作を説明するためのフローチャートである図４とを参照し、画像処理部１０４について説明する。画像処理部１０４には、Ａ／Ｄ変換部１０３からの画像信号が入力される。ここで、入力される画像信号は、図２（ｂ）に示した加算読み出しが行われ、画素位置が等間隔になっていない状態であるものとする。
【００２１】
まずＳ４０１で画像処理部１０４は、ホワイトバランス補正部３０１において、入力画像信号に含まれる各画素の信号に対し、画素の色（ここではＧ１，Ｇ２は異なる色とみなす）に応じたホワイトバランスゲインを適用する。本実施形態で撮像素子１０２は原色ベイヤー配列の画素配列を有するので、ホワイトバランス補正部３０１は、以下の式（３）〜（６）に記載するようにして、加算画素Ｒ’、Ｇ１’、Ｇ２’、Ｂ’に独立したホワイトバランスゲインを適用する。
Ｒ’    ＝  ＷＢｒ    ×  Ｒ’      …  式（３）
Ｇ１’  ＝  ＷＢｇ１  ×  Ｇ１’    …  式（４）
Ｇ２’  ＝  ＷＢｇ２  ×  Ｇ２’    …  式（５）
Ｂ’    ＝  ＷＢｂ    ×  Ｂ’      …  式（６）
【００２２】
ホワイトバランスゲインＷＢｒ、ＷＢｇ１、ＷＢｇ２、ＷＢｂは、例えば特許第３５１３５０６号に開示されている技術を用いて算出すればよい。具体的には、画像を複数の分割領域に分割し、各分割領域の位置に応じた条件に基づいて各分割領域内の画像データが白色であるかを判断する。そして白色であると判断された分割領域の画像データに基づいてホワイトバランス補正時のゲインを算出する。なお、ホワイトバランスゲインは他の公知の技術を用いて算出してもよい。ホワイトバランス補正部３０１から出力されたベイヤー配列の画像信号は、第１位置補正部３０２及び第２位置補正部３０３へ入力される。
【００２３】
次に、Ｓ４０２で行う画素位置補正処理について、図５〜６を用いて説明を行う。
本実施形態において位置補正部は、第１位置補正部３０２と、第２位置補正部３０３をそれぞれ１つ有するものとする。第１位置補正部３０２は、図５（ａ）に示すように、位置を補正する加算画素（補正対象画素）の値と、補正対象画素と同色で、位置を補正する所定方向（水平方向とする）に隣接する加算画素の値とを加重加算する。そして、第１位置補正部３０２は、加重加算で得られた値で補正対象画素の値を置き換えることにより、補正対象画素の水平方向の位置を、画素位置が等間隔になるように定められた所定の水平位置（目標位置）に補正する。より具体的には、補正後の目標位置を挟んで補正対象画素に水平方向で隣接する、補正対象画素と同色の加算画素の値と、補正対象画素の値とを加重加算した値で、補正対象画素の値を置き換える。水平方向の位置を補正する場合、第１位置補正部３０２は、Ｒ画素とＧ１画素について、式（７）、（８）を用いる。
Ｒi” ＝ （Ｒ(i-1)’ ＋ ７ × Ｒi’）／８        …  式（７）
Ｇ１i” ＝ （７ × Ｇ１i’ ＋ Ｇ１(i+1)’）／８    …  式（８）
このような加重加算により、加算画素の水平方向における位置を等間隔にすることができる。なお、加算画素に対する重みは例えば、補正に用いる加算画素の位置と、補正対象画素の補正後の目標位置との関係から決定することができる。具体的には、一方の加算画素の補正対象画素の補正後の目標位置からの距離と、他方の加算画素の補正対象画素の補正後の目標位置からの距離の比率が１対７であれば、それぞれの加算画素に対する重みの比率は、距離に比率の逆となる７対１にすればよい。
【００２４】
一方で、第２位置補正部３０３は、図５（ｂ）のように、補正対象画素の値と、位置補正を行う所定方向（ここでは水平方向）で補正対象画素に隣接する加算画素（色は問わない）の値とを加重加算する。そして、第２位置補正部３０３は、加重加算で得られた値で補正対象画素の値を置き換えることにより、補正対象画素の水平方向の位置を、画素位置が等間隔になるように定められた所定の水平位置（目標位置）に補正する。より具体的には、補正後の目標位置を挟んで補正対象画素に水平方向で隣接する、任意の色の加算画素の値と、補正対象画素の値とを加重加算した値で、補正対象画素の値を置き換える。水平方向の位置を補正する場合、Ｒ画素とＧ１画素は、式（９）、（１０）を用いて位置が補正される。
Ｒi” ＝ （Ｇ１(i-1)’ ＋ ５ × Ｒi’）／６      …  式（９）
Ｇ１i” ＝ （５ × Ｇ１i’ ＋ Ｒ(i+1)’）／６    …  式（１０）
このような加重加算により、加算画素の位置を等間隔に補正することができる。なお、加算画素に対する重みは例えば、補正に用いる画素の位置と、どの位置に重心を補正するか（目標位置）との関係から決定することができる。
【００２５】
なお、加算画素の各々について、第１位置補正部３０２による補正後の位置と、第２位置補正部３０３による補正後の位置とが等しくなるように、位置を補正する。
第１位置補正部３０２および第２位置補正部３０３は、Ｇ２、Ｂ画素の存在する画素ラインに関しても、同様の重心補正処理を行う。また、垂直方向に対しても水平方向と同様にして画素位置補正を行う。
【００２６】
一般的な撮像素子が備えるモザイク状のカラーフィルタでは、同色画素の間隔よりも異色画素の間隔の方が短いため、第２位置補正部３０３が加重加算に用いる隣接画素の方が、第１位置補正部３０２が加重加算に用いる同色隣接画素よりも目標位置に近くなる。被写体が無彩色であるほど色成分間の値の差が少なくなるため、同色画素の値を用いる利点よりも、目標位置に近い位置の画素の値を用いることによる、加重加算で得られる位置補正後の画素値の精度向上の利点が大きくなる。
【００２７】
第１位置補正部３０２による画素位置補正結果と、第２位置補正部３０３による画素位置補正結果を、ＣＺＰ(Circular Zone Plate)の画像で比較したものを図６（ａ）〜（ｃ）に示す。図６（ａ）に示す画像を、画素位置補正以外のノイズ低減処理等を同条件で行って現像処理した画像を図６（ｂ）および（ｃ）に示す。図６（ｂ）と（ｃ）との比較からは、図６（ｃ）の方がジャギーが改善され解像感の劣化も少ないことが分かる。これは、ＣＺＰ画像が無彩色の被写体であるためと考えられる。
【００２８】
図３に戻って、第１位置補正部３０２の出力は、偽色低減部３０４と画像合成部３０６へ入力される。また、第２位置補正部３０３の出力は、画像合成部３０６へ入力される。
【００２９】
図４に戻り、Ｓ４０３で画像処理部１０４は、第１位置補正部３０２の出力するベイヤー配列の画像信号に対し、偽色低減部３０４を用いて偽色低減処理を行う。ここでは、公知の偽色低減処理を用いることができる。例えば、図７のようにベイヤー配列の画像信号から補間処理によりＲ、Ｇ１、Ｇ２、Ｂ、の４プレーンの画像信号を作成する。そして、帯域制限周波数の異なる複数のローパスフィルタ（ＬＰＦ１〜ＬＰＦ３）によるフィルタ処理を行い、それぞれの帯域制限後の画像信号から色成分である色差信号（Ｕ，Ｖ）を算出する。そしてＧ１信号とＧ２信号のそれぞれの画像信号における傾きまたはＧ１信号とＧ２信号の差分の少なくとも１つから高周波領域を判断し、高周波領域である程、遮断周波数の低い画像信号から生成した色差信号を選択する。一方、輝度信号（Ｙ）は帯域制限しない画像信号から生成する。なお、偽色低減処理はこの方法に限定されず、他の公知技術を用いてもよい。
【００３０】
偽色低減部３０４は偽色低減後の色差信号Ｕ，Ｖを色情報算出部３０５とノイズ低減部３０７へ出力し、輝度信号Ｙを色情報算出部３０５へ出力する。なお、ＲＧＢ形式からＹＵＶ形式への変換は、例えば式（１１）〜（１３）を用いて行うことができる。なお、式（１１）〜（１３）におけるＧ信号は、例えばＧ１信号とＧ２信号を平均したり加重加算したりして算出することができる。
Ｙ  ＝  ０．２９９×Ｒ  ＋  ０．５８７×Ｇ  ＋  ０．１１４×Ｂ  …  式（１１）
Ｕ  ＝  ０．１６９×Ｒ  ―  ０．３３１×Ｇ  ＋  ０．５００×Ｂ  …  式（１２）
Ｖ  ＝  ０．５００×Ｒ  ―  ０．４１９×Ｇ  ＋  ０．０８１×Ｂ  …  式（１３）
【００３１】
次に、Ｓ４０４で画像処理部１０４は、色情報算出部３０５を用い、輝度信号Ｙと偽色低減処理後の色差信号Ｕ，Ｖとから、画素ごとの彩度Ｓを算出する。彩度Ｓは、例えば輝度信号Ｙと色差信号Ｕ，ＶをＲ，Ｇ，Ｂに変換した後、式（１４）〜（１６）を用いて算出すれば良い。
ＭＡＸ  ＝  ｍａｘ（Ｒ，Ｇ，Ｂ）          …  式（１４）
ＭＩＮ  ＝  ｍｉｎ（Ｒ，Ｇ，Ｂ）          …  式（１５）
Ｓ      ＝（ＭＡＸ  −  ＭＩＮ）／ＭＡＸ  …  式（１６）
なお、関数ｍａｘ（）は引数の最大値を、関数ｍａｘ（）は引数の最小値を、それぞれ出力する。
本実施形態において、画素の色情報を彩度としたが、色差信号など、色の強さを表す他の指標でも良い。例えば、色差信号Ｕの二乗と色差信号Ｖの二乗の和を用いて判断してもよい。彩度Ｓは、画像合成部３０６とノイズ低減部３０７へ入力される。
【００３２】
次に、Ｓ４０５での画像合成部３０６の動作について図８を用いて説明する。画像合成部３０６では、画素ごとに色情報算出部３０５で算出した彩度Ｓに応じて、第１位置補正部３０２と第２位置補正部３０３の出力画像信号の加重加算を行う。図８は、彩度Ｓに応じた加重加算の重み（合成比率）の関係を示している。重みの合計は１である。彩度Ｓが低いほど、被写体は無彩色であるため、よりジャギー改善効果の高い第２位置補正部３０３の出力の重みを大きく（比率を高く）する。一方、彩度Ｓが高いほど、第１位置補正部３０２の出力の重みを大きく（比率を高く）する。
【００３３】
具体的には、第１位置補正部３０２の出力の合成比率Ｐ１と第２位置補正部３０３の出力の合成比率Ｐ２（Ｐ１＋Ｐ２＝１）を、式（１７）〜（２０）の様に算出すればよい。
Ｐ１  ＝  ０  ，Ｐ２  ＝  １            ｉｆ（Ｓ＜Ｓ１）        …  式（１７）
Ｐ１  ＝  （Ｓ−Ｓ１）／（Ｓ２−Ｓ１）  ｉｆ（Ｓ１≦Ｓ≦Ｓ２）  …  式（１８）
Ｐ２  ＝  （Ｓ２−Ｓ）／（Ｓ２−Ｓ１）  ｉｆ（Ｓ１≦Ｓ≦Ｓ２）  …  式（１９）
Ｐ１  ＝  １  ，Ｐ２  ＝  ０            ｉｆ（Ｓ＞Ｓ２）        …  式（２０）
なお、一方の合成比率が１となる閾値Ｓ１，Ｓ２については、例えば実験的に定めることができる。あるいは、撮像素子のＲ，Ｇ，Ｂに対応するそれぞれのカラーフィルタの分光特性に基づいて、Ｒ，Ｇ，Ｂに対応するそれぞれの信号レベルの差分が所定範囲に収まるための彩度を計算により求め、閾値として設定することも可能である。
【００３４】
画像合成部３０６は、このような加重加算により合成したベイヤー配列の画像信号から、補正対象画素の輝度成分を生成する。具体的には、ベイヤー配列の画像信号から補間処理により各画素のＲ，Ｇ，Ｂ成分を求めた後、式（１１）を用いて輝度信号Ｙを算出すればよい。画像合成部３０６は輝度信号Ｙをノイズ低減部３０７へ出力する。
【００３５】
最後にＳ４０６で画像処理部１０４は、ノイズ低減部３０７を用いてＹ，Ｕ，Ｖ信号に対してノイズ低減処理を適用する。本実施形態でのノイズ低減部３０７の機能構成例を図９に、動作のフローチャートを図１０に示す。
Ｓ１００１およびＳ１００２でノイズ低減部３０７は、輝度信号Ｙは輝度信号ノイズ低減部９０１において、色差信号Ｕ，Ｖは色差信号ノイズ低減部９０２においてそれぞれノイズ低減処理を適用する。なお、Ｓ１００１およびＳ１００２は並列に行われてもよいし、順序が逆であってもよい。
【００３６】
輝度信号および色差信号に対するノイズ低減処理の方法に制限は無く、公知の方法を用いることができる。例えば特許第４６２６００７号公報に開示されているような、注目画素の類似性の高い方向の周辺画素の重みを大きくしたフィルタ処理を用いることができる。
Ｓ１００３で輝度合成部９０３は、彩度Ｓに応じてノイズ低減処理の前後の輝度信号の合成処理を行う。
ここで、彩度Ｓに応じてノイズ低減処理前後の輝度信号を合成する理由について説明する。一般的にカラー撮像素子に設けられている原色カラーフィルタのＲ，Ｇ，Ｂフィルタの分光特性から、Ｒ成分とＢ成分に適用するホワイトバランスゲインはＧ成分に適用するホワイトバランスゲインより大きくなる。そのため、ホワイトバランス補正前には色成分間でノイズレベルに差が無い場合でも、ホワイトバランス補正後はＧ成分よりもＲ成分やＢ成分のノイズレベルの方が大きくなる。また、第２位置補正部の出力の合成比率が高いほど、画素位置補正後のＧ信号にはＲまたはＢ信号が多く含まれる。
【００３７】
式（１１）に示すように、輝度信号ＹはＧ信号を多く含んでいるため、彩度が低いと判定された画素（第２位置補正部の出力の合成比率が高い画素）の輝度信号ほどノイズレベルが大きくなる。よって本実施形態では、画素ごとのノイズレベルのばらつきを緩和するため、ノイズ低減処理前後の輝度信号Ｙの加重加算の係数を彩度に応じて変更する。
【００３８】
具体的には、輝度信号Ｙに含まれるノイズレベルが大きい多いと考えられる、無彩色の被写体ほど、ノイズ低減処理後の輝度信号の重みを大きくする。図１１は、輝度合成部９０３における、彩度Ｓとノイズ低減処理前後の輝度信号の重み（合成比率）の関係例を示している。具体的には、ノイズ低減処理前の輝度信号の重み（合成比率）をＰ１、ノイズ低減処理後の輝度信号の合成比率Ｐ２を、式（２１）〜（２５）のように決定すればよい。
Ｐａ  ＋  Ｐｂ  ＝  １                                      …  式（２１）
Ｐ１  ＝  Ｐａ  、Ｐ２  ＝  Ｐｂ      ｉｆ（Ｓ＜Ｓ１）      …  式（２２）
Ｐ１  ＝｛（Ｓ２−Ｓ）Ｐａ＋（Ｓ−Ｓ１）Ｐｂ｝／（Ｓ２−Ｓ１）
ｉｆ（Ｓ１≦Ｓ≦Ｓ２）…  式（２３）
Ｐ２  ＝｛（Ｓ−Ｓ１）Ｐａ＋（Ｓ２−Ｓ）Ｐｂ｝／（Ｓ２−Ｓ１）
ｉｆ（Ｓ１≦Ｓ≦Ｓ２）…  式（２４）
Ｐ１  ＝  Ｐｂ  、Ｐ２  ＝  Ｐａ      ｉｆ（Ｓ＞Ｓ２）      …  式（２５）
なお、重みの最小値Ｐａおよび最大値Ｐｂ、一方の合成比率が最大となる閾値Ｓ１，Ｓ２については、例えば実験的に定めることができる。
【００３９】
画像処理部１０４（ノイズ低減部３０７）の出力信号である輝度信号Ｙと色差信号Ｕ，Ｖ信号は、記録部１０５へと入力され、静止画か動画かや、記録形式に応じて予め定めたファイル形式に変換され、記録媒体に記録される。また、制御部１０６を通じて表示部１０８に表示される。
【００４０】
（変形例）
同色隣接２画素を加算した画像信号の画素位置補正について説明してきたが、他の方法で読み出された画像信号であっても同様に位置を補正することができる。
例えば、撮像素子の全画素に対し水平方向に１／４倍の画素数とするために、撮像素子内で図１２（ａ）のような加算読み出しを行った画像信号に対する画素位置補正処理について説明する。
【００４１】
図１２（ａ）では、原色ベイヤー配列におけるＲ画素とＧ１画素が含まれる水平ラインを例示しているが、Ｇ２画素とＢ画素が含まれる水平ラインにおいても同様である。
ここでは、一例として、式（２６），式（２７）で表される加算読み出しを行ったものとする。ｉは画素の番号であり、１以上の整数である。またＲi’は加算後のＲ画素、Ｇ１i’は加算後のＧ１画素の値を示す。
Ｒi’    ＝  （Ｒ(4i-3)＋Ｒ(4i-2)＋Ｒ(4i-1)＋Ｒ4i）／４          …  式（２６）
Ｇ１i’  ＝  （Ｇ１(4i-2)＋Ｇ１(4i-1)＋Ｇ１4i＋Ｇ１(4i+1)）／４  …  式（２７）
【００４２】
この場合も、式（１）および式（２）による加算読みだしと同様、読み出された隣接画素Ｒi’とＧ１i’の間隔と、Ｇ１i’とＲ(i+1)’の間隔は等しくならない。
【００４３】
このようなＲ画素およびＧ１画素について水平方向の画素位置補正を行う際、第１位置補正部３０２において以下の式（２８）、（２９）を用いればよい。
Ｒi’ ＝ （Ｒi−１ ＋ １５ × Ｒi）／１６          …  式（２８）
Ｇ１i’ ＝ （１５ × Ｇ１i ＋ Ｇ１(i+1)）／１６    …  式（２９）
【００４４】
また、第２位置補正部３０３では、以下の式（３０）、（３１）を用いて画素の水平方向の位置補正を行えばよい。
Ｒi’ ＝ （Ｇ１(i-1) ＋ ９ × Ｒi）／１０      …  式（３０）
Ｇ１i’ ＝ （９ × Ｇ１i ＋ Ｒ(i+1)）／１０    …  式（３１）
【００４５】
これらのような加重加算により、加算画素の水平方向における位置が等間隔になる。なお、加算画素に対する重みは例えば、補正に用いる加算画素の位置と、どの位置に重心を補正するか（目標位置）との関係から決定することができる。
【００４６】
なお、加算画素の各々について、第１位置補正部３０２による補正後の位置と、第２位置補正部３０３による補正後の位置とが等しくなるように、位置を補正する。
第１位置補正部３０２および第２位置補正部３０３は、Ｇ２、Ｂ画素の存在する画素ラインに関しても、同様の重心補正処理を行う。また、垂直方向に対しても水平方向と同様にして画素位置補正を行う。
他の処理は上述の２画素加算読み出しの場合と同様でよい。
【００４７】
本実施形態では、隣接画素の位置が等間隔でない（重心ずれのある）画像信号の重心補正を行う場合、補正対象画素と同色の隣接画素とを用いた補正結果と、補正対象画素の隣接画素とを用いた補正結果を、補正対象画素の色情報に応じた比率で合成する。具体的には、例えば、補正対象画素の彩度が低いほど、補正対象画素の隣接画素とを用いた補正結果の比率を高めて合成する。この構成により、補正対象画素と同色の画素のみを用いて位置を補正する場合よりも、効率的にジャギーを改善することができる。また、同色の隣接画素よりも補正対象画素の近くに存在する他色の隣接画素を用いた重心補正結果を用いるため、解像感の低下を抑制するという効果も得られる。これらの効果は、補正対象画素の彩度が低いほど大きい。
【００４８】
なお、本実施形態では、画素の空間的な位置が等間隔でない（重心ずれのある）画像として、撮像素子から加算読み出しされた画像を用いて説明した。しかし、重心ずれのある他の種類の画像に対しても同様にして画素位置補正を行うことができる。重心ずれのある他の種類の画像の例として、読み出し後に画素加算された画像や、等間隔でない間引きがなされた画像などがあるが、これらに限定されない。
【００４９】
また、本実施形態で補正対象画素の色情報を算出する前に偽色低減処理を行うのは、画像合成部３０６における合成比率の決定に偽色が影響し、第１位置補正部３０２の補正結果の合成比率が必要以上に高くなることを防止するためである。
【００５０】
また、本実施形態では偽色低減処理を第１位置補正部３０２の出力信号に対して行っている。これは、画像合成部３０６の出力画像信号には、第２位置補正部３０３の出力信号、つまり補正対象画素と異なる色成分の情報が含まれる可能性があるため、精度の良い偽色低減処理が実現できないためである。
【００５１】
（その他の実施形態）
上述した実施形態は本発明の例示的な一実施形態であり、その具体的な数値を含め、いかなる意味においても実施形態の内容は本発明を限定しない。本発明に含まれる範囲は特許請求の範囲の記載によってのみ規定される。
【００５２】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2015095890.tif 000003
【図２】
2015095890.tif 000004
【図３】
2015095890.tif 000005
【図４】
2015095890.tif 000006
【図５】
2015095890.tif 000007
【図７】
2015095890.tif 000008
【図８】
2015095890.tif 000009
【図９】
2015095890.tif 000010
【図１０】
2015095890.tif 000011
【図１１】
2015095890.tif 000012
【図１２】
2015095890.tif 000013
【図６】
2015095890.tif 000014