(57)【要約】【課題】ベイヤ配列の画像データに画素補間が施された補間画像に対する偽色低減・ノイズ低減処理を、原画の画質をできるだけ損なわず、かつ、従来に比べ相対的に短い演算時間で実現することを可能にする。【解決手段】ソーティング処理部１２、１３は、ＨＲ，ＨＢ計算部１１から出力された色差信号ＨＲ、ＨＢに対して、２５画素の領域内で画素値の順でソーティング処理を行い、得られたソーティング処理結果のうち９位〜１７位の中位のソーティング結果を出力する。演算部１６〜１９は、Ｒ信号の複数の候補値とＢ信号の複数の候補値とを算出し、処理対象の画素の周囲の画素で、かつ、候補値の原色と対応する原色の画素の値と比較して得た差の値が閾値未満であるＲ信号、Ｂ信号の候補値に基づいて色差信号ＨＲ、ＨＢの更新値を算出する。【選択図】図１
2009206553.tif 000002
【特許請求の範囲】
【請求項１】
ベイヤ配列の色フィルタを受光面上に設けた固体撮像素子から出力された撮像信号を構成する各画素に対して、前記ベイヤ配列における赤、青、緑の三原色要素のうち、自分自身の画素が有する一つの色要素の値以外の値が未知の他の二つの色要素の値を補間する処理であるカラーデモゼイシング処理が施された三原色信号に対して画像処理を行う画像処理装置であって、
前記三原色信号中の処理対象の画素と、その処理対象の画素を中心とする周囲の画素とからなる所定の画素領域単位でそれぞれの画素毎に前記カラーデモゼイシング処理によって得られた前記三原色信号の前記三原色要素の値から赤と緑との色差信号である第１の色差信号と青と緑との色差信号である第２の色差信号とを算出する色差信号算出手段と、
前記所定の画素領域単位の内の各画素を、前記第１及び第２の色差信号の値の大きさの順にそれぞれソーティングし、そのソーティングの順位が中央の順位を含む所定の範囲である中位の範囲内に位置する前記第１の色差信号の複数の値と、前記第２の色差信号の複数の値とをそれぞれ出力するソーティング処理手段と、
前記ソーティング処理手段から出力された前記第１の色差信号の複数の値と前記第２の色差信号の複数の値のうち、前記処理対象の画素を中心画素としたとき、その中心画素が前記ベイヤ配列の前記三原色要素のうちどの色要素の値を有していた画素であるかによって複数種類の画素タイプに分類する画素タイプ分類手段と、
前記画素タイプ分類手段により、前記中心画素が赤の色要素の値を有していた画素タイプであると分類されたときは、前記中心画素における既知である赤の値と前記ソーティング処理手段から出力されたソーティング順位が中央の順位の前記第１の色差信号の値とから緑の色要素の更新値を算出し、前記中心画素の色要素が青の色要素の値を有していた画素タイプであると分類されたときは、前記中心画素における既知である前記第２の原色信号の値と前記ソーティング処理手段から出力されたソーティング順位が中央の順位の前記第２の色差信号の値とから緑の色要素の更新値を算出する第１の更新値算出手段と、
前記画素タイプ分類手段により、前記中心画素の色要素が赤の色要素以外の値を有していた画素タイプであると分類されたときは、前記第１の色差信号の複数の値に基づき、前記赤の色要素の値を更新するための複数の候補値を算出すると共に、前記画素タイプ分類手段により、前記中心画素が青の色要素以外の値を有していた画素タイプであると分類されたときは、前記第２の色差信号の複数の値に基づき、前記青の色要素の値を更新するための複数の候補値とを算出する候補値算出手段と、
前記候補値算出手段により算出した前記赤の色要素の値を更新するための複数の候補値と前記青の色要素の値を更新するための複数の候補値とを、それぞれ前記処理対象の中心画素の周囲の画素で、かつ、前記処理対象の中心画素の色要素と同一の色要素の値を有していた画素のその色要素の値と比較して、それらの差の値を算出する差算出手段と、
前記差算出手段により前記赤の色要素の値を更新するための複数の候補値を用いて算出した前記差の値が所定の閾値未満である１つ以上の前記赤の色要素の値を更新するための候補値の累積平均値により前記赤の色要素の更新値を算出すると共に、前記差算出手段により前記青の色要素の値を更新するための複数の候補値を用いて算出した前記差の値が所定の閾値未満である１つ以上の前記青の色要素の値を更新するための候補値の累積平均値により前記青の色要素の更新値を算出する第２の更新値算出手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記差算出手段により、前記赤の色要素の値を更新するための複数の候補値を用いて算出された前記差の値がすべて前記閾値以上であるときは、前記ソーティング処理手段から出力されたソーティング順位が中央の順位の前記第１の色差値と前記第１の更新値算出手段により算出された前記更新値とを加算した値を前記赤の色要素の更新値とする第１の更新値設定手段と、
前記差算出手段により、前記青の色要素の値を更新するための複数の候補値を用いて算出された前記差の値がすべて前記閾値以上であるときは、前記ソーティング処理手段から出力されたソーティング順位が中央の順位の前記第２の色差信号の値と前記第２の更新値算出手段により算出された前記更新値とを加算した値を前記青の色要素の更新値とする第２の更新値設定手段と
を更に有することを特徴とする請求項１記載の画像処理装置。
【請求項３】
ベイヤ配列の色フィルタを受光面上に設けた固体撮像素子から出力された撮像信号を構成する各画素に対して、前記ベイヤ配列における赤、青、緑の三原色要素のうち、自分自身の画素が有する一つの色要素の値以外の値が未知の他の二つの色要素の値を補間する処理であるカラーデモゼイシング処理が施された三原色信号に対して画像処理をコンピュータにより実行させる画像処理用プログラムであって、
前記コンピュータを、
前記三原色信号中の処理対象の画素と、その処理対象の画素を中心とする周囲の画素とからなる所定の画素領域単位でそれぞれの画素毎に前記カラーデモゼイシング処理によって得られた前記三原色信号の前記三原色要素の値から赤と緑との色差信号である第１の色差信号と青と緑との色差信号である第２の色差信号とを算出する色差信号算出手段と、
前記所定の画素領域単位の内の各画素を、前記第１及び第２の色差信号の値の大きさの順にそれぞれソーティングし、そのソーティングの順位が中央の順位を含む所定の範囲である中位の範囲内に位置する前記第１の色差信号の複数の値と、前記第２の色差信号の複数の値とをそれぞれ出力するソーティング処理手段と、
前記ソーティング処理手段から出力された前記第１の色差信号の複数の値と前記第２の色差信号の複数の値のうち、前記処理対象の画素を中心画素としたとき、その中心画素が前記ベイヤ配列の前記三原色要素のうちどの色要素の値を有していた画素であるかによって複数種類の画素タイプに分類する画素タイプ分類手段と、
前記画素タイプ分類手段により、前記中心画素が赤の色要素の値を有していた画素タイプであると分類されたときは、前記中心画素における既知である赤の値と前記ソーティング処理手段から出力されたソーティング順位が中央の順位の前記第１の色差信号の値とから緑の色要素の更新値を算出し、前記中心画素の色要素が青の色要素の値を有していた画素タイプであると分類されたときは、前記中心画素における既知である前記第２の原色信号の値と前記ソーティング処理手段から出力されたソーティング順位が中央の順位の前記第２の色差信号の値とから緑の色要素の更新値を算出する第１の更新値算出手段と、
前記画素タイプ分類手段により、前記中心画素の色要素が赤の色要素以外の値を有していた画素タイプであると分類されたときは、前記第１の色差信号の複数の値に基づき、前記赤の色要素の値を更新するための複数の候補値を算出すると共に、前記画素タイプ分類手段により、前記中心画素が青の色要素以外の値を有していた画素タイプであると分類されたときは、前記第２の色差信号の複数の値に基づき、前記青の色要素の値を更新するための複数の候補値とを算出する候補値算出手段と、
前記候補値算出手段により算出した前記赤の色要素の値を更新するための複数の候補値と前記青の色要素の値を更新するための複数の候補値とを、それぞれ前記処理対象の中心画素の周囲の画素で、かつ、前記処理対象の中心画素の色要素と同一の色要素の値を有していた画素のその色要素の値と比較して、それらの差の値を算出する差算出手段と、
前記差算出手段により前記赤の色要素の値を更新するための複数の候補値を用いて算出した前記差の値が所定の閾値未満である１つ以上の前記赤の色要素の値を更新するための候補値の累積平均値により前記赤の色要素の更新値を算出すると共に、前記差算出手段により前記青の色要素の値を更新するための複数の候補値を用いて算出した前記差の値が所定の閾値未満である１つ以上の前記青の色要素の値を更新するための候補値の累積平均値により前記青の色要素の更新値を算出する第２の更新値算出手段と、
して機能させることを特徴とする画像処理用プログラム。
【請求項４】
前記コンピュータを、
前記差算出手段により、前記赤の色要素の値を更新するための複数の候補値を用いて算出された前記差の値がすべて前記閾値以上であるときは、前記ソーティング処理手段から出力されたソーティング順位が中央の順位の前記第１の色差値と前記第１の更新値算出手段により算出された前記更新値とを加算した値を前記赤の色要素の更新値とする第１の更新値設定手段と、
前記差算出手段により、前記青の色要素の値を更新するための複数の候補値を用いて算出された前記差の値がすべて前記閾値以上であるときは、前記ソーティング処理手段から出力されたソーティング順位が中央の順位の前記第２の色差信号の値と前記第２の更新値算出手段により算出された前記更新値とを加算した値を前記青の色要素の更新値とする第２の更新値設定手段と
して更に機能させることを特徴とする請求項３記載の画像処理用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及び画像処理用プログラムに係り、特にベイヤ配列の画像データに画素補間が施された補間画像に対して、偽色低減・ノイズ低減を目的としたポスト処理を行う画像処理装置及び画像処理用プログラムに関する。
【背景技術】
【０００２】
ベイヤ配列の色フィルタを受光面上に設けた固体撮像素子が知られている。このベイヤ配列の色フィルタは、図４に模式的に示すように、赤色光を透過させる１画素分の赤色フィルタ部Ｒと、緑色光を透過させる１画素分の緑色フィルタ部Ｇと、青色光を透過させる１画素分の青色フィルタ部Ｂとが配置された構成である。図４に示すベイヤ配列の色フィルタは、上記の色フィルタ部Ｒ，Ｇ，Ｂのうち、輝度信号の寄与する割合の高い緑色光を透過させる緑色フィルタ部Ｇを１画素ピッチおき毎に市松状に配置し、残りの箇所に赤色フィルタ部Ｒと青色フィルタ部Ｂとを１画素ピッチおき毎に市松状に配置した構成である。
【０００３】
このように、ベイヤ配列の色フィルタは、同一の色要素の色フィルタ部が幾何学的に飛び飛びの画素位置に存在するため、ベイヤ配列の色フィルタを受光面上に設けた固体撮像素子から出力した撮像信号を処理する画像処理装置は、全画素について三原色の色要素の揃った信号にするために、この飛び飛びの画素位置に存在する色を補間する補間処理を行う。
【０００４】
ここで、上記の画像処理装置が、上記の補間処理を単純な近傍画素の平均を計算することによって行うと、エッジ部分のジャギーや偽色（原画像に存在しない色彩）が発生することが広く知られている。そのため、従来から、これらのジャギーや偽色を軽減するための各種の画像処理装置が提案されている。その提案の多くは、色の連続性や相関性をもとに補間の条件を制御するような処理を行っている。
【０００５】
しかし、補間技術において様々な工夫を凝らしても偽色やジッパーノイズ（原画像に存在しない点線上のノイズ；原画像におけるエッジ部分やコーナー部分などに孤立点として発生）などの低減効果には限界があるため、従来は補間技術とは別にこれらの低減を目指した試みがなされている（例えば、特許文献１〜５、非特許文献１参照）。
【０００６】
特許文献１記載の画像処理装置は、撮像素子の出力においてサンプリング周波数の半分の周波数（ｆｓ／２）の信号を含む場合は縦横の相関判定において誤検出が発生し易いため、ｆｓ／２の周波数成分を検出し、かつ、有彩色の場合には、ｆｓ／２の周波数成分が除去された三原色信号を使用するというプリ処理を行っている。
【０００７】
特許文献２記載の画像処理装置は、補間後の信号における線分成分（直線部分）の色を薄くすることにより、色抜けを回避しながら目立つ偽色を抑圧するポスト処理を行っている。特許文献３記載の画像処理装置は、補間後の信号における高周波成分の含有程度に応じて色の濃さを制御することにより偽色を抑圧するポスト処理を行っている。
【０００８】
また、特許文献４、特許文献５記載の画像処理装置は、補間後のＲ−Ｇ信号，Ｂ−Ｇ信号の高域除去によって偽色を抑圧するポスト処理を行っている。なお、以下、Ｒ信号は赤色信号、Ｇ信号は緑色信号、Ｂ信号は青色信号を示し、Ｒ−Ｇ信号は赤色信号Ｒと緑色信号Ｇとの差分信号（色差信号）を、Ｂ−Ｇ信号は青色信号Ｂと緑色信号Ｇとの差分信号（色差信号）を示す。
【０００９】
更に、非特許文献１記載の画像処理装置は、以下のような処理を行っている。
【００１０】
（１）Ｇ信号につき高域を含む部分を選択
（２）補間対象画素の近傍の２５画素（縦方向５画素、横方向５画素）につき、Ｒ−Ｇ信号とＢ−Ｇ信号を導出
（３）Ｒ−Ｇ信号，Ｂ−Ｇ信号の双方に付きメジアン（中間値）を導出
（４）中央の補間対象画素のＲ−Ｇ信号，Ｂ−Ｇ信号から計算されるＲ信号，Ｂ信号と、上記Ｒ−Ｇ信号，Ｂ−Ｇ信号のメジアンから計算されるＲ信号，Ｂ信号につき周囲との相関を求め、値が周囲と近くなるＲ信号，Ｂ信号を与えるものの比率が高くなるように、中央の補間対象画素のＲ−Ｇ信号，Ｂ−Ｇ信号と上記Ｒ−Ｇ信号，Ｂ−Ｇ信号のメジアンとをブレンドする
（５）（４）のブレンドのした信号を用いてＲ信号，Ｇ信号，Ｂ信号を更新する
（６）（２）に戻り繰り返す（計５回）
この非特許文献１記載の画像処理装置では（４）においてジッパーノイズの原因となる輝度孤立点を防ぐために近傍の標本色彩値と変換色彩値に差異が生じない方向にバランスを取るようにしていることが特徴的である。
【００１１】
【特許文献１】特開平１１−１７７９９５号公報
【特許文献２】特開２００２−２０９２２４号公報
【特許文献３】特開２００３−２２４８５９号公報
【特許文献４】特開２００６−２４５９１６号公報
【特許文献５】特開２００６−３１１３１４号公報
【非特許文献１】開、高橋、菊池、村松：“高い周波数を有する色彩信号に配慮したカラーデモゼイシング”、映像情報メディア学会誌、Vol.61,No.8,pp.1209-1217(2007)
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、特許文献１記載の画像処理装置は、プリ処理を行うものであるため、既に撮影・補間されている映像信号に対する改善に用いることはできない。また、特許文献２及び特許文献３記載の画像処理装置によれば、偽色が発生し易い部分・目立ち易い部分について色の濃さを制御することができ、効果的ではある。しかし、実際問題として、うまく偽色の部分のみ色を薄くして、必要な部分の色抜けを回避するような設定を行うことは困難である。
【００１３】
特許文献４及び特許文献５記載の画像処理装置のようにＲ−Ｇ信号，Ｂ−Ｇ信号を平滑する方法は、補間において原色間の相関が局所的に乱れているために偽色が発生している状態において、その軽減に非常に効果的である。しかし、特許文献４及び特許文献５記載の画像処理装置では、単純な高域除去による平滑を行うとエッジなどの画像情報が失われる場合がある。
【００１４】
非特許文献１記載の画像処理装置は、上記の画像情報が失われる問題をメジアンフィルタの使用で回避し、加えて輝度独立点の発生を防ぐ処置が取られている。しかし、非特許文献１記載の画像処理装置では、繰り返し計算を行うため、演算時間を相対的に長く要するという問題がある。
【００１５】
本発明は以上の点に鑑みなされたもので、ベイヤ配列の画像データに画素補間が施された補間画像に対する偽色低減・ノイズ低減処理を、原画の画質をできるだけ損なわず、かつ、従来に比べ相対的に短い演算時間で実現することが可能な画像処理装置及び画像処理用プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１６】
上記の目的の達成のため、第１の発明は、ベイヤ配列の色フィルタを受光面上に設けた固体撮像素子から出力された撮像信号を構成する各画素に対して、ベイヤ配列における赤、青、緑の三原色要素のうち、自分自身の画素が有する一つの色要素の値以外の値が未知の他の二つの色要素の値を補間する処理であるカラーデモゼイシング処理が施された三原色信号に対して画像処理を行う画像処理装置であって、
三原色信号中の処理対象の画素と、その処理対象の画素を中心とする周囲の画素とからなる所定の画素領域単位でそれぞれの画素毎にカラーデモゼイシング処理によって得られた三原色信号の三原色要素の値から赤と緑との色差信号である第１の色差信号と青と緑との色差信号である第２の色差信号とを算出する色差信号算出手段(11,ステップS1)と、所定の画素領域単位の内の各画素を、第１及び第２の色差信号の値の大きさの順にそれぞれソーティングし、そのソーティングの順位が中央の順位を含む所定の範囲である中位の範囲内に位置する第１の色差信号の複数の値と、第２の色差信号の複数の値とをそれぞれ出力するソーティング処理手段(12,13,ステップS2,S3)と、ソーティング処理手段から出力された第１の色差信号の複数の値と第２の色差信号の複数の値のうち、処理対象の画素を中心画素としたとき、その中心画素がベイヤ配列の三原色要素のうちどの色要素の値を有していた画素であるかによって複数種類の画素タイプに分類する画素タイプ分類手段(14,15,ステップS6,S7)と、画素タイプ分類手段により、中心画素が赤の色要素の値を有していた画素タイプであると分類されたときは、中心画素における既知である赤の値とソーティング処理手段から出力されたソーティング順位が中央の順位の第１の色差信号の値とから緑の色要素の更新値を算出し、中心画素の色要素が青の色要素の値を有していた画素タイプであると分類されたときは、中心画素における既知である第２の原色信号の値とソーティング処理手段から出力されたソーティング順位が中央の順位の第２の色差信号の値とから緑の色要素の更新値を算出する第１の更新値算出手段（16,18,ステップS8,S18）と、画素タイプ分類手段により、中心画素の色要素が赤の色要素以外の値を有していた画素タイプであると分類されたときは、第１の色差信号の複数の値に基づき、赤の色要素の値を更新するための複数の候補値を算出すると共に、画素タイプ分類手段により、中心画素が青の色要素以外の値を有していた画素タイプであると分類されたときは、第２の色差信号の複数の値に基づき、青の色要素の値を更新するための複数の候補値とを算出する候補値算出手段(17,18,ステップS10,S12,S15,S20,S22,S25)と、候補値算出手段により算出した赤の色要素の値を更新するための複数の候補値と青の色要素の値を更新するための複数の候補値とを、それぞれ処理対象の中心画素の周囲の画素で、かつ、処理対象の中心画素の色要素と同一の色要素の値を有していた画素のその色要素の値と比較して、それらの差の値を算出する差算出手段(17,18,ステップS10,S12,S15,S20,S22,S25)と、差算出手段により赤の色要素の値を更新するための複数の候補値を用いて算出した差の値が所定の閾値未満である１つ以上の赤の色要素の値を更新するための候補値の累積平均値により赤の色要素の更新値を算出すると共に、差算出手段により青の色要素の値を更新するための複数の候補値を用いて算出した差の値が所定の閾値未満である１つ以上の青の色要素の値を更新するための候補値の累積平均値により青の色要素の更新値を算出する第２の更新値算出手段(17,18,ステップS11,S13,S16,S21,S23,S26)と、を有することを特徴とする。
【００１７】
また、上記の目的を達成するため、第２の発明は、第１の発明の構成加えて、差算出手段により、赤の色要素の値を更新するための複数の候補値を用いて算出された差の値がすべて閾値以上であるときは、ソーティング処理手段から出力されたソーティング順位が中央の順位の第１の色差値と第１の更新値算出手段により算出された更新値とを加算した値を赤の色要素の更新値とする第１の更新値設定手段(17,ステップS14,S17)と、差算出手段により、青の色要素の値を更新するための複数の候補値を用いて算出された差の値がすべて閾値以上であるときは、ソーティング処理手段から出力されたソーティング順位が中央の順位の第２の色差信号の値と第２の更新値算出手段により算出された更新値とを加算した値を青の色要素の更新値とする第２の更新値設定手段(18,ステップS24,S27)とを更に有することを特徴とする。
【００１８】
また、上記の目的を達成するため、第３の発明の画像処理用プログラムは、コンピュータを第１の発明の各構成手段として機能させることを特徴とする。更に、上記の目的を達成するため、第４の発明の画像処理用プログラムは、コンピュータを第２の発明の各構成手段として機能させることを特徴とする。
【発明の効果】
【００１９】
本発明によれば、ベイヤ配列の画像データに画素補間が施された補間画像に対して、偽色低減・ノイズ低減処理を、原画の画質を損なわずに、かつ、従来に比べ相対的に短い演算時間で実現することが可能となる。
【発明を実施するための最良の形態】
【００２０】
次に、本発明の一実施の形態について図面と共に説明する。
【００２１】
図１は、本発明になる画像処理装置の一実施の形態のブロック図を示す。同図において、本実施の形態の画像処理装置１０は、ベイヤ配列の色フィルタを受光面上に設けた固体撮像素子（図示せず）から出力された撮像信号に対して、画素補間装置により所定の色要素について画素値データが存在しない画素に、その存在しない色要素の画素値データを補間する、公知のカラーデモゼイシング処理（デコード処理）が行われて得られた赤色信号Ｒ、青色信号Ｂ、及び緑色信号Ｇの三原色信号を入力として受ける。通常、この三原色信号には偽色が含まれている場合が多い。
【００２２】
画像処理装置１０は、入力された三原色信号から、処理の対象となる画素を中心とした所定の画像領域単位で色差信号ＨＲ（＝Ｒ−Ｇ）及びＨＢ（＝Ｂ−Ｇ）を計算するＨＲ，ＨＢ計算部１１を有する。更に、画像処理装置１０は、ＨＲ，ＨＢ計算部１１の後段に、ソーティング処理部１２及び１３と、画素タイプ分類部１４及び１５と、演算部１６〜１９とを有する。
【００２３】
ソーティング処理部１２、１３は、ＨＲ，ＨＢ計算部１１から出力された色差信号ＨＲ、ＨＢに対してソーティング処理を行う。そして、このソーティング処理の結果が中位の信号を出力する。なお、この信号の詳細は後述する。
【００２４】
画素タイプ分類部１４、１５は、ソーティング処理部１２、１３から出力されたソーティング結果が中位の信号を入力として受ける。そして、その入力信号はベイヤ配列に基づいた信号であるので、入力信号を既知の中心画素としたとき、中心画素と周辺画素との関係から４種類の画素タイプに分類する。この画素タイプは、後述するように、中心画素が赤色信号Ｒの画素（以下、Ｒ画素ともいう）タイプ、青色信号Ｂの画素（以下、Ｂ画素ともいう）タイプ、中心が緑色信号Ｇの画素（以下、Ｇ画素ともいう）で、かつ、左右の画素がＲ画素のタイプ、中心がＧ画素で、かつ、左右の画素がＢ画素のタイプの４つのタイプである。
【００２５】
演算部１６は、画素タイプ分類部１４から出力されたソーティング結果が中位の色差信号ＨＲの生成元の画素の色要素がＲ画素のときに、そのＲ画素の画素信号と色差信号ＨＲの中間値とからＧ信号を演算すると共に、そのＧ信号と演算部１９からの後述する信号ＨＢｈａｔとからＢ信号を決定する演算を行う。
【００２６】
演算部１７は、画素タイプ分類部１４から出力されたソーティング結果が中位の色差信号ＨＲの生成元の画素の色要素がＲ画素以外であるときに、その入力画素と周囲のＲ画素とを比較しながら中位の色差信号ＨＲを累積・平均して信号ＨＲｈａｔを演算し、更にＧ信号とＨＲｈａｔとからＲ信号を決定する演算を行う。
【００２７】
演算部１８は、画素タイプ分類部１４から出力されたソーティング結果が中位の色差信号ＨＢの生成元の画素の色要素がＢ画素のときに、そのＢ画素の画素信号と色差信号ＨＢの中間値とからＧ信号を演算すると共に、そのＧ信号と演算部１７からの後述する信号ＨＲｈａｔとからＲ信号を決定する演算を行う。
【００２８】
演算部１９は、画素タイプ分類部１４から出力されたソーティング結果が中位の色差信号ＨＢの生成元の画素の色要素がＢ画素以外であるときに、その入力画素と周囲のＢ画素とを比較しながら中位の色差信号ＨＢを累積・平均して信号ＨＢｈａｔを演算し、更にＧ信号とＨＢｈａｔとからＢ信号を決定する演算を行う。
【００２９】
次に、本実施の形態の動作について、図２のフローチャート及び図３の画素タイプ説明図を併せ参照して説明する。ＨＲ，ＨＢ計算部１１は、前述したベイヤ配列の撮像信号に対してデモザイキング処理を行って得られた三原色信号において、処理の対象となる中心画素を中心とした縦方向５画素、横方向５画素の計２５画素の信号に基づいて、色差信号ＨＲ（＝Ｒ−Ｇ）と色差信号ＨＢ（＝Ｂ−Ｇ）とをそれぞれ計算して生成する（ステップＳ１）。
【００３０】
ソーティング処理部１２は、ＨＲ，ＨＢ計算部１１から出力された色差信号ＨＲに対して、前述した２５画素の領域内でＨＲの画素値の大きなものから小さいものへ昇順で（又はその逆の降順で）ソーティング処理を行う（ステップＳ２）。一方、ソーティング処理部１３は、ＨＲ，ＨＢ計算部１１から出力された色差信号ＨＢに対して、前述した２５画素の領域内でＨＢの画素値の大きなものから小さいものへ昇順で（又はその逆の降順で）ソーティング処理を行う（ステップＳ３）。ソーティングされたＨＲ，ＨＢについては順位をｎｕｍ（１〜２５）としてｈｒ（ｎｕｍ），ｈｂ（ｎｕｍ）のように表現するものとする。
【００３１】
続いて、ソーティング処理部１２は、１位から２５位までのソーティング結果ｈｒ（ｎｕｍ）のうち９位から１７位までの中位のソーティング結果ｈｒ（９）〜ｈｒ（１７）を出力する（ステップＳ４）。同様に、ソーティング処理部１３は、１位から２５位までのソーティング結果ｈｂ（ｎｕｍ）のうち９位から１７位までの中位のソーティング結果ｈｂ（９）〜ｈｂ（１７）を出力する（ステップＳ５）。
【００３２】
ここで、９位から１７位までの中位のソーティング結果を出力して後段で使用する理由は、メジアンフィルタ的な平滑化の機能が確保される上、色差信号ＨＲ，ＨＢについて複数の候補値を用意することにより、それらから計算されるＲ信号，Ｂ信号につき周囲との相関性が高く輝度孤立点を生じにくいものを選択する自由を確保することができるためである。
【００３３】
すなわち、メジアンフィルタは、ノイズを除去するため処理対象の画素の近傍画素を例えば値の大きなものから順に並べて中央値を求め、処理対象の画素の値をその中央値に置き換えるフィルタ処理を行うものであるので、９位から１７位までの中位のソーティング結果を用いることで、メジアンフィルタ的な平滑化の機能が確保される。なお、ソーティングについては、本実施の形態は、中位のソーティング結果を評価する目的であるので、昇順及び降順のどちらでも構わない。
【００３４】
画素タイプ分類部１４は、ソーティング処理部１２から出力された色差信号ＨＲの９位から１７位までの中位のソーティング結果を入力として受け、その入力信号の基となった中心画素の周囲の画素との位置関係から画素タイプを分類する（ステップＳ６）。画素タイプ分類部１５も、上記と同様にソーティング処理部１３から出力された色差信号ＨＢの９位から１７位までの中位のソーティング結果を入力として受け、その入力信号の基となった中心画素の周囲の画素との位置関係から画素タイプを分類する（ステップＳ７）。
【００３５】
ここで、画素タイプ分類部１４、１５に入力されるソーティング結果は色差信号であり、その色差信号の中心画素は、ステップＳ１における色差信号ＨＲ、ＨＢの生成要素であるベイヤ配列の三原色信号の中心画素に対応する。画素タイプ分類部１４、１５が分類する、この中心画素は、三原色信号を補間生成するときに既知であったベイヤ配列の色フィルタ部の色要素に対応した画素であり、図４に示したベイヤ配列に基づく赤色信号Ｒの画素（Ｒ画素）、緑色信号Ｇの画素（Ｇ画素）、及び青色信号Ｂの画素（Ｂ画素）のどれかである。
【００３６】
上記の中心画素を縦方向３画素、横方向３画素の画素領域の中心画素としたとき、画素タイプ分類部１４、１５は、図３（Ａ）〜（Ｄ）に示す４種類に画素タイプを分類する。ここで、ベイヤ配列の色フィルタの色フィルタ部に対応した既知の画素は、固体撮像素子の画素の座標（換言すると、色フィルタ部の座標）が既知であるので、この座標位置からＲ画素、Ｂ画素、及びＧ画素のどれであるかが分かる。
【００３７】
図３（Ａ）は、図４に示した色フィルタ部Ｒの位置にある中心画素がＲ画素の場合であり、上下左右の画素がＧ画素であり、左右の斜め方向の画素がＢ画素である。また、図３（Ｂ）は、図４に示した色フィルタ部Ｂの位置にある中心画素がＢ画素の場合であり、上下左右の画素がＧ画素であり、左右の斜め方向の画素がＲ画素である。
【００３８】
図４に示した色フィルタ部Ｇの位置にある既知の中心画素がＧ画素の場合は、上下左右の画素に応じて、図３（Ｃ）、（Ｄ）に示す２種類ある。図３（Ｃ）、（Ｄ）に示す画素配列は、いずれも中心画素がＧ画素で、左右の斜め方向の画素もＧ画素である点で共通するが、図３（Ｃ）の画素配列は、上下の画素がＢ画素、左右の画素がＲ画素であるのに対し、図３（Ｄ）の画素配列は、上下の画素がＲ画素、左右の画素がＢ画素である点で相違する。ここでは、図３（Ｃ）の画素配列における中心画素をＧ＿ａ画素、図３（Ｄ）の画素配列における中心画素をＧ＿ｂ画素と呼んで区別するものとする。
【００３９】
再び図１及び図２に戻って説明する。なお、本実施の形態の処理をする前にデコード済みのＲ信号、Ｂ信号及びＧ信号が全画素に得られているものとする。
【００４０】
まず、画素タイプ分類部１４、１５からそれぞれ中心画素がＲ画素であると判別された色差信号ＨＲ、ＨＢのソーティング結果が出力された場合について説明する。このときの色差信号ＨＲのソーティング結果ｈｒ［ｎｕｍ］（ここでは、ｎｕｍ＝９〜１７）は演算部１６に供給され、色差信号ＨＢのソーティング結果ｈｂ［ｎｕｍ］（ここでは、ｎｕｍ＝９〜１７）は演算部１９に供給される。
【００４１】
演算部１６は、画素タイプ分類部１４から出力された中心画素がＲ画素であると判別された色差信号ＨＲのソーティング結果ｈｒ［ｎｕｍ］の中央値（中間値）であるｈｒ［１３］を、既に得られているオリジナルのＲ信号から減じることにより、Ｒ画素におけるＧ信号の更新値を得る（ステップＳ８）。このとき、演算部１６は、更に、得られたＧ信号と既知のＲ信号とを用いて色差信号Ｒ−Ｇを生成し、これを出力してもよい。また、演算部１６は、後述する演算部１９から供給される信号ＨＢｈａｔとステップＳ８で得たＧ信号とを加算して、Ｒ画素におけるＢ信号の更新値を得る（ステップＳ９）。
【００４２】
一方、演算部１９は、画素タイプ分類部１５から出力された中心画素がＲ画素であると判別されたときの色差信号ＨＢのソーティング結果（ｈｂ［９］〜ｈｂ［１７］）と、対象とするＲ画素において既に得られているＧ信号とのそれぞれの和によって得られる９個のＲ画素におけるＢ信号の候補値を、上下左右のＢ画素の値と比較し、その差が予め定めた閾値ｔｈ未満の候補値を検出する。そして、この検出した候補値は相関有り（連続性が高い）と見なして、その候補値を累積する（ステップＳ２０）。上記のソーティング結果（ｈｂ［９］〜ｈｂ［１７］）は、９つの色差信号ＨＢの値を示しており、また、上記のＧ信号との和によって得られるＲ画素におけるＢ信号の候補値は、暫定的なＢ信号の値を示している。
【００４３】
続いて、演算部１９は、ステップＳ２０で累積した累積値の平均値を色差信号Ｂ−Ｇの更新値ＨＢｈａｔとする（ステップＳ２１）。また、演算部１９は、ステップＳ２０の比較の結果、すべての差が閾値ｔｈ以上であり累積値がない場合（これは、連続性の条件を満たすものがない場合である）は、入力信号中の中間値ｈｂ［１３］を色差信号Ｂ−Ｇの更新値ＨＢｈａｔとする（ステップＳ２１）。演算部１９は、このＨＢｈａｔを演算部１６へ出力する。
【００４４】
従って、中心画素がＲ画素のときには、演算部１６から対象とするＲ画素におけるＧ信号の更新値と、Ｂ信号の更新値とが出力される。なお、ステップＳ２１で、ステップＳ２０の累積値の平均値を算出してＨＢｈａｔとする理由は、連続性を満たす値の中でもできるだけ本来のメジアン値に近づけようとするためである（他のステップＳ１１、Ｓ１３、Ｓ１６、Ｓ２３、Ｓ２６も同様）。
【００４５】
次に、画素タイプ分類部１４、１５からそれぞれ中心画素がＢ画素であると判別された色差信号ＨＲ、ＨＢのソーティング結果が出力された場合について説明する。このときの色差信号ＨＲのソーティング結果ｈｒ［ｎｕｍ］（ここでは、ｎｕｍ＝９〜１７）は演算部１７に供給され、色差信号ＨＢのソーティング結果ｈｂ［ｎｕｍ］（ここでは、ｎｕｍ＝９〜１７）は演算部１８に供給される。
【００４６】
演算部１７は、画素タイプ分類部１４から中心画素がＢ画素であると判別されたときに出力される色差信号ＨＲのソーティング結果（ｈｒ［９］〜ｈｒ｛１７｝）と、対象とするＢ画素において既に得られているＧ信号とのそれぞれの和によって得られる９個のＢ画素におけるＲ信号の候補値を、上下左右のＲ画素の値と比較し、その差が予め定めた閾値ｔｈ未満の候補値を検出する。そして、この検出した候補値は、相関有り（連続性が高い）と見なして、その候補値を累積する（ステップＳ１０）。上記のソーティング結果（ｈｒ［９］〜ｈｒ［１７］）は、９つの色差信号ＨＲの値を示しており、また、上記のＧ信号との和によって得られるＢ画素におけるＲ信号の候補値は、暫定的なＲ信号の値を示している。
【００４７】
続いて、演算部１７は、ステップＳ１０で累積した累積値の平均値を色差信号Ｒ−Ｇの更新値ＨＲｈａｔとする（ステップＳ１１）。また、演算部１７は、すべての差が閾値ｔｈ以上であり累積値がない場合（これは、連続性の条件を満たすものがない場合である）は、入力信号中の中間値ｈｒ［１３］を色差信号Ｒ−Ｇの更新値ＨＲｈａｔとする（ステップＳ１１）。演算部１７は、このＨＲｈａｔを演算部１８へ出力する。
【００４８】
一方、演算部１８は、画素タイプ分類部１５から出力された中心画素がＢ画素であると判別されたときの色差信号ＨＢのソーティング結果ｈｂ［ｎｕｍ］の中央値（中間値）であるｈｂ［１３］を、既に得られているオリジナルのＢ信号から減じることにより、Ｂ画素におけるＧ信号の更新値を得る（ステップＳ１８）。また、演算部１８は、演算部１７から供給される信号ＨＲｈａｔとステップＳ１８で得たＧ信号とを加算して、Ｂ画素におけるＲ信号の更新値を得る（ステップＳ１９）。
【００４９】
従って、中心画素がＢ画素のときには、演算部１８からは、対象とするＢ画素におけるＧ信号の更新値と、Ｒ信号の更新値とが出力される。このとき、演算部１８は、更に得られたＧ信号と既知のＢ信号とを用いて色差信号Ｂ−Ｇを生成し、これを出力してもよい。
【００５０】
次に、画素タイプ分類部１４、１５からそれぞれ中心画素がＧ＿ａ画素であると判別された色差信号ＨＲ、ＨＢのソーティング結果が出力された場合について説明する。このときの色差信号ＨＲのソーティング結果ｈｒ［ｎｕｍ］（ここでは、ｎｕｍ＝９〜１７）は演算部１７に供給され、色差信号ＨＢのソーティング結果ｈｂ［ｎｕｍ］（ここでは、ｎｕｍ＝９〜１７）は演算部１９に供給される。
【００５１】
演算部１７は、画素タイプ分類部１４から中心画素がＧ＿ａ画素であると判別されたときに出力される色差信号ＨＲのソーティング結果（ｈｒ［９］〜ｈｒ［１７］）と、対象とするＧ＿ａ画素において既に得られているＧ信号とのそれぞれの和によって得られる９個のＧ＿ａ画素におけるＲ信号の候補値を、左右のＲ画素の値と比較し、その差が予め定めた閾値ｔｈ未満の候補値を検出する。そして、この検出した候補値は相関有り（連続性が高い）と見なして、その候補値を累積する（ステップＳ１２）。上記のソーティング結果（ｈｒ［９］〜ｈｒ［１７］）は、９つの色差信号ＨＲの値を示しており、また、上記のＧ信号との和によって得られるＧ＿ａ画素におけるＲ信号の候補値は、暫定的なＲ信号の値を示している。
【００５２】
続いて、演算部１７は、ステップＳ１２で累積した累積値の平均値を色差信号Ｒ−Ｇの更新値ＨＲｈａｔとする（ステップＳ１３）。また、演算部１７は、ステップＳ１２の比較の結果、すべての差が閾値ｔｈ以上であり累積値がない場合（これは、連続性の条件を満たすものがない場合である）は、入力信号中の中間値ｈｒ［１３］を色差信号Ｒ−Ｇの更新値ＨＲｈａｔとする（ステップＳ１３）。続いて、演算部１７は、算出した上記のＨＲｈａｔと中心画素であるＧ＿ａ画素において既に得られているＧ信号とを加算して、対象とするＧ＿ａ画素におけるＲ信号の更新値を得る（ステップＳ１４）。
【００５３】
一方、演算部１９は、画素タイプ分類部１５から出力された中心画素がＧ＿ａ画素であると判別されたときの色差信号ＨＢのソーティング結果（ｈｂ［９］〜ｈｂ［１７］）と、対象とするＧ＿ａ画素において既に得られているＧ信号とのそれぞれの和によって得られる９個のＧ＿ａ画素におけるＢ信号の候補値を、上下のＢ画素の値と比較し、その差が予め定めた閾値ｔｈ未満の候補値を検出する。そして、この検出した候補値は相関有り（連続性が高い）と見なして、その候補値を累積する（ステップＳ２２）。上記のソーティング結果（ｈｂ［９］〜ｈｂ［１７］）は、９つの色差信号ＨＢの値を示しており、また、上記のＧ信号との和によって得られるＧ＿ａ画素におけるＢ信号の候補値は、暫定的なＢ信号の値を示している。
【００５４】
続いて、演算部１９は、ステップＳ２２で累積した累積値の平均値を色差信号Ｂ−Ｇの更新値ＨＢｈａｔとする（ステップＳ２３）。また、演算部１９は、ステップＳ２２の比較の結果、すべての差が閾値ｔｈ以上であり累積値がない場合（これは、連続性の条件を満たすものがない場合である）は、入力信号中の中間値ｈｂ［１３］を色差信号Ｂ−Ｇの更新値ＨＢｈａｔとする（ステップＳ２３）。続いて、演算部１９は、算出した上記のＨＢｈａｔと中心画素であるＧ＿ａ画素において既に得られているＧ信号とを加算して、対象とするＧ＿ａ画素におけるＢ信号の更新値を得る（ステップＳ２４）。
【００５５】
従って、中心画素がＧ＿ａ画素のときには、演算部１７からは、対象とするＧ＿ａ画素におけるＲ信号の更新値が出力され、演算部１９からは、対象とするＧ＿ａ画素におけるＢ信号の更新値が出力される。このとき、演算部１７は、更に得られたＧ信号と既知のＲ信号とを用いて色差信号Ｒ−Ｇを生成し、これを出力してもよい。演算部１９も、更に得られたＧ信号と既知のＢ信号とを用いて色差信号Ｂ−Ｇを生成し、これを出力してもよい。
【００５６】
次に、画素タイプ分類部１４、１５からそれぞれ中心画素がＧ＿ｂ画素であると判別された色差信号ＨＲ、ＨＢのソーティング結果が出力された場合について説明する。このときの色差信号ＨＲのソーティング結果ｈｒ［ｎｕｍ］（ここでは、ｎｕｍ＝９〜１７）は演算部１７に供給され、色差信号ＨＢのソーティング結果ｈｂ［ｎｕｍ］（ここでは、ｎｕｍ＝９〜１７）は演算部１９に供給される。
【００５７】
演算部１７は、画素タイプ分類部１４から中心画素がＧ＿ｂ画素であると判別されたときに出力される色差信号ＨＲのソーティング結果（ｈｒ［９］〜ｈｒ［１７］）と、対象とするＧ＿ｂ画素において既に得られているＧ信号とのそれぞれの和によって得られる９個のＧ＿ｂ画素におけるＲ信号の候補値を、上下のＲ画素の値と比較し、その差が予め定めた閾値ｔｈ未満の候補値を検出する。そして、この検出した候補値は相関有り（連続性が高い）と見なして、その候補値を累積する（ステップＳ１５）。上記のソーティング結果（ｈｒ［９］〜ｈｒ［１７］）は、９つの色差信号ＨＲの値を示しており、また、上記のＧ信号との和によって得られるＧ＿ｂ画素におけるＲ信号の候補値は、暫定的なＲ信号の値を示している。
【００５８】
続いて、演算部１７は、ステップＳ１５で累積した累積値の平均値を色差信号Ｒ−Ｇの更新値ＨＲｈａｔとする（ステップＳ１６）。また、演算部１７は、ステップＳ１５の比較の結果、すべての差が閾値ｔｈ以上であり累積値がない場合（これは、連続性の条件を満たすものがない場合である）は、入力信号中の中間値ｈｒ［１３］を色差信号Ｒ−Ｇの更新値ＨＲｈａｔとする（ステップＳ１６）。続いて、演算部１７は、算出した上記のＨＲｈａｔと中心画素であるＧ＿ｂ画素において既に得られているＧ信号とを加算して、対象とするＧ＿ｂ画素におけるＲ信号の更新値を得る（ステップＳ１７）。
【００５９】
一方、演算部１９は、画素タイプ分類部１５から出力された中心画素がＧ＿ｂ画素であると判別されたときの色差信号ＨＢのソーティング結果（ｈｂ［９］〜ｈｂ［１７］）と、対象とするＧ＿ｂ画素において既に得られているＧ信号とのそれぞれの和によって得られる９個のＧ＿ｂ画素におけるＢ信号の候補値を、左右のＢ画素の値と比較し、その差が予め定めた閾値ｔｈ未満の候補値を検出する。そして、この検出した候補値は相関有り（連続性が高い）と見なして、その候補値を累積する（ステップＳ２５）。上記のソーティング結果（ｈｂ［９］〜ｈｂ［１７］）は、９つの色差信号ＨＢの値を示しており、また、上記のＧ信号との和によって得られるＧ＿ｂ画素におけるＢ信号の候補値は、暫定的なＢ信号の値を示している。
【００６０】
続いて、演算部１９は、ステップＳ２５で累積した累積値の平均値を色差信号Ｂ−Ｇの更新値ＨＢｈａｔとする（ステップＳ２６）。また、演算部１９は、ステップＳ２５の比較の結果、すべての差が閾値ｔｈ以上であり累積値がない場合（これは、連続性の条件を満たすものがない場合である）は、入力信号中の中間値ｈｂ［１３］を色差信号Ｂ−Ｇの更新値ＨＢｈａｔとする（ステップＳ２６）。続いて、演算部１９は、算出した上記のＨＢｈａｔと中心画素であるＧ＿ｂ画素において既に得られているＧ信号とを加算して、対象とするＧ＿ｂ画素におけるＢ信号の更新値を得る（ステップＳ２７）。
【００６１】
従って、中心画素がＧ＿ｂ画素のときには、演算部１７からは、対象とするＧ＿ｂ画素におけるＲ信号の更新値が出力され、演算部１９からは、対象とするＧ＿ｂ画素におけるＢ信号の更新値が出力される。このとき、演算部１７は、更に得られたＧ信号と既知のＲ信号とを用いて色差信号Ｒ−Ｇを生成し、これを出力してもよい。演算部１９も、更に得られたＧ信号と既知のＢ信号とを用いて色差信号Ｂ−Ｇを生成し、これを出力してもよい。
【００６２】
以上説明したように、本実施の形態によれば、ベイヤ配列の画像データに対して画素補間がなされて、Ｒ画素、Ｇ画素、及びＢ画素のすべてのデータが揃った状態の画像信号について、補間の段階で原色間の相関が局所的に乱れているために発生した偽色を軽減するため、色差信号Ｒ−Ｇ及び色差信号Ｂ−Ｇの平滑化を行う。このとき、本実施の形態の平滑化は、ソーティング結果の順位が中央の順位を含む所定の範囲である中位の範囲内に位置する色差信号Ｒ−Ｇ及び色差信号Ｂ−Ｇそれぞれの複数の値を使用するため、事実上のメジアンフィルタとして働き、エッジが損なわれない（原画を損なわない）。
【００６３】
また、本実施の形態では、上記の中位のソーティング結果である色差信号Ｒ−Ｇ及びＢ−Ｇのそれぞれの複数の値につき、それらから計算されるＲ画素，Ｂ画素の値につき周囲の画素の値との相関を評価し、連続性が高い場合はその色差信号Ｒ−Ｇ，Ｂ−Ｇを色差信号Ｒ−Ｇ，Ｂ−Ｇの更新値とし、連続性が無い又は低い場合はソーティング結果の中間値を色差信号Ｒ−Ｇ，Ｂ−Ｇの更新値として、これらの更新値をもとに必要な原色の更新を行うようにしたため、偽色の軽減とジッパーノイズの原因となる輝度孤立点の回避を、繰り返し演算を行わずに実現することができる。従って、本実施の形態によれば、偽色の除去を従来に比べて相対的に短い演算時間でできる。
【００６４】
なお、本発明は、ハードウェアのベイヤ画像補間処理を行う画像処理装置に限定されるものでなく、図１のブロック図の構成をコンピュータにより実行させるコンピュータプログラムも包含する。この場合のコンピュータプログラムである画像処理プログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれてもよい。
【図面の簡単な説明】
【００６５】
【図１】本発明の画像処理装置の一実施の形態のブロック図である。
【図２】図１の動作説明用フローチャートである。
【図３】本発明における画素タイプの分類の説明図である。
【図４】ベイヤ配列の一例を示す図である。
【符号の説明】
【００６６】
１０  画像処理装置
１１  ＨＲ，ＨＢ計算部
１２、１３  ソーティング処理部
１４、１５  画素タイプ分類部
１６〜１９  演算部
【図１】
2009206553.tif 000003
【図２】
2009206553.tif 000004
【図３】
2009206553.tif 000005
【図４】
2009206553.tif 000006