(57)【要約】【課題】入力画素信号の画素の位置にずれがあっても、正確に補間された出力画素信号を得る。【解決手段】第１の分光感度特性の画素の位置における第１の分光感度特性の入力画素信号（Ｇ）から、第２乃至第Ｎの分光感度特性の画素の位置における第１の分光感度特性の出力画素信号（ｇ）を生成し（１００）、第２乃至第Ｎの分光感度特性の画素の位置における第１の分光感度特性の出力画素信号（ｇ）と、第ｍ（ｍは２からＮのいずれか一つ）の分光感度特性の画素の位置における第ｍの分光感度特性の入力画素信号（Ｒ）とから、第ｎ（ｎは１、又は２からＮのうちｍを除くいずれか一つ）の分光感度特性（Ｇ、Ｂ）の画素の位置における第ｍの分光感度特性の出力画素信号（ｒ）を生成する（２００）。【選択図】図２
2016019152.tif 000002
【特許請求の範囲】
【請求項１】
２次元平面上に配列され、各々が第１乃至第Ｎの分光感度特性のうちのいずれか１つを有する画素の入力画素信号の組に基づき、第ｈ（ｈは１からＮのうちのいずれか一つ）の分光感度特性の画素の位置における、第ｋ（ｋはｈを除く１からＮのうちのいずれか一つ）の分光感度特性の出力画素信号を生成する画素信号処理方法において、
第１の分光感度特性の画素の位置における前記第１の分光感度特性の入力画素信号から、第２乃至第Ｎの分光感度特性の画素の位置における前記第１の分光感度特性の出力画素信号を生成する第１の信号処理ステップと、
第２乃至第Ｎの分光感度特性の画素の位置における前記第１の分光感度特性の出力画素信号と、第ｍ（ｍは２からＮのいずれか一つ）の分光感度特性の画素の位置における前記第ｍの分光感度特性の入力画素信号とから、第ｎ（ｎは１、又は２からＮのうちｍを除くいずれか一つ）の分光感度特性の画素の位置における前記第ｍの分光感度特性の出力画素信号を生成する第２の信号処理ステップとを有する
画素信号処理方法。
【請求項２】
前記第１の信号処理ステップにおいて、
前記第２乃至第Ｎの分光感度特性の画素を順次処理対象画素とし、
前記処理対象画素及びその周囲の画素についての前記第１の分光感度特性の入力画素信号から、前記処理対象画素についての前記第１の分光感度特性の入力画素信号の低周波数成分を表す信号を求め、
前記処理対象画素及びその周囲の画素についての前記第１の分光感度特性の入力画素信号から、前記処理対象画素についての前記第１の分光感度特性の入力画素信号の高周波数成分を表す信号を求め、
求められた、前記処理対象画素についての前記第１の分光感度特性の入力画素信号の低周波数成分を表す信号と、前記処理対象画素についての前記第１の分光感度特性の入力画素信号の高周波数成分を表す信号とを重み付け加算することで、前記処理対象画素の位置における前記第１の分光感度特性の出力画素信号を求める
ことを特徴とする請求項１に記載の画素信号処理方法。
【請求項３】
前記処理対象画素及びその周囲の画素についての前記第１の分光感度特性の入力画素信号に対して水平方向のローパスフィルタをかけることで得られた信号と、
前記処理対象画素及びその周囲の画素についての前記第１の分光感度特性の入力画素信号に対して垂直方向のローパスフィルタをかけることで得られた信号と
を重み付け加算することで、前記処理対象画素についての、前記第１の分光感度特性の入力画素信号の低周波数成分を表す信号を得る
ことを特徴とする請求項２に記載の画素信号処理方法。
【請求項４】
前記処理対象画素についての前記第１の分光感度特性の入力画素信号の低周波数成分を表す信号を得るための重み付け加算において、
前記処理対象画素及びその周囲の画素についての前記第１の分光感度特性の入力画素信号に対して水平方向のローパスフィルタをかけることで得られた信号に掛けられる重み付け係数は、前記処理対象画素についての前記第１の分光感度特性の入力画素信号の水平方向の変化度が垂直方向の変化度よりも小さいときに大きくなる値を有し、
前記処理対象画素及びその周囲の画素についての前記第１の分光感度特性の入力画素信号に対して垂直方向のローパスフィルタをかけることで得られた信号に掛けられる重み付け係数は、前記処理対象画素についての、前記第１の分光感度特性の入力画素信号の垂直方向の変化度が水平方向の変化度よりも小さいときに大きくなる値を有する
ことを特徴とする請求項３に記載の画素信号処理方法。
【請求項５】
前記処理対象画素及びその周囲の画素についての前記第１の分光感度特性の入力画素信号に対して、水平方向のラプラシアンフィルタをかけ、水平方向のゼロクロス点の近傍でのみ振幅を大きくする水平方向の非線形処理を行い、さらに、水平方向のラプラシアンフィルタをかけることで、前記処理対象画素についての水平方向の高周波数数成分を求め、
前記処理対象画素及びその周囲の画素についての前記第１の分光感度特性の入力画素信号に対して、垂直方向のラプラシアンフィルタをかけ、垂直方向のゼロクロス点の近傍でのみ振幅を大きくする垂直方向の非線形処理を行い、さらに、垂直方向のラプラシアンフィルタをかけることで、前記処理対象画素についての垂直方向の高周波数成分を求め、
求められた、前記処理対象画素についての水平方向の高周波数数成分と、前記処理対象画素についての垂直方向の高周波数成分とを重み付け加算することで、前記処理対象画素についての、前記第１の分光感度特性の入力画素信号の高周波数成分を表す信号を得る
ことを特徴とする請求項２に記載の画素信号処理方法。
【請求項６】
前記処理対象画素についての前記第１の分光感度特性の入力画素信号の高周波成分を表す信号を得るための重み付け加算において、
前記処理対象画素についての前記水平方向の高周波数成分に掛けられる重み付け係数は、前記処理対象画素についての、前記第１の分光感度特性の入力画素信号の水平方向の変化度が垂直方向の変化度よりも大きいときに大きくなる値を有し、
前記処理対象画素についての前記垂直方向の高周波数成分に掛けられる重み付け係数は、前記処理対象画素についての前記第１の分光感度特性の入力画素信号の垂直方向の変化度が水平方向の変化度よりも大きいときに大きくなる値を有する
ことを特徴とする請求項５に記載の画素信号処理方法。
【請求項７】
前記処理対象画素についての前記第１の分光感度特性の入力画素信号の水平方向の変化度は、前記処理対象画素及びその周囲の画素についての前記入力画素信号の水平方向の一次微分、若しくは二次微分、又は前記一次微分の絶対値と前記二次微分の絶対値の和を二次元ローパスフィルタリングすることで得られる値であり、
前記処理対象画素についての前記第１の分光感度特性の入力画素信号の垂直方向の変化度は、前記処理対象画素及びその周囲の画素についての前記入力画素信号の垂直方向の一次微分、若しくは二次微分、又は前記一次微分と前記二次微分の和の絶対値を二次元ローパスフィルタリングすることで得られる値である
ことを特徴とする請求項６に記載の画素信号処理方法。
【請求項８】
前記第２の信号処理ステップにおいて、
前記第ｎの分光感度特性の画素を順次処理対象画素とし、
前記処理対象画素及びその周囲の画素から成る領域内の前記第ｍの分光感度特性の画素の位置における前記第１の分光感度特性の出力画素信号と前記第ｍの分光感度特性の入力画素信号とを用いて、前記処理対象画素についての前記第ｍの分光感度特性の出力画素信号を生成する
ことを特徴とする請求項１に記載の画素信号処理方法。
【請求項９】
前記第２の信号処理ステップにおいて、
前記処理対象画素についての前記第１の分光感度特性の出力画素信号と、
前記処理対象画素についての前記第ｍの分光感度特性の入力画素信号の低周波数成分と前記処理対象画素についての前記第１の分光感度特性の出力画素信号の低周波数成分との差とを加算することで、前記処理対象画素についての前記第ｍの分光感度特性の出力画素信号を生成する
ことを特徴とする請求項８に記載の画素信号処理方法。
【請求項１０】
前記処理対象画素についての前記第ｍの分光感度特性の入力画素信号の低周波数成分と前記処理対象画素についての前記第１の分光感度特性の出力画素信号の低周波数成分との差は、
前記処理対象画素についての前記第ｍの分光感度特性の入力画素信号の局所的な平均値と、前記処理対象画素についての前記第１の分光感度特性の出力画素信号との局所的な平均値の差、若しくはその局所的中間値、又は
前記処理対象画素についての前記第ｍの分光感度特性の入力画素信号と前記処理対象画素についての前記第１の分光感度特性の出力画素信号との差の局所的な平均値、若しくはその局所的中間値
であることを特徴とする請求項９に記載の画素信号処理方法。
【請求項１１】
前記第１の信号処理ステップにおいて、
前記第１の分光感度特性の画素の位置における前記第１の分光感度特性の入力画素信号から、前記第１の分光感度特性の画素の位置における前記第１の分光感度特性の出力画素信号をも生成し、
前記第２の信号処理ステップにおいて、
前記第１乃至第Ｎの分光感度特性の画素の位置における前記第１の分光感度特性の出力画素信号と、前記第ｍの分光感度特性の画素の位置における前記第ｍの分光感度特性の入力画素信号とから、前記第ｍの分光感度特性の画素の位置における前記第ｍの分光感度特性の出力画素信号をも生成し、
これにより、前記第ｈの分光感度特性の画素の位置における、前記第ｈの分光感度特性の出力画素信号をも生成する
ことを特徴とする請求項１に記載の信号処理方法。
【請求項１２】
前記第２の信号処理ステップにおいて、前記第１乃至第Ｎの分光感度特性の画素のうちの前記第ｍの分光感度特性の画素以外の画素を順次処理対象画素とし、
前記処理対象画素及びその周囲の画素から成る領域内の、前記第ｍの分光感度特性の画素の位置における前記第１の分光感度特性の出力画素信号と、前記処理対象画素及びその周囲の画素から成る領域内の、前記第ｍの分光感度特性の画素の位置における前記第ｍの分光感度特性の入力画素信号とから、前記処理対象画素の位置における前記第ｍの分光感度特性の出力画素信号を生成する
ことを特徴とする請求項１１に記載の信号処理方法。
【請求項１３】
２次元平面上に配列され、各々が第１乃至第Ｎの分光感度特性のうちのいずれか１つを有する画素の入力画素信号の組に基づき、第ｈ（ｈは１からＮのうちのいずれか一つ）の分光感度特性の画素の位置における、第ｋ（ｋはｈを除く１からＮのうちのいずれか一つ）の分光感度特性の出力画素信号を生成する画素信号処理装置において、
第１の分光感度特性の画素の位置における前記第１の分光感度特性の入力画素信号から、第２乃至第Ｎの分光感度特性の画素の位置における前記第１の分光感度特性の出力画素信号を生成する第１の信号処理部と、
第２乃至第Ｎの分光感度特性の画素の位置における前記第１の分光感度特性の出力画素信号と、第ｍ（ｍは２からＮのいずれか一つ）の分光感度特性の画素の位置における前記第ｍの分光感度特性の入力画素信号とから、第ｎ（ｎは１、又は２からＮのうちｍを除くいずれか一つ）の分光感度特性の画素の位置における前記第ｍの分光感度特性の出力画素信号を生成する第２の信号処理部とを有する
画素信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画素信号処理方法及び装置に関し、特に２次元平面上に配列され、各々が複数の分光感度特性のうちのいずれか１つを有する画素から得られる画素信号を処理する画素信号処理方法及び装置に関する。
【背景技術】
【０００２】
従来の、ベイヤー型カラーフィルタを備えたイメージセンサを有する撮像装置では、各々の画素につき、Ｇ及びＢ、又はＢ及びＲ、又はＲ及びＧの色成分値が不足しており、例えば下記の特許文献１に示されるように、不足する色成分値を推定するために、緑データ（Ｇ）に対する算術平均に、クロマデータ（Ｒ又はＢ）に対する適切にスケール化されたラプラシアン２次項を加算して、不足するＧ成分を推定している。また、クロマデータ（Ｒ又はＢ）に対する算術平均に、緑データ（Ｇ）に対する適切にスケールされたラプラシアン二次項を加算して、不足するＲ／Ｂ成分を推定している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−２９８６６９号公報（段落００２７、段落００４５、数４、数１２）
【特許文献２】国際公開第２００９／１１０３２８号
【特許文献３】特開２０１０−３４９５９号公報
【０００４】
特許文献２及び３については後に言及する。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記の従来の方法は、処理対象画素の近傍の領域内において、それぞれの色成分値（例えば、ベイヤー型カラーフィルタ配列におけるＲ、Ｇ、Ｂ成分値）間の幾何学関係(位置関係)が正しいことに強く依存する。そのため、色成分値を参照する画素の位置にずれがある場合、幾何学関係にずれが生じ、補間誤差が大きくなるという問題があった。
【課題を解決するための手段】
【０００６】
この発明の画素信号処理方法は、
２次元平面上に配列され、各々が第１乃至第Ｎの分光感度特性のうちのいずれか１つを有する画素の入力画素信号の組に基づき、第ｈ（ｈは１からＮのうちのいずれか一つ）の分光感度特性の画素の位置における、第ｋ（ｋはｈを除く１からＮのうちのいずれか一つ）の分光感度特性の出力画素信号を生成する画素信号処理方法において、
第１の分光感度特性の画素の位置における前記第１の分光感度特性の入力画素信号から、第２乃至第Ｎの分光感度特性の画素の位置における前記第１の分光感度特性の出力画素信号を生成する第１の信号処理ステップと、
第２乃至第Ｎの分光感度特性の画素の位置における前記第１の分光感度特性の出力画素信号と、第ｍ（ｍは２からＮのいずれか一つ）の分光感度特性の画素の位置における前記第ｍの分光感度特性の入力画素信号とから、第ｎ（ｎは１、又は２からＮのうちｍを除くいずれか一つ）の分光感度特性の画素の位置における前記第ｍの分光感度特性の出力画素信号を生成する第２の信号処理ステップとを有する。
【発明の効果】
【０００７】
本発明によれば、異なる分光感度特性の画素信号を参照する際、画素間の正確な幾何学的関係（位置関係）に基づいて信号処理を行うことができるので、入力画素信号の画素の位置にずれがあっても、正確に補間された出力画素信号を得ることができる。
【図面の簡単な説明】
【０００８】
【図１】ベイヤー型カラーフィルタを表す図である。
【図２】本発明の実施の形態１による画素信号処理方法を表すフローチャートである。
【図３】図２のＧ信号処理ステップＳＴ１の詳細を示すフローチャートである。
【図４】図２のＲ信号処理ステップＳＴ２の詳細を示すフローチャートである。
【図５】図２のＢ信号処理ステップＳＴ３の詳細を示すフローチャートである。
【図６】実施の形態１の画素信号処理方法を実施するためのコンピュータを示すブロック図である。
【図７】本発明の実施の形態１による画素信号処理装置を表すブロック図である。
【発明を実施するための形態】
【０００９】
実施の形態１．
以下、本発明の画素信号処理方法を図１に示すベイヤー型カラーフィルタを備えた単板式撮像素子で得られた画素信号に基づく信号処理に適用した場合について説明する。
【００１０】
ベイヤー型カラーフィルタでは単板式撮像素子の各画素に図１に示すように赤（Ｒ）、緑（Ｇ）、青（Ｂ）のいずれか１色が割り当てられ、各画素からは、それぞれ割り当てられたフィルタの色に対応する分光感度特性の画素信号（色成分値）、即ちＲ信号、Ｇ信号、Ｂ信号が得られる。
このことを数式で表すと以下の如くとなる。
【００１１】
【数１】
2016019152.tif 000003
但し、
ｘは水平方向の座標で、フレームの左端の列で１、右方向に一列（１画素）進むごとに１ずつ増加する。
ｙは垂直方向の座標で、フレームの上端の行でｙ＝１、下方向に一行（１画素）進むごとに１ずつ増加する。
また、
Ｒ（ｘ，ｙ）は座標（ｘ，ｙ）におけるＲ信号、
Ｇ（ｘ，ｙ）は座標（ｘ，ｙ）におけるＧ信号、
Ｂ（ｘ，ｙ）は座標（ｘ，ｙ）におけるＢ信号、
Ｂａｙｅｒ（ｘ，ｙ）は、座標（ｘ，ｙ）の画素で得られる色信号、
ＮＯＤＤは、奇数の集合、
ＮＥＶＥＮは、偶数の集合を表す。
撮像素子から得られる上記のＲ信号、Ｇ信号、及びＢ信号を、以下に述べる信号処理後の信号と区別するために、入力画素信号、或いは入力色信号（入力Ｒ信号、入力Ｇ信号、及び入力Ｂ信号）と言い、信号処理後の信号を、出力画素信号、或いは出力色信号（出力Ｒ信号、出力Ｇ信号、及び出力Ｂ信号）と言うことがある。
【００１２】
カラー画像を得る場合、全ての画素について赤（Ｒ）、緑（Ｇ）、青（Ｂ）の画素値（色成分値）が必要である。つまり、ベイヤー型カラーフィルタによって赤（Ｒ）の画素値が与えられた画素（Ｒ画素）については緑（Ｇ）及び青（Ｂ）の画素値（色成分値）が欠落しており、補間する必要があり、緑（Ｇ）の画素値が与えられた画素（Ｇ画素）については青（Ｂ）及び赤（Ｒ）の画素値（色成分値）が欠落しており、補間する必要があり、青（Ｂ）の画素値が与えられた画素（Ｂ画素）については赤（Ｒ）及び緑（Ｇ）の画素値（色成分値）が欠落しており、補間する必要がある。
【００１３】
本発明の画素信号処理方法は、このような場合に必要な補間を行うための信号処理を、より正確に行うためのものである。但し以下で説明する実施の形態では、補間を要する画素のみならず、補間を要しない画素についても同じ信号処理によって各成分値を表す信号（出力色信号）を生成する。図２は信号処理の手順の概要を示す。図３に図２のＧ信号処理ステップＳＴ１をより詳細に示す。図４に図２のＲ信号処理ステップＳＴ２をより詳細に示す。図５に図２のＢ信号処理ステップＳＴ３をより詳細に示す。
【００１４】
まずＧ信号処理ステップＳＴ１について説明する。このＧ信号処理ステップＳＴ１においては、フレーム内のすべての画素を順次選択して処理対象画素（注目画素）とし、該処理対象画素の周囲に位置するＧ画素の入力Ｇ信号に基づいて出力Ｇ信号を生成する。
このうち、Ｇ画素の入力Ｇ信号に基づく、Ｒ画素及びＢ画素の出力Ｇ信号の生成は、補間とも言われる。Ｒ画素及びＢ画素の出力Ｇ信号の生成においても、Ｒ信号及びＢ信号は参照されない。
出力Ｇ信号をｇ（ｘ，ｙ）とすると、この信号処理は、
【００１５】
【数２】
2016019152.tif 000004
で表される。
ここでＧＬＰＦ（ｘ，ｙ）は入力Ｇ信号の低周波数成分、Ｐ（ｘ，ｙ）は入力Ｇ信号の高周波数成分、ｃは予め定められた高周波数成分に対するゲインである。
【００１６】
数式（２）のように入力Ｇ信号の低周波数成分ＧＬＰＦ（ｘ，ｙ）と入力Ｇ信号の高周波数成分Ｐ（ｘ，ｙ）を加算することによって出力Ｇ信号を生成する場合、ゲインｃを大きくすることによって、出力画像の高周波数成分を強調することができ、出力画像の高周波数成分を強調することで画像の解像度を高めることができる。ゲインｃは、高調波数成分を強調したい度合い（所望の度合い）に応じて決められる。
【００１７】
以下、ＧＬＰＦ（ｘ，ｙ）及びＰ（ｘ，ｙ）の計算例を示す。
ＧＬＰＦ（ｘ，ｙ）は数式（１Ｇ）で与えられるＧ（ｘ，ｙ）にローパスフィルタをかけることで得られる値である。即ち、処理対象画素の座標を（ｘ，ｙ）とし、処理対象画素及びその周囲の画素の、処理対象画素に対する相対位置を（ｉ，ｊ）で表すとき、当該処理対象画素及びその周囲の画素についてのＧ（ｘ＋ｉ，ｙ＋ｊ）に対してローパスフィルタをかけることで上記の低周波数成分ＧＬＰＦ（ｘ，ｙ）が得られる。但し、以下の説明では、処理対象画素の周囲の画素の座標も単に（ｘ,ｙ）で表すことがある。ローパスフィルタは最も簡単にはバイリニアフィルタやガウシャンフィルタを用いることができる。さらに正確に計算するには、エッジの方向に応じてフィルタ特性のかわるローパスフィルタを用いればよい。以下、エッジの方向に応じてフィルタ特性のかわるローパスフィルタを用いる方法を説明する。
【００１８】
この場合、ＧＬＰＦ（ｘ，ｙ）は、処理対象画素及びその周囲の画素についてのＧ（ｘ，ｙ）に水平方向のローパスフィルタをかけることで得られる信号ＧＬＰＦＨ（ｘ，ｙ）と、処理対象画素及びその周囲の画素についての垂直方向のローパスフィルタをかけることで得られる信号ＧＬＰＦＶ（ｘ，ｙ）と、重み付け係数ｕ（ｘ，ｙ）とを用いて下記の数式
【数３】
2016019152.tif 000005
で表すように加算（重み付け加算）することで得られる。
【００１９】
数式（３）のＧＬＰＦＨ（ｘ，ｙ）及びＧＬＰＦＶ（ｘ，ｙ）は、それぞれ例えば以下のようにして求められる。
【数４】
2016019152.tif 000006
【００２０】
処理対象画素がＲ画素又はＢ画素であるときは、数式（４Ｈ）において、Ｇ（ｘ−２，ｙ）、Ｇ（ｘ，ｙ）及びＧ（ｘ＋２，ｙ）はゼロであり、数式（４Ｖ）において、Ｇ（ｘ，ｙ−２）、Ｇ（ｘ，ｙ）及びＧ（ｘ，ｙ＋２）はゼロである。
一方、処理対象画素がＧ画素であるときは、数式（４Ｈ）において、Ｇ（ｘ-３，ｙ）、Ｇ（ｘ−１，ｙ）、Ｇ（ｘ＋１，ｙ）及びＧ（ｘ＋３，ｙ）はゼロであり、数式（４Ｖ）において、Ｇ（ｘ，ｙ−３）、Ｇ（ｘ，ｙ−１）、Ｇ（ｘ，ｙ＋１）及びＧ（ｘ，ｙ＋３）はゼロである。
【００２１】
数式（４Ｈ）によりＧＬＰＦＨを求める処理が、図３においてステップＳ１０１ｈとして示され、数式（４Ｖ）によりＧＬＰＦＶを求める処理が、図３においてステップＳ１０１ｖとして示され、数式（３）によりＧＬＰＦを求める処理が、図３においてステップＳ１０２として示されている。
【００２２】
数式（３）において、ｕ（ｘ，ｙ）は、処理対象画素の位置におけるエッジの方向、或いは処理対象画素についてのＧ信号の水平方向の変化度及び垂直方向の変化度に応じて決まる重み付け係数である。水平方向の変化度を表す値をＤＨ、垂直方向の変化度を表す値をＤＶとすると、重み付け係数ｕ（ｘ，ｙ）は、例えば
【００２３】
【数５】
2016019152.tif 000007
で与えられる。
【００２４】
ＤＨ及びＤＶはＧ（ｘ，ｙ）の水平方向の変化度及び垂直方向の変化度を表す値であれば何でもよく、例えば処理対象画素の近傍領域内の画素（処理対象画素及びその周囲の画素）のＧ信号Ｇ（ｘ＋ｉ,ｙ＋ｊ）の水平方向の一次微分の絶対値Ｄ’Ｈ及び垂直方向の一次微分の絶対値Ｄ’Ｖをそれぞれ二次元ローパスフィルタリングすることで得られる値を用いることができる。
【００２５】
各画素についての水平方向の一次微分は、当該画素に水平方向の両側で隣接する画素位置（左側で隣接する画素位置、及び右側で隣接する画素位置）の、Ｇ信号の差を求めることで得られる。
各画素についての垂直方向の一次微分は、当該画素に垂直方向の両側で隣接する画素位置（上側で隣接する画素位置、及び下側で隣接する画素位置）の、Ｇ信号の差を求めることで得られる。
このようにして一次微分を求める場合、処理対象画素の近傍領域のうち、Ｇ画素についての一次微分はゼロとなる。
【００２６】
以下、ＤＨ及びＤＶの計算例を示す。この計算例では、ＤＨは
【数６】
2016019152.tif 000008
で得られる。
【００２７】
数式（６Ｈ）において、処理対象画素がＲ画素又はＢ画素であるとき（ｘ＋ｙ＝偶数のとき）には、Ｄ’Ｈ（ｘ，ｙ−１）、Ｄ’Ｈ（ｘ−１，ｙ）、Ｄ’Ｈ（ｘ＋１，ｙ）、及びＤ’Ｈ（ｘ，ｙ＋１）がゼロとなり、処理対象画素がＧ画素であるとき（ｘ＋ｙ＝奇数のとき）には、Ｄ’Ｈ（ｘ−１，ｙ−１）、Ｄ’Ｈ（ｘ＋１，ｙ−１）、Ｄ’Ｈ（ｘ，ｙ）、Ｄ’Ｈ（ｘ−１，ｙ＋１）、及びＤ’Ｈ（ｘ＋１，ｙ＋１）がゼロとなる。
【００２８】
数式（６Ｈ）の「ｗｈｅｒｅ」以下の部分におけるｘ及びｙは、処理対象画素の座標（ｘ，ｙ）に対する相対値ｉ及びｊを用いて（ｘ＋ｉ）及び（ｙ＋ｊ）と表し得るので、数式（６Ｈ）は、
【数７】
2016019152.tif 000009
と書き直し得る。
【００２９】
数式（６Ｈ）のＧ（ｘ，ｙ）、Ｄ’Ｈ（ｘ，ｙ）及びＤＨ（ｘ，ｙ）の二次元行列をもＧ（ｘ，ｙ）、Ｄ’Ｈ（ｘ，ｙ）及びＤＨ（ｘ，ｙ）で表わし、ＨＤを水平方向の一次微分を演算するための係数行列とし、ＬＰＦを二次元ローパスフィルタを表す係数行列とし、畳み込み演算を＊で表すと、数式（６Ｈ）は
【数８】
2016019152.tif 000010
と表される。
【００３０】
ここで二次元行列Ｇ（ｘ，ｙ）は
【数９】
2016019152.tif 000011
となる。ここでｘＭＡＸ及びｙＭＡＸはそれぞれ水平座標ｘ及び垂直座標ｙの取り得る最大値であり、通常、水平方向、垂直方向の画素数と一致する。Ｄ’Ｈ（ｘ，ｙ）の行列ＭＤ’Ｈ、及びＤＨ（ｘ，ｙ）の行列ＭＤＨも数式（８）と同様に表される。
【００３１】
ＤＶは数式（６Ｈ）と同様に、
【数１０】
2016019152.tif 000012
で得られる。
【００３２】
数式（６Ｖ）において、処理対象画素がＲ画素又はＢ画素であるとき（ｘ＋ｙ＝偶数のとき）には、Ｄ’Ｖ（ｘ，ｙ−１）、Ｄ’Ｖ（ｘ−１，ｙ）、Ｄ’Ｖ（ｘ＋１，ｙ)、及びＤ’Ｖ（ｘ，ｙ＋１）がゼロとなり、処理対象画素がＧ画素であるとき（ｘ＋ｙ＝奇数のとき）には、Ｄ’Ｖ（ｘ−１，ｙ−１）、Ｄ’Ｖ（ｘ＋１，ｙ−１）、Ｄ’Ｖ（ｘ，ｙ）、Ｄ’Ｖ（ｘ−１，ｙ＋１）、Ｄ’Ｖ（ｘ＋１，ｙ＋１）がゼロとなる。
【００３３】
数式（６Ｖ）の「ｗｈｅｒｅ」以下の部分におけるｘ及びｙは、処理対象画素の座標（ｘ，ｙ）に対する相対値ｉ及びｊを用いて（ｘ＋ｉ）及び（ｙ＋ｊ）と表し得るので、数式（６Ｖ）は、
【数１１】
2016019152.tif 000013
と書き直し得る。
【００３４】
数式（６Ｖ）のＧ（ｘ，ｙ）、Ｄ’Ｈ（ｘ，ｙ）及びＤＶ（ｘ，ｙ）の二次元行列をもＧ（ｘ，ｙ）、Ｄ’Ｈ（ｘ，ｙ）及びＤＶ（ｘ，ｙ）で表し、ＶＤを垂直方向の一次微分を演算するための係数行列とし、ＬＰＦを二次元ローパスフィルタを表す係数行列とし、畳み込み演算を＊で表すと、数式（６Ｖ）は
【数１２】
2016019152.tif 000014
と表される。なお、上付きのＴは転置行列を表すものとする。
【００３５】
以下の説明では座標（ｘ，ｙ）で表される２変数関数に対する演算を、記述を簡素にするため行列表記を用いて表すことがある。特に数式中に記号＊を用いているものは行列表記を用いており、記号＊は畳み込み演算を表している。また上付きのＴも特別の説明がない限り転置行列を表すものとする。
【００３６】
数式（６Ｈ）及び数式（６Ｖ）の処理が、図３においてそれぞれステップＳ１１１ｈ及びＳ１１１ｖとして示され、数式（５）の処理が、図３においてステップＳ１１２として示されている。
【００３７】
数式（５）で表されるステップＳ１１２の処理の結果得られる係数ｕ（ｘ，ｙ）が数式（３）の処理（Ｓ１０２）で用いられるので、数式（３）の処理（Ｓ１０２）の前に数式（５）の処理（Ｓ１１２）を行う必要がある。
【００３８】
次に、高周波数成分Ｐ（ｘ，ｙ）の計算方法について説明する。
単純な方法としては、数式（１Ｇ）で与えられるＧ（ｘ，ｙ）にハイパスフィルタをかけることで得られる値をＰ（ｘ，ｙ）とする（即ち処理対象画素及びその周囲の画素にハイパスフィルタをかけることで得られる値Ｐ（ｘ，ｙ）を処理対象画素についての高周波数成分とする）ことができる。ここでＧ（ｘ，ｙ）にハイパスフィルタをかけることは、Ｇ（ｘ，ｙ）について空間方向に関する二次微分を計算する処理に相当する。二次微分は水平方向及び垂直方向とも等方的になるように行ってもよいし、エッジの方向に応じて垂直方向の二次微分（或いは高周波数成分）ＰＶと水平方向の二次微分（或いは高周波数成分）ＰＨを重み付け加算することとしてもよい。この場合、Ｐ（ｘ，ｙ）は
【数１３】
2016019152.tif 000015
で表されるように加算（重み付け加算）を行うことで得られる。
【００３９】
水平方向の高周波数成分ＰＨと垂直方向の高周波数成分ＰＶはそれぞれ数式（１Ｇ）で与えられるＧ（ｘ，ｙ）に対し水平方向及び垂直方向のハイパスフィルタをかけることで得るのが簡単な方法である。但しこの場合、数式（１Ｇ）で与えられるＧ（ｘ，ｙ）がもともと持っている高周波数成分しか抽出されない。
【００４０】
一方で、入力画像から取り出した高周波数成分に対して非線形処理をかけることで、入力画像には含まれない、より高い周波数の成分を生成乃至外挿することができること、このようにして外挿したより高い周波数の成分を入力画像に加算することで画像の解像感を高めることができることが特許文献２、特許文献３などで知られている。
【００４１】
以下、これらの技術を用いてＰ（ｘ，ｙ）或いはＰＨ（ｘ，ｙ）及びＰＶ（ｘ，ｙ）を求める方法について説明する。
【００４２】
まず、処理対象画素及びその周囲の画素についての入力Ｇ信号に対して、水平方向のラプラシアンフィルタＨＬＡＰ１、及び垂直方向のラプラシアンフィルタＶＬＡＰ１を適用して水平方向のラプラシアン成分（二次微分に相当）Ｐ０Ｈ及び垂直方向のラプラシアン成分（二次微分に相当）Ｐ０Ｖを求める。この処理は下記の数式で表される。
【００４３】
【数１４】
2016019152.tif 000016
【００４４】
ここで数式（１０Ｈ）及び数式（１０Ｖ）は行列表記で表されており、ＨＬＡＰ１及びＶＬＡＰ１としては例えば
【数１５】
2016019152.tif 000017
を用いることが出来る。
【００４５】
数式（１０Ｈ）及び（１０Ｖ）は、各処理対象画素（座標（ｘ，ｙ）の位置にある画素）についてのＰ０Ｈ（ｘ，ｙ）及びＰ０Ｖ（ｘ，ｙ）が下記の数式（１２Ｈ）及び（１２Ｖ）で表されることを意味する。
【数１６】
2016019152.tif 000018
【００４６】
数式（１２Ｈ）及び数式（１２Ｖ）で、処理対象画素がＲ画素又はＢ画素であるときは、Ｇ（ｘ−１,ｙ−１）、Ｇ（ｘ＋１,ｙ−１）、Ｇ（ｘ,ｙ）、Ｇ（ｘ−１,ｙ＋１）、及びＧ（ｘ＋１,ｙ＋１）がゼロとなり、処理対象画素がＧ画素であるときは、Ｇ（ｘ,ｙ−１）、Ｇ（ｘ−１,ｙ）、Ｇ（ｘ＋１,ｙ）、及びＧ（ｘ,ｙ＋１）がゼロとなる。
【００４７】
上記の数式（１０Ｈ）及び数式（１０Ｖ）による処理が、それぞれ図３においてステップＳ１２１ｈ及びＳ１２１ｖとして示されている。
【００４８】
次に、上記の数式（１０Ｈ）及び数式（１０Ｖ）による処理の結果得られたラプラシアン成分に対して、非線形処理を適用して以下のように水平方向及び垂直方向それぞれについて高周波数成分（非線形処理による高周波数成分）ＰＮＬＨ及びＰＮＬＶを求める。
【数１７】
2016019152.tif 000019
ここでｋは１より大きい実数値であることが望ましい。
【００４９】
数式（１３Ｈ）の処理は、処理対象画素と、処理対象画素に対して水平方向に隣接する画素（左側の画素又は右側の画素）とで、水平方向のラプラシアン成分の符号が異なる場合、即ち、処理対象画素が水平方向のラプラシアン成分のゼロクロス点にあるときには、処理対象画素の値の絶対値をより大きな値にすることを意味する。
【００５０】
同様に、数式（１３Ｖ）の処理は、処理対象画素と、処理対象画素に対して垂直方向に隣接する画素のいずれか（上側の画素又は下側の画素）とで、垂直方向のラプラシアン成分の符号が異なる場合、即ち、処理対象画素が水平方向のラプラシアン成分のゼロクロス点にあるときには、処理対象画素の値の絶対値をより大きな値にすることを意味する。
【００５１】
数式（１３Ｈ）及び数式（１３Ｖ）表される処理が、図３において、ステップＳ１２２ｈ及びＳ１２２ｖとして示されている。
【００５２】
最後に、上記の数式（１３Ｈ）及び数式（１３Ｖ）の処理の結果に対して、再度水平方向及び垂直方向のラプラシアンフィルタＨＬＡＰ２及びＶＬＡＰ２を適用する。これにより取り出した高周波数成分をそれぞれＰＨ及びＰＶとする。行列表記を用いるとＰＨ及びＰＶは
【数１８】
2016019152.tif 000020
と表される。またＨＬＡＰ２及びＶＬＡＰ２としては例えば数式（１１Ｈ）及び数式（１１Ｖ）のＨＬＡＰ１及びＶＬＡＰ１と同じ値を用いることができる。
【００５３】
数式（１４Ｈ）及び数式（１４Ｖ）で表される処理が図３においてそれぞれステップＳ１２３ｈ及びＳ１２３ｖとして示されている。
【００５４】
次に、ＰＨ（ｘ,ｙ）とＰＶ（ｘ,ｙ）とを数式（９）で示すように加算（重み付け加算）してＰ（ｘ,ｙ）を得る。
【００５５】
数式（９）で表される処理が図３においてステップＳ１２４として示されている。
【００５６】
数式（５）で表されるステップＳ１１２の処理の結果得られる係数ｕ（ｘ，ｙ）が数式（９）の処理（Ｓ１２４）で用いられるので、数式（９）の処理（Ｓ１２４）の前に数式（５）の処理（Ｓ１１２）を行う必要がある。
【００５７】
最後に数式（９）の処理で求めたＰ（ｘ，ｙ）と、数式（３）の処理で求めたＧＬＰＦ（ｘ，ｙ）とを数式（２）で示すように重み付け加算することで信号処理の結果としての出力Ｇ信号ｇ（ｘ，ｙ）を得る。数式（２）で表される処理が図３においてステップＳ１３１として示されている。
【００５８】
Ｇ信号の処理は以上の如くである。
上記の処理では、出力Ｇ信号の生成に、入力Ｇ信号のみを用い、入力Ｒ信号及び入力Ｂ信号を参照していない。そのため、入力Ｇ信号、入力Ｒ信号、及び入力Ｂ信号を出力する画素の位置のずれがあってもそれによる影響を受けない出力Ｇ信号を得ることができる。
【００５９】
次にＲ信号処理ステップＳＴ２及びＢ信号処理ステップＳＴ３について説明する。一旦すべての画素について出力Ｇ信号ｇ（ｘ，ｙ）が生成されると、水平方向及び垂直方向ともに座標値が奇数の画素はＲ成分（入力Ｒ信号）Ｒ（ｘ，ｙ）とＧ成分（出力Ｇ信号）ｇ（ｘ，ｙ）を持ち、水平方向及び垂直方向ともに座標値が偶数の画素はＢ成分（入力Ｂ信号）Ｂ（ｘ，ｙ）とＧ成分（出力Ｇ信号）ｇ（ｘ，ｙ）を持つ。
よってこれらの画素がもつ色成分を用いて出力Ｒ信号及び出力Ｂ信号を生成すれば、同じ画素についての異なる色成分（Ｒ成分とＧ成分、或いはＢ成分とＧ成分）を用いて信号処理を行うことになるので、信号処理で補間を行う場合、異なる色成分を異なる画素から参照することによって生じる誤差を回避できる。
【００６０】
信号処理の結果得られる出力Ｒ信号及び出力Ｂ信号をそれぞれｒ（ｘ，ｙ）及びｂ（ｘ，ｙ）で表す。本実施の形態では、ｒ（ｘ,ｙ）及びｂ（ｘ,ｙ）を、下記の式で表される処理によって求める。
【数１９】
2016019152.tif 000021
但し、ＤＲＧは、Ｒ成分を表す画素信号（入力Ｒ信号）の局所的な平均値（処理対象画素及びその周囲の画素についての入力Ｒ信号の平均値）と、Ｇ成分を表す画素信号（出力Ｇ信号）の局所的な平均値（処理対象画素及びその周囲の画素についての出力Ｇ信号の平均値）との差、又はＲ成分を表す画素信号（入力Ｒ信号）とＧ成分を表す画素信号（出力Ｇ信号）との差の局所的な平均値（処理対象画素及びその周囲の画素についての入力Ｒ信号と出力Ｇ信号との差の平均値）とし、
ＤＢＧは、Ｂ成分を表す画素信号（入力Ｂ信号）の局所的な平均値（処理対象画素及びその周囲の画素についての入力Ｂ信号の平均値）と、Ｇ成分を表す画素信号（出力Ｇ信号）の局所的な平均値（処理対象画素及びその周囲の画素についての出力Ｇ信号の平均値）との差、又はＢ成分を表す画素信号（入力Ｒ信号）とＧ成分を表す画素信号（出力Ｇ信号）との差の局所的な平均値（処理対象画素及びその周囲の画素についての入力Ｂ信号と出力Ｇ信号との差の平均値）とすることができる。
【００６１】
数式（１５Ｒ）及び数式（１５Ｂ）で示される処理が、図４及び図５において、それぞれステップＳ２０３及びステップＳ３０３として示されている。
【００６２】
後者のように、画素信号間の差の局所的な平均値を用いる場合、
【数２０】
2016019152.tif 000022
となる。
【００６３】
ここでＬＰＦはローパスフィルタのための係数行列を表し、その値は数式（７Ｈ）或いは数式（７Ｖ）と同じであってもよいし、異なってもよい。
【００６４】
数式（１６Ｒ）及び数式（１６Ｂ）で示される処理が、図４及び図５において、それぞれステップＳ２０１及びステップＳ３０１として示されている。
【００６５】
また、ＤＲＧ（ｘ，ｙ）及びＤＢＧ（ｘ，ｙ）の代わりに、メディアンフィルタを用いてｒ（ｘ,ｙ）及びｂ（ｘ,ｙ）の計算精度を高めることも可能である。この場合、ｒ（ｘ，ｙ）及びｂ（ｘ，ｙ）はそれぞれ
【数２１】
2016019152.tif 000023
と表される。ここで、
ｍｅｄｉａｎ（ＤＲＧ（ｘ，ｙ））は処理対象画素の近傍の領域、例えば処理対象画素に対しＩ列左からＩ列右までで、かつＪ行上からＪ行下までの画素から成る領域におけるＤＲＧ（ｘ,ｙ）の中間値（局所的中間値）、即ち処理対象画素の座標を（ｘ，ｙ）とするときＤＲＧ（ｘ＋ｉ,ｙ＋ｊ）（但し、ｉ＝−Ｉ〜Ｉ、ｊ＝−Ｊ〜Ｊの中間値)を表し、
ｍｅｄｉａｎ（ＤＢＧ（ｘ，ｙ））は処理対象画素の近傍の領域、例えば処理対象画素に対しＩ列左からＩ列右までで、かつＪ行上からＪ行下までの画素から成る領域におけるＤＢＧ（ｘ,ｙ）の中間値（局所的中間値）、即ち処理対象画素の座標を（ｘ，ｙ）とするときＤＢＧ（ｘ＋ｉ,ｙ＋ｊ）（但し、ｉ＝−Ｉ〜Ｉ、ｊ＝−Ｊ〜Ｊの中間値)を表す。例えばＩ及びＪはともに１である。
【００６６】
数式（１７Ｒ）におけるｍｅｄｉａｎ（ＤＲＧ（ｘ，ｙ））を求める処理、及び数式（１７Ｂ）におけるｍｅｄｉａｎ（ＤＢＧ（ｘ，ｙ））を求める処理が、図４及び図５において、それぞれステップＳ２０２及びステップＳ３０２として示されている。
【００６７】
なお、数式（１５Ｒ）のＤＲＧ（ｘ，ｙ）或いは数式（１７Ｒ）のｍｅｄｉａｎ（ＤＲＧ（ｘ，ｙ））は、座標（ｘ，ｙ）におけるＲ成分の低周波数成分とＧ成分の低周波数成分の差、即ち、
Ｒｌｐｆ（ｘ，ｙ）−ｇｌｐｆ（ｘ，ｙ）
と置き換え、又は近似できる。
【００６８】
同様に、数式（１５Ｂ）のＤＢＧ（ｘ，ｙ）或いは数式（１７Ｂ）のｍｅｄｉａｎ（ＤＢＧ（ｘ，ｙ））は、座標（ｘ，ｙ）におけるＲ成分の低周波数成分とＧ成分の低周波数成分の差、即ち、
Ｂｌｐｆ（ｘ，ｙ）−ｇｌｐｆ（ｘ，ｙ）
と置き換え、又は近似できる。
【００６９】
従って、数式（１５Ｒ）、数式（１５Ｂ）、数式（１７Ｒ）、及び数式（１７Ｂ）は以下のように置き換え、或いは近似できる。
【数２２】
2016019152.tif 000024
【００７０】
数式（１８Ｒ）及び数式（１８Ｂ）は以下のように書き換えることが可能である。
【数２３】
2016019152.tif 000025
数式（１９Ｒ）及び数式（１９Ｂ）の右辺のｇ（ｘ，ｙ）−ｇｌｐｆ（ｘ，ｙ）はＧ成分の高周波数成分を表す。従って、数式（１９Ｒ）及び数式（１９Ｂ）は、それぞれＲ成分の低周波数成分及びＢ成分の低周波数成分にＧ成分の高周波数成分を加算することで、ｒ（ｘ，ｙ）及びｂ（ｘ，ｙ）が得られることを意味する。このように各色成分の低周波数成分にＧ成分の高周波数成分を加算することで、信号処理の結果得られる画像の解像感が高まる。
【００７１】
また、数式（１５Ｒ）及び数式（１５Ｂ）は、それぞれ第１の信号処理ステップＳＴ１で得られたＧ成分（出力Ｇ信号）に対し、Ｒ成分（入力Ｒ信号）の低周波数成分とＧ成分（出力Ｇ信号）の低周波数成分との差を加算する処理、及び第１の信号処理ステップＳＴ１で得られたＧ成分（出力Ｇ信号）に対し、Ｂ成分（入力Ｂ信号）の低周波数成分とＧ成分（出力Ｇ信号）の低周波数成分との差を加算する処理ともいえる。
Ｒ成分の低周波数成分Ｒｌｐｆ及びＧ成分の低周波数成分ｇｌｐｆの計算において、同一画素、従って同一座標のＲ成分及びＧ成分を用いることで、画素間の正確な幾何学的関係に基づいて信号処理を行うことができので、信号処理で補間を行う場合、補間の精度を向上させることができる。
Ｂ成分の低周波数成分Ｂｌｐｆ、及びＧ成分の低周波数成分ｇｌｐｆの計算においても同様である。
【００７２】
図２のＧ信号処理ステップＳＴ１によるＧ画素信号の処理、Ｒ信号処理ステップＳＴ２によるＲ画素信号の処理、及びＢ信号処理ステップＳＴ３によるＢ画素信号の処理は、各フレームの画素をラスター順に、例えば左上から右下へと言う順に選択し、選択した画素について行われる。Ｇ信号処理ステップＳＴ１、Ｒ信号処理ステップＳＴ２、及びＢ信号処理ステップＳＴ３における画素の選択が、それぞれ図３、図４、及び図５において、ステップＳ１００、Ｓ２００及びＳ３００として示され、選択された画素についての処理結果としての出力色信号の出力が、ステップＳ１３２、Ｓ２０４、及びＳ３０４として示され、各フレーム中のすべての画素についての処理が終わったか（ほかに、処理対象画素となっていない画素があるか）否かの判定がステップＳ１３３、Ｓ２０５、及びＳ３０５として示されている。
【００７３】
Ｒ信号処理ステップＳＴ２において各画素の出力Ｒ信号の生成を行うには、少なくともその周囲に位置する画素、具体的には、数式（１６Ｒ）の差分演算におけるローパスフィルタリングで用いる画素についての出力Ｇ信号の生成が終わっていることが必要となる。
各フレーム内の各画素についての出力Ｒ信号の生成のための処理は、当該フレーム全体について、出力Ｇ信号の生成が完了した後に開始しても良く、当該フレーム内の各画素について、その周囲に位置する画素について出力Ｇ信号の生成が終わったらすぐに（当該フレーム全体についての出力Ｇ信号の生成が完了するのを待つことなく）行うようにしても良い。
【００７４】
出力Ｂ信号の生成についても同様である。即ち、Ｂ信号処理ステップＳＴ３において各画素の出力Ｂ信号の生成のための処理を行うには、少なくともその周囲に位置する画素、具体的には、数式（１６Ｂ）の差分演算におけるローパスフィルタリングで用いる画素についての出力Ｇ信号の生成が終わっていることが必要となる。
各フレーム内の各画素についての出力Ｂ信号の生成は、当該フレーム全体について、出力Ｇ信号の生成が完了した後に開始しても良く、当該フレーム内の各画素について、その周囲に位置する画素について出力Ｇ信号の生成が終わったらすぐに（当該フレーム全体についての出力Ｇ信号の生成が完了するのを待つことなく）行うようにしても良い。
【００７５】
図２において、Ｒ信号処理（ＳＴ２）とＢ信号処理（ＳＴ３）とは順序を逆にしても良く、並行して行っても良い。
【００７６】
図３において、ステップＳ１０１ｈの処理とステップＳ１０１ｖの処理は、順序を逆にしても良く、並行して行っても良い。同様に、ステップＳ１１１ｈの処理とステップＳ１１１ｖの処理は、順序を逆にしても良く、並行して行っても良い。逆に、ステップＳ１０１ｈ及びＳ１０１ｖの処理の組合せ、ステップＳ１１１ｈ及びＳ１１１ｖの処理の組合せ、ステップＳ１２１ｈ、Ｓ１２２ｈ、及びＳ１２３ｈの処理の組合せ、並びにステップＳ１２１ｖ、Ｓ１２２ｖ、及びＳ１２３ｖの処理の組合せは順次行っても良い。同様に、ステップＳ１０２の処理とステップＳ１２４の処理は順次行っても良い。
【００７７】
図２〜図５の画素信号処理方法の一部又は全部はソフトウェアにより、即ちプログラムされたコンピュータで実現することができる。その場合に用いられるコンピュータを図６に示す。図示のコンピュータは、入力インターフェース１１、プロセッサ１２、プログラムメモリ１３、データメモリ１４、出力インターフェース１５及びこれらを接続するバス１６を含む。
【００７８】
プロセッサ１２は、入力インターフェース１１を介して入力される画像に対して、プログラムメモリ１３に記憶されたプログラムに従って動作する。このプログラムは、図２〜図５の画素信号処理方法の各ステップの処理をコンピュータに実行させるためのものである。この動作の過程で種々のデータをデータメモリ１４に記憶させる。処理の結果生成された画像は出力インターフェース１５を介して出力される。
【００７９】
図７は本発明の画素信号処理方法を実行するための画素信号処理装置を機能ブロック図で示す。この画像信号処理装置は、Ｇ信号処理部１００、Ｒ信号処理部２００、及びＢ信号処理部３００を備えている。また、図７でＲ（ｘ，ｙ）、Ｇ（ｘ,ｙ）、及びＢ（ｘ,ｙ）は図示しない撮像素子からの入力信号である。
【００８０】
Ｇ信号処理部１００は、入力Ｇ信号Ｇ（ｘ,ｙ）をもとに出力Ｇ信号ｇ（ｘ，ｙ）を生成し、出力するものであり、水平ローパスフィルタ１０１ｈと、垂直ローパスフィルタ１０１ｖと、水平変化度計算部１１１ｈと、垂直変化度計算部１１１ｖと、係数計算部１１２と、水平ハイパスフィルタ１２１ｈと、垂直ハイパスフィルタ１２１ｖと、水平非線形処理部１２２ｈと、垂直非線形処理部１２２ｖと、水平ハイパスフィルタ１２３ｈと、垂直ハイパスフィルタ１２３ｖと、加算部１２４と、加算部１３１とを備えている。
【００８１】
水平ローパスフィルタ１０１ｈは、入力Ｇ信号Ｇ（ｘ,ｙ）に、例えば数式（４Ｈ）で表されるように、水平方向のローパスフィルタをかけることで水平方向の低周波数成分ＧＬＰＦＨ（ｘ，ｙ）を求める。
垂直ローパスフィルタ１０１ｖは、入力Ｇ信号Ｇ（ｘ,ｙ）に、例えば数式（４Ｖ）で表されるように、垂直方向のローパスフィルタをかけることで垂直方向の低周波数成分ＧＬＰＦＶ（ｘ，ｙ）を求める。
加算部１０２は、水平方向の低周波数成分ＧＬＰＦＨ（ｘ，ｙ）と垂直方向の低周波数成分ＧＬＰＦＶ（ｘ，ｙ）とに対し、数式（３）で表される重み付け加算を行って低周波数成分ＧＬＰＦ（ｘ，ｙ）を求める。
【００８２】
水平変化度計算部１１１ｈは、入力Ｇ信号Ｇ（ｘ,ｙ）に対し、数式（６Ｈ）で表される水平方向変化度ＤＨ（ｘ，ｙ）を計算する。
垂直変化度計算部１１１ｖは、入力Ｇ信号Ｇ（ｘ,ｙ）に対し、数式（６Ｖ）で表される垂直方向変化度ＤＶ（ｘ，ｙ）を計算する。
係数計算部１１２は、水平方向変化度ＤＨ（ｘ，ｙ）及び垂直方向変化度ＤＶ（ｘ，ｙ）から、数式（５）で表される係数ｕ（ｘ，ｙ）を計算する。
【００８３】
水平ハイパスフィルタ１２１ｈは、入力Ｇ信号Ｇ（ｘ,ｙ）に対し数式（１０Ｈ）で表されるハイパスフィルタリングを行い水平方向のラプラシアン成分Ｐ０Ｈを求める。
垂直ハイパスフィルタ１２１ｖは、入力Ｇ信号Ｇ（ｘ,ｙ）に対し数式（１０Ｖ）で表されるハイパスフィルタリングを行い垂直方向のラプラシアン成分Ｐ０Ｖを求める。
水平非線形処理部１２２ｈは、水平方向のラプラシアン成分Ｐ０Ｈ（ｘ，ｙ）に対し数式（１３Ｈ）で表される非線形処理を行い、水平方向の高周波数成分ＰＮＬＨ（ｘ，ｙ）を求める。
垂直非線形処理部１２２ｖは、垂直方向のラプラシアン成分Ｐ０Ｖ（ｘ，ｙ）に対し数式（１３Ｖ）で表される非線形処理を行い、垂直方向の高周波数成分ＰＮＬＶ（ｘ，ｙ）を求める。
水平ハイパスフィルタ１２３ｈは、高周波数成分ＰＮＬＨ（ｘ，ｙ）に対し数式（１４Ｈ）で表されるハイパスフィルタリングを行い、水平方向の高周波数成分ＰＨ（ｘ，ｙ）を求める。
垂直ハイパスフィルタ１２３ｖは、高周波数成分ＰＮＬＶ（ｘ，ｙ）に対し数式（１４Ｖ）で表されるハイパスフィルタリングを行い、垂直方向の高周波数成分ＰＶ（ｘ，ｙ）を求める。
加算部１２４は、水平方向の高周波数成分ＰＨ（ｘ，ｙ）と垂直方向の高周波数成分ＰＶ（ｘ，ｙ）とに対し数式（９）で表される重み付け加算を行って高周波数成分Ｐ（ｘ，ｙ）を求める。
加算部１３１は、低周波数成分ＧＬＰＦ（ｘ，ｙ）と高周波数成分Ｐ（ｘ，ｙ）とに対し数式（２）で表される重み付け加算を行って出力Ｇ信号ｇ（ｘ，ｙ）を求める。
【００８４】
Ｒ信号処理部２００は、入力Ｒ信号Ｒ（ｘ,ｙ）及び出力Ｇ信号ｇ（ｘ,ｙ）をもとに出力Ｒ信号ｒ（ｘ，ｙ）を生成し、出力するものであり、差分計算部２０１と加算部２０３を備える。これらに加えてメディアンフィルタ２０２をさらに備えていても良い。
差分計算部２０１は、ｇ（ｘ，ｙ）及びＲ（ｘ，ｙ）を用いて、数式（１６Ｒ）で表される処理を行って差分ＤＲＧ（ｘ，ｙ）を求める。
メディアンフィルタ２０２は、処理対象画素の近傍の領域におけるＤＲＧ（ｘ，ｙ）の中間値を求め、ｍｅｄｉａｎ（ＤＲＧ（ｘ，ｙ））として出力する。
加算部２０３は、差分計算部２０１からのＤＲＧ（ｘ，ｙ）又はメディアンフィルタ２０２からのｍｅｄｉａｎ（ＤＲＧ（ｘ，ｙ））と、Ｇ信号処理部１００からのｇ（ｘ，ｙ）とに対し、数式（１５Ｒ）又は数式（１７Ｒ）で表される重み付け加算を行って出力Ｒ信号ｒ（ｘ，ｙ）を求める。
【００８５】
Ｂ信号処理部３００は、入力Ｂ信号Ｂ（ｘ,ｙ）及び出力Ｇ信号ｇ（ｘ,ｙ）をもとに出力Ｂ信号ｂ（ｘ，ｙ）を生成し、出力するものであり、差分計算部３０１と加算部３０３を備える。これらに加えてメディアンフィルタ３０２をさらに備えていても良い。
差分計算部３０１は、ｇ（ｘ，ｙ）及びＢ（ｘ，ｙ）を用いて、数式（１６Ｂ）で表される処理を行って差分ＤＢＧ（ｘ，ｙ）を求める。
メディアンフィルタ３０２は、処理対象画素の近傍の領域におけるＤＢＧ（ｘ，ｙ）の中間値を求め、ｍｅｄｉａｎ（ＤＢＧ（ｘ，ｙ））として出力する。
加算部３０３は、差分計算部３０１からのＤＢＧ（ｘ，ｙ）又はメディアンフィルタ３０２からのｍｅｄｉａｎ（ＤＢＧ（ｘ，ｙ））と、Ｇ信号処理部１００からのｇ（ｘ，ｙ）とに対し、数式（１５Ｂ）又は数式（１７Ｂ）で表される重み付け加算を行って出力Ｂ信号ｂ（ｘ，ｙ）を求める。
【００８６】
図７の画素信号処理装置の一部又は全部はソフトウェアにより、即ちプログラムされたコンピュータで実現することができる。その場合には、例えば図６に示されるコンピュータを用い、図７の画素信号処理装置の各部の機能をコンピュータに実行させるためのプログラムをプログラムメモリ１３に記憶させておけば良い。
【００８７】
本発明の実施の形態に対し当業者は様々な変形が可能であるが、そのような変形により得られる構成も本発明の範囲に含まれる。
【００８８】
例えば、上記説明ではＲ、Ｇ、Ｂの三色を用いたが、本発明の信号処理で生成される色の数は三色に限定されない。すなわち本発明は、各々の画素がＮ色（Ｎは２以上の整数）の分光感度特性（従って、Ｎ個の色成分値）のいずれか１つを有する画素の入力画素信号の組に基づき、第ｈ（ｈは１からＮのうちのいずれか一つ）の分光感度特性の画素の位置（いずれか一つの色成分値を有する画素の位置）における、第ｋ（ｋはｈを除く１からＮのうちのいずれか一つ）の分光感度特性の出力画素信号を生成する画素信号処理に適用できる。
【００８９】
この場合、第１の分光感度特性の画素の位置における第１の分光感度特性の入力画素信号（例えばＧ）のみを用いて信号処理を行って、第２乃至第Ｎの分光感度特性の画素の位置における第１の分光感度特性の出力画素信号（ｇ）を生成する。その後、第２乃至第Ｎの分光感度特性の画素の位置における第１の分光感度特性の出力画素信号（ｇ）と、第ｍ（ｍは２からＮのいずれか一つ）の分光感度特性の画素の位置における第ｍの分光感度特性の入力画素信号（例えばＲ）とから、第ｎ（ｎは１、又は２からＮのうちのｍを除くいずれか一つ）の分光感度特性の画素の位置（第ｍの分光感度特性を持たない画素の位置）における第ｍの分光感度特性の出力画素信号（ｒ）を生成する。
【００９０】
第１の信号処理ステップにおいては、例えば、第２乃至第Ｎの分光感度特性（Ｒ、Ｂ）の画素を順次処理対象画素（第１の信号処理における処理対象画素）とし、処理対象画素及びその周囲の画素についての第１の分光感度特性の入力画素信号（Ｇ）から、処理対象画素についての第１の分光感度特性の入力画素信号の低周波数成分を表す信号（ＧＬＰＦ）を求め、処理対象画素及びその周囲の画素についての第１の分光感度特性の入力画素信号（Ｇ）から、処理対象画素についての第１の分光感度特性の入力画素信号の高周波数成分を表す信号（Ｐ（ｘ，ｙ））を求め、求められた、処理対象画素についての第１の分光感度特性の入力画素信号の低周波数成分を表す信号（ＧＬＰＦ）と、処理対象画素についての第１の分光感度特性の入力画素信号の高周波数成分を表す信号（Ｐ（ｘ，ｙ））とを重み付け加算することで、処理対象画素の位置における第１の分光感度特性の出力画素信号（ｇ）を求める。
【００９１】
第２の信号処理ステップにおいては、例えば、第ｎの分光感度特性（Ｒ、Ｂ）の画素を順次処理対象画素（第２の信号処理における処理対象画素）とし、処理対象画素及びその周囲の画素から成る領域内の第ｍの分光感度特性の画素の位置における第１の分光感度特性の出力画素信号（ｇ）と第ｍの分光感度特性の入力画素信号（Ｒ）とを用いて、処理対象画素についての第ｍの分光感度特性の出力画素信号（ｒ）を生成する。
【００９２】
例えば、処理対象画素についての第１の分光感度特性の出力画素信号（ｇ）と、処理対象画素についての第ｍの分光感度特性の入力画素信号の低周波数成分（Ｒｌｐｆ）と処理対象画素についての第１の分光感度特性の出力画素信号の低周波数成分（ｇｌｐｆ）との差（Ｒｌｐｆ−ｇｌｐｆ）とを加算することで、処理対象画素についての第ｍの分光感度特性の出力画素信号（ｒ）を生成する。
【００９３】
処理対象画素についての第ｍの分光感度特性の入力画素信号の低周波数成分と処理対象画素についての第１の分光感度特性の出力画素信号の低周波数成分との差（Ｒｌｐｆ−ｇｌｐｆ）としては、例えば、処理対象画素についての第ｍの分光感度特性の入力画素信号の局所的な平均値と、処理対象画素についての第１の分光感度特性の出力画素信号との局所的な平均値の差、若しくはその局所的中間値（ｍｅｄｉａｎ（ＤＲＧ（ｘ，ｙ））、又は処理対象画素についての第ｍの分光感度特性の入力画素信号と処理対象画素についての第１の分光感度特性の出力画素信号との差の局所的な平均値（数式（１６Ｒ）のＤＲＧ（ｘ，ｙ））、若しくはその局所的中間値（（ｍｅｄｉａｎ（ＤＲＧ（ｘ，ｙ））が用いられる。
【００９４】
以上、各分光感度特性の入力画素信号が欠落しており、当該分光感度特性の画素信号を補間する必要がある画素について当該分光感度特性の出力画素信号を生成する場合について記載したが、上記のように、本発明においては、各分光感度特性の入力画素信号が欠落している画素のみならず、欠落していない画素についても同じ処理によって、当該分光感度特性の出力画素信号を生成することもできる。
【００９５】
その場合には、第１の信号処理ステップにおいて、第１の分光感度特性の画素の位置における第１の分光感度特性の入力画素信号（Ｇ）から、第１の分光感度特性の画素の位置における第１の分光感度特性の出力画素信号（ｇ）をも生成し、第２の信号処理ステップにおいて、第１乃至第Ｎの分光感度特性の画素の位置における第１の分光感度特性の出力画素信号（ｇ）と、第ｍの分光感度特性の画素の位置における第ｍの分光感度特性の入力画素信号とから、第ｍの分光感度特性の画素（Ｒ）の位置における第ｍの分光感度特性の出力画素信号（ｒ）をも生成し、これにより、第ｈの分光感度特性の画素の位置における、第ｈの分光感度特性の出力画素信号をも生成する。
【００９６】
第２の信号処理ステップにおいては、例えば、第１乃至第Ｎの分光感度特性の画素のうちの第ｍ第１の分光感度特性の画素以外の画素を順次処理対象画素とし、処理対象画素及びその周囲の画素から成る領域内の、第ｍの分光感度特性の画素の位置における第１の分光感度特性の出力画素信号（ｇ）と、処理対象画素及びその周囲の画素から成る領域内の、第ｍの分光感度特性の画素の位置における第ｍの分光感度特性の入力画素信号とから、処理対象画素の位置における第ｍの分光感度特性の出力画素信号（ｒ）を生成する。
【００９７】
Ｒ、Ｇ、Ｂ三色の例ではＮ＝３であり、第１の分光感度特性の画素信号がＧ信号であり、第２、第３の分光感度特性の入力画素信号がＲ信号、Ｂ信号となる。
【００９８】
第１の分光感度特性の出力画素信号（例えばｇ信号）の生成に当たっては、第１の分光感度特性の入力画素信号（Ｇ信号）のみを用いて信号処理を行う。即ち、第１の分光感度特性の出力画素信号を生成する際、参照される第１の分光感度特性の画素とは異なる位置にある画素から得られる第２乃至第Ｎの分光感度特性の入力画素信号を参照しない。このため、信号処理で補間を行う場合に異なる画素位置で得られた入力画素信号を用いることによる誤差の混入を抑えることができる。
【００９９】
また、数式（２）に示すように、第１の分光感度特性の入力画素信号の低周波数成分（ＧＬＰＦ（ｘ,ｙ））を表す信号と、第１の分光感度特性の入力画素信号の高周波数成分を表す信号（Ｐ（ｘ,ｙ））を加算することで出力画素信号（ｇ（ｘ,ｙ））を得ているので、ゲインｃを大きくすることで出力画像（信号処理の結果）の高周波数成分を強調することになり、出力画像の解像感を高めることができる。
【０１００】
さらに、第ｍの分光感度特性の画素の位置における第ｍの分光感度特性の入力画素信号と、同じ第ｍの分光感度特性の画素の位置における第１の分光感度特性の出力画素信号とを用いて、第ｎの分光感度特性の画素の位置における第ｍの分光感度特性の出力画素信号を生成することとすれば、より具体的には数式（１５Ｒ）及び数式（１５Ｂ）、或いは数式（１７Ｒ）及び数式（１７Ｂ）に示すように、第ｍの分光感度特性の出力画素信号を生成するために用いる第１の分光感度特性の出力画素信号と第ｍの分光感度特性の入力画素信号を、同一の画素についての画素信号（同一座標の画素の画素信号）とすれば、異なる位置の画素に関して得られた画素信号（入力画素信号及び出力画素信号）を用いることがなくなり、信号処理で補間を行う場合に、補間誤差を抑えることができる。
【０１０１】
また、数式（１５Ｒ）及び数式（１５Ｂ）は、数式（１９Ｒ）及び数式（１９Ｂ）で説明したように、信号処理により得られた第１の分光感度特性の画素値（出力画素信号の値）に対し、第ｍの分光感度特性の画素値（入力画素信号）の低周波数成分と第１の分光感度特性の画素値（出力画素信号）の低周波数成分の差を加算する処理といえる。この処理によって、第１の分光感度特性の出力画素信号の生成の際に加算した高周波数成分を第ｍの分光感度特性の出力画素信号の生成において加算することになり、出力画像の解像感を向上させることができる。
さらに、第ｍの分光感度特性の低周波数成分と第１の分光感度特性の低周波数成分の計算において、同一座標（同じ画素位置）の画素値を用いることで、画素間の正確な幾何学的関係に基づいて信号処理を行うことができるので、信号処理で補間を行う場合に、補間精度を向上させることができる。
【０１０２】
また、水平方向の低周波数成分ＧＬＰＦＨ（ｘ,ｙ）と垂直方向の低周波数成分ＧＬＰＦＶ（ｘ,ｙ）とを数式（３）で重み付け加算を行い、水平方向の高周波数成分ＰＨ（ｘ,ｙ）と垂直方向の高周波数成分ＰＶ（ｘ,ｙ）成分とを数式（９）で重み付け加算を行っているが、水平方向及び垂直方向以外の方向の信号成分を重み付け加算しても良く、３以上の方向の信号成分を重み付け加算しても良い。
【０１０３】
また、数式（６Ｈ）及び（６Ｖ）において、ｉ及びｊが−１から１までであるが、より広い領域内で二次元ローパスフィルタリングを行っても良い。一般的には、Ｉ，Ｊを１以上の整数とし、ｉ＝−ＩからＩまで、ｊ＝−ＪからＪまでの領域内で二次元ローパスフィルタリングを行えば良い。このＩ、Ｊは、数式（１７Ｒ）、数式（１７Ｂ）におけるＩ、Ｊと同じであっても良く、異なっていても良い。
【０１０４】
さらに、数式（６Ｈ）において、水平方向の変化度を表す値ＤＨ（ｘ,ｙ）、及び垂直方向の変化度を表す値ＤＶ（ｘ,ｙ）として、水平方向の一次微分の絶対値、垂直方向の一次微分の絶対値を用いているが、本発明はこれに限定されず、例えば、Ｇ（ｘ，ｙ）の二次微分の絶対値を用いることも可能であるし、一次微分の絶対値と二次微分の和を用いることも可能である。なお、Ｇ（ｘ，ｙ）の二次微分は、例えば数式（１０Ｈ）及び数式（１０Ｖ）にしたがって計算できる。
【０１０５】
さらに、第１の分光感度特性の入力画素信号の低周波数成分を表す信号（ＧＬＰＦ）を得るための重み付け加算において、第１の分光感度特性の入力画素信号（Ｇ）に対して水平方向のローパスフィルタをかけることで得られた信号（ＧＬＰＦＨ）に掛けられる重み付け係数（ｕ）及び第１の分光感度特性の入力画素信号（Ｇ）に対して垂直方向のローパスフィルタをかけることで得られた信号（ＧＬＰＦＶ）に掛けられる重み付け係数（１−ｕ（ｘ，ｙ））は、数式（５）で定められているが、本発明はこれに限定されない。一般的には、第１の分光感度特性の入力画素信号（Ｇ）に対して水平方向のローパスフィルタをかけることで得られた信号（ＧＬＰＦＨ）に掛けられる重み付け係数（ｕ）は、第１の分光感度特性の入力画素信号（Ｇ）の水平方向の変化度（ＤＨ）が垂直方向の変化度（ＤＶ）よりも小さいときに、大きくなる値を有し、第１の分光感度特性の入力画素信号（Ｇ）に対して垂直方向のローパスフィルタをかけることで得られた信号（ＧＬＰＦＶ）に掛けられる重み付け係数（１−ｕ（ｘ，ｙ））は、第１の分光感度特性の入力画素信号（Ｇ）の垂直方向の変化度（ＤＶ）が水平方向の変化度（ＤＨ）よりも小さいときに、大きくなる値を有すればよい。
【０１０６】
同様に、第１の分光感度特性の入力画素信号の高周波数成分を表す信号（Ｐ（ｘ,ｙ））を得るための重み付け加算において、水平方向の高周波数成分に掛けられる重み付け係数（１−ｕ）、及び垂直方向の高周波数成分に掛けられる重み付け係数（ｕ）は、数式（５）で定められているが、本発明はこれに限定されない。一般的には、水平方向の高周波数成分に掛けられる重み付け係数（１−ｕ）は、第１の分光感度特性の入力画素信号の水平方向の変化度（ＤＨ）が垂直方向の変化度（ＤＶ）よりも大きいときに、大きくなる値を有し、垂直方向の高周波数成分に掛けられる重み付け係数（ｕ）は、第１の分光感度特性の入力画素信号の垂直方向の変化度（ＤＶ）が水平方向の変化度（ＤＨ）よりも大きいときに、大きくなる値を有するものであれば良い。
【０１０７】
また、本実施の形態中に現れた種々の数式と数学的性質が同じものがあれば、該当する数式を代用することも可能である。
【０１０８】
以上本発明を画素信号処理方法及び装置として説明したが、本発明の画素信号処理方法の各ステップの処理或いは本発明の画素信号処理装置の各部の機能をコンピュータに実行させるためのプログラム及び該プログラムを記録するコンピュータで読み取り可能な記録媒体もまた本発明の一部を成す。
【符号の説明】
【０１０９】
ＳＴ１  Ｇ信号処理、  ＳＴ２  Ｒ信号処理、  ＳＴ３  Ｂ信号処理、  １００  Ｇ信号処理部、  １０１ｈ  水平ローパスフィルタ、  １０１ｖ  垂直ローパスフィルタ、  １０２  加算部、  １１１ｈ  水平変化度計算部、  １１１ｖ  垂直変化度計算部、  １１２  係数計算部、  １２１ｈ  水平ハイパスフィルタ、  １２１ｖ  垂直ハイパスフィルタ、  １２２ｈ  水平非線形処理部、  １２２ｖ  垂直非線形処理部、  １２３ｈ  水平ハイパスフィルタ、  １２３ｖ  垂直ハイパスフィルタ、  １２４  加算部、  １３１  加算部、  ２００  Ｒ信号処理部、  ２０１  差分計算部、  ２０２  メディアンフィルタ、  ２０３  加算部、  ３００  Ｂ信号処理部、  ３０１  差分計算部、  ３０２  メディアンフィルタ、  ３０３  加算部。
【図１】
2016019152.tif 000026
【図２】
2016019152.tif 000027
【図３】
2016019152.tif 000028
【図４】
2016019152.tif 000029
【図５】
2016019152.tif 000030
【図６】
2016019152.tif 000031
【図７】
2016019152.tif 000032