(57)【特許請求の範囲】
【請求項１】
各画素で欠落する色信号を補って各画素につき複数種類の色信号を有する画像信号を生成するために用いる参照画像を生成する画像信号処理装置であって、
上記画像信号から、指定された画素を包含する所定サイズの局所領域の色信号を抽出する抽出手段と、
上記抽出手段で抽出された局所領域内の各色信号ごとに所定の特徴量を算出し、上記特徴量に基づき１つの色信号を選択する色信号選択手段と、
上記色信号選択手段で選択された色信号以外の色信号を、所定の変形パラメータにより変形する変形手段と、
上記変形手段で変形された各色信号と上記色信号選択手段によって選択された色信号とを合成して参照候補画像を生成し、所定の評価関数に基づき参照候補画像を評価することにより、変形パラメータを最終的に決定して１つの参照画像を生成する参照画像生成手段と、
を具備することを特徴とする画像信号処理装置。
【請求項２】
上記変形手段は、上記色信号選択手段で選択された色信号以外の色信号に関して、変形後の当該色信号の上記記特徴量が上記色信号選択手段で選択された色信号の特徴量と同一となるような変形パラメータによる変形を施し、
上記参照画像生成手段は、上記変形手段で変形された色信号と、上記色信号選択手段によって選択された色信号とを合成して、複数の参照候補画像を生成し、上記複数の参照候補画像を所定の評価関数により評価することで、上記複数の参照候補画像から一つを選択して参照画像とすることを特徴とする請求項１記載の画像信号処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像信号処理装置に関する。
【０００２】
【従来の技術】
近年、安価かつ軽量な単板式のＣＣＤを用いた画像入力処理装置が普及している。このような画像入力処理装置においては、一枚の撮像素子から被写体の色情報を得るために色フィルタを受光面上にモザイク状に配置している。
【０００３】
色フィルタの一例として、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、イエロー（Ｙｅ）、グリーン（Ｇ）からなる補色モザイクフィルタの配置を図１９に示す。図１９において、偶数フィールドのｎラインとｎ＋１ラインに対応する輝度信号をＹo,n 、Ｙo,n+1 、色差信号をＣo,n 、Ｃo,n+1 とし、奇数フィールドのｎラインとｎ＋１ラインに対応する輝度信号をＹe,n 、Ｙe,n+1 、色差信号をＣe,n 、Ｃe,n+1 とすると、これらの信号は、次式で示される。
【０００４】
Ｙo,n ＝Ｙo,n+1 ＝Ｙe,n ＝Ｙe,n+1 ＝２Ｒ＋３Ｇ＋２Ｂ    （１）
Ｃo,n ＝Ｃe,n ＝２Ｒ−Ｇ                                （２）
Ｃo,n+1 ＝Ｃe,n+1 ＝２Ｂ−Ｇ                            （３）
ただし、Ｃｙ，Ｍｇ，Ｙｅはグリーン（Ｇ）およびレッド（Ｒ）、ブルー（Ｂ）により次式で示される。
【０００５】
Ｃｙ＝Ｇ＋Ｂ                                            （４）
Ｍｇ＝Ｒ＋Ｂ                                            （５）
Ｙｅ＝Ｒ＋Ｇ                                            （６）
（１）式で示されるように、輝度信号は偶数、奇数フィールドの全ラインで生成される。これに対し、（２），（３）式で示されるように２つの色差信号は１ラインおきにしか生成されず、線形補間により欠落するラインの色差信号を補っている。この後、マトリックス演算を行うことでＲ，Ｇ，Ｂの３原色を得ることができる。このような方法では、色差信号は輝度信号に対して１／２の情報量しかなく、エッジ部に色モワレと呼ばれるアーティファクトが発生する。一般に、このような色モワレを低減するために、水晶フィルタを用いたローパスフィルタを撮像素子前面に配置することが行われるが、ローパスフィルタの挿入により解像度が低下するという新たな問題が発生する。
【０００６】
また、特開平０４−６２０９６号公報および特開平０５−０５６４４６号公報は、上記のように色差信号のみで単純な補間を行うのではなく、輝度信号の成分を用いて色差信号を補正する方法を開示している。
【０００７】
すなわち、特開平０４−６２０９６号公報によれば、輝度信号Ｙは線形補間で作成されるが、色差信号Ｃについては、輝度信号Ｙの変化の少ない領域では線形補間にて補い、変化の大きい領域では輝度信号Ｙを（７）式に示されるように変形することで回復された色差信号Ｃ′を得ている。
【０００８】
Ｃ′＝ａＹ＋ｂ                                          （７）
ここでａ，ｂは定数である。
【０００９】
また、特開平０５−０５６４４６号公報では、輝度信号Ｙは線形補間により作成されるが、色差信号Ｃについては、輝度信号Ｙと色差信号Ｃとを電気回路的ローパスフィルタにて処理し、それぞれの低周波成分Ｙlow とＣlow を得て、以下の（８）式を用いて欠落が回復された色信号Ｃ′を得ている。
【００１０】
【数１】
0003935548.tif 000002
これは、輝度信号Ｙを低周波成分Ｙlow とＣlow を用いて補正したものを色信号Ｃ′とすることに相当する。
【００１１】
【発明が解決しようとする課題】
しかしながら、上記した従来技術では、単板式のＣＣＤを用いた場合に輝度信号を線形補間で、色差信号を線形補間または輝度信号に基づいて補っているが、輝度信号が、本質的に３板式ＣＣＤを用いた場合の１／２であり、このような方法では欠落する色信号を高精度に復元することができない。
【００１２】
また、上記した従来技術では、輝度信号を線形補間で、色差信号を線形補間または輝度信号に基づいて補っているが、このような方法では特定の色信号が劣化するような色収差の生じる安価な光学レンズ系を用いた場合に、欠落する色信号を高精度に復元することができない。
【００１３】
本発明はこのような課題に着目してなされたものであり、その目的とするところは、欠落する色信号を高精度に復元することができる画像信号処理装置を提供することにある。
【００１５】
【課題を解決するための手段】
上記した目的を達成するために、本発明の第１の態様に係る画像信号処理装置は、各画素で欠落する色信号を補って各画素につき複数種類の色信号を有する画像信号を生成するために用いる参照画像を生成する画像信号処理装置であって、上記画像信号から、指定された画素を包含する所定サイズの局所領域の色信号を抽出する抽出手段と、  上記抽出手段で抽出された局所領域内の各色信号ごとに所定の特徴量を算出し、上記特徴量に基づき１つの色信号を選択する色信号選択手段と、上記色信号選択手段で選択された色信号以外の色信号を、所定の変形パラメータにより変形する変形手段と、上記変形手段で変形された各色信号と上記色信号選択手段によって選択された色信号とを合成して参照候補画像を生成し、所定の評価関数に基づき参照候補画像を評価することにより、変形パラメータを最終的に決定して１つの参照画像を生成する参照画像生成手段と、を具備する。
【００１６】
また、本発明の第２の態様に係る画像信号処理装置は、第１の態様に係る画像信号処理装置において、上記変形手段は、上記色信号選択手段で選択された色信号以外の色信号に関して、変形後の当該色信号の上記記特徴量が上記色信号選択手段で選択された色信号の特徴量と同一となるような変形パラメータによる変形を施し、上記参照画像生成手段は、上記変形手段で変形された色信号と、上記色信号選択手段によって選択された色信号とを合成して、複数の参照候補画像を生成し、上記複数の参照候補画像を所定の評価関数により評価することで、上記複数の参照候補画像から一つを選択して参照画像とする。
【００１９】
【発明の実施の形態】
以下に、図面を参照して本発明の実施形態を詳細に説明する。まず、第１実施形態を説明する。図１は第１実施形態に係る画像信号処理装置の機能ブロック図であり、以下に各機能の接続関係を説明する。
【００２０】
図１において、入力部１０１は、Ｒ信号用バッファ１０２、Ｇ信号用バッファ１０３、Ｂ信号用バッファ１０４に接続され、さらに、領域抽出部１０５を介してそれぞれＲ信号用ブロックバッファ１０６、Ｇ信号用ブロックバッファ１０７、Ｂ信号用ブロックバッファ１０８に接続されている。Ｒ信号用ブロックバッファ１０６は分散算出部１０９とＲＧＢ切換部１１３と信号変形部１５１に、Ｇ信号用ブロックバッファ１０７は分散算出部１１０とＲＧＢ切換部１１３と信号変形部１５１に、Ｂ信号用ブロックバッファ１０８は分散算出部１１１とＲＧＢ切換部１１３と信号変形部１５１に接続されている。分散算出部１０９、１１０、１１１は最大分散決定部１５０を介して信号変形部１５１に接続されている。
【００２１】
この信号変形部１５１は参照画像用バッファ１１２を介して欠落画素復元部１１６に接続されている。ＲＧＢ切換部１１３は、エッジ強度算出部１１４と線形補間部１１５または欠落画素復元部１１６を介して、出力部１１７に接続されている。また、制御部１１８は、入力部１０１、領域抽出部１０５、分散算出部１０９、１１０、１１１、信号変形部１５１、ＲＧＢ切換部１１３、エッジ強度算出部１１４、欠落画素復元部１１６、出力部１１７に接続されている。
【００２２】
図２は上記した信号変形部１５１の具体的構成を示す図であり、Ｒ信号用ブロックバッファ１０６、Ｇ信号用ブロックバッファ１０７、Ｂ信号用ブロックバッファ１０８と、最大分散決定部１５０と、制御部１１８からの信号を受ける選択部１５１Ａと、ゲイン・バイアス係数算出部１５１Ｂと、演算部１５１Ｃとが順に接続されている。
【００２３】
なお、本実施形態では上記した各機能の一部はハードウェアで構成され、入力部１０１は単板式ＣＣＤにより、出力部１１７は磁気ディスクにより、制御部１１８はマイクロコンピュータにより構成される。
【００２４】
図３は入力部１０１の具体的構成を示す図である。レンズ系２０１とローパスフィルタ２０２と単板式のＣＣＤ２０３とが被写体を撮像可能なように配置されている。ＣＣＤ２０３は、例えば以下に述べるような原色型のフィルタ配置を持つＣＣＤであり、Ａ／Ｄ変換器２０４、色分離回路２０５、プロセス回路２０６、２０７、２０８を介してマトリックス回路２０９に接続されている。このマトリックス回路２０９の出力はＲＧＢ３信号用のバッファ１０２、１０３、１０４に接続されている。また、ＣＣＤ２０３にはクロックジェネレータ２１０によって発生されたクロックに基づいてＣＣＤ２０３を駆動するＣＣＤ駆動回路２１１が接続されている。
【００２５】
図４は、図３のＣＣＤ２０３におけるフィルタ配置の具体的構成を示す図である。ここでは、図４（ａ）に示すような３×３サイズの基本配置を、図３（ｂ）に示すように反復的に繰り返して構成することにより、ＣＣＤ上の全画素を充填している。本実施形態では、ＲＧＢ３信号の出現頻度は１：１：１の均等な比率になるように設定されている。
【００２６】
以下に上記した図１に示す構成の作用を図５のフローチャートを参照して説明する。
【００２７】
図１において、１フレーム分のＲＧＢ３信号が制御部１１８の制御に基づいて入力部１０１を介して読み込まれて、Ｒ信号用バッファ１０２、Ｇ信号用バッファ１０３、Ｂ信号用バッファ１０４に転送される（ステップＳ１）。次に、領域抽出部１０５は制御部１１８の制御に基づき、画像の走査を行なって（ステップＳ２）、各色信号用バッファ１０２，１０３，１０４内の１フレーム分の各色信号から、ある特定画素を中心とする所定サイズの矩形領域、例えば５×５サイズの領域内に存在する色信号を抽出して（ステップＳ３）、それぞれＲ信号用ブロックバッファ１０６、Ｇ信号用ブロックバッファ１０７、Ｂ信号用ブロックバッファ１０８に転送する。ＲＧＢ切換部１１３は制御部１１８の制御に基づいて各ブロックバッファ１０６，１０７，１０８内の矩形領域の色信号を順次読み出してエッジ強度算出部１１４に転送する。エッジ強度算出部１１４は制御部１１８の制御の基に、全色信号からラプラシアンに基づくエッジ強度を算出して（ステップＳ４）、エッジ強度が所定の閾値（例えば信号が０〜２５５の８ｂｉｔ精度であるときは８を閾値とする）より大きいか否かを判断し（ステップＳ５）、ＹＥＳの場合は欠落画素復元部１１６を選択し、ＮＯの場合は線形補間部１１５を選択する。
【００２８】
そして線形補間部１１５が選択された場合は、公知の線形補間方法により欠落画素を復元し、出力部１１７から外部へ出力する（ステップＳ１６、Ｓ１７）。また、欠落画素復元部１１６が選択された場合には処理が制御部１１８を介して分散算出部１０９、１１０、１１１に移行する。すなわち、分散算出部１０９、１１０、１１１は制御部１１８の制御に基づき、各ブロックバッファ１０６，１０７，１０８内の矩形領域の各色信号を読み出して各色信号の分散を算出する。次に最大分散決定部１５０は算出された各分散のうち最大の分散をもつ色信号を決定する（ステップＳ６）。
【００２９】
信号変形部１５１の選択部１５１Ａ（図２）は制御部１１８の制御に基づき、最大分散決定部１５０からの色信号が最大分散を有する信号か否かによって各ブロックバッファ１０６，１０７，１０８内の矩形領域の各色信号のうち１つを選択する（ステップＳ７）。すなわち、各ブロックバッファ１０６，１０７，１０８内の矩形領域の各色信号のうち、最大分散に対応する色信号は変形されることなしに参照画像用バッファ１１２へ出力される。最大分散の色信号でないものについてはゲイン・バイアス係数算出部１５１Ｂに出力される。ゲイン・バイアス係数算出部１５１Ｂは入力された色信号についてそのゲインαi とバイアスβi とを算出して（ステップＳ８）、当該色信号Ｉとともに演算部１５１Ｃへ出力する。演算部１５１Ｃは算出されたゲイン係数αi とバイアス係数βi とを用いて当該色信号を変形して参照画像バッファ１１２に出力する（ステップＳ９）。最大分散に対応する変形なしの色信号と変形された色信号とが参照画像バッファ１１２内に積算されることにより参照画像が生成される（ステップＳ１０）。
【００３０】
欠落画素復元部１１６は参照画像バッファ１１２から参照画像を読み出して最大分散を有する色信号か否かを判断し（ステップＳ１１）、ＹＥＳの場合はこの参照画像を出力部１１７に転送する。また、ＮＯの場合は参照画像用バッファ１１２内の各色ごとに参照画像と各ブロックバッファ１０６，１０７，１０８内の矩形領域の色信号とを比較し、参照画像を各色信号に適合するように変形して（ステップＳ１２）、出力部１１７に転送する。これによって出力部１１７には変形なしの参照画像と変形された参照画像とが積算される（ステップＳ１３）。出力部１１７は積算された参照画像を欠落が復元された色信号として外部へ出力する（ステップＳ１４）。
【００３１】
このようにして上記処理を矩形ブロックが重複しないように各信号用バッファ１０２、１０３、１０４内のすべての画像が走査されて処理されることにより（ステップＳ１５）、１フレーム分の画像に対するすべての欠落が復元される。
【００３２】
以下に、上記した参照画像を生成する方法を図６（ａ）〜（ｊ）を参照して説明する。本実施形態ではいわゆるカラーエッジモデルを用いて参照画像を生成する。カラーエッジモデルでは、局所領域においては各色信号は同一のエッジ構造を共有する。このようなモデルは自然界に存在する多くの画像において成立することが確認されている。したがって、このようなモデルを仮定すれば、以下で定義される各色信号のゲイン（Ａ）とバイアス（Ｂ）とを調整することで同一形状の信号が得られる。
【００３３】
図６（ａ）、（ｂ）、（ｃ）はそれぞれ、Ｒ、Ｇ、Ｂの各色信号における原画像の形状と、そのゲインＡi ＝最大値−最小値，バイアスＢi ＝最小値（ｉ＝ｒ，ｇ，ｂ）を示す図である。これらの原画像が図６（ｄ）に示されるフィルタ配置のＣＣＤによって撮像されたとすると、得られる色信号はそれぞれ、図６（ｅ）、（ｆ）、（ｇ）に示すような分布となる。そこで、図６（ｅ）、（ｆ）、（ｇ）の各色信号のゲインＡi ，バイアスＢi を調整して合成することで、図６（ｈ）、（ｉ）、（ｊ）に示されるような基本となる複数のエッジ構造分布が得られる。この場合上記したように、最大分散を有する色信号についてはゲインＡiとバイアスＢi を調整せず、それ以外の色信号についてのみゲインＡi とバイアスＢi を調整する。
【００３４】
次に、複数のエッジ構造分布の中で最も局在性の高いパターンを参照画像として１つ選択する。局在性の判断には所定の方法、例えばラプラシアンを用いてエッジ強度を算出して、このエッジ強度が最小のものを選択するようにする。参照画像は、各色信号から矛盾無く合成されるエッジ構造を表しており、原画像のエッジ構造を反映しているものと考えられる。よって、この参照画像のゲインとバイアスを各色信号のゲインＡi とバイアスＢi に一致させるように最小自乗誤差を規範として変形することで、欠落が回復された色信号を得ることができる。
【００３５】
ここでは、予め多数のエッジ構造を形成した後に１つの参照画像を選択するのでなく、選択の効率を考慮してラプラシアンのような評価関数を定め、エッジ強度が最小となるように解析的にゲイン係数αi ，バイアス係数βi を算出する。また、全色信号のゲイン係数αi とバイアス係数βi を求めることは必ずしも必要ではなく、どれか１つの色信号に合わせるようにすることで計算を簡略化することができる。例えば、後述するように分散が最大となる色信号については変形せず、それ以外の色信号については、分散が最大となる色信号と組み合わせて最も局在性の高いエッジ構造が得られるように変形する。
【００３６】
以下に、ラプラシアンを評価関数として、Ｇ信号にＲ，Ｂ信号を合わせる例を説明する。
【００３７】
Ｒ、Ｂ信号のゲイン係数をαr ，αb とし、バイアス係数をβr ，βb とする。局所領域に含まれるＲ，Ｇ，Ｂ信号の画素値を１次元のベクトルｆr ，ｆg ，ｆb で表し、画素の欠落状況を示すマスクをベクトルｍr ，ｍg ，ｍb で表す。マスクは画素が存在する場合に１を、存在しない場合に０の要素をとるものとする。すると、参照画像Φは、
【００３８】
【数２】
0003935548.tif 000003
で示される。ここで、参照画像Φに対してラプラシアンΔ2 を施し、
Δ2 Φ＝｜Δ2 （Ｍｖ＋Ｃ）｜ （１０）
を最小化することを考える。すると、ｖ＝［αr ，βr ，αb ，βb ］T は、 ｖ＝（Δ2 Ｍ）-1（−Δ2 Ｃ） （１１）となり、一意に算出できる。すなわち、Ｇ信号に対するＲ、Ｂ信号のゲイン係数αr，αb と、バイアス係数βr ，βb とが求まる。
【００３９】
ここで、Ｍは正方行列にはならないため特異値分解に基づく疑似逆行列を算出する必要がある。また、（１１）式は、Ｇ信号にＲ，Ｂ信号を合わせる例であるが、他の組み合わせも同様にして算出することができる。
【００４０】
図７は、上記したカラーエッジモデルに基づいて欠落画素が復元される過程を示す図である。以下の説明では、５×５サイズの矩形領域を用いる。図７（ａ）に示す原画像は自転車のサドル部の一部の画像であり、図７（ｂ）に示すようなＣＣＤ２０３（入力部１０１）のフィルタ配置に応じて図７（ｃ），（ｄ），（ｅ）に示される欠落のある色信号としてそれぞれＲ信号用バッファ１０２、Ｇ信号用バッファ１０３、Ｂ信号用バッファ１０４、及び領域抽出部１０５を経由して、それぞれＲ信号用ブロックバッファ１０６，Ｇ信号用ブロックバッファ１０７，Ｂ信号用ブロックバッファ１０８に転送される。
【００４１】
これらの欠落のある色信号は上記したように分散算出部１０９、１１０、１１１によって読み出されて各色信号ごとに分散が算出される。そして、Ｒ、Ｇ、Ｂの３信号中で分散が最大となる色信号を基準としてこれに他の信号を合わせる（最大分散決定部１５０、信号変形部１５１）。ここではＧ信号の分散が最大になるものとして、Ｒ，Ｂ信号のゲイン係数とバイアス係数を求める。図７（ｆ）、（ｈ）は上記した（１１）式に従い算出したゲイン係数αr ，αb とバイアス係数βr 、βb により変形したＲ，Ｂ信号を示し、（ｇ）はそのままのＧ信号を示す。
【００４２】
これら図７（ｆ）、（ｇ）、（ｈ）の画像を積算することで図７（ｉ）に示すような参照画像Φが得られる（参照画像用バッファ１１２）。この参照画像Φは、ラプラシアンにより求めたエッジ強度を判断基準とすると局在性の最も高い画像となっている。一方、ＲＧＢ切換部１１３は、各信号用ブロックバッファ１０６、１０７、１０８内の欠落のある色信号（図７（ｃ），（ｄ），（ｅ））を順次読み出してエッジ強度算出部１１４でエッジ強度を算出し、これが所定の閾値より大きい場合には、欠落のある色信号を欠落画素復元部１１６へ転送する。所定の閾値よりも小さい場合には線形補間部１１５に送られて、線形補間によって復元される。一方、欠落画素復元部１１６は参照画像用バッファ１１２から上記参照画像Φのゲインとバイアスを求め、これを転送された欠落のある色信号のゲインとバイアスに一致させる。本実施形態では、Ｇ信号に合わせて参照画像Φを生成しているため、Ｇ信号に関しては参照画像Φのゲインとバイアスは一致している。このため、上記操作はＲ、Ｂ信号についてのみ行う。これにより得られる信号は、図７（ｊ），（ｋ），（ｌ）に示されるような欠落が復元された信号となる。これらを出力部１１７で積算することで、図７（ｍ）に示される復元されたカラー画像が得られる。
【００４３】
上記したように第１実施形態においては、エッジ部と判断された局所領域中のすべての色信号にカラーエッジモデルとラプラシアンに基づく局在性の評価を組み合わせることで参照画像を作成し、この参照画像から欠落信号を復元するようにしたので、従来の線形補間では困難であった高周波成分を回復することができ、これによって高精細な復元画像を得ることができる。また、エッジ部と判断されなかった場合は、通常の線形補間で処理されるため高速に処理を行うことができる。また、ＲＧＢ３信号の出現頻度が均等なるフィルタ配置を用いているため、従来の輝度信号に比較して色差信号が劣化するようなアンバランスが発生せず、高画質な復元画像が得られる。
【００４４】
なお、上記した実施形態では局所領域のサイズを５×５としているがこれに限定される必要はなく、自由な設定が可能である。また上記局所領域が重複しないように処理を行っているが、処理時間が問題にならないならば１画素間隔で重複するように処理をし、処理結果を加算平均することも可能である。この場合は、ノイズなどによるカラーエッジモデルの誤差を低減できる。また、局在性の評価にラプラシアンを用いているがこれに限定される必要はない。例えば、濃度共起行列から算出されるエネルギーまたはエントロピーまたは相関または局所一様性などを用いても同様の効果を得ることができる。さらに、フィルタ配置も図４に示される配置に限定される必要はなく、自由な設定が可能である。従来と同様に輝度信号の出現頻度を高めたフィルタ配置に関しても、改善効果は若干低下するが同様に処理することができる。
【００４５】
図８は本発明の第２実施形態に係る画像信号処理装置の機能ブロック図であり、以下に各機能の接続関係を説明する。
【００４６】
図８において、入力部３０１はＲ信号用バッファ３０２，Ｇ信号用バッファ３０３、Ｂ信号用バッファ３０４に接続され、各色信号用バッファ３０２、３０３、３０４は領域抽出部３０５を介してそれぞれＲ信号用ブロックバッファ３０６、Ｇ信号用ブロックバッファ３０７、Ｂ信号用ブロックバッファ３０８に接続されている。Ｒ信号用ブロックバッファ３０６はＲ信号用平均分散算出部３０９とＲＧＢ切換部３１７とに接続され、Ｇ信号用ブロックバッファ３０７はＧ信号用平均分散算出部３１０とＲＧＢ切換部３１７とに接続され、Ｂ信号用ブロックバッファ３０８はＢ信号用平均分散算出部３１１とＲＧＢ切換部３１７とに接続されている。
【００４７】
Ｒ信号用平均分散算出部３０９、Ｇ信号用平均分散算出部３１０、Ｂ信号用平均分散算出部３１１は最大分散信号選択部３１２に接続されている。最大分散信号選択部３１２およびＲＧＢ切換部３１７は、信号変形部３１３と候補画像生成部３１４を介して、候補画像用バッファ３１５に接続されている。ＲＧＢ切換部３１７はまた、欠落画素復元部３１８にも接続されている。候補画像用バッファ３１５は参照画像選択部３１６と欠落画素復元部３１８に接続されており、参照画像選択部３１６は欠落画素復元部３１８に接続されている。欠落画素復元部３１８は出力部３１９に接続されている。
【００４８】
また、制御部３２０は、入力部３０１と、領域抽出部３０５と、Ｒ信号用平均分散算出部３０９と、Ｇ信号用平均分散算出部３１０と、Ｂ信号用平均分散算出部３１１と、最大分散信号選択部３１２と、候補画像生成部３１４と、参照画像選択部３１６と、ＲＧＢ切換部３１７と、欠落画素復元部３１８と、出力部３１９とに接続されている。
【００４９】
なお、本実施形態では上記した各機能の一部はハードウェアで構成され、入力部３０１は二板式ＣＣＤにより、出力部３１９は磁気ディスクにより、制御部３２０はマイクロコンピュータにより構成される。
【００５０】
図９は図８に示す入力部３０１の具体的構成の一例を示す図である。図９において、レンズ系４０１とＧ信号用ローパスフィルタ４０２とＧ信号用ＣＣＤ４０４およびＲ、Ｂ信号用ローパスフィルタ４０３とＲ、Ｂ信号用ＣＣＤ４０５が被写体を撮影可能に配置されている。Ｇ信号用ＣＣＤ４０４は、Ａ／Ｄ変換器４０６を介してＧ信号用バッファ３０３に接続されている。また、Ｒ，Ｂ信号用ＣＣＤ４０５は、Ａ／Ｄ変換器４０７とＲ／Ｂ分離回路４０８を介してＲ信号用バッファ３０２とＢ信号用バッファ３０４に接続されている。Ｇ信号用ＣＣＤ４０４とＲ、Ｂ信号用ＣＣＤ４０５は、Ｇ信号用ＣＣＤ駆動回路４１０とＲ、Ｂ信号用ＣＣＤ駆動回路４１１とにそれぞれ接続され、Ｇ信号用ＣＣＤ駆動回路４１０とＲ、Ｂ信号用ＣＣＤ駆動回路４１１とは、クロックジェネレータ４０９からのクロックに基づいてＧ信号用ＣＣＤ４０４と、Ｒ、Ｂ信号用ＣＣＤ４０５とを各々駆動する。
【００５１】
以下に上記した図８に示す構成の作用を図１０のフローチャートを参照して説明する。
【００５２】
まず１フレーム分のＲＧＢ３信号が制御部３２０の制御により入力部３０１を介して読み込まれて、Ｒ信号用バッファ３０２、Ｇ信号用バッファ３０３、Ｂ信号用バッファ３０４に転送される（ステップＳ２１）。次に、領域抽出部３０５は制御部３２０の制御に基づいて画像の走査を行って（ステップＳ２２）、ある特定画素を中心とする所定サイズの矩形領域、例えば１５×１５サイズの領域内に存在する信号を抽出して（ステップＳ２３）、それぞれＲ信号用ブロックバッファ３０６、Ｇ信号用ブロックバッファ３０７、Ｂ信号用ブロックバッファ３０８に転送する。Ｒ信号用平均分散算出部３０９、Ｇ信号用平均分散算出部３１０、Ｂ信号用平均分散算出部３１１は制御部３２０の制御に基づき、各信号用ブロックバッファ３０６，３０７，３０８内の矩形領域の色信号を読み出して各色信号の平均と分散とを算出する。
【００５３】
最大分散信号選択部３１２は制御部３２０の制御に基づき各平均分散算出部３０９，３１０，３１１で算出された平均と分散のうち、３色信号中最大の分散を有する色信号を選択して信号変形部３１３に転送する（ステップＳ２４）。また、ＲＧＢ切換部３１７は制御部３２０の制御に基づき、各信号用ブロックバッファ３０６、３０７、３０８内の矩形領域の色信号を順に読み出して信号変形部３１３に出力する。信号変形部３１３はＲＧＢ切換部３１７から転送される各色信号について最大分散を与える色信号か否かを判断して（ステップＳ２５）、最大分散を与える色信号以外の色信号の分散と平均を、最大分散を与える色信号の平均と分散に等しくなるように変形して（ステップＳ２６）、これを候補画像生成部３１４に順次転送する。ここで、最大分散を与える色信号については変形することなくそのまま候補画像生成部３１４に転送する。
【００５４】
候補画像生成部３１４は、信号変形部３１３から転送された複数の変形された色信号を組み合わせることで複数の参照候補画像を生成し（ステップＳ２７）、これらを候補画像用バッファ３１５に転送する。すべての組み合わせの転送が終了すると、参照画像選択部３１６は制御部３２０の制御に基づき、最もエッジ強度の小さい、すなわち、最も局在性の優れた参照候補画像を参照画像として選択して（ステップＳ２８）、選択結果を欠落画素復元部３１８に送る。欠落画素復元部３１８は、参照画像選択部３１６からの選択結果に対応する参照画像を候補画像用バッファ３１５から読み出す。この読み出しの終了後、欠落画素復元部３１８は制御部３２０の制御に基づき、ＲＧＢ切換部３１７によって順に読み出されたＲ信号用ブロックバッファ３０６、Ｇ信号用ブロックバッファ３０７、Ｂ信号用ブロックバッファ３０８中の各色信号を受けて、上記した第１実施形態と同様に候補画像用バッファ３１５から読み出した参照画像を各色信号に適合するように変形して出力部３１９に転送する（ステップＳ２９）。出力部３１９はこの変形された参照画像を積算して（ステップＳ３０）、各色信号の欠落が復元された色信号として外部に出力する（ステップＳ３１）。
【００５５】
このようにして上記処理を矩形ブロックが重複しないように各信号用バッファ３０２、３０３、３０４内のすべての画像が走査されて処理されることにより（ステップＳ３２）、１フレーム分の画像に対するすべての欠落が復元される。
【００５６】
なお、本実施形態のように二板式ＣＣＤを用いている場合、Ｇ信号用に関しては欠落のない信号が得られるものと見なすことができる。よって、Ｇ信号が十分に存在する領域では、カラーエッジモデルを使わなくとも参照画像を得ることができる。一方、赤や青の彩度が高い領域ではＧ信号のレベルが低く、ノイズによる影響を受けやすい。このような場合は、Ｇ信号から参照画像を得てＲ、Ｂ信号の欠落を復元することは信頼性に乏しく、高精度な再生画像を得ることは困難である。
【００５７】
このため、本実施形態ではＲ信号用平均分散算出部３０９、Ｇ信号用平均分散算出部３１０、Ｂ信号用平均分散算出部３１１においてＲ、Ｇ、Ｂの３つの色信号の各々について分散を算出して、最大分散信号選択部３１２において最大の分散を与える色信号を選択し、この最大の分散を与える色信号に基づきカラーエッジモデルを適用するようにしている。以下、最大の分散を与える色信号がＲ信号である場合を想定するが、他の色信号の場合でも同様に処理できる。
【００５８】
信号変形部３１３は、Ｇ、Ｂ信号の分散σg 、σb と平均ＡＶg ，ＡＶb を、Ｒ信号の分散σr と平均ＡＶr に一致させるためのゲイン係数αg ，αb とバイアス係数βg ，βb を以下の式を用いて算出する。
【００５９】
【数３】
0003935548.tif 000004
（１２）、（１３）式に示されるように１つの色信号に関するゲイン係数とバイアス係数の解は符号の異なる２組づつ算出され、Ｇ、Ｂ信号では４組の組み合わせが発生する。候補画像生成部３１４では、Ｒ信号と、上記ゲイン係数αg ，αb とバイアス係数βg ，βb によって変形された２組づつのＧ、Ｂ信号とを組み合わせて、４組の参照候補画像を生成し、これを候補画像用バッファ３１５へ転送する。参照画像選択部３１６は、ラプラシアンにより上記参照候補画像のうち、最もエッジ強度の小さい、すなわち、最も局在性の優れた参照候補画像を参照画像として選択する。この選択結果は欠落画素復元部３１８に転送され、第１実施形態と同様の方法で欠落画素が復元される。
【００６０】
上記したように、第２実施形態においては入力される色信号のうち最大の分散を与える色信号に基づいて他の色信号の分散と平均を合わせることで少数の参照候補画像を生成し、ラプラシアンに基づく局在性の評価から参照画像を選択して欠落信号を復元するようにしたので、従来の線形補間では不可能であった高周波成分を回復することができ、これによって高精細な復元画像を得ることができる。またこの場合、分散と平均を合わせるための計算量は少なく、高速に処理を行うことができる。
【００６１】
なお、本実施形態では二板式ＣＣＤを使用しているが、単板式ＣＣＤ、例えばベイヤー型のフィルタ配置を用いた入力部に対してもそのまま適用することができる。また、変形のためのパラメータとして分散と平均を用いているがこれに限定される必要はない。例えば、最大値と最小値などを用いても同等の効果を得ることができる。
【００６２】
図１１は本発明の第３実施形態に係る画像信号処理装置の機能ブロック図であり、以下に各機能の接続関係を説明する。
【００６３】
図１１において、入力部５０１はＲ信号用バッファ５０２，Ｇ信号用バッファ５０３、Ｂ信号用バッファ５０４に接続され、各色信号用バッファ５０２、５０３、５０４は領域抽出部５０５を介してそれぞれＲ信号用ブロックバッファ５０６、Ｇ信号用ブロックバッファ５０７、Ｂ信号用ブロックバッファ５０８に接続されている。Ｒ信号用ブロックバッファ５０６はＲ信号用最大最小算出部５０９とＲＧＢ切換部５１３とに接続され、Ｇ信号用ブロックバッファ５０７はＧ信号用最大最小算出部５１０とＲＧＢ切換部５１３とに接続され、Ｂ信号用ブロックバッファ５０８はＢ信号用最大最小算出部５１１とＲＧＢ切換部５１３とに接続されている。
【００６４】
各信号用最大最小算出部５０９、５１０、５１１は最大レンジ信号選択部５１２に接続されている。最大レンジ信号選択部５１２は、処理切換部５１４および信号変形部５１７に接続されている。ＲＧＢ切換部５１３は処理切換部５１４に接続されている。処理切換部５１４は、線形補間部５１５、欠落画素復元部５１６、信号変形部５１７に接続されている。線形補間部５１５は出力部５２３に接続されている。信号変形部５１７は、候補画像生成部５１８を介して、候補画像用バッファ５１９に接続されている。候補画像用バッファ５１９は参照画像選択部５２０と欠落画素復元部５１６に接続されており、参照画像選択部５２０は欠落画素復元部５１６に接続されている。欠落画素復元部５１６は、収束判定部５２１を介して輝度信号生成部５２２と出力部５２３に接続されている。輝度信号生成部５２２は欠落画素復元部５１６に接続されている。
【００６５】
また、制御部５２４は、入力部５０１、領域抽出部５０５、Ｒ信号用最大最小算出部５０９、Ｇ信号用最大最小算出部５１０、Ｂ信号用最大最小算出部５１１、最大レンジ信号選択部５１２、ＲＧＢ切換部５１３、処理切換部５１４、欠落画素復元部５１６、候補画像生成部５１８、参照画像選択部５２０、出力部５２３に接続されている。
【００６６】
なお、本実施形態では上記した各機能の一部はハードウェアで構成され、入力部５０１は単板式ＣＣＤ（図３参照）により、出力部５２３は磁気ディスクにより、制御部５２４はマイクロコンピュータにより構成される。
【００６７】
図１２（ａ）、（ｂ）は入力部５０１におけるフィルタ配置の具体的構成を示す図である。カラーエッジモデルによる復元は、全入力信号を用いて参照画像を作成するため、各色信号の頻度は均一でランダムに配置されていることが望ましい。しかしながら、全画素をランダムに配置すると配置情報を記録する必要が生じ煩雑である。
【００６８】
このため、第１実施形態で示したように、基本となる矩形領域の構成を反復してフィルタを配置することが考えられる。このとき、基本となる矩形領域に関して、
・使用される色信号の総数をｊ、ｋを２以上の整数としたとき、ｊｋ×ｊｋサイズ
・矩形領域内の各色信号の出現頻度が均等
・水平垂直方向において各色信号の出現頻度が２以上ｊ未満
の制約を満たすフィルタ配置を用いる。
【００６９】
図１２（ａ）は、ＲＧＢ３信号に関して６×６サイズの基本配置の一例を示しているが、図１２（ｂ）に示すようにこの同心円状のパターンを用いて疑似的に矩形領域内をランダム化することも考えられる。まず、矩形領域の任意の位置（ｄｘ，ｄｙ）、０≦ｄｘ≦ｊｋ，０≦ｄｙ≦ｊｋを中心とする半径ｒの円を考え、この円の軌跡が整数座標と交差する時の半径ｒを求める。この半径ｒを整数化し、色信号の総数をｊで除算する。ＲＧＢ３信号の場合は３で除算することになり、余りは０，１，２の３通りとなる。この余りに各色信号を当てはめることで、例えば０ならばＲ，１ならばＧ，２ならばＢ信号と仮定することで疑似的なランダムパターンが得られる。
【００７０】
以下に上記した図１１に示す構成の作用を図１３のフローチャートを参照して説明する。
【００７１】
図１３において、１フレーム分のＲＧＢ３信号が制御部５２４の制御の基に入力部５０１を介して読み込まれて、Ｒ信号用バッファ５０２、Ｇ信号用バッファ５０３、Ｂ信号用バッファ５０４に転送される（ステップＳ４１）。次に、領域抽出部５０５は制御部５２４の制御に基づき、画像の走査を行なって（ステップＳ４２）、各色信号用バッファ５０２，５０３，５０４内の１フレーム分の各色信号から、ある特定画素を中心とする所定サイズの矩形領域、例えば５×５サイズの領域内に存在する信号を抽出して（ステップＳ４３）、それぞれＲ信号用ブロックバッファ５０６、Ｇ信号用ブロックバッファ５０７、Ｂ信号用ブロックバッファ５０８に転送する。各ブロックバッファ５０６，５０７，５０８内の矩形領域の色信号は順次、ＲＧＢ切換部５１３による切換制御に基づいて処理切換部５１４に転送される。また、これと同時にＲ信号用最大最小算出部５０９、Ｇ信号用最大最小算出部５１０、Ｂ信号用最大最小算出部５１１に転送される。制御部５２４は、各最大最小算出部５０９、５１０、５１１及び最大レンジ信号選択部５１２での処理が完了するまで、処理切換部５１４の動作を抑制する。各最大最小算出部５０９、５１０、５１１にて各信号の最大と最小値が算出され（ステップＳ４４）、最大レンジ信号選択部５１２へ転送される。最大レンジ信号選択部５１２では、最大値と最小値間の差分からレンジを求め、３信号中最大のレンジを有する信号が選択され（ステップＳ４５）、処理切換部５１４と信号変形部５１７へ転送される。
【００７２】
処理切換部５１４では、制御部５２４の制御に基づき、最大レンジ信号選択部５１２での処理結果が転送された後に動作を開始する。ここでは、最大レンジ信号選択部５１２からの最大のレンジを有する信号のレンジが所定の閾値（例えば信号が０〜１０２３の１０ｂｉｔ精度であるときは３２などの値）より大きいか否かを判断し（ステップＳ４６）、ＹＥＳの場合は欠落画素復元部５１６を選択し、ＮＯの場合は平坦な領域と判断して線形補間部５１５を選択する。
【００７３】
線形補間部５１５が選択された場合は、公知の線形補間により各色信号の欠落画素を復元して出力部５２３へ出力する（ステップＳ５８、Ｓ５９）。また、欠落画素復元部５１６が選択された場合には、制御部５２４の制御に基づき、信号変形部５１７の処理に移行する。信号変形部５１７では、処理切換部５１４から転送される各色信号に関して、最大レンジを与える信号か否かを判断し（ステップＳ４７）、ＮＯの場合はこの信号のレンジを最大レンジを与える信号のレンジに等しくなるように変形し（ステップＳ４８）、これを候補画像生成部５１８に順次転送する。なお、最大レンジを与える信号の場合は、変形することなくそのまま候補画像生成部５１８に転送される。
【００７４】
候補画像生成部５１８、候補画像用バッファ５１９、参照画像選択部５２０では、上記した第２実施形態と同様の方法によって複数の候補画像を生成し（ステップＳ４９）、そのエッジ強度に基づいて参照画像を選択して欠落画素復元部５１６に転送する（ステップＳ５０）。欠落画素復元部５１６は各色信号に適合するように参照画像を変形することにより欠落した色信号を復元して積算する（ステップＳ５１、Ｓ５２）。
【００７５】
収束判定部５２１は初回の処理であるか否かを判定し（ステップＳ５３）、初回の処理である場合には復元された色信号を無条件に輝度信号生成部５２２に転送する。輝度信号生成部５２２は、ＲＧＢ３信号から以下の式を用いて輝度信号Ｙを生成する。
【００７６】
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ        （１４）
（１４）式で得られる輝度信号Ｙは、ＲＧＢ３信号から合成されるために３信号間のばらつきが抑制されてより局在化された信号となる。輝度信号生成部５２２はこの輝度信号Ｙを新たな参照画像として欠落画素復元部５１６に転送する（ステップＳ５７）。欠落画素復元部５１６は再度の復元処理を行ってその結果を収束判定部５２１に転送する。収束判定部５２１は、２回目以降の処理に関しては前回復元された色信号と今回復元された色信号との差の絶対値の２乗の総和を求め、この総和が所定の閾値以下になるまで上記処理を反復する（ステップＳ５４）。ここで閾値は、使用する矩形領域のサイズにより異なるが、１画素あたりに換算したときに例えば１０程度の値を用いる。閾値以下になった場合は処理が収束したものと判断して、復元された色信号を出力部５２３に転送する（ステップＳ５５）。
【００７７】
このようにして上記処理を矩形領域が重複しないように各信号用バッファ５０２、５０３、５０４内のすべての画像が走査されて処理されることにより（ステップＳ５６）、１フレーム分の画像に対するすべての欠落が復元される。
【００７８】
上記したように第３実施形態においては、最大のレンジを与える色信号を決定し、この色信号に最大最小値を合わせることで参照画像を求め、この参照画像から欠落した色信号を復元する。その後、回復された輝度信号から新たな参照画像を求めて再度復元処理をおこない、復元画像が収束するまで反復する。これにより、より局在化された参照画像による復元が行われるため、より高精細な復元画像が得られる。また、色信号のレンジに基づき線形補間との切り換えを行うため、高速に処理を行うことができる。
【００７９】
なお、本実施形態では最大値と最小値間の差分から求められる最大レンジを用いて色信号の選択を行っているがこれに限定される必要はなく、分散やエッジ強度など評価基準を用いることも可能である。また、フィルタ配置に関しても図１２に示される配置に限定される必要はなく、ランダム性を満たすものであるならば他の構成でもよい。
【００８０】
図１４は第４実施形態に係る画像入力処理装置の機能ブロック図であり、以下に各機能の接続関係を説明する。
【００８１】
図１４において、入力部６０１は、Ｒ信号用バッファ６０２、Ｇ信号用バッファ６０３、Ｂ信号用バッファ６０４に接続され、さらに、領域抽出部６０５を介してそれぞれＲ信号用ブロックバッファ６０６、Ｇ信号用ブロックバッファ６０７、Ｂ信号用ブロックバッファ６０８に接続されている。Ｒ信号用ブロックバッファ６０６は分散算出部６０９とＲＧＢ切換部６１３と信号変形部６５１に、Ｇ信号用ブロックバッファ６０７は分散算出部６１０とＲＧＢ切換部６１３と信号変形部６５１に、Ｂ信号用ブロックバッファ６０８はＲＧＢ切換部６１３に接続されている。分散算出部６０９、６１０は最大分散決定部６５０を介して信号変形部６５１に接続されている。
【００８２】
この信号変形部６５１は参照画像用バッファ６１１と近似参照画像選択部６５２を介して欠落画素復元部６１４に接続されるとともに、参照画像用バッファ６１１と平滑化処理部６１２を介して欠落画素復元部６１４に接続されている。近似参照画像選択部６５２は平滑化処理部６１２にも接続されている。ＲＧＢ切換部６１３は欠落画素復元部６１４と加算平均部６１５とを介して出力部６１６に接続されている。また、制御部６１７は、入力部６０１、領域抽出部６０５、分散算出部６０９、６１０、信号変形部６５１、近似参照画像選択部６５２、ＲＧＢ切換部６１３、欠落画素復元部６１４、加算平均部６１５、出力部６１６に接続されている。
【００８３】
図１５は上記した信号変形部６５１の具体的構成を示す図であり、Ｒ信号用ブロックバッファ６０６と、Ｇ信号用ブロックバッファ６０７と、最大分散決定部６５０と、制御部６１７からの信号を受ける選択部６５１Ａと、ゲイン・バイアス係数算出部６５１Ｂと、演算部６５１Ｃとが順に接続されている。
【００８４】
なお、本実施形態では上記した各機能の一部はハードウェアで構成され、入力部６０１は単板式ＣＣＤにより、出力部６１６は磁気ディスクにより、制御部６１７はマイクロコンピュータにより構成される。
【００８５】
図１６（ａ）〜図１６（ｄ）は、本実施形態の単板式ＣＣＤにおけるフィルタ配置の具体的構成を示す図である。ここでは、図１６（ａ）に示すような４×２のサイズと、図１６（ｂ）に示すような６×３のサイズを基本配置とし、このような基本配置を反復して配置することによりＣＣＤ上の全画素を充填するようにしている。図１６（ｃ）は図１６（ａ）の基本配置を反復して配置したものであり、図１６（ｄ）は図１６（ｂ）の基本配置を反復して配置したものである。
【００８６】
図１６（ａ）の基本配置ではＲＧＢ３信号の出現頻度は３：３：２、図１６（ｂ）の基本配置では４：４：１となるように設定されている。これらの出現頻度はレンズ系の収差量に応じて変更できる。すなわち、レンズ系の収差量が増加すると高周波成分は劣化するため、対応する色信号の出現頻度を減らしてもよい。色信号の出現頻度は収差量から算出される高周波成分の限界値に従って調整できる。
【００８７】
以下に上記した図１４に示す構成の作用を図１７のフローチャートを参照して説明する。
【００８８】
以下の説明では入力部６０１で用いられるレンズ系はＲ、Ｇ信号に対しては収差が微小であり、Ｂ信号に対しては収差が大きいことを想定する。また、レンズ系の収差量は予め測定してあるものとする。１フレーム分のＲＧＢ３信号が制御部６１７の制御に基づき入力部６０１を介して読み込まれて、Ｒ信号用バッファ６０２、Ｇ信号用バッファ６０３、Ｂ信号用バッファ６０４に転送される（ステップＳ６１）。領域抽出部６０５は制御部６１７の制御に基づき、画像の走査を行って（ステップＳ６２）、各信号用バッファ６０２，６０３，６０４内の１フレーム分の各色信号から、ある特定画素を中心とする所定サイズの矩形領域、例えば７×７サイズの領域内に存在する信号を抽出して（ステップＳ６３）、それぞれＲ信号用ブロックバッファ６０６、Ｇ信号用ブロックバッファ６０７、Ｂ信号用ブロックバッファ６０８に転送する。
【００８９】
ＲＧＢ切換部６１３は制御部６１７の制御に基づき、各ブロックバッファ６０６、６０７、６０８内の矩形領域の色信号を順次読み出して、欠落画素復元部６１４に転送する。欠落画素復元部６１４は入力された色信号の色収差量が大きいか否かを判断して（ステップＳ６４）、大きい場合はステップＳ７２に移行する。ここではレンズ系に対する収差が大きいＢ信号である場合にステップＳ７２に移行する。一方、レンズ系に対する収差が小さいＲ、Ｇ信号である場合はステップＳ６５に移行する。
【００９０】
ここで処理が制御部６１７を介して分散算出部６０９、６１０に移行する。すなわち、分散算出部６０９、６１０は制御部６１７の制御に基づき、それぞれ各ブロックバッファ６０６、６０７内の各色信号を読み出して各色信号の分散を算出する。次に最大分散決定部６５０は算出された各分散のうち、最大の分散をもつ色信号を決定する（ステップＳ６５）。
【００９１】
信号変形部６５１の選択部６５１Ａ（図１５）は制御部６１７の制御に基づき、最大分散決定部６５０からの色信号が最大分散を有する信号か否かによって各ブロックバッファ６０６、６０７内の矩形領域の各色信号の一方を選択する（ステップＳ６６）。各ブロックバッファ６０６、６０７内の矩形領域の各色信号のうち、最大分散に対応する色信号は変形されることなしに参照画像用バッファ６１１へ出力される。最大分散の色信号でないものについてはゲイン・バイアス係数算出部６５１Ｂに出力される。ゲイン・バイアス算出部６５１Ｂは入力された色信号についてそのゲイン係数αi とバイアス係数βi とを算出して（ステップＳ６７）、当該色信号とともに演算部６５１Ｃへ出力する。演算部６５１Ｃは算出されたゲイン係数αi とバイアスβi 係数とを用いて当該色信号を変形して参照画像バッファ６１１へ出力する（ステップＳ６８）。最大分散に対応する変形なしの色信号と変形された色信号とが参照画像用バッファ６１１内に積算されることにより複数の近似参照画像が生成される（ステップＳ６９）。
【００９２】
生成された複数の近似参照画像は平滑化処理部６１２および近似参照画像選択部６５２へ転送される。近似参照画像選択部６５２は第１実施形態と同様にエッジ強度に基づいて近似参照画像を選択し（ステップＳ７０）、平滑化処理部６１２と欠落画素復元部６１４へ転送する。平滑化処理部６１２はＢ信号についてのレンズ系の収差量に応じて近似参照画像を平滑化して平滑化近似参照画像を生成して欠落画素復元部６１４へ転送する（ステップＳ７１）。
【００９３】
欠落画素復元部６１４はＲＧＢ切換部６１３を介して読み込んだＲ、Ｇ、Ｂの色信号のうち、Ｂ信号を平滑化近似参照画像に基づいて変形する（ステップＳ７２）。そして、この変形された色信号と近似参照画像とを積算して参照画像を得（ステップＳ７３）、この参照画像に基づき欠落する色信号の復元を行なって加算平均部６１５へ転送する（ステップＳ７４）。
【００９４】
このようにして上記処理を矩形ブロックが重複しないように各信号用バッファ６０２、６０３、６０４内のすべての画像が走査されて処理されることにより（ステップＳ７５）、１フレーム分の画像に対するすべての欠落が復元される。復元された色信号は加算平均部６１５に転送される。この加算平均部６１５には、矩形領域が７×７サイズであるならば、１つの画素に関して４９個の復元された色信号が転送されることになる。加算平均部６１５はこれらの色信号を加算平均して（ステップＳ７６）、出力部６１６へ出力する。
【００９５】
図１８（ａ）〜図１８（ｏ）は、色収差の存在下においてカラーエッジモデルを用いて欠落画素を復元する方法を説明するための図である。以下は、一次元の場合に関して説明する。図１８（ａ）、（ｂ）、（ｃ）はそれぞれ、ＲＧＢ３信号における原画像の形状を示す。図１８（ｄ）、（ｅ）、（ｆ）はそれぞれ、色収差のあるレンズ系で撮像されたときのＲＧＢ３信号の劣化状態を示している。ここでは図に示すようにＢ信号のみに色収差があることを仮定している。これらの色信号が、図１８（ｇ）に示されるフィルタ配置の単板ＣＣＤで撮像されたとすると、得られる色信号はそれぞれ、図１８（ｈ）、（ｉ）、（ｊ）に示されるものになる。
【００９６】
ここで、第１実施形態と同様に、図１８（ｈ）のＲ信号及び、図１８（ｉ）のＧ信号のゲインとバイアスをそれぞれ調整すれば、図１８（ｋ）、図１８（ｌ）に示される基本的なエッジ構造を有する複数の参照画像が得られる。この複数の参照画像の中から最も局在性の優れたもの、すなわち、エッジ強度の小さい参照画像を選択すればよい。ただし、このようにして得られる参照画像はＢ信号に対応する画素が欠落しており、完全な参照画像とは異なる。したがって、これを近似参照画像と呼ぶ。
【００９７】
次に、この近似参照画像を色収差の量に対応して平滑化することで、図１８（ｍ）に示す平滑化近似参照画像が得られる。この平滑化近似参照画像に基づいてＢ信号のゲインとバイアスを調整することで図１８（ｊ）のＢ信号の変形を行う（図１８（ｎ））。そして、よりエッジ強度の小さい図１８（ｌ）の近似参照画像と、図１８（ｎ）の変形されたＢ信号とを合成することで、図１８（ｏ）に示すような最終的な参照画像が得られる。以後の復元処理は第１実施形態と同様である。
【００９８】
上記した第４実施形態においては、まず、色収差の少ない信号を用いて近似的な参照画像を得る。そして、この参照画像を平滑化することで色収差の多い信号との適合を行って完全な参照画像を得、この参照画像から欠落信号を復元するようにしている。したがって、安価なレンズ系を用いた場合でも高精細な復元画像を生成できる。また、ＲＧＢ３信号の出現頻度が色収差に応じて調整されているため、効率的な撮像が可能となる。
【００９９】
なお、本実施形態ではＢ信号に色収差が存在することを仮定したが、これに限定される必要はなく、任意の信号に対しても同様に処理することができる。
Ａ．上記した具体的実施形態から以下のような構成の発明が抽出される。
（１）
１つの画素が有する画像信号が複数の色信号から構成され、画素の位置に応じて少なくとも１つ以上の色信号が欠落する画像信号を処理する画像信号処理装置において、
上記画像信号から、指定された画素を包含する所定サイズの局所領域の色信号を抽出する抽出手段と、
この抽出手段で抽出された局所領域内の各色信号を所定の構造モデルと評価関数に基づいて変形および合成することで参照画像を生成する参照画像生成手段と、
この参照画像生成手段で生成された参照画像に基づき、欠落する色信号を復元する復元手段と、
を具備することを特徴とする画像信号処理装置。
（２）
上記参照画像生成手段は、上記構造モデルとして複数の色信号が同一のエッジパターンを共有するカラーエッジモデルを用いること
を特徴とする構成（１）に記載の画像信号処理装置。
（３）
１つの画素が有する画像信号が複数の色信号から構成され、画素の位置に応じて少なくとも１つ以上の色信号が欠落する画像信号を処理する画像信号処理装置において、
上記画像信号から、指定された画素を包含する所定サイズの局所領域の色信号を抽出する抽出手段と、
この抽出手段で抽出された局所領域内の各色信号ごとに所定のパラメータを算出し、このパラメータに基づき１つの色信号を選択する色信号選択手段と、
この色信号選択手段で選択された色信号以外の色信号に関して、上記パラメータが選択された色信号のパラメータと同一となるように色信号を変形する変形手段と、
この変形手段で変形された複数の各色信号と上記色信号選択手段によって選択された色信号とを合成して複数の参照候補画像を生成する候補画像生成手段と、この候補画像生成手段で生成された複数の参照候補画像から、所定の評価関数に基づき１つの参照画像を選択する参照画像選択手段と、
上記参照画像選択手段で選択された参照画像に基づき、欠落する色信号を復元する復元手段と、
を具備することを特徴とする画像信号処理装置。
（４）
上記色信号選択手段および上記変形手段は、各色信号の平均および分散または最大値および最小値をパラメータとして用いること
を特徴とする構成（３）に記載の画像信号処理装置。
（５）−１
上記参照画像生成手段は、上記評価関数として各色信号に対しラプラシアンを施して得られるエッジ強度、または各色信号の濃度共起行列から算出されるエネルギーまたはエントロピーまたは相関または局所一様性または慣性を用いることを特徴とする構成（１）または（２）に記載の画像信号処理装置。
（５）−２
上記参照画像選択手段は、上記評価関数として各色信号に対しラプラシアンを施して得られるエッジ強度、または各色信号の濃度共起行列から算出されるエネルギーまたはエントロピーまたは相関または局所一様性または慣性を用いることを特徴とする構成（３）に記載の画像信号処理装置。
（６）−１
前記抽出手段の出力である色信号を所定の評価基準により判断し、構成（３）記載の上記色信号選択手段およびそれ以降の処理手段に処理させるか、あるいは線形補間復元手段に処理させるかを選択する選択手段を備える構成（３）に記載の画像信号処理装置。
（６）−２
前記抽出手段の出力である色信号を所定の評価基準により判断し、構成（１）記載の上記参照画像生成手段およびそれ以降の処理手段に処理させるか、あるいは線形補間復元手段に処理させるかを選択する選択手段を備える構成（１）または（２）に記載の画像信号処理装置。
（６）−１１
前記所定の評価基準による判断は、前記抽出手段の出力である色信号のエッジ強度、分散、あるいは最大最小値のどれかを算出し、その算出値を所定の閾値と比較することで行われる構成（６）−１に記載の画像信号処理装置。
（６）−１２
前記所定の評価基準による判断は、前記抽出手段の出力である色信号のエッジ強度、分散、あるいは最大最小値のどれかを算出し、その算出値を所定の閾値と比較することで行われる構成（６）−２に記載の画像信号処理装置。
（７）
上記複数の色信号を被写体を撮像することで得る撮像装置を有する入力手段をさらに具備し、前記撮像装置の各画素は一つの色信号に対応する色フィルタを有し、前記色フィルタの空間的配置はｍ、ｎを３以上の整数とするｍ×ｎサイズの矩形領域の反復で構成され、上記矩形領域内で各色信号の出現頻度が均等になるように設定されていること、
を特徴とする構成（１）〜（３）に記載の画像入力処理装置。
（８）
上記複数の色信号を被写体を撮像することで得る撮像装置を有する入力手段をさらに具備し、前記撮像装置の各画素は一つの色信号に対応する色フィルタを有し、前記色フィルタの空間的配置は、使用される色信号の総数をｊ，またｋを２以上の整数としたときｊｋ×ｊｋサイズの矩形領域の反復で構成され、上記矩形領域内の各色信号の出現頻度が均等でかつ水平垂直方向において各色信号の出現頻度が２以上ｊ未満となるように設定されていること、
を特徴とする構成（１）〜（３）に記載の画像入力処理装置。
（９）
上記複数の色信号を被写体を撮像することで得る撮像装置を有する入力手段をさらに具備し、前記撮像装置の各画素は一つの色信号に対応する色フィルタを有し、前記色フィルタの空間的配置は、使用される色信号の総数をｊ，またｋを２以上の整数としたときｊｋ×ｊｋサイズの矩形領域の反復で構成され、上記矩形領域内の各色信号の出現頻度が均等でかつその配置が矩形領域内の一点を中心とする同心円の軌跡が整数座標と交わるときの半径をｊで除算したときの剰余に基づき設定されていること、
を特徴とする構成（１）〜（３）に記載の画像入力処理装置。
（１０）
上記復元手段は、上記参照画像に基づき復元された各色信号から輝度信号を生成する輝度信号生成手段と、上記輝度信号の分布に基づき上記輝度信号を用いた復元処理を反復させる収束判断手段と、
を含むことを特徴とする構成（１）〜（３）に記載の画像信号処理装置。
（１１）
１つの画素が有する画像信号が複数の色信号から構成され、画素の位置に応じて少なくとも１つ以上の色信号が欠落する画像信号を入力処理する画像入力処理装置において、
色収差を生じる光学レンズ系と、この色収差量に基づき色信号の出現頻度が調整された撮像装置とからなる入力手段と、
この入力手段から得られた画像信号から、指定された画素を包含する所定サイズの局所領域の色信号を抽出する抽出手段と、
この抽出手段で抽出された局所領域内の各色信号中で、色収差量の少ない色信号を所定の構造モデルと評価関数に基づき変形および合成することで近似参照画像を生成する近似参照画像生成手段と、
この近似参照画像生成手段で生成された近似参照画像を色収差量の多い色信号の色収差量に基づき平滑化する平滑化手段と、
上記近似参照画像生成手段で生成された近似参照画像と上記平滑化手段で平滑化された近似参照画像とに基づき参照画像を生成し、欠落する色信号を復元する復元手段と、
を具備することを特徴とする画像入力装置。
（１２）
上記近似参照画像生成手段は、上記構造モデルとして複数の色信号が同一のエッジパターンを共有するカラーエッジモデルを用いること
を特徴とする構成（１１）に記載の画像入力処理装置。
（１３）
上記近似参照画像生成手段は、上記評価関数として各色信号に対しラプラシアンを施して得られるエッジ強度、または各色信号の濃度共起行列から算出されるエネルギーまたはエントロピーまたは相関または局所一様性または慣性を用いること
を特徴とする構成（１１）に記載の画像入力処理装置。
Ｂ．上記した構成（１）〜（１３）についての「発明が解決しようとする課題」は以下の通りである。
構成（１）、（２）、（５）−１、２
従来技術は、輝度信号を線形補間で、色差信号を線形補間または輝度信号に基づき補っており、欠落する色信号を高精度に復元するという点について対応することができない。本発明はこの点に着目し、画像の構造モデルに基づき欠落する色信号を高精度に復元することができる画像信号処理装置を提供することを目的とする。
構成（３）、（４）、（５）−１、２、（６）−１、２、１１、１２
従来技術は、輝度信号を線形補間で、色差信号を線形補間または輝度信号に基づき補っており、欠落する色信号を高精度に復元するという点について対応することができない。本発明はこの点に着目し、画像の構造モデルに基づき欠落する色信号を高精度かつ高速に復元することができる画像信号処理装置を提供することを目的とする。
構成（７）、（８）、（９）
従来技術は、色差信号を輝度信号に基づき補っており、予め輝度信号に相当するフィルタ数を色差信号に対応するフィルタ数より多くする必要があり、均等な比率のフィルタ配置には対応することができない。本発明はこの点に着目し、各色信号の比率が均等な場合において欠落する色信号を高精度に復元することができる画像信号処理装置を提供することを目的とする。
構成（１０）
従来技術は、輝度信号を線形補間で、また色差信号を線形補間または輝度信号に基づき補っており、欠落する色信号を高精度に復元するという点について対応することができない。本発明はこの点に着目し、画像の構造モデルを反復的に使用することに基づき欠落する色信号を高精度に復元することができる画像信号処理装置を提供することを目的とする。
構成（１１）、（１２）、（１３）
従来技術は、輝度信号を線形補間で、また色差信号を線形補間または輝度信号に基づき補っており、特定の信号が劣化するような色収差の生じる安価な光学レンズ系に対応することができない。本発明はこの点に着目し、画像の構造モデルを色収差に基づき平滑化する事で安価な光学レンズ系を使用して得られた信号に関しても欠落する色信号を高精度に復元することができる画像入力処理装置を提供することを目的とする。
Ｃ．上記した構成（１）〜（１３）についての「対応する発明の実施の形態」、「作用」、「効果」は以下の通りである。
構成（１）、（２）、（５）−１、２、（６）−１、２、１１、１２、（７）
「対応する発明の実施の形態」
この発明には、少なくとも上記した第１実施形態が対応する。構成中の入力手段は図３のＣＣＤ２０３を含み、このＣＣＤ２０３における色フィルタの空間的配置はｍ，ｎを３以上の整数とするｍ×ｎサイズの矩形領域の反復で構成され、上記矩形領域内で各色信号の出現頻度が均等になるように設定されている。構成中の抽出手段は、図１に示される領域抽出部１０５を含む。構成中の参照画像生成手段は、図１の分散算出部１０９、１１０、１１１、最大分散決定部１５０、信号変形部１５１、参照画像用バッファ１１２を含む。構造モデルとしては、例えば複数の色信号が同一のエッジパターンを共有するカラーエッジモデルを用いる。また、評価関数としては例えば、各色信号に対してラプラシアンを施して得られるエッジ強度、または各色信号の濃度共起行列から算出されるエネルギーまたはエントロピーまたは相関または局所一様性または慣性を用いる。構成中の復元手段は、選択手段である図１のエッジ強度算出部１１４および線形補間部１１５、欠落画素復元部１１６を含む。エッジ強度算出部１１４は例えば、エッジ強度または分散または最小最大値などの評価基準に基づき線形補間部１１５と欠落画素復元部１１６とを切り換える。
【０１００】
この発明の好ましい適用例は以下の通りである。図１、図３、図４に示す入力部１０１からの画像信号をＲ信号用バッファ１０２、Ｇ信号用バッファ１０３、Ｂ信号用バッファ１０４にて保存し、領域抽出部１０５にて所定サイズの領域の色信号を抽出してＲ信号用ブロックバッファ１０６、Ｇ信号用ブロックバッファ１０７、Ｂ信号用ブロックバッファ１０８に転送する。エッジ強度算出部１１４は、Ｒ信号用ブロックバッファ１０６、Ｇ信号用ブロックバッファ１０７、Ｂ信号用ブロックバッファ１０８中の全色信号のエッジ強度に基づき、線形補間部１１５か、または欠落画素復元部１１６を選択する。線形補間部１１５が選択された場合は公知の線形補間により欠落画素を復元して出力部１１７へ転送する。欠落画素復元部１１６が選択された場合には、信号変形部１５１は、最大分散決定部１５０からの最大分散に関する情報に基づいて、図６に示すカラーエッジモデルを用いて各色信号を変形する。これらの色信号は参照画像用バッファ１１２に積算されることで参照画像が生成される。欠落画素復元部１１６は図７に示すように参照画像に基づいて欠落画素を復元して出力部１７へ転送する。
「作用」
各色信号のエッジ強度に基づき通常の線形補間による復元と構造モデルによる復元とを切り換え、構造モデルによる復元が選択された場合にはカラーエッジモデルから参照画像を生成し、この参照画像から欠落画素の情報を復元する。
「効果」
構造モデルによる復元は、５×５〜１５×１５程度の広い領域の全信号を用いて参照画像を生成するため、三板式の撮像装置を用いて撮像した場合の精度と同等の精度で欠落画素を復元することが可能となる。また、エッジ強度を算出して平坦部分については通常の線形補間を行うようにすることで、処理の高速化も可能となる。
構成（３）、（４）、（５）−１、２
「対応する発明の実施の形態」
この発明は、少なくとも上記した第２実施形態に対応する。構成中の抽出手段は、図８に示される領域抽出部３０５を含む。構成中の信号選択手段は、図８のＲ信号用平均分散算出部３０９、Ｇ信号用平均分散算出部３１０、Ｂ信号用平均分散算出部３１１、最大分散信号選択部３１２を含む。構成中の変形手段は、図８の信号変形部３１３を含む。抽出手段および変形手段では、各色信号の平均および分散に基づき抽出と変形を行うが、最大および最小値に基づき抽出、変形を行うことも可能である。構成中の候補画像生成手段は、図８の候補画像生成部３１４を含む。構成中の参照画像選択手段は、図８の参照画像選択部３１６を含む。評価関数としては例えば、各色信号に対してラプラシアンを施すことにより得られるエッジ強度、または各色信号の濃度共起行列から算出されるエネルギーまたはエントロピーまたは相関または局所一様性または慣性を用いる。構成中の復元手段は、図８の欠落画素復元部３１８を含む。
【０１０１】
この発明の好ましい適用例は以下の通りである。図８、図９に示す入力部３０１からの画像信号をＲ信号用バッファ３０２、Ｇ信号用バッファ３０３、Ｂ信号用バッファ３０４にて保存し、領域抽出部３０５にて所定サイズの領域の色信号を抽出してＲ信号用ブロックバッファ３０６、Ｇ信号用ブロックバッファ３０７、Ｂ信号用ブロックバッファ３０８へ転送する。Ｒ信号用平均分散算出部３０９、Ｇ信号用平均分散算出部３１０、Ｂ信号用平均分散算出部３１１は各信号用ブロックバッファ３０６、３０７、３０８内の各色信号を読み出してその平均と分散とを算出する。最大分散信号選択部３１２は最大の分散を与える色信号を選択し、信号変形部３１３はこの最大の分散を与える色信号の平均と分散に一致するようにこのほかの色信号を変形する。候補画像生成部３１４は最大の分散を与える色信号と変形された色信号とを組み合わせることで複数の候補画像を生成する。参照画像選択部３１６はこの複数の候補画像からエッジ強度に基づき１つの参照画像を選択し、欠落画素復元部３１８は選択された参照画像に基づき欠落画素を復元して出力部３１９へ転送する。
「作用」
入力される各色信号から最大分散を与える信号を選択して、この色信号に合わせて他の色信号を変形した後、これらの色信号を組み合わせて参照画像の候補を複数生成する。これらの候補からエッジ強度に基づき参照画像を選択し、この参照画像から欠落画素の情報を復元する。
「効果」
最大分散を与える信号に他の色信号を合わせることとエッジ強度に基づき選択することによって計算量を少なくできるため、高速に参照画像を生成することができる。この参照画像は、５×５〜１５×１５程度の広い領域の全信号を用いて生成されるため、三板式に匹敵する精度で欠落画素を復元することが可能となる。
構成（３）、（４）、（５）−１、２、（６）−１、２、１１、１２、（８）、（９）、（１０）
「対応する発明の実施の形態」
この発明は、少なくとも上記した第３実施形態に対応する。構成中の入力手段はＣＣＤを含み、このＣＣＤにおける色フィルタの空間的配置は例えば、使用される色信号の総数をｊ、かつｋを２以上の整数としたときに、ｊｋ×ｊｋサイズの矩形領域の反復で構成され、上記矩形領域内の各色信号の出現頻度が均等でかつ水平垂直方向において各色信号の出現頻度が２以上ｊ未満となるように設定される。または、使用される色信号の総数をｊ、かつｋを２以上の整数としたときにｊｋ×ｊｋサイズの矩形領域の反復で構成され、上記矩形領域内の各色信号の出現頻度が均等でかつその配置が矩形領域内の一点を中心とする同心円の軌跡が整数座標と交わるときの半径をｊで除算したときの剰余に基づいて設定される。構成中の抽出手段は、図１１に示される領域抽出部５０５を含む。構成中の信号選択手段は、図１１のＲ信号用最大最小算出部５０９、Ｇ信号用最大最小算出部５１０、Ｂ信号用最大最小算出部５１１、最大レンジ信号選択部５１２を含む。構成中の変形手段は、図１１の信号変形部５１７を含む。抽出手段および変形手段は、各色信号の最大値および最小値に基づき抽出と変形を行うが、平均および分散に基づき抽出、変形を行うことも可能である。構成中の候補画像生成手段は、図１１の候補画像生成部５１８を含む。構成中の参照画像選択手段は、図１１の参照画像選択部５２０を含む。評価関数としては例えば、各色信号に対してラプラシアンを施すことにより得られるエッジ強度または各色信号の濃度共起行列から算出されるエネルギーまたはエントロピーまたは相関または局所一様性または慣性を用いる。構成中の復元手段は、選択手段である図１１の処理切換部５１４及び、線形補間部５１５、欠落画素復元部５１６、収束判定部５２１、輝度信号生成部５２２を含む。処理切換部５１４は例えば、エッジ強度または分散または最小最大値などの評価基準に基づき線形補間部５１５と欠落画素復元部５１６とを切り換える。輝度信号生成部５２２は参照画像に基づき復元された各色信号から輝度信号を生成し、収束判定部５２１は上記輝度信号の分布に基づき上記輝度信号を用いた復元処理を反復させる。
【０１０２】
この発明の好ましい適用例は以下の通りである。図１１に示す入力部５０１からの画像信号をＲ信号用バッファ５０２、Ｇ信号用バッファ５０３、Ｂ信号用バッファ５０４にて保存する。領域抽出部５０５は所定サイズの領域の色信号を抽出してＲ信号用ブロックバッファ５０６、Ｇ信号用ブロックバッファ５０７、Ｂ信号用ブロックバッファ５０８を介してＲ信号用最大最小算出部５０９、Ｇ信号用最大最小算出部５１０、Ｂ信号用最大最小算出部５１１に出力する。ここで各色信号の最大と最小値が算出され、最大レンジ信号選択部５１２にて最大のレンジ（＝最大値−最小値）を与える色信号が選択され、処理切換部５１４に転送される。処理切換部５１４にて最大レンジに基づき、線形補間部５１５または欠落画素復元部５１６が選択され、線形補間部５１５が選択された場合は公知の線形補間により欠落画素が復元され出力部５２３へ転送される。欠落画素復元部５１６が選択された場合は、信号変形部５１７にて最大のレンジを与える色信号の最大と最小値に一致するようにこの他の色信号を変形し、候補画像生成部５１８にて最大のレンジを与える色信号と変形された色信号を組み合わせることによって複数の候補画像を生成し、参照画像選択部５２０にて複数の候補画像からエッジ強度に基づき１つの参照画像を選択する。欠落画素復元部５１６はこの参照画像に基づき欠落画素を復元して収束判定部５２１に転送する。収束判定部５２１は初回の処理の場合は無条件に、２回目以降は前回復元された画像との差の絶対値の２乗の総和が所定の閾値以下になるまで復元された色信号を輝度信号生成部５２２へ転送する。輝度信号生成部５２２は復元された色信号から輝度信号を合成し、欠落画素復元部５１６は上記輝度信号に基づき再度復元処理を行なう。そして、収束判定部５２１において前回の復元された画像との差の絶対値の２乗の総和が所定の閾値以下になった場合に復元された画像を出力部５２３へ転送する。
（作用）
入力される各色信号から最大レンジを与える信号を選択して、この色信号に合わせて他の色信号を変形した後、これらの色信号を組み合わせて参照画像の候補を複数生成する。これら複数の候補からエッジ強度に基づき参照画像を選択し、この参照画像から欠落画素の情報を復元する。さらに、復元された画像から輝度信号を生成し、これを用いて再度復元処理を行い、前回復元された画像に対して変化が所定の閾値以下になるまで反復する。
（効果）
最大レンジを与える信号に他の色信号を合わせることとエッジ強度に基づき選択することによって計算量を少なくできるため、高速に参照画像を生成することができる。この参照画像は、５×５〜１５×１５程度の広い領域の全信号を用いて生成されるため、三板式に匹敵する精度で欠落画素を復元することが可能となる。さらに、輝度信号を用いて反復的に復元処理を行うため、より高精度な欠落画素の復元が可能となる。
構成（１１）、（１２）、（１３）
「対応する発明の実施の形態」
この発明は、少なくとも上記した第４実施形態に対応する。構成中の入力手段は、図１４の入力部６０１を含む。構成中の抽出手段は、図１４に示される領域抽出部６０５を含む。構成中の近似参照画像生成手段は、図１４の分散算出部６０９、６１０、最大分散決定部６５０、信号変形部６５１、参照画像用バッファ６１１を含む。構造モデルとしては例えば、複数の色信号が同一のエッジパターンを共有するカラーエッジモデルを用いる。また、評価関数としては例えば、各色信号に対してラプラシアンを施すことにより得られるエッジ強度、または各色信号の濃度共起行列から算出されるエネルギーまたはエントロピーまたは相関または局所一様性または慣性を用いる。構成中の平滑化手段は、図１４の平滑化処理部６１２を含む。構成中の復元手段は、図１４の欠落画素復元部６１４、加算平均部６１５を含む。
【０１０３】
この発明の好ましい適用例は以下の通りである。図１４および図１６に示す入力部６０１からの画像信号をＲ信号用バッファ６０２、Ｇ信号用バッファ６０３、Ｂ信号用バッファ６０４にて保存する。領域抽出部６０５は所定サイズの領域の色信号を抽出してＲ信号用ブロックバッファ６０６、Ｇ信号用ブロックバッファ６０７、Ｂ信号用ブロックバッファ６０８へ転送する。分散算出部６０９、分散算出部６１０は各々Ｒ，Ｇの色信号の分散を算出し、最大分散決定部６５０で最大の分散をもつ色信号を決定する。信号変形部６５１は最大の分散に対応する色信号以外の色信号を、最大の分散を持つ色信号のゲインとバイアスに基づいて変形する。これらの色信号が参照画像用バッファ６１１において積算されることで近似参照画像が生成される。平滑化処理部６１２はこの近似参照画像を色収差量に基づいて平滑化する。欠落画素復元部６１４は近似参照画像と平滑化された近似参照画像とに基づき参照画像を生成し、この参照画像に基づき欠落画素を復元する。加算平均部６１５は各領域ごとに復元された色信号を加算平均して出力部６１６へ転送する。
（作用）
色収差量に応じて色信号の出現頻度が調整された撮像装置から得られた入力信号の中から色収差量の少ない色信号を選択して構造モデルを適用して近似参照画像を生成し、一方、この近似参照画像を色収差量の多い色信号の色収差量に応じて平滑化し、平滑化された近傍参照画像に基づいて色収差量の多い色信号を変形し、上記近似参照画像と変形された色収差量の多い画像とを合成することで参照画像を求め、この参照画像から欠落画素の情報を復元する。
（効果）
色収差量の少ない色信号にはまず、構造モデルを直接適用し、色収差量の多い色信号には平滑化することで構造モデルを適用する。このため最終的にはすべての色信号を用いて参照画像が生成されることになり、高精度な欠落色の復元が可能になる。また、色収差のある安価なレンズ系を用いても欠落色を復元できるので装置全体のコストを低減することができる。
【０１０４】
【発明の効果】
請求項１または３に記載の発明によれば、欠落する色信号を高精度に復元することができるようになる。
【０１０５】
また、請求項２に記載の発明によれば、安価な光学レンズ系を使用した場合でも欠落する色信号を高精度に復元することができるようになる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る画像信号処理装置の機能ブロック図である。
【図２】図１に示す信号変形部の具体的構成を示す図である。
【図３】図１に示す入力部の具体的構成を示す図である。
【図４】図３に示すＣＣＤにおけるフィルタ配置の具体的構成を示す図である。
【図５】図１に示す構成の作用を説明するためのフローチャートである。
【図６】参照画像を生成する方法を説明するための図である。
【図７】カラーエッジモデルに基づいて欠落画素が復元される過程を示す図である。
【図８】本発明の第２実施形態に係る画像信号処理装置の機能ブロック図である。
【図９】図８に示す入力部の具体的構成の一例を示す図である。
【図１０】図８に示す構成の作用を説明するためのフローチャートである。
【図１１】本発明の第３実施形態に係る画像信号処理装置の機能ブロック図である。
【図１２】図１１に示す入力部におけるフィルタ配置の説明図である。
【図１３】図１１に示す構成の作用を説明するためのフローチャートである。
【図１４】本発明の第４実施形態に係る画像信号処理装置の機能ブロック図である。
【図１５】図１４に示す信号変形部の具体的構成を示す図である。
【図１６】第４実施形態の単板式ＣＣＤにおけるフィルタ配置の具体的構成を示す図である。
【図１７】図１４に示す構成の作用を説明するためのフローチャートである。
【図１８】色収差の存在下においてカラーエッジモデルを用いて欠落画素を復元する方法を説明するための図である。
【図１９】単板式撮像素子のフィルタ配置の一例の説明図である。
【符号の説明】
１０１…入力部、１０２…Ｒ信号用バッファ、１０３…Ｇ信号用バッファ、１０４…Ｂ信号用バッファ、１０５…領域抽出部、１０６…Ｒ信号用ブロックバッファ、１０７…Ｇ信号用ブロックバッファ、１０８…Ｂ信号用ブロックバッファ、１０９、１１０、１１１…分散算出部、１１２…参照画像用バッファ、１１３…ＲＧＢ切換部、１１４…エッジ強度算出部、１１５…線形補間部、１１６…欠落画素復元部、１１７…出力部、１５０…最大分散決定部、１５１…信号変形部。
【図１】
0003935548.tif 000005
【図２】
0003935548.tif 000006
【図３】
0003935548.tif 000007
【図４】
0003935548.tif 000008
【図５】
0003935548.tif 000009
【図６】
0003935548.tif 000010
【図７】
0003935548.tif 000011
【図８】
0003935548.tif 000012
【図９】
0003935548.tif 000013
【図１０】
0003935548.tif 000014
【図１１】
0003935548.tif 000015
【図１２】
0003935548.tif 000016
【図１３】
0003935548.tif 000017
【図１４】
0003935548.tif 000018
【図１５】
0003935548.tif 000019
【図１６】
0003935548.tif 000020
【図１７】
0003935548.tif 000021
【図１８】
0003935548.tif 000022
【図１９】
0003935548.tif 000023