(57)【要約】【課題】画素補間を行うための非線形フィルタを自動生成することを課題とする。【解決手段】各画素がＲ,Ｇ,Ｂの３つの色成分の信号を備える完全画像が、ブロック化手段１に入力され、５×５画素のブロック領域として抽出される。このブロック画像は、擬似原画像生成手段２において、１画素につき１つの色信号を備える原画像（ＲＡＷ画像）に変換される。この原画像は、たとえばベイヤ配列の原画像である。学習手段３は、ニューラルネットワークにより構成され、変換された原画像を学習画像および教師画像として学習工程を実行し、画素補間フィルタを生成する。【選択図】図１
2005217592.tif 000002
【特許請求の範囲】
【請求項１】
各画素が複数の色信号を備えるカラー画像を入力する手段と、
前記カラー画像から、注目画素を含むブロック画像を抽出する手段と、
前記ブロック画像の各画素について、所定の配列規則に従い、前記複数の色信号の中のいずれか１つの色信号を選択することにより、各画素が１つの色信号を備える擬似原画像を生成する原画像生成手段と、
前記擬似原画像を学習信号とし、前記カラー画像において前記注目画素が備える全ての色信号を教師信号として学習を行い、画素補間フィルタを生成する学習手段と、
を備えることを特徴とする画素補間フィルタ生成装置。
【請求項２】
各画素が複数の色信号を備えるカラー画像を入力する手段と、
前記カラー画像から、注目画素を含むブロック画像を抽出する手段と、
前記ブロック画像の各画素について、所定の配列規則に従い、前記複数の色信号の中のいずれか１つの色信号を選択することにより、各画素が１つの色信号を備える擬似原画像を生成する原画像生成手段と、
前記擬似原画像を学習信号とし、前記カラー画像において前記注目画素が備える全ての色信号のうち前記擬似原画像に存在しない色信号を教師信号として学習を行い、画素補間フィルタを生成する学習手段と、
を備えることを特徴とする画素補間フィルタ生成装置。
【請求項３】
請求項１または請求項２に記載の画素補間フィルタ生成装置において、
前記原画像生成手段は、
前記注目画素が備える前記複数の色信号に対応した複数パターンの擬似原画像を生成する手段、
を含むことを特徴とする画素補間フィルタ生成装置。
【請求項４】
請求項１ないし請求項３のいずれかに記載の画素補間フィルタ生成装置において、
前記学習手段は、
誤差逆伝播法を用いたニューラルネットワーク、
を含むことを特徴とする画素補間フィルタ生成装置。
【請求項５】
請求項１ないし請求項４のいずれかに記載の画素補間フィルタ生成装置において、
前記注目画素は、前記擬似原画像の中心画素であることを特徴とする画素補間フィルタ生成装置。
【請求項６】
請求項１ないし請求項４のいずれかに記載の画素補間フィルタ生成装置において、
前記注目画素は、前記擬似原画像に含まれる複数の画素群であることを特徴とする画素補間フィルタ生成装置。
【請求項７】
各画素が１つの色成分の信号を備える画像について、各画素に存在しない色成分の信号を補間する画素補間装置であって、
各画素が１つの色成分の信号を備える原画像を入力する手段と、
前記原画像からブロック原画像を抽出する手段と、
前記ブロック原画像に対して、請求項２ないし請求項６のいずれかに記載の画素補間フィルタを作用させることにより、前記原画像の注目画素に存在しない色信号を補間する手段、
を備えることを特徴とする画素補間装置。
【請求項８】
各画素が１つの色成分の信号を備える画像について、色信号を補間する画素補間装置であって、
各画素が１つの色成分の信号を備える原画像を入力する手段と、
前記原画像からブロック原画像を抽出する手段と、
前記ブロック原画像に対して、請求項１、または、請求項３ないし請求項６のいずれかに記載の画素補間フィルタを作用させることにより、前記原画像の注目画素の全ての色成分の信号を補間する色補間手段、
を備えることを特徴とする画素補間装置。
【請求項９】
請求項８に記載の画素補間装置において、
前記色補間手段は、
前記原画像に存在する色成分については、前記原画像が備える色信号と補間された色信号のいずれか一方を選択する手段、
を含むことを特徴とする画像補間装置。
【請求項１０】
請求項８記載の画素補間装置において、
前記色補間手段は、
前記原画像に存在する色成分については、前記原画像が備える色信号と補間された色信号を所定の混合比率で混合する手段、
を含むことを特徴とする画素補間装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画素補間技術に関する。
【背景技術】
【０００２】
ＣＣＤ等の入力センサは、色フィルタアレイを通して受光した光を光電変換することによって、画像情報を入力する。ここで、単板式のＣＣＤが用いられている場合、各画素について取得することのできる画像情報はいずれか１つの色成分についての情報のみである。たとえば、ＲＧＢベイヤ配列の色フィルタアレイが用いられた単板式のＣＣＤの場合、入力センサが取得することのできる情報は、各画素について、Ｒ,Ｇ,Ｂのうち、いずれか１つの色成分の情報のみである。
【０００３】
そこで、このような各画素が１つの色成分のみをもつ画像に対しては、画素補間処理が行われる。画素補間処理は、注目画素の周囲の画素から、注目画素の画像情報を推測するものである。例えば、注目画素がＧ成分の画像情報を持っている場合、注目画素のＲ成分、Ｂ成分の画像情報を周囲の画素から推測するのである。
【０００４】
ここで、従来、注目画素の画像情報を補間する方法としては、線形フィルタを用いた方法が一般的に行われている。また、非線形フィルタが用いられる場合もあるが、非線形フィルタを用いる場合には、フィルタに用いられる各設定値（係数）を一般化することができないため、各設定値を個別に設定するなど、処理が煩雑であった。
【０００５】
【特許文献１】特開２００３−２４４７１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本願出願人により出願された上記特許文献１では、画像の局所特性に基づいた補間処理を行うことにより、従来の線形フィルタ等を用いた補間方法の問題点を解決している。しかし、局所特性に依存するため、適切な補間が行われない場合も発生する。
【０００７】
そこで、本発明は前記問題点に鑑み、非線形フィルタを自動生成することにより、精度の高い補間処理を可能とした技術を提供する。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、請求項１に記載の発明は、各画素が複数の色信号を備えるカラー画像を入力する手段と、前記カラー画像から、注目画素を含むブロック画像を抽出する手段と、前記ブロック画像の各画素について、所定の配列規則に従い、前記複数の色信号の中のいずれか１つの色信号を選択することにより、各画素が１つの色信号を備える擬似原画像を生成する原画像生成手段と、前記擬似原画像を学習信号とし、前記カラー画像において前記注目画素が備える全ての色信号を教師信号として学習を行い、画素補間フィルタを生成する学習手段と、を備えることを特徴とする。
【０００９】
請求項２に記載の発明は、各画素が複数の色信号を備えるカラー画像を入力する手段と、前記カラー画像から、注目画素を含むブロック画像を抽出する手段と、前記ブロック画像の各画素について、所定の配列規則に従い、前記複数の色信号の中のいずれか１つの色信号を選択することにより、各画素が１つの色信号を備える擬似原画像を生成する原画像生成手段と、前記擬似原画像を学習信号とし、前記カラー画像において前記注目画素が備える全ての色信号のうち前記擬似原画像に存在しない色信号を教師信号として学習を行い、画素補間フィルタを生成する学習手段と、を備えることを特徴とする。
【００１０】
請求項３に記載の発明は、請求項１または請求項２に記載の画素補間フィルタ生成装置において、前記原画像生成手段は、前記注目画素が備える前記複数の色信号に対応した複数パターンの擬似原画像を生成する手段、を含むことを特徴とする。
【００１１】
請求項４に記載の発明は、請求項１ないし請求項３のいずれかに記載の画素補間フィルタ生成装置において、前記学習手段は、誤差逆伝播法を用いたニューラルネットワーク、
を含むことを特徴とする。
【００１２】
請求項５に記載の発明は、請求項１ないし請求項４のいずれかに記載の画素補間フィルタ生成装置において、前記注目画素は、前記擬似原画像の中心画素であることを特徴とする。
【００１３】
請求項６に記載の発明は、請求項１ないし請求項４のいずれかに記載の画素補間フィルタ生成装置において、前記注目画素は、前記擬似原画像に含まれる複数の画素群であることを特徴とする。
【００１４】
請求項７に記載の発明は、各画素が１つの色成分の信号を備える画像について、各画素に存在しない色成分の信号を補間する画素補間装置であって、各画素が１つの色成分の信号を備える原画像を入力する手段と、前記原画像からブロック原画像を抽出する手段と、前記ブロック原画像に対して、請求項２ないし請求項６のいずれかに記載の画素補間フィルタを作用させることにより、前記原画像の注目画素に存在しない色信号を補間する手段、を備えることを特徴とする。
【００１５】
請求項８に記載の発明は、各画素が１つの色成分の信号を備える画像について、色信号を補間する画素補間装置であって、各画素が１つの色成分の信号を備える原画像を入力する手段と、前記原画像からブロック原画像を抽出する手段と、前記ブロック原画像に対して、請求項１、または、請求項３ないし請求項６のいずれかに記載の画素補間フィルタを作用させることにより、前記原画像の注目画素の全ての色成分の信号を補間する色補間手段、を備えることを特徴とする。
【００１６】
請求項９に記載の発明は、請求項８に記載の画素補間装置において、前記色補間手段は、前記原画像に存在する色成分については、前記原画像が備える色信号と補間された色信号のいずれか一方を選択する手段、を含むことを特徴とする。
【００１７】
請求項１０に記載の発明は、請求項８記載の画素補間装置において、前記色補間手段は、前記原画像に存在する色成分については、前記原画像が備える色信号と補間された色信号を所定の混合比率で混合する手段、を含むことを特徴とする。
【発明の効果】
【００１８】
本発明は、１画素が複数の色信号を備えるカラー画像を、学習画像および教師画像として利用することにより、自動的に色補間フィルタを生成することが可能である。これにより、様々な種類の画像を利用して色補間フィルタを自動生成することが可能となり、精度の高い色補間を行うことが可能である。
【発明を実施するための最良の形態】
【００１９】
以下、図面を参照しつつ本発明の実施の形態について説明する。まず、本明細書で使用する用語の定義を行う。原画像（ＲＡＷ画像）とは、１画素について１つの色成分の信号のみを備える画像を示す。そして、単板式のＣＣＤ等の入力センサから入力した原画像を入力原画像と呼ぶことにする。これに対して、完全画像とは、１画素について複数の色成分の信号を備える画像を示す。たとえば、ＲＧＢ色空間の画像であれば、１画素についてＲ,Ｇ,Ｂの３つの色信号を備える画像が完全画像である。そして、逆に、完全画像から生成された原画像を擬似原画像と呼ぶことにする。
【００２０】
｛１．画素補間フィルタ生成処理｝
図１は、本発明の実施の形態に係る画素補間フィルタ生成装置のブロック図である。画素補間フィルタ装置は、ブロック化手段１、擬似原画像生成手段２、学習手段３、誤差計算手段４を備えている。これら各手段１〜４は、本実施の形態では、ハードウェア回路で構成されているが、これら各手段の一部または全部がソフトウェアで構成されていてもよい。また、ブロック化手段１は、正規化手段１０を備えている。
【００２１】
まず、ブロック化手段１が、画像を入力する。この画像は、１画素についてＲ,Ｇ,Ｂの３つの色信号を備えた完全画像である。この完全画像は、非線形フィルタを生成するための学習画像としての役割と、教師信号としての役割とを持つ。したがって、完全画像としては、評価用標準画像を用いることが好ましい。
【００２２】
ブロック化手段１に入力された完全画像は、まず、正規化手段１０において正規化処理される。完全画像が、たとえば、８ビット画像であれば、１画素の画像は０〜２５５までの整数で与えられることになるが、正規化手段１０では、１画素の画像を０〜１の実数（たとえば、０．１〜０．９の範囲の実数）に正規化する。このような正規化処理を行うのは、後の学習工程において、精度の高い学習を行うためであり、ニューラルネットワークの特性による。
【００２３】
次に、正規化された完全画像は、ブロック化手段１において、例えば、図１２に示すように中心画素Ｐ22を中心とした５×５の領域にブロック化される。図中、Ｐxyは、xを行番号、yを列番号とした場合に規定されるブロック領域内の各座標位置の画素を示している。したがって、完全画像から抽出されたブロック画像であれば、各画素Ｐxyは、それぞれＲ,Ｇ,Ｂの３つの色信号を備えている。
【００２４】
次に、ブロック化された完全画像は擬似原画像生成手段２に入力され、各画素１つの色信号からなる擬似原画像（ＲＡＷ画像）に変換される。擬似原画像とは、例えば、図１３に示すように４画素（縦２画素×横２画素の領域）ごとにＧ信号が２つ、Ｒ信号、Ｂ信号はそれぞれ１つという一定の色配列の規則性を持ったベイヤ配列画像である。ここで、擬似原画像には、中心画素Ｐ22の色信号の選択方法によって図１４に示すような４つの配列パターンＤ１〜Ｄ４が存在する。この４つの配列パターンＤ１〜Ｄ４からなる擬似原画像それぞれを学習画像と呼ぶことにする。
【００２５】
擬似原画像生成手段２において生成された学習画像は、次に、学習手段３に入力される。学習手段３は、図２に示すように、図１４で示した４つの学習画像の配列パターンＤ１〜Ｄ４それぞれに対応する４つのニューラルネットワークＮＮ１,ＮＮ２,ＮＮ３,ＮＮ４から構成される。そして、擬似原画像生成手段２から入力される学習画像の配列パターンＤ１〜Ｄ４の種別によってスイッチ３１,３２が切り替えられ、使用するネットワークが選択される。具体的には、図１４で示した配列パターンＤ１がニューラルネットワークＮＮ１に対応し、配列パターンＤ２がニューラルネットワークＮＮ２に対応し、同様に、配列パターンＤ３,Ｄ４がニューラルネットワークＮＮ３,ＮＮ４に対応している。
【００２６】
ニューラルネットワークＮＮ１〜ＮＮ４のそれぞれは図３および図４に示すように、複数のノード３３,３３,・・・からなる複数の層で構成されている。ここで、ニューラルネットワークＮＮ１〜ＮＮ４は、同様の構成であるので、ニューラルネットワークＮＮｎとして共通の図面を用いて説明する。また、本発明では、ニューラルネットワークＮＮｎの出力信号の数として２種類のパターンを想定する。そこで、出力信号が３つの信号であるニューラルネットワークＮＮｎをニューラルネットワークＮＮｎＡとして図３に示す。一方、出力信号が２つの信号であるニューラルネットワークＮＮｎをニューラルネットワークＮＮｎＢとして図４に示す。
【００２７】
ニューラルネットワークＮＮｎＡおよびＮＮｎＢの階層数、中間層のノード数などは特に限定されるものではなく、経験などに基づいて、回路規模と演算精度のバランスがとられるように構成されればよい。本実施の形態においては、ニューラルネットワークＮＮｎＡおよびＮＮｎＢは、いずれも４層のニューラルネットワークで構成されている。具体的には、擬似原画像の画素Ｐ00〜Ｐ44が入力される入力層と、出力信号Ｓ0,Ｓ1,Ｓ2（ＮＮｎＢでは、Ｓ0,Ｓ1のみ）が出力される出力層と、入力層と出力層の間に階層される２つの中間層から構成されている。
【００２８】
ここで、ニューラルネットワークＮＮｎとしては、図３あるいは図４で示したいずれかを採用することとなるが、ニューラルネットワークＮＮｎＡを用いた場合には、出力信号を３つの信号とする場合と、２つの信号とする場合と両方に適用させることが可能である。以下、ニューラルネットワークＮＮｎＡおよびＮＮｎＢについて、共通の説明は、特に両者を区別せずにニューラルネットワークＮＮｎとして説明する。
【００２９】
以上の構成において、スイッチ３１,３２の切り替えが行われ、使用するネットワークが選択されると、ニューラルネットワークＮＮｎに、擬似原画像である５×５の学習画像が入力される。入力された学習画像は、ネットワークの入力層に入力される。
【００３０】
ニューラルネットワークＮＮｎの各ノード３３は、図５に示すように、メモリ３４と、複数の係数乗算器３５,３５,・・・、加算器３６、ルックアップテーブル回路３７を備えている。メモリ３４には、画素補間フィルタを規定する重み付け係数ｗ、バイアス値ｂ、および、ノード３３の出力信号Ｓoutが格納される。また、後述するバックプロパゲーション（誤差逆伝播法）が実行された際には、修正された重み付け係数ｗ、バイアス値ｂ、および出力信号Ｓoutを逐次更新して格納される。このような係数ｗ,ｂや出力信号Ｓoutは、各ノード３３,３３,・・・,３３の各メモリ３４にそれぞれ固有の値として格納される。そして、各ノード３３においては、入力信号に対して、数１式および数２式で示す演算が行われる。
【００３１】
【数１】
2005217592.tif 000003
【００３２】
【数２】
2005217592.tif 000004
【００３３】
まず、ノード３３に、入力信号Ｓ1,Ｓ2,・・・,Ｓmが入力されると、各入力信号Ｓ1,Ｓ2,・・・,Ｓmに重み付け係数ｗ1,ｗ2,・・・,ｗmが乗算される。ここで、入力信号Ｓ1,Ｓ2,・・・,Ｓmおよび重み付け係数ｗ1,ｗ2,・・・,ｗmの添え字は、前段の層のノード３３,３３,・・・３３に付けられた番号であり、ｍは、前段の層のノード数を示している。また、係数ｗ1,ｗ2,・・・,ｗmは、予めランダムに決定された初期値がメモリ３４に格納されている。なお、図３および図４においては、各ノード３３のｗには２つの添え字を付記している。このうち、後半の添え字は、上記と同様に、前段の層のノードに付けられた番号であり、前半の添え字は、自ノードが所属する層において自ノードに付けられた番号である。
【００３４】
次に、各乗算結果の出力が加算器３６において加算される。ここまでの計算結果が、数１式におけるΣｗi・Ｓiに対応する。さらに、加算器３６においては、バイアス値ｂが加算される。このバイアス値ｂも初期値が予めランダムに選択されてメモリ３４に格納されている。ここまでの計算結果が数１式における（ｂ＋Σｗi・Ｓi）に対応する。
【００３５】
次に、ＬＵＴ回路３７において、sigmoid関数に基づく演算が行われる。Sigmoid関数は、数２式に示すような関数であり、図６に示す入出力関係を持つ関数である。このような関数演算を直接実行するようにしてもよいが、ここでは、演算の高速化を図るために、予め入出力関係をテーブル化した情報を用意し、ＬＵＴ回路３７に入力された入力信号に対して、対応する出力信号を出力するようにしている。この計算結果が数１式に対応する。
【００３６】
このようにして計算された各ノード３３の出力信号Ｓoutは結合した後段の層のノード３３への入力信号となる。このような演算が、２つの中間層、出力層でも同様に実行される。そして、出力層より出力される３つ（あるいは２つ）の出力信号Ｓoutが、ニューラルネットワークＮＮｎの出力信号Ｓ0,Ｓ1,Ｓ2（あるいはＳ0,Ｓ1）である。つまり、ニューラルネットワークＮＮｎＡを使用している場合には、出力信号Ｓ0,Ｓ1,Ｓ2が出力される。ニューラルネットワークＮＮｎＢを使用している場合には、出力信号Ｓ0,Ｓ1が出力される。また、各ノード３３が出力した出力信号Ｓoutは各ノード３３のメモリ３４に格納される。
【００３７】
図１において、ニューラルネットワークＮＮｎの出力層のノード３３の出力信号Ｓ0,Ｓ1,（Ｓ2）は誤差計算手段４に入力される。また、誤差計算手段４には、ブロック化手段１が出力した教師信号（Ｒ22,Ｇ22,Ｂ22）が入力される。この教師信号は、完全画像が保持していた注目画素（ここでは中心画素Ｐ22）の画像情報であり、Ｒ,Ｇ,Ｂの３つの色信号である。そして、学習手段３が出力した出力信号Ｓ0,Ｓ1,Ｓ2（あるいはＳ0,Ｓ1）と、ブロック化手段１の出力である教師信号との間で誤差信号が計算される。
【００３８】
誤差計算手段４において、誤差計算が行われると、誤差信号が学習手段３に出力される。そして、学習手段３では、入力した誤差信号に基づいてバックプロパゲ−ションが行われ、各ノード３３の重み付け係数ｗとバイアス値ｂの値の修正処理が行われる。つまり、バックプロバケーションを行う際には、各ノード３３のメモリ３４に格納されている重み付け係数ｗ、バイアス値ｂおよび出力信号Ｓoutが参照され、修正後の値が更新される。そして、重み付け係数ｗとバイアス値ｂの修正後、再度、出力信号Ｓ0,Ｓ1,（Ｓ2）が出力され、誤差計算が行われる。そして、このような処理を繰り返して行い、誤差が収束した場合、あるいは、所定の閾値を下回った場合に処理を終了する。
【００３９】
このようにして、誤差が収束した時点において、各ニューラルネットワークＮＮｎにおけるノード３３は、最終的に修正された重み付け係数ｗとバイアス値ｂの値をメモリ３４に格納しておく。これにより、各ノード３３に重み付けｗとバイアス値ｂが設定された画素補間フィルタが自動生成されるのである。
【００４０】
次に、以上の処理を、具体例を上げて説明する。
【００４１】
＜学習方法１＞
入力信号としては、中心画素Ｐ22を中心とした５×５のブロック領域のベイヤ配列の擬似原画像を用いる。教師信号としては、中心画素Ｐ22が完全画像において保持していたＲ,Ｇ,Ｂのすべての色信号(Ｒ22,Ｇ22,Ｂ22)を用いる。ニューラルネットワークＮＮｎとしては、３つの出力信号Ｓ0,Ｓ1,Ｓ2を出力するニューラルネットワークＮＮｎＡを用いる。つまり、各ニューラルネットワークＮＮ１Ａ〜ＮＮ４Ａの入力層に必要なノード数は２５個であり、出力層に必要なノード数は３個である。
【００４２】
以上の設定で、バックプロパゲ−ションにより重み付け係数ｗとバイアス値ｂの学習を行う。学習手段３からの出力信号Ｓ0,Ｓ1,Ｓ2と教師信号Ｒ22,Ｇ22,Ｂ22の間で誤差を計算し、それぞれの誤差が収束する、あるいは、誤差が所定の閾値を下回るまで繰り返し処理を行い、条件を満たせば学習を終了する。
【００４３】
このような学習を１つ、あるいは複数の完全画像の一部領域あるいは全領域について複数回繰り返し行い、１回学習セットの学習で得られた誤差信号の累積値が収束したとき学習工程を終了する。
【００４４】
＜学習方法２＞
入力信号として、中心画素Ｐ22を中心とした５×５画素ブロック領域のベイヤ配列の擬似原画像を用いる。教師信号としては、中心画素Ｐ22が完全画像において保持していたＲ,Ｇ,Ｂの３色信号（Ｒ22,Ｇ22,Ｂ22）のうち擬似原画像の中心画素Ｐ22が備えている色信号以外の信号を採用する。
【００４５】
つまり、
配列パターンがＤ１のとき、この擬似原画像の中心画素Ｐ22はＧ信号であるので、これ以外のＲ22,Ｂ22を教師信号とし、
配列パターンがＤ２のとき、この擬似原画像の中心画素Ｐ22はＲ信号であるので、これ以外のＧ22,Ｂ22を教師信号とし、
配列パターンがＤ３のとき、この擬似原画像の中心画素Ｐ22はＢ信号であるので、これ以外のＧ22,Ｒ22を教師信号とし、
配列パターンがＤ４のとき、この擬似原画像の中心画素Ｐ22はＧ信号であるので、これ以外のＲ22,Ｂ22を教師信号とする。
【００４６】
ニューラルネットワークＮＮｎとしては、２つの出力信号Ｓ0,Ｓ1を出力するニューラルネットワークＮＮｎＢを用いる。つまり、各ニューラルネットワークＮＮ１Ｂ〜ＮＮ４Ｂの入力層に必要なノード数は２５個であり、出力層に必要なノード数は２個である。
【００４７】
以上の設定で、バックプロパゲ−ションにより重み付け係数ｗとバイアス値ｂの学習を行う。学習手段３からの出力信号Ｓ0,Ｓ1と教師信号Ｒ22,Ｇ22,Ｂ22のうちのいずれか２つの信号の間で誤差を計算し、誤差が収束、あるいは所定の閾値を下回るまで繰り返し処理を行い、条件を満たせば学習を終了する。
【００４８】
このような学習を１つ、あるいは複数の完全画像の一部領域あるいは全領域について複数回繰り返し行い、１回学習セットの学習で得られた誤差信号の累積値が収束したとき学習工程を終了する。
【００４９】
なお、上記学習方法１および学習方法２において、学習に用いる擬似原画像は、一つの中心画素Ｐ22について１種類の配列パターンを用いてもよいし、あるいは図１４で示した４種類全部の配列パターンを用いるようにしてもよい。この場合には、１つの中心画素Ｐ22について４つのニューラルネットワークＮＮ１〜ＮＮ４が１回ずつ学習されることになる。
【００５０】
｛２．画素補間処理｝
次に、上記処理によって生成された非線形フィルタである画素補間フィルタを利用した画素補間処理について説明する。図７は、画素補間装置のブロック図である。画素補間装置は、ブロック化手段５と色補間手段６とを備えている。これら各手段５,６は、本実施の形態では、ハードウェア回路で構成されているが、これら各手段の一部または全部がソフトウェアで構成されていてもよい。また、ブロック化手段５は、正規化手段５０を備え、色補間手段６は、逆正規化手段６０を備えている。
【００５１】
まず、ブロック化手段５が、画像を入力する。この画像は、１画素についてＲ,Ｇ,Ｂのうち、いずれか１つの色信号を備えたベイヤ配列の原画像である。この原画像は、例えば、単板式のＣＣＤ等の入力センサから出力された原画像であり、上述したように入力原画像と呼ぶ。
【００５２】
ブロック化手段５に入力された入力原画像は、まず、正規化手段５０によって正規化処理が行われる。入力原画像が、たとえば、８ビット画像であれば、１画素の画像は０〜２５５までの整数で与えられることになるが、正規化手段５０では、１画素の画像を０〜１の実数（たとえば、０．１〜０．９の範囲の実数）に正規化する。このような正規化処理を行うのは、学習手段３において用いられた学習画像（正規化された画像）の画像情報に適合させるためである。
【００５３】
次に、正規化された入力原画像は、ブロック化手段５において、ブロック化される。このブロック領域は、図１２に示したものと同様に、中心画素Ｐ22を中心とした５×５画素の領域である。ただし、入力原画像から抽出されたブロック画像であるので、各画素Ｐxyは、Ｒ,Ｇ,Ｂのうちいずれか１つの色信号のみを備えている。
【００５４】
次に、ブロック化された入力原画像は色補間手段６に入力される。そして、ブロック化された入力原画像の注目画素について色補間処理が行われる。ここでは、ブロック画像の中心画像Ｐ22を注目画素として色補間処理を行う。
【００５５】
色補間手段６の処理内容について説明する。以下に示すように、色補間手段６として、図８から図１１に示す４つの実施の形態を説明する。
【００５６】
＜色補間手段６Ａ＞
色補間手段６Ａは、図８に示すように、学習手段３を備えている。この学習手段３は、上述した学習工程で既に学習が終了し、各ノード３３に適切な重み付け係数ｗとバイアス値ｂが設定された状態となっている。
【００５７】
ブロック化された入力原画像は、２５個の画素列として色補間手段６Ａに入力される。そして、２５個の画素列とともに、この入力原画像の配列パターンを指定した信号が学習手段３に入力される。配列パターンを指定した信号とは、図１４で示した配列パターンＤ１〜Ｄ４のいずれかを指定する信号である。つまり、ブロック化された入力原画像が、どの配列パターンに属するものであるかを指定する信号である。
【００５８】
色補間手段６Ａの学習手段３では、入力した配列パターン信号に従って、スイッチ３１,３２が切り替えられ、学習工程と同様に配列パターンに応じたニューラルネットワークＮＮｎが選択接続される。
【００５９】
一方、入力された入力原画像は各層の各ノード３３において数１式で表される演算が行われ、ニューラルネットワークＮＮｎの出力層のノード３３の出力信号として、入力原画像に存在しない補間された２つの色信号が出力される。つまり、ネットワークとしてニューラルネットワークＮＮｎＢを利用することができる。この図８で示した実施の形態では、入力原画像の中心画素Ｐ22に対応する色成分については色補間処理は行われず中心画素Ｐ22の画素値をそのまま採用する。
【００６０】
つまり、
配列パターンがＤ１のとき、Ｇ22は、入力原画像の中心画素Ｐ22の信号値を採用し、Ｒ22およびＢ22は補間された信号値を採用し、
配列パターンがＤ２のとき、Ｒ22は、入力原画像の中心画素Ｐ22の信号値を採用し、Ｇ22およびＢ22は補間された信号値を採用し、
配列パターンがＤ３のとき、Ｂ22は、入力原画像の中心画素Ｐ22の信号値を採用し、Ｇ22およびＲ22は補間された信号値を採用し、
配列パターンがＤ４のとき、Ｇ22は、入力原画像の中心画素Ｐ22の信号値を採用し、Ｒ22およびＢ22は補間された信号値を採用する。
【００６１】
このようにして、注目画素について、Ｒ,Ｇ,Ｂの３色信号が生成され、色補間処理が行われたことになる。そして、このような補間処理を、全ての画素について実行する。つまり、入力原画像の中で注目画素を移動させつつ、各注目画素について色補間処理を実行するのである。これにより、図１５で示したように、入力原画像の全ての画素について、Ｒ,Ｇ,Ｂの全ての色信号が補間され、完全画像が生成される。
【００６２】
＜色補間手段６Ｂ＞
色補間手段６Ｂは、図９に示すように、学習手段３を備えている。色補間手段６Ｂについては、色補間手段６Ａと異なる部分のみ説明する。
【００６３】
色補間手段６Ｂでは、ニューラルネットワークＮＮｎの出力層のノード３３の出力信号として、Ｒ,Ｇ,Ｂ全ての３つの色信号が出力される。つまり、ネットワークとしてニューラルネットワークＮＮｎＡを採用している。この実施の形態では、入力原画像の中心画素Ｐ22に対応する色成分についても色補間処理を行い、中心画素Ｐ22については、全て色補間後の画素値を採用するのである。つまり、配列パターンの種別によらず、Ｇ22、Ｒ22およびＢ22は全て補間された信号値を採用する。
【００６４】
そして、同様に、このような補間処理を、全ての画素について実行する。つまり、入力原画像の中で注目画素を移動させつつ、各注目画素について色補間処理を実行するのである。これにより、図１５で示したように、入力原画像の全ての画素について、Ｒ,Ｇ,Ｂの全ての色信号が補間され、完全画像が生成される。
【００６５】
＜色補間手段６Ｃ＞
色補間手段６Ｃは、図１０に示すように、学習手段３を備えている。色補間手段６Ｃについても、色補間手段６Ａと異なる部分のみ説明する。
【００６６】
色補間手段６Ｃにおいて、ニューラルネットワークＮＮｎの出力層のノード３３からは、出力信号として、Ｒ,Ｇ,Ｂ全ての３つの色信号が出力される。つまり、ネットワークとしてニューラルネットワークＮＮｎＡを採用している。また、図に示すように、入力原画像の中心画素Ｐ22が保持していた画素値と、学習手段３から出力された中心画素Ｐ22と同色画素の画素値とのうち、いずれか一方を出力するためのスイッチ５１が設けられている。この実施の形態では、入力原画像の注目画素である中心画素Ｐ22があらかじめ保持していた色成分についても色補間処理を行う。そして、中心画素Ｐ22が保持していなかった色成分の信号については、色補間後の画素値を採用し、中心画素Ｐ22があらかじめ保持していた色成分の信号については、保持していた信号値と補間処理後の信号値のいずれかを採用するようにしているのである。
【００６７】
そして、同様に、このような補間処理を、全ての画素について実行する。つまり、入力原画像の中で注目画素を移動させつつ、各注目画素について色補間処理を実行するのである。これにより、入力原画像の全ての画素について、Ｒ,Ｇ,Ｂの全ての色信号が補間され、完全画像が生成される。
【００６８】
＜色補間手段６Ｄ＞
色補間手段６Ｄは、図１１に示すように、学習手段３を備えている。色補間手段６Ｄについても、色補間手段６Ａと異なる部分のみ説明する。
【００６９】
色補間手段６Ｄにおいて、ニューラルネットワークＮＮｎの出力層のノード３３からは、出力信号として、Ｒ,Ｇ,Ｂ全ての３つの色信号が出力される。つまり、ネットワークとしてニューラルネットワークＮＮｎＡを採用している。
【００７０】
また、図に示すように、入力原画像の中心画素Ｐ22が保持していた画素値と、学習手段３から出力された中心画素Ｐ22と同色画素の画素値とを混合するための混合手段５２が設けられている。この実施の形態では、入力原画像の注目画素である中心画素Ｐ22が保持していた色成分についても色補間処理を行う。そして、中心画素Ｐ22が保持していなかった色成分の信号については、色補間後の画素値を採用する。そして、中心画素Ｐ22が保持していた色成分の信号については、保持していた信号値と補間処理後の信号値を混合した色信号を採用するのである。たとえば、混合比率ｋが与えられ、補間処理によって生成された画素値にｋを乗算し、入力原画像が備えていた中心画素Ｐ22の画素値に１−ｋを乗算する。そして、これらの乗算値を加算した結果を採用するのである。
【００７１】
そして、同様に、このような補間処理を、全ての画素について実行する。つまり、入力原画像の中で注目画素を移動させつつ、各注目画素について色補間処理を実行するのである。これにより、入力原画像の全ての画素について、Ｒ,Ｇ,Ｂの全ての色信号が補間され、完全画像が生成される。
【００７２】
以上のように、色補間手段６Ａから６Ｄにおいて色補間処理が実行されると、逆正規化手段６０において、Ｒ,Ｇ,Ｂの各信号値が、所定のビット幅の信号に変換される。たとえば、１画素８ビットの画像を出力するのであれば、各画素値は０〜２５５の整数に変換される。
【００７３】
｛３．変形例｝
上記各実施の形態においては、注目画素は１画素である場合を例に説明した。すなわち、完全画像から擬似原画像を生成した後、擬似原画像の中心画素Ｐ22を注目画素として学習工程を行った。そして、画素補間工程においても、中心画素Ｐ22を注目画素として補間処理を行った。
【００７４】
図１６で示す変形例は、注目画素が複数の画素で構成される。ここでは、図中の領域Ｓ内の９つの画素を注目画素とするものである。この場合にも、上述した実施の形態と同様の処理で、色補間フィルタを生成するとともに、色補間処理を実行することが可能である。なお、図で示す７×７画素のブロックは、擬似原画像として、あるいは、入力原画像として以下の説明で用いる。
【００７５】
図３および図４で示したニューラルネットワークＮＮｎは、出力信号として３個、あるいは、２個の信号を出力可能である。これに対して、図１６で示す９個の画素を注目画素とする色補間フィルタを生成するためには、出力信号として２７個、あるいは、１８個の信号を出力可能なニューラルネットワークＮＮｎを用いればよい。つまり、擬似原画像の領域Ｓ内の９個の注目画素が保持している画素値も含めて全ての色成分の信号を教師信号として、色補間フィルタを生成する場合であれば、１画素につき３個の色信号、つまり、２７個の出力信号が必要である。色補間処理を行う場合も、同様に、入力原画像の領域Ｓ内の９個の注目画素について、全ての色成分の信号値を補間処理後の画素値で置き換える場合には、２７個の出力信号を必要とする。あるいは、図１０、図１１で示したように、原画像の信号値と補間後の信号値の両方を必要とする場合にも、２７個の出力信号を必要とする。
【００７６】
そして、図で示したように、７×７画素のブロック領域を学習画像とし、２７個の出力信号を出力する画素補間フィルタを生成するためには、ニューラルネットワークは、入力層として４９個のノード備え、出力層として２７個のノードを備えるものを用いればよい。そして、中間層の数、あるいは、中間層のノード数は、補間精度および回路規模のバランスをとりながら最適なものを選択すればよい。
【００７７】
これに対して、擬似原画像の領域Ｓ内の９個の注目画素が保持している画素値は、そのまま、その画素値を採用し、それ以外の色成分の信号のみを教師信号として、色補間フィルタを生成する場合であれば、１画素につき２個の色信号、つまり、１８個の出力信号が必要である。色補間処理を行う場合も、同様に、入力原画像の領域Ｓ内の９個の注目画素について、２つの色成分の信号値を補間処理後の画素値で置き換える場合には、１８個の出力信号を必要とする。
【００７８】
そして、７×７画素のブロック領域を学習画像とし、１８個の出力信号を出力する画素補間フィルタを生成するためには、ニューラルネットワークは、入力層として４９個のノード備え、出力層として１８個のノードを備えるものを用いればよい。そして、中間層の数、あるいは、中間層のノード数は、最適なものを選択すればよい。
【００７９】
｛その他｝
上記実施の形態では画像（完全画像、原画像等）はＲＧＢの３つの色成分からなるものについての説明を行ったが、本発明の画素補間フィルタ生成装置および画素補間装置は、これに限らず、例えばシアン、マゼンタ、イエロー、グリーンの４つの色成分からなる表色系、あるいはグリーン、レッド、ブルー、エメラルドの４つの色成分からなる表色系、あるいは、他の４つあるいは４つ以上の色成分をもった表色系の画像についても同様に処理可能である。
【００８０】
また、配列パターンはベイヤ配列方式に限らず、インターライン方式、ストライプ方式あるいはハニカム配列など、一定の規則性をもった配列パターンであればどんな原画像であっても適用可能である。
【００８１】
また、上記実施例の説明においては学習画像を５×５のブロック化された画素領域、あるいは、７×７のブロック化された画素領域としたが、学習画像はこれに限らず、任意の大きさ、任意の形状をもった領域の画像信号を用いることも可能である。
【図面の簡単な説明】
【００８２】
【図１】画素補間フィルタ生成装置のブロック図である。
【図２】学習手段のブロック図である。
【図３】ニューラルネットワークのブロック図である。
【図４】ニューラルネットワークのブロック図である。
【図５】ニューラルネットワークが備える各ノードのブロック図である。
【図６】各ノードが備えるＬＵＴの入出力関係を示す図である。
【図７】色補間装置のブロック図である。
【図８】色補間手段のブロック図である。
【図９】色補間手段のブロック図である。
【図１０】色補間手段のブロック図である。
【図１１】色補間手段のブロック図である。
【図１２】ブロック化された画像を示す図である。
【図１３】完全画像と完全画像から生成された擬似原画像を示す図である。
【図１４】生成される擬似原画像の配列パターンを示す図である。
【図１５】入力原画像から生成された補間画像を示す図である。
【図１６】複数の画素を注目画素として補間フィルタを適用させる実施例を示す図である。
【符号の説明】
【００８３】
３      学習手段
６      色補間手段
３３    ノード
ＮＮｎＡ,ＮＮｎＢ    ニューラルネットワーク
【図１】
2005217592.tif 000005
【図２】
2005217592.tif 000006
【図３】
2005217592.tif 000007
【図４】
2005217592.tif 000008
【図５】
2005217592.tif 000009
【図６】
2005217592.tif 000010
【図７】
2005217592.tif 000011
【図８】
2005217592.tif 000012
【図９】
2005217592.tif 000013
【図１０】
2005217592.tif 000014
【図１１】
2005217592.tif 000015
【図１２】
2005217592.tif 000016
【図１３】
2005217592.tif 000017
【図１４】
2005217592.tif 000018
【図１５】
2005217592.tif 000019
【図１６】
2005217592.tif 000020