(57)【要約】【課題】エリアジングノイズを好適に抑制可能な補間処理方法、補間処理プログラム及び撮像装置を提供する。【解決手段】被写体像を光電変換して得られた画像データに対し、補間データを用いて補間処理を行う補間処理方法（プログラム）であって、被写体情報を推定する第１のステップと、被写体情報に基づいて第１の入力画像データを生成する第２のステップと、第１の入力画像データから前記画像データへの第１の変換データを生成する第３のステップと、第１の入力画像データから補間処理後の補間画像データへの第２の変換データを生成する第４のステップと、第１及び第２の変換データを用いて補間データを生成する第５のステップとを有する。【選択図】  図１
2006203296.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を光電変換して得られた画像データに対し、補間データを用いて補間処理を行う補間処理方法であって、
被写体情報を推定する第１のステップと、
前記被写体情報に基づいて第１の入力画像データを生成する第２のステップと、
前記第１の入力画像データから前記画像データへの第１の変換データを生成する第３のステップと、
前記第１の入力画像データから補間処理後の補間画像データへの第２の変換データを生成する第４のステップと、
前記第１及び第２の変換データを用いて前記補間データを生成する第５のステップとを有することを特徴とする補間処理方法。
【請求項２】
前記第１のステップにおいて、前記画像データに基づいて前記被写体情報を推定することを特徴とする請求項１に記載の補間処理方法。
【請求項３】
前記被写体情報は、被写体の周波数分布であることを特徴とする請求項１又は２に記載の補間処理方法。  
【請求項４】
被写体像を光電変換して得られた画像データに対し、補間データを用いて補間処理を行う補間処理プログラムであって、
被写体情報を推定する第１のステップと、
前記被写体情報に基づいて第１の入力画像データを生成する第２のステップと、
前記第１の入力画像データから前記画像データへの第１の変換データを生成する第３のステップと、
前記第１の入力画像データから補間処理後の補間画像データへの第２の変換データを生成する第４のステップと、
前記第１及び第２の変換データを用いて前記補間データを生成する第５のステップとを有することを特徴とする補間処理プログラム。
【請求項５】
前記第１のステップにおいて、前記画像データに基づいて前記被写体情報を推定することを特徴とする請求項４に記載の補間処理プログラム。
【請求項６】
前記被写体情報は、被写体の周波数分布であることを特徴とする請求項４又は５に記載の補間処理プログラム。  
【請求項７】
請求項４から６のいずれか１つに記載の補間処理プログラムに基づいて前記補間データを生成する補間データ生成手段と、
前記補間データを用いて補間処理を行う制御手段とを有することを特徴とする撮像装置。
【請求項８】
被写体像を光電変換して画像データを取得する画像データ取得手段を有し、
前記制御手段が前記画像データに対して補間処理を行うことを特徴とする請求項７に記載の撮像装置。
【請求項９】
請求項４から６のいずれか１つに記載の補間処理プログラムにより生成された前記補間データを記憶する記憶手段と、
前記補間データを用いて補間処理を行う制御手段とを有することを特徴とする撮像装置。
【請求項１０】
被写体像を光電変換して画像データを取得する画像データ取得手段を有し、
前記制御手段が前記画像データに対して補間処理を行うことを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記記憶手段は、前記補間処理プログラムにより生成された複数種類の補間データを記憶しており、
前記制御手段が、前記複数種類の補間データのうち、前記画像データに基づいて少なくとも１つの補間データを選択し、選択された前記補間データを用いて前記画像データに対して補間処理を行うことを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
被写体像を光電変換して得られた画像データに対し、補間データを用いた補間処理を行う補間処理装置であって、
被写体情報を推定する被写体情報推定手段と、
前記被写体情報に基づいて第１の入力画像データを生成する入力画像データ生成手段と、
前記第１の入力画像データから前記画像データへの第１の変換データを生成するとともに、前記第１の入力画像データから補間処理後の補間画像データへの第２の変換データを生成する変換データ生成手段と、
前記第１及び第２の変換データを用いて前記補間データを生成する補間データ生成手段と、
前記補間データを用いて補間処理を行う制御手段とを有することを特徴とする補間処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置から得られる画像のノイズを抑制するための補間処理に関する。
【背景技術】
【０００２】
従来、デジタルカメラ等の撮像素子（ＣＣＤセンサ、ＣＭＯＳセンサ等のイメージセンサ）を有する撮像装置では、撮影レンズ系により結像した像をイメージセンサでサンプリングすることで偽色やモアレ縞等のエリアジングノイズが発生する。
【０００３】
一般に通常のノイズは、統計的な性質を考慮することである程度抑制できるが、エリアジングノイズは、被写体に依存して画像の大域的に発生することが多く、通常のノイズ対策を適用することは難しい。
【０００４】
このエリアジングノイズを抑制する方法の一つとして、画素間に存在すべき画素値を補間処理で推定し、サンプリング前の画像を復元する方法が挙げられる。この方法では、エリアジングノイズの抑制量が補間処理に影響されるため、補間処理の選択が重要となる。
【０００５】
従来から撮像装置（撮像系）で用いられる補間処理方法は、例えば、非特許文献１、２に記載の方法が知られている。撮像系で用いられるこれらの補間処理は、色フィルタ配列により各色毎にサンプリングされた画像から全色を有する完全な取得画像を復元するために用いられる。その他に、コンボリューション演算を基本としたものには、nearest neighbor法、bilinear法、cubic convolution法等が知られている。
【０００６】
また、事前に取得された被写体情報を用いた補間処理方法としては、局所領域におけるＲ色とＧ色及びＢ色とＧ色の強度比が一定であると仮定することで色強度値を推定する方法や、被写体形状をエッジ部分等に分割してから色を推定する方法が提案されている。
【０００７】
さらには、一般逆行列のようにより高度な画像復元技術を応用して高い精度での画像復元を行う補間処理方法も提案されている。特許文献１には、原画像から観察画像への写像を行列表記した感度関数を用いて画像を復元する補間処理方法が提案されている。
【特許文献１】特開平６−９８１７０（段落００７０〜００９５、図１、図２等）
【非特許文献１】T.Sakamoto et al.,IEEE Trans.on Cons.Elec.,44,1342-1352 (1998)
【非特許文献２】J.Mukherjee,Patt.Rec.Lett.22、339-351(2001)
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上記従来のように、イメージセンサでサンプリング前の像を復元することでエリアジングノイズを抑制することは可能であるが、このエリアジングノイズを抑制するためには、高いレベルでの補間精度を必要とする。しかし、コンボリューション演算に基づいたnearest neighbor法や被写体の色情報、エッジ情報を用いた方法等は、補間対象画素のごく近傍の画素値のみを用いて補間処理を行っているため、補間精度が低く、エリアジングノイズの抑制効果が低下してしまう。
【０００９】
また、上記特許文献１の補間復元方法のように、原画像から観察画像への写像のみを考慮しても、エリアジングノイズが被写体に依存して発生しているため、制御できない。
【００１０】
そこで、本発明の例示的な目的は、エリアジングノイズを好適に抑制可能な補間処理方法、補間処理プログラム及び撮像装置を提供することにある。
【課題を解決するための手段】
【００１１】
本発明の１つの観点としての補間処理方法（プログラム）は、被写体像を光電変換して得られた画像データに対し、補間データを用いて補間処理を行う補間処理方法であって、被写体情報を推定する第１のステップと、被写体情報に基づいて第１の入力画像データを生成する第２のステップと、第１の入力画像データから前記画像データへの第１の変換データを生成する第３のステップと、第１の入力画像データから補間処理後の補間画像データへの第２の変換データを生成する第４のステップと、第１及び第２の変換データを用いて補間データを生成する第５のステップとを有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、被写体情報に基づいて生成された第１の入力画像データに応じて補間データを生成しているので、エリアジングノイズの被写体への依存性を考慮したノイズ抑制が可能となる。
【００１３】
したがって、従来の補間処理では困難であったエリアジングノイズ抑制を好適に制御することが可能となり、良好な画像を復元することができる。
【発明を実施するための最良の形態】
【００１４】
以下に本発明の実施例について説明する。
【００１５】
まず、実施例での説明に先立ち、本実施例で使用するベクトル、ベクトル空間及び座標系について説明する。本実施例で用いるベクトルは、位置座標を用いて表現したものではなく、物体の輝度値や周波数強度値に次元を与えたもので、例えば、撮像装置で取得した画像は、各画素値を成分としたベクトルｘとして以下のように表現できる。
【００１６】
【数１】
2006203296.tif 000003
ここで、ａi（ｉ＝１、２、・・・、Ｎ）はＩ番目の画素値、Ｎは総画素数である。
【００１７】
そして、本実施例では、このような多次元ベクトル空間を扱い、該多次元ベクトル空間では、座標変換によってデータの表現形態を変えることができる。例えば、数式１に示すベクトルｘに対して次式のような座標変換を行うことで画像の周波数分布ｘ´を求めることができる。
【００１８】
【数２】
2006203296.tif 000004
ＦはＮ×Ｎ次元の周波数基底を表わす行列であり、Ｆの列ベクトルｆi（ｉ=１、２、・・・、Ｎ）はＮ個の周波数に対応する成分分布を有する。変換後の座標系では、ｆiが基底ベクトルとなる。
【００１９】
また、座標系は相対的に決まるため、基準となる座標系（単位ベクトルを基底ベクトルとする座標系）を定義する必要があるので、数式１のように画素毎に次元を与えた座標系を画素座標系と称して基準座標とする。
【実施例１】
【００２０】
図１は本発明の実施例１に係る補間処理方法（補間処理プログラム）を説明するためのフローチャート図である。本実施例における補間処理は、デジタルカメラ、デジタルビデオカメラ等の撮像装置の撮像光学系（レンズ、ミラー、回折格子等を任意に含んでいて構わない）を介して、撮像装置のイメージセンサ等の受光素子（ＣＣＤやＣＭＯＳ等の光電変換素子）で取得した出力画像データを、撮像装置内の演算回路や外部の演算装置等に入力して（Ｓ１０１）、画素座標系のベクトルとして表現するとともに、補間行列（補間データ）Ｈを生成する（Ｓ１０２）。そして、生成された補間行列Ｈと出力画像データとを積算し（Ｓ１０３）、補間処理後の補間画像データを得る（Ｓ１０４）。
【００２１】
ここで、本実施例の補間処理方法における補間行列Ｈの生成手順を説明する。まず、図１、図２に示すように、物体座標系３を撮像光学系等を介して撮像する（すなわち、変換行列Ｓo（変換データＳo）を用いて変換する）ことにより得られる出力座標系（出力画像データ）１、目標座標系（補間画像データ）２、仮想入力座標系（第１の入力画像データ）４を設定する。そして、仮想入力座標系４から出力座標系１への写像である変換行列（第１の変換データ）Ｓと該仮想入力座標系から目標座標系２への写像である変換行列（第２の変換データ）Ｓiを求め（Ｓ１０２２）、変換行列Ｓの一般逆行列Ｓ‐gを算出する（Ｓ１０２３）。この変換行列Ｓ、Ｓiを用いて補間行列Ｈ＝ＳiＳ-g を生成する（Ｓ１０２４）。
【００２２】
このため、補間処理された補間画像ｘ´は、撮像系の出力画像をｘとして以下のように与えられる。
【００２３】
【数３】
2006203296.tif 000005
【００２４】
図２は本実施例で用いるベクトル空間、座標系、写像の関係を示す図であり、出力座標系１は、撮像系の出力画像ベクトルの座標系、目標座標系２はエリアジングノイズが制御された理想的な画像ベクトル（補間処理後の画像ベクトル）の座標系である。これらの座標系が属するベクトル空間は、撮像系の出力画像を構成する画素数Ｎより大きい次元Ｎ´を有するように設定している。このＮ´は、被写体の離散化モデルである原画像の画素数に相当しており、出力座標系１と目標座標系２は、Ｎ´次元ベクトル空間の部分空間として構成されることになる。
【００２５】
そして、本実施例では出力座標系１と目標座標系２としては通常、画素座標系を用いるが、原理的にはユーザーが目的に応じて任意に選択できる。また、エリアジングノイズを説明する場合には周波数座標系を用いており、計算対象である補間行列Ｈは図２に示すように出力座標系１から目標座標系２への変換行列となる。
【００２６】
なお、出力座標系１と目標座標系２が構成する各々の部分空間は異なるため、変換基準を設けなければ補間行列Ｈが無数に存在することになってしまうので、物体座標系３、つまり原画像（被写体）を表現する画素座標系を設けている。
【００２７】
仮想入力座標系４は、基底ベクトルが正規化されておらず、ノルムが小さい基底ベクトルが存在することを特徴とした座標系である。なお、仮想入力座標系と称しているのは、物体座標系３の基底ベクトルとは異なる基底ベクトルを有しており、ベクトル値が原画像そのものを表さないことを明確に表現するためである。
【００２８】
そして、本実施例ではこのように設定された各座標系を用いて図２に示すように、補間行列Ｈを出力座標系１→仮想入力座標系４→目標座標系２の経路に沿って生成する。
【００２９】
次に、エリアジングノイズと座標変換行列の関係について説明する。エリアジングノイズは広義解釈すると周波数成分だけに限った問題ではないが、ここでは一般的に数式４に示す周波数成分の伝播を用いて説明する。
【００３０】
【数４】
2006203296.tif 000006
ｘνは原画像、ｘν´は出力画像を周波数座標系で表わしたベクトルであり、Ｓνは座標系間の写像を表わす行列である。この行列Ｓνは撮像系の結像関係に基づいて求めることができる。例えば、撮像系が光学系によるデフォーカスとサンプリング処理により構成される場合、撮像系の結像関係は以下のように近似できる。
【００３１】
【数５】
2006203296.tif 000007
ここで、ｘpとｘp´は各々原画像と出力画像を画素座標系で表わしたベクトル、Ｓpはその写像を表わす行列であり、サンプリング行列Ｐsとデフォーカス行列Ｐdの積で表現できる。
【００３２】
サンプリング行列Ｐsは図３（ａ）に示すような対角行列で、対角成分が１である次元の画素をサンプリングしている。デフォーカス行列Ｐdは光学系やイメージセンサの画素開口での電荷拡散によるデフォーカスを表わす行列で、図３（ｂ）に示すように対角成分の近傍の成分に値を有する行列である。デフォーカス量やサンプル点数の情報は既知であるため、Ｓpは容易に求めることができ、数式４の関係式は、以下の数式６のように基底関数を変換して得られる。Ｆは周波数基底行列である。
【００３３】
【数６】
2006203296.tif 000008
【００３４】
次に、理想的な行列Ｓνの成分の絶対値の分布を図４（ａ）に示す。この行列Ｓνは入出力の周波数成分が１対１に対応し、ＭＴＦに相当する重み付けがされるような対角行列であることが望ましい。
【００３５】
しかし、サンプリング行列により行列Ｓνの成分は図４（ｂ）に示すように非対角成分にも高いピーク値を有するので、結果として、出力画像ｘν´の周波数成分に対応しない入力周波数成分が混入することになり、混入した成分がエリアジングノイズとなる。エリアジングノイズの一種であるモアレ縞は、特定の低周波成分に相当する縞模様が画像中に現れるものであるが、これは混入した成分により周波数強度値が強められた結果として理解できる。
【００３６】
次に、一般逆行列とエリアジングノイズとの関係について説明する。一般逆行列に関しては、W．Menke，Geophysical Data Analysis: Discrete Inverse Theory，Academic Press（1989：邦訳版）に記載されている。本実施例ではエリアジングノイズと関連付けが行い易いように数式４に示したＳνの一般逆行列を生成する。Ｓνの一般逆行列Ｓν-gの導出には、数式７に示す特異値分解の結果を用いる。
【００３７】
【数７】
2006203296.tif 000009
ここで、Ｕ、Ｖは各々入出力座標系の次元と同じ次元を持つユニタリ行列（複素転置行列が逆行列になる行列）であり、Λはｐ個の０でない対角成分を有する対角行列である。これに対して一般逆行列は数式８で与えられる。
【００３８】
【数８】
2006203296.tif 000010
添え字ｐは数式７のΛの対角成分の内の０でない成分の総数である。添え字ｐが付加された行列は、数式７に示す行列から０でない対角成分に対応する次元の列ベクトルのみを残した行列を示す。εはバイアス成分であり、Ｉは単位行列である。
【００３９】
図５は特異値分解と一般逆行列の関係を示した図であり、特異値分解は入力座標系１１から出力座標系１２への行列（写像）ＳνをＵ、Ｖにより座標変換した発信座標系１３と受信座標系１４を介して表現したものである。なお、発信、受信と称したのは、発信座標系１３で表現されたベクトルの成分は混信せずに受信座標系１４のベクトル成分に伝達されるからである。
【００４０】
発信座標系１３から受信座標系１４への写像は対角行列Λであり、対角成分は伝達されるベクトル成分の減衰率を表わしている。発信座標系１３において、減衰率が０でないベクトル成分を信号成分と称し、その基底ベクトルを信号基底ベクトルと称することにする。
【００４１】
そして、一般逆行列は受信座標系１４と発信座標系１３を介して特異値分解を逆に辿る変換なので信号成分以外は復元されない。このため、信号基底ベクトルのみで構成される低次元の座標系のみが復元されることになる。また、減衰率が０に近い成分において復元時にノイズが増幅されることを防止したい場合は、バイアス成分εを用いた方式を用いる。
【００４２】
仮に信号基底ベクトルがナイキスト周波数以下の周波数基底ベクトルである場合、一般逆行列で得られた画像は見た目に正確に復元されることになる。しかし、図４に示すように行列Ｓνはナイキスト周波数以上の周波数成分を低周波成分に混入させるので、画像が正確に復元されることはない。
【００４３】
また、行列Ｓν-gは数式７と数式８により一意に決定されるため、一般逆行列を求める式を操作することでエリアジングノイズ抑制効果を得ることはできない。言い換えれば、行列Ｓνの一般逆行列を利用しても、エリアジングノイズを含んだ画像が復元されるため、ノイズ抑制効果は低い。
【００４４】
そこで、本実施例では入力座標系１１から出力座標系１２への座標変換ではなく、仮想入力座標系４を採用し、補間行列Ｈを出力座標系１→仮想入力座標系４→目標座標系２の経路に沿って生成する。以下に、本実施例における座標系選択方法を説明する。本実施例の仮想入力座標系４は、基底ベクトルがＮ´より低次元の部分空間を近似的に構成するように選択しているので、被写体の周波数分布の推定を基にした方法を示す。
【００４５】
まず、数式４で示される原画像と出力画像の周波数分布について説明する。このときの入力画像ベクトルｘνが図６（ａ）で示されるような分布を有すると仮定する（周波数成分は複素数であるが、ここでは成分の絶対値を示している）。
【００４６】
この入力画像ベクトル（被写体）を完全に推定することは実際には不可能であるが、出力画像の周波数分布に基づいて、入力画像ベクトルのおおよその範囲を推定することは可能である。
【００４７】
そして、本実施例では図６（ａ）に示す推定された入力画像ベクトルの成分よりも０．０１だけ大きな値に推定範囲の上限があるとして、この上限値分布を基に図６（ｂ）に示すような重み付け成分を行列として抽出する。この結果を用いて数式４を以下のように変形する。
【００４８】
【数９】
2006203296.tif 000011
Ｍは図６（ｂ）で抽出した重み付け行列、ｘvirは図６（ｃ）で示す抽出後のベクトルである。最終的にｘvir の座標系を仮想入力座標系４として採用する。
【００４９】
なお、入力画像ベクトルｘνの座標系の基底ベクトルは周波数基底行列Ｆの列ベクトルであったため、ｘvirの座標系の基底ベクトルは行列ＦＭの列ベクトルとなる。行列ＦＭは行列Ｍの対角成分の重み付け分布に従って各基底ベクトル成分の絶対値を抑制した行列であり、仮想入力座標系４は、この行列ＦＭにより物体座標系３に変換できる。
【００５０】
いくつかの基底ベクトルが十分に抑制されている場合には、行列ＦＭが構成する座標系はノルムが抑制されていない基底ベクトルで構成される低次元部分空間を近似的に構成することになる。
【００５１】
このように仮想入力座標系４を選択したとき、行列Ｓの特異値分解では、図５に示される発信座標系１３の次元数を削減した時と同じような効果が得られる。ノルムが抑制されていない基底ベクトルの数を発信座標系１３の有効次元数とすると、受信座標系１４の次元数との差が小さくなり、被写体が持つ情報の大部分が信号成分として伝達される。このため、原画像構成情報の復元精度が向上し、エリアジングノイズの抑制効果が高まることになる。
【００５２】
本実施例では、入力画像データ（被写体）に対して、このように求められた第１の入力画像データ（仮想入力座標系４）から出力座標系１への変換行列Ｓと、仮想入力座標系４から目標座標系２への変換行列Ｓiとを求め、変換行列Ｓの一般逆行列Ｓ-gと変換行列Ｓiにより、出力座標系１から目標座標系２への変換行列、つまり補間行列Ｈを求める。
【００５３】
言い換えれば、仮想入力座標系４と、仮想入力座標系４から出力座標系１への変換行列の一般逆行列を利用するとともに、仮想入力座標系４は、入力画像データベクトルを表わす座標系の基底ベクトルに対し，入力画像データベクトル（被写体）の周波数分布の推定に従った重み付けをかけた座標系となるので、複数の基底ベクトルのノルムが抑制される。このため、仮想入力座標系４を用いることで、一般逆行列による画像復元精度が向上し、エリアジングノイズを抑制することが可能となる。
【００５４】
なお、本実施例の仮想入力座標系４は、特定の被写体の周波数分布を基にして重み付け行列Ｍを抽出したが、例えば、複数の被写体が属する周波数範囲を推定し、その範囲の上限を用いてもよい。しかし、この場合には複数の被写体に対して有効な補間行列を生成できるが、仮想入力座標系１４の基底ベクトルの絶対値を抑制できる割合が低下するので、エリアジング抑制性能は低減されることになる。
【００５５】
また、被写体の周波数分布を用いずに、画像圧縮等で扱われる各種ウェーブレット変換や離散コサイン変換を行った分布に基づいて重み付け行列Ｍを抽出してもよい。これらの変換を用いたとき、画像の表現に必要なベクトル成分が少数になり、エリアジング抑制性能の向上がさらに期待できる。
【００５６】
また、出力座標系１、目標座標系２の選択は任意であるが、目標座標系２で解像度が大きく向上するような選択は避けることが望ましい。これは上記方法により仮想入力座標系４の次元を減らせるが、画像で取得していない高周波成分の推定は困難であり、解像度を大きく向上させることは原理的に困難であるからである。
【実施例２】
【００５７】
本発明の実施例２は、上記実施例１よりもエリアジングノイズ抑制効果を高めた補間方法であり、本実施例の補間処理手順は、図１に示したものと同じであるが、座標系の選択方法が異なる。なお、その他の構成及び処理手順は上記実施例１と同様である。
【００５８】
図７は本実施例における座標系と変換行列の関係図である。連結出力座標系２１は、同一の被写体に対する複数の出力画像、又は異なる色フィルタ（ＲＧＢ）から推定した画像を表わす多次元ベクトルを連結したベクトルの座標系である。例として、画素数Ｎの三つの出力画像を画素座標系で表現して連結したベクトルｘlin´は次式のように与えられる。
【００５９】
【数１０】
2006203296.tif 000012
なお、ｘi´（ｉ＝１、２、３）は３つの出力画像に対応するベクトルである。
【００６０】
そして、本実施例の補間処理では連結出力座標系２１を上記実施例１における出力座標系１として扱う。目標座標系２２、物体座標系２３、仮想入力座標系２４は上記実施例１の目標座標系２、物体座標系３、仮想入力座標系４に対応する座標系である。
【００６１】
本実施例の仮想入力座標系２４の選択方法では、物体座標系２３から連結出力座標系２１への写像Ｓo（物体座標系から出力座標系への変換データ、言い換えると、被写体の存在する座標系から、ＣＣＤ等の光電変換素子から出力される出力座標系への変換行列）の導出を数式１１に従って行う。尚、ここで、Ｓoには、撮影する際の撮像光学系の収差情報等（撮影した際に撮像装置に取り付けられていた撮像光学系の収差情報等）が含まれている。
【００６２】
【数１１】
2006203296.tif 000013
ここで、Ｋは連結する出力画像数、Ｓo(i) （ｉ＝１、２、・・・、Ｋ）は物体座標系２３からｉ番目の出力画像の画素座標系への写像を表わす。重み付け行列Ｍの導出は図８に示すように、出力画像の周波数分布から推定された重み関数を重ね合わせ、その上限値を採用する。そして、仮想入力座標系２４から連結出力座標系２１への写像Ｓは、行列Ｓoと行列Ｍを用いて数式１２で与えられる。
【００６３】
【数１２】
2006203296.tif 000014
【００６４】
そして、目標座標系２２への写像Ｓiは任意に決定できるため、得られた写像Ｓを基にして補間行列Ｈ＝Ｓ-gＳiを生成することができる。
【００６５】
本実施例では、出力座標系１を連結させて次元数を増加させた連結出力座標系２１を用いている。これにより、入力座標系と連結出力座標系の次元数の差を少なくすることができ、エリアジングノイズの抑制効果を向上させることができる。
【００６６】
なお、連結出力座標系２１の次元数を増加させるためには、各出力座標系への写像Ｓo(i)の列ベクトルが、他の写像Ｓo(j)の列ベクトルに対して高い直交性を持つ必要がある。このような出力座標系の連結処理に基づく画像復元方法を応用した撮像系は、複数回撮像した結果を組み合わせる方式の撮像系として、従来から複数提案されているが、この方式の欠点は、出力座標系の次元数を増加させるために、短時間に多数の画像を条件を変えて取得しなければならないことである。
【００６７】
しかし、本実施例では、有効次元数の小さい仮想入力座標系２４を用いるため、画像連結のみを用いた方法と比較して必要画像数が少なくてすむ利点がある。
【００６８】
さらに、重み行列Ｍの選択としては、上記以外にもいくつかの方法が考えられる。例えば、上記実施例１と同様に複数被写体への対応と周波数変換以外のウェーブレット変換等を用いてもよい。また、連結する出力画像の周波数分布の上限値を用いるかわりに、図９に示すように物体座標系２３から連結出力座標系２１への写像Ｓoの一般逆行列Ｓo-gを用いる方法が考えられる。一般逆行列Ｓo-gにより取得した周波数分布は、エリアジングノイズを含むが、連結出力座標系２１を構成する各出力画像よりは解像度が高い。このため、Ｓo-gにより取得した分布の上限値を用いることで有効性の高い重み付け分布が抽出できる。
【００６９】
このように本実施例によれば、撮像系により取得した複数の出力画像から連結出力座標系２１を求め、目標座標系２２、仮想入力座標系２４を適切に設定することで、上記実施例１で示した補間処理よりさらにエリアジングノイズ抑制効果の高い補間行列を生成することが可能となる。
【実施例３】
【００７０】
本発明の実施例３は、上記実施例１における補間処理方法を補間処理プログラムとして実行可能に実装した撮像装置である。本実施例では、光電変換して得られた出力画像から重み付け分布（周波数分布）を生成して、撮像装置内の座標変換行列生成回路４５において補間行列Ｈを生成する。図１０は本実施例における撮像装置の構成ブロック図である。
【００７１】
撮影レンズ系４１により得られた被写体からの光強度分布を受光素子４２で受光する。この受光素子４２で得られたアナログ信号をＡ／Ｄ変換回路４３によりデジタル化し、メモリ４４に記憶する。ここで、撮影レンズ系（撮像光学系）と、ＣＣＤ等の受光素子とが、画像データ取得手段（被写体像を光電変換して画像データを得る手段）を構成している。
【００７２】
次に、メモリ４４から局所画像を取得して座標変換行列生成回路４５に出力する。ここで、座標変換行列とは、上記実施例１における仮想入力座標系（空間）４から出力座標系１への写像Ｓと、仮想入力座標系４から目標座標系２への写像Ｓiのことを示している。
【００７３】
そして、座標変換行列と局所画像を行列演算回路４６に出力し、行列演算を行うことにより局所画像の補間結果を得て、画像合成回路４７により局所的な補間結果を組み合わせることで出力画像を得る。画像の分解、合成および座標変換行列生成回路４５から行列演算回路４６へのデータの流れの制御は補間処理コントローラー４８からの制御信号に従って行う。補間処理コントローラー４８の動作はプログラムメモリ４９によって設定できる。
【００７４】
ここで、座標変換行列生成回路４５の詳細な構成ブロック図を図１１に示す。座標変換対象となる出力座標系１と目標座標系２には画素座標系を用い、仮想入力座標系４は、ウェーブレット変換した座標系に重み付けを加えたものを用いる。ウェーブレット変換は、信号処理や画像圧縮に用いられる変換であり、正規直交性を有する変換から双直交性しか持たない変換まで様々な種類のものが存在し、任意に選ぶことが可能である。ウェーブレット変換した座標系では、少ないベクトル成分で画像を表現できることが知られている。したがって、この座標系を用いることで、重み付け分布で考慮するベクトル成分数を減らせることができるため、高い次元圧縮効果が期待できる。
【００７５】
このように構成された座標変換行列生成回路４５では、データフローコントローラー部４１１が補間処理コントローラー４８からの制御信号に従ってデータ転送経路を変更する。メインメモリ４４から取得した局所画像データは、一時記憶メモリ４１２に転送され、一時記憶メモリ４１２に記憶された局所画像データをウェーブレット変換部４１３により変換し、変換後の局所画像を重み付け分布生成部４１４に出力する。
【００７６】
重み付け分布生成部４１４では、局所画像のウェーブレット変換分布の絶対値に対し、上記実施例１の図６（ｂ）で示したような変換分布全体を覆う重み付け分布を抽出する。この重み付け分布は行列生成部４１６に送信され、結果として得られた行列成分が一時記憶メモリ４１２に格納される。
【００７７】
この行列生成部４１６では、基本行列データ保存用メモリ４１５に保存されている行列Ｓo'、 Ｓoi'の各行ベクトルに対し、重み付け分布生成部４１４で得られた重み付けを積算する。
【００７８】
ここで、行列Ｓo'、Ｓoi'は、上記実施例１における物体座標系３から出力座標系１への変換行列であるＳoと目標座標系２への変換行列であるＳoiとに対し、次式の処理を施した行列である。
【００７９】
【数１３】
2006203296.tif 000015
ｊは座標変換のインデックスｏまたはｏｉである。ｆ-1（Ａ）はウェーブレット変換部４１３で行う変換の逆変換であり、引数行列Ａの各列ベクトルに対して実行される。Ｉは単位行列である。なお、Ｓo'、Ｓoi'の各行ベクトルに重み付けを積算して得た行列をＳo''、Ｓoi''と表記する。これらの行列は、上記実施例１、２における仮想入力座標系４から出力座標系１への写像と目標座標系２への写像に対応している。Ｓo''、Ｓoi''は、一時記憶メモリ４１２に保存される。
【００８０】
また、一般逆行列の生成には、特異値分解を直接的に使用してもよいが、計算量が大きくなるため、本実施例では、重み付け行列による次元圧縮量が小さい場合には、以下の式に従って計算できる。
【００８１】
【数１４】
2006203296.tif 000016
ただし、Ｓor''は、次式で示されるようにＳo''の０でない行ベクトルＳｉ（ｉ＝１、２、・・・、Ｎ）のみで構成されるＮ×Ｎ´次元行列（Ｎはサンプル点数、Ｎ´はベクトル空間の次元数）である。
【００８２】
【数１５】
2006203296.tif 000017
逆行列が求まる場合には、数式１４により特異値分解を用いた方法と同じ一般逆行列が得られる。また、次元圧縮量が大きい場合には数式１４内の逆行列を求めることはできないが、このような場合も想定するならば、(「計算による線形代数」神谷著、共立出版(1999))に記載されているペンローズの収束計算法等を用いればよい。
【００８３】
そして、最終的に得られた一般逆行列Ｓo''-gと一時記憶メモリ４１２に保存されている行列Ｓoi''から補間行列Ｈ＝Ｓoi'' Ｓo''-gを生成する。
【００８４】
このように本実施例では、上記実施例１、２の補間処理プログラムを実行可能に撮像装置に実装し、撮影時に得られる撮像系からの出力画像から被写体の重み付けを推定して補間行列Ｈを生成する、このため、高いエリアジングノイズ抑制効果を有する撮像装置を提供することが可能となる。
【実施例４】
【００８５】
本発明の実施例４は、上記実施例３のように、撮像系からの出力画像ごとに被写体の重み付けを行わずに、事前に被写体の重み付け分布を設定する。つまり、画像取得前に補間行列Ｈをメモリ等に格納しておく。このように上記実施例１、２の補間処理方法により生成された補間行列Ｈを事前に格納しておくことで画像取得後の計算量を低減できる。なお、その他の構成及び処理手順は上記実施例３と同様である。
【００８６】
また、本実施例の重み付け分布の推定は、被写体の周波数の方向依存性に着目したものを採用する。被写体が持つ周波数成分が方向に依存している場合には、依存しない方向に対し重み付けをかけることで仮想入力座標系４の有効次元数を低減できる。被写体が人工物体の場合には、方向に依存した周波数成分を多く含むため、この方法が有効になることが多い。ｙ軸方向に周波数分布を持つ場合の重み付け分布の例を図１２に示す。このような重み分布で、減衰する方向と減衰量を変化させたものを複数使用する。
【００８７】
また、本実施例においても補間行列生成処理では、出力座標系１と目標座標系２には画素座標系を用い、仮想入力座標系４には周波数座標系に上記重み付けをかけた座標系を用いている。
【００８８】
図１３は、本実施例の撮像装置の構成ブロック図である。撮影レンズ系３１により得られた被写体の光強度分布を受光素子３２で受光し、得られたアナログ信号をＡ／Ｄ変換回路３３によりデジタル化し、メモリ３４に記憶する。次に、補間処理コントローラー３８により生成した制御信号により、メモリ３４、補間行列選択回路３５、行列演算回路３６、画像合成回路３７の制御を行う。補間処理コントローラー３８における制御手順はプログラムメモリ３９にあらかじめプログラムされたものである。
【００８９】
そして、本実施例の補間処理では、撮像系出力画像内のｍ×ｍ画素の局所領域に対して、補間行列選択回路３５により選択された補間行列を適用する。このとき、補間後の局所画像の周辺部分における画素値の減衰が問題になるが、ここでは、図１４に示すように局所領域をｓ画素ずつ重複した状態で選択し、補間後の中心部分の（ｍ−ｓ）×（ｍ−ｓ）
画素を適用することで正確な値を取得している。
【００９０】
次に、補間処理コントローラー３８での制御フローについて説明する。図１５は補間行列選択回路３５の構成ブロック図である。まず、メモリ３４から局所画像を抽出し、補間行列選択回路３５に出力する。内部メモリ３１１は重み付け分布と、該重み付け分布に対応する補間行列を格納している。抽出された局所画像は一時記憶メモリ３１２に記憶された後、周波数変換部３１３、比較部３１４の順に送出され、周波数変換部３１３では、局所画像の周波数分布を生成し、比較部３１４で重み付け分布と局所画像の周波数分布の絶対値の比較処理を行う。この比較処理では、次式で与えられる比較値Ｗを生成する。
【００９１】
【数１６】
2006203296.tif 000018
ｉは局所画像及び重み付け分布内の画素を示すインデックスであり、ａiは局所画像内のｉ番目の画素値、ｗiは重み付け分布内のｉ番目の重み付けを示す。ただし、重み量ｗiが０の画素については除いて計算するものとする。そして、画像の画素値が最大１で規格化されている場合、比較値Ｗが局所画像の総画素数（計算で省かれた画素は除く）に最も近くなる重み付け分布に対応する補間行列を適用する。
【００９２】
続いて、選択された補間行列（画像データに基づいて選択された補間行列、補間データ）と局所画像を行列演算回路３６に送出して積算処理を行うとともに、局所画像の補間結果を画像合成回路３７で合成し、補間処理後の補間画像として出力とする。
【００９３】
このように本実施例では、あらかじめ準備した重み付け分布に対して作成した補間行列Ｈにより補間処理を行うので、上記実施例３に比べて補間行列生成処理を画像取得時に行わないため、画像取得後の計算量を低減、言い換えれば、処理負荷及び処理速度が向上する。このため、より好適な補間処理を行うことが可能な撮像装置を実現できる。
【００９４】
また、上記実施例では、補間処理方法を補間処理プログラムとして撮像装置で実行可能に構成しているが、例えば、画像処理装置の一部、又は別体の補間処理装置として構成することも可能である。具体的には、被写体情報（周波数分布又は重み付け行列）を推定する被写体情報推定部と、この被写体情報に基づいて仮想入力座標系（第１の入力画像データ）４を生成する仮想入力画像生成部と、仮想入力座標系４から画像データへの第１の変換行列Ｓを生成するとともに、仮想入力座標系４から補間処理後の補間画像データへの第２の変換行列Ｓｉを生成する変換行列生成部と、第１及び第２の変換行列Ｓ、Ｓｉを用いて補間行列Ｈを生成する補間行列生成部と、補間行列Ｈを用いて補間処理を行う制御部とで補間処理装置（回路）を構成し、画像処理の処理フローで補間処理を行うように構成することも可能である。
【００９５】
なお、本発明を実施し得る形態としては、さらに以下のようなものが挙げられる。
【００９６】
（１）撮像系の出力画像データベクトルに対して，補間行列を積算することにより補間処理を行う補間処理方法であって，該補間行列は、撮像系の入力画像データベクトルを表現する座標系を決定する第１のステップと、該座標系における入力画像データの分布を推定する第２のステップと、該推定分布と該座標系の基底ベクトルを用いて仮想入力座標系を構成する第３のステップと、該仮想入力座標系から該出力画像データベクトルの座標系への変換行列の一般逆行列を求める第４のステップと、該仮想入力座標系から補間結果の画像データベクトルを表現する座標系への変換行列と該一般逆行列を用いて該補間行列を求める第５のステップに従って生成されることを特徴とする補間方法。
【００９７】
（２）第１のステップで決定する座標系の基底ベクトルはユニタリ行列を構成することを特徴とする（１）に記載の補間処理方法。
【００９８】
（３）ユニタリ行列がフーリエ変換行列であることを特徴とする（２）に記載の補間処理方法。
【００９９】
（４）ユニタリ行列が直交ウェーブレット変換に分類される行列であることを特徴とする（２）に記載の補間処理方法。
【０１００】
（５）第１のステップで決定する座標系の基底ベクトルは双直交ウェーブレット変換に分類される行列であることを特徴とする（１）に記載の補間処理方法。
【０１０１】
上記（１）に係る実施形態では、仮想入力座標系と、仮想入力座標系から出力座標系への変換行列の一般逆行列を利用する。仮想入力座標系は、入力画像データベクトルを表わす座標系の基底ベクトルに対し、入力画像データベクトルの推定分布に従った重みをかけた座標系であり、複数の基底ベクトルのノルムが抑制されている。このように仮想入力座標系を用いることで、一般逆行列による画像復元精度が向上し、エリアジングノイズを抑制できる。
【０１０２】
また、上記（１）から（５）に係る実施形態では、入力画像データベクトルを表わす座標系の選択方法を変えて、（１）の補間処理方法のエリアジングノイズ抑制効果を高めたものである。エリアジングノイズを含む出力画像は、入力画像の周波数成分が混在した状態になっているので、入力画像データを出力画像データを用いて推定する場合に、座標系の選択により推定精度が変化する。そこで、上記（２）から（５）は、決まった座標系に対して入力画像データを推定する手法であり、各々の座標系で情報が正確に取得できている場合にエリアジングノイズの抑制効果を高めることができる。
【図面の簡単な説明】
【０１０３】
【図１】本発明の実施例１における補間処理方法（プログラム）のフローチャート図。
【図２】本発明の実施例１における座標系と変換行列の説明図。
【図３】本発明の実施例１におけるサンプリング行列とデフォーカス行列の説明図。
【図４】本発明の実施例１における周波数伝達行列Ｓνの理想的な分布と実際の分布の説明図。
【図５】本発明の実施例１における特異値分解と一般逆行列の関係を示した図。
【図６】本発明の実施例１における仮想入力座標系４の設定に関する重み付け行列の説明図。
【図７】本発明の実施例２における座標系と変換行列の説明図。
【図８】本発明の実施例２における重み付け行列の生成方法を示す図。
【図９】本発明の実施例２における一般逆行列を用いて重み付け行列を求める方法を示す図。
【図１０】本発明の実施例３における撮像装置の構成ブロック図。
【図１１】本発明の実施例３における補間行列生成回路の構成ブロック図。
【図１２】本発明の実施例４における重み付け分布（重み付け行列）を示す図。
【図１３】本発明の実施例４における撮像装置の構成ブロック図。
【図１４】本発明の実施例４における演算処理に用いる局所画像の説明図。
【図１５】本発明の実施例４における補間行列選択回路の構成ブロック図。
【符号の説明】
【０１０４】
１      出力座標系
２      目標座標系
３      物体座標系
４      仮想入力座標系
Ｈ      補間行列
Ｓ      変換行列
【図１】
2006203296.tif 000019
【図２】
2006203296.tif 000020
【図３】
2006203296.tif 000021
【図４】
2006203296.tif 000022
【図５】
2006203296.tif 000023
【図６】
2006203296.tif 000024
【図７】
2006203296.tif 000025
【図８】
2006203296.tif 000026
【図９】
2006203296.tif 000027
【図１０】
2006203296.tif 000028
【図１１】
2006203296.tif 000029
【図１２】
2006203296.tif 000030
【図１３】
2006203296.tif 000031
【図１４】
2006203296.tif 000032
【図１５】
2006203296.tif 000033