【手続補正書】
【提出日】平成20年1月18日(2008.1.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体像を光電変換して得られた出力画像データに対し、補間データを用いて補間処理を行う補間処理方法であって、
被写体情報を推定する第１のステップと、
前記被写体情報に基づいて仮想画像データを生成する第２のステップと、
前記仮想画像データから前記出力画像データへの第１の変換データを生成する第３のステップと、
前記仮想画像データから補間処理後の補間画像データへの第２の変換データを生成する第４のステップと、
前記第１及び第２の変換データを用いて前記補間データを生成する第５のステップとを有することを特徴とする補間処理方法。
【請求項２】
前記第１のステップにおいて、前記出力画像データに基づいて前記被写体情報を推定することを特徴とする請求項１に記載の補間処理方法。
【請求項３】
前記被写体情報は、被写体の周波数分布であることを特徴とする請求項１又は２に記載の補間処理方法。
【請求項４】
被写体像を光電変換して得られた出力画像データに対し、補間データを用いて補間処理を行う補間処理プログラムであって、
被写体情報を推定する第１のステップと、
前記被写体情報に基づいて仮想画像データを生成する第２のステップと、
前記仮想画像データから前記出力画像データへの第１の変換データを生成する第３のステップと、
前記仮想画像データから補間処理後の補間画像データへの第２の変換データを生成する第４のステップと、
前記第１及び第２の変換データを用いて前記補間データを生成する第５のステップとを有することを特徴とする補間処理プログラム。
【請求項５】
前記第１のステップにおいて、前記出力画像データに基づいて前記被写体情報を推定することを特徴とする請求項４に記載の補間処理プログラム。
【請求項６】
前記被写体情報は、被写体の周波数分布であることを特徴とする請求項４又は５に記載の補間処理プログラム。
【請求項７】
請求項４から６のいずれか１つに記載の補間処理プログラムに基づいて前記補間データを生成する補間データ生成手段と、
前記補間データを用いて補間処理を行う制御手段とを有することを特徴とする撮像装置。
【請求項８】
被写体像を光電変換して出力画像データを取得する画像データ取得手段を有し、
前記制御手段が前記出力画像データに対して補間処理を行うことを特徴とする請求項７に記載の撮像装置。
【請求項９】
請求項４から６のいずれか１つに記載の補間処理プログラムにより生成された前記補間データを記憶する記憶手段と、
前記補間データを用いて補間処理を行う制御手段とを有することを特徴とする撮像装置。
【請求項１０】
被写体像を光電変換して出力画像データを取得する画像データ取得手段を有し、
前記制御手段が前記出力画像データに対して補間処理を行うことを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記記憶手段は、前記補間処理プログラムにより生成された複数の補間データを記憶しており、
前記制御手段が、前記複数の補間データのうち、前記出力画像データに対応した補間データを選択し、選択された前記補間データを用いて前記出力画像データに対して補間処理を行うことを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
被写体像を光電変換して得られた出力画像データに対し、補間データを用いた補間処理を行う補間処理装置であって、
被写体情報を推定する被写体情報推定手段と、
前記被写体情報に基づいて仮想画像データを生成する画像データ生成手段と、
前記仮想画像データから前記出力画像データへの第１の変換データを生成するとともに、前記仮想画像データから補間処理後の補間画像データへの第２の変換データを生成する変換データ生成手段と、
前記第１及び第２の変換データを用いて前記補間データを生成する補間データ生成手段と、
前記補間データを用いて補間処理を行う制御手段とを有することを特徴とする補間処理装置。
【請求項１３】
撮像系の出力画像データベクトルに対して、補間行列を積算することにより補間処理を行う補間処理方法であって、
前記補間行列は、前記撮像系の入力画像データベクトルを表現する座標系を決定する第１のステップと、
前記座標系における入力画像データの分布を推定する第２のステップと、
前記第２のステップで推定された分布と前記座標系の基底ベクトルを用いて仮想入力座標系を構成する第３のステップと、
前記仮想入力座標系から前記出力画像データベクトルの座標系への変換行列の一般逆行列を求める第４のステップと、
前記仮想入力座標系から補間処理後の画像データベクトルを表現する座標系への変換行列と、この変換行列の一般逆行列を用いて前記補間行列を求める第５のステップとを有することを特徴とする補間方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明の１つの観点としての補間処理方法（プログラム）は、被写体像を光電変換して得られた出力画像データに対し、補間データを用いて補間処理を行う補間処理方法であって、被写体情報を推定する第１のステップと、被写体情報に基づいて仮想画像データを生成する第２のステップと、仮想画像データから前記出力画像データへの第１の変換データを生成する第３のステップと、仮想画像データから補間処理後の補間画像データへの第２の変換データを生成する第４のステップと、第１及び第２の変換データを用いて補間データを生成する第５のステップとを有することを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
本発明によれば、被写体情報に基づいて生成された仮想画像データに応じて補間データを生成しているので、エリアジングノイズの被写体への依存性を考慮したノイズ抑制が可能となる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
ここで、本実施例の補間処理方法における補間行列Ｈの生成手順を説明する。まず、図
１、図２に示すように、物体座標系３を撮像光学系等を介して撮像する（すなわち、変換
行列Ｓo（変換データＳo）を用いて変換する）ことにより得られる出力座標系（出力画像
データ）１、目標座標系（補間画像データ）２、仮想入力座標系（仮想画像データ）４を設定する（Ｓ１０２１）。そして、仮想入力座標系４から出力座標系１への写像である変換行列（第１の変換データ）Ｓと該仮想入力座標系４から目標座標系２への写像である変換行列（第２の変換データ）Ｓiを求め（Ｓ１０２２）、変換行列Ｓの一般逆行列Ｓ‐gを算出する（Ｓ１０２３）。この変換行列Ｓi、Ｓ‐gを用いて補間行列Ｈ＝ＳiＳ-g を生成する（Ｓ１０２４）。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００５２
【補正方法】変更
【補正の内容】
【００５２】
本実施例では、入力画像データ（被写体）に対して、このように求められた仮想画像データ（仮想入力座標系４）から出力座標系１への変換行列Ｓと、仮想入力座標系４から目標座標系２への変換行列Ｓiとを求め、変換行列Ｓの一般逆行列Ｓ-gと変換行列Ｓiにより、出力座標系１から目標座標系２への変換行列、つまり補間行列Ｈを求める。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【００５４】
なお、本実施例の仮想入力座標系４は、特定の被写体の周波数分布を基にして重み付け行列Ｍを抽出したが、例えば、複数の被写体が属する周波数範囲を推定し、その範囲の上限を用いてもよい。しかし、この場合には複数の被写体に対して有効な補間行列を生成できるが、仮想入力座標系４の基底ベクトルの絶対値を抑制できる割合が低下するので、エリアジング抑制性能は低減されることになる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００６１
【補正方法】変更
【補正の内容】
【００６１】
本実施例の仮想入力座標系２４の選択方法では、物体座標系２３から連結出力座標系２１への写像Ｓo（物体座標系から連結出力座標系への変換データ、言い換えると、被写体の存在する座標系から、ＣＣＤ等の光電変換素子から出力される出力座標系への変換行列）の導出を数式１１に従って行う。尚、ここで、Ｓoには、撮影する際の撮像光学系の収差情報等（撮影した際に撮像装置に取り付けられていた撮像光学系の収差情報等）が含まれている。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００７１
【補正方法】変更
【補正の内容】
【００７１】
撮影レンズ系４１により得られた被写体からの光強度分布を受光素子４２で受光する。この受光素子４２で得られたアナログ信号をＡ／Ｄ変換回路４３によりデジタル化し、メモリ４４に記憶する。ここで、撮影レンズ系（撮像光学系）４１と、ＣＣＤ等の受光素子４２とが、画像データ取得手段（被写体像を光電変換して出力画像データを得る手段）を構成している。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００７４
【補正方法】変更
【補正の内容】
【００７４】
ここで、座標変換行列生成回路４５の詳細な構成ブロック図を図１１に示す。座標変換対象となる出力座標系１と目標座標系２には画素座標系を用い、仮想入力座標系４は、ウェーブレット変換した座標系に重み付けを加えたものを用いる。ウェーブレット変換は、信号処理や画像圧縮に用いられる変換であり、正規直交性を有する変換から双直交性しか持たない変換まで様々な種類のものが存在し、任意に選ぶことが可能である。ウェーブレット変換した座標系では、少ないベクトル成分で画像を表現できることが知られている。したがって、この座標系を用いることで、重み付け分布で考慮するベクトル成分数を減らせることができるため、高い次元の圧縮効果が期待できる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００８４
【補正方法】変更
【補正の内容】
【００８４】
このように本実施例では、上記実施例１、２の補間処理プログラムを実行可能に撮像装置に実装し、撮影時に得られる撮像系からの出力画像から被写体の重み付けを推定して補間行列Ｈを生成する。このため、高いエリアジングノイズ抑制効果を有する撮像装置を提供することが可能となる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００８５
【補正方法】変更
【補正の内容】
【００８５】
本発明の実施例４は、上記実施例３のように、撮像系からの出力画像ごとに被写体の重み付けを行わずに、事前に被写体の重み付け分布を設定する。つまり、画像取得前に重み付け分布に対応する補間行列Ｈをメモリ等に格納しておく。このように上記実施例１、２の補間処理方法により生成された補間行列Ｈを事前に格納しておくことで画像取得後の計算量を低減できる。なお、その他の構成及び処理手順は上記実施例３と同様である。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００８６
【補正方法】変更
【補正の内容】
【００８６】
また、本実施例の重み付け分布の推定は、被写体の周波数の方向依存性に着目したものを採用する。被写体が持つ周波数成分が方向に依存している場合には、依存しない方向に対し重み付けをかけることで仮想入力座標系４の有効次元数を低減できる。被写体が人工物体の場合には、方向に依存した周波数成分を多く含むため、この方法が有効になることが多い。ｙ軸方向に周波数分布を持つ場合の重み付け分布の例を図１２に示す。このような重み付け分布において、減衰する方向と減衰量を各々変化させた重み付け分布を複数使用する。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００８９
【補正方法】変更
【補正の内容】
【００８９】
そして、本実施例の補間処理では、撮像系からの出力画像内のｍ×ｍ画素の局所領域に対して、補間行列選択回路３５により選択された補間行列を適用する。このとき、補間後の局所画像の周辺部分における画素値の減衰が問題になるが、ここでは、図１４に示すように局所領域をｓ画素ずつ重複した状態で選択し、補間後の中心部分の（ｍ−ｓ）×（ｍ−ｓ）画素を適用することで正確な値を取得している。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００９０
【補正方法】変更
【補正の内容】
【００９０】
次に、補間処理コントローラー３８での制御フローについて説明する。図１５は補間行列選択回路３５の構成ブロック図である。まず、メモリ３４から局所画像を抽出し、補間行列選択回路３５に出力する。内部メモリ３１１は、複数の重み付け分布と、該重み付け分布に対応する各補間行列を格納している。抽出された局所画像は、一時記憶メモリ３１２に記憶された後、周波数変換部３１３、比較部３１４の順に送出され、周波数変換部３１３では、局所画像の周波数分布を生成し、比較部３１４で、内部メモリ３１１に格納された重み付け分布と局所画像の周波数分布の絶対値の比較処理を行う。この比較処理では、次式で与えられる比較値Ｗを生成する。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００９１
【補正方法】変更
【補正の内容】
【００９１】
【数１６】
2006203296.tif 000001
ｉは局所画像及び重み付け分布内の画素を示すインデックスであり、ａiは局所画像内のｉ番目の画素値、ｗiは重み付け分布内のｉ番目の重み付けを示す。ただし、重み量ｗiが０の画素については除いて計算するものとする。そして、画像の画素値が最大１で規格化されている場合、比較値Ｗが局所画像の総画素数（計算で省かれた画素は除く）に最も近くなる予め格納された重み付け分布を決定し、対応する補間行列を適用する。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００９４
【補正方法】変更
【補正の内容】
【００９４】
また、上記実施例では、補間処理方法を補間処理プログラムとして撮像装置で実行可能に構成しているが、例えば、画像処理装置の一部、又は別体の補間処理装置として構成することも可能である。具体的には、被写体情報（周波数分布又は重み付け行列）を推定する被写体情報推定部と、この被写体情報に基づいて仮想入力座標系（仮想画像データ）４を生成する仮想入力画像生成部と、仮想入力座標系４から画像データへの第１の変換行列Ｓを生成するとともに、仮想入力座標系４から補間処理後の補間画像データへの第２の変換行列Ｓｉを生成する変換行列生成部と、第１及び第２の変換行列Ｓ、Ｓｉを用いて補間行列Ｈを生成する補間行列生成部と、補間行列Ｈを用いて補間処理を行う制御部とで補間処理装置（回路）を構成し、画像処理の処理フローで補間処理を行うように構成することも可能である。
【手続補正１７】
【補正対象書類名】図面
【補正対象項目名】図１１
【補正方法】変更
【補正の内容】
【図１１】
2006203296.tif 000002