(57)【特許請求の範囲】
【請求項１】
サンプリング位相が相互に異なる複数の第１の画像信号を撮像結果に応じて生成する画像入力手段と、
第１の画像信号を周波数領域に変換して複数の第２の画像信号を生成する変換手段と、
前記サンプリング位相に応じた複数の複素数を記憶する記憶手段と、
前記複数の第２の画像信号と、当該複数の第２の画像信号にそれぞれ対応する前記複数の複素数とを乗算し、当該乗算の結果を加算してエイリアシング成分が除去された第３の画像信号を生成する演算手段と
を有する画像処理装置。
【請求項２】
前記撮像手段は、単板式の色フィルタを透過した複数の色の光を、２次元上にマトリクス状に配列された複数の画素のうち対応する画素に結像させて前記複数の色の色データからなる前記第１の画像信号を生成し、
前記演算手段は、前記複数の色の色データ毎に前記乗算および前記加算を行って、前記複数の色にそれぞれ対応した複数の第４の画像信号を生成し、当該複数の第４の画像信号を用いて前記第３の画像信号を生成する
請求項１に記載の画像処理装置。
【請求項３】
前記複数の色のうち所定の一の色について、前記複数の第１の画像信号に含まれる当該色の色データのサンプリングパターンと、当該色の前記第４の画像信号に含まれる色データのサンプリングパターンとが相似形になるように、前記サンプリング位相を決定する
請求項２に記載の画像処理装置。
【請求項４】
前記演算手段は、
前記第２の画像信号を、前記サンプリング位相に応じて空間シフトする空間シフト手段と、
前記空間シフトされた前記複数の第２の画像信号と、当該複数の第２の画像信号にそれぞれ対応する前記複数の複素数とを乗算し、当該乗算の結果を加算してエイリアシング成分が除去された基本スペクトルを算出する基本スペクトル算出手段と、
前記基本スペクトルを周波数領域から時間領域に変換して前記第３の画像信号を生成する逆変換手段と
を有する請求項１に記載の画像処理装置。
【請求項５】
前記サンプリング位相が相互に異なる複数の第１の画像信号を撮像結果に応じて前記撮像手段が生成できるように、前記撮像手段を物理的、光学的または電気的に移動させる駆動手段
をさらに有する請求項１に記載の画像処理装置。
【請求項６】
前記撮像手段は、単板式のＣＣＤであり、
前記色フィルタは、原色フィルタまたは補色フィルタである
請求項２に記載の画像処理装置。
【請求項７】
サンプリング位相が相互に異なる複数の第１の画像信号を撮像結果に応じて入力する画像入力手段と、
前記複数の第１のデジタル信号を、所定位相だけ移相して第２のデジタル信号を生成する移相手段と、
前記サンプリング位相に応じた所定の複数の複素数の実部および虚部をそれぞれ示す複数の実数を記憶する記憶手段と、
前記第１のデジタル信号と当該第１のデジタル信号に対応する前記実部を示す実数とを乗算して第１の乗算結果を得て、前記第１のデジタル信号に対応する前記第２のデジタル信号と当該第２のデジタル信号に対応する前記虚部を示す実数とを乗算して第２の乗算結果を得て、前記第１の乗算結果と前記第２の乗算結果とを加算してエイリアシング成分が除去された第３のデジタル信号を生成する演算手段と
を有する画像処理装置。
【請求項８】
サンプリング位相が相互に異なる複数の第１の画像信号を撮像結果に応じて生成し、
第１の画像信号を周波数領域に変換して複数の第２の画像信号を生成し、
前記複数の第２の画像信号と、当該複数の第２の画像信号にそれぞれ対応する複数の複素数とを乗算し、当該乗算の結果を加算してエイリアシング成分が除去された第３の画像信号を生成する
画像処理方法。
【請求項９】
サンプリング位相に応じた所定の複数の複素数の実部および虚部をそれぞれ示す予め用意された複数の実数を用いて画像処理を行う画像処理方法であって、
サンプリング位相が相互に異なる複数の第１の画像信号を撮像結果に応じて生成し、
前記複数の第１のデジタル信号を、所定位相だけ移相して第２のデジタル信号を生成し、
前記第１のデジタル信号と当該第１のデジタル信号に対応する前記実部を示す実数とを乗算して第１の乗算結果を生成し、
前記第１のデジタル信号に対応する前記第２のデジタル信号と当該第２のデジタル信号に対応する前記虚部を示す実数とを乗算して第２の乗算結果を生成し、
前記第１の乗算結果と前記第２の乗算結果とを加算してエイリアシング成分が除去された第３のデジタル信号を生成する
画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、予め決められたサンプリング位相差を持つ複数の画像を単板式撮像素子にて撮像して得られた画像信号を処理する画像処理装置およびその方法に関する。
【０００２】
【従来の技術】
従来から、一枚の撮像素子、例えばＣＣＤ(Charge Coupled Device) において、サンプリング間隔の半分のピッチだけずらした２枚の画像を入力し、これらをアップサンプルおよび加算することによって、画素数が２倍に増えた広帯域画像を得る信号処理方法がある。この信号処理方法は、白黒ＣＣＤや、ＲＧＢ３板式ＣＣＤなどに適用が可能である。
また、これを現在のビデオカメラや静止画像撮像装置（以下、電子スチルカメラとも記す）などで主流である、色フィルタを持つ単板式ＣＣＤによって得た画像上でも行う試みがなされている。単板式ＣＣＤは、色フィルタの周期がたとえば２画素毎などであるため、この半分、すなわち１画素ずらすことが考えられている。単板式ＣＣＤにて撮像されてＡＤ変換された信号は、後段のカメラ信号処理部において処理され、各色ごとの補間あるいは色相互の関係を用いて、ＲＧＢ信号、あるいは、輝度信号および色差信号が生成される。
【０００３】
【発明が解決しようとする課題】
しかしながら、単板式ＣＣＤにおいて、上述した画素ずらしを行うと、画素数が増えた各色の信号の配列は従来の配列と異なり、後段のカメラ信号処理部は、信号処理の対象となる画素数が増加するだけでなく、アルゴリズム自体を変更しなくてはならない。
また、ＣＣＤの画素ピッチ以下の画素ずらしを行った場合には、カメラ信号処理部は、サンプリングが不均一な信号を処理しなければならず、処理が複雑になるという問題がある。
【０００４】
例えば、図１２（Ａ）に示すＲ(Red) ，Ｇ(Green) ，Ｂ(Blue)の画素配列パターンを得るベイヤー配列単板式ＣＣＤを用いて、縦横斜めに１画素ずつずらした画像を合計４枚得た場合、得られるＲ，Ｇ，Ｂデータの画素配列は、図１２（Ｅ），（Ｆ），（Ｇ）に示すようになり、通常の図１２（Ｂ），（Ｃ），（Ｄ）に示す画素配列とは異なる。
すなわち、図１２（Ｃ），（Ｄ）と図１２（Ｆ），（Ｇ）とを対比して分かるように、ＲデータおよびＢデータのサンプル数が４倍に増えているのに対し、図１２（Ｂ）と図１２（Ｅ）とを対比して分かるように、Ｇデータのサンプル数は２倍にしか増えていない。
このため、カメラ信号処理部において、図１２（Ｅ），（Ｆ），（Ｇ）に示す画素配列のＲ，Ｇ，Ｂデータを処理しなければならず、処理が複雑になるという問題がある。
【０００５】
また、画素ピッチ以下の画素ずらしを行うと、今度はサンプリング間隔が均等でなくなってしまい、そのままでは処理が困難となるという問題がある。
【０００６】
本発明は上述した従来技術の問題点に鑑みてなされ、カメラ信号処理部の処理を複雑化させることなく低解像度の画像から高解像度の画像を得ることができる画像処理装置およびその方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上述した従来技術の問題点を解決し、上述した目的を達成するために、本発明の信号処理装置は下記の構造を有する。
【００１１】
本発明の画像処理装置は、サンプリング位相が相互に異なる複数の第１の画像信号を撮像結果に応じて生成する画像入力手段と、第１の画像信号を周波数領域に変換して複数の第２の画像信号を生成する変換手段と、前記サンプリング位相に応じた複数の複素数を記憶する記憶手段と、前記複数の第２の画像信号と、当該複数の第２の画像信号にそれぞれ対応する前記複数の複素数とを乗算し、当該乗算の結果を加算してエイリアシング成分が除去された第３の画像信号を生成する演算手段とを有する。
【００１２】
好ましくは、前記撮像手段は、単板式の色フィルタを透過した複数の色の光を、２次元上にマトリクス状に配列された複数の画素のうち対応する画素に結像させて前記複数の色の色データからなる前記第１の画像信号を生成し、前記演算手段は、前記複数の色の色データ毎に前記乗算および前記加算を行って、前記複数の色にそれぞれ対応した複数の第４の画像信号を生成し、当該複数の第４の画像信号を用いて前記第３の画像信号を生成する。
【００１３】
また、好ましくは、前記複数の色のうち所定の一の色について、前記複数の第１の画像信号に含まれる当該色の色データのサンプリングパターンと、当該色の前記第４の画像信号に含まれる色データのサンプリングパターンとが相似形になるように、前記サンプリング位相を決定する。
【００１４】
また、好ましくは、前記演算手段は、前記第２の画像信号を、前記サンプリング位相に応じて空間シフトする空間シフト手段と、前記空間シフトされた前記複数の第２の画像信号と、当該複数の第２の画像信号にそれぞれ対応する前記複数の複素数とを乗算し、当該乗算の結果を加算してエイリアシング成分が除去された基本スペクトルを算出する基本スペクトル算出手段と、前記基本スペクトルを周波数領域から時間領域に変換して前記第３の画像信号を生成する逆変換手段とを有する。
【００１５】
また、好ましくは、前記サンプリング位相が相互に異なる複数の第１の画像信号を撮像結果に応じて前記撮像手段が生成できるように、前記撮像手段を物理的、光学的または電気的に移動させる駆動手段をさらに有する。
【００１６】
また、好ましくは、前記撮像手段は、単板式のＣＣＤであり、前記色フィルタは、原色フィルタまたは補色フィルタである。
【００１７】
本発明の画像処理装置は、サンプリング位相が相互に異なる複数の第１の画像信号を撮像結果に応じて入力する画像入力手段と、前記複数の第１のデジタル信号を、所定位相だけ移相して第２のデジタル信号を生成する移相手段と、前記サンプリング位相に応じた所定の複数の複素数の実部および虚部をそれぞれ示す複数の実数を記憶する記憶手段と、前記第１のデジタル信号と当該第１のデジタル信号に対応する前記実部を示す実数とを乗算して第１の乗算結果を得て、前記第１のデジタル信号に対応する前記第２のデジタル信号と当該第２のデジタル信号に対応する前記虚部を示す実数とを乗算して第２の乗算結果を得て、前記第１の乗算結果と前記第２の乗算結果とを加算してエイリアシング成分が除去された第３のデジタル信号を生成する演算手段とを有する。
【００２０】
また、本発明の画像処理方法は、サンプリング位相が相互に異なる複数の第１の画像信号を撮像結果に応じて生成し、第１の画像信号を周波数領域に変換して複数の第２の画像信号を生成し、前記複数の第２の画像信号と、当該複数の第２の画像信号にそれぞれ対応する複数の複素数とを乗算し、当該乗算の結果を加算してエイリアシング成分が除去された第３の画像信号を生成する。
【００２３】
また、本発明の画像処理方法は、サンプリング位相に応じた所定の複数の複素数の実部および虚部をそれぞれ示す予め用意された複数の実数を用いて画像処理を行う画像処理方法であって、サンプリング位相が相互に異なる複数の第１の画像信号を撮像結果に応じて生成し、前記複数の第１のデジタル信号を、所定位相だけ移相して第２のデジタル信号を生成し、前記第１のデジタル信号と当該第１のデジタル信号に対応する前記実部を示す実数とを乗算して第１の乗算結果を生成し、前記第１のデジタル信号に対応する前記第２のデジタル信号と当該第２のデジタル信号に対応する前記虚部を示す実数とを乗算して第２の乗算結果を生成し、前記第１の乗算結果と前記第２の乗算結果とを加算してエイリアシング成分が除去された第３のデジタル信号を生成する。
【００２４】
【発明の実施の形態】
以下、本発明の実施形態に係わる電子スチルカメラについて説明する。
第１実施形態
本実施形態の電子スチルカメラは、ＲＧＢベイヤー配列単板式のＣＣＤ(Charge Coupled Device) を備え、ＣＣＤにより撮像されたサンプリング位相の異なる４枚のＲＧＢデータから、後述する所定の広帯域化手法を用いて高解像度化を行い、縦横とも２倍の画素数に対応する２倍の帯域を持つＲＧＢデータを得る。
具体的には、当該電子スチルカメラは、図１（Ａ）に示す画素配列のＲＧＢデータを含む相互にサンプリング位相が異なる４枚のＲＧＢデータから、図１（Ｂ），（Ｃ），（Ｄ）に示す画素配列のＧデータ、ＲデータおよびＢデータを得て、これらを足し合わせて図１（Ｅ）に示す画素配列のＲＧＢデータを得る。
【００２５】
図２は、本実施形態の電子スチルカメラの部分構成図である。
図２に示すように電子スチルカメラ１は、レンズ２、光学ＬＰＦ３、ＣＣＤ４、ＡＤ変換部５、ＣＣＤ駆動部６、メモリ７、信号処理部８およびカメラ信号処理部９を有する。
〔光学ＬＰＦ３〕
光学ＬＰＦ３は、レンズ２を透過した撮像対象からの光のうち、余分な高域成分を除去する光学ＬＰＦ(Low Pass Filter) である。
【００２６】
〔ＣＣＤ４〕
ＣＣＤ４は、マトリクス状に配列された複数のフォトダイオードと、ベイヤー配列色フィルタとを有している。ベイヤー配列色フィルタは、Ｇ(Green: 緑) 色のフィルタを市松状に配列し、残りの部分にＲ(Red: 赤) 色のフィルタとＢ(Blue:青) 色のフィルタとを市松状に配列したものである。フォトダイオードは、ベイヤー配列色フィルタを透過した光を受光し、受光結果を光電変換して受光量に応じた受光信号Ｓ４0 〜Ｓ４3 を生成し、受光信号Ｓ４0 〜Ｓ４3 をＡＤ変換部５に出力する。
ＣＣＤ４は、後述するように、ＣＣＤ駆動部６によって移動が駆動され、１枚の高解像度化された画像を得るために、サンプリング位相が相互に異なる４枚の画像を撮像する。
【００２７】
〔ＡＤ変換部５〕
ＡＤ変換部５は、受光信号Ｓ４0 〜Ｓ４3 をデジタル形式の画像信号Ｓ５0 〜Ｓ５3 に変換し、画像信号Ｓ５を信号処理部８に出力する。
【００２８】
〔ＣＣＤ駆動部６〕
ＣＣＤ駆動部６は、ＣＣＤ４のサンプリング間隔を２πとし、図３に示すように１枚の画像の位相を原点（０，０）としたときに、それぞれ（π／２，−π／２），（０，π），（π／２，π／２）の位相を持つ合計４枚の画像をＣＣＤ４が撮像するように、信号処理部８からの制御信号Ｓ８ａに基づいて、ＣＣＤ４を所定の方向に所定の距離だけ物理的に移動する。
【００２９】
信号処理部８は、ＡＤ変換部５から入力した、図３に示す相互に異なるサンプリング位相を持つ４枚の撮像画像の画像信号Ｓ５を用いて、縦横の画素数が２倍の画像の画像信号Ｓ８ｂを生成する。
【００３０】
ここで、画像信号Ｓ５は、ＣＣＤ４を構成するマトリクス状に配置された各画素の画素データからなり、図４（Ａ）において「Ｇ」で示された位置の画素の画素データがＧ（緑色）データを示し、図４（Ｂ）において「Ｒ」で示された位置の画素の画素データがＲ（赤色）データを示し、図４（Ｃ）において「Ｂ」で示された位置の画素の画素データがＢ（青色）データを示す。
信号処理部８は、ＡＤ変換部５から入力した４枚の撮像画像の画像信号Ｓ５をメモリ７に書き込んだ後に読み出して、図４（Ｂ），（Ｃ）に示す画素配列パターンのＲデータおよびＢデータから、図１（Ｃ），（Ｄ）に示す画素配列パターンのＲデータおよびＢデータを生成するように画像信号Ｓ５を後述する広域化手法で処理して画像信号Ｓ８ｂを生成する。
なお、図４（Ａ）に示すＧデータの画素配列パターンと、図１（Ｂ）に示すＧデータの画素配列パターンとは同じであるため、Ｇデータについての処理は不要である。すなわち、信号処理部８は、画像信号Ｓ５に含まれるＧデータを、そのまま画像信号Ｓ８ｂのＧデータとして用いる。
【００３１】
また、信号処理部８は、図３に示す相互に異なるサンプリング位相の４枚の撮像画像を得られるように、メモリ７に予め記憶されたＣＣＤ４の移動方向および距離に関する情報に基づいて制御信号Ｓ８ａを生成し、制御信号Ｓ８ａをＣＣＤ駆動部６に出力する。
【００３２】
以下、信号処理部８における、画像信号Ｓ８ｂのＲデータおよびＢデータの生成処理について説明する。
なお、ＲデータおよびＢデータの生成処理は、サンプリング位相の値を除いて同じである。
ここで、サンプリング位相は、画像信号Ｓ８ｂに含まれる対象となる色の画素データに対応する画素の位置を原点とした場合に、４枚の撮像画像の画像信号Ｓ５に含まれる対象となる色の画素データに対応する画素の座標を示す。
【００３３】
具体的には、Ｒデータについては、４枚の撮像画像のサンプリング位相は、図５（Ａ）に示すように、それぞれ（αx0，αy0）＝（π／２，０），（αx1，αy1）＝（π，−π／２），（αx2，αy2）＝（π／２，π），（αx3，αy3）＝（π，π／２）となる。
また、Ｂデータについては、４枚の撮像画像のサンプリング位相は、図５（Ｂ）に示すように、それぞれ（αx0，αy0）＝（０，π／２），（αx1，αy1）＝（π／２，０），（αx2，αy2）＝（０，３π／２），（αx3，αy3）＝（π／２，π）となる。
これらのサンプリング位相の値は、後述する空間シフト時の（αx0，αy0）〜（αx3，αy3）として使用され、図２に示すメモリ７に予め記憶されている。
【００３４】
図６は、信号処理部８の構成図である。
図６に示すように、信号処理部８は、補間回路５０、フーリエ変換回路５１、空間シフト回路５２、基本スペクトル算出回路５３およびフーリエ逆変換回路５４を有する。
【００３５】
補間回路５０は、１枚の高解像度化された画像を得るために、前述した４枚の撮像画像の画像信号Ｓ５0 〜Ｓ５3 を入力し、これを補間して２倍にアップサンプリングした画像信号Ｓ５０0 〜Ｓ５０3 を生成し、画像信号Ｓ５０0 〜Ｓ５０3 をフーリエ変換回路５１に出力する。
具体的には、補間回路５０は、画像信号Ｓ５0 〜Ｓ５3 のそれぞれについて、ｘ方向の各サンプリング位置の間に（ＭX −１）個の０を挿入し、ｙ方向の各サンプリング位置の間に（Ｍy −１）個の０を挿入して画像信号Ｓ５０0 〜Ｓ５０3 を生成する。
なお、ＭX ，Ｍy は、ナイキスト周波数に対してそれぞれｘ方向およびｙ方向において何倍の周波数成分まで復元するかを示す倍数であり、本実施形態では、共に「２」である。
【００３６】
フーリエ変換回路５１は、補間回路５０から入力した画像信号Ｓ５０0 〜Ｓ５０3 を２次元フーリエ変換して周波数領域表現の画像信号Ｓ５１0 〜Ｓ５１3 を生成し、画像信号Ｓ５１0 〜Ｓ５１3 を空間シフト回路５２に出力する。
【００３７】
空間シフト回路５２は、図４（Ｂ），（Ｃ）の位置でサンプリングされた事を示す表現にするために、撮像によって得た画像信号Ｓ５１0 〜Ｓ５１3 に含まれるＲデータおよびＢデータを２次元空間シフトして画像信号Ｙ0 〜Ｙ3 を生成する。
すなわち、空間シフト回路５２は、画像信号Ｓ５１0 〜Ｓ５１3 のＲデータおよびＢデータに対してそれぞｅｘｐ（−ｊ（ωx αx0＋ωy αy0）／（２π））〜ｅｘｐ（−ｊ（ωx αx3＋ωy αy3）／（２π））を乗じて、画像信号Ｙ0 〜Ｙ3 を生成する。
但し、この場合に、ｘ方向およびｙ方向共にナイキスト周波数以上の部分は負の周波数を示しており、この部分に関しては、ωx もしくはωy は、（ωx −ωsx) もしくは（ωy −ωsy）とする必要がある。ここで、ωsx、ωsyは、アップサンプリング前のそれぞれｘ方向およびｙ方向のサンプリング周波数である。
【００３８】
基本スペクトル算出回路５３は、空間シフト回路５２から入力した画像信号Ｙ0 〜Ｙ3 と、図２に示すメモリ７に記憶された複素数ｗ0 〜ｗ3 ，ｗ0 ’〜ｗ3 ’とを用いて、ＲデータおよびＢデータの２次元の画像信号Ｘ0,0 をそれぞれ個別に生成し、当該生成されたＲデータおよびＢデータの画像信号Ｘ0,0 と図４（Ａ）に示す位置の画素のＧデータとからなる画像信号Ｓ５３をフーリエ逆変換回路５４に出力する。
なお、メモリ７には、後述するようにして生成されたＲデータおよびＢデータのそれぞれについて、第１および第３象限の基本スペクトル成分Ｘ１３0,0 を求めるために画像信号Ｙ0 〜Ｙ3 にそれぞれ乗ずる複素数ｗ0 〜ｗ3 と、第２および第４象限の基本スペクトル成分Ｘ２４0,0 を求めるために画像信号Ｙ0 〜Ｙ3 にそれぞれ乗ずる複素数ｗ0 ’〜ｗ3 ’とが記憶されている。
基本スペクトル算出回路５３は、下記式（１）に基づいてエイリアシング成分を含まない基本スペクトル成分Ｘ１３0,0 を求め、下記式（２）に基づいてエイリアシング成分を含まない基本スペクトル成分Ｘ２４0,0 を求める。
【００３９】
【数１】
0004158280.tif 000002
【００４０】
【数２】
0004158280.tif 000003
【００４１】
そして、下記式（３）に示すように、基本スペクトル成分Ｘ１３0,0 とＸ２４0,0 とを加算して基本スペクトル成分Ｘ0,0 を生成する。
【００４２】
【数３】
0004158280.tif 000004
【００４３】
以下、上記式（１），（２）の根拠を説明する。
先ず、上記式（１），（２）の根拠となる、２次元方向にサンプリング位相差を持つ複数の離散信号を用いた広帯域化手法の理論について説明する。
以下、変数を下記表に示すように定義する。
【００４４】
【表１】
0004158280.tif 000005
【００４５】
基準となる離散信号に対してサンプリング位相がｘ方向にαx 、ｙ方向にαy だけずれている信号は、基準となる離散信号を下記式（４）で示した場合には、下記式（５）で示される。
【００４６】
【数４】
0004158280.tif 000006
【００４７】
【数５】
0004158280.tif 000007
【００４８】
ここで、２次元空間シフト処理は、空間領域であれば補間の後のしかるべき位置にシフトすることによって実現できる。
また、周波数領域であれば、「ｅｘｐ（−ｊ（ωx ・αx ＋ωy ・αy ）／（２π））」を乗ずれば良い。
空間シフト回路５２は、空間領域および周波数領域の何れでも実現できる。
例えば、２次元空間シフト処理を空間領域で行う場合には、図６において、フーリエ変換回路５１と空間シフト回路５２とを入れ替えて配置する。すなわち、空間シフト処理を行った後に、フーリエ変換処理を行う。
【００４９】
次に、基本スペクトル成分を再現するための、Ｓ個の離散信号に乗ずる複素数ｗL を得る複素連立方程式について考える。
１次元の場合には、フーリエ変換の性質から、周波数が正と負とでスペクトルが対象になることを利用し、正の周波数のみを考え、正の帯域に入り込むイメージング成分の数を考えればよい。
【００５０】
これに対して、本実施形態のように、２次元の場合には、フーリエ変換の性質から、共役であるのは原点を中心とした場合であって、ωx 軸あるいはωy 軸を中心とした場合ではない。つまり、ωx −ωy 平面において、第１象限と第３象限とが共役、第２象限と第４象限とが共役である。すなわち、隣り合う２つの象限、例えば第１象限と第２象限とは独立である。従って、２つの象限について、例えば第１象限と第２象限とについて各々入り込むイメージング成分を考える必要がある。なお、残りの２つの象限は、共役の関係を使って求めることができる。
【００５１】
そのため、第１象限および第２象限について考えることにし、先ず、第１象限について考える。この第１象限についての複素連立方程式の解を得るのに必要な離散信号の数であるＳは、ｘ方向に必要な離散信号の数と、ｙ方向に必要な離散信号の数との積となり、Ｓ＝（Ｐx ＋Ｑx ＋１）・（Ｐy ＋Ｑy ＋１）となる。
ここで、Ｐx ＝ＦＬｏｏｒ（（Ｎx −１）／２）、
Ｑx ＝ＦＬｏｏｒ（（Ｎx ＋Ｍx −１）／２）、
Ｐy ＝ＦＬｏｏｒ（（Ｎy −１）／２）、
Ｑy ＝ＦＬｏｏｒ（（Ｎy ＋Ｍy −１）／２）
である。
なお、本実施形態では、Ｎx ，Ｎy ，Ｍx ，Ｍy が共に２の場合にＳは４となり、４系統の連続信号を得れば、イメージング成分を除去してナイキスト周波数の２倍までの信号を得ることができる。
【００５２】
従って、複素連立方程式は、式の数および未知数である基本スペクトル成分Ｘ0,0 およびイメージング成分Ｘi,k の数をＳとして、空間シフト後の第１および第３象限の離散信号をＹ１３L とした場合に、下記式（６）のように示され、下記式（６）を解いて複素数ｗL を求めることで、下記式（７）に示すように第１および第３象限の基本スペクトル成分Ｘ１３0,0 が求められる。なお、下記式（７）のｗL は複素数を示している。
【００５３】
【数６】
0004158280.tif 000008
【００５４】
【数７】
0004158280.tif 000009
【００５５】
次に、第２象限について考えると、第２象限では、ωx は負であり、ｘ方向のイメージング成分も負の次数となる。従って、複素連立方程式は、式の数および未知数である基本スペクトル成分Ｘ0,0 およびイメージング成分Ｘi,k の数をＳとして、空間シフト後の第２および第４象限の離散信号をＹ２４L とした場合に、下記式（８）のように示され、下記式（８）を解いて複素数ｗL ’を求めることで、下記式（９）に示すように基本スペクトル成分Ｘ２４0,0 が求められる。なお、下記式（９）のｗL ’はｗL とは異なる複素数を示している。
【００５６】
【数８】
0004158280.tif 000010
【００５７】
【数９】
0004158280.tif 000011
【００５８】
以上により得られた複素数ｗL は、第１象限および第３象限のイメージング成分を除去するために用いられ、複素数ｗL ’は第２象限および第４象限のイメージング成分を除去するために用いられる。
ここで、第１象限および第３象限におけるイメージング成分の除去の処理と、第２象限および第４象限におけるイメージング成分の除去の処理とは独立であるため、信号を２系統に分ける。
当該２系統に分ける処理は、周波数領域であれば、第２象限および第４象限の値を０で置き換えた信号と、第１象限および第３象限の値を０で置き換えた信号とを生成する。一方、空間領域であれば、第２象限および第４象限の周波数成分を抽出するフィルタ処理を行った信号と、第１象限および第３象限の周波数成分を抽出するフィルタ処理を行った信号とを生成する。
【００５９】
そして、これらの２系統の信号に対して、複素数ｗL およびｗL ’をそれぞれ乗ずれば、イメージング成分が除去された第１および第３象限の基本スペクトルＸ１３L と、イメージング成分が除去された第２および第４象限の基本スペクトルＸ２４L とが得られる。
そして、最後に、イメージング成分が除去された基本スペクトルＸ１３L と基本スペクトルＸ２４L とを加算すれば、目的である広帯域化された信号が得られる。
以上が広帯域化手法の理論である。
【００６０】
以下、上述した広帯域化手法の理論に基づいて、上記式（１），（２）の根拠を説明する。
すなわち、４枚の撮像画像の画像信号Ｓ５から得られる図４（Ｂ）に示す位置の画素のＲデータから、イメージング成分が除去され、広帯域化された図１（Ｃ）に示す位置の画素のＲデータを生成する場合を説明する。
なお、４枚の撮像画像の画像信号Ｓ５から得られる図４（Ｃ）に示す位置の画素のＢデータから、イメージング成分が除去され、広帯域化された図１（Ｄ）に示す位置の画素のＢデータを生成する場合は、サンプリング位相差αxL，αyLの値を除いて、Ｒデータの場合と同じである。
【００６１】
第１および第３象限については、上記式（６）から下記式（１０ａ）〜（１０ｄ）が得られる。
【００６２】
【数１０】
0004158280.tif 000012
【００６３】
そして、上記式（１０ａ）〜（１０ｄ）を解くと、上記式（７）に対応する上記式（１）が導かれ、第１および第３象限の基本スペクトルＸ１３0,0 が得られる。
【００６４】
第２および第４象限については、上記式（８）から下記式（１１ａ）〜（１１ｄ）が得られる。
【００６５】
【数１１】
0004158280.tif 000013
【００６６】
そして、上記式（１１ａ）〜（１１ｄ）を解くと、上記式（９）に対応する上記式（２）が導かれ、第２および第４象限の基本スペクトルＸ２４0,0 が得られる。
【００６７】
フーリエ逆変換回路５４は、基本スペクトル算出回路５３から入力した画像信号Ｓ５３をフーリエ逆変換し、広帯域化されたデジタル信号Ｓ８を得る。
【００６８】
カメラ信号処理部９は、信号処理部８からの画像信号Ｓ８に含まれるＲ，Ｇ，Ｂデータから、各色の相関を考慮して、補間されたＲＧＢ信号を生成したり、あるいは、輝度信号および色差信号を生成する。
【００６９】
以下、図２に示す本実施形態の電子スチルカメラの動作について説明する。
ＣＣＤ駆動部６による駆動によって、ＣＣＤ４が所定の方向に所定の距離だけ移動し、図３に示すように、サンプリング位相が相互に異なる４枚の画像が撮像され、当該撮像された４枚の画像に応じた受光信号Ｓ４0 〜Ｓ４3 がＡＤ変換部５に出力される。
次に、ＡＤ変換部５において、受光信号Ｓ４0 〜Ｓ４3 が、デジタル形式の画像信号Ｓ５0 〜Ｓ５3 に変換され、画像信号Ｓ５0 〜Ｓ５3 が信号処理部８に出力される。画像信号Ｓ５0 〜Ｓ５3 は、メモリ７に記憶された後に読み出されて、信号処理部８において処理される。
【００７０】
信号処理部８では、先ず、補間回路５０において、入力した画像信号Ｓ５0 〜Ｓ５3 が補間されて２倍にアップサンプリングされた画像信号Ｓ５０0 〜Ｓ５０3 が生成される。
そして、フーリエ変換回路５１において、画像信号Ｓ５０0 〜Ｓ５０3 が２次元フーリエ変換され、周波数領域表現の画像信号Ｓ５１0 〜Ｓ５１3 が生成される。
【００７１】
そして、空間シフト回路５２において、画像信号Ｓ５１0 〜Ｓ５１3 のＲデータおよびＢデータに対してそれぞれｅｘｐ（−ｊ（ωx αx0＋ωy αy0）／（２π））〜ｅｘｐ（−ｊ（ωx αx3＋ωy αy3）／（２π））が乗じられ、画像信号Ｙ0 〜Ｙ3 が生成される。
【００７２】
そして、基本スペクトル算出回路５３において、入力した画像信号Ｙ0 〜Ｙ3 と、図２に示すメモリ７に記憶された複素数とを用いて、ＲデータおよびＢデータの２次元の画像信号Ｘ0,0 がそれぞれ個別に生成され、当該生成されたＲデータおよびＢデータの画像信号Ｘ0,0 と図４（Ａ）に示す位置の画素のＧデータとからなる画像信号Ｓ５３がフーリエ逆変換回路５４に出力される。
【００７３】
そして、フーリエ逆変換回路５４において、入力した画像信号Ｓ５３がフーリエ逆変換され、広帯域化されたデジタル信号Ｓ８ｂが生成される。
【００７４】
そして、カメラ信号処理部９において、画像信号Ｓ８ｂに含まれるＲ，Ｇ，Ｂデータから、各色の相関を考慮して、補間されたＲＧＢ信号を生成したり、あるいは、輝度信号および色差信号を生成される。
そして、当該生成されたＲＧＢ信号、あるいは、輝度信号および色信号に応じた画像出力が行われる。
【００７５】
以上説明したように、本実施形態の電子スチルカメラによれば、カメラ信号処理部９において複雑な処理を行うことなく、ＣＣＤ４の画素数の縦横共に２倍の画素数に対応した高精度化された画像信号を得ることができる。
また、本実施形態の電子スチルカメラによれば、信号処理部８の処理は従来に比べて複雑になるが、前述したように、信号処理部８では、Ｇデータの処理を行う必要がないため、Ｒ，Ｇ，Ｂデータの全てのデータの処理を行う必要がある場合に比べて信号処理部８のデータ処理量を削減できる。
【００７６】
第２実施形態
図７は、本実施形態の電子スチルカメラの部分構成図である。
図７に示すように、本実施形態の電子スチルカメラは、信号処理部６８における処理を除いて、前述した第１実施形態の電子スチルカメラと同じである。
【００７７】
図８は、図７に示す信号処理部６８の構成図である。
図８に示すように、信号処理部６８は、補間回路７０、空間シフト回路７１および広帯域信号生成回路７２を有する。
補間回路２０は、図７に示すＡＤ変換部５から入力した図３に示す相互に異なるサンプリング位相を持つ４枚の撮像画像の画像信号Ｓ５0 〜Ｓ５3 を、ｘ方向およびｙ方向のサンプリング位置間を補間して画像信号Ｓ７０0 〜Ｓ７０3 を生成する。
【００７８】
空間シフト回路７１は、補間回路７０から入力した画像信号Ｓ７０0 〜Ｓ７０3 を、図４（Ｂ），（Ｃ）の位置でサンプリングされたことを示す表現にするために、位相差分だけｘ方向およびｙ方向にずらして画像信号ｙ0 〜ｙ3 を生成する。
具体的にはサンプル数の増えた画像信号Ｓ７０0 〜Ｓ７０3 の先頭の数サンプルを除去したり、あるいは先頭に適当な値を数サンプル加えて信号ｙ0 〜ｙ3 を生成する。
空間シフト回路７１は、信号ｙ0 〜ｙ3 を広帯域信号生成回路７２に出力する。
【００７９】
広帯域信号生成回路７２は、画像信号ｙ0 〜ｙ3 を、ｘ，ｙとも正の周波数を持つ成分と、ｘ，ｙが互いに正負となる周波数を持つ成分に分ける。すなわち、ｘ，ｙとも正の周波数を取り出す２次元フィルタと、ｘ，ｙが互いに正負となる周波数を取り出す２次元フィルタをかける。これらにより得られた信号をそれぞれｙ１３L 、ｙ２４L とする。
【００８０】
そして、広帯域信号生成回路７２は、画像信号ｙ１３L 、ｙ２４L に２次元ヒルベルト変換を施す。すなわち、図示しない移相手段によって、π／２（ｒａｄ）移相し、これらにより得られた信号をそれぞれｙ１３L ’、ｙ２４L ’とする。
そして、広帯域信号生成回路７２は、ｙ１３L について、メモリ７から読み出した複素数ｗL の実部および虚部をそれぞれ示す実数を用いて、「Ｒｅ（ｗL ）・ｙ１３L ＋Ｉｍ（ｗL ）・ｙ１３L ’」を演算する。また同様に、ｙ２４L について、メモリ７から読み出した複素数ｗL ’の実部および虚部をそれぞれ示す実数を用いて、「Ｒｅ（ｗL ’）・ｙ２４L ＋Ｉｍ（ｗL ’）・ｙ２４L ’」を演算する。
ここで、Ｒｅ（ｘ）はｘの実部(real part) を示し、Ｉｍ（ｘ）はｘの虚部(imaginary part)を示す。
そして、広帯域信号生成回路７２は、「Ｒｅ（ｗL ）・ｙ１３L ＋Ｉｍ（ｗL ）・ｙ１３L ’」の演算結果と、「Ｒｅ（ｗL ’）・ｙ２４L ＋Ｉｍ（ｗL ’）・ｙ２４L ’」の演算結果とを加算することにより、エイリアシングがキャンセル（除去）され、広帯域化された画像信号Ｓ６８を得る。
なお、本実施形態では、複素数ｗL ，ｗL ’の実部および虚部を示す実数が、メモリ７に予め記憶されている。
【００８１】
本実施形態の電子スチルカメラによっても、前述した第１実施形態の電子スチルカメラと同様の効果が得られる。
【００８２】
第３実施形態
本実施形態の電子スチルカメラは、ベイヤー配列の原色フィルタではなく、補色フィルタを持つＣＣＤを用いた場合を説明する。
図９は、本実施形態の電子スチルカメラの部分構成図である。
図９に示すように電子スチルカメラ１は、レンズ２、光学ＬＰＦ３、ＣＣＤ８４、ＡＤ変換部５、ＣＣＤ駆動部８６、メモリ８７、信号処理部８８およびカメラ信号処理部９を有する。
【００８３】
〔ＣＣＤ８４〕
ＣＣＤ８４は、マトリクス状に配列された複数のフォトダイオードと、補色フィルタとを有している。補色フィルタは、図１０（Ａ）に示すパターンで、Ｃｙ（シアン）色、Ｍ（マゼンダ）色、Ｙ（イエロー）およびＷ（ホワイト）色を透過するフィルタを配列したものである。フォトダイオードは、補色フィルタを透過した光を受光し、受光結果を光電変換して受光量に応じた受光信号Ｓ８４0 〜Ｓ８４3 を生成し、受光信号Ｓ８４をＡＤ変換部５に出力する。
ＣＣＤ８４は、後述するように、ＣＣＤ駆動部８６によって移動が駆動され、図１０（Ｂ）に示す１枚の高解像度化された画像を得るために、サンプリング位相が相互に異なる４枚の画像を撮像し、受光信号Ｓ８４0 〜Ｓ８４3 を生成する。このとき、４枚の画像のサンプリング位相は、任意であり、本実施形態では、例えば図１０（Ｃ）に示すように、（０，０）、（π／２，０）、（０，π／２）および（π／２，π／２）である。
【００８４】
〔ＡＤ変換部８５〕
ＡＤ変換部８５は、受光信号Ｓ８４0 〜Ｓ８４3 をデジタル形式の画像信号Ｓ８５0 〜Ｓ８５3 に変換し、画像信号Ｓ８５0 〜Ｓ８５3 を信号処理部８８に出力する。
【００８５】
〔ＣＣＤ駆動部８６〕
ＣＣＤ駆動部８６は、ＣＣＤ８４のサンプリング間隔を２πとし、図１０（Ｃ）に示す異なる４つのサンプリング位相を持つ合計４枚の画像をＣＣＤ８４が撮像するように、信号処理部８８からの制御信号Ｓ８８ａに基づいて、ＣＣＤ８４を所定の方向に所定の距離だけ物理的に移動する。
【００８６】
〔信号処理部８８〕
信号処理部８８は、ＡＤ変換部８５から入力した、図１０（Ｃ）に示す相互に異なるサンプリング位相を持つ４枚の撮像画像の画像信号Ｓ８５0 〜Ｓ８５3 を用いて、縦横の画素数が２倍の画像の画像信号Ｓ８８ｂを生成する。
また、信号処理部８８は、図１０（Ｃ）に示す相互に異なるサンプリング位相の４枚の撮像画像を得られるように、メモリ８７に予め記憶されたＣＣＤ８４の移動方向および距離に関する情報に基づいて制御信号Ｓ８８ａを生成し、制御信号Ｓ８８ａをＣＣＤ駆動部８６に出力する。
【００８７】
信号処理部８８は、ＡＤ変換部８５から入力した図１０（Ａ）に示す画素配列パターンの４枚の撮像画像の画像信号Ｓ８５0 〜Ｓ８５3 をメモリ８７に書き込んだ後に読み出して、後述する広帯域化処理を行い、図１０（Ｂ）に示す画素配列パターンの画像信号Ｓ８８ｂを生成する。
【００８８】
以下、信号処理部８８における、画像信号Ｓ８８ｂのＣｙデータ、Ｙｅデータ、ＷデータおよびＧデータの生成処理について説明する。
なお、Ｃｙデータ、Ｙｅデータ、ＷデータおよびＧデータの生成処理は、サンプリング位相の値を除いて同じである。
ここで、サンプリング位相は、図１０（Ｃ）に示すように、Ｃｙデータに応じた色を出力する画素の位置を原点として考える。
【００８９】
具体的には、Ｃｙデータについては、４枚の撮像画像のサンプリング位相は、図１０（Ｃ）に示すように、それぞれ（αx0，αy0）＝（０，０），（αx1，αy1）＝（π／２，０），（αx2，αy2）＝（π／２，π／２），（αx3，αy3）＝（０，π／２）となる。
また、Ｙｅデータについては、４枚の撮像画像のサンプリング位相は、それぞれ（αx0，αy0）＝（π／２，０），（αx1，αy1）＝（π，０），（αx2，αy2）＝（π／２，０），（αx3，αy3）＝（π，π／２）となる。
また、Ｗデータについては、４枚の撮像画像のサンプリング位相は、それぞれ（αx0，αy0）＝（０，π／２），（αx1，αy1）＝（π／２，π／２），（αx2，αy2）＝（０，π／２），（αx3，αy3）＝（π／２，π）となる。
また、Ｇデータについては、４枚の撮像画像のサンプリング位相は、それぞれ（αx0，αy0）＝（π／２，π／２），（αx1，αy1）＝（π，π／２），（αx2，αy2）＝（π／２，π），（αx3，αy3）＝（π，π）となる。
【００９０】
これらのサンプリング位相の値は、後述する空間シフト時の（αx0，αy0）〜（αx3，αy3）として使用され、図９に示すメモリ８７に予め記憶されている。
【００９１】
図１１は、信号処理部８８の構成図である。
図１１に示すように、信号処理部８８は、補間回路９０、フーリエ変換回路９１、空間シフト回路９２、基本スペクトル算出回路９３およびフーリエ逆変換回路９４を有する。
【００９２】
補間回路９０は、画像信号Ｓ８５0 〜Ｓ８５3 を入力し、これを補間して２倍にアップサンプリングした画像信号Ｓ９０0 〜Ｓ９０3 を生成し、画像信号Ｓ９０0 〜Ｓ９０3 をフーリエ変換回路９１に出力する。
フーリエ変換回路９１は、補間回路９０から入力した画像信号Ｓ９０0 〜Ｓ９０3 を２次元フーリエ変換して周波数領域表現の画像信号Ｓ９１0 〜Ｓ９１3 を生成し、画像信号Ｓ９１0 〜Ｓ９１3 を空間シフト回路９２に出力する。
【００９３】
空間シフト回路９２は、上述した（αx0，αy0）〜（αx3，αy3）の位置でサンプリングされた事を示す表現にするために、撮像によって得た画像信号Ｓ９１0 〜Ｓ９１3 に含まれるＣｙデータ、Ｙｅデータ、ＷデータおよびＧデータをそれぞれ個別に２次元空間シフトして画像信号Ｙ0 〜Ｙ3 を生成する。
すなわち、空間シフト回路９２は、画像信号Ｓ９１0 〜Ｓ９１3 のＣｙデータ、Ｙｅデータ、ＷデータおよびＧデータに対してそれぞれｅｘｐ（−ｊ（ωx αx0＋ωy αy0）／（２π））〜ｅｘｐ（−ｊ（ωx αx3＋ωy αy3）／（２π））を乗じて、画像信号Ｙ0 〜Ｙ3 を生成する。
但し、この場合に、ｘ方向およびｙ方向共にナイキスト周波数以上の部分は負の周波数を示しており、この部分に関しては、ωx もしくはωy は、（ωx −ωsx) もしくは（ωy −ωsy）とする必要がある。ここで、ωsx、ωsyは、アップサンプリング前のそれぞれｘ方向およびｙ方向のサンプリング周波数である。
【００９４】
基本スペクトル算出回路９３は、空間シフト回路９２から入力した画像信号Ｙ0 〜Ｙ3 と、図９に示すメモリ８７に記憶された複素数とを用いて、Ｃｙデータ、Ｙｅデータ、ＷデータおよびＧデータの２次元の画像信号Ｘ0,0 をそれぞれ個別に生成し、当該生成されたＣｙデータ、Ｙｅデータ、ＷデータおよびＧデータの画像信号Ｘ0,0 からなる画像信号Ｓ９３をフーリエ逆変換回路９４に出力する。
なお、メモリ８７には、後述するようにして生成されたＣｙデータ、Ｙｅデータ、ＷデータおよびＧデータのそれぞれについて、第１および第３象限の基本スペクトル成分Ｘ１３0,0 を求めるために画像信号Ｙ0 〜Ｙ3 にそれぞれ乗ずる複素数ｗ0 〜ｗ3 と、第２および第４象限の基本スペクトル成分Ｘ２４0,0 を求めるために画像信号Ｙ0 〜Ｙ3 にそれぞれ乗ずる複素数ｗ0 ’〜ｗ3 ’とが記憶されている。
基本スペクトル算出回路９３は、Ｃｙデータについて、下記式（１２ａ）〜（１２ｄ）から得られた下記式（１３）に基づいて基本スペクトル成分Ｘ１３0,0 を求め、下記式（１４ａ）〜（１４ｄ）から得られた下記式（１５）に基づいて基本スペクトル成分Ｘ２４0,0 を求める。
【００９５】
【数１２】
0004158280.tif 000014
【００９６】
【数１３】
0004158280.tif 000015
【００９７】
【数１４】
0004158280.tif 000016
【００９８】
【数１５】
0004158280.tif 000017
【００９９】
そして、下記式（１６）に示すように、基本スペクトル成分Ｘ１３0,0 とＸ２４0,0 とを加算して、基本スペクトル成分Ｘ0,0 を生成する。
【０１００】
【数１６】
0004158280.tif 000018
【０１０１】
また、基本スペクトル算出回路９３は、Ｃｙデータと同様に、Ｙｅデータ、ＷデータおよびＧデータについて、基本スペクトル成分Ｘ１３0,0 および基本スペクトル成分Ｘ２４0,0 を求め、これらを加算して、基本スペクトル成分Ｘ0,0 を生成する。
【０１０２】
フーリエ逆変換回路９４は、基本スペクトル算出回路９３から入力した画像信号Ｓ９３をフーリエ逆変換し、広帯域化されたデジタル信号Ｓ８８ｂを得る。
【０１０３】
カメラ信号処理部８９は、信号処理部８８からの画像信号Ｓ８８ｂに含まれるＣｙデータ、Ｙｅデータ、ＷデータおよびＧデータから、各色の相関を考慮して、補間されたＲＧＢ信号を生成したり、あるいは、輝度信号および色差信号を生成する。
【０１０４】
以下、図９に示す本実施形態の電子スチルカメラの動作について説明する。
ＣＣＤ駆動部８６による駆動によって、ＣＣＤ８４が所定の方向に所定の距離だけ移動し、図１０（Ｃ）に示すように、サンプリング位相が相互に異なる４枚の画像が撮像され、当該撮像された４枚の画像に応じた受光信号Ｓ８４0 〜Ｓ８４3 がＡＤ変換部８５に出力される。
次に、ＡＤ変換部８５において、受光信号Ｓ８４0 〜Ｓ８４3 が、デジタル形式の画像信号Ｓ８５0 〜Ｓ８５3 に変換され、画像信号Ｓ８５0 〜Ｓ８５3 が信号処理部８８に出力される。画像信号Ｓ８５0 〜Ｓ８５3 は、メモリ８７に記憶された後に読み出されて、信号処理部８８において処理される。
【０１０５】
信号処理部８８では、先ず、補間回路９０において、入力した画像信号Ｓ８５0 〜Ｓ８５3 が補間されて２倍にアップサンプリングされた画像信号Ｓ９０0 〜Ｓ９０3 が生成される。
そして、フーリエ変換回路９１において、画像信号Ｓ９０0 〜Ｓ９０3 が２次元フーリエ変換され、周波数領域表現の画像信号Ｓ９１0 〜Ｓ９１3 が生成される。
【０１０６】
そして、空間シフト回路９２において、画像信号Ｓ９１0 〜Ｓ９１3 のＣｙデータ、Ｙｅデータ、ＷデータおよびＧデータに対してそれぞれｅｘｐ（−ｊ（ωx αx0＋ωy αy0）／（２π））〜ｅｘｐ（−ｊ（ωx αx3＋ωy αy3）／（２π））が乗じられ、画像信号Ｙ0 〜Ｙ3 が生成される。
【０１０７】
そして、基本スペクトル算出回路９３において、入力した画像信号Ｙ0 〜Ｙ3 と、図９に示すメモリ８７に記憶された複素数とを用いて、Ｃｙデータ、Ｙｅデータ、ＷデータおよびＧデータの２次元の画像信号Ｘ0,0 がそれぞれ個別に生成され、当該生成されたＣｙデータ、Ｙｅデータ、ＷデータおよびＧデータの画像信号Ｘ0,0 からなる画像信号Ｓ９３がフーリエ逆変換回路９４に出力される。
【０１０８】
そして、フーリエ逆変換回路９４において、入力した画像信号Ｓ９３がフーリエ逆変換され、広帯域化されたデジタル信号Ｓ８８ｂが生成される。
【０１０９】
そして、カメラ信号処理部８９において、画像信号Ｓ８８ｂに含まれるＣｙデータ、Ｙｅデータ、ＷデータおよびＧデータから、各色の相関を考慮して、補間されたＲＧＢ信号を生成したり、あるいは、輝度信号および色差信号を生成される。
そして、当該生成されたＲＧＢ信号、あるいは、輝度信号および色信号に応じた画像出力が行われる。
【０１１０】
以上説明したように、本実施形態の電子スチルカメラによれば、前述した補色フィルタを持つＣＣＤ８４を用いた場合でも、カメラ信号処理部８９において複雑な処理を行うことなく、ＣＣＤ８４の画素数の縦横とも２倍の画素数に対応した高精度化された画像信号を得ることができる。
【０１１１】
本発明は上述した実施形態には限定されない。
例えば、図２に示す信号処理部８、図７に示す信号処理部６８および図９に示す信号処理部８８における処理の順序は、上述したものには特に限定されない。
また、ハードウェア構成も、図２，図７および図９には限定されない。
また、本発明では、空間領域での処理と、周波数領域での処理とを混在させてもよい。
【０１１２】
また、上述した実施形態では、ＣＣＤ４および８４を物理的に移動させて、サンプリング位相の異なる４枚の撮像画像を得たが、ＣＣＤを物理的に移動させずに、例えば、複屈折板などを用いて光学的あるいは電気的に光路を変えてサンプリング位相の異なる複数の撮像画像を得るようにしてもよい。
また、サンプリング位相の値は、本実施形態で示したものには限定されない。
【０１１３】
また、上述した実施形態では、撮像手段としてＣＣＤを例示したが、その他ＣＭＯＳセンサなどを用いてもよい。
【０１１４】
また、上述した実施形態では、４枚の撮像画像を用いて、縦横方向に２倍に高解像度化（広帯域化）した画像を得る場合を例示したが、高解像度化の倍率は２倍には特に限定されない。また、高解像度化の倍率は、縦方向と横方向とで異なる倍率を用いてもよい。また、広帯域化は、２次元でなく１次元でも良い。
また、上述した実施形態では、１枚の高解像度化された画像を得るために、４枚の撮像された画像を用いたが、使用する撮像画像の数は各方向の倍率に依存するので４枚には限定されない。
【０１１５】
また、図１（Ａ）や図１０（Ａ）に示す色フィルタの各色の配列は任意である。
また、空間領域で用いれる移相手段はヒルベルト変換に限らず、移相量もπ／２には限定されない。
【０１１６】
【発明の効果】
以上説明したように、本発明の画像処理装置およびその方法によれば、簡単な処理で、低解像度の画像から高解像度の画像を得ることができる。
【図面の簡単な説明】
【図１】図１は、本発明の第１実施形態の電子スチルカメラに用いられるＲＧＢベイヤー配列単板方式のＣＣＤを説明するための図である。
【図２】図２は、本発明の第１実施形態の電子スチルカメラの部分構成図である。
【図３】図３は、１枚の高解像度化された画像を得るために図２に示すＣＣＤで撮像される４枚の画像のサンプリング位相を説明するための図である。
【図４】図４は、図２に示す信号処理部における処理を説明するための図である。
【図５】図５（Ａ）は図２に示す信号処理部において処理されるＲデータのサンプリング位相を説明するための図、図５（Ｂ）は図２に示す信号処理部において処理されるＢデータのサンプリング位相を説明するための図である。
【図６】図６は、図２に示す信号処理部の構成図である。
【図７】図７は、本発明の第２実施形態の電子スチルカメラの部分構成図である。
【図８】図８は、図７に示す信号処理部の構成図である。
【図９】図９は、本発明の第３実施形態の電子スチルカメラの部分構成図である。
【図１０】図１０は、図９に示すＣＣＤに用いられる補色フィルタを説明するための図である。
【図１１】図１１は、図９に示す信号処理部の構成図である。
【図１２】図１２は、従来技術の問題点を説明するための図である。
【符号の説明】
２…レンズ、３…光学ＬＰＦ、４，８４…ＣＣＤ、５，８５…ＡＤ変換部、６，８６…ＣＣＤ駆動部、７，８７…メモリ、８，８８…信号処理部、９，８９…カメラ信号処理部、５０，７０，９０…補間回路、５１，９１…フーリエ変換回路、５２，７１，９２…空間シフト回路、５３，９３…基本スペクトル算出回路、５４，９４…フーリエ逆変換回路、７２…広帯域信号生成回路
【図１】
0004158280.tif 000019
【図２】
0004158280.tif 000020
【図３】
0004158280.tif 000021
【図４】
0004158280.tif 000022
【図５】
0004158280.tif 000023
【図６】
0004158280.tif 000024
【図７】
0004158280.tif 000025
【図８】
0004158280.tif 000026
【図９】
0004158280.tif 000027
【図１０】
0004158280.tif 000028
【図１１】
0004158280.tif 000029
【図１２】
0004158280.tif 000030