(57)【特許請求の範囲】
【請求項１】
光学的に被写体像を入力する光学的入力手段と、
前記光学的入力手段により入力された被写体像に対して異なる高周波成分以上を低減して通過させるフィルタ手段と、
前記フィルタ手段を通過して出力された被写体像を受光素子ピッチでサンプリングして画像情報を得る撮像素子と、
同一被写体像について前記フィルタ手段で任意の異なる高周波成分以上を低減して通過させることで前記撮像素子から複数の画像情報を入力し、前記入力した複数の画像情報を合成することで合成前の前記画像情報に比べて倍のサンプリングでサンプリングした情報と等価である合成情報を取得する合成手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記フィルタ手段は、水晶光学フィルタを有し、該水晶光学フィルタを用いて高周波成分以上を低減することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記フィルタ手段は、被写体像の露光中に、前記光学的入力手段により入力された被写体像と前記撮像素子との相対的位置関係を変位させることを特徴とする請求項１記載の撮像装置。
【請求項４】
前記フィルタ手段は、前記光学的入力手段により入力された被写体像の結像位置を変位させることを特徴とする請求項１記載の撮像装置。
【請求項５】
前記撮像素子は、カラー固体撮像素子であり、前記フィルタ手段により高周波成分以上を低減された被写体像に基づいて第１画像情報を作成するとともに、前記フィルタ手段により高周波成分以上を低減されていない被写体像に基づいて第２画像情報を作成し、前記合成手段は前記第１画像情報と前記第２画像情報とを合成することを特徴とする請求項１〜４のいずれか一つに記載の撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、総画素数の少ない撮像素子を利用して高解像度の画像を取得する撮像装置に関する。
【０００２】
【従来の技術】
信号理論においては、一般的に、標本化定理が知られている。帯域幅ＢＨｚの有限帯域信号ｘ（ｔ）は１秒当たりのサンプル数がｆ≧２Ｂであるようなサンプリングによって得られる数列ｘ（ｎ／ｆ）によって一意的に決定される。つまりこの命題によると、信号のサンプリングは、その信号に含まれる周波数成分の最大周波数の２倍以上でサンプリングすることを示唆する。逆にサンプリング周波数ｆが与えられたときは、信号にはｆ／２以下の低域通過フィルタを通して、あらかじめ高周波成分をカットしておくべきことを示唆している。
【０００３】
すなわち、信号に含まれる周波数成分の内より高周波な成分を再現させようとすると、より高い周波数でサンプリングする必要が生じる。同様に、固体撮像素子などを用いた撮像装置においては、入力信号である被写体像について空間的に受光素子が配列された撮像素子でサンプリングすることで、画像情報を得ることができる。具体的には、固体撮像素子などを用いた撮像装置においては、高解像な画像を得るために、より多くの受光素子列をもつ画素数の多い撮像素子が必要となる。
【０００４】
しかしながら、現在、一般的な撮像素子に適用されているエリアＣＣＤ撮像素子の高密度化には限界がきている。その対応策として特開昭５８−１５７２６３号公報，同５９−１３４７６号公報などにより画素ずらし技術が提案されている。この技術は、ひとつの被写体像とその被写体像をサンプリングする撮像素子とを利用し、被写体像と撮像素子との相対的位置関係を変位させ、複数の相対的位置関係により得られた被写体像の画像情報を得て、その複数の画像情報によってより高解像な画像を得るものである。
【０００５】
この場合、例えば、水平方向に半画素分だけ相対位置関係を変位させ、その変位により得られた２つの画像情報を得ることで、水平方向の画素ピッチが１／２の撮像素子でサンプリングしたものと同等の画像情報を得ることができる。すなわち、上述の技術を用いれば、水平ｍ（ｍは自然数）画素の撮像素子により２ｍ画素の撮像素子でサンプリングしたものと同等の画像が得られ、これによって、撮像装置の高解像化が可能である。
【０００６】
【発明が解決しようとする課題】
上記公報のように従来例による撮像装置は、単独の画像情報だけでは意味がなく複数の画像情報を合成してはじめて高解像な画像（映像）を得るようにしているので、画像合成後に高解像な画像を得ようとすれば、画像合成前の各画像情報に撮像素子のサンプリングピッチよりも高い周波数成分が含まれているという条件が必要であった。この条件を満たせば、画像合成前の画像情報について単独で画像を形成した場合、前述の標本化定理によりサンプリング周波数よりも高い周波数成分の画像情報が含まれていることから、一般に折り返し現象が発生して正常に画像を再現することができないという問題があった。
【０００８】
この発明は、上述した従来例による問題を解消するため、画像情報を単独で使用しても折り返し現象の発生しない画像を再現することが可能な撮像装置を得ることを第２の目的とする。
【００１３】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するため、請求項１の発明に係る撮像装置は、光学的に被写体像を入力する光学的入力手段と、前記光学的入力手段により入力された被写体像に対して異なる高周波成分以上を低減して通過させるフィルタ手段と、前記フィルタ手段を通過して出力された被写体像を受光素子ピッチでサンプリングして画像情報を得る撮像素子と、同一被写体像について前記フィルタ手段で任意の異なる高周波成分以上を低減して通過させることで前記撮像素子から複数の画像情報を入力し、前記入力した複数の画像情報を合成することで合成前の前記画像情報に比べて倍のサンプリングでサンプリングした情報と等価である合成情報を取得する合成手段と、を備えたものである。
【００１４】
この請求項１の発明によれば、光学的入力手段により光学的に入力された被写体像に対してフィルタ手段により異なる高周波成分以上を低減して通過させ、撮像素子によりフィルタ手段を通過して出力された被写体像を受光素子ピッチでサンプリングして画像情報を得る場合、同一被写体像についてフィルタ手段で任意の異なる高周波成分以上を低減して通過させることで撮像素子から複数の画像情報を入力し、入力した複数の画像情報を合成することで合成前の画像情報に比べて倍のサンプリングでサンプリングした情報と等価である合成情報を取得するようにしたので、単独サンプリングに比べて高い周波数成分まで画像を再現することができ、しかも単独画像からでも折り返しノイズの無い信号の画像を実現することが可能であるとともに、総画素数の少ない撮像素子でも高い解像度が得られ、しかも高周波成分を低減して得られる画像情報のみを出力しても疑似信号によりモワレの無い画像を再現することが可能である。
【００１５】
また、請求項２の発明に係る撮像装置は、請求項１の発明において、フィルタ手段は、水晶光学フィルタを有し、該水晶光学フィルタを用いて高周波成分以上を低減することを特徴とする。
【００１６】
この請求項２の発明によれば、水晶光学フィルタを用いて高周波成分以上を低減するようにしたので、簡単に高周波成分を低減することができ、しかも水平，垂直に分離，非分離を切り換え、水晶光学フィルタを回転させることで、被写体像と撮像素子との相対的位置関係の変位を安価な構成で得ることが可能である。
【００１７】
また、請求項３の発明に係る撮像装置は、請求項１の発明において、フィルタ手段は、被写体像の露光中に、光学的入力手段により入力された被写体像と撮像素子との相対的位置関係を変位させることを特徴とする。
【００１８】
この請求項３の発明によれば、被写体像の露光中に被写体像と撮像素子との相対的位置関係を変位させるようにしたので、その変位による移動量でフィルタ特性を変化させることが可能である。
【００１９】
また、請求項４の発明に係る撮像装置は、請求項１の発明において、フィルタ手段は、光学的入力手段により入力された被写体像の結像位置を変位させることを特徴とする。
【００２０】
この請求項４の発明によれば、被写体像の結像位置を変位させるようにしたので、被写体像のピントをぼかして高周波成分を低減することになり、これによって、簡単に画像情報を取得することが可能である。
【００２１】
また、請求項５の発明に係る撮像装置は、請求項１〜４のいずれかひとつの発明において、撮像素子は、カラー固体撮像素子であり、フィルタ手段により高周波成分以上を低減された被写体像に基づいて第１画像情報を作成するとともに、フィルタ手段により高周波成分以上を低減されていない被写体像に基づいて第２画像情報を作成し、合成手段は第１画像情報と第２画像情報とを合成することを特徴とする。
【００２２】
この請求項５の発明によれば、カラー固体撮像素子により被写体像に基づいて第１画像情報を作成するとともに高周波成分以上を低減されていない被写体像に基づいて第２画像情報を作成してから合成するようにしたので、疑色の低減が図れ、かつ高周波成分を含んだ高解像度画像を取得することが可能である。
【００２３】
【発明の実施の形態】
以下に添付図面を参照して、この発明に係る信号処理装置および撮像装置の好適な実施の形態を詳細に説明する。
【００２４】
まず、原理について説明する。図１はこの発明に係る信号処理装置の原理を示す構成図である。図１に示した信号処理装置は、入力信号について任意の高周波成分以上を低減して通過させる低域通過フィルタ１、この低域通過フィルタ１を通過して出力された信号をあるサンプリング周波数でサンプリングしてサンプリング情報を得るサンプリング手段２、および同一入力信号について低域通過フィルタ１で任意の異なる高周波成分以上を低減して通過させ、サンプリング手段２から複数のサンプリング情報を入力し、複数のサンプリング情報を合成する合成手段３により構成される。
【００２５】
次に、動作について説明する。上記信号処理装置は、低域通過フィルタ１により入力信号について任意の高周波成分以上を低減して通過させ、サンプリング手段２により低域通過フィルタ１を通過して出力された信号をあるサンプリング周波数でサンプリングしてサンプリング情報を得る場合、同一入力信号について低域通過フィルタ１で任意の異なる高周波成分以上を低減して通過させ、サンプリング手段２から複数のサンプリング情報を入力し、複数のサンプリング情報を合成する。これにより、単独サンプリングに比べて高い周波数成分まで信号を再現することができ、しかも単独の入力信号からでも折り返しノイズの無い信号の再生を実現することが可能である。
【００２６】
次に、上述した原理に従って折り返し現象の発生しない信号の取得方法について説明する。図２は折り返しノイズをもつ信号スペクトルをグラフ化して示す図、図３は折り返しノイズをもたない信号スペクトル（一例）をグラフ化して示す図、図４は折り返しノイズをもたない信号スペクトル（もうひとつの例）をグラフ化して示す図そして、図５は信号スペクトルの合成手順をグラフ化して示す図である。
【００２７】
原信号スペクトルの周波数領域が［−ｆｍａｘ，＋ｆｍａｘ］であった場合（図２（ａ）参照）、サンプリング周波数がｆｓであり（図２（ｂ）の標本化信号スペクトルを参照）、標本化定理によりｆｍａｘ＞（１／２）ｆｓのときの折り返しにより、図２（ｃ）に示した如く、標本化された信号が得られる。この標本化された信号には折り返しノイズがのることになる。
【００２８】
また、原信号スペクトルの周波数領域［−ｆｍａｘ，＋ｆｍａｘ］（図３（ａ）参照）をｆｍａｘ≦（１／２）ｆｓでサンプリングした場合（図３（ｂ）の標本化信号スペクトルを参照）、標本化された信号はナイキスト条件を満たしているので、図３（ｃ）に示した如く、折り返しノイズが発生することはなく、原信号を標本化された情報に基づいて再現することができる。
【００２９】
また、原信号スペクトルの［−ｆｍａｘ，＋ｆｍａｘ］であった場合（図４（ａ）参照）、サンプリング周波数がｆｓであり（図４（ｂ）の標本化信号スペクトルを参照）、標本化定理によりｆｍａｘ＞（１／２）ｆｓのとき、（１／２）ｆｓよりも高い周波数をカットした帯域制限信号を低域通過フィルタ１を通過させて形成し、その帯域制限信号をサンプリング手段２によりサンプリング周波数ｆｓでサンプリングすると、図４（ｃ）に示した如く、標本化された情報が得られる。この標本化された信号は、（１／２）ｆｓ以上の高周波成分がカットされているので、折り返しノイズは発生しなくなる。
【００３０】
ここで、原信号を標本化して折り返しノイズののった標本化された信号（図５（ａ）参照、図２（ｃ）と同じ）と、帯域制限した信号が標本化された信号（図５（ｂ）参照、図４（ｄ）と同じ）とを比較すると、図５（ｃ）に示した如く、折り返し成分のみ抽出することができる（図５（ｃ）中、斜線部分）。
【００３１】
この折り返し成分は帯域制限信号を形成するときにカットした高周波成分と同等なので、図５（ｄ）に示したように、合成信号は、図５（ｂ）の標本化された信号と図５（ｃ）の折り返し成分との合成により得られる。
【００３２】
以上説明した原理のように、（１／２）ｆｓ＜ｆｍａｘを含んだ原信号を標本化したときの標本化信号と（１／２）ｆｓ以上の高周波成分をカットした帯域制限信号の標本化信号とを用いることで、図３（ｃ）の標本化された信号と同等の折り返しノイズの無い、原信号と同等の信号を再現可能な合成を行うことができる。なお、上記帯域制限信号の標本化信号は折り返しノイズが含まれない信号である。
【００３３】
次に、具体的な構成を用いて説明する。以下の説明では、撮像装置としてデジタルカメラを例に挙げて説明する。
【００３４】
図６はこの発明の一実施の形態による撮像装置の構成を示すブロック図である。撮像装置は、図６に示したように、レンズ１０１、オートフォーカス等を含むメカ機構１０２、ＣＣＤ１０３Ａ、アクチュエータ１０３Ｂ、ＣＤＳ（相関２重サンプリング）回路１０４、Ａ／Ｄ変換器１０５、信号処理・合成部１０６、ＤＣＴ１０７、コーダー１０８、ＭＣＣ１０９、バッファメモリ１１０、ビデオアンプ１１１、内部メモリ１１２、ＣＰＵ１２１、表示部１２２、操作部１２３、パラメータメモリ１２４、モータドライバ１２５、ＳＧ（制御信号生成）部１２６、ストロボ１２７、ＡＦセンサ１２８、低域通過フィルタ１２９、通信部１３０などを備えている。
【００３５】
レンズユニットは、レンズ１０１、オートフォーカス（ＡＦ）・絞り・フィルタ部を含むメカ機構１０２等からなり、メカ機構１０２のメカニカルシャッターは２つのフィールドの同時露光を行う。ＣＣＤ１０３Ａは、レンズユニットを介して入力した映像を電気信号（アナログ画像データ）に変換する。低域通過フィルタ１２９は、レンズユニット（レンズ１０１）とＣＣＤ１０３Ａとの間に設けられ、レンズ１０１を通りＣＣＤ１０３Ａに受光される光（被写体像）について光学的に高周波成分を低減して通過させる。アクチュエータ１０３Ｂは、ＣＣＤ１０３Ａに取り付けられ、ＣＰＵ１２１の制御に従ってＣＣＤ１０３Ａと被写体との相対的に位置関係を変位させる。
【００３６】
ＣＤＳ回路１０４は、ＣＣＤ型撮像素子に対する低雑音化とともに、前述の原理に従い（１／２）ｆｓ＜ｆｍａｘを含んだ原信号を標本化したときの標本化信号と（１／２）ｆｓ以上の高周波成分をカットした帯域制限信号の標本化信号とを得るための回路である。またＡ／Ｄ変換器１０５は、ＣＤＳ回路１０４を介して入力したＣＣＤ１０３Ａからのアナログ画像データをデジタル画像データに変換する。すなわち、ＣＣＤ１０３Ａの出力信号は、ＣＤＳ回路１０４を通してＡ／Ｄ変換器１０５で最適なサンプリング周波数（例えば、ＮＴＳＣ信号のサブキャリア周波数の整数倍）にてデジタル信号に変換される。
【００３７】
また、信号処理・合成部１０６は、Ａ／Ｄ変換器１０５から入力したデジタル画像データを前述の原理に従い合成処理，色差と輝度に分けて各種処理、補正および画像圧縮／伸長のためのデータ処理を施す。ＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）１０７は、例えばＪＰＥＧ準拠の画像圧縮・伸長の一過程である直交変換を行い、そしてコーダー（Ｈｕｆｆｍａｎ  Ｅｎｃｏｄｅｒ／ｄｅｃｏｄｅｒ）１０８は、ＪＰＥＧ準拠の画像圧縮・伸長の一過程であるハフマン符号化・復号化等を行う。
【００３８】
またＭＣＣ（Ｍｅｍｏｒｙ  Ｃａｒｄ  Ｃｏｎｔｒｏｌｌｅｒ）１０９は、圧縮処理された画像と図示せぬマイクから取り込まれてデジタル化された音声を一旦蓄え、同時処理して内部メモリ１１２またはメモリカードへの記録・読み出しを行う。ＣＰＵ１２１は、操作部１２３からの指示、或いは図示しないリモコン等の外部動作指示に従い、上記各部の動作を制御する。
【００３９】
表示部１２２は、ＬＣＤ，ＬＥＤ，ＥＬ等で実現されており、ＣＣＤ１０３Ａにおいてサンプリングされた信号を直接表示したり撮影したデジタル画像データや伸長処理された記録画像データに基づく画像を表示すると共に、撮像装置自身の状態等を表示する。操作部１２３は、機能選択、撮影指示、およびその他の各種設定を外部から行うためのボタンを備える。この操作部１２３は、レリーズボタン１２３Ａを有しており、このレリーズボタン１２３Ａの操作によりＣＰＵ１２１へレリーズ信号を出力する。通信部１３０は、外部装置と図示せぬケーブルで接続してＣＣＤ１０３Ａにおいてサンプリングされた信号を直接伝送したり、撮像画像を伝送する。
【００４０】
次に、折り返し現象の発生しない画像情報の取得方法について説明する。図７は画像情報の合成方法を説明する図であり、図８は出力信号の周波数特性を示す図である。
【００４１】
ＣＣＤ１０３Ａにおいて、ａ0 ，ａ1 …ａn （ｎは自然数）のように水平に受光素子が配列されている場合（図７（ａ）参照）、これら受光素子から得られる第１画像情報（ａ0 ，ａ1 …ａn ）と、アクチュエータ１０３ＢによりＣＣＤ１０３Ａを撮像中に水平もしくは垂直方向に変位させて受光素子から得られると仮定した第２画像情報（ｂ0 ，ｂ1 …ｂn ）とがあるとした場合、（ｂ0 ，ｂ1 …ｂn ）−（ａ0 ，ａ1 …ａn ）＝（ｃ0 ，ｃ1 …ｃn ）となることは自明である。すなわち、第２画像情報（ｂ0 ，ｂ1 …ｂn ）には、第１画像情報（ａ0 ，ａ1 …ａn ）と第３画像情報（ｃ0 ，ｃ1 …ｃn ）との双方の情報が重ね合わさった情報であることに起因する。
【００４２】
したがって、第１画像情報（ａ0 ，ａ1 …ａn ）と算出された第３画像情報（ｃ0 ，ｃ1 …ｃn ）とを同一位置に対応させて並べることで、図７（ｃ）に示した如く、合成情報（ａ0 ，ｃ0 ，ａ1 ，ｃ1 …ａn ，ｃn ）が取得される。この合成情報は、第１画像情報（ａ0 ，ａ1 …ａn ）に比べて倍のサンプリングでサンプリングした情報と等価である。
【００４３】
このように、第１画像情報（ａ0 ，ａ1 …ａn ）と第２画像情報（ｂ0 ，ｂ1 …ｂn ）とで、第１画像情報（ａ0 ，ａ1 …ａn ）と第３画像情報（ｃ0 ，ｃ1 …ｃn ）とを合成した合成画像と等価の情報が得られることから、合成画像を形成する技法は、一般に画素ずらしと呼ばれている技術に相当する。しかしながら、本来の画素ずらしとの違いは、撮像中に水平もしくは垂直方向に変位させて受光素子から得られると仮定した第２画像情報（ｂ0 ，ｂ1 …ｂn ）を利用する点にある。
【００４４】
次に、第１画像情報（ａ0 ，ａ1 …ａn ）もしくは第３画像情報（ｃ0 ，ｃ1 …ｃn ）と、第２画像情報（ｂ0 ，ｂ1 …ｂn ）との違いについて述べる。
【００４５】
被写体の入力信号（被写体像）がｓｉｎ（（２π／Ｔ）・ｘ），画素ピッチがＰ，受光巾がＷとすると、下記の数１、数２、数３となり、数４により数５となる。
【００４６】
【数１】
0003943655.tif 000002
【００４７】
【数２】
0003943655.tif 000003
【００４８】
【数３】
0003943655.tif 000004
【００４９】
【数４】
0003943655.tif 000005
【００５０】
【数５】
0003943655.tif 000006
【００５１】
以上よりａn ，ｂn ，ｃn は、入力信号を表すＳｉｎ（（２π／Ｔ）ｎＰ＋Ｔｏ）と、Ｓｉｎ（（２π／Ｔ）（ｎＰ＋（１／４）Ｐ）＋Ｔｏ）と、Ｓｉｎ（（２π／Ｔ）（ｎＰ＋（１／２）Ｐ）＋Ｔｏ）と、その信号の振幅の減衰項であるＳｉｎ（（π／Ｔ）ｗ）／（（π／Ｔ）ｗ）Ｓｉｎ（（２π／Ｔ）ｗ）／（（２π／Ｔ）ｗ）で表せる。このとき、図８のように、Ｓｉｎｃ関数の減衰でｗ＝ｐとすると、ａn ，ｃn は１／Ｔ＝１／Ｐで、振幅は０になる。
【００５２】
それに比べてｂn は１／Ｔ＝１／２Ｐで、振幅が０になるので、サンプリングピッチに比べて１／２の周波数で、振幅が０になる。このため、ｂn のようなサンプリングを行うとサンプリング周波数の１／２以上をカットするロ−パスフィルタとして働くことになる。
【００５３】
すなわち、ａn ，ｃn でサンプリングした場合、原信号に（１／２）ｆｓ以上の高周波成分があれば、ａn ，ｃn 単独で原信号を再現すると、（１／２）ｆｓ〜ｆｓの間の信号が折り返しノイズとして発生する。一方、ｂn 単独で原信号を再現しても減衰項の様に、（１／２）ｆｓ〜ｆｓの間の信号が抑制されているので、折り返しノイズが抑制される。
【００５４】
以上説明したように、この実施の形態によれば、レンズ１０１により光学的に入力された被写体像に対して低域通過フィルタ１２９により異なる高周波成分以上を低減して通過させ、ＣＣＤ１０３Ａにより低域通過フィルタ１２９を通過して出力された被写体像を受光素子ピッチでサンプリングして画像情報を得る場合、同一被写体像について低域通過フィルタ１２９で任意の異なる高周波成分以上を低減して通過させることでＣＣＤ１０３Ａから複数の画像情報を入力し、入力した複数の画像情報を合成することで合成前の画像情報に比べて倍のサンプリングでサンプリングした情報と等価である合成情報を取得するようにしたので、単独サンプリングに比べて高い周波数成分まで画像を再現することができ、しかも単独画像からでも折り返しノイズの無い信号の画像を実現することが可能であるとともに、総画素数の少ない撮像素子でも高い解像度が得られ、しかも高周波成分を低減して得られる画像情報のみを出力しても疑似信号によりモワレの無い画像を再現することが可能である。
【００５５】
また、低域通過フィルタ１２９を通過して出力された信号を表示もしくは伝送するようにしたので、早い処理段階での表示や伝送ができ、しかも必要に応じて高周波成分を含んだ信号を表示や伝送することで高い周波数までの再現を行うことが可能である。
【００５６】
さて、ａn ，ｂn 信号を用いてｃn 信号を算出して、合成情報｛ａ0 ，ｃ0 …ａn ，ｃn ｝信号を得るために、ａ0 ，ａ1 …ａn の様に配列された受光素子列からｂ0 ，ｂ1 …ｂn の様に配列された受光素子と等価な出力を得るには、ａ0 ，ａ1 …ａn の受光素子を変位させ、２回の露光を行っても良く、あるいは振動させて露光しても良い。
【００５７】
また、被写体像と撮像素子（ＣＣＤ１０３Ａ）との相対的位置関係を変位させるには撮影光学系（レンズ１０１）により被写体像を変位させても良く、あるいは積層圧電素子等で撮像素子そのものを変位させても良い。
【００５８】
次に、上述した実施の形態の変形例について具体的に説明する。まず、変形例１として水晶光学フィルタ１２９の複屈折や回転を利用した場合について説明する。
【００５９】
図９は変形例１による水晶光学フィルタ構成を示す図であり、同図（ａ）は複屈折の一例を示し、同図（ｂ）は回転の一例を示している。図９（ａ）のように低域通過フィルタ１２９に水晶光学フィルタを適用した場合には、光学的な入力光線は水晶光学フィルタ（低域通過フィルタ１２９）において常光線と異常光線の屈折率の違いより分離する特性がある。
【００６０】
この分離幅を前述の変位量と同じにすれば、第２画像情報｛ｂ0 ，ｂ1 …ｂn ｝の様な出力が得られる。また、入力光線を光学素子（レンズ１０１）で異常光線または常光線をカットするようにすれば、第１画像情報｛ａ0 ，ａ1 …ａn ｝の様な出力が得られる。
【００６１】
さらに、図９（ｂ）のように、水晶光学フィルタ（低域通過フィルタ１２９）を矢印Ｗの方向に回転させて光の分離方向を変えれば、水平方向，垂直方向に分離，非分離に切り換えることができる。
【００６２】
このように、水晶光学フィルタを用いて高周波成分以上を低減するようにしたので、簡単に高周波成分を低減することができ、しかも水平，垂直に分離，非分離を切り換え、水晶光学フィルタを回転させることで、被写体像と撮像素子との相対的位置関係の変位を安価な構成で得ることが可能である。
【００６３】
また、被写体像の露光中に被写体像と撮像素子との相対的位置関係を変位させるようにしたので、その変位による移動量でフィルタ特性を変化させることが可能である。
【００６４】
次に、変形例２として被写体像をぼかす場合について説明する。図１０は変形例２による画像情報の合成方法をグラフ化して示す図である。図１０（ａ）の様な被写体をＣＣＤ１０３Ａでサンプリングした情報を同図（ｂ）とし、撮影光学系のピント位置を変えて被写体像をぼかしてサンプリングした情報を同図（ｃ）とする。
【００６５】
図１０（ｂ）の情報（波形）は、同図（ｄ）の如くピーク値をとり、一方、図１０（ｃ）の情報（波形）は、同図（ｅ）の如くピーク値をとる。そこで、図１０（ｅ）のピーク値を２倍にし、そこから同位置において同図（ｄ）のピーク値を取り除くと、同図（ｆ）の情報が得られる。この図１０（ｆ）の情報と同図（ｄ）の情報とを合成することで、同図（ｇ）に示した情報を得ることが可能である。
【００６６】
すなわち、被写体像の結像位置を変位させるようにしたので、被写体像のピントをぼかして高周波成分を低減することになり、これによって、簡単に画像情報を取得することが可能である。
【００６７】
次に、前述の実施の形態や各変形例による具体的効果について述べる。図１１はカラーフィルタを用いた画像情報の合成方法をグラフ化して示す図であり、図１２は縞模様の被写体における画像パターンを概略的に示す図である。
【００６８】
図１１（ａ）のように受光素子上にカラーフィルタを配置させたカラー配列の撮像素子を適用した場合には、カラーフィルタが空間的に異なる位置に配列されているため、輝度信号と色信号との分離ができなくなる。例えば、撮像素子に緑色（Ｇ）一色の一様光が当たっている場合には、図１１（ｂ）に示したように、Ｇ画素の信号が大きくなり、Ｒ，Ｂの各画素の信号は小さくなる。
【００６９】
また、被写体が図１２に示したように高い周波数の縞（Ｇが明部，ＲおよびＢが暗部の縞模様）をもっている場合には、図１１（ｃ）に示したように、Ｇ画素の信号が高く、Ｒ，Ｂの各画素の信号が小さくなる。その結果、撮像素子に緑色（Ｇ）一色の一様光が当たっている場合に得られる信号（図１１（ｂ））と被写体が縞模様をもつ場合の信号（図１１（ｃ））とは同様信号パターンとなり、見分けがつかなくなる。
【００７０】
そこで、前述の実施の形態（もしくは変形例との組み合わせ）において、被写体の高周波成分を減少させることで緑一色の一様光を受光した場合には、出力に変化はないが、図１１（ｃ）のような縞の被写体から、同図（ｄ）に示した如く出力が得られる。
【００７１】
その結果、図１１（ｃ）と同図（ｄ）のグラフを比較すれば、高周波成分を減衰させた場合の図１１（ｄ）の信号は、各Ｒ，Ｇ，Ｂで一様となり、レベル差がなくなることから、緑一色の一様光か、それとも縞の被写体かの区別が明瞭になる。
【００７２】
すなわち、高周波成分を減衰させた被写体像の情報で低周波成分による画像が作成できることになる。高周波成分を含んだ折り返しノイズのある画像情報について、高周波成分の折り返し部分（通常、疑色と呼ばれている）を正常な高周波成分に変換し、疑色のない高解像のカラー画像を得ることが可能になる。
【００７３】
この合成方法は色々考えられるが、単純な方法としては高周波成分を減衰させた情報で色信号を作成しその色信号に基づいて高周波成分を含んだ情報で輝度情報を作成する方法と、高周波成分を減衰させた情報と高周波成分を含んだ情報と異なる部分のみ抽出して、この発明を使用しても良い。
【００７４】
また、この発明では、説明上、１次元の撮像素子（リニアセンサ）を挙げていたが、エリアセンサを適用できることは自明である。
【００７５】
また、信号処理装置の適用例として撮像装置を挙げていたが、その他にスキャナ，カラー複写機，カラーファクシミリなどへの適用も可能である。
【００７８】
【発明の効果】
以上説明したように、請求項１の発明によれば、光学的入力手段により光学的に入力された被写体像に対してフィルタ手段により異なる高周波成分以上を低減して通過させ、撮像素子によりフィルタ手段を通過して出力された被写体像を受光素子ピッチでサンプリングして画像情報を得る場合、同一被写体像についてフィルタ手段で任意の異なる高周波成分以上を低減して通過させることで撮像素子から複数の画像情報を入力し、入力した複数の画像情報を合成することで合成前の画像情報に比べて倍のサンプリングでサンプリングした情報と等価である合成情報を取得するようにしたので、単独サンプリングに比べて高い周波数成分まで画像を再現することができ、しかも単独画像からでも折り返しノイズの無い信号の画像を実現することが可能であるとともに、総画素数の少ない撮像素子でも高い解像度が得られ、しかも高周波成分を低減して得られる画像情報のみを出力しても疑似信号によりモワレの無い画像を再現することが可能な撮像装置が得られるという効果を奏する。
【００７９】
また、請求項２の発明によれば、請求項１の発明において、水晶光学フィルタを用いて高周波成分以上を低減するようにしたので、簡単に高周波成分を低減することができ、しかも水平，垂直に分離，非分離を切り換え、水晶光学フィルタを回転させることで、被写体像と撮像素子との相対的位置関係の変位を安価な構成で得ることが可能な撮像装置が得られるという効果を奏する。
【００８０】
また、請求項３の発明によれば、請求項１の発明において、被写体像の露光中に被写体像と撮像素子との相対的位置関係を変位させるようにしたので、その変位による移動量でフィルタ特性を変化させることが可能な撮像装置が得られるという効果を奏する。
【００８１】
また、請求項４の発明によれば、請求項１の発明において、被写体像の結像位置を変位させるようにしたので、被写体像のピントをぼかして高周波成分を低減することになり、これによって、簡単に画像情報を取得することが可能な撮像装置が得られるという効果を奏する。
【００８２】
また、請求項５の発明によれば、請求項１〜４のいずれか一つの発明において、カラー固体撮像素子により被写体像に基づいて第１画像情報を作成するとともに高周波成分以上を低減されていない被写体像に基づいて第２画像情報を作成してから合成するようにしたので、疑色の低減が図れ、かつ高周波成分を含んだ高解像度画像を取得することが可能な撮像装置が得られるという効果を奏する。
【図面の簡単な説明】
【図１】この発明に係る信号処理装置の原理を示す構成図である。
【図２】折り返しノイズをもつ信号スペクトルをグラフ化して示す図である。
【図３】折り返しノイズをもたない信号スペクトル（一例）をグラフ化して示す図である。
【図４】折り返しノイズをもたない信号スペクトル（もうひとつの例）をグラフ化して示す図である。
【図５】信号スペクトルの合成手順をグラフ化して示す図である。
【図６】この発明の一実施の形態による撮像装置の構成を示すブロック図である。
【図７】画像情報の合成方法を説明する図である。
【図８】出力信号の周波数特性を示す図である。
【図９】変形例１による水晶光学フィルタ構成を示す図である。
【図１０】変形例２による画像情報の合成方法をグラフ化して示す図である。
【図１１】カラーフィルタを用いた画像情報の合成方法をグラフ化して示す図である。
【図１２】縞模様の被写体における画像パターンを概略的に示す図である。
【符号の説明】
１  低域通過フィルタ
２  サンプリング手段
３  合成手段
１０１  レンズ
１０３Ａ  ＣＣＤ
１０３Ｂ  アクチュエータ
１０４  ＣＤＳ回路
１０６  信号処理・合成部
１２１  ＣＰＵ
１２９  低域通過フィルタ
１３０  通信部
【図１】
0003943655.tif 000007
【図２】
0003943655.tif 000008
【図３】
0003943655.tif 000009
【図４】
0003943655.tif 000010
【図５】
0003943655.tif 000011
【図６】
0003943655.tif 000012
【図７】
0003943655.tif 000013
【図８】
0003943655.tif 000014
【図９】
0003943655.tif 000015
【図１０】
0003943655.tif 000016
【図１１】
0003943655.tif 000017
【図１２】
0003943655.tif 000018