(57)【要約】【課題】単板で高解像度の得られる固体撮像装置を提供する。【解決手段】光学系１によって結像した被写体像に対して、撮像素子ＣＣＤ３を相対的に変位させないで得られた撮像データと、ピエゾ素子等の変位機構９で相対的に水平，垂直方向に変位させて得た撮像データを合成して１枚の画像データを得る。撮像モードによって撮像する画像データの枚数を異なるようにする。【選択図】図１
2006279990.tif 000002
【特許請求の範囲】
【請求項１】
光学系によって結像した被写体像に対して、撮像素子の位置を相対的に変位させないで撮像データを得、また水平，垂直方向に所定量だけ相対的に変位させて１枚以上の撮像データを得、それらを合成して１枚の画像データを作成する固体撮像装置であって、撮像する画像データの枚数の異なる複数の撮像モードを有することを特徴とする固体撮像装置。
【請求項２】
光学系によって結像した被写体像に対して色フィルタアレイが貼付された撮像素子の位置を相対的に変位させないで撮像データを得、また水平，垂直方向に所定量だけ相対的に変位させて１枚以上の撮像データを得、それらを合成して１枚の画像データを作成する固体撮像装置であって、撮像する画像データの枚数の異なる複数の撮像モードを有することを特徴とする固体撮像装置。
【請求項３】
撮像モードとして、撮像素子のサンプリングピッチに対して１つ以上の半画素位置において３回以上、それぞれ異なる色フィルタで撮像されるモードを有することを特徴とする請求項２記載の固体撮像装置。
【請求項４】
撮像モードとして、撮像素子のサンプリングピッチに対して１つ以上の半画素位置においては１回のみ撮像されるモードを有することを特徴とする請求項２記載の固体撮像装置。
【請求項５】
撮像モードとして、撮像素子のサンプリングピッチに対して１つ以上の半画素位置においては１回のみ撮像されその画像データより輝度信号を生成し、また１画素位置において撮像された画像データより色信号を生成するモードを有することを特徴とする請求項２記載の固体撮像装置。
【請求項６】
撮像モードとして、撮像素子のサンプリングピッチに対して１つ以上の１画素位置においては３回以上、それぞれ異なる色フィルタで撮像されるモードを有することを特徴とする請求項２記載の固体撮像装置。
【請求項７】
撮像モードとして、１枚の撮像データのみから画像データが処理されるモードを有することを特徴とする請求項２記載の固体撮像装置。
【請求項８】
撮像モードは通常位置での撮像データと水平方向に１．５画素、垂直方向に０．５画素ずらされた撮像データの２枚で構成されることを特徴とする請求項２記載の固体撮像装置。
【請求項９】
色フィルタアレイは縦方向にストライプ状に３色の繰り返しであることを特徴とする請求項２記載の固体撮像装置。
【請求項１０】
色フィルタアレイは、シアン，グリーン，イエロ３色の繰り返しであることを特徴とする請求項９記載の固体撮像装置。
【請求項１１】
撮像モードとして通常撮像データと水平方向に１．５画素ピッチずらされた位置での撮像データの２枚で構成されるモードを有することを特徴とする請求項２記載の固体撮像装置。
【請求項１２】
光学系に出し入れ自在の光学ＬＰＦを備えたことを特徴とする請求項２記載の固体撮像装置。
【請求項１３】
光学系によって結像した被写体像に対して撮像素子の位置を相対的に変位させないで撮像データを得、また水平，垂直方向に所定量だけ相対的に変位させて１枚以上の撮像データを得、それらを合成して１枚の画像データを作成する固体撮像装置であって、撮像された画像データは記録媒体の読出し，書込み速度に応じて圧縮率の異なる圧縮を受けることを特徴とする固体撮像装置。
【請求項１４】
記録媒体の読出し，書込み速度は、記録媒体が当該装置に設置されて後撮影までのしかるべき時期にシステムコントローラのセルフチェックによって測定されることを特徴とする請求項１３記載の固体撮像装置。
【請求項１５】
圧縮は速度の遅い記録媒体の場合は圧縮率が上がることを特徴とする請求項１３記載の固体撮像装置。
【請求項１６】
圧縮前に各色のゲインを白点での各色の値が等しくなるように調整しておくことを特徴とする請求項１３記載の固体撮像装置。
【請求項１７】
圧縮前に画像データのビット深さをガンマのかかった８ビットデータにしておくことを特徴とする請求項１３記載の固体撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＣＤ等の固体撮像素子を用いた固体撮像装置に関し、特にその高解像化に関するものである。
【背景技術】
【０００２】
従来固体撮像装置を高解像度化する場合、次のような手法が取られている。
【０００３】
ａ．撮像素子そのものの多画素化
ｂ．多板化（複数の撮像素子を用いる）
ｃ．画素ずらし
ａは半導体技術に負うところが大きく、一概には進展しない。ｂは光学プリズム等を用いて比較的容易に実現することができるが、コストアップしてしまうという問題がある。そこで、特に単板式においてｃを採用するという手法が採用されつつある。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところが、単板式における画素ずらしを用いる場合、色フィルタが貼付されているために具体的なずらし方についての記述がみられず、実施をするのがむずかしい。
【０００５】
また画素ずらしのためのデータのハンドリングについても記述されることがないために、処理に長時間を要するという問題がある。
【０００６】
本発明は、このような状況のもとでなされたもので、単板で高解像度画像の得られる固体撮像装置を提供することを第１の目的とし、記録媒体の読み書き速度に応じた高速の撮像ができる固体撮像装置を提供することを第２の目的とする。
【課題を解決するための手段】
【０００７】
本発明では、前記第１の目的を達成するため、固体撮像装置を次の（１）〜（１７）のとおりに構成し、前記第２の目的を達成するため次の（１３）〜（１７）のとおりに構成する。
【０００８】
（１）光学系によって結像した被写体像に対して、撮像素子の位置を相対的に変位させないで撮像データを得、また水平，垂直方向に所定量だけ相対的に変位させて１枚以上の撮像データを得、それらを合成して１枚の画像データを作成する固体撮像装置であって、撮像する画像データの枚数の異なる複数の撮像モードを有することを特徴とする固体撮像装置。
【０００９】
（２）光学系によって結像した被写体像に対して色フィルタアレイが貼付された撮像素子の位置を相対的に変位させないで撮像データを得、また水平，垂直方向に所定量だけ相対的に変位させて１枚以上の撮像データを得、それらを合成して１枚の画像データを作成する固体撮像装置であって、撮像する画像データの枚数の異なる複数の撮像モードを有することを特徴とする固体撮像装置。
【００１０】
（３）撮像モードとして、撮像素子のサンプリングピッチに対して１つ以上の半画素位置において３回以上、それぞれ異なる色フィルタで撮像されるモードを有する前記（２）記載の固体撮像装置。
【００１１】
（４）撮像モードとして、撮像素子のサンプリングピッチに対して１つ以上の半画素位置においては１回のみ撮像されるモードを有する前記（２）記載の固体撮像装置。
【００１２】
（５）撮像モードとして、撮像素子のサンプリングピッチに対して１つ以上の半画素位置においては１回のみ撮像されその画像データより輝度信号を生成し、また１画素位置において撮像された画像データより色信号を生成するモードを有する前記（２）記載の固体撮像装置。
【００１３】
（６）撮像モードとして、撮像素子のサンプリングピッチに対して１つ以上の１画素位置においては３回以上、それぞれ異なる色フィルタで撮像されるモードを有する前記（２）記載の固体撮像装置。
【００１４】
（７）撮像モードとして、１枚の撮像データのみから画像データが処理されるモードを有する前記（２）記載の固体撮像装置。
【００１５】
（８）撮像モードは通常位置での撮像データと水平方向に１．５画素、垂直方向に０．５画素ずらされた撮像データの２枚で構成される前記（２）記載の固体撮像装置。
【００１６】
（９）色フィルタアレイは縦方向にストライプ状に３色の繰り返しである前記（２）記載の固体撮像装置。
【００１７】
（１０）色フィルタアレイは、シアン，グリーン，イエロ３色の繰り返しである前記（９）記載の固体撮像装置。
【００１８】
（１１）撮像モードとして通常撮像データと水平方向に１．５画素ピッチずらされた位置での撮像データの２枚で構成されるモードを有する前記（２）記載の固体撮像装置。
【００１９】
（１２）光学系に出し入れ自在の光学ＬＰＦを備えた前記（２）記載の固体撮像装置。
【００２０】
（１３）光学系によって結像した被写体像に対して撮像素子の位置を相対的に変位させないで撮像データを得、また水平，垂直方向に所定量だけ相対的に変位させて１枚以上の撮像データを得、それらを合成して１枚の画像データを作成する固体撮像装置であって、撮像された画像データは記録媒体の読出し，書込み速度に応じて圧縮率の異なる圧縮を受けることを特徴とする固体撮像装置。
【００２１】
（１４）記録媒体の読出し，書込み速度は、記録媒体が当該装置に設置されて後撮影までのしかるべき時期にシステムコントローラのセルフチェックによって測定される前記（１３）記載の固体撮像装置。
【００２２】
（１５）圧縮は速度の遅い記録媒体の場合は圧縮率が上がる前記（１３）記載の固体撮像装置。
【００２３】
（１６）圧縮前に各色のゲインを白点での各色の値が等しくなるように調整しておく前記（１３）記載の固体撮像装置。
【００２４】
（１７）圧縮前に画像データのビット深さをガンマのかかった８ビットデータにしておく前記（１３）記載の固体撮像装置。
【発明の効果】
【００２５】
本発明によれば、少ない撮像枚数で効果的に画素ずらしされた高解像度画像を得ることできるとともに、記録媒体の読み書き速度に応じた高速な撮像が可能となる。
【発明を実施するための最良の形態】
【００２６】
以下本発明をデジタルスチルカメラの実施例により詳しく説明する。
【実施例】
【００２７】
（実施例１）
図１は実施例１である“デジタルスチルカメラ”のシステム構成を示すブロック図である。以下図１によって構成，動作を説明する。
【００２８】
まず撮像データ記録のための記録媒体８−１または８−２がデジタルスチルカメラのＩ／Ｆ（インタフェース）７に接続されると、システムコントローラ１５はその記録媒体８−１または８−２の読出し，書込みに要する時間を測定する。それによって後述する画像データの圧縮率を調整する。この動作については後で詳述する。
【００２９】
次に本露光に入る前に、撮像モードの設定をモード切換スイッチ１６によって行う。すなわち撮像モードとは、
モード１    高解像度      ３板モード
モード２    高解像度      単板モード
モード３    通常解像度    ３板モード
モード４    通常解像度    単板モード１
モード５    通常解像度    単板モード２
以上５種類である。各撮像モードの詳細については後述する。
【００３０】
不図示のシャッタトリガがＯＮされると本露光に入る。
【００３１】
不図示被写体像は光学系１を経て、光学ＬＰＦセット１，２（図中２−１，２−２）を透過してＣＣＤ３面上に結像する。光学ＬＰＦセット１，２は夫々水晶板１枚あるいは複数枚で構成されており、前述モード設定によって光路中に入れられたり出されたりする。ＣＣＤ３面上の光学像はＣＣＤ３の駆動によって電気信号となって出力され、ＣＤＳ（相関２重サンプリング回路）４，Ａ／Ｄ回路（アナログ−デジタル変換回路）５によってリセット雑音が低減されデジタル化されてメモリコントローラ６を経てメモリ１０に一旦蓄えられる。
【００３２】
本実施例では、ＣＣＤ３は１５３６×１０２４（約１５０万画素）の画素数を有し、図３に示す如く補色ストライプ色フィルタアレイが貼付してある。また、Ａ／Ｄコンバータ５はリニア特性を有する１０ビット特性である。
【００３３】
前述のように設定された撮像モードによって複数枚の撮像が行われる場合に、メモリ１０の容量を総撮像枚数が超える場合には、記録媒体８−１，８−２にデータの移し換えが行われる。以下はその場合の説明である。
【００３４】
メモリ１０内の深さ１０ビットの画像データ（単板，ＣＣＤ生データ）は、ＤＳＰ（ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｏｒ）１１を経由してデータ圧縮部（ＪＰＥＧ準拠）１２に入力する。ＤＳＰ１１では深さ１０ビットデータがガンマ（γ＝０．４５）がかかった８ビットデータに変換される。データ圧縮部１２では記録媒体（８−１，８−２）に応じた圧縮率があらかじめセットされており、入力したデータはそれに従って圧縮され、記録媒体８−１または８−２に書き込まれる。
【００３５】
次に複数枚撮像のうちの２枚目の撮像が行われる。その場合やはり撮像モード設定に応じて光学ＬＰＦセット１，２を入れたり出したりした後にＣＣＤ変位機構（ピエゾ素子等を用いる）９を駆動してＣＣＤ３の物理的位置を水平あるいは垂直方向に変位させた後に撮像する。データの流れについては１枚目と同様である。以上の動作を所定回数繰り返した後に、記録媒体８−１または８−２中には画素ずらしされた圧縮データが記録されている。
【００３６】
最後の撮像が終了すると、それらデータの合成処理が開始される。すなわち記録媒体８−１または８−２中の必要データを読み出しデータ圧縮部１２を経由して解凍し、ＤＳＰ１１を経て１０ビットリニアデータにした後に、画素ずらし位置に応じて順序等を構成し直し、色変換，アパーチャ，ベースクリップ等の信号処理を経て、必要ならば再びデータ圧縮部１２で圧縮した後に、記録媒体８−１または８−２に書き込む。このときの圧縮率は前述処理時の圧縮率とリンクしてもよいし独立でもよい。
【００３７】
また、処理のためのデータは一度にすべて読み出すと莫大な量になるため、ブロック状に、すなわち該当する領域のデータを各撮像データから部分的に読み出して行うことで実施する。
【００３８】
次に各撮像モードの詳細について説明する。
【００３９】
図２はモード１説明図である。すなわち、図３に示すようなＣ（シアン），Ｇ（グリーン），Ｙ（イエロ）による縦ストライプ形式の色フィルタアレイが、１５３６×１０２４画素（約１５０万画素）のＣＣＤ３にオンチップフィルタとして貼付されている。そのＣＣＤ３を用いて画素ずらし撮影を行った場合のずらし方を示すのが図２である。各色フィルタ（Ｃ，Ｇ，Ｙ）はわかりやすくするために丸点で表わしてある。
【００４０】
まず１枚目が撮像される（１）。次に水平方向に１画素ピッチ（撮像素子のサンプリングピッチに同じ）ずらして２枚目が撮像される。ここでは例えば１枚目にはＣでサンプリングされた点が、２枚目ではＧでサンプリングされることになる（２）。同様に更に水平方向に１画素ピッチずらして３枚目が撮像される。ここでは先にＧでサンプリングされた点がＹでサンプリングされることになる（３）。次に（１）に対して水平方向に半画素ピッチずらされた位置で４枚目が撮像される。すなわち（１）でのサンプリングポイントに対して半ピッチずらされた位置でサンプリングされることになる（４）。そして（４）の位置に対して１画素ピッチずらされた位置で５枚目が撮像される。すなわち４枚目でＣでサンプリングされた点は５枚目ではＧでサンプリングされる（５）。さらに６枚目が５枚目に対して１画素ピッチずらされた位置で撮像される（６）。この６枚のデータによって水平方向について１５０万画素のサンプリング位置及びその補間位置におけるＣ，Ｇ，Ｙ３色分のデータが撮像できたことになる。
【００４１】
次に７枚目以降は垂直方向に半画素ピッチずらされた状態で撮像が行われる。垂直方向については（１）〜（６）のずらし方に準じている。
【００４２】
（７）〜（１２）のデータによって、垂直方向について半画素ピッチずらされた位置で水平方向におけるＣ，Ｇ，Ｙ３色分のデータが撮像できたことになる。
【００４３】
以上（１）〜（６），（７）〜（１２）の計１２枚のデータを用いることによって、１５０万画素のサンプリング位置及び水平，垂直方向に半画素ピッチずらされた位置すなわち６００万画素でのサンプリング位置において３色分の撮像データがとれたことになる。      
【００４４】
すなわち、６００万画素（高解像度）３板モードである。
【００４５】
それらのデータの処理の流れを図４に示す。
【００４６】
１２枚の１５３６×１０２４のＣＣＤ生データは再構成されて３０７２×２０４８画素３枚（Ｃ，Ｇ，Ｙ）のデータになる（ａ）。その後にマトリクス演算を経てＲ，Ｇ，Ｂデータとなる。マトリクス演算は、次のようである。
【００４７】
【数１】
2006279990.tif 000003
【００４８】
その後に各色ともにベースクリップ（ＢＣ），アパーチャ（ＡＰＣ），ガンマ（γ）等の処理を経てＲ，Ｇ，Ｂ８ビットデータとして生成する（ｂ）。
【００４９】
なお、本撮像モードの場合は光学ＬＰＦセット１，２はいずれも光路中に入れられていない。
【００５０】
次にモード２について説明する。図５はその説明図である。
【００５１】
まず、光路中に光学ＬＰＦセット１を入れる。そしてまず１枚目が撮像される（１）。その後に水平に１．５画素ピッチ，垂直に半画素ピッチずらして２枚目が撮像される（２）。
【００５２】
（１）と（２）を結像している被写体像を基準として考えると、図６のようなサンプリングとなる。すなわち６００万画素単板センサと同様のサンプリングとなる。ただしサンプリング点は１水平ラインごとにオフセット配置となっている。
【００５３】
次にモード２における信号処理について説明する。図７，図８は輝度信号生成を説明する図である。すなわち、隣接する２水平ライン間で水平方向に交互にスイッチングしてゆくことで輝度信号が生成される。奇ラインと偶ラインでは２ラインの組み合わせが異なっている（ＳＷ）。
【００５４】
そして、ＢＣ，ＡＰＣ処理，γ回路によって輝度信号となる。色信号はスイッチング（ＳＷ）するまえのＣ，Ｇ，Ｙ信号を独立して読み出しマトリクス１に入力して補色純色変換を行い（モード１と同様）、ＬＰＦ，γ回路を経てマトリクス２に入力する。
【００５５】
ここではＲ，Ｇ，ＢからＲ−Ｙ，Ｇ−Ｙ，Ｂ−Ｙへの変換が行われる。そして生成した色差信号に先程の輝度信号Ｙが加算されてＲ，Ｇ，Ｂ信号となる。
【００５６】
次に、光学ＬＰＦセット１について説明する。図９は図６に示されたサンプリングにおける色と輝度のキャリアを周波数平面上で示したものである。それに対する光学ＬＰＦ１は、図１０に示す如くトラップ１，２で斜め方向に色キャリアを減じ、トラップ３で輝度キャリアを減ずる必要がある。このようなＬＰＦ１は水晶板３枚で構成できる。
【００５７】
次にモード３について説明する。図１１はその説明図である。
【００５８】
光学ＬＰＦセット１，２はいずれも光路中には入れない状態にセットされる。その後１枚目が撮像される（１）。それに対して１画素ピッチだけ水平方向にずらされて２枚目が撮像される（２）。さらに１画素ピッチ水平方向にずらされて３枚目が撮像される（３）。
【００５９】
すなわち、１５０万画素各サンプリングポイントは３色（Ｃ，Ｇ，Ｙ）分のデータを持つこととなり、１５０万画素３板データとなる。
【００６０】
その３枚のデータは並べ替えられてＣ，Ｇ，Ｙ３枚のデータとなる（図１２）。以下その処理についてはモード１に準じて図４（ｂ）とほぼ同じ処理が適用される。
【００６１】
次にモード４について説明する。図１３はその説明図である。
【００６２】
まず光学ＬＰＦセット２が光路中に入れられる。そしてまず１枚目が撮像される（１）。その後に水平方向に１．５画素ピッチずらされて２枚目が撮像される（２）。
【００６３】
そして、その合成された状態（モード４におけるサンプリング位置）を示すのが図１４である。すなわち水平方向に倍のサンプリングがなされており、色のキャリアポイントが高域にシフトすることがわかる。
【００６４】
次にモード４における信号処理について説明する。図１５はそれを示す図である。２枚の撮像データは合成されて３０７２×１０２４の横長のデータとなる（ａ）。その後信号処理を受けてＲ，Ｇ，Ｂ信号が生成するか、縦横比調整のための変倍回路に入力される（ｂ）。この回路は単純なＬＰＦであってもよいし、隣接水平２画素を加算する回路であってもよい。
【００６５】
図１６はサンプリングキャリア，光学ＬＰＦセット２によるトラップを示す図である。実際の帯域よりもかなり低い周波数（すなわち色のナイキスト周波数）でトラップされており、色モアレをかなり減らせるモードであるといえる。
【００６６】
最後にモード５について説明する。これは通常撮像モードである。
【００６７】
光学ＬＰＦセット２が光路中に入れられた後に１枚のデータが撮像される。サンプリング位置を図１７に示す。
【００６８】
この場合の処理は図８の処理に準ずると考えてよい。この場合のサンプリングキャリアとトラップを示すのが図１８である。このトラップを実現する水晶ＬＰＦは水平方向にずらす特性のもの１枚で実現できる。
【００６９】
以上示した如く、各撮像モードに応じて最適な処理が行われている。各撮像モードと光学ＬＰＦの種類，撮像枚数をまとめると下記のようになる。
【００７０】
【表１】
2006279990.tif 000004
【００７１】
次に記録媒体と圧縮率の関係について説明する。
【００７２】
記録媒体の書込み，読出し速度が遅いと（フラッシュメモリ等）、画像データの書込み読出しに要する時間が長くなってしまう。それはつまり１枚のトータル撮影時間が長くなることを意味する。そのために遅い記録媒体の場合には最初のセルフチェックによって遅さを判別し、それによって圧縮率を変える（つまりより遅い時はより強く圧縮する）ことによって、記録媒体が変わってもトータルの撮影時間に変化をきたさないようにする。例えばモード１について、ＨＤＤ（ｈａｒｄ  ｄｉｓｋｄｒｉｖｅ）８−１とフラッシュメモリ８−２で同一撮影を行う場合、
ＨＤＤ：読み書き速度３ＭＢ／ｓ
フラッシュＭ：読み書き速度１．５ＭＢ／ｓ
とすると、モード１では１２枚のデータが必要になるので、ＨＤＤ８−１でのデータ圧縮率を１／２とし、１枚のデータ量を約１．５ＭＢとすると、すべてのデータを書き込むのに要する時間は
１．５ＭＢ×１２枚×１／２÷３ＭＢ／Ｓ＝３ｓ
となる。
【００７３】
これを同じ圧縮率でフラッシュメモリ８−２で行ったとすると、
１．５ＭＢ×１２枚×１／２÷１．５ＭＢ／Ｓ＝６ｓ
となり、約倍の時間がかかってしまう。そこで本実施例では、その場合にはセルフチェックによってあらかじめ速度が遅いことがわかっているので、それに応じて圧縮率を１／４に高める。
【００７４】
１．５ＭＢ×１２枚×１／４÷１．５ＭＢ／Ｓ＝３ｓ
となり、ＨＤＤ８−１の場合と同じパフォーマンスを示す。
【００７５】
もちろん若干の画像の劣化はありうるが、時間の短縮は有効である。また、あまりに遅い記録媒体では圧縮率増大に歯止めをかけることも可能である。ただし、その場合撮影時間は長くなってしまうという問題はある。
【００７６】
次にデータ圧縮処理におけるホワイトバランスについて述べる。実施例中では１０ビットのＣＣＤ生データをＤＳＰ１１中のテーブル変換によって、γ＝０．４５の８ビット信号とするが、その前にホワイトバランスをとってもよい。
【００７７】
すなわち、画面中の白とおもわれる点でのＣ，Ｇ，Ｙのゲインをもとに、白点でのＣ，Ｇ，Ｙの値が等しくなるようにゲイン調整をするのである。例えば画面中白点の値が、
Ｃ＝２００，Ｇ＝２５０，Ｙ＝１００
であった場合には、
Ｃ′＝１．２５×Ｃ，Ｙ′＝２．５×Ｙ，（Ｇ′＝Ｇ）
という演算で全画像データ画素値を変換する。
【００７８】
それにより、無彩色被写体においては特に折り返しが少なくなり、ＪＰＥＧ等の圧縮を行っても劣化が目立つことが少ない。これはＤＳＰ１１中でデータ圧縮の際に行えばよい。
【００７９】
（実施例２）
次に実施例２について説明する。
【００８０】
実施例１では、モード２において光学ＬＰＦセット１を特別に用意して、２枚の撮像で高解像度化を果たしたが、そのためのコストアップも考えられる。
【００８１】
そこで、輝度用に２枚（光学ＬＰＦはなし）を撮像し、色信号用に１枚（光学ＬＰＦセット２を用いる）、計３枚で構成することも可能である。輝度用の２枚は、実施例１のモード２と同様に撮像される。ただし光学ＬＰＦはセットされない。そしてそのデータからは輝度信号のみが生成される。次にモード５と同様に撮像し、そのうちの色信号のみを用いて、輝度信号と加算する。ただしこの場合の色信号は補間拡大処理が必要となる。これによれば、１枚撮像枚数が増加するが、コストダウンできる。
【００８２】
（変形）
また、実施例１において光学ＬＰＦセット２そのものを省略することも可能である。ただしその場合、色キャリア等が抑圧できないのでモアレが残る。しかしコストダウンと、撮像枚数の削減を同時に行うことができる。
【００８３】
また、光学ＬＰＦの設定は１例であり、色キャリア，輝度キャリアをトラップする目的であれば、どのような構成であってもよいのはいうまでもない。また、水晶板に限らず、他の光学部材であってもよい。
【００８４】
また、輝度用２枚，色用１枚を撮る場合、先に輝度用２枚を撮り、後に色用１枚を撮ることも効果的である。それは光学ＬＰＦの脱着によって若干の振動が発生してしまうためで、解像度に寄与する輝度用を先に撮ることで少しでも振動を回避できる。
【００８５】
また、周辺部端部は、ずらしによって必ずしもすべての領域が高解像度化されないが、その部分は始めの１枚からの補間によって作り出しておくとデータが欠落することなく、不自然さを排除できる。
【００８６】
また、実施例１ではＣＣＤそのものをピエゾ素子等で変位させたが、くさび状ガラス板等の光学部材を用いて変位させてもよい。
【図面の簡単な説明】
【００８７】
【図１】実施例１の構成を示す図
【図２】モード１の説明図
【図３】実施例１で用いる色フィルタアレイのパターンを示す図
【図４】モード１における信号処理の説明図
【図５】モード２の説明図
【図６】モード２におけるサンプリング位置を示す図
【図７】モード２における輝度信号生成の説明図
【図８】モード２における信号処理の説明図
【図９】図６に示すサンプリングによる色と輝度のキャリアを周波数平面上にプロットして示す図
【図１０】光学フィルタの設定を示す図
【図１１】モード３の説明図
【図１２】モード３のデータ構成を示す図
【図１３】モード４の説明図
【図１４】モード４におけるサンプリング位置を示す図
【図１５】モード４における信号処理の説明図
【図１６】モード４における色と輝度のキャリア位置およびトラップ位置を示す図
【図１７】モード５の説明図
【図１８】モード５における色と輝度のキャリア位置およびトラップ位置を示す図
【符号の説明】
【００８８】
１  光学系
２−１，２−２  光学ＬＰＦ
３  ＣＣＤ
１５  システムコントローラ
【図１】
2006279990.tif 000005
【図２】
2006279990.tif 000006
【図３】
2006279990.tif 000007
【図４】
2006279990.tif 000008
【図５】
2006279990.tif 000009
【図６】
2006279990.tif 000010
【図７】
2006279990.tif 000011
【図８】
2006279990.tif 000012
【図９】
2006279990.tif 000013
【図１０】
2006279990.tif 000014
【図１１】
2006279990.tif 000015
【図１２】
2006279990.tif 000016
【図１３】
2006279990.tif 000017
【図１４】
2006279990.tif 000018
【図１５】
2006279990.tif 000019
【図１６】
2006279990.tif 000020
【図１７】
2006279990.tif 000021
【図１８】
2006279990.tif 000022