(57)【特許請求の範囲】
【請求項１】
撮像素子に対する入射光の位置を半画素分だけ光学的に変位させる画素ずらし手段と、
上記画素ずらし手段による変位前後の撮像素子の撮像画像を記憶する第一の画像記憶手段と、
上記第一の画像記憶手段に記憶されている撮像画像を構成する撮像色信号のうち、参照色である撮像色信号について類似性が高いと判断された1次元方向に配列する３点の画素座標を横軸にこれら３点の信号レベル値を縦軸にした平面上に形成される三角形と、補間色である非撮像色信号について参照色と同一方向である１次元方向に配列する２点と補間生成しようとする画素の画素座標を横軸にこれら３点の信号レベル値を縦軸にした平面上に形成される三角形の相似比を考慮して色補間を行う補間手段と、
変位前後の撮像画像を上記補間手段で各々色補間した結果を記憶する第二の画像記憶手段と、
変位前後の撮像素子の撮像画像を合成する合成手段と
を備えた撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
上記合成手段は、撮像画素が存在しない位置の空白画素を画素補間する場合、画像中のエッジに当たる部分が空白画素を通過するか否かを判定し、その空白画素を通過する時にはエッジ成分の稜線方向に当該空白画素を画素補間する
ことを特徴とする撮像装置。
【請求項３】
請求項１または２に記載の撮像装置において、
撮像素子の撮像画像を圧縮して、その圧縮画像を圧縮画像メモリに格納し、その圧縮画像を伸張して上記第一の画像記憶手段に出力する圧縮・伸張手段を設けた
ことを特徴とする撮像装置。
【請求項４】
請求項１ないし３のいずれかに記載の撮像装置において、
上記第一の画像記憶手段に記憶されている変位前後の撮像素子の撮像画像を構成する撮像色信号の信号レベルを補正する信号レベル補正手段を設けた
ことを特徴とする撮像装置。
【請求項５】
請求項４記載の撮像装置において、
上記信号レベル補正手段は、変位前後の撮像素子の撮像画像における所定領域の撮像色信号の平均信号レベルを計算し、双方の平均信号レベルが一致するように撮像色信号の信号レベルを補正する
ことを特徴とする撮像装置。
【請求項６】
請求項１ないし５のいずれかに項記載の撮像装置において、
上記画素ずらし手段は、入射光を撮像素子に導く光路に配置された磁気光学素子を備え、当該磁気光学素子に与える磁界の強度を制御して、撮像素子に対する入射光の位置を変位させる
ことを特徴とする撮像装置。
【請求項７】
請求項１ないし５のいずれかに項記載の撮像装置において、
上記画素ずらし手段は、入射光を撮像素子に導く光路に配置された電気光学素子を備え、当該電気光学素子に与える電界の強度を制御して、撮像素子に対する入射光の位置を変位させる  ことを特徴とする撮像装置。
【請求項８】
請求項１ないし５のいずれかに項記載の撮像装置において、
上記画素ずらし手段は、入射光を撮像素子に導く光路に配置された液晶板を備え、当該液晶板に与える電圧の強度を制御して、撮像素子に対する入射光の位置を変位させる
ことを特徴とする撮像装置。
【請求項９】
請求項６ないし８のいずれかに項記載の撮像装置において、
撮像光学系と撮像素子の間に画素ずらし手段を配置する
ことを特徴とする撮像装置。
【請求項１０】
請求項６ないし８のいずれかに項記載の撮像装置において、
撮像光学系の前段に画素ずらし手段を配置する
ことを特徴とする撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、解像度の高い画像を実現するための撮像装置に関するものである。
【０００２】
【従来の技術】
ＣＣＤ等の二次元撮像素子を用いた画像入力装置においては、画像と撮像素子との相対位置を微小に変化させ変化させた毎に画像を入力後各画像を合成し、見かけ上の画素数を増加させて解像度を上昇させるものが知られている。このような方法による解像度の向上に当たっては、従来特開平７−２３６０８６号公報に記載されるように、撮影光学系と二次元撮像素子との間に平板透明部材を平行に配置し、前記透明部材上に配置される直線上にない３点の傾斜手段の１点を支持部とし他の２点を該透明部材を作動させる作動部として用い撮影光学系からの入射光を変位させることで撮像素子上の画像を微小変位させるものである。
【０００３】
図４０は、例えば特開平７−２３６０８６号公報に示された光学的に画素数を増加させる従来の画像入力装置のブロック図であり、また、図４１は、撮像部の機構を示す斜視図である。
【０００４】
図４０及び図４１において、６１は画像を結像させるための撮像光学系であるレンズ、２は画像を光電変換するための二次元に配列されたＣＣＤ等の撮像素子、１０３は撮像レンズ６１と撮像素子２の間にほぼ平行に配置され撮像レンズ６１から撮像素子２への入射光の入射角度に微小変位をもたらす透明平板部材である。
【０００５】
また、１０４はレンズ６１及び透明平板部材１０３を支持するベースユニット、１０５ａ、１０５ｂ、１０５ｃは透明平板部材１０３をベースユニット１０４に固定すると共に２点を選択的に作動させて透明平板ユニットを傾斜させる圧縮ばね、１０６ａ、１０６ｂ、１０６ｃは対応する圧縮ばね１０５を各々押さえるばね押さえ板、１０７ａ、１０７ｂは透明平板部材１０３と圧縮ばね１０５ａ、１０５ｂを貫通するねじと共に設けられ駆動により透明平板部材１０３の近傍部位を光軸方向に変位させ透明平板部材１０３に傾斜をもたらすモータである。
【０００６】
さらに、１０８ａ、１０８ｂは透明平板部材１０３及び圧縮ばね１０５ａ、１０５ｂ、ばね押さえ板１０６ａ、１０６ｂを含む第一及び第二作動部である。また、１０９は透明平板部材１０３及び圧縮ばね１０４ｃ、ばね押さえ板１０６ｃを含む支持部であり、作動部１０６ａ、１０６ｂの作動時に透明平板部材１０３を支持する。これらは図示しない匡体に一体的に固定されると共に、図４０に示されるように、後段には光電変換された画像信号を処理するための所定の画像処理回路及び画像合成メモリ１１０、画像バッファメモリ７等が接続されている。
【０００７】
次に、動作について説明する。
【０００８】
まず、２つの作動部１０６ａ、１０６ｂのいずれも作動させない状態で撮像を行い、後段の画像メモリ７に画像を記憶する。次に、２つの作動部のうちひとつ１０６ａを作動させると他の作動部１０６ｂと支持部を結ぶ線を回転軸として透明平板部材１０３が回転する。したがって、透明平板部材１０３を透過した画像はかかる透明平板部材１０３の傾斜によって移動されて撮像素子２上に結像し、画像バッファメモリにわずかにずれた画像を記憶する。
【０００９】
さらに、同じひとつの作動部１０６ａを作動させれば同一方向に順次画像が移動し、順次画像が撮像素子２に結像され記憶される。また、作動部１０６ｂを駆動させると、作動部１０６ａと支持部１０９を結ぶ線を回転軸として透明平板部材１０３が傾斜し、前述とは異なる方向に画像の移動が行われる。
【００１０】
これら２方向の移動を適宜組み合わせることにより、任意の位置への２次元の画素ずらしを実施の後、画像バッファメモリ７に蓄積された複数の撮影画像を画素ずらしの実施方向を考慮して各対応画素毎に内挿することで光学的に画素数を増加させた画像が画像合成メモリ１０９に得られる。
【００１１】
次に、従来の画素ずらしによって得られた画像から高精細画像を生成する従来の信号処理方式について説明する。
【００１２】
図２に示す信号配列は、単板撮像蔵置において最もよく使われているBayer配列をした撮像素子であり、図中のＲまたはＧまたはＢ信号は、撮像素子の配置上その画素位置にてサンプリングされる色信号である。
【００１３】
図１２は、図２に示す撮像素子を斜め１／２画素右下にずらして撮像した画像の色信号と先の色信号とを重ねて表示した図である。
【００１４】
図１２において、Ｒ１，Ｇ１，Ｂ１が１枚目の撮影画像の色信号であり、Ｒ２，Ｇ２，Ｂ３は画素ずらしを行い２枚目の撮影画像から得られた色信号である。
【００１５】
図１２に示した画像を高解像度画像として生成する場合、図２と比較して水平垂直とも２倍になっているため、４倍の画素数のフルカラー信号を生成する必要があり、図中撮像画素における非撮影色信号を周辺画素信号から生成するとともに、空白画素の全色信号を同様に内挿する必要がある。
【００１６】
例えば、今、Ｇの信号だけ着目すると、図４２に示す位置にだけ撮像によって得られたＧ信号Ｇ１，Ｇ２が存在する。従来の技術では、前後左右の信号の平均値からＧ１’，Ｇ２’を補間し、次に、図４３に示すように補間して得られたＧ信号からさらに内挿することにより全画素分のＧ信号を得ることができる。
【００１７】
また、Ｂ信号に着目すると、図４４に示すように、左右のＢ１信号からＢ１’信号を内挿し、さらに、補間したＢ１’信号からＢ１”信号を内挿する。Ｂ２信号についても同様である。次に、図４５に示すように補間したＢ１’，Ｂ１”，Ｂ２’，Ｂ２”から残りの画素の内挿を行う。Ｒ信号においてもＢ信号と同様の方法にて全画素分の信号を補間することが出来る。上記の方法によって全画素における画素分だけのＲ，Ｇ，Ｂ信号を得ることが出来る。
【００１８】
【発明が解決しようとする課題】
しかしながら、上述した特開平７−２３６０８６号公報に示される技術は、光路を二次元的に変更するために、透明平板部材を２つのモータにより機械的に駆動制御するため精度の高い画素ずらし量を実現することが困難であった。特に、近年の固体撮像素子の画素ピッチは、数ミクロンものが主流となっており、機械的にその数分の一の精度を得る為には、複雑な制御系が必要となる。また、機械的な振動を用いて制御するため振動や繰り返し寿命などを十分に考慮した設計を必要とした。
【００１９】
さらにまた、上記方法により撮像した画像から高解像度画像を生成する従来の信号処理では、単なる線形補間であるため画素ずらしを行うことによって得られる画素数分だけの解像度を得ることが出来ない。これは、まず、単板撮像素子における図２に示す画像が各画素上に１色の色フィルタを配置しているため画素数分だけのＲ，Ｇ，Ｂ信号が得られず、画素数分だけの解像度が得られていないことが第１の原因であり、次に、２枚の画像から高解像度画像を得る際に線形補間法では解像度の向上が見込めないという点に問題があった。
【００２０】
かかる問題を解決するために、本出願人は、特開昭６２−２６９８４号公報等において、撮像光学系を機械的に振動させることなく微小画素ずらしを行う方法を出願している。
【００２１】
この発明は上述した点に鑑みてなされたもので、画素数の増加量に対して十分に解像度が向上した画像を実現することが可能な撮像装置を得ることを目的とする。
【００２２】
【課題を解決するための手段】
この発明に係る撮像装置は、撮像素子に対する入射光の位置を半画素分だけ光学的に変位させる画素ずらし手段と、上記画素ずらし手段による変位前後の撮像素子の撮像画像を記憶する第一の画像記憶手段と、上記第一の画像記憶手段に記憶されている撮像画像を構成する撮像色信号のうち、参照色である撮像色信号について類似性が高いと判断された1次元方向に配列する３点の画素座標を横軸にこれら３点の信号レベル値を縦軸にした平面上に形成される三角形と、補間色である非撮像色信号について参照色と同一方向である１次元方向に配列する２点と補間生成しようとする画素の画素座標を横軸にこれら３点の信号レベル値を縦軸にした平面上に形成される三角形の相似比を考慮して色補間を行う補間手段と、変位前後の撮像画像を上記補間手段で各々色補間した結果を記憶する第二の画像記憶手段と、変位前後の撮像素子の撮像画像を合成する合成手段とを備えたものである。
【００２３】
また、上記合成手段は、撮像画素が存在しない位置の空白画素を画素補間する場合、画像中のエッジに当たる部分が空白画素を通過するか否かを判定し、その空白画素を通過する時にはエッジ成分の稜線方向に当該空白画素を画素補間することを特徴とするものである。
【００２４】
また、撮像素子の撮像画像を圧縮して、その圧縮画像を圧縮画像メモリに格納し、その圧縮画像を伸張して上記第一の画像記憶手段に出力する圧縮・伸張手段を設けたことを特徴とするものである。
【００２５】
また、上記第一の画像記憶手段に記憶されている変位前後の撮像素子の撮像画像を構成する撮像色信号の信号レベルを補正する信号レベル補正手段を設けたことを特徴とするものである。
【００２６】
また、上記信号レベル補正手段は、変位前後の撮像素子の撮像画像における所定領域の撮像色信号の平均信号レベルを計算し、双方の平均信号レベルが一致するように撮像色信号の信号レベルを補正することを特徴とするものである。
【００２７】
また、上記画素ずらし手段は、入射光を撮像素子に導く光路に配置された磁気光学素子を備え、当該磁気光学素子に与える磁界の強度を制御して、撮像素子に対する入射光の位置を変位させることを特徴とするものである。
【００２８】
また、上記画素ずらし手段は、入射光を撮像素子に導く光路に配置された電気光学素子を備え、当該電気光学素子に与える電界の強度を制御して、撮像素子に対する入射光の位置を変位させることを特徴とするものである。
【００２９】
また、上記画素ずらし手段は、入射光を撮像素子に導く光路に配置された液晶板を備え、当該液晶板に与える電圧の強度を制御して、撮像素子に対する入射光の位置を変位させることを特徴とするものである。
【００３０】
また、撮像光学系と撮像素子の間に上記画素ずらし手段を配置することを特徴とするものである。
【００３１】
さらに、撮像光学系の前段に上記画素ずらし手段を配置することを特徴とするものである。
【００３２】
【発明の実施の形態】
実施の形態１．
以下、この発明の実施の形態１を図について説明する。
【００３３】
図１は、この発明の実施の形態１を示す全体ブロック図であり、静止画像を撮影可能なディジタルスチルカメラとして実現した場合について説明している。
【００３４】
また、図３は、図１における撮像部５の詳細構成を示したものであり、画素ずらし手段として、例えば本出願人により出願済みの特開昭６１−２６７４６２号公報に示される如く磁場によって異方性を示す磁気光学素子を用いた場合を例にとって説明する。
【００３５】
図１及び図３において、６１はレンズ、１はレンズ６１に入射する被写体像の光路を変調する画素ずらし光学系、２はＲＧＢの原色フィルタが図２に示すようにBayer型配列をなして表面上に配置された正方形の電荷結合素子（以下、ＣＣＤと称す）を面状に備え光学像を光電変換する撮像素子、３は撮像素子２からのアナログ信号出力をデジタル変換するアナログ／デジタル変換回路（以下、Ａ／Ｄ変換回路と称す）、４は画素ずらし手段１及び撮像素子２を制御する撮像部制御回路、５はレンズ６１、画素ずらし光学系１、撮像素子２、Ａ／Ｄ変換回路３、撮像部制御回路４を含む撮像部である。
【００３６】
また、６は撮像部５と通信しながら撮像装置全体の制御を行うＣＰＵなどのカメラ制御部、７はデジタル画像信号を受信し一時記憶する第一の画像メモリ、８はＡ／Ｄ変換回路３からのデジタル画像信号を画像メモリ７に書込むダイレクトメモリアクセスコントローラ（以下、ＤＭＡコントローラと称す）等のメモリ制御部、９は第一の画像メモリ７に蓄積された撮像データに対してデジタル画像処理を施すソフトウェアあるいは電子回路により構成される画像処理部、１２７は画像処理部９における画像処理用に使用される第二の画像メモリである。
【００３７】
また、１０は画像信号に対して白バランス補正や黒レベル補正あるいはガンマ補正等を施す信号レベル補正処理部、１１は撮影画像をデジタル画像処理で色補間する補間処理部、１２８は色補間された２枚の画像を合成し高解像度の１枚の画像を生成する合成処理部、１２は合成処理部１２８で得られる１枚の高解像度化された画像に対し光学系あるいは回路系で発生するノイズ除去を行うノイズ除去フィルタ等を含む画像補正処理部、１３は最終的に得られるフルカラー画像を国際標準化方式であるＪＰＥＧ（Joint Ｐhotoｇraphic Ｅxperts Group）方式等の画像圧縮方式で符号化する画像圧縮処理部である。
【００３８】
さらに、１４は撮像部５及び画像処理部９を経て最終的に得られる画像を液晶画面表示あるいはフラッシュメモリ等の２次記憶手段に蓄積あるいはシリアルインタフェースや赤外線通信等の伝送路とのデータインタフェースあるいはシャッタスイッチ等のマンマシンインタフェースを行うインタフェース部である。
【００３９】
次に、動作について説明する。
【００４０】
始めに、撮像装置全体の概略動作を説明し、各部の詳細な動作を後述する。
【００４１】
ここでは、画素ずらし光学系１を用いて４５度方向に半画素ずらした画像を２枚撮影し、ＣＣＤの実際の画素数に対して２×２倍の画素密度を有する高精細画像を得る手順について説明する。
【００４２】
高精細モードでの撮影がインタフェース部１４より撮影者によって設定され、図示しないレリーズスイッチの押し下げがマンマシンインタフェースからカメラ制御部６に伝達されると、撮像部５では、撮像部制御回路４における第一の磁界印加条件（例えば、印加磁界なし）での撮像動作を行う。これにより、撮影された画像はデジタル化され撮像部５からメモリ制御部８へ伝送される。
【００４３】
メモリ制御部８では、入力画像信号を第一の画像メモリ７に後述する規則に従って記憶させ、信号レベル補正処理部１０にて画像のＲＧＢ各色の信号レベル値に強度補正係数を乗じ白バランス補正処理を施し、補間処理部１１で色補間され第二の画像メモリ１２７に蓄積される。
【００４４】
次に、撮像部制御回路４における第二の印加磁界条件により１枚目の撮影画像に比べて−４５度方向に１／２画素ずらして撮影された画像は、伝送路を経て撮像部５から画像処理部９へ伝送され、同様に、第一の画像メモリ７に記憶され、信号レベル補正処理部１０を経て補間処理部１１で色補間され第二の画像メモリ１２７に蓄積される。次に、画像処理部９では、第二の撮影画像の補間処理部１１の処理終了に伴い、第二の画像メモリ１２７上に記憶されている第一及び第二の補間画像の読み出しを行う。
【００４５】
次に、合成処理部１２８では、第一及び第二の補間画像に対し高解像度化処理を施し２枚の撮影画像を１枚の高解像度画像に合成する。さらに、後段の画像補正処理部１２、画像圧縮処理部１３を経て図示しない液晶ディスプレイへの表示あるいはコンパクトフラッシュメモリカード等の二次記憶媒体への記憶を行うためにインタフェース部１４へ転送される。
【００４６】
以下に、撮像部５における画素ずらし光学系１、メモリ制御部８による第一の画像メモリ７への画像記憶、及び補間処理部１１及び合成処理部１２８の詳細な説明を行う。
【００４７】
撮像部５の構成及び動作について図３及び図４をもとに詳細に説明する。
【００４８】
図３及び図４において、１５は磁界発生回路、１６は磁界発生回路１５に印加する電圧に応じて内部に磁界を発生させるコイル、１７は磁界発生回路１５によってコイル１６内に発生した磁場により磁気光学効果を生じる磁気光学素子としてのファラデー素子、１８は偏光板、１９は複屈折板である。
【００４９】
各偏光板１８、ファラデー素子１７、複屈折板１９を、それぞれ図４のＡ−Ａ線、Ｂ−Ｂ線、Ｃ−Ｃ線から見た図を図５、図６、図７にそれぞれ示している。図４において、画像を結像させるためのレンズ６１からの光が偏光板１８に入射すると、図５に示す振幅方向Ｗａの直線偏光が得られる。図４に示すＨａはファラデー素子１７に印加されている磁界の方向である。図５に示されている振動方向Ｗａの直線偏光が、例えば鉛ガラスのようなファラデー素子１７に入射すると、上記磁界の方向Ｈａの印加磁界により上記直線偏光の偏光面が回転する。
【００５０】
なお、ファラデー素子１７に磁界の方向Ｈａに進む直線偏光を入射させると、その透過光の偏光面が回転するが、その回転角θは次式（１）により得られる。
【００５１】
θ＝Ｒ×ｌ×Ｈ                          （１）
ここで、ｌはファラデー素子の厚さ、Ｈは磁界の強さ、Ｒはベルデ（Verdet）定数である。なお、上記式（１）に関しては、例えば株式会社朝倉書店発行の「光学的測定ハンドブック」等に記載されている。
【００５２】
図４において、回転角θが０度となる磁界の強さをＨθ0とすると、Ｈ＝Ｈθの時には図５に示す振動方向Ｗａの直線偏光が得られ、Ｈ＝Ｈθ0の時には、図６に示す振動方向Ｗθ0の直線偏光が得られる。振動方向Ｗａの直線偏光が複屈折板１９に入射すると、図７に示す常光線Ｌoが得られる。なお、図７に示すＱは複屈折板１９の光学軸である。また、振動方向Ｗθ0の直線偏光が複屈折板１９に入射すると、図７に示す異常光線ＬEが得られる。常光線Ｌoと異常光線ＬEの距離をＰとし、図３及び図４に示す複屈折板１９における上記距離Ｐを、Ｐ＝ＰＨ／２（ＰＨは撮像素子２の水平画素ピッチを示す）に選ぶ。ファラデー素子１７に印加される磁界の強さＨの変化の位相は、図８（ａ）に示すフィールドシフトパルスに一致させる（図８（ａ）、（ｂ）参照）。
【００５３】
上述した動作により、この発明による撮像装置では、各Ａ、Ｂフィールドでの信号電荷蓄積を入射画像と撮像素子２の画素との相対的な位置に関して、ＰＨ／２だけ離れた位置で行うことができる。すなわち、ファラデー素子１７に印加される磁界の強さＨを時間的に変化させ、入射光学像と撮像素子２との相対的な位置関係を時間的に変化させることにより、空間サンプリング領域を増加できる。これに対応して図８（ｃ）に示す信号読み出しパルスのタイミングも、上記ＰＨ／２に相当する時間Ｔだけずらしてある（図８（ｃ）、（ｄ）参照）。その結果、図８（ｅ）に示すように、この発明による撮像装置は、各Ａ、Ｂフィールドを１フレームとした１周期で高画素密度化画像を得ることが可能になる。
【００５４】
本実施の形態１では、説明の簡易化のため、画素ずらし方向として水平方向すなわち一次元空間に対する座標について説明したが、同様な原理で画素ずらし位置を二次元的に行える。その際には、偏光板１８、磁気光学効果を有する第一の光学素子、複屈折板１９からなるｎ組の光学素子群を撮像系に配置し、それぞれの光学素子群の間に、例えば直線偏光を円偏光に変換する１／４波長板をｎ−１個挿入すればよい。上記ｎ組の光学素子群におけるｎ個の磁気光学効果を有する光学素子に印加する２値的な電圧をそれぞれ設定することにより、２のｎ乗枚の画素ずらしした画像を得ることができる。
【００５５】
上記撮像原理により、図２のBayer型単板カラー撮像素子を用いて、図９に示す黒丸印で表される第一の印加磁界条件による重心を持つ画素位置に対し、−４５度方向に１／２画素ずらした白丸印で表される第二の印加磁界条件による画素ずらし画像を撮影することができる。以降に、この場合の補間処理部１１及び合成処理部１２８における高解像度化処理について、図を用いて詳細に説明する。
【００５６】
図１０は、補間処理部１１及び合成処理部１２８の処理手順を示したフローチャートである。このうち、補間処理部１１では、図２に示す配列の撮影画像における各画素で欠落している色成分（例えば、撮影成分がＧならばＢ及びＲ成分）を色補間し、撮像素子２と同等の画素数からなるフルカラー画像を生成し（ＳＴ１０１、ＳＴ１０２）、合成処理部１２８では、補間処理部１１で生成された２枚のフルカラー画像を図９の画素ずらし方向に対応する位置に挿入して、画像信号が存在しない画素（以下、空白画素と称す）の全色成分を画素補間して（ＳＴ１０３）、撮像素子２の画素数に対して縦横とも２倍の画素数を持つ１枚の画像を生成する。
【００５７】
各処理は、色補間または画素補間を行う対象画素（以下、注目画素と称す）を第一の画像メモリ７または第二の画像メモリ１２７に蓄積される画像に対して順次ｘ方向（主走査）にラスタスキャンを行い、１ラインの処理が終了した場合ｙ方向に１画素進んだラスタスキャンを繰り返し行う。
【００５８】
次に、各ステップにおける具体的な動作について説明する。
【００５９】
第一の印加磁界条件による撮影画像は、図２のような画素配列で第一の画像メモリ７に記憶され、信号レベル補正処理部１０によって補正処理が施される。補正処理は、例えば撮像素子２におけるＲＧＢ各色に対応した色フィルタの感度特性を補正し白色を正しい信号レベルに補正する白バランス補正処理や、低感度域あるいは高感度域の信号のダイナミックレンジを補正するガンマ補正処理等が必要に応じて選択される。
【００６０】
信号レベル補正処理部１０による処理が行われた第一の撮影画像は、第二の画像メモリ１２７に一旦蓄積された後、補間処理部１１による処理が施され、ＲＧＢの全色成分を持つフルカラー画像として再度第二の画像メモリ１２７に蓄積される。
【００６１】
次に、第二の印加磁界条件による撮影が行われ、第一の印加磁界条件での撮影画像と同様に、信号レベル補正処理部１０及び補間処理部１１の処理によって、撮像素子２と同数の画素数で持つＲＧＢの全色成分を持つフルカラー画像として第二の画像メモリ１２７に蓄積される。この時、第二の画像メモリ１２７では、第一の印加磁界条件で撮影後補間された画像と第二の印加磁界条件で撮影後補間された画像は、図１１のように画素数が縦横とも２倍である１枚の合成画像を構成する画素の一部として配置される。図１１において、それぞれの丸印は、図９における１枚目と２枚目の撮像時の画素ずらし位置に対応した合成後の画像における画素の重心位置を示しており、黒丸印は第一の印加磁界条件で撮影して色補間された画像、白丸印は第二の印加磁界条件で撮影して色補間された画像、斜線を施した丸印はこれらのいずれにも該当しない空白画素を示している。
【００６２】
図１２には、図１１で重心の位置関係に対応した、補間処理部１１の処理実行前の既存画像信号成分とその位置関係について示している。図１２より、１の添え字がついた色信号は１枚目の撮影画像から得られ、２の添え字がついた色信号は２枚目の撮影画像から得られる。補間処理部１１の処理により、図１２に表記される色成分以外のＲＧＢ全ての色信号を補間生成することになる。
【００６３】
補間処理部１１において、第一の撮影画像の色補間（図１０のＳＴ１０１）及び第二の撮影画像の色補間（図１０のＳＴ１０２）を行う際には、補間対象の注目画素近傍における補間しようとする色と同色の信号（以下、補間色と称す）及び補間色以外の色で参照用に使用する色信号（以下、参照色と称す）を用いることで相似的に注目画素における色信号レベルを算出する。
【００６４】
例えば、撮像色信号がＲ色である画素の位置（以下、Ｒ画素位置と称す）の非撮像色信号のうちＧ色信号を補間生成する場合、図１３（ａ）に示すＲ画素位置を中心とした画素ウィンドウに存在する画素のうち、注目するＲ色信号の他に垂直方向または水平方向に存在する２つのＲ色信号（Ｒ１、Ｒ２）または（Ｒ３、Ｒ４）の組、及びＲ色信号と同方向の２つのＧ色信号（Ｇ１、Ｇ２）または（Ｇ３、Ｇ４）の組の同方向の組合せのいずれかを用いる。
【００６５】
垂直方向または水平方向のいずれか一方を選択する方法としては、参照色または補間色のそれぞれの方向の２画素の信号レベルの差分の絶対値を求めるなどして、算出する方法が知られている。即ち、これらの差分値が小さいほど、その方向に対する局所的な画像の類似性が高いと判断できる。図１４（ａ）には、図１３（ａ）の場合で例えば水平方向の類似性が高いと判断されて水平方向成分の参照色信号を用いて補間色信号の色補間を行う場合について、その考え方を示している。図１４（ａ）において、各色信号毎の参照方向及び信号レベル値の軸を加えた２次元空間上でこれらの点が形成する三角形の形状を破線で示す。
【００６６】
本実施の形態１では、補間処理部１１により、参照色である撮像色信号Ｒが形成する三角形と補間色である非撮像色信号Ｇが形成する三角形を、相似図形にした場合の相似比からＧ色信号の補間信号ｇＲを算出する。
【００６７】
ここで、三角形（Ｒ・Ｒ１・Ｒ２）と、Ｒ１、Ｒ２をこれらの平均値ＲＡＶＥで置き換えた点Ｒ１Ｈ、Ｒ２Ｈ及びＲで形成される三角形（Ｒ・Ｒ１Ｈ・Ｒ２Ｈ）は、幾何学的に同一の面積を持つことが明らかである。画像信号では、信号分布から求まる積分値（即ち幾何学図形の面積）が画像エネルギーに相当し、同一面積を持つ即ち積分値が同じであればその領域における平均輝度が保存され視覚的に問題がないため、図１４（ａ）の破線による三角形は実線による二等辺三角形（Ｒ・Ｒ１Ｈ・Ｒ２Ｈ）で置き換えることが可能である。
【００６８】
同様にして、補間色であるＧ色信号が形成する三角形（ｇＲ・Ｇ１・Ｇ２）を二等辺三角形（ｇＲ・Ｇ１Ｈ・Ｇ２Ｈ）で置き換え、二等辺三角形（Ｒ・Ｒ１Ｈ・Ｒ２Ｈ）と二等辺三角形（ｇＲ・Ｇ１Ｈ・Ｇ２Ｈ）が相似図形になるように補間信号値ｇＲを決定することにより、微小領域における画像エネルギーの比に応じた色補間が可能である。従来の線形補間法による色補間を行った場合、再現されるｇＲは（Ｇ１＋Ｇ２）／２の点となり、Ｒ色成分が凸形状であるにもかかわらずＧ色成分は平坦な推移を示すため、Ｇ色成分の解像度が十分でなくＲ色信号の突出による偽色が発生する。これに対して、本手法を用いた場合、Ｇ色信号の推移が局所的な画像エネルギーに応じて良好に再現されるため、高解像度かつ偽色の少ない色補間が実現できる。
【００６９】
また、この場合の演算は式（２）を用いることで行う。
【００７０】
また、この場合の演算は式（２）を用いることで行う。
【数１】
0003926575.tif 000002
但し、式（２）において、補間しようとするＲ画素位置の（ｘ、ｙ）座標を（ｍ、ｎ）とし、ＧAVE（ｍ、ｎ）はＧ１とＧ２の平均値を、ＲAVE（ｍ、ｎ）はＲ１とＲ２の平均値を示し、２つの二等辺三角形の線分相似比として１/２を乗じている。
【００７１】
上記例では、Ｒ画素位置においてＧ色信号成分を補間する例を示したが、ＲをＢに置き換えることでＢ画素位置におけるＧ色信号成分の補間を行うことが同様に可能である。
【００７２】
また、上記例は、Ｒ画素位置のＧ成分を色補間する場合を示したが、任意のＪ画素位置におけるＫ色の色補間に同様の考え方を当てはめることが可能である。図１３（ｂ）及び図１３（ｃ）は、他の画素位置における他の色成分補間を行う際の参照色の参照画素位置と補間色の参照画素位置の関係を示したものである。図１３（ｂ）は、Ｇ画素位置におけるＲ成分及びＢ成分補間の場合であり、各色成分について、図１４（ｂ）に示す三角形について上記モデルを適用する。
【００７３】
即ち、これらの３点は三角形を形成するため注目画素以外の２点をそれらの平均値で置きかえることにより二等辺三角形を作成し、これと補間色が相似二等辺三角形を構成するように線分相似比である１/２を乗ずる。さらに、ＲとＢが入れ替わった配置のＧ画素位置におけるＲ成分及びＢ成分の補間も同様に行うことが可能である。
【００７４】
また、Ｂ画素位置におけるＲ成分補間時の参照画素位置の様子を図１３（ｃ）に示す。この場合は、図１４（ｃ）に示すＧ画素位置における撮像Ｇ成分及び注目画素のＢ画素位置における補間済みＧ成分を参照色用三角形を形成する点として用い、Ｇ画素位置における生成済みＲ成分を補間色用三角形を形成する点として用い、各二等辺三角形の線分相似比を１/１とすることで、これまでの例と同様の扱いをすることができる。さらに、ＲとＢを入れ替えて考えることで、Ｒ画素位置におけるＢ成分の補間が可能である。
【００７５】
以上の説明を元に、式（２）を一般化すると、式（３）のように記述することができる。
【数２】
0003926575.tif 000003
尚、式（３）におけるＫ（ｍ，ｎ）は座標（ｍ，ｎ）における補間すべき非撮像色信号、Ｊは座標（ｍ，ｎ）における参照色としての撮像色信号を示し、ＣｄはＪ色がなす二等辺三角形に対するＫ色がなす二等辺三角形の線分相似比を示している。
【００７６】
このようにして、色補間対象の画素位置を水平及び垂直方向に順次走査しながら各画素における全色成分補間を繰返し行うことにより、１画面分の撮影画素における色補間処理を実行することができる。
【００７７】
このようにして、第一の印加磁界条件下で撮影した第一の撮影画像に対する色補間を補間処理部１１で実行し、第二の画像メモリ１２７に一時記憶する。続いて、第二の印加磁界条件下で撮影した第二の撮影画像を同様に信号レベル補正処理部１０を施した後補間処理部１１において色補間処理を実施し、第二の画像メモリ１２７に一時記憶する。
【００７８】
ここで、第二の画像メモリ１２７に記憶する第一の補間画像と第二の補間画像は、後述する合成処理部１２８における空白画素での画素補間処理のために、図１１のように、１枚の合成画像内の所定の位置を示す物理アドレスに従って格納してもよいが、物理的には個別の画像記憶領域に記憶しておき、次の合成処理部１２８において、図１１の各画素の位置関係を念頭に適宜読み出しを行うようにしてもよい。
【００７９】
次に、２枚の補間画像の１枚の画像への合成処理について説明する。
【００８０】
始めに、空白画素位置におけるＧ成分生成について詳細に説明する。
【００８１】
図１５の網掛け部分は、この段階で画像中に存在するＧ成分の位置関係を示したものである。空白画素位置のＧ成分を補間する場合、周辺画素を参照して画像中のエッジにあたる部分が注目画素を通過するか否かを判定し、その場合はエッジ線分の稜線方向に画素補間を実行することでシャープなエッジ再現が可能である。図１５における矢印の示す方向は、注目画素を中心とする７×７画素からなる参照画素ウィンドウを元に検出可能な線分方向を示している。
【００８２】
線分角度検出は以下の手順に従って実行する。
【００８３】
注目画素及び８近傍画素に存在するＧ成分に対して信号レベル平均値Ｄａｖを算出する。次に、算出した信号レベル平均値Ｄａｖをしきい値として７×７画素ウィンドウ内の各Ｇ画素の信号値を１または０に２値化する。２値化されたウィンドウ内のＧ画素は予め定められている複数のパターンと比較され、パターンの一致により中心画素を通る線分角度及び線分のどちら側に明あるいは暗があるかという線分角度情報が認識される。これらの線分角度情報に基づいて、線分の稜線方向に存在する複数の画素値を線形補間して注目画素のＧ成分が算出される。
【００８４】
例えば、７×７画素ウィンドウ内の画素が図１６の斜線部画素（２値化データ：０）及びたすき線部画素（２値化データ：１）に２値化された場合、パターンマッチングにより図の矢印方向に画像のエッジが通っていることが検出され、図の太枠で示された画素の上下左右の４つの画素値を単純平均あるいは、注目画素からの距離に対する重み付け平均等により注目画素のＧ成分を補間する。
【００８５】
線分の角度を検出し稜線方向に補間することで、一般的な８近傍画素の単純平均値により成分補間する場合に比べ、エッジをシャープかつ線分を滑らかに補間することが可能となる。これにより、画像の観察者に対して高い解像感を与えることが可能となる。
【００８６】
以上の方法で、全画素のＧ成分が高い解像度で生成され、この結果を参照することでＲ及びＢ成分に関しても高解像度に補間生成することができる。
【００８７】
また、空白画素位置におけるＲ及びＢ成分補間に関しては、前記空白画素位置におけるＧ成分補間と同様のパターンマッチングを用いた線分に対する稜線ベクトル検出により補間を行う。この時、ＲＧＢ成分の個別のパターンマッチング結果の相違から生じる誤補間を防止するために、Ｇ成分補間時に検出した線分角度結果に基づきＲ及びＢ成分補間を行うように構成してもよい。
【００８８】
以上のように、撮像素子の２×２倍の画素数を持つ４画素分の高解像度画像が合成処理部１２８により生成され、生成されたフルカラー画像は画像補正処理部１２において光学系及び撮像系の画像歪を補正するノイズ除去フィルタ等の処理が施され、画像圧縮処理部１３によりＪＰＥＧ方式の画像符号化の後、インタフェース部１４に送られる。このようにして、２枚の画素ずらし画像から撮像素子２のナイキスト周波数を超える高解像度の画像が形成される。
【００８９】
本実施の形態１では、画素ずらし手段を用いて−４５度方向に１／２画素ずらして撮影した２枚の画像を用いて高解像度化処理する例を示したが、この限りでない。すなわち、撮像素子２の各受光素子は有限数が面状に配置されており受光素子面における入射光を積分値として信号出力するため、これにより撮影画像の空間周波数は制約（ナイキスト周波数）を受けていることが標本化定理より説明できる。これに対し、「２台のカメラを用いる超高精細画像取得法」（小松、相澤、斎藤：テレビジョン学会誌 Voｌ.４５, Nｏ.１０, pp.１２５６〜１２６２）によると、開口率１００％の撮像素子を用いて画素ずらし画像を統合した場合２倍以内の解像度まで改善可能であることが明示されている。本方式を用いて実際の撮像素子の開口率や受光素子の形状等を考慮してずらし方向、ずらし量及び撮影枚数を最適化することで合成画像における解像度を最適化することができる。
【００９０】
また、本実施の形態１では、合成処理部１２８におけるパターンマッチングの際、７×７画素からなるウィンドウを用いて８方向の線分検出を行っているが、この限りでなく、実行するソフトウェアの高速化あるいは回路規模の低減を図る場合は、ウィンドウサイズを小型化し４５度刻みの４方向あるいは水平及び垂直のみの２方向の画素間のエッジ線分の相関を用いるように構成してもよい。
【００９１】
また、本実施の形態１では、画素ずらし光学系１の撮像条件を変化させた１枚目の画像を撮影し、第一の画像メモリ７に記憶し信号レベル補正処理部１０及び補間処理部１１の処理を終えた後に、第二の印加磁界条件下での２枚目の撮影を開始する構成としたが、この限りでない。即ち、第一の画像メモリ７に２枚分の撮影画像を記憶させる容量を確保しておき、２枚の撮影画像が揃った時点で画像処理部９における画像処理を開始する構成にしても同様な効果を得ることができる。こられは、実際の装置の設計思想によって柔軟に変更することができる。
【００９２】
また、本実施の形態１では、１枚目の撮影画像に対して２枚目の撮影画像を−４５度方向に画素ずらしする例を示したが、この限りでなく、４５度方向、１３５度方向あるいは−１３５度方向にずらしても同一の処理が適用可能であることは言うまでもない。
【００９３】
実施の形態２．
以下、実施の形態２を図について説明する。
【００９４】
図１７は、実施の形態２の全体構成を表すブロック図である。図２において、図１に示す実施の形態１と同一部分は同一符号を付してその説明は省略する。新たな符号として、２０は撮影した各画像データを固定長圧縮方式にて符号化する固定長圧縮回路、２１は撮像部５から出力される撮像デジタル信号のうち固定長圧縮回路２０での圧縮時に使用するライン数分を遅延蓄積するラインバッファ、２２は固定長圧縮回路２０で圧縮された画像データを蓄積する圧縮画像メモリ、２３は固定長伸張処理部である。
【００９５】
次に、動作について説明する。画素ずらし機構を含む撮像部５の動作については実施の形態１と同様である。画素ずらし光学系１を用いて撮像部５から入力された撮影画像は、固定長圧縮回路２０で画像圧縮するためにラインバッファ２１に一時記憶される。以下に、固定長圧縮回路２０における圧縮動作について詳細に説明する。
【００９６】
固定長符号化手段２０における固定長符号化アルゴリズムとしては、例えば４×４画素を１単位とするブロック毎に隣接画素情報の冗長性を排除する符号化法を行うものを用いる。この場合、図２の画素配列では隣接する画素位置に同じ色の画素が存在しないため、固定長圧縮回路２０内において同色画素をブロック化する。
【００９７】
図１８は、固定長圧縮回路２０により図２の画素配列が並べ替えられる様子を示した図である。撮影画像データは撮像部５から順次ラインバッファ２１に蓄積され、未処理のデータが８ライン分揃った段階で画素配列の並べ替えを始めに、固定長圧縮回路２０における符号化が実施される。画素並べ替えは、８×８画素単位に行い各色４×４画素を単位ブロックとしてブロック化する。並べ替え後の画像信号は、ブロックの左上方向のアドレスと右下方向のアドレスにＧ成分が集められて配列され、左下方向のアドレスにＢ成分、右上方向のアドレスにＲ成分が集められて配列される。
【００９８】
また、固定長圧縮回路２０における画像符号化方法について説明する。
【００９９】
図１９は、前記並べ替えられた単位ブロック内のカラー画像信号を固定長圧縮回路２０で符号化する場合のアドレスを示す図である。すなわち、図１９は、縦横４画素分ずつの同一カラーの画像信号の塊である単位ブロックのうち縦方向ｍ行横方向ｎ列（ｍ、ｎは０＜ｍ、ｎ≦４の自然数）のアドレスの画像信号に後述する量子化レベルを付すことを表している。
【０１００】
図２０は、各画素の画像信号の強度を階層化（量子化）する量子化レベルを表す。図２０において、Ｌｍｉｎは図１９に示した１６画素の画像信号強度中の最小値、Ｌｍａｘは同じ１６画素の画像信号強度中の最大値、Ｐ１は最大値Ｌｍａｘと最小値Ｌｍｉｎとの間を８等分した下から８分の１の値、Ｐ２は上から８分の１の値、Ｑ１はＬｍｉｎ以上Ｐ１以下の信号強度を有する画素の平均値、Ｑ８はＬｍａｘ以下Ｐ２より大きい信号強度の画素の平均値である。
【０１０１】
また、ＬＤは単位ブロック内の階調幅指標で、Ｑ８−Ｑ１に等しい。Ｌ１〜Ｌ７は階調幅指標ＬＤを８等分した値を小さいほうから並べたものである。ＬＡは単位ブロック内の画像データ平均値レベルで（Ｑ１＋Ｑ８）／２に等しい。φｉｊｋは画素毎の量子化レベルを表す。
【０１０２】
図２１及び図２２は、この実施の形態による符号化手順を示すフローチャートである。以下、このフローチャートを参照しながら符号化手順を説明する。
【０１０３】
まず、固定長圧縮回路２０は、図１８の（ｂ）のように並べ替えられた単位ブロック内の画像データを読み込む（ステップＳＴ１）。次に、読み込んだ４×４画素分の画像データの信号強度を演算し、以下の各式に従って順次Ｐ１、Ｐ２、Ｑ１、Ｑ８、ＬＡ、ＬＤ、Ｌ１〜Ｌ７の値を求める（ステップＳＴ２〜ステップＳＴ１３）。
【０１０４】
Ｐ１＝（Ｌｍａｘ＋７Ｌｍｉｎ）／８
Ｐ２＝（７Ｌｍａｘ＋Ｌｍｉｎ）／８
Ｑ１＝Ａｖｅ（Ｘｍｎ≦Ｐ１）
Ｑ２＝Ａｖｅ（Ｘｍｎ＞Ｐ２）
ＬＡ＝（Ｑ１＋Ｑ８）／２
ＬＤ＝Ｑ８−Ｑ１
Ｌ１＝ＬＡ−３ＬＤ／８
Ｌ２＝ＬＡ−ＬＤ／４
Ｌ３＝ＬＡ−ＬＤ／８
Ｌ５＝ＬＡ＋ＬＤ／８
Ｌ６＝ＬＡ＋ＬＤ／４
Ｌ７＝ＬＡ＋３ＬＤ／８
【０１０５】
なお、Ｑ１の式はＬｍｉｎ以上Ｐ１以下の信号強度を持つ画素の平均値を求めることを意味し、Ｑ８の式はＬｍａｘ以下Ｐ２より大きい信号強度を持つ画素の平均値を求めることを意味する。
【０１０６】
このようにして、順次Ｐ１、Ｐ２、Ｑ１、Ｑ８、ＬＡ、ＬＤ、Ｌ１〜Ｌ７の値を求めた後、固定長圧縮回路２０はｎ＝１、ｍ＝１とおいて（ステップＳＴ１４、１５）、この時のアドレス（ｍ，ｎ）の画素の信号強度（以後、画素値と称する）Ｘｍｎ（すなわち画素値Ｘ１１）がＬ１以下であるか否かを判断する（ステップＳＴ１６）。
【０１０７】
画素値Ｘ１１がＬ１以下である場合には、この画素値の量子化レベルφｉｊｋを２進数の０００と設定する（ステップＳＴ１７）。次に、ｍを１だけインクリメントし（ステップＳＴ３１）、ｍが４以下であるか否かを判別する（ステップＳＴ３２）。ｍが４以下である場合は、その画素の画素値を再びＬ１と比較する（ステップＳＴ１６）。
【０１０８】
ｍが４より大きい場合には、ｎを１だけインクリメントし（ステップＳＴ３３）、インクリメントしたｎが４以下であるか否かを判別する（ステップＳＴ３４）。ｎが４以下である場合は、その画素の画素値を再びＬ１と比較する（ステップＳＴ１６）。
【０１０９】
画素値ＸｍｎがＬ１より大きい場合には、Ｌ２以下であるか否かを判別し（ステップＳＴ１８）、が措置ＸｍｎがＬ２以下である場合は、この画素の量子化レベルφｉｊｋを２進数の００１と設定する（ステップＳＴ１９）。次に、ｍを１だけインクリメントし（ステップＳＴ３１）、ｍが４以下であるか否かを判別する（ステップＳＴ３２）。ｍが４以下である場合は、その画素の画素値を再びＬ１と比較する（ステップＳＴ１６）。ｍが４より大きい場合には、ｎを１だけインクリメントし（ステップＳＴ３３）、インクリメントしたｎが４以下であるか否かを判別する（ステップＳＴ３４）。ｎが４以下である場合には、その画素の画素値を再びＬ１と比較する（ステップＳＴ１６）。
【０１１０】
以下、同様に、画素値がＬ１〜Ｌ２間、Ｌ２〜Ｌ３間、Ｌ３〜ＬＡ間、ＬＡ〜Ｌ５間、Ｌ５〜Ｌ６間、Ｌ６〜Ｌ７間のいずれの値を有するかを判別し（ステップＳＴ１６、ＳＴ１８、ＳＴ２０、ＳＴ２２、ＳＴ２４、ＳＴ２６、ＳＴ２８）、その値に応じてそれぞれ量子化レベルφｉｊｋ＝０００、００１、０１０、０１１、１００、１０１、１１０、１１１を当該画素に割り振る（ステップＳＴ１７、ＳＴ１９、ＳＴ２１、ＳＴ２３、ＳＴ２５、ＳＴ２７、ＳＴ２９）。
【０１１１】
このようにして、同一単位ブロック内の全画素に量子化レベルを割り振って符号化を終了する。単位ブロックの符号化データはＬＡ、ＬＤ、各画素毎のφｉｊｋである。
【０１１２】
これらの処理は、画面全体に対して単位ブロック数分繰り返す。Ａ／Ｄ変換回路４からのデジタル信号が１画素あたり１０ビットである場合（ビット詰めしない場合２バイト相当）、固定長符号化による画像圧縮率は１０／３２である。
このように各撮影画像データは、逐次同色画素の画素のみで構成されたブロック毎に固定長圧縮回路２０において固定長符号化が行われ、画像データ量の低減が施された上でメモリ制御部８を介して圧縮画像メモリ２２に蓄積される。
【０１１３】
こうして２枚の撮影画像データが圧縮画像メモリ２２に蓄積された後に、画像処理部９における画像処理が施される。始めに、固定長圧縮回路２０において符号化されている画像データの復号化処理を行う。固定長伸長処理部２３における画像復号化方法について図について説明する。図２３は、固定長伸長処理部２３の動作を示すフローチャートである。以下、このフローチャートを参照しながら固定長伸長処理部２３の固定長復号化動作を説明する。
【０１１４】
固定長復号化動作が開始されると、まず、縦方向座標値ｎを１に設定し（ステップＳＴ４０）、に横方向座標値ｍを１に設定する（ステップＳＴ４１）。すなわち、ステップＳＴ４０及びステップＳＴ４１の動作によってある単位ブロック中の座標値（１，１）のアドレスが指定される。
【０１１５】
次に、指定したアドレスの量子化レベルΦｉｊｋがいくつであるか判定し（ステップＳＴ４２、ＳＴ４４、ＳＴ４６、ＳＴ４８、ＳＴ５０、ＳＴ５２、ＳＴ５４）、判定した各量子化レベルΦｉｊｋに応じて平均値レベルＬＡと階調幅指標ＬＤとに基づいてその画素の信号強度Ｙｍｎ（座標値（１，１）の画素であるならばＹ１１）を求める（ステップＳＴ４３、ＳＴ４５、ＳＴ４７、ＳＴ４９、ＳＴ５１、ＳＴ５３、ＳＴ５５、ＳＴ５６）。
【０１１６】
各ステップにおいて平均値レベルＬＡと階調幅指標値ＬＤとから信号強度Ｙｍｎを求めるには、それぞれ次の演算式に従う。
【０１１７】
Ｙｍｎ＝ＬＡ−ＬＤ／２              （ステップＳＴ４３）
Ｙｍｎ＝ＬＡ−５ＬＤ／１４          （ステップＳＴ４５）
Ｙｍｎ＝ＬＡ−３ＬＤ／１４          （ステップＳＴ４７）
Ｙｍｎ＝ＬＡ−ＬＤ／１４            （ステップＳＴ４９）
Ｙｍｎ＝ＬＡ＋ＬＤ／１４            （ステップＳＴ５１）
Ｙｍｎ＝ＬＡ＋３ＬＤ／１４          （ステップＳＴ５３）
Ｙｍｎ＝ＬＡ＋５ＬＤ／１４          （ステップＳＴ５５）
Ｙｍｎ＝ＬＡ＋ＬＤ／２              （ステップＳＴ５６）
画素（１，１）の信号強度を求めたら、次に横方向に画素を１つ移動し（ステップＳＴ５７、ＳＴ５８）、同一の手順で画素（２，１）の信号強度を復号化する（ステップＳＴ４２〜ＳＴ５６）。
【０１１８】
このようにして、単位ブロック内の最上段の画素について信号強度を復号化した後（ステップＳＴ５８）、縦方向の座標値を１だけインクリメントし（ステップＳＴ５９）、次の段の画素について同様にして信号強度を復号化する（ステップＳＴ４２〜ＳＴ５８）。
【０１１９】
このようにして単位ブロック内の全画素について信号強度を復号化して（ステップＳＴ４１〜ＳＴ６０）復号化動作を終了する。
【０１２０】
次に、復号化されたデータに、図２４に示すように固定長圧縮回路２０で並べ替えたデータの逆の並べ替え処理を施して画素信号を走査線方向に読み出したときと同一の順序で並べ替え、第一の画像メモリ７に記憶される。
【０１２１】
以上のように、第一の画像メモリ７上には固定長圧縮前の画像データと等価な画像データが蓄積されていることになり、実施の形態１と同様の画像処理が画像処理部９の他のブロックにおいて施され、インタフェース部１４に出力される。
【０１２２】
以上のように、複数枚の画像を撮影する際に、各々の画像データを固定長圧縮回路２０を用いてデータ圧縮することにより、撮像部５のＡ／Ｄ変換手段３から出力される画像信号を第一の画像メモリ７に蓄積する際、より少ないデータ量をデータバスに供給し記憶手段に蓄積することが可能となり、連写間隔を短縮するための高速なメモリ制御回路あるいは最低１フレーム分の高速書込みが可能な半導体メモリを使用する必要がなくなり、装置を低価格に構成することが可能となる。
【０１２３】
これは言い換えれば、少量の高速な圧縮画像メモリ２２を使用することで記憶手段への撮影したデータ蓄積速度を見かけ上高速化することが可能であり、１枚目の撮影シーケンスが短時間に終了することで２枚目の撮影動作を短時間の間合いで開始することができることになる。そのために、２枚の撮影画像間に生じる被写体の時間的な変化あるいは撮影者の手ぶれ等を最小限に抑えることが可能となり、同一被写体を高精度に１／２画素ずらした撮影が実現できるという効果がある。
【０１２４】
実施の形態２では、第一の画像メモリ７と圧縮画像メモリ２１は別個に設ける構成としたが、この限りでなく、共通の物理アドレス領域を有する半導体メモリ上に併設する構成としてもよい。また、これらのメモリと第二の画像メモリ１２７についても同一の半導体メモリ上に併設可能であることは言うまでもない。
【０１２５】
また、実施の形態２では、固定長圧縮回路２０と固定長圧縮回路２０に用いるラインバッファ２２及び圧縮画像メモリ２１を別個に設ける構成としたが、この限りでなく、これらの構成要素の２つ以上をＬＳＩ等の集積回路１石に包含する構成としてもよい。
【０１２６】
実施の形態３．
以下、実施の形態３を図について説明する。画素ずらし手段を含む撮像部５の構成及び動作、画像処理部９の構成に関しては、実施の形態１及び２と同様に、図１あるいは図１７のように構成される。実施の形態３で特徴的である画像処理部９の信号レベル補正処理部１０の動作について詳細な説明を行う。
【０１２７】
撮像部５で撮影された２枚の画像信号は、Ａ／Ｄ変換回路３を経て画像処理部９の第一の画像メモリ７に蓄積される。蓄積された画像データは、各々信号レベル補正処理部１０で白バランス補正処理やガンマ補正処理等の個別に適用可能な信号補正処理を施される。この時、１枚目の画像と２枚目の画像は時系列的に撮影されているため、例えば５０〜６０ＭＨｚの比較的低周波で発光を繰り返す蛍光灯を光源として撮影した場合、光源の発光タイミングとシャッタ時間の関係で２枚の画像の入射光量に差異が生じる場合がある。即ち、撮影した２枚の画像の平均明度に差が生じ、後段の合成処理部１２８で補間画像の合成処理を行う際に画質劣化の原因となりうる。
【０１２８】
図２５（ａ）は１枚目の撮像条件に比して２枚目の撮像条件における照明光量が３０％程度低下した場合の同一被写体を撮影した際の明度特性を示している。定照明下で撮影した際の各信号レベルは、照明条件が変化した場合に平均明度の低下とダイナミックレンジの縮小が発生する。図中、Ｍａｘ及びＭｉｎ値は各画像における最大信号レベル及び最小信号レベルである。実施の形態３における信号レベル補正処理部１０では、各画像内の信号レベル補正処理の他、２枚の画像の信号レベル補正処理を行う。
【０１２９】
即ち、各画像における最大信号レベル値及び最小信号レベル値を検出し、いずれか一方の信号レベル特性に他方を合せ込む処理を行う。通常は、１枚目の画像撮影時に自動露出補正あるいはシャッタ速度最適化を行い最適条件下で撮影を行うため、２枚目の画像を１枚目の明度分布特性に合わせるようにする。
【０１３０】
補正前後の２枚目の画像における各信号レベルをそれぞれＤ（ｊ）（ｊは定照明下での各明度レベル値）及びＤ’（ｊ）とすると、始めに式（４）に従って補正を行う（図２５（ｂ）参照）。
【０１３１】
Ｄ’（ｊ）＝Ｄ（ｊ）＋（Ｍｉｎ１−Ｍｉｎ２）          （４）
【０１３２】
続いて、式（５）に従って１枚目の画像及び式（４）にて補正した２枚目の画像のダイナミックレンジを補正し最終的な２枚目の補正信号レベルＤ’’（ｊ）を算出する（図２５（ｃ）参照）。
【数３】
0003926575.tif 000004
以上の手順で信号レベル補正処理部１０を構成することにより、撮影した２枚の画像の照明条件が異なる場合においても明度特性を良好に一致させることが可能であり、高精度の画素補間・合成処理が実現可能である。
【０１３３】
また、撮像装置を図１７（実施の形態２）に示す構成にし、撮影画像を固定長圧縮回路２０を用いて符号化する場合、各符号におけるＬＡは１６画素からなるブロック内の平均信号レベルを代表する値であることから、上記手順を全てＬＡを対象に実施しても等価的に同等の効果を実現可能であることは容易に説明できる。このように構成した場合、上記全画素を対象に行っていた最大・最小信号レベル検出及び信号レベル補正に関する演算規模を１／１６に抑制することが可能であり、処理の高速化を実現できるという格別の効果がある。
【０１３４】
実施の形態３では、２枚目の撮影画像に対して式（４）及び式（５）を順次適用するように構成したが、この限りでなく、これらを１回の画像データ走査で行えることは言うまでもない。
【０１３５】
実施の形態４．
以下、実施の形態４を図について説明する。実施の形態４における全体構成は実施の形態１における図１あるいは実施の形態２における図１７の構成と同様である。本実施の形態４では、画素ずらし光学系１として、電界の強さに応じて透過光の屈折現象が変化する電気光学素子を用いる点が、実施の形態１及び実施の形態２と異なる。
【０１３６】
図２６及び図２７は、本実施の形態４における撮像部５の構成を示したものである。これら図において、３０は電圧印加により電界を発生する電界発生回路、３１は電気光学素子である。
【０１３７】
次に動作について説明する。図２６の撮像部５について構成及び動作を説明する。図２６の動作原理図である図２７中の電気光学素子３１及び偏光板１８をＡ−Ａ、Ｂ−Ｂ、Ｃ−Ｃの方向から見たものをそれぞれ図２８、図２９、図３０に示す。
【０１３８】
図２７において、画像を結像するためのレンズ６１から電気光学素子３１に入射する自然光は、図２８に示すように、互いに直交する２つの偏光成分ＬX、ＬYで表すことができる。電気光学素子３１に電界が印加されていない場合は、図２９のＬX0、ＬY0に示す偏光成分が前記ＬX、ＬYが直進した位置に観測される。電気光学素子３１に所定の電界Ｅ１が印加されると、該電気光学素子３１は複屈折現象を呈し、図２９のＬX1、ＬY1に示す偏光成分が観測される。
【０１３９】
ここで、ＬX1は複屈折現象における常光線としてＬXが直進した位置に、ＬY1は複屈折現象の異常光線としてＬYが距離Ｐだけずれ対置に観測される。ただし、この場合、図３０に示すようなＰ＝ＰＨ／２（ＰＨは撮像素子２の水平画素ピッチを示す）となるような電界Ｅ１を電界発生回路３０により電気光学素子３１に印加する。
【０１４０】
上記撮像装置における動作タイミングを図８により説明すると、図８（ａ）はフィールドシフトパルス、図８（ｂ）は電気光学素子３１に印加される電界Ｅ１の強さを示す図、図８（ｃ）は信号読み出しパルス、図８（ｄ）は撮像素子２の出力信号を示す図、図８（ｅ）はＡ、Ｂフィールドを１フレームとして見た場合の図である。電界Ｅ１の強さの変化の位相を図８（ａ）のフィールドシフトパルスに一致させる。
【０１４１】
上述の動作により、この実施の形態４の撮像装置は、 Ａ、Ｂフィールドでの信号電荷蓄積を入射画像と撮像素子２の画素との相対的な位置に関してＰＨ／２だけ離れた位置で行うことができる。これに対応して図８（ｃ）に示す信号読み出しパルスのタイミングもＰＨ／２に相当する時間Ｔだけずらしてある。その結果、図８（ｅ）に示すように、この撮像装置はＡ、Ｂフィールドを１フレームとした１周期で高画素密度化した画像を得ることができる。
【０１４２】
実施の形態４における画像処理部９の構成及び動作はこれまでの実施の形態で説明したいずれを用いても構成できる。
【０１４３】
実施の形態５．
以下、実施の形態５を図について説明する。実施の形態５における全体構成は実施の形態１における図１あるいは実施の形態２における図１９と同様である。本実施の形態５では、画素ずらし光学系１として直線偏光を作る偏光板及び入射光の方位角を変更する液晶板を用いた場合を例にとって説明する。
【０１４４】
図３１は、本実施の形態５における撮像部５の構成を示したものである。
【０１４５】
図３１において、１８は入射光に対して直線偏光を生成する偏光板、９２は偏光板１８で生成された直線偏光を電圧の印加条件で方位角が変更可能な液晶板、９１は液晶板９２への印加電圧を制御する駆動電圧制御回路である。
【０１４６】
次に、動作について説明する。画素ずらし光学系１および撮像素子２の拡大図を図３２に示す。図３２において、Ａ−Ａは偏光板１８の入射側、Ｂ−Ｂは偏光板１８の出射側、Ｃ−Ｃは液晶板９２の出射側、Ｄ−Ｄは複屈折板１９の出射側の垂直方向の位置を示している。図３３〜図３６には図３２に示した前記Ａ−ＡからＤ−Ｄまでの各位置における光の偏光方向を示す。
【０１４７】
被写体を撮像する場合、光学系に入射される光は無偏光であるため、図３３のように、垂直方向の偏光成分と水平方向の偏光成分とで示すことができる。偏光板１８は入射された光から直線偏光した光を出射する。また、その方位角は、図３４に示すように、撮像素子２の水平方向の画素配列を基準角とすると、基準角に対して４５°の角度となるように、偏光板１８の偏光方向の偏光軸を傾けて配置する。
【０１４８】
液晶板９２は、内部に液晶層を有し、２枚の電極基板で液晶を挟んだ板であり、外部から電圧すなわち電界が加わることにより、内部の液晶の分子配列変化に伴う電気光学効果を引き起こす。この発明にて用いる液晶板９２は、入射される直線偏光の光の偏光方向を、液晶板９２に電圧を加える、または加えている電圧を切ることにより、変化させるものである。上記液晶板９２を実現させるための一例として前記電気光学効果の内、代表的な電界効果型である、ねじれネマチック（ＴＮ）型液晶による旋光効果などが挙げられる。その動作を図３７および図３８に示す。
【０１４９】
ＴＮモードを示すネマチック液晶は正の誘電異方性をもち、素子の分子配列を図３７、３８に示す。図３７，３８中、９３が液晶分子である。基板に電圧が印加されたときは、図３７に示すように分子長軸方向が両基板面で直行しているように配列するため、偏光板１９を介して入射された直線偏光はそのまま出射される。電圧が無印加の時は素子内の液晶分子の配列は連続的に９０°ねじれており、光学的には９０°旋光効果を起こすため、偏光板１９から入射された直線偏光は９０°ねじれて、出射光は入射光に対して９０°偏光方向が異なるようになる。
【０１５０】
液晶板９２から出射された光の偏光を図３５に示す。図３５において、ｃ１は前記液晶板９２において電圧が印加された状態であり、電圧無印加時にはｃ２のように基準角度に対して１３５°の方位角を有した直線偏光となる。今、ｃ１の直線偏光を第１の偏位方向、ｃ２の直線偏光を第２の偏位方向とする。液晶板９２から出射された光は次に複屈折板１９に入射される。
【０１５１】
複屈折板１９は屈折率が偏光方向によって均一でない、いわゆる複屈折を有する材質であり、撮像装置では被写体の空間周波数が撮像素子２の画素ピッチから求められるサンプリング周波数を超えている場合、追い返しノイズ（エイリアジングノイズ）として画像に現れるため、光学的ローパスフィルタとして水晶板などが良く用いられている。水晶板すなわち複屈折板１９は入射する光を常光線と異常光線とに分離し、その分離の距離間は複屈折板１９の厚みによって調整することが可能である。
【０１５２】
第１の偏位方向の入射光を常光線、第２の偏位方向の入射光を異常光線とするように複屈折板を設けると、図４に示すように、異常光線は点線で示されるように、その光軸は常光線と異とし、それぞれの偏位方向を有する入射光は図３６中ｄ１，ｄ２に示すように撮像素子２上の異なった位置に結像する。また、前記複屈折板１９の厚みを図３６に示すように水平方向の撮像素子の画素ピッチｗｘの半分であるｗｘ／２、垂直方向の撮像素子の画素ピッチｗｙの半分であるｗｙ／２だけ異常光線が常光線に対して異なるように設ける。
【０１５３】
よって、前記第１の偏位方向の時に撮像素子２上に結像した像を撮像した第１の画像と、第２の偏位方向の時に撮像した第２の画像の２枚の画像は互いに水平垂直とも１／２画素分、相対的にずれている。
【０１５４】
以上のことから、撮像装置は、撮像部制御回路４からの制御により撮像素子２を駆動させる際に駆動電圧制御回路９１から液晶板９２へ駆動電圧を出力する。液晶板９２は電圧が加わることにより図３９に示す液晶分子配列となり、第１の偏位方向の入射光は撮像素子２上に結像される。撮像素子２は撮像部制御回路４の制御により駆動電圧制御回路９１からの駆動信号により撮像を行い第１の画像を得る。
【０１５５】
次に、第１の画像を撮像した後、駆動電圧制御回路９１は液晶板９２への印加電圧を０とする。液晶板９２の液晶分子配列は、図３８に示したようになり、第２の偏位方向の入射光は撮像素子２上に結像される。撮像素子２は駆動電圧制御回路９１からの駆動信号により撮像を行い第２の画像を得る。
【０１５６】
液晶板９２への印加電圧パルスを図３９に示す。撮像部制御回路４は図３９における状態１の間に第１の画像の撮像を終了させ、同図状態２の間に第２の画像の撮像を終了させる。
【０１５７】
上記のように動作させることにより、水平垂直とも１／２画素ずれた第１の画像および第２の画像を得ることができる。
【０１５８】
以上のように得られた１枚目の撮影画像と１／２画素ずらして撮影された２枚目の画像は、逐次Ａ／Ｄ変換手段３においてデジタル信号に変換された後、画像処理部９に送信される。
【０１５９】
実施の形態５では、１枚目の画像に対して２枚目の撮影画像を１／２画素ずらす方向として４５度方向にずらすものを例に説明したがこの限りでなく、液晶９２及び複屈折板１９の配置あるいは液晶９２への印加電圧を適宜組み合わせることにより１３５度方向、−４５度方向、−１３５度方向など実現可能である。
【０１６０】
また、実施の形態５では、入射する直線偏光の偏光方向を変化させる液晶板９２として、ＴＮ型液晶を一例として挙げたが、光電効果により旋光効果を有する液晶板９２であれば、同様の効果を有することができる。
【０１６１】
なお、実施の形態１において、図３に示した画素ずらし光学系１では、レンズ６１は、偏光板１８、磁気光学素子１７、複屈折板１９からなる画素ずらしを行うための手段よりも被写体寄りの位置に配置されているが、この限りでない。即ち、レンズ６１をこれらの手段の後段に配置することで同様の画素ずらし効果が得られると共に、画素ずらしのための手段を着脱可能な構成にすることにより、通常の撮像装置でありながら画素ずらしのための手段を装着することで高精細な画像を撮像可能な撮像装置として実現できるという格別な効果が生じる。
【０１６２】
また、実施の形態４では、図２６に示した画素ずらし光学系１では、レンズ６１は、偏光板１８と電気光学素子３１からなる画素ずらしを行うための手段よりも被写体寄りの位置に配置されているが、この限りでない。即ち、レンズ６１をこれらの手段の後段に配置することで同様の画素ずらし効果が得られると共に、画素ずらしのための手段を着脱可能な構成にすることにより、通常の撮像装置でありながら画素ずらしのための手段を装着することで高精細な画像を撮像可能な撮像装置として実現できるという格別な効果が生じる。
【０１６３】
また、以上の全ての実施の形態においては、静止画像を連続的に取り込み可能なディジタルスチルカメラでの構成例を示したが、動画像を取り込み可能なディジタルビデオレコーダにおける高精細静止画撮影モードなどとして構成可能であることは言うまでもない。
【０１６４】
また、以上の全ての実施の形態においては、撮像装置の内部で色補間処理及び合成処理を実行可能な構成例を示したがこの限りでなく、パーソナルコンピュータやカラープリンタ等、撮像装置に直接あるいは記憶媒体を間接的に経由して接続可能な機器上で構成してもよい。
【０１６５】
【発明の効果】
以上のように、この発明によれば、撮像素子に対する入射光の位置を半画素分だけ光学的に変位させる画素ずらし手段と、上記画素ずらし手段による変位前後の撮像素子の撮像画像を記憶する第一の画像記憶手段と、上記第一の画像記憶手段に記憶されている撮像画像を構成する撮像色信号のうち、参照色である撮像色信号について類似性が高いと判断された1次元方向に配列する３点の画素座標を横軸にこれら３点の信号レベル値を縦軸にした平面上に形成される三角形と、補間色である非撮像色信号について参照色と同一方向である１次元方向に配列する２点と補間生成しようとする画素の画素座標を横軸にこれら３点の信号レベル値を縦軸にした平面上に形成される三角形の相似比を考慮して色補間を行う補間手段と、変位前後の撮像画像を上記補間手段で各々色補間した結果を記憶する第二の画像記憶手段と、変位前後の撮像素子の撮像画像を合成する合成手段とを備えたので、画素数の増加量に対して十分に解像度が向上した画像を実現することが可能な撮像装置を得ることができる。
【０１６６】
また、上記合成手段は、撮像画素が存在しない位置の空白画素を画素補間する場合、画像中のエッジに当たる部分が空白画素を通過するか否かを判定し、その空白画素を通過する時にはエッジ成分の稜線方向に当該空白画素を画素補間するようにしたので、エッジ線分の稜線方向に画素補間を実行することでシャープなエッジ再現が可能となる。
【０１６７】
また、撮像素子の撮像画像を圧縮して、その圧縮画像を圧縮画像メモリに格納し、その圧縮画像を伸張して上記第一の画像記憶手段に出力する圧縮・伸張手段を設けたので、複数枚の画像を撮影する際に、各々の画像データを圧縮することにより、撮像部の画像信号を第一の画像メモリに蓄積する際、より少ないデータ量をデータバスに供給し記憶手段に蓄積することが可能となり、連写間隔を短縮するための高速なメモリ制御回路あるいは最低１フレーム分の高速書込みが可能な半導体メモリを使用する必要がなくなり、装置を低価格に構成することが可能となる。
【０１６８】
また、上記第一の画像記憶手段に記憶されている変位前後の撮像素子の撮像画像を構成する撮像色信号の信号レベルを補正する信号レベル補正手段を設けたので、ＲＧＢ各色に対応して色フィルタの感度特性を良好なものにすることができる。
【０１６９】
また、上記信号レベル補正手段は、変位前後の撮像素子の撮像画像における所定領域の撮像色信号の平均信号レベルを計算し、双方の平均信号レベルが一致するように撮像色信号の信号レベルを補正するようにしたので、撮像した２枚の画素の照明条件が異なる場合においても明度特性を良好に一致させることが可能であり、高精度の画素補間・合成処理が実現できる。
【０１７０】
また、上記画素ずらし手段は、入射光を撮像素子に導く光路に配置された磁気光学素子を備え、当該磁気光学素子に与える磁界の強度を制御して、撮像素子に対する入射光の位置を変位させるので、高画素密度化画像を得ることができる。
【０１７１】
また、上記画素ずらし手段は、入射光を撮像素子に導く光路に配置された電気光学素子を備え、当該電気光学素子に与える電界の強度を制御して、撮像素子に対する入射光の位置を変位させるので、高画素密度化画像を得ることができる。
【０１７２】
また、上記画素ずらし手段は、入射光を撮像素子に導く光路に配置された液晶板を備え、当該液晶板に与える電圧の強度を制御して、撮像素子に対する入射光の位置を変位させるので、高画素密度化画像を得ることができる。
【０１７３】
また、撮像光学系と撮像素子の間に上記画素ずらし手段を配置することで、画素ずらし手段を着脱可能な構成にすることにより通常の撮像装置でありながら画素ずらし手段を装着することで高精細度な画像を撮像可能な撮像装置として実現できる。
を特徴とするものである。
【０１７４】
さらに、撮像光学系の前段に上記画素ずらし手段を配置することで、画素ずらし手段を着脱可能な構成にすることにより通常の撮像装置でありながら画素ずらし手段を装着することで高精細度な画像を撮像可能な撮像装置として実現できる。
【図面の簡単な説明】
【図１】  この発明の実施の形態１を示す全体ブロック図である。
【図２】  Bayer配列をした撮像素子の説明図である。
【図３】  図１における撮像部５の詳細構成を示した図である。
【図４】  図１における撮像部５の構成及び動作説明のための図である。
【図５】  偏光板１８、ファラデー素子１７、複屈折板１９を、図４のＡ−Ａ線から見た図である。
【図６】  偏光板１８、ファラデー素子１７、複屈折板１９を、図４のＢ−Ｂ線から見た図である。
【図７】  偏光板１８、ファラデー素子１７、複屈折板１９を、図４のＣ−Ｃ線から見た図である。
【図８】  撮像装置における動作タイミングの説明図である。
【図９】  撮像原理により、図２のBayer型単板カラー撮像素子を用いて、画素ずらし画像を撮影する説明図である。
【図１０】  補間処理部１１及び合成処理部１２８の処理手順を示したフローチャートである。
【図１１】  画素数が縦横とも２倍である１枚の合成画像を構成する画素の配置説明図である。
【図１２】  図１１で重心の位置関係に対応した、補間処理部１１の処理実行前の既存画像信号成分とその位置関係についての説明図である。
【図１３】  撮像色信号がＲ色である画素の位置（以下、Ｒ画素位置と称す）の非撮像色信号のうちＧ色信号を補間生成する場合の説明図である。
【図１４】  図１３の場合で水平方向の類似性が高いと判断されて水平方向成分の参照色信号を用いて補間色信号の色補間を行う場合の説明図である。
【図１５】  画像中に存在するＧ成分の位置関係を示ス説明図である。
【図１６】  線分角度情報に基づいて線分の稜線方向に存在する複数の画素値を線形補間して注目画素のＧ成分が算出される場合の説明図である。
【図１７】  この発明の実施の形態２の全体構成を表すブロック図である。
【図１８】  固定長圧縮回路２０により図２の画素配列が並べ替えられる様子を示した図である。
【図１９】  並べ替えられた単位ブロック内のカラー画像信号を固定長圧縮回路２０で符号化する場合のアドレスを示す図である。
【図２０】  各画素の画像信号の強度を階層化（量子化）する量子化レベルを表す図である。
【図２１】  実施の形態２による符号化手順を示すフローチャートである。
【図２２】  実施の形態２による符号化手順を示すフローチャートである。
【図２３】  固定長伸長処理部２３の動作を示すフローチャートである。
【図２４】  固定長圧縮回路２０で並べ替えたデータの逆の並べ替え処理を施して画素信号を走査線方向に読み出したときと同一の順序で並べ替え、第一の画像メモリ７に記憶される場合の説明図である。
【図２５】  定照明下での被写体明度の説明図である。
【図２６】  この発明の実施の形態４における撮像部５の構成を示した図である。
【図２７】  図２６の動作原理図である。
【図２８】  図２７中の電気光学素子３１及び偏光板１８をＡ−Ａの方向から見た図である。
【図２９】  図２７中の電気光学素子３１及び偏光板１８をＢ−Ｂの方向から見た図である。
【図３０】  図２７中の電気光学素子３１及び偏光板１８をＣ−Ｃの方向から見た図である。
【図３１】  この発明の本実施の形態５における撮像部５の構成を示した図である。
【図３２】  画素ずらし光学系１および撮像素子２の拡大図である。
【図３３】  図３２に示したＡ−Ａの各位置における光の偏光方向を示す図である。
【図３４】  図３２に示したＢ−Ｂの各位置における光の偏光方向を示す図である。
【図３５】  図３２に示したＣ−Ｃの各位置における光の偏光方向を示す図である。
【図３６】  図３２に示したＤ−Ｄの各位置における光の偏光方向を示す図である。
【図３７】  液晶板９２を実現させるための一例として前記電気光学効果の内、代表的な電界効果型である、ねじれネマチック（ＴＮ）型液晶による旋光効果の説明図である。
【図３８】  図３７と関連する旋光効果の説明図である。
【図３９】  図液晶分子配列の説明図である。
【図４０】  特開平７−２３６０８６号公報に示された光学的に画素数を増加させる従来の画像入力装置のブロック図である。
【図４１】  撮像部の機構を示す斜視図である。
【図４２】  撮像によって得られた前後左右の信号の平均値からＧ１’，Ｇ２’を補間する際の説明図である。
【図４３】  補間して得られたＧ信号からさらに内挿することにより全画素分のＧ信号を得る場合の説明図である。
【図４４】  左右のＢ１信号からＢ１’信号を内挿し、さらに、補間したＢ１’信号からＢ１”信号を内挿する場合の説明図である。
【図４５】  補間したＢ１’，Ｂ１”，Ｂ２’，Ｂ２”から残りの画素の内挿を行う説明図である。
【符号の説明】
１  画素ずらし光学系、２  撮像素子、３  Ａ／Ｄ変換回路、４  撮像部制御回路、５  撮像部、６  カメラ制御部、７  第一の画像メモリ、８  メモリ制御部、９  画像処理部、１０  信号レベル補正処理部、１１  補間処理部、１２  画像補正処理部、１３  画像圧縮処理部、１４  インタフェース部、１５  磁界発生回路、１６  コイル、１７  ファラデー素子、１８  偏光板、１９  複屈折板、２０  固定長圧縮回路、２１  ラインバッファ、２２  圧縮画像メモリ、２３  固定長伸張処理部、３０  電界発生回路、３１  電気光学素子、６１  レンズ、９１  駆動電圧発生回路、９２  液晶板、１２７  第二の画像メモリ、１２８  合成処理部。
【図１】
0003926575.tif 000005
【図２】
0003926575.tif 000006
【図３】
0003926575.tif 000007
【図４】
0003926575.tif 000008
【図５】
0003926575.tif 000009
【図６】
0003926575.tif 000010
【図７】
0003926575.tif 000011
【図８】
0003926575.tif 000012
【図９】
0003926575.tif 000013
【図１０】
0003926575.tif 000014
【図１１】
0003926575.tif 000015
【図１２】
0003926575.tif 000016
【図１３】
0003926575.tif 000017
【図１４】
0003926575.tif 000018
【図１５】
0003926575.tif 000019
【図１６】
0003926575.tif 000020
【図１７】
0003926575.tif 000021
【図１８】
0003926575.tif 000022
【図１９】
0003926575.tif 000023
【図２０】
0003926575.tif 000024
【図２１】
0003926575.tif 000025
【図２２】
0003926575.tif 000026
【図２３】
0003926575.tif 000027
【図２４】
0003926575.tif 000028
【図２５】
0003926575.tif 000029
【図２６】
0003926575.tif 000030
【図２７】
0003926575.tif 000031
【図２８】
0003926575.tif 000032
【図２９】
0003926575.tif 000033
【図３０】
0003926575.tif 000034
【図３１】
0003926575.tif 000035
【図３２】
0003926575.tif 000036
【図３３】
0003926575.tif 000037
【図３４】
0003926575.tif 000038
【図３５】
0003926575.tif 000039
【図３６】
0003926575.tif 000040
【図３７】
0003926575.tif 000041
【図３８】
0003926575.tif 000042
【図３９】
0003926575.tif 000043
【図４０】
0003926575.tif 000044
【図４１】
0003926575.tif 000045
【図４２】
0003926575.tif 000046
【図４３】
0003926575.tif 000047
【図４４】
0003926575.tif 000048
【図４５】
0003926575.tif 000049