(57)【特許請求の範囲】
【請求項１】
複数の色フィルタを順次切り換えて色毎に被写体を撮像する面順次撮像装置において、注目する時間位置に、ある色成分についての時間的に連続して前後する画像データを用いて当該色成分の画像データを算出することで当該色成分の画像を補間する補間手段を設けたことを特徴とする面順次撮像装置。
【請求項２】
前記補間手段は、ある色成分の時間位置に、該色成分とは異なる色成分についての時間的に連続して前後する画像データを用いて当該異なる色成分の画像データを算出することで当該異なる色成分の画像を補間することを特徴とする請求項１に記載の面順次撮像装置。
【請求項３】
前記補間手段は、時間的に画像信号が存在しない位置に、ある色成分についての時間的に連続して前後する画像データを用いて当該色成分の画像データを算出することで当該色成分の画像を補間することを特徴とする請求項１に記載の面順次撮像装置。
【請求項４】
前記複数の色フィルタは回転色フィルタであり、暗時の固定パターンノイズを読み出し、各色成分の画像の信号から固定パターンノイズを減算する減算手段を設けたことを特徴とする請求項１に記載の面順次撮像装置。
【請求項５】
複数の色フィルタを順次切り換えて各色毎に被写体を撮像することで取得した画像を当該複数の色毎に切り換えて入力する入力選択手段を備え、
前記補間手段は、前記入力選択手段に接続された複数のフィールドメモリと、この複数のフィールドメモリにそれぞれ接続された複数の乗算器と、前記複数の乗算器と接続された加算器と、を備え、前記入力選択手段にて取得した各色成分についての時間的に連続して前後する画像の画像データを前記複数のフィールドメモリのいずれかに入力し、前記複数のフィールドメモリに入力された各色成分についての時間的に連続して前後する画像を前記乗算器および前記加算器によって乗加算することで、画像を補間することを特徴とする請求項１に記載の面順次撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は面順次撮像装置に関し、特に、被写体像を赤，緑，青の３色に分けてそれぞれ撮像する色面順次方式の撮像装置に関するものである。
【０００２】
【従来の技術】
このような撮像装置は例えば日経エレクトロニクス１９８６．５．５（Ｎｏ．３９４）ｐｐ１４５〜１５８、「小型の利点を生かして内視鏡にも使われ始めた固体撮像素子」に開示されており、従来の色面順次撮像においてＣＣＤ等の電荷転送型撮像素子を使用すると、１色のフィールドデータを１／９０秒、あるいは１／６０秒で読み出した場合、赤、緑、青（以下ＲＧＢと略す）の３色の露光を行うためにはそれぞれ１／３０秒、１／２０秒かかることが示されている。
【０００３】
【発明が解決しようとする課題】
ところで、顕微鏡に面順次カメラを使用した場合、ステージを動かすことによる色ずれは画像全体が２次元の平行ずれあるいは回転ずれに限られるが、この場合、色ずれを軽減する別の処理が可能となる。
【０００４】
本発明はこのような課題に着目してなされたものであり、その目的とするところは、注目する時間位置に、ある色成分についての時間的に連続して前後する画像データを用いて当該色成分の画像データを算出することで当該色成分の画像を補間することにより、安価で高精度な色ずれ補正が可能な面順次撮像装置を提供することにある。
【０００５】
【課題を解決するための手段】
上記の目的を達成するために、本発明の第１の態様は、複数の色フィルタを順次切り換えて色毎に被写体を撮像する面順次撮像装置において、注目する時間位置に、ある色成分についての時間的に連続して前後する画像データを用いて当該色成分の画像データを算出することで当該色成分の画像を補間する補間手段を設ける。
【０００６】
また、本発明の第２の態様は、第１の態様において、前記補間手段は、ある色成分の時間位置に、該色成分とは異なる色成分についての時間的に連続して前後する画像データを用いて当該異なる色成分の画像データを算出することで当該異なる色成分の画像を
補間する。
【０００７】
また、本発明の第３の態様は、第１の態様において、前記補間手段は、時間的に画像信号が存在しない位置に、ある色成分についての時間的に連続して前後する画像データを用いて当該色成分の画像データを算出することで当該色成分の画像を補間する。
【０００８】
また、本発明の第４の態様は、第１の態様において、前記複数の色フィルタは回転色フィルタであり、暗時の固定パターンノイズを読み出し、各色成分の画像の信号から固定パターンノイズを減算する減算手段を設ける。
【０００９】
また、本発明の第５の態様は、第１の態様において、複数の色フィルタを順次切り換えて各色毎に被写体を撮像することで取得した画像を当該複数の色毎に切り換えて入力する入力選択手段を備え、前記補間手段は、前記入力選択手段に接続された複数のフィールドメモリと、この複数のフィールドメモリにそれぞれ接続された複数の乗算器と、前記複数の乗算器と接続された加算器と、を備え、前記入力選択手段にて取得した各色成分についての時間的に連続して前後する画像の画像データを前記複数のフィールドメモリのいずれかに入力し、前記複数のフィールドメモリに入力された各色成分についての時間的に連続して前後する画像を前記乗算器および前記加算器によって乗加算することで、画像を補間する。
【００１０】
【発明の実施の形態】
本発明の第１の実施形態について図１を用いて詳細に説明する。第１の実施形態では色ずれを起きにくくするために表示系の周期内（ＮＴＳＣならば１／６０秒）にＲＧＢの露光を行う。周期内にＲＧＢの露光を行うために、撮像素子に高速読み出しが可能な素子を使用する。高速撮像手段として電荷変調素子（以下、ＣＭＤと呼ぶ）、多線読み出しＣＣＤ等があげられる。
【００１１】
以下、高速度撮像素子としてＣＭＤを用いて説明する。使用する回転色フィルタは図５に示すように構成する。回転色フィルタは点Ｏを中心に回転する。図５において、ＲＬ，ＧＬ，ＢＬは各色の露光部分、Ｒｒ，Ｇｒ，Ｂｒは読み出しのための遮光部分とする。
【００１２】
レンズ１および回転色フィルタ２のＲフィルタを介して入力した光はＣＭＤ３にて光電変換される。ＲＬの期間中露光し、回転フィルタの遮光部ＲｒによってＣＭＤ３が遮光されると信号を出力する。ＣＭＤ３からの出力はアンプ（ＡＭＰ）４にて増幅され、ＡＤＣ５にてアナログデジタル変換される。ここでＣＭＤ３はコントロール部７にて制御される。ＡＤＣ５の出力はデータセレクタ６にて選択され３次元フィールドメモリ（以下３ＤＦＭと略す）８ｒに記録される。ここでデータセレクタ６はコントロール部７にて制御される。３ＤＦＭは複数のフレームメモリにて構成され、時間経過したデータが読み出せるようになっている。
【００１３】
３ＤＦＭ８ｒからのデータは３次元フィルタ回路（以下３ＤＦＬと略す）９ｒにて補間処理を行う。３ＤＦＭ及び３ＤＦＬのタイミング制御はコントロール部７にて行う。その後、ＤＡＣ１０ｒにてデジタルアナログ変換してモニタ１１に表示される。
【００１４】
同様にＢを取り込み、モニタ１１に表示する。後述するが、Ｇを基準に補間処理を行うために、Ｇ信号はタイミング合わせのための３ＤＦＭ２０のみを通過させる。本実施形態において３ＤＦＭ２０の回路構成は図１１に示すようにＦＭ３１，ＦＭ３２から成る。３ＤＦＭ２０から読み出されたデータは、デジタルアナログ変換してモニタ１１に表示する。
【００１５】
ここで３ＤＦＭと３ＤＦＬの動作について図４を用いて説明する。図４はある１画素と上下の画素に注目して記述している。ＣＭＤ３からインタレース表示系に合わせて画像データを読み出すと画素の上下位置と時間の関係は図４に示すようになる。
【００１６】
本実施形態では輝度成分の多いＧに注目してＧの時間位置にＲ，Ｂの画像を時間補間して表示する。補間方法に注目する色の前後の色から算出する方式をとると、式は次のように定義される。図４においてＧN+1 2 の位置にＲ′を補間して表示する。
【００１７】
Ｒ′＝２／３×ＲN+1 2 ＋１／３×｛１／２×（ＲN+2 1 ＋ＲN+2 2 ）｝  (１)
同様にＢ′を（２）式のように補間する。
【００１８】
Ｂ′＝２／３×ＢN+1 2 ＋１／３×｛１／２×（ＢN 1 ＋ＢN 2 ）｝      (２)
以上のＲ′の計算を回路にすると図３に示すようになる。前後のフィールド画像データを得るためにフィールドメモリ（以下ＦＭと略す）１２，１３を用いる。各ＦＭの出力は３ＤＦＬ９に接続される。Ｂの補間においては図６に示すように３ＤＦＭ８ｂにＦＭ３０がさらに必要となる。
【００１９】
図３においてＦＭ１２の出力は１ＨＤＬ１５に及び加算器１６に導かれ、ＲN+2 1 ＋ＲN+2 2 の計算が行われる。加算器１６の出力は乗算器１７に接続し、（１）式において１／３×｛１／２×（ＲN+2 1 ＋ＲN+2 2 ）｝の計算が行われる。つまりコントロール部７より係数１／６が出力され、乗算を行う。
【００２０】
一方、乗算器１８は（１）式において２／３＋ＲN+1 2 の計算を行い、出力する。つまりコントロール部７より係数２／３が出力され、乗算を行う。加算器１９で加算を行い、Ｒ′を出力する。
【００２１】
本実施形態では撮像素子からインタレース読み出しした例について述べてきたが、ノンインタレース読み出しした時には、図１０のように画像データが読み出される。ＧN+1 1 の時間位置に補間するＲ′，Ｂ′の補間は（３），（４）式のようになる。
【００２２】
Ｒ’＝２／３×ＲN+1 1 ＋１／３×ＲN+2 1              （３）
Ｂ’＝２／３×ＢN+1 1 ＋１／３×ＢN 1                （４）
【００２３】
第２の実施形態として図２に、内視鏡に応用した例を示す。内視鏡応用時は光源２１に回転色フィルタ２が配置される。回転フィルタ２より光を光ファイバ２２を介してＲＧＢ順次に照射し、被写体２３からの画像を撮像する。その後の回路動作は第１の実施形態と同様であるために省略する。
【００２４】
前記実施形態ではＧに合わせてＲとＢを補間していたがＲの位置にＧ，Ｂを補間して代入してもよく、更にＢの位置にＲ，Ｇを補間して代入してもよい。また、ある１色の位置に他の色を補間しなくても、図４の１点鎖線Ａのように時間的に画像信号が存在しない位置に各色を時間補間してモニタに表示してもよい。その際回路図は図７のように構成され、ＲＧＢ各色信号に３ＤＦＭ８および３ＤＦＬ９を挿入する。
【００２５】
また、色フィルタの順序はＲＧＢではなく、任意に変更可能である。例えばＧの時間位置にＲとＢを補間する場合にＲＢＧの順序にすると、Ｎ＋１フィールド目とＮ＋２フィールド目のデータのみを用いて補間すればよいので、２フィールド分のフィールドメモリだけ用意すれば良く、図６にあるＦＭ３０が省ける利点がある。
【００２６】
次に第３の実施形態として図８に固定パターンノイズ（以下ＦＰＮと略す）を軽減する実施形態を示す。図９のように回転色フィルタを構成し暗時のＦＰＮを読み出し、各色信号からＦＰＮを減算するように動作する。図９中のＲＬ，Ｒｒ，ＧＬ，Ｇｒ，ＢＬ，Ｂｒは図５と同じため説明は省略する。ＦＬはＦＰＮを蓄積するための遮光部であり、ＦｒはＦＰＮを読み出す部分である。
【００２７】
本実施形態においては１フィールド期間内にＲ，Ｇ，Ｂ及びＦＰＮの蓄積、読み出しを高速度に行うものとする。ＣＭＤより読み出されたＦＰＮデータはデータセレクタ６にて選択され、ＦＭ２４に記録される。そののち各色の読み出しタイミングに合わせて、ＦＭ２４よりＦＰＮデータが読み出され、減算器２５ｒ，２５ｇ，２５ｂにて信号よりＦＰＮが減じられる。ここでＦＬとしてＦＰＮの蓄積時間を設けた理由は、暗電流によるＦＰＮが蓄積時間により増加する傾向にあり、信号の蓄積時間と同じにする必要があるからである。
【００２８】
ここで本実施形態の場合の補間式について述べる。ノンインタレースとすると時間と位置関係は図１２に示すようになるため、ＲとＢのＧN+1 1 における補間式は（５），（６）式となる。
【００２９】
Ｒ′＝３／４×ＲN+1 1 ＋１／４ＲN+2 1                   (５)
Ｂ′＝３／４×ＢN+1 1 ＋１／４ＢN 1                     (６)
本実施形態によりＦＰＮを画像信号から減算することにより信号のＳ／Ｎが増加する利点がある。
【００３０】
上記のＣＭＤは学会等で発表された通常の素子について述べてきたが、通常のＣＭＤを本発明に応用すると図５に示されるように遮光部が必要となる。しかし特願昭５９−１２４５９０号に述べられているように素子内に遮光部を設け転送に使用するＣＭＤを使うと遮光部中に信号を読み出す必要がなくなるため遮光部の部分は短くてよい。よって露光時間を有効に設けることができる利点がある。
【００３１】
これまでは高速読み出しのできるＣＭＤ撮像素子を例に述べてきたが、高速回転をせずに１フィールド１色の露光タイミングで実施しても本実施形態は有効である。第４の実施形態を以下に説明する。回路構成は図７と同一となるため、異なるところのみ説明する。
【００３２】
本実施形態におけるノンインタレース画像の時間と入力画像及び出力画像の関係を図１４に示す。出力画像は入力画像に対して１フィールド遅れて出力する。Ｒについての補間式は（７），（８）式のようになる。
【００３３】
Ｒ0 ′＝２／３Ｒ0 ＋１／３Ｒ1                           (７)
Ｒ0 ″＝２／３Ｒ1 ＋１／３Ｒ0                           (８)
同様にＧ，Ｂは下記のように示される。
【００３４】
Ｇ0 ′＝２／３Ｇ0 ＋１／３Ｇ1                           (９)
Ｇ0 ″＝２／３Ｇ1 ＋１／３Ｇ0                           (10)
Ｂ0 ′＝２／３Ｂ0 ＋１／３Ｂ1                           (11)
Ｂ0 ″＝２／３Ｂ1 ＋１／３Ｂ0                           (12)
一般的に３ｎフィールド（ｎは整数）前後のＲの補間式は
Ｒn ′＝２／３Ｒn ＋１／３Ｒn+1                         (13)
Ｒn ″＝２／３Ｒn+1 ＋１／３Ｒn                         (14)
で表すことができる。Ｇ，Ｂについては同様のため省略する。
【００３５】
以上の式を実行するための３ＤＦＭ８及び３ＤＦＬ９の構成は図１３のようになる。図１３の構成はＲＧＢともに同じである。図１４を参考にＲを例に以下に動作を述べる。Ｒの入力画像をセレクタ３３で切り換えＦＭ１２にＲ０の画像を入力し、３フィールド後に入力されるＲ１をＦＭ１３に入力する。図１４に示す第４フィールドではＦＭ１２の出力をセレクタ３４にて選択して出力する。第５，第６フィールドは乗算器１７，１８及び加算器１９を使用して（７），（８）式に示す補間計算を行い、セレクタ３４にて選択して出力する。第７フィールドではＦＭ１３の出力をセレクタ３４にて選択して出力する。第７フィールドはＲ２が入力されるため、セレクタ３３で選択してＦＭ１２に記録する。
【００３６】
以上の動作を繰り返し実行することにより、１フィールド１色の露光タイミングであっても色ずれは軽減できる。本実施形態のより高速読み出しのできる特別な撮像素子を使用しなくてもよいという利点がある。図１３にはセレクタを用いたが、図３のようにＦＭを縦列接続してもよい。
【００３７】
これまで述べてきた実施形態で時間補間は２信号間の線型補間のみを扱ったが、補間に使用するデータを増やして精度を向上させてもよいし、スプライン関数を使用してさらに再現性の望ましい補間方法にしてもよい。
【００３８】
また１フィールド期間内に複数色の露光読み出しをすると露光時間が低下し感度の低下が考えられる。しかし、ＣＭＤ等の増幅型撮像素子を使用することにより、画素毎に増幅作用があるために感度の低下は起こらない。
【００３９】
以下に本発明の第５の実施形態を説明する。
【００４０】
図１５に本発明の第５の実施形態の全体構成図を示す。１は被写体光を撮影するための撮影光学系、２は回転色フィルタでＲ，Ｇ，Ｂのフィルタを順次切り換えている。３は撮像素子で、例えば、ＣＭＤ固体撮像素子で、コントロール部によって駆動される。４は各撮像素子の出力を増幅するためのプリアンプで、５はデジタル信号に変換するためのＡ／Ｄ変換器、６は入力信号を切り換えるためのデータセレクタである。３７は画像信号を記憶するためのフレームメモリである。３８は入力される色の画像に対して入力される以外の画像を補間して求める補間回路であり図１６のような構成になっている。
【００４１】
ここで、３８１は係数メモリから読みだした画像の対応座標（ＩＣx ，ＩＣy ）に応じてフレームメモリ３７から４位置の画素値Ｖb ，Ｖc ，Ｖd ，Ｖe を読み出すデータ読みだし回路である。３８２は線形補間回路で前記データＶb ，Ｖc ，Ｖd ，Ｖe に対してそれぞれ係数メモリから読みだした補間係数Ｃb ，Ｃc ，Ｃd ，Ｃe を乗算器３８３，３８４，３８５，３８６にて乗じ、加算器３８７にて加算を行っている。
【００４２】
つまり、Ｖa ＝Ｃb Ｖb ＋Ｃc Ｖc ＋Ｃd Ｖd ＋Ｃe Ｖe         (15)
なる演算によって補間演算を行っている。各係数については後で詳述する。なお、補間に使用する係数は補間係数算出回路３５にて計算される（後述）。このように補間された画像はデータセレクタ３９にて補間信号と補間しない信号を切り換えている。切り換えの制御については、例えばＣＭＤから入力される画像がＲであればＲ画像信号は補間せずそのまま出力し、Ｇ及びＢについては補間した信号を出力する。データセレクタ３９の出力をＤＡ変換器１０でアナログ信号に変換してモニタ１１に出力する。７はコントロール部でありＣＭＤ３、データセレクタ６，３９等を制御する。
【００４３】
次に、補間係数算出器３５について説明する。補間係数算出器３５は図１９に示すように相関回路４０及び、係数算出回路４１により構成される。構成について具体的に説明する前に補間係数を検出するためのフローについて説明する。
【００４４】
まず、位置ずれ検出のための方法について説明する。ここでは例として入力画像をＧ画像として説明する。位置ずれは画像中の位置における平行移動と回転移動に分けて検出する。図１７のように入力画像中に位置ずれを検出するための参照エリアａ１，ａ２，ａ３，ａ４を設定する（各エリアの中心位置をｐ１，ｐ２，ｐ３，ｐ４としている）。各エリアは位置ｃを中心として対称な位置にあり、位置ｃと各々距離ｋ画素だけ離れている。また、入力以外の画像中には入力画像のエリアａ１，ａ２，ａ３，ａ４に対応した位置を検索するためのサーチエリアｂ１，ｂ２，ｂ３，ｂ４が設定されている。そして、各エリアａ１，ａ２，ａ３，ａ４に対応した変位ベクトルＶ1 ，Ｖ2 ，Ｖ3 ，Ｖ4 を検出する。この変位ベクトルは位置ｃを中心とした位置ｐ１での回転ベクトルｒと平行ベクトルｓによって次のように表される。（図１８参照）
Ｖ1 ＝ｓ＋ｒ                                      (16a)
Ｖ2 ＝ｓ＋ｒ-90                                   (16b)
Ｖ3 ＝ｓ−ｒ                                      (16c)
Ｖ4 ＝ｓ＋ｒ+90                                   (16d)
ただし、ｒ-90 ，ｒ+90 はｒをそれぞれ−９０度，＋９０度回転したベクトルを表す。また、回転ベクトルｒは次式で表される。
【００４５】
ｒ＝ｋ・ｔａｎ（θ）                              (17)
ここで、θは回転角度を表す。（１６）式より
ｓ＝（Ｖ1 ＋Ｖ2 ＋Ｖ3 ＋Ｖ4 ）／４                (18)
ｒ＝（Ｖ1 ＋Ｖ2 −Ｖ3 −Ｖ4 ）／２                (19)
このようにして、平行移動と回転移動の変位量を検出することができる。なお、回転移動の回転角度θは
θ＝ｔａｎ-1（ｒ／ｋ）                            (20)
より得られる。このｓ，θを検出するのが相関回路４０であり、図２０のような構成となっている。４０１，４０２，４０３，４０４は各々参照エリアａ１とサーチエリアｂ１、参照エリアａ２とサーチエリアｂ２、参照エリアａ３とサーチエリアｂ３、参照エリアａ４とサーチエリアｂ４との相関演算を行い、各々変位ベクトルＶ1 ，Ｖ2 ，Ｖ3 ，Ｖ4 を検出するための相関器である。この相関演算については、従来より種々の方法が提案されているが、ここでは、差の絶対値和を比較する演算である。４０５はＳＲ検出器であり、前記（１６），（１８），（１９）式より、平行ベクトルｓと、回転ベクトルｒを検出する。４０６はθ検出回路であり、前記（１７），（２０）式に示す演算により回転角度θを算出する。
【００４６】
次に、このｒ，θから補間演算で用いる係数Ｃb ，Ｃc ，Ｃd ，Ｃe を算出する係数算出回路４１について説明する。まず、線形補間演算について図２１を用いて説明する。この図に示すように、値の既知な画素Ｂ，Ｃ，Ｄ，ＥからＡの画素値を求める場合を考える。画素Ａから線分ＢＣ及びＤＥに垂直に引いた直線と線分ＢＣ，ＤＥとの交点をそれぞれＦ，Ｇとし、ＢＦ：ＦＣ＝ＤＧ：ＧＥ＝ｍ：ｎ、ＦＡ：ＡＧ＝ｐ：ｑとすれば、画素Ｆの値Ｖf は
Ｖf ＝（ｎＶb ＋ｍＶc ）／（ｍ＋ｎ）                (21)
画素Ｇの画素値Ｖg は
Ｖg ＝（ｎＶd ＋ｍＶe ）／（ｍ＋ｎ）                (22)
となる。よってＶa は
Ｖa ＝（ｑＶf ＋ｐＶg ）／（ｐ＋ｑ）                (23)
ここで、画素間距離を１とすればｍ＋ｎ＝ｐ＋ｑ＝１となるから、Ｖa は
0003699089.tif 000002
式によって求められる。そして、（１）式と比較することにより、補間係数は
Ｃb ＝（１−ｐ）（１−ｍ）    Ｃc ＝（１−ｐ）ｍ
Ｃd ＝ｐ（１−ｍ）    Ｃe ＝ｐｍ                    (25)
として求められる。また、画素Ａの座標を（Ｃx ，Ｃy ）とすると、画素Ｂ，Ｃ，Ｄ，Ｅの座標は次式で表される。
【００４７】
画素Ｂ＝（ＩＣx ，ＩＣy ）
画素Ｃ＝（ＩＣx+1 ，ＩＣy ）
画素Ｄ＝（ＩＣx ，ＩＣy+1 ）
画素Ｅ＝（ＩＣx+1 ，ＩＣy+1 ）                      (26)
なお、ここでＩＣx はＣx の整数部、ＩＣy はＣy の整数部である。
【００４８】
ところで、入力画像（ここではＧ画像）の位置Ｘg に対応した入力以外の画像（ここではＲ，Ｂ画像）上の位置Ｘr ，Ｘb は、
Ｘr ＝Ｒ（θr ）（Ｘg ＋Ｓr ）                        (27)
Ｘb ＝Ｒ（θb ）（Ｘg ＋Ｓb ）                        (28)
として得ることができる。ここで、Ｓr ，Ｓb ，θr ，θb は各々Ｒ，Ｂ画像の平行ベクトル、回転角度である。また、Ｘr ，Ｘg ，Ｘb はｘｙ座標を要素とした２次元ベクトルである。また、Ｒ（θ）は
【数１】
0003699089.tif 000003
【００４９】
である。次に係数算出器４１の構成を図２２に示す。同図において４１１が上記（２７），（２８）式を行う座標変換回路であり、Ｒ，Ｂ画像の対応座標Ｃx ，Ｃy を出力する。なお、このＣx ，Ｃy は実数である。４１２，４１３は整数化回路で図２１での座標ＩＣx ，ＩＣy を出力する。４１４，４１５は減算器であり、それぞれ、ｍ（＝Ｃx −ＩＣx ），ｐ（＝Ｃy −ＩＣy ）を出力する。４１６は前記（２５）式に基づいて補間係数を計算する係数演算器で補間係数Ｃb ，Ｃc ，Ｃd ，Ｃe を出力する。
【００５０】
以上のように構成された本発明の作用について説明する。ここでは例として入力画像をＧ画像として説明する。
【００５１】
撮像が始めると、図示しない測距系や測光系により、撮影光学系１の合焦調節および、撮像素子３の露光時間が調節される。そして、被写体光は回転フィルタ２により、ＲＧＢ順次に透過し、撮像素子３にて画像信号に変換される。この画像信号はプリアンプ４でホワイトバランスが保たれるように増幅され、Ａ／Ｄ変換回路５にてデジタル信号に変換される。
【００５２】
そして、データセレクタ６にて選択され、フレームメモリ３７ｇに記憶される。そして、記憶と同時に相関回路４０ＡではＧ画像の参照エリアａ１，ａ２，ａ３，ａ４が入力され、ＦＭ３７ｒ（Ｒ画像）からサーチエリアｂ１，ｂ２，ｂ３，ｂ４が読み出され、Ｇ画像とＲ画像との平行ベクトルＳr 、回転角度θr が検出される。そして、このＳr ，θr は係数算出回路４１Ａへ送られ、Ｇ画像の座標Ｘg に対応したＲ画像の対応座標ＩＣx ，ＩＣy 、および補間係数Ｃb ，Ｃc ，Ｃd ，Ｃe が算出される。そして、Ｇ画像の所定の範囲についてＩＣx ，ＩＣy およびＣb ，Ｃc ，Ｃd ，Ｃe を検出して、補間回路３８ｒに出力する。この所定の範囲とは図２３（ｂ）で示すようにＲＧＢ画像それぞれが重なり合う範囲（撮像エリア）である。この撮像エリアは、被写体の動きの範囲を予測し、予め設定されている。
【００５３】
同様にして、補間係数算出器３５にて、Ｇ画像とＢ画像との位置ずれ量が相関回路４０Ｂ、係数算出回路４１Ａにて検出され、前記撮像範囲のＢ画像の対応座標ＩＣx ，ＩＣy 、および補間係数Ｃb ，Ｃc ，Ｃd ，Ｃe が算出され補間回路３８ｒに出力される。そののち、補間演算に用いるＲ画像データがフレームメモリ３７ｒから読み出され補間回路３８ｒにて補間演算が行われ、前記指定されたＧ画像位置に対応したＲ画像の画素値が算出される。また、同様にして前記指定されたＧ画像位置に対応したＢ画像の画素値も算出され、それぞれ、ＤＡＣ１０へ出力される。アナログ信号に変換されたのちに表示する。以上のようにして、ＲＧＢ画像が重なった撮像エリアに対する補間係数が求められる。
【００５４】
ここでは入力画像をＧ画像としたが、同様に入力画像がＲ画像の場合にはＧ画像，Ｂ画像を補間し、入力画像がＢ画像の場合にはＲ画像，Ｇ画像を補間すればよい。相関回路への入力の切換は図１９に示すようにデータセレクタ４２で行い、そのコントロールはセレクタコントローラ４４にて行う。出力の切換はデータセレクタ４３で行う。
【００５５】
なお、本実施形態では補間係数算出器を２個用いてずれ補正のための係数の算出を行ったが、補間係数算出器を１個だけ用いて画像を切り換えるようにしても良い。また、本実施形態では参照エリアとして、図１７のようにａ１，ａ２，ａ３，ａ４の４エリアを選んだが、ａ１とａ３またはａ２とａ４の２エリアだけでもよいし、さらに多くのエリアを用いてもよい。また、補間回路３８では線形補間演算を用いたがこれに限るものではなく、例えばスプラインやＳＩＮＣ補間等のより高次の相関演算を用いてもよい。
【００５６】
以下に本発明の第６の実施形態を説明する。
【００５７】
前記実施形態ではフレームメモリに記憶している情報から補間係数を算出する。そして図２８が示すようにフィールドが示すＧ1 の位置のＢ画像は２フレーム前のＢ0 とＧ1 の位置関係を算出する必要がある。これでは動きの早い被写体では図２３に示す撮像エリアが小さくなるという不具合が生じる。そこで本実施形態は前実施形態とは異なり、Ｇ1 の位置のＢ画像をＢ1 から補間するように構成する（図２７の７フレーム参照）。以下に入力画像を図２７の７フレームに示すＧ1 画像として説明する。
【００５８】
本実施形態の構成図を図２４に示す。第５の実施形態と構成が同じ部分は説明を省略する。
【００５９】
今フレームメモリ（以下ＦＭと略す）４８にＧ1 が記憶されている。このＧ1 とＡＤＣ５から出力されるＢ1 画像の相関を図２６の４０Ａに示す相関回路にて行う。同時にＦＭ３７ｒからＲ1 画像を読み出し、相関回路４０ＢにてＢ1 とＧ1 の相関をとる。さらに同時にＧ1 画像をＦＭ３７ｇに書き込む。以上の動作にてＦＭ４８にはＢ1 、ＦＭ３７ｒにはＲ1 、ＦＭ３７ｇにはＧ1 、ＦＭ３７ｂにはＢ0 の画像が記憶される。その後ＦＭ３７ｒの出力は補間回路３８Ｂを介してＤＡＣ１０ｒに、ＦＭ３７ｇの出力は直接ＤＡＣ１０ｇに、ＦＭ４８の出力は補間回路３８Ａを介してＤＡＣ１０ｂに入力される。出力画像は、図２７の７フレームとなる。データセレクタ４９と３９は順次に送られる色画像に合わせて、補間回路へ導く画像を選択している。
【００６０】
以上の動作により、時間的に隣接した画像より位置補間が可能となる。
【００６１】
本実施形態により、例えばＲ画像を取り込むのに１／３０秒かかり、全色取り込むのに１／１０秒かかった場合では、位置補間しながら１／３０秒ごとに、ＲＧＢ各色画像が得られる為、色ずれの少ない画像が得られる。また第５の実施形態ではＲＧＢ全色に補間回路が設けられているが、第６の実施形態のように補間回路の前後段にデータセレクタを挿入すれば補間回路を１回路減じることが可能となる。
【００６２】
以下に本発明の第７の実施形態を説明する。まず、被写体の一部が移動した場合の応用例を示す。顕微鏡を例にすると、ステージが動いた場合は位置補間にて色ずれを補正し、被写体の一部が動いた場合には時間補間にて補正する。ステージの動きと被写体の動きを判別するための手段を示す。
【００６３】
図２４に示すようにステージを動かすダイアル４６，４７にスイッチをつけて、このダイアルを操作した時に位置補間を行ない、そのほかの色ずれに関しては時間補間を行なう。
【００６４】
別の実施形態として図１８に示す４つのサーチエリアに対応する変位ベクトルのパターンから予測する。ステージのみが動く場合は（１６）式に示すように各変位ベクトルは、平行ベクトルｓと、回転ベクトルｒにより表せた。しかし、被写体の一部が動く場合には、これらの各変位ベクトルのいずれかに被写体の動きベクトルが加わる。つまり、変位ベクトルＶは（１８），（１９）式のようには表現できなくなる。そこで、判別のために次の評価値εを定義する。
【００６５】
0003699089.tif 000004
被写体の一部が動くような場合はこのεが大きくなる。ここからこのεがしきい値εT よりも大きい時には時間補間を、εT よりも小さい時は位置補間を行うようにする。
【００６６】
以下に、本発明の第８の実施形態を説明する。前述した位置補間は、ステージが動く場合のように被写体の全体が一様な方向に動く場合の補正法であった。被写体の一部が動いた場合には時間補間を用いる実施形態も提案したが、ステージの動きか、被写体一部の動きかを判別することは煩雑な操作を伴う。そこで、次に、被写体の一部が動く場合にも位置補間により、色ずれの補正を行う例を示す。
【００６７】
本実施形態では、画像中の多数位置での動きベクトルを求め、動きベクトルを求めていない位置の動きベクトルについては既に求めた動きベクトルから補間して求める。図２９に示すように参照エリアを例えばｍ×ｎ個入力画像中に選ぶ。各々の中心座標をＰ11，Ｐ21，…，Ｐmnとする。そして、入力画像がＧ画像とした場合に、Ｇ画像の位置Ｘg のＲ画像及びＢ画像での対応座標を求める場合を考える。このＸg での動きベクトルＶg を図３０に示すように座標Ｘg に最も近い参照エリアで求めた動きベクトルＶa ，Ｖb ，Ｖc ，Ｖd ，Ｖe より求める。Ｖg は前述の座標の補間と同様にして、
Ｖg ＝Ｃva Ｖa ＋Ｃvb Ｖb ＋Ｃvc Ｖc ＋Ｃvd Ｖd         (31)
なる式で求められる。Ｃva ，Ｃvb ，Ｃvc ，Ｃvdの求め方は、前述したのと同様なので省略する。そして、ｘg の対応座標ｘr は
ｘr ＝ｘg ＋Ｖg                                     (32)
で求められる。
【００６８】
本実施形態の構成は第５、６の実施形態と補間係数算出回路の１部を除いて共通である。補間係数算出回路３５２の相関回路４０、係数算出回路４１が、図３１に示す構成となっている。４０11，４０12，…，４０mnは参照エリアａ11，ａ12，…，ａmnとこれに対応するサーチエリアｂ11，ｂ21，…，ｂmnとの相関演算を行う相関器であり、各々動きベクトルＶ11，Ｖ12，…，Ｖmnを出力する。ステージの動きだけの場合にはＶ11＝Ｖ21＝…＝Ｖmnとなるが、被写体の１部だけが動く場合や被写体が拡大したり縮小したりする場合には、動きベクトルはそれぞれ異なる。この動きベクトルＶ11，Ｖ21，…，Ｖmnは動きベクトル４０7 に記憶され、動きベクトルの補間に用いられる。４１7 は動きベクトル補間回路であり、入力画像の位置ｘg に対応する動きベクトルＶg を（３１）式より求める。４１8 は（３２）式を行うための加算器であり、対応座標（Ｃx ，Ｃy ）を出力する。
【００６９】
以降は第５，６の実施形態と同様に補間回路３８ｒ，３８ｇ，３８ｂで用いる補間係数Ｃb ，Ｃc ，Ｃd ，Ｃe 、及び読みだすデータのアドレスＩＣx ，ＩＣy を出力する。
【００７０】
以上のように本実施形態では入力画像の各位置での動きベクトルを求めているので、被写体の一部が動く場合においても位置補間により良好に色ずれを補正することが可能である。当然のことながらステージが動くような場合であっても同様に補正することができる。
【００７１】
【発明の効果】
本発明によれば、注目する時間位置に、ある色成分についての時間的に連続して前後する画像データを用いて当該色成分の画像データを算出することで当該色成分の画像を
補間するようにしたので、容易かつ良好に高精度な色ずれ補正を行うことができる。
【図面の簡単な説明】
【図１】本発明の面順次撮像装置の第１の実施形態を示す構成図である。
【図２】本発明を内視鏡に応用した第２の実施形態を示す構成図である。
【図３】図１の一部の回路の詳細な構成を示す図である。
【図４】３ＤＦＭと３ＤＦＬの動作を説明するための図である。
【図５】第１の実施形態における回転色フィルタの構成を示す図である。
【図６】３ＤＦＭにＦＭを設けた構成を示す図である。
【図７】第２の実施形態において、時間的に画像信号が存在しない位置に各色を時間補間してモニタに表示する場合の構成を示す図である。
【図８】読み出しノイズを軽減する本発明の第３の実施形態を示す図である。
【図９】第３の実施形態における回転色フィルタの構成を示す図である。
【図１０】ノンインタレース読み出し時に画像データが読み出されるようすを示す図である。
【図１１】３ＤＦＭの回路構成を示す図である。
【図１２】ノンインタレースにおける時間と位置関係とを示す図である。
【図１３】第４の実施形態における３ＤＦＭと３ＤＦＬの構成を示す図である。
【図１４】ノンインタレース画像の時間と入力画像および出力画像の関係を示す図である。
【図１５】本発明の第５の実施形態の構成を示す図である。
【図１６】図１５に示す補間回路の構成を示す図である。
【図１７】位置ずれ検出の方法を説明するための図である。
【図１８】変位ベクトルを示す図である。
【図１９】補間係数算出回路の構成を示す図である。
【図２０】図１９の相関回路の構成を示す図である。
【図２１】補間演算の説明図である。
【図２２】係数算出回路の構成を示す図である。
【図２３】第５の実施形態の動作を説明するための図である。
【図２４】第６の実施形態の構成を示す図である。
【図２５】第７の実施形態における顕微鏡の構成を模式的に示す図である。
【図２６】補間係数算出回路の構成を示す図である。
【図２７】画像表示の例を示す図である。
【図２８】画像表示の例を示す図である。
【図２９】第８の実施形態における参照エリアを示す図である。
【図３０】動きベクトルを示す図である。
【図３１】相関回路及び係数算出回路の構成を示す図である。
【符号の説明】
１…撮像光学系（レンズ）、２…回転色フィルタ、３…固体撮像素子（ＣＭＤ）、９ｒ…３次元フィルタ回路、３５…補間係数算出回路、３７…記憶回路、３８…補間回路、３９…データセレクタ。
【図１】
0003699089.tif 000005
【図２】
0003699089.tif 000006
【図３】
0003699089.tif 000007
【図４】
0003699089.tif 000008
【図５】
0003699089.tif 000009
【図６】
0003699089.tif 000010
【図７】
0003699089.tif 000011
【図８】
0003699089.tif 000012
【図９】
0003699089.tif 000013
【図１０】
0003699089.tif 000014
【図１１】
0003699089.tif 000015
【図１２】
0003699089.tif 000016
【図１３】
0003699089.tif 000017
【図１４】
0003699089.tif 000018
【図１５】
0003699089.tif 000019
【図１６】
0003699089.tif 000020
【図１７】
0003699089.tif 000021
【図１８】
0003699089.tif 000022
【図１９】
0003699089.tif 000023
【図２０】
0003699089.tif 000024
【図２１】
0003699089.tif 000025
【図２２】
0003699089.tif 000026
【図２３】
0003699089.tif 000027
【図２４】
0003699089.tif 000028
【図２５】
0003699089.tif 000029
【図２６】
0003699089.tif 000030
【図２７】
0003699089.tif 000031
【図２８】
0003699089.tif 000032
【図２９】
0003699089.tif 000033
【図３０】
0003699089.tif 000034
【図３１】
0003699089.tif 000035