(57)【要約】【課題】光学ローパスフィルタにより余分に減衰された周波数成分を精度良く復元した映像信号を得ることができる撮像方法、撮像装置、撮像装置のためのプログラム、その媒体を提供することを目的とする。【解決手段】入射光の高周波成分を減衰する光学ローパスフィルタ１０３と、複数の画素列を有し、光学ローパスフィルタ１０３を通過した光を各画素に対応する電気信号に変換するＣＣＤ１０３と、ＣＣＤ１０３からの出力信号を用いて生成された所定の映像信号に対して、ローパス演算する工程とは実質上逆の工程で、前記映像信号を逆変換することにより、光学ローパスフィルタ１０３による歪みの影響を実質上受けていない復元信号を生成する逆変換回路１１２と、を備える、撮像装置。【選択図】　図１
2004120602.tif 000002
【特許請求の範囲】
【請求項１】
光学ローパスフィルタによって高周波成分が減衰された入射光を、複数の画素列を有する撮像素子に照射する工程と、
前記撮像素子に照射された光を、各画素に対応する電気信号に変換して、前記電気信号を出力信号として出力する工程と、
前記撮像素子からの出力信号を用いて所定の映像信号を生成する工程と、
前記光学ローパスフィルタが高周波成分を減衰することと等価なローパス演算の工程とは実質上逆の工程で、前記映像信号を逆変換することにより、前記光学ローパスフィルタによる歪みの影響を受けていない原信号に近い復元信号を生成する工程と、を備える撮像方法。
【請求項２】
入射光の高周波成分を減衰する光学ローパスフィルタと、
複数の画素列を有し、前記光学ローパスフィルタを通過した光を各画素に対応する電気信号に変換する撮像素子と、
前記撮像素子からの出力信号を用いて生成された所定の映像信号に対して、前記光学ローパスフィルタが高周波成分を減衰することと等価なローパス演算する工程とは実質上逆の工程で、前記映像信号を逆変換することにより、前記ローパスフィルタによる歪みの影響を実質上受けていない復元信号を生成する逆変換手段と、を備える撮像装置。
【請求項３】
前記逆変換手段は、前記映像信号に前記光学ローパスフィルタの強度定数を乗算することにより乗算信号を生成し、所定の画素に近接する少なくとも１つの画素の既知の復元信号を、前記乗算信号から減算することにより、前記所定の画素に対応する復元信号を生成する、請求項２に記載の撮像装置。
【請求項４】
前記ローパス演算は、所定の画素列に対応するｎ個（ｎは２以上の整数）の原信号のうち、ｍ番目（ｍは１以上の整数）の信号とｍ＋１番目の信号を加算して前記強度定数で除算することにより、ｎ−１個の映像信号が生成される演算であり、
前記逆変換手段は、前記得られたｎ−１個の映像信号を前記強度定数で乗算してｎ−１個の乗算信号を生成し、ｍ番目の前記乗算信号からｍ番目の既知の復元信号を減算することにより、ｍ＋１番目の復元信号を得て、ｎ個の復元信号を生成し、少なくとも１番目の前記映像信号を利用して一番目の前記復元信号を生成する、請求項３に記載の撮像装置。
【請求項５】
前記逆変換手段は、前記１番目の映像信号を、１番目の復元信号とする、請求項４に記載の撮像装置。
【請求項６】
前記逆変換手段は、２番目の前記復元信号が、１番目の前記映像信号と２番目の前記映像信号を補間することにより生成される、請求項４に記載の撮像装置。
【請求項７】
前記逆変換手段は、前記所定の画素が属する画素列における前記所定の画素に隣接する少なくとも１つの画素の既知の復元信号と、前記所定の画素が属する画素列に隣接する別の画素列の、前記所定の画素に近接する少なくとも１つの画素の既知の復元信号とを、前記乗算信号から減算することにより前記所定の画素に対応する復元信号を生成する、請求項３に記載の撮像装置。
【請求項８】
前記逆変換手段は、
前記得られたｎ−１個の映像信号を前記強度定数で乗算してｎ−１個の乗算信号を生成し、ｍ番目の前記乗算信号からｍ番目の既知の復元信号を減算することにより、ｍ＋１番目の復元信号を得て、ｎ個の復元信号を生成し、少なくとも１番目の前記映像信号を利用して、１番目の前記復元信号を生成し、前記所定の画素列に対応する復元信号を生成する際に、１番目の復元信号からｎ番目の復元信号に向かって順次にｎ個の復元信号である順方向中間信号を生成する順方向中間信号生成手段と、
前記得られたｎ−１個の映像信号を前記強度定数で乗算してｎ−１個の乗算信号を生成し、ｍ番目の前記乗算信号からｍ＋１番目の既知の復元信号を減算することにより、ｍ番目の復元信号を得て、ｎ個の復元信号を生成し、少なくともｎ番目の前記映像信号を利用してｎ番目の前記復元信号を生成し、前記所定の画素列に対応する原信号を復元する際に、ｎ番目の復元信号から１番目の復元信号に向かって順次にｎ個の復元信号である逆方向中間信号を生成する逆方向中間信号生成手段と、を備え、
前記順方向中間信号生成手段から得られる順方向中間信号に所定の係数β（β：０と１との間の実数）を乗算した値を、前記逆方向中間信号生成手段から得られる逆方向中間信号に係数（１−β）を乗算した値に加算して得られる信号を出力する、請求項３に記載の撮像装置。
【請求項９】
前記所定の係数βは、前記１番目の映像信号、または前記１番目の映像信号に隣接する映像信号を利用して復元信号が生成される場合は、前記復元信号のうち、１番目の復元信号および前記１番目の復元信号に近い信号を生成する場合において、０．５未満の値とし、
前記ｎ番目の映像信号、または前記ｎ番目の映像信号に隣接する映像信号を利用して復元信号が生成される場合は、前記復元信号のうち、ｎ番目の復元信号および前記ｎ番目の復元信号に近い信号を生成する場合において、０．５を越える値とする、請求項８に記載の撮像装置。
【請求項１０】
前記逆変換手段は、ｍ番目の前記映像信号およびｍ＋１番目の前記映像信号を補間することにより、目標信号を生成し、前記ｍ番目の復元信号が前記目標信号より大きいときは、前記ｍ番目の復元信号から所定の補正値を減算して補正したｍ番目の復元信号を生成し、前記ｍ番目の復元信号が前記目標信号より小さいときは、前記ｍ番目の復元信号に前記補正値を加算して補正したｍ番目の復元信号を生成する、桁落ち誤差補正手段をさらに備える、請求項４〜９のいずれかに記載の撮像装置。
【請求項１１】
前記補正値は、前記復元値を求める際に生じる誤差の最大値である、請求項１０に記載の撮像装置。
【請求項１２】
前記逆変換手段は、所定の画素に対応する復元信号の値が、前記所定の映像信号が取り得る最大値を越えた場合は、前記最大値を前記復元信号の値とし、所定の画素に対応する復元信号の値が、前記所定の映像信号が取り得る最小値を下回ったときは、前記最小値を前記復元信号の値とする、クリッピング処理手段を有する、請求項３〜１１のいずれかに記載の撮像装置。
【請求項１３】
請求項２に記載の撮像装置の、前記撮像素子からの出力信号を用いて生成された所定の映像信号に対して、前記ローパス演算する工程とは実質上逆の工程で、前記映像信号を逆変換することにより、前記ローパスフィルタによる歪みの影響を実質上受けていない復元信号を生成する逆変換手段として、コンピュータを機能させるためのプログラム。
【請求項１４】
請求項１３に記載のプログラムを担持させた媒体であって、コンピュータにより処理可能な媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、光学ローパスフィルタを使った撮像装置、撮像方法、撮像装置におけるプログラム、その媒体に関する。
【０００２】
【従来の技術】
従来、撮像装置は光学ローパスフィルタをＣＣＤと光学系の間に設置し、入射光の高周波数成分をカットすることにより映像信号に折り返し歪が入ることを抑制していた。このとき光学ローパスフィルタの特性により映像信号の周波数成分は必要な成分も余分に減衰されるので、解像度が劣化する。このため、映像信号に対して輪郭強調のフィルタ処理を行って解像度を補償している（例えば特許文献１参照。）。以下では、図２を用いて従来の撮像装置について説明する。
【０００３】
図２は、従来の撮像装置のブロック図である。
【０００４】
図２において、２０１は被写体の光であり、光学系２０２から撮像装置内に入射される。２０２の光学系は、入射された被写体の光２０１をＣＣＤ２０４に結像させる。２０３は光学ローパスフィルタであり、入射された被写体の光２０１をＣＣＤ２０４に到達する前に回折格子などで分光することによりコントロールし、被写体の光２０１の高周波数成分をカットするものである。２０４のＣＣＤは、結像された被写体像を電気信号に変換するものであり、表面上に多数配置された素子（画素）毎に電気信号を取り出せるようにしたものである。ＣＣＤ２０４から出力されるＣＣＤ出力信号２０５はアナログ量であり、各画素毎に光の強さに応じた電圧値を持っている。２０６はＡ／Ｄ変換器であり、ＣＣＤ出力信号２０５をデジタル化し、各画素毎に０〜２５５の２５６階調を持つデジタル信号２０７に変換する。２０８は映像信号生成回路であり、デジタル信号２０７を使って輝度信号や色差信号などの映像信号２０９を生成する。２１０は記憶回路であり、後に示す信号処理において周囲画素との演算を可能とするために、映像信号生成回路２０８から出力された映像信号２０９を記憶し、映像信号のランダムアクセスを可能にするものである。
【０００５】
２１２は輪郭強調処理回路であり、記憶回路２１０に記憶された映像信号２１１を使い輪郭強調のフィルタ処理をして、光学ローパスフィルタ２０３により余分に減衰された周波数成分を引き上げ映像信号の解像度を補償する。
【０００６】
以上までの処理が、一般的に従来撮像装置で行われる処理であり、輪郭強調処理回路２１２は外部に対して輪郭強調された映像信号２１３を出力する。
【０００７】
次に、光学ローパスフィルタ２０３の処理内容について図３、図４を用いて具体的に説明する。図３は、光学ローパスフィルタ２０３に入射される光がＣＣＤ２０４に到達する過程を示す図である。図３において３０１はＣＣＤであり、３０２の幅を１画素として横に並んでいる。３０３は光学ローパスフィルタであり、入射される光を分光する。例えば３０４の光が光学ローパスフィルタ３０３に入射されると３０５の光と３０６の光に等分に分光される。光学ローパスフィルタは３０５の光がＣＣＤに到達する位置と、３０６の光がＣＣＤに到達する位置がちょうどＣＣＤ１画素の幅と同じになるように調整されている。ここで、３０７の光を３０４の光が入射する位置からちょうどＣＣＤ１画素の幅ずれて入射される光とし、３０８の光を３０７の分光された光とすると、３０９の画素には３０４から分光した光３０６と３０７から分光した光３０８は、ＣＣＤのちょうど同じ画素に入射される。すなわち、３０９の画素には３０４の光と３０７の光を加算平均した光が入射される。この光の加算平均は全ての画素に対して同様に起こるためＣＣＤ３０１でサンプリングされ出力される信号には、結果的に隣接する２画素に対するローパスのフィルタがかかる。ここで、ローパス処理により影響を受ける画素の範囲を強度定数として定義すると、図３の光学ローパスフィルタの強度定数は２となる。図４は、光学ローパスフィルタによりＣＣＤの出力信号にかかるローパスフィルタの出力特性を示す図である。ローパスフィルタは、サンプリング周波数ｆｓの半分のｆｓ　／２をピークとして映像信号の周波数成分をカットする出力特性を示す。ローパスフィルタは図４の出力特性に示すように折り返し歪の原因となるｆｓ　／２より高い周波数成分をカットするためのフィルタであるが、同時に映像信号のｆｓ　／２以下の周波数成分も減衰するので解像度が劣化する。このため、従来の撮像装置では映像信号に対して輪郭強調処理をすることにより劣化した解像度を補償している。
【０００８】
次に、輪郭強調処理回路２１２の処理内容について、図５、図６を用いて具体的に説明する。図５は、記憶回路２１０に記憶された映像信号を輝度信号とした場合の画像の並びを示す図である。図５においてＹは輝度信号の１画素を示す。輪郭強調処理には、処理対象の輝度信号とその周辺の輝度信号を使う。輪郭強調処理した輝度信号は、処理対象の輝度信号と周辺の輝度信号との差を強調成分とし、強調成分に係数をかけて処理対象の輝度信号に加算する演算により求まる。例えば、図５のＹ信号のうちＹ２２信号について横方向の周辺の輝度信号を使い輪郭強調処理した輝度信号Ｙ´２２を求める演算を示す。Ｙ´２２信号は、Ｙ２２信号と周辺の輝度信号のＹ２１信号とＹ２３信号を使い、式（１）に示される演算により求まる。
【０００９】
【数１】
Ｙ´２２　＝　Ｙ２２　＋　α×（　２×Ｙ２２　−　Ｙ２１　−　Ｙ２３　）　　　　　　　　　　　　　（１）
式（１）のα（０＜α）は係数であり、処理対象のＹ２２信号と周辺の輝度信号のＹ２１信号、Ｙ２３信号との差で求まる強調成分の強度を決める。次に、図６は、上記輪郭強調処理により映像信号にかかる輪郭強調フィルタの出力特性を示す図である。図６に示すように輪郭強調処理は、サンプリング周波数ｆｓの半分のｆｓ　／２をピークとして映像信号の周波数成分を引き上げる出力特性を示す。このため輪郭強調処理した映像信号は、光学ローパスフィルタにより減衰したｆｓ　／２以下の周波数成分が引き上げられ、劣化した解像度が補償される。
【００１０】
【特許文献１】
特開Ｈ０５−４１８１９号公報
【００１１】
【発明が解決しようとする課題】
しかしながら、上記従来の技術では、以下に示すような問題点があった。上記輪郭強調は、最も減衰されるサンプリング周波数の半分をピークとして周波数成分を単純に引き上げる効果を持つ処理で、光学ローパスフィルタの特性そのものを考慮した方法ではない。このため減衰した映像信号のパワーはある程度補償でき画像の見た目も改善されるが、実際の解像度向上の効果はあまり得られないという問題点を有していた。
【００１２】
本発明は、上記問題点を鑑みてなされたものであり、光学ローパスフィルタにより余分に減衰された映像信号の周波数成分を精度良く復元した映像信号を得ることができる撮像装置を提供することを目的とする。
【００１３】
【課題を解決するための手段】
第１の本発明は、光学ローパスフィルタによって高周波成分が減衰された入射光を、複数の画素列を有する撮像素子に照射する工程と、前記撮像素子に照射された光を、各画素に対応する電気信号に変換して、前記電気信号を出力信号として出力する工程と、前記撮像素子からの出力信号を用いて所定の映像信号を生成する工程と、前記光学ローパスフィルタが高周波成分を減衰することと等価なローパス演算の工程とは実質上逆の工程で、前記映像信号を逆変換することにより、前記光学ローパスフィルタによる歪みの影響を受けていない原信号に近い復元信号を生成する工程と、を備える撮像方法である。
【００１４】
第２の本発明は、入射光の高周波成分を減衰する光学ローパスフィルタと、複数の画素列を有し、前記光学ローパスフィルタを通過した光を各画素に対応する電気信号に変換する撮像素子と、前記撮像素子からの出力信号を用いて生成された所定の映像信号に対して、前記光学ローパスフィルタが高周波成分を減衰することと等価なローパス演算する工程とは実質上逆の工程で、前記映像信号を逆変換することにより、前記ローパスフィルタによる歪みの影響を実質上受けていない復元信号を生成する逆変換手段と、を備える撮像装置である。
【００１５】
第３の本発明は、前記逆変換手段が、前記映像信号に前記光学ローパスフィルタの強度定数を乗算することにより乗算信号を生成し、所定の画素に近接する少なくとも１つの画素の既知の復元信号を、前記乗算信号から減算することにより、前記所定の画素に対応する復元信号を生成する、第２の本発明の撮像装置である。
【００１６】
第４の本発明は、前記ローパス演算が、所定の画素列に対応するｎ個（ｎは２以上の整数）の原信号のうち、ｍ番目（ｍは１以上の整数）の信号とｍ＋１番目の信号を加算して前記強度定数で除算することにより、ｎ−１個の映像信号が生成される演算であり、前記逆変換手段は、前記得られたｎ−１個の映像信号を前記強度定数で乗算してｎ−１個の乗算信号を生成し、ｍ番目の前記乗算信号からｍ番目の既知の復元信号を減算することにより、ｍ＋１番目の復元信号を得て、ｎ個の復元信号を生成し、少なくとも１番目の前記映像信号を利用して一番目の前記復元信号を生成する、第３の本発明の撮像装置である。
【００１７】
第５の本発明は、前記逆変換手段が、前記１番目の映像信号を、１番目の復元信号とする、第４の本発明の撮像装置である。
【００１８】
第６の本発明は、前記逆変換手段は、２番目の前記復元信号が、１番目の前記映像信号と２番目の前記映像信号を補間することにより生成される、第４の本発明の撮像装置である。
【００１９】
第７の本発明は、前記逆変換手段が、前記所定の画素が属する画素列における前記所定の画素に隣接する少なくとも１つの画素の既知の復元信号と、前記所定の画素が属する画素列に隣接する別の画素列の、前記所定の画素に近接する少なくとも１つの画素の既知の復元信号とを、前記乗算信号から減算することにより前記所定の画素に対応する復元信号を生成する、第３の本発明の撮像装置である。
【００２０】
第８の本発明は、前記逆変換手段が、前記得られたｎ−１個の映像信号を前記強度定数で乗算してｎ−１個の乗算信号を生成し、ｍ番目の前記乗算信号からｍ番目の既知の復元信号を減算することにより、ｍ＋１番目の復元信号を得て、ｎ個の復元信号を生成し、少なくとも１番目の前記映像信号を利用して、１番目の前記復元信号を生成し、前記所定の画素列に対応する復元信号を生成する際に、１番目の復元信号からｎ番目の復元信号に向かって順次にｎ個の復元信号である順方向中間信号を生成する順方向中間信号生成手段と、前記得られたｎ−１個の映像信号を前記強度定数で乗算してｎ−１個の乗算信号を生成し、ｍ番目の前記乗算信号からｍ＋１番目の既知の復元信号を減算することにより、ｍ番目の復元信号を得て、ｎ個の復元信号を生成し、少なくともｎ番目の前記映像信号を利用してｎ番目の前記復元信号を生成し、前記所定の画素列に対応する原信号を復元する際に、ｎ番目の復元信号から１番目の復元信号に向かって順次にｎ個の復元信号である逆方向中間信号を生成する逆方向中間信号生成手段と、を備え、前記順方向中間信号生成手段から得られる順方向中間信号に所定の係数β（β：０と１との間の実数）を乗算した値を、前記逆方向中間信号生成手段から得られる逆方向中間信号に係数（１−β）を乗算した値に加算して得られる信号を出力する、第３の本発明の撮像装置である。
【００２１】
第９の本発明は、前記所定の係数βは、前記１番目の映像信号、または前記１番目の映像信号に隣接する映像信号を利用して復元信号が生成される場合は、前記復元信号のうち、１番目の復元信号および前記１番目の復元信号に近い信号を生成する場合において、０．５未満の値とし、前記ｎ番目の映像信号、または前記ｎ番目の映像信号に隣接する映像信号を利用して復元信号が生成される場合は、前記復元信号のうち、ｎ番目の復元信号および前記ｎ番目の復元信号に近い信号を生成する場合において、０．５を越える値とする、第８の本発明の撮像装置である。
【００２２】
第１０の本発明は、前記逆変換手段は、ｍ番目の前記映像信号およびｍ＋１番目の前記映像信号を補間することにより、目標信号を生成し、前記ｍ番目の復元信号が前記目標信号より大きいときは、前記ｍ番目の復元信号から所定の補正値を減算して補正したｍ番目の復元信号を生成し、前記ｍ番目の復元信号が前記目標信号より小さいときは、前記ｍ番目の復元信号に前記補正値を加算して補正したｍ番目の復元信号を生成する、桁落ち誤差補正手段をさらに備える、第４〜９のいずれかの本発明の撮像装置である。
【００２３】
第１１の本発明は、前記補正値は、前記復元値を求める際に生じる誤差の最大値である、第１０の本発明の撮像装置である。
【００２４】
第１２の本発明は、前記逆変換手段は、所定の画素に対応する復元信号の値が、前記所定の映像信号が取り得る最大値を越えた場合は、前記最大値を前記復元信号の値とし、所定の画素に対応する復元信号の値が、前記所定の映像信号が取り得る最小値を下回ったときは、前記最小値を前記復元信号の値とする、クリッピング処理手段を有する、第３〜１１のいずれかの本発明の撮像装置である。
【００２５】
第１３の本発明は、第２の本発明の撮像装置の、前記撮像素子からの出力信号を用いて生成された所定の映像信号に対して、前記ローパス演算する工程とは実質上逆の工程で、前記映像信号を逆変換することにより、前記ローパスフィルタによる歪みの影響を実質上受けていない復元信号を生成する逆変換手段として、コンピュータを機能させるためのプログラムである。
【００２６】
第１４の本発明は、第１３の本発明のプログラムを担持させた媒体であって、コンピュータにより処理可能な媒体である。
【００２７】
【発明の実施の形態】
（実施の形態１）
以下に、本発明の実施の形態１について、図１、図７、図８を用いて説明する。
【００２８】
図１は、本実施の形態１における撮像装置の一例を示すのブロック図である。
【００２９】
図１において、１０１は、本発明の入射光の一例である被写体の光であり、光学系１０２から撮像装置内に入射される。１０２の光学系は、入射された被写体の光１０１を本発明の撮像素子の一例であるＣＣＤ１０４に結像させる。１０３は光学ローパスフィルタであり、入射された被写体の光１０１をＣＣＤ１０４に到達する前に回折格子などで分光することによりコントロールし、高周波数成分をカットするものである。１０４のＣＣＤは、結像された被写体像を電気信号に変換するものであり、表面上に多数配置された素子（画素）毎に電気信号を本発明の出力信号の一例としてＣＣＤ出力信号として取り出せるようにしたものである。
【００３０】
ＣＣＤ１０４から出力されるＣＣＤ出力信号１０５はアナログ量であり、各画素毎に光の強さに応じた電圧値を持っている。１０６はＡ／Ｄ変換器であり、ＣＣＤ出力信号１０５をデジタル化し、各画素毎に０〜２５５の２５６階調を持つデジタル信号１０７に変換する。１０８は映像信号生成回路であり、デジタル信号１０７を使って輝度信号や色差信号などの映像信号１０９を生成する。１１０は記憶回路であり、映像信号生成回路１０８から出力された映像信号１０９を記憶し、逆変換回路１１２の演算に必要な映像信号のランダムアクセスを可能にするものである。本発明の逆変換手段の一例である逆変換回路１１２は、記憶回路１１０に記憶された映像信号を使って光学ローパスフィルタ１０３のローパス特性を考慮した演算処理としてローパス演算の工程とは実質上逆の工程の演算処理をすることにより、記憶回路１１０に記憶された映像信号の余分に減衰された周波数成分を復元した映像信号を生成する。
【００３１】
以上までの処理が、本実施の形態における撮像装置で行われる処理であり、逆変換回路１１２は外部に対して、復元信号１１３を出力する。
【００３２】
ここで、本実施の形態の逆変換回路１１２において復元信号を求めるために使われるローパス演算の逆の演算処理について図７を用いて説明する。図７では映像信号が輝度信号であるとし、ローパスによる強度定数を２とする。図７は、所定の画素列に対応する本発明の映像信号の一例である輝度信号の一ラインと復元信号の一ラインの対応関係をグラフで示す図である。図７において（ａ）は画像中の輝度信号の一ラインであり、図７（ａ）のＹは１画素の輝度信号を示している。（ｃ）は（ａ）の輝度信号を復元した復元信号の一ラインであり、（ａ）の輝度信号に対してローパス演算の逆の演算処理をすることにより求まる。また逆に（ａ）の輝度信号は（ｃ）の復元信号をローパス演算することにより求まる。（ｃ）のＹ´は１画素の復元信号を示している。（ｂ）は（ａ）の輝度信号に強度定数を乗算した信号であり、Ｘは輝度信号に対する乗算信号を示している。また（ｂ）は（ｃ）の隣接する２つの復元信号を加算した信号でもあり、Ｘは復元信号に対する加算信号を示している。
【００３３】
まず、ローパス演算について説明する。（ｃ）の復元信号のローパス演算では、強度定数が２なので（ｃ）の隣接する２つの復元信号を加算して（ｂ）の加算信号を求め、（ｂ）の加算信号を平均することにより（ａ）の輝度信号が求まる。例えば、図７において、（ｃ）のＹ´１とＹ´２の２つの隣接する復元信号を加算すると（ｂ）の加算信号Ｘ１になり、加算信号Ｘ１を平均することにより（ａ）の輝度信号Ｙ１が求まる。上記演算を一般化すると、所定の画素列に対応するｎ個の（ｎは２以上の整数）の原信号のうち、ｍ番目（ｍは１以上の整数）の信号とｍ＋１番目の信号を加算して強度定数で除算することにより、ｎ−１個の輝度信号を生成する、という工程となる。これを式で示すと復元信号から加算信号を求める演算は式（２）で示され、加算信号から輝度信号を求める演算は式（３）で示される。
【００３４】
【数２】
Ｘｍ　＝　Ｙ´ｍ　＋　Ｙ´ｍ＋１　　　　　　　　　　　　（２）
Ｙｍ　＝　Ｘｍ　／（強度定数）　　　　　　　　（３）
本実施の形態の逆変換回路１１２で生成される復元信号は、上記に示したローパス演算の逆演算により求まる。図７において、（ａ）の輝度信号を使って（ｃ）の注目画素の復元信号を生成するには、まず（ａ）の輝度信号に強度定数を乗算して（ｂ）の乗算信号を求める。そして、（ｂ）の乗算信号から（ｃ）の復元信号のうち既に求めた隣接画素の復元信号を減算することにより注目画素の復元信号が求まる。例えば、図７において、（ｃ）の復元信号Ｙ´４が既に演算され求まっている状態でＹ´５を注目画素の復元信号として生成するには、まず（ａ）の輝度信号Ｙ　４に強度定数２を乗算して（ｂ）の乗算信号Ｘ４を求める。そして、乗算信号Ｘ４から（ｃ）の復元信号のうち既に求まっている隣接画素の復元信号Ｙ´４を減算することにより注目画素の復元信号Ｙ´５が求まる。上記演算を一般化すると、所定の画素に対応して得られたｎ−１個の輝度信号を、強度定数で乗算してｎ−１個の乗算信号を生成し、ｍ番目の乗算信号からｍ番目の既知の復元信号を減算することにより、ｍ＋１番目の復元信号を得て、ｎ個の復元信号を生成する、という工程となる。これを式で示すとｎ−１個（ｎ＞２）の輝度信号からｎ−１個の乗算信号を求める演算は式（４）で示され、ｎ−１個の乗算信号からｎ個の復元信号を求める演算は式（５）で示される。
【００３５】
【数３】
Ｘｍ　＝（強度定数）×Ｙｍ　　　　　　　　　　　　　　　　　　　　（４）
Ｙ´ｍ＋１　＝　Ｘｍ　−　Ｙ´ｍ　　　　　　　　　　　　　　　　　　　　　（５）
本実施の形態の逆変換回路１１２では、以上のローパス演算の逆演算処理を行って輝度信号から原信号に近い復元信号を生成する。
【００３６】
次に、本実施の形態の逆変換回路１１２について図８を用いて説明する。図８は本実施の形態における光学ローパスフィルタのローパス特性を考慮したローパス演算と逆の演算処理をする逆変換回路１１２の一例を示すブロック図である。図８において、８０１は乗算回路であり、記憶回路１１０に記憶されている映像信号に強度定数を乗算して乗算信号８０２を出力する。８０３は減算回路であり、乗算回路８０１より出力される乗算信号８０２から記憶回路８０４に記憶され既に求めた隣接画素の復元信号を減算して復元信号８０８を出力する。８０４の記憶回路は、本発明のクリッピング処理手段の一例であるクリッピング処理回路８１１から出力された復元信号８１２を記憶し、減算回路８０３の演算処理に必要な復元信号のランダムアクセスを可能にするものである。８０６は初期信号生成手段としての初期信号生成回路であり、一ラインの復元信号を求める際に必要な一番最初の復元信号を記憶回路１１０に記憶されている映像信号を使って生成し、初期の復元信号８０７を出力する。８０９は本発明の桁落ち誤差補正手段の一例である桁落ち誤差補正回路であり、記憶回路１１０に記憶されている映像信号を使って目標信号を生成し、前記目標信号を使って減算回路８０３から出力される復元信号８０８に含まれる桁落ち誤差を補正した復元信号を生成する。８１１はクリッピング処理回路であり、桁落ち誤差補正回路８０９から出力される補正された復元信号８１０をクリッピング処理する。クリッピング処理回路８１１から出力される復元信号８１２は記憶回路８０４に記憶され、減算回路８０３の演算で必要なときに読み出される。
【００３７】
以上までが逆変換回路１１２で行われる処理であり、クリッピング処理回路８１１は外部に対して復元信号８１２を出力する。
【００３８】
次に、本実施の形態における逆変換回路１１２の処理内容について、図７も用いて具体的に説明する。また、ここでは映像信号が輝度信号である場合について説明する。逆変換回路１１２において注目画素の復元信号を生成するには、乗算回路８０１においてまず記憶回路１１０に記憶されている輝度信号に強度定数を乗算し乗算信号８０２を生成する。減算回路８０３は、乗算回路８０１から出力された乗算信号８０２から記憶回路８０４に記憶され既に求まった隣接画素の復元信号を減算することにより注目画素の復元信号を生成する。
【００３９】
ここまでの処理を図７を用いて説明すると、例えば、図７の（ａ）の一ラインの輝度信号が記憶回路１１０に記憶されていて、（ｃ）の復元信号Ｙ´４が既に演算され記憶回路８０４に記憶されている状態で（ｃ）の復元信号Ｙ´５を注目画素の復元信号として生成するには、まず乗算回路８０１において記憶回路１１０に記憶されている（ａ）の輝度信号Ｙ４に強度定数２を乗算して（ｂ）の乗算信号Ｘ４を求める。そして、減算回路８０３は、乗算回路８０１から出力される乗算信号Ｘ４から記憶回路８０４に記憶されている既に求めた隣接画素の復元信号Ｙ´４を減算することにより注目画素の復元信号Ｙ´５が求まる。
【００４０】
逆演算回路１１２において一ラインの復元信号を生成する際に必要な一番最初の復元信号については、記憶回路１１０に記憶されている輝度信号を使い初期信号生成回路８０６により生成する。初期信号生成回路８０６により初期の復元信号を生成するには、記憶回路１１０に記憶されている輝度信号を補間して求める方法などを使う。例えば、図７の（ａ）の輝度信号の一ラインから（ｃ）の復元信号の一ラインを求める際に（ｃ）の初期の復元信号を求めるとする。（ｃ）の初期の復元信号を求める場合、復元信号Ｙ´１は補間に必要な輝度信号が足りないので復元信号Ｙ´２を初期の復元信号とすると、復元信号Ｙ´２は輝度信号Ｙ１と輝度信号Ｙ２の補間により求める。そして補間位置を輝度信号Ｙ１と輝度信号Ｙ２の中央であるとすると、初期の復元信号Ｙ´２は式（６）の簡単な演算により求まる。
【００４１】
【数４】
Ｙ´２　＝　０．５×Ｙ１　＋　０．５×Ｙ２　　　　　　　　　　　　　　　　　　　　　　　　　　（６）
減算回路８０３は、一ラインの復元信号の一番最初の復元信号を生成する場合には、初期信号生成回路８０６から出力される初期の復元信号８０７をそのまま復元信号８０８として出力する。
【００４２】
減算回路８０３から出力される復元信号８０８は、次に桁落ち誤差補正回路８０９に入力される。桁落ち誤差補正回路８０９では、復元信号８０８に含まれる桁落ち誤差を補正する。復元信号８０８に含まれる桁落ち誤差は、記憶回路１１０に記憶されている輝度信号がデジタル値であるため乗算回路８０１で乗算信号を求めた時点で発生する。復元信号８０８は、桁落ち誤差を含む乗算信号８０２を使って減算回路８０３により生成されるためそのまま桁落ち誤差が含まれる。例えば、図７において信号の値を８ビットデジタル値（０〜２５５）として、
（ａ）の輝度信号Ｙ　４の値を
Ｙ　４　＝　１５
（ｃ）の復元信号Ｙ´４の値を
Ｙ´４　＝　２０
として注目画素の復元信号Ｙ´５を生成すると、（ｂ）の乗算信号Ｘ　４の値は、
Ｘ　４　＝　Ｙ　４×２　＝　３０
となり、注目画素の復元信号Ｙ´５の値は、
Ｙ´５　＝　Ｘ　４−Ｙ´４　＝　１０
と求まる。しかし、輝度信号はデジタル値であるため小数点以下の値が桁落ちしている。このため、輝度信号Ｙ　４は１５．０　≦　Ｙ　４　＜　１６．０の範囲の値である可能性があるので、乗算信号Ｘ　４は３０．０　≦　Ｘ　４　＜　３２．０の範囲の値である可能性があり、注目画素の復元信号Ｙ　５は１０．０　≦　Ｙ´５　＜　１２．０である可能性がある。すなわち復元信号Ｙ´５はＹ´５　＝１０とＹ´５　＝１１のどちらかであり最大で１の値の誤差が含まれる可能性がある。復元信号の桁落ち誤差はこの例の場合たかだか１であるが、桁落ち誤差を含んだ復元信号は別の復元信号を生成する際に使われるので、一ラインの復元信号を逐次生成すると桁落ち誤差が徐々に積算し大きく復元信号を劣化させる。
【００４３】
上記の注目画素の復元信号に含まれる桁落ち誤差を補正するために桁落ち誤差補正回路８０９は、記憶回路１１０に記憶されている輝度信号を使って目標信号を生成し、復元信号８０８が目標信号より値が大きい場合には、復元信号８０８から予め定めた補正値を減算し、復元信号８０８が目標信号より値が小さい場合には、復元信号８０８から予め定めた補正値を加算することにより、復元信号８０８に含まれる桁落ち誤差を補正する。上記目標信号の求め方について図７を用いて説明する。例えば注目画素の復元信号を（ｃ）のＹ´５とすると、（ａ）の輝度信号Ｙ　５と輝度信号Ｙ　６を使って目標信号を生成する。目標信号を輝度信号Ｙ　５と輝度信号Ｙ　６を使って補間により求める場合は、補間位置を輝度信号Ｙ　５と輝度信号Ｙ　６の中央とすると式（７）の演算により求まる。
【００４４】
【数５】
（目標信号）＝　０．５×Ｙ　５　＋　０．５×Ｙ　６　　　　　　　　　　　　　　　　　（７）
上記の予め定めた補正値は、桁落ち誤差により発生し得る復元信号の誤差の最大値とする。例えば、図７において信号の値を８ビットデジタル信号値（０〜２５５）とすると、（ａ）の１画素の輝度信号は、（ｃ）の隣接する２画素の復元信号の加算平均により求まるので、１画素の輝度信号の乗算信号と２画素の復元信号の加算信号の間には最大で１の値の誤差が発生する可能性がある。よって予め定めた補正値は１になる。
【００４５】
また、桁落ち誤差補正回路８０９は、上記予め定めた補正値を桁落ち誤差により発生し得る復元信号の誤差の最大値を基本値として基本値の値を増減することができる。これにより補正値を増加すると画像全体を平滑化することができるため画質を変化させることができる。
【００４６】
また、桁落ち誤差補正回路８０９は、注目画素の復元信号が目標信号より値が大きい場合に減算して補正した際に、補正した復元信号が目標信号より値が小さくなった場合には目標信号の値をそのまま補正した復元信号の値とし、注目画素の復元信号が目標信号より値が小さい場合に加算して補正した際に、補正した復元信号が目標信号より値が大きくなった場合には目標信号の値をそのまま補正した復元信号の値とすることができる。これにより画像の平坦な部分において信号変化の小さい復元信号を目標信号に収束させて平滑化することができる。
【００４７】
なお、桁落ち誤差補正回路８０９は、上記補正処理により記憶回路１１０に記憶されている輝度信号がノイズを含んでいる場合にもノイズを補正して復元信号の画質の劣化を抑制する作用がある。
【００４８】
桁落ち誤差補正回路８０９から出力される補正された復元信号８１０は、次にクリッピング処理回路８１１に入力される。クリッピング処理回路８１１では、復元信号８１０の値を記憶回路１１０に記憶されている輝度信号が取り得る値の範囲にクリッピング処理する。復元信号の値は、復元信号をローパス演算すると輝度信号となるため、本来は輝度信号が取り得る値の範囲を超えない。しかし、ノイズなどの影響により輝度信号が本来の信号と異なる信号を含んだ場合、注目画素の復元信号の値が輝度信号が取り得る最大値を超えたり、あるいは最小値を下回る可能性がある。注目画素の復元信号が輝度信号が取り得る値の範囲を超えた場合は、クリッピング処理してノイズをカットする。具体的には、復元信号８１０が記憶回路１１０に記憶されている輝度信号が取り得るデジタル値の最大値を超えた場合には、復元信号８１０の値を前記最大値とし、復元信号８１０が記憶回路１１０に記憶されている輝度信号が取り得るデジタル値の最小値を下回った場合には、復元信号８１０の値を前記最小値として補正する。これにより、ノイズなどの影響により映像信号が本来の信号とは異なる信号を含んでいる場合に復元信号が劣化することを抑えることがことができる。
【００４９】
クリッピング処理回路８１１から出力される復元信号８１２は、記憶回路８０４に記憶され、減算回路８０３の演算で必要なときに読み出される。そして最終的に復元信号８１２が逆変換回路１１２の外部に出力され、復元信号を得ることができる。
【００５０】
なお、本実施の形態では、ローパス演算の強度定数を２として説明したが、例えばローパス演算が縦横に隣接する４画素に影響する強度定数４とする場合など強度定数を変えた場合についても同様に実施することができる。
【００５１】
すなわち、例えば、逆変換回路１１２は、所定の画素が属する画素列における所定の画素に隣接する少なくとも１つの画素の既知の復元信号と、所定の画素が属する画素列に隣接する別の画素列の、所定の画素に近接する少なくとも１つの画素の既知の復元信号とを、所定の画素の輝度信号に強度定数を乗算して得られた乗算信号から減算することにより、所定の画素に対応する復元信号を生成することができる。
【００５２】
また、本実施の形態では、映像信号を輝度信号として説明したが輝度信号以外の映像信号についても同様に実施することができる。
【００５３】
（実施の形態２）
以下、本発明の実施の形態２の撮像装置について、図１、図９を用いて説明する。
【００５４】
図１は、本実施の形態２における撮像装置の一例を示すブロック図である。図に示すように、本実施の形態２による撮像装置の構成は、上記実施の形態１の場合と同様であり、各構成要素の処理内容についても、逆変換回路１１２を除いて同じである。よって、逆変換回路１１２以外の各構成要素の説明については省略し、以下逆変換回路１１２について図９を用いて説明する。
【００５５】
図９は本実施の形態における光学ローパスフィルタの特性を考慮した演算処理としてローパス演算の逆の演算処理をする逆変換回路１１２の一例を示すブロック図である。図９において、８０１は乗算回路であり、記憶回路１１０に記憶されている映像信号に強度定数を乗算して乗算信号８０２を出力する。８０３は減算回路であり、乗算回路８０１より出力される乗算信号８０２から記憶回路８０４に記憶されている復元信号を減算して復元信号８０８を出力する。８０４の記憶回路は、クリッピング処理回路８１１から出力された復元信号８１２を記憶し、減算回路８０３の演算に必要な復元信号のランダムアクセスを可能にするものである。８０６は初期信号生成回路であり、一ラインの復元信号を求める場合に必要な一番最初の復元信号を記憶回路１１０に記憶されている映像信号を使って生成し、初期の復元信号８０７を出力する。８０９は桁落ち誤差補正回路であり、記憶回路１１０に記憶されている映像信号を使って目標信号を生成し、前記目標信号を使って減算回路８０３から出力される復元信号８０８に含まれる桁落ち誤差を補正した復元信号を生成する。８１１はクリッピング処理回路であり、桁落ち誤差補正回路８０９から出力される補正された復元信号８１０をクリッピング処理する。クリッピング処理回路８１１から出力される復元信号８１２は記憶回路８０４に記憶され、減算回路８０３の演算で必要なときに読み出される。９０１はクリッピング処理回路であり、減算回路８０３から出力される復元信号８０８をクリッピング処理する。
【００５６】
以上までが逆変換回路１１２で行われる処理であり、クリッピング処理回路９０１は外部に対して復元信号９０２を出力する。
【００５７】
図９に示すように、本実施の形態２による撮像装置の逆変換回路１１２の構成は、上記実施の形態１の場合と比較してクリッピング処理回路９０１が新たに加わったことを除いて同様であり、各構成要素の処理内容についても、クリッピング処理回路９０１を除いて同様である。よって、クリッピング処理回路９０１以外の各構成要素の説明については省略する。
【００５８】
クリッピング処理回路９０１には、減算回路８０３から出力される復元信号８０８が入力される。クリッピング処理回路９０１の処理内容については、実施の形態１のクリッピング処理回路８１１と同様であり、復元信号８０８が記憶回路１１０に記憶されている輝度信号が取り得るデジタル値の最大値を超えた場合には、復元信号８０８の値をデジタル値の最大値とし、復元信号８０８が記憶回路１１０に記憶されている輝度信号が取り得るデジタル値の最小値を下回った場合には、復元信号８０８の値をデジタル値の最小値とする。これにより、ノイズなどの影響により映像信号が本来の信号とは異なる信号を含んでいる場合に復元信号が劣化することを抑制することができる。最終的にクリッピング処理回路９０１から出力される復元信号９０２が逆変換回路１１２の外部に出力され復元信号を得ることができる。
【００５９】
本実施の形態２の逆変換回路１１２と実施の形態１の逆変換回路１１２は外部への出力が異なっている。実施の形態１の逆変換回路１１２の外部への出力である復元信号８１２は、桁落ち誤差補正回路８０９で復元信号に含まれる桁落ち誤差を補正されている。桁落ち誤差補正回路８０９は復元信号の桁落ち誤差を補正すると共に、信号変化の小さい復元信号を平滑化する作用を持つ。このため、復元信号８１２に小さい信号変化がある場合でも桁落ち誤差補正を行うことにより復元信号の信号変化が消える。本実施の形態２の逆変換回路１１２においては外部への出力を、桁落ち誤差補正を行った復元信号８１２ではなく、減算回路８０３から出力される復元信号をそのままクリッピング処理した復元信号９０２としている。これにより、信号変化の小さい復元信号についても平滑化されることなく得ることができる。
【００６０】
（実施の形態３）
以下、本発明の実施の形態３の撮像装置について、図１、図８、図９、図１０、図１１、図１２を用いて説明する。
【００６１】
図１は、本実施の形態３における撮像装置の一例を示すブロック図である。図１に示すように、本実施の形態３による撮像装置の構成は、上記実施の形態１の場合と同様であり、各構成要素の処理内容についても、逆変換回路１１２を除いて同じである。よって、逆変換回路１１２以外の各構成要素の説明については省略し、以下逆変換回路１１２について図１０を用いて説明する。図１０は本実施の形態における光学ローパスフィルタの特性を考慮した演算処理としてローパス演算の逆の演算処理をする逆変換回路１１２の一例を示すブロック図である。
【００６２】
図１０において、１００１は本発明の順方向中間信号生成手段の一例である順方向中間信号生成回路であり、一ライン分の復元信号を求める際に、記憶回路１１０に記憶されている映像信号を使って一方の端から他方の端に向かって第１の中間信号を逐次生成して、第１の中間信号１００２を出力する。すなわち、順方向中間信号生成回路１００１は、所定の画素列に対応する復元信号を生成する際に、１番目の復元信号からｎ番目の復元信号に向かって順次にｎ個の復元信号を生成して、第１の中間信号１００２として出力する。
【００６３】
詳細には、順方向中間信号生成回路１００１は、得られたｎ−１個の輝度信号を強度定数で乗算してｎ−１個の乗算信号を生成し、ｍ番目の乗算信号からｍ番目の既知の輝度信号を減算することにより、ｍ＋１番目の復元信号を得て、ｎ個の復元信号を生成し、少なくとも１番目の前記映像信号を利用して、１番目の復元信号を生成し、１番目の復元信号からｎ番目の復元信号に向かって順次にｎ個の復元信号である順方向中間信号を生成する。
【００６４】
１００３は記憶回路であり、第１の中間信号１００２を記憶し加算回路１０１３の演算処理に必要な第１の中間信号のランダムアクセスを可能にするものである。１００５は乗算回路であり、記憶回路１００３に記憶されている第１の中間信号に予め与えた係数β（β：０と１との間の実数）を乗算し、乗算信号１００６を出力する。１００７は本発明の逆方向中間信号生成手段の一例である逆方向中間信号生成回路であり、一ライン分の復元信号を生成する際に、記憶回路１１０に記憶されている映像信号を使って順方向中間信号生成回路１００１の演算と逆の方向に向かって第２の中間信号を逐次生成して、第２の中間信号１００８を出力する。すなわち、逆方向中間信号生成回路１００７は、所定の画素列に対応する復元信号を生成する際に、ｎ番目の復元信号から１番目の復元信号に向かって順次にｎ個の復元信号を生成して、第２の中間信号１００８として出力する。
【００６５】
詳細には、逆方向中間信号生成回路１００７は、得られたｎ−１個の輝度信号を強度定数で乗算してｎ−１個の乗算信号を生成し、ｍ番目の前記乗算信号からｍ＋１番目の既知の復元信号を減算することにより、ｍ番目の復元信号を得て、ｎ個の復元信号を生成し、少なくともｎ番目の輝度信号を利用してｎ番目の復元信号を生成し、ｎ番目の復元信号から１番目の復元信号に向かって順次にｎ個の復元信号である逆方向中間信号を生成する。
【００６６】
１００９は記憶回路であり、第２の中間信号１００８を記憶し加算回路１０１３の演算処理に必要な第２の中間信号のランダムアクセスを可能にするものである。１０１１は乗算回路であり、記憶回路１００９に記憶されている第２の中間信号に（１．０−β）で求まる係数を乗算し、乗算信号１０１２を出力する。１０１３の加算回路は、乗算信号１００６と乗算信号１０１２を加算して復元信号を生成する。加算回路１０１３から出力される復元信号１０１４は順方向中間信号生成回路１００１の記憶回路と逆方向中間信号生成回路１００７の記憶回路に記憶され、中間信号を生成する演算処理に必要なときに読み出される。
【００６７】
以上までが逆変換回路１１２で行われる処理であり、加算回路１０１３は外部に対して復元信号１０１４を出力する。
【００６８】
次に本実施の形態における逆変換回路１１２の処理内容について、図１１も用いて具体的に説明する。また、ここでは映像信号が輝度信号である場合について説明する。図１１は、第１の中間信号と第２の中間信号の一ラインを示す図である。図１１の（ａ）は第１の中間の輝度信号（中間信号）の一ラインであり、Ｙ’　は１画素の中間の輝度信号を示している。（ｂ）は第２の中間の輝度信号の一ラインであり、Ｙ’’　は１画素の中間の輝度信号を示している。逆変換回路１１２において復元信号を生成するには、まず記憶回路１１０に記憶されている輝度信号を使って順方向中間信号生成回路１００１から第１の中間の輝度信号を一方の端から他方の端に向かって逐次生成する。例えば図１１の（ａ）の第１の中間信号のＹ’１　信号を一方の端の中間信号として一番最初に生成した場合は、Ｙ’ｎ　信号を他方の端の中間信号として逐次中間信号を生成する。順方向中間信号生成回路１００１では、光学ローパスフィルタのローパス特性を考慮した演算処理としてローパス演算の逆の演算処理をする。図８の逆変換回路１１２は、ローパス演算の逆の演算処理をする順方向中間信号生成回路１００１の一例を示すブロック図である。図８に示すように、本実施の形態３による順方向中間信号生成回路１００１の構成は、上記実施の形態１の逆変換回路１１２の構成と同じであり、各構成要素の処理内容についても同じである。よって、各構成要素の説明については省略する。順方向中間信号生成回路１００１で生成された第１の中間信号はいったん記憶回路１００３に記憶される。次に、逆方向中間信号生成回路１００７においても記憶回路１１０に記憶されている輝度信号を使って第２の中間の輝度信号を順方向中間信号生成回路１００１の演算と逆の方向に向かって逐次生成する。例えば図１１の（ａ）の第１の中間信号のＹ’１　信号を一方の端の中間信号として一番最初に生成した場合は、（ｂ）の第２の中間信号は、Ｙ’’ｎ　信号を一番最初に生成し、Ｙ’’１　信号に向かって逐次中間信号を生成する。逆方向中間信号生成回路１００７では、光学ローパスフィルタのローパス特性を考慮した演算処理としてローパス演算の逆の演算処理をする。図８の逆変換回路１１２は、ローパス演算の逆の演算処理をする逆方向中間信号生成回路１００７の一例を示すブロック図である。図８に示すように、本実施の形態３による逆方向中間信号生成回路１００７の構成は、上記実施の形態１の逆変換回路１１２の構成と同じであり、各構成要素の処理内容についても同じである。よって、各構成要素の説明については省略する。逆方向中間信号生成回路１００７で生成された第２の中間信号はいったん記憶回路１００９に記憶される。そして、記憶回路１００３に記憶された第１の中間信号と記憶回路１００９に記憶された第２の中間信号は、それぞれ所定の係数β、（１．０−β）により乗算され加算回路１０１３で加算されることにより復元信号１０１４を得ることができる。所定の係数βは乗算回路１００５により第１の中間信号に乗算され、（１．０−β）は乗算回路１０１１により第２の中間信号に乗算される。第１の中間信号と第２の中間信号から復元信号を生成する演算は、式（８）で示される。
【００６９】
【数６】
復元信号＝β×第１の中間信号＋（１．０−β）×第２の中間信号　（８）
例えば、記憶回路１００３に（ａ）の第１の中間信号の一ラインが記憶されており、記憶回路１００９に（ｂ）の第２の中間信号の一ラインが記憶されているとしたとき、（ａ）の第１の中間信号のＹ’１信号と、（ｂ）の第２の中間信号のＹ’’１信号から復元信号の１画素を求めるとして予め与えた係数を０．５とすると、式（９）に示す演算により復元信号の１画素が求まる。
【００７０】
【数７】
復元信号　＝　０．５×Ｙ’１　＋（１．０−０．５）×Ｙ’’１　　　　　（９）
与えられた係数を０．５とすると簡単な演算により復元信号が求まる。
【００７１】
本実施の形態の逆変換回路１１２では上記のように第１の中間信号と第２の中間信号を使って復元信号を生成することにより、復元信号の誤差によるノイズを抑えることができる。これを図１２を用いて説明する。図１２は、第１の中間信号と第２の中間信号の一ラインをグラフで示す図である。図１２の１２０１は中間信号の１画素を示している。（ａ）は第１の中間信号を示し、（ｂ）が第２の中間信号を示している。注目画素の中間信号を生成する演算では既に求めた中間信号を使うため、既に求めた中間信号に誤差が含まれると注目画素の中間信号にも誤差が影響する。そして、逐次生成する先々の中間信号にも同様に誤差が影響しノイズが発生する。
【００７２】
例えば（ａ）の第１の中間信号の１２０２の中間信号において誤差が発生したとすると誤差が次々に伝わり、１２０３の範囲の中間信号にノイズが発生する。本実施の形態の逆変換回路１１２では、（ａ）の中間信号を第１の中間信号としたとき、第１の中間信号の演算方向とは逆方向から演算した（ｂ）の第２の中間信号を生成する。第２の中間信号は、１２０３の範囲の演算に１２０２の中間信号の誤差が影響しないので、ノイズのない中間信号となる。よって、第１の中間信号と第２の中間信号から復元信号を生成することにより、第１の中間信号の１２０３の範囲のノイズを第２の中間信号で抑圧することができ、復元信号のノイズを抑えることができる。例えば（ａ）の第１の中間信号と（ｂ）の第２の中間信号から、係数βを０．５として式（８）に従って復元信号を生成すると、復元信号は第１の中間信号と第２の中間信号の加算平均となるため、ノイズを半分に抑えた復元信号を得ることができる。
【００７３】
本実施の形態の逆変換回路１１２において１ラインの中間信号を生成する際の一番最初に生成する中間信号については、補間などにより求めるため誤差によるノイズが発生する可能性がある。この初期の中間信号の誤差によるノイズについては、予め与えた係数を変えることにより抑えることができる。具体的には第１の中間信号の初期の中間信号（すなわち１番目の中間信号）または初期の中間信号の周辺の中間信号を使って復元信号を生成する場合は、係数βを０．５未満の値とし、第２の中間信号の初期の中間信号または初期の中間信号の周辺の中間信号を使って復元信号を生成する場合は、係数βを０．５を越える値とする。例えば図１１の（ａ）の第１の中間信号のＹ’１を初期の中間信号とすると、初期の中間信号のＹ’１とＹ’１の周辺の中間信号のＹ’２、Ｙ’３などに誤差によるノイズが発生する可能性がある。一方（ｂ）の第２の中間信号のＹ’’１とＹ’’１の周辺の中間信号のＹ’’２、Ｙ’’３などは、逆方向中間信号生成回路１００７において生成される初期の中間信号がＹ’’ｎであるので初期の中間信号の誤差によるノイズを含まない。このため（ａ）の第１の中間信号の初期の中間信号とその周辺の中間信号を使って復元信号を生成するときは、係数βを０．５未満として式（８）の演算における第１の中間信号の加算比率を下げ、第２の中間信号の加算比率を上げることにより初期の中間信号の誤差によるノイズを抑えることができる。また、（ｂ）の第２の中間信号の初期の中間信号とその周辺の中間信号を使って復元信号を生成するときは、係数βを０．５以上として式（８）の演算における第１の中間信号の加算比率を上げ、第２の中間信号の加算比率を下げることにより初期の中間信号の誤差によるノイズを抑えることができる。
【００７４】
本実施の形態の逆変換回路１１２においては、ノイズの抑制された復元信号１０１４が順方向中間信号生成回路１００１と逆方向中間信号生成回路１００７の記憶回路８０４に記憶される。これにより一ラインの中間信号を求める演算に別のラインの既に求まった復元信号を必要とする場合にはノイズの少ない復元信号を使うことができるので復元信号の劣化を抑制することができる。
【００７５】
なお、本実施の形態では、順方向中間信号生成回路１００１と逆方向中間信号生成回路１００７として実施の形態１の（図８に示される）逆変換回路１１２を用いたが、実施の形態２の（図９に示される）逆変換回路に記載の逆変換回路１１２を用いた場合でも同様に実施することができる。
【００７６】
また、本実施の形態では、ローパス演算の強度定数を２として説明したが、例えばローパス演算が縦横に隣接する４画素に影響する強度定数を４とする場合など強度定数を変えた場合についても同様に実施することができる。
【００７７】
すなわち、例えば、順方向中間信号生成回路１００１および逆方向中間信号生成回路１００７は、所定の画素が属する画素列における所定の画素に隣接する少なくとも１つの画素の既知の中間信号と、所定の画素が属する画素列に隣接する別の画素列の、所定の画素に近接する少なくとも１つの画素の既知の中間信号とを、所定の画素の輝度信号に強度定数を乗算して得られた乗算信号から減算することにより、所定の画素に対応する順方向中間信号および逆方向中間信号を生成し、これらの中間信号から復元信号を得ることもできる。また、１ライン（１つの画素列）の中間信号を求める演算に別のラインの既知の中間信号が使用される場合に、中間信号の代わりに別のラインの既知の順方向中間信号と逆方向中間信号から得られる復元信号を使用することによりノイズを抑えた復元信号を得ることができる。
【００７８】
また、本実施の形態では、映像信号を輝度信号として説明したが輝度信号以外の映像信号についても同様に実施することができる。
【００７９】
また、本発明に係るプログラムは、上述した本発明の撮像装置の逆変換手段の全部又は一部の手段の機能をコンピュータにより実行させるためのプログラムであって、コンピュータと協働して動作するプログラムである。
【００８０】
また、本発明に係る媒体は、上述した本発明の撮像装置の逆変換手段の全部又は一部の手段の全部又は一部の機能をコンピュータにより実行させるためのプログラムを担持した媒体であり、コンピュータにより読み取り可能且つ、読み取られた前記プログラムが前記コンピュータと協動して前記機能を実行する媒体である。
【００８１】
尚、本発明の上記一部の手段とは、それらの複数の手段の内の、幾つかの手段を意味し、あるいは、一つの手段の内の、一部の機能又は一部の動作を意味するものである。
【００８２】
又、本発明のプログラムの一利用形態は、コンピュータにより読み取り可能な記録媒体に記録され、コンピュータと協働して動作する態様であっても良い。
【００８３】
又、本発明のプログラムの一利用形態は、伝送媒体中を伝送し、コンピュータにより読みとられ、コンピュータと協働して動作する態様であっても良い。
【００８４】
又、本発明のデータ構造としては、データベース、データフォーマット、データテーブル、データリスト、データの種類などを含む。
【００８５】
又、記録媒体としては、ＲＯＭ等が含まれ、伝送媒体としては、インターネット等の伝送媒体、光・電波・音波等が含まれる。
【００８６】
又、上述した本発明のコンピュータは、ＣＰＵ等の純然たるハードウェアに限らず、ファームウェアや、ＯＳ、更に周辺機器を含むものであっても良い。
【００８７】
尚、以上説明した様に、本発明の構成は、ソフトウェア的に実現しても良いし、ハードウェア的に実現しても良い。
【００８８】
【発明の効果】
以上のように、本発明の撮像装置によれば、光学ローパスフィルタにより余分に減衰された映像信号の周波数成分を精度良く復元した映像信号を得ることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１による撮像装置のブロック図である。
【図２】従来の撮像装置のブロック図である。
【図３】光学ローパスフィルタの作用を説明するための図である。
【図４】光学ローパスフィルタのフィルタ特性を示す図である。
【図５】画像中の輝度信号の並びを示す図である。
【図６】輪郭強調処理のフィルタ特性を示す図である。
【図７】輝度信号と復元信号の対応関係を説明するための図である。
【図８】本発明の実施の形態１による撮像装置の逆変換回路のブロック図である。
【図９】本発明の実施の形態２による撮像装置の逆変換回路のブロック図である。
【図１０】本発明の実施の形態３による撮像装置の逆変換回路のブロック図である。
【図１１】第１の中間信号と第２の中間信号を示す図である。
【図１２】中間信号の順方向演算と逆方向演算の違いを説明するための図である
【符号の説明】
１０１、２０１　　被写体の光
１０２、２０２　　光学系
１０３、２０３、３０３　　光学ローパスフィルタ
１０４、２０４、３０１　　ＣＣＤ
１０５、２０５　　ＣＣＤ出力信号
１０６、２０６　　Ａ／Ｄ変換器
１０７、２０７　　デジタル信号
１０８、２０８　　映像信号生成回路
１０９、１１１、２０９、２１１　　映像信号
１１０、２１０　　記憶回路
１１２　　逆変換回路
１１３　　復元信号
２１２　　輪郭強調処理回路
２１３　　輪郭強調された映像信号
３０２　　１画素の幅
３０４、３０７　　光
３０５、３０６、３０８　　分光された光
３０９　　ＣＣＤの１画素
８０１　　乗算回路
８０２　　乗算信号
８０３　　減算回路
８０４　　記憶回路
８０５、８０８、８１０、８１２　　復元信号
８０６　　初期信号生成回路
８０７　　初期の復元信号
８０９　　桁落ち誤差補正回路
８１１　　クリッピング処理回路
９０１　　クリッピング処理回路
９０２　　復元信号
１００１　　順方向中間信号生成回路
１００２、１００４　　第１の中間信号
１００３、１００９　　記憶回路
１００５、１０１１　　乗算回路
１００６、１０１２　　乗算信号
１００７　　逆方向中間信号生成回路
１００８、１０１０　　第２の中間信号
１０１３　　加算回路
１０１４　　復元信号
１２０１　　中間信号の１画素
１２０２　　誤差を含んでいる中間信号
１２０３　　第１の中間信号がノイズを含む範囲
【図１】
2004120602.tif 000003
【図２】
2004120602.tif 000004
【図３】
2004120602.tif 000005
【図４】
2004120602.tif 000006
【図５】
2004120602.tif 000007
【図６】
2004120602.tif 000008
【図７】
2004120602.tif 000009
【図８】
2004120602.tif 000010
【図９】
2004120602.tif 000011
【図１０】
2004120602.tif 000012
【図１１】
2004120602.tif 000013
【図１２】
2004120602.tif 000014