(57)【要約】【課題】イメージセンサの出力信号から、信号処理技術でそのゴースト像やフレアノイズを抑制する方法を提供する。【解決手段】点光源を正規位置に配置し、正立等倍レンズアレイによって結像されたパターン像の光強度分布であるインパルス応答ｒを測定するステップと、インパルス応答ｒをフーリエ変換して、フーリエ変換成分Ｒを得るステップと、正立等倍レンズアレイによって結像された物体面の元画像ｍの画像ｄを読取るステップと、画像ｄをフーリエ変換して、フーリエ変換成分Ｄを得るステップと、フーリエ変換成分Ｄをフーリエ変換成分Ｒで除算するステップと、除算により得られた値Ｄ／Ｒを逆フーリエ変換して、元画像を復元するステップとを含む。【選択図】図１２
2005151387.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも２枚の平板レンズアレイを重ね合わせて構成された正立等倍レンズアレイによって結像された画像の処理方法であって、
前記正立等倍レンズアレイのインパルス応答を測定し、記憶するステップと、
前記正立等倍レンズアレイによって結像された物体の画像を、前記インパルス応答を用いてデコンボリューション処理を行って、前記物体の元画像を復元するステップと、
を含む、画像の処理方法。
【請求項２】
少なくとも２枚の平板レンズアレイを重ね合わせて構成された正立等倍レンズアレイによって結像された画像の処理方法であって、
点光源を正規位置に配置し、前記正立等倍レンズアレイによって結像されたパターン像の光強度分布であるインパルス応答ｒを測定するステップと、
前記インパルス応答ｒをフーリエ変換して、フーリエ変換成分Ｒを得るステップと、
前記正立等倍レンズアレイによって結像された物体面の元画像ｍの画像ｄを読取るステップと、
前記画像ｄをフーリエ変換して、フーリエ変換成分Ｄを得るステップと、
前記フーリエ変換成分Ｄを前記フーリエ変換成分Ｒで除算するステップと、
前記除算により得られた値Ｄ／Ｒを逆フーリエ変換して、前記元画像を復元するステップと、
を含む、画像の処理方法。
【請求項３】
前記インパルス応答には、少なくともゴースト像の光強度分布を含む、請求項２に記載の画像の処理方法。
【請求項４】
前記インパルス応答には、少なくともゴースト像およびフレアノイズの光強度分布を含む、請求項２に記載の画像の処理方法。
【請求項５】
少なくとも２枚の平板レンズアレイを重ね合わせて構成された正立等倍レンズアレイによって結像された画像の処理装置であって、
前記正立等倍レンズアレイによって結像された画像を画像信号に変換する光電変換部と、
前記光電変換部の出力する画像信号をフーリエ変換するフーリエ変換部と、
前記正立等倍レンズアレイのインパルス応答を、前記フーリエ変換部で変換して得られたフーリエ変換成分を記憶するメモリ部と、
前記正立等倍レンズアレイによって結像された物体の画像を、前記光電変換部で画像信号に変換し、さらに前記フーリエ変換部でフーリエ変換したフーリエ変換成分を、前記メモリ部から読出した前記インパルス応答のフーリエ変換成分で除算する除算部と、
前記除算部で除算された値を、逆フーリエ変換する逆フーリエ変換部と、
を備える画像処理装置。
【請求項６】
前記インパルス応答には、少なくともゴースト像の光強度分布を含む、請求項５に記載の画像処理装置。
【請求項７】
前記インパルス応答には、少なくともゴースト像およびフレアノイズの光強度分布を含む、請求項５に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、正立等倍レンズアレイにより結像された画像の処理方法および装置、特にゴースト像，フレアノイズを低減する画像処理方法および装置に関する。
【背景技術】
【０００２】
正立等倍レンズ（Unit Magnification Planer Lens：ＵＭＰＬ）は、複写機やスキャナのイメージセンサに用いられている。このような正立等倍レンズアレイは、樹脂成形やエンボス加工技術によって透明樹脂平板の表裏面に凸レンズをアレイ状に形成し、得られたその平板レンズアレイを２〜３枚、積層することにより構成される。
【０００３】
このように正立等倍レンズアレイは、視野角の狭いレンズが密に配列されることにより、明るさと深い被写界深度との両立が可能であるという特徴を有している。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
正立等倍レンズアレイは、２層４面あるいは３層６面に形成されており、光がレンズアレイ中を通る際の迷光や散乱光のために、レンズアレイを通して得られる像は、ゴースト像が生じたりフレアノイズが生じるという問題がある。
【０００５】
なお、以下の説明において、ゴースト像およびフレアノイズを区別する必要のない場合は、ゴースト像等と言うものとする。
【０００６】
図１Ａ，図１Ｂ，図１Ｃは、２層４面の正立等倍レンズアレイを示す。平板レンズアレイ１０，１２が２枚重ね合わされている。図１Ａは平面を、図１Ｂは正面を、図１Ｃは側面を示す。正立等倍レンズアレイの結像面には、ＣＣＤが設けられている。
【０００７】
物体面１４の物点１６からの光線１８が平板レンズアレイ１０に入射し、平板レンズアレイ１２を通過、ＣＣＤ面２０上に点像（メイン像）２２が結像する。その際、光線２４の様な経路でもＣＣＤ面２０に点像２６（ゴースト像）が結像するため問題になる。メイン像２２からゴースト像２６までの距離を＋Δとすると、メイン像２２から−Δの位置にもゴースト像２８が結像する。
【０００８】
このようなゴースト像は、ｘ軸方向だけでなく、ｙ軸方向にも発生する。図１Ｃには、ｙ軸方向のゴースト像を、２７，２９で示している。
【０００９】
ゴーストの他にも、フレアによるノイズが生じる。
【００１０】
このようなゴースト像やフレアノイズの発生の問題を解決するために、従来では、遮光材料を塗布したり、アレイの構成体中に遮光部位を設けたりしている。
【００１１】
しかし、遮光部分を構成する製造工程が煩雑となり、製造コストがアップする、また遮光するためにメイン像の光量や解像度が低下するという新たな問題が生じる。
【００１２】
本発明の目的は、イメージセンサの出力信号から、信号処理技術でそのゴースト像やフレアノイズを抑制する方法および装置を提供することにある。
【課題を解決するための手段】
【００１３】
正立等倍レンズアレイで得られる画像は、物体面上の元画像に対し、正立等倍レンズアレイ固有のインパルス応答特性（すなわち、物体面の点像に対して、結像面に発生する結像点、ゴースト像やフレアノイズを含んだ特性）を畳み込んだ画像となる。したがって、そのインパルス応答特性を解析、あるいは、計算や実測で求め、畳み込み演算（コンボリューション演算）の逆演算（デコンボリューション）を施せば、元画像が得られる。これにより、ゴースト像，フレアノイズの抑制を行うことが可能となる。
【００１４】
本発明によれば、正規位置に置かれた点像である光源の光がレンズアレイを通って結像した場合に、メインの像とゴースト像等の位置や強度分布を測定して結果情報を記憶しておく。次に実際の物体が作る像（ゴースト像等を含む）の位置や強度分布の情報と、記憶されている結果情報とを用いてデコンボリューション演算処理を行うことによって、ゴースト等が低減された像の位置と強度分布情報を得る。
【発明の効果】
【００１５】
本発明によれば、レンズアレイが凸レンズが規則的に配列された正立等倍レンズアレイであるため、メインの像に対するゴースト像等の出現位置や強度分布に規則性が見られる。このため、インパルス応答が正確に求まる。したがって、出力画像に対し、正確にデコンボリューション演算を実施でき、イメージセンサ出力信号からゴースト像やフレアノイズを信号処理技術で除去できる。このように、演算処理によってゴースト像等を低減しているので、メインの像の光強度を低下させず、さらには、煩雑な工程を要する遮光部分の構成を簡略化することができる。
【００１６】
本発明は、原理的には、ゴースト像，フレアノイズのみならず、その光学系固有の特性（各種の収差，ＭＴＦ低下，ブレ，歪み）等も改善できる。
【発明を実施するための最良の形態】
【００１７】
本発明の原理を、１次元（ｘ軸）モデルで説明する。まず、図１に示した光学系において物体面の正規位置に点光源を設け、正立等倍レンズアレイによって結像面の位置ｘに形成される光強度分布（インパルス応答特性）を測定し、これを点光源に対応したパターン像ｒ（ｘ）とし、記憶しておく。パターン像には、ゴースト像による点像も含まれる。
【００１８】
次に、物体面にｍ（ｘ）の物体（元画像）をおいたとする。すると結像面には、ｒ（ｘ）とｍ（ｘ）の畳込み演算結果である画像
ｄ（ｘ）＝∫∞-∞ ｍ（ｘ）ｒ（ｘ−Ｌ）ｄＬ
が形成される。得られた画像ｄ（ｘ）のフーリエ変換成分（空間周波数スペクトラム）をＤ（ｆ）、ｒ（ｘ）とｍ（ｘ）のフーリエ変換成分を、それぞれＲ（ｆ），Ｍ（ｆ）とすると、
Ｄ（ｆ）＝∫∞-∞ ｄ（ｘ）ｅ-j2πfxｄｘ    （ただし、ｊ＝√−１とする）
＝∫∞-∞ ∫∞-∞ ｍ（ｘ）ｒ（ｘ−Ｌ）ｅ-j2πfxｄＬｄｘ
＝∫∞-∞ ∫∞-∞ ｍ（Ｌ）ｅ-j2πfL・ｒ（ｘ−Ｌ）ｅ-j2πf(x-L)ｄＬｄｘ
＝Ｍ（ｆ）Ｒ（ｆ）
∴Ｍ（ｆ）＝Ｄ（ｆ）／Ｒ（ｆ）
したがって、元画像のフーリエ変換成分Ｍ（ｆ）は、結像面の画像のフーリエ変換成分Ｄ（ｆ）をパターン像のフーリエ変換成分Ｒ（ｆ）で除算することから求まることがわかる。
【００１９】
求められたＭ（ｆ）を逆フーリエ変換すると、元画像
ｍ（ｘ）＝∫∞-∞ ｍ（ｆ）ｅj2πfxｄｆ
が復元される。
【００２０】
一例として、点光源による正立等倍レンズアレイのパターン像ｒ（ｘ）を、
ｒ（ｘ）＝ａδ（ｘ）＋ｂ［δ（ｘ＋Δ）＋δ（ｘ−Δ）］
とする。ｂ［  ］項はゴースト像、Δはゴースト像の出現座標である。ここでは説明のため、各変数に次の値を設定した。
【００２１】
ａ＝０．７２，ｂ＝０．１４（ａ＋２ｂ＝１，ａ：ｂ＝１：０．２）
Δ＝７．０ｍｍ
図２に、パターン像ｒ（ｘ）の光強度分布グラフを示す。横軸は、ｘ軸方向（主走査方向）座標（ｍｍ）を、縦軸は相対光強度（任意単位）を示す。３０はメイン像の光強度を、３２，３４はゴースト像の光強度をそれぞれ示している。
【００２２】
この場合、ｒ（ｘ）のフーリエ変換は、
Ｒ（ｆ）＝[ａ＋２ｂcos（２πｆΔ）]      （１）
となる。これを実数部と虚数部に分けて示したのが図３と図４である。
ここで、物体面の座標ｘ＝ｘ0 に、
ｍ（ｘ）＝δ（ｘ−ｘ0 ）
の物体（元画像）を、図５に示す様にｘ0 ＝０．３に設定した場合、結像面にあるＣＣＤ面では、ｒ（ｘ）とｍ（ｘ）の畳込み演算で表される画像
ｄ（ｘ）＝ａδ（ｘ−ｘ0 ）＋ｂ［δ（ｘ−ｘ0 ＋Δ）＋δ（ｘ−ｘ0 −Δ）
が観測され、その光強度が収集される（図６）。そのフーリエ変換は、
Ｄ（ｆ）＝[ａ＋２ｂcos（２πｆΔ）][cos（２πｆｘ0 ）−ｊsin（２πｆｘ0 ）] （２）
となる。図７と図８に、これを実数部と虚数部に分けて示す。
【００２３】
この（２）式を（１）式で除算すると
Ｍ（ｆ）＝Ｄ（ｆ）／Ｒ（ｆ）＝[cos（２πｆｘ0 ）−ｊsin（２πｆｘ0 ）]    （３）
となる。図９と図１０に、これを実数部と虚数部に分けて示す。逆に、図３のＲ（ｆ）と、図９，図１０のＭ（ｆ）との積が、図７，図８のＤ（ｆ）になっていることが視覚的に理解できる。
【００２４】
（３）式を逆フーリエ変換すると元画像
ｍ（ｘ）＝δ（ｘ−ｘ0 ）
が求まる（図５に相当）。
【００２５】
以上は、本発明の原理を１次元モデルで説明したが、実際のゴースト像は、ｘ軸（主走査）方向だけではなく、図１Ｃのゴースト像２７，２９の様にｙ軸（副走査）方向にも発生するので、２次元モデルｒ（ｘ，ｙ），ｄ（ｘ，ｙ），ｍ（ｘ，ｙ），Ｒ（ｆｘ，ｆｙ），Ｄ（ｆｘ，ｆｙ），Ｍ（ｆｘ，ｆｙ）への拡張も必要になる。
【００２６】
更に、前記の説明では、インパルス応答ｒ（ｘ，ｙ）が物点の座標（ｘ0 ，ｙ0 ）に依存しない（スペースインバリアント）としたが、実際は、インパルス応答ｒ（ｘ，ｙ）が物点の座標（ｘ0 ，ｙ0 ）に依存する（スペースバリアントである）。つまり、点光源がレンズアレイのあるレンズ光軸上にある場合とレンズが隣り合う境界上にある場合、またその中間にある場合ではゴースト像の出方が異なる。
【００２７】
したがって、インパルス応答ｒ（ｘ，ｙ）も物点の座標（ｘ0 ，ｙ0 ）に依存する４変数関数ｒ（ｘ，ｙ，ｘ0 ，ｙ0）への拡張が必要となる。
【００２８】
また、デコンボリューションの手法には、先に示した周波数領域での演算手法のほか、（同じく画像データを離散データとして扱った）連立一次方程式を解く手法もある。
【００２９】
次に、本発明の正立等倍レンズアレイの信号処理方法および信号処理装置の実施例について説明する。
【００３０】
図１１は、信号処理装置の機能ブロック図である。この信号処理装置は、ライン（１次元）ＣＣＤ４０と、ＣＣＤ４０からの出力画像をフーリエ変換するフーリエ変換部４２と、インパルス応答を記憶するメモリ部４４と、除算部４６と、逆フーリエ変換部４８とを備えている。
【００３１】
これらフーリエ変換部４２と、メモリ部４４と、除算部４６と、逆フーリエ変換部４８とは、コンピュータで実現されるものである。
【００３２】
図１に示したような正立等倍レンズアレイがラインＣＣＤ４０と共に、画像スキャナの密着イメージセンサに搭載されているものとする。密着イメージセンサは、例えば原稿に対し副走査方向（ｙ軸方向）に移動され、ラインＣＣＤ４０では正立等倍レンズアレイにより結像された像を主走査方向（ｘ軸方向）に走査し、画像を読取る。
【００３３】
以下、出力画像の信号処理を、図１２に示したフローチャートをも参照しながら説明する。
【００３４】
点光源を正規位置、この場合には、図１Ａに示したｘｙ座標の原点、すなわち中央の凸レンズの光軸上に配置し、正立等倍レンズアレイで結像されたパターン像ｒ（ｘ）を、イメージセンサで読取る。すなわち、イメージセンサをｙ軸方向（副走査方向）に移動し、同時にラインＣＣＤをｘ軸方向（主走査方向）に走査し、パターン像の光強度分布を読取る（ステップＳ１）。読取られたパターン像ｒ（ｘ）は、フーリエ変換部４２に送られる。
【００３５】
フーリエ変換部４２でパターン像ｒ（ｘ）をフーリエ変換して（ステップＳ２）、フーリエ変換成分Ｒ（ｆ）を得て、Ｒ（ｆ）をメモリ部４４に記憶する（ステップＳ３）。
【００３６】
次に、実際の原稿上の元画像ｍ（ｘ）をＣＣＤ面上に結像させる。結像された画像ｄ（ｘ）を、主走査方向および副走査方向に走査し、画像ｄ（ｘ）を読取る、すなわち画像の光強度分布を読取る（ステップＳ４）。ラインＣＣＤ４０からは、画像ｄ（ｘ）がフーリエ変換部４２に送られる。
【００３７】
フーリエ変換部４２で画像ｄ（ｘ）をフーリエ変換して、フーリエ変換成分Ｄ（ｆ）を得る（ステップＳ５）。得られたＤ（ｆ）は、除算部４６に送られる。
【００３８】
除算部４６では、メモリ部４４からＲ（ｆ）を読出し、Ｄ（ｆ）／Ｒ（ｆ）の除算を行い（ステップＳ６）、除算結果Ｍ（ｆ）を、逆フーリエ変換部４８へ送る。
【００３９】
逆フーリエ変換部４８では、Ｍ（ｆ）を逆フーリエ変換し、元画像ｍ（ｘ）を復元する（ステップＳ７）。
【図面の簡単な説明】
【００４０】
【図１Ａ】２層４面の正立等倍レンズアレイの平面図である。
【図１Ｂ】２層４面の正立等倍レンズアレイの正面図である。
【図１Ｃ】２層４面の正立等倍レンズアレイの側面図である。
【図２】パターン像ｒ（ｘ）の光強度分布グラフを示す図である。
【図３】パターン像ｒ（ｘ）のフーリエ変換の実数部を示す図である。
【図４】パターン像ｒ（ｘ）のフーリエ変換の虚数部を示す図である。
【図５】ｘ＝ｘ0 における物体の画像の光強度を示す図である。
【図６】ｘ＝ｘ0 における物体の画像およびゴースト像の光強度を示す図である。
【図７】図６の光強度分布のフーリエ変換の実数部を示す図である。
【図８】図６の光強度分布のフーリエ変換の虚数部を示す図である。
【図９】Ｍ（ｆ）の実数部を示す図である。
【図１０】Ｍ（ｆ）の虚数部を示す図である。
【図１１】信号処理装置の機能ブロック図である。
【図１２】出力画像の信号処理を示すフローチャートである。
【符号の説明】
【００４１】
１０，１２  平板レンズアレイ
１４  物体面
１６  物点
１８，２４  光線
２０  ＣＣＤ面
２２，３０  メイン像
２６，２８，３２，３４  ゴースト像
４０  ラインＣＣＤ
４２  フーリエ変換部
４４  メモリ部
４６  除算部
４８  逆フーリエ変換部
【図１Ａ】
2005151387.tif 000003
【図１Ｂ】
2005151387.tif 000004
【図１Ｃ】
2005151387.tif 000005
【図２】
2005151387.tif 000006
【図３】
2005151387.tif 000007
【図４】
2005151387.tif 000008
【図５】
2005151387.tif 000009
【図６】
2005151387.tif 000010
【図７】
2005151387.tif 000011
【図８】
2005151387.tif 000012
【図９】
2005151387.tif 000013
【図１０】
2005151387.tif 000014
【図１１】
2005151387.tif 000015
【図１２】
2005151387.tif 000016