(57)【要約】【課題】  周期性がある構造を持つ光学系を備えた撮像装置に特有の画質劣化を補正し画質を改善する。【解決手段】  複数の屈折率分布型レンズが配列されたレンズアレイの各屈折率分布型レンズによって結像された正立像を、複数の受光素子が配列されたラインセンサで撮像する撮像装置から、第１の画像データを取得する取得部と、前記受光素子の前記ラインセンサ上での位置を前記レンズアレイ上のレンズの配置の周期で除算した剰余値に応じて、前記受光素子に対応する前記第１の画像データの画素に適用する鮮鋭化フィルタを求めるフィルタ設定部と、求められた鮮鋭化フィルタを前記第１の画像データの各画素に適用することにより、第２の画像データを生成するフィルタ処理部とを備える。【選択図】  図１
2011199681.tif 000002
【特許請求の範囲】
【請求項１】
複数の屈折率分布型レンズが配列されたレンズアレイの各屈折率分布型レンズによって結像された正立像を、複数の受光素子が配列されたラインセンサで撮像する撮像装置から、第１の画像データを取得する取得部と、
前記受光素子の前記ラインセンサ上での位置を前記レンズアレイ上のレンズの配置の周期で除算した剰余値に応じて、前記受光素子に対応する前記第１の画像データの画素に適用する鮮鋭化フィルタを求めるフィルタ設定部と、
求められた鮮鋭化フィルタを前記第１の画像データの各画素に適用することにより、第２の画像データを生成するフィルタ処理部と、
を備える画像処理装置。
【請求項２】
前記フィルタ設定部は、前記ラインセンサ上での基準位置と前記レンズアレイ上での基準位置とのズレ量の分、前記受光素子の位置をずらしてから、前記フィルタを設定することを特徴とする請求項１の画像処理装置。
【請求項３】
被写体と基準面との間の距離を入力する距離入力部をさらに備え、
前記フィルタ設定部は、前記剰余値と前記基準面からの距離とに対応するフィルタを求めることを特徴とする請求項２の画像処理装置。
【請求項４】
前記レンズの配置の周期、前記撮像素子の配置間隔、及び、前記イメージセンサの配置間隔のうちの１つ以上を取得する設計パラメタ取得部をさらに備え、
前記フィルタ設定部は、前記レンズの配置の周期及び前記撮像素子の配置間隔のうちの少なくとも一方が異なる場合は、異なるフィルタを設定することを特徴とする請求項３の画像処理装置。
【請求項５】
被写体と前記基準面との間の距離を測定する距離測定部、前記撮像装置、及び、請求項４の画像処理装置を備えることを特徴とする画像読取装置。
【発明の詳細な説明】
【技術分野】
【０００１】
画像読取装置から得られた画像を鮮明にするための画像処理装置に関する。
【背景技術】
【０００２】
スキャナ、ファクシミリ、多機能周辺装置（ＭＦＰ，Ｍｕｌｔｉｆｕｎｃｔｉｏｎ  Ｐｅｒｉｐｈｅｒａｌ）及び複写機は紙の原稿を読み取るための画像読取装置を備える。画像読取装置には、密着光学系を採用する撮像装置（ＣＩＳ，  Ｃｏｎｔａｃｔ  Ｉｍａｇｅ  Ｓｅｎｓｏｒ）を有するものがある。ＣＩＳはレンズアレイとラインセンサを有し、原稿を一列ずつ読み取る。ＣＩＳはスキャナの読み取り台に密着した原稿にピントが合うように設計される。そのため、原稿が読み取り台から浮いていると、スキャンされた画像がボケる。
【０００３】
次のような手順で作られたフィルタを用いてボケを補正する装置がある。まず、理想的な条件でスキャンされた画像と、原稿を意図的に浮かせてスキャンされた画像との組を、予め複数の原稿について求める。この画像の組を用いて原稿と読み取り台との隙間による周波数特性の変化を推定し、周波数特性の変化を打ち消すようにフィルタを求める。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特登３０２８５１８
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、従来の装置は、ＰＳＦ（点広がり関数：Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）が位置に依らず不変であるということを仮定する。
【０００６】
画質劣化はＰＳＦによって特徴付けられる。ＰＳＦは受光素子から見たレンズの形に依存する。ＣＩＳは複数のレンズを有するレンズアレイと複数の受光素子を有するイメージセンサとを備えるので、受光素子単位でＰＳＦが変化する。レンズの直径Ｒの定数倍だけ離れた２点におけるＰＳＦの形は同じであるが、それ以外の場合はＰＳＦの形が異なる。したがって、ＣＩＳで撮像された画像にはそのまま適用できない。
【０００７】
また、ＣＩＳを採用するスキャナでは、原稿上の一本の線が画像上で複数の線に増えるという独特な画質劣化も発生する。そのため、画面全域に同じ鮮鋭化フィルタを用いたフィルタリングを行うと、この独特な画質劣化が起こった場合には、増えた線の１つ１つを強調してしまい、画質がかえって劣化する。
【０００８】
従来技術にはＰＳＦが周期性を持って変化する撮像装置には対応できないという問題があった。本発明は、上記従来技術の問題点を解決するためになされたものであって、周期性がある構造を持つ光学系によるＰＳＦの周期的な変化の影響を補正し、鮮鋭な画像を得ることを可能とする画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明の一実施形態に係る画像処理装置は、複数の屈折率分布型レンズが配列されたレンズアレイの各屈折率分布型レンズによって結像された正立像を、複数の受光素子が配列されたラインセンサで撮像する撮像装置から、第１の画像データを取得する取得部と、前記受光素子の前記ラインセンサ上での位置を前記レンズアレイ上のレンズの配置の周期で除算した剰余値に応じて、前記受光素子に対応する前記第１の画像データの画素に適用する鮮鋭化フィルタを求めるフィルタ設定部と、求められた鮮鋭化フィルタを前記第１の画像データの各画素に適用することにより、第２の画像データを生成するフィルタ処理部とを備える。
【発明の効果】
【００１０】
本発明によれば、レンズアレイとイメージセンサからなる撮像装置特有のＰＳＦの周期的な変化に対応しつつ、画像の画質を改善することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態の画像処理装置のブロック図。
【図２】第１の実施形態の画像処理装置の動作を表すフローチャート。
【図３】第１の実施形態における浮き量の概念を表す図。
【図４】第１の実施形態で利用するＣＩＳの構造を表す図。
【図５】第１の実施形態のＣＩＳの拡大図。
【図６】第１の画像データを表す図。
【図７】第１の実施形態で利用するフィルタ係数算出部のブロック図。
【図８】第１の実施形態で利用するフィルタ係数算出部の動作を表すフローチャート。
【図９】第１の実施形態で利用する撮像装置のイメージセンサの拡大図。
【図１０】変形例のＣＩＳの図。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について説明する。
【００１３】
（第１の実施形態）
図１は、第１の実施形態の画像処理装置のブロック図である。この画像処理装置は、スキャナから第１の画像データを取得する取得部１０１と、鮮鋭化フィルタを求めるフィルタ設定部１０２と、第１の画像データに鮮鋭化フィルタ処理を行って第２の画像データを求めるフィルタリング処理部１０３とを備える。
【００１４】
図３は取得部１０１に第１の画像データを供給するスキャナの断面図である。原稿３０１はガラスなどで作られた透明な読み取り台３０２の上に置かれてスキャンされる。ＣＩＳ３０３は１ライン分の画像データをスキャンし、その後に次のラインをスキャンするための位置に移動する。スキャンと移動を繰り返すことで、原稿全体の撮像データが得られる。以下、ＣＩＳ３０３が移動する方向を主走査方向と呼ぶ。
【００１５】
図４はＣＩＳ３０３の上面図である。ＣＩＳ３０３は１ライン分の画像データを得るための複数の素子（受光素子）を有するイメージセンサ４０１と、イメージセンサ４０１上に正立像を結像するレンズ４０２のレンズアレイを有する。本実施形態のイメージセンサ４０１は、素子が一列に並んだラインセンサである。本実施形態のレンズ４０２は屈折率分布型レンズ（ＧＲＩＮレンズ／Ｇｒａｄｉｅｎｔ  Ｉｎｄｅｘ  Ｌｅｎｓ）である。レンズ４０２のそれぞれはイメージセンサ４０１上に正立等倍像を作る。以下、イメージセンサ４０１及びレンズ４０２を並べた方向を副走査方向と呼ぶ。
【００１６】
フィルタ設定部１０２は、イメージセンサ４０１上の基準点と各画素に対応する素子との間の距離をレンズ４０１の直径で除算した剰余に応じてフィルタ係数を設定する。剰余値とフィルタ係数は一対一に対応している。任意の複数の剰余値のそれぞれに対して、異なるフィルタ係数が対応する。
【００１７】
ＣＩＳ３０３の副走査方向の長さは対象とする原稿のサイズとほぼ同じである。Ａ３の原稿に対応するためには数１０センチメートル程度の長さが必要とされる。レンズ４０２のそれぞれは原稿の狭い範囲の正立等倍像を作ることができる。アレイ状に配置されたレンズ４０２のそれぞれから得られる像を重ね合わせることにより、原稿全体の像が得られる。また、数１０センチメートルの大きさのイメージセンサを１チップで作ることは難しいため、通常は複数のイメージセンサ４０１を副走査方向に一列に並べる。その際、イメージセンサ４０１間に隙間δが生じることがある。
【００１８】
図５は図４の拡大図である。図５を用いてＰＳＦとレンズの形との関係を説明する。本実施形態では、レンズの直径Ｒと素子のサイズｐとの間にＲ＝３．５×ｐという関係を仮定する。また、本実施形態では一番左のレンズ５０２の端を基準位置Ｂと仮定し、イメージセンサの一番左端の画素５０５の中心が基準位置Ｂであると仮定する。
【００１９】
基準位置Ｂから素子５０１の中心Ｃ５０１までの距離Ｌ５０１は２ｐである。素子５０１の中心Ｃ５０１はレンズ５０２の左端から距離Δ５０１のところにある。図５では基準位置Ｂとレンズ５０２の左端が一致しているので距離Δ５０１も２ｐである。レンズの半径は０．５Ｒ＝１．７５ｐである。よって、レンズ５０２の中心Ｃ５０２から素子５０１の中心Ｃ５０１までの距離ｄ５０１は０．２５ｐである。レンズ５０２の中心Ｃ５０２は素子５０１の上にある。同様に、レンズ５０４の左端から素子５０３の中心Ｃ５０３までの距離Δ５０３は２ｐであるので、レンズ５０４の中心Ｃ５０４から素子５０３の中心Ｃ５０３までの距離ｄ５０３も０．２５ｐである。レンズ５０４の中心Ｃ５０４は素子５０３の上にある。したがって、素子５０１から見たレンズ５０２の形と素子５０３から見たレンズ５０４の形は一致する。この場合、素子５０１でのＰＳＦの形は、素子５０３でのＰＳＦの形と一致する。
【００２０】
一方、レンズ５０７の左端から素子５０６の中心Ｃ５０６までの距離Δ５０７は２．５ｐであるので、レンズ５０７の中心Ｃ５０７から素子５０６の中心Ｃ５０６までの距離ｄ５０６は０．７５ｐである。レンズ５０７の中心Ｃ５０７は素子５０６の上には無い。したがって、素子５０６から見たレンズ５０７の形は素子５０１から見たレンズ５０２の形とは異なる。この場合、素子５０６でのＰＳＦの形は素子５０１でのＰＳＦの形とは異なる。
【００２１】
図２は、本実施形態に係わる画像処理装置の動作を示すフローチャートである。
【００２２】
取得部１０１は、撮像装置から第１の画像データを取得するとともに、各画素の信号を取得した素子の基準位置Ｂに対する相対位置Ｌｉを求める（ステップ１）。第１の画像データではイメージセンサの各素子から得られた信号が一定の法則に従って並んでいるため、各画素の信号を取得した素子を特定できる。図６は本実施形態の第１の画像データの例を示す。第１の画像データは２次元座標系（ｘ，ｙ）の各点が明度ｓ（ｘ，ｙ）を持つ画像データである。ｙは主走査方向の位置を示し、ｘはラインセンサの端から数えてｘ番目の画素から得られたデータであることを示す。
【００２３】
フィルタ設定部１０２は、基準位置Ｂに対する画素ｉの相対位置Ｌｉをレンズの直径Ｒで除算した剰余値Δｉを算出する（ステップ２）。この基準位置Ｂに対する相対位置Ｌｉは実際のセンサの構造に精度良く合わせておく必要があるが、単純な方法では実際の値とずれが生じうる。
【００２４】
まずレンズの左端である基準位置Ｂは、必ずしも図５のようにイメージセンサの左端に位置しているとは限らない。ずれる要因としては例えば製造段階での誤差が考えられる。この問題に対しては、本発明のフィルタ設定部１０２に製造誤差に対応する一つの実数であるオフセットをＬｉに加算する機能を追加することで対処できる。このオフセットはレンズとイメージセンサが一度接合されればその後は変わらないため、製造段階でレンズとイメージセンサの位置ずれを測定し画像処理装置に記憶させておいてもよい。
【００２５】
また、図４のように各イメージセンサの間には隙間δが生じるため、画像データ１上の座標ｘに画素ピッチｐを乗じたものは実際のＬｉと一致しないことがある。このようなずれは、ＣＩＳの設計パラメーターを知っていれば補正することができる。
【００２６】
前記の処理を行い正しいＬｉが得られたならば、Δｉは次の式で定義される。
【数１】
2011199681.tif 000003
【００２７】
なお、関数Ｆは小数点以下を切り捨てる。式１で得られたΔｉの値域は０以上Ｒ未満となる。Δｉが等しい２つの画素には同じＰＳＦを用いることができる。例えば図５の例では、画素５０１と基準点の間の距離Ｌ５０１は２ｐであり、Δ５０１を式１に従って算出すると２ｐとなる。同様に、画素５０３の場合はＬ５０３＝９ｐであり、式１に従うとΔ５０３＝２ｐとなる。
【００２８】
その後、フィルタ設定部１０２はΔｉおよび浮き量ｈに応じたフィルタを出力する（ステップ３）。浮き量ｈは別の手段で計測済みであるものとする。例えば、三角測量法による赤外線変位センサを用いた測距センサの出力を利用する。Δｉに応じたフィルタの算出には、例えば、各Δｉに対応するＰＳＦから算出した逆フィルタを用いる。浮き量ｈとΔｉ従ってレンズの配置が確定すればＰＳＦは光線追跡などの手法を用いて推定できる。
【００２９】
最後にフィルタリング処理部１０３は、フィルタ設定部１０２から出力されたフィルタ係数を用いて取得部１０１から取得した第１の画像データをフィルタリングし、画素ｉの位置における第２の画像データを生成する（ステップ４）。フィルタリングを行う際には図４で示したイメージセンサの隙間δについても考慮する必要がある。この隙間δの影響について図９を用いて説明する。
【００３０】
図９はＣＩＳ３０３のイメージセンサ４０１の一部分を拡大した図である。２つのイメージセンサ９０１と９０２がイメージセンサの画素ピッチと同じ距離ｐの間隔で配置されている。このような撮像装置から入力された撮像結果に、副走査方向に幅５ｐｉｘｅｌ、主走査方向に幅１ｐｉｘｅｌのフィルタをかける場合を一例として説明する。
【００３１】
フィルタは一般的に画素が等しい間隔で配置されていることを前提に設計される。そのため、素子９０５の位置に対応する画素のフィルタリング結果を得る場合は、素子９０３、９０４、９０５、９０６及び９０７から得られた撮像データを用いてフィルタリングを行っても問題はない。しかし、素子９０６から素子９０４と反対側に２ｐ離れた位置には素子が存在しない。画素が存在しないため、フィルタリングが実行できない。この問題に対応するには、素子９０６から素子９０４と反対側に２ｐ離れた位置の信号を補間すればよい。例えば、素子９０８から得られた信号の代わりに素子９０７の信号と素子９０８の信号の平均を用いてもよい。
【００３２】
このような画素の補間を行うのであれば、イメージセンサの間隔は画素ピッチｐの定数倍であることが望ましい。例えば素子９０７と素子９０８の間隔が１．５ｐである場合、画素９０７のフィルタリングを行うために２回の補間処理が必要である。なぜならば、素子９０７から素子９０６の反対側に１ｐ離れた位置だけでなく２ｐ離れた位置にも素子が存在しないためである。
【００３３】
なお、撮像装置側でイメージセンサの隙間δを補間している場合、もしくは画素の配置に合わせた逆フィルタ算出が実行可能な場合は、前述の処理は行わなくても良い。
【００３４】
このように、第１の実施形態に係わる画像処理装置は、レンズの直径Ｒと等しい間隔の２点に対しては互いに同じフィルタ係数を利用してフィルタリングを行い、それ以外の場合は異なるフィルタ係数でフィルタリングを行う。これにより、スキャンする位置によるＰＳＦの変化に応じた処理を行い、復元結果の画質を高めることが可能となる。
【００３５】
なお、本実施形態の説明では図４のようにレンズが一列に並んだＣＩＳを例に用いられたが、例えば図１０に示したようなレンズが二列に並んだＣＩＳでも構わない。これらのＣＩＳもレンズの直径または半径で周期が決まる繰り返し構造を持っているため、本発明の適用が可能である。本発明は、周期性がある構造を持った光学系を備えた撮像装置であれば、前述したレンズの直径Ｒを当該光学系の構造の周期に置き換えることで適用可能である。
【００３６】
（第１の実施形態の変形例）なお、フィルタ設定部１０２には以下の５点の変更を加えて実施することも可能である。
【００３７】
（第１の変形例）第１の実施形態では、オフセットはセンサとレンズの相対位置を測定した結果を用いていた。本変形例のフィルタ設定部は、撮像装置と画像処理装置が接続された段階で前記オフセットを様々に変えて画像処理した結果を確認し、画質が最高となったものをメモリに記憶させておき、以後はメモリに記憶させたオフセットを使用する。
【００３８】
（第２の変形例）第１の実施形態で述べた逆フィルタの計算には大きな計算コストを要するため、本変形例のフィルタ設定部７０２は、あらかじめ逆フィルタを算出してテーブルに蓄積し、入力されたΔｉに応じて適切なフィルタを呼び出す。
【００３９】
図７は第２の変形に対応するフィルタ設定部のブロック図である。このフィルタ設定部７０２は、予め算出されたＮ個の逆フィルタとそれに対応するΔｉの組を格納しておくフィルタ係数テーブル７０１と、入力された画素位置ｘとオフセットから適切なフィルタを呼び出すフィルタ係数選択部７０２を備える。フィルタ係数テーブル７０１にはＮ個のフィルタについてのフィルタ係数を格納することができる。テーブルのｋ番目にはΔｉ＝（ｋ−１）×Ｒ／Ｎに対応する係数が格納される。
【００４０】
図８はフィルタ設定部７０２の動作を表すフローチャートである。まずフィルタ係数選択部７０２は第１の実施形態と同様の処理でΔｉを算出する（ステップ８１）。次に得られた係数をＮ段階に量子化したＤｉを取得する（ステップ８２）。量子化の際の丸め処理には例えば四捨五入を用いることができる。最後にフィルタ係数選択部７０２はフィルタ係数テーブル７０１のＤｉ番目に格納されているフィルタ係数を出力する（ステップ８３）。これにより、小さな計算コストで適切なフィルタ係数を得る事ができる。
【００４１】
（第３の変形例）本変形例のフィルタ設定部は複数のフィルタ係数テーブルを持ち、図３に示した原稿浮き量ｈや本画像処理装置と接続されるＣＩＳに応じてフィルタ係数テーブルを切り替える。異なる浮き量・レンズ径・画素サイズに応じたテーブルをあらかじめ持っておくことで、様々な原稿浮きや設計が異なるＣＩＳにも対応することが可能になる。
【００４２】
（第４の変形例）本変形例のフィルタ設定部は、同じ原稿を理想的な条件でスキャンした画像と意図的に浮かせてスキャンした画像とを用いて、後者のフィルタリング結果と前者の二乗誤差を最小にするようなフィルタを予め学習しておく。
【００４３】
第２の変形例と同様に複数のフィルタを予めフィルタ係数テーブル７０１に保持しておき、Δｉに応じて読み出す。予め学習したフィルタ係数を用いることにより、フィルタを設定するために必要なパラメータを減らすことができる。例えば光線追跡を行ってフィルタを設定する場合にはレンズの屈折率などの情報が必要になるが、予め学習したフィルタ係数の中から選択する場合には不要である。
【００４４】
（第５の変形例）本変形例のフィルタ係数選択部７０２はオフセットが常に一定であると仮定して動作する。本変形例では、フィルタ係数選択部７０２に対するオフセットの入力が不要となり、フィルタ係数テーブル７０１にフィルタを格納する際の順序が変更される。このような仮定は例えば、第３の変形例におけるフィルタ係数の学習用のデータ取得に用いるセンサと、実際に使用するセンサが同じである場合が挙げられる。
【００４５】
なお、この画像処理装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、取得部１０１は汎用のコンピュータ装置の外部インターフェースとし、フィルタ設定部１０２およびフィルタリング処理部１０３は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、画像処理装置は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。
【００４６】
また、フィルタ設定部１０２およびフィルタリング処理部１０３は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。
【００４７】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図１】
2011199681.tif 000004
【図２】
2011199681.tif 000005
【図３】
2011199681.tif 000006
【図４】
2011199681.tif 000007
【図５】
2011199681.tif 000008
【図６】
2011199681.tif 000009
【図７】
2011199681.tif 000010
【図８】
2011199681.tif 000011
【図９】
2011199681.tif 000012
【図１０】
2011199681.tif 000013