(57)【特許請求の範囲】
【請求項１】
被写体を撮像して画素毎にアナログ画像信号を取得する撮像素子と、
前記アナログ画像信号をＡＤ変換して画素毎にデジタル画像信号を生成するＡＤ変換手段と、
前記被写体と前記撮像素子の間に配された絞りと、
前記被写体と前記撮像素子の間に配され、光軸と直交する方向において、所定の点像分布関数特性となるように入射光の位相に対して変調を施す位相変調領域、および入射光の位相に対して変調を施さない非位相変調領域を有する位相変調手段を備え、前記被写体からの光を結像して前記撮像素子に受光させる光学系と、
前記デジタル画像信号に対して前記変調に対応する復元処理を施す復元処理手段とを備え、
前記復元処理手段が、前記絞りの大きさおよび前記デジタル画像信号の輝度値に応じて前記画素毎に前記復元処理の内容を変更するものであり、予め取得した代表的な点像分布関数のピーク値が前記デジタル画像信号の輝度値と等しくなるように前記点像分布関数全体を補正し、補正後の点像分布関数に基づいて作成した復元フィルタを用いて前記復元処理を行うものであることを特徴とする画像撮像装置。
【請求項２】
前記復元処理手段が、前記点像分布関数のピーク値が前記デジタル画像信号の輝度値と等しくなるように前記点像分布関数全体を補正する際に、前記ＡＤ変換のスケールにおける小数点以下を切り捨てて処理を行うものであることを特徴とする請求項１記載の画像撮像装置。
【請求項３】
前記復元処理手段が、前記デジタル画像信号の輝度値が第１の閾値よりも低い場合に、前記デジタル画像信号に対する前記復元処理を省略するものであることを特徴とする請求項１または２記載の画像撮像装置。
【請求項４】
前記復元処理手段が、前記デジタル画像信号の輝度値が第２の閾値よりも高い場合に、予め用意された復元フィルタを用いて前記デジタル画像信号に対して前記復元処理を施すものであることを特徴とする請求項１から３のいずれか１項記載の画像撮像装置。
【請求項５】
前記位相変調手段が、前記光軸の近傍に前記非位相変調領域を有し、該非位相変調領域の外側に前記位相変調領域を有するものであることを特徴とする請求項１から４のいずれか１項記載の画像撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像手段により被写体を撮像して得た画像データに対して復元処理を施して撮像手段の実効的な被写界深度を拡大する画像撮像装置に関する。
【背景技術】
【０００２】
従来より、レンズ光学系の光学伝達関数が焦点位置からある程度の範囲内で本質的に一定となるように、光軸方向における予め定められた物体距離の範囲にわたって撮像素子が設けられた位置における光学伝達関数（ＯＴＦ：Optical Transfer Function）を略一定にする光学フィルタを設けるとともに、撮影により取得した画像データの点像分布関数（ＰＳＦ：Point Spread Function）特性とは逆の特性を持つ復元フィルタに通す処理を行うことにより、焦点位置からある程度の範囲内で合焦状態となった画像を取得可能なＥＤｏＦ（被写界深度拡大、Extended Depth of Field）機能が提案されている。（例えば特許文献１、２）
このようなＥＤｏＦ機能を備えた画像撮像装置の場合、取得画像におけるＰＳＦを正確に反映した復元フィルタを用いないと正確な復元処理を行うことはできないが、実際には
絞りの大きさや撮影時に取得した画像信号の輝度値によってＰＳＦが変化するため、撮影状況に関わらず正確な復元処理を行うことは困難である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１８１３６７号公報
【特許文献２】特開２００９−１３４０２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このような問題を解消するため、特許文献１および２では、絞りの大きさによって変化するＰＳＦを考慮した復元処理を行うようにしているが、実際には絞りの大きさが変わらなくても取得画像におけるＰＳＦが変化する場合があるので、特許文献１および２の処理だけでは不十分である。
【０００５】
本発明は、上記事情に鑑みてなされたものであり、ＥＤｏＦ復元処理を行う画像撮像装置において、撮影状況に関わらず正確な復元処理を行うことが可能な画像撮像装置を提供することを目的とするものである。
【課題を解決するための手段】
【０００６】
本発明の画像撮像装置は、被写体を撮像して画素毎にアナログ画像信号を取得する撮像素子と、アナログ画像信号をＡＤ変換して画素毎にデジタル画像信号を生成するＡＤ変換手段と、被写体と撮像素子の間に配された絞りと、被写体と撮像素子の間に配され、光軸と直交する方向において、所定の点像分布関数（ＰＳＦ：Point Spread Function）特性となるように入射光の位相に対して変調を施す位相変調領域、および入射光の位相に対して変調を施さない非位相変調領域を有する位相変調手段を備え、被写体からの光を結像して撮像素子に受光させる光学系と、デジタル画像信号に対して変調に対応する復元処理を施す復元処理手段とを備え、復元処理手段が、絞りの大きさおよびデジタル画像信号の輝度値に応じて画素毎に復元処理の内容を変更するものであることを特徴とするものである。
【０００７】
本発明の画像撮像装置において、復元処理手段は、予め取得した代表的な点像分布関数のピーク値がデジタル画像信号の輝度値と等しくなるように点像分布関数全体を補正し、補正後の点像分布関数に基づいて作成した復元フィルタを用いて復元処理を行うものとしてもよい。
【０００８】
このとき、復元処理手段は、点像分布関数のピーク値がデジタル画像信号の輝度値と等しくなるように点像分布関数全体を補正する際に、ＡＤ変換のスケールにおける小数点以下を切り捨てて処理を行うものとすることが好ましい。
【０００９】
また、復元処理手段は、デジタル画像信号の輝度値が第１の閾値よりも低い場合に、デジタル画像信号に対する復元処理を省略するものとしてもよい。
【００１０】
また、復元処理手段は、デジタル画像信号の輝度値が第２の閾値よりも高い場合に、予め用意された復元フィルタを用いてデジタル画像信号に対して復元処理を施すものとしてもよい。なお、第１の閾値よりも第２の閾値の方が高い輝度値とする。
【００１１】
また、位相変調手段は、光軸の近傍に非位相変調領域を有し、非位相変調領域の外側に位相変調領域を有するものとしてもよい。
【発明の効果】
【００１２】
本発明の画像撮像装置によれば、ＥＤｏＦ復元処理を行う画像撮像装置において、絞りの大きさおよびデジタル画像信号の輝度値に応じて画素毎に復元処理の内容を変更するようにしたので、撮影状況に関わらず正確な復元処理を行うことが可能となる。
【００１３】
また、復元処理手段を、予め取得した代表的な点像分布関数のピーク値がデジタル画像信号の輝度値と等しくなるように点像分布関数全体を補正し、補正後の点像分布関数に基づいて作成した復元フィルタを用いて復元処理を行うものとすれば、デジタル画像信号の輝度値の変化を反映した適切な復元処理を行うことが可能となる。
【００１４】
このとき、復元処理手段を、点像分布関数のピーク値がデジタル画像信号の輝度値と等しくなるように点像分布関数全体を補正する際に、ＡＤ変換のスケールにおける小数点以下を切り捨てて処理を行うものとすれば、撮影により取得したアナログ画像信号をＡＤ変換する際の量子化誤差分まで反映した補正を行うことができるので、より正確に復元処理を行うことが可能となる。
【００１５】
また、一般に、デジタル画像信号の輝度値がある程度以上低い領域では、点像に対するフレア成分が低すぎてほとんど検出できないため、復元処理を行ったとしても効果はあまり見込めない。従って、復元処理手段は、デジタル画像信号の輝度値が第１の閾値よりも低い場合に、デジタル画像信号に対する復元処理を省略するものとすれば、不要な計算コストの増加を抑えることができる。
【００１６】
また、一般に、デジタル画像信号の輝度値がある程度以上高い領域では、デジタル画像信号の輝度値の変化に対して点像分布関数の変化が小さくなるので、このような領域において、上記のように予め取得した代表的な点像分布関数のピーク値をデジタル画像信号の輝度値と等しくなるように補正し、補正後の点像分布関数に基づいて作成した復元フィルタを用いて復元処理を行うようにすると、不要な計算コストの増加を招くので好ましくない。従って、復元処理手段は、デジタル画像信号の輝度値が第２の閾値よりも高い場合に、予め用意された復元フィルタを用いてデジタル画像信号に対して復元処理を施すものとすれば、不要な計算コストの増加を招くことなく、適切な処理を行うことができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施の形態にかかる画像撮像装置の構成を示すブロック図
【図２】上記画像撮像装置における光学系の縦収差を示す図
【図３】上記画像撮像装置における絞りと光学系との関係を示す図
【図４】上記画像撮像装置における絞りの状態と点像分布関数との関係を示す図
【図５】上記画像撮像装置における絞りの大きさとデジタル画像信号の輝度値との関係を示す図
【図６】図５における領域１０２のＰＳＦの一例を示す図
【図７】図５における領域１０３のＰＳＦの一例を示す図
【図８】図５における領域１０４のＰＳＦの一例を示す図
【図９】図５における各領域のＭＴＦを示す図
【図１０】上記画像撮像装置における復元処理時の処理を示すフローチャート（１）
【図１１】上記画像撮像装置における復元処理時の処理を示すフローチャート（２）
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態について図面を参照して詳細に説明する。図１は本発明の一実施の形態にかかる画像撮像装置の構成を示すブロック図、図２は上記画像撮像装置における光学系の縦収差を示す図、図３は上記画像撮像装置における絞りと光学系との関係を示す図、図４は上記画像撮像装置における絞りの状態と点像分布関数との関係を示す図である。
【００１９】
画像撮像装置１０は、絞り１１、この絞り１１を制御して絞りの大きさを調節する絞り制御部１２、被写体５から来た光を撮像素子１４上に結像するための光学系１３、被写体を撮像して画素毎にアナログ画像信号を取得する撮像素子１４、アナログ画像信号をＡＤ変換して画素毎にデジタル画像信号を生成するＡＤ変換部１５、デジタル画像信号に対してＥＤｏＦ復元処理を行う復元処理部１６、デジタル画像信号の輝度値を検出する輝度信号検出部１７、デジタル画像信号の輝度値に基づいてＥＤｏＦ復元処理における復元フィルタを生成する復元フィルタ生成部１８、デジタル画像信号に対して種々の画像処理を施す画像処理部１９、記録媒体にデジタル画像信号を記録する画像記録部２０、デジタル画像信号を表示するモニタ等の画像表示部２１より構成される。なお、本発明の復元処理手段は、復元処理部１６、輝度信号検出部１７および復元フィルタ生成部１８から構成される。
【００２０】
また、上記以外にも、光軸と直交する方向において、図２に示すように領域Ａ、Ｂ、Ｃで異なる光学伝達関数（ＯＴＦ：Optical Transfer Function）を有し、入射光の位相に対して変調を施す位相変調領域、および入射光の位相に対して変調を施さない非位相変調領域を有する位相変調手段を備えている。
【００２１】
光学系１３は、図３に示すように、レンズと位相変調手段とが一体的に構成されており、レンズが、中央部（図中領域Ｃ）は非位相変調領域としてレンズの本来の光学特性を有し、周辺部（図中領域ＡおよびＢ）は位相変調領域としてレンズの本来の光学特性および所定の位相変調特性を併せて有するものである。なお、領域ＡとＢは異なる位相変調特性を有するものである。このレンズは、具体的には、図２に示すような縦収差特性を有する三段球面収差レンズとすればよい。このような態様とすることにより、レンズおよび位相変調手段に係る部品点数を削減できるため、構成を簡素化することが可能となる。
【００２２】
なお、このような固定焦点レンズの課題としては、近側における文字やバーコードの可読性能が低いことが挙げられる。焦点が合えば文字やバーコードは読めるが、一般的に固定焦点レンズの場合は無限遠の画質を重視するため、通常は焦点は無限遠に合わせられる。また、ＥＤｏＦレンズを用いると、取得画像に対して強い画像処理が施されることになるためバーコードが読めないこともある。
【００２３】
そこで、上記のようなレンズと位相変調手段とが一体的に構成されたレンズを用いる場合、絞りを小さくした場合に、近側に焦点があうレンズとすることで、明るさは落ちるものの、文字やバーコードの可読性能が上がるというメリットがある。なお、近側の撮影(例えば、張り紙やホームパーティーやバーコード等の撮影)の場合はフラッシュを使用することが可能であるため、明るさを補うことも可能である。上述の通り、レンズの外周部の焦点位置を無限遠に、レンズの中心付近の焦点位置を近側にすることで、バランスの良いＥＤｏＦレンズとすることができる。
【００２４】
なお、本発明は、上記のようにレンズと位相変調手段とを一体的に構成する態様に限るものではなく、位相変調手段をフィルタとして別体に構成してもよい。
【００２５】
上記光学系１３は、絞り１１と組み合わせた場合、絞り１１の大きさ（開度）によって、取得画像データにおける点像分布関数（ＰＳＦ：Point Spread Function）特性が変化する。具体的には、図３（Ａ）に示すように絞り１１の大きさを位相変調手段の領域Ａ−Ｃまで全て含む大きさとした場合、図４のＡ-Ｃに示すように点像の鮮鋭度が低く、また周辺部分にフレアが多く検出されるようになる。また、図３（Ｂ）に示すように絞り１１の大きさを位相変調手段の領域Ｂ−Ｃまで含む大きさに絞った場合、図４のＢ-Ｃに示すようにＡ-Ｃと比較して点像の鮮鋭度が向上し、また周辺部分のフレアも少なく検出されるようになる。また、図３（Ｃ）に示すように絞り１１の大きさを位相変調手段の領域Ｃのみ含む大きさに絞った場合、図４のＣに示すようにＢ-Ｃと比較して点像の鮮鋭度がさらに向上し、また周辺部分のフレアもほとんど検出されなくなる。
【００２６】
撮像素子１４は、ＣＣＤセンサやＣＭＯＳセンサ等の固体撮像素子が好適であるが、特に限定は無く、どのようなものを用いてもよい。
【００２７】
復元処理部１６は、デジタル画像信号に対して画素毎にＥＤｏＦ復元処理を行うものであり、ここで処理の内容について具体的に説明を行なう。図５は上記画像撮像装置における絞りの大きさとデジタル画像信号の輝度値との関係を示す図、図６は図５における領域１０２のＰＳＦの一例を示す図、図７は図５における領域１０３のＰＳＦの一例を示す図、図８は図５における領域１０４のＰＳＦの一例を示す図、図９は図５における各領域のＭＴＦを示す図である。
【００２８】
ＡＤ変換部１５のおける量子化ビット数を１０ｂｉｔとした場合、絞りの大きさと取得画像におけるデジタル画像信号の輝度値との関係は図５に示すようになる。
【００２９】
絞り１１の大きさが位相変調手段の領域Ｃのみ含む大きさの領域１０１では、光学系１３における位相変調領域が全く使用されないため、ＥＤｏＦ復元処理が不要となる。従って、この領域１０１では、デジタル画像信号の輝度値に関わらず、ＥＤｏＦ復元処理は行なわない。
【００３０】
絞り１１の大きさが位相変調手段の領域Ａ、Ｂを含む大きさの領域１０２、１０３、１０４では、光学系１３における位相変調領域が使用されるためＥＤｏＦ復元処理が必要となるが、このとき、デジタル画像信号の輝度値に応じて処理の内容を変更する。
【００３１】
具体的には、図６−８に示すように、デジタル画像信号の輝度値が異なる領域１０２、１０３、１０４では各々異なる形のＰＳＦとなるので、図９に示すように領域毎に異なるレンズ伝達関数（ＭＴＦ：Modulation Transfer Function）特性を有することになる。
【００３２】
デジタル画像信号の輝度値がある程度以上低い領域では、点像に対するフレア成分が低すぎてほとんど検出できないため、ＥＤｏＦ復元処理を行ったとしても効果はあまり見込めない。従って、絞り１１の大きさが位相変調手段の領域Ａ、Ｂを含む大きさの領域で、かつ輝度信号検出部１７によりデジタル画像信号の輝度値が閾値ａよりも低い領域１０２と検出された場合には、デジタル画像信号に対するＥＤｏＦ復元処理を省略する。
【００３３】
ここで、閾値ａは、下記（１）式で求められる値とするのが好ましい。なお、フレア値は、予め取得してある代表的なＰＳＦの最大値の画素位置から３画素以上離れた点の信号値の最大値であり、例えば、最大値に対してフレア値の強度が５％である場合はａ＝２０、３％である場合はａ＝３３となる。フレア値の強度が５％というのはフレア成分がかなり多い場合であるため、通常は３％前後、すなわちａ＝３３程度とするのが好ましい。
【００３４】
ａ＝（ＰＳＦフレア値／ＰＳＦ最大値）−１  ・・（１）
また、デジタル画像信号の輝度値がある程度以上高い領域では、デジタル画像信号の輝度値の変化に対してＰＳＦの変化が小さくなるので、このような領域では予め用意された復元フィルタを用いてデジタル画像信号に対して復元処理を施すようにしても高品質の復元処理を施すことができる。従って、絞り１１の大きさが位相変調手段の領域Ａ、Ｂを含む大きさの領域で、かつ輝度信号検出部１７によりデジタル画像信号の輝度値が閾値ｂよりも高い領域１０４と検出された場合には、予め用意された領域１０４用の復元フィルタを用いてデジタル画像信号に対してＥＤｏＦ復元処理を施す。
【００３５】
ここで、閾値ｂは、輝度値の最大値の１／４程度とすればよい。本実施の形態ではｂ＝２５６とする。なお、閾値ｂについては、デジタル画像信号の輝度値の変化に対してＰＳＦの変化が所定量以下となる境界を選べばよく、その最適な数値は装置の構成により異なるため、装置毎に最適な数値を求めることが好ましい。
【００３６】
また、絞り１１の大きさが位相変調手段の領域Ａ、Ｂを含む大きさの領域で、かつ輝度信号検出部１７によりデジタル画像信号の輝度値が閾値ａよりも高く閾値ｂよりも低い領域１０３、すなわち、デジタル画像信号の輝度値の変化に対してＰＳＦの変化が大きい領域と検出された場合には、復元フィルタ生成部１８において予め取得してある代表的なＰＳＦのピーク値をデジタル画像信号の輝度値と等しくなるように補正し、補正後のＰＳＦから光学伝達関数（ＯＴＦ：Optical Transfer Function）を求め、このＯＴＦに基づいて復元フィルタを生成する。復元処理部１６は、復元フィルタ生成部１８において生成された復元フィルタを用いてＥＤｏＦ復元処理を行う。
【００３７】
ここで、ＰＳＦのピーク値がデジタル画像信号の輝度値と等しくなるようにＰＳＦ全体を補正する方法としては、デジタル画像信号の輝度値に対する代表的なＰＳＦのピーク位置の割合を求めて、代表的なＰＳＦの波形全体の縦軸を先に求めた割合に拡大／縮小すればよいが、このときＡＤ変換のスケールにおける小数点以下を切り捨てて処理を行うものとすれば、撮影により取得したアナログ画像信号をＡＤ変換する際の量子化誤差分まで反映した補正を行うことができるので、より正確に復元処理を行うことが可能となる。
【００３８】
上記のように、ＥＤｏＦ復元処理を行ったとしても効果があまり見込めない低輝度領域１０２では、デジタル画像信号に対するＥＤｏＦ復元処理を省略し、デジタル画像信号の輝度値の変化に対してＰＳＦの変化が大きい中間輝度領域１０３では、デジタル画像信号の輝度値に基づいて新たに生成した復元フィルタを用いてデジタル画像信号に対してＥＤｏＦ復元処理を施し、デジタル画像信号の輝度値の変化に対してＰＳＦの変化が小さい高輝度領域１０４では、予め用意された復元フィルタを用いてデジタル画像信号に対してＥＤｏＦ復元処理を施し、光学系１３における位相変調領域が全く使用されない領域１０１では、デジタル画像信号の輝度値に関わらず、ＥＤｏＦ復元処理は行なわないようにすれば、不要な計算コストの増加を招かず、それでいて撮影状況に応じた適切なＥＤｏＦ復元処理を行うことが可能となる。
【００３９】
画像処理部１９は、画像データに対してＥＤｏＦ復元処理以外の種々の画像処理（例えばノイズ低減処理や鮮鋭度強調処理等）を施すものである。
【００４０】
次に上記のように構成された画像撮像装置１０におけるＥＤｏＦ復元処理時の処理について説明する。図１０は上記画像撮像装置における復元処理時の処理を示すフローチャート（１）、図１１は上記画像撮像装置における復元処理時の処理を示すフローチャート（２）である。
【００４１】
図１０のフローチャートに示すように、撮影が行なわれデジタル画像信号が取得された後、まず、絞り１１の大きさが位相変調手段の領域Ｃのみ含む大きさであるか判定し（Ｓ１０１）、Ｙｅｓの場合はＥＤｏＦ復元処理は不要であるため処理を終了する。
【００４２】
Ｓ１０１における判定でＮｏの場合は、画像データを色毎に分離し（Ｓ１０２）、各色の中で画素毎にＥＤｏＦ復元処理を行う（Ｓ１０３）。
【００４３】
具体的には、処理対象画素のデジタル画像信号の輝度値が閾値ａ以上であるか判定し（Ｓ１０４）、Ｎｏの場合はＥＤｏＦ復元処理を行ってもあまり効果は見込めないため、次の画素の処理に遷移する（Ｓ１０９）。
【００４４】
Ｓ１０４における判定でＹｅｓの場合は、さらに処理対象画素のデジタル画像信号の輝度値が閾値ｂ以下であるか判定し（Ｓ１０５）、Ｎｏの場合は予め用意した復元フィルタを用いて（Ｓ１０６）、ＥＤｏＦ復元処理を行い（Ｓ１０８）、次の画素の処理に遷移する（Ｓ１０９）。
【００４５】
Ｓ１０５における判定でＹｅｓの場合は、デジタル画像信号の輝度値に応じた復元フィルタを生成し（Ｓ１０７）、生成した復元フィルタを用いてＥＤｏＦ復元処理を行う（Ｓ１０８）。
【００４６】
ここで、Ｓ１０７における処理について、図１１のフローチャートを用いて詳細に説明する。処理対象のデジタル画像信号が入力されると（Ｓ２０１）、予め取得してある代表的なＰＳＦのピーク値がデジタル画像信号の輝度値と等しくなるようにＰＳＦ全体を補正する（Ｓ２０２）。このときの演算で、ＡＤ変換のスケールにおける小数点以下の数値が発生した場合は小数点以下を切り捨てる（Ｓ２０３）。補正後のＰＳＦからＯＴＦを求め、このＯＴＦに基づいて復元フィルタを生成し（Ｓ２０４）、生成した復元フィルタを用いてＥＤｏＦ復元処理を行う（Ｓ１０８）。
【００４７】
最後に全ての画素の処理が終了しているか判定し（Ｓ１０９）、Ｎｏの場合は次の画素を抽出して（Ｓ１１０）、Ｓ１０３の処理に遷移する。Ｓ１０５における判定でＹｅｓの場合、すなわち全ての画素に対する処理が終了した場合には、ＥＤｏＦ復元処理を終了する。
【００４８】
以上の手順により、必要な場合にＥＤｏＦ復元処理が施されたデジタル画像信号は、画像処理部１９において、ノイズ低減処理や鮮鋭度強調処理等のさらなる画像処理が施された後、画像記録部２０で記録メディア等に記録されたり、モニタ等の画像表示部２１に表示される。
【００４９】
以上、本発明の画像撮像装置について詳細に説明したが、本発明は上記実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行なってもよいのは勿論である。
【符号の説明】
【００５０】
５    被写体
１０    画像撮像装置
１１    絞り
１２    絞り制御部
１３    光学系
１４    撮像素子
１５    ＡＤ変換部
１６    復元処理部
１７    輝度信号検出部
１８    復元フィルタ生成部
１９    画像処理部
２０    画像記録部
２１    画像表示部
【図１】
0005523266.tif 000002
【図２】
0005523266.tif 000003
【図３】
0005523266.tif 000004
【図４】
0005523266.tif 000005
【図５】
0005523266.tif 000006
【図６】
0005523266.tif 000007
【図１０】
0005523266.tif 000008
【図１１】
0005523266.tif 000009
【図７】
0005523266.tif 000010
【図８】
0005523266.tif 000011
【図９】
0005523266.tif 000012