(57)【要約】    【課題】  DOレンズを用いた撮影において、輝度の高い被写体を撮影した際に発生する不要回折光によるフレア光を、結像光の輝度が飽和している状態においても良好に補正し、高画質な画像を容易に得ることができる撮像装置に好適な画像処理装置及び画像処理方法を得ること。    【解決手段】  被写体を結像する撮像部１０、撮像部１０からの画像情報を電気的に処理する電気信号処理部３０、電気信号処理部３０から送出されてくる画像情報を記載し、出力する為の出力画像メモリ４０、各部の動作を制御するＣＰＵメモリ部２０等を有すること。【選択図】図３
2005167485.tif 000002
【特許請求の範囲】
【請求項１】
回折光学素子を含む光学系を介して被写体の像を撮像素子面上に結像することによって得られた電子画像の、該回折光学素子が原因となって生じた画質劣化成分を、該電子画像中の輝度が一定値以上の高輝度の画素の位置を検出する輝度飽和画素検出部、該輝度飽和画素検出部により検出された画素を基点として、発生した画質劣化成分の発生量を検出、もしくは推定する画像劣化成分発生量検出部、該輝度飽和画素検出部により検出された画素の周辺領域に対して発生している画質劣化成分を、該画像劣化成分発生量検出部により検出、もしくは推定された発生量を基に除去、もしくは低減する画像劣化補正処理部を有する画像劣化検出補正部を用いて、補正することを特徴とする画像処理装置。
【請求項２】
前記電子画像中の輝度が一定値以上の画素における一定値が前記撮像素子の飽和輝度値であることを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記画像劣化成分発生量検出部において、画像劣化成分を検出、もしくは推定する際に、前記回折光学素子を含む光学系の結像特性データを用いることを特徴とする、請求項１又は２に記載の画像処理装置。
【請求項４】
前記回折光学素子を含む光学系の結像特性データを保持するメモリ部を有し、前記画像劣化検出補正部がメモリ部にアクセスして前記結像特性データを参照することを特徴とする、請求項３に記載の画像処理装置。
【請求項５】
回折光学素子を含む光学系を介して被写体の像を撮像素子上に結像する手段を経て得られた電子画像に対し、該回折光学素子が原因となって生じた画質劣化成分を、該電子画像中の輝度が一定値以上の高輝度の画素の位置を検出する輝度画素検出ステップ、前記輝度画素検出ステップにより検出された画素を基点として、発生した画質劣化成分の発生量を検出、もしくは推定する画像劣化成分発生量検出ステップ、前記輝度画素検出ステップにより検出された画素の周辺領域に対して発生している画質劣化成分を、前記画像劣化成分発生量検出ステップにより検出、もしくは推定された発生量を基に除去、もしくは低減する画像劣化補正処理ステップを経て、補正することを特徴とする画像処理手法。
【請求項６】
前記電子画像中の輝度が一定値以上の画素における一定値が前記撮像素子の飽和輝度値であることを特徴とする、請求項５に記載の画像処理手法。
【請求項７】
前記画像劣化成分発生量検出ステップにおいて、画像劣化成分を検出、もしくは推定する際に、前記回折光学素子を含む光学系の結像特性データを用いることを特徴とする、請求項５又は６に記載の画像処理手法。
【請求項８】
前記結像特性データを保持するメモリ部にアクセスして前記結像特性データを参照するステップを有することを特徴とする請求項７の画像処理方法。
【請求項９】
回折光学素子を含む光学系と、該光学系による像を電気信号に変換する撮像素子とを有する撮像部、該撮像部によって得られた画像信号を処理し、出力する請求項１から４のいずれか1項の画像処理装置とを有することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関し、例えば回折光学素子（Diffractive Optics Element）を含む結像光学系を有する撮像機器によって撮影された画像を処理するとき、回折光学素子に起因する画像劣化を補正し、良好なる画像を得るのに好適なものである。
【背景技術】
【０００２】
回折光学素子は、光の回折効果を積極的に利用した光学素子であり、回折光学素子に入射する光を回折次数ごとに分岐する作用や、所定の回折次数のみを所定方向に集光させる作用などがあることが知られている。
【０００３】
例えば、集光作用を有するように設計された回折光学素子は、厚みを持たない、非球面波を生成できること、レンズ設計で言うところの分散が負の値をもつ、といった特徴がある。この為、コンパクトで収差補正に有効であり、かつ色消し効果をもつという、光学系への適応に、非常に有利な性質を持っている。
【０００４】
回折光学素子のある基準波長の光線に対する他の波長の光線の色収差の出方が通常のレンズに比べて逆方向に発生するという物理現像を利用し、レンズ面やあるいはレンズ光学系のレンズ面以外の面に回折作用を有する回折光学素子を設けて色収差を減じる方法が提案されている（例えば特許文献１〜３）。
【０００５】
一般に回折光学素子に入射した光は、複数の次数の回折光に分岐されるが、結像に用いる成分、つまり結像次数（設計次数）は一つのみであり、その他の次数成分は結像次数成分とは異なる位置に焦点を有する不要回折光として存在し、像面上に入射するとフレアとなって現われてる。そのため回折面を鋸歯上にして結像次数の回折光成分にのみ光を集中させるといった工夫がされてきたが、可視光領域に渡って不要回折光を抑えることは困難で、カメラ用の撮影光学系を構成する光学素子として実用化されることは無かった。
【０００６】
この様な問題に対して、図１に示す様に回折光学素子DOEを構成する複数の回折格子Daを積層させることにより、これまでの単層型の回折光学素子よりも不要な次数の回折光の回折効率を大幅に低減する技術が報告され、実際にその積層型の回折光学素子を搭載したDO（Diffractive Optics）レンズが発売されるまでに至っている。この積層型のDOレンズによって、色収差が良好に補正された高い結像性能を有し、かつコンパクトなカメラ用の撮影レンズが実現された。
【０００７】
しかしながら、不要な次数の回折光の回折効率が低減されたDOレンズであっても、非常に強い光量を発する被写体を撮影した際には、その強い光量に引き上げられるために不要回折光の光量も大きく発生し得ることになる。例えばあるDOレンズにおいて、図２に示すように、結像次数の回折光の結像特性に対して不要回折次数の回折光による結像特性の最高輝度値が１００００:１であるとする。このDOレンズを例えば８bitのデジタル画像取得が可能なカメラに装着して暗室中で点光源を撮影する場合、結像次数による像が８bitの範囲内で撮影されるように露出を設定した場合は不要回折次数によるフレアの最高輝度は２５６/１００００ = ０.０２５６となり、撮影画像中において全く現れない。しかし露出を１００００倍にすると、結像次数の像は完全に飽和し、さらに不要回折次数の回折光によるフレアは最高輝度が２５６bitとなり、結像次数の像と重なっていない領域において、例えば図３のようにはっきりと認識できる像となってしまう。このように、不要回折光によるフレア像の発生は、撮影環境によっては不可避なものとなってしまう。
【０００８】
近年、デジタルカメラのようなデジタル撮像機器の進化が著しいが、デジタル撮像機器においてはアナログ撮像機器と異なり、CCDのような光電変換素子で取得した被写体像の電気信号を視覚的に良好な画像に変換する信号処理によって、撮影画像を加工、修正することが可能である。このような状況を踏まえて、回折面を有する光学系を用いたデジタル撮像装置において、撮影画像中の回折面によって生じる不要回折光によるフレア成分を、撮影画像自体を被写体像成分と近似して、その像に不要回折次数の回折光による結像特性と回折効率の重みを掛けてフレア像として算出し、撮影画像から減算する処理を撮像機器の信号処理部により行ない、不要回折光によるフレアが補正される撮像装置が提案されている（例えば特許文献４、５）。
【０００９】
しかしながら、実際的なDOレンズは結像次数が不要次数の回折効率よりも十分に大きく、撮影画像において結像次数の像の輝度が飽和しないような輝度では、不要回折光が視覚的に目立ってくることは殆ど無い。そのためこのような撮影において、上記特許文献４、５における手法は実際的なDOレンズを用いる場合は意味をなさない。一方、実際的なDOレンズを用いても不要回折光によるフレアが撮影画像中に現れてくるような場合においては、結像光の像の輝度は確実に飽和しているので、上記提案の手法を用いても、被写体像成分自体が輝度飽和により正確に求められないため、補正すべきフレア成分を見積もることが出来ない。また特許文献５においてはこのような輝度飽和が起こる場合には露出の異なる複数回の被写体撮影をほぼ同時に行ない、輝度飽和をしていない撮影画像を基に被写体像成分を産出する手法を提案しているが、輝度飽和がどの程度の露出でおさまるかを知る手段無くしてほぼ同時に上記撮影を行なうことは現実的には極めて困難であり、特に動きのある被写体に対しては有効な手段ではない。また、撮像機器に設定された露出では、輝度飽和を抑えられない可能性もある。
【特許文献１】特開平０６−３３１９４１号公報
【特許文献２】特開平０７−１２８５９０号公報
【特許文献３】特開平０８−０１７７１９号公報
【特許文献４】特開平０９−２３８３５７号公報
【特許文献５】特開平１１−１２２５３９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
以上のように、回折光学素子を光学系中に用いると、回折光学素子による非球面効果と負の分散効果により高い光学性能が得られる。
【００１１】
しかしながら、その反面輝度の高い被写体を撮影する場合、回折光学素子からの不要回折光によるフレアが生じてきて画質を低下させる原因となってくる。
【００１２】
本発明は、DOレンズを用いた撮影において、輝度の高い被写体を撮影した際に発生する不要回折光によるフレア光を、結像光の輝度が飽和している状態においても良好に補正し、高画質な画像を容易に得ることができる撮像装置に好適な画像処理装置及び画像処理方法の提供を目的とする。
【課題を解決するための手段】
【００１３】
本発明の画像処理装置は、回折光学素子を含む光学系を介して被写体の像を撮像素子面上に結像することによって得られた電子画像の、該回折光学素子が原因となって生じた画質劣化成分を、該電子画像中の輝度が一定値以上の高輝度の画素の位置を検出する輝度飽和画素検出部、該輝度飽和画素検出部により検出された画素を基点として、発生した画質劣化成分の発生量を検出、もしくは推定する画像劣化成分発生量検出部、該輝度飽和が訴検出部により検出された画素の周辺領域に対して発生している画質劣化成分を、該画像劣化成分発生量検出部により検出、もしくは推定された発生量を基に除去、もしくは低減する画像劣化補正処理部を有する画像劣化検出補正処理部を用いて、補正することを特徴としている、
この他本発明の画像処理装置は、
・前記電子画像中の輝度が一定値以上の画素における一定値が前記撮像素子の飽和輝度値であること、
・前記画像劣化成分発生量検出部において、画像劣化成分を検出、もしくは推定する際に、前記回折光学素子を含む光学系の結像特性データを用いること、
・前記回折光学素子を含む光学系の結像特性データを保持するメモリ部を有し、前記画像劣化検出補正部がメモリ部にアクセスして前記結像特性データを参照すること、
・前記回折光学素子が原因となって生じた画質劣化成分が、該回折光学素子を含む光学系において結像に不要回折次数による回折光であること、
・前記画像劣化補正処理部において、画像劣化成分を補正する際に、前記回折光学素子を含む光学系の結像特性データを用いること、
・前記結像特性データが結像回折次数との相対的な位置関係の情報を有する不要回折次数による回折光の点像分布関数であること、
・前記相対的な位置関係が、結像回折次数と不要回折次数の像面上における主光線の位置関係、もしくは点像分布関数の重心の位置関係であること、
・前記不要回折次数の回折光の点像分布関数が、前記電子画像を撮影する際に用いた撮像機器の全ての表色系毎に対して得られたものであること、
・前記不要回折次数の回折光の点像分布関数が、前記被写体の前記高輝度の画素の分光特性となりうる光源の分光特性、および前記電子画像を撮影する際に用いた撮像機器を構成する光学系の分光透過特性、前記光学系の回折光学素子における設計回折効率特性、もしくは測定回折効率特性、前記撮像素子の分光感度特性、色分解系の分光特性の全て、もしくはいずれかの積、もしくはいずれかによって重みつけられて得られたものであること、
・前記被写体の前記高輝度の画素の分光特性となりうる光源の分光特性が、昼光の分光特性、光源ランプの分光特性、もしくは色温度特性であること、
・前記回折光学素子を含む光学系の結像特性データが、撮影環境に応じて得られたものであること、
・前記撮影環境が、前記被写体の距離、前記光学系のズームステート、Ｆナンバー、繰り出し量、画角のいずれか、もしくは組み合わせであること、
・前記画像劣化成分発生量検出部において、画像劣化成分の発生量を検出、もしくは推定する手法が、前記高輝度の画素を前記回折光学素子を含む光学系の結像次数の結像位置とし、その位置を基準として不要回折次数の結像特性の位置を設定し、電子画像中の不要回折次数の回折光の発生量を検出、もしくは推定すること、
・前記不要回折次数の回折光の発生量検出、もしくは推定と同時に、不要回折次数の回折光の発生していない状態での被写体像の強度を検出、もしくは推定すること、
・前記不要回折次数の回折光の発生量検出、もしくは推定を行なう処理において、不要回折次数の回折光の結像特性の輝度レベルと、輝度オフセット量とを変数として、不要回折次数回折光の結像特性に基づく画像データに前記輝度レベルを掛け、前記輝度オフセット量を足し合わせて画像データとし、電子画像中の位置対応する領域の画像データとの一致度を測る一致度算出処理を経て、複数の変数値に対して得られた一致度から最適な前記輝度レベルと輝度オフセット量を決定する処理を行なうこと、
・前記画像データとの一致度を測る処理の対象領域が、不要回折次数の回折光の結像特性を表す画像データ領域と同じ大きさであること、もしくは不要回折次数の回折光の結像特性を表す画像データ領域と同じ縦横幅の矩形領域であること、もしくは不要回折次数の回折光の結像特性を表す画像データ領域より任意の画素数だけ大きい縦横幅の矩形領域であること、
・前記輝度オフセット量が、画素位置変化に対して一定であること、もしくは線形に変化すること、もしくは非線形に変化すること、
・前記輝度オフセット量の初期設定値が、前記不要回折次数の回折光の外郭に接する、前記不要回折次数の回折光外郭よりも大きい領域に対応する電子画像での画素領域の輝度によって与えられること、
・前記一致度算出処理において、電子画像の輝度が飽和している領域は一致度算出の対象から除外すること、
・前記不要回折次数の回折光の発生量検出、もしくは推定の処理を、撮影において使用された撮像機器の表色系毎に対して行なうこと、
・前記画像劣化補正処理部において、画像劣化成分を補正する手段が、前記高輝度の画素を前記回折光学素子を含む光学系の結像次数の結像位置とし、その位置を基準として不要回折次数の結像特性の位置を設定し、前記画像劣化成分発生量検出部で検出、もしくは推定された不要回折次数の回折光の発生量、及び不要回折次数の結像特性データを用いて補正すること、もしくは不要回折次数の回折光の発生量によっては補正しないこと、
・前記画像劣化補正処理部において、画像劣化成分を補正する手段が、前記画像劣化成分発生量検出部で検出、もしくは推定された画像劣化成分の発生量と不要回折次数の回折光の結像特性データに基づく画像データの積によって得られる画像データを、前記電子画像の対象位置から減算処理すること、
・前記画像劣化補正処理を、前記電子画像の撮影に用いられた撮像機器の表色系ごとに行なうこと、
・前記減算処理において、前記電子画像における輝度飽和画素に対しては減算処理を行なわないこと、
・前記画像劣化補正処理部において、画像劣化成分を補正する手段が、前記画像劣化成分発生量検出部で検出、もしくは推定された不要回折次数の回折光の発生量、不要回折次数の回折光の発生していない状態での被写体像の強度の両方、もしくは何れかと、及び不要回折次数の回折光の結像特性データを用いて補正すること、
・前記画像劣化補正処理が、各表色系毎の、不要回折次数の回折光の発生量と不要回折次数の回折光の発生していない状態での被写体像の強度の両方、もしくは何れかから、電子画像中の不要回折次数の回折光の発生領域に対して色変換処理を行なうこと、
・前記色変換処理が、電子画像中の不要回折次数の回折光の発生領域での彩度を変化させる処理であること、
等を特徴としている。
【００１４】
本発明の画像処理方法は、回折光学素子を含む光学系を介して被写体の像を撮像素子上に結像する手段を経て得られた電子画像に対し、該回折光学素子が原因となって生じた画質劣化成分を、該電子画像中の輝度が一定値以上の高輝度の画素ノ位置を検出する輝度画素検出ステップ、前記輝度画素検出ステップにより検出された画素を基点として、発生した画質劣化成分の発生量を検出、もしくは推定する画像劣化成分発生量検出ステップ、前記輝度画素検出ステップにより検出された画素の周辺領域に対して発生している画質劣化成分を、前記画像劣化成分発生量検出ステップにより検出、もしくは推定された発生量を基に除去、もしくは低減する画像劣化補正処理ステップを経て、補正することを特徴としている。
【００１５】
この他本発明の画像処理方法は、
・前記電子画像中の輝度が一定値以上の画素における一定値が前記撮像素子の飽和輝度値であること、
・前記画像劣化成分発生量検出ステップにおいて、画像劣化成分を検出、もしくは推定する際に、前記回折光学素子を含む光学系の結像特性データを用いること、
・前記結像特性データを保持するメモリ部にアクセスして前記結像特性データを参照するステップを有すること、
・前記回折光学素子が原因となって生じた画質劣化成分が、前記回折光学素子を含む光学系において結像に不要な回折次数による回折光であること、
・前記画像劣化補正処理ステップにおいて、画像劣化成分を補正する際に、前記回折光学素子を含む光学系の結像特性データを用いること、
・前記結像特性データが結像回折次数との相対的な位置関係の情報を有する不要回折次数の回折光の点像分布関数であること、
・前記相対的な位置関係が、結像回折次数と不要回折次数の像面上における主光線の位置関係、もしくは点像分布関数の重心の位置関係であること、
・前記不要回折次数の回折光の点像分布関数が、前記電子画像を撮影する際に用いた撮像機器の全ての表色系毎に対して得られたものであること、
・前記不要回折次数の回折光の点像分布関数が、前記被写体の前記高輝度の画素の分光特性となりうる光源の分光特性、および前記電子画像を撮影する際に用いた撮像機器を構成する光学系の分光透過特性、前記光学系の回折光学素子における設計回折効率特性、もしくは測定回折効率特性、前記撮像素子の分光感度特性、色分解系の分光特性の全て、もしくはいずれかの積、もしくはいずれかによって重みつけられて得られたものであること、
・前記被写体の前記高輝度の画素の分光特性となりうる光源の分光特性が、昼光の分光特性、光源ランプの分光特性、もしくは色温度特性であること、
・前記回折光学素子を含む光学系の結像特性データが、撮影環境に応じて得られたものであること、
・前記撮影環境が、前記被写体の距離、前記光学系のズームステート、Ｆナンバー、繰り出し量、画角のいずれか、もしくは組み合わせであること、
・前記画像劣化成分発生量検出ステップにおいて、画像劣化成分の発生量を検出、もしくは推定する手法が、前記高輝度の画素を前記回折光学素子を含む光学系の結像次数の結像位置とし、その位置を基準として不要回折次数の結像特性の位置を設定し、電子画像中の不要回折次数の回折光の発生量を検出、もしくは推定すること、
・前記不要回折次数の回折光の発生量検出、もしくは推定と同時に、不要回折次数の回折光の発生していない状態での被写体像の強度を検出、もしくは推定すること、
・前記不要回折次数の回折光の発生量検出、もしくは推定を行なう処理において、不要回折次数の回折光の結像特性の輝度レベルと、輝度オフセット量とを変数として、不要回折次数の回折光の結像特性に基づく画像データに前記輝度レベルを掛け、前記輝度オフセット量を足し合わせて画像データとし、電子画像中の位置対応する領域の画像データとの一致度を測る一致度算出処理を経て、複数の変数値に対して得られた一致度から最適な前記輝度レベルと輝度オフセット量を決定する処理を行なうこと、
・前記画像データとの一致度を測る処理の対象領域が、不要回折次数の回折光の結像特性を表す画像データ領域と同じ大きさであること、もしくは不要回折次数の回折光の結像特性を表す画像データ領域と同じ縦横幅の矩形領域であること、もしくは不要回折次数の回折光の結像特性を表す画像データ領域より任意の画素数だけ大きい縦横幅の矩形領域であること、
・前記輝度オフセット量が、画素位置変化に対して一定であること、もしくは線形に変化すること、もしくは非線形に変化すること、
・前記輝度オフセット量の初期設定値が、前記不要回折次数の回折光の外郭に接する、前記不要回折次数の回折光外郭よりも大きい領域に対応する電子画像での画素領域の輝度によって与えられること、
・前記一致度算出処理において、電子画像の輝度が飽和している領域は一致度算出の対象から除外すること、
・前記不要回折次数回折光の発生量検出、もしくは推定の処理を、撮影において使用された撮像機器の表色系毎に対して行なうこと、
・前記画像劣化補正処理ステップにおいて、画像劣化成分を補正する手段が、前記高輝度の画素を前記回折光学素子を含む光学系の結像次数の結像位置とし、その位置を基準として不要回折次数の結像特性の位置を設定し、前記画像劣化成分発生量検出ステップで検出、もしくは推定された不要回折次数の回折光の発生量、及び不要回折次数の結像特性データを用いて補正すること、もしくは不要回折次数の回折光の発生量によっては補正しないこと、
・前記画像劣化補正処理ステップにおいて、画像劣化成分を補正する手段が、前記画像劣化成分発生量検出ステップで検出、もしくは推定された画像劣化成分の発生量と不要回折次数の回折光の結像特性データに基づく画像データの積によって得られる画像データを、前記電子画像の対象位置から減算処理すること、
・前記画像劣化補正処理を、前記電子画像の撮影に用いられた撮像機器の表色系ごとに行なうこと、
・前記減算処理において、前記電子画像における輝度飽和画素に対しては減算処理を行なわないこと、
・前記画像劣化補正処理ステップにおいて、画像劣化成分を補正する手段が、前記画像劣化成分発生量検出ステップで検出、もしくは推定された不要回折次数の回折光の発生量、不要回折次数の回折光の発生していない状態での被写体像の強度の両方、もしくは何れかと、及び不要回折次数の回折光の結像特性データを用いて補正すること、
・前記画像劣化補正処理が、各表色系毎の、不要回折次数の回折光の発生量と不要回折次数の回折光の発生していない状態での被写体像の強度の両方、もしくは何れかから、電子画像中の不要回折次数の回折光の発生領域に対して色変換処理を行なうこと、
・前記色変換処理が、電子画像中の不要回折次数の回折光の発生領域での彩度を変化させる処理であること、
等を特徴としている。
【００１６】
本発明の撮像装置は、前述した画像処理装置のうち、少なくとも１つを用いている。
【００１７】
又、前述した画像処理方法のうち少なくとも１つを利用している。
【発明の効果】
【００１８】
本発明によれば回折光学素子からの不要回折光によるフレア光に基づく画像劣化を軽減し、良好な画像を得ることができる画像処理装置及び画像処理方法が得られる。
【発明を実施するための最良の形態】
【００１９】
本発明の撮像装置は、図４、図６に示すように回折光学素子を含む光学系１１と、撮像素子１２から構成される撮像部１０、撮像機器全体の駆動命令、画像データ以外のデータ記憶を行なうCPU・メモリ部２０、撮像部１０で得られた信号（画像情報）を表示可能な映像信号に変換する、A/D変換部３１、画像データ変換部３２、画像劣化検出補正部３３、画像処理部３４、圧縮処理部３５を含む電気信号処理手段３０、出力画像を蓄積する出力画像メモリ４０を備えている。光学系１１の回折光学素子により生じる不要次数の回折像による画像劣化を低減するために、画像劣化検出補正部３３は、撮像素子１２の電気信号が飽和している画素を認識する輝度飽和画素検出部３３a、信号が飽和していると認識された画素を基点として、不要次数の回折光の発生量を検出、もしくは推定する画像劣化成分発生量検出部３３b、検出された不要次数の回折光の量を基に、不要次数のフレア光による画像劣化を軽減する画像劣化補正処理部３３cを有している。
【実施例１】
【００２０】
次に本発明の実施例１について説明する。図４は、本発明の撮像装置の実施例１であるデジタルスチルカメラのシステムブロック図である。図４に示すデジタルカメラは被写体OBの像を光学系１１により撮像素子１２面上に結像し、電気信号として取得する撮像部１０、デジタルスチルカメラの駆動命令、画像データ以外のデータ記憶を行なうCPU・メモリ部２０、電気信号を観賞可能な映像信号に変換し、画像劣化成分を補正する電気信号処理部３０、出力画像メモリ４０とを有している。このうち、撮像部１０は、光学系１１と、撮像素子１２を有している。電気信号処理部３０は、A/D変換部３１、画像データ変換部３２、画像劣化検出補正部３３、画像処理部３４、圧縮処理部３５を有している。図４中の点線の矢印は処理の流れを、実線の矢印はデータの流れを示す。
【００２１】
光学系１１はレンズ群の中に、図１に示す積層型の回折光学素子を導入した回折レンズ（DOEレンズ）を含んでいる。この回折レンズの１次回折光成分を用いることにより、光学系１１は色収差が良好に補正され、コンパクト、かつ高い結像性能を有している。該回折光成分以外の回折光である不要回折光も良好に低減されているので、本実施例のデジタルカメラの輝度のダイナミックレンジ内に収まる光強度の被写体であれば、不要回折光に基づくフレアは全く視認出来ないレベルとなる。
【００２２】
図５に実施例１のデジタルカメラの信号処理のフローチャートを示す。次に実施例１のデジタルカメラを用いて不要回折光によるフレアが発生し得るハイライトを含む被写体を撮影した際の一連の信号処理をフローチャートに沿って順次説明してゆく。
【００２３】
撮像部１０は、デジタルカメラのシャッターが押された際に、CPU２０の命令を介して光学系１１により被写体を撮像素子１２の受光面上に投影して、被写体を撮像する部位である。ここで光学系１１はズーム機能と可変絞りを有するもので、撮影時のズームステート、絞り量がCPU２０を介して検知可能な機能を有している。撮像素子１２は、受光面上に結像された像による光信号を、位置対応する受光画素（画素）ごとに電気信号に変換する単板の光電変換素子である。また、撮像素子１２はその受光部の画素に規則的な配列で配置された赤、緑、青色用のR、G、Bの各フィルタにより色分解を行なう機能を有している。撮影時の撮像素子１２の露光時間や被写体像の取得のタイミングは、CPU２０によって制御され、電気信号として取得された像のデータは、電気信号処理部３０にCPU２０の指示により転送される。
【００２４】
電気信号処理部３０に転送された画像信号は、まずA/D変換部３１に転送される。画像信号はA/D変換部３１によりデジタルデータに変換され、画像データ変換部３２に転送される。次に画像データ変換部３２により画像（階調）データに変換される。また、ここでの画像データは図７に示すように、R、G、Bのカラーフィルタの配列に応じて各画素に１表色のデータしか保持していないので、表色毎に画素補間を行なうことで各表色系とも全画素にデータが充填され、各表色系で独立した画像データが形成される。この際の画素補間処理は、画像データの輝度に非線形性を与えなければどのような形式を用いても良い。このようにして得られた各表色における画像データは、画像劣化検出補正部３３へと転送される。
【００２５】
画像劣化検出補正部３３は、図６に示すように、輝度飽和画素検出部３３a、画像劣化成分発生量検出部３３b、画像劣化補正処理部３３cを有している。画像データ変換部３２により転送されてきた各表色の画像データは、まず輝度飽和画素検出部３３aへ転送される。輝度飽和画素検出部３３aにおいて、表色系ごとに画像データの輝度飽和が起こっている画素を検出し、その画素アドレスをCPU・メモリ部２０に保持する。全表色系で上記輝度飽和画素検出処理が行なわれた後に、各表色（R,G,B）での輝度飽和画素アドレスを参照し、全ての表色系で画像輝度が飽和している画素アドレスのみを抽出し、再度CPU・メモリ部２０に保持する。前述の各表色での輝度飽和画素アドレスはこの時点で破棄する。後の処理では、この全表色系で輝度飽和が起こっている画素（画素アドレス）を基点として、不要回折光によるフレア発生量を検出し、その後にDOEフレア（回折光学素子に基づくフレア）の補正を行なう。全ての表色系で画像輝度が飽和している画素アドレスのみを基点として補正を行なうのは、一般的に不要回折光によるフレアを引き起こす強い光量の被写体は、太陽光や夜の電灯のような周辺の被写体に比べて極めて輝度の大きい白色光を放射する場合がほとんどだからである。このような光源によるハイライトが撮像機器に入射した場合、光源の色が赤、もしくは青がかった色であっても、光源の分光特性は青、もしくは赤の波長領域に裾構造を有している。不要回折光によるフレアが発生するほどのハイライトが入射すれば、この裾領域の分光特性も輝度飽和が起こるほどの光量となるので、上記のように全ての表色系で画像輝度が飽和している画素アドレスのみを基点として補正を行なうことにより、不要回折光によるフレアが発生するほどのハイライトは入射していないがたまたまある表色の画像輝度が飽和した画素に対する無駄な処理を削減することが可能となる。
【００２６】
輝度飽和画素検出部３３aにより輝度飽和画素アドレスをCPU・メモリ部２０に保持したのち、画像データは画像劣化成分発生量検出部３３bに転送される。ここでは輝度飽和画素アドレスを基点として、画像中に発生しているフレアの輝度を推定する処理を行なう。その処理に先立ち、推定に用いる不要回折光によるDOEフレアの像特性を得るために、CPU・メモリ部２０に内蔵されたデータを画像劣化成分発生量検出部３３bに転送する。
【００２７】
まず撮影時の光学系１１の各種状態（ズームステート、Fナンバー）をCPU２０が判断し、メモリ部に内蔵された該当する状態のレンズデータを画像劣化成分発生量検出部３３bに転送する。転送されるデータは、光学系１１の撮影時のズームステート、Fナンバーにおける像面上の各像高位置での各表色系の不要回折光の結像特性データと、その際の結像次数光との主光線間距離データである。不要回折光の像面（撮像素子１２面上）における像の模式図を、図８に示す。図８(a) には軸上点における、結像光である１次回折光と０,２次、及び-１,３次までの不要回折光のパターンを示している。又図８(b)には軸外点における１次回折光と０,２次、及び-１,３次までの不要回折光のパターンを示す。構成にもよるが、DOレンズの不要回折光の像は、像面から大きくデフォーカスしているために、図８（ａ）のように軸上点では同心円状、図８（ｂ）のように軸外点では楕円状の像となる。また、軸外点においては、各不要回折光の主光線座標、あるいは重心座標が、結像光の主光線座標、あるいは重心座標と一定の間隔をもって像形成される。この間隔は像高に対して決まっている。これらの不要回折光の像特性、及び結像光と不要回折光の重心座標間隔、もしくは主光線間隔は、光学系１１が回転対称であるので、アジムスが付いても像高方向に対しては不変である。これらのことより、不要回折光のデータとしては、表色系毎の軸上点における不要回折次数毎の像形状特性、複数の像高代表点における各不要回折光と結像光の符号付き重心座標間隔、各不要回折光の軸上像形状特性に対する扁平率を保持しておけば、少ないメモリ量で不要回折光の結像特性を表現することができる。また、前記軸上点における不要回折次数の像形状特性は、２次元点像分布関数を画像データ化したものでも良いが、回転対称であることから中心点を原点とした像断面の関数表現データとすれば、よりメモリの節約が可能となる。また、不要回折光の像特性は、単波長毎に得られる結像特性を、撮像機器の各種分光特性（光学系１１、各種透過フィルタ、センサ分光感度、色分解フィルタ透過特性等）と、光学系１１の回折光学素子の回折効率波長特性、更には光源の特性として、典型的な昼光分光特性、もしくはランプ特性（照明光源の分光特性）の積により重み付けして各表色系で得ておく。これら分光特性、回折効率波長特性は設計値、実測値のいずれを用いても良いが、回折効率に関しては製品個体差が生じやすいので、製品ごとに回折効率波長特性を取得して不要回折光の像特性を算出しておくことが望ましい。
【００２８】
図９に画像劣化成分発生量検出部３３bにおける不要回折光の発生量の検出フローを示す。以下、この図９のフローチャートに応じて説明を行なう。まず、CPU・メモリ部２０の輝度飽和画素アドレスを参照し、各輝度飽和画素のそれぞれに対して信号処理を行なっていく。対象画素アドレスから像高、アジムスを算出し、０,２次不要回折光像パターンを結像光の重心からの座標ずれを考慮して画像テンプレートとして作成する。この画像テンプレートの輝度、つまり不要回折光像の最大輝度と輝度オフセットの初期値を与えて新たな画像テンプレートを作成し、撮影画像中の対応する領域との差分を求め、不要回折光の輝度とオフセット量をパラメータとしてその最小自乗が得られる不要回折光の輝度を求める。その処理における輝度断面模式図を図１０に示す。撮影画像とテンプレート画像の位置合わせは、結像光の重心位置と輝度飽和している処理対象画素アドレスが一致するように位置決めすればよい。この処理を各表色について、更に全対象画素に対して行なうことで、全ての輝度飽和画素における表色毎の不要回折光によるフレアの発生量が得られる。この値をCPU・メモリ部２０に転送し、記憶させる。
【００２９】
上記処理において、不要回折光の輝度と輝度オフセットをパラメータとして与えて最適な値を算出したが、計算の収束を速めるために、輝度オフセットは撮影画像中の不要回折光の輪郭に接する領域の輝度値を参照して与えても良い。また、輝度オフセットは一定値としてテンプレートに与えたが、フレア輪郭に接する撮影画像の輝度値に応じて画像位置に対して線形、あるいは非線形に変化する傾斜をつけても良い。また、パラメータの最適化は最小自乗法を用いたが、有効にパラメータを最適化できる処理であれば、どのような手法をとっても構わない。また、得られた不要回折光の輝度値、輝度オフセット値での画像テンプレートを作成し、撮影画像の対応領域との輝度相関値を取得して輝度相関値が設定値以上であれば、不要回折光によるフレアが発生していると判断し、そうでなければ不要回折光によるフレアが発生していないとして輝度値を０設定することで、フレア未発生時に対する誤った補正処理を防ぐフローを加えても良い。また、撮影画像において、輝度が飽和している画素に対しては、不要回折光の発生量の強度推定処理を行なわないようにしても良い。それにより計算精度の劣化を防ぐことができる。
【００３０】
画像劣化成分発生量検出部３３bにおける不要回折光の発生量の検出フローが終了した後、画像データは画像劣化補正処理部３３cに転送される。画像劣化補正処理部３３cにおける不要回折光の除去処理フローを図１１に示す。CPU・メモリ部２０の輝度飽和画素アドレスを参照し、各輝度飽和画素のそれぞれに対して処理を行なっていく。対象画素アドレスを設定し、像高・アジムスを算出する。処理対象表色を決定し、発生した不要回折光を減算するための減算処理用テンプレートを、０,２次の不要回折光像パターンを結像光の重心からの座標ずれを考慮して位置決めし、前記不要回折光の発生量の検出フローで得た不要回折光の発生量を掛け合わせて作成する。その減算用テンプレートを撮影画像の対象位置から減算する。この処理を全表色系、全対象画素に行なうことにより、不要回折光によるフレアの除去が遂行される。
【００３１】
上記処理では０,２次回折光による不要回折光によるフレアのみを検出、減算したが、より高次の不要回折光によるフレアを検出、減算する処理を加えても良い。また、高次の不要回折光に対して処理を行なうかどうかの判断を、低次の不要回折光の発生量を基に行なっても良い。また輝度飽和画素検出部３３aにおいて、輝度飽和画素が存在しない場合は、画像劣化成分発生量検出部３３bにおける不要回折光によるフレア発生量の検出、画像劣化補正処理３３cにおける不要回折光によるフレア減算の処理をスキップすることが好ましい。
【００３２】
以上のように本実施例では、輝度画素検出部３３ａ、画像劣化成分発生量検出部３３ｂ、画像劣化補正処理部３３ｃによる処理が、電気信号処理部による非線形処理よりも先に行われている。
【００３３】
このときの非線形処理がγ変換処理、輝度色分離処理のいずれか、もしくは両方を含んでいる。
【００３４】
画像劣化検出補正部３３における処理の後、画像データは画像処理部３４に転送され、輝度色分離処理、ホワイトバランス調整、グレイバランス調整、濃度調整、カラーバランス調整、エッジ強調等、観賞用の画像としてより好ましい画像となるように、各種の画像処理を施される。
【００３５】
画像処理部３４によって画像処理がなされた画像データは、圧縮処理部３５に転送され、所定の画像圧縮処理方法により圧縮される。圧縮方法は、例えばJPEG、TIFF、JPEG２０００等の様な、画像データが圧縮できる手法であればいかなる手法でも良い。圧縮された画像は出力画像として出力画像メモリ４０に転送、格納される。
【００３６】
出力画像を格納する出力画像メモリ４０は、着脱可能なメモリで、この記録媒体を介して他の情報端末機器への出力画像の直接的な転送が可能となる。出力画像メモリ４０は書き換え可能なメモリであり、例えばコンパクトフラッシュ（登録商標）、スマートメディア、メモリースティック、PCカード、ATAカード等のカード状メモリ、MOディスク、フロッピー（登録商標）ディスク、ZIP、CD-R、CD-RW、DVD-RAM、DVD-R、DVD-RW等の汎用メモリ等、どのような形態をとるものでも良い。
【００３７】
以上説明した実施例１のデジタルスチルカメラを用いれば、ハイライトを有する被写体を撮影する場合でも、結像性能を向上させるために光学系中に回折光学素子を導入した場合でも回折光学素子による不要回折光によるフレアを良好に除去することが出来、コンパクトでかつ高性能なデジタルカメラを得ることができる。
【００３８】
なお、実施例１のデジタルスチルカメラは、上述したような実施例に限定されるものではなく、例えば撮像素子が単板式でもよく又、３板式でもよく、その他の仕様でもよい。また、デジタルスチルカメラではなくデジタルビデオカメラであっても良い。
【実施例２】
【００３９】
本発明の実施例２について説明する。図１２は、実施例２の一部分の画像処理装置で用いているコンピュータのシステムブロック図である。これ以外の構成は図４の実施例１と同じである。このコンピュータは、回折光学素子を有する光学系１１で構成される撮像機器で撮像されたRAW画像データ、及び撮影時の光学系１１のズームステート、Fナンバー等の特性データ、光学系１１の結像特性データをCPU・メモリ部２０に保持し、撮影画像中における光学系１１の回折光学素子により発生する不要回折光によるフレアを視覚的に目立たない処理を行なった後に観賞用画像とするための画像処理を行ない、良好な画像を提供するものである。基本構成は、コンピュータの駆動命令、データの記憶を行なうCPU・メモリ部２０、不要回折光によるフレアの発生量の推定、低減を行なう画像劣化検出補正部３３、観賞用の画像として画像データを処理する画像処理部３４、画像データの容量を圧縮する圧縮処理部３５からなる。図中の点線の矢印は処理の流れを、実線の矢印はデータの流れを示す。
【００４０】
以下に実施例２のコンピュータによる信号処理の流れを説明する。本コンピュータには既に前記撮像機器によって撮影された画像データが格納されており、さらに各画像の撮影時のレンズのステートデータや、各レンズステートでの結像特性データが格納されている。また、この画像データは、前記撮像装置の撮像素子から出力されるデータの輝度に対して非線形な処理を行なっていないRAW画像データである。また、撮像機器の表色系はR,G,B表色系を有し、RAW画像データもそれに準拠した表色となっている。
【００４１】
コンピュータのユーザインターフェースを介して処理実行命令がなされると、CPU・メモリ部２０から画像劣化検出補正部３３に画像データが転送される。画像劣化検出補正部３３は図１３に示すような構成のシステムブロック図となっており、画像データは輝度飽和画素検出部３３aに転送される。輝度飽和画素検出部３３ａにおいては画像データ中の飽和画素の有無を調べ、各表色系のうち、何れか一つでも画像輝度が飽和している画素を検出すると、その画素を輝度飽和画素として画素アドレスを取得する。上記処理を全ての画素について行ない、画像輝度飽和アドレスをCPU・メモリ部２０に転送、記録する。
【００４２】
輝度飽和画素検出部３３aによる処理を経た画像データは次に画像劣化成分発生量検出部３３bに転送される。図１４に、画像劣化成分発生量検出部３３ｂでの画像劣化成分発生量検出処理の処理フローチャートを示す。この処理は実施例１と同様に、結像光との相対的な位置データを有する表色系毎の不要回折光の像データを用いて不要回折光によるフレアの発生量を検出するものであるが、像データの像高ごとの形状変化を、例えば像面を図１５のようにエリア分割してそれぞれのエリア毎に上記不要回折光像データをCPU・メモリ部２０に保持するものとする。撮像機器の光学系１１は回転対称なので、アジムスに応じて不要回折光像データを回転させて用いれば良い。
【００４３】
まず処理対象となる輝度飽和画素をCPU・メモリ部２０に蓄積したデータを参照して設定し、対象画素の属するエリアの判定とアジムスの計算を行なう。その後表色毎に不要回折光像パターンをCPU・メモリ部２０から取得し、実施例１と同様の手法で不要回折光によるフレアの発生量と背景輝度となるオフセット輝度の最適値を取得する。全表色、全輝度飽和画素に対してこの処理を行ない、取得された各輝度飽和画素に対するフレア発生量とオフセット輝度をCPU・メモリ部２０に格納する。
【００４４】
画像データは色変換処理部３３dへ転送され、画像データ中の不要回折光の発生領域に対して、フレアが視覚的に目立たないように色変換処理を施される。その処理フローを図１６に示す。まずCPU・メモリ部２０に格納された輝度飽和アドレスを読み出し、そのアドレスから、属する像面上のエリアとアジムスを算出し、不要回折光の像パターンを算出する。次にCPU・メモリ部２０に格納された、不要回折光によるフレア発生量とオフセット量の読み出しを行ない、不要回折光によるフレア成分のR,G,B輝度とオフセット成分、つまり不要回折光によるフレアが存在しない場合の画像のR,G,B輝度から色差を算出し、その色差量に応じて不要回折光によるフレア発生領域の彩度を変化させる。例えば、赤色の被写体の上に赤色の不要回折光によるフレアが発生していれば、不要回折フレア発生領域の彩度変化は小さく設定する、もしくは彩度変化させない。また、白色の被写体上に赤色のフレアが発生していれば、不要回折光によるフレア発生領域の彩度を小さくする。上記処理を全飽和画素に対しておこない、画像劣化検出補正部３３の処理を終了する。
【００４５】
不要回折光によるフレア発生部の色変換によるフレア補正処理は、上記の系に限定されるものではなく、例えば推定されたオフセット値によって与えられる被写体色との色差が最小になるように不要回折光によるフレア発生領域の色変換を行なっても良いし、不要回折光によるフレアの外郭に接する領域から求められる色と一致するように不要回折光によるフレア発生領域の色変換を行なっても良い。
【００４６】
画像劣化検出補正部３３の補正処理を経た画像データは、画像処理部３４に転送され、輝度色分離処理、ホワイトバランス調整、グレイバランス調整、濃度調整、カラーバランス調整、エッジ強調等、観賞用の画像としてより好ましい画像となるように、各種の画像処理を施される。
【００４７】
画像処理部３４によって画像処理がなされた画像データは、圧縮処理部３５に転送され、所定の画像圧縮処理方法により圧縮される。圧縮された画像はCPU・メモリ部２０に格納される。
【００４８】
以上説明した実施例２の画像処理装置を用いれば、回折光学素子を含む光学系を具備しているが、不要回折光によるフレアの補正機能を有しない撮像機器を用いてハイライトを有する被写体を撮影した場合でも、結像性能を向上させるために回折光学素子を導入した光学系１１の回折光学素子から発生する不要回折光によるフレアを良好に除去することが出来、画像劣化のない良好な画像を得ることができる。
【００４９】
以上説明したように、本発明の撮像装置によれば、回折光学素子を含む光学系を用いてハイライト光（輝度の高い被写体）を撮影して撮影画像中に不要回折光によるフレアが発生しても、輝度の飽和した画素位置を検出し、検出された輝度飽和画素を基点として、発生した画質劣化成分の発生量を検出、もしくは推定して、輝度飽和画素の周辺領域に対して発生している画質劣化成分を、検出、もしくは推定された発生量を基に除去、もしくは低減、もしくは視覚的に知覚しにくくする画像劣化補正処理をおこなうことにより、フレア光による画像劣化を良好に補正することができ、コンパクトでかつ高性能なデジタルカメラを得ることができる。
【００５０】
また、本発明に係る画像処理装置を用いれば、回折光学素子を含む光学系を具備しているが、不要回折光によるフレアの補正機能を有しない撮像機器を用いてハイライトを有する被写体を撮影して撮影画像中に不要回折光によるフレアが発生しても、その撮影画像を本画像処理装置に読み込んで、輝度の飽和した画素位置を検出し、検出された輝度飽和画素を基点として、発生した画質劣化成分の発生量を検出、もしくは推定して、輝度飽和画素の周辺領域に対して発生している画質劣化成分を、検出、もしくは推定された発生量を基に除去、もしくは低減、もしくは視覚的に知覚しにくくする画像劣化補正処理をおこなうことにより、不要回折光によるフレアを良好に除去することが出来、画像劣化の少ない良好な画像を得ることができる。
【図面の簡単な説明】
【００５１】
【図１】積層型の回折光学素子を含む回折レンズの模式図である。
【図２】不要回折光成分が良好に補正された場合の結像回折次数光と不要回折次数光の像面（撮像素子）上での輝度の断面図である。
【図３】高輝度物点の撮影による不要回折光の発生による画像の模式図である。
【図４】本発明に係る撮像装置の実施例１のシステムブロック図である。
【図５】図４における撮像装置を用いて、ハイライトを含む被写体を撮影したときの信号処理フローのチャートである。
【図６】図４における画像劣化検出補正部３３のシステムブロック図である。
【図７】図４における撮像素子１２の各表色におけるカラーフィルタの配置の模式図である。
【図８】(a)軸上点、(b)軸外点における-１次〜３次回折光の結像特性パターンの説明図である。
【図９】図６における画像劣化成分発生量検出部３３bのフローチャートである。
【図１０】図９における不要回折光の輝度とオフセット量を求める処理における輝度断面模式図である。
【図１１】図６における画像劣化補正処理部３３cのフローチャートである。
【図１２】本発明に係る画像処理装置の実施例２のシステムブロック図である。
【図１３】図１２における画像劣化検出補正部３３のシステムブロック図である。
【図１４】図１３における画像劣化成分発生量検出部３３bのフローチャートである。
【図１５】図１２のCPU・メモリ部２０に格納される不要回折光による結像特性の分類を与える像面エリア模式図である。
【図１６】図１３における色変換処理部３３dのフローチャートである。
【符号の説明】
【００５２】
１０  撮像部
１１  光学系
１２  撮像素子
２０  CPU・メモリ部
３０  電気信号処理部
３１  A/D変換部
３２  画像データ変換部
３３  画像劣化検出補正処理部
３３a 輝度飽和画素検出部
３３b 画像劣化成分発生量検出部
３３c 画像劣化補正処理部
３３d 色変換処理部
３４  画像処理部
３５  圧縮処理部
４４０  出力画像メモリ
【図２】
2005167485.tif 000003
【図１２】
2005167485.tif 000004
【図１５】
2005167485.tif 000005
【図１】
2005167485.tif 000006
【図３】
2005167485.tif 000007
【図４】
2005167485.tif 000008
【図５】
2005167485.tif 000009
【図６】
2005167485.tif 000010
【図７】
2005167485.tif 000011
【図８】
2005167485.tif 000012
【図９】
2005167485.tif 000013
【図１０】
2005167485.tif 000014
【図１１】
2005167485.tif 000015
【図１３】
2005167485.tif 000016
【図１４】
2005167485.tif 000017
【図１６】
2005167485.tif 000018