(57)【要約】【課題】  赤外カットフィルタを多層膜コートで実現した際に撮像画像中に生じる回折ゴースト像を簡便な構成で抑制する。【解決手段】  撮像画像から輝度値が所定値以上の領域を検出する（Ｓ１０１）。そして、予め記憶された回折ゴースト像の発生位置情報に基づいて、回折ゴースト像の発生位置を推定する（Ｓ１０４）。そして、推定位置における画素が、回折ゴースト像の色味成分を有している場合、回折ゴースト像が発生しているものとして、補正処理を行う（Ｓ１０８）。【選択図】  図１
2009303061.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像中の回折ゴースト像を補正する画像処理装置であって、
前記撮像画像から、輝度が所定値以上である飽和領域を検出する検出手段と、
回折ゴースト像の発生位置についての予め記憶された情報と、前記飽和領域の中心位置とから、回折ゴースト像の推定発生位置を求める推定手段と、
前記推定手段が求めた推定発生位置における画素の色評価値が、予め定めた回折ゴースト像の色味成分を有するか否かを判別する判別手段と、
前記色評価値が前記予め定めた回折ゴースト像の色味成分を有すると判別された推定発生位置に対する補正対象領域を決定する決定手段と、
前記補正対象領域に含まれる画素について補正処理を行う補正手段とを有することを特徴とする画像処理装置。
【請求項２】
前記補正手段が、前記補正対象領域に含まれる画素について、彩度を低下させるか、輝度を増加させるかの少なくとも一方により前記補正処理を行うことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記補正手段が、前記補正対象領域に含まれる画素について、彩度が高い画素ほど彩度を低下させるか、彩度が高い画素ほど輝度を増加させることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記補正手段が、前記補正対象領域に含まれる画素のＣＣＤ−ＲＡＷ信号から、前記画素の色ごとに予め求めた前記回折ゴースト像の受光量から求めた補正値を減じることにより前記補正処理を行うことを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記回折ゴースト像の発生位置についての予め記憶された情報が、前記回折ゴースト像の発生間隔であり、前記推定手段が、前記飽和領域の中心位置を中心として、前記発生間隔だけ互いに離間した格子点を前記推定発生位置とすることを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
撮像画像中の回折ゴースト像を補正する画像処理装置の制御方法であって、
前記撮像画像から、輝度が所定値以上である飽和領域を検出する検出ステップと、
回折ゴースト像の発生位置についての予め記憶された情報と、前記飽和領域の中心位置とから、回折ゴースト像の推定発生位置を求める推定ステップと、
前記推定ステップで求められた推定発生位置における画素の色評価値が、予め定めた回折ゴースト像の色味成分を有するか否かを判別する判別ステップと、
前記色評価値が前記予め定めた回折ゴースト像の色味成分を有すると判別された推定発生位置に対する補正対象領域を決定する決定ステップと、
前記補正対象領域に含まれる画素について補正処理を行う補正ステップとを有することを特徴とする画像処理装置の制御方法。
【請求項７】
請求項６記載の画像処理装置の制御方法の各ステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びその制御方法に関し、特には固体撮像素子を用いた撮像装置で撮像された画像を処理する画像処理装置及びその制御方法に関する。
【背景技術】
【０００２】
近年、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの固体撮像素子を用いたデジタルスチルカメラやデジタルビデオカメラが普及している。このような撮像装置では、自然な色再現を実現するため、赤外領域または紫外領域の波長成分を遮断する波長特性を有する光学フィルタを用いて、撮像素子の分光感度を視感度に合わせている。以下、このような光学フィルタをＵＶＩＲカットフィルタと称する。
【０００３】
このＵＶＩＲカットフィルタは、吸収ガラス等の光学部材を用いた単機能のフィルタとして構成する方法と、蒸着などの方法で多層膜を光学ローパスフィルタなどの別の光学部材にコートしてＵＶＩＲカットフィルタ機能を付与する方法とで実現できる。このうち、後者の方法には以下の利点がある。
（１）部品点数を減らすことができる。
（２）フィルタ総厚を減らすことができる。これにより、一眼レフタイプのデジタルスチルカメラでは、交換レンズの収差変動を最小限にすることができる。
しかしながら、ＵＶＩＲカットフィルタを多層膜コートのみで構成しようとすると、ゴースト像が発生するという問題があった。以下、この点について説明する。
【０００４】
図２は、従来の撮像装置の要部構成を示す断面図である。
この撮像装置は、光学ローパスフィルタなどの光学部材１を有している。光学部材１は、撮像素子３の前方（被写体光の入射側）に所定の空隙Ｌを隔てて配置される。光学部材１の前面には、ＵＶＩＲカットフィルタの役割を果たす多層膜コート２が形成されている。また、撮像素子３の表面には、光の利用効率を上げるため、集光レンズ４が形成されている。なお、多層膜コート２は、光学部材１の後面に形成されても良い。
【０００５】
図示しない撮像レンズからの入射光５は、撮像素子３に入射し、光学像８を形成するが、一部の光が集光レンズ４で反射し、反射光６となり、光学部材１に設けられたＵＶＩＲカットフィルタとしての多層膜コート２に入射する。
【０００６】
図４は、ＵＶＩＲカットフィルタの波長特性の例を示す図である。
図４中、Ｗは、赤外領域にある遮断波長域を示している。この遮断波長域Ｗにおける透過特性は傾きを有するので、同じ波長の光であっても、その一部は透過し、一部は遮断される。一方、紫外領域にある遮断波長域の透過特性は赤外領域に対して傾きが少ないため、同一波長の光に対する部分透過性の問題は小さい。
【０００７】
多層膜コート２は、特定波長の光を反射することにより、フィルタとしての波長特性を実現しているので、遮断される光は反射されることになる。すなわち、入射光５のうち遮断波長域Ｗの波長の光は、多層膜コート２で一部が透過し、撮像素子３に入射する。入射光５は前述したように、撮像素子３で反射して反射光６となり、再び多層膜コート２に入射する。
【０００８】
反射光６についてもその一部は多層膜コート２を透過して図示しない撮像レンズ方向へ向かうが、その他の光は再反射して再反射光７となる。再反射光７が撮像素子３に入射すると、光学像８のゴースト像９を形成するとともに、再反射光７の一部は撮像素子３で反射され、上述の現象が繰り返し発生する。
【０００９】
一般に撮像素子３は２次元方向に規則的な格子形状であるため、ゴースト像９はあたかも撮像素子３が回折格子のように振舞った、規則的な回折パターンとして現れることになる。また、撮像素子３の表面に設けられた集光レンズ４と空気の屈折率の差が大きいため、集光レンズ４による反射光が支配的にゴースト像９を形成していると考えられる。この回折パターンのゴースト像９は、図３に示すように、画面内に明るい輝点１２０がある場合に、規則的な赤色のパターンとして現れる。以下、このように、撮像素子３の反射光が多層膜コート２で再反射されて形成されるゴースト像を、回折ゴースト像と呼ぶ。このように、回折ゴースト像の主要因はＵＶＩＲフィルタのうち、赤外カットフィルタ機能にある。
【００１０】
特許文献１では、集光レンズ４の表面に反射防止膜を形成し、反射光６を抑制することで、回折ゴースト像の発生を抑制する提案がなされている。また特許文献２では、集光レンズ４をフッ素系樹脂で構成することにより、空気との屈折率の差を小さくして、反射光６を抑制する提案がなされている。
【００１１】
【特許文献１】特開平７−２２５９９号公報
【特許文献２】特開２００４−３３５５９８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、特許文献１及び特許文献２の方法は、集光レンズ４に反射防止膜を設けたり、集光レンズ４の材質を変更したりする必要があるため、製造工程の追加や製造方法の変更が必要になるなど、撮像素子の製造コストが上昇するという問題点があった。
【００１３】
本発明はこのような従来技術の問題点に鑑みてなされたものであり、簡便な方法により撮像画像中の回折ゴースト像を抑制することが可能な画像処理装置及びその制御方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上述の目的は、撮像画像中の回折ゴースト像を補正する画像処理装置であって、撮像画像から、輝度が所定値以上である飽和領域を検出する検出手段と、回折ゴースト像の発生位置についての予め記憶された情報と、飽和領域の中心位置とから、回折ゴースト像の推定発生位置を求める推定手段と、推定手段が求めた推定発生位置における画素の色評価値が、予め定めた回折ゴースト像の色味成分を有するか否かを判別する判別手段と、色評価値が予め定めた回折ゴースト像の色味成分を有すると判別された推定発生位置に対する補正対象領域を決定する決定手段と、補正対象領域に含まれる画素について補正処理を行う補正手段とを有することを特徴とする画像処理装置によって達成される。
【００１５】
また、上述の目的は、撮像画像中の回折ゴースト像を補正する画像処理装置の制御方法であって、撮像画像から、輝度が所定値以上である飽和領域を検出する検出ステップと、回折ゴースト像の発生位置についての予め記憶された情報と、飽和領域の中心位置とから、回折ゴースト像の推定発生位置を求める推定ステップと、推定ステップで求められた推定発生位置における画素の色評価値が、予め定めた回折ゴースト像の色味成分を有するか否かを判別する判別ステップと、色評価値が予め定めた回折ゴースト像の色味成分を有すると判別された推定発生位置に対する補正対象領域を決定する決定ステップと、補正対象領域に含まれる画素について補正処理を行う補正ステップとを有することを特徴とする画像処理装置の制御方法によっても達成される。
【発明の効果】
【００１６】
このような構成により、本発明によれば、簡便な方法により撮像画像中の回折ゴースト像を抑制することが可能となる。
【発明を実施するための最良の形態】
【００１７】
以下、図面を参照して本発明の例示的かつ好適な実施形態について詳細に説明する。
（撮像装置の構成）
図１９は、本発明の実施形態に係る画像処理装置の一例としてのデジタルカメラ１００の構成例を示す図である。
２１はレンズ、１９は絞り機能を備えるシャッター、１１は光学ローパスフィルタ兼ＵＶＩＲカットフィルタ機能を有する光学部材である。撮像素子１３は光学像を電気信号に変換する、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等である。Ａ／Ｄ変換器１６は撮像素子１３のアナログ信号出力をデジタル信号に変換する。
【００１８】
タイミング発生部１８は撮像素子１３、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給し、メモリ制御部２２及びシステム制御部５０により制御される。
【００１９】
画像処理部２０は、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御部２２からのデータに対して所定の画素補間処理や色変換処理を行う。
【００２０】
また、画像処理部２０においては、撮像した画像データを用いて所定の演算処理を行う。そして、得られた演算結果に基づいてシステム制御部５０が露光制御部４０、測距制御部４２を制御し、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）、ＡＥ（自動露出）、ＥＦ（フラッシュプリ発光）機能を実現している。
【００２１】
さらに、画像処理部２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。
さらに、後述する、撮像画像中の回折ゴースト像の補正処理も画像処理部２０で行う。
【００２２】
メモリ制御部２２は、Ａ／Ｄ変換器１６、タイミング発生部１８、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮伸長部３２を制御する。
【００２３】
Ａ／Ｄ変換器１６の出力データが画像処理部２０、メモリ制御部２２を介して、或いはＡ／Ｄ変換器１６の出力データが直接メモリ制御部２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。
【００２４】
画像表示メモリ２４に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２６を介してＬＣＤや有機ＥＬディスプレイ等の画像表示部２８により表示される。撮像した画像データを画像表示部２８で逐次表示すれば、電子ビューファインダー機能を実現することが可能である。
【００２５】
また、画像表示部２８は、システム制御部５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合にはデジタルカメラ１００の電力消費を大幅に低減することができる。
【００２６】
メモリ３０は撮像した静止画像や動画像を格納する記憶装置であり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を備えている。そのため、複数枚の静止画像を連続して撮像する連写撮像やパノラマ撮像の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。
また、メモリ３０はシステム制御部５０の作業領域としても使用することが可能である。
【００２７】
圧縮伸長部３２は、メモリ３０に格納された画像を読み込んで、適応離散コサイン変換（ＡＤＣＴ）、ウェーブレット変換等を用いた周知のデータ圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。
露光制御部４０は絞り機能を備えるシャッター１９を制御するとともに、フラッシュ４８と連携することによりフラッシュ調光機能も有する。
【００２８】
測距制御部４２はレンズ２１のフォーカシングを制御し、ズーム制御部４４はレンズ２１のズーミングを制御する。バリア制御部４６はレンズ２１の保護を行うためのレンズバリアである保護部１０２の動作を制御する。
【００２９】
フラッシュ４８は撮像時の補助光源として機能し、調光機能も有する。また、ＡＦ補助光の投光機能も有する。
赤目緩和ランプ４９は、フラッシュ４８を用いた撮像前に、約１秒間発光することによって、被写体である人の瞳孔を小さくするための光源である。上述したように、撮像直前に瞳孔を小さくすることによって、フラッシュ発光撮像時の赤目現象を低減することができる。
【００３０】
露光制御部４０、測距制御部４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理部２０によって演算した演算結果に基づき、システム制御部５０が露光制御部４０、測距制御部４２に対して制御を行う。
【００３１】
システム制御部５０は例えばＣＰＵであり、メモリ５２に記憶されたプログラムを実行することによりデジタルカメラ１００全体を制御する。メモリ５２はシステム制御部５０の動作用の定数、変数、プログラム等を記憶する。
【００３２】
表示部５４は例えばＬＣＤやＬＥＤ、スピーカ等の出力装置の組み合わせにより構成され、システム制御部５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を出力する。表示部５４はデジタルカメラ１００の操作部７０近辺の視認し易い位置に、単数或いは複数設置される。また、表示部５４の一部は光学ファインダー１０４内に設置されている。
【００３３】
不揮発性メモリ５６は電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。
モードダイヤル６０、第１シャッタースイッチ（ＳＷ１）６２、第２シャッタースイッチ（ＳＷ２）６４、画像表示ＯＮ／ＯＦＦスイッチ６６、フラッシュ設定スイッチ６８及び操作部７０は、操作部材である。操作部材は、システム制御部５０に所定の動作の開始、停止等を指示するためのユーザインタフェースである。これらの操作部材は、ボタン、スイッチ、ダイアル、タッチパネル、視線検知装置、音声認識装置或いはこれらの組み合わせで構成される。
【００３４】
ここで、これらの操作部材の具体的な説明を行う。
モードダイヤル６０は、例えば電源オフ、自動撮像モード、プログラム撮像モード、パノラマ撮像モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定するためのスイッチである。
【００３５】
第１シャッタースイッチ（ＳＷ１）６２は、デジタルカメラ１００に設けられたシャッターボタン（図示せず）の第１ストローク（例えば半押し）でＯＮとなる。第１シャッタースイッチ（ＳＷ１）６２がＯＮにされた場合、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ処理等が開始される。
【００３６】
第２シャッタースイッチ（ＳＷ２）６４は、デジタルカメラ１００に設けられたシャッターボタンの第２ストローク（例えば全押し）でＯＮとなり、露光処理、現像処理及び記録処理からなる一連の処理の開始を指示する。まず、露光処理では、撮像素子１３から読み出した信号をＡ／Ｄ変換器１６、メモリ制御部２２を介して画像データをメモリ３０に書き込み、更に、画像処理部２０やメモリ制御部２２での演算を用いた現像処理が行われる。更に、メモリ３０から画像データを読み出し、圧縮伸長部３２で圧縮を行い、記録媒体２００や２１０に画像データを書き込む記録処理が行われる。
【００３７】
画像表示ＯＮ／ＯＦＦスイッチ６６は、画像表示部２８の表示ＯＮ／ＯＦＦ設定用スイッチである。光学ファインダー１０４を用いて撮像を行う際に、例えばＴＦＴ ＬＣＤ等から成る画像表示部２８の表示をＯＦＦして電流供給を遮断することにより、省電力を図ることが可能となる。
【００３８】
フラッシュ設定ボタン６８は、フラッシュの動作モードを設定・変更するボタンである。
操作部７０は各種ボタンやタッチパネル等からなり、例えば以下のようなボタン、スイッチを含む。メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、単写／連写／セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン。再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮像画質選択ボタン、露出補正ボタン、日付／時間設定ボタン、圧縮モードスイッチ等。
【００３９】
圧縮モードスイッチは、ＪＰＥＧ(Joint Photographic Expert Group)圧縮の圧縮率を選択するため、或いは撮像素子の信号をそのままデジタル化して記録媒体に記録するＲＡＷモードを選択するためのスイッチである。
【００４０】
本実施形態において、ＪＰＥＧ圧縮のモードは、例えばノーマルモードとファインモードが用意されている。デジタルカメラ１００の利用者は、撮像した画像のデータサイズを重視する場合はノーマルモードを、撮像した画像の画質を重視する場合はファインモードを、それぞれ選択して撮像を行うことができる。
【００４１】
ＪＰＥＧ圧縮のモードにおいては、圧縮伸長部３２が、メモリ３０に書き込まれた画像データを読み出し、設定された圧縮率に圧縮した後、例えば記録媒体２００に記録する。
【００４２】
ＲＡＷモードでは、撮像素子１３の色フィルタの画素配列に応じて、ライン毎にそのまま画像データを読み出し、Ａ／Ｄ変換器１６、メモリ制御部２２を介して、メモリ３０に書き込まれた画像データを読み出し、記録媒体２００に記録する。
【００４３】
電源制御部８０は、電池検出部、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ部等により構成されている。電源制御部８０は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。
【００４４】
電源８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、或いはＡＣアダプター等からなり、コネクタ８２及び８４によってデジタルカメラ１００に取り付けられる。
【００４５】
メモリカードやハードディスク等の記録媒体２００及び２１０は、半導体メモリや磁気ディスク等から構成される記録部２０２、２１２と、デジタルカメラ１００とのインターフェース２０４、２１４及びコネクタ２０６、２１６を有している。記録媒体２００及び２１０は、媒体側のコネクタ２０６、２１６とデジタルカメラ１００側のコネクタ９２、９６とを介してデジタルカメラ１００に装着される。コネクタ９２、９６にはインターフェース９０及び９４が接続される。記録媒体２００、２１０の装着有無は、記録媒体着脱検知部９８によって検知される。
【００４６】
なお、本実施形態ではデジタルカメラ１００が記録媒体を取り付けるインターフェース及びコネクタを２系統持つものとして説明しているが、記録媒体を取り付けるインターフェース及びコネクタは、単数を含む任意の数備えることができる。また、系統毎に異なる規格のインターフェース及びコネクタを用いても良い。
【００４７】
コネクタ９２及び９６に各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。
バリア１０２は、デジタルカメラ１００の、レンズ２１を含む撮像部を覆う事により、撮像部の汚れや破損を防止する。
【００４８】
光学ファインダー１０４は例えばＴＴＬファインダーであり、プリズムやミラーを用いてレンズ２１を通じた光束を結像する。光学ファインダー１０４を用いることで、画像表示部２８による電子ファインダー機能を使用すること無しに撮像を行うことが可能である。
【００４９】
通信部１１０は、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、ＩＥＥＥ８０２．１１ｘ等の無線通信、等、各種規格に準拠した通信処理を行う。
コネクタ（無線通信の場合はアンテナ）１１２は、通信部１１０を介してデジタルカメラ１００を他の機器と接続する。
【００５０】
（回折ゴースト像補正処理）
図１は本実施形態のデジタルカメラにおける回折ゴースト像補正処理を説明するためのフローチャートである。
Ｓ１０１で画像処理部２０は、メモリ３０に書き込まれた画像データのうち、輝度値が所定値以上の画素、例えばＲＧＢ信号のすべてが１０ビットで９００ＬＳＢ以上である画素を１、９００ＬＳＢ未満の画素を０として二値化する。そして、画像処理部２０は、二値化画像に対して領域抽出を行い、輝度値が所定値以上の領域（飽和領域）を検出する。
【００５１】
たとえば図１３（ａ）で示すように、画像の左上からラスタスキャンを行い、値１の画素が検出された場合、図１３（ｂ）で示すように抽出画素の周辺を８近傍連結をしながら探索を行い、連結領域の画素領域を抽出することができる。
【００５２】
Ｓ１０２で画像処理部２０は、Ｓ１０１で抽出された飽和領域が予め定められた所定値（飽和領域基準面積）以上の面積を有するか否かを判定する。具体的には、例えば図１３（ｄ）に示すように、抽出領域の垂直サイズと水平サイズを算出し、その積（抽出領域の外接四角形の面積）が所定値以上か否かを判定する。
【００５３】
なお、飽和領域基準面積の定め方に関して特に制限はないが、たとえば、回折ゴースト像の原因となる高輝度点は太陽であることが多い。従って、高輝度の被写体として太陽を想定する場合、カメラの焦点距離から算出した太陽のサイズに基づいて飽和領域基準面積を設定してもよい。
【００５４】
Ｓ１０３で画像処理部２０は、面積が飽和領域基準面積以上の飽和領域の中心位置を算出する。例えば図１３（ｄ）に示すように、抽出領域ごとに、水平方向と垂直方向それぞれの座標値の最大値と最小値を検出し、それぞれの中央値を有する座標を中心位置として求めても良い。あるいは、飽和領域の重心位置を中心位置として算出してもよい。
【００５５】
Ｓ１０４で画像処理部２０は、Ｓ１０３で算出された中心位置から所定の方角に所定距離の整数倍だけ離れた位置を回折ゴースト像の推定発生位置として算出する。
一般的には飽和領域の中心位置から垂直方向及び水平方向に、ある距離の整数倍だけ離間した個々の位置と、これらの位置から水平方向及び垂直方向のある距離の整数倍だけ離間した位置に回折ゴースト像が発生する。つまり、飽和領域の中心位置を中心として、隣接する点との距離が、水平方向、垂直方向それぞれにある一定の距離である格子点の各々の位置に回折ゴースト像が発生する。発生位置は撮像素子１３（この場合は光学部材１１を含む）の種類（構造）に固有であるため、撮像素子１３の種類に応じて設定しておくことが可能である。
【００５６】
また、回折ゴースト像の発生位置の中心位置のみでなく、飽和領域に基づいて回折ゴースト像の発生領域を推定することも可能である。
図１４は、回折ゴースト像の発生領域の推定方法の例を説明するための図である。
図１４において、検出された飽和領域７１を中心に示す。そして、例えば、飽和領域７１の中心位置を中心として、互いに所定距離の整数倍（ここでは１倍）だけ所定の方向（ここでは垂直方向及び水平方向）に離間した８つの格子点を中心位置とする８つの領域７２を回折ゴースト像の推定発生領域とすることができる。
【００５７】
飽和領域の形状から回折ゴースト像の発生領域を推定する際には、絞りや焦点距離によって飽和領域を拡大縮小した大きさの発生領域を推定することもできる。この場合、絞りや焦点距離に応じた拡大・縮小率をあらかじめ設定しておいてもよいし、予め定めた式を用い、焦点距離に応じて拡大・縮小率を動的に求めてもよい。
また、回折ゴースト像の発生方向や、所定距離に対する倍率（すなわち、飽和領域からの距離）に応じて拡大・縮小率を可変させてもよい。
【００５８】
Ｓ１０５で画像処理部２０は、Ｓ１０４で算出した推定発生位置の色味成分を取得し、評価する。
色味成分の評価方法としては、たとえば撮像素子１３がベイヤー配列の原色カラーフィルタを用いているとすると、推定発生位置の画素が含まれる単位配列に含まれるＲ，Ｇ１，Ｇ２，Ｂ画素の値から、
Ｃｘ＝（Ｒ−Ｂ）／Ｙ
Ｃｙ＝｛（Ｒ＋Ｂ）／２−（Ｇ１＋Ｇ２）／２｝／Ｙ
Ｙ＝（Ｒ＋Ｇ１＋Ｇ２＋Ｂ）／４
との関係式を用いて、推定発生位置の色評価値Ｃｘ，Ｃｙを算出する。
【００５９】
なお、Ｓ１０４で推定発生領域を求めた場合、色評価値は、推定発生領域に含まれる画素のＣｘ，Ｃｙ値の平均値として算出することができる。
なお、この場合、推定発生領域に含まれる全ての画素ではなく、推定発生領域の中心位置に近い領域を色評価領域として定め、色評価領域内の画素についての平均色差を求めることもできる。図１５に、色評価領域の例を示す。
【００６０】
Ｓ１０６で画像処理部２０は、Ｓ１０５で算出した色評価値が回折ゴースト像の色味成分と一致しているか否かを判定する。
検出された飽和領域から推定される回折ゴースト像の推定発生位置（又は推定発生領域）の全てまたはその一部の組み合わせに対し、色評価値が回折ゴースト像の色味成分を有しているか否かを判定する。
この判定は、予め定めた回折ゴースト像の色味成分情報と、色評価値とを比較することにより行う。回折ゴースト像の色味成分情報の詳細については後述する。
【００６１】
Ｓ１０７で画像処理部２０は、色評価値が回折ゴースト像の色味成分を有している推定発生位置（又は推定発生領域）について、補正対象領域を決定する。補正対象領域は、推定発生位置を含む、回折ゴースト像の色味成分と一致した画素からなる領域もしくは、推定発生領域内の回折ゴースト像の色味成分と一致した画素からなる領域として決定することができる。
【００６２】
Ｓ１０８で画像処理部２０は、Ｓ１０７で決定された補正対象領域内の画素に対して、回折ゴースト像の色味成分を除去するための補正処理を行う。
具体的には撮像素子１３の出力信号であるＣＣＤ−ＲＡＷ信号からＹＵＶ信号を生成する過程において、Ｖ信号の彩度を一律にゲインダウンさせてもよいし、輝度信号Ｙ信号を持ち上げることで白く飽和させることで色を消してもよい。あるいは、ＣＣＤ−ＲＡＷの状態で回折ゴースト像成分を差し引いてもよい。
【００６３】
図５は、本実施形態に係るデジタルカメラ１００の光学部材１１及び撮像素子１３の構成例を示す垂直断面図である。
光学部材１１は、光学部材１１は、撮像素子１３の前方（被写体光の入射側）に所定の空隙Ｌを隔てて配置される。光学部材１１は光学ローパスフィルタとして機能するとともに、その前面には、ＵＶＩＲカットフィルタの役割を果たす多層膜コート１２が形成されている。また、撮像素子１３の表面には、光の利用効率を上げるため、集光レンズ１４が形成されている。なお、多層膜コート１２は、光学部材１の後面に形成されても良い。
【００６４】
図６は、撮像素子１３の構成例を示す断面図である。
撮像素子１３は、光を電気信号に変換する複数のフォトダイオード１０と、個々のフォトダイオード１０上に形成された集光レンズ１４を備えている。図６に示すように、フォトダイオード１０と集光レンズ１４は等しいピッチｄで設けられている。また、本実施形態において、集光レンズ１４の高さはδとする。
【００６５】
撮像素子１３は、半導体基板上に通常のフォトダイオード製造方法を用いて作製される。集光レンズ１４は、撮像素子１３の表面に例えば樹脂を塗布し、熱処理を施して表面張力により高さδの球面状になるようにして作製される。また、光学部材１１は、光学ローパスフィルタの前面または後面に蒸着法等で多層膜コート１２を形成して、ＵＶＩＲカットフィルタの機能を持たせている。
【００６６】
（位相型回折格子）
一定のピッチｄで並んだ集光レンズ１４に光が入射すると、集光レンズ１４の表面で反射光に周期ｄを持つ位相変化が生じる。すなわち、集光レンズ１４はいわゆる位相型回折格子として機能することになる。
【００６７】
このため、光の波長をλ、撮像素子１３からＵＶＩＲカットフィルタとしての多層膜コート１２までの空気換算光路長をＬとすると、ゴースト像は、一定の間隔２λＬ／ｄの回折像として出現する。
【００６８】
次に、回折ゴースト像の色味について説明する。
図７は多層膜コート１２の分光透過率を光の入射角度毎に示した図である。
図７から、光の入射角度が大きくなるにつれて透過波長帯域が低波長側にシフトすることが分かる。ここで、光の入射角をθ（°）、光の波長をλ（ｎｍ）としたときの分光透過率をＴ（λ，θ）（％）と表現する。
【００６９】
図８は多層膜コート１２の分光反射率を光の入射角度毎に示した図である。
上述のように、多層膜コート１２は光の吸収成分を持たず、反射によりフィルタの機能を実現しているため、反射率は透過率を反転した特性を有する。つまり、図７の透過率を１００％から差し引いた特性が図８の反射率となる。
【００７０】
このような関係により、反射成分もまた、光の入射角度が大きくなるにつれて低波長側にシフトする。
従って、図８の分光反射率Ｒ（λ，θ）（％）は分光透過率Ｔ（λ，θ）（％）を用いて、
Ｒ（λ、θ）＝１００−Ｔ（λ，θ）
と表現できる。
【００７１】
図９は太陽の分光放射輝度を示す図である。
ここで波長λの太陽の分光放射輝度をＳ（λ）と表現する。
また、集光レンズ１４による反射光の特性は、集光レンズ１４の形状及び屈折率によって決定される。
【００７２】
上述の通り集光レンズ１４は図６に示すような球面形状を有しており、入射角０°で光が入射しても、反射光はレンズ形状に依存した範囲に散乱する。
反射角度が変化すれば反射率も屈折率に応じて変化するので、集光レンズ１４の材質が均一であった場合、反射率特性は反射角度θごとにｔ（θ）と表現できる。
【００７３】
ここで、高輝度被写体として太陽が撮像された場合を考える。
焦点距離が無限遠になっているとすると、撮像素子１３に対する太陽光の入射角は０°に近い。その光が集光レンズ１４により反射率特性ｔ（θ）で反射され、多層膜コート１２に角度θで入射し、Ｒ（λ、θ）の特性で反射され、再度撮像素子１３上に結像する。
つまり回折ゴースト像の分光成分Ａ（λ）は下記のように表現できる。
Ａ（λ）＝Ｓ（λ）×Ｔ（λ，０°）×ｔ（θ）×Ｒ（λ，θ）
【００７４】
図１０は、回折ゴースト像の分光分布特性の例を示した図である。
撮像素子１３の分光感度特性が、原色カラーフィルタの色（赤、緑、青）ごとにＲ（λ）、Ｇ（λ）、Ｂ（λ）であるとすると、
回折ゴースト像の光を赤、緑及び青のカラーフィルタを透して受光した光量Ｒ＿ｍ，Ｇ＿ｍ，Ｂ＿ｍは、
Ｒ＿ｍ＝∫｛Ｒ（λ）×Ｓ（λ）×Ｔ（λ，０°）×ｔ（θ）×Ｒ（λ，θ）｝ｄλ
Ｇ＿ｍ＝∫｛Ｇ（λ）×Ｓ（λ）×Ｔ（λ，０°）×ｔ（θ）×Ｒ（λ，θ）｝ｄλ
Ｂ＿ｍ＝∫｛Ｂ（λ）×Ｓ（λ）×Ｔ（λ，０°）×ｔ（θ）×Ｒ（λ，θ）｝ｄλ
すなわち、
Ｒ＿ｍ＝∫｛Ｒ（λ）×Ａ（λ）｝ｄλ
Ｇ＿ｍ＝∫｛Ｇ（λ）×Ａ（λ）｝ｄλ
Ｂ＿ｍ＝∫｛Ｂ（λ）×Ａ（λ）｝ｄλ
と表現できる。
【００７５】
撮像素子１３上での回折ゴースト像の大きさは、シャッター速度や絞り値などの露出条件に依存する。
回折ゴースト像が図１０に示した分光分布特性を有し、撮像素子１３が図１１に示す分光感度特性を有するとすると、撮像素子１３のＲ画像、Ｇ画素、Ｂ画素上で図１２に示す分光分布をもって結像する。そして、それぞれの積分値が撮像素子１３での回折ゴースト像成分となる。
【００７６】
またこれらの回折ゴースト像発生成分が検出できるため、回折ゴースト像が発生したと判定した場合には、ＣＣＤ−ＲＡＷ信号における回折ゴースト像での発生量も特定可能である。
【００７７】
図１２に示すように、回折ゴースト像の分光成分は、一般に用いられるＩＲＵＶカットフィルタの赤外光カット波長（６５０ｎｍ）近辺にほぼ限定して発生していることがわかる。
【００７８】
つまり、ＩＲＵＶカットフィルタを実現する多層膜コート１２の分光透過特性が決まると、回折ゴースト像の色味成分、つまり波長成分λが特定される。そして、回折ゴースト像の波長成分λおよび撮像素子の構造（多層膜コート１２と撮像素子１３の間隔Ｌ及び集光レンズ１４のピッチｄ）によって、撮像素子１３上で回折ゴースト像が発生する間隔２λＬ／ｄが決定される。
撮像素子１３上での距離が決まるため、画素のピッチから、対応する画素数も求めることができる。
【００７９】
つまり、撮像素子１３と多層膜コート１２間の空気上での光路長Ｌ、撮像素子１３の画素ピッチｄから、回折ゴースト像の発生間隔２λＬ／ｄを求めることができる。さらに、入射光が集光レンズ１４で反射される際の反射角度θは集光レンズ１４の形状に依存するため、集光レンズ１４上での反射角度の範囲内で、かつ発生間隔２λＬ／ｄを満たす位置において回折ゴースト像が発生する。
【００８０】
また回折ゴースト像が発生した場合、図１２に示した画素色毎の分光特性により、その回折ゴースト像成分の発生色（色味）が算出可能である。
そして、回折ゴースト像の色味と、高輝度光源との位置関係（発生間隔）をあらかじめ記憶しておくことで、回折ゴースト像の有無を検出すること、回折ゴースト像を補正することが可能となる。
【００８１】
逆に、予め記憶した色味や発生間隔を満たさない場合、例えば回折ゴースト像の発生間隔に対応しない場所に回折ゴースト像と同様の色味の被写体がある場合には補正しないように制御することができる。このように、色味と発生間隔とを用いることで、回折ゴースト像であるか否かを容易に判別することが可能である。
【００８２】
次に、回折ゴースト像の補正方法について説明する。
一般的に特定領域の画素について色をコントロールする手法は、例えば赤目補正処理など、補正方法として多数提案されている。そのため、ここでは簡易的な方法についてのみ説明する。
【００８３】
上述のように、本実施形態では、対象領域の彩度のゲインを下げる（ゲインダウン）こと、輝度値を上げる（ゲインアップ）ことの少なくとも一方により、回折ゴースト像を補正する。
【００８４】
先ず、彩度のゲインダウン量の算出について設営する。
画像処理部２０は、図１のＳ１０７で決定した補正領域の彩度Ｓａｔを算出する。例えばＹＵＶ画像データの内、ＵとＶの絶対値和や二乗和が彩度に相当する。すなわち、前者の場合、
Ｓａｔ＝｜Ｕ｜＋｜Ｖ｜
である。
【００８５】
次に画像処理部２０は、算出した彩度Ｓａｔに応じて彩度のゲインダウン量を決定する。図１６は、本実施形態における、彩度と彩度ゲインダウン量Ａとの関係の一例を示した図である。図１６に示すように、彩度が高いほど彩度ゲインダウン量Ａが大きくなるように設定している。
【００８６】
彩度ゲインダウン量Ａを用いて次の式により彩度のゲインダウンを行う。
Ｕ’＝Ａ×Ｕ
Ｖ’＝Ａ×Ｖ
これにより、彩度が大きい画素ほど、彩度の低下量（元の彩度との差）が大きくなる。
【００８７】
また同様にして、画像処理部２０は、彩度に応じた輝度のゲインアップ量を決定することができる。つまり、彩度のゲインダウン量と同様、あらかじめ彩度に応じた輝度ゲインアップ量を決定しておけばよい。
【００８８】
図１７は、本実施形態における、彩度と輝度ゲインアップ量Ｂの関係の例を示した図である。図１６に示すように、彩度が高いほど輝度ゲインアップ量Ｂが大きくなるように設定している。
輝度ゲインアップ量Ｂを用いて、以下の式により輝度のゲインアップを行う。
Ｙ’＝Ｂ×Ｙ
【００８９】
このように、彩度が高い画素については、彩度を減少させる、輝度を増加させる、の少なくとも一方を行うことにより、自然に回折ゴースト像を補正することが可能となる。
なお、彩度に基づいて補正領域内画素に対する彩度ゲインダウン量及び輝度ゲインアップ量を決定する以外に、補正領域の中心からの距離や輝度値に応じて彩度ゲインダウン量及び輝度ゲインアップ量を決定してもよい。補正効果は、彩度ゲインダウン量が大きいほど、輝度ゲインアップ量が大きいほど強くなる。
【００９０】
また、ＣＣＤ−ＲＡＷの信号値を補正する場合、前述した回折ゴースト像の受光量Ｒ＿ｍ，Ｇ＿ｍ，Ｂ＿ｍに一定の補正ゲインを乗算して各色画素に対する補正値を算出し、ＣＣＤ−ＲＡＷ信号から補正値を減じて補正しても良い。
【００９１】
この場合、図１８のように被写体輝度値（例えばＢｖ値）に応じて補正ゲインを決定しても良いし、絞り値、シャッタ速度、焦点距離に応じて補正ゲインを決定してもよい。
もちろん前述した方法で補正値を決定し、補正対象領域の中心からの距離に応じて補正量を決定してもよい。
【００９２】
なお、回折ゴースト像の有無については、電子ビューファインダ（ＥＶＦ）用の画像、換言すれば、記録用ではなく表示用画像を用いて検出しても良い。一般にＥＶＦ用の画像の画素数は撮像素子１３が有する画素数よりも少ない。そのため、回折ゴースト像の検出処理を、撮像素子１３が撮像した全画素からなる画像に対して行うよりも少ないメモリ容量で、かつ高速に行うことができる。
【００９３】
そして、ＥＶＦ用の画像での検出結果に基づいて、ユーザ指示に応答して静止画撮像した画像に対する補正を行うことができる。なお、回折ゴースト像の検出に用いたＥＶＦ用の画像と、静止画撮像した画像とは撮像タイミングが異なるため、露出が異なる場合がある。この場合、露出量の差に応じて補正量を可変しても良い。
【００９４】
なお、ＥＶＦ用の画像に限らず、撮像素子１３の全画素数よりも画素数の少ない画像に対して回折ゴースト像の検出を行うことで、同様の効果を達成することができる。従って、読み出し画素数が少ない画像のみならず、全画素で読み出した後で画素を間引いたり縮小したりした画像を用いても良い。
【００９５】
なお、垂直方向と水平方向で画素の間引き率や縮小率が異なる場合には、垂直方向と水平方向での比率に応じてゴースト像の検出距離を修正する。また、撮像画像の補正時にも、この比率に応じて補正位置を修正する。
【００９６】
以上説明したように、本実施形態によれば、ＵＶＩＲフィルタを多層膜コートにより実現した場合に生じる回折ゴースト像を、簡便な方法により抑制することが可能となる。
【００９７】
（他の実施形態）
上述の実施形態では、多層膜コートにより紫外カットフィルタ及び赤外カットフィルタの両方の機能を実現した場合について説明した。しかし、図４や図１０を用いて説明したように、回折ゴースト像の主要因は赤外カットフィルタの特性にある。そのため、少なくとも赤外カットフィルタを多層膜コートで実現している撮像装置で撮像された画像であれば、本発明の効果を十分に達成することができる。
【００９８】
また、上述の実施形態では、本発明を撮像装置に適用した場合について説明したが、撮像された画像中の回折ゴースト像の補正に関しては、撮像素子に固有な情報である回折ゴースト像の発生位置についての情報があれば足り、撮像機能は必須でない。従って、本発明は一般的な画像処理装置にも適用可能である。
【００９９】
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
【０１００】
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。
【０１０１】
上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【０１０２】
有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。
【０１０３】
そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
【０１０４】
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。
【０１０５】
また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。
【図面の簡単な説明】
【０１０６】
【図１】本発明の実施形態に係るデジタルカメラにおける回折ゴースト像補正処理を説明するためのフローチャートである。
【図２】従来の撮像装置の要部構成を示す断面図である。
【図３】回折ゴースト像の例を示す図である。
【図４】ＵＶＩＲカットフィルタの波長特性の例を示す図である。
【図５】本発明の実施形態に係るデジタルカメラの光学部材１１及び撮像素子１３の構成例を示す垂直断面図である。
【図６】本発明の実施形態に係るデジタルカメラの撮像素子１３の構成例を示す垂直断面図である。
【図７】本発明の実施形態に係るデジタルカメラの多層膜コート１２の分光透過率を光の入射角度毎に示した図である。
【図８】本発明の実施形態に係るデジタルカメラの多層膜コート１２の分光反射率を光の入射角度毎に示した図である。
【図９】太陽光の分光放射輝度を示す図である。
【図１０】回折ゴースト像の分光分布特性の例を示した図である。
【図１１】本発明の実施形態に係るデジタルカメラの撮像素子１３の分光感度特性を示した図である。
【図１２】本発明の実施形態に係るデジタルカメラの撮像素子１３が図１０に示した回折ゴースト像を受光するした際の分光分布特性の例を示した図である。
【図１３】本発明の実施形態に係るデジタルカメラにおける飽和領域抽出方法を説明する図である。
【図１４】本発明の実施形態に係るデジタルカメラにおける回折ゴースト像の発生領域の推定方法の例を説明するための図である。
【図１５】本発明の実施形態に係るデジタルカメラにおける回折ゴースト像の色評価領域の例を説明するための図である。
【図１６】本発明の実施形態に係るデジタルカメラにおける、彩度と彩度ゲインダウン量Ａとの関係の一例を示した図である。
【図１７】本発明の実施形態に係るデジタルカメラにおける、彩度と輝度ゲインアップ量Ｂとの関係の一例を示した図である。
【図１８】本発明の実施形態に係るデジタルカメラにおいて、ＣＣＤ−ＲＡＷ信号の補正値を求めるための補正ゲインと被写体輝度値との関係の例を示す図である。
【図１９】本発明の実施形態に係る画像処理装置の一例としてのデジタルカメラの構成例を示す図である。
【図１】
2009303061.tif 000003
【図２】
2009303061.tif 000004
【図３】
2009303061.tif 000005
【図４】
2009303061.tif 000006
【図５】
2009303061.tif 000007
【図６】
2009303061.tif 000008
【図７】
2009303061.tif 000009
【図８】
2009303061.tif 000010
【図９】
2009303061.tif 000011
【図１０】
2009303061.tif 000012
【図１１】
2009303061.tif 000013
【図１２】
2009303061.tif 000014
【図１３】
2009303061.tif 000015
【図１４】
2009303061.tif 000016
【図１５】
2009303061.tif 000017
【図１６】
2009303061.tif 000018
【図１７】
2009303061.tif 000019
【図１８】
2009303061.tif 000020
【図１９】
2009303061.tif 000021