(57)【要約】  【課題】  撮影画像にゴースト画像が発生した場合には、ゴースト画像を含む撮影画像からゴースト画像を除去することで、ゴースト画像のない撮影画像として得ること。  【解決手段】  撮像部の撮像面に形成された撮影画像の画像信号を処理する画像処理装置１において、撮影画像の中のゴースト画像の点像分布関数を求め、この点像分布関数とゴースト画像の原因となる原因光源とからゴースト画像信号を求め、撮影画像の画像信号から上記ゴースト画像信号を除去すること。【選択図】  図２
2009200749.tif 000002
【特許請求の範囲】
【請求項１】
撮像部の撮像面に形成された撮影画像の画像信号を処理する画像処理装置において、
上記撮影画像の中のゴースト画像の点像分布関数を求め、この点像分布関数と上記ゴースト画像の原因となる原因光源についての情報とからゴースト画像信号を求め、上記撮影画像の画像信号から上記ゴースト画像信号を除去することを特徴とする画像処理装置。
【請求項２】
前記点像分布関数を求める点像分布関数演算手段と、
上記点像分布関数演算手段により求めた前記点像分布関数と前記原因光源についての情報とから前記ゴースト画像信号を求めるゴースト画像信号演算手段と、
前記撮影画像の画像信号から前記ゴースト画像信号を除去するゴースト画像信号除去手段と、
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記原因光源についての情報は、前記撮像面上に形成される前記原因光源の結像画像に基づいて求めることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記撮像面に前記原因光源の結像画像が含まれているかどうかの判断を行う原因光源存在判断手段を備えることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記原因光源存在判断手段は、前記撮影画像において、画素の輝度レベルが所定の輝度レベル以上である部分については、前記原因光源の結像であると判断することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記原因光源存在判断手段は、前記撮影画像の平均の輝度レベルを求め、前記撮影画像において、前記平均の輝度レベルに対して所定の輝度レベル以上である部分については、前記原因光源の結像であると判断することを特徴とする請求項４に記載の画像処理装置。
【請求項７】
撮像部の撮像面に形成された撮像の撮影画像信号を処理する画像処理方法において、
上記撮影画像の中のゴースト画像の点像分布関数を求めるステップと、
上記点像分布関数と上記ゴースト画像の原因となる原因光源についての情報とからゴースト画像信号を求めるステップと、
上記撮影画像信号から上記ゴースト画像信号を除去するステップと、
を有することを特徴とする画像処理方法。
【請求項８】
撮像部の撮像面に形成された撮像の撮影画像信号を処理する画像処理プログラムにおいて、
上記撮影画像の中のゴースト画像の点像分布関数を求める処理と、
上記点像分布関数と上記ゴースト画像の原因となる原因光源についての情報とからゴースト画像信号を求める処理と、
上記撮影画像信号から上記ゴースト画像信号を除去する処理と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
デジタルカメラやビデオカメラ等、撮像素子の撮像面に被写体像を結像させる撮影装置を用いて撮影を行う際、太陽光や輝度の高い照明光源等といった高輝度光源が被写体に含まれることがある。かかる高輝度光源から照射される輝度の高い光（高輝度光）が、撮影光学系内に入射すると、この高輝度光の一部が、レンズ鏡筒の内周面やレンズ面の間で反射し、この反射光が撮像面に入射することで、本来の太陽あるいは照明の光源の結像とは異なる像である、いわゆるゴースト画像として撮影画像に移り込んでしまうことがある。このようなゴースト画像の発生を防止するため、レンズに反射防止膜を形成したり、レンズ鏡筒の内周面に艶消し塗料を塗布したり、あるいはゴースト画像の発生の原因となる光が撮像面に入射しないように遮光する絞り部材を設置する等、ゴースト画像の発生を防止する対策が採られることがある（例えば、特許文献1参照）。
【０００３】
【特許文献１】特開２００７−４１５７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の防止対策を施した場合でも、完全にゴースト画像の発生を防止できない場合がある。
【０００５】
そこで、本発明は、撮影画像にゴースト画像が発生した場合には、ゴースト画像を含む撮影画像からゴースト画像を除去することで、ゴースト画像のない撮影画像を得ることができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、撮像部の撮像面に形成された撮影画像の画像信号を処理する画像処理装置において、撮影画像の中のゴースト画像の点像分布関数を求め、この点像分布関数とゴースト画像の原因となる原因光源についての情報とからゴースト画像信号を求め、撮影画像の画像信号からゴースト画像信号を除去することとする
【０００７】
画像処理装置をこのように構成することで、撮影画像からゴースト画像を除去することができ、ゴースト画像のない撮影画像を得ることができる。
【０００８】
また、他の発明は、上述の発明に加え、点像分布関数を求める点像分布関数演算手段と、点像分布関数演算手段により求めた点像分布関数と原因光源についての情報とからゴースト画像信号を求めるゴースト画像信号演算手段と、撮影画像の画像信号からゴースト画像信号を除去するゴースト画像信号除去手段とを備えることとする。
【０００９】
画像処理装置をこのように構成することで、撮影画像からゴースト画像を除去することができ、ゴースト画像のない撮影画像を得ることができる。
【００１０】
また、他の発明は、上述の発明に加え、原因光源についての情報は、撮像面上に形成される原因光源の結像画像に基づいて求めることとする。
【００１１】
画像処理装置をこのように構成することで、撮影画像からゴースト画像を容易に除去することができ、ゴースト画像のない撮影画像を得ることができる。
【００１２】
また、他の発明は、上述の発明に加え、撮像面に原因光源の結像画像が含まれているかどうかの判断を行う原因光源存在判断手段を備えることとする。
【００１３】
画像処理装置をこのように構成することで、撮影画像からゴースト画像を容易に除去することができ、ゴースト画像のない撮影画像を得ることができる。
【００１４】
また、他の発明は、上述の発明に加え、原因光源存在判断手段は、撮影画像において、画素の輝度レベルが所定の輝度レベル以上である部分については、原因光源の結像であると判断することとする。
【００１５】
画像処理装置をこのように構成することで、撮像面における原因光源の結像画像の存在の有無を容易に判断することができる。
【００１６】
また、他の発明は、上述の発明に加え、原因光源存在判断手段は、撮影画像の平均の輝度レベルを求め、撮影画像において、平均の輝度レベルに対して所定の輝度レベル以上である部分については、原因光源の結像であると判断することとする。
【００１７】
画像処理装置をこのように構成することで、撮像面における原因光源の結像画像の存在の有無を容易に判断することができる。
【００１８】
上記課題を解決するために、撮像部の撮像面に形成された撮像の撮影画像信号を処理する画像処理方法において、撮影画像の中のゴースト画像の点像分布関数を求めるステップと、点像分布関数とゴースト画像の原因となる原因光源についての情報とからゴースト画像信号を求めるステップと、撮影画像信号からゴースト画像信号を除去するステップとを有することとする。
【００１９】
画像処理装置をこのように構成することで、撮影画像からゴースト画像を除去することができ、ゴースト画像のない撮影画像を得ることができる。
【００２０】
上記課題を解決するために、撮像部の撮像面に形成された撮像の撮影画像信号を処理する画像処理プログラムにおいて、撮影画像の中のゴースト画像の点像分布関数を求める処理と、点像分布関数とゴースト画像の原因となる原因光源についての情報とからゴースト画像信号を求める処理と、撮影画像信号からゴースト画像信号を除去する処理とをコンピュータに実行させることとする。
【００２１】
画像処理プログラムをコンピュータにインストールし、コンピュータにこのプログラムを実行させることで、撮影画像からゴースト画像を除去することができ、ゴースト画像のない撮影画像を得ることができる。
【発明の効果】
【００２２】
本発明によれば、撮影画像からゴースト画像を除去することができ、ゴースト画像のない撮影画像を得ることができる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の実施の形態に係る画像処理装置１について図１を参照しながら説明する。なお、この画像処理装置１は、撮像部２にＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）を使用した民生用のいわゆるデジタルカメラとしているが、撮像部２にＣＣＤ等の撮像素子を用いる監視用カメラ、テレビ用カメラ、内視鏡用カメラ等、他の用途のカメラとしたり、顕微鏡用、双眼鏡用、さらには核磁気共鳴撮影用等の画像診断装置等、カメラ以外の機器にも適用できる。なお、画像処理方法については、画像処理装置１の動作の説明と併せて行うこととする。
【００２４】
画像処理装置１は、被写体光を撮像部２に結像させる撮影光学系３と、撮像部２で撮像された画像を処理する処理部４と、諸情報を記憶するメモリ５と、モニタ６と、画像処理装置１の動作を制御する制御部７等を有している。
【００２５】
撮影光学系３は、レンズ系とこのレンズ系を保持するレンズ鏡筒等から構成され、撮影光学系３には、人物等の被写体（撮影対象物）からの被写体光が入射する。撮影光学系３に入射した被写体光は、撮影光学系３内のレンズにより、撮像部２の撮像面に結像させられる。この際、撮影光学系３内に、太陽や輝度の高い照明光源（例えば、自動車のヘッドライト）等の輝度の高い光源（高輝度光源）から照射された高輝度光が入射した場合には、この高輝度光がレンズ鏡筒の内周面やレンズ面の間で反射し、撮像面に、太陽や照明光源の結像とは異なる像がゴースト画像として形成されることがある。
【００２６】
撮像部２は、撮影光学系３を通過し、撮像面に入射した光を電気信号である撮影画像信号に変換するものである。この撮影画像信号は処理部４において画像処理され、モニタ６に映像として表示されることになる。なお、本実施の形態では、撮像部２にはＣＣＤを使用する例を示しているが、ＣＣＤに換えて、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子を備えてもよい。
【００２７】
処理部４は、画像処理プロセサで構成されており、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）のようなハードウェアで構成されている。なお、処理部４は、ＡＳＩＣのようなハードウェアとして構成されるものの他、ソフトウェアで処理する構成としても良い。処理部４では、撮像部２から出力された撮影画像信号に対し所定の画像処理を行い、モニタ６側に出力する。
【００２８】
メモリ５には、画像処理を実行するための各種のプログラムや、撮影光学系３の光学特性等、各種の情報等が記憶されている。後述するように、処理部４では、画像処理の一部の処理としてゴースト画像についての点像分布関数を求めるが、この際、メモリ５に記憶されている撮影光学系３の光学特性等が使用される。
【００２９】
モニタ６には、処理部４において所定の画像処理が実行された撮影画像信号が入力され、この撮影画像信号に基づく映像が映し出される。なお、モニタ６は液晶ディスプレイのような映像がモニタ６自体に直接表示されるものの他、スクリーンに該映像を投影画像として表示されるものを含む。また、モニタ６に換えて画像処理が行われた後の撮影画像信号を記憶する記憶装置を備える構成としてもよい。
【００３０】
制御部７は、撮像部２の他、処理部４、メモリ５、モニタ６等、画像処理装置１内の各部を制御するものである。
【００３１】
画像処理装置１は、撮像部２で得られた撮影画像にゴースト画像が含まれている場合には、以下に説明する画像処理を実行することで、撮像部２で捕らえられたゴースト画像を含む撮影画像の画像信号からゴースト画像の画像信号を除去した画像信号を生成する。したがって、モニタ６には、ゴースト画像の画像信号が除去された撮影画像の画像信号が入力され、ゴースト画像の無い撮影画像の映像がモニタ映像として表示されることになる。先ず、この画像処理について、その概要を説明する。
【００３２】
ゴースト画像は、上述したように、被写体中の高輝度光源から照射される光の一部が、レンズ鏡筒の内周面やレンズ面の間で反射し撮像部２の撮像面に入射するものである。したがって、撮像面に形成されるゴースト画像の形成位置や強度分布は、撮影光学系３の撮影状態と、撮影光学系３に対する高輝度光源の位置や強度分布とに対応している。ここで言う撮影光学系３の撮影状態とは、レンズ鏡筒の内周面の反射特性、レンズのコート特性、焦点距離、フォーカス状態等に関するものであり、かかる撮影状態を知ることにより、撮影光学系３に入射した光が撮像面にどのように入射するかを知ることができる。つまり、高輝度光源の位置や強度分布が判れば、撮影光学系３の撮影状態に基づき、ゴースト画像が撮像面のどこにどのように発生するかを把握することができる。
【００３３】
一方、高輝度光源と、撮像部２の撮像面における高輝度光源の結像とは、撮影光学系３を介して対応した関係（光学的に共役）となっている。つまり、高輝度光源の結像と撮影光学系３の撮影状態に基づき高輝度光源の位置や強度分布等を予測することができる。
【００３４】
したがって、ゴースト画像が、上述の予測された高輝度光源から照射された光によって形成されたものと考えれば、ゴースト画像の点像分布関数を撮像面における高輝度光源の結像に対するものとして求めることができる。
【００３５】
つまり、処理部４では、被写体中にゴースト画像の原因となる高輝度光源（以下、ゴースト原因光源と言う。）が在るかどうかを判断し、在ると判断できる場合には、ゴースト原因光源の撮像面における結像（以下、ゴースト原因光源画像と言う。）の位置と強度分布から撮影光学系３の撮影状態に基づき、ゴースト原因光源画像に対応したゴースト画像の点像分布関数を算出する。そして、この点像分布関数とゴースト原因光源画像の画像信号からゴースト画像の画像信号を求め、撮像部２において得られたゴースト画像を含む撮影画像の画像信号からゴースト画像の画像信号を除去することで、ゴースト画像の画像信号を含まない画像信号を生成する。その結果、モニタ６に、ゴースト画像が除去された撮影画像を表示することができる。
【００３６】
次に、上述のように構成された画像処理装置１の画像処理について、図２に示すフローチャートを参照しながら詳しく説明する。なお、処理部４は、図１に示すように、ゴースト原因光源が被写体に存在するかどうかを判断する原因光源存在判断手段８と、ゴースト原因光源の結像である原因光源画像についてのゴースト画像の点像分布関数を求める点像分布関数演算手段９と、ゴースト画像の画像信号を求めるゴースト画像信号演算手段１０と、撮像面で撮像された撮影画像の撮影画像信号からゴースト画像信号を除去するゴースト画像信号除去手段１１とが機能的に構成されている。
【００３７】
先ず、撮像部２で撮像された撮影画像の画像信号が処理部４に送られる（ステップＳ１０）。撮像部２から出力された撮影画像信号が入力された処理部４では、原因光源存在判断手段８において、被写体中にゴースト原因光源があるかどうかを判断する（ステップＳ２０）。
【００３８】
ゴースト画像は、ゴースト原因光源からの光の一部が、レンズ鏡筒の内周面やレンズ面の間で反射し撮像部２の撮像面に入射することで形成されるものである。すなわち、輝度の低い光源については、ゴースト画像を形成していたとしても、ゴースト画像を形成している光の光量が僅かであり、多くの場合、視認することができない。つまり、輝度の高い光源について発生したゴースト画像について、その除去処理を行うようにすれば良い。
【００３９】
したがって、被写体中にゴースト原因光源となる可能性のある光源があるかどうかの判断（ステップＳ２０）は、撮像部２における撮影画像の画素の輝度レベルに基づいて行い、撮影画像の中に、画素の輝度レベルが所定値以上である部分が存在する場合には、被写体中にゴースト原因光源が在ると判断する。なお、ゴースト原因光源と判断する輝度レベルは、予め、実験等により求め、メモリ５に記憶しておく。また、連続するまとまった所定数の画素において所定の輝度レベルよりも輝度が高い場合に、ゴースト原因光源が在ると判断することにより、画素の輝度情報に高輝度側の誤差やノイズがあった場合に、実際にはゴースト原因光源が無いにも拘わらず在ると判断してしまう誤判断の発生の危険性を少なくすることができる。
【００４０】
被写体中にゴースト原因光源が在ると判断された場合、すなわち、撮影画像の中に輝度レベルが所定値以上の画素が連続して所定数在ると判断された場合には（ステップＳ２０においてＹｅｓ）、このゴースト原因光源によって発生させられるゴースト画像に関する点像分布関数を算出する（ステップＳ３０）。なお、被写体中にゴースト原因光源が無いと判断された場合（ステップＳ２０においてＮｏ）には、ゴースト画像を含む撮影画像の画像信号からゴースト画像の画像信号を除去する画像処理を行う必要がないため、撮像部２から出力された撮影画像信号に対し、Ａ／Ｄ変換や色補正等の通常の画像処理を行うのみでモニタ６に出力する（ステップＳ３５）。
【００４１】
ゴースト原因光源から照射された光が撮影光学系３を通過する際にどのような光路を経るかは、撮影光学系３の撮影状態（レンズ鏡筒の内周面の反射特性、レンズのコート特性、焦点距離、フォーカス状態等）から知ることができる。つまり、撮影光学系３の撮影状態が判れば、ゴースト原因光源から照射された光のうち、ゴースト原因光源の結像（ゴースト原因光源画像）となる光以外の光が、撮影光学系３のレンズ鏡筒の内周面のどこで反射し、さらにどこのレンズ面の間でどのように反射し、その結果、撮像面のどこにどのようにゴースト画像として形成されるかが判る。
【００４２】
レンズ鏡筒の内周面の反射特性、レンズのコート特性等、光学系の設計時に決定される固定的な要素に関しては、撮影光学系３の光学特性としてメモリ５に記憶されている。また、焦点距離、フォーカス状態等といった撮影時において適宜変更される要素については、撮影光学系３に備えられるレンズ位置等を検出するセンサからの検出情報や、制御部７から撮影光学系３に対して出される制御指令等から知ることができる。したがって、メモリ５に記憶されている撮影光学系３の光学特性と、センサからの検出情報と、制御部７から撮影光学系３に対する制御指令等とから撮影光学系３の撮影状態を知ることができる。
【００４３】
さらに、ゴースト原因光源の位置や強度分布等のゴースト原因光源に関する情報は、ゴースト原因光源画像から撮影光学系３の撮影状態に基づき予測することができる。つまり、この予測されたゴースト原因光源（以下、予測ゴースト原因光源と言う。）の情報とゴースト原因光源画像とは対応するものとなっている。また、撮影光学系３の撮影状態に基づいて、予測ゴースト原因光源に対するゴースト画像の形成位置や強度分布を求めることができる。したがって、ゴースト画像の点像分布関数を、ゴースト原因光源画像に対するものとして求めることができる。
【００４４】
ステップＳ３０では、ゴースト画像点像分布関数演算手段９において、先ず、メモリ５に予め記憶されている撮影光学系３の光学特性、センサからの検出情報および制御部７から撮影光学系３に対する制御指令等に基づいて撮影光学系３の撮影状態を特定する。そして、この撮影状態と、撮像面におけるゴースト原因光源画像の結像位置や強度分布等とから、予測ゴースト原因光源に関する情報を予測し、予測ゴースト原因光源に対するゴースト画像の点像分布関数を求める。さらに、この点像分布関数と、ゴースト原因光源画像と予測ゴースト原因光源との関係に基づいて、ゴースト画像の点像分布関数を、ゴースト原因光源画像に対する点像分布関数として求める。このようにして求められたゴースト原因光源画像に対する点像分布関数は、ゴースト原因光源がゴースト画像を発生することなく撮像面に結像したと仮定したときのゴースト原因光源の結像画像と、現実に発生したゴースト画像との関係を示すものである。
【００４５】
例えば、図３に示すように、撮像面における座標（ｈ，ｗ）にゴースト原因光源が、ゴースト画像の発生が無い状態で結像したと仮定し、この結像画像の画像信号に対応する画像データを原因光源理想画像データＩｍ（ｈ，ｗ）とする。そして、この結像画像（原因光源理想画像データＩｍ（ｈ，ｗ））についてのゴースト画像の点像分布関数をｇ（ｈ、ｗ、ｘ、ｙ）とする。また、ゴースト原因光源により実際に発生したゴースト画像の画像信号に対応する画像データをゴースト画像データＧｇ（ｘ、ｙ）とする。このとき、ゴースト画像データＧｇ（ｘ、ｙ）は、下記の式（１）で表わされることになる。
Ｇｇ（ｘ、ｙ）＝∫∫Ｉｍ（ｈ、ｗ）・ｇ（ｈ、ｗ、ｘ、ｙ）ｄｗｄｈ  ・・・  （１）
【００４６】
ところで、除去処理が必要なゴースト画像は、上述したように一般に輝度の高い高輝度光源からの光によって発生する。そして、ゴースト原因光源となる高輝度光源から照射される光りの内、その殆どは、撮像部２の撮像面にゴースト原因光源の像として結像する。
【００４７】
一方、ゴースト画像は、ゴースト原因光源から照射される光の内、レンズ鏡筒の内周面やレンズ面の間で反射する等のイレギュラな光により形成されるものであり、ゴースト原因光源から照射される光量に比べれば僅かな光量の光によって形成される。したがって、撮像面におけるゴースト原因光源の実際の結像画像は、ゴースト原因光源がゴースト画像を発生することなく撮像面に結像した場合の結像画像と近似したものと見ることができる。すなわち、撮像面におけるゴースト原因光源の実際の結像画像の画像信号に対応する画像データを原因光源実画像データＩｇ（ｈ、ｗ）とすると、この原因光源実画像データＩｇ（ｈ、ｗ）と原因光源理想画像データＩｍ（ｈ，ｗ）とは近似したものと見ることができる。
【００４８】
そこで、ステップＳ４０では、下記の式（２）に示すように、原因光源実画像データＩｇ（ｈ、ｗ）を、原因光源理想画像データＩｍ（ｈ、ｗ）とみなし、式（２）に基づき、原因光源実画像データＩｇ（ｈ、ｗ）と点像分布関数ｇ（ｈ、ｗ、ｘ、ｙ）とからゴースト画像データＧｇ（ｘ、ｙ）を求める。
Ｇｇ（ｘ、ｙ）＝∫∫Ｉｇ（ｈ、ｗ）・ｇ（ｈ、ｗ、ｘ、ｙ）ｄｗｄｈ  ・・・  （２）
【００４９】
一方、撮影光学系３により撮像面に結像したゴースト画像を含む撮影画像の画像信号に対応する画像データを撮影画像データＩｇ（ｘ，ｙ）とし、また、ゴースト画像を含まずに撮影することができたと仮定したときの理想的な撮影画像の画像信号に対応する画像データを理想撮影画像データＩｍ（ｘ，ｙ）とすると、撮影画像データＩｇ（ｘ，ｙ）と理想撮影画像データＩｍ（ｘ，ｙ）との関係は、下記の式（３）のように表わされる。
Ｉｇ（ｘ，ｙ）＝Ｉｍ（ｘ，ｙ）＋Ｇｇ（ｘ、ｙ）  ・・・  （３）
【００５０】
すなわち、撮像面に結像したゴースト画像を含む撮影画像（撮影画像データＩｇ（ｘ，ｙ））は、ゴースト画像を含まずに撮影することができたと仮定したときの理想的な撮影画像（理想撮影画像データＩｍ（ｘ，ｙ））にゴースト画像（ゴースト画像データＧｇ（ｘ、ｙ））が重なっているものと考えることができる。したがって、下記の式（４）に示すように、撮影画像データＩｇ（ｘ，ｙ）からゴースト画像データＧｇ（ｘ、ｙ）を引くことで、ゴースト画像が発生していない理想撮影画像データＩｍ（ｘ，ｙ）を求めることができる。
Ｉｍ（ｘ，ｙ）＝Ｉｇ（ｘ，ｙ）−Ｇｇ（ｘ、ｙ）  ・・・  （４）
【００５１】
そこで、ステップＳ５０では、ゴースト画像信号除去手段１１において、式（４）に示すように、撮影画像データＩｇ（ｘ，ｙ）からゴースト画像データＧｇ（ｘ、ｙ）を引き、理想撮影画像データＩｍ（ｘ，ｙ）を求める。すなわち、撮影画像信号からゴースト画像信号を除去する。このようにして求めた理想撮影画像データＩｍ（ｘ，ｙ）に基づく画像信号をモニタ６に出力することで（ステップＳ６０）、モニタ６にはゴースト画像が発生していない撮影画像の映像が表示される。なお、モニタ６に出力される際には、ステップＳ３５と同様に、Ａ／Ｄ変換や色補正等の通常の画像処理も行われる。
【００５２】
ところで、ステップＳ２０において行われる被写体中にゴースト原因光源となる可能性のある光源があるかどうかの判断は、撮像面における撮影画像の画素に輝度レベルが所定値以上となっている部分が在るかどうかで判断している。しかしながら、例えば、夜景の撮影や暗い室内における撮影等、輝度の低い被写体を撮影対象とした場合には、輝度がそれほど高くない光源についてもゴースト原因光源となることがある。これは、撮影画像が全体的に暗くなるため、本来ゴースト画像としては視認できない程度の暗いゴースト画像であっても目立つようになるためである。
【００５３】
そこで、撮像面における撮影画像の全画素について、平均の輝度レベルを求め、この平均の輝度レベルに対して所定値以上の輝度レベルの部分が在る場合には、この部分にゴースト原因光源が結像していると判断するようにしてもよい。このようにすることで、輝度の低い被写体の中に、それほど輝度の高くない光源であるがゴースト原因光源となり得る光源がある場合についても、撮影画像からゴースト画像を除去することができる。
【００５４】
また、上述の実施の形態においては、撮像面にゴースト原因光源画像が結像している場合、すなわちゴースト原因光源が撮像面に結像している場合について説明しているが、ゴースト原因光源が撮影光学系３の画角を外れた位置に位置しているときは、ゴースト原因光源は撮像面に結像することなく、ゴースト画像だけが撮影画像に形成される場合がある。このような場合であっても、ゴースト原因光源の位置と強度分布等の情報を知ることで、ゴースト画像の点像分布関数およびゴースト画像データを求めることができ、撮影画像からゴースト画像を除去した画像を撮影画像として得ることができる。
【００５５】
なお、上述したゴースト画像の除去に関する画像処理は、撮影時における手ぶれによる劣化画像の復元処理と併せて実行してもよい。この場合には、劣化画像の復元処理を行う前にゴースト画像の除去処理を行った撮影画像に対して劣化画像の復元処理を行ったり、あるいは劣化画像の復元処理が行われた撮影画像に対してゴースト画像の除去を行う画像処理を実行する。
【００５６】
なお、劣化画像の復元処理としては、例えば、特開平１１−２４１２２号に開示されるように、撮影光学系の光軸の変動を角速度センサで検出し、検出した角速度等から撮影時のぼけ状態（画像の劣化状態）を表わす伝達関数を取得し、劣化した撮影画像に対し、取得した伝達関数の逆変換を行い、画像の復元を行う方法がある。また、例えば、特開２００７−３６６１３号、２００７−３４９９５号に開示される繰り返しによる復元処理を行う方法がある。
【００５７】
以上、本発明の実施の形態に係る画像処理装置１について説明したが、本発明の要旨を逸脱しない限り種々変更実施可能である。たとえば、処理部４で行った処理は、ソフトウェアで構成しているが、それぞれ、一部の処理を分担して行うようにした部品からなるハードウェアで構成しても良い。
【００５８】
また、上述した各処理方法は、プログラム化されても良い。また、プログラム化されたものが記憶媒体、たとえばＣＤ、ＤＶＤ、ＵＳＢメモリに入れられ、コンピュータによって読み通り可能とされても良い。この場合、画像処理装置１は、その記憶媒体内のプログラムを読み込む読み込み手段を持つこととなる。さらには、そのプログラム化されたものが画像処理装置１の外部のサーバに入れられ、必要によりダウンロードされ、使用されるようにしても良い。この場合、画像処理装置１は、その記憶媒体内のプログラムをダウンロードする通信手段を持つこととなる。また、処理部４をプリンタ機器に組み込み、プリンタ機器を画像処理装置として利用し、デジタルカメラ等で撮影した画像のデータに対して上述の画像処理を実行しプリントアウトするようにしてもよい。また、上述の画像処理をプログラム化したものプリンタ機器において実行し、デジタルカメラ等で撮影した画像のデータに対して上述の画像処理を実行しプリントアウトするようにしてもよい。
【００５９】
また、液表表示装置や反射型ライトバルブ（例えば、ＤＭＤ（Ｄｉｇｉｔａｌ  Ｍｉｒｒｏｒ  Ｄｅｖｉｃｅ）等の表示装置に形成された画像を投射レンズを介してスクリーン等の投影面に投影する、いわゆるプロジェクタのような投射型表示装置において、投射レンズを通過する投射光が投射レンズ内で反射し、投影面にゴースト像を形成することがある。かかるゴースト像は、投射型表示装置の光源の位置や輝度および投射レンズ内の反射位置等から発生場所や発生位置を予め把握できるものである。そこで、表示装置に形成される画像について、ゴースト像をキャンセルする画像となるように画像データ上で処理を行うようにして、ゴースト像が形成されないようにしてもよい。
【図面の簡単な説明】
【００６０】
【図１】本発明の実施の形態に係る画像処理装置の主要構成を示すブロック図である。
【図２】図１に示す画像処理装置の処理方法（処理ルーチン）を説明するためのフローチャートである。
【図３】図１に示す画像処理装置における撮像部の撮像面における撮影画像の様子を模式的に示す図である。
【符号の説明】
【００６１】
１  ・・・  画像処理装置
２  ・・・  撮像部
８  ・・・  原因光源存在判断手段
９  ・・・  点像分布関数演算手段
１０  ・・・  ゴースト画像信号演算手段
１１  ・・・  ゴースト画像信号除去手段
【図１】
2009200749.tif 000003
【図２】
2009200749.tif 000004
【図３】
2009200749.tif 000005