(57)【特許請求の範囲】
【請求項１】
同じ撮像条件において、ゴーストの発現状況が相互に異なる２つの撮像光学系と、
前記２つの撮像光学系の撮像画像における相互に等しい撮像範囲を相互に対比することで、ゴースト箇所を判定するゴースト判定部とを有することを特徴とするゴースト検出装置。
【請求項２】
前記ゴースト判定部により判定されたゴースト箇所に対し、ゴーストを除去した撮像画像を作成するゴースト除去部をさらに備えたことを特徴とする請求項1記載のゴースト検出装置。
【請求項３】
前記ゴースト除去部は、一方の撮像光学系による撮像画像におけるゴースト箇所を他方の撮像光学系における同じ被写体位置の画像で置き換え、または、補正することにより、ゴーストを除去することを特徴とする請求項２記載のゴースト検出装置。
【請求項４】
前記ゴースト判定部は、前記２つの撮像光学系による撮像画像の対比の結果、所定値以上の輝度差がある箇所をゴースト箇所と判定することを特徴とする請求項１〜３のいずれか1項に記載のゴースト検出装置。
【請求項５】
前記２つの撮像光学系間は、撮像範囲、解像度、および製造時のばらつきの調整方法の内の少なくとも１つが異なることを特徴とする請求項１〜４のいずれか1項に記載のゴースト検出装置。
【請求項６】
前記ゴースト判定部は、前記２つ撮像光学系による撮像画像に対して、相互に等しい撮像範囲をパターンマッチングによって対比することにより、ゴースト箇所を判定することを特徴とする請求項１〜５のいずれか1項に記載のゴースト検出装置。
【請求項７】
前記ゴースト判定部は、前記２つの撮像光学系による撮像画像のうち、少なくとも一方の画像に対して、拡大、縮小、変形および回転の少なくとも１つを行うことで、前記２つの撮像光学系の撮像画像を対比することを特徴とする請求項１〜６のいずれか1項に記載のゴースト検出装置。
【請求項８】
前記２つの撮像光学系のうち、一方の撮像光学系における光学焦点距離をＦ１、撮像素子サイズをＳ１とし、他方の撮像光学系における光学焦点距離をＦ２、撮像素子サイズをＳ２とするとき、
Ｓ１／Ｆ１≦Ｓ２／Ｆ２
であることを特徴とする請求項１〜７のいずれか1項に記載のゴースト検出装置。
【請求項９】
前記一方の撮像光学系が変倍可能であり、前記光学焦点距離Ｆ１は、前記一方の撮像光学系における短焦点側の所定範囲であることを特徴とする請求項８に記載のゴースト検出装置。
【請求項１０】
前記２つの撮像光学系が一体として形成されていることを特徴とする請求項１〜７のいずれか1項に記載のゴースト検出装置。
【請求項１１】
前記２つの撮像光学系における撮像素子が、１つの撮像素子をエリア分割して構成されていることを特徴とする請求項１０に記載のゴースト検出装置。
【請求項１２】
前記他方の撮像光学系に、中心窩レンズを備えることを特徴とする請求項８に記載のゴースト検出装置。
【請求項１３】
前記一方の撮像光学系と同一特性の第３の撮像光学系をさらに備えることを特徴とする請求項８，９、または、１２のいずれか1項に記載のゴースト検出装置。
【請求項１４】
前記２つの撮像光学系とゴースト判定部とは分離可能であることを特徴とする請求項１〜１２のいずれか1項に記載のゴースト検出装置。
【請求項１５】
前記請求項１〜１３のいずれか１項に記載のゴースト検出装置を備えることを特徴とする撮像装置。
【請求項１６】
同じ撮像条件において、ゴーストの発現状況が相互に異なる２つの撮像光学系により２つの撮像画像を取得する取得工程と、
前記取得工程において取得された２つの撮像画像における相互に等しい撮像範囲を対比する対比工程と、
前記対比の結果、所定値以上の輝度差がある箇所をゴースト箇所と判定するゴースト判定工程とを有することを特徴とするゴースト検出方法。
【請求項１７】
前記判定工程により判定されたゴースト箇所に対し、ゴーストを除去した撮像画像を作成するゴースト除去工程をさらに備えたことを特徴とする請求項16記載のゴースト検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置におけるゴーストを検出するための方法および装置、ならびに当該装置を備えた撮像装置、および、ゴースト除去方法に関する。
【背景技術】
【０００２】
前記撮像装置において、ゴーストを除去する場合、従来では、たとえば特許文献１で示されるように、何らかの方法で光源の位置を推定し、その光源の位置からシミュレーションでゴースト位置を割り出し、除去している。一方、以下特許文献２には、フォーカスを変えたり、雲台を移動させることで光源位置を推定して、ゴースト位置を推定する方法も提案されている。【０００３】
前記特許文献１の手法では、ゴーストの検出精度には、光源の位置測定精度や、シミュレーションの精度が問題となり、高い精度を得るには、コストおよび時間がかかる。また、光源の位置の推定方法は、撮像画像中に光源が映っていることを前提としており、光源が映り込んでいない場合には検出できないという問題がある。また、前記特許文献２の手法では、リアルタイムでゴーストを検出することが不可能である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２８９０３４号公報
【特許文献２】特開２００８−５４２０６号公報
【発明の概要】
【０００５】
本発明の目的は、ゴーストの発生位置を正確に、かつリアルタイムで検出することができるゴースト検出装置およびそれを用いる撮像装置ならびにゴースト検出方法を提供することである。
【０００６】
本発明のゴースト検出装置は、同じ撮像条件において、ゴーストの発現状況が相互に異なる２つの撮像光学系と、前記２つの撮像光学系の撮像画像における相互に等しい撮像範囲を相互に対比することで、ゴースト箇所を判定するゴースト判定部とを含むことを特徴とする。
上記構成要素を備えることで本願発明においては、ゴーストの発生位置を正確に、かつリアルタイムで検出することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施の一形態に係るゴースト検出および除去方法を用いる撮像装置のブロック図である。
【図２】前記撮像装置における画像処理装置の機能的構成を示すブロック図である。
【図３】前記画像処理装置におけるゴースト検出動作を説明するためのフローチャートである。
【図４】前記画像処理装置におけるゴースト除去動作を説明するためのフローチャートである。
【図５】前記画像処理装置の画像位置特定部における画像位置の特定方法を説明するための図である。
【図６】対応点探索法を説明するための図である。
【図７】解像度（画面サイズ）変換の様子を説明するための図である。
【図８】本実施の形態に係るゴースト位置判定およびゴースト除去方法を説明するための図である。
【図９】本発明の実施の他の形態に係るゴースト検出および除去方法を用いる撮像装置におけるカメラの模式的構成を示す斜視図である。
【図１０】本発明の実施の他の形態に係るゴースト検出および除去方法を用いる撮像装置におけるカメラの模式的構成を示す斜視図である。
【発明を実施するための形態】
【０００８】
＜実施例１＞
図１は、本発明の実施の一形態に係るゴースト検出および除去方法を用いる撮像装置１のブロック図である。この撮像装置１は、いわゆるデジタルスチルカメラやムービーカメラなどとして実現され、その１つの機能としてゴーストを検出し、除去した撮像画像を出力する機能を有するものとする。この撮像装置１は、主撮像光学系である第１のカメラＣ１と、副撮像光学系である第２のカメラＣ２と、前記ゴースト検出および除去を行うためのゴースト判定部を含む画像処理装置２とを備えて構成される。
【０００９】
注目すべきは、本実施の形態では、前記２つのカメラＣ１，Ｃ２は、同じ撮像条件において、ゴーストの発現状況が相互に異なることである。具体的には、これらのカメラＣ１，Ｃ２は、アングル（画角、光軸方向）、解像度（レンズ群、枚数構成等）、および製造ばらつきの調整方法の内の少なくとも１つを異ならせておくことで、前記同じ撮像条件（同じ被写体を略同じ方向から撮像する）で撮像しても、ゴーストの発現状況に差が生じるようになっている。
【００１０】
たとえば、第１のカメラＣ１は広角域から望遠域まで高精細画質で撮像可能な前記主撮像光学系を構成し、第２のカメラＣ２は比較的広角の携帯電話の端末装置に搭載されるような安価な前記副撮像光学系を構成する。この場合、同じ被写体３を同じ方向から撮像しても、レンズ群構成や枚数が多く、解像度（分解能）が高い第１のカメラＣ１の広角端側で、第２のカメラＣ２よりもゴーストが生じ易い。一方、第１および第２のカメラＣ１，Ｃ２が同じ撮像光学系を備えていても、画角や光軸方向のアングルが異なると、ゴーストの発現状況に差が生じる。また、前記第１および第２のカメラＣ１，Ｃ２が同じ撮像光学系を備えており、それぞれ所定の公差範囲で作製しても、製造ばらつきが生じ、そのばらつきが小さくなるように鏡筒に組付ける際に、前記第１および第２のカメラＣ１，Ｃ２間で、レンズを半回転（１８０°）させることで、前記ゴーストの発現状況に差が生じる。
【００１１】
このようにして前記第１および第２のカメラＣ１，Ｃ２で得られたゴーストの発現状況に差がある２つの撮像画像から、画像処理装置２は、２つの撮像画像における相互に等しい撮像範囲を相互に対比することで、ゴースト箇所を判定し、除去する。図２は、その画像処理装置２の機能的構成を示すブロック図である。この画像処理装置２は、前記デジタルスチルカメラやムービーカメラなどに搭載のため、マイクロプロセッサおよびその周辺回路装置などを備えて構成される（図１では、パーソナルコンピュータで示しているが、後述するようなゴースト検出装置に適用の場合である）。
【００１２】
図２を参照して、この画像処理装置２は、前記第１および第２のカメラＣ１，Ｃ２からの撮像画像を一時的に記憶する記憶装置２１と、２つの撮像画像間における被写体３の対応位置を特定する画像位置特定部２２と、その画像位置特定部２２で得られた画像位置情報に基づき、前記のように２つの撮像画像における相互に等しい撮像範囲を相互に対比し、輝度値にずれがある明部を前記ゴースト箇所と判定し、ゴーストを除去した画像を作成して前記のように記憶装置２１に出力するゴースト検出・除去部２３と、前記記憶装置２１から適宜ゴースト除去済み画像を読出して出力する画像出力部２４とを備えて構成される。前記デジタルスチルカメラやムービーカメラなどでは、前記画像出力部２４からのゴースト除去済み画像は、メモリカードやハードディスク装置などに適宜記憶されてゆく。そのゴースト除去済み画像の前記記憶装置２１からの読出しに伴い、該ゴースト除去済み画像に、対応する原画像は、記憶装置２１から消去される。
【００１３】
図３および図４は、前記画像処理装置２における処理動作を説明するためのフローチャートである。図３はゴースト検出動作、図４はゴースト除去動作をそれぞれ示す。共にステップＳ１では、前記記憶装置２１に前記第１および第２のカメラＣ１，Ｃ２からの撮像画像を１フレーム分取込む。ステップＳ２では、前記画像位置特定部２２は、主撮像光学系である第１のカメラＣ１からの撮像画像における被写体３の各部が、副撮像光学系である第２のカメラＣ２の撮像画像のどの位置に存在するかが、後述する対応点探索法を１例とするパターンマッチングによって特定される。
【００１４】
続いて図３のゴースト検出処理では、ステップＳ３で前記ゴースト検出・除去部２３は、２つの撮像画像における被写体３の同じ部位同士の輝度値を比較し、所定値以上の差がある場合にはゴーストが発生していると判定し、高い方をゴーストと見なして、その位置を判定し、ステップＳ４で出力する。
【００１５】
一方、図４のゴースト除去処理では、ステップＳ１３で前記ゴースト検出・除去部２３は、２つの撮像画像における被写体３の同じ部位同士の輝度値を比較し、所定値以上の差がある場合にはゴーストが発生していると判定し、低い方の輝度値を採用することでゴースト除去済み画像を作成し、ステップＳ１４で出力する。
【００１６】
図５は、前記画像位置特定部２２における画像位置の特定方法を説明するための図である。たとえば図１で示すように、前述の高解像度の主撮像光学系である第１のカメラＣ１の撮像範囲をＷ１とし、低解像度の副撮像光学系である第２のカメラＣ２の撮像範囲をＷ２とし、それらが図１のようにＷ２にＷ１が包含される関係に設定されていると、得られる撮像画像は、それぞれ図5(a)および図5(b)で示すようになる。前記画像位置特定部２２は、第１のカメラＣ１の撮像画像を基準画像Ｉ１とし、第２のカメラＣ２の撮像画像を参照画像Ｉ２として、前記対応点探索法によって類似する特徴点を対応させ、被写体３の各部が、それぞれの画像上のどの位置になるかを特定する。
【００１７】
前記対応点探索法は、たとえば図6(a)で示す基準画像Ｉ１上の注目点Ｐに対する図6(b)で示す参照画像Ｉ２上の複数の対応点候補位置における類似度を演算し、最も類似度の高い対応点候補位置を検出するものである。具体的には、図6(a)で示す基準画像Ｉ１上の或る注目点Ｐ（単一の画素或いは複数の画素ブロック）が図6(b)で示す参照画像Ｉ２上のどこにあるのかを、基準画像Ｉ１上と同じ位置から始めて、参照画像Ｉ２上を基線長方向に位置を変えながら、それぞれの位置で相関演算を行う。総ての画素について相関演算を終了すると、その相関値から、前記基準画像Ｉ１上に設定された注目点Ｐに対して、参照画像Ｉ２上で類似度（信頼性）の最も大きくなる類似度ピークの探索を行う。
【００１８】
そのため、前記基準画像Ｉ１上の画像が参照画像Ｉ２上のどこにあるのかを探索するにあたって、前記基準画像Ｉ１上で、縦横方向にそれぞれ所定画素分の大きさを持つウインドウｗ１を設定し、同様に、参照画像Ｉ２上にも同じ大きさを持つウインドウｗ２を設定し、参照画像Ｉ２上において、基準画像Ｉ１上におけるウインドウｗ１と同じ位置から始めて、基線長方向に或る範囲で位置を変えながら、それぞれの位置で相関値Ｒ（ｘ、ｙ）の演算を以下のように行う。それらの演算には、ウインドウｗ１，Ｗ２の同じ座標（ｉ，ｊ）の対応画素同士の明るさＩ１（ｉ，ｊ），Ｉ２（ｉ，ｊ）が用いられる。
【００１９】
0005429358.tif 000002
【００２０】
なお、このとき、前記画像位置特定部２２は、主撮像光学系と副撮像光学系との場合のように、前記第１および第２のカメラＣ１，Ｃ２の撮像画像の大きさや向きが異なる場合に、対比する撮像範囲や解像度を相互に等しいものとするために、前記第１および第２のカメラＣ１，Ｃ２からの撮像画像を相互に対比するにあたって、少なくとも一方の画像に、拡大または縮小、変形および回転の少なくとも１つを行うことで、相互に等しい撮像範囲および解像度を得る。
【００２１】
たとえば、図7(a)で示すような低解像度の参照画像Ｉ２’を、図7(b)で示すように拡大した参照画像Ｉ２を、図7(c)で示す高解像度な基準画像Ｉ１との実際の比較画像とする。拡大および縮小の場合の座標位置の変換方法は、たとえばマフィン変換で、以下のように表すことができる。ただし、（ｘ’，ｙ’）は拡大または縮小先のｘｙ座標であり、（ｘ，ｙ）は拡大または縮小元（すなわち変換前の）ｘｙ座標であり、ａ，ｂ，ｃ，ｄは変換パラメータであり、ｓ，ｔはシフト量である。
【００２２】
0005429358.tif 000003
【００２３】
上述のような対応点探索の結果、基準画像Ｉ１上での被写体３の各部の参照画像Ｉ２上での対応位置が判定されると、前記ゴースト検出・除去部２３は、図8(a)と図8(b)とで示すように、２つの撮像画像Ｉ１，Ｉ２における被写体３の同じ部位同士の輝度値を比較し、所定値以上の差がある場合にはゴーストが発生していると判定し、図8(a)において参照符号Ｇで示すように、高い方をゴーストと見なして、その位置を判定する。また、前記ゴースト検出・除去部２３は、前記所定値以上の輝度差の箇所について、低い方の輝度値を採用することで、図8(c)において参照符号Ｇ’で示すように、前記ゴーストＧが除去された高解像度な基準画像Ｉ１’を得ることができる。
【００２４】
以上のように、本実施の形態の撮影装置１は、デジタルスチルカメラやムービーカメラなどにおいて、ゴーストの検出や除去を行うにあたって、２つのカメラＣ１，Ｃ２を設け、それらのカメラＣ１，Ｃ２間では、レンズ群構成や枚数等の解像度（分解能）を異ならせておくことで、同じ撮像条件（同じ被写体３を略同じ方向から撮像する）で撮像してもゴーストＧの発現状況に差が生じるようにしておき、画像処理装置２は、前記２つのカメラＣ１，Ｃ２の撮像画像Ｉ１，Ｉ２における相互に等しい撮像範囲同士Ｗ１をパターンマッチングによって相互に対比し、輝度値にずれがある明部を図8(a)で示すようなゴーストＧの発生箇所と判定し、またその明部の画像を、図8(b)で示すように他方のカメラにおける同じ被写体位置（すなわち暗部側）の画像で置換えることで、前記明部で生じているゴーストＧを参照符号Ｇ’で示すように除去した撮像画像Ｉ１’を作成するので、ゴーストＧの発生位置を正確、かつリアルタイムに判定することができるとともに、ゴーストＧを正確かつリアルタイムに除去した撮像画像Ｉ１’を作成することができる。
【００２５】
すなわち、相互に異なる視点で見た画像Ｉ１，Ｉ２同士を比較することでゴーストＧの位置を検出し、また除去するので、主に動画撮影やプレビュー画面等で定常的にゴーストＧを判定し、また除去し続けることができ、特許文献２のように、１台のカメラでアングルを変更して撮影するような手法に比べて、実際の使用状況に即した実用的な手法を提案することができる。こうして、ゴーストＧの発生位置を正確に、かつリアルタイムで検出し、除去することができる撮像装置１を実現することができる。
【００２６】
なお、前述の図７で示すように、前記主および副撮像光学系のように、撮像画像Ｉ１，Ｉ２’の大きさや向きが異なり、参照画像Ｉ２’の拡大または縮小、変形および回転の少なくとも１つを行う場合、特に図7(a)から図7(b)で示すような拡大を行う場合には、ゴーストＧの除去に、単純に輝度の低い値を採用すると、除去後の画像Ｉ１’の解像度が劣化する可能性がある。そのような場合には、参照画像Ｉ２’中のゴーストＧの発生箇所周辺の輝度の平均値ａｖｅ（Ｉ２）と、基準画像Ｉ１中のゴーストＧの発生箇所周辺の輝度の平均値ａｖｅ（Ｉ１）との差を、基準画像Ｉ１の輝度値Ｉ１（ｉ，ｊ）から差し引くようにすればよい。すなわち、ｘ，ｙをそれぞれの方向に対するずれ量とすれば、出力画像Ｉ１’（ｉ，ｊ）は、
【００２７】
Ｉ１’（ｉ，ｊ）＝Ｉ１（ｉ，ｊ）
−｛ａｖｅ（Ｉ１（ｉ，ｊ））−ａｖｅ（Ｉ２（ｉ−ｘ，ｊ−ｙ））｝
から求めることができる。
【００２８】
このように構成することで、ゴーストＧの検出にあたって、前記主および副撮像光学系のように、第１および第２のカメラＣ１，Ｃ２間の大きさや能力に差があってもよくなり、ゴーストＧの検出や除去のために追加する副撮像光学系（第２のカメラＣ２）を、簡素なものとして、低コスト化することもできる。  
【００２９】
一方、上述のようにゴーストＧの検出や除去のために追加する第２のカメラＣ２が、その撮像光学系に中心窩レンズを備えていることで、該第２のカメラＣ２の撮像範囲Ｗ２が第１のカメラＣ１の撮像範囲Ｗ１を包含しても、中心付近は比較的高い分解能（解像度）として、高精度にゴーストＧを検出することができるので、ゴーストＧを漏れなく検出しつつも、上述のような拡大処理を削減することができる。前記中心窩レンズについては、たとえば本件出願人による特開２００４−２７２５７８号公報などに示されている。
【００３０】
また、前記画像位置判定部２２は、前記画像Ｉ１，Ｉ２の撮像の都度、前記の対応点探索法で対応箇所を探索するのではなく、所定期間、対応位置を維持するようにしてもよく、或いは第１および第２のカメラＣ１，Ｃ２の焦点距離が固定であるなどして、対応位置が変化しない場合には、予めその対応位置関係を記憶しておくようにしてもよい。その場合、煩雑な対応点探索の演算処理を無くすことができる。しかしながら、前述の対応点探索法によれば、パターンマッチングによる位置合せを行うので、より精度の高いゴースト検出を行うことができる。
【００３１】
さらにまた、前記第１および第２のカメラＣ１，Ｃ２においては、第１のカメラＣ１における光学焦点距離をＦ１、撮像素子サイズ（対角長）をＳ１とし、第２のカメラＣ２における光学焦点距離をＦ２、撮像素子サイズをＳ２とするとき、
Ｓ１／Ｆ１≦Ｓ２／Ｆ２
の関係に設定されている。その場合、前記第２のカメラＣ２の方が開口数（ＮＡ）が大きくなり、したがって前述のように第１のカメラＣ１の方が分解能（解像度）が高くなり、それぞれ前述の副撮像光学系および主撮像光学系となり、第２のカメラＣ２の撮像範囲Ｗ２に第１のカメラＣ１の撮像範囲（画角、視野）Ｗ１が包含されるようになる。
【００３２】
ただし、分解能（解像度）が高くなる第１のカメラＣ１を変倍可能とする場合、上式は、光学焦点距離Ｆ１が短焦点側の所定範囲で満足するようにする。すなわち、ゴーストＧの発生の可能性が小さい長焦点側では、上式の拘束を外す。このように構成することで、第２のカメラＣ２が固定焦点であっても、開口数（ＮＡ）をむやみに大きく、したがって分解能（解像度）を小さくする必要はない。これによって、前記第２のカメラＣ２に、前述の携帯電話の端末装置に搭載されるような前記固定焦点の簡素な光学系を使用しても、変倍光学系を備える第１のカメラＣ１でのゴーストを、高い精度で検出し、除去することができる。
【００３３】
＜実施例２＞
図９は、本発明の実施の他の形態に係るゴースト検出および除去方法を用いる撮像装置におけるカメラ１１の模式的構成を示す斜視図である。このカメラ１１は、相互に等しい（複眼）２つの光学系（複眼）Ｃ１ａ，Ｃ２ａを備えて構成される。各光学系Ｃ１ａ，Ｃ２ａは、レンズＬ１，Ｌ２と、撮像素子Ｓ１，Ｓ２とを備えて構成される。注目すべきは、前記２つのレンズＬ１，Ｌ２レンズが一体として形成されていることである。これによって、２つの撮像光学系Ｃ１ａ，Ｃ２ａ間のアングル（画角、光軸方向）を一括して調整することができる。
【００３４】
この場合、このように２つの光学系Ｃ１ａ，Ｃ２ａの焦点距離が固定で、かつそれらを一体で構成し、キャリブレーションを適切に行っておくことで、２つの撮像画像Ｉ１，Ｉ２間の対応点を、予め決定（決め打ち）しておくのに好適である。
【００３５】
また、図１０のカメラ２０で示すように、１つの撮像素子Ｓ０をエリア分割して、複数（図１０では４つ）のレンズＬ１〜Ｌ４の撮像素子が構成されてもよい。これによって、各撮像光学系間で、経年などによる投影位置のずれを抑えることができる。
【００３６】
さらにまた、この図１０のカメラ２０のように、３つ以上の撮像光学系を備える場合、２つの撮像光学系を同一の構成とすることで、いわゆるステレオカメラを構成し、そのステレオカメラにおける２つの撮像光学系におけるゴーストの検出および除去を、共通に他の撮像光学系で行うことができるようになる。また、類似の撮像光学系を３つ以上設け、任意の２つの撮像光学系間でゴーストの検出および除去を行うことで、さらに精度を向上することができる。
【００３７】
ここで、図１で示すように、撮像光学系である第１および第２のカメラＣ１，Ｃ２と、ゴースト判定部である画像処理装置２とを、相互に分離可能な構造とすることで、前記画像処理装置２を２つのカメラＣ１，Ｃ２のゴースト検査装置とすることができ、レンズの製造時などで、２つのカメラＣ１，Ｃ２のゴーストの出方を検査することができる。また、そのように撮像装置１がゴーストＧの検出のみを行う場合には図３の処理のみを行えばよく、除去のみを行う場合には図４の処理のみを行えばよい。
【００３８】
本発明のゴースト検出装置は、同じ撮像条件において、ゴーストの発現状況が相互に異なる２つの撮像光学系と、前記２つの撮像光学系の撮像画像における相互に等しい撮像範囲を相互に対比することで、ゴースト箇所を判定するゴースト判定部とを含むことを特徴とする。
【００３９】
さらに、本発明のゴースト検出装置において、前記ゴースト判定部により判定されたゴースト箇所に対し、ゴーストを除去した撮像画像を作成するゴースト除去部を備えることを特徴とする。
【００４０】
また、本発明のゴースト検出装置において、前記ゴースト除去部は、一方の撮像光学系による撮像画像におけるゴースト箇所を他方の撮像光学系における同じ被写体位置の画像で置き換え、または、補正することにより、ゴーストを除去することを特徴とすることを特徴とする。
【００４１】
また、本発明のゴースト検出装置において、前記ゴースト判定部は、前記２つの撮像光学系による撮像画像の対比の結果、所定値以上の輝度差がある箇所をゴースト箇所と判定することを特徴とする。
【００４２】
また、前記２つの撮像光学系間は、撮像範囲、解像度、および製造時のばらつきの調整方法の内の少なくとも１つが異なることを特徴とする。
【００４３】
上記の構成によれば、デジタルスチルカメラやムービーカメラなどにおいて、ゴーストの除去などのために該ゴーストを検出するにあたって、撮像光学系を２つ設ける。そして、それらの撮像光学系間では、撮像範囲、該撮像光学系のアングル（画角、光軸方向）、解像度（レンズ群、枚数構成等）、および製造ばらつきの調整方法の内の少なくとも１つを異ならせておくことで、同じ撮像条件（同じ被写体を略同じ方向から撮像する）で撮像しても、ゴーストの発現状況に差が生じるようにする。
【００４４】
さらに、ゴースト判定部は、前記２つ撮像光学系による撮像画像に対して、相互の等しい撮像範囲をパターンマッチングによって対比することにより、ゴースト箇所を判定する。具体的には、対比画像で、輝度値にずれがある明部を前記ゴースト箇所と判定する。したがって、ゴーストの発生位置を正確に、かつリアルタイムで検出することができる。
【００４５】
さらにまた、本発明のゴースト検出装置では、前記ゴースト判定部は、前記２つの撮像光学系による撮像画像のうち、少なくとも一方の画像に対して、拡大、縮小、変形および回転の少なくとも１つを行うことで、前記２つの撮像光学系の撮像画像を対比することを特徴とする。
【００４６】
上記の構成によれば、前記２つの撮像光学系が、たとえば主撮像光学系と副撮像光学系との場合のように、２つの撮像光学系の撮像画像の大きさや向きが異なる場合に、対比する撮像範囲や解像度を相互に等しいものとするために、前記ゴースト判定部は、その対比の前に、少なくとも一方の画像に、拡大または縮小、変形および回転の少なくとも１つを行う。
【００４７】
したがって、前記主および副撮像光学系のように、撮像画像の大きさや向きが異なっても、ゴースト検出のために同じ撮像範囲を対比することができる。また、前記主および副撮像光学系のように、撮像光学系の大きさや能力に差があってもよくなり、ゴースト検出のために追加する副撮像光学系を、簡素なものとして、低コスト化することもできる。
【００４８】
また、本発明のゴースト検出装置では、前記２つの撮像光学系のうち一方の撮像光学系における光学焦点距離をＦ１、撮像素子サイズをＳ１とし、他方の撮像光学系における光学焦点距離をＦ２、撮像素子サイズをＳ２とするとき、Ｓ１／Ｆ１≦Ｓ２／Ｆ２であることを特徴とする。
【００４９】
上記の構成によれば、他方の撮像光学系の方が開口数（ＮＡ）が大きくなり、したがって一方の撮像光学系の方が分解能（解像度）が高くなり、それぞれ副撮像光学系および主撮像光学系となり、副撮像光学系の撮像範囲に主撮像光学系の撮像範囲（画角、視野）が包含される。
【００５０】
さらにまた、本発明のゴースト検出装置では、前記一方の撮像光学系が変倍可能であり、前記光学焦点距離Ｆ１は、前記一方の撮像光学系における短焦点側の所定範囲であることを特徴とする。上記の構成によれば、前述のように分解能（解像度）が高くなる一方の撮像光学系に、変倍光学系を設ける。そして、上式は光学焦点距離Ｆ１が短焦点側の所定範囲で満足することとする。
【００５１】
したがって、ゴースト発生の可能性が小さい長焦点側では、上式の拘束を外すことで、他方の撮像光学系が固定焦点であっても、開口数（ＮＡ）をむやみに大きく、したがって分解能（解像度）を小さくする必要はない。これによって、前記他方の撮像光学系に前記固定焦点の簡素な光学系を使用しても、変倍光学系を備える一方の撮像光学系でのゴーストを、高い精度で検出することができる。
【００５２】
また、本発明のゴースト検出装置では、前記２つの撮像光学系が一体として形成されていることを特徴とする。  上記の構成によれば、レンズなどが一体として形成されていることで、２つの撮像光学系間のアングル（画角、光軸方向）を一括して調整することができる。
【００５３】
さらにまた、本発明のゴースト検出装置では、前記２つの撮像光学系における撮像素子が、１つの撮像素子をエリア分割して実現されていることを特徴とする。  この構成によれば、前記２つの撮像光学系間で、経年などによるずれを抑えることができる。
【００５４】
また、本発明のゴースト検出装置では、前記他方の撮像光学系に、中心窩レンズを備えることを特徴とする。この構成によれば、他方の撮像光学系が一方の撮像光学系の撮像範囲を包含しても、中心付近は比較的高い分解能（解像度）として、高精度なゴースト検出を行うことができる。
【００５５】
さらにまた、本発明のゴースト検出装置では、前記一方の撮像光学系と同一特性の第３の撮像光学系をさらに備えることを特徴とする。上記の構成によれば、前記一方の撮像光学系と第３の撮像光学系とで、いわゆるステレオカメラを構成し、そのステレオカメラにおける２つの撮像光学系におけるゴースト検出を、前記他方の撮像光学系で行うことができる。
【００５６】
また、本発明のゴースト検出装置では、前記２つの撮像光学系とゴースト判定部とを分離可能な構造とし、前記ゴースト判定部が、前記２つの撮像光学系のゴースト検査装置となることを特徴とする。この構成によれば、前記ゴースト判定部を、レンズなどの２つの撮像光学系の製造時などにおけるゴースト検査装置とすることができる。
【００５７】
さらにまた、本発明の撮像装置は、上述のゴースト検出装置を備えることを特徴とする。上記の構成によれば、ゴーストの発生位置を正確に、かつリアルタイムで検出することができる撮像装置を実現することができる。
【００５８】
さらに、本発明はゴースト検出方法に関し、当該方法は、同じ撮像条件において、ゴーストの発現状況が相互に異なる２つの撮像光学系により２つの撮像画像を取得する取得工程と、
前記取得工程において取得された２つの撮像画像における相互に等しい撮像範囲を対比する工程と、
前記対比の結果、所定値以上の輝度差がある箇所をゴースト箇所と判定するゴースト判定工程とを有することを特徴とする。
【００５９】
さらに、本発明のゴースト検出方法において、前記判定工程により判定されたゴースト箇所に対し、ゴーストを除去した撮像画像を作成するゴースト除去工程をさらに備えたことを特徴とする。
【００６０】
上記の構成によれば、デジタルスチルカメラやムービーカメラなどにおいて、ゴーストを除去した撮像画像を作成するにあたって、撮像光学系を２つ設ける。そして、それらの撮像光学系間では、該撮像光学系のアングル（画角、光軸方向）、解像度（レンズ群、枚数構成等）、および製造ばらつきの調整方法の内の少なくとも１つを異ならせておくことで、同じ撮像条件（同じ被写体を略同じ方向から撮像する）で撮像しても、ゴーストの発現状況に差が生じるようにする。
【００６１】
さらに、ゴースト除去の工程において、前記２つの撮像光学系の撮像画像における相互に等しい撮像範囲同士を、パターンマッチングなどによって相互に対比することで、ゴーストの除去を行うことができる。具体的には、対比画像で、輝度値にずれがある明部がゴースト箇所であるので、その明部の画像を、他方の撮像光学系における同じ被写体位置（すなわち暗部側）の画像で置換えまたは補正することで、前記明部で生じているゴーストを除去した撮像画像を作成する。したがって、ゴーストを正確に、かつリアルタイムに除去した撮像画像を作成することができる。
【産業上の利用可能性】
【００６２】
以上述べたように本発明によればゴーストの発現状況の異なる２つの撮像光学系を使用し、２つの撮像光学系の撮像画像における互いに等しい撮像画像を対比することでゴーストの発生箇所を判定し、当該箇所に対してゴースト除去した撮像画像を作成することができる。  それゆえ、ゴーストを正確に、かつリアルタイムに除去した撮像画像を作成することができる。
【図１】
0005429358.tif 000004
【図２】
0005429358.tif 000005
【図３】
0005429358.tif 000006
【図４】
0005429358.tif 000007
【図５】
0005429358.tif 000008
【図６】
0005429358.tif 000009
【図７】
0005429358.tif 000010
【図８】
0005429358.tif 000011
【図９】
0005429358.tif 000012
【図１０】
0005429358.tif 000013