(57)【要約】      （修正有）【課題】不要成分を高精度に検出することが可能な画像処理装置を提供する。【解決手段】撮像装置１００において、画像処理装置１０４は、光源の位置情報を取得する光源位置検出部１１１と、撮像光学系の移動情報を取得する移動情報検出部１１２と、光源の位置情報と、撮像光学系の移動情報と、撮像光学系に関する撮影条件情報とに基づいて、画像に含まれる不要成分の推定移動情報を取得する不要成分推定部１１３と、移動体の移動情報を取得する移動体検出部１１４と、移動体の移動情報と不要成分の推定移動情報とに基づいて不要成分を検出する不要成分検出部１１５とを有する。【選択図】図１
2019062392.tif 000002
【特許請求の範囲】
【請求項１】
光源の位置情報を取得する光源位置取得手段と、
撮像光学系の移動情報を取得する移動情報取得手段と、
前記光源の位置情報と、前記撮像光学系の移動情報と、前記撮像光学系に関する撮影条件情報とに基づいて、画像に含まれる不要成分の推定移動情報を取得する不要成分推定手段と、
移動体の移動情報を取得する移動体取得手段と、
前記移動体の移動情報と前記不要成分の推定移動情報とに基づいて前記不要成分を検出する不要成分検出手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記不要成分検出手段により検出された前記不要成分を低減するように前記画像を補正する不要成分補正手段を更に有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記不要成分補正手段は、前記画像の撮影前に撮影された第１の画像および前記画像の撮影後に撮影された第２の画像の少なくとも一方に基づいて、前記画像を補正することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記不要成分検出手段は、
前記移動体の移動情報と前記不要成分の推定移動情報とを比較し、
前記移動体の移動情報と前記不要成分の推定移動情報とが一致する場合、前記移動体は前記不要成分であると判定し、
前記移動体の移動情報と前記不要成分の推定移動情報とが一致しない場合、前記移動体は前記不要成分でないと判定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記不要成分推定手段は、前記画像に関して、前記不要成分が発生する可能性のある領域を推定し、
前記移動体取得手段は、前記領域の範囲内で、前記移動体の移動情報を取得することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記不要成分検出手段は、
前記画像に含まれる、互いに異なる視点の複数の画像データの差分情報に基づいて、前記不要成分を検出することができるか否かを判定し、
前記差分情報に基づいて前記不要成分を検出することができると判定した場合、前記差分情報を用いて前記不要成分を検出し、
前記差分情報に基づいて前記不要成分を検出することができないと判定した場合、前記移動体の移動情報と前記不要成分の推定移動情報とに基づいて前記不要成分を検出する請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記撮影条件情報は、前記撮像光学系の絞り値またはズームレンズ位置の少なくとも一つを含むことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
撮像光学系を介して形成された光学像を光電変換して画像データを出力する撮像素子と、
前記画像データに基づいて光源の位置情報を取得する光源位置取得手段と、
撮像光学系の移動情報を取得する移動情報取得手段と、
前記光源の位置情報と、前記撮像光学系の移動情報と、前記撮像光学系に関する撮影条件情報とに基づいて、前記画像データに含まれる不要成分の推定移動情報を取得する不要成分推定手段と、
移動体の移動情報を取得する移動体取得手段と、
前記移動体の移動情報と前記不要成分の推定移動情報とに基づいて前記不要成分を検出する不要成分検出手段と、を有することを特徴とする撮像装置。
【請求項９】
光源の位置情報を取得するステップと、
撮像光学系の移動情報を取得するステップと、
前記光源の位置情報と、前記撮像光学系の移動情報と、前記撮像光学系に関する撮影条件情報とに基づいて、画像に含まれる不要成分の移動情報を推定するステップと、
移動体の移動情報を取得するステップと、
前記移動体の移動情報と前記不要成分の推定移動情報とに基づいて前記不要成分を検出するステップと、を有することを特徴とする画像処理方法。
【請求項１０】
光源の位置情報を取得するステップと、
撮像光学系の移動情報を取得するステップと、
前記光源の位置情報と、前記撮像光学系の移動情報と、前記撮像光学系に関する撮影条件情報とに基づいて、画像に含まれる不要成分の移動情報を推定するステップと、
移動体の移動情報を取得するステップと、
前記移動体の移動情報と前記不要成分の推定移動情報とに基づいて前記不要成分を検出するステップと、をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ゴーストやフレア等の不要成分を低減することが可能な撮像装置に関する。
【背景技術】
【０００２】
近年、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子を備えたデジタルスチルカメラやビデオカメラ等の撮像装置が普及している。撮像装置を用いて撮影すると、撮像光学系に入射した光の一部がレンズの界面やレンズの保持部材により反射し、撮像面に撮影光束とは別の光束として到達する場合がある。撮像面に到達した撮影光束とは別の光束は、密度の高いスポット像を形成し、または、被写体像の広範囲に被ることにより、ゴーストやフレアと呼ばれる不要成分として撮影画像中に現れる。そこで、従来、ゴーストやフレア等の不要成分を撮影の際に検出する方法が提案されている。
【０００３】
特許文献１には、一度の撮影で複数の視差画像を取得し、一つの画像を基準画像として、残りの画像との相対視差情報を求め、各視差画像に含まれる不要成分を検出する方法が開示されている。特許文献２には、連続撮影画像のコマ間におけるフォーカスレンズ合焦位置での、デフォーカス画像の差分、ズーム時の像倍率の相関関係、および、雲台回転時の像のズレの相関関係から得られるベクトル情報からゴーストを検出する方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１１５７３０号公報
【特許文献２】特開２００８−５４２０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された方法では、光源の位置や撮像装置の撮像光学系の位置によっては、撮影画像に不要成分が写り込み、不要成分の検出に十分な相対視差情報を得ることができず、不要成分を検出することができない場合がある。特許文献２に開示された方法では、撮影画像間の差分情報や相関関係を見ているため、連続撮影中に動く被写体が写り込むと、その被写体を不要成分であると誤検出してしまう可能性がある。
【０００６】
そこで本発明は、不要成分を高精度に検出することが可能な画像処理装置、撮像装置、画像処理方法、および、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一側面としての画像処理装置は、光源の位置情報を取得する光源位置取得手段と、撮像光学系の移動情報を取得する移動情報取得手段と、前記光源の位置情報と、前記撮像光学系の移動情報と、前記撮像光学系に関する撮影条件情報とに基づいて、画像に含まれる不要成分の推定移動情報を取得する不要成分推定手段と、移動体の移動情報を取得する移動体取得手段と、前記移動体の移動情報と前記不要成分の推定移動情報とに基づいて前記不要成分を検出する不要成分検出手段とを有する。
【０００８】
本発明の他の側面としての撮像装置は、撮像光学系を介して形成された光学像を光電変換して画像データを出力する撮像素子と、前記画像処理装置とを有する。
【０００９】
本発明の他の側面としての画像処理方法は、光源の位置情報を取得するステップと、撮像光学系の移動情報を取得するステップと、前記光源の位置情報と、前記撮像光学系の移動情報と、前記撮像光学系に関する撮影条件情報とに基づいて、画像に含まれる不要成分の移動情報を推定するステップと、移動体の移動情報を取得するステップと、前記移動体の移動情報と前記不要成分の推定移動情報とに基づいて前記不要成分を検出するステップとを有する。
【００１０】
本発明の他の側面としてのプログラムは、前記画像処理方法をコンピュータに実行させる。
【００１１】
本発明の他の目的及び特徴は、以下の実施形態において説明される。
【発明の効果】
【００１２】
本発明によれば、不要成分を高精度に検出することが可能な画像処理装置、撮像装置、画像処理方法、および、プログラムを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】各実施形態における撮像装置のブロック図である。
【図２】第１実施形態における不要成分検出補正処理を示すフローチャートである。
【図３】第１実施形態における不要成分移動情報推定処理の概略図である。
【図４】第１実施形態における移動体検出処理の概略図である。
【図５】第１実施形態における不要成分補正処理の概略図である。
【図６】第２実施形態における不要成分検出補正処理を示すフローチャートである。
【図７】第２実施形態における不要成分領域推定処理の概略図である。
【図８】第２実施形態における移動体検出処理の概略図である。
【図９】第３実施形態における不要成分検出補正処理を示すフローチャート
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
【００１５】
［第１実施形態］
まず、図１を参照して、本発明の第１実施形態における撮像装置の全体構成について説明する。図１は、本実施形態における撮像装置１００のブロック図である。
【００１６】
撮像光学系１０１は、絞り１０１ａおよびフォーカスレンズ１０１ｂを含み、不図示の被写体からの光を撮像素子１０２上（撮像面上）に結像させる。撮像素子１０２は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子を備え、撮像光学系１０１を介して形成された光学像（被写体像）を光電変換してアナログ信号（画像信号）を生成する。Ａ／Ｄコンバータ１０３は、撮像素子１０２から出力されたアナログ信号をデジタル信号に変換する。
【００１７】
画像処理部（画像処理装置）１０４は、Ａ／Ｄコンバータ１０３から出力されたデジタル信号に対して、各種の画像処理を行うことにより、画像（画像データ）を生成する。また画像処理部１０４は、後述する不要光検出補正処理機能を有し、光源位置検出部１１１、移動情報検出部１１２、不要成分推定部１１３、移動体検出部１１４、不要成分検出部１１５、および、不要成分補正部１１６を有する。光源位置検出部（光源位置取得手段）１１１は、光源の位置を検出（取得）する。移動情報検出部（移動情報取得手段）１１２は、撮像装置１００の移動に伴う撮像光学系１０１の移動情報を検出（取得）する。不要成分推定部（不要成分推定手段）１１３は、不要成分の移動方向および不要成分の発生位置（不要成分の移動情報）を推定する。本実施形態において、不要成分の移動情報は、光源の位置情報と、撮像光学系１０１の移動情報と、撮像光学系１０１に関する撮影条件情報とに基づいて取得することができる。移動体検出部（移動体取得手段）１１４は、移動体を検出（取得）する。不要成分検出部（不要成分検出手段）１１５は、移動体検出部１１４により検出された移動体が不要成分であるか否かを判定する（不要成分を検出する）。不要成分補正部（不要成分補正手段）１１６は、不要成分検出部１１５により検出された不要成分を除去（低減）するように画像（画像データ）を補正する。
【００１８】
表示部１０５は、例えばＬＣＤ等を備えて構成されており、撮影モードに関する情報、撮影前のプレビュー画像、画像処理部１０４により生成され出力された画像を表示する。撮像光学系制御部１０６は、撮影設定やユーザの操作により指定される絞り値（Ｆ値）およびズーム倍率に従い、システムコントローラ１１０から送信される制御値に基づいて、絞り１０１ａおよびフォーカスレンズ１０１ｂを制御する。状態検知部１０７は、撮像装置１００の各部の処理状態や設定を検知し、画像処理部１０４に対して適切な画像処理を行うように検知結果を通知する。
【００１９】
記憶部１０８は、ＲＡＭまたはＲＯＭ等のメモリであり、所定のプログラムを記憶するとともに、画像処理中の画像データや画像処理に必要なパラメータデータを保持している。画像記録媒体１０９は、着脱可能なフラッシュメモリ等であり、画像処理部１０４により生成され出力された画像（画像データ）をファイルとして記録する。
【００２０】
システムコントローラ１１０は、撮像装置１００の全体の制御を担っている。システムコントローラ１１０は、画像処理部１０４、表示部１０５、撮像光学系制御部１０６、状態検知部１０７、および、画像記録媒体１０９のそれぞれに適切なタイミングで制御命令を出力することにより、画像の生成、保存、表示を統制する。
【００２１】
光源位置検出部１１１は、特定の輝度を超える被写体を光源として検出し、または、被写体認識技術により、被写体の反射特性値と画像視差情報とに基づいて光源を検出する。移動情報検出部１１２は、撮像装置１００に設置されている不図示の加速度センサによる検出情報や、連続撮影により撮影された画像と以前の撮影画像とを比較して得られる差分情報を用いて、撮像装置１００に連動する撮像光学系１０１の移動情報を検出する。
【００２２】
光源位置検出部１１１により検出した不図示の光源からの入射光が撮像光学系１０１内の部材で反射することにより、撮像素子１０２に被写体撮影光束とは別の光束として到達する不要光が発生する。不要成分推定部１１３は、その不要光について、画像中に不要成分として現れる位置と、移動情報検出部１１２により検出された撮像光学系１０１の移動情報とに基づいて、不要成分の移動方向や発生位置（不要成分の移動情報）を推定する。
【００２３】
移動体検出部１１４は、連続撮影により撮影された画像について、以前の撮影画像と比較して差分情報を抽出することにより、移動体の移動情報を検出する。不要成分検出部１１５は、不要成分推定部１１３により推定された不要成分の移動情報と、移動体検出部１１４により検出された移動体の移動情報とを比較し、移動体が不要成分であるか、または、不要成分ではない別の被写体であるかを判定する（区別する）。不要成分補正部１１６は、不要成分検出部１１５により判定（検出）された不要成分を、周囲の画素情報または連続撮影の前後の画像情報に基づいて、除去（低減）するように画像を補正する。
【００２４】
次に、図２乃至図５を参照して、本実施形態における不要成分検出補正処理について説明する。図２は、不要成分検出補正処理を示すフローチャートである。図２の各ステップは、主にシステムコントローラ１１０の指令に基づいて、画像処理部１０４の各部により実行される。図３は、不要成分移動情報推定処理（図２のステップＳ２０３）の概略図である。図４は、移動体検出処理（図２のステップＳ２０４）の概略図である。図５は、不要成分補正処理（図２のステップＳ２０６）の概略図である。
【００２５】
まず、図２のステップＳ２０１において、光源位置検出部１１１は、特定の輝度を超える被写体を光源３０２として検出し、または、被写体認識技術により、その被写体の反射特性値と画像の視差情報とに基づいて光源を検出することにより、光源の位置を検出する。続いてステップＳ２０２において、移動情報検出部１１２は、連続撮影により撮影された画像について、以前の撮影画像と比較して得られる差分情報を用いることにより、撮像装置１００に連動する撮像光学系１０１の移動情報を検出する。なお、撮像光学系１０１の移動情報を検出する際に、前後画像の比較から得られる差分情報を用いる必要はなく、撮像装置１００に設置されている不図示の加速度センサによる検出情報を用いてもよい。
【００２６】
続いてステップＳ２０３において、不要成分推定部１１３は、不要成分の位置および移動方向（不要成分の移動情報）を画像ごとに推定する。不要成分の移動情報は、ステップＳ２０１にて検出された光源３０２の位置（位置情報）と、絞り値（Ｆ値）やズームレンズ位置等の撮像光学系１０１の撮影条件情報と、ステップＳ２０２にて検出された撮像光学系１０１の移動情報とに基づいて、推定される。例えば、撮像装置３０１が光源３０２の下で方向３０１ａに振られて連続撮影が行われたとすると、画像３０３、３０４、３０５中の矢印３０３ａ、３０４ａ、３０５ａのように、不要成分の位置と方向に関する移動情報（不要成分の推定移動情報）が推定される。
【００２７】
続いてステップＳ２０４において、移動体検出部１１４は、連続撮影により撮影された画像について、以前の撮影画像と比較して差分情報を抽出することにより、移動体の移動情報（移動体情報）を検出する。例えば、図４に示される撮像装置４０１が方向４０１ａに向けて振られて連続撮影が行われ、画像４０２、４０３、４０４、４０５が撮影されたものとする。そして画像４０２〜４０５には、背景部と主被写体以外にそれぞれ、物体４０２ａ、４０２ｂ、４０３ａ、４０３ｂ、４０４ａ、４０４ｂ、４０５ａ、４０５ｂが写り込んだものとする。このとき移動体検出部１１４は、検出対象となる撮影画像とその前の撮影画像との差分に基づいて、物体が移動体であるか否かを判定する。そして移動体検出部１１４は、物体が移動体である場合、その物体の移動情報を検出する。画像４０６、４０７、４０８はそれぞれ、画像４０２、４０３の差分情報、画像４０３、４０４の差分情報、画像４０４、４０５の差分情報を示している。移動体検出部１１４は、これらの差分情報に基づいて、物体４０２ａ〜４０５ｂが移動体であると判定した場合、矢印４０６ａ、４０６ｂ、４０７ａ、４０７ｂ、４０８ａ、４０８ｂで示されるように、それぞれの移動体の移動情報を検出する。
【００２８】
続いてステップＳ２０５において、ステップＳ２０３にて推定された不要成分の推定移動情報と、ステップＳ２０４にて検出された移動体の移動情報とを比較し、移動体が不要成分であるか否かを判定（区別）する。例えば、撮像装置３０１、４０１、および、方向３０１ａ、４０１ａがそれぞれ同一の撮像装置かつ撮影方向であるとした場合、矢印３０３ａで示される不要成分の推定移動情報と矢印４０６ａ、４０６ｂで示される移動体の移動情報とを比較する。本実施形態において、矢印３０３ａで示される不要成分の推定移動情報は、矢印４０６ａで示される移動体の移動情報と一致している。このため不要成分検出部１１５は、矢印４０６ａで示される移動体が不要成分であると判定する。一方、矢印３０３ａで示される不要成分の推定移動情報は、矢印４０６ｂで示される移動体の移動情報と一致していない。このため不要成分検出部１１５は、矢印４０６ｂで示される移動体は不要成分ではないと判定する。
【００２９】
このように本実施形態において、不要成分検出部１１５は、移動体の移動情報と不要成分の推定移動情報とを比較する。そして不要成分検出部１１５は、移動体の移動情報と不要成分の推定移動情報とが一致する場合、移動体は不要成分であると判定する。一方、不要成分検出部１１５は、移動体の移動情報と不要成分の推定移動情報とが一致しない場合、移動体は不要成分でないと判定する。なお、不要成分の推定移動情報は推定値であるため、移動体の移動情報と完全に一致していなくても、ある閾値の範囲内で相関があれば、その移動体を不要成分であると判定してもよい。すなわち、一致とは、厳密な一致だけでなく、実質的な一致と評価される範囲内の値（略一致）を含む。
【００３０】
続いてステップＳ２０６において、不要成分補正部１１６は、ステップＳ５０２にて判定（検出）された不要成分を除去（低減）するように画像を補正する。図５は、連続撮影時の不要成分の補正の一例を示している。例えば、画像５０２にて検出された不要成分５０２ａに対して補正を行う場合、画像５０２の撮影前に撮影された画像５０１（第１の画像）における不要成分５０２ａに相当する位置の画素成分５０１ａを用いることにより、補正画像５０４を生成することができる。一方、不要成分に相当する位置で同じく不要成分が写り込むなどして、補正対象画像以前の画像の画素成分では補正ができない場合、続く撮影画像の画素成分を用いてもよい。例えば、画像５０２にて判定された不要成分５０２ａを補正する場合、画像５０２の撮影後に撮影された画像５０３（第２の画像）における不要成分５０２ａに相当する位置の画素成分５０３ａを用いることで、補正画像５０４を生成することができる。またこのとき、必ず１枚前または後の撮影画像の画素成分を補正に用いる必要はなく、数枚前または後の撮影画像の画素成分を用いてもよい。また、不要成分を前後の撮影画像の全ての補正に用いることができない場合、補正対象画像自身の不要成分周囲の画素成分を用いることにより、不要成分を補正してもよい。
【００３１】
本実施形態において、ステップＳ２０１〜Ｓ２０７を経ることにより、ゴーストやフレア等の不要成分を、視差情報の得られない撮影条件下でも、検出して補正することができる。特に、光源の位置と撮像光学系の撮影条件、撮像光学系の移動情報から推定される不要成分移動情報、および、撮影画像間で得られる移動体の移動情報を用いることにより、不要成分または移動体の誤検知を抑制し、高精度に不要成分を検出することができる。
【００３２】
［第２実施形態］
次に、図６乃至図８を参照して、第２実施形態における不要成分検出補正処理について説明する。図６は、本実施形態における不要成分検出補正処理を示すフローチャートである。図６の各ステップは、主にシステムコントローラ１１０の指令に基づいて、画像処理部１０４の各部により実行される。図７は、不要成分領域推定処理（図６のステップＳ６０４）の概略図である。図８は、移動体検出処理（図６のステップＳ６０５）の概略図である。
【００３３】
本実施形態は、第１実施形態の不要成分検出補正処理に、不要成分領域推定処理（図６のステップＳ６０４）を追加し、それに伴い移動体検出処理（ステップＳ６０５）の内容を変更している。これは、不要成分が発生する可能性のある領域を推定してその推定領域でのみ移動体検出処理を行うことにより、不要成分でない移動体の誤検出を抑制し、検出処理の負荷を低減するためである。なお、本実施形態のその他の処理（ステップＳ６０１〜Ｓ６０３、Ｓ６０６、Ｓ６０７）は、第１実施形態の処理（ステップＳ２０１〜Ｓ２０３、Ｓ２０５、Ｓ２０６）とそれぞれ同様であるため、それらの説明は省略する。
【００３４】
ステップＳ６０４において、画像処理部１０４（不要成分推定部１１３）は、不要成分が発生する可能性のある領域を画像ごとに推定する。この領域は、ステップＳ６０１にて検出した光源７０２の位置情報と、絞り値（Ｆ値）やズームレンズ位置等の撮像光学系の撮影条件情報と、ステップＳ６０２にて検出した撮像光学系１０１の移動情報とに基づいて推定される。例えば、図７に示されるように、撮像装置７０１が光源７０２の下で方向７０１ａに振られて連続撮影が行われたとすると、画像７０３、７０４、７０５はそれぞれ、領域７０３ｂ、７０４ｂ、７０５ｂの内部に、方向７０３ａ、７０４ａ、７０５ａの不要成分を含む。
【００３５】
続いてステップＳ６０５において、画像処理部１０４（移動体検出部１１４）は、ステップＳ２０４と異なり、ステップＳ６０５にて推定した領域に関してのみ移動体検出処理を行う。図８は、推定した領域のみで行う移動体検出処理の一例を示している。図８に示されるように、撮像装置８０１が方向８０１ａに振られて連続撮影が行われたとき、画像８０２、８０３、８０４、８０５が撮影されたものとする。また、画像８０２〜８０５には、背景部と主被写体以外にそれぞれ、物体８０２ａ、８０２ｂ、８０３ａ、８０３ｂ、８０４ａ、８０４ｂ、８０５ａ、８０５ｂが写り込んでいるものとする。このとき移動体検出部１１４は、検出対象となる撮影画像の前の撮影画像との差分に基づいて、物体が移動体か否かを判定する。移動体検出部１１４は、物体が移動体であると判定した場合、移動情報を検出する。本実施形態において、検出処理の際に差分を求めるために比較する領域は、ステップＳ６０４にて推定した領域のみである。
【００３６】
図８中の画像８０６、８０７、８０８はそれぞれ、画像８０２、８０３の差分情報、画像８０３、８０４の差分情報、画像８０４、８０５の差分情報である。領域８０６ｂ、８０７ｂ、８０８ｃはそれぞれ、ステップＳ６０４にて推定した領域７０３ｂ、７０４ｂ、７０５ｂに基づく比較領域である。方向８０６ａ、８０７ａ、８０８ａはそれぞれ、比較結果として物体８０２ａ、８０３ａ、８０４ａ、８０５ａが移動体として検出されて得られた移動情報を示している。一方、物体８０２ｂ、８０３ｂ、８０４ｂは、それぞれ移動体であったとしても、不要成分推定領域の外にあり、以降の不要成分判定処理は不要である。このため本実施形態では、移動体検出部１１４は、物体８０２ｂ、８０３ｂ、８０４ｂに対して移動体検出処理を実施しない。
【００３７】
本実施形態によれば、不要成分が発生する可能性のある領域においてのみ移動体の検出処理を行うこと。これにより、第１実施形態と比較して、不要成分でない移動体の誤検出を更に抑制するとともに、検出処理負荷を低減することができる。
【００３８】
［第３実施形態］
次に、図９を参照して、第３実施形態における不要成分検出補正処理について説明する。図９は、本実施形態における不要成分検出補正処理を示すフローチャートである。図９の各ステップは、主にシステムコントローラ１１０の指令に基づいて、画像処理部１０４の各部により実行される。本実施形態は、特許文献１に開示されているように、１度の撮影で複数の視点の画像を取得することが可能な撮像装置（または画像処理装置）による不要成分検出補正処理に関する。
【００３９】
まず、ステップＳ９０１において、特許文献１に開示された方法を用いて、画像処理部１０４は、複数の視点の画像から差分情報（相対差分情報）を求める。続いてステップＳ９０２において、画像処理部１０４（不要成分検出部１１５）は、ステップＳ９０１にて求めた差分情報が、不要成分の検出に十分な情報であるか否か（差分情報に基づいて不要成分を検出することができるか否か）を判定する。ステップＳ９０２にて不要成分の検出に十分な差分情報が得られなかった場合（差分情報に基づいて不要成分を検出することができると判定した場合）、ステップＳ９０３に進む。ステップＳ９０３において、画像処理部１０４は、移動情報に基づいて不要成分検出補正処理を行う。なお、不要成分検出補正処理は、第１実施形態または第２実施形態にて説明した不要成分検出補正処理である。
【００４０】
一方、ステップＳ９０２にて不要成分の検出に十分な情報が得られた場合、ステップＳ９０４に進む。ステップＳ９０４において、画像処理部１０４は、ステップＳ９０１にて取得した差分情報に基づいて、不要成分検出補正処理を行う。なお、不要成分検出補正処理は、特許文献１に開示された不要成分検出処理および不要成分補正処理に相当する。
【００４１】
本実施形態によれば、１度の撮影で複数の視差画像を取得可能である場合、複数の視点の画像の差分情報に基づいて不要成分を検出することができるか否かを予め判定し、好適な不要成分検出補正方法を選択することができる。その結果、より高精度な不要成分の検出および補正を行うことが可能となる。
【００４２】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００４３】
各実施形態によれば、視差情報が得られない撮影条件下でも不要成分を高精度に検出することが可能な画像処理装置、撮像装置、画像処理方法、および、プログラムを提供することができる。
【００４４】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００４５】
１０４  画像処理部（画像処理装置）
１１１  光源位置検出部（光源位置取得手段）
１１２  移動情報検出部（移動情報取得手段）
１１３  不要成分推定部（不要成分推定手段）
１１４  移動体検出部（移動体取得手段）
１１５  不要成分検出部（不要成分検出手段）
【図１】
2019062392.tif 000003
【図２】
2019062392.tif 000004
【図３】
2019062392.tif 000005
【図４】
2019062392.tif 000006
【図５】
2019062392.tif 000007
【図６】
2019062392.tif 000008
【図７】
2019062392.tif 000009
【図８】
2019062392.tif 000010
【図９】
2019062392.tif 000011