(57)【要約】【課題】  より少ない枚数の撮影画像から移動物体が除去された背景画像を生成することができる撮像装置及び撮像装置の制御方法を提供する。【解決手段】  撮像部２が撮像した画像を基準画像として保持する基準画像メモリ３と、撮像部２が基準画像と時間的に連続して撮像した画像を参照画像として保持する参照画像メモリ４と、撮像部２が撮像した画像に含まれる複数領域夫々における被写体までの距離を距離情報として取得する制御部９と、制御部９が取得した基準画像に対応する距離情報と制御部９が取得した参照画像に対応する距離情報を参照距離情報とを比較し、基準画像に含まれる領域のうち、参照画像の方が距離が遠い領域については、基準画像を参照画像で更新することによって生成した基準画像を背景画像として生成する。【選択図】  図１
2014090519.tif 000002
【特許請求の範囲】
【請求項１】
撮像部によって撮像された撮影画像から移動物体を除去した背景画像を生成する撮像装置の制御方法において、
前記撮像部によって撮像された撮影画像を基準画像として記憶部に保持させる基準画像保持ステップと、
前記撮像部によって前記基準画像と異なる時刻に撮像された撮影画像を参照画像として記憶部に保持させる参照画像保持ステップと、
前記撮像部によって撮像された撮影画像に含まれる複数領域夫々における被写体までの距離を距離情報として取得する取得ステップと、
前記取得ステップにて取得された前記基準画像に対応する距離情報を基準距離情報として記憶部に保持させる基準距離情報保持ステップと、
前記取得ステップにて取得された前記参照画像に対応する距離情報を参照距離情報として記憶部に保持させる参照距離情報保持ステップと、
前記基準距離情報と前記参照距離情報とを比較し、前記基準画像に含まれる領域のうち、前記参照画像の方が距離が遠い領域を検出する検出ステップと、
前記検出ステップにて検出された領域については、前記基準画像を前記参照画像で更新し、前記検出ステップにて検出された領域以外の領域については、画像の更新処理を実行しないことによって得られた基準画像を背景画像として生成する生成ステップと、
前記生成ステップによる生成処理が終了した後に、新たな画像を撮像するように前記撮像部を制御し、前記新たな画像を参照画像として処理を実行するように、前記参照画像保持ステップ及び前記参照距離情報保持ステップ及び前記検出ステップ及び前記生成ステップを制御する制御ステップと、
を有し、
前記制御ステップは、制御処理を繰り返し実行し、且つ前記検出手段で前記遠い領域が検出されなかった回数が所定の回数を超えた場合に、前記制御処理の繰り返し実行を終了することを特徴とする撮像装置の制御方法。
【請求項２】
撮像部によって撮像された撮影画像から移動物体を除去した背景画像を生成する撮像装置の制御方法において、
前記撮像部によって撮像された撮影画像を基準画像として記憶部に保持させる基準画像保持ステップと、
前記撮像部によって前記基準画像と異なる時刻に撮像された撮影画像を参照画像として記憶部に保持させる参照画像保持ステップと、
前記撮像部によって撮像された撮影画像に含まれる複数領域夫々における被写体までの距離を距離情報として取得する取得ステップと、
前記取得ステップにて取得された前記基準画像に対応する距離情報を基準距離情報として記憶部に保持させる基準距離情報保持ステップと、
前記取得ステップにて取得された前記参照画像に対応する距離情報を参照距離情報として記憶部に保持させる参照距離情報保持ステップと、
前記基準距離情報と前記参照距離情報とを比較し、前記基準画像に含まれる領域のうち、前記参照画像の方が距離が遠い領域を検出する検出ステップと、
前記検出ステップにて検出された領域については、前記基準画像を前記参照画像で更新し、前記検出ステップにて検出された領域以外の領域については、画像の更新処理を実行しないことによって得られた基準画像を背景画像として生成する生成ステップと、
前記生成ステップによる生成処理が終了した後に、新たな画像を撮像するように前記撮像部を制御し、前記新たな画像を参照画像として処理を実行するように、前記参照画像保持ステップ及び前記参照距離情報保持ステップ及び前記検出ステップ及び前記生成ステップを制御する制御ステップと、
を有し、
前記制御ステップは、制御処理を繰り返し実行し、且つ前記検出ステップにて前記遠い領域が最後に検出されてから所定の時間を経過しても前記検出ステップにて前記遠い領域が検出されなかった場合に、前記制御処理の繰り返し実行を終了することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
撮影画像から移動物体を除去した画像を生成する撮像装置の制御方法に関する。
【背景技術】
【０００２】
近年のデジタルカメラの急速な普及によって、多くのユーザが風景写真の撮影にデジタルカメラを使用するようになっている。
【０００３】
ところで、風景や建物等の静止画像を撮影する際に、人や車両などの不要な移動物体が写りこんでしまう場合がある。特に、人や車両などの交通量が多い撮影環境下では、移動物体が写り込まないように静止画像を撮影することは非常に困難である。
【０００４】
例えば、人物等の移動物体を含まない静止画像を作成する技術として、特許文献１では次のような技術が開示されている。すなわち、同一アングルで連続撮影した複数の静止画像夫々を分割領域が同一になるように複数の分割画像に分割し、分割領域単位で各分割画像間の相関を判定する。そして、分割領域毎に相関度の高い分割画像を合成して一枚の静止画像を作成するものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−２８８６７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の特許文献１に開示された従来技術では、相関度の高い分割画像を静止領域と判定するが、この静止領域の判定のためには少なくとも３枚以上の静止画像を保持する必要があるという課題があった。また、上述の特許文献１に開示された従来技術には、判定精度を向上させるためにはより多数の静止画像が必要となるという課題があった。
【０００７】
本発明は上記課題を解決するためになされたもので、より少ない枚数の撮影画像から移動物体を除去した背景画像を生成することができる撮像装置の制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の撮像装置の制御方法は、撮像部によって撮像された撮影画像から移動物体を除去した背景画像を生成する撮像装置の制御方法において、前記撮像部によって撮像された撮影画像を基準画像として記憶部に保持させる基準画像保持ステップと、前記撮像部によって前記基準画像と異なる時刻に撮像された撮影画像を参照画像として記憶部に保持させる参照画像保持ステップと、前記撮像部によって撮像された撮影画像に含まれる複数領域夫々における被写体までの距離を距離情報として取得する取得ステップと、前記取得ステップにて取得された前記基準画像に対応する距離情報を基準距離情報として記憶部に保持させる基準距離情報保持ステップと、前記取得ステップにて取得された前記参照画像に対応する距離情報を参照距離情報として記憶部に保持させる参照距離情報保持ステップと、前記基準距離情報と前記参照距離情報とを比較し、前記基準画像に含まれる領域のうち、前記参照画像の方が距離が遠い領域を検出する検出ステップと、
前記検出ステップにて検出された領域については、前記基準画像を前記参照画像で更新し、前記検出ステップにて検出された領域以外の領域については、画像の更新処理を実行しないことによって得られた基準画像を背景画像として生成する生成ステップと、前記生成ステップによる生成処理が終了した後に、新たな画像を撮像するように前記撮像部を制御し、前記新たな画像を参照画像として処理を実行するように、前記参照画像保持ステップ及び前記参照距離情報保持ステップ及び前記検出ステップ及び前記生成ステップを制御する制御ステップと、を有し、前記制御ステップは、制御処理を繰り返し実行し、且つ前記検出手段で前記遠い領域が検出されなかった回数が所定の回数を超えた場合に、前記制御処理の繰り返し実行を終了することを特徴とする。
【０００９】
上記目的を達成するために、本発明の撮像装置の制御方法は、撮像部によって撮像された撮影画像から移動物体を除去した背景画像を生成する撮像装置の制御方法において、前記撮像部によって撮像された撮影画像を基準画像として記憶部に保持させる基準画像保持ステップと、前記撮像部によって前記基準画像と異なる時刻に撮像された撮影画像を参照画像として記憶部に保持させる参照画像保持ステップと、前記撮像部によって撮像された撮影画像に含まれる複数領域夫々における被写体までの距離を距離情報として取得する取得ステップと、前記取得ステップにて取得された前記基準画像に対応する距離情報を基準距離情報として記憶部に保持させる基準距離情報保持ステップと、前記取得ステップにて取得された前記参照画像に対応する距離情報を参照距離情報として記憶部に保持させる参照距離情報保持ステップと、前記基準距離情報と前記参照距離情報とを比較し、前記基準画像に含まれる領域のうち、前記参照画像の方が距離が遠い領域を検出する検出ステップと、
前記検出ステップにて検出された領域については、前記基準画像を前記参照画像で更新し、前記検出ステップにて検出された領域以外の領域については、画像の更新処理を実行しないことによって得られた基準画像を背景画像として生成する生成ステップと、前記生成ステップによる生成処理が終了した後に、新たな画像を撮像するように前記撮像部を制御し、前記新たな画像を参照画像として処理を実行するように、前記参照画像保持ステップ及び前記参照距離情報保持ステップ及び前記検出ステップ及び前記生成ステップを制御する制御ステップと、を有し、前記制御ステップは、制御処理を繰り返し実行し、且つ前記検出ステップにて前記遠い領域が最後に検出されてから所定の時間を経過しても前記検出ステップにて前記遠い領域が検出されなかった場合に、前記制御処理の繰り返し実行を終了することを特徴とする。
【発明の効果】
【００１０】
以上説明したように、本発明によれば、より少ない枚数の撮影画像から移動物体を除去した背景画像を生成することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態における撮像装置１の概略構成を示すブロック図である。
【図２】本発明の実施形態における基準画像、参照画像、基準距離情報、参照距離情報を説明するための図である。
【図３】本発明の実施形態における背景画像生成処理の一部を示すフローチャートである。
【図４】本発明の実施形態における背景画像生成処理の一部を示すフローチャートである。
【図５】本発明の実施形態における背景画像生成処理の一部を示すフローチャートである。
【図６】本発明の実施形態における背景画像生成が終了したか否かを判定するための判定処理を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本実施例における、撮影画像から移動物体を除去した背景画像を生成することができる画像処理装置の一例としての撮像装置１について図１を用いて説明する。なお、図１は撮像装置１の概略構成を示すブロック図である。
【００１３】
まず、図１における撮像部２は、不図示のレンズ部や撮像素子等から構成されている。ここで、撮像部２を構成する撮像素子は、例えば、特開２００２−１３１６２３号公報に開示されているような、被写体を撮像して撮影画像データを出力可能であるのみならず、撮像素子自身による位相差検出方式の焦点検出が可能なものである。
【００１４】
そして、撮像部２は、基準画像メモリ３及び参照画像メモリ４の内、後述する制御部９から指示された方に撮影画像データを出力する。なお、このような撮影画像データの出力処理については、図３〜図６を参照して後述する。
【００１５】
また、撮像部２は、１画素毎に焦点検出領域が設定されており、これら焦点検出領域毎のデフォーカス量を検出し、検出したデフォーカス量を距離情報として制御部９に出力する。ここで、デフォーカス量とは、撮影レンズのピント位置に対する被写体位置のずれの大きさ、すなわちピント位置を基準とした被写体までの距離に関する量を表すものである。
【００１６】
続いて、基準画像メモリ３は、撮像部２から撮影画像データを入力され、入力された撮影画像データを基準画像データとして保持するフレームバッファである。また、参照画像メモリ４も同様に撮像部２から撮影画像データを入力され、入力された撮影画像データを参照画像データとして保持するフレームバッファである。なお、基準画像メモリ３は本実施例における基準画像保持部に相当し、参照画像メモリ４は本実施例における参照画像保持部に相当する。
【００１７】
続いて、表示制御部５は、制御部９の指示に応じて、基準画像メモリ３によって保持されている基準画像データを表示部６に出力する。表示部６は、表示制御部５から出力された画像データに基づいて画像を表示するディスプレイである。
【００１８】
続いて、圧縮部７は、制御部９の指示に応じて、基準画像メモリ３によって保持されている基準画像データに対して圧縮符号化処理を施して記録部８に出力する。記録部８は、メモリカード等の記録媒体であって、圧縮部７から入力された圧縮符号化済みの画像データを記録する。
【００１９】
続いて、撮像部２の各部を統括的に制御するための制御処理を実行する制御部９について説明する。まず、制御部９は、基準画像に対応する距離情報を撮像部２から取得し、取得した距離情報を基準距離情報として基準距離情報メモリ１０に保持させる。同様に、制御部９は、参照画像に対応する距離情報を撮像部２から取得し、取得した距離情報を参照距離情報として参照距離情報メモリ１１に保持させる。
【００２０】
そして、制御部９は、基準画像データと参照画像データと基準距離情報と参照距離情報とを用いることによって撮影画像から移動物体を除去した背景画像を生成可能な背景画像生成処理機能を有する。このような機能については、図３〜６を参照して後述する。
【００２１】
続いて、基準距離情報メモリ１０は、基準画像に対応する距離情報を制御部９から入力され、基準距離情報として保持する。また、参照距離情報メモリ１１は、参照画像に対応する距離情報を制御部９から入力され、参照距離情報として保持する。なお、基準距離情報メモリ１０は本実施例における基準距離情報保持部に相当し、参照距離情報メモリ１１は本実施例における参照距離情報保持部に相当する。
【００２２】
続いて、操作部１２は、シャッターボタン（不図示）、決定ボタン（不図示）、通常撮影モード及び背景画像生成モードの中から撮像装置１の動作モードを選択するための動作モード選択スイッチ（不図示）等を備える。ここで、背景画像生成モードとは、撮影画像から移動物体を除去した背景画像を生成するためのモードである。
【００２３】
続いて、本実施例における基準画像、参照画像、基準距離情報、参照距離情報について図２を参照して説明する。
【００２４】
まず、図２（ａ）の図は、本実施例における基準画像１００を示すものである。この基準画像１００は、壁１０１を撮影したものであるが、壁１０１の前に人物１０２が写り込んでしまっている。
【００２５】
続いて、図２（ｂ）の図は、本実施例における基準距離情報の一部を示すものであり、図２（ａ）における破線の矩形枠１０３で囲まれた領域に対応する基準距離情報を示すものである。なお、本実施例における基準距離情報メモリ１０は、距離情報を、図２（ｂ）に示すように、基準画像データに含まれる複数領域夫々に対応付けて保持するものである。
【００２６】
また、図２（ｂ）におけるセル夫々は１画素に対応しており、セル内の数値は当該セルに対応する被写体までの距離を示すパラメータである。なお、本実施例における距離情報は、被写体までの距離が近くなるに従って数値が小さくなり、被写体までの距離が遠くなるに従って数値が大きくなるものである。例えば、被写体までの距離が０の場合の値は「０」であり、被写体までの距離が無限遠の場合の値は「∞」となる。図２（ｂ）における「８０」のセルは壁１０１までの距離を示すものであり、「５０」のセルは本実施例における撮像装置１に対して壁１０１よりも近くに位置している人物１０２までの距離を示すものである。
【００２７】
続いて、図２（ｃ）の図は本実施例における参照画像２００を示すものであり、参照画像２００は基準画像１００と同一アングルで撮影されたものとする。この参照画像２００は、壁１０１を撮影したものであって壁１０１の前に人物１０２が写りこんでいるものである点で基準画像１００と同様だが、人物１０２の位置が異なっている。
【００２８】
続いて、図２（ｄ）は、本実施例における参照距離情報の一部を示すものであり、図２（ｃ）における破線の矩形枠１０３で囲まれた領域に対応する参照距離情報を示すものである。なお、本実施例における参照距離情報メモリ１１は、基準距離情報メモリ１０と同様、距離情報を、図２（ｄ）に示すように、参照画像データに含まれる複数領域夫々に対応付けて保持するものである。
【００２９】
そして、図２（ｂ）と同様に、図２（ｄ）におけるセル夫々は１画素に対応しており、セル内の数値は当該セルに対応する被写体までの距離を示すパラメータである。具体的には、図２（ｄ）における「８０」のセルは、壁１０１までの距離を示すものである。なお、基準画像１００と参照画像２００とでは人物１０２の位置が異なっており、図２（ｃ）における破線の矩形枠１０３で囲まれた領域には人物１０２が写り込んでいない。このため、図２（ｄ）には人物１０２までの距離を示す「５０」のセルが存在しない。
【００３０】
なお、図２（ｅ）及び図２（ｆ）については、引き続き説明する背景画像生成処理の中で詳述する。
【００３１】
続いて、距離情報を用いることにより、撮影画像から移動物体を除去した背景画像を生成するための背景画像生成処理について、図３〜図６を参照しながら説明する。なお、この背景画像生成処理は、制御部９によって実行されるものである。また、本実施例における撮像装置１は、三脚等で固定されており、被写体を同一アングルで連続して撮影できるように構成されているものである。
【００３２】
図３におけるステップＳ１０１では、制御部９は、撮像装置１の動作モードが背景画像生成モードであるか否かを判定する。撮像装置１の動作モードが背景画像生成モードであると制御部９が判定した場合はステップＳ１０２に進み、背景画像生成モードではないと制御部９が判定した場合はステップＳ１０７に進む。
【００３３】
ステップＳ１０２では、制御部９は、撮像装置１のシャッターボタン（不図示）が押下されたか否かを判定する。シャッターボタンが押下されたと制御部９が判定した場合はステップＳ１０３に進み、シャッターボタンが押下されていないと制御部９が判定した場合はステップＳ１０１に戻る。
【００３４】
ステップＳ１０３では、制御部９は撮像装置１の動作制限処理を行う。すなわち、ステップＳ１０２におけるシャッターボタンの押下をユーザからの指示として、ズームやフォーカスの変更等といった撮像部２の撮影画角が変化する操作や、シャッタースピードや絞り値の変更等といった撮像部２の露出が変化する操作を禁止する。
【００３５】
ステップＳ１０４では、制御部９は、撮影カウンターをリセットする。具体的には、制御部９は撮影回数をカウントするための撮影カウンターの値を０に設定する。なお、本実施例における撮影カウンターは、制御部９に内蔵されている。
【００３６】
ステップＳ１０５では、制御部９は、被写体を撮像して撮影画像データを出力させるように撮像部２を制御する。そして、制御部９は、撮像部２から出力された撮影画像データを基準画像データとして基準画像メモリ３に保持させる。なお、前述の図２（ａ）は、基準画像の例である。
【００３７】
ステップＳ１０６では、制御部９は、ステップＳ１０５で撮像された基準画像データに対応する距離情報を出力させるように撮像部２を制御する。そして、制御部９は、出力された距離情報を基準距離情報として基準距離情報メモリ１０に保持させる。そして、制御部９は、図４に示すステップＳ１０８に処理を進める。なお、前述の図２（ｂ）は基準距離情報の例である。
【００３８】
ステップＳ１０７では、制御部９は、通常の撮影処理を実行して処理を終了する。
【００３９】
図４におけるステップＳ１０８では、制御部９は、ステップＳ１０５で基準画像メモリ３に保持させた基準画像データを、表示部６に表示させるように表示制御部５を制御する。
【００４０】
ステップＳ１０９では、制御部９は、後述するステップＳ１１３で距離が遠くなった領域が連続して検出されなかった回数を示すための終了判定カウンターをリセットする。また、制御部９は、ステップＳ１１３で距離が遠くなった領域が最後に検出されてから経過した時間を計時するための終了判定タイマーもリセットする。具体的には、終了判定カウンターの値を０に設定し、終了判定タイマーの値も０に設定する。
【００４１】
なお、本実施例では、終了判定カウンター及び終了判定タイマーは、制御部９に内蔵されている。
【００４２】
ステップＳ１１０では、制御部９は、背景画像生成処理が終了したか否かを判定するための背景画像生成終了判定処理を実行する。この処理の内容は、図６に示すフローチャートを用いて後述する。
【００４３】
ステップＳ１１１では、制御部９は、ステップＳ１１０の背景画像生成終了判定処理の結果、背景画像生成処理が終了したと判定された場合は、図５に示すステップＳ１１７に処理を進める。一方、制御部９は、ステップＳ１１０の背景画像生成終了判定処理の結果、背景画像生成処理が終了していないと判定された場合は、ステップＳ１１２に処理を進める。
【００４４】
ステップＳ１１２では、制御部９は、新たに被写体を撮像して撮影画像データを出力させるように撮像部２を制御する。換言すると、制御部９は、被写体を基準画像データとは異なる時刻に撮像して撮影画像データを出力させるように撮像部２を制御する。そして、制御部９は、撮像部２から新たに出力された撮影画像データを参照画像データとして参照画像メモリ４に保持させる。なお、図２（ｃ）は、参照画像の例である。
【００４５】
ステップＳ１１３では、制御部９は、ステップＳ１１２で撮像された参照画像データに対応する距離情報を出力させるように撮像部２を制御する。そして、制御部９は、出力された距離情報を参照距離情報として参照距離情報メモリ１１に保持させる。なお、図２（ｄ）は、参照距離情報の例である。
【００４６】
ステップＳ１１４では、制御部９は、基準距離情報と参照距離情報とを比較し、基準画像データに含まれる領域の中から、参照画像データの方が距離が遠い領域を検出する。
【００４７】
具体的には、制御部９は、まず、基準画像データ及び参照画像データ夫々を複数の領域に分割する。そして、制御部９は、分割した領域のうち位置が同じ領域について、基準距離情報の数値と参照距離情報の数値とを比較し、参照距離情報の数値が基準距離情報の数値よりも大きい場合に、当該領域を参照画像データの方が距離が遠い領域として検出する。
【００４８】
この結果、距離が遠い領域を制御部９が検出した場合はステップＳ１１５に進み、距離が遠い領域が検出されなかったときはステップＳ１１６に進む。
【００４９】
なお、本発明の実施形態の撮像部２は、１画素毎に焦点検出領域が設定されているので、制御部９は、基準距離情報と参照距離情報とを比較し、参照画像データに含まれる画素の中から、基準画像データの方が距離が遠い画素を検出することになる。ここで、図２（ｅ）はステップＳ１１３での検出結果の例を示すものである。図２（ｅ）における灰色で示す領域が、基準画像データに含まれる画素の中から、参照画像データの方が距離が遠いとして検出された画素を示している。
【００５０】
ステップＳ１１５では、制御部９は、基準画像データのうち、ステップＳ１１４で検出された領域については、基準画像データを参照画像データで更新する。一方、制御部９は、ステップＳ１１４で検出された領域以外の領域については、画像の更新処理を実行しない。この結果、図２（ｆ）で示すような、移動物体である人物１０２が除去された背景画像３００が得られる。
【００５１】
また、ステップＳ１１５では、制御部９は距離情報更新処理を実行する。すなわち、制御部９は、ステップＳ１１４で検出された領域については、基準距離情報を参照距離情報で更新する。一方、制御部９は、ステップＳ１１４で検出された領域以外の領域については、距離情報の更新処理を実行しない。
【００５２】
例えば、図２（ａ）における破線の矩形枠１０３で囲まれた領域に対応する距離情報、つまり、図２（ｂ）で示される距離情報の場合について説明すると、当該距離情報における「５０」の値を示すセルが「８０」の値を示すように更新されることになる。
【００５３】
ステップＳ１１６では、制御部９は、終了判定カウンターの値に１を加えることにより、終了判定カウンターを更新する。
【００５４】
ステップＳ１１７では、制御部９は、基準画像メモリ３に保持されている基準画像データに圧縮符号化処理を施して出力させるように、圧縮部７を制御する。
【００５５】
ステップＳ１１８では、制御部９は、ステップＳ１１６で圧縮部７から出力された画像データを記録部８に記録させる。
【００５６】
ステップＳ１１９では、制御部９は、ステップＳ１０３で実行した、撮像装置１の動作制限を解除して処理を終了する。
【００５７】
続いて、背景画像生成が終了したか否かを判定するためのステップＳ１１０の背景画像生成終了判定処理について図４のフローチャートを用いて説明する。
【００５８】
まず、ステップＳ２０１では、制御部９は、撮影カウンターの値に１を加える。
【００５９】
ステップＳ２０２では、制御部９は、撮影カウンターの値が所定値に達したか否かを判定する。所定値に達したと制御部９が判定した場合はステップＳ２０７に進み、所定値に達していないと制御部９が判定した場合はステップＳ２０３に進む。
【００６０】
ステップＳ２０３では、制御部９は、セルフタイマーをリセットする。なお、本実施例におけるセルフタイマーは、時間を計時するための計時機能を有し、制御部９に内蔵される。
【００６１】
ステップＳ２０４では、制御部９は、終了判定タイマーが所定の時間を経過してタイムアウトしたか否かを判定する。そして、タイムアウトしたと制御部９が判定した場合はステップＳ２０７に進み、タイムアウトしていないと制御部９が判定した場合はステップＳ２０５に進む。
【００６２】
ステップＳ２０５では、制御部９は、終了判定カウンターが所定値に達したか否かを判定する。そして、所定値に達したと制御部９が判定した場合はステップＳ２０７に進み、所定値に達していないと制御部９が判定した場合はステップＳ２０６に進む。
【００６３】
ステップＳ２０６では、制御部９はユーザによって撮像装置１の決定ボタンが押下されたか否かを判定する。決定ボタンが押下されたと制御部９が判定した場合はステップＳ２０７に進み、決定ボタンが押下されていないと制御部９が判定した場合はステップＳ２０８に進む。
【００６４】
ステップＳ２０７では、制御部９は背景画像生成処理が終了したと判定して処理を終了する。
【００６５】
ステップＳ２０８では、制御部９はユーザによって撮像装置１のシャッターボタン（不図示）が押下されたか否かを判定する。シャッターボタンが押下されたと制御部９が判定した場合はステップＳ２１０に進み、シャッターボタンが押下されていないと制御部９が判定した場合はステップＳ２０９に進む。
【００６６】
ステップＳ２０９では、制御部９はステップＳ２０３でリセットされたセルフタイマーが所定の時間を経過してタイムアウトしたか否かを判定する。所定の時間を経過してタイムアウトしたと制御部９が判定した場合はステップＳ２１０に進み、所定の時間を経過してタイムアウトしていないと制御部９が判定した場合はステップＳ２０５に進む。
【００６７】
ステップＳ２１０では、制御部９は背景画像生成処理が終了していないと判定して処理を終了する。
【００６８】
このような本実施例における撮像装置１は、基準距離情報と参照距離情報とを比較し、基準画像に含まれる領域のうち、参照画像の方が距離が遠い領域を検出する。そして、検出された領域については、基準画像を参照画像で更新し、検出された領域以外の領域については、画像の更新処理を実行しない。これによれば、少なくとも２枚以上の撮影画像があれば、移動物体が除去された背景画像を生成することができる。
【００６９】
なお、本実施例における撮像部２は、１画素毎に焦点検出領域が設定されているものとしたが、これに限られるものではない。例えば、複数の画素をまとめて１つの焦点検出領域とし、このような焦点検出領域が撮像部２上に多数設定されていてもかまわない。
【００７０】
また、本実施例では、デフォーカス量を検出するために、自分自身で位相差検出方式の焦点検出可能な撮像素子を用いたが、これに限られるものではない。例えば、撮像素子とは別に設けた、焦点検出可能なＡＦセンサを用いてデフォーカス量を検出しても良い。
【００７１】
また、本実施例におけるステップＳ１１３にて基準画像データに含まれる領域の中から参照画像の方が距離が遠い領域を検出する際、所定の面積よりも小さい領域については検出対象としないように制御部９を構成しても良い。これによれば、微小領域を検出対象から除外することができ、判定誤差を小さくすることが可能である。
【符号の説明】
【００７２】
２  撮像部
３  基準画像メモリ
４  参照画像メモリ
９  制御部
１０  基準距離情報メモリ
１１  参照距離情報メモリ
【図１】
2014090519.tif 000003
【図２】
2014090519.tif 000004
【図３】
2014090519.tif 000005
【図４】
2014090519.tif 000006
【図５】
2014090519.tif 000007
【図６】
2014090519.tif 000008
【手続補正書】
【提出日】平成26年3月24日(2014.3.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像部によって撮像された撮影画像から移動物体を除去した背景画像を生成する撮像装置の制御方法であって、
前記撮像部によって撮像された撮影画像を基準画像として記憶部に保持させる基準画像保持ステップと、
前記撮像部によって前記基準画像と異なる時刻に撮像された撮影画像を参照画像として記憶部に保持させる参照画像保持ステップと、
前記撮像部によって撮像された撮影画像に含まれる複数領域夫々における被写体までの距離を距離情報として取得する取得ステップと、
前記取得ステップにて取得された前記基準画像に対応する距離情報を基準距離情報として記憶部に保持させる基準距離情報保持ステップと、
前記取得ステップにて取得された前記参照画像に対応する距離情報を参照距離情報として記憶部に保持させる参照距離情報保持ステップと、
前記基準距離情報と前記参照距離情報とを比較し、前記基準画像に含まれる領域のうち、前記参照画像の方が距離の遠い領域を検出する検出ステップと、
前記検出ステップにて検出された領域については、前記基準画像を前記参照画像で更新し、前記検出ステップにて検出された領域以外の領域については、前記参照画像で更新しないことによって背景画像を生成する生成ステップと、
前記生成ステップによる生成処理が終了した後に、新たな画像を撮像するように前記撮像部を制御し、前記新たな画像を参照画像として処理を実行するように、前記参照画像保持ステップ及び前記参照距離情報保持ステップ及び前記検出ステップ及び前記生成ステップを繰り返し実行する制御ステップと、
を有し、
前記制御ステップは、前記検出手段で前記遠い領域が検出されなかった回数が所定の回数を超えた場合に、前記繰り返し実行を終了することを特徴とする撮像装置の制御方法。
【請求項２】
撮像部によって撮像された撮影画像から移動物体を除去した背景画像を生成する撮像装置の制御方法であって、
前記撮像部によって撮像された撮影画像を基準画像として記憶部に保持させる基準画像保持ステップと、
前記撮像部によって前記基準画像と異なる時刻に撮像された撮影画像を参照画像として記憶部に保持させる参照画像保持ステップと、
前記撮像部によって撮像された撮影画像に含まれる複数領域夫々における被写体までの距離を距離情報として取得する取得ステップと、
前記取得ステップにて取得された前記基準画像に対応する距離情報を基準距離情報として記憶部に保持させる基準距離情報保持ステップと、
前記取得ステップにて取得された前記参照画像に対応する距離情報を参照距離情報として記憶部に保持させる参照距離情報保持ステップと、
前記基準距離情報と前記参照距離情報とを比較し、前記基準画像に含まれる領域のうち、前記参照画像の方が距離が遠い領域を検出する検出ステップと、
前記検出ステップにて検出された領域については、前記基準画像を前記参照画像で更新し、前記検出ステップにて検出された領域以外の領域については、前記参照画像でしないことによって背景画像を生成する生成ステップと、
前記生成ステップによる生成処理が終了した後に、新たな画像を撮像するように前記撮像部を制御し、前記新たな画像を参照画像として処理を実行するように、前記参照画像保持ステップ及び前記参照距離情報保持ステップ及び前記検出ステップ及び前記生成ステップを繰り返し実行する制御ステップと、
を有し、
前記制御ステップは、前記検出ステップにて前記遠い領域が最後に検出されてから所定の時間を経過しても前記検出ステップにて前記遠い領域が検出されなかった場合に、前記繰り返し実行を終了することを特徴とする撮像装置の制御方法。
【請求項３】
画像から移動物体を除去した背景画像を生成する画像処理装置であって、
画像が入力される入力部と、
前記入力部に入力された画像を基準画像とし、前記入力部から入力された画像であって前記基準画像と異なる画像を参照画像とし、前記基準画像と前記参照画像のそれぞれの被写体までの距離情報に基づいて前記基準画像の移動物体を含む領域については、前記参照画像の対応する領域で更新することにより背景画像を生成する生成手段と、
前記生成手段による生成処理を繰り返し実行させ、且つ前記生成手段によって更新されなかった回数が所定の回数を超えた場合に前記生成処理を中止する制御手段とを有することを特徴とする画像処理装置。
【請求項４】
画像から移動物体を除去した背景画像を生成する画像処理装置であって、
画像が入力される入力部と、
前記入力部に入力された画像を基準画像とし、前記入力部から入力された画像であって前記基準画像と異なる画像を参照画像とし、前記基準画像と前記参照画像のそれぞれの被写体までの距離情報に基づいて前記基準画像の移動物体を含む領域については、前記参照画像の対応する領域で更新することにより背景画像を生成する生成手段と、
前記生成手段による生成処理を繰り返し実行させ、且つ前記生成手段によって更新されなかった期間が所定の期間を超えた場合に前記生成処理を中止する制御手段とを有することを特徴とする画像処理装置。
【請求項５】
前記生成手段は、前記基準画像に含まれる領域のうち、前記参照画像の方が距離が遠い領域を移動物体を含む領域として、前記参照画像で更新することを特徴とする請求項３乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記背景画像を表示する表示手段とをさらに有することを特徴とする請求項３乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記制御手段により繰り返し実行される更新の終了を決定する決定手段をさらに有し、
前記生成手段は、前記決定手段による終了の決定によって、前記更新処理を中止することを特徴とする請求項３乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
撮像部によって撮像された撮影画像から移動物体を除去した背景画像を生成する撮像装置において、
前記撮像部によって撮像された撮影画像を基準画像として保持する基準画像保持手段と、
前記撮像部によって前記基準画像と異なる時刻に撮像された撮影画像を参照画像として保持する参照画像保持手段と、
前記撮像部によって撮像された撮影画像に含まれる複数領域夫々における被写体までの距離を距離情報として取得する取得手段と、
前記取得手段によって取得された前記基準画像に対応する距離情報を基準距離情報として保持する基準距離情報保持手段と、
前記取得手段によって取得された前記参照画像に対応する距離情報を参照距離情報として保持する参照距離情報保持手段と、
前記基準距離情報と前記参照距離情報とを比較し、前記基準画像に含まれる領域のうち、前記参照画像の方が距離が遠い領域を検出する検出手段と、
前記検出手段によって検出された領域については、前記基準画像を前記参照画像で更新し、前記検出手段によって検出された領域以外の領域については、前記参照画像で更新しないことによって背景画像を生成する動作を新しい撮影画像に対して繰り返す生成手段と、
前記背景画像を表示する表示手段とを有することを特徴とする撮像装置。
【請求項９】
前記生成手段により繰り返し実行される更新処理の終了を決定する決定手段をさらに有し、
前記生成手段は、前記決定手段による終了の決定によって、前記更新処理を中止することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記表示手段は基準画像を表示する際に、前記決定手段の決定を促す表示を表示し、
前記生成手段は、前記決定手段が前記更新処理の終了を決定した場合に、前記表示部に表示されている前記基準画像を背景画像として生成することを特徴とする請求項９に記載の撮像装置。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
撮影画像から移動物体を除去した画像を生成する撮像装置及び撮像装置の制御方法に関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
上記目的を達成するために、本発明の撮像装置の制御方法は、撮像部によって撮像された撮影画像から移動物体を除去した背景画像を生成する撮像装置の制御方法であって、前記撮像部によって撮像された撮影画像を基準画像として記憶部に保持させる基準画像保持ステップと、前記撮像部によって前記基準画像と異なる時刻に撮像された撮影画像を参照画像として記憶部に保持させる参照画像保持ステップと、前記撮像部によって撮像された撮影画像に含まれる複数領域夫々における被写体までの距離を距離情報として取得する取得ステップと、前記取得ステップにて取得された前記基準画像に対応する距離情報を基準距離情報として記憶部に保持させる基準距離情報保持ステップと、前記取得ステップにて取得された前記参照画像に対応する距離情報を参照距離情報として記憶部に保持させる参照距離情報保持ステップと、前記基準距離情報と前記参照距離情報とを比較し、前記基準画像に含まれる領域のうち、前記参照画像の方が距離が遠い領域を検出する検出ステップと、
前記検出ステップにて検出された領域については、前記基準画像を前記参照画像で更新し、前記検出ステップにて検出された領域以外の領域については、前記参照画像で更新しないことによって背景画像を生成する生成ステップと、前記生成ステップによる生成処理が終了した後に、新たな画像を撮像するように前記撮像部を制御し、前記新たな画像を参照画像として処理を実行するように、前記参照画像保持ステップ及び前記参照距離情報保持ステップ及び前記検出ステップ及び前記生成ステップを繰り返し実行する制御ステップと、を有し、前記制御ステップは、前記検出手段で前記遠い領域が検出されなかった回数が所定の回数を超えた場合に、前記繰り返し実行を終了することを特徴とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
上記目的を達成するために、本発明の画像処理装置は、画像から移動物体を除去した背景画像を生成する画像処理装置であって、画像が入力される入力部と、前記入力部に入力された画像を基準画像とし、前記入力部から入力された画像であって前記基準画像と異なる画像を参照画像とし、前記基準画像と前記参照画像のそれぞれの被写体までの距離情報に基づいて前記基準画像の移動物体を含む領域については、前記参照画像の対応する領域で更新することにより背景画像を生成する生成手段と、前記生成手段による生成処理を繰り返し実行させ、且つ前記生成手段によって更新されなかった回数が所定の回数を超えた場合に前記生成処理を中止する制御手段とを有することを特徴とする。