(57)【要約】    【課題】  撮影画像から移動物体を除去した静止画像を生成することができる撮像装置及び撮像装置の制御方法を提供すること。    【解決手段】  撮影画像から移動物体を除去した背景画像を生成する撮像装置において、基準画像と、基準画像と異なる時刻に撮影された参照画像を保持する画像保持手段と、基準画像及び参照画像の距離情報を保持する距離情報保持手段と、基準画像の距離情報と参照画像の距離情報を用いて前記基準画像と前記参照画像から背景画像を生成する背景画像生成手段と、前記参照画像と前記背景画像から差分情報を生成する差分情報生成手段と、  前記差分情報から得られる領域と前記背景画像生成手段で更新した領域が隣接しているか否か検出する隣接領域検出手段と、前記背景画像の前記隣接領域検出手段で検出した領域を前記参照画像で更新する背景画像更新手段と、を有することを特徴とする構成とした。【選択図】    図１
2014158118.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像から移動物体を除去した背景画像を生成する撮像装置において、
被写体を撮像して、撮影画像データを出力する撮像手段と、
前記撮影画像データを基準画像として保持する基準画像保持手段と、
前記基準画像と異なる時刻に撮影された前記撮影画像データを参照画像として保持する参照画像保持手段と、
前記基準画像内の被写体までの距離を基準画像被写体別距離情報として保持する基準画像距離情報保持手段と、
前記参照画像内の被写体までの距離を参照画像被写体別距離情報として保持する参照画像距離情報保持手段と、
前記基準画像被写体別距離情報と前記参照画像被写体別距離情報を用いて前記基準画像と前記参照画像から背景画像を生成する背景画像生成手段と、
前記参照画像と前記背景画像から差分情報を生成する差分情報生成手段と、
前記差分情報から得られる領域と前記背景画像生成手段で更新した領域が隣接しているか否か検出する隣接領域検出手段と、
前記背景画像の前記隣接領域検出手段で検出した領域を前記参照画像で更新する背景画像更新手段と、
を有することを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において
前記背景画像更新手段による処理が終了した後に、処理が終了した画像及び距離情報を基準画像の情報として次処理を実行するために前記基準画像保持手段及び基準画像距離情報保持手段に保持すること
を特徴とする撮像装置。
【請求項３】
請求項１に記載の撮像装置において
前記背景画像更新手段による処理が終了した後に、新たな画像を撮像するように前記撮像部を制御し、前記新たな画像及び距離情報を参照画像の情報として次処理を実行するために前記参照画像保持手段及び前記参照画像距離情報保持手段に保持すること
を特徴とする撮像装置。
【請求項４】
請求項１に記載の背景画像生成手段において
前記基準画像距離情報と前記参照画像距離情報とを比較し、前記参照画像の方が遠い領域を検出して、検出された領域については前記基準画像を前記参照画像で更新して背景画像を生成すること
を特徴とする撮像装置。
【請求項５】
請求項１に記載の背景画像生成手段、生成手段、背景画像更新手段において
処理を繰り返し実行すること
を特徴とする撮像装置。
【請求項６】
請求項２または請求項３に記載の撮像装置において
処理を繰り返し実行すること
を特徴とする撮像装置。
【請求項７】
請求項６または請求項７に記載の撮像装置において
ユーザーからの指示によって前記処理の繰り返し実行を終了すること
を特徴とする撮像装置。
【請求項８】
請求項６または請求項７に記載の撮像装置において
所定の時間が経過した場合に前記処理の繰り返し実行を終了すること
を特徴とする撮像装置。
【請求項９】
撮影画像から移動物体を除去した背景画像を生成する撮像装置の制御方法において、
被写体を撮像して、撮影画像データを出力する撮像ステップと、
前記撮影画像データを基準画像としてメモリに保持する基準画像保持ステップと、
前記基準画像と異なる時刻に撮影された前記撮影画像データを参照画像としてメモリに保持する参照画像保持ステップと、
前記基準画像内の被写体までの距離を基準画像被写体別距離情報としてメモリに保持する基準画像距離情報保持ステップと、
前記参照画像内の被写体までの距離を参照画像被写体別距離情報としてメモリに保持する参照画像距離情報保持ステップと、
前記基準画像被写体別距離情報と前記参照画像被写体別距離情報を用いて前記基準画像と前記参照画像から背景画像を生成する背景画像生成ステップと、
前記参照画像と前記背景画像から差分情報を生成する差分情報生成ステップと、
前記差分情報から得られる領域と前記背景画像生成ステップで更新した領域が隣接しているか否か検出する隣接領域検出ステップと、
前記背景画像の前記隣接領域検出ステップで検出した領域を前記参照画像で更新する背景画像更新ステップと、
を有することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に複数画像から移動物体を除去した画像を生成する撮像装置及び撮像装置の制御方法に関するものである。
【背景技術】
【０００２】
デジタルカメラを用いて風景や建物等の静止画像を撮影する際に、人や車両などの不要な移動物体が写りこんでしまう場合がある。特に、人や車両などの交通量が多い撮影環境下では、移動物体が写りこまないように静止画像を撮影することは非常に困難である。
【０００３】
この問題を解決するために、特許文献１及び特許文献２のような方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−２８８６７４号公報
【特許文献２】特開２０１１−１８２３４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１で開示されている技術としては、同一アングルで連続撮影した少なくとも３枚以上の静止画像を複数の分割領域に分割し、分割領域単位で各静止画像間の分割領域の相関を判定する。そして、分割領域毎に相関度の高い分割画像を合成して一枚の静止画像を作成するものである。
【０００６】
特許文献２で開示されている技術としては、同一アングルで連続撮影した２枚の静止画像の複数領域における被写体までの距離情報を取得し、複数領域単位で各静止画像間の距離情報を比較する。そして、距離が遠い領域を検出し、その検出した領域を更新して一枚の静止画像を生成するものである。
【０００７】
しかしながら、特許文献１では３枚以上の静止画が必要であり、画像を保持するメモリもその分多く必要である。特許文献２では、静止画は２枚で良いのだが、撮影した静止画像に被写体の影がある場合、カメラから影の距離とカメラから背景までの距離が同一であるため、上記の検出方法では検出できないという課題があった。
【０００８】
例えば、図２に示すように、図２（ａ）と図２（ｂ）の２枚の静止画像から距離情報だけを用いて移動物体の除去を行うと、図３に示すように、人物の影が残ってしまうという課題があった。
【０００９】
そこで、本発明の目的は、２枚の撮影画像から移動物体及び移動物体の影を除去した静止画像を生成することができる撮像装置及び撮像装置の制御方法を提供することである。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明は、
撮影画像から移動物体を除去した背景画像を生成する撮像装置において、
被写体を撮像して、撮影画像データを出力する撮像手段と、
前記撮影画像データを基準画像として保持する基準画像保持手段と、
前記基準画像と異なる時刻に撮影された前記撮影画像データを参照画像として保持する参照画像保持手段と、
前記基準画像内の被写体までの距離を基準画像被写体別距離情報として保持する基準画像距離情報保持手段と、
前記参照画像内の被写体までの距離を参照画像被写体別距離情報として保持する参照画像距離情報保持手段と、
前記基準画像被写体別距離情報と前記参照画像被写体別距離情報を用いて前記基準画像と前記参照画像から背景画像を生成する背景画像生成手段と、
前記参照画像と前記背景画像から差分情報を生成する差分情報生成手段と、
前記差分情報から得られる領域と前記背景画像生成手段で更新した領域が隣接しているか否か検出する隣接領域検出手段と、
前記背景画像の前記隣接領域検出手段で検出した領域を前記参照画像で更新する背景画像更新手段と、
を有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、撮像装置に関し、特に複数画像から移動物体を除去した画像を生成することができる撮像装置及び撮像装置の制御方法を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態における撮像装置１０１の概略構成を示すブロック図である。
【図２】本発明の実施形態における基準画像、参照画像、基準画像距離情報、参照画像距離情報を説明するための図である。
【図３】本発明の実施形態における背景画像生成処理を説明するための図である。
【図４】本発明の実施形態における背景画像更新処理を説明するための図である。
【図５】本発明の実施形態における背景画像生成処理及び背景画像更新処理の一部を示すフローチャートである。
【図６】本発明の実施形態における背景画像生成処理及び背景画像更新処理の一部を示すフローチャートである。
【図７】本発明の実施形態における背景画像生成処理及び背景画像更新処理が終了したか否かを判定するための判定処理を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下に、本発明の好ましい実施の形態を、送付の図面に基づいて詳細に説明する。
【００１４】
［実施例１］
以下、図１を参照して、本発明の実施形態における撮像装置について説明する。
【００１５】
１０１は撮像装置である。１０２は入力画像である。１０３は距離情報である。１０４は撮像部である。１０５は基準画像保持部である。１０６は参照画像保持部である。１０７は基準画像距離情報保持部である。１０８は参照画像距離情報保持部である。１０９は背景画像生成部である。１１０は差分情報生成部である。１１１は隣接領域検出部である。１１２は背景画像更新部である。１１３は出力画像である。
【００１６】
次に、図１に示すブロック図の動作について説明を行う。
【００１７】
撮像部１０４は、入力画像１０２を入力して撮影画像データを出力する。
【００１８】
基準画像保持部１０５は、撮像部１０４から撮影画像データを入力され、入力された撮影画像データを基準画像データとして保持するバッファメモリである。
【００１９】
また、参照画像保持部１０６も同様に、撮像部１０４から撮影画像データを入力され、入力された撮影画像データを参照画像データとして保持するバッファメモリである。
【００２０】
基準画像距離情報保持部１０７は、距離情報１０３を入力し、また基準画像保持部１０５から入力された基準画像データに対応する距離情報を基準画像距離情報として保持するバッファメモリである。
【００２１】
参照画像距離情報保持部１０８は、距離情報１０３を入力し、また参照画像保持部１０６から入力された参照画像データに対応する距離情報を参照画像距離情報として保持するバッファメモリである。
【００２２】
背景画像生成部１０９は、基準画像データと参照画像データと基準画像距離情報と参照画像距離情報とを用いることによって、参照画像データの方が遠い領域を検出する。
【００２３】
その検出された領域については基準画像データを参照画像データによって更新して、撮影画像データから移動物体を除去した背景画像を生成する。
【００２４】
差分情報生成部１１０は、参照画像データと背景画像生成部１０９で生成した背景画像との差分情報を生成する。
【００２５】
隣接画像検出部１１１は、差分情報生成部１１０で得られた領域と背景画像生成部１０９で更新した領域が隣接しているか否かを検出する。
【００２６】
背景画像更新部１１２は、背景画像の隣接領域検出部１１１で検出した領域を参照画像データで更新する。
【００２７】
この結果、背景画像生成部１０９で生成した画像データから移動物体を除去した背景画像を生成して、出力画像１１３として出力する。
【００２８】
続いて、図２を参照して、本発明の実施形態における基準画像、参照画像、基準画像距離情報及び参照画像距離情報について説明を行う。
【００２９】
図２（ａ）は、本実施形態における基準画像２０１を示すものである。この基準画像２０１は、道路２０２と箱２０３を撮影したものであるが、人物２０４と人物の影２０５が写りこんでしまっている。
【００３０】
図２（ｂ）は、本実施形態における参照画像２０７を示すものであり、参照画像２０７は基準画像２０１と同一アングル及び異なる時刻に撮影されたものとする。
【００３１】
この参照画像２０７は、道路２０２と箱２０３を撮影したものであって人物２０４と人物の影２０５が写りこんでいる点で基準画像２０１と同様だが、人物２０４と人物の影２０５の位置が異なっている。
【００３２】
図２（ｃ）は、図２（ａ）における破線の矩形枠２０６で囲まれた領域を拡大したものである。
【００３３】
図２（ｄ）は、図２（ｂ）における破線の矩形枠２０８で囲まれた領域を拡大したものである。
【００３４】
図２（ｅ）は、図２（ｃ）における距離情報を示すものである。また、図２（ｅ）における各セルは１画素に対応しており、セル内の数値は被写体までの距離を示すパラメータである。
【００３５】
なお、距離情報は、被写体までの距離が近くなるに従って数値が小さくなり、被写体までの距離が遠くなるに従って数値が大きくなるものである。
【００３６】
例えば、図２（ｅ）における「８０」のセルは道路２０２までの距離を示すものであり、「４０」のセルは撮像装置１０１に対して道路２０２よりも近くに位置している人物２０４の距離を示すものである。
【００３７】
また、人物の影２０５までの距離は、道路２０２までの距離と同様である。
【００３８】
図２（ｆ）は、図２（ｄ）における距離情報を示すものである。
【００３９】
また、図２（ｅ）と同様に、図２（ｆ）における各セルは１画素に対応しており、セル内の数値は被写体までの距離を示すパラメータである。
【００４０】
なお、図３及び図４については、引き続き説明する背景画像生成処理及び背景画像更新処理の中で説明する。
【００４１】
続いて、図５〜図７を参照して、撮影画像から移動物体及び移動物体の影を除去した背景画像を生成するための背景画像生成処理及び背景画像更新処理について説明を行う。
【００４２】
図５におけるステップ５０１では、撮像装置１０１の動作モードが背景画像を生成するための背景画像生成モードであるか否かを判定する。
【００４３】
撮像装置１の動作モードが背景画像生成モードであると判定した場合はステップ５０３に進み、背景画像生成モードではないと判定した場合はステップ５０２に進む。
【００４４】
ステップ５０２では、通常の撮影処理を実行して処理を終了する。
【００４５】
ステップ５０３では、撮像装置１０１のシャッターボタンが押下されたか否か判定する。
【００４６】
シャッターボタンが押下されたと判定した場合はステップ５０４に進み、シャッターボタンが押下されていないと判定した場合はステップ５０１に戻る。
【００４７】
ステップ５０４では、被写体を撮像して撮影画像データを出力させるように撮像部１０４を制御する。
【００４８】
そして、撮像部１０４から出力された撮影画像データを基準画像データとして基準画像保持部１０５に保持させる。
【００４９】
なお、前述の図２（ａ）は基準画像の例である。
【００５０】
ステップ５０５では、ステップ５０４で撮像された基準画像データに対応する距離情報を基準画像距離情報として基準画像距離情報保持部１０７に保持させる。
【００５１】
なお、前述の図２（ｅ）は基準画像距離情報の例である。
【００５２】
図６におけるステップ６０１では、背景画像生成処理が終了したか否かを判定するための背景画像生成終了判定処理を実行する。
【００５３】
この処理の内容は、図７に示すフローチャートを用いて後述する。
【００５４】
ステップ６０２では、ステップ６０１の背景画像生成終了判定処理の結果、背景画像生成処理が終了したと判定された場合は、処理を終了する。
【００５５】
一方、ステップ６０２の背景画像生成終了判定処理の結果、背景画像生成処理が終了していないと判定された場合は、ステップ６０３に処理を進める。
【００５６】
ステップ６０３では、新たに被写体を撮像して撮影画像データを出力させるように撮像部１０４を制御する。
【００５７】
そして、撮像部１０４から出力された撮影画像データを参照画像データとして参照画像保持部１０６に保持させる。
【００５８】
なお、前述の図２（ｂ）は参照画像の例である。
【００５９】
ステップ６０４では、ステップ６０３で撮像された参照画像データに対応する距離情報を参照画像距離情報として参照画像距離情報保持部１０８に保持させる。
なお、前述の図２（ｆ）は参照画像距離情報の例である。
【００６０】
ステップ６０５では、基準画像距離情報と参照画像距離情報とを比較し、基準画像データに含まれる領域の中から、参照画像データの方が距離が遠い領域を検出する。
【００６１】
具体的には、まず、基準画像データ及び参照画像データを複数の領域に分割する。
【００６２】
そして、分割した領域のうち位置が同じ領域について、基準画像距離情報の数値と参照画像距離情報の数値とを比較し、参照画像距離情報の数値が基準画像距離情報の数値よりも大きい場合に、当該領域を参照画像データの方が距離が遠い領域として検出する。
【００６３】
ステップ６０６では、ステップ６０５で検出した結果、参照画像データの方が遠い領域が検出された場合は、ステップ６０７に処理を進み、参照画像データの方が遠い領域が検出されない場合は、ステップ６０１に戻る。
【００６４】
ステップ６０７では、基準画像データのうち、ステップ６０５で検出された参照画像データの方が遠い領域については、基準画像データを参照画像データで更新するように背景画像生成部１０９を制御する。
【００６５】
一方、ステップ６０５で検出された領域以外の領域については、画像の更新をしない。
【００６６】
この結果、図３で示すような、移動物体である人物２０４が除去された画像が得られる。
【００６７】
ステップ６０８では、ステップ６０７で更新した画像データと参照画像データとの差分情報を生成するように差分情報生成部１０９を制御する。
【００６８】
この結果、図４（ａ）で示すような、画像データが生成される。また、図４（ｂ）は、図４（ａ）における破線の矩形枠４０２で囲まれた領域を拡大したものである。
【００６９】
ステップ６０９では、ステップ６０８で得られた領域とステップ６０７で更新した領域が隣接しているか否かを判定する。
【００７０】
この結果、更新した領域に隣接している場合は、ステップ６１０に進み、更新した領域に隣接していない場合は、ステップ６１１に進む。
【００７１】
図４（ｃ）は、図（ｂ）にステップ６０７で更新した領域４０５を追加して表示している。ステップ６０８で得られた領域４０３は、ステップ６０７で更新した領域４０５に隣接している。
【００７２】
ステップ６１０では、ステップ６０７で更新した画像データを基準画像データとして基準画像保持部１０５に保持する。
【００７３】
ステップ６１１では、ステップ６０８で得られた領域については、ステップ６０７で更新した画像データを参照画像データで更新するように背景画像更新部１１２を制御する。
この結果、図４（ｄ）で示すような、画像データが生成される。
【００７４】
ステップ６１２では、ステップ６１１で更新した画像データを基準画像データとして基準画像保持部１０５に保持する。
【００７５】
図７におけるステップ７０１では、終了判定タイマーが所定値に達したか否かを判定する。
そして、所定値に達したと判定した場合はステップ７０５に進み、所定値に達していないと判定した場合はステップ７０２に進む。
【００７６】
ステップ７０２では、ユーザーによって撮像装置１０１の決定ボタンが押下されたか否かを判定する。
【００７７】
そして、決定ボタンが押下されたと判定した場合はステップ７０５に進み、決定ボタンが押下されていないと判定した場合はステップ７０３に進む。
【００７８】
ステップ７０３では、ユーザーによって撮像装置１０１のシャッターボタンが押下されたか否かを判定する。
【００７９】
そして、シャッターボタンが押下されたと判定した場合はステップ７０６に進み、決定ボタンが押下されていないと判定した場合はステップ７０４に進む。
【００８０】
ステップ７０４では、セルフタイマーが所定の時間を経過してタイムアウトしたか否かを判定する。
【００８１】
そして、所定の時間を経過してタイムアウトした場合はステップ７０６に進み、所定の時間を経過していなくタイムアウトしていない場合はステップ７０１に戻る。
【００８２】
ステップ７０５では、背景画像生成処理が終了したと判定して処理を終了する。
【００８３】
ステップ７０６では、背景画像生成処理が終了していないと判定して処理を終了する。
【００８４】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【産業上の利用可能性】
【００８５】
本発明は、撮像装置に関し、特に複数画像から移動物体を除去した画像を生成する撮像装置及び撮像装置の制御方法に利用可能である。
【符号の説明】
【００８６】
１０１  撮像装置
１０２  入力画像
１０３  距離情報
１０４  撮像部
１０５  基準画像保持部
１０６  参照画像保持部
１０７  基準画像距離情報保持部
１０８  参照画像距離情報保持部
１０９  背景画像生成部
１１０  差分情報生成部
１１１  隣接領域検出部
１１２  背景画像更新部
１１３  出力画像
【図１】
2014158118.tif 000003
【図２】
2014158118.tif 000004
【図３】
2014158118.tif 000005
【図４】
2014158118.tif 000006
【図５】
2014158118.tif 000007
【図６】
2014158118.tif 000008
【図７】
2014158118.tif 000009