(57)【要約】      （修正有）【課題】低いコントラストの動体であっても，正確に動体領域を検出できるようにする。【解決手段】撮像によって得られた複数のフレーム画像のうち，先に出力された２つのフレーム画像１，２の差分が算出され，かつそれよりも後に出力された２つのフレーム画像７，８の差分が算出される。差分画像ＳＦに含まれる差異画像部分ＳＦ１，ＳＦ２と，差分画像ＳＬに含まれる差異画像部分ＳＬ１，ＳＬ２とに包含される包含領域が動体領域として検出される。【選択図】図３
2011199765.tif 000002
【特許請求の範囲】
【請求項１】
特定の撮像対象範囲を連続して撮像し，上記撮像対象範囲内の画像を表すフレーム画像データを順次出力する撮像手段，
上記撮像手段から出力された複数のフレーム画像データのうち，先に出力された２つのフレーム画像データ間の差分を算出し，かつそれよりも後に出力された２つのフレーム画像データの差分を算出することによって，第１差分画像データおよび第２差分画像データを生成する差分画像データ生成手段，ならびに
上記第１の差分画像データによって表される第１差分画像および第２の差分画像データによって表される第２差分画像に差異画像部分が含まれる場合に，第１差分画像に含まれる第１差異画像部分と上記第２差分画像に含まれる第２差異画像部分に包含される領域を検出する包含領域検出手段とを備え,
前記包含領域を動体領域として検出することを特徴とする
撮像装置。
【請求項２】
上記差分画像データ生成手段は，連続する２つのフレーム画像データを用いて上記第１差分画像データおよび第２差分画像データをそれぞれ生成する，
請求項１に記載の撮像装置。
【請求項３】
上記撮像手段は上記撮像対象範囲を一定周期で撮像する，
請求項１に記載の撮像装置。
【請求項４】
上記差分画像データ生成手段は，上記レリーズボタンが押下された後に上記撮像手段から出力される複数のフレーム画像データのうちの，最初に出力された２つのフレーム画像データの差分を算出することによって第１差分画像データを作成し，かつ最後に出力された２つのフレーム画像データの差分を算出することによって第２差分画像データを作成する，
請求項１に記載の撮像装置。
【請求項５】
上記包含領域検出手段は，上記第１差分画像および第２差分画像を重ね合わせた重ね合わせ画像を構成する複数の画素のそれぞれを起点にして，水平方向および垂直方向を含む複数の方向のそれぞれの方向をサーチすることによって，上記複数の画素のそれぞれについて，第１差異画像部分と第２差異画像部分に包含されるかどうかを判断する，
請求項１に記載の撮像装置。
【請求項６】
上記包含領域検出手段は，上記第１差分画像および第２差分画像を重ね合わせた重ね合わせ差分画像において，上記第１差異画像部分の重心位置，および第２差異画像部分の重心位置をそれぞれ算出し，上記第１差異画像部分の重心位置を通る直線と上記第１差異画像部分の境界とが交わる２つの交点と，上記第２差異画像部分の重心位置を通る直線と上記第２差異画像部分の境界とが交わる２つの交点との位置関係に応じて，上記第１差異画像部分が第２差異画像部分に内包されていること，または第２差異画像部分が第１差異画像部分に内包されていることを判断する，
請求項１に記載の撮像装置。
【請求項７】
上記第１差分画像の生成に用いられた２つのフレーム画像データのうちの一方のフレーム画像データのみによって構成される第１差異画像部分中の第１領域の重心位置と，上記第１差分画像の生成に用いられた２つのフレーム画像データのうちの他方のフレーム画像データのみによって構成される第１差異画像部分中の第２領域の重心位置と，上記第２差分画像の生成に用いられた２つのフレーム画像データのうちの一方のフレーム画像データのみによって構成される第２差異画像部分中の第３領域の重心位置と，上記第２差分画像の生成に用いられた２つのフレーム画像データのうちの他方のフレーム画像データのみによって構成される第２差異画像部分中の第４領域の重心位置をそれぞれ算出し，第１領域の重心位置と第２領域の重心位置を結ぶ第１ベクトルの方向，および第３領域の重心位置と第４領域の重心位置を結ぶ第２ベクトルの方向がなす角度に応じて，動体の動きが直線的であるかどうかを判定する動体動き判定手段をさらに備えた，
請求項６に記載の撮像装置。
【請求項８】
撮像手段が，特定の撮像対象範囲を連続して撮像し，上記撮像対象範囲内の画像を表すフレーム画像データを順次出力し，
差分画像データ生成手段が，上記撮像手段から出力された複数のフレーム画像データのうち，先に出力された２つのフレーム画像データ間の差分を算出し，かつそれよりも後に出力された２つのフレーム画像データの差分を算出することによって，第１差分画像データおよび第２差分画像データを生成し，
包含領域検出手段が，上記第１の差分画像データによって表される第１差分画像および第２の差分画像データによって表される第２差分画像に差異画像部分が含まれる場合に，上記第１差分画像に含まれる第１差異画像部分と上記第２差分画像に含まれる第２差異画像部分に包含される領域を動体領域として検出する，
撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は撮像装置およびその制御方法に関する。
【背景技術】
【０００２】
画像データを用いた動体検出（抽出）処理として，連続するフレーム画像の差分を抽出して対象物（移動体）の輪郭線を生成するもの（特許文献１），輝度分布に基づいて顔向き角度を算出するもの（特許文献２）等が提案されている。
【０００３】
フレーム画像を用いて動体が動いた領域を検出する場合，その動体が低いコントラストのものであると，動体に動きがあったとしても差分が得られずに，動きがある領域であるにも関わらずその動きの検出できないことがある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２０３９２７号公報
【特許文献２】特開２００９−２５８９４号公報
【発明の概要】
【０００５】
この発明は，低いコントラストの動体であっても，正確に動体領域を検出できるようにすることを目的とする。
【０００６】
この発明による撮像装置は，特定の撮像対象範囲を連続して撮像し，上記撮像対象範囲内の画像を表すフレーム画像データを順次出力する撮像手段，上記撮像手段から出力された複数のフレーム画像データのうち，先に出力された２つのフレーム画像データ間の差分を算出し，かつそれよりも後に出力された２つのフレーム画像データの差分を算出することによって，第１差分画像データおよび第２差分画像データを生成する差分画像データ生成手段，ならびに上記第１の差分画像データによって表される第１差分画像および第２の差分画像データによって表される第２差分画像に差異画像部分が含まれる場合に，上記第１差分画像に含まれる第１差異画像部分と，上記第２差分画像に含まれる第２差異画像部分とに包含される領域を検出する包含領域検出手段とを備え，前記包含領域を動体領域として検出することを特徴とする。
【０００７】
この発明は上述の撮像装置の制御に適する方法の発明も提供する。この方法は，撮像手段が，あらかじめ定められた撮像対象範囲を連続して撮像し，上記撮像対象範囲内の画像を表すフレーム画像データを順次出力し，差分画像データ生成手段が，上記撮像手段から出力された複数のフレーム画像データのうち，先に出力された２つのフレーム画像データ間の差分を算出し，かつそれよりも後に出力された２つのフレーム画像データの差分を算出することによって，第１差分画像データおよび第２差分画像データを生成し，包含領域検出手段が，上記第１の差分画像データによって表される第１差分画像および第２の差分画像データによって表される第２差分画像に差異画像部分が含まれる場合に，上記第１差分画像に含まれる第１差異画像部分と上記第２差分画像に含まれる第２差異画像部分とに包含される領域を動体領域として検出するように撮像装置を制御する。
【０００８】
この発明によると，第１差分画像および第２差分画像の２つの差分画像を表すデータが生成される。第１差分画像データの生成に用いられる２つのフレーム画像データは，連続して順次出力されるフレーム画像データのうち，先に（時間的に早いタイミングで）出力された２つのフレーム画像データであり，第２差分画像データの生成に用いられる２つのフレーム画像データは，それもよりも後に（時間的に遅いタイミングで）出力されたフレーム画像データであるから，動きのある被写体（動体）が撮像されると，第１差分画像および第２差分画像には，動き前（動きの途中を含む）および動き後（動きの途中を含む）の動体を表す画像，すなわち第１差異画像部分および第２差異画像部分がそれぞれに含まれる。
【０００９】
第１差異画像部分および第２差異画像部分に包含される領域が動体領域として検出される。包含領域とは第１差異画像部分および第２差異画像部分自体のみならず，第１差異画像部分および第２差異画像部分の少なくとも一方に囲まれている領域，および第１差異画像部分と第２差異画像部分の間に挟まされている領域を含む。
【００１０】
この発明によると，第１差異画像部分および第２差異画像部分に包含される領域，すなわち，第１差異画像部分自体，第２差異画像部分自体，第１差異画像部分および第２差異画像部分の少なくとも一方に囲まれている領域，ならびに第１差異画像部分と第２大画像部分の間に挟まされている領域が動体領域として検出される。このため，動体のコントラストが低いために単純に差分をとるだけでは差（差分）を得ることができない領域があってもその領域も動体領域に含ませることができる。動体領域を正確に検出することができる。
【００１１】
一実施態様では，上記差分画像データ生成手段は，連続する２つのフレーム画像データを用いて，上記第１差分画像データおよび第２差分画像データをそれぞれ生成するものである。動きの速い動体であっても動体領域を正確に検出することができる。
【００１２】
好ましくは，上記撮像手段は上記撮像対象範囲を一定周期で撮像するものである。動体領域の検出を安定して行うことができる。
【００１３】
一実施態様では，上記包含領域検出手段は，上記第１差分画像および第２差分画像を重ね合わせた重ね合わせ差分画像を構成する複数の画素のそれぞれを起点にして，水平方向および垂直方向を含む複数の方向のそれぞれの方向をサーチすることによって，上記複数の画素のそれぞれが，第１差異画像部分および第２差異画像部分に包含されるかどうかを判断する。上記第１差異画像部分および第２差異画像部分によって包含される領域に含まれる画素は，水平方向および垂直方向を含む複数方向のサーチにおいて第１差異画像部分および第２差異画像部分が検出される。これに基づいて，上記第１差異画像自体および第２差異画像自体を構成する画素でなくても，第１差異画像部分および第２差異画像部分のいずれかによって囲まれている領域，ならびに第１差異画像部分および第２差異画像部分によって挟まれている画素も，包含領域を構成する画素として検出することができる。
【００１４】
好ましくは，上記包含領域検出手段は，上記第１差分画像および第２差分画像を重ね合わせた重ね合わせ差分画像において，上記第１差異画像部分の重心位置，および第２差異画像の重心位置をそれぞれ算出し，上記第１差異画像部分の重心位置を通る直線と上記第１差異画像部分の境界とが交わる２つの交点と，上記第２差異画像部分の重心位置を通る直線と上記第２差異画像部分の境界とが交わる２つの交点との位置関係に応じて，上記第１差異画像部分が第２差異画像部分に内包されていること，または第２差異画像部分が第１差異画像部分に内包されていることを判断する。動体が撮像装置に近づいている，または遠ざかっているときも，動体のコントラストが低いために単純に差分をとるだけでは差（差分）を得ることができない領域が生じる。この場合でも，上記第１差異画像部分が第２差異画像部分に内包されていること，または第２差異画像部分が第１差異画像部分に内包されていることを判断することによって，その領域を動体領域として検出することができる。
【００１５】
好ましくは，上記第１差分画像の生成に用いられた２つのフレーム画像データのうちの一方のフレーム画像データのみによって構成される第１差異画像部分中の第１領域の重心位置と，上記第１差分画像の生成に用いられた２つのフレーム画像データのうちの他方のフレーム画像データのみによって構成される第１差異画像部分中の第２領域の重心位置と，上記第２差分画像の生成に用いられた２つのフレーム画像データのうちの一方のフレーム画像データのみによって構成される第２差異画像部分中の第３領域の重心位置と，上記第２差分画像の生成に用いられた２つのフレーム画像データのうちの他方のフレーム画像データのみによって構成される第２差異画像部分中の第４領域の重心位置をそれぞれ算出し，第１領域の重心位置と第２領域の重心位置を結ぶ第１ベクトルの方向，および第３領域の重心位置と第４領域の重心位置を結ぶ第２ベクトルの方向に基づいて，動体の動きが直線的であるかどうかを判定する動体動き判定手段をさらに備えている。動体の動きが直線的でない場合には，４つのフレーム画像データから得られる２つの差分画像データを用いた動体領域の検出の精度が低下することがある。動体の動きが直線的ではないと判断された場合には，たとえば，４つのフレーム画像データ以上の多数のフレーム画像データのＯＲ（論理和）領域をとることによって動体領域を検出することによって，動体領域の検出精度を高めることができる。
【図面の簡単な説明】
【００１６】
【図１】ディジタル・スチル・カメラの電気的構成を示すブロック図である。
【図２】第１実施例の動体領域検出処理の手順を示すフローチャートである。
【図３】動体領域検出処理の流れを画像によって示すものである。
【図４】２つの差分画像の合成画像を示す。
【図５】第２実施例の動体領域検出処理の手順を示すフローチャートである。
【図６】第２実施例の動体領域検出処理の手順を画像によって示すものである。
【図７】２つの差分画像の合成画像を示す。
【図８】第３実施例の動体領域検出処理の手順を示すフローチャートである。
【図９】（Ａ），（Ｂ）および（Ｃ）は第３実施例の動体領域検出処理の一部の手順を画像によって示すものである。
【実施例】
【００１７】
図１は，この発明の実施例を示すもので，ディジタル・スチル・カメラ（撮像装置）の電気的構成を示すブロック図である。
【００１８】
ディジタル・スチル・カメラの全体の動作はＣＰＵ31によって統括される。
【００１９】
ディジタル・スチル・カメラには，ユーザからの操作に応じた制御を行う操作系制御装置も含まれている。ディジタル・スチル・カメラには，撮像モード，再生モードなどの動作モードを設定する動作モードスイッチ21，メニュー／ＯＫボタン22，ズーム量等を設定する上下ボタン23，メニュー選択等のための左右ボタン24，BACKボタン25，表示装置55の表示を切り替える表示切替ボタン26，レリーズボタン27および電源スイッチ28が含まれている。これらのスイッチ等からの操作信号は，操作系制御装置30に入力する。
【００２０】
ディジタル・スチル・カメラは，ストロボ撮像が可能であり，ストロボ撮像のためにストロボ（フラッシュライト）装置12およびストロボ制御装置13が含まれている。
【００２１】
また，ディジタル・スチル・カメラには，フォーカスレンズ駆動装置11によってレンズ位置が制御されるフォーカスレンズ１，ズームレンズ駆動装置10によってレンズ位置が制御されるズームレンズ２，絞り駆動装置９によって開口が制御される絞り３，およびシャッタ駆動装置８によって開閉制御されるシャッタ４も含まれている。シャッタ駆動装置８は，タイミング・ジェネレータ７から出力されるタイミング・パルスにもとづいて動作する。
【００２２】
動作モードスイッチ21によって撮像モードが設定されると，被写体像を表す光線束は，フォーカス・レンズ１，ズームレンズ２，絞り３およびシャッタ４を介してＣＣＤ５の受光面に入射する。ＣＣＤ制御装置６によって制御されるＣＣＤ５から一定周期で被写体像を表す映像信号が出力される。ＣＣＤ制御装置６は，タイミング・ジェネレータ７から出力されるタイミング・パルスにもとづいて動作する。
【００２３】
ＣＣＤ５から出力した映像信号は，タイミング・ジェネレータ７から出力されるタイミング・パルスにもとづいて動作するアナログ信号処理装置14に入力する。アナログ信号処理装置14においてガンマ補正，アナログ／ディジタル変換などの所定のアナログ信号処理が行われる。アナログ信号処理装置14から出力された画像データは，画像入力コントローラ15を介して表示制御装置54に入力する。表示制御装置54によって表示装置（モニタ）55が制御されることにより，撮像により得られた被写体像が表示装置55の表示画面に表示される。
【００２４】
画像入力コントローラ15から出力された画像データは，ＡＦ（自動合焦）処理装置42およびＡＥ（自動露出）処理装置44にも入力する。ＡＦ処理装置42において，入力した画像データのコントラストにもとづいてフォーカス・レンズ１のレンズ位置が算出される。算出されたレンズ位置となるように，フォーカス・レンズ駆動装置11によってフォーカス・レンズ１が制御される。また，ＡＦ処理装置42において，算出されたレンズ位置にもとづいて被写体までの距離も算出される（測距手段）。もっとも被写体までの距離を測定する測距装置を設けてもよい。ＡＥ処理装置44において，入力した画像データにもとづいて被写体輝度が算出される（輝度測定手段）。算出された輝度にもとづいて，絞り３の絞り値およびシャッタ４のシャッタ速度が算出される。算出された絞り値となるように絞り駆動装置９によって絞り３が制御され，かつ算出されたシャッタ速度となるようにシャッタ駆動装置８によってシャッタ４が制御される。
【００２５】
画像入力コントローラ15から出力された画像データは，特定被写体検出装置56にも入力する。特定被写体検出装置56において，入力した画像データによって表される被写体像にたとえば顔画像が含まれているかどうかが検出される。顔画像等の特定被写体の検出は，たとえば，特定被写体を表す画像（たとえば顔画像）のサンプルを多数記憶しておき，記憶されている特定被写体画像と被写体像とのマッチング処理にもとづいて行われる。また，検出された特定被写体画像に枠を表示する枠表示装置49もディジタル・スチル・カメラに含まれている。
【００２６】
また，ディジタル・スチル・カメラには，特定の人物などの被写体像を表す画像データを登録しておく特定被写体登録装置46も含まれている。特定被写体登録装置46に登録されている被写体像が特定被写体認証装置47において認証されると，特定の被写体が撮像されたことが認証されることとなる。また，特定の被写体を追跡して撮像するための特定被写体追跡装置48も含まれている。
【００２７】
さらに，ディジタル・スチル・カメラには，撮像モード設定装置57が含まれている。この撮像モード設定装置57により設定された撮像モードにしたがって撮像制御装置41においてディジタル・スチル・カメラが制御される。
【００２８】
撮像モードが設定されている場合に，レリーズ・ボタン27が押されると，上述のように，被写体が撮像されて被写体像を表す画像データがアナログ信号処理装置14から出力される。画像データは，画像入力コントローラ15を介して画像処理装置45において所定の画像処理が行われる。画像処理装置45から出力された画像データは，ＡＷＢ（自動白バランス）処理装置43に入力し，白バランス調整が行われる。白バランス調整された画像データは，フレーム・メモリ51に与えられ，一時的に記憶される。画像データは，フレーム・メモリ51から読み出されて圧縮／伸長処理装置50に入力する。圧縮／伸長処理装置50において画像データが圧縮される。圧縮された画像データがメディア制御装置52によってメモリ・カードなどの外部記録メディア53に記録される。
【００２９】
この実施例によるディジタル・スチル・カメラは，再生機能も有している。再生機能では，外部記録メディア53に記録されている圧縮画像データが圧縮／伸張処理装置50において伸張され，それが表示制御装置54に与えられることで画像表示される。
【００３０】
図２は第１実施例の動体領域検出処理についてのディジタル・スチル・カメラの処理手順を示すフローチャートである。図３は図２に示す動体領域検出処理を具体的な画像によって説明するものである。
【００３１】
レリーズボタン27が押下されることによって動体領域検出処理がスタートする（ステップ61でNO，ステップ61でYES ）。
【００３２】
レリーズボタン27が押下されると，同一時間間隔で，Ｎフレーム（駒）の画像を表す画像データ，たとえば８フレーム分の画像データが連続して得られる（ステップ62）。得られた複数フレームの画像データはフレーム・メモリ51に一時的に記憶される。
【００３３】
以下の処理は，画像処理装置45において行われる，
【００３４】
はじめに，フレームメモリ51に記憶されたＮフレームの画像データのうち，最初の２フレーム分の画像データ（フレーム１とフレーム２），および最後の２フレーム分の画像データ（フレームＮ−１とフレームＮ）のそれぞれにおいて，差分（画素ごとの輝度データの差）が抽出（算出）され，２つのフレーム間差分画像データが生成される（ステップ63，64）。
【００３５】
図３を参照して，たとえば，右向きに移動している動体Ｍを含む被写体を撮像することによって８つのフレーム画像（フレーム１〜フレーム８）が得られた場合，フレーム１とフレーム２との差分抽出によってフレーム間差分画像ＳＦが得られ，かつフレーム７とフレーム８との差分抽出によってフレーム間差分画像ＳＬが得られる。
【００３６】
フレーム１とフレーム２から得られるフレーム間差分画像ＳＦには動体Ｍを表す画像領域が含まれている。ここで，動体Ｍが全体的にコントラスト差がない（低コントラスト）ものである場合，フレーム１とフレーム２から得られるフレーム間差分画像ＳＦは，次の四つの画像部分を含む。
【００３７】
第１の差異画像部分ＳＦ１：フレーム１にのみに存在する動体Ｍを表す画像部分である。
【００３８】
第２の差異画像部分ＳＦ２：フレーム２にのみ存在する動体Ｍを表す画像部分である。
【００３９】
差異非検出画像部分ＳＦ３：実際には動体Ｍが移動している画像部分であるが，動体Ｍが全体的にコントラスト差がないために差分を得ることができない画像部分である。
【００４０】
静止画像部分ＳＦ４：フレーム１にも，フレーム２にも，動体Ｍを表す画像部分が存在しない領域である。
【００４１】
フレーム１とフレーム２との差分を単に算出するだけでは，差異非検出画像部分ＳＦ３に差分が現れないので，動体Ｍの動き領域の正確な抽出に失敗するおそれがある。
【００４２】
フレーム７とフレーム８から得られるフレーム間差分画像ＳＬについても，上述と同様に，第１の差異画像部分ＳＬ１，第２の差異画像部分ＳＬ２，差異非検出画像部分ＳＬ３および静止画像部分ＳＬ４を含む。フレーム７とフレーム８との差分を単に算出しても，差異非検出画像部分ＳＬ３に差分が現れず，したがって動体Ｍの動き領域の正確な抽出に失敗するおそれがある。
【００４３】
そこで，フレーム１とフレーム２から得られるフレーム間差分画像ＳＦと，フレーム７とフレーム８から得られるフレーム間差分画像ＳＬが用いられて，その両方に包含される領域（以下，包含領域という）を求める処理が行われる（ステップ65）。
【００４４】
図４を参照して，包含領域を求めるための処理（ステップ65）を説明する。図４は上述した２つのフレーム間差分画像ＳＦおよびＳＬを重ね合わせた重ね合わせ画像である。重ね合わせ画像は,フレーム・メモリ51において２つのフレーム間差分画像ＳＦおよびＳＬを位置合わせした画像である。もちろん,２つのフレーム間差分画像ＳＦおよびＳＬを合成した画像を重ね合わせ画像として用いてもよい。
【００４５】
包含領域算出処理では，２つのフレーム間差分画像ＳＦ，ＳＬに含まれる差異画像部分ＳＦ１，ＳＦ２，ＳＬ１，ＳＬ２に囲まれている画像部分が，包含領域として扱われる。図４を参照して，たとえば，画素Ａを起点にして水平方向（左右方向），垂直方向（上下方向），斜め４５度方向（右上方向および左下方向），ならびに斜め１３５度方向（左上方向および右下方向）に向けてスキャン（検索）が行われる。画素Ａについては水平方向（左右方向），垂直方向（上下方向），２つの斜め方向のいずれについても，スキャンによって動体領域ＳＦ１，ＳＦ２，ＳＬ１，ＳＬ２を構成する画素が検出される（見つけられる）。画素Ａは差異画像部分ＳＦ１，ＳＦ２，ＳＬ１，ＳＬ２に囲まれているので，包含領域を構成する画素と判断される。
【００４６】
図４に示す画素Ｂを起点にして水平方向（左右方向），垂直方向（上下方向），２つの斜め方向に向けてスキャン（検索）が行われると，水平方向（左右方向），垂直方向（上下方向），２つの斜め方向のいずれのスキャンについても，動体領域ＳＦ１，ＳＦ２，ＳＬ１，ＳＬ２のいずれかを構成する画素が検出される（見つけられる）。画素Ｂも差異画像部分ＳＦ１，ＳＦ２，ＳＬ１，ＳＬ２に囲まれているので，包含領域を構成する画素と判断される。
【００４７】
他方，画素Ｃについては，水平方向（左右方向）のスキャンにおいて動体領域ＳＦ１，ＳＦ２，ＳＬ１，ＳＬ２を構成する画素は全く検出されない。下方向，右下方向，右上方向および左下方向のスキャンにおいて，動体領域ＳＦ１，ＳＦ２，ＳＬ１，ＳＬ２を構成する画素は全く検出されない。画素Ｃについては差異画像部分ＳＦ１，ＳＦ２，ＳＬ１，ＳＬ２に囲まれていない，すなわち包含領域に含まれない画素と判断される。
【００４８】
動体Ｍが直線的な動きをしている場合，包含領域を構成する画素（たとえば，画素Ａ，画素Ｂ）は，水平方向（左右方向），垂直方向（上下方向），２つの斜め方向のいずれかのスキャンにおいて，動体領域ＳＦ１，ＳＦ２，ＳＬ１，ＳＬ２を構成する画素が検出される。他方，包含領域を構成しない画素は，水平方向（左右方向），垂直方向（上下方向），２つの斜め方向のいずれかのスキャンにおいて，動体領域ＳＦ１，ＳＦ２，ＳＬ１，ＳＬ２を構成する画素が検出されず，検出される方向があってもその反対方向のスキャンにおいて動体領域ＳＦ１，ＳＦ２，ＳＬ１，ＳＬ２を構成する画素が検出されない。たとえば，上述のように画素Ｃは水平方向（左右方向）のスキャンにおいて動体領域ＳＦ１，ＳＦ２，ＳＬ１，ＳＬ２を構成する画素が検出されず，また，上方向のスキャンにおいて動体領域ＳＬ２の画素が検出されるが，その反対方向（下方向）のスキャンにおいて動体領域ＳＦ１，ＳＦ２，ＳＬ１，ＳＬ２を構成する画素が検出されない。重ね合わせ画像を構成する画素のそれぞれについて上記のスキャンを行うことによって，各画素が包含領域を構成する画素であるかどうかを判断することができる。
【００４９】
図４に示す画素Ａは，フレーム間差分画像ＳＦおよびＳＬの両方において，実際には動体Ｍが移動している領域であるが，動体Ｍが全体的にコントラスト差がないために差分を得ることができない領域を構成する画素である。この領域（図３においてＨで示す）も，包含領域を構成する画素として扱われることになる。画素Ａが位置する領域Ｈは動体Ｍのエッジが全く通過していない領域であり，一般的な差分処理では差分画像として抽出されず，したがって動体が存在しない（静止領域）と判定されてしまう。しかしながら，上述のようにして包含領域を求めることによって，動体Ｍのエッジが全く通過していない領域Ｈも動体領域として扱うことができ，動体領域を正確に検出することができる。
【００５０】
包含領域の位置（画素位置）を特定するデータが，動体領域を表すデータとして出力される（ステップ66）。これにより，差異画像部分ＳＦ１，ＳＦ２，ＳＬ１，ＳＬ２を構成する画素のみならず，差異画像部分ＳＦ１，ＳＦ２，ＳＬ１，ＳＬ２に包含された画素（図４の画素Ａ，画素Ｂ）も，動体領域を表すデータに含ませられる。
【００５１】
撮像によって得られたフレーム画像上において，たとえば，上記動体領域を表すデータによって特定される領域に枠を表示することによって，動体領域の位置を分かりやすく示すことができる。枠で囲まれた領域の画像データのみを記録（保存）すれば記憶装置の有効利用を図ることができる。防犯システム等において記憶装置を長期間にわたって使用することができるようになる。
【００５２】
図５は第２実施例の動体領域検出処理についてのディジタル・スチル・カメラの処理手順を示すフローチャートで，動体Ｍがディジタル・スチル・カメラに近づく方向に動いているときの処理を示している。図６は図５に示す動体領域検出処理を具体的な画像によって説明するものである。図５に示すフローチャートにおいて図２のフローチャートと同一処理には同一符号を付し，詳細な重複説明を省略する。
【００５３】
動体Ｍがディジタル・スチル・カメラの方向に近づいている場合も，最初の２フレーム分の画像データ（フレーム１とフレーム２），および最後の２フレーム分の画像データ（フレームＮ−１とフレームＮ）のそれぞれにおいて，差分（画素ごとの輝度データの差）が算出され，２つの差分画像データが生成される（ステップ63，64）。図６には，ディジタル・スチル・カメラに向かって近づく方向に移動している動体Ｍを含む被写体を撮像することによって５つのフレーム画像（フレーム１〜フレーム５）が得られた場合の画像例が示されている。フレーム１とフレーム２からフレーム間差分画像ＳＦが得られ，かつフレーム４とフレーム５からフレーム間差分画像ＳＬが得られる。
【００５４】
フレーム１とフレーム２から得られるフレーム間差分画像ＳＦと，フレーム４とフレーム５から得られるフレーム間差分画像ＳＬとが用いられて，一方のフレーム間差分画像中の差異画像部分が，他方のフレーム間差分画像中の差異画像部分に包含（内包）されている領域を求める処理が行われる（図５のステップ67）。
【００５５】
図７を参照して，第２実施例の包含領域算出処理（ステップ67）を説明する。図６に示す２つのフレーム間差分画像ＳＦおよびＳＬを重ね合わせた重ね合わせ画像である。フレーム間差分画像ＳＦにおける差異画像部分ＳＦ１の重心ｇ１から水平方向に伸ばした直線と差異画像部分ＳＦ１の境界の交点Ｌ１，Ｒ１の座標が求められ，かつフレーム間差分画像ＳＬにおける差異画像部分ＳＬ１の重心ｇ２から水平方向に伸ばした直線と差異画像部分ＳＬ１の境界の交点Ｌ２，Ｒ２の座標が求められる。Ｌ１座標およびＲ１座標が，Ｌ２座標およびＲ２座標よりも内側領域の座標を表すものであれば，動体Ｍは近づく方向に移動しておりかつフレーム間差分画像ＳＦにおける差異画像部分ＳＦ１がフレーム差分画像ＳＬにおける差異画像部分ＳＬ１に包含（内包）されていると判断される。差異画像部分ＳＦ１によって包囲されている領域Ｈ（図６参照）は，動体Ｍのエッジが全く通過していない領域であり，一般的な差分処理では差分画像として抽出されず，したがって動体が存在しない（静止画像部分）と判定されてしまうが，この領域Ｈも包含領域と判断することができる。Ｌ２座標およびＲ２座標が，Ｌ１座標およびＲ１座標よりも内側領域の座標を表すものであれば，動体Ｍは遠ざかる方向に移動しており，フレーム間差分画像ＳＬにおける差異画像部分ＳＬ１がフレーム差分画像ＳＦにおける差異画像部分ＳＦ１に内包されていると判断される。
【００５６】
２つの動体領域ＳＦ１，ＳＬ１の重心ｇ１，ｇ２から水平方向に伸ばした直線ではなく，垂直方向に伸ばした直線を用いて，差異画像部分ＳＦ１，ＳＬ１の境界との交点座標を求めてもよい。動体Ｍがディジタル・スチル・カメラに近づく方向，または遠ざかる方向に動くものであることはあらかじめ分かっている場合には，２つの差異画像部分ＳＦ１，ＳＬ１の面積を単純に比較して，包含（内包）関係を判断してもよい。
【００５７】
図８は撮影モードにおいて行われる第３実施例の動体領域検出処理についてのディジタル・スチル・カメラの処理手順を示すフローチャートである。図９（Ａ）〜（Ｃ）は図８に示す動体領域検出処理におけるステップ69（動体が直線的な動きであるかどうかの判断）を具体的な画像によって説明するものである。図８に示すフローチャートにおいて図２のフローチャートと同一処理には同一符号を付し，詳細な重複説明を省略する。
【００５８】
動体Ｍが直線的な動きをするものであれば，図２に示す第１実施例の動体領域検出処理によって正確に動体領域を検出することができる。しかしながら，図９（Ａ）に示すように（図９（Ａ）ではフレーム画像１〜６が重ね合わされて示されている），動体Ｍが直線的な動きをしていず，一旦ある方向に動いて再び元の場所に戻ってくるような動きである場合，包含領域の検出が不正確になるおそれがある。図８に示す動体領域検出処理では，動体が直線的な動きであるかどうかが判断され，直線的な動きであると判断された場合には第１実施例（図２）の動体領域検出処理によって最初の２つのフレーム，および最後の２つのフレームを用いて動体領域を検出し，直線的な動きでないと判断された場合はすべてのフレーム画像のＯＲ（論理和）領域を取ることによって動体領域を検出する。
【００５９】
動体が直線的な動きをしているかどうかの判断（ステップ69）を，図９（Ａ）〜（Ｃ）を参照して説明する。
【００６０】
最初の２フレームを用いてフレーム間差分画像ＳＦを得，さらに最後の２フレームを用いてフレーム間差分画像ＳＬを得るのは上述した第１実施例と同じである（ステップ63，64）。図９（Ａ）〜（Ｃ）では６つのフレーム１〜６がフレームメモリ51記憶され，フレーム１および２を用いてフレーム間差分画像ＳＦが得られ，フレーム５およびフレーム６が用いられてフレーム間差分画像ＳＬが得られている。
【００６１】
上述したように，フレーム間差分画像ＳＦは，フレーム１にのみ動体Ｍを表す画像部分が存在する第１の差異画像部分ＳＦ１と，フレーム２にのみに動体Ｍを表す画像部分が存在する第２の差異画像部分ＳＦ２を含む。この第１の差異画像部分ＳＦ１および第２の差異画像部分ＳＦ２のそれぞれの重心Ｐ１，Ｐ２が算出され，重心Ｐ１から重心Ｐ２に向かうベクトル81が把握される（図９（Ｂ））。ベクトル81の向きは，先に撮像されて得られたフレーム１における重心Ｐ１から後に撮像されて得られたフレーム２における重心Ｐ２に向かう向きとされる。
【００６２】
同様にして，フレーム５およびフレーム６を用いて得られるフレーム間差分画像ＳＬについても，第１の差異画像部分ＳＬ１および第２の差異画像部分ＳＬ２の重心Ｑ５，Ｑ６がそれぞれ算出され，Ｑ５からＱ６に向かうベクトル82が把握される（図９（Ｃ））。ベクトル向きは先に撮像されて得られたフレーム５における重心Ｑ５から，後に撮像されて得られたフレーム６おける重心Ｑ６に向かう向きとされる。
【００６３】
フレーム１およびフレーム２から得られたベクトル81と，フレーム５およびフレーム６から得られたベクトル82のなす角度θが所定の閾値θｔｈを超えている場合，動体Ｍは直線的な動きをしていないと判断される（ステップ69でNO）。この場合には，すべてのフレーム１〜６のＯＲ（論理和）演算を行うことによって動体領域が検出される（ステップ70）。ＯＲ演算によって得られる差異画像に囲まれる領域（包含領域）があれば，その包含領域も動体領域とされるのは第１実施例（図２）と同じである。
【００６４】
フレーム１およびフレーム２から得られたベクトル81と，フレーム５およびフレーム６から得られたベクトル82のなす角度θが所定の閾値θｔｈ以下である場合に，動体Ｍの動きは直線的な動きとして扱われる（ステップ69でYES ）。この場合には第１実施例と同じ処理になる。
【符号の説明】
【００６５】
５  ＣＣＤ
27  レリーズボタン
45  画像処理装置
51  フレームメモリ
【図１】
2011199765.tif 000003
【図２】
2011199765.tif 000004
【図３】
2011199765.tif 000005
【図４】
2011199765.tif 000006
【図５】
2011199765.tif 000007
【図６】
2011199765.tif 000008
【図７】
2011199765.tif 000009
【図８】
2011199765.tif 000010
【図９】
2011199765.tif 000011