(57)【特許請求の範囲】
【請求項１】
連続的に撮像された画像を取得する画像取得手段と、
前記画像取得手段が取得した画像のうちの撮影時刻の異なる２枚の画像に基づいて被写体の動きの大きさ及び方向を表わす動きベクトルを算出する動きベクトル算出手段と、
前記動きベクトル算出手段により算出した動きベクトルに基づいて動体の有無を検出する第１の動体検出手段と、
前記画像取得手段が取得した画像のうちの撮影時刻の異なる２枚の画像の差分画像を生成する差分画像生成手段と、
前記差分画像生成手段により生成した差分画像に基づいて動体の有無を検出する第２の動体検出手段と、
前記第１の動体検出手段による検出結果と第２の動体検出手段による検出結果とを統合する統合手段であって、少なくとも前記第１の動体検出手段により動体が検出されず、前記第２の動体検出手段により動体が検出された場合には、動体が検出されたと判別する統合手段と、
を備えた動体検出装置。
【請求項２】
前記動きベクトル算出手段は、速い動体により前記２枚の画像に被写体ブレが発生する場合には前記速い動体に対する動きベクトルの算出が不能となり、
前記第１の動体検出手段は、前記動きベクトル算出手段による動きベクトルの算出の不能時には、動体がないと判別する請求項１に記載の動体検出装置。
【請求項３】
前記第１の動体検出手段は、第１の時間間隔で動体の有無を連続的に検出し、
前記第２の動体検出手段は、前記第１の時間間隔よりも短い第２の時間間隔で動体の有無を連続的に検出し、
前記統合手段は、前記第１の動体検出手段による最新の検出結果と第２の動体検出手段による最新の検出結果とを統合する請求項１又は２に記載の動体検出装置。
【請求項４】
前記差分画像生成手段は、前記２枚の画像をそれぞれ縮小した縮小画像間の差分画像を生成する請求項１から３のいずれか１項に記載の動体検出装置。
【請求項５】
前記動きベクトル算出手段は、前記撮影時刻の異なる２枚の画像のうちの一方の画像から複数の特徴点を抽出する特徴点抽出手段と、前記一方の画像の複数の特徴点にそれぞれに対応する前記２枚の画像のうちの他方の画像上の複数の対応点を検出する対応点検出手段と、を有し、前記一方の画像の複数の特徴点と該複数の特徴点に対応する他方の画像の対応点とを結ぶ動きベクトルを算出する請求項１から４のいずれか１項に記載の動体検出装置。
【請求項６】
前記統合手段は、前記第１の動体検出手段により動体が検出され、前記第２の動体検出手段により動体が検出されない場合には、動体が検出されたと判別する請求項１から５のいずれか１項に記載の動体検出装置。
【請求項７】
前記統合手段が動体が検出されたと判別した場合、前記動体を追尾して前記画像取得手段の焦点調節動作を行うＡＦ制御部を備える請求項１から６のいずれか１項に記載の動体検出装置。
【請求項８】
前記統合手段が動体が検出されたと判別した場合、前記動体検出装置をパンおよび／またはチルトさせて前記動体を追尾する追尾部を備える請求項１から６のいずれか１項に記載の動体検出装置。
【請求項９】
前記統合手段が動体が検出されたと判別した場合、前記動体に基づいて撮影シーンを認識する撮影シーン認識部を備える請求項１から６のいずれか１項に記載の動体検出装置。
【請求項１０】
動体検出装置が、
連続的に撮像された画像を取得する画像取得工程と、
前記取得した画像のうちの撮影時刻の異なる２枚の画像に基づいて被写体の動きの大きさ及び方向を表わす動きベクトルを算出する動きベクトル算出工程と、
前記算出した動きベクトルに基づいて動体の有無を検出する第１の動体検出工程と、
前記取得した画像のうちの撮影時刻の異なる２枚の画像の差分画像を生成する差分画像生成工程と、
前記生成した差分画像に基づいて動体の有無を検出する第２の動体検出工程と、
前記第１の動体検出工程による検出結果と第２の動体検出工程による検出結果とを統合する統合工程であって、少なくとも前記第１の動体検出工程により動体が検出されず、前記第２の動体検出工程により動体が検出された場合には、動体が検出されたと判別する統合工程と、
を実行する動体検出方法。
【請求項１１】
前記動きベクトル算出工程は、速い動体により前記２枚の画像に被写体ブレが発生する場合には前記速い動体に対する動きベクトルの算出が不能となり、
前記第１の動体検出工程は、前記動きベクトル算出工程による動きベクトルの算出の不能時には、動体がないと判別する請求項１０に記載の動体検出方法。
【請求項１２】
前記第１の動体検出工程は、第１の時間間隔で動体の有無を連続的に検出し、
前記第２の動体検出工程は、前記第１の動体検出工程による動体検出と並行して、前記第１の時間間隔よりも短い第２の時間間隔で動体の有無を連続的に検出し、
前記統合工程は、前記第１の動体検出工程による最新の検出結果と第２の動体検出工程による最新の検出結果とを統合する請求項１０又は１１に記載の動体検出方法。
【請求項１３】
前記差分画像生成工程は、前記２枚の画像をそれぞれ縮小し、その縮小した縮小画像間の差分画像を生成する請求項１０から１２のいずれか１項に記載の動体検出方法。
【請求項１４】
前記動きベクトル算出工程は、前記撮影時刻の異なる２枚の画像のうちの一方の画像から複数の特徴点を抽出し、前記一方の画像の複数の特徴点にそれぞれに対応する前記２枚の画像のうちの他方の画像上の複数の対応点を検出し、前記一方の画像の複数の特徴点と該複数の特徴点に対応する他方の画像の対応点とを結ぶ動きベクトルを算出する請求項１０から１３のいずれか１項に記載の動体検出方法。
【請求項１５】
前記統合工程は、前記第１の動体検出工程により動体が検出され、前記第２の動体検出工程により動体が検出されない場合には、動体が検出されたと判別する請求項１０から１４のいずれか１項に記載の動体検出方法。
【請求項１６】
前記統合工程が動体が検出されたと判別した場合、前記動体を追尾して前記画像取得工程の焦点調節動作を行うＡＦ制御工程を実行する請求項１０から１５のいずれか１項に記載の動体検出方法。
【請求項１７】
前記統合工程が動体が検出されたと判別した場合、前記動体検出装置をパンおよび／またはチルトさせて前記動体を追尾する追尾工程を実行する請求項１０から１５のいずれか１項に記載の動体検出方法。
【請求項１８】
前記統合工程が動体が検出されたと判別した場合、前記動体に基づいて撮影シーンを認識する撮影シーン認識工程を実行する請求項１０から１５のいずれか１項に記載の動体検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動体検出装置及び方法に係り、特に連続的に撮影されるフレーム画像から動体を検出する技術に関する。
【背景技術】
【０００２】
従来、ビデオカメラで得られた撮像信号から手振れベクトルを検出し、手振れベクトルとは区別可能な被写体の動きを表す画像動きベクトルを検出し、これにより動体検出を行うようにした画像動きベクトル検出装置が提案されている（特許文献１）。【０００３】
また、テレビカメラで撮ったフレーム画像からフレーム間差分を求め、そのフレーム間差分により移動体を検知する移動体監視装置が提案されている（特許文献２）。特に、この移動体監視装置は、限られた範囲内の周期運動をする木の枝の揺れのような監視不要な移動体の画像を検出除去し、更に残った画像について画面位置等の大きさ等からそれが、人、車両等の監視対象の移動体であるかどうかの判定を行うことを特徴としている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平６−２１７１８８号公報
【特許文献２】特開平５−１８３９０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の発明は、動きベクトルに基づいて動体を検出するため、速い動体の場合には、被写体ブレにより画像中の動体を検出することができず、その結果、動きベクトル（動体）を検出することができないという問題がある。即ち、被写体のスピードが速い場合は、被写体ブレが起きるため、動きベクトルの起点、終点となる特徴点及び対応点を抽出することができない（動きベクトルを検出することができない）。また、動きベクトルの算出は計算コストが高く、検出のリアルタイム性と緻密さの両立が難しい。【０００６】
一方、特許文献２に記載の発明は、フレーム間差分により動体を検出するため、固定カメラの場合には良好に動体を検出することができるが、非固定カメラでは画像の位置合わせ処理を併用しないと、カメラの動きと動体の動きを判別することができず、また、動きベクトルによる動体の検出精度（検出の緻密さ）に比べて検出精度が低いという問題がある。【０００７】
本発明はこのような事情に鑑みてなされたもので、遅い動体の検出精度を保持したまま、速い動体であっても動体を検出することができる動体検出装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
この目的を達成するために本発明の一の態様に係る動体検出装置は、連続的に撮像された画像を取得する画像取得手段と、画像取得手段が取得した画像のうちの撮影時刻の異なる２枚の画像に基づいて被写体の動きの大きさ及び方向を表わす動きベクトルを算出する動きベクトル算出手段と、動きベクトル算出手段により算出した動きベクトルに基づいて動体の有無を検出する第１の動体検出手段と、画像取得手段が取得した画像のうちの撮影時刻の異なる２枚の画像の差分画像を生成する差分画像生成手段と、差分画像生成手段により生成した差分画像に基づいて動体の有無を検出する第２の動体検出手段と、第１の動体検出手段による検出結果と第２の動体検出手段による検出結果とを統合する統合手段であって、少なくとも第１の動体検出手段により動体が検出されず、第２の動体検出手段により動体が検出された場合には、動体が検出されたと判別する統合手段と、を備えている。【０００９】
本発明の一の態様に係る動体検出装置によれば、動きベクトルによる動体検出と、フレーム間の差分画像による動体検出とを併用し、これらの検出結果を統合して動体検出するようにしたため、遅い動体の検出精度を保持したまま、動きベクトルでは動体検出することができない速い動体も検出することができる。【００１０】
本発明の他の態様に係る動体検出装置において、動きベクトル算出手段は、速い動体により２枚の画像に被写体ブレが発生する場合には速い動体に対する動きベクトルの算出が不能となり、第１の動体検出手段は、動きベクトル算出手段による動きベクトルの算出が不能時には、動体がないと判別するようにしている。【００１１】
本発明の更に他の態様に係る動体検出装置において、第１の動体検出手段は、第１の時間間隔で動体の有無を連続的に検出し、第２の動体検出手段は、第１の時間間隔よりも短い第２の時間間隔で動体の有無を連続的に検出し、統合手段は、第１の動体検出手段による最新の検出結果と第２の動体検出手段による最新の検出結果とを統合することが好ましい。【００１２】
即ち、第１の動体検出手段と第２の動体検出手段とにより並行して動体検出を行う。このとき、第１の動体検出手段が動体検出する第１の時間間隔は、第２の動体検出手段が動体検出する第２の時間間隔よりも長く設定されている。これは、動きベクトル算出手段による処理データ量が差分画像生成手段による処理データ量よりも多く、動きベクトルの算出に多くの時間を要するからである。そして、統合手段は、第１の動体検出手段による最新の検出結果と第２の動体検出手段による最新の検出結果とを統合する。リアルタイム性が求められる被写体は速い動体であるが、第２の動体検出手段による動体検出の第２の時間間隔を短くしてリアルタイム性を確保できるようにする。【００１３】
本発明の更に他の態様に係る動体検出装置において、差分画像生成手段は、２枚の画像をそれぞれ縮小した縮小画像間の差分画像を生成することが好ましい。これにより、差分画像を生成する処理時間の短縮化を図ることができ、速い動体に対しての応答性を高めることができる。【００１４】
本発明の更に他の態様に係る動体検出装置において、動きベクトル算出手段は、撮影時刻の異なる２枚の画像のうちの一方の画像から複数の特徴点を抽出する特徴点抽出手段と、一方の画像の複数の特徴点にそれぞれに対応する２枚の画像のうちの他方の画像上の複数の対応点を検出する対応点検出手段と、を有し、一方の画像の複数の特徴点と該複数の特徴点に対応する他方の画像の対応点とを結ぶ動きベクトルを算出するようにしている。これにより、動体（動体の領域及び動きベクトル）を精度よく検出することができる。【００１５】
本発明の更に他の態様に係る動体検出装置において、統合手段は、第１の動体検出手段により動体が検出され、第２の動体検出手段により動体が検出されない場合には、動体が検出されたと判別するようにしている。第２の動体検出手段によるフレーム間の差分画像では、遅い動体を検出することができない場合があるが、第１の動体検出手段は、遅い動体を精度よく検出することがきるからである。【００１６】
本発明の更に他の態様に係る動体検出装置は、統合手段が動体が検出されたと判別した場合、動体を追尾して画像取得手段の焦点調節動作を行うＡＦ制御部を備えてもよい。【００１７】
本発明の更に他の態様に係る動体検出装置は、統合手段が動体が検出されたと判別した場合、動体検出装置をパンおよび／またはチルトさせて動体を追尾する追尾部を備えてもよい。【００１８】
本発明の更に他の態様に係る動体検出装置は、統合手段が動体が検出されたと判別した場合、動体に基づいて撮影シーンを認識する撮影シーン認識部を備えてもよい。【００１９】
本発明の更に他の態様に係る動体検出装置は、連続的に撮像された画像を取得する画像取得手段と、画像取得手段が取得した画像のうちの撮影時刻の異なる２枚の画像の差分画像を生成する差分画像生成手段と、差分画像生成手段により生成した差分画像に基づいて動体候補領域を抽出する動体候補領域抽出手段と、画像取得手段が取得した画像のうちの撮影時刻の異なる２枚の画像に基づいて被写体の動きの大きさ及び方向を表わす動きベクトルを算出する動きベクトル算出手段と、撮影時刻の異なる２枚の画像がパニングにより取得されたものか否かを判定するパニング判定手段と、動きベクトル算出手段により算出された動きベクトル及びパニング判定手段によるパニング判定結果に基づいて動体候補領域抽出手段により抽出された動体候補領域が動体領域か否かを判定する動体領域判定手段と、を備えている。
【００２０】
時系列の画像がパニング時に取得されたものか、又は非パニング時に取得されたものかを判別するようにしたため、非パニング時に動体候補領域が抽出された場合には、その動体候補領域は動体領域と判別することができる。尚、フレーム間の差分画像により動体候補領域を抽出するため、速い動体であっても動体候補領域として抽出することができ、また、遅い動体の場合には動きベクトルの算出により精度よく動体を検出することができる。【００２１】
本発明の更に他の態様に係る動体検出装置において、動体領域判定手段は、パニング判定手段によりパニングと判定された場合において、動体候補領域に動きベクトルが存在しない場合には、該動体候補領域を動体領域と判定し、動体候補領域に動きベクトルが存在し、かつ周囲の動きベクトルとの相関が低い場合には、該動体候補領域を動体領域と判定し、動体候補領域に動きベクトルが存在し、かつ周囲の動きベクトルとの相関が高い場合には、該動体候補領域を動体領域と判定しないようにしている。【００２２】
時系列の画像がパニング時に取得されたものである場合、フレーム間の差分画像により抽出された動体候補領域には、パニングのみに起因したものと、パニングと動体の動きとが複合したものとが含まれるため、両者を判別する必要がある。そして、ある動体候補領域の判別に際し、その動体領域候補に対して動きベクトルが存在しない場合（動きベクトルが算出されない場合）には、速い動体のために動きベクトルを算出することができなかったと見なし、その動体領域候補を動体領域と判別するようにしている。また、動体候補領域に動きベクトルが存在し、かつ周囲の動きベクトルとの相関が低い場合には、その動体候補領域を動体領域と判定するようにしている。一方、動体候補領域に動きベクトルが存在し、かつ周囲の動きベクトルとの相関が高い場合には、その動体候補領域はパニングにより動体候補領域として抽出されたものと見なし、動体領域と判定しないようにしている。これにより、パニング時であっても動体領域を特定することができる。【００２３】
本発明の更に他の態様に係る動体検出装置において、動体領域判定手段は、パニング判定手段によりパニングなしと判定された場合には、動体候補領域を動体領域と判定するようにしている。【００２４】
本発明の更に他の態様に係る動体検出装置において、パニング判定手段は、動きベクトル算出手段により算出された動きベクトルに基づいてパニング判定することが好ましい。別途、パニングを検出するためのセンサ等を使用する必要がないからである。【００２５】
本発明の更に他の態様に係る動体検出装置において、パニング判定手段は、動きベクトル算出手段により算出された動きベクトルの長さが一定以下となる動きベクトルの割合又は個数が、予め設定された割合又は個数よりも少ない場合にはパニングありと判定し、予め設定された割合又は個数よりも多い場合にはパニングなしと判定することができる。非パニング時には、動体以外の部分の動きベクトルの長さは一定以下になるため、動きベクトルの長さが一定以下となる動きベクトルの割合又は個数により非パニング又はパニングを判別することができる。【００２６】
本発明の更に他の態様に係る動体検出装置は、動体領域判定手段が動体候補領域を動体領域と判定した場合、動体領域を追尾して画像取得手段の焦点調節動作を行うＡＦ制御部を備えてもよい。【００２７】
本発明の更に他の態様に係る動体検出装置は、動体領域判定手段が動体候補領域を動体領域と判定した場合、動体検出装置をパンおよび／またはチルトさせて動体領域を追尾する追尾部を備えてもよい。【００２８】
本発明の更に他の態様に係る動体検出装置は、動体領域判定手段が動体候補領域を動体領域と判定した場合、動体領域に基づいて撮影シーンを認識する撮影シーン認識部を備えてもよい。【００２９】
本発明の更に他の態様に係る動体検出方法は、動体検出装置が、連続的に撮像された画像を取得する画像取得工程と、取得した画像のうちの撮影時刻の異なる２枚の画像に基づいて被写体の動きの大きさ及び方向を表わす動きベクトルを算出する動きベクトル算出工程と、算出した動きベクトルに基づいて動体の有無を検出する第１の動体検出工程と、取得した画像のうちの撮影時刻の異なる２枚の画像の差分画像を生成する差分画像生成工程と、生成した差分画像に基づいて動体の有無を検出する第２の動体検出工程と、第１の動体検出工程による検出結果と第２の動体検出工程による検出結果とを統合する統合工程であって、少なくとも第１の動体検出工程により動体が検出されず、第２の動体検出工程により動体が検出された場合には、動体が検出されたと判別する統合工程と、を実行する。【００３０】
本発明の更に他の態様に係る動体検出方法において、動きベクトル算出工程は、速い動体により２枚の画像に被写体ブレが発生する場合には速い動体に対する動きベクトルの算出が不能となり、第１の動体検出工程は、動きベクトル算出工程による動きベクトルの算出が不能時には、動体がないと判別するようにしている。
【００３１】
本発明の更に他の態様に係る動体検出方法において、第１の動体検出工程は、第１の時間間隔で動体の有無を連続的に検出し、第２の動体検出工程は、第１の動体検出工程による動体検出と並行して、第１の時間間隔よりも短い第２の時間間隔で動体の有無を連続的に検出し、統合工程は、第１の動体検出工程による最新の検出結果と第２の動体検出工程による最新の検出結果とを統合することが好ましい。【００３２】
本発明の更に他の態様に係る動体検出方法において、差分画像生成工程は、２枚の画像をそれぞれ縮小し、その縮小した縮小画像間の差分画像を生成することが好ましい。【００３３】
本発明の更に他の態様に係る動体検出方法において、動きベクトル算出工程は、撮影時刻の異なる２枚の画像のうちの一方の画像から複数の特徴点を抽出し、一方の画像の複数の特徴点にそれぞれに対応する２枚の画像のうちの他方の画像上の複数の対応点を検出し、一方の画像の複数の特徴点と該複数の特徴点に対応する他方の画像の対応点とを結ぶ動きベクトルを算出するようにしている。【００３４】
本発明の更に他の態様に係る動体検出方法において、統合工程は、第１の動体検出工程により動体が検出され、第２の動体検出工程により動体が検出されない場合には、動体が検出されたと判別するようにしている。【００３５】
本発明の更に他の態様に係る動体検出方法は、統合工程が動体が検出されたと判別した場合、動体を追尾して画像取得工程の焦点調節動作を行うＡＦ制御工程を実行してもよい。【００３６】
本発明の更に他の態様に係る動体検出方法は、統合工程が動体が検出されたと判別した場合、動体検出装置をパンおよび／またはチルトさせて動体を追尾する追尾工程を実行してもよい。【００３７】
本発明の更に他の態様に係る動体検出方法は、統合工程が動体が検出されたと判別した場合、動体に基づいて撮影シーンを認識する撮影シーン認識工程を実行してもよい。【００３８】
本発明の更に他の態様に係る動体検出方法は、動体検出装置が、連続的に撮像された画像を取得する画像取得工程と、取得した画像のうちの撮影時刻の異なる２枚の画像の差分画像を生成する差分画像生成工程と、生成した差分画像に基づいて動体候補領域を抽出する動体候補領域抽出工程と、取得した画像のうちの撮影時刻の異なる２枚の画像に基づいて被写体の動きの大きさ及び方向を表わす動きベクトルを算出する動きベクトル算出工程と、撮影時刻の異なる２枚の画像がパニングにより取得されたものか否かを判定するパニング判定工程と、動きベクトル算出工程により算出された動きベクトル及びパニング判定工程によるパニング判定結果に基づいて動体候補領域抽出工程により抽出された動体候補領域が動体領域か否かを判定する判定する動体領域判定工程と、を実行する。【００３９】
本発明の更に他の態様に係る動体検出方法において、動体領域判定工程は、パニング判定工程によりパニングと判定された場合において、動体候補領域に動きベクトルが存在しない場合には、該動体候補領域を動体領域と判定し、動体候補領域に動きベクトルが存在し、かつ周囲の動きベクトルとの相関が低い場合には、該動体候補領域を動体領域と判定し、動体候補領域に動きベクトルが存在し、かつ周囲の動きベクトルとの相関が高い場合には、該動体候補領域を動体領域と判定しないようにしている。【００４０】
本発明の更に他の態様に係る動体検出方法において、動体領域判定工程は、パニング判定工程によりパニングなしと判定された場合には、動体候補領域を動体領域と判定するようにしている。【００４１】
本発明の更に他の態様に係る動体検出方法において、パニング判定工程は、動きベクトル算出工程により算出された動きベクトルに基づいてパニング判定することが好ましい。【００４２】
本発明の更に他の態様に係る動体検出方法において、パニング判定工程は、動きベクトル算出工程により算出された動きベクトルの長さが一定以下となる動きベクトルの割合又は個数が、予め設定された割合又は個数よりも少ない場合にはパニングありと判定し、予め設定された割合又は個数よりも多い場合にはパニングなしと判定するようにしている。【００４３】
本発明の更に他の態様に係る動体検出方法は、動体領域判定工程が動体候補領域を動体領域と判定した場合、動体領域を追尾して画像取得工程の焦点調節動作を行うＡＦ制御工程を実行してもよい。【００４４】
本発明の更に他の態様に係る動体検出方法は、動体領域判定工程が動体候補領域を動体領域と判定した場合、動体検出装置をパンおよび／またはチルトさせて動体領域を追尾する追尾工程を実行してもよい。【００４５】
本発明の更に他の態様に係る動体検出方法は、動体領域判定工程が動体候補領域を動体領域と判定した場合、動体領域に基づいて撮影シーンを認識する撮影シーン認識工程を実行してもよい。
【発明の効果】
【００４６】
本発明によれば、動きベクトルによる動体検出と、フレーム間の差分画像による動体検出とを併用し、これらの検出結果を統合して動体検出するようにしたため、遅い動体の検出精度を保持したまま、動きベクトルでは動体検出することができない速い動体も検出することができる。
【図面の簡単な説明】
【００４７】
【図１】本発明に係る動体検出装置が適用された撮像装置の実施の形態を示すブロック図
【図２】動体検出部の内部構成を示すブロック図
【図３】撮影時刻の異なる２枚の画像及びこれらの画像間の動きベクトルを示す図
【図４】撮影時刻の異なる２枚の画像及びこれらの画像間の差分画像を示す図
【図５】本発明に係る動体検出方法の第１の実施の形態を示すフローチャート
【図６】動きベクトルによる検出結果とフレーム間差分による検出結果とを統合した検出結果を示す図表
【図７】本発明に係る動体検出方法の第２の実施の形態を示すフローチャート
【図８】本発明に係る動体検出方法の第３の実施の形態を示すフローチャート
【図９】撮影時刻の異なる２枚の画像、これらの画像間の差分画像及び動きベクトルを示す図
【図１０】パニング判定方法の一例を説明するために用いた動きベクトルのヒストグラム
【発明を実施するための形態】
【００４８】
以下、添付図面に従って本発明に係る動体検出装置及び方法の実施の形態について説明する。
【００４９】
［撮像装置］
図１は本発明に係る動体検出装置が適用された撮像装置の実施の形態を示すブロック図である。
【００５０】
この撮像装置１０は、静止画や動画の撮影、記録が可能なデジタルカメラおよびその等価物（カメラ付き携帯電話機・スマートフォン、カメラ付きＰＣなど）であり、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。
【００５１】
撮像装置１０には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて撮像装置１０の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、本発明に係る動体検出制御、液晶モニタ３０の表示制御などを行う。
【００５２】
シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、オート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、マクロモード、動画モードなどを選択する選択手段である。
【００５３】
再生ボタンは、撮影記録した静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。
【００５４】
撮影モード時において、被写体を示す画像光は、撮影レンズ１２、絞り１４を介して撮像デバイス１６（ＣＭＯＳイメージセンサ又はＣＣＤイメージセンサ）の受光面に結像される。撮影レンズ１２は、ＣＰＵ４０によって制御されるレンズ駆動部３６によって駆動され、フォーカス制御、ズーム制御等が行われる。絞り１４は、例えば、５枚の絞り羽根からなり、ＣＰＵ４０によって制御される絞り駆動部３４によって駆動され、例えば、絞り値Ｆ1.4〜Ｆ11まで１ＡＶ刻みで７段階に絞り制御される。
【００５５】
また、ＣＰＵ４０は、絞り駆動部３４を介して絞り１４を制御するとともに、デバイス制御部３２を介して撮像デバイス１６での電荷蓄積時間（シャッタ速度）や、撮像デバイス１６からの画像信号の読み出し制御等を行う。
【００５６】
撮像デバイス１６に蓄積された信号電荷は、デバイス制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。撮像デバイス１６から読み出された電圧信号は、アナログ信号処理部１８に加えられ、ここで各画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、ＣＰＵ４０から指定されたゲイン（ＩＳＯ感度に相当）で増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。
【００５７】
デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、同時化処理、ＹＣ処理、シャープネス補正等の所定の信号処理を行う。
【００５８】
尚、図１において、４６は、カメラ制御プログラム、撮像デバイス１６の欠陥情報、画像処理等に使用する各種のパラメータやテーブル等が記憶されているＲＯＭ（ＥＥＰＲＯＭ）である。
【００５９】
デジタル信号処理部２４で処理された画像データがＶＲＡＭ５０に出力される。ＶＲＡＭ５０には、それぞれが１コマ分の画像を表す画像データを記憶するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の画像を表す画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域及びＢ領域のうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。ＶＲＡＭ５０から読み出された画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている液晶モニタ３０に出力され、これにより被写体像（ライブビュー画像）が液晶モニタ３０の表示画面上に表示される。
【００６０】
また、操作部３８のシャッタボタンの第１段階の押下（半押し）があると、撮像デバイス１６は、オートフォーカス（ＡＦ）動作及びＡＥ（自動露出）動作を開始させ、レンズ駆動部３６を介して撮影レンズ１２内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にＡ／Ｄ変換器２０から出力される画像データは、ＡＥ制御部４４に取り込まれる。
【００６１】
ＡＥ制御部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ制御部４４から入力する積算値より被写体の明るさ（撮影ＥＶ値）を算出し、この撮影ＥＶ値に基づいて絞り１４の絞り値及び撮像デバイス１６の電子シャッタ（シャッタ速度）を所定のプログラム線図に従って決定する。
【００６２】
ＣＰＵ４０は、プログラム線図に従って決定した絞り値に基づいて絞り駆動部３４を介して絞り１４を制御するとともに、決定したシャッタ速度に基づいてデバイス制御部３２を介して撮像デバイス１６での電荷蓄積時間を制御する。
【００６３】
ＡＦ制御部４２は、コントラストＡＦ処理を行う部分であり、１画面の画像データのうちの所定のＡＦエリア内の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮影レンズ１２を制御することによりＡＦ制御が行われる。
【００６４】
ＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される画像データが画像入力コントローラ２２からメモリ(SDRAM) ４８に入力し、一時的に記憶される。
【００６５】
メモリ４８に一時的に記憶された画像データは、デジタル信号処理部２４により適宜読み出され、ここで、同時化処理（原色フィルタの配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理）、及びＹＣ処理（画像データの輝度データ及び色差データの生成処理）を含む所定の信号処理が行われ、ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶される。
【００６６】
メモリ４８に記憶されたＹＣデータは、圧縮伸張処理部２６に出力され、ここでJPEG (joint photographic experts group)などの所定の圧縮処理が実行されたのち、メディア・コントローラ５２を介してメモリカード５４に記録される。
【００６７】
［動体検出］
動体検出部４５は、所定のフレームレートで連続的に撮影される時系列の画像（動画）中から動体（動体領域）を検出するもので、例えば、動いている被写体を追尾してＡＦ動作を行う自動追尾ＡＦに適用される。即ち、動体検出部４５により検出された動体領域を示す情報がＡＦ制御部４２に加えられると、ＡＦ制御部４２は、その動体領域をＡＦエリアとしてＡＦ処理を行う。これにより、被写体にピントを合わせると、その後、被写体が移動しても自動で被写体を追尾し、被写体にピントを合わせ続けることができ、静止画の撮影時にはシャッターチャンスを逃さずに撮影することができ、動画の撮影時には動く被写体にピントが合った動画を撮影することができる。
【００６８】
図２は動体検出部４５の内部構成例を示すブロック図である。同図に示すように、動体検出部４５は、入出力部４５０、動きベクトル算出部４５２、差分画像生成部４５４、及び動体検出処理部４５６から構成されている。
【００６９】
入出力部４５０は、画像入力コントローラ２２を介してメモリ４８に格納された画像データの入力及び動体検出結果の出力等を行う部分である。動きベクトル算出部４５２は、入出力部４５０を介して所定のインターバルで画像データを取得し、撮影時刻の異なる２枚の画像データ（画像対）に基づいて被写体の動きの大きさ及び方向を表わす動きベクトルを算出する。
【００７０】
ここで、動きベクトルの算出方法について、図３を使用して説明する。
【００７１】
図３の（Ａ）部分及び（Ｂ）部分は、撮影時刻の異なる２枚の画像Ａ，Ｂの一例を示す。画像Ａは画像Ｂよりも撮影時刻が早く、また、これらの画像Ａ、Ｂは、動体（自動車）のみ左方向に移動している場合の画像である。
【００７２】
図３において、２枚の画像Ａ，Ｂのうちの撮影時刻の早い画像Ａを基準画像とし、この画像Ａ上の特徴点（図３の（Ａ）部分上で、白丸で示した点）を抽出する。特徴点は、画像Ａ内で一意に特定できる特徴のある点であり、他の画像Ｂとの間で同じ特徴を有する点（対応点）を特定できるものである。
【００７３】
続いて、画像Ｂから抽出された各特徴点にそれぞれ対応する対応点（図３の（Ｂ）部分上で、黒丸で示した点）を検出する。尚、特徴点の検出方法としては、例えばHarrisの手法等を用いることができ、対応点の検出方法としては、KLT法等を用いて特徴点追尾を行うことができる。
【００７４】
そして、図３の（Ｃ）部分に示すように上記特徴点と対応点の画像上の座標値に基づいて特徴点と対応点とを結ぶ動きベクトル（図３の（Ｃ）部分上の矢印）を算出する。
【００７５】
上記のようにして算出された動きベクトル、及び動きベクトルの起点、終点の座標値は、動体検出処理部４５６に出力される。
【００７６】
動体検出処理部４５６は、動きベクトル算出部４５２から入力する動きベクトル、及び動きベクトルの起点、終点の座標値に基づいて動きベクトルが等しい領域を抽出し、その領域を動体領域Ｃ（図３の（Ｃ）部分上の点線で示した領域ａ）として検出する。尚、動きベクトルを用いた動体の検出方法としては、特許文献１に記載の方法を使用してもよい。
【００７７】
また、差分画像生成部４５４は、入出力部４５０を介して所定のインターバルで画像データを取得し、撮影時刻の異なる２枚の画像データ（画像対）の差分を示す差分画像を生成する。
【００７８】
図４の（Ａ）部分及び（Ｂ）部分に示す２枚の画像Ａ，Ｂの差分画像を、図４の（Ｃ）部分に示す。尚、図４の（Ａ）部分及び（Ｂ）部分に示す２枚の画像Ａ，Ｂは、図３の（Ａ）部分及び（Ｂ）部分に示した２枚の画像Ａ，Ｂと同じである。
【００７９】
差分画像生成部４５４により生成された差分画像は、動体検出処理部４５６に出力される。動体検出処理部４５６は、差分画像生成部４５４から入力する差分画像の差分の大きい領域を動体領域ａ（又は動体候補領域）として検出する。図４の（Ｃ）部分上では、差分画像の差分の大きい領域（動体領域ａ）を斜線で示している。
【００８０】
動体検出処理部４５６は、上記のように動きベクトル算出部４５２により算出された動きベクトルと、差分画像生成部４５４により生成された差分画像とに基づいてそれぞれ動体領域を検出し、これらの検出結果を統合して入出力部４５０を介してＡＦ制御部４２に送出する。
【００８１】
また、動体検出処理部４５６は、動きベクトル算出部４５２により算出された動きベクトルによりパニングの判定を行い、その判定結果に基づいて動体領域の検出を行うようにしている。尚、上記２種類の動体検出の検出結果の統合方法、パニング判定方法等の詳細については、後述する。
【００８２】
［第１の実施の形態］
図５は本発明に係る動体検出方法の第１の実施の形態を示すフローチャートである。
【００８３】
まず、図２に示した動体検出部４５の入出力部４５０は、ライブビュー画像又は動画の撮影中に撮影時刻の異なる２枚の画像（画像対：隣接フレームが望ましい）を入力する（ステップＳ１０）。動きベクトル算出部４５２は、入力した２枚の画像上の複数の特徴点・対応点の検出に基づいて特徴点ごとに動きベクトルを算出する（ステップＳ１２）。動体検出処理部４５６は、算出された動きベクトルに基づいて動体（動体領域）を検出する（ステップＳ１４）。
【００８４】
一方、差分画像生成部４５４は、ステップＳ１０で入力した画像対から差分画像を生成し（ステップＳ１６）、動体検出処理部４５６は、生成されたフレーム間の差分画像により動体（動体領域）を検出する（ステップＳ１８）。
【００８５】
動体検出処理部４５６は、上記ステップＳ１４及びステップＳ１８にてそれぞれ検出された２種類の動体検出の検出結果を統合し、その統合結果をＡＦ制御部４２に出力する（ステップＳ２０）。
【００８６】
上記ステップＳ１０からステップＳ２０の処理は、ライブビュー画像又は動画の撮影動作中、繰り返し行われる。これにより、移動する動体に対しては、その動体の領域を示す情報が逐次ＡＦ制御部４２に出力され、ＡＦ制御部４２は、動体検出部４５から入力する動体領域をＡＦエリアとして使用することにより、動いている被写体を追尾してＡＦ動作を行う自動追尾ＡＦを行うことができる。
【００８７】
次に、ステップＳ２０における２種類の動体検出の検出結果の統合処理について説明する。
【００８８】
図６の図表に示すように、動きベクトルによる検出結果とフレーム間差分による検出結果の組み合わせにより統合後の検出結果を決定する。基本的には、正確な結果が得られる動きベクトルによる検出結果をそのまま用いる。尚、動きベクトルによる検出結果とフレーム間差分による検出結果が、共に「動体あり」の場合、動きベクトルによる検出結果を優先させる。これは、動きベクトルによる動体検出は、動体領域の特定や動き量等を、フレーム間差分による動体検出よりも正確に求めることができるからである。
【００８９】
また、動きベクトルによる検出結果が「動体なし」、フレーム間差分による検出結果が「動体あり」の場合には、統合結果を「動体あり」とする。これは、動きベクトルにより動体検出する場合には、速い動体の場合には被写体ブレにより特徴点等の抽出ができないため、動体検出することができず、「動体なし」と検出される可能性があるのに対し、フレーム間差分により動体検出する場合には、速い動体でも検出することができるからである。
【００９０】
一方、動きベクトルによる検出結果が「動体あり」、フレーム間差分による検出結果が「動体なし」の場合には、統合結果を「動体あり」とする。これは、遅い動体の場合、動きベクトルによる動体検出は、精度よく検出することができるのに対し、フレーム間差分による動体検出では、検出精度が低くなり、「動体なし」と検出される可能性があるからである。
【００９１】
上記第１の実施の形態によれば、遅い動体の検出精度を保持したまま、速い動体であっても動体を検出することができる利点がある。
【００９２】
また、第１の実施の形態は、何らかの方法で抽出した複数の動体候補領域のそれぞれにおいて、動体／非動体の判定を行う場合や、画面全体において動体の有無を判定する場合に利用することができる。
【００９３】
［第２の実施の形態］
図７は本発明に係る動体検出方法の第２の実施の形態を示すフローチャートである。尚、図５に示した第１の実施の形態と共通する部分には、同一のステップ番号を付し、その詳細な説明は省略する。
【００９４】
図７に示す第２の実施の形態は、第１の実施の形態と比較して、主として動きベクトルによる動体検出と、フレーム間差分による動体検出とを並行処理している点と、両者の動体検出の処理時間が異なり、動きベクトルによる１回の動体検出時間は、フレーム間差分による１回の動体検出時間よりも長い点である。
【００９５】
一般的に、動きベクトルの算出は計算コストが高く、検出のリアルタイム性と緻密さの両立が難しい。例えば、画面内の特徴点の数（密度）を増やしたり、入力画像の解像度を上げたりすることで、より正確な動体検出が可能となるが、処理データ量の増加は計算時間に直結し、リアルタイム性とのトレードオフとなる。動体の撮影を行う場合、リアルタイム性は重要であり、検出の応答が遅くなれば動体を画角内に捕らえられなくなる可能性がある。
【００９６】
第２の実施の形態は、第１の実施の形態とほぼ同じ処理であるが、動きベクトルによる動体検出とフレーム間差分による動体検出を時間的に並行に処理し、かつフレーム間差分による動体検出は、リアルタイム性を確保するために短い周期で行う。
【００９７】
即ち、図７において、ステップＳ１０’及びステップＳ１０”では、共に動体検出に使用する画像対を入力するが、ステップＳ１０”における画像対の入力周期は、ステップＳ１０’における画像対の入力周期よりも短くなっている。
【００９８】
従って、ステップＳ１０’で入力した画像対に基づいて検出した動きベクトルによる動体検出結果は、一時保存しておく（ステップＳ１５）。
【００９９】
一方、ステップＳ１０”で入力した画像対は、より処理時間の短縮化のために縮小画像にリサイズされ（ステップＳ１１）、その後、差分画像が生成される（ステップＳ１６）。
【０１００】
フレーム間差分による動体検出はもともと位置精度が低いため、縮小画像を用いても検出精度は大きく変わらない。一方、動きベクトルによる動体検出が対象とする遅い動体に対しては、ある程度検出の間隔が空いても対応可能であるため、検出精度を落とさずに計算を実施するようにしている。
【０１０１】
ステップＳ２０’では、ステップＳ１５で保存した動きベクトルによる動体検出結果と、ステップＳ１８におけるフレーム間差分による動体検出結果とを統合する。統合時には、２種類の検出結果の最新のものを用いる。尚、統合処理は、必ずしもフレーム間差分による動体検出の処理フローの中にある必要はない。
【０１０２】
上記第２の実施の形態によれば、遅い動体の計算精度を保ったまま、速い動体の検出応答性を高めることができる。
【０１０３】
［第３の実施の形態］
図８は本発明に係る動体検出方法の第３の実施の形態を示すフローチャートである。
【０１０４】
まず、ライブビュー画像又は動画の撮影中に、撮影時刻の異なる２枚の画像（画像対）を入力する（ステップＳ３０）。差分画像生成部４５４は、ステップＳ３０で入力した画像対から差分画像を生成し（ステップＳ３２）、動体検出処理部４５６は、生成されたフレーム間の差分画像により動体候補領域を抽出する（ステップＳ３４）。
【０１０５】
ここで、動体候補領域としたのは、固定カメラの場合は差分領域≒動体領域であるが、非固定カメラの場合はカメラの移動によっても差分が生じるため、差分領域は動体領域とは異なる可能性があり、パニングしている場合には、動体が存在していなくても差分領域が発生するからである。
【０１０６】
図９の（Ａ）部分及び（Ｂ）部分は、撮影時刻の異なる２枚の画像Ａ，Ｂの一例を示す。ここで、画像Ａは画像Ｂよりも撮影時刻が早く、また、これらの画像Ａ、Ｂは、撮像装置１０が右方向にパニングし、かつ動体（自動車）が右方向に移動している場合の画像である。
【０１０７】
図９の（Ａ）部分及び（Ｂ）部分に示す２枚の画像Ａ，Ｂの差分画像を、図９の（Ｃ）部分に示す。この画像Ａ，Ｂの差分画像に基づいて、図９の（Ｃ）部分に示す動体候補領域a1,a2,a3,a4,a5を抽出する。即ち、差分画像の差分が大きい領域であって、その領域の輪郭や輪郭内の色、明るさ等により、相関のある領域別に動体候補領域a1,a2,a3,a4,a5を抽出する。また、次のステップＳ３６で算出される動きベクトルの有無、大きさ、方向により複数の動体候補領域a1,a2,a3,a4,a5を区別するようにしてもよい。
【０１０８】
次に、動きベクトル算出部４５２は、入力した２枚の画像上の複数の特徴点・対応点の検出に基づいて特徴点ごとに動きベクトルを算出する（ステップＳ３６）。図９の（Ｄ）部分に各動体候補領域a1,a2,a3,a4,a5の動きベクトルを示す。
【０１０９】
続いて、画像対がパニング中に取得されたものか否かを判別（パニング判定）する（ステップＳ３８）。
【０１１０】
フレーム間差分による差分画像では使用する画像を低解像度にすることによって、手振れ程度のフレーム間差分による差分画像により手振れ程度の画像の動きは吸収できるが、パン・チルトのように大きくカメラを動かす場合には対応できない。そこで、動きベクトルによりパニング判定を行う。
【０１１１】
パニング判定は様々な方法が考えられるが、第３の実施の形態では、ステップＳ３６で検出した動きベクトルに基づいてパニング判定を行う。
【０１１２】
具体的には、ステップＳ３６で検出した動きベクトルに基づいて、動きベクトルの長さに応じた動きベクトルのヒストグラムを作成する。
【０１１３】
図１０の（Ａ）部分及び（Ｂ）部分は、パニングがない場合の動きベクトルのヒストグラムと、パニングがある場合の動きベクトルのヒストグラムの一例を示している。
【０１１４】
パニングがない場合、動きベクトルの長さは、ゼロ又はゼロ近傍の動きベクトルの頻度が多くなり、一方、パニングがある場合、動きベクトルの長さは、そのパニングに対応する動きベクトルの頻度が多くなる。そこで、パニング判定の基準として一定の長さＬを設定し、この長さＬ以下となる動きベクトルの割合又は個数が、予め設定された割合又は個数よりも多い場合（図１０の（Ａ）部分に示すヒストグラムの場合）にはパニングなしと判定し、予め設定された割合又は個数よりも少ない場合（（図１０の（Ａ）部分に示すヒストグラムの場合）にはパニングありと判定する。
【０１１５】
上記ステップＳ３８でのパニング判定でパニングなしと判定した場合（「No」の場合）、差分領域≒動体領域となるため、全ての動体候補領域を動体領域と決定する（ステップＳ４０）。尚、この動体領域の決定に際しては、第１の実施の形態と同様に２つの動体検出結果を統合することが好ましい。
【０１１６】
一方、上記ステップＳ３８でのパニング判定でパニングありと判定した場合（「Yes」の場合）には、動体候補領域ごとに動体か非動体かの判定を行う。まず、ステップＳ３４で抽出した動体候補領域の中から１つの動体候補領域を選択し（ステップＳ４２）、その選択した動体候補領域に動きベクトルが存在するか否かを判別する（（ステップＳ４４）。
【０１１７】
動きベクトルが存在しない場合（「No」の場合）は、動体が高速なために特徴点を抽出することができていない可能性が高いため、その動体候補領域を動体領域に決定する（ステップＳ４６）。
【０１１８】
一方、動きベクトルが存在する場合（「Yes」の場合）は、周囲の動体候補領域の動きベクトルとの相関を調べ（ステップＳ４８）、相関が低い場合（「No」の場合）には、その動体候補領域を動体領域に決定し（ステップＳ４６）、相関が高い場合（「Yes」の場合）には、カメラの動き（パニング）により動きベクトルが生じていると判定し、その動体候補領域を動体領域とはしない（ステップＳ５０）。
【０１１９】
例えば、図９の（Ｄ）部分に示す例では、自動車（動体）に対応する動体候補領域a5の動きベクトルは、周囲の動体候補領域a1,a2,a3,a4の動きベクトルとの相関が低いため、動体領域と判別する。一方、背景に対応する動体候補領域a1,a2,a3,a4の動きベクトルは、それぞれ相関が高いため、非動体領域と判別する。
【０１２０】
次に、全ての動体候補領域の判定処理が終了したか否かを判別し（ステップＳ５２）、終了していない場合には、ステップＳ４２に遷移してステップＳ４２からステップＳ５２の処理を繰り返し、終了した場合には、ステップＳ３０で入力した画像対に対する動体検出を終了する。
【０１２１】
第３の実施の形態によれば、パニングにより動きベクトルが生じていたり、被写体ブレにより動きベクトルを検出できない場合であっても移動する動体の動体領域を特定することができる。
【０１２２】
尚、本発明に係る動体検出装置は、カメラでの自動追尾ＡＦに適用される場合に限らず、カメラ本体をパン／チルト動作させて動体を追尾する機構、動体を検出する監視カメラ、撮影シーン（オブジェクト）の認識等にも適用でき、その用途は、本実施の形態には限定されない。
【０１２３】
また、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【０１２４】
１０…撮像装置、１２…撮影レンズ、１６…撮像デバイス、２４…デジタル信号処理部、４０…中央処理装置（ＣＰＵ）、４２…ＡＦ制御部、４４…ＡＥ制御部、４５…動体検出部、４６…ＲＯＭ、４８…メモリ、４５０…入出力部、４５２…動きベクトル算出部、４５４…差分画像生成部、４５６…動体検出処理部
【図１】
0005507014.tif 000002
【図２】
0005507014.tif 000003
【図３】
0005507014.tif 000004
【図４】
0005507014.tif 000005
【図５】
0005507014.tif 000006
【図６】
0005507014.tif 000007
【図７】
0005507014.tif 000008
【図８】
0005507014.tif 000009
【図９】
0005507014.tif 000010
【図１０】
0005507014.tif 000011