(57)【要約】【課題】  カメラ振動により誤った動き検出されるのを防止。【解決手段】  カメラの撮像により取得される基準画像データを分割して得られる分割画像領域と、その後に得られる画像データから分割画像領域と類似度の大きい画素値で構成される対応画像領域を特定し、特定された対応画像領域と分割画像領域との間で対応する点の距離を移動量として取得すると共に、取得された移動量に基づいた所定演算により画像データ間の動き検出有無を判定する動き検出装置で、動き検出有りと判定された画像データ間で対応する各画素の輝度差分を示す差分輝度情報を取得する輝度情報取得部と、取得された差分輝度情報と予め基準として設定された基準輝度情報とを比較し、差分輝度が基準輝度より小さいと、判定をカメラ振動による誤った動き検出と判定する振動判定部とを備える。【選択図】        図１
2006338266.tif 000002
【特許請求の範囲】
【請求項１】
カメラの撮像により取得される基準画像データを分割して得られる分割画像領域と、その後に得られる画像データから前記分割画像領域と類似度の大きい画素値で構成される対応画像領域を特定し、該特定された対応画像領域と前記分割画像領域との間で対応する点の距離を移動量として取得すると共に、前記取得された移動量に基づいた所定演算により前記画像データ間の動き検出有無を判定する動き検出装置において、
動き検出有りと判定された画像データ間で対応する各画素の輝度差分を示す差分輝度情報を取得する輝度情報取得部と、
前記取得された差分輝度情報と予め基準として設定された基準輝度情報とを比較し、差分輝度が基準輝度より小さいと、前記判定をカメラ振動による誤った動き検出と判定する振動判定部とを備えることを特徴とする動き検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時系列で連続した画像データ（フレーム）間における画像変化の有無を検出する動き検出装置に関し、特に、カメラ振動による誤った動き検出を防止する動き検出装置に関する。
【背景技術】
【０００２】
カメラで撮像された時系列で連続した画像データ間における画像変化（以下、動き検出）の有無を判定する動き検出装置が知られている（下記特許文献１及び２参照）。
【０００３】
この動き検出の判定方法としては、連続した画像データ間の輝度差分に着目する判定方法が知られている。この判定方法は、連続した画像データ間で対応する位置にある画素毎の輝度差分値を算出し、該算出された各輝度差分値を合計した輝度差分合計値と予め設定された閾値とを比較し、輝度差分合計値が閾値よりも大きいと、動き検出有りと判定する方法である。
【０００４】
しかしながら、上述した判定方法では、例えば、フラッシュ等のように画像全体に渡って大きな輝度変化が現れる場合、輝度差分合計値が閾値よりも大きく算出されてしまうことから、誤って動き検出有りと判定されてしまう問題があった。
【０００５】
そこで、上記の問題を解決するため、連続した画像データ間の動きベクトル量に着目する判定方法が提案された。この判定方法は、まず、受け付けた画像データを例えば１６×１６画素からなるブロック領域（以下、マクロブロック）に分割する。次に、分割により得られたマクロブロックから任意の点を中心とするマクロブロックを選択し、現在の画像データよりも時系列で一つ前に受け付けた画像データからマクロブロックに最も類似するブロック領域を特定し、該特定されたブロック領域の中心点を選択されたマクロブロックの対応点とし、該対応点とマクロブロックの中心点との距離を動きベクトル量として取得する。引き続き、全てのマクロブロックに対して、上記同様の動きベクトル量の取得処理を実行し、得られた全ての動きベクトル量の平均値と予め設定された閾値とを比較し、平均値が閾値より大きいと、動き検出有りと判定する方法である。この判定方法によれば、フラッシュ等のように画像全体に渡る大きな輝度変化が動きベクトル量の取得に影響しないことから、誤って動き検出有りと判定されるのを防止できる。
【特許文献１】特開平１０−２９０３９０号公報
【特許文献２】特開平０５−１９９４４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記した判定方法では、次のような解決すべき課題があった。即ち、カメラに振動が加わると、実際の撮像対象が変化していないにも関わらず、判定対象の画像間で変化が現れてしまい、誤って動き検出有りと判定されてしまう問題があった。
【課題を解決するための手段】
【０００７】
本発明は、以上の点を解決するために、次の構成を採用する。
〈構成１〉
カメラの撮像により取得される基準画像データを分割して得られる分割画像領域と、その後に得られる画像データから前記分割画像領域と類似度の大きい画素値で構成される対応画像領域を特定し、該特定された対応画像領域と前記分割画像領域との間で対応する点の距離を移動量として取得すると共に、前記取得された移動量に基づいた所定演算により前記画像データ間の動き検出有無を判定する動き検出装置において、動き検出有りと判定された画像データ間で対応する各画素の輝度差分を示す差分輝度情報を取得する輝度情報取得部と、前記取得された差分輝度情報と予め基準として設定された基準輝度情報とを比較し、差分輝度が基準輝度より小さいと、前記判定をカメラ振動による誤った動き検出と判定する振動判定部とを備えることを特徴とする。
【発明の効果】
【０００８】
本発明の動き検出装置では、カメラの撮像により得られる時系列で連続した画像データ間で対応する各画素の移動量を取得すると共に、前記取得された移動量に基づいた所定演算により動き検出有りと判定された画像データ間で対応する各画素の輝度差分を示す差分輝度情報を取得し、取得された差分輝度情報と予め基準として設定された基準輝度情報とを比較し、差分輝度が基準輝度より小さいと、該判定をカメラ振動による誤った動き検出と判定するようにしたので、カメラ振動時に、誤って動き検出有りと判定されるのを防止できる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の動き検出装置の一実施形態を説明する。
【実施例】
【００１０】
〈実施例の構成〉
図１は、本実施例の動き検出装置１００を示すブロック構成図である。
【００１１】
図１に示すように、本実施例の動き検出装置１００は、制御部１０、動き検出判定部１１、輝度情報取得部１２および振動判定部１３を備えている。
【００１２】
制御部１０は、いわゆるＣＰＵとして動き検出装置１００を統括制御する部であり、図示しないカメラから撮像により取得された画像データが入力される毎に、受け付けた画像データを動き検出判定部１１に転送する。この画像データは、複数の画素により構成され、各画素の濃度が０〜２５５までの数値（以下、輝度値）で示されたデータである。
【００１３】
動き検出判定部１１は、時系列で連続した画像データ間で対応する各画素の移動量（以下、動きベクトル量）に基づいて動き検出の有無を判定する部であり、図示しないメモリに動き検出有無の判定基準となる閾値情報を保持している。本実施例では、この閾値情報として、事前検証された動き検出判定の基準となる動きベクトル量を示す数値データが保持されていることとする。
【００１４】
この動き検出判定部１１は、制御部１０より最初の画像データを受け付けると、まず、受け付けた画像データを基準画像データとして図示しないメモリに保持する。
【００１５】
引き続き、動き検出判定部１１は、制御部１０より画像データを受け付けると、該画像データを図示しないメモリに保持すると共に、基準画像データと受け付けた画像データ間における動き検出有無の判定を開始する。即ち、動き検出判定部１１は、制御部１０より画像データを受け付けると、まず、該画像データを例えば１６×１６画素からなるブロック領域（以下、マクロブロック）に分割する。
【００１６】
次に、分割により得られたマクロブロックから任意の座標（ｘ、ｙ）を中心とする１マクロブロックを選択し、該選択されたマクロブロックと、基準画像データにおいて座標（ｘ、ｙ）に対応する位置から座標（ｐ、ｑ）ずらしたブロック領域（以下、候補ブロック）との類似度を算出する。本実施例において、このｐおよびｑは、それぞれ−１６〜１５までの範囲で設定されることとする。
【００１７】
この類似度の算出には、一般的に、下記に示すような、マクロブロック及び候補ブロックをそれぞれ構成する各画素が示す輝度の差分絶対値の合計を算出する輝度差分和算出式が適用される。
【００１８】
2006338266.tif 000003
【００１９】
2006338266.tif 000004
【００２０】
そして、上記式（１）により算出された輝度差分和が最小の候補ブロックをマクロブロックに最も類似する候補ブロックとし、該候補ブロックの座標（ｘ＋ｐ、ｙ＋ｑ）とマクロブロックの中心である座標（ｘ、ｙ）との距離を動きベクトル量として取得する。画像データ間で動きがない場合、動きベクトル量としては「０」が取得される。
【００２１】
引き続き、動き検出判定部１１は、上記選択されたマクロブロックを除く、全てのマクロブロックに対して、上記同様の動きベクトル量の取得処理を実行し、完了後、得られた動きベクトル数を示す動きベクトル本数および各動きベクトル量の合計を算出すると共に、算出された各情報を図示しないメモリに保持された下記の平均値算出式に適用し、動きベクトル量の平均値を算出する。
【００２２】
2006338266.tif 000005
【００２３】
2006338266.tif 000006
【００２４】
そして、動き検出判定部１１は、算出された動きベクトル量の平均値と予め基準として保持されている閾値情報が示す動きベクトル量とを比較して、平均値が閾値よりも小さいと、動き検出無しと判定する。これにより、フラッシュ等のように画面全体に渡って大きな輝度変化が現れる場合に正確に動き検出有無の判定ができる。
【００２５】
制御部１０は、動き検出判定部１１が動き検出無しと判定すると、図示しないメモリの基準画像データを消去し、動き検出有無の判定に用いられた現在の画像データを基準画像データとしてメモリに保持する。
【００２６】
動き検出判定部１１は、平均値が閾値よりも大きいと、動き検出有りと判定する。
【００２７】
制御部１０は、動き検出判定部１１が動き検出有りと判定すると、メモリに保持されている基準画像データ及び画像データを輝度情報取得部１２に転送する。
【００２８】
輝度情報取得部１２は、動き検出有りと判定された画像データ間の輝度差分和を示す差分輝度情報を取得する部であり、図示しないメモリに下記の輝度差分和算出式を保持している。
【００２９】
2006338266.tif 000007
【００３０】
2006338266.tif 000008
【００３１】
上記式（３）は、基準画像データ及び画像データのそれぞれ対応する画素が示す輝度の差分絶対和を算出する式であり、輝度情報取得部１２は、基準画像データ及び画像データを受けると、画像データの全画素数を示す全画素数データおよび両画像データ間で対応する各画素の輝度値を示す輝度データを取得すると共に、取得した全画素数データおよび輝度データを上記式（３）に適用し、両画像データ間における輝度差分和を示す差分輝度情報を取得する。
【００３２】
振動判定部１３は、動き検出判定部１１が動き検出有りとした動き検出をカメラ振動によるものであるか否かを判定する部であり、図示しないメモリにカメラ振動の判断基準としての基準輝度情報を保持している。本実施例では、この基準輝度情報として事前検証されたカメラ振動判定の基準となる輝度を示す数値データが保持されていることとする。
【００３３】
振動判定部１３は、輝度情報取得部１２が差分輝度情報を取得すると、メモリから基準輝度情報を取得し、基準輝度と差分輝度とを比較して、差分輝度が基準輝度より大きいと、動き検出判定部１１の動き検出有りとした判定を正常な動き検出と判定する。
【００３４】
制御部１０は、振動判定部１３が正常と判定すると、図示しないメモリの基準画像データを消去し、動き検出有無の判定に用いられた現在の画像データを基準画像データとしてメモリに保持する。引き続き、制御部１０は、図示しないカメラから撮像により取得された画像データが入力されると、入力された画像データと保持された基準画像データ間で上述した動き検出有無の判定処理を実行する。
【００３５】
振動判定部１３は、差分輝度が基準輝度より小さいと、動き検出判定部１１の動き検出有りとした判定をカメラ振動による誤った動き検出であると判定する。このように、振動判定部１３は、カメラ振動時のように画面全体に動きがあった場合でも正確に動き検出有無の判定ができる。
【００３６】
制御部１０は、振動判定部１３がカメラ振動による誤った動き検出と判定すると、図示しないメモリの基準画像データを消去し、動き検出有無の判定に用いられた現在の画像データを基準画像データとしてメモリに保持する。引き続き、制御部１０は、図示しないカメラから撮像により取得された画像データが入力されると、入力された画像データと保持された基準画像データ間で上述した動き検出有無の判定処理を実行する。
【００３７】
〈実施例の動作〉
図２は、本実施例における動き検出装置１００の動き検出処理の動作フローチャートである。
【００３８】
動き検出装置１００の制御部１０は、図示しないカメラから撮像により取得された画像データが入力される毎に、受け付けた画像データを動き検出判定部１１に転送する。
【００３９】
この動き検出判定部１１は、制御部１０より最初の画像データを受け付けると、まず、受け付けた画像データを基準画像データとして図示しないメモリに保持する。
【００４０】
引き続き、動き検出判定部１１は、制御部１０より画像データを受け付けると、該画像データを図示しないメモリに保持する（ステップＳ１）と共に、基準画像データと受け付けた画像データ間における動き検出の有無の判定を開始する。即ち、動き検出判定部１１は、制御部１０より画像データを受け付けると、まず、該画像データを例えば１６×１６画素からなるブロック領域（以下、マクロブロック）に分割する。
【００４１】
次に、分割により得られたマクロブロックから任意の座標（ｘ、ｙ）を中心とする１マクロブロックを選択し、該選択されたマクロブロックと、基準画像データにおいて座標（ｘ、ｙ）に対応する位置から座標（ｐ、ｑ）ずらしたブロック領域（以下、候補ブロック）との類似度を算出する。
【００４２】
そして、上記式（１）により算出された輝度差分和が最小の候補ブロックをマクロブロックに最も類似する候補ブロックとし、該候補ブロックの座標（ｘ＋ｐ、ｙ＋ｑ）とマクロブロックの中心である座標（ｘ、ｙ）との距離を動きベクトル量として取得する（ステップＳ２）。両画像データ間で動きがない場合、動きベクトル量としては「０」が取得される。
【００４３】
引き続き、動き検出判定部１１は、上記選択されたマクロブロックを除く、全てのマクロブロックに対して、上記同様の動きベクトル量の取得処理を実行し、完了後、得られた動きベクトル数を示す動きベクトル本数および各動きベクトル量の合計を算出すると共に、算出された各情報を上記式（２）に適用し、動きベクトル量の平均値を算出する。
【００４４】
そして、動き検出判定部１１は、算出された平均値と予め保持されている閾値情報が示す動きベクトル量とを比較して、平均値が閾値よりも小さいと、動き検出無しと判定し、大きいと、動き検出有りと判定する（ステップＳ３）。これにより、フラッシュ等のように画面全体に渡って大きな輝度変化が現れる場合に正確に動き検出有無の判定ができる。
【００４５】
制御部１０は、動き検出判定部１１が動き検出無しと判定すると、図示しないメモリの基準画像データを消去し、動き検出有無の判定に用いられた現在の画像データを基準画像データとしてメモリに保持する。引き続き、制御部１０は、図示しないカメラから撮像により取得された画像データが入力されると、入力された画像データと保持された基準画像データ間で上述した動き検出有無の判定処理を実行する。
【００４６】
制御部１０は、動き検出判定部１１が動き検出有りと判定すると、メモリに保持されている基準画像データ及び画像データを輝度情報取得部１２に転送する。
【００４７】
輝度情報取得部１２は、基準画像データ及び画像データを受けると、画像データの全画素数を示す全画素数データおよび両画像データ間で対応する各画素の輝度値を示す輝度データを取得すると共に、取得した全画素数データおよび輝度データを上記式（３）に適用し、両画像データ間における輝度差分和を示す差分輝度情報を取得する（ステップＳ４）。
【００４８】
振動判定部１３は、輝度情報取得部１２が差分輝度情報を取得すると、メモリから基準輝度情報を取得し、基準輝度と差分輝度とを比較して、差分輝度が基準輝度より大きいと、動き検出判定部１１の動き検出有りとした判定を正常な動き検出と判定する（ステップＳ５）。
【００４９】
制御部１０は、振動判定部１３が正常と判定すると、図示しないメモリの基準画像データを消去し、動き検出有無の判定に用いられた現在の画像データを基準画像データとしてメモリに保持する。引き続き、制御部１０は、図示しないカメラから撮像により取得された画像データが入力されると、入力された画像データと保持された基準画像データ間で上述した動き検出有無の判定処理を実行する。
【００５０】
振動判定部１３は、差分輝度が基準輝度より小さいと、動き検出判定部１１の動き検出有りとした判定をカメラ振動による誤った動き検出であると判定する（ステップＳ５）。これにより、カメラ振動時のように画面全体に動きがあった場合でも正確に動き検出有無の判定ができる。
【００５１】
制御部１０は、振動判定部１３がカメラ振動による誤った動き検出と判定すると、図示しないメモリの基準画像データを消去し、動き検出有無の判定に用いられた現在の画像データを基準画像データとしてメモリに保持する。引き続き、制御部１０は、図示しないカメラから撮像により取得された画像データが入力されると、入力された画像データと保持された基準画像データ間で上述した動き検出有無の判定処理を実行する。
【００５２】
〈実施例の効果〉
本実施例の動き検出装置１００では、カメラの撮像により得られる時系列で連続した画像データ間で対応する画素の動きベクトル量を取得すると共に、取得された動きベクトル量に基づく所定演算により動き検出有りと判定された画像データ間で対応する各画素の輝度差分を示す差分輝度情報を取得し、取得された差分輝度情報と予め基準として設定された基準輝度情報とを比較し、差分輝度が基準輝度より小さいと、該判定をカメラ振動による誤った動き検出と判定するようにしたので、カメラ振動時に、誤って動き検出有りと判定されるのを防止できる。
【産業上の利用可能性】
【００５３】
上記実施例では、動き検出有りと判定された画像データ間の輝度差分を示す差分輝度情報を利用することで、カメラ振動による誤った動き検出の判定がされるのを防止する動作を説明したが、差分輝度情報を利用して、画像データ間における移動体の検出に適用することも可能である。
【００５４】
上記実施例では、閾値情報として、マクロブロック毎に取得される動きベクトル量を示す数値データを保持していたがこれに限られることはなく、例えば、動きベクトル「０」であったマクロブロックと動きベクトル「０」以上であったマクロブロックの比率を示すイントラブロック率情報、動き検出の対象とする輝度値の範囲を示す輝度範囲情報のような複数の閾値を保持し、これら全てを利用して動き検出有無を判定する構成としてもよい。
【図面の簡単な説明】
【００５５】
【図１】本発明における動き検出装置の一実施形態を示すブロック構成図。
【図２】カメラ振動による誤った動き検出を判定する動作フローチャート。
【符号の説明】
【００５６】
１００  動き検出装置
１０  制御部
１１  動き検出判定部
１２  輝度情報取得部
１３  振動判定部
【図１】
2006338266.tif 000009
【図２】
2006338266.tif 000010