(57)【要約】【課題】物体の動きを高速で認識可能な動き判定装置の提供。【解決手段】  動き判定装置１０は、画像信号Ｐiに基づき、エッジ位置であるか否かを画素毎に判定するエッジ検出ユニット１５と、エッジ検出ユニット１５での判定結果を画素毎に記憶するエッジ位置記憶ユニット２０とを備えている。エッジ検出ユニット１５での判定結果、及びエッジ位置記憶ユニット２０に記憶されている判定結果に基づき、予め規定された規定方向へのエッジ位置の移動が対象画素にて検出されたか否かを判定するエッジ移動検出ユニット２５と、エッジ移動検出ユニット２５での判定結果に基づいて、対象画素がエッジ軌跡を構成するものであるか否かを判定し、その判定結果である軌跡情報を導出するエッジ軌跡導出ユニット３０と、エッジ軌跡導出ユニット３０で導出された軌跡情報に基づいて、物体が動いているか否かを判定する動き判定ユニット３５とを備えている。【選択図】図２
2008305169.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素からなる平面に三次元の実空間を投影した二次元データを、予め規定された規定周期で繰り返し取得すると共に、前記二次元データを構成する画素を一つずつ順番に抽出し、その抽出した画素を対象画素として、前記対象画素が前記二次元データに投影された物体の端部を表しているか否かを判定する端部判定ユニットと、
少なくとも前記規定周期の間、前記端部判定ユニットでの判定結果を過去情報として保持する過去情報保持ユニットと、
前記端部判定ユニットにて物体の端部を表していると判定された画素によって表される領域をエッジ領域として、予め規定された規定方向への前記エッジ領域の移動が前記対象画素にて検出されたか否かを、前記端部判定ユニットから前記対象画素についての判定結果が得られる毎に、その判定結果と前記過去情報保持ユニットに保持された過去情報とに基づいて判定する移動判定ユニットと、
前記移動判定ユニットにて前記エッジ領域の移動が検出された画素により、前記エッジ領域の前記規定方向への移動の軌跡が表された領域を軌跡領域として、前記対象画素が前記軌跡領域を構成する画素であるか否かを表す軌跡情報を、前記移動判定ユニットでの判定結果に基づいて、前記移動判定ユニットから前記対象画素についての判定結果が得られる毎に生成する軌跡情報生成ユニットと、
前記軌跡情報生成ユニットにて生成された軌跡情報に基づいて、前記物体の動きを判定する動き判定ユニットと
を備えることを特徴とする動き判定装置。
【請求項２】
前記移動判定ユニットは、
前記規定方向とは反対方向から前記対象画素に隣接する画素を基準画素として、前記対象画素についての判定結果と前記基準画素についての過去情報とが、いずれも前記物体の端部であることを表している場合に、前記エッジ領域の移動が検出されたものとすることを特徴とする請求項１に記載の動き判定装置。
【請求項３】
前記軌跡情報生成ユニットは、
過去の予め規定された規定周期分の前記移動判定ユニットでの判定結果に基づき、前記軌跡情報を生成することを特徴とする請求項１または請求項２に記載の動き判定装置。
【請求項４】
前記規定方向が複数存在し、
前記規定方向毎に、前記移動判定ユニット、前記軌跡情報生成ユニットを設けたことを特徴とする請求項１ないし請求項３のいずれかに記載の動き判定装置。
【請求項５】
前記規定方向として、互いに１８０度異なる第一方向及び第二方向が少なくとも設定されていることを特徴とする請求項４に記載の動き判定装置。
【請求項６】
前記第一方向について前記軌跡情報生成ユニットが出力する前記軌跡情報を第一軌跡情報とし、前記第二方向について前記軌跡情報生成ユニットが出力する前記軌跡情報を第二軌跡情報とし、前記対象画素が軌跡領域を構成するものであることを表す前記軌跡情報を真として、
前記動き判定ユニットは、
前記第一軌跡情報と、前記第二軌跡情報とを論理演算する論理演算ユニットと、
前記論理演算ユニットで演算された結果が真である画素のうち、隣接するもの同士をグルーピングした一つの画素群として生成するグルーピングユニットと、
前記グルーピングユニットで生成された各画素群の前記規定方向に隣接する画素の数が、予め規定された閾値以上である場合、前記物体が動いているものと判定する判定ユニットと
を備えることを特徴とする請求項５に記載の動き判定装置。
【請求項７】
前記論理演算ユニットは、前記論理演算として論理和を演算することを特徴とする請求項６に記載の動き判定装置。
【請求項８】
前記論理演算ユニットは、前記論理演算として排他的論理和を演算することを特徴とする請求項６に記載の動き判定装置。
【請求項９】
前記論理演算ユニットは、前記論理演算として論理積を演算することを特徴とする請求項６に記載の動き判定装置。
【請求項１０】
前記対象画素が軌跡領域を構成するものであることを表す前記軌跡情報を真とし、前記第一方向について前記軌跡情報生成ユニットが出力する前記軌跡情報を第一軌跡情報とし、前記第二方向について前記軌跡情報生成ユニットが出力する前記軌跡情報を第二軌跡情報として、
前記動き判定ユニットは、
前記第一軌跡情報が真である画素のうち、隣接するもの同士をグルーピングした画素群を生成し、その画素群の前記規定方向に隣接する画素の数である第一特徴量を算出する第一特徴量算出ユニットと、
前記第二軌跡情報が真である画素のうち、隣接するもの同士をグルーピングした画素群を生成し、その画素群の前記規定方向に隣接する画素の数である第二特徴量を算出する第二特徴量算出ユニットと、
前記第一特徴量算出ユニットで算出された第一特徴量と、前記第二特徴量算出ユニットで算出された第二特徴量との差分を算出し、その差分が予め規定された閾値以上である場合、前記物体が動いているものと判定する判定ユニットと
を備えることを特徴とする請求項５に記載の動き判定装置。
【請求項１１】
前記規定方向として、互いに直交する第一方向及び第二方向が少なくとも設定されており、
前記対象画素が軌跡領域を構成するものであることを表す前記軌跡情報を真とし、前記第一方向について前記軌跡情報生成ユニットが出力する前記軌跡情報を第一軌跡情報とし、前記第二方向について前記軌跡情報生成ユニットが出力する前記軌跡情報を第二軌跡情報として、
前記動き判定ユニットは、
前記第一軌跡情報が真である画素のうち、隣接するもの同士をグルーピングした画素群を生成し、その画素群の前記規定方向に隣接する画素の数である第一特徴量を算出する第一特徴量算出ユニットと、
前記第二軌跡情報が真である画素のうち、隣接するもの同士をグルーピングした画素群を生成し、その画素群の前記規定方向に隣接する画素の数である第二特徴量を算出する第二特徴量算出ユニットと、
前記第一特徴量算出ユニットで算出された第一特徴量と、前記第二特徴量算出ユニットで算出された第二特徴量とに基づき、前記物体が移動した角度と前記第一特徴量及び前記第二特徴量とを予め対応付けた角度マップに従って、前記物体が移動した角度を判定する角度判定ユニットと
を備えることを特徴とする請求項４に記載の動き判定装置。
【請求項１２】
前記二次元データは、画像を撮影する撮影装置にて生成される画像データであることを特徴とする請求項１ないし請求項１１のいずれかに記載の動き判定装置。
【請求項１３】
前記二次元データは、レーダ波を送受信することにより物体を検出するレーダ装置にて生成されるものであることを特徴とする請求項１ないし請求項１１のいずれかに記載の動き判定装置。
【請求項１４】
前記二次元データは、使用者が入力装置を操作した時の軌跡を取得する手書きデバイスにて生成されるものであることを特徴とする請求項１ないし請求項１１のいずれかに記載の動き判定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、二次元データに基づき、物体の動きを判定する動き判定装置に関する。
【背景技術】
【０００２】
従来より、先行車両や運転者等（以下、物体とする）を画像に収める撮影装置と、撮影装置で撮影された画像に基づいて物体の動きを検出する画像処理プロセッサと、画像処理プロセッサで検出された物体の動きに基づいて、警報を発するブザーとを備えた警報システムが知られている。
【０００３】
そして、この種の画像処理プロセッサでは、画像が撮影される毎に、画像中に写り込んだ物体を抽出する抽出処理（例えば、一般的なラベリング処理）と、抽出処理で抽出された物体を追跡し、物体の動きを検出する動き検出処理がなされている（例えば、特許文献１参照）。
【０００４】
特に、動き検出処理では、物体として抽出された領域の座標の総和を、物体として抽出された領域の画素数で除することにより、物体の重心の座標を算出（検出）し、その算出された重心の座標をメモリに格納する重心検出処理がなされている。さらに、その重心検出処理にて検出された重心座標に対応し、過去に算出された重心座標をメモリに格納されている重心座標の中から探索し、それらの対応する重心座標の変化に従って物体の動きを検出する追跡処理がなされている。
【特許文献１】特開２００１−３０７１０７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の動き検出処理では、重心検出処理にて、物体の重心を求めるために除算を用いているので、重心検出処理、ひいては動き検出処理における処理量が膨大なものとなっていた。
【０００６】
そして、この重心検出処理は、動き検出処理中における重心検出処理以外の処理と比べて、その処理量が極めて大きい（即ち、処理に要する時間が長くなる）ため、一般的な高速処理の手法として用いられるパイプライン処理には不向きであるという問題があった。
【０００７】
つまり、従来の動き検出装置では、物体の動きを認識するまでに要する時間が長くなるという問題があった。
そこで、本発明は、物体の動きを高速で認識可能な動き判定装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するためになされた本発明の動き判定装置は、複数の画素からなる平面に三次元の実空間を投影した二次元データを、予め規定された規定周期で繰り返し取得すると共に、端部判定ユニットが、二次元データを構成する画素を一つずつ順番に抽出し、その抽出した画素を対象画素として、対象画素が二次元データに投影された物体の端部を表しているか否かを判定し、過去情報保持ユニットが、少なくとも規定周期の間、端部判定ユニットでの判定結果を過去情報として保持する。そして、端部判定ユニットにて物体の端部を表していると判定された画素によって表される領域をエッジ領域として、移動判定ユニットが、予め規定された規定方向へのエッジ領域の移動が対象画素にて検出されたか否かを、端部判定ユニットから対象画素についての判定結果が得られる毎に、その判定結果と過去情報保持ユニットに保持された過去情報とに基づいて判定する。それと共に、移動判定ユニットにてエッジ領域の移動が検出された画素により、エッジ領域の規定方向への移動の軌跡が表された領域を軌跡領域として、軌跡情報生成ユニットが、対象画素が軌跡領域を構成する画素であるか否かを表す軌跡情報を、移動判定ユニットでの判定結果に基づいて、移動判定ユニットから対象画素についての判定結果が得られる毎に生成し、動き判定ユニットが、軌跡情報生成ユニットにて生成された軌跡情報に基づいて、物体の動きを判定する。
【０００９】
つまり、本発明の動き判定装置によれば、重心座標を求めること無く、物体の動きを判定することができる。したがって、本発明の動き判定装置によれば、重心座標を求めるための除算を実行する必要が無いため、従来の装置と異なり、物体の動きを判定するために必要な処理を軽くすることができ、この結果、高速で物体の動きを判定することができる。
【００１０】
特に、本発明の動き判定装置によれば、除算等のように、他の処理と比べて処理時間が長くなる（即ち、ボトルネックとなる）処理を含まないため、従来の装置と異なり、パイプライン処理の実行に適したものを提供することができる。
【００１１】
さらに、このような本発明の動き判定装置では、二次元データから対象画素を抽出する度に、その対象画素が物体の端部を表しているか否かを判定し、さらには、その判定結果と、過去情報保持ユニットに格納された過去情報（即ち、今回の規定周期よりも前に取得された二次元データ中の対象画素についての端部判定ユニットでの判定結果）とに基づいて、エッジ領域の移動が対象画素にて検出されたか否かを判定する。それと共に、その判定結果に基づいて、対象画素が軌跡領域を構成する画素であるか否かを判定した軌跡情報を生成している。
【００１２】
したがって、本発明の動き判定装置によれば、今回の周期にて取得した二次元データからは、対象画素以外の画素に対する処理結果を用いること無く、軌跡情報の生成までを実行できるため、よりパイプライン処理の実行に適した動き判定装置を提供することができる。
【００１３】
また、規定方向とは反対方向から対象画素に隣接する画素を基準画素とした場合、本発明の動き判定装置における移動判定ユニットは、請求項２に記載のように、対象画素についての判定結果と基準画素についての過去情報とが、いずれも物体の端部であることを表している場合に、エッジ領域の移動が検出されたものとするように構成されていることが望ましい。
【００１４】
このように構成された動き判定装置によれば、移動判定ユニットにおいて、規定方向とは反対方向から対象画素に隣接する画素についての過去情報に基づいて、エッジ領域の移動が検出されるため、全ての過去情報の中から必要な過去情報を抽出するための処理（即ち、リスト探索）を実行する必要をなくすことができる。
【００１５】
この結果、本発明の動き判定装置によれば、よりパイプライン処理の実行に適した動き判定装置を提供することができる。
さらに、本発明の動き判定装置における軌跡情報生成ユニットは、請求項３に記載のように、過去の予め規定された規定周期分の移動判定ユニットでの判定結果に基づき、軌跡情報を生成するように構成されていても良い。
【００１６】
このように構成された本発明の動き判定装置によれば、軌跡情報を生成するために用いられる判定結果は、今回の規定周期から規定された回数の規定周期分であるため、移動判定ユニットでの過去（今回の規定周期よりも前）の判定結果に埋もれることで、新たな判定結果が利用されなくなることを低減できる。
【００１７】
このため、例えば、本発明の動き判定装置によれば、今まで検出対象としていた物体とは異なる新たな物体が現れたとしても、その物体の動きを判定することができる。
ところで、規定方向が複数存在する場合、請求項４に記載のように、本発明の動き判定装置における移動判定ユニット、及び軌跡情報生成ユニットは、規定方向毎に設けられていても良い。つまり、本願発明の動き判定装置において、移動判定ユニットと軌跡情報生成ユニットとは、二つを一組として、規定方向毎に設けられていても良い。
【００１８】
この場合、本発明の動き判定装置では、特に、請求項５に記載のように、規定方向として、互いに１８０°異なる第一方向と第二方向との二つが少なくとも設定されていることが望ましい。
【００１９】
さらに、第一方向について軌跡情報生成ユニットが出力する軌跡情報を第一軌跡情報とし、第二方向について軌跡情報生成ユニットが出力する軌跡情報を第二軌跡情報とし、対象画素が軌跡領域を構成するものであることを表す軌跡情報を真とした場合、本発明の動き判定装置における動き判定ユニットは、請求項６に記載のように、論理演算ユニットが、第一軌跡情報と、第二軌跡情報とを論理演算し、グルーピングユニットが、論理演算ユニットで演算された結果が真である画素のうち、隣接するもの同士をグルーピングした一つの画素群として生成すると共に、判定ユニットが、グルーピングユニットで生成された各画素群の規定方向に隣接する画素の数が、予め規定された閾値以上である場合、物体が動いているものと判定するように構成されていることが望ましい。
【００２０】
このように構成された動き判定装置によれば、論理演算の結果に応じて、物体の様々な動きを判定することができる。
ただし、ここでいうグルーピングとは、ラベリング処理等の周知の処理により、予め規定された条件を満たす画素同士を同一のグループとして分類することである。また、画素が規定方向に隣接する数（以下、隣接数とする）とは、一であっても良いし、複数であっても良い。
【００２１】
そして、本発明の動き判定装置における論理演算ユニットは、論理演算として、請求項７に記載のように、論理和を演算するように構成されていても良いし、請求項８に記載のように、排他的論理和を演算するように構成されていても良いし、請求項９に記載のように、論理積を演算するように構成されていても良い。
【００２２】
このように構成された本発明の動き判定装置のうち、論理演算ユニットが論理和を演算するものであれば、論理和が真となる画素に基づいて物体の動きを判定するため、二次元データに投影された物体が、静止物であるか移動物であるかを判定することができる。また、論理演算ユニットが排他的論理和を演算するものであれば、排他的論理和が真となる画素に基づいて物体の動きを判定するため、物体が一方向に移動しているか否かを判定することができる。さらに、論理演算ユニットが論理積を演算するものであれば、論理積が真となる画素に基づいて物体の動きを判定するため、物体が往復運動しているか否かを判定することができる。
【００２３】
なお、第一方向について軌跡情報生成ユニットが出力する軌跡情報を第一軌跡情報とし、第二方向について軌跡情報生成ユニットが出力する軌跡情報を第二軌跡情報とし、対象画素が軌跡領域を構成するものであることを表す軌跡情報を真とした場合、本発明の動き判定装置における動き判定ユニットは、請求項１０に記載のように、第一特徴量算出ユニットが、第一軌跡情報が真である画素のうち、隣接するもの同士をグルーピングした画素群を生成して、その画素群の規定方向に隣接する画素の数である第一特徴量を算出すると共に、第二特徴量算出ユニットが、第二軌跡情報が真である画素のうち、隣接するもの同士をグルーピングした画素群を生成して、その画素群の規定方向に隣接する画素の数である第二特徴量を算出し、その上で、判定ユニットが、第一特徴量算出ユニットで算出された第一特徴量と、第二特徴量算出ユニットで算出された第二特徴量との差分を算出し、その差分が予め規定された閾値以上である場合、物体が動いているものと判定するように構成されていても良い。
【００２４】
このように構成された本発明の動き判定装置によれば、第一特徴量と、第二特徴量との差分に基づいて物体の動きを判定するため、物体が回転しているか否かを判定することができる。
【００２５】
ただし、ここで言う第一特徴量、及び第二特徴量は、一つの画素であっても良いし、複数の画素であっても良い。
また、規定方向として、互いに直交する第一方向及び第二方向が少なくとも設定されている場合、対象画素が軌跡領域を構成するものであることを表す軌跡情報を真とし、第一方向について軌跡情報生成ユニットが出力する軌跡情報を第一軌跡情報とし、第二方向について軌跡情報生成ユニットが出力する軌跡情報を第二軌跡情報として、本発明の動き判定装置における動き判定ユニットは、請求項１１に記載のように、第一特徴量算出ユニットが、第一軌跡情報が真である画素のうち、隣接するもの同士をグルーピングした画素群を生成して、その画素群の規定方向に隣接する画素の数である第一特徴量を算出すると共に、第二特徴量算出ユニットが、第二軌跡情報が真である画素のうち、隣接するもの同士をグルーピングした画素群を生成して、その画素群の前記規定方向に隣接する画素の数である第二特徴量を算出し、その上で、角度判定ユニットが、第一特徴量算出ユニットで算出された第一特徴量と、第二特徴量算出ユニットで算出された第二特徴量とに基づき、物体が移動した角度と、第一特徴量及び第二特徴量とを予め対応付けた角度マップに従って、物体が移動した角度を判定するように構成されていても良い。
【００２６】
このように構成された本発明の動き判定装置によれば、第一特徴量及び第二特徴量に基づいて、物体が移動した角度を判定することができる。
ただし、ここで言う第一特徴量、及び第二特徴量は、一つの画素であっても良いし、複数の画素であっても良い。
【００２７】
なお、本発明の動き判定装置が取得する二次元データは、請求項１２に記載のように、画像を撮影する撮影装置にて生成される画像データであることが望ましいが、請求項１３に記載のように、レーダ波を送受信することにより物体を検出するレーダ装置にて生成されるもの（いわゆる距離画像）であっても良いし、請求項１４に記載のように、使用者が入力装置を操作した時の軌跡を取得する手書きデバイスにて生成されるものであっても良い。
【００２８】
ただし、ここで言うレーダ装置とは、レーザ光をレーダ波として送受信するいわゆるレーザレーダ装置や、ミリ波帯域の電波をレーダ波として送受信するいわゆるミリ波レーダ装置であり、ここで言う手書きデバイスとは、タブレットや、座標認識可能な筆記用具を示すものである。
【発明を実施するための最良の形態】
【００２９】
以下に本発明の実施形態を図面と共に説明する。
［第一実施形態］
〈全体構成〉
図１は、本発明が適用され、車両に搭載された動き認識システムの概略構成を示すブロック図である。なお、以下では、動き認識システムが搭載された車両を搭載車両と称す。
【００３０】
本実施形態の動き認識システム１は、例えば、搭載車両の前方を走行する先行車両の動きを認識するためのシステムであり、認識した先行車両の動きに従って、搭載車両を自動走行させる自動走行制御等に利用される。
【００３１】
この動き認識システム１は、搭載車両の前方の予め規定された規定領域を撮影する撮影装置５と、撮影装置５で撮影した画像に基づき、画像に投影された物体の動きを判定する動き判定装置１０とを備えている。
【００３２】
撮影装置５は、図示しないが、縦方向（以下、Ｙ方向と称す）にＭ（Ｍは自然数）個、横方向（以下、Ｘ方向と称す）にＮ（Ｎは自然数、ただし、Ｎ＞Ｍ）個の格子状に配列されたフォトダイオードを有し、レンズを介して受光した光の強度を電荷へと変換して蓄積する撮像素子（例えば、ＣＣＤイメージセンサ）と、撮像素子に蓄積された電荷を読み出し、少なくとも、各画素での輝度値の大きさを表すデジタル信号（以下、画像信号と称す）Ｐiを生成する画像処理エンジンとを備えた、いわゆるデジタルカメラである。ただし、添え字ｉは、デジタル画像（以下では、撮影画像とも称す）を撮影（即ち、フォトダイオードが受光）した時の時刻、より正確にはフレームを識別するための番号であり、値が小さいほど古いことを示す。
【００３３】
画像処理エンジンは、デジタル画像の撮影開始を制御すると共に、画像信号Ｐiにおいて１フレームの開始位置と終了位置と（いわゆる垂直転送タイミング）を示す垂直同期信号（いわゆるフレーム同期信号）、画像信号Ｐiにおいて走査列の切り替わり（いわゆる水平転送タイミング）を示す水平同期信号（いわゆるライン同期信号）を生成するように構成され、これらの同期信号を、生成した画像信号Ｐiと共に動き判定装置１０に出力する。なお、これらの垂直同期信号、水平同期信号は、動き判定装置１０が、撮影画像における画素の位置を認識するためのものであり、以下では、垂直同期信号、及び水平同期信号をまとめて、同期信号と称す。
【００３４】
つまり、撮影装置５にて生成されるデジタル画像は、図１８に示すように、Ｎ個の画素が一列に配列された走査列をＭ列有したものであり、その画素数は、Ｎ×Ｍとなる。なお、以下では、ｘ座標がｎ番目、ｙ座標がｍ番目の画素を画素Ｇn,mとし、画像信号Ｐiが表す画素Ｇn,mの画素値をＰiＧn,mとする（ただし、ｎ，ｍは、ｎ≦Ｎ，ｍ≦Ｍとなる自然数）。
【００３５】
そして、画像処理エンジンから動き判定装置１０に出力される画像信号Ｐiは、撮像素子に蓄積された電荷を、１列目の走査列から（即ち、画素Ｇ1,1から画素ＧN,Mまで）順に読出したもの（即ち、画素値ＰiＧ1,1から画素値ＰiＧN,M）であり、１フレーム分が連続して出力される。
【００３６】
つまり、撮影装置５は、予め規定された規定周期（例えば、１／３０ｓ）毎に、デジタル画像を表す１フレーム分の画素値ＰiＧn,mを動き判定装置１０に出力する。
〈動き判定装置について〉
次に、動き判定装置１０について説明する。
【００３７】
ここで、図２は、動き判定装置１０の概略構成を示すブロック図である。
動き判定装置１０は、撮影装置５からの画像信号Ｐiを、隣接する画素間の輝度が不連続となる不連続点（即ち、エッジ）を強調した強調信号Ｑiに変換するエッジ検出フィルタ１３と、エッジ検出フィルタ１３にて変換された強調信号Ｑiに基づき、デジタル画像に写り込んだ物体の端部（即ち、物体とそれ以外の部分の境界）を示すエッジ位置であるか否かを画素毎に判定するエッジ検出ユニット１５と、エッジ検出ユニット１５での判定結果を画素毎に記憶するエッジ位置記憶ユニット２０とを備えている。さらに、エッジ検出ユニット１５での判定結果、及びエッジ位置記憶ユニット２０に記憶されている判定結果に基づき、予め規定された規定方向へのエッジ位置の移動が各画素にて検出されたか否かを判定するエッジ移動検出ユニット２５と、エッジ移動検出ユニット２５での判定結果に基づいて、エッジ位置が規定方向へと移動した軌跡（以下、エッジ軌跡とする）を導出するエッジ軌跡導出ユニット３０と、エッジ軌跡導出ユニット３０で導出されたエッジ軌跡に基づいて、デジタル画像に写り込んだ物体が動いているか否かを判定する動き判定ユニット３５とを備えている。
【００３８】
ただし、エッジ移動検出ユニット２５は、検出すべきエッジ位置の移動方向（即ち、規定方向とする）毎に設けられており、以下では、予め規定された第一方向（本実施形態では、撮影画像中の左から右へと向かう方向）を規定方向としたエッジ移動検出ユニット２５を第一エッジ移動検出ユニット２５ａ、第一方向とは１８０°異なる方向である第二方向（本実施形態では、撮影画像中の右から左へと向かう方向）を規定方向としたエッジ移動検出ユニット２５を第二エッジ移動検出ユニット２５ｂとする。
【００３９】
また、エッジ軌跡導出ユニット３０は、エッジ移動検出ユニット２５毎に設けられており、以下では、第一エッジ移動検出ユニット２５ａに対応して設けられたエッジ軌跡導出ユニット３０を第一エッジ軌跡導出ユニット３０ａ、第二エッジ移動検出ユニット２５ｂに対応して設けられたエッジ軌跡導出ユニット３０を第二エッジ軌跡導出ユニット３０ｂとする。
〈エッジ検出フィルタ１３〉
次に、エッジ検出フィルタ１３について説明する。
【００４０】
エッジ検出フィルタ１３では、画像信号Ｐiから強調信号Ｑiへの変換対象となる画素を対象画素Ｇn,mとし、その対象画素Ｇn,mの画素値ＰiＧn,mと、対象画素Ｇn,mの周囲（ここでは、８方向）に位置する画素の画素値とを用いてフィルタ処理を行う。
【００４１】
具体的には、図２０に示すように、撮影装置５からの画像信号Ｐiが表す対象画素Ｇn,m、及び対象画素Ｇn,mに隣接する８つの画素についての画素値群ＰiＧＧn,m（即ち、ＰiＧＧn,m＝［ＰiＧn-1,m-1，ＰiＧn,m-1，ＰiＧn+1,m-1，ＰiＧn-1,m，ＰiＧn,m，ＰiＧn+1,m，ＰiＧn-1,m+1，ＰiＧn,m+1，ＰiＧn+1,m+1］T、ただし、Ｔは、転置行列を意味する）をバッファから読込み、ラプラシアンフィルタ（本実施形態では、フィルタ係数Ｋ＝［１，１，１，１，−８，１，１，１，１］とする）によりフィルタ処理する。
【００４２】
即ち、対象画素Ｇn,mでの強調信号Ｑiの信号値ＱiＧn,mは、ＱiＧn,m＝Ｋ・ＰiＧＧn,mにより求められる（つまり、信号値ＱiＧn,mは、フィルタ係数Ｋと画素値群ＰiＧＧn,mとの内積）。
【００４３】
これを実現するために、エッジ検出フィルタ１３には、撮影装置５からの画像信号Ｐiが表す画素値ＰiＧn,mを、先に入力されたものから順に更新しながら、予め規定された走査列分（本実施形態では、Ｙ方向に３走査列分とする）格納するバッファ（図示せず）が備えられている。
【００４４】
つまり、エッジ検出フィルタ１３では、対象画素Ｇn,mから、Ｙ方向に１画素、Ｘ方向に１画素分進んだ画素Ｇn+1,m+1の画素値ＰiＧn+1,m+1が入力された時点で、フィルタ処理が実行され、対象画素Ｇn,mでの強調信号Ｑiの信号値ＱiＧn,mをエッジ検出ユニット１５に出力する。言い換えれば、画像信号Ｐiの画素値ＰiＧ1,1がエッジ検出フィルタ１３に入力されてから、強調信号Ｑiの信号値ＱiＧ1,1が出力されるまでに、Ｙ方向、Ｘ方向共に１画素分の遅れが生じる。
【００４５】
ただし、最初の強調信号Ｑiの信号値（即ち、ＱiＧ1,1）が出力された後は、画像信号Ｐiによって表される１画素分の画素値が入力される毎に（即ち、対象画素Ｇn,mを１画素ずつずらしながら）、フィルタ処理が実行される。
【００４６】
なお、撮影画像の上下左右の端に位置する画素（例えば、Ｇ1,1や、ＧN,M）が対象画素Ｇn,mとなった場合、画素値群ＰiＧＧn,mの中に、撮影画像には存在しない画素（例えば、Ｇ-1,-1や、ＧN+1,M+1等）の画素値（例えば、ＰiＧ-1,-1や、ＰiＧN+1,M+1、以下、不在画素値とする）が含まれることになる。そして、この不在画素値については、元々、撮影装置５から出力される画像信号Ｐiに含まれていないため、本実施形態では、その値を０として取り扱う。
【００４７】
つまり、エッジ検出フィルタ１３では、撮影装置５からの画像信号Ｐiによって表され、対象画素Ｇn,mから、Ｙ方向に１走査列、Ｘ方向に２画素分進んだ画素Ｇn+1,m+1の画素値ＰiＧn+1,m+1が入力された後は、１画素分の画素値が入力される毎に、画素値群ＰiＧＧn,mをフィルタ処理することで生成した信号値ＱiＧn,mを強調信号Ｑiとしてエッジ検出ユニット１５に出力する。
〈エッジ検出ユニットについて〉
次に、エッジ検出ユニット１５について説明する。なお、このエッジ検出ユニット１５についての説明では、エッジ検出ユニット１５に入力された強調信号Ｑiが表す信号値の画素を対象画素Ｇn,mとする。
【００４８】
ここで、図３は、エッジ検出ユニット１５の概略構成を示すブロック図である。
エッジ検出ユニット１５では、エッジ検出フィルタ１３からの強調信号Ｑiが表す信号値ＱiＧn,mが、予め規定された第一閾値以上であれば、対象画素Ｇn,mがエッジ位置であるものとして、エッジ検出信号Ｅiが表す対象画素Ｇn,mの信号値ＥiＧn,mをハイレベル（即ち、１）とする。一方、強調信号Ｑiの信号値ＱiＧn,mが、第一閾値未満であれば、対象画素Ｇn,mがエッジ位置ではないものとして、エッジ検出信号Ｅiが表す対象画素Ｇn,mの信号値ＥiＧn,mをローレベル（即ち、０）とする。
〈エッジ位置記憶ユニットについて〉
次に、エッジ位置記憶ユニット２０について説明する。なお、エッジ位置記憶ユニット２０についての説明では、エッジ位置記憶ユニット２０に入力されるエッジ検出信号Ｅiが表す信号値の画素を対象画素Ｇn,mとする。
【００４９】
ここで、図４は、エッジ位置記憶ユニット２０の概略構成を示すブロック図である。
エッジ位置記憶ユニット２０では、エッジ検出ユニット１５からのエッジ検出信号Ｅiを、一フレーム分遅延させる。
【００５０】
これを実現するために、エッジ位置記憶ユニット２０には、エッジ検出ユニット１５からのエッジ検出信号Ｅiが表す信号値ＥiＧn,mを格納する第一メモリ２２と、第一メモリ２２への書き込み、及び第一メモリ２２からの読み出しを制御するメモリコントローラ２１とが備えられている。
【００５１】
具体的に、第一メモリ２２は、読出し及び書込みのいずれもが可能に構成されたものであり、Ｎ×Ｍ画素分（即ち、撮影画像一枚分）の信号値を格納するための格納領域を有している。
【００５２】
また、メモリコントローラ２１は、エッジ検出ユニット１５からのエッジ検出信号Ｅiが表す信号値ＥiＧn,mが入力される毎に、その信号値ＥiＧn,mを第一メモリ２２に格納する。これと共に、１フレーム前のエッジ検出信号Ｅi-1に対する処理にて第一メモリ２２に格納され、対象画素Ｇn,mからＸ方向へ１画素先に位置する画素Ｇn+1,mの信号値を読み出し、エッジ移動検出ユニット２５へ出力する。
【００５３】
なお、以下では、フレームｉの処理時に、第一メモリ２２から読み出される１フレーム前（ｉ−１）のエッジ検出信号Ｅi-1を過去検出信号Ｆi-1と称し、その過去検出信号Ｆi-1が表す画素Ｇn,mについての信号値をＦi-1Ｇn,mとする。
【００５４】
つまり、エッジ位置記憶ユニット２０では、エッジ検出信号Ｅiが表す新たな対象画素Ｇn,mの信号値ＥiＧn,mが入力される毎に、少なくとも、１フレーム先のエッジ検出信号Ｅi+1に対する処理が実行されるまで、エッジ検出ユニット１５からのエッジ検出信号Ｅiが表す信号値ＥiＧn,mを第一メモリ２２に格納することで、エッジ検出信号Ｅｉを１フレーム分遅延させている。
〈エッジ移動検出ユニットについて〉
次に、エッジ移動検出ユニット２５について説明する。なお、エッジ移動検出ユニット２５についての説明では、エッジ移動検出ユニット２５に入力されるエッジ検出信号Ｅiが表す信号値の画素を対象画素Ｇn,mとする。
【００５５】
ここで、図５は、エッジ移動検出ユニット２５の概略構成を示すブロック図である。
エッジ移動検出ユニット２５では、対象画素Ｇn,mから予め規定された位置関係にある画素を基準画素Ｇc,dとして（ｃ，ｄは、［ｃ≦Ｎ，ｄ≦Ｍ］である）、エッジ検出ユニット１５からのエッジ検出信号Ｅiが表す信号値ＥiＧn,mが入力される毎に、その信号値ＥiＧn,mと、過去検出信号Ｆi-1が表す基準画素Ｇc,dの信号値Ｆi-1Ｇc,dとを比較し、規定方向へのエッジ位置の移動が対象画素Ｇn,mにて検出されたか否かを判定し、判定結果を示すエッジ移動信号Ｓiを出力する。
【００５６】
具体的に、本実施形態では、対象画素Ｇn,mに規定方向とは反対方向から隣接する（即ち、規定位置関係）画素を基準画素Ｇc,dとしている。つまり、このエッジ移動検出ユニット２５が第一エッジ移動検出ユニット２５ａであれば、対象画素Ｇn,mの左隣に位置する画素Ｇn-1,mを基準画素Ｇc,dとし（即ち、ｃ＝ｎ−１，ｄ＝ｍ）、このエッジ移動検出ユニット２５が第二エッジ移動検出ユニット２５ｂであれば、対象画素Ｇn,mの右隣に位置する画素Ｇn+1,mを基準画素Ｇc,dとする（即ち、ｃ＝ｎ＋１，ｄ＝ｍ）。
【００５７】
これを実現するために、エッジ移動検出ユニット２５には、エッジ位置記憶ユニット２０からの過去検出信号Ｆi-1が表す信号値Ｆi-1Ｇn+1,mを格納すると共に、基準画素Ｇc,dについての信号値Ｆi-1Ｇc,dを送出するバッファ２６と、バッファ２６から送出された過去検出信号Ｆi-1の信号値Ｆi-1Ｇc,dと、エッジ検出ユニット１５からのエッジ検出信号Ｅiが表す信号値ＥiＧn,mとを比較するエッジ移動推定部２８とが備えられている。
【００５８】
具体的には、バッファ２６は、先に入力されたものから順に出力、かつ更新しながら格納するように（いわゆるＦＩＦＯにて）構成されたものであり、少なくとも、エッジ位置記憶ユニット２０からの過去検出信号Ｆi-1が表す画素Ｇn+1,mから、基準画素Ｇc,dまでの画素分についての過去検出信号Ｆi-1が表す信号値を格納するための格納領域を有している。
【００５９】
つまり、バッファ２６の格納領域の大きさは、エッジ検出信号Ｅiが表す対象画素Ｇn,mの信号値ＥiＧn,mがエッジ移動推定部２８に入力された時に、規定画素Ｇc,dについての過去検出信号Ｆi-1が表す信号値Ｆi-1Ｇc,dが出力されるように設定されている。
【００６０】
したがって、格納領域の大きさは、規定方向に応じて異なっていても良く、具体的には、規定方向が第一方向であれば、２画素分の信号値が格納可能であれば良い。また、規定方向が第二方向であれば、０画素分の信号値が格納可能であれば良い（即ち、バッファ２６が省略されていても良い）。
【００６１】
ところで、エッジ移動推定部２８は、エッジ検出ユニット１５からのエッジ検出信号Ｅiが表す信号値ＥiＧn,mが入力される毎に、その信号値ＥiＧn,mと、バッファ２６から送出された過去検出信号Ｆi-1が表す基準画素Ｇc,dの信号値Ｆi-1Ｇc,d（本実施形態では、信号値Ｆi-1Ｇn-1,m、もしくは、信号値Ｆi-1Ｇn+1,m）とをＡＮＤ（論理積）演算する。そして、その演算結果を対象画素Ｇn,mについての信号値ＳiＧn,mとしたエッジ移動信号Ｓiを、それぞれに対応するエッジ軌跡導出ユニット３０に出力するように構成されている。
【００６２】
したがって、エッジ移動推定部２８では、エッジ検出信号Ｅiが表す信号値ＥiＧn,mがエッジ位置であることを示しており（即ち、信号値ＥiＧn,m＝１）、かつ過去検出信号Ｆi-1のが表す信号値Ｆi-1Ｇc,dがエッジ位置であること（即ち、信号値Ｆi-1Ｇc,d＝１）を示している場合、エッジ位置の移動が対象画素Ｇn,mにて検出されたものとして、ハイレベルな信号値ＳiＧn,m（即ち、ＳiＧn,m＝１）としたエッジ移動信号Ｓiを出力する。なお、それ以外の場合には、エッジ位置の移動が対象画素Ｇn,mにて検出されなかったものとして、ローレベルな信号値ＳiＧn,m（即ち、ＳiＧn,m＝０）としたエッジ移動信号Ｓiを出力する。
【００６３】
なお、第一エッジ移動検出ユニット２５ａと、第二エッジ移動検出ユニット２５ｂとでは、規定方向が異なるのみである。このため、第一エッジ移動検出ユニット２５ａと、第二エッジ移動検出ユニット２５ｂとは、バッファ２６の格納領域の大きさの他は、同一の構成を有している。
【００６４】
また、ここで言う「エッジ位置の移動が対象画素Ｇn,mにて検出された」とは、ｉ−１フレーム目の処理にてエッジ位置と判定された画素と、ｉフレーム目の処理にてエッジ位置と判定された画素とが規定方向に沿って隣接する場合に、エッジ位置が移動したものとみなす（推定する）ことである。
〈エッジ軌跡導出ユニットについて〉
次に、エッジ軌跡導出ユニット３０について説明する。なお、第一エッジ軌跡導出ユニット３０ａと、第二エッジ軌跡導出ユニット３０ｂとは、同様に構成されているため、ここでは、まとめて説明する。
【００６５】
また、エッジ軌跡導出ユニット３０についての説明では、エッジ軌跡導出ユニット３０に入力されるエッジ移動信号Ｓiが表す信号値の画素を対象画素Ｇn,mとする。
ここで、図６は、エッジ軌跡導出ユニット３０の概略構成を示すブロック図である。
【００６６】
エッジ軌跡導出ユニット３０では、対象画素Ｇn,mがエッジ軌跡を構成するもの（以下、軌跡構成画素とする）であるか否かを判定し、その結果を示す軌跡信号Ｔiを出力する。  なお、以下では、１フレーム前（ｉ−１）の処理までに対象画素Ｇn,mが軌跡画素であるか否かを判定した判定結果を累積軌跡信号Ｕとし、対象画素Ｇn,mについての信号値をＵＧn,mと記す。
【００６７】
これを実現するために、エッジ軌跡導出ユニット３０には、累積軌跡信号Ｕが表す信号値を格納する第二メモリ３２と、第二メモリ３２に格納された累積軌跡信号Ｕが表す対象画素Ｇn,mの信号値ＵＧn,mと、エッジ移動信号Ｓiが表す対象画素Ｇn,mの信号値ＳiＧn,mとに基づき、軌跡信号Ｔiを出力する軌跡判定部３１とが備えられている。
【００６８】
第二メモリ３２は、読出し及び書込みのいずれもが可能に構成されたものであり、少なくとも、累積軌跡信号Ｕが表すＮ×Ｍ画素分の信号値を格納するための格納領域を有している。
【００６９】
一方、軌跡判定部３１は、エッジ移動検出ユニット２５からのエッジ移動信号Ｓiが表す対象画素Ｇn,mの信号値ＳiＧn,mが入力される毎に、累積軌跡信号Ｕが表す対象画素Ｇn,mの信号値ＵＧn,mを第二メモリ３２から読出し、その信号値ＵＧn,mと、入力されたエッジ移動信号Ｓiが表す信号値ＳiＧn,mとを比較する。
【００７０】
そして、軌跡判定部３１では、比較の結果、累積軌跡信号Ｕが表す信号値ＵＧn,mと、エッジ移動信号Ｓiが表す信号値ＳiＧn,mとの少なくともいずれか一方が、ハイレベルであれば（即ち、論理和演算の結果が真、よって、信号値ＳiＧn,mが、エッジ位置の移動を対象画素Ｇn,mにて検出、もしくは、信号値ＵＧn,mが、対象画素Ｇn,mが軌跡構成画素であると一度でも判定したことを示している場合）、対象画素Ｇn,mが軌跡構成画素であるものと判定して、対象画素Ｇn,mについての信号値ＴiＧn,mをハイレベルとした軌跡信号Ｔiを出力する。
【００７１】
また、軌跡判定部３１では、比較の結果、信号値ＵＧn,mと、信号値ＳiＧn,mとのいずれもがローレベル（即ち、論理和演算の結果が偽）であれば、対象画素Ｇn,mが軌跡構成画素ではないものと判定して、対象画素Ｇn,mについての信号値ＴiＧn,mをローレベルとした軌跡信号Ｔiを出力する。
【００７２】
さらに、軌跡判定部３１は、軌跡信号Ｔiが表す信号値ＴiＧn,mを累積軌跡信号Ｕが表す信号値ＵＧn,mとして第二メモリ３２に格納する（即ち、累積軌跡信号Ｕの信号値ＵＧn,mを更新する）。
【００７３】
ただし、軌跡判定部３１は、累積軌跡信号Ｕが表す対象画素Ｇn,mの信号値ＵＧn,mをハイレベルとして、第二メモリ３２に最初に格納してから、予め規定された規定数フレーム分（本実施形態では、１５０フレーム（即ち、撮影装置５から５秒間に出力されるフレームの数）とする）の処理が行われると、第二メモリ３２に格納され、累積軌跡信号Ｕが表す対象画素Ｇn,mについての信号値ＵＧn,mを初期値、即ち、ローレベルに戻すように構成されている。
【００７４】
したがって、軌跡信号Ｔｉが表す対象画素Ｇn,mの信号値ＴiＧn,mが最初にハイレベルとなってから、規定数プラス１フレーム目に処理を実行する場合、エッジ軌跡導出ユニット３０では、第二メモリ３２に格納され、累積軌跡信号Ｕが表す信号値ＵＧn,mがローレベルであるため、エッジ移動信号Ｓiが表す信号値ＳiＧn,mが、そのまま軌跡信号Ｔiの信号値ＴiＧn,mとなる。
【００７５】
なお、以下では、第一エッジ軌跡導出ユニット３０ａにて生成される軌跡信号Ｔiを第一軌跡信号Ｔ1i、第二エッジ軌跡導出ユニット３０ｂにて生成される軌跡信号Ｔiを第二軌跡信号Ｔ2iと称す。
〈動き判定ユニットについて〉
次に、動き判定ユニット３５について説明する。なお、動き判定ユニット３５についての説明では、動き判定ユニット３５に入力される軌跡信号Ｔi（ここでは、第一軌跡信号Ｔ1i、第二軌跡信号Ｔ2iとのいずれも）が表す信号値の画素を対象画素Ｇn,mとする。
【００７６】
ここで、図７は、動き判定ユニット３５の概略構成を示すブロック図である。
動き判定ユニット３５は、第一エッジ軌跡導出ユニット３０ａから出力された第一軌跡信号Ｔ1iが表す信号値Ｔ1iＧn,mと、第二エッジ軌跡導出ユニット３０ｂから出力された第二軌跡信号Ｔ2iが表す信号値Ｔ2iＧn,mとを論理演算する論理演算部３６と、論理演算部３６での論理演算結果に基づいて、撮影画像に写り込んだ物体が動いているか否かを判定する動き判定部４１とを備えている。
【００７７】
論理演算部３６は、第一軌跡信号Ｔ1iが表す信号値Ｔ1iＧn,mと、第二軌跡信号Ｔ2iが表す信号値Ｔ2iＧn,mとを入力とした論理積（ＡＮＤ）を求め、その論理積演算の結果を対象画素Ｇn,mについての信号値ＲiＧn,mとした演算結果信号Ｒiを動き判定部４１に出力するように構成されている。
【００７８】
一方、動き判定部４１は、論理演算部３６からの演算結果信号Ｒiが表す信号値ＲiＧn,mに基づき、信号値ＲiＧn,mがハイレベルである画素により形成される特定領域を抽出するラベリング演算部３７と、ラベリング演算部３７にて抽出された特定領域に基づき、物体の動きを判定するための指標である特徴量を演算する特徴量演算部３８と、特徴量演算部３８で演算された特徴量に基づいて、物体が動いているか否かを判定する移動判定部４０とを備えている。
【００７９】
ラベリング演算部３７では、演算結果信号Ｒiが表す信号値ＲiＧn,mがハイレベルである画素のうち、隣接するもの同士をグルーピングして画素群を生成し、各画素群のそれぞれにラベルを割り当てる周知のラベリングを実行し、ラベルが割り当てられた画素群を特定領域として抽出する。
【００８０】
なお、本実施形態のラベリング演算部３７では、演算信号Ｒiが表す画素の入力順である第一検査方向（即ち、１回目のラベリング）と、第一検査方向とは直交する方向である第二検査方向（即ち、２回目のラベリング）との二回に渡りラベリングを実行するようにされている。また、ラベリング演算部３７で割り当てられるラベルの最大数を２５６とする。
【００８１】
さらに、ラベリング演算部３７は、抽出された特定領域を構成する画素（以下、構成画素とする）についての情報（例えば、全構成画素の座標等、以下、座標情報とする）を特徴量演算部３８に出力する。
【００８２】
特徴量演算部３８は、ラベリング演算部３７から出力された座標情報をそれぞれの特徴領域毎に格納するレジスタ３９を備え、レジスタ３９に格納された各座標情報に基づいて、それぞれの特徴領域における規定方向に接続された画素の数を特徴量として算出するように構成されている。なお、ここで言う規定方向とは、第一方向もしくは第二方向のいずれかである。
【００８３】
そして、移動判定部４０は、特徴量演算部３８で算出された特徴量が、予め規定された規定値以上であるか否かを判定し、判定の結果、規定値以上であれば、撮影画像に写り込んだ物体が往復運動したものと判定し、当該動き判定装置１０に接続された各種装置（図示せず）に、物体が往復運動したことを示す動き検出信号を送信するように構成されている。
【００８４】
つまり、動き判定ユニット３５では、論理演算部３６にて、第一軌跡情報Ｔ1iが表す信号値Ｔ1iＧn,mと、第二軌跡情報Ｔ2iが表す信号値Ｔ2iＧn,mとの論理積を画素毎に演算し、ラベリング演算部３７にて、論理演算部３６で演算された論理積が真である画素により形成される特徴領域を抽出する。そして、特徴量演算部３８にて、各特徴領域の規定方向に隣接する画素の数を特徴量として算出し、移動判定部４０にて、その特徴量が規定値以上であるか否かを判定し、規定値以上であれば、物体が動いているものと判定する。
〈動き判定装置全体の動作〉
ここで、図１９は、動き判定装置１０にて各信号を生成するために要する時間を説明するための説明図である。
【００８５】
図１９に示すように、エッジ検出フィルタ１３では、フィルタ処理に必要な走査列分の画素値ＰiＧn,mをバッファに蓄積する必要があるため、動き判定装置１０への撮影画像（図中、画像信号Ｐi）の入力が開始（画像信号Ｐiの画素値ＰiＧ1,1が入力）されてから、Ｙ方向に１画素、Ｘ方向に１画素分遅れて、強調信号Ｑiの信号値ＱiＧ1,1の出力が開始される。
【００８６】
そして、エッジ検出ユニット１５、エッジ移動検出ユニット２５（ここでは、第一２５ａ，２５ｂのいずれも）、エッジ軌跡導出ユニット３０（ここでは、第一３０ａ，３０ｂのいずれも）、論理演算部３６は、今回取得された撮影画像については、一つ前のユニットにて出力された対象画素Ｇn,mに対する処理結果のみを用いるため、一つ前のユニットからの出力よりも１画素分（理想的には、１クロック）遅れて、エッジ検出信号Ｅiの信号値ＥiＧn,m、エッジ移動信号Ｓiの信号値ＳiＧn,m、軌跡信号Ｔiの信号値ＴiＧn,m、論理演算信号Ｒiの信号値ＲiＧn,mが出力されることになる。
【００８７】
つまり、エッジ検出ユニット１５、エッジ移動検出ユニット２５、エッジ軌跡導出ユニット３０、論理演算部３６では、いわゆるパイプライン処理のように、１画素ずつ順次処理が実行されることになる。
〈動き判定装置の動作例〉
次に、動き判定装置１０の動作例について説明する。
【００８８】
ここで、図１３は、エッジ検出ユニット１５、エッジ位置記憶ユニット２０、及び第一エッジ軌跡導出ユニット３０ａから出力される各種信号の概要（イメージ）を説明するための説明図である。
【００８９】
なお、図１３では、画素数をＮ＝４、Ｍ=３とし、網掛けされた画素の信号値がハイレベル（即ち、エッジ位置や、エッジ軌跡を形成する画素であることを示し）、網掛けされていない画素の信号値がローレベルであることを示すものとする。
【００９０】
この図１３では、動き判定装置１０に入力された撮影画像が１フレーム目であれば、エッジ検出ユニット１５は、各画素がエッジ位置であるか否かを判定し、エッジ位置であるものと判定した画素Ｇ1,2の信号値Ｅ1Ｇ1,2のみをハイレベルとし、それ以外に関しては、信号値（Ｅ1Ｇ1〜4,2，Ｅ1Ｇ2〜4,2，Ｅ1Ｇ1〜4,3）をローレベルとしたエッジ検出信号Ｅ1を出力する。
【００９１】
一方、エッジ位置記憶ユニット２０や、第一エッジ軌跡導出ユニット３０ａでは、これより前に動き判定装置１０に撮影画像が入力されておらず、エッジ位置が移動したか否かを判定不能であるため、過去検出信号Ｆiの信号値Ｆ1Ｇ1〜4,1〜3や、第一軌跡信号Ｔ11の信号値Ｔ11Ｇ1〜4,1〜3は、ローレベルなものとなる。
【００９２】
そして、動き判定装置１０に入力された撮影画像が２フレーム目であれば、エッジ検出ユニット１５では、撮影画像が１フレーム目であるときと同様に、各画素がエッジ位置であるか否かを判定し、エッジ位置であるものと判定した画素Ｇ2,2の信号値Ｅ2Ｇ2,2のみをハイレベルとし、それ以外に関しては、信号値（Ｅ2Ｇ1〜4,2，Ｅ2Ｇ1,2，Ｅ2Ｇ3〜4,2，Ｅ2Ｇ1〜4,3）をローレベルとしたエッジ検出信号Ｅ2を出力する。
【００９３】
一方、この図１３に示す例では、第一エッジ移動検出ユニット２５ａは、順次入力されるエッジ検出信号Ｅiの信号値Ｅ2Ｇ1〜4,1、OR1〜4,2、OR1〜4,3と、過去検出信号Ｆiの信号値Ｆ1Ｇ1〜4,1、OR1〜4,2、OR1〜3,3とを比較し、エッジ位置が移動したものとみなせる画素Ｇ2,2についての信号値Ｓ2Ｇ2,2のみをハイレベルとし、それ以外に関しては、ローレベルな信号値（Ｓ2Ｇ1〜4,2，Ｓ2Ｇ1,2，Ｓ2Ｇ3〜4,2，Ｓ2Ｇ1〜4,3）のエッジ移動信号Ｓ2を出力する。そして、第一エッジ軌跡導出ユニット３０ａは、エッジ移動信号Ｓ2がハイレベルな画素Ｇ2,2のみ、ハイレベルな第一軌跡信号Ｔ12の信号値Ｔ12Ｇ2,2を出力する。
【００９４】
３フレーム以降、エッジ検出ユニット１５、エッジ位置記憶ユニット２０、第一エッジ移動検出ユニット２５ａは、第二フレームまでと同様に動作し、第一エッジ軌跡導出ユニット３０ａは、エッジ軌跡を構成するものと判定した画素（図１３の３フレーム目であれば、Ｇ2,2，Ｇ2,3、４フレーム目であれば、Ｇ2,2，Ｇ2,3，Ｇ2,4）のみ、信号値（図１３の３フレーム目であれば、Ｔ12Ｇ2,2，Ｔ12Ｇ2,3、４フレーム目であれば、Ｔ12Ｇ2,2，Ｔ12Ｇ2,3，Ｔ12Ｇ2,4）をハイレベルとした第一軌跡信号Ｔ12を出力する。したがって、第一エッジ軌跡導出ユニット３０ａから出力される第一軌跡信号Ｔ1iは、エッジ位置が移動した距離（軌跡）が長ければ長いほど、隣接する画素数が多くなることを示す。
【００９５】
ここで、図１４は、動き判定ユニット３５における処理の概要（イメージ）を示した説明図である。
例えば、図１４に示すように、先行車両の後部が写り込んだ撮影画像が、１フレーム目から３フレーム目までに動き判定装置１０に入力されたものとする。
【００９６】
この時、１フレーム目から２フレーム目までの間に、撮影画像に写り込んだ先行車両が第二方向へと移動した場合、第二エッジ軌跡導出ユニット３０ｂから出力される第二軌跡信号Ｔ22は、先行車両の右端、及び左端が第二方向へと移動した軌跡（図中、着色された領域）を示したものとなる。
【００９７】
一方、２フレーム目から３フレーム目までの間に、撮影画像に写り込んだ先行車両が第一方向へと移動した場合、第一エッジ軌跡導出ユニット３０ａから出力される第一軌跡信号Ｔ13は、先行車両の右端、及び左端が、第一方向へと移動した軌跡（図中、着色された領域）を示したものとなる。ただし、１フレーム目から２フレーム目までの間に、先行車両が第二方向へと移動したため、この２フレーム目から３フレーム目までの間に、第二エッジ軌跡導出ユニット３０ｂから出力される第二軌跡信号Ｔ23は、先行車両の右端、及び左端が第二方向へと移動した軌跡を示したものとなる。
【００９８】
さらに、撮影画像が３フレーム目であれば、動き判定ユニット３５では、これら第一軌跡信号Ｔ13、及び第二軌跡信号Ｔ23の論理積を演算することで、図１４に示すような第一方向への軌跡と、第二方向への軌跡の重複する領域を抽出する（図中、ＡＮＤ演算結果）。そして、重複する領域の規定方向への大きさが規定値以上であれば、移動判定部４０が、先行車両が動いている、即ち、先行車両が往復運動しているものと判断する。
【００９９】
つまり、本実施形態の動き判定ユニット３５では、第一軌跡信号Ｔ1iが表す信号値Ｔ1iＧn,mと、第二軌跡信号Ｔ2iが表す信号値Ｔ2iＧn,mとの論理積を演算することにより、第一方向への軌跡と、第二方向への軌跡とが重複する領域を抽出している。
【０１００】
なお、本実施形態において、エッジ検出ユニット１５が本発明の端部判定ユニットに、エッジ位置記憶ユニット２０が過去情報保持ユニットに、第一エッジ移動検出ユニット２５ａ、及び第二エッジ移動検出ユニット２５ｂが本発明の移動判定ユニットに、第一エッジ軌跡導出ユニット３０ａ、第二エッジ軌跡導出ユニット３０ｂが本発明の軌跡情報生成ユニットに、動き判定ユニット３５が本発明の動き判定ユニットに相当する。
［第一実施形態の効果］
以上説明したように、上記実施形態の動き判定装置１０では、撮影画像に写り込んだ物体の重心座標を求めること無く、物体の動きを判定している。したがって、動き判定装置１０によれば、重心座標を求めるための除算を実行する必要が無いため、従来の動き判定装置と異なり、高速で物体の動きを判定することができる。
【０１０１】
さらに、動き判定装置１０によれば、各ユニットにおいて、各信号が表す対象画素Ｇn,mが入力される毎に、メモリ等に格納された信号値の中から、対象画素Ｇn,mに対して予め規定された画素の信号を自動的に出力するように構成されているため、従来の装置と異なり、メモリ等に格納された信号値の中から必要な信号値を探索する処理（即ち、リスト探索）を不要なものとすることができる。
【０１０２】
これらの結果、動き判定装置１０によれば、除算や、リスト探索等のように、物体の動きを判定するために実施される他の動作と比べて、極端に時間を要する（即ち、ボトルネックとなる）動作を含むことなく、エッジ検出ユニット１５、エッジ移動検出ユニット２５（ここでは、第一２５ａ，２５ｂのいずれも）、エッジ軌跡導出ユニット３０（ここでは、第一３０ａ，３０ｂのいずれも）、論理演算部３６までの処理を実行することができる。
【０１０３】
特に、動き判定装置１０によれば、今回のフレームにて取得した撮影画像からは、対象画素Ｇn,m以外の画素に対する結果を用いること無く、演算結果信号Ｒiの信号値ＲiＧn,mまでを出力することができる。
【０１０４】
つまり、上記実施形態の動き判定装置１０によれば、エッジ検出ユニット１５から論理演算部３６までの動作を、いわゆるパイプライン処理のように、１画素ずつ順次実行することができる。
【０１０５】
なお、上記実施形態の動き判定装置１０によれば、ラベリング演算部３７における１回目のラベリングを演算信号Ｒiが表す画素の入力順に従って実施しているため、演算信号Ｒiの出力が開始されてから２回目のラベリングが終了（即ち、特徴領域を抽出）するまでに、特徴量演算部３８が待機する時間を短縮することができる。
【０１０６】
また、動き判定装置１０によれば、第一軌跡信号Ｔ1iが表す信号値Ｔ1iＧn,mと、第二軌跡信号Ｔ2iが表す信号値Ｔ2iＧn,mとの論理積に基づいて、撮影画像に写り込んだ先行車両の動きを判定しているため、先行車両が往復運動しているか否かを判定することができる。
【０１０７】
なお、動き判定装置１０によれば、エッジ軌跡導出ユニット３０が、軌跡信号Ｔiが表す対象画素Ｇn,mの信号値ＴiＧn,mが最初にハイレベルとなった後、規定数フレーム分の処理が経過すると、その対象画素Ｇn,mについての累積軌跡信号Ｕが表す信号値ＵＧn,mを初期値に戻すように構成されているため、新たな判定結果が、過去（規定数フレームよりも前）の判定結果に埋もれることで、利用されなくなることを低減できる。
【０１０８】
このため、動き判定装置１０によれば、例えば、今まで検出対象としていた物体とは異なる新たな物体が写り込んだとしても、その物体の動きを判定することができる。
［第二実施形態］
次に、第二実施形態について説明する。
【０１０９】
第一実施形態で示した動き判定装置１０と第二実施形態で説明する動き判定装置とでは、動き判定ユニット３５が異なるのみである。このため、第一実施形態と同様の構成については、同一符号を付して説明を省略し、第一実施形態とは異なる動き判定ユニットを中心に説明する。
【０１１０】
ここで、図８は、第二実施形態における動き判定ユニットの概略構成を示したブロック図である。
なお、動き判定ユニット３５ａについての説明では、動き判定ユニット３５ａに入力された軌跡信号Ｔi（ここでは、第一軌跡信号Ｔ1i、第二軌跡信号Ｔ2iとのいずれも）が表す信号値ＴiＧm,mの画素を対象画素Ｇn,mとする。
【０１１１】
動き判定ユニット３５ａは、第一エッジ軌跡導出ユニット３０ａから出力された第一軌跡信号Ｔ1iが表す信号値Ｔ1iＧn,mと、第二エッジ軌跡導出ユニット３０ｂから出力された第二軌跡信号Ｔ2iが表す信号値Ｔ2iＧn,mとを論理演算する論理演算部３６ａと、論理演算部３６ａでの論理演算結果に基づいて、撮影画像に写り込んだ物体が動いているか否かを判定する動き判定部４１とを備えている。
【０１１２】
論理演算部３６ａは、第一軌跡信号Ｔ1iが表す信号値Ｔ1iＧn,mと、第二軌跡信号Ｔ2iが表す信号値Ｔ2iＧn,mとを入力とした論理和（ＯＲ）を求め、その論理和演算の結果を対象画素Ｇn,mについての信号値ＲiＧn,mとした演算結果信号Ｒiを動き判定部４１に出力するように構成されている。
【０１１３】
なお、動き判定部４１は、ラベリング演算部３７が論理演算部３６ａから出力される論理和の演算結果に対してラベリングを実行することの他は、第一実施形態と同様であるため、ここでの説明は省略する。
【０１１４】
次に、第二実施形態における動き判定ユニット３５の動作例を説明する。
図１５は、動き判定ユニット３５における処理の概要（イメージ）を示した説明図である。
【０１１５】
例えば、図１５に示すように、先行車両の後部が写り込んだ撮影画像が、１フレーム目から３フレーム目までに動き判定装置１０に入力されたものとする。
この時、１フレーム目から２フレーム目までの間に、撮影画像に写り込んだ先行車両が第二方向へと移動した場合、第二エッジ軌跡導出ユニット３０ｂから出力される第二軌跡信号Ｔ22は、先行車両の右端、及び左端が第二方向へと移動した軌跡（図中、着色された領域）を示したものとなる。
【０１１６】
一方、２フレーム目から３フレーム目までの間に、撮影画像に写り込んだ先行車両が第一方向へと移動した場合、第一エッジ軌跡導出ユニット３０ａから出力される第一軌跡信号Ｔ13は、先行車両の右端、及び左端が、第一方向へと移動した軌跡（図中、着色された領域）を示したものとなる。ただし、１フレーム目から２フレーム目までの間に、先行車両が第二方向へと移動したため、この２フレーム目から３フレーム目までの間に、第二エッジ軌跡導出ユニット３０ｂから出力される第二軌跡信号Ｔ23は、先行車両の右端、及び左端が第二方向へと移動した軌跡を示したものとなる。
【０１１７】
さらに、撮影画像が３フレーム目であれば、動き判定ユニット３５では、これら第一軌跡信号Ｔ13の信号値Ｔ13Ｇn,mと、第二軌跡信号Ｔ23の信号値Ｔ23Ｇn,mとの論理和を演算することで、図１５に示すような第一方向への軌跡と、第二方向への軌跡との少なくともいずれか一方が、エッジ軌跡であることを示す画素を抽出する。そして、抽出した画素の規定方向に隣接する数が規定値以上であれば、移動判定部４０が、前方車両が動いている、即ち、前方車両が動体であるものと判断する。
【０１１８】
つまり、本実施形態の動き判定ユニット３５ａでは、第一軌跡信号Ｔ1iの信号値Ｔ1iＧn,mと、第二軌跡信号Ｔ2iの信号値Ｔ2iＧn,mとの論理和を演算することにより、第一方向への軌跡と、第二方向への軌跡との少なくともいずれか一方が、エッジ軌跡であることを示す領域を抽出している。
［第二実施形態の効果］
以上説明したように、本実施形態の動き判定装置によれば、第一方向への軌跡と、第二方向への軌跡との少なくともいずれか一方が、エッジ軌跡であることを示す領域を抽出するため、撮影画像に写り込んだ物体が静止物であるか移動物であるかを、従来の装置に比べて高速に判定することができる。
［第三実施形態］
次に、第三実施形態について説明する。
【０１１９】
第一実施形態で示した動き判定装置１０と第三実施形態で説明する動き判定装置とでは、動き判定ユニット３５が異なるのみである。このため、第一実施形態と同様の構成については、同一符号を付して説明を省略し、第一実施形態とは異なる動き判定ユニットを中心に説明する。
【０１２０】
ここで、図９は、第三実施形態における動き判定ユニットの概略構成を示したブロック図である。
なお、動き判定ユニット３５ｂについての説明では、動き判定ユニット３５ｂに入力された軌跡信号Ｔi（ここでは、第一軌跡信号Ｔ1i、第二軌跡信号Ｔ2iとのいずれも）が表す信号値ＴiＧm,mの画素を対象画素Ｇn,mとする。
【０１２１】
動き判定ユニット３５ｂは、第一エッジ軌跡導出ユニット３０ａから出力された第一軌跡信号Ｔ1iが表す信号値Ｔ1iＧn,mと、第二エッジ軌跡導出ユニット３０ｂから出力された第二軌跡信号Ｔ2iが表す信号値Ｔ2iＧn,mとを論理演算する論理演算部３６ｂと、論理演算部３６ｂでの論理演算結果に基づいて、撮影画像に写り込んだ物体が動いているか否かを判定する動き判定部４１とを備えている。
【０１２２】
論理演算部３６ｂは、第一軌跡信号Ｔ1iが表す信号値Ｔ1iＧn,mと、第二軌跡信号Ｔ2iが表す信号値Ｔ2iＧn,mとを入力とした排他的論理和（ＸＯＲ）を求め、その排他的論理和演算の結果を対象画素Ｇn,mについての信号値ＲiＧn,mとした演算結果信号Ｒiを動き判定部４１に出力するように構成されている。
【０１２３】
なお、動き判定部４１は、ラベリング演算部３７が論理演算部３６ａから出力される論理和の演算結果に対してラベリングを実行することの他は、第一実施形態と同様であるため、ここでの説明は省略する。
【０１２４】
つまり、本実施形態の動き判定ユニット３５ｂでは、第一軌跡信号Ｔ1iが表す信号値Ｔ1iＧn,mと、第二軌跡信号Ｔ2iが表す信号値Ｔ2iＧn,mとの排他的論理和を演算することにより、第一方向への軌跡と、第二方向への軌跡とのいずれか一方が、エッジ軌跡であることを示す領域を抽出している。
［第三実施形態の効果］
以上説明したように、本実施形態の動き判定装置によれば、撮影画像に写り込んだ物体が一方向に移動しているか否かを、従来の装置に比べて高速に判定することができる。
［第四実施形態］
次に、第四実施形態について説明する。
【０１２５】
第一実施形態で示した動き判定装置１０と、第四実施形態における動き判定装置とでは、多くの構成が共通している。このため、第一実施形態と同様の構成については、同一符号を付して説明を省略し、第一実施形態とは異なる構成を中心に説明する。
【０１２６】
ここで、図１０は、第四実施形態における動き判定装置の概略構成を示した説明図である。
図１０に示すように、動き判定装置１１は、エッジ検出フィルタ１３と、エッジ検出ユニット１５と、エッジ位置記憶ユニット２０と、第一エッジ移動検出ユニット２５ａと、第一エッジ軌跡導出ユニット３０ａと、第二エッジ移動検出ユニット２５ｂと、第二エッジ軌跡導出ユニット３０ｂとを備えている。さらに、撮影装置５からの画像信号Ｐiに基づき、撮影画像に写り込んだ物体を表す物体領域を認識する物体認識ユニット５０と、第一エッジ軌跡導出ユニット３０ａから出力された第一軌跡信号Ｔ1i、第二エッジ軌跡導出ユニット３０ｂから出力された第二軌跡信号Ｔ2i、及び物体認識ユニット５０で認識された物体領域に基づいて、物体が動いているか否かを判定する動き判定ユニット６０とを備えている。
〈物体認識ユニット〉
次に、物体認識ユニット５０について説明する。
【０１２７】
ここで、図１１は、物体認識ユニット５０の概略構成を示したブロック図である。
物体認識ユニット５０は、撮影装置５からの画像信号Ｐiが表す画素値ＰiＧn,mを二値化する二値化処理部５１と、二値化処理部５１にて二値化された二値化画像に基づき、物体領域を抽出するラベリング処理部５２と、ラベリング処理部５２にて抽出された物体領域の座標を求める領域演算部５３とを備えている。
【０１２８】
具体的に、二値化処理部５１では、撮影装置５からの画像信号Ｐiが表す画素値ＰiＧn,mが、予め規定された第二閾値未満であれば、信号値ＶiＧn,mをローレベル(即ち、０)、第二閾値以上であれば、信号値ＶiＧn,mをハイレベル（即ち、１）とした二値化信号Ｖiを出力する。つまり、二値化処理部５１では、撮影装置５にて撮影された撮影画像内において、輝度値が第二閾値以上である画素を物体を表すものとし、その画素をハイレベルとした二値化画像を生成している。
【０１２９】
また、ラベリング処理部５２では、二値化処理部５１から入力された二値化信号Ｖiが表す信号値ＶiＧn,mがハイレベルである画素のうち、隣接するもの同士をグルーピングして画素群を生成し、各画素群のそれぞれにラベルを割り当てる周知のラベリングを実行し、ラベルが割り当てられた画素群を物体領域として抽出する。
【０１３０】
なお、本実施形態のラベリング処理部５２では、二値化信号Ｖiが表す画素の入力順である第一検査方向（即ち、１回目のラベリング）と、第一検査方向とは直交する方向である第二検査方向（即ち、２回目のラベリング）との二回に渡りラベリングを実行するようにされている。また、ラベリング処理部５２で割り当てられるラベルの最大数を２５６とする。
【０１３１】
さらに、ラベリング演算部５２は、抽出された特定領域を構成する画素（以下、構成画素とする）についての情報（例えば、全構成画素の座標等、以下、座標情報とする）を領域演算部５３に出力する。
【０１３２】
領域演算部５３は、ラベリング処理部５２にて抽出された物体領域を、それぞれ個別に格納するレジスタ５４を備え、レジスタ５４に格納された物体領域を構成する画素に基づき、物体領域の大きさ、及び位置を表す外接矩形を求める。
【０１３３】
具体的に、本実施形態における領域演算部５３で求められる外接矩形は、物体領域を構成する画素の中で、Ｘ方向、もしくはＹ方向の少なくともいずれかの座標が最小、または最大となる画素（以下、この画素の座標を矩形座標とする）を検出し、それぞれの画素を通過するように各辺が設定されたものである。したがって、外接矩形は、物体領域を内包したものとなる。
【０１３４】
つまり、物体認識ユニット５０では、撮影装置５から入力される画像信号Ｐiに基づいて、撮影画像中に写り込んだ物体が位置しているものと推定される領域（即ち、外接矩形）を認識する。
〈動き判定ユニットについて〉
次に、動き判定ユニット６０について説明する。
【０１３５】
ここで、図１２は、動き判定ユニット６０の概略構成を示したブロック図である。
動き判定ユニット６０は、第一軌跡信号Ｔ1iが表すエッジ軌跡（以下、第一エッジ軌跡とする）を抽出する第一ラベリング演算部６１ａと、第二軌跡信号Ｔ2iが表すエッジ軌跡（以下、第二エッジ軌跡とする）を抽出する第二ラベリング演算部６１ｂと、第一ラベリング演算部６１ａにて抽出された第一エッジ軌跡、第二ラベリング演算部６１ｂで抽出された第二エッジ軌跡、及び物体認識ユニット５０で認識された外接矩形に基づき、それらのエッジ軌跡と撮影画像中の物体とを対応付ける物体判定部６２と、物体判定部６２にて対応付けされたエッジ軌跡の特徴量を算出する特徴量演算部６３と、特徴量演算部６３で算出された特徴量に基づいて、物体の動きを判定する移動判定部６５とを備えている。
【０１３６】
第一ラベリング演算部６１ａ、及び第二ラベリング演算部６１ｂは、それぞれ、第一軌跡信号Ｔ1i、及び第二軌跡信号Ｔ2iを入力として、ラベリングを実行することで、抽出される対象がエッジ軌跡となったことの他は、第一実施形態のラベリング演算部６１と同様であるため、ここでの詳しい説明は省略する。
【０１３７】
また、物体判定部６２は、第一ラベリング演算部６１ａにて抽出された第一エッジ軌跡と、第二ラベリング演算部６１ｂにて抽出された第二エッジ軌跡とが、撮影画像中の同一物体のエッジであるか否かを判定する。
【０１３８】
具体的に、物体判定部６２では、物体認識ユニット５０から外接矩形（より正確には、矩形座標）を取得し、その外接矩形の内側に、第一エッジ軌跡、及び第二エッジ軌跡が位置する場合、それらの第一エッジ軌跡、及び第二エッジ軌跡が同一物体のエッジであるものとして認識する。そして、それらのエッジ軌跡に同一物体のエッジであることを示す符号を付して、特徴量演算部６３に出力する。
【０１３９】
さらに、特徴量演算部６３は、同一物体のエッジであることが示されたエッジ軌跡をそれぞれ対応するもの毎に格納するレジスタ６４を備え、各レジスタ６４に格納されたエッジ軌跡に基づいて、特徴量を算出する。
【０１４０】
具体的に、それぞれのエッジ軌跡の最小座標を示す画素（以下、最小画素とする）と、最大座標を示す画素（以下、最大画素とする）とを求め（ここでは、それぞれの規定方向に最小、最大）、その最大画素と最小画素間の規定方向の画素数を特徴量として算出する。ただし、以下では、第一エッジ軌跡から求められた特徴量を第一特徴量、第二エッジ軌跡から求められた特徴量を第二特徴量とする。
【０１４１】
そして、移動判定部６５では、第一特徴量と第二特徴量の差分、さらに、その差分の絶対値を求め、その絶対値が、予め規定された規定閾値以上であるか否かを判定する。そして、判定の結果、算出された絶対値が規定閾値以上であれば、物体が回転運動をしているものと判断し、さらに、求められた差分の符号に基づいて回転の方向を判断し、当該動き判定装置１０に接続された各種装置（図示せず）に、物体の動きを検出したことを示す動き検出信号を送信する。
〈動き判定装置の動作例〉
次に、動き判定装置１０の動作例について説明する。
【０１４２】
ここで、図１６は、動き判定ユニット６０における処理の概要（イメージ）を示した説明図である。
例えば、図１６に示すように、１フレーム目から４フレーム目までに、先行車両の後部が撮影された撮影画像が動き判定装置１０に入力されたものとする。
【０１４３】
すると、物体認識ユニット５０の二値化処理部５１では、各フレーム毎に図１６に示すような二値化画像、即ち、物体領域を抽出する。
そして、１フレーム目から４フレーム目までの間に、撮影画像に写り込んだ先行車両が旋回運動をしている場合、第一軌跡信号Ｔ1i、及び第二軌跡信号Ｔ2iは、先行車両の右端、及び左端の旋回の軌跡を示したものとなる。
【０１４４】
さらに、動き判定ユニット６０では、これら第一軌跡信号Ｔ1i、及び第二軌跡信号Ｔ2iに基づいて、第一特徴量（図中Ｌ１）と、第二特徴量（図中Ｌ２）を算出すると共に、それらの特徴量の差分（例えば、Ｌ２−Ｌ１）の絶対値を求める。そして、その求められた絶対値が規定閾値以上であれば、先行車両が旋回運動しているものと判断すると共に、差分の符号が負であれば、先行車両が右旋回しているものと判断する。
［第四実施形態の効果］
以上説明したように、本実施形態の動き判定装置１１によれば、撮影画像に写り込んだ物体が回転運動しているか否かを判定することができる。この結果、先行車両が、右左折するのか、車線変更するのかを容易に判定することができる。
【０１４５】
特に、動き判定装置１１によれば、第一特徴量と第二特徴量との差分に基づいて、物体が運動しているか否かを判定しているため、物体の回転角度を変化させた複数のテンプレートと撮影画像との比較や、オプティカルフローの統合・分析といった処理を実行する従来の装置と異なり、物体が回転運動しているか否かを高速で判定することができる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において様々な態様にて実施することが可能である。
【０１４６】
例えば、第四実施形態の動き判定装置１１における移動判定部６５は、第一特徴量と第二特徴量の差分の絶対値を求め、その絶対値が規定閾値以上であるか否かを判定するように構成されていたが、移動判定部６５は、物体判定部６２にて物体領域の内側に位置すると判定された第一特徴量と第二特徴量とに基づき、撮影画像に写り込んだ物体が移動した角度を求めるように構成しても良い。ただし、この場合、移動判定部６５は、物体が移動した角度と、第一特徴量及び第二特徴量とを予め対応付けた角度マップを参照して、物体が移動した角度を求める必要がある。
【０１４７】
このように移動判定部６５が構成された場合、第一エッジ移動検出ユニット２５ａが検出するエッジ位置の移動方向（即ち、第一方向）と、第二エッジ移動検出ユニット２５ｂが検出するエッジ位置の移動方向（即ち、第二方向）とは、直交するように設定されていていることが望ましい。具体的には、撮影画像の下から上へと向かう方向を第一方向とし、撮像画像の左から右へと向かう方向を第二方向としても良い。
【０１４８】
ただし、この場合、エッジ位置記憶ユニット２０のメモリコントローラ２１は、対象画素Ｇn,mからＹ方向へ１画素先に位置する画素Ｇn,m+1の信号値を読み出し、エッジ移動検出ユニット２５におけるバッファ２６の格納領域の大きさは、対応する方向に応じたもの（即ち、第一方向では、０画素分の信号値を、第二方向では、Ｎ画素プラス１画素分の信号値を格納可能）である必要がある。
【０１４９】
ここで、図１７は、上述した物体の移動角度を求めるように構成された動き判定装置において、第一方向（図中、下から上方向）と第二方向（図中、左から右方向）とが互いに直交する規定方向として設定された時のエッジ検出ユニット１５、及びエッジ軌跡導出ユニット３０から出力される各種信号の概要（イメージ）を説明するための説明図である。
【０１５０】
なお、図１７では、画素数をＮ＝６、Ｍ=６とし、網掛けされた画素の信号値がハイレベル（即ち、エッジ位置や、エッジ軌跡を形成する画素であることを示し）、網掛けされていない画素の信号値がローレベルであることを示すものとする。
【０１５１】
図１７に示す例では、第一軌跡信号Ｔ1iが表す第一軌跡と、第二軌跡信号Ｔ2iが表す第二軌跡とは、フレーム数が増加するにつれて、それぞれの特徴量が均等に増加している。
このため、動き判定ユニット６０では、第一特徴量と第二特徴量とに基づき、撮影画像に写りこんだ物体が、撮影画像の左下から右上へと向かう方向に４５度で移動しているものと判定することができる。特に、このように構成された動き判定装置１１によれば、たとえばアークタンジェントの計算により物体の移動角度を求める従来の装置と異なり、物体の移動する角度を高速で判定することができる。
【０１５２】
ただし、ここで言う特徴量とは、エッジ軌跡を構成する画素が規定方向に隣接する数に限るものではなく、エッジ軌跡を構成する画素の面積（即ち、総数）であっても良い。
また、上記実施形態のエッジ位置記憶ユニット２０におけるメモリコントローラ２１は、エッジ検出信号Ｅiが表す対象画素Ｇn,mの信号値ＥiＧn,mが入力されると、対象画素Ｇn,mからＸ方向へ１画素先に位置する画素Ｇn,m+1の信号値を読出し、エッジ移動検出ユニット２５に出力していたが、メモリーコントローラ２１が読み出し出力する信号値は、これに限るものではない。つまり、過去検出信号Ｆi-1が表す対象画素Ｇn,mの信号値Ｆi-1Ｇn,mが更新される前に出力されれば（即ち、対象画素Ｇn,mよりも先に位置する画素についての信号値であれば）、どの画素の信号値であっても良い。ただし、規定方向が下から上方向である場合には、対象画素Ｇn,mからＹ方向へ１画素先に位置する画素Ｇn,m+1よりも先に位置する画素の信号値を読み出し、出力する必要がある。
【０１５３】
さらに、このような場合、エッジ移動検出ユニット２５のバッファ２６は、規定方向に応じて基準画素Ｇc,dの信号値を出力するように格納領域の大きさが設定されている必要がある。例えば、規定方向が下から上方向であり、メモリコントローラ２１が対象画素Ｇn,mからＹ方向へ１画素先に位置する画素Ｇn,m+1を読み出す場合、バッファ２６は、２×Ｎ画素（即ち、２走査列）分の信号値少なくとも格納可能な格納領域を有している必要がある。
【０１５４】
つまり、エッジ移動検出ユニット２５のバッファ２６は、エッジ位置記憶ユニット２０のメモリコントローラ２１が読み出し、エッジ移動検出ユニット２５に出力する過去検出信号Ｆi-1の画素の位置に応じて設定されている必要がある。
【０１５５】
ところで、第四実施形態における物体認識ユニット５０には、撮影装置５にて撮影された撮影画像が入力されていたが、物体認識ユニット５０には、周知のビジョンチップからの出力が入力されても良い。
【０１５６】
なお、動き判定装置１０におけるエッジ軌跡導出ユニット３０では、軌跡信号Ｔiが表す対象画素Ｇn,mの信号値ＴiＧn,mが最初にハイレベルとなった後、規定数フレーム分の処理が経過すると、その対象画素Ｇn,mについての累積軌跡信号Ｕの信号値ＵＧn,mを初期値に戻すように構成されているが、予め規定された規定数フレーム分の処理が行われる毎に、累積軌跡信号Ｕが表す全ての信号値ＵＧn,mを初期値に戻すように構成されていても良い。また、エッジ移動信号Ｓiの信号値ＳiＧn,mを一度でも、ハイレベルであると認識した場合、その対象画素Ｇn,mについての累積軌跡信号Ｕの信号値ＵＧn,mをハイレベルに維持し続けるように構成しても良い。
【０１５７】
ところで、第一実施形態から第三実施形態における動き判定ユニット３５には、ラベリング演算部３７が設けられていたが、物体と背景との境界が鮮明な撮影画像を取得可能であれば、ラベリング演算部３７は、省略されていても良い。
【０１５８】
また、上記実施形態の動き認識システム１では、先行車両の動きを認識し、その認識した先行車両の動きに従って、搭載車両を自動走行させる自動走行制御等に利用したが、動き認識システム１の利用方法は、これに限るものではない。例えば、運転者の頭部を撮影して、その頭部の動きを認識すると共に、その認識した頭部の動きに基づいて、運転者の眠気を推定することに利用しても良い。
【０１５９】
なお、上記実施形態の動き判定装置１０，１１に入力されるデータは、撮影装置５にて撮影された画像であったが、動き判定装置１０，１１に入力されるデータは、これに限るものではない。例えば、レーダ装置にて取得される距離画像でも良いし、使用者が入力装置を操作した時の軌跡を取得する手書きデバイスにて生成されるものであっても良い。
【０１６０】
ただし、ここで言うレーダ装置とは、レーザ光をレーダ波として送受信するいわゆるレーザレーダ装置や、ミリ波帯域の電波をレーダ波として送受信するいわゆるミリ波レーダ装置であり、ここで言う手書きデバイスとは、いわゆる周知のタブレットや、座標認識可能な筆記用具（例えば、周知のデジタルペン等）を示すものである。
【０１６１】
特に、動き判定装置１０，１１に入力されるデータが、手書きデバイスにて生成されるものである場合、第二実施形態における動き判定ユニットと、第三実施形態における動き判定ユニットとを併用して、物体の動きを判定するようにしても良い。この場合、例えば、折り返し動作を含む文字の入力や、ジェスチャー（Ｉ字型や幅の狭いＶ字型のような完全に折り返す動作と、レやＴのような途中まで折り返す動作）が区別できる。
【０１６２】
また、上記実施形態での動き判定装置１０，１１におけるエッジ移動検出ユニット２５は、第一方向と第二方向との二つの方向へのエッジ位置の移動を検出するように設けられていたが、二つの方向に限るものではなく、上下左右の各方向毎に設けられていても良い。ただし、この場合、エッジ軌跡導出ユニット３０も合わせて設けられていることや、動き判定ユニット３５，６０がその方向に応じて特徴量を求めるように構成されている必要がある。
【図面の簡単な説明】
【０１６３】
【図１】動き認識システムの概略構成を示すブロック図である。
【図２】動き判定装置の概略構成を示すブロック図である。
【図３】エッジ検出ユニットの概略構成を示すブロック図である。
【図４】エッジ位置記憶ユニットの概略構成を示すブロック図である。
【図５】エッジ移動検出ユニットの概略構成を示すブロック図である。
【図６】エッジ軌跡導出ユニットの概略構成を示すブロック図である。
【図７】第一実施形態における動き判定ユニットの概略構成を示すブロック図である。
【図８】第二実施形態における動き判定ユニットの概略構成を示すブロック図である。
【図９】第三実施形態における動き判定ユニットの概略構成を示すブロック図である。
【図１０】第四実施形態における動き判定装置の概略構成を示すブロック図である。
【図１１】物体認識ユニットの概略構成を示すブロック図である。
【図１２】第四実施形態における動き判定ユニットの概略構成を示すブロック図である。
【図１３】エッジ検出ユニットからエッジ軌跡導出ユニットが出力する信号のイメージを説明するための説明図である。
【図１４】第一実施形態の動き判定ユニットにおける判定のイメージを説明するための説明図である。
【図１５】第二実施形態の動き判定ユニットにおける判定のイメージを説明するための説明図である。
【図１６】第四実施形態の動き判定ユニットにおける判定のイメージを説明するための説明図である。
【図１７】第四実施形態における動き判定装置の変形例において、エッジ検出ユニットからエッジ軌跡導出ユニットで出力される出力信号のイメージを説明するための説明図である。
【図１８】撮影装置にて撮影される撮影画像、及び画像信号を説明するための説明図である。
【図１９】動き判定装置にて生成される各種信号を説明するための説明図である。
【図２０】フィルタ処理に用いる画素値を説明するための説明図である。
【符号の説明】
【０１６４】
１…動き認識システム  ５…撮影装置  １０…動き判定装置  １５…エッジ検出ユニット  １６…エッジ検出フィルタ  １７…二値化ユニット  ２０…エッジ位置記憶ユニット  ２１…メモリコントローラ  ２２…第一メモリ  ２５…エッジ移動検出ユニット（２５ａ，２５ｂ…第一，第二エッジ移動検出ユニット）  ２６…バッファ  ２８…エッジ移動推定部  ３０…エッジ軌跡導出ユニット（３０ａ，３０ｂ…第一，第二エッジ軌跡導出ユニット）  ３１…軌跡判定部  ３２…第二メモリ  ３５…動き判定ユニット  ３６…論理演算部  ３７…ラベリング演算部  ３８…特徴量演算部  ３９…レジスタ  ４０…動き判定部  ５０…物体認識ユニット  ５１…二値化処理部  ５２…ラベリング処理部  ５３…領域演算部  ６０…動き判定ユニット  ６１ａ，６１ｂ…第一，第二ラベリング演算部  ６２…物体判定部  ６３…特徴量演算部  ６５…移動判定部
【図１】
2008305169.tif 000003
【図２】
2008305169.tif 000004
【図３】
2008305169.tif 000005
【図４】
2008305169.tif 000006
【図５】
2008305169.tif 000007
【図６】
2008305169.tif 000008
【図７】
2008305169.tif 000009
【図８】
2008305169.tif 000010
【図９】
2008305169.tif 000011
【図１０】
2008305169.tif 000012
【図１１】
2008305169.tif 000013
【図１２】
2008305169.tif 000014
【図１８】
2008305169.tif 000015
【図１９】
2008305169.tif 000016
【図２０】
2008305169.tif 000017
【図１３】
2008305169.tif 000018
【図１４】
2008305169.tif 000019
【図１５】
2008305169.tif 000020
【図１６】
2008305169.tif 000021
【図１７】
2008305169.tif 000022