(57)【特許請求の範囲】
【請求項１】
映像入力装置と、データ処理装置と、記憶装置とから構成され、
前記記憶装置は、背景イメージデータと映像ごとに特徴的な個別環境データとを記憶し、
前記データ処理装置は、前記背景イメージデータと前記映像入力装置から取得した静止画イメージデータからカルマンフィルタを用いて、背景データを推定し、前景部分の切り出しを行い、切り出したイメージ部分を前記個別環境データに基づき更に検知対象領域に絞り、検知対象物を認識し、前記取得した静止画イメージデータを次の処理の背景イメージデータとする更新を行い、それらの処理を繰り返し行い、連続する静止画に同一の検知対象物が撮影されている場合、その重心位置を比較し、移動距離を撮影時間差で割ることにより物体の移動速度を算出する、画像認識による速度測定システム。
【請求項２】
前記データ処理装置は、初期背景データ取得手段と、映像取得手段と、背景推定手段と、ラベリング手段と、特徴量抽出手段と、背景更新手段と、検知記録手段と、速度算出手段とから構成され、
前記初期背景データ取得手段は、前記記憶装置に格納され、検知対象物が撮影されていない背景イメージデータの取得を行い、背景推定の初期値とし、
前記映像取得手段は、前記映像入力装置に対して最新の１フレーム分の静止画イメージデータを取得する命令を発行、入手を行い、
前記背景推定手段は、前記映像取得手段により取得された静止画イメージデータをすべてのピクセルについてカルマンフィルタを用いて、前記初期背景データ取得手段により取得した背景イメージデータを適応させ、背景を推定し、背景以外の前景部分のみを切り出し、
前記ラベリング手段は、前景部分について互いに連結するグレイ値画素の塊に対して同じラベルをつけ輪郭を取り、図形として認識、区別後、ラベル付けを行い、
前記特徴量抽出手段は、ラベル付けされた領域それぞれについて、あらかじめ個別環境データに定めた速度検知対象物の形状として特徴的な要素条件である面積、真円度、楕円の長軸短軸比、長さ、幅を組み合わせた抽出条件を満足する物体を検知対象物として認識し、
前記背景更新手段は、前記映像取得手段で取得した静止画イメージデータを次の処理の背景イメージデータとする更新を行い、
前記特徴量抽出手段により、検知対象物となる図形を認識した場合、前記検知記録手段にてその重心位置を求めておき、
再び前記映像取得手段から前記検知記録手段までの処理を繰り返し、連続した静止画に速度測定の対象物の特性や特徴量から同一の物体と判断される物体が撮影された場合、前記速度算出手段でその重心位置を比較し、移動距離を撮影時間差で割ることにより物体の移動速度を算出する、請求項１に記載の画像認識による速度測定システム。
【請求項３】
記憶装置により、背景イメージデータと映像ごとに特徴的な個別環境データとを記憶するステップと、
データ処理装置により、前記背景イメージデータと映像入力装置から取得した静止画イメージデータからカルマンフィルタを用いて、背景データを推定し、前景部分の切り出しを行い、切り出したイメージ部分を前記個別環境データに基づき更に検知対象領域に絞り、検知対象物を認識し、前記取得した静止画イメージデータを次の処理の背景イメージデータとする更新を行い、それらの処理を繰り返し行い、連続する静止画に同一の検知対象物が撮影されている場合、その重心位置を比較し、移動距離を撮影時間差で割ることにより物体の移動速度を算出するステップとを有する、画像認識による速度測定方法。
【請求項４】
記憶装置により、背景イメージデータと映像ごとに特徴的な個別環境データとを記憶するステップと、
初期背景データ取得手段により、記憶装置に格納され、検知対象物が撮影されていない背景イメージデータの取得を行い、背景推定の初期値とするステップと、
映像取得手段により、映像入力装置に対して最新の１フレーム分の静止画イメージデータを取得する命令を発行、入手を行うステップと、
背景推定手段により、前記映像取得手段により取得された静止画イメージデータをすべてのピクセルについてカルマンフィルタを用いて、前記初期背景データ取得手段により取得した背景イメージデータを適応させ、背景を推定し、背景以外の前景部分のみを切り出すステップと、
ラベリング手段により、前景部分について互いに連結するグレイ値画素の塊に対して同じラベルをつけ輪郭を取り、図形として認識、区別後、ラベル付けを行うステップと、
特徴量抽出手段により、ラベル付けされた領域それぞれについて、あらかじめ個別環境データに定めた速度検知対象物の形状として特徴的な要素条件である面積、真円度、楕円の長軸短軸比、長さ、幅を組み合わせた抽出条件を満足する物体を検知対象物として認識するステップと、
背景更新手段により、前記映像取得手段で取得した静止画イメージデータを次の処理の背景イメージデータとする更新を行うステップと、
特徴量抽出手段により、検知対象物となる図形を認識した場合、検知記録手段にてその重心位置を求めておくステップと、
再び前記映像取得手段から前記検知記録手段までの処理を繰り返し、連続した静止画に速度検知の対象物の特性や特徴量から同一の物体と判断される物体が撮影された場合、速度算出手段でその重心位置を比較し、移動距離を撮影時間差で割ることにより物体の移動速度を算出するステップとを有する、画像認識による速度測定方法。
【請求項５】
コンピュータ又はマイクロプロセッサを請求項１または請求項２に記載の画像認識による速度測定システムとして機能させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像認識による速度測定システム及び速度測定方法に関する。
【０００２】
【従来の技術】
移動速度の判定には様々な方法が用いられている。移動体自体に信号を発信し２点間の信号間隔により処理を行うものや、複数の測定地点間の移動時間から求める方法などがある。
【０００３】
【発明が解決しようとする課題】
上述の方法は、速度検出のために専用の装置を設置しなければならず、その装置は他の目的に使用されることはない。
【０００４】
本発明の目的は、１点から連続して撮影される映像を利用して、連続する画像に写る移動体の移動距離から移動速度を算出する画像認識による速度測定システム及び速度測定方法を提供することにある。
【０００５】
【課題を解決するための手段】
人間は映像を見て移動体の速度を判断することができる。判断には多くの要素があり、対象によっても異なるが、２つ以上の静止画を比較し、その移動距離により判断を行う。本発明は、移動体を連続撮影しているカメラ映像を切り出し、静止画として扱い、連続する静止画中の移動距離を比較することにより、移動体の移動速度の認識、通知する構成を提供するものである。
【０００６】
初期背景データ取得手段は、記憶装置中の背景イメージデータから検知対象領域を読み込む。(なお、本手段は初期化同時の検出精度向上を目的としたものであり、次の映像取得手段により獲得された最初の画像を元に初期背景データとすることでも対応可能である。)
映像取得手段は、映像撮影装置で撮影された映像の１フレームを映像入力装置を経由して静止画イメージデータとして取得し、記憶する。記憶された１フレームの静止画イメージデータと初期背景データ取得手段で記憶された初期背景データに基づき、背景推定手段において各ピクセル上でカルマンフィルタを用いて背景データを推定し、前景データのみの切り出しを行う。
【０００７】
ラベリング手段では、前景データ中で同じグレイ値を持つビット同士を連結分類、ラベル付けし、特徴量抽出手段において記憶装置の個別環境データに記録された特徴量条件に合致する速度検知対象物を認識する。
【０００８】
背景更新手段では、映像取得手段で取得した映像を次の背景画像とする。
【０００９】
特徴量抽出手段で検知対象物を認識した場合には、検知記録手段にて検知したことを記録し、さらにその物体の重心位置を測定、記録する。
【００１０】
再び、映像取得手段から背景更新手段の手順を繰り返す。
【００１１】
次の映像にも速度検知定の対象物の特性や特徴量から同一の物体と判断される物体が撮影された場合、速度算出手段ではその重心位置を比較し、移動距離を撮影時間差で割ることにより物体の移動速度を算出する。
【００１２】
従って、本発明の構成により検知対象種類を問わない速度測定が可能である。
【００１３】
また、本発明の構成により既存の監視カメラ、モニターとの組み合わせでの速度測定が可能である。
【００１４】
また、本発明の構成により他の画像認識機能との共存が可能である。
【００１５】
また、ソフトウェアで画像認識を実現することにより、環境に応じたカスタマイズが容易にり、個別環境データでしきい値を設定可能な為、環境の変更に伴う機能の修正が容易である。
【００１６】
また、ソフトウェアで画像認識を実現することにより、多様な検出結果通知手段が実現可能であり、様々な支援機能への対応、追加が容易である。
【００１７】
また、カルマンフィルタによる背景推定を行うことで、雑音の消去、計算量の減少が達成できる。
【００１８】
【発明の実施の形態】
（発明の第1の実施の形態）
図１を参照すると、本実施の形態は、カメラ等の映像撮影装置１と、画像入力ボード、ネットワークインタフェースボード等の映像入力装置２と、電子計算機等のデータ処理装置３、記憶装置４を含む。
【００１９】
映像撮影装置１は映像入力装置２へ向け、常時撮影結果を送信している。
【００２０】
データ処理装置３は、初期背景データ取得手段３１、映像取得手段３２、背景推定手段３３、ラベリング手段３４、特徴量抽出手段３５、背景更新手段３６、検知記録手段３７、速度算出手段３８からなり、背景イメージデータと取得した静止画イメージデータからカルマンフィルタを用いて、背景データを推定し、前景部分の切り出しを行う。切り出したイメージ部分を更に検知対象領域に絞り、検知対象物を認識する。それらの処理を繰り返し行い、連続する静止画に同一の検知対象物が撮影されている場合、その重心位置を比較し、移動距離を撮影時間差で割ることにより物体の移動速度を算出する。
【００２１】
初期背景データ取得手段３１は、記憶装置４に格納され、検知対象物が撮影されていない背景イメージデータ４１の取得を行い、背景推定の初期値とする。
【００２２】
映像取得手段３２は、映像入力装置２に対して最新の１フレーム分の静止画イメージデータを取得する命令を発行、入手を行う。
【００２３】
背景推定手段３３は、映像取得手段３２により取得された静止画イメージデータをすべてのピクセルについてカルマンフィルタを用いて、初期背景データ取得手段３１により取得した背景イメージデータ４１を適応させ、背景を推定し、背景以外の前景部分のみを切り出す。
【００２４】
ラベリング手段３４は、前景部分について互いに連結するグレイ値画素の塊に対して同じラベルをつけ輪郭を取り、図形として認識、区別後、ラベル付けを行う。
【００２５】
特徴量抽出手段３５は、ラベル付けされた領域それぞれについて、あらかじめ個別環境データ４２に定めた速度検知対象物の形状として特徴的な要素条件(面積、真円度、楕円の長軸短軸比、長さ、幅等)を組み合わせた抽出条件を満足する物体を検知対象物として認識する。
【００２６】
背景更新手段３６は、映像取得手段３２で取得した静止画イメージデータを次の処理の背景イメージデータとする更新を行う。
【００２７】
特徴量抽出手段３５の処理の結果、検知対象物となる図形を認識した場合、検知記録手段３７にてその重心位置を求めておく。
【００２８】
再び映像取得手段３２から検知記録手段３８までの処理を繰り返し、連続した静止画に速度測定の対象物の特性や特徴量から同一の物体と判断される物体が撮影された場合、速度算出手段３８ではその重心位置を比較し、移動距離を撮影時間差で割ることにより物体の移動速度を算出する。
【００２９】
次に、図１及び図２を参照して本実施の形態の動作について詳細に説明する。
【００３０】
映像撮影装置１で撮影された映像がリアルタイムに映像入力装置３に常時送信される。
【００３１】
データ処理装置３では、初期稼動時に初期背景データ取得手段３１にて、記憶装置４に格納された背景イメージデータ４１および個別環境データ４２を読み込む（ステップＡ１）。読み込まれた背景イメージデータは、各ビットごとのグレイ値を対象とした初期映像状態のデータセットとして"Background"に格納される。
【００３２】
映像取得手段３２は、映像入力装置２に映像の１フレームデータを取得する命令を発行し、"Image[n](n = 1)"に格納する（ステップＡ２）。カメラ映像がNTSCで撮影されている白黒8bit映像の場合、本データは640×480の大きさ、グレイ値0〜255の範囲でグレイ値の濃淡が分布する映像となる。
【００３３】
背景推定手段３３は、映像取得手段３２により取得された静止画イメージデータ"Image[1]"に対し、各ビット毎のグレイ値を推移映像状態のデータセットとし、初期背景データ取得手段３１によってセットされた各ビット毎のグレイ値を対象とする初期映像状態のデータセット"Background"との間でカルマンフィルタを用いた背景の推定算出を行う。一般に予測値は、予測各要素のｒ階の常微分方程式により算出が可能であるが、カルマンフィルタは観測に基づいた予測、平滑化のために用いられるアルゴリズムであり、ｒ階の常微分方程式により求められる推定値、期待値をｒ個の一階の常微分方程式によりおきかえることで算出を行うものである。背景として推定されなかった部分は、背景を下位のレイヤーとし、その上のレイヤーに人間や車両等の物体が撮影されているものと概念的に考え、その部分についてを背景以外＝前景"Foreground"として認識する（ステップＡ３）。
【００３４】
切り出された前景"Foreground"を対象に、ラベリング手段３４は、同じグレイ値を持つビットを検知し、連結させることにより、画像中に存在するオブジェクトを判断、分類し、それぞれにラベルをつけ、配列として"labeled[n]"に格納する。本手段により、同じグレイ値が連結しているものが連結成分とみなし、その連結成分で囲まれた図形を同一の物体であると認識、物体ごとにＩＤ番号を振る（ステップＡ４）。
【００３５】
特徴量抽出手段３５は、ラベリングされた画像"labeled[1]"に対して速度検知対象物の形状として特徴的な要素である面積、真円度、長さ、幅、楕円の長軸短軸比をしきい値として設定し、それらの条件を組み合わせ、満足する図形がある場合、速度検知対象物を認識したと判断し（ステップＡ５）、"selected[1]"に格納する。
【００３６】
背景更新手段３６は、映像取得手段３２で取得した静止画イメージデータ"Image[1]"を次の処理の背景データとする為、"Background"に格納する。
【００３７】
特徴量抽出手段３５の結果、検知対象物となる図形を認識した場合、検知記録手段３７にてその重心位置座標を求めておく。
【００３８】
再び映像取得手段３２から検知記録手段３７までを繰り返し、連続したフレーム"Image[2]"に速度測定の対象物の特性や特徴量から同一の物体と判断される物体が撮影された場合、速度算出手段３８ではその重心位置を比較し、座標位置から求めた移動距離を撮影時間差で割ることにより物体の移動速度を算出する。
【００３９】
（発明の第２の実施の形態）
次に、本発明の第２の実施の形態について図３を参照して詳細に説明する。
【００４０】
図３を参照すると、本実施の形態はデータ処理装置３に初期背景データ取得手段３１、背景推定手段３４、背景更新手段３６がなく、初期背景データ取得手段３１の替わりに背景イメージデータ取得手段３９が、背景推定手段３３の替わりに画像差検出手段３１０を備える。
【００４１】
事前に背景のみ写っているフレームデータをあらかじめ用意し、背景イメージデータ４２として、"Basic Image"に記憶しておく。
【００４２】
発明の第１の実施の形態においては、必ずしも背景イメージデータは背景のみである必要がない、代替手段として映像取得手段３２において取得した映像も使用可能であったが、本代替案についてはそれらの特徴を適用することができず、必ず背景のみのデータが必要となる。映像取得手段３２で、映像撮影装置１で取得した１フレーム分を映像入力装置２を経由してイメージデータとして取得し、"Image[n](n = 1)"に記憶する。
【００４３】
画像差検出手段３９が、映像取得手段３２で取得した１フレーム分の静止画イメージデータ("Image[1]")と背景イメーシ゛データ取得手段３１０により取得した背景イメージデータ"Basic Image"を比較し、差異のある部分を"Difference[1]"に格納する。例えば、背景が道路のみ撮影されている映像であり、取得した１フレームの映像に車両が写っている場合、背景と１フレームの同じ部分である道路は背景として認識され、本来道路があるべきところに写っている異物(車両)を背景以外(道路以外)のものとして捕らえ、車両のみを前景として切り出す。
【００４４】
ラベリング手段３４は、"Difference[1]"から、互いに連結するグレイ値画素の塊に対して同じラベルをつけ図形を分類、"Labeled[1]"に格納する。赤い車両と白い車両の２台が写っている場合は、赤い色に近いグレイ値画素の塊が１つの図形となり、白い色に近いグレイ値画素の塊が１つの図形となり、それぞれ認識された物体の１番目、２番目という管理が行われる。
【００４５】
特徴量抽出手段３５は、"Labeled[1]"に含まれるそれぞれの図形に対して、面積や楕円の長軸短軸比、真円度等、あらかじめ個別環境データ４２に定めた検知対象となる物体に特徴的な条件に合致するか否かで、検知対象物が映像中に存在するかの判断を行う。例えば、撮影される車両が１つイメージの大きさの中では一定の面積の中に収まることになり、同程度の面積を含む場合は、面積ごとの縦横比などにより車両であるか、それ以外のものであるかを認識するということである。
【００４６】
認識した結果を元に検知記録手段３８、速度算出手段３９を起動する処理は、本発明の第１の実施の形態と同様である。
【００４７】
【発明の効果】
以上説明したように、本発明には以下の効果がある。
【００４８】
第一の効果は、本発明の構成により検知対象種類を問わない速度測定が可能であるということである。
【００４９】
第二の効果は、本発明の構成により既存の監視カメラ、モニターとの組み合わせでの速度測定が可能であるということである。
【００５０】
第三の効果は、本発明の構成により他の画像認識機能との共存が可能であるということである。
【００５１】
第四の効果は、ソフトウェアで画像認識を実現することにより、環境に応じたカスタマイズが容易にり、個別環境データでしきい値を設定可能な為、環境の変更に伴う機能の修正が容易であるという点である。
【００５２】
第五の効果は、ソフトウェアで画像認識を実現することにより、多様な検出結果通知手段が実現可能であり、様々な支援機能への対応、追加が容易であるという点である。
【００５３】
第六の効果は、カルマンフィルタによる背景推定を行うことで、雑音の消去、計算量の減少が達成できるという点である。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の構成を示す図である。
【図２】本発明の第１の実施の形態の動作を示すフローチャート図である。
【図３】本発明の第２の実施の形態の構成を示す図である。
【符号の説明】
１    映像撮影装置
２    映像入力装置
３    データ処理装置
４    記憶装置
３１    初期背景データ取得手段
３２    映像取得手段
３３    背景推定手段
３４    ラベリング手段
３５    特徴量抽出手段
３６    背景更新手段
３７    検知記録手段
３８    速度算出手段
３９    背景イメージデータ取得手段
４１    背景イメージデータ
４２    個別環境データ
３１０    画像差検出手段
【図１】
0003649277.tif 000002
【図２】
0003649277.tif 000003
【図３】
0003649277.tif 000004