(57)【要約】【課題】画像ブロックごとに物体のエッジを検出しエッジ像の位置、移動方向、速度をリアルタイムで検出解析する動作検出装置において、エッジ及び速度の検出精度の高い動作検出装置を提供する。【解決手段】垂直方向動作検出部５と水平方向動作検出部６を別々に分け、垂直方向動作検出部５におけるブロック分割の区画線を、中央水平線とそれに平行な複数の周域水平線、及び中央垂直線とそれを線対称軸として中央水平線からフレームの上辺及び下辺に向かって中央垂直線から遠ざかる方向へ傾斜する複数の対称折線とする。また、水平方向動作検出部６におけるブロック分割の区画線を、中央垂直線とそれに平行な複数の周域垂直線、及び中央水平線とそれを線対称軸として中央垂直線からフレームの左辺及び右辺に向かって中央水平線から遠ざかる方向へ傾斜する複数の対称折線とする。【選択図】図１
2010238201.tif 000002
【特許請求の範囲】
【請求項１】
動画像内で移動する物体の垂直方向の動きを検出する垂直方向動作検出部と、
動画像内で移動する物体の水平方向の動きを検出する水平方向動作検出部と、を備え、
前記垂直方向動作検出部及び前記水平方向動作検出部は、それぞれ、
エッジ抽出処理された動画像の各フレームを順次読み込み、前記各フレーム内の各画素を複数の画像ブロックに区画したときの前記各画像ブロック内におけるエッジ像の有無を検出し、前記エッジ像を含む前記画像ブロックに対してエッジ検出信号を出力するエッジブロック検出手段と、
前記各画像ブロックに対応して中間ブロックを複数個有し、前記各中間ブロックは、対応する前記画像ブロックについて前記エッジ検出信号が出力された場合に活性化される中間層と、
前記各中間ブロックに対応して反応ブロックを複数個有し、前記各反応ブロックは、対応する前記中間ブロックである対応中間ブロックに対し動き検出方向と逆方向に隣接する前記中間ブロックである隣接中間ブロックが活性化されるのに伴い、活性値を初期化し、初期化後は当該活性値を単調関数に従って経時変化させつつ所定期間保持し、前記対応中間ブロックが活性化された際に保持している前記活性値の大きさに関する情報を速度情報信号として出力する反応層と、を備えており、
前記垂直方向動作検出部における前記各画像ブロックは、前記フレームを、前記フレームの高さ方向の中央点を通る中央水平線、及び前記中央水平線に平行な複数の周域水平線と、前記フレームの幅方向の中央点を通る中央垂直線、及び前記中央水平線を線対称軸として前記中央水平線から前記フレームの上辺及び下辺に向かって前記中央垂直線から遠ざかる方向へ傾斜する複数の対称折線と、によって区画してなるものであり、
前記水平方向動作検出部における前記各画像ブロックは、前記フレームを、前記フレームの幅方向の中央点を通る中央垂直線、及び前記中央垂直線に平行な複数の周域垂直線と、前記フレームの高さ方向の中央点を通る中央水平線、及び前記中央垂直線を線対称軸として前記中央垂直線から前記フレームの左辺及び右辺に向かって前記中央水平線から遠ざかる方向へ傾斜する複数の対称折線と、によって区画してなるものであることを特徴とする動作検出装置。
【請求項２】
前記中間層の前記各中間ブロックは、対応する前記画像ブロックについて前記エッジ検出信号が出力された場合に活性化され、活性値を初期値に初期化し、初期化後は当該活性値を単調減少関数に従い経時変化させつつ所定期間保持するものであり、
前記反応層の前記各反応ブロックは、前記対応中間ブロックに対し動き検出方向と逆方向に隣接する前記隣接中間ブロックの活性値と、前記対応中間ブロックの活性値とを加算して、当該加算値が前記初期値より大きく設定された所定の閾値以上の場合に前記活性値の大きさに関する情報を速度情報信号として出力するものであることを特徴とする請求項１記載の動作検出装置。
【請求項３】
動画像内で移動する物体の垂直方向の動きを検出する垂直方向動作検出部と、
動画像内で移動する物体の水平方向の動きを検出する水平方向動作検出部と、を備え、
前記垂直方向動作検出部及び前記水平方向動作検出部は、それぞれ、
エッジ抽出処理された動画像の各フレームを順次読み込み、前記各フレーム内の各画素を複数の画像ブロックに区画したときの前記各画像ブロック内におけるエッジ像の有無を検出し、前記エッジ像を含む前記画像ブロックに対してエッジ検出信号を出力するエッジブロック検出手段と、
動き検出方向に対するエッジ像の動きを検出する動き検出ブロックが、前記各画像ブロックに対応して複数個配列されてなる動き検出ブロック集合体と、を備え、
前記各動き検出ブロックは、
対応する前記画像ブロックに対して動き検出方向と反対方向の側に隣接する画像ブロックについて、前記エッジブロック検出手段からエッジ検出信号が出力された場合には、その検出時刻からの経過時間の情報である経時情報信号を生成するとともに当該経時情報信号を単調関数で時間変化させつつ保持し、
対応する画像ブロックについて、前記エッジブロック検出手段からエッジ検出信号が出力された場合に、その時点において保持している前記経時情報信号を速度情報信号として出力するものであり、
前記垂直方向動作検出部における前記各画像ブロックは、前記フレームを、前記フレームの高さ方向の中央点を通る中央水平線、及び前記中央水平線に平行な複数の周域水平線と、前記フレームの幅方向の中央点を通る中央垂直線、及び前記中央水平線を線対称軸として前記中央水平線から前記フレームの上辺及び下辺に向かって前記中央垂直線から遠ざかる方向へ傾斜する複数の対称折線と、によって区画してなるものであり、
前記水平方向動作検出部における前記各画像ブロックは、前記フレームを、前記フレームの幅方向の中央点を通る中央垂直線、及び前記中央垂直線に平行な複数の周域垂直線と、前記フレームの高さ方向の中央点を通る中央水平線、及び前記中央垂直線を線対称軸として前記中央垂直線から前記フレームの左辺及び右辺に向かって前記中央水平線から遠ざかる方向へ傾斜する複数の対称折線と、によって区画してなるものであることを特徴とする動作検出装置。
【請求項４】
前記垂直方向動作検出部における前記各画像ブロックを区画する前記各周域水平線は、前記中央水平線に近いほどその間隔が狭まっており、
前記水平方向動作検出部における前記各画像ブロックを区画する前記各周域垂直線は、前記中央垂直線に近いほどその間隔が狭まっている
ことを特徴とする請求項１乃至３の何れか一に記載の動作検出装置。
【請求項５】
コンピュータに読み込んで実行させることにより、コンピュータを請求項１乃至４の何れか一に記載の動作検出装置として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像に含まれる物体像の位置や動きをリアルタイムで検出解析する動作検出技術に関する。
【背景技術】
【０００２】
動画像に含まれる物体像の位置、移動方向、および速度を同時にリアルタイムで検出解析する動作検出装置として、特許文献１及び非特許文献１，２に記載のものが知られている。以下、この動作検出装置の概略を説明する。
【０００３】
上記各先行技術文献に記載の動作検出装置は、脳の海馬のＣ３領野のニューロン活動の放射状伝搬に基づく時系列学習機構に基づいて考案されたものである。図１３に、特許文献１に記載の動作検出装置の原理を示す。
【０００４】
まず、動画像は、時系列に連続する多数の方形のフレーム１０１として取り込まれる。そこで、前処理として、取り込まれた動画像に対してエッジ抽出処理を行う。そして、エッジ抽出処理された各フレーム１０１を、図１３（ａ）に示すように、その対角線によって４つの象限（「上象限」，「下象限」，「左象限」，「右象限」）に分割するとともに、フレーム１０１の中心に同心の方形及びフレーム１０１の中心から周囲に向かって放射状に広がる多数の直線を分割線として、各象限を複数の画像ブロックに分割する。各画像ブロックには複数の画素が含まれる。
【０００５】
一方、フレーム１０１の各画像ブロックに一対一対応するマス目を備えたＣＡ３ネット（中間層）１０２を用意される。このＣＡ３ネット１０２の各マス内には、網目状に結合した多数のユニット（ニューロン）が存在しているものとする。図１３（ｂ）は、図１３（ａ）のフレーム１０１の上象限に対応するＣＡ３ネット１０２を表している。図１３（ｃ）は、図１３（ｂ）の一部のマスを拡大したものである。また、その他の象限（下象限，左象限，右象限）に対しても、同様のＣＡ３ネット１０２が用意される。
【０００６】
さらに、４つのＣＡ３ネット１０２のそれぞれに対応して、ＣＡ３ネット１０２と同様のマス目を備えたＣＡ１ネット（反応層）１０３が用意される（図１３（ｄ）参照）。このＣＡ１ネット１０３の各マス内にも、網目状に結合した多数のユニット（ニューロン）が存在しているものとする。
【０００７】
図１３において、フレーム１０１の画像ブロックＢ，Ｃは、それぞれ、ＣＡ３ネット１０２のマスＢ３，Ｃ３、及びＣＡ１ネット１０３のマスＢ１，Ｃ１と対応している。また、図１３（ｃ）のＣＡ３ネット１０２のマスＤ３はＣＡ１ネット１０３のマスＤ１と対応している。
【０００８】
まず、時刻ｔのフレーム１０１において、図１３（ａ）の画像ブロックＢのフレーム中心方向に隣接する画像ブロック内に存在していた物体の輪郭（エッジ像）が画像ブロックＢ内に移動してきたとする。このとき、画像ブロックＢから、画像ブロックＢと対応するＣＡ３ネット１０２内のマスＢ３の中央にあるユニットにエッジ検出信号が伝達される。マスＢ３内では、エッジ検出信号が伝達された中央のユニットが興奮し、その興奮は網目状に結合したユニット網（ニューロン網）において、減衰しながら放射状に伝搬する。
【０００９】
一方、ＣＡ３ネット１０２内のマスＢ３の中央にあるユニットは、対応するＣＡ１ネット１０３のマスＢ１内にあるすべてのユニットに活性化信号を伝達する。また、ＣＡ３ネット１０２内のマスＢ３の中央以外にある各ユニットは、ＣＡ１ネット１０３のマスＢ１の上側のマスＣ１内にあるユニットのうち、マス内における相対座標が等しいユニットに対して活性化信号を伝達する。なお、伝達される各活性化信号の大きさはＣＡ３ネット１０２内の各ユニットの興奮の大きさに比例した大きさとされる。これにより、マスＣ１内には、マスＢ３内の興奮の波紋と同型の領域に活性化信号が送られることになる。
【００１０】
次に、時刻ｔ＋１のフレーム１０１において、物体の輪郭（エッジ像）が上方に移動し、時刻ｔで画像ブロックＢ内にあった物体の輪郭が時刻ｔ＋１には画像ブロックＣへ移動したとする。この場合、画像ブロックＣからＣＡ３ネット１０２内の画像ブロックＣに対応するマスＣ３の中央にあるユニットにエッジ検出信号が伝達される。マスＣ３の中央にあるユニットは、ＣＡ１ネット１０３のマスＣ１内にあるすべてのユニットに活性化信号を伝達する。これにより、マスＣ１内にあるユニットのうち、マスＣ３から伝達された活性化信号に、マスＢ３の放射状伝搬の波紋状の領域のユニットから伝達された活性化信号が重畳した、マスＣ１内の円環状の領域にあるユニットが発火する。
【００１１】
ここで、マスＢ３内のユニット網における興奮の放射状伝搬は、時間とともに減衰するので、マスＣ１内の発火した円環領域の発火の強さは増すマスＢ３の波紋の半径が大きくなるほど弱くなる。従って、ＣＡ１ネット１０３内のマスＣ１からの発火信号の強さは、物体の上方への移動速度に対して単調増加な関数となる。また、マスＣ１内において発火する円環領域の半径は、物体の上方への移動速度に対して単調減少な関数となる。
【００１２】
従って、発火するマスＣ１に対応するフレーム１０１内の画像ブロックＣの位置座標は、移動物体の輪郭が存在する位置を表し、また、マスＣ１内で発火した円環領域の発火強度（又は円環半径の逆数）は、移動物体の上方向の速度を表すことになる。このようにして、移動する物体の位置と速度をリアルタイムに検出することが可能になる。
【００１３】
ここでは、例として、上方向の物体の移動の検出方法に関して説明をしたが、他の方向の動きについても同様の原理により検出することが可能である。以下では、物体の動きを検出したい方向を「動き検出方向」と呼ぶことにする。
【００１４】
ところで、今までに説明した通り、ＣＡ３ネット１０２内の一つのマス内には、ニューロン回路網のように、多数のユニットが網目状に結合して存在していると考えることもできるが、実際にこれを電子回路によって実現する場合には、このマスを、興奮の遅延を記憶する素子１個で置き換えることができる。すなわち、上述の動作検出装置を考える場合、必ずしも興奮の伝搬現象そのものを実現する必要はなく、上記放射状伝搬における伝搬遅延に相当する遅延さえ得られれば十分である。従って、図１３の原理図は、より簡単な図１４に示したような原理図によって置き換えができる。図１４において、ＣＡ３ネット１０２’及びＣＡ１ネット１０３’内の各マスは１つの素子により置き換えられている。ＣＡ３ネット１０２’のマスＢ３内の素子は、エッジ検出信号を受け取ると、それに対応するＣＡ１ネット１０３’内のマスＢ１内の素子に対しては減衰停止信号を伝達し、マスＢ１の動き方向に隣接するマスＣ１内の素子に対しては減衰開始信号を伝達する。ＣＡ１ネット１０３’内の各マス内の素子は、減衰開始信号が伝達されたときに、その信号をトリガとして電圧、電流、又は電荷量を初期値にリセットしてから減衰を開始する。また、減衰停止信号が伝達されたときに減衰が止められ、そのときの電圧、電流、又は電荷量の値を物体の移動速度に関する情報として出力する。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】国際公開第２００６／１０４０３３号パンフレット
【非特許文献】
【００１６】
【非特許文献１】梁海超、森江隆、中山浩之、中田一紀、林初男、「海馬時系列符号化モデルに基づく移動体検出手法のデジタルLSIアーキテクチャ」，第5回情報科学技術フォーラム，pp.59-61，2006．
【非特許文献２】H. Hayashi, K. Nakada, T. Morie, "A Moving object detection algorithm inspired by the sequence detection in the hippocampus and its digital LSI implementation", International Congress Series Vol.1301, pp. 35-38, 2007.
【発明の概要】
【発明が解決しようとする課題】
【００１７】
しかしながら、上記従来の動作検出装置においては、真正面前方から物体が接近してくるような場合又は真正面前方へ物体が離れていく場合には比較的精度よく物体の速度の検出が可能であるが、それ以外の場合、例えば、前方を物体が横切る場合などにおいては、速度の検出誤差が大きいという問題がある。例えば、ある時刻において図１５（ａ）の位置にあった物体Ａが次の時刻において図１５（ｂ）の位置に水平移動したとする。物体Ａは水平移動なので左右の垂直エッジの移動速度は等しい。しかしながら、この場合、図１５（ｂ）に示したように、マスＢ１，Ｂ２が発火する。さらに、物体Ａが図１５（ｃ）の位置まで水平移動すると、図１５（ｂ）に示したように、マスＢ３，Ｂ４が発火する。この場合、マスＢ１，Ｂ２とマスＢ３，Ｂ４とは異なる速度が検出されることになる。すなわち、物体のエッジが同じ速度で移動するにもかかわらず、検出される左右のエッジの速度は高さによって異なる値が得られる。
【００１８】
物体Ａが上下方向に移動する場合にも、同様のことが起こる。
【００１９】
そこで、本発明の目的は、上述のような画像ブロックごとに物体のエッジを検出してエッジ像の位置、移動方向、および速度をリアルタイムで検出解析する動作検出装置において、従来よりもエッジ及び速度の検出精度の高い動作検出装置を提供することにある。
【課題を解決するための手段】
【００２０】
本発明の動作検出装置の第１の構成は、動画像内で移動する物体の垂直方向の動きを検出する垂直方向動作検出部と、
動画像内で移動する物体の水平方向の動きを検出する水平方向動作検出部と、を備え、
前記垂直方向動作検出部及び前記水平方向動作検出部は、それぞれ、
エッジ抽出処理された動画像の各フレームを順次読み込み、前記各フレーム内の各画素を複数の画像ブロックに区画したときの前記各画像ブロック内におけるエッジ像の有無を検出し、前記エッジ像を含む前記画像ブロックに対してエッジ検出信号を出力するエッジブロック検出手段と、
前記各画像ブロックに対応して中間ブロックを複数個有し、前記各中間ブロックは、対応する前記画像ブロックについて前記エッジ検出信号が出力された場合に活性化される中間層と、
前記各中間ブロックに対応して反応ブロックを複数個有し、前記各反応ブロックは、対応する前記中間ブロックである対応中間ブロックに対し動き検出方向と逆方向に隣接する前記中間ブロックである隣接中間ブロックが活性化されるのに伴い、活性値を初期化し、初期化後は当該活性値を単調関数に従って経時変化させつつ所定期間保持し、前記対応中間ブロックが活性化された際に保持している前記活性値の大きさに関する情報を速度情報信号として出力する反応層と、を備えており、
前記垂直方向動作検出部における前記各画像ブロックは、前記フレームを、前記フレームの高さ方向の中央点を通る中央水平線、及び前記中央水平線に平行な複数の周域水平線と、前記フレームの幅方向の中央点を通る中央垂直線、及び前記中央水平線を線対称軸として前記中央水平線から前記フレームの上辺及び下辺に向かって前記中央垂直線から遠ざかる方向へ傾斜する複数の対称折線と、によって区画してなるものであり、
前記水平方向動作検出部における前記各画像ブロックは、前記フレームを、前記フレームの幅方向の中央点を通る中央垂直線、及び前記中央垂直線に平行な複数の周域垂直線と、前記フレームの高さ方向の中央点を通る中央水平線、及び前記中央垂直線を線対称軸として前記中央垂直線から前記フレームの左辺及び右辺に向かって前記中央水平線から遠ざかる方向へ傾斜する複数の対称折線と、によって区画してなるものであることを特徴とする。
【００２１】
本発明の動作検出装置の第２の構成は、前記第１の構成において、前記中間層の前記各中間ブロックは、対応する前記画像ブロックについて前記エッジ検出信号が出力された場合に活性化され、活性値を初期値に初期化し、初期化後は当該活性値を単調減少関数に従い経時変化させつつ所定期間保持するものであり、
前記反応層の前記各反応ブロックは、前記対応中間ブロックに対し動き検出方向と逆方向に隣接する前記隣接中間ブロックの活性値と、前記対応中間ブロックの活性値とを加算して、当該加算値が前記初期値より大きく設定された所定の閾値以上の場合に前記活性値の大きさに関する情報を速度情報信号として出力するものであることを特徴とする。
【００２２】
本発明の動作検出装置の第３の構成は、動画像内で移動する物体の垂直方向の動きを検出する垂直方向動作検出部と、
動画像内で移動する物体の水平方向の動きを検出する水平方向動作検出部と、を備え、
前記垂直方向動作検出部及び前記水平方向動作検出部は、それぞれ、
エッジ抽出処理された動画像の各フレームを順次読み込み、前記各フレーム内の各画素を複数の画像ブロックに区画したときの前記各画像ブロック内におけるエッジ像の有無を検出し、前記エッジ像を含む前記画像ブロックに対してエッジ検出信号を出力するエッジブロック検出手段と、
動き検出方向に対するエッジ像の動きを検出する動き検出ブロックが、前記各画像ブロックに対応して複数個配列されてなる動き検出ブロック集合体と、を備え、
前記各動き検出ブロックは、
対応する前記画像ブロックに対して動き検出方向と反対方向の側に隣接する画像ブロックについて、前記エッジブロック検出手段からエッジ検出信号が出力された場合には、その検出時刻からの経過時間の情報である経時情報信号を生成するとともに当該経時情報信号を単調関数で時間変化させつつ保持し、
対応する画像ブロックについて、前記エッジブロック検出手段からエッジ検出信号が出力された場合に、その時点において保持している前記経時情報信号を速度情報信号として出力するものであり、
前記垂直方向動作検出部における前記各画像ブロックは、前記フレームを、前記フレームの高さ方向の中央点を通る中央水平線、及び前記中央水平線に平行な複数の周域水平線と、前記フレームの幅方向の中央点を通る中央垂直線、及び前記中央水平線を線対称軸として前記中央水平線から前記フレームの上辺及び下辺に向かって前記中央垂直線から遠ざかる方向へ傾斜する複数の対称折線と、によって区画してなるものであり、
前記水平方向動作検出部における前記各画像ブロックは、前記フレームを、前記フレームの幅方向の中央点を通る中央垂直線、及び前記中央垂直線に平行な複数の周域垂直線と、前記フレームの高さ方向の中央点を通る中央水平線、及び前記中央垂直線を線対称軸として前記中央垂直線から前記フレームの左辺及び右辺に向かって前記中央水平線から遠ざかる方向へ傾斜する複数の対称折線と、によって区画してなるものであることを特徴とする。
【００２３】
本発明の動作検出装置の第４の構成は、前記第１乃至３の何れかの構成において、前記垂直方向動作検出部における前記各画像ブロックを区画する前記各周域水平線は、前記中央水平線に近いほどその間隔が狭まっており、
前記水平方向動作検出部における前記各画像ブロックを区画する前記各周域垂直線は、前記中央垂直線に近いほどその間隔が狭まっていることを特徴とする。
【００２４】
また、本発明に係るプログラムは、コンピュータに読み込んで実行させることにより、コンピュータを上記第１乃至第４の何れか一の構成の動作検出装置として機能させることを特徴とする。
【発明の効果】
【００２５】
本発明によれば、画像ブロックごとに物体のエッジを検出してエッジ像の位置、移動方向、および速度を同時にリアルタイムで検出解析する動作検出装置において、従来よりも移動物体のエッジ及び速度の検出精度の高い動作検出装置を提供することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施例１に係る動作検出装置の構成を表すブロック図である。
【図２】画像ブロックに区画されたフレーム１０である。
【図３】垂直方向動作検出部５におけるフレーム１０内の各画像ブロックＢと中間層５ｂにおける各中間ブロックＭとの対応関係、及び中間層５ｂにおける各中間ブロックＭと反応層５ｃ，５ｄにおける各反応ブロックＲとの対応関係を示す図である。
【図４】水平方向動作検出部６におけるフレーム１０内の各画像ブロックＢと中間層６ｂにおける各中間ブロックＭとの対応関係、及び中間層６ｂにおける各中間ブロックＭと反応層６ｃ，６ｄにおける各反応ブロックＲとの対応関係を示す図である。
【図５】垂直方向動作検出部５における中間層５ｂ内の中間ブロックＭ（ｉ，ｊ），Ｍ（ｉ，ｊ−１）及び反応層５ｃ内の反応ブロックＲ（ｉ，ｊ−１），Ｒ（ｉ，ｊ−２）の活性値の時間変化の例を示す図である。
【図６】水平方向動作検出部６における中間層６ｂ内の中間ブロックＭ（ｉ，ｊ），Ｍ（ｉ，ｊ−１）及び反応層６ｃ内の反応ブロックＲ（ｉ，ｊ−１），Ｒ（ｉ，ｊ−２）の活性値の時間変化の例を示す図である。
【図７】実空間における遠方の物体Ａ１と接近した物体Ａ２をカメラ２によりフレーム画像に写像した場合を表す図である。
【図８】シミュレーションにより図１３（ａ）のブロック分割を用いた従来の動作検出装置により物体のエッジ検出を行った場合と本実施例の動作検出装置により物体のエッジ検出を行った場合との比較を示した図である。
【図９】シミュレーションにより図１３（ａ）のブロック分割を用いた従来の動作検出装置により物体の速度検出を行った場合と本実施例の動作検出装置により物体の速度検出を行った場合との比較を示した図である。
【図１０】本発明の実施例２に係る動作検出装置の垂直方向動作検出部５及び水平方向動作検出部６の内部構成を表すブロック図である。
【図１１】反応ブロックＲ１，Ｒ２の内部構成を表すブロック図である。
【図１２】垂直方向動作検出部５における動き検出ブロック２６内の中間ブロックＭ（ｉ，ｊ），Ｍ（ｉ，ｊ−１）及び反応ブロックＲ１内の各反応ユニット３４＿１，３４＿２，…，３４＿８の活性値の時間変化の例を示す図である。
【図１３】特許文献１に記載の従来の動作検出装置の原理を示す図である。
【図１４】特許文献１に記載の従来の動作検出装置の原理を示す図である。
【図１５】特許文献１に記載の従来の動作検出装置の課題を説明する図である。
【発明を実施するための形態】
【００２７】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
【実施例１】
【００２８】
図１は、本発明の実施例１に係る動作検出装置の構成を表すブロック図である。動作検出装置１は、カメラ２、エッジ検出器３、フレームメモリ４、垂直方向動作検出部５、水平方向動作検出部６、及び動きベクトル合成部７を備えている。
【００２９】
カメラ２は、ＣＣＤなどの撮像素子アレイを備え、視野内の動画像を撮像し、経時的に連続するフレーム列として出力する。エッジ検出器３は、カメラ２から出力される各フレームについて、エッジ検出処理を行う。このエッジ検出処理は、既存の技術を用いることができる。例えば、微分フィルタ、Prewittフィルタ、Sobelフィルタなどを使用したり、２回微分フィルタを利用したゼロ交差法などを使用することができる（例えば、昌達慶仁著「詳解  画像処理プログラミング」（ソフトバンククリエイティブ株式会社）pp.76-98参照）。また、動く物体の輪郭をリアルタイムで検出するビジョンチップを使用することもできる。エッジ抽出処理によって得られる各フレームのエッジ画像は、フレームメモリ４に一時的に記憶される。
【００３０】
垂直方向動作検出部５は、エッジ抽出処理がされた各フレームのエッジ画像に基づいて、垂直方向のエッジ像の位置、移動方向、および速度を検出する。水平方向動作検出部６は、エッジ抽出処理がされた各フレームのエッジ画像に基づいて、水平方向のエッジ像の位置、移動方向、および速度を検出する。
【００３１】
動きベクトル合成部７は、垂直方向動作検出部５及び水平方向動作検出部６により検出された垂直方向，水平方向のエッジ像の位置、移動方向、および速度に基づいて物体の動きベクトルを合成し出力する。
【００３２】
垂直方向動作検出部５は、垂直エッジブロック検出部５ａ、中間層５ｂ、反応層５ｃ，５ｄ、及び動き判定部５ｅを備えている。また、水平方向動作検出部６は、水平エッジブロック検出部６ａ、中間層６ｂ、反応層６ｃ，６ｄ、及び動き判定部６ｅを備えている。
【００３３】
垂直エッジブロック検出部５ａ及び水平エッジブロック検出部６ａは、それぞれ、エッジ抽出処理された動画像の各フレームを順次読み込み、各フレーム内の各画素を複数の画像ブロックに区画したときの各画像ブロック内におけるエッジ像の有無を検出し、エッジ像を含む画像ブロックに対してエッジ検出信号を出力する。
【００３４】
垂直エッジブロック検出部５ａ及び水平エッジブロック検出部６ａは、回路によって構成することもできるが、マイコンなどを使用してソフトウェア的に構成することもできる。本実施例では、ソフトウェア的に構成した場合について説明する。
【００３５】
中間層５ｂ，６ｂは、それぞれ、各画像ブロックに一対一対応して中間ブロックを複数個有している。各中間ブロックは、内部変数として活性値を有している。これら各中間ブロックは、対応する画像ブロックについて、垂直エッジブロック検出部５ａ又は水平エッジブロック検出部６ａからエッジ検出信号が出力された場合に活性化される。
【００３６】
反応層５ｃ，５ｄ，６ｃ，６ｄは、各中間ブロックに一対一対応して反応ブロックを複数個有する。各反応ブロックは、内部変数として活性値を有している。各反応ブロックは、対応する中間ブロック（以下「対応中間ブロック」という。）に対し動き検出方向と逆方向に隣接する中間ブロック（以下「隣接中間ブロック」という。）が活性化されるのに伴い、活性値を初期化し、初期化後は当該活性値を単調関数に従って経時変化させつつ所定の期間保持する。また、各反応ブロックは、対応中間ブロックが活性化された際に保持している活性値を速度情報信号として動き判定部５ｅに出力する。ここで、「単調関数」とは、単調増加または単調減少である関数をいう。
【００３７】
動き判定部５ｅは、反応層５ｃ，５ｄが出力する速度情報信号に基づいて、フレーム内の動きのあるエッジ像の位置及び上下方向の速度を算出する。そして、そのエッジ像の位置及び上下方向の速度を動きベクトル合成部７に出力する。また、動き判定部６ｅは、反応層６ｃ，６ｄが速度情報信号に基づいて、フレーム内の動きのあるエッジ像の位置及び左右方向の速度を算出する。そして、そのエッジ像の位置及び左右方向の速度を動きベクトル合成部７に出力する。
【００３８】
動きベクトル合成部７は、これらの動き判定部５ｅ，６ｅが出力するエッジ像の位置、上下方向の速度、左右方向の速度の上方に基づいて、エッジ像の動きベクトルを合成し出力する。
【００３９】
図２は、画像ブロックに区画されたフレーム１０を表す。図２（ａ）は、垂直方向動作検出部５における区画、図２（ｂ）は、水平方向動作検出部６における区画である。
【００４０】
垂直方向動作検出部５における区画線は、図２（ａ）に示すように、フレーム１０の高さ方向の中央点を通る中央水平線１１、中央水平線１１に平行な複数の周域水平線１２、フレーム１０の幅方向の中央点を通る中央垂直線１３、中央水平線１１を線対称軸として中央水平線１１からフレーム１０の上辺及び下辺に向かって中央垂直線から遠ざかる方向へ傾斜する複数の対称折線１４，１５からなっている。各周域水平線１２は、中央水平線１１に近いほどその間隔が狭まっている。また、各対称折線１４，１５の中央水平線１１上にある曲折点の間隔は等しい。また、各対称折線１４とフレーム１０の上辺又は下辺との交点の間隔も等しく、外側から２番目の対称折線１４は、フレーム１０の頂点でフレーム１０の上辺又は下辺と交差する。左右のもっとも外側の対称折線１５，１５も、フレーム１０の頂点でフレーム１０の上辺又は下辺と交差する。
【００４１】
これらの区画線により区画されたフレーム１０内の小領域を「画像ブロック」といいＢと記す。面積が異なる各画像ブロック内の画素数は異なる。各画像ブロックは、左から右へ、及び上から下へ順序づけることができる。左からｉ番目、上からｊ番目の画像ブロックをＢ（ｉ，ｊ）と記す。
【００４２】
水平方向動作検出部６における各画像ブロックの区画線は、図２（ｂ）に示すように、フレーム１０の幅方向の中央点を通る中央垂直線１６、中央垂直線１６に平行な複数の周域垂直線１７、フレーム１０の高さ方向の中央点を通る中央水平線１８、中央垂直線１６を線対称軸として中央垂直線１６からフレーム１０の左辺及び右辺に向かって中央水平線１８から遠ざかる方向へ傾斜する複数の対称折線１９，２０からなっている。各周域垂直線１７は、中央垂直線１６に近いほどその間隔が狭まっている。また、各対称折線１９，２０の中央垂直線１６上にある曲折点の間隔は等しい。また、各対称折線１９とフレーム１０の左辺又は右辺との交点の間隔も等しく、外側から２番目の対称折線１９は、フレーム１０の頂点でフレーム１０の左辺又は右辺と交差する。上下のもっとも外側の対称折線２０，２０も、フレーム１０の頂点でフレーム１０の左辺又は右辺と交差する。
【００４３】
図３に、垂直方向動作検出部５におけるフレーム１０内の各画像ブロックＢと中間層５ｂにおける各中間ブロックＭとの対応関係、及び中間層５ｂにおける各中間ブロックＭと反応層５ｃ，５ｄにおける各反応ブロックＲとの対応関係を示す。各画像ブロックＢと各中間ブロックＭとは一対一値対応している。また、各中間ブロックＭと反応層５ｃ，５ｄにおける各反応ブロックＲとも一対一値対応している。なお、反応層５ｃの動き検出方向は上方向、反応層５ｄの動き検出方向は下方向とされている。
【００４４】
なお、以下では、画像ブロックＢ（ｉ，ｊ）に対応する中間ブロックをＭ（ｉ，ｊ）、画像ブロックＢ（ｉ，ｊ）に対応する反応ブロックをＲ（ｉ，ｊ）と記す。
【００４５】
図４に、水平方向動作検出部６におけるフレーム１０内の各画像ブロックＢと中間層６ｂにおける各中間ブロックＭとの対応関係、及び中間層６ｂにおける各中間ブロックＭと反応層６ｃ，６ｄにおける各反応ブロックＲとの対応関係を示す。各画像ブロックＢと各中間ブロックＭとは一対一値対応している。また、各中間ブロックＭと反応層６ｃ，６ｄにおける各反応ブロックＲとも一対一値対応している。なお、反応層６ｃの動き検出方向は左方向、反応層６ｄの動き検出方向は右方向とされている。
【００４６】
以上のように構成された本実施例の動作検出装置において、以下その動作を説明する。
【００４７】
まず、カメラ２により撮影された動画像が、時系列に連続した複数のフレーム画像としてエッジ検出器３へ入力される。エッジ検出器３は、カメラ２から入力される各フレーム画像に対してエッジ抽出処理を行い、エッジ画像を作成する。これらのエッジ画像は、フレームメモリ４に格納される。次いで、垂直方向動作検出部５及び水平方向動作検出部６により、それぞれ、垂直方向、水平方向の物体の速度検出が以下のようにして並行して行われる。
【００４８】
（１）垂直方向の速度検出
垂直方向動作検出部５の垂直エッジブロック検出部５ａは、エッジ抽出処理された動画像のフレームをフレームメモリ４から順次読み込む。垂直エッジブロック検出部５ａは、各フレーム内の各画素を、図２（ａ）に示したような区画によって、複数の画像ブロックＢ（ｉ，ｊ）に区画し、各画像ブロックＢ（ｉ，ｊ）内におけるエッジ像の有無を検出する。そして、エッジ像を含む画像ブロックＢ（ｉ，ｊ）に対してエッジ検出信号を出力する。
【００４９】
中間層５ｂの各中間ブロックＭ（ｉ，ｊ）は、それぞれ、対応する画像ブロックＢ（ｉ，ｊ）がエッジ検出信号ｓｉ，ｊを出力した場合には、その信号が入力される。エッジ検出信号が入力された中間ブロックＭ（ｉ，ｊ）は、その活性値ｍｉ，ｊを活性化状態の値とする。この場合、中間ブロックＭ（ｉ，ｊ）の活性値ｍｉ，ｊは０（非活性状態）又は１（活性状態）の何れかの値をとる。
【００５０】
反応層５ｃの各反応ブロックＲ（ｉ，ｊ）は、対応する対応中間ブロックＭ（ｉ，ｊ）に対し動き検出方向（上方向）と逆方向（下方向）に隣接する隣接中間ブロックＭ（ｉ，ｊ＋１）が活性化されるのに伴い、活性値ｒｉ，ｊを初期値ｒ０に初期化し、初期化後は当該活性値ｒｉ，ｊを単調関数に従って経時変化させつつ所定期間保持する。この場合、単調関数の取り方は任意であるが、例えば、線形関数、指数関数等を利用することができる。また、各反応ブロックＲ（ｉ，ｊ）は、対応中間ブロックＭ（ｉ，ｊ）が活性化された際に、保持している活性値ｒｉ，ｊを速度情報信号として出力する。これを、脳科学におけるニューロンの発火に習って「発火」という。
【００５１】
反応層５ｄの各反応ブロックＲ（ｉ，ｊ）は、対応する対応中間ブロックＭ（ｉ，ｊ）に対し動き検出方向（下方向）と逆方向（上方向）に隣接する隣接中間ブロックＭ（ｉ，ｊ−１）が活性化されるのに伴い、活性値ｒｉ，ｊを初期値ｒ０に初期化し、初期化後は当該活性値ｒｉ，ｊを単調関数に従って経時変化させつつ所定期間保持する。この場合も、単調関数の取り方は任意である。また、各反応ブロックＲ（ｉ，ｊ）は、対応中間ブロックＭ（ｉ，ｊ）が活性化された際に、保持している活性値ｒｉ，ｊを速度情報信号として出力する。
【００５２】
動き判定部５ｅは、反応層５ｃ，５ｄの各反応ブロックＲが出力する速度情報信号ｒに基づいて、エッジ像の位置と上下方向の速度を算出する。例えば、各反応ブロックＲの活性値ｒは、ｒ０に初期化後に比例定数ａで時間とともに単調減少するとする。このとき、初期化時刻をｔ０、発火時刻をｔ１とすると、反応ブロックＲ（ｉ，ｊ）が出力する速度情報信号ｒｉ，ｊはｒｉ，ｊ（ｔ１）＝ｒ０−ａ（ｔ１−ｔ０）で表される。画像ブロックＢ（ｉ，ｊ）の上下幅をｈｉ，ｊとすると、エッジ像の上方向又は下方向の速度ｖｊ（ｉ，ｊ）は次式により簡単に求められる。
【００５３】
【数１】
2010238201.tif 000003
【００５４】
なお、活性値ｒの変化関数は、上記のような単調関数に限られず、単調増加の関数であってもよい。要するに、任意の時刻の活性値ｒｉ，ｊ（ｔ１）とそれまでの経過時間ｔ１−ｔ０が一対一対応するような関数ｆ（ｔ１−ｔ０）であれば何でもよい。そのような関数であれば、活性値ｒｉ，ｊ（ｔ１）から経過時間ｔ１−ｔ０を一意的に決定することができ、動き方向の速度ｖｊ（ｉ，ｊ）を一意的に決定することができるからである。
【００５５】
この場合、上方向の動きの速度は反応層５ｃの出力する速度情報信号ｒによって求められ、下方向の動きの速度は反応層５ｄの出力する速度情報信号ｒによって求められるので、両者を単純に合成すれば、上下方向のエッジ像の速度分布が求められる。
【００５６】
（２）水平方向の速度検出
水平方向動作検出部６の水平エッジブロック検出部６ａは、エッジ抽出処理された動画像のフレームをフレームメモリ４から順次読み込む。水平エッジブロック検出部６ａは、各フレーム内の各画素を、図２（ｂ）に示したような区画によって、複数の画像ブロックＢ（ｉ，ｊ）に区画し、各画像ブロックＢ（ｉ，ｊ）内におけるエッジ像の有無を検出する。そして、エッジ像を含む画像ブロックＢ（ｉ，ｊ）に対してエッジ検出信号を出力する。
【００５７】
中間層６ｂの各中間ブロックＭ（ｉ，ｊ）は、それぞれ、対応する画像ブロックＢ（ｉ，ｊ）がエッジ検出信号ｓｉ，ｊを出力した場合には、その信号が入力される。エッジ検出信号が入力された中間ブロックＭ（ｉ，ｊ）は、その活性値ｍｉ，ｊを活性化状態の値とする。この場合も、中間ブロックＭ（ｉ，ｊ）の活性値ｍｉ，ｊは０（非活性状態）又は１（活性状態）の何れかの値をとる。
【００５８】
反応層６ｃの各反応ブロックＲ（ｉ，ｊ）は、対応する対応中間ブロックＭ（ｉ，ｊ）に対し動き検出方向（左方向）と逆方向（右方向）に隣接する隣接中間ブロックＭ（ｉ＋１，ｊ）が活性化されるのに伴い、活性値ｒｉ，ｊを初期値ｒ０に初期化し、初期化後は当該活性値ｒｉ，ｊを単調減少関数に従って経時変化させつつ所定期間保持する。この場合も、単調関数の取り方は任意である。また、各反応ブロックＲ（ｉ，ｊ）は、対応中間ブロックＭ（ｉ，ｊ）が活性化された際に、保持している活性値ｒｉ，ｊを速度情報信号として出力する。
【００５９】
反応層６ｄの各反応ブロックＲ（ｉ，ｊ）は、対応する対応中間ブロックＭ（ｉ，ｊ）に対し動き検出方向（右方向）と逆方向（左方向）に隣接する隣接中間ブロックＭ（ｉ−１，ｊ）が活性化されるのに伴い、活性値ｒｉ，ｊを初期値ｒ０に初期化し、初期化後は当該活性値ｒｉ，ｊを単調減少関数に従って経時変化させつつ所定期間保持する。この場合も、単調関数の取り方は任意である。また、各反応ブロックＲ（ｉ，ｊ）は、対応中間ブロックＭ（ｉ，ｊ）が活性化された際に、保持している活性値ｒｉ，ｊを速度情報信号として出力する。
【００６０】
動き判定部６ｅは、反応層６ｃ，６ｄの各反応ブロックＲが出力する速度情報信号ｒに基づいて、エッジ像の位置と左右方向の速度を算出する。例えば、上述したように、反応ブロックＲ（ｉ，ｊ）が出力する速度情報信号ｒｉ，ｊがｒｉ，ｊ（ｔ１）＝ｒ０−ａ（ｔ１−ｔ０）で表されるとする。このとき、画像ブロックＢ（ｉ，ｊ）の左右幅をｗｉ，ｊとすると、エッジ像の左方向又は右方向の速度ｖｉ（ｉ，ｊ）は次式により簡単に求められる。
【００６１】
【数２】
2010238201.tif 000004
この場合、左方向の動きの速度は反応層６ｃの出力する速度情報信号ｒによって求められ、右方向の動きの速度は反応層６ｄの出力する速度情報信号ｒによって求められるので、両者を単純に合成すれば、左右方向のエッジ像の速度分布が求められる。
【００６２】
以上のようにして垂直方向、水平方向の物体の速度検出が行われた後、動きベクトル合成部７は、動き判定部５ｅ，６ｅが出力するエッジ像の位置、上下方向の速度ｖｉ、左右方向の速度ｖｊの情報に基づいて、エッジ像の動きベクトルを合成し出力する。
【００６３】
図５に、垂直方向動作検出部５における中間層５ｂ内の中間ブロックＭ（ｉ，ｊ），Ｍ（ｉ，ｊ−１）及び反応層５ｃ内の反応ブロックＲ（ｉ，ｊ−１），Ｒ（ｉ，ｊ−２）の活性値の時間変化の例を示す。時刻ｔ０において、図５（ｂ）に示す位置に物体Ａが移動し、画像ブロックＢ（ｉ，ｊ）でエッジ像が検出され、エッジ検出信号ｓｉ，ｊが出力されたとする。このとき、中間ブロックＭ（ｉ，ｊ）の活性値ｍｉ，ｊが活性化状態１となるとともに、上側に隣接する中間ブロックＭ（ｉ，ｊ−１）に対応する反応ブロックＲ（ｉ，ｊ−１）の活性値ｒｉ，ｊ−１が初期値ｒ０に初期化される。反応ブロックＲ（ｉ，ｊ−１）の活性値ｒｉ，ｊ−１は、初期化後、時間とともに単調減少する。
【００６４】
時刻ｔ１において、図５（ｃ）に示す位置に物体Ａが移動し、画像ブロックＢ（ｉ，ｊ−１）でエッジ像が検出され、エッジ検出信号ｓｉ，ｊ−１が出力されたとする。このとき、エッジ検出信号ｓｉ，ｊは出力されなくなる。この場合、中間ブロックＭ（ｉ，ｊ）の活性値ｍｉ，ｊが非活性化状態０となるとともに、中間ブロックＭ（ｉ，ｊ−１）の活性値ｍｉ，ｊ−１が活性化状態１となる。それとともに、時刻ｔ１における反応ブロックＲ（ｉ，ｊ−１）の活性値ｒｉ，ｊ−１（ｔ１）が速度情報信号として出力され、活性値ｒｉ，ｊ−１は０にリセットされる。また、中間ブロックＭ（ｉ，ｊ−１）の上側に隣接する中間ブロックＭ（ｉ，ｊ−２）に対応する反応ブロックＲ（ｉ，ｊ−２）の活性値ｒｉ，ｊ−２が初期値ｒ０に初期化され、初期化後、時間とともに単調減少し始める。従って、図５（ｃ）の例では、斜線を付した画像ブロックＢに対応する反応ブロックＲにおいて、等しい活性値ｒが速度情報信号として出力されることになる。
【００６５】
図６に、水平方向動作検出部６における中間層６ｂ内の中間ブロックＭ（ｉ，ｊ），Ｍ（ｉ，ｊ−１）及び反応層６ｃ内の反応ブロックＲ（ｉ，ｊ−１），Ｒ（ｉ，ｊ−２）の活性値の時間変化の例を示す。時刻ｔ０において、図６（ｂ）に示す位置に物体Ａが移動し、画像ブロックＢ（ｉ，ｊ）でエッジ像が検出され、エッジ検出信号ｓｉ，ｊが出力されたとする。このとき、中間ブロックＭ（ｉ，ｊ）の活性値ｍｉ，ｊが活性化状態１となるとともに、左側に隣接する中間ブロックＭ（ｉ−１，ｊ）に対応する反応ブロックＲ（ｉ−１，ｊ）の活性値ｒｉ−１，ｊが初期値ｒ０に初期化される。反応ブロックＲ（ｉ−１，ｊ）の活性値ｒｉ−１，ｊは、初期化後、時間とともに単調減少する。
【００６６】
時刻ｔ１において、図６（ｃ）に示す位置に物体Ａが左に移動し、画像ブロックＢ（ｉ−１，ｊ）でエッジ像が検出され、エッジ検出信号ｓｉ−１，ｊが出力されたとする。このとき、エッジ検出信号ｓｉ，ｊは出力されなくなる。この場合、中間ブロックＭ（ｉ，ｊ）の活性値ｍｉ，ｊが非活性化状態０となるとともに、中間ブロックＭ（ｉ−１，ｊ）の活性値ｍｉ−１，ｊが活性化状態１となる。それとともに、時刻ｔ１における反応ブロックＲ（ｉ−１，ｊ）の活性値ｒｉ−１，ｊ（ｔ１）が速度情報信号として出力され、活性値ｒｉ−１，ｊは０にリセットされる。また、中間ブロックＭ（ｉ−１，ｊ）の左側に隣接する中間ブロックＭ（ｉ−２，ｊ）に対応する反応ブロックＲ（ｉ−２，ｊ）の活性値ｒｉ−２，ｊが初期値ｒ０に初期化され、初期化後、時間とともに単調減少し始める。従って、図６（ｃ）の例では、斜線を付した画像ブロックＢに対応する反応ブロックＲにおいて、等しい活性値ｒが速度情報信号として出力されることになる。
【００６７】
以上のようにして動作検出を行う場合、各画像ブロックＢの動き検出方向（上方向，下方向、又は左方向，右方向）の区画線は、動き検出方向に対して垂直であり、動き検出方向の座標の同じ画像ブロックＢは、すべて動き検出方向に垂直な辺（上辺及び下辺、又は左辺及び右辺）の動き検出方向の座標が等しくなるように設定されているため、物体の位置によらず精度よく動き検出方向の速度の検出を行うことが可能となる。
【００６８】
また、垂直方向動作検出部５における各画像ブロックＢを区画する各周域水平線１２（図２（ａ）参照。）の間隔を、中央水平線１１に近いほど狭め、各対称折線１４，１５を、中央水平線１１を線対称軸として中央水平線１１からフレーム１０の上辺及び下辺に向かって中央垂直線１３から遠ざかる方向へ傾斜させ、また、水平方向動作検出部６における各画像ブロックＢを区画する各周域垂直線１７（図２（ｂ）参照。）の間隔を、中央垂直線１６に近いほど狭め、各対称折線１９，２０を、中央垂直線１６を線対称軸として中央垂直線１６からフレーム１０の左辺及び右辺に向かって中央水平線１８から遠ざかる方向へ傾斜させることによって、同一の物体の各エッジの動きをより揃ったタイミングで検出することができ、動作検出装置１の検出精度を向上させることができる。これは、例えば、図７に示すように、実空間における遠方の物体Ａ１と接近した物体Ａ２をカメラ２によりフレーム画像に写像した場合、遠方の物体Ａ１が接近した物体Ａ２よりも、より中央水平線１１及び中央垂直線１６の近位に写像される。また、物体Ａ１，Ａ２が同じ速度で移動していたとしても、フレーム画像上では、遠方の物体Ａ１のほうが接近した物体Ａ２よりもゆっくり移動する。従って、各周域水平線１２の間隔を、中央水平線１１に近いほど狭め、各周域垂直線１７の間隔を、中央垂直線１６に近いほど狭めることによって、遠方の物体であっても、同一の物体の各エッジの動きをより揃ったタイミングで検出することができるようになる。
【００６９】
また、図２（ａ）に示したように、対称折線１４，１５の放射中心（折曲点）を従来のように一点に集中させず（図１３（ａ）参照）に分散させ、図２（ｂ）に示したように、対称折線１９，２０の放射中心（折曲点）を従来のように一点に集中させず（図１３（ａ）参照）に分散させることによって、様々な状況に於ける物体の動き検出を精度よく行うことが可能となる。
【００７０】
図８は、シミュレーションにより図１３（ａ）のブロック分割を用いた従来の動作検出装置により物体のエッジ検出を行った場合と本実施例の動作検出装置により物体のエッジ検出を行った場合との比較を示した図である。
【００７１】
図８（ｂ），（ｅ）は本実施例の動作検出装置により検出を行った物体のパターンであり、図８（ｃ），（ｆ）は従来の動作検出装置により検出を行った物体のパターンである。また、図８（ｂ），（ｃ）は、図８（ａ）のように、カメラＣ（図１のカメラ２）の斜め前に静止した物体Ａに対してカメラＣが接近する場合の検出パターンを示し、物体Ａは接近方向の相対速度のみを持つ。また、図８（ｅ），（ｆ）は、図８（ｄ）のように、カメラＣの斜め前からＸ方向に等速度運動する物体Ａに対してカメラＣが接近する場合の検出パターンを示し、物体Ａは接近方向及び左右方向の相対速度を持つ。
【００７２】
図８（ｂ），（ｃ）を比較すると、物体Ａが接近方向の相対速度のみを持つ場合には、本実施例の動作検出装置と従来の動作検出装置との間で検出精度の差はあまり見られない。しかし、物体Ａが接近方向と左右方向の相対速度を持つ場合には、従来の動作検出装置では物体Ａの輪郭全体を検出することができず検出精度が悪いのに対して、本実施例の動作検出装置では、物体Ａの輪郭全体をほぼ完全に検出することができている。
【００７３】
図９は、シミュレーションにより図１３（ａ）のブロック分割を用いた従来の動作検出装置により物体の速度検出を行った場合と本実施例の動作検出装置により物体の速度検出を行った場合との比較を示した図である。
【００７４】
モデルとして、図９（ａ）に示したエッジ像が速度ｖで上方向に移動する場合について計算した。図９（ｂ）は本実施例の動作検出装置により検出したエッジ像の検出パターン、図９（ｃ）は従来の動作検出装置（図１３（ａ）の上象限）により検出したエッジ像の検出パターンである。本実施例の動作検出装置ではエッジ像の検出パターンは均等に検出されるのに対して、従来の動作検出装置では周辺部のブロック分割が粗いために左右終演部のエッジ像の検出パターンに多数の途切れがみられる。
【００７５】
図９（ｄ）は本実施例の動作検出装置により検出したエッジ像の平均速度、図９（ｅ）は従来の動作検出装置により検出したエッジ像の平均速度である。図９（ｄ），（ｅ）において、実線で記された曲線は、実際のエッジ像の速度である。図９（ｄ）において「○」で示した点が、本実施例の動作検出装置により検出したエッジ像の平均速度である。図９（ｅ）において、「□」，「×」で示した点が、従来の動作検出装置により検出したエッジ像の平均速度であり、「□」が図１３（ａ）の上象限のブロック分割を用いた場合、「×」が図１３（ａ）の左象限及び右象限のブロック分割を用いた場合を示す。図９（ｄ），（ｅ）から明らかなように、従来の動作検出装置に比べて、本実施例の動作検出装置のほうが、速度の検出精度が遙かによいことがわかる。
【００７６】
なお、本実施例においては、反応ブロックＲの活性値ｒを経時変化させることとしたが、本発明における他の例として、中間ブロックＭの活性値ｍを経時変化させるようにすることも可能である。この場合、中間層５ｂの各中間ブロックＭ（ｉ，ｊ）に画像ブロックＢ（ｉ，ｊ）からエッジ検出信号ｓｉ，ｊが入力され始めた場合には、中間ブロックＭ（ｉ，ｊ）はその活性値ｍｉ，ｊを初期値ｍ０に初期化し、初期化後は当該活性値ｍｉ，ｊを単調減少関数に従って経時変化させつつ所定期間保持する。そして、エッジ検出信号ｓｉ，ｊの入力が停止したときに、中間ブロックＭ（ｉ，ｊ）はその時点で保持している活性値ｍｉ，ｊの値をホールドする。また、各反応ブロックＲ（ｉ，ｊ）は、対応中間ブロックＭ（ｉ，ｊ）に対し動き検出方向と逆方向に隣接する隣接中間ブロックＭ（ｋ，ｌ）の活性値ｍｋ，ｌと、対応中間ブロックＭ（ｉ，ｊ）の活性値ｍｉ，ｊとを加算して、自己の活性値ｒｉ，ｊ＝ｍｉ，ｊ＋ｍｋ，ｌとする。そして、活性値ｒｉ，ｊが上記初期値ｍ０より大きく設定された所定の閾値ｒｔｈ以上の場合に、その活性値ｒｉ，ｊを速度情報信号として出力する。このような構成としても、同様に検出精度の高い動作検出装置を構成することができる。
【００７７】
なお、本実施例１では、垂直方向動作検出部５、水平方向動作検出部６、及び動きベクトル合成部７を電子回路により構成する例を示したが、これらの各部は、汎用のコンピュータを使用して実現することも可能である。その場合、上記垂直方向動作検出部５、水平方向動作検出部６、及び動きベクトル合成部７を機能的なモジュールとして実現するプログラムをコンピュータに読み込ませて実行させることで実現できる。
【実施例２】
【００７８】
本実施例２に係る動作検出装置の基本的な構成は、図１に示したものと同様である。本実施例においては、図１の垂直方向動作検出部５及び水平方向動作検出部６の内部の構成が実施例１とは異なる。
【００７９】
図１０は、本発明の実施例２に係る動作検出装置の垂直方向動作検出部５及び水平方向動作検出部６の内部構成を表すブロック図である。垂直方向動作検出部５及び水平方向動作検出部６は、垂直エッジブロック検出部５ａ（水平エッジブロック検出部６ａ）、動き検出ブロック集合体２５、及び動き判定部５ｅ（動き判定部６ｅ）を備えている。このうち、垂直エッジブロック検出部５ａ（水平エッジブロック検出部６ａ）及び動き判定部５ｅ（動き判定部６ｅ）は図１と同様のものであるため、説明は省略する。
【００８０】
動き検出ブロック集合体２５は、動き検出方向に対するエッジ像の動きを検出する動き検出ブロック２６が、各画像ブロックＢ（ｉ，ｊ）に一対一対応して複数個配列されている。なお、各画像ブロックＢ（ｉ，ｊ）の区画の仕方は、実施例１の図２で説明した通りである。
【００８１】
それぞれの動き検出ブロック２６は、１つの中間ブロックＭと２つの反応ブロックＲ１，Ｒ２を備えている。反応ブロックＲ１は上方向（又は左方向）を動き検出方向とする反応ブロックであり、反応ブロックＲ２は下方向（又は右方向）を動き検出方向とする反応ブロックである。さらに、各反応ブロックＲ１，Ｒ２は、反応ユニット配列３１、活性信号伝達部３２、及び経時情報出力部３３を備えている。
【００８２】
図１１は、反応ブロックＲ１，Ｒ２の内部構成を表すブロック図である。反応ユニット配列３１は、活性信号を保持するための反応ユニット３４が、順序づけられて複数個配列されている。以下の説明では、先頭の反応ユニット３４から、３４＿１，３４＿２，…，３４＿ｎのように番号を付す。なお、ｎは２以上の任意の自然数であり、図１１の例ではｎ＝８である。
【００８３】
活性信号伝達部３２は、先頭の反応ユニット３４＿１から末尾の反応ユニット３４＿ｎへ活性信号を経時的に順次転送又は伝搬する。なお、アナログ回路で構成する場合には、活性信号伝達部３２として遅延線を使用することができる。
【００８４】
経時情報出力部３３は、中間ブロックＭから出力トリガ信号（後述）が入力された場合に、その時点で活性信号を保持している反応ユニット３４＿ｋの反応ユニット配列３１における順序ｋを、速度情報信号として出力する。
【００８５】
各中間ブロックＭ（ｉ，ｊ）は、対応する画像ブロックＢ（ｉ，ｊ）からエッジ検出信号ｓｉ，ｊが入力されたときに、対応する反応ブロックＲ１（ｉ，ｊ），Ｒ２（ｉ，ｊ）に対して出力トリガ信号を出力するとともに、当該反応ブロックＲ１（ｉ，ｊ），Ｒ２（ｉ，ｊ）の動き検出方向に隣接する各反応ブロック（垂直方向動作検出部５では、反応ブロックＲ１（ｉ，ｊ−１），Ｒ２（ｉ，ｊ＋１）、水平方向動作検出部６では、反応ブロックＲ１（ｉ−１，ｊ），Ｒ２（ｉ＋１，ｊ））内の反応ユニット配列３１の先頭の反応ユニット３４＿１に対して活性信号を出力する。
【００８６】
以上のように構成された本実施例２に係る動作検出装置について、以下その動作を説明する。
【００８７】
図１２は、垂直方向動作検出部５における動き検出ブロック２６内の中間ブロックＭ（ｉ，ｊ），Ｍ（ｉ，ｊ−１）及び反応ブロックＲ１内の各反応ユニット３４＿１，３４＿２，…，３４＿８の活性値の時間変化の例を示す図である。なお、垂直方向動作検出部５内の反応ブロックＲ２、並びに水平方向動作検出部６内の反応ブロックＲ１，Ｒ２についても同様であるため、ここでは垂直方向動作検出部５内の反応ブロックＲ１についてのみ説明する。
【００８８】
時刻ｔ０において、画像ブロックＢ（ｉ，ｊ）にエッジ像が移動してきて、中間ブロックＭ（ｉ，ｊ）にエッジ検出信号ｓｉ，ｊが入力され始めたとする。このとき、中間ブロックＭ（ｉ，ｊ）は、対応する反応ブロックＲ（ｉ，ｊ）の上方向（動き検出方向）に隣接する反応ブロックＲ（ｉ，ｊ−１）の先頭の反応ユニット３４＿１に対して活性信号を入力する。これにより、反応ユニット３４＿１は活性化され、活性信号のパルスが生成される。
【００８９】
時刻ｔ０から時刻ｔ１にかけて、活性信号伝達部３２により、反応ユニット３４＿１から反応ユニット３４＿ｎに向かって活性信号のパルスが経時的に伝達される。
【００９０】
時刻ｔ１において、画像ブロックＢ（ｉ，ｊ）から画像ブロックＢ（ｉ，ｊ−１）にエッジ像が上方移動したとする。このとき、中間ブロックＭ（ｉ，ｊ−１）にエッジ検出信号ｓｉ，ｊが入力され始める。中間ブロックＭ（ｉ，ｊ−１）は、対応する反応ブロックＲ（ｉ，ｊ）に対して出力トリガ信号を入力する。これにより、経時情報出力部３３は、反応ユニット３４＿１，３４＿２，…，３４＿ｎが保持する活性値を読み出し、その時点で活性信号を保持している反応ユニット３４＿ｋの順序ｋ（図１１の例ではｋ＝７）を検出する。そして、検出された順序情報ｋを速度情報信号として動きベクトル合成部７は出力する。この順序情報ｋは、エッジ像の動き検出方向の速度に比例するので、動きベクトル合成部７は順序情報ｋから動き検出方向のエッジ像の速度ｖｊを算出する。
【００９１】
なお、本実施例２では、垂直方向動作検出部５、水平方向動作検出部６、及び動きベクトル合成部７を電子回路により構成する例を示したが、これらの各部は、汎用のコンピュータを使用して実現することも可能である。その場合、上記垂直方向動作検出部５、水平方向動作検出部６、及び動きベクトル合成部７を機能的なモジュールとして実現するプログラムをコンピュータに読み込ませて実行させることで実現できる。
【産業上の利用可能性】
【００９２】
本発明は、移動中の安全を確保するための移動物体検出装置で利用することができる。例えば、自動車の安全運転に係る警報装置、ナビゲーション装置、自動運転装置、自動掃除機等において利用することができる。
【符号の説明】
【００９３】
１  動作検出装置
２  カメラ
３  エッジ検出器
４  フレームメモリ
５  垂直方向動作検出部
５ａ  垂直エッジブロック検出部
５ｂ  中間層
５ｃ，５ｄ  反応層
５ｅ  動き判定部
６  水平方向動作検出部
６ａ  水平エッジブロック検出部
６ｂ  中間層
６ｃ，６ｄ  反応層
６ｅ  動き判定部
７  動きベクトル合成部
１０  フレーム
１１  中央水平線
１２  周域水平線
１３  中央垂直線
１４，１５  対称折線
１６  中央垂直線
１７  周域垂直線
１８  中央水平線
１９，２０  対称折線
２５  動き検出ブロック集合体
２６  動き検出ブロック
３１  反応ユニット配列
３２  活性信号伝達部
３３  経時情報出力部
３４，３４＿１，３４＿２，…，３４＿ｎ  反応ユニット
Ｂ  画像ブロック
Ｍ  中間ブロック
Ｒ，Ｒ１，Ｒ２  反応ブロック
【図１】
2010238201.tif 000005
【図２】
2010238201.tif 000006
【図３】
2010238201.tif 000007
【図４】
2010238201.tif 000008
【図５】
2010238201.tif 000009
【図６】
2010238201.tif 000010
【図７】
2010238201.tif 000011
【図８】
2010238201.tif 000012
【図９】
2010238201.tif 000013
【図１０】
2010238201.tif 000014
【図１１】
2010238201.tif 000015
【図１２】
2010238201.tif 000016
【図１３】
2010238201.tif 000017
【図１４】
2010238201.tif 000018
【図１５】
2010238201.tif 000019