(57)【要約】【目的】観測系の移動と独立な移動を行う物体を高速かつ安定に検出するための動画像処理装置及び方法を提供する．【解決手段】移動観測系に具備されたテレビカメラ等の画像センサより得られる動画像より画像各点の動きを表すオプティカルフローを毎時検出し，この検出されたオプティカルフローを予め設定した評価基準に基づき複数の領域にグループ化し，各領域に含まれるオプティカルフロー情報から求められる動きの消失点などの特徴量を用いた解析を行うことにより，背景と独立に移動する移動物体を分離して検出する処理を実現する．【選択図】        図２
2004220059.tif 000002
【特許請求の範囲】
【請求項１】
一連の画像を処理することにより，物体の認識や状況の変化の検出を行う動画像処理装置及び方法において，移動観測手段に搭載された単数または複数のカメラにより撮影された画像中の各点の動きを表す動きベクトル（オプティカルフロー）を抽出する，動きベクトル抽出手段と，上記抽出したオプティカルフローを予め設定した評価基準に基づきグループ化する，動きベクトル統合手段と，上記動きベクトル統合手段によりグループ化されたオプティカルフローの集合に対して，この集合が独立した移動物体の投影領域に含まれる場合に各フローの延長線上に存在する移動物体の動きの消失点（移動物体ＦＯＥ：Ｆｏｃｕｓ  ｏｆ  Ｅｘｐａｎｓｉｏｎ）と移動観測系の自己移動による動きの消失点（背景ＦＯＥ）との位置が異なることを利用することにより，独立に移動する物体を検出する移動物体検出手段を具備することを特徴とする動画像処理装置及び方法．
【請求項２】
請求項１に記載の動画像処理装置及び方法における，動きベクトル統合手段において，画像の全体または一部を複数の小領域に分割し，検出されたオプティカルフローの本数が規定値よりも大きい小領域を選択するという評価基準に基づきグループ化を行う手段を具備することを特徴とする動画像処理装置及び方法．
【請求項３】
請求項１に記載の動画像処理装置及び方法における，動きベクトル統合手段において，画像からエッジを抽出し，このエッジの近傍領域に含まれるオプティカルフローを選択するという評価基準に基づきグループ化を行う手段を具備することを特徴とする動画像処理装置及び方法．
【請求項４】
請求項１に記載の動画像処理装置及び方法における，移動物体検出手段において，画像中の静止環境物体領域に含まれるオプティカルフロー群を抽出し，これらの動きベクトル情報を基に移動観測系の自己移動による動きの消失点（背景ＦＯＥ）を推定する手段を具備することを特徴とする動画像処理装置及び方法．
【請求項５】
請求項１に記載の動画像処理装置及び方法における，移動物体検出手段において，  移動観測系の自己移動による動きの消失点（背景ＦＯＥ）を画像中心で代用し用いる手段を具備することを特徴とする動画像処理装置及び方法．
【請求項６】
請求項２に記載の動画像処理装置及び方法における，移動物体検出手段において，前記グループ化された小領域集合に含まれるオプティカルフローベクトル群に基づき  移動物体の動きの消失点（移動物体ＦＯＥ）を推定し，この位置ベクトルと  移動観測系の自己移動による動きの消失点（背景ＦＯＥ）の位置ベクトル間の差ベクトルの長さを閾値と比較することにより，上記グループ化された小領域集合が独立に移動する物体に含まれるか否かを判定する手段を具備することを特徴とする動画像処理装置及び方法．
【請求項７】
請求項２に記載の動画像処理装置及び方法における，動きベクトル統合手段において，各小領域における明度値で規定される条件または色相値で規定される条件が類似しているという基準を併用することによりグループ化を行う手段を具備することを特徴とする動画像処理装置及び方法．
【請求項８】
請求項３に記載の動画像処理装置及び方法における，移動物体検出手段において，選択された各オプティカルフローを延長した直線と，移動観測系の自己移動による動きの消失点（背景ＦＯＥ）との距離を計算し，この距離値を規定閾値と比較することにより上記オプティカルフローが独立に移動する物体により生じたものか否かを判定する手段を具備することを特徴とする動画像処理装置及び方法．
【請求項９】
請求項１に記載の動画像処理装置及び方法において，複数の移動観測系における同時点の画像対から各々検出された，独立に移動する物体に属する領域の各代表位置座標を，ステレオ対応付けすることにより，上記独立移動物体の移動観測系からの３次元位置情報を抽出する手段を具備することを特徴とする動画像処理装置及び方法．
【請求項１０】
請求項９に記載の動画像処理装置及び方法において，複数の移動観測系における同時点の画像対から各々検出された，独立に移動する物体に属する領域の各代表位置座標として重心座標を使用することを特徴とする動画像処理装置及び方法．
【発明の詳細な説明】
【０００１】
【発明の属する利用分野】
本発明は，一連の画像を解析することにより，例えば交通流の計測や，不法侵入者の出現検知，自律移動車や移動ロボットの制御などを行う動画像処理装置において用いられる，動画像処理装置及び方法に関する．
【０００２】
【従来の技術】
近年，ＴＶカメラの民生化による普及と共に，ＰＣの普及に伴う小型化，高速化が進行し，従来は専用ハードウェアを用いて実現していた画像処理応用機能が安価に実現できる環境が整ってきた．一方で，知能移動作業ロボット，アミューズメント・ホビーロボット，自律移動車などの研究開発が活発に行われており，実用化が強く望まれている．これら知能移動ロボットや自律移動車などのシステムを構築する際には，時々刻々変化する画像を解析し，移動中に出現する他の移動物体を高速かつ安定に検出する動画像処理装置及び方法が不可欠となる．
【０００３】
従来の移動物体検出処理においては，固定カメラ等の静止した観測系における画像を差分，閾値処理し，新規に出現した物体の検出を行う手法が一般的に用いられている．また，動画像を処理して各点の動きベクトル（オプティカルフロー）を検出する技術は，動画像処理研究の一環として活発に研究されている．このオプティカルフローは，移動観測系に対する３次元空間における相対的な動きが画像平面に投影されたものとみなすことができるが，実際に検出する際には照明変動などによる明度変化により誤りフローが混在し，高精度なフローを高速に検出することは容易ではない．このオプティカルフローに基づき移動物体を検出する手法として例えば，「移動物体検知装置及びその方法」（特願平７−７４４６号，平成７年１月２０日出願）が提案されている．
【０００４】
【発明が解決しようとする課題】
知能移動ロボットや自律移動車のように観測系自身も移動する場合には，画像に投影された環境全体も時々刻々変化するため，上記の静止カメラ画像を対象とした差分，閾値処理では新規に出現した移動物体領域を背景と切り分けて検出することができない，という課題があった．また，オプティカルフローを利用した背景・自律移動物体の分離を行う際には，上記の誤りフローへの対処，及び，画像全域に渡って発生するオプティカルフロー情報を効率的に解析する手法の開発が課題となっていた．前記「移動物体検知装置及びその方法」においては，オプティカルフローを用いて動きの消失点（ＦＯＥ）を検出し，この位置の変化または小領域における推定残差を用いて独立に移動する物体を検出する手法を提案しているが，フロー精度が低下した場合，移動物体が遠方に出現し画像中に占める割合が小さい場合などにおける検出性能が低下するという問題があった．本発明は以上の点を鑑み，観測系の移動と独立な移動を行う物体を高速かつ安定に検出するための動画像処理装置及び方法を提供することを目的とする．
【０００５】
【課題を解決するための手段】
本発明による動画像処理装置及び方法は，移動観測系に具備された各カメラにおいてそれぞれオプティカルフローを検出する手段を有することを特徴とする．
本発明による動画像処理装置及び方法は，抽出したオプティカルフローを予め設定した評価基準に基づきグループ化する手段を有することを特徴とする．本発明による動画像処理装置及び方法は，上記グループ化されたオプティカルフローの集合に対して，この集合に含まれるオプティカルフロー情報を解析することにより，独立に移動する物体を検出する手段を有することを特徴とする．
【０００６】
【発明の実施の形態】
図１に，特許請求項間の関係を示す．以下，本発明の実施の形態について，図２〜図５を用いて説明する．
【０００７】
最初に，請求項１，請求項２，請求項４，請求項６の実施例を示す．図２に，本発明全体の構成を示す．動きベクトル抽出手段ａ１においては，移動観測系に搭載された単数または複数の各カメラ画像に対して画面上の動きベクトル（オプティカルフロー）を推定する．動きベクトル統合手段ａ２においては，抽出したオプティカルフローを予め設定した評価基準に基づき，グループ化する．移動物体検出手段ａ３においては，例えば，上記グループ化されたオプティカルフローの集合に対して，この集合が独立した移動物体の投影領域に含まれる場合に各フローの延長線上に存在する移動物体の動きの消失点（移動物体ＦＯＥ）と移動観測系の自己移動による動きの消失点（背景ＦＯＥ）との位置が異なることを利用することにより，移動観測系に対し独立に移動する物体領域の検出を行う．
【０００８】
以下，各部の具体的な構成方法について述べる．図３に，動きベクトル抽出手段ａ１の具体化構成の一例を示す．関心領域設定部ｂ１においては，移動観測系に搭載された単数または複数のカメラを介して時々刻々入力される画像に対し，移動物体検出処理を実施するＭ画素×Ｎ画素の局所領域を設定する．領域サイズＭ，Ｎの値は，用途と処理速度要求に応じて適宜設定する．類似度計算部ｂ２においては，上記関心領域に属する各画素の連続時点間の類似度を計算しこの極大を持つ位置を検出することにより，動きベクトル（オプティカルフロー）を検出する．類似度としては，相関係数，明度値の差の絶対値和などが利用可能であるが，本構成例では，各画素の近傍領域内の明度分布を解析した後に連続時点における近傍領域内各対応画素明度値の差の絶対値和に−１を掛けた値を類似度として採る場合について以下に述べる．
【０００９】
ｔ時点での画素位置（ｘｉ（ｔ），ｙｉ（ｔ））を始点としたオプティカルフローを求める際，まずこの（ｘｉ（ｔ），ｙｉ（ｔ））を中心位置とするＫ画素×Ｌ画素の近傍領域を設定する．Ｋ，Ｌの値は処理時間を考慮して適宜設定する．次にこの近傍領域内の全画素ＫＬ個の明度分布を求め，例えば分布曲線における最大値と最小値の差が閾値以上である等，充分な情報量があると判定された場合に，この画素をオプティカルフロー抽出の対象として選択する．充分な情報量があると判定されなかった場合は，オプティカルフロー抽出精度向上が見込めないため，この画素でのオプティカルフロー抽出は行わず，関心領域内の次の画素に移り上記の処理を繰り返し実行する．オプティカルフロー抽出の対象として選択された画素については，ｔ＋１時点における予め定めた探索領域内の各候補点について，上記の明度分布評価を実行する．充分な情報量があると判定されなかった候補点に関しては，類似度計算の対象とせず，次の候補点に移る．充分な情報量があると判定された候補点に関しては，総和メモリＳ（ｋ）を０にクリヤした後，ｔ時点での（ｘｉ（ｔ），ｙｉ（ｔ））を中心位置とした近傍領域における点の画素値ｇｉ（ｔ）とｔ＋１時点における上記候補点を中心位置とした近傍領域の対応する点の画素値ｇｉ（ｔ＋１）の差の絶対値和｜ｇｉ（ｔ）−  ｇｉ（ｔ＋１）｜を計算し，総和メモリＳ（ｋ）に加算することを全近傍領域内の画素に関して繰り返し，最終的に得られた総和値に−１を掛けた値を総和メモリＳに新たに記憶しておく．上記の処理を全候補点に関して実行し，得られた総和メモリ値が最大となる候補点（ｘｉ（ｔ＋１），ｙｉ（ｔ＋１））を，動きベクトルの終点位置として検出する．動きベクトルメモリ格納部ｂ３においては，上記類似度計算部ｂ２において求められた類似度最大となるｔ＋１時点の画素位置（ｘｉ（ｔ＋１），ｙｉ（ｔ＋１））とこれに対応したｔ時点での画素位置（ｘｉ（ｔ），ｙｉ（ｔ））の差ベクトル（ｘｉ（ｔ＋１）−  ｘｉ（ｔ），ｙｉ（ｔ＋１）−  ｙｉ（ｔ））をこのｔ時点での画素位置（ｘｉ（ｔ），ｙｉ（ｔ））におけるオプティカルフローベクトルとして求め，位置座標値（ｘｉ（ｔ），ｙｉ（ｔ））と合せてメモリに順次格納する．
【００１０】
図４に，動きベクトル統合手段ａ２の具体化構成の一例を示す．まず局所領域分割部ｃ１にて，関心領域全体をＡ画素×Ｂ画素の大きさを持つ局所領域群に分割する．Ａ，Ｂは各々，関心領域サイズＭ，Ｎの約数となるように設定する．これにより，関心領域全体に対し重なりのないように（Ｍ／Ａ）×（Ｎ／Ｂ）個に分割することも可能であるが，本実施例では，できるだけ移動物体の見逃しを少なくするため，上記重なりのない分割結果得られた局所領域の隣り合う２つの領域の間に新たに１つの局所領域を設定する方式を用いることとする．この結果，約（９ＭＮ／４ＡＢ）個の局所領域が生成されることになる．次に局所領域選択部ｃ２にて，所定の基準に基づき上記設定した局所領域の中から移動物体検出に用いるものの選択を行う．この選択の基準として例えば，各局所領域に含まれるオプティカルフローの本数を，前記動きベクトル抽出手段ａ１における動きベクトルメモリ格納部ｂ３の内容を参照することにより求め，この値が予め設定した閾値より大きいものを選択する方式を採ることが有効である．局所領域メモリ格納部ｃ３においては，上記局所領域選択部ｃ２にて選出した移動物体検出に用いる各局所領域の位置・サイズ情報を，メモリに順次格納する．
【００１１】
図５に，移動物体検出手段ａ３の具体化構成の一例を示す．まず背景ＦＯＥ推定部ｄ１において，移動観測系自身の移動により生じる背景領域の動きの消失点（背景ＦＯＥ）を推定する．この方式としては，移動開始前に予め環境に静止した物体を検出しておき，この領域に包含されるオプティカルフローベクトルの集合より得られる直線群の交点位置として求めることが可能である．局所領域ＦＯＥ推定部ｄ２においては，前記動きベクトル統合手段ａ２における局所領域メモリ格納部ｃ３の内容を参照することにより，移動物体検出に用いる局所領域の各位置・サイズ情報を得た後，この領域に含まれるオプティカルフローの集合を前記動きベクトル抽出手段ａ１における動きベクトルメモリ格納部ｂ３の内容を参照することにより求め，このフローベクトル情報に基づき設定した直線群の交点位置として，各局所領域における動きの消失点（局所領域ＦＯＥ）位置を推定する．
移動物体存在判定部ｄ３においては，移動観測系に対し独立移動する物体の投影領域に含まれる場合に各フローの延長線上に存在する移動物体の動きの消失点（移動物体ＦＯＥ）と移動観測系の自己移動による動きの消失点（背景ＦＯＥ）との位置が異なることを利用することにより，移動観測系に対し独立に移動する物体領域の検出を行う．具体的には上記背景ＦＯＥの位置ベクトルと各局所領域におけるオプティカルフロー直線の交点（局所領域ＦＯＥ）の差ベクトルを求め，この長さが予め設定した閾値以上である場合に，この局所領域を独立に移動する物体に属する領域として検出することが可能である．なお，本発明は上述した実施例に限定されるものではない．
【００１２】
次に，請求項３の実施例を示す．請求項３では，前記動きベクトル統合手段ａ２において，画像からエッジを抽出し，このエッジの近傍領域に含まれるオプティカルフローを選択するという評価基準に基づきグループ化を行う方式を採る．
【００１３】
次に，請求項５の実施例を示す．請求項５では，前記移動物体検出手段ａ３の背景ＦＯＥ推定部ｄ１において，移動観測系は視線方向に直進することを用いて，移動観測系自身の移動により生じる背景領域の動きの消失点（背景ＦＯＥ）を画像中心位置で代用する．
【００１４】
次に，請求項７の実施例を示す．請求項７では，前記動きベクトル統合手段ａ２において，各局所領域に含まれるオプティカルフローの始点画素，または終点画素の平均明度または色相値が類似しているという基準を併用することによりグループ化を行う方式を採る．また，オプティカルフロー本数を用いて選択した局所領域間における，平均明度または色相値の類似性を用いて，更にグループ化を行う方式を採ることも可能である．
【００１５】
次に，請求項８の実施例を示す．請求項８では，前記移動物体検出手段ａ３において，移動物体検出を行う局所領域に含まれる各オプティカルフローを延長した直線と，移動観測系の自己移動による動きの消失点（背景ＦＯＥ）との距離を計算し，この距離値を予め設定した閾値と比較することにより上記オプティカルフローが独立移動する物体により生じたものか否かを判定する方式を採る．
【００１６】
次に，請求項９の実施例を示す．請求項９では，複数の移動観測系における同時点の画像対から前記移動物体検出手段ａ３により各々検出された，独立移動物体の投影領域の各代表位置座標を，ステレオ対応付けすることにより，上記独立移動物体の移動観測系からの３次元位置情報を抽出する手段を付加することにより，移動速度の推定や衝突危険性などの判定を実施する．
【００１７】
次に，請求項１０の実施例を示す．請求項１０では，請求項９における複数の移動観測系における同時点の画像対から前記移動物体検出手段ａ３により各々検出された，独立移動物体の投影領域の各代表位置座標として独立移動物体の重心座標を使用する．
【００１８】
以上，本発明はその趣旨を逸脱しない範囲で種々変形して実施することが可能である．
【００１９】
【発明の効果】
以下に本発明の効果を述べる．
【００２０】
請求項１の実施例では，動きベクトル抽出手段と，動きベクトル統合手段と，移動物体検出手段を具備することにより，移動観測手段に搭載された単数または複数のカメラにより撮影された一連の画像から移動物体を検出することが可能となる．
【００２１】
請求項２の実施例では，動きベクトル統合手段において，画像の全体または一部を複数の小領域に分割し，検出されたオプティカルフローの本数が規定値よりも大きい小領域を選択するという評価基準に基づきグループ化を行う手段を具備することにより，誤りフローの発生を抑制し，グループ化を効率的に行うことが可能となる．
【００２２】
請求項３の実施例では，動きベクトル統合手段において，画像からエッジを抽出し，このエッジの近傍領域に含まれるオプティカルフローを選択するという評価基準に基づきグループ化を行う手段を具備することにより，オプティカルフローの計算を行う領域を限定し，誤りフローの発生を抑制し，グループ化を効率的に行うことが可能となる．
【００２３】
請求項４の実施例では，移動物体検出手段において，画像中の静止環境物体領域に含まれるオプティカルフロー群を抽出し，これらの動きベクトル情報を基に移動観測系の自己移動による動きの消失点（背景ＦＯＥ）を推定する手段を具備することにより，移動物体の動きの消失点（移動物体ＦＯＥ）と背景ＦＯＥの分離を可能とし，移動観測手段に搭載された単数または複数のカメラにより撮影された一連の画像から移動物体を検出することが可能となる．
【００２４】
請求項５の実施例では，移動物体検出手段において，移動観測系の自己移動による動きの消失点（背景ＦＯＥ）を画像中心で代用し用いる手段を具備することにより，処理速度を向上させることが可能となる．
【００２５】
請求項６の実施例では，移動物体検出手段において，前記グループ化された小領域集合に含まれるオプティカルフローベクトル群に基づき移動物体の動きの消失点（移動物体ＦＯＥ）を推定し，この位置ベクトルと移動観測系の自己移動による動きの消失点（背景ＦＯＥ）の位置ベクトル間の差ベクトルの長さを閾値と比較することにより，上記グループ化された小領域集合が独立に移動する物体に含まれるか否かを判定することが可能となる．
【００２６】
請求項７の実施例では，動きベクトル統合手段において，各小領域における平均明度または色相値が類似しているという基準を併用することによりグループ化を行う手段を具備することにより，グループ化の精度を向上させることが可能となる．
【００２７】
請求項８の実施例では，請求項３に記載の動画像処理装置及び方法における，移動物体検出手段において，選択された各オプティカルフローを延長した直線と，移動観測系の自己移動による動きの消失点（背景ＦＯＥ）との距離を計算し，この距離値を規定閾値と比較することにより上記オプティカルフローが独立に移動する物体により生じたものか否かを判定する手段を具備することにより，移動観測手段に搭載された単数または複数のカメラにより撮影された一連の画像から移動物体を検出することが可能となる．
【００２８】
請求項９の実施例では，複数の移動観測系における同時点の画像対から各々検出された，独立に移動する物体に属する領域の各代表位置座標を，ステレオ対応付けすることにより，上記独立移動物体の移動観測系からの３次元位置情報を抽出することが可能となる．
【００２９】
請求項１０の実施例では，複数の移動観測系における同時点の画像対から各々検出された，独立に移動する物体に属する領域の各代表位置座標を，領域の重心座標で代表することにより計算を容易にすることが可能となる．
【００３０】
本発明を用いることにより，動的に変化する屋内・屋外環境において，知能移動ロボットや自律移動車を制御するために不可欠である障害物検出機能を，安定かつ高信頼に実現するための効率的な動画像処理装置及び方法を提供することが可能となり，この社会的・実用的効果は多大である．
【図面の簡単な説明】
【図１】特許請求項間の関係を示す．
【図２】本発明全体の構成を示す．
【図３】動きベクトル抽出手段ａ１の構成例を示す．
【図４】動きベクトル統合手段ａ２の構成例を示す．
【図５】移動物体検出手段ａ３の構成例を示す．
【図１】
2004220059.tif 000003
【図２】
2004220059.tif 000004
【図３】
2004220059.tif 000005
【図４】
2004220059.tif 000006
【図５】
2004220059.tif 000007