(57)【要約】【課題】  自己運動する移動体から撮像された画像内の静止した物体をも高精度に検出することのできる物体検出装置を提供する。【解決手段】  本発明の一形態は、移動体において時間的に連続して撮像される入力画像に基づいて物体を検出する物体検出装置である。移動体に対する行動指令を生成する行動生成部、前記入力画像内の局所領域毎にフロー情報を計算する局所的画像処理部、前記フロー情報に基づいて移動体の行動を推定し、推定した行動と前記行動指令とを比較して差分を算出し、該差分が所定の値より大きい誤差を与える局所領域である図領域を決定する図地推定部、前記図領域における物体の有無を判定する物体有無判定部を備える。   【選択図】図１
2005078528.tif 000002
【特許請求の範囲】
【請求項１】
移動体において時間的に連続して撮像される入力画像に基づいて物体を検出する物体検出装置であって、
移動体に対する行動指令を生成する行動生成部と、
前記入力画像内の局所領域毎にフロー情報を計算する局所的画像処理部と、
前記フロー情報に基づいて移動体の行動を推定し、推定した行動と前記行動指令とを比較して差分を算出し、該差分が所定の値より大きい誤差を与える局所領域である図領域を決定する図地推定部と、
前記図領域における物体の有無を判定する物体有無判定部と、
を備える物体検出装置。
【請求項２】
前記図領域内に物体があると判定されたとき、その物体を認識する物体認識部をさらに備える請求項１に記載の物体検出装置。
【請求項３】
前記図地推定部は、前記局所領域毎のフロー情報と移動体の行動との関連をあらかじめ学習した学習結果を利用して移動体の行動を推定する、請求項１に記載の物体検出装置。
【請求項４】
前記局所領域毎のフロー情報と移動体の行動との関連付けがニューラル・ネットワークによって行われる、請求項３に記載の物体検出装置。
【請求項５】
前記図地推定部は、前記推定した行動と行動指令との差分を誤差逆伝播法によって伝達して、誤差をもたらす局所領域を判定する、請求項４に記載の物体検出装置。
【請求項６】
前記図地推定部は、推定誤差をもたらす局所領域の占める範囲がしきい値より大きい場合、前記移動体または移動体を取り巻く環境に異常が生じたと判定する、請求項５に記載の物体検出装置。
【請求項７】
前記図地推定部は、推定された行動と行動指令の差をもたらす領域を前記局所領域毎の的フロー情報から排除し、残りのフロー情報から再度自己の行動を推定する、請求項５に記載の物体検出装置。
【請求項８】
前記物体有無判定部は、図領域内の画像の周波数成分から高周波数成分を排除したもの同士を比較することによって、画像内の物体的な連続性の評価尺度である継続性の有無を判定し、継続性があると判定された場合には、前記図領域に物体が含まれていると判断する、請求項１に記載の物体検出装置。
【請求項９】
連続して取得した画像の周波数成分から高周波数成分を排除したもの同士を比較することによって、画像内の物体的な連続性の評価尺度である継続性の有無を判定し、継続性があると判定された場合には、画像内に同一物体が含まれていると判断する、物体の検出方法。
【請求項１０】
移動体において時間的に連続して撮像される入力画像に基づいて物体を検出する物体検出方法であって、
移動体に対する行動指令を生成し、
前記入力画像内の局所領域毎にフロー情報を計算し、
前記フロー情報に基づいて移動体の行動を推定し、
推定した行動と前記行動指令とを比較して差分を算出し、
該差分が所定の値より大きい誤差を与える局所領域である図領域を決定し、
前記図領域における物体の有無を判定することを含む、物体検出方法。
【請求項１１】
前記図領域内に物体があると判定されたとき、その物体を認識することをさらに含む請求項１０に記載の物体検出方法。
【請求項１２】
前記局所領域毎のフロー情報と移動体の行動との関連をあらかじめ学習した学習結果を利用して移動体の行動を推定することをさらに含む請求項１０に記載の物体検出方法。
【請求項１３】
前記局所領域毎のフロー情報と移動体の行動との関連付けがニューラル・ネットワークによって行われる、請求項１２に記載の物体検出方法。
【請求項１４】
前記推定した行動と行動指令との差分を誤差逆伝播法によって伝達して、誤差をもたらす局所領域を判定する、請求項１３に記載の物体検出方法。
【請求項１５】
推定誤差をもたらす局所領域がしきい値より大きい場合、前記移動体または移動体を取り巻く環境に異常が生じたと判定する、請求項１０に記載の物体検出方法。
【請求項１６】
推定された行動と行動指令の差をもたらす領域を前記局所領域毎の的フロー情報から排除し、残りのフロー情報から再度自己の行動を推定することをさらに含む、請求項１０に記載の物体検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自律移動する移動体から撮像された画像に基づいて画像内の物体を検出する物体検出装置に関する。
【背景技術】
【０００２】
従来、取得画像に基づいて画像から物体を検出する方法はいくつか知られているが、その中の１つに取得した連続画像からオプティカル・フローを求め、同一運動成分を持つ領域から物体に相当する部分を検出する方法がある。この方法は、画像内で移動する物体を容易に検出できるため、この方法を適用した物体検出装置が多く知られている（例えば、特許文献１参照）。
【０００３】
しかし、自動車等に撮像装置が搭載されているときのように、画像を取得するための撮像装置そのものが運動する場合では、撮像装置自体の運動によってもオプティカル・フローが生じるため、移動物体を正確に検出するのが困難となる。
【０００４】
このような場合、求めたオプティカル・フローから、撮像装置自体の運動による成分を除去できれば、画像内で移動する物体をより正確に検出できるようになる。例えば、特許文献２では、グラディエント法によって画像内のオプティカル・フローを検出する際に使用する拡散係数を可変にした運動検出方法が開示されている。この方法によると、拡散係数を従来のように一定ではなく所定の条件を付加して変化させることで、耐ノイズ性が向上し、かつ物体境界でのオプティカル・フローの差分を強調することができるとしている。
【特許文献１】特開平７−２４９１２７号公報
【特許文献２】特開２０００−２４２７９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記方法では、検出が容易である移動物体のオプティカル・フローは高精度に得ることができても、静止背景中の静止物体は背景と見なされているためオプティカル・フローの補正がなされず、静止物体を高精度に検出することはできない。移動体から静止背景中の静止物体を観測すると、実はそれぞれの物体に応じたオプティカル・フローを得ることができるのであるが、背景からのオプティカル・フローの分離が困難であり、これを高精度に分離する技術は実現されていない。
【０００６】
従って、本発明は、自己運動する移動体から撮像された画像内の静止した物体をも高精度に検出することのできる物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、自分のいる環境の情報を得ながら自律的に移動する自律移動体（例えばロボットや自動走行車）が、今自分のいる環境が自分に対応できない異常事態かどうか、自分の周囲に物体があるかどうか、さらに物体があった場合それは何かを知るための装置に関する。
【０００８】
本発明の一形態は、移動体において時間的に連続して撮像される入力画像に基づいて物体を検出する物体検出装置であって、移動体に対する行動指令を生成する行動生成部と、前記入力画像内の局所領域毎にフロー情報を計算する局所的画像処理部と、前記フロー情報に基づいて移動体の行動を推定し、推定した行動と前記行動指令とを比較して差分を算出し、該差分が所定の値より大きい誤差を与える局所領域である図領域を決定する図地推定部と、前記図領域における物体の有無を判定する物体有無判定部と、を備える物体検出装置である。
【０００９】
物体検出装置は、前記図領域内に物体があると判定されたとき、その物体を認識する物体認識部をさらに備えることができる。
【００１０】
図地推定部は、前記局所領域毎のフロー情報と移動体の行動との関連をあらかじめ学習した学習結果を利用して移動体の行動を推定する。この関連付けは、ニューラル・ネットワークを用いて行うことができる。
【００１１】
図地推定部は、前記推定した行動と行動指令との差分を誤差逆伝播法によって伝達して、誤差をもたらす画像領域を判定する。そして、推定誤差をもたらす画像領域がしきい値より大きい場合、前記移動体または移動体を取り巻く環境に異常が生じたと判定する。さらに、図地推定部は、推定された行動と行動指令の差をもたらす領域を前記局所領域毎の的フロー情報から排除し、残りのフロー情報から再度自己の行動を推定するように構成される。
【００１２】
物体有無判定部は、図領域内の画像の周波数成分から高周波数成分を排除したもの同士を比較することによって、画像内の物体的な連続性の評価尺度である継続性の有無を判定し、継続性があると判定された場合には、前記図領域に物体が含まれていると判断する。
【発明の効果】
【００１３】
本発明は、移動体への行動指令を利用して、撮影された画像の中から行動指令と整合の取れている領域（地）と、取れていない領域（図）を分離し、図領域を物体が存在する候補領域として分離するので、事前に検出すべき物体の知識を必要とせずに物体が検出できる。
【００１４】
また、「地」領域の画像のみから行動を推定するので、自己行動の推定精度が増す。従って「地」領域画像も高精度に分離できるので、画像中にある物体が動いているもののみならず止まっているものも検出できる。
【００１５】
さらに、位相を排除した空間周波数成分という短時間では不変の特徴の継続性を利用して物体を検出するので、ノイズに影響されにくい頑健な物体検出が実現される。
【発明を実施するための最良の形態】
【００１６】
図１は本発明の一実施形態にかかる物体検出装置１０の全体的な構成を示すブロック図である。物体検出装置１０は、自律走行する自動車等の移動体に搭載されるＣＣＤカメラ等の撮像装置１２により所定の時間間隔で撮像された移動体の移動方向の画像を常時受け取り、画像内の物体の検出及び認識を行う。
【００１７】
物体検出装置１０は、例えば、種々の演算を実行するＣＰＵ、演算結果を一時記憶するためのＲＡＭ、学習結果等を記憶するＲＯＭ、データの入出力を行うインタフェース等を備えるマイクロコンピュータにより実現される。物体検出装置１０は、撮像装置１２と共に移動体に搭載され物体検出処理を行うように構成される。別の実施形態では、移動体に搭載された撮像装置１２により撮像された画像を任意の通信手段を介して別の場所にあるコンピュータへと送信し、そのコンピュータにより本発明の物体検出処理を行うことができる。以上のことを踏まえて、図１では物体検出装置１０を機能ブロック図で表している。これら各機能ブロックの一部または全部は、ソフトウェア、ファームウェア、あるいはハードウェアの何れでも実現することができる。
【００１８】
本発明は、以下のような仮説に基づいている。すなわち、人間の脳は、自身の取る行動とそれによって自身の得る環境情報とがどう変化するかを対応付けるマップを持っており、自身が取った行動と得られた環境情報との対応がこのマップと異なるときに、異常と判断する。そこで、本実施形態では、自律移動体の取った行動と、撮影された画像から計算される環境情報の対応関係を学習済みのマップ（以下、「状態行動マップ」という）を準備しておき、自律移動体が実際に取った行動と、上記状態行動マップから推測された行動とを比較する。次に、この誤差が予め設定された値以上の場合に、マップから推測された行動と整合が取れている環境情報を「地」、取れていない環境情報を「図」として分離する。そして、「図」領域について、異常事態の検出及び物体の検出・認識を行うように構成されている。
【００１９】
以下、図１の各機能ブロックについて説明する。図中、括弧で囲われているのは、機能ブロック間で伝達される情報の内容を示す。
【００２０】
行動生成部１８は、自律移動体に予め与えられている目的（例えば、所定の目的地に向かう、ある空間内をまんべんなく運動するなど）に基づいて、自律移動体の実行可能な行動の選択枝（例えば、直進、左折、右折などの方向や、進行速度など）の中からその時点で適切な行動を選び、行動実行部２０に対して行動指令を発する。
【００２１】
行動の選択肢は、図地推定部２２が保持する、局所的画像処理部１６より得られるフロー情報と自律移動体の取りうる行動とを対応付けしたマップ（状態行動マップ）における行動と同一である。
【００２２】
行動生成部１８は、後述するように図地推定部２２において異常が検出されたとき、行動実行部２０に対して適切な行動指令（例えば、移動体を停止させる）を発するようにしても良い。また、行動生成部１８は、移動体の近接領域の情報を取得するセンサ１７から得られる情報を利用して行動を選択しても良い。
【００２３】
撮像装置１２は移動体の進行方向の画像を所定の時間間隔で撮影する。連続画像出力部１４は、撮像装置１２より入力された画像を時間的に連続した数枚の画像の組、例えば時刻ｔ−１、ｔの２枚の画像の組として局所的画像処理部１６に出力し、また時刻ｔの画像を物体有無判定部２４に出力する。
【００２４】
局所的画像処理部１６は、時刻ｔ−１、ｔの連続画像を等サイズの局所領域に細分化し、この間の移動体の行動によって生じた画像内の局所的変化（後述するＬＯＦ)を各局所領域について計算する。そして、ＬＯＦの全体をローカル・オプティカル・フロー・フィールド（ＬＯＦＦ）として出力する。
【００２５】
図２は、局所的画像処理部１６における処理を説明するフローチャートである。まず、局所的画像処理部１６は連続画像出力部１４から時間的に連続する２枚の画像を受け取る（Ｓ３０）。以下の説明では、連続する時刻ｔ、ｔ＋１における画像内の座標(x,y)の画素の輝度値をそれぞれImg(x,y,t)、Img(x,y,t+1)と表すことにする。ここで、座標(x,y)は、入力画像の左上を原点とした直交座標である。また、輝度値は０から２５５までの整数値をとるものとする。
【００２６】
さらに、局所的画像処理部１６は、画像のｘ方向、ｙ方向の正負方向についてのガボールフィルタの基底をそれぞれ次式により計算する（Ｓ３１）。
【数１】
2005078528.tif 000003
【００２７】
ここで、Ｇｓ(x,y)はガボールフィルタの基底のsin成分であり、Ｇｃ(x,y)はガボールフィルタの基底のcos成分である。式(１)中の(x,y)は、画像毎の中心を原点とした座標で記述しており、輝度値Img(x,y,t)の座標(x,y)とは異なる（式(１)中のｘ、ｙ、ｒには、ｒ＝(ｘ２＋ｙ２)１/２の関係がある）。「ａ」は定数であり、「ａ」を中心にフィルタ感度が高くなるような値に設定される。また式(１)の２式に加え、それぞれの軸を９０度回転させたときの２式により、ｘ、ｙの正負方向（画像の上下左右の各方向）のガボールフィルタ基底が得られる。
【００２８】
ガボールフィルタは人間の受容野の特性に似せたフィルタであり、画像内で移動体が運動したとき、中心部分よりも周辺の方でオプティカル・フローの特徴がより明確に現れる特性がある。そこで、画像内の座標(x,y)に応じてガボールフィルタの特性（受容野サイズすなわちフィルター(窓)の大きさ）や空間周波数の最適化を行っても良い。
【００２９】
次に、局所的画像処理部１６は時刻ｔ、ｔ＋１の画像の組から局所領域を１つ選択する（Ｓ３２）。本明細書において「局所領域」とは、画像内の局所的なオプティカル・フローを計算するために設定される、それぞれが同一のサイズを有する小領域のことを言う。本実施形態では、撮像装置１２により撮像される画像全体は３２０×２４０画素であり、各局所領域は４５×４５画素に設定されている。画像全体と局所領域の位置関係の一例を図３に示す。図３において、外側の長方形が撮像される画像の全体であり、模様の付いた正方形が局所領域である。各局所領域は、図３のように隣り合う局所領域とオーバーラップするように設定されるのが好ましい。このように局所領域をオーバーラップさせるのは、局所領域の境界付近の画素値を複数回局所領域に含めることによって、より正確な物体検出が可能となるためである。しかし、オーバーラップ幅を大きくすると処理速度が低下するので、これを考慮した適切な値にオーバーラップ幅を設定すべきである。
【００３０】
ルーチンの初回には、局所的画像処理部１６は画像の左上隅に位置する局所領域を選択する。
【００３１】
次に、局所的画像処理部１６は、時刻ｔ、ｔ＋１の画像から選択した局所領域に含まれる各画素 Img(x,y,t)、Img(x,y,t+1)と上記式(１)で計算されるガボールフィルタの基底との積和演算を行い、当該局所領域の全画素についての積和値ｘｔ、ｘｔ＋１、ｙｔ、ｙｔ＋１を次式により計算する（Ｓ３４）。
【数２】
2005078528.tif 000004
【００３２】
続いて、計算した積和値について、コントラスト(ｘ２＋ｙ２)を加重した位相の時間微分値ｄｗを次式により計算する（Ｓ３６）。
【数３】
2005078528.tif 000005
【００３３】
上下左右４方向のガボールフィルタの基底を使用して、ステップＳ３４、Ｓ３６の計算をそれぞれ行うことによって、オプティカル・フローの上下左右４方向の成分が算出される。つまり、選択された局所領域について４方向のｄｗ値が算出されることになる。
【００３４】
式（１）から（３）の計算をｘの正負、ｙの正負の４方向のガボールフィルタ基底を使用してそれぞれ行い、その局所領域のオプティカル・フローの４方向の成分が算出される。これら４つのベクトルの平均、または絶対値が最大のベクトルを、その局所領域のオプティカル・フロー（これを「ＬＯＦ（ローカル・オプティカル・フロー）」と呼ぶ）とする（Ｓ３８）。
【００３５】
１つの局所領域について計算が終了すると、局所的画像処理部１６は次の局所領域を選択し、以後全ての局所領域について上記ステップＳ３２〜Ｓ３８を繰り返す（Ｓ４０）。全ての局所領域についてＬＯＦの計算が終了すると、全てのＬＯＦ（ＬＯＦＦ）を図地推定部２２に出力する（Ｓ４２）。ＬＯＦＦの例を図４に示す。図４中の各ます目が１つの局所領域に対応し、図４中の矢印の方向が各局所領域のＬＯＦを表している。図４では簡単のために方向を矢印で示しているが、実際にはＬＯＦの方向及び大きさが適当な数字に置き換えられる。
【００３６】
次に、図地推定部２２について説明する。図５は、図地推定部２２の機能をより詳細に示した図である。図地推定部２２は、状態行動マップ５６を用い、環境情報（ここではＬＯＦＦ）に基づいて自律移動体の取っている行動を推定し（行動推定処理（５０））、推定された行動と行動生成部の発した行動指令とを比較してその差を求め（行動比較処理（５２））、さらに状態行動マップを用いて、ＬＯＦＦの中からその差を生み出す原因となっている局所領域を同定する。そして、同定された局所領域を移動体の行動と整合が取れない「図」領域、それ以外の領域を「地」領域とする図地分離を行う（図地分離処理（５４））。
【００３７】
続いて図６のフローチャートを参照して、図地推定部２２における処理を詳細に説明する。
【００３８】
図地推定部２２は、局所的画像処理部１６からＬＯＦＦを受け取ると、ＬＯＦＦと行動との関係を対応付けた状態行動マップを用いて、入力されたＬＯＦＦに対応する行動を推定する（Ｓ６２）。
【００３９】
状態行動マップは、本実施形態では、入力層、中間層、出力層の三層で構成されるニューラル・ネットワークの形で保持される。図７は、ニューラル・ネットワークにおける処理を概念的に説明する図である。入力層は局所領域における各ＬＯＦの方向と大きさの２つのデータに対してそれぞれ対応する素子を持ち、出力層は行動生成部１８における移動体の取りうる行動（例えば、方向と速度）の選択肢に対応する素子を持つ。図７は、移動体の方向を推定する場合を示しており、移動体の取りうる方向として左折、直進、右折が示されている（移動体の速度を推定する場合は、例えば、低速度、中速度、高速度を移動体の取りうる速度とし、それぞれを出力層の素子に対応させる）。この状態行動マップは、予め特定の環境下において自律移動体を行動させ、実際の行動指令を教師信号とした誤差逆伝播法により学習をさせておいたものを使用する。
【００４０】
図６に戻り、ＬＯＦＦから状態行動マップを用いて推定された時刻ｔの推定行動と、同時刻の行動指令とを比較し、その行動の差を計算する（Ｓ６４）。「行動の差」とは、例えばその方向と大きさの差のことをいう。例えば、図７に示すニューラル・ネットワークにおいて、出力層の左折、直進、右折の素子それぞれの出力が０．７、０．３、０．３であったとすると、推定行動は左折になる。行動指令が左折であった場合、出力層の左折、直進、右折の素子の出力と１、０、０の値の差を計算する。そして、その差が予め定められたしきい値以下であるか否かを判定し（Ｓ６６）、しきい値以下であれば、ＬＯＦＦから推定された推定行動と実際の行動指令との差が小さいと言うことになるので、ＬＯＦＦには図の部分がないものとして、この処理を終了する。しきい値より大きい場合、得られた行動の差をニューラル・ネットワークの出力層から入力層へと逆伝播させる（Ｓ６８）。入力層の各素子におけるこの逆伝播の結果は、それぞれの素子が、前述の行動の差に与える寄与の大きさを表している。
【００４１】
ここで、逆伝播の方法について説明する。
【００４２】
図８は、状態行動マップのニューラル・ネットワークを構成する素子について説明する図である。図８(ａ)はＬＯＦＦから行動を推定する場合の、中間層または出力層にある任意の素子であり、(ｂ)は推定行動と行動指令の差を逆伝播する場合の、中間層または出力層にある任意の素子である。ここでは、それぞれ中間層にある素子として説明する。
【００４３】
図８(ａ)の素子は、入力層にある素子１〜Ｍと重みｗ１〜ｗＭで接続されている（入力ｘ０はシグモイド関数のしきい値）。ＬＯＦＦの大きさと方向が入力層に入力され、中間層を経由して出力層に到達する。出力層の素子の出力ｙは次式で求められる。
【数４】
2005078528.tif 000006
【００４４】
ｓは中間層の素子の状態、ｘｉは入力層の各素子の出力、sigmoidはシグモイド関数を表す。
【００４５】
図８(ｂ)の素子は出力層にある素子１〜Ｎと、重みｗ１〜ｗＮで接続されている。推定行動と行動指令の差が出力層に入力され、中間層に逆伝播される。中間層は次式で求められるｚを入力層に逆伝播する。
【数５】
2005078528.tif 000007
【００４６】
ｓ’は中間層の素子の状態、ｚｉは出力層の各素子の逆伝播出力、ｚは中間層の素子の逆伝播出力であり、αはシグモイド関数のゲインを表す。
【００４７】
数４、数５の計算式は、誤差逆伝播学習法の評価値を改変したものである。学習に用いる訳ではないので、収束を保証する項は不要である。これらの式により、行動の差をもたらした寄与する刺激の空間分布を逆算する。一層遡るごとに、上層で生じた誤差の重み付き寄与が下層で算出される。すなわち、実際に上層で生じた誤差と下層での各部位での活動度とが結合重みに乗ぜられ、その部位の誤差寄与が算出される。同じ要領で、さらに下位の層に逆伝播される。
【００４８】
図６に戻り、図地推定部２２は、逆伝播の結果を用いてＬＯＦＦに対して図地分離処理を行い、地のＬＯＦＦを求める（Ｓ７０）。具体的には、各ＬＯＦの方向と大きさに、対応する入力層の素子に逆伝播された値をそれぞれ乗じ、方向、大きさの両方または一方が予め設定されたしきい値を超えたＬＯＦを抽出する。抽出されたＬＯＦの大きさと方向を０としたものを、「地のＬＯＦＦ」とする（図７を参照）。
【００４９】
続いて、図地推定部２２は、算出された地のＬＯＦＦを用いて、１回目と同様に行動推定処理（Ｓ７４）、行動比較処理（Ｓ７６）を実行し、求めた行動の差がしきい値以下か否かを判定する（Ｓ７８）。そして、この行動の差がしきい値より大きい場合は、再び１回目と同様の誤差逆伝播（Ｓ８７）、図地分離（Ｓ８８）、地のＬＯＦＦの計算（Ｓ８９）を行い、Ｓ７４に戻る。このループは、行動比較処理（Ｓ７６）で求められる行動の差がしきい値を下回るまで続けられる。代替的に、ループの回数の上限を定めておいても良い。
【００５０】
図地推定部２２は、最後のループまでで得られた地のＬＯＦＦの、画像領域全体に対しての割合を計算し（Ｓ８０）、この割合が予め設定されたしきい値以下であるか否かを判定する（Ｓ８２）。そして、地のＬＯＦＦの割合がしきい値を上回ったときは、最後のループまでに地のＬＯＦＦとして分離された全ての局所領域を画像全体から除いたものを図領域として物体有無判定部２４へ出力する（Ｓ８４）。地のＬＯＦＦの割合がしきい値以下である場合は、自律移動体自身またはその周囲環境に何らかの異常事態が発生していると判断し、これを行動生成部１８に伝達する（Ｓ８６）。
【００５１】
図として分離された領域が大きいことは、自律移動体の行動推定が正しく行われておらず、自律移動体の周囲の環境の計測から行動の実行、推測までの間に何らかの異常が生じているか、または自律移動体の認知していない（つまり、状態行動マップにおいて対応関係が学習されていない）環境下にいる可能性が高い。このような場合、自律移動体は適切な行動を取ることが難しいので、「異常事態」として行動生成部１８に伝達するのである。行動生成部１８は、これに応答して適切な指令（例えば、移動体の停止）を発する。
【００５２】
異常事態の発生原因としては、行動生成部１８から発せられた行動指令と実際に自律移動体の取った行動が異なる場合（例えば、自律移動体が転倒したり、障害物により行動が取れないとき）や、撮像装置が故障した場合、自律移動体の学習が行われていない空間にいる場合などがある。
【００５３】
以上まとめると、図地推定部２２には、局所的画像処理部１６よりＬＯＦＦが、行動生成部１８より行動指令が入力される。そして、行動推定処理、行動比較処理、および図地分離処理を繰り返し行い、最終的に得られた地のＬＯＦＦに基づいて異常かどうかの判断を下し、異常がない場合は図領域を物体有無判定部２４へ出力する。
【００５４】
この実施形態のように、推定行動と実際の行動指令との整合性を検証することで、行動を決定して実行し、自分のいる環境を感覚器で捉え、得られた感覚情報から自分の取った行動を認識し、先に決定された行動と比較する、という一連の処理の中に何らかの異常が生じているかどうかを知ることができるので、異常が検出されたとき、自律移動体が盲進することを防ぐことができる。
【００５５】
次に、図９のフローチャートを参照して、物体有無判定部２４における処理を説明する。物体有無判定部２４は、図地推定部２２で「図」と推定された局所領域すなわち図領域内に実際に物体が存在するかどうかを以下のフローにより判定する。
【００５６】
物体有無判定部２４は、まず、連続画像入力部１４より入力された時刻ｔの画像から、図地推定部で図と推定された局所領域の位置に対応する画像を図領域画像として切り出す（Ｓ９０）。
【００５７】
次に、ＦＦＴやフィルタバンクなどの一般的な周波数分析手法によって、図領域画像のパワー・スペクトルを計算する（Ｓ９２）。そして、パワー・スペクトルから高周波数成分及び直流成分を除去し、低周波数成分のみにする（Ｓ９４）。そして、求めたパワー・スペクトルの低周波数成分を特徴空間に投射する（Ｓ９６）。
【００５８】
特徴空間は、パワー・スペクトルの次数と同じ次元の空間である。代替的に、物体のパターン・データベース２８に含まれている画像のパワー・スペクトルを主成分分析して作成しても良い。この場合、データベース内の画像は定型の大きさを持つ。特徴空間への投射に際し、図領域画像がデータベース内の画像より大きい場合は、パワー・スペクトルの周波数解像度をデータベースの画像の解像度に変換する。図領域画像がデータベース内の画像より小さい場合は、図領域画像をゼロ補間して、データベースの定型画像の大きさになるようにする。
【００５９】
続いて、特徴空間に投射された現在の（時刻ｔの）パワー・スペクトルと、時刻ｔ−１に投射されたパワー・スペクトルとの特徴空間内での距離を計算する（Ｓ９８）。その距離が予め設定されたしきい値より小さいときを、これら２つのベクトルの間に「継続性がある」と呼ぶことにする。
【００６０】
この処理が逐次行われ、時刻ｔ−１と時刻ｔのパワー・スペクトルのベクトルの間に継続性があるとされた期間が予め設定された時間を超えた場合、図領域画像内に実際に物体が存在すると判定され（Ｓ１０２）、その図領域画像が物体認識部に出力される（Ｓ１０４）。継続性のある期間が予め設定された時間以下の場合は、図領域画像内に物体が無いものと判定される（Ｓ１０６）。
【００６１】
この継続性の判断は、以下のような理由に基づいて実行される。すなわち、ある一時刻に撮像された画像から検出された図領域はノイズである可能性があるが、ある期間の間継続して類似の図領域が検出された場合は、実際に画像内に物体が存在する可能性が高いということができる。しかし、図領域の画像そのものを比較しようとすると、その期間内での自律移動体の行動によって、撮像される物体の大きさや角度が変化してしまうため、継続性を判断することは困難であると考えられる。
【００６２】
しかし、移動距離が比較的短い場合は、その変化は検出された図領域画像内における物体の位置変化として現れる。このような場合は、その図領域画像を周波数変換したとき、移動期間内での周波数の変化はほとんど生じず位相のみが変化することになる。つまり、短時間では、図領域画像の空間位相は変化しても空間周波数はほとんど変化しないという性質がある。そこで本実施形態では、パワー・スペクトルを算出することによって図領域画像の位相情報（つまり、時間の経過による画像内での物体の位置の変化）を排除し、さらにノイズの多い高周波成分と不要な直流成分を除き低周波部分のみの並進不変な表現にして、継続性を判断するのである。
【００６３】
なお、継続性を判断するための期間の長さは、自律移動体の行動の速度を考慮して、撮像される物体の大きさや角度が大きく変化しないであろう長さに設定すべきである。
【００６４】
最後に、物体認識部２６について説明する。物体認識部２６は、図領域画像を特徴空間に展開し、物体のパターン・データベース２８を参照して、物体有無判定部２４より入力された図領域画像にある物体が何かを認識する。
【００６５】
パターン・データベース２８には、認識させる物体の定型画像が予め記憶されている。これに加えて、または代替的に、移動体の自律移動中に物体有無判定部２４より入力された図領域画像をデータベースとして蓄積していっても良い。物体認識部２６は、これらのデータベース２８中の画像と図領域画像とを比較して、物体を認識する。比較手法としては、一般的なパターン認識方法、最尤推定法やニューラル・ネットワークなどを使用する。
【００６６】
図領域画像がデータベース２８にないと判断されたときには、その図領域画像をデータベース２８に蓄積することができる。図領域画像が定型画像のサイズより大きい場合はダウンサンプリングを行い、小さい場合にはゼロ補間を実行して定型画像のサイズに変換する。
【００６７】
以上、本発明の実施形態について説明したが、本発明はこれらに限定されるものではない。
【図面の簡単な説明】
【００６８】
【図１】本発明の一実施形態による物体検出装置の概略ブロック図である。
【図２】局所的画像処理部のフローチャートである。
【図３】局所領域を説明する図である。
【図４】ローカル・オプティカル・フロー・フィールド（ＬＯＦＦ）の一例を示す図である。
【図５】図地推定部における処理を詳細に説明するためのブロック図である。
【図６】図地推定部における処理のフローチャートである。
【図７】ニューラル・ネットワークにおける処理の概念図である。
【図８】ニューラル・ネットワークの素子の入出力関係を説明する図である。
【図９】物体有無判定部における処理のフローチャートである。
【符号の説明】
【００６９】
１０      物体検出装置
１２      撮像装置
１４      連続画像出力部
１６      局所的画像処理部
１８      行動生成部
２０      行動実行部
２２      図地推定部
２４      物体有無判定部
２６      物体認識部
【図１】
2005078528.tif 000008
【図２】
2005078528.tif 000009
【図３】
2005078528.tif 000010
【図４】
2005078528.tif 000011
【図５】
2005078528.tif 000012
【図６】
2005078528.tif 000013
【図７】
2005078528.tif 000014
【図８】
2005078528.tif 000015
【図９】
2005078528.tif 000016