(57)【要約】【課題】物体追跡の計算負荷を軽減できる物体追跡方法を提供する。【解決手段】時系列に沿って複数のフレームが並んでいる動画の中で検出された物体の検出されてからの経過時間が、所定時間以上継続している物体を動体と分類し、所定時間未満の物体を動体候補と分類しておき、現在フレームで検出した未認識物体と動体との対応を調べる段階（Ｓ１〜Ｓ６）と、未認識物体と動体とが対応していると判断された場合は未認識物体と動体とを対応付けする段階（Ｓ７：ＹＥＳ、Ｓ３０）と、未認識物体と動体が対応していないと判断された場合は、未認識物体と動体候補との対応を調べる段階（Ｓ７：ＮＯ、Ｓ８〜Ｓ１０）と、未認識物体と動体候補とが対応していると判断された場合は未認識物体と動体候補とを対応付けする段階（Ｓ１０：ＹＥＳ、Ｓ３１）と、を有する物体追跡方法。【選択図】図４
2019003334.tif 000002
【特許請求の範囲】
【請求項１】
時系列に沿って複数のフレームが並んでいる動画の中で検出された物体であって、検出されてからの経過時間が、あらかじめ決められた所定時間以上継続している物体を第１種物体と分類し、前記所定時間未満の物体を第２種物体と分類しておく段階（ａ）と、
現在フレームで検出した物体を未認識物体として、当該未認識物体と前記第１種物体との対応を調べる段階（ｂ）と、
前記段階（ｂ）において、前記未認識物体と前記第１種物体とが対応していると判断された場合は前記未認識物体と前記第１種物体とを対応付けする段階（ｃ）と、
前記段階（ｂ）において、前記未認識物体と前記第１種物体が対応していないと判断された場合は、前記未認識物体と前記第２種物体との対応を調べる段階（ｄ）と、
前記段階（ｄ）において、前記未認識物体と前記第２種物体とが対応していると判断された場合は前記未認識物体と前記第２種物体とを対応付けする段階（ｅ）と、
を有する、物体追跡方法。
【請求項２】
前記段階（ｅ）において、前記未認識物体と対応付けた前記第２種物体が、物体として検出されてからの経過時間が前記所定時間以上経過していれば前記第２種物体を前記第１種物体に分類する段階（ｅ１）を有する、請求項１記載の物体追跡方法。
【請求項３】
前記段階（ａ）において、前記第２種物体は、物体として検出されてからの経過時間と関連付けておき、
前記段階（ｄ）において、前記第２種物体は、物体として検出されてからの経過時間が長い方から順に前記未認識物体との対応を調べる、請求項１または２に記載の物体追跡方法。
【請求項４】
前記段階（ａ）において、前記第１種物体は、物体として検出されてからの経過時間と関連付けておき、
前記段階（ｂ）において、前記第１種物体は、物体として検出されてからの経過時間が長い方から順に前記未認識物体との対応を調べる、請求項１〜３のいずれか１つに記載の物体追跡方法。
【請求項５】
前記段階（ａ）において、前記段階（ｂ）で前記未認識物体と対応していない前記第１種物体を第３種物体として分類しておき、
前記段階（ｄ）において、前記未認識物体と前記第２種物体とが対応していないと判断された場合は前記未認識物体と前記第３種物体との対応を調べる段階（ｆ）と、
前記段階（ｆ）において、前記未認識物体と前記第３種物体とが対応していると判断された場合は前記未認識物体と前記第３種物体とを対応付けして、前記第３種物体を前記第１種物体に分類し直す段階（ｇ）と、
前記段階（ｆ）において、前記未認識物体と前記第３種物体とが対応していないと判断された場合は前記未認識物体を前記第２種物体に分類する段階（ｈ）と、
を有する、請求項１〜４のいずれか１つに記載の物体追跡方法。
【請求項６】
前記段階（ｄ）において、前記未認識物体がいずれの前記第２種物体とも対応していないと判断された場合は前記未認識物体を前記第２種物体に分類する段階（ｄ１）、を有する、請求項１〜４のいずれか１つに記載の物体追跡方法。
【請求項７】
前記所定時間は、０．２秒以上１秒未満である、請求項１〜６のいずれか１つに記載の物体追跡方法。
【請求項８】
前記時間は前記フレームを単位としてカウントする、請求項１〜７のいずれか１つに記載の物体追跡方法。
【請求項９】
前記第１種物体を、動体であることを表す情報とともに表示する段階（ｉ）を有する、請求項１〜８のいずれか１つに記載の物体追跡方法。
【請求項１０】
請求項１〜９のいずれか１つに記載の物体追跡方法をコンピューターに実行させるための物体追跡プログラム。
【請求項１１】
時系列に沿ってフレームを取得する画像取得センサーと、
請求項１０に記載のプログラムを実行するコンピューターと、
を有する、物体追跡システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体追跡方法、物体追跡プログラム、および物体追跡システムに関する。
【背景技術】
【０００２】
物体追跡は、時系列に並んだ複数の画像（フレーム）内から、それら複数の画像内で移動する物体を識別して追跡する技術である。
【０００３】
従来の物体追跡技術としては、たとえば、先行車を検出する技術がある。この技術では、ミリ波レーダにより検出された計測点のうち、互いに近接し、かつ同じ相対速度を有する計測点どうしをグルーピングして計測点グループを生成する。生成された計測点グループのうち、先行車両の条件を満たす計測点グループを抽出し、時間の経過に応じて所定回数以上抽出された計測点グループを先行車両として検出している（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１７３８０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術では、現在時点で検出された計測点が、先行車として認識された測定点グループの測定点と同じであるか否かを判断する段階では、すべての測定点グループと、現在時点における計測点との関連度を調べている。このため、過去の時間経過で認識された先行車（物体）と現在の測定点との対応関係を計算する際の負荷が大きい。
【０００６】
そこで、本発明の目的は、物体追跡の計算負荷を軽減できる物体追跡方法を提供することである。また、本発明の他の目的は、物体追跡の計算負荷を軽減できる物体追跡プログラムを提供することである。さらに、本発明の他の目的は、物体追跡の計算負荷を軽減できる物体追跡システムを提供することである。
【課題を解決するための手段】
【０００７】
上記の目的は、以下の手段により達成される。
【０００８】
（１）時系列に沿って複数のフレームが並んでいる動画の中で検出された物体であって、検出されてからの経過時間が、あらかじめ決められた所定時間以上継続している物体を第１種物体と分類し、前記所定時間未満の物体を第２種物体と分類しておく段階（ａ）と、
現在フレームで検出した物体を未認識物体として、当該未認識物体と前記第１種物体との対応を調べる段階（ｂ）と、
前記段階（ｂ）において、前記未認識物体と前記第１種物体とが対応していると判断された場合は前記未認識物体と前記第１種物体とを対応付けする段階（ｃ）と、
前記段階（ｂ）において、前記未認識物体と前記第１種物体が対応していないと判断された場合は、前記未認識物体と前記第２種物体との対応を調べる段階（ｄ）と、
前記段階（ｄ）において、前記未認識物体と前記第２種物体とが対応していると判断された場合は前記未認識物体と前記第２種物体とを対応付けする段階（ｅ）と、
を有する、物体追跡方法。
【０００９】
（２）前記段階（ｅ）において、前記未認識物体と対応付けた前記第２種物体が、物体として検出されてからの経過時間が前記所定時間以上経過していれば前記第２種物体を前記第１種物体に分類する段階（ｅ１）を有する、上記（１）記載の物体追跡方法。
【００１０】
（３）前記段階（ａ）において、前記第２種物体は、物体として検出されてからの経過時間と関連付けておき、
前記段階（ｄ）において、前記第２種物体は、物体として検出されてからの経過時間が長い方から順に前記未認識物体との対応を調べる、上記（１）または（２）に記載の物体追跡方法。
【００１１】
（４）前記段階（ａ）において、前記第１種物体は、物体として検出されてからの経過時間と関連付けておき、
前記段階（ｂ）において、前記第１種物体は、物体として検出されてからの経過時間が長い方から順に前記未認識物体との対応を調べる、上記（１）〜（３）のいずれか１つに記載の物体追跡方法。
【００１２】
（５）前記段階（ａ）において、前記段階（ｂ）で前記未認識物体と対応していない前記第１種物体を第３種物体として分類しておき、
前記段階（ｄ）において、前記未認識物体と前記第２種物体とが対応していないと判断された場合は前記未認識物体と前記第３種物体との対応を調べる段階（ｆ）と、
前記段階（ｆ）において、前記未認識物体と前記第３種物体とが対応していると判断された場合は前記未認識物体と前記第３種物体とを対応付けして、前記第３種物体を前記第１種物体に分類し直す段階（ｇ）と、
前記段階（ｆ）において、前記未認識物体と前記第３種物体とが対応していないと判断された場合は前記未認識物体を前記第２種物体に分類する段階（ｈ）と、
を有する、上記（１）〜（４）のいずれか１つに記載の物体追跡方法。
【００１３】
（６）前記段階（ｄ）において、前記未認識物体がいずれの前記第２種物体とも対応していないと判断された場合は前記未認識物体を前記第２種物体に分類する段階（ｄ１）、を有する、上記（１）〜（４）のいずれか１つに記載の物体追跡方法。
【００１４】
（７）前記所定時間は、０．２秒以上１秒未満である、上記（１）〜（６）のいずれか１つに記載の物体追跡方法。
【００１５】
（８）前記時間は前記フレームを単位としてカウントする、上記（１）〜（７）のいずれか１つに記載の物体追跡方法。
【００１６】
（９）前記第１種物体を、動体であることを表す情報とともに表示する段階（ｉ）を有する、上記（１）〜（８）のいずれか１つに記載の物体追跡方法。
【００１７】
（１０）上記（１）〜（９）のいずれか１つに記載の物体追跡方法をコンピューターに実行させるための物体追跡プログラム。
【００１８】
（１１）時系列に沿ってフレームを取得する画像取得センサーと、
上記（１０）に記載のプログラムを実行するコンピューターと、
を有する、物体追跡システム。
【発明の効果】
【００１９】
本発明によれば、前フレームまでで所定時間以上に継続して検出されている第１種物体から先に未認識物体と対応するかを調べ、第１種物体と対応した場合は、その未認識物体を第１種物体と対応付けし、対応しない場合にだけ、検出されてからの経過時間が第１種物体より短い第２種物体との対応を調べることとした。これにより第１種物体と未認識物体が対応付けされたなら、第２種物体については調べなくても済む。このため、その分、計算負荷を減らすことができる。
【図面の簡単な説明】
【００２０】
【図１】物体追跡システムの全体構成を説明するための説明図である。
【図２】物体追跡装置の構成を説明するためのブロック図である。
【図３】物体を分類したリストの一例を示すリスト図である。
【図４】本実施形態の物体追跡方法の処理手順を説明するためのフローチャートである。
【図５】本実施形態の物体追跡方法の処理手順を説明するためのフローチャートである。
【図６】本実施形態の物体追跡方法の処理手順を説明するためのフローチャートである。
【図７】前フレームまでで認識されている動体、第１動体候補、および第２動体候補の例を説明する説明図である。
【図８】図７のときの各リストを示すリスト図である。
【図９】現在フレームで未認識物体を検出した例を説明する説明図である。
【図１０】図７に示した前フレームと図９に示した現在フレームを重ね合わせた説明図である。
【図１１】動体Ｍ１と未認識物体Ｏｂ１が対応した状態を説明する説明図である。
【図１２】比較例として、現在フレームで検出された未認識物体と、前フレームまでで認識しているすべての物体を総当たりで調べる例を説明する説明図である。
【図１３】未認識物体Ｏｂ２と第１動体候補Ｃ１とが対応した状態を説明する説明図である。
【図１４】処理が最後まで進んだ時点での各リストを示すリスト図である。
【図１５】処理終了時の現在フレームを説明する説明図である。
【図１６】レーザーレーダーにより得られる３次元の距離画像の例を示す図である。
【図１７】レーザーレーダーの構成を説明する断面図である。
【図１８】ミラーユニットＭＵの回転に応じて、出射するレーザースポット光ＳＢ（ハッチングで示す）で、監視装置ＭＤの監視空間内を走査する状態を説明する説明図である。
【発明を実施するための形態】
【００２１】
以下、添付した図面を参照しながら、本発明の実施形態を説明する。本発明は、以下の実施形態に限定されない。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。また、以下の説明において、時系列に並んだフレームで、現在のフレームを現在フレームと称し、現在フレームより過去のフレームを過去フレームと称し、中でも現在フレームの１つ前のフレームを前フレームと称する。
【００２２】
（物体追跡システム）
図１は物体追跡システムの全体構成を説明するための説明図である。図２は物体追跡装置の構成を説明するためのブロック図である。
【００２３】
物体追跡システムは、時系列に並んだフレームを取得するレーザーレーダー１０１と、時系列に並んだフレームの中にある動体を時系列に沿って追跡する物体追跡装置１０２を有する。時系列に並んだフレームが時系列に再生（表示）されることで動画となる。
【００２４】
レーザーレーダー１０１は画像取得センサーである。このレーザーレーダー１０１の詳細は後述するが、レーザーを走査してその反射光から物体までの距離をリアルタイム計測する。このため、レーザーレーダー１０１の設置位置から未認識物体までの距離および大きさ（高さや幅など）が得られる。またこれにより距離画像といわれる画像を得ることができる。この距離画像を１走査１フレームとして時系列に沿って並べる（つまり連続して表示する）ことで動画となる。レーザーレーダー１０１からの距離画像（フレーム）は物体追跡装置１０２に送信される。
【００２５】
物体追跡装置１０２は、コンピューターであり、一般的なパソコンでもよいし、専用のコンピューターでもよい。物体追跡装置１０２の構成は、図２に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１、ＲＡＭ（Ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）１２、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１３、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）１４を備える。
【００２６】
ＲＡＭ１２は、ＣＰＵ１１がワークエリアとして使用する記憶部であり、たとえば処理に必要なプログラムやデータを一時記憶する。
【００２７】
ＲＯＭ１３は、物体追跡装置１０２の起動やコンピューターとしての基本動作に必要な基本プログラムを記憶している。
【００２８】
ＣＰＵ１１は処理内容に応じたプログラムをＨＤＤ１４から読み出してＲＡＭ１２に展開し、展開したプログラムを実行する。ここでは主に、レーザーレーダー１０１から得られるフレームをもとに動画を構成し、動画内の物体追跡を行う。
【００２９】
ＨＤＤ１４は各処理に必要なプログラムや、データを記憶している。ＨＤＤに代えて不揮発性の半導体メモリ（たとえばフラッシュメモリ）でもよい。
【００３０】
また、物体追跡装置１０２は、マウスやキーボードなどの入力装置１５、画像（動画）を表示するディスプレイ１６、さらに外部機器を接続するためのネットワークインターフェース１７を備える。
【００３１】
ネットワークインターフェース１７は、たとえば、イーサネット（登録商標）などであり、レーザーレーダー１０１との通信に使用される。また、ネットワークインターフェース１７は、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などとも接続され、サーバー（後述）との通信にも使用される。
【００３２】
物体追跡装置１０２は、このようなコンピューターが後述する物体追跡方法の処理手順を実行することで達成されている。なお、物体追跡装置１０２はレーザーレーダー１０１からの計測値だけを取得して、距離画像およびその動画を構成するようにしてもよい。
【００３３】
物体追跡装置１０２は、また、たとえばサーバー１０３がネットワークにより接続されている。サーバー１０３は、時系列に並んだフレームからなる動画を物体追跡装置１０２から受け取って記憶する。また、サーバー１０３はその他の動画を記憶していて、物体追跡装置１０２からの読み出しに応じて提供する。その他の動画は、レーザーレーダー１０１によって取得した動画に限らず、通常のムービーカメラの動画などを含む。
【００３４】
（物体追跡方法）
本実施形態の物体追跡方法について説明する。
【００３５】
本実施形態では、物体追跡のために、レーザーレーダー１０１が取得したフレーム内の、背景や静止物以外の物体について以下のように分類する。
【００３６】
（１）「動体」（第１種物体）：あらかじめ決められた第１所定時間以上連続して認識された物体。  
【００３７】
（２）「第１動体候補」（第２種物体）：第２所定時間以上、第１所定時間未満連続して認識された物体。  
【００３８】
（３）「第２動体候補」（第２種物体）：第３所定時間以上、第２所定時間未満連続して認識された物体。  
【００３９】
（４）「未認識物体」：現在フレーム（現在時点）で検出された物体。
【００４０】
各所定時間の長さは、第１所定時間＞第２所定時間＞第３所定時間である。
【００４１】
時間の計測は、物体追跡装置１０２を構成するコンピューターのシステムクロックをカウントすることで可能である。第１所定時間は、たとえば、０．２秒以上１秒未満とすることが好ましく、０．３秒以上０．５秒未満とすることがより好ましい。このような時間とすることで、ごく短時間の間現れて消えてしまうノイズや、風で揺れている草花や木々を動体と認識しないようにできる。もちろん、第１所定時間とする時間は任意であり、たとえば、センサーによる計測範囲の広さや奥行き、監視対象などに合わせて設定すればよい。
【００４２】
ここで、レーザーレーダー１０１が取得する距離画像、すなわちフレームは、たとえば、１秒あたり１０フレームなどである。この場合、１フレームの時間は１／１０秒となる。そこで、本実施形態では、直接システムクロックをカウントする代わりに、フレーム単位で時間をカウントすることとした。つまり、時間の代わりにフレームの数をカウントするのである。
【００４３】
そこで、所定時間についてもフレーム単位で再定義すると以下のとおりである。なお、ここでは、１秒あたり１０フレームの場合である。
【００４４】
（１）「動体」：過去フレームの内、直前の３フレーム以上で連続して認識された物体。  
【００４５】
（２）「第１動体候補」：過去フレームの内、直前の２フレームで連続して認識された物体。  
【００４６】
（３）「第２動体候補」：過去フレームの内、直前の１フレームのみで認識された物体。  
【００４７】
（４）「未認識物体」：現在フレームで検出された物体。
【００４８】
以上により定義された動体、第１動体候補、および第２動体候補は、それぞれリストにして分類し、ＲＡＭ１２に記憶しておく。ＲＡＭ以外の記憶装置であってもよいが、少なくとも物体追跡の処理が可能となるように、高速で読み書き可能な記憶装置であることが好ましい。
【００４９】
なお、本発明はこのようなフレーム数や時間に限定されるものではない。１秒あたりのフレーム数が変われば、１フレームの時間も変わることになる。たとえば、監視カメラなどで使用されている１秒当たり５フレームでは、１フレーム１／５秒となる。逆に１秒あたり３０フレームの動画では１／３０秒となる。
【００５０】
図３は物体を分類したリストの一例を示すリスト図である。
【００５１】
図３に示すように、動体、第１動体候補、および第２動体候補がそれぞれリストとして分類される。つまり動体は動体リスト（３フレーム以上継続）、第１動体候補は第１動体候補リスト（２フレーム継続）、第２動体候補は第２動体候補リスト（１フレームのみ）に分類される。
【００５２】
さらに本実施形態では、ロスト動体リストを設けている。ロスト動体リストは、一時的に動体が見えなくなった場合に備えるリストである。つまり、動体は、センサーの計測範囲であるフレーム内から去って消える場合もあるが、フレーム内において一時的に見えなくなる場合もある。一時的に見えなくなる場合とは、たとえば、センサー設置位置から見て、動体が静止物の向こう側に隠れた場合、複数の動体があって１つの動体が他の動体の向こう側に隠れた場合などである。このような場合は、現在フレームにおいて未認識物体が検出されないか、または過去フレームで認識されている動体のいずれとも対応が付かなくなる。そこでロスト動体リストを設け、このような対応が付かない動体をロスト動体（第３種物体）として登録することにした。そして、未認識物体が検出されたときに、動体や動体候補と対応がなければ、このロスト動体リストの中のロスト動体との対応を調べることにより、前にあった動体と同じ物体かどうか対応付けることができる。このロスト動体リストに登録したロスト動体は、システムを停止するまで継続して記憶しておいてもよいが、一定時間経過または所定時間になったら削除してもよい。たとえば、数秒〜数分または数時間経過したら削除したり、毎日０時になったら削除したりなどである。
【００５３】
なお、ロスト動体リストはなくてもよく、その場合は、未認識物体と対応付かない動体は動体リストから削除するだけでよい。その場合でも、動体リストから削除された物体と同じ物体が再び現れた場合には、新規に表れた物体になるが、物体追跡は行われる。
【００５４】
これらのリストはＲＡＭ１２に記憶する。図３では各リストをひとまとめにしているが、これに限らず、たとえば、リストごとに独立して記憶してもよい。
【００５５】
各リストに分類された物体は、たとえば識別番号（ＩＤ）を付けて管理する。図３においては、動体をＭ１、Ｍ２、Ｍ３、…、動体候補を（第１と第２の区別なく）Ｃ１、Ｃ２、Ｃ３、…、未認識物体をＯｂ１、Ｏｂ２、Ｏｂ３、…とした。なお、ここでは、説明の便宜上、動体Ｍ、動体候補Ｃ、未認識物体Ｏｂなどと分けて示したが、実際の処理においては、動体、動体候補、未認識物体に付与するＩＤやタグなどは、これらの区別なく通し番号としたり、時間に基づく番号や符号としたりしてもよく、限定されない。
物体追跡方法の処理手順を説明する。
【００５６】
図４〜６は、本実施形態の物体追跡方法の処理手順を説明するためのフローチャートである。
【００５７】
この処理手順は物体追跡装置１０２によって実施される。なお、以下の説明において、未認識物体とは既に定義したとおり、現在フレームにおいて検出され、いずれにも分類されていない物体である。
【００５８】
まず、レーザーレーダー１０１から計測データ、すなわち現在フレームを取得する（Ｓ１）。このＳ１では、ここで説明する処理手順によって、過去フレームにおいて認識された動体、第１動体候補、および第２動体候補のリスト化が行われているものとする。
【００５９】
続いて、取得した現在フレームの中から未認識物体を検出する（Ｓ２）。未認識物体の検出は、たとえば、あらかじめ決められた基準となるフレームと現在フレームとの差分を取り、現在フレームにのみ存在する物体を未認識物体とする。基準となるフレームは、たとえば、過去フレームのいずれか（たとえば前フレーム）でもよいし、動体のない背景のみのフレームを用意しておいてもよい（ユーザーが目視で見つけ出し選択した、動体のないフレームなど）。なお、このような基準となるフレームはＨＤＤ１４に記憶しておいて、動作中はＲＡＭ１２に展開して、現在フレームとの比較に用いる。
【００６０】
このＳ２においては、複数の未認識物体があればそれらすべてを検出する。検出した未認識物体には、処理に必要となるＩＤやラベルなどが付与される（たとえば、未認識物体Ｏｂ１、Ｏｂ２、Ｏｂ３、…など）。
【００６１】
また、このＳ２では、検出された物体についてクラスタリングすることで、動体となり得る未認識物体か否かを選別してもよい。たとえば、レーザーレーダー１０１による計測データの中の物体を一定サイズ（画素数）にクラスタリングする。物体が複数あればそれぞれの物体ごとにクラスタリングする。そして、あらかじめ決められたサイズ閾値以上であれば未認識物体とする。サイズ閾値は、監視場所や監視対象などにより任意に決めればよい。たとえば、人を追跡して監視するのであれば、通常の人の大きさの最小値を、クラスタリングする場合のサイズ閾値とすればよい。逆にあらゆる物体を追跡するのであれば、サイズ閾値は小さな値、たとえば１〜数画素程度などとしてもよいし、あるいはサイズ閾値を設けなくてもよい。
【００６２】
続いて、Ｓ２の結果（または後述するステップから戻った後）、未認識物体がなければ（Ｓ３：ＮＯ）、Ｓ４０へ進む（図６）、一方、未認識物体があれば（Ｓ３：ＹＥＳ）、続いて、未認識物体のうちの１つを選択する（Ｓ４）。これはＳ２で複数の未認識物体が検出された場合に、未認識物体を１つずつ調べるためである。選択する順番は特に限定されず、たとえば、Ｓ２で付与したＩＤの順番としたり、フレーム内に座標系を設定して原点に近い方（座標値の小さな方）から順にするなどである。
【００６３】
続いて、動体リストの中に未対応の動体があるか否かを確認する（Ｓ５）。未対応の動体は、この処理手順の中で、未認識物体と対応付けがなされていない動体である。ここで、動体リストに未対応の動体がなければ（Ｓ５：ＮＯ）、Ｓ８へ進む。一方、動体リストの中に未対応の動体が存在していれば（Ｓ５：ＹＥＳ）、続いて、動体リストの中の未対応の動体（以下単に動体という）とＳ４で選択した未認識物体との対応を調べる（Ｓ６）。
【００６４】
この動体と未認識物体との対応を調べる処理は、それらの関連度を調べることにより行う。関連度について説明する。
【００６５】
関連度は、たとえば、距離、移動速度、センサーからの距離、サイズ、画素数、色などを指標として調べることができる。
【００６６】
距離は、画像取得センサーがレーザーレーダー１０１の場合は、動体のうち前フレームの動体と未認識物体との間の距離の値を関連度とする。前フレームの動体と未認識物体との間の距離は、レーザーレーダー１０１の場合、計測データから物体の３次元での位置がわかるので、たとえばフレームに３次元座標系を設定して、前フレームの動体の位置および未認識物体の位置がそれぞれ座標値としてわかる。したがってそれらの間の距離は座標値の差分として得られる。ムービーカメラの場合は前フレームの動体と未認識物体とのフレーム内における距離を比較して、その値を関連度とする。ムービーカメラの画像の場合はフレームに２次元座標系を設定して、上記同様に座標値の差分として求めることができる。いずれの場合も距離が近い（値が小さい）ほど関連度が高い。以下の説明においても「位置」は同様に座標値とする。
【００６７】
移動速度は、動体の移動速度と未認識物体の移動速度とを比較して、その値を関連度とする。動体の移動速度は、たとえば前々フレームにおける動体の位置と前フレームにおける動体の位置との差が動体の移動距離になるので、これを時間（１フレームの時間）で割って求める。未認識物体の移動速度は、仮に、対応を調べている動体が未認識物体と同じ物体であったとして、その動体の前フレームの位置と未認識物体の位置との差を時間（１フレームの時間）で割って求める。移動速度が近いほど関連度が高い。
【００６８】
センサーからの距離は、レーザーレーダー１０１から前フレームの動体までの距離とレーザーレーダー１０１から未認識物体までの距離を比較して、その値を関連度とする。距離の値同士が近いものほど関連度が高い。
【００６９】
サイズはレーザーレーダー１０１で計測される前フレームの動体と未認識物体の大きさを比較して、その値を関連度とする。サイズの値が近いほど関連度が高い。
【００７０】
画素数はムービーカメラで撮影された前フレームの動体と未認識物体がそれぞれ占める画素数を比較して、その値を関連度とする。画素数が近いほど関連度が高い。
【００７１】
色はカラームービーカメラで撮影された前フレームの動体の色と未認識物体の色を比較して、その値を関連度とする。色は、たとえばＬａｂ値などの色情報による色差を比較してもよいし、単純にＲＧＢの階調値の差を比較してもよい。色差が少ないほど関連度が高い。また、もっとも多い色の数（画素数）、色の平均値などでもよい。
【００７２】
これらの指標は、単独で用いてもよいし、いずれかを複数組み合わせてもよい。指標を複数組み合わせて用いる場合は、たとえば、カラームービーカメラ（２次元画像）の場合、距離と色を用いて関連度を調べる。この場合、距離と色それぞれに重み付けをして関連度を調べる。たとえば、「距離×０．６＋色差×０．４」などとする。ここで用いた重み付け定数は経験値や実験などで求めた値である。そのほか、ムービーカメラの用いている場合は、距離と画素数、移動速度と色、画素数と色など、様々に組み合わせて、それぞれに経験値や実験値などにより重み付けをして関連度を調べる。
【００７３】
また、レーザーレーダー１０１の場合は、たとえば、距離とサイズを用いて関連度を調べる。また、レーザーレーダー１０１の場合は、センサーからの距離とサイズなどを組み合わせてもよい。さらに、移動速度とサイズなどでもよい。複数の指標を用いて関連度を調べることで、より精度の高い関連度を得られる。
【００７４】
ここで、前フレームの動体および未認識物体がいずれも１つずつの場合は、関連度を調べることなく、それらは関連していると判定してもよい。これは、動体および未認識物体がともに１つずつであるなら、前フレームの動体が現在フレームで未認識物体として検出された可能性が極めて高いからである。しかし、未認識物体がノイズであったり、突発的に出現したものであったりする可能性もある。そこで前フレームの動体および未認識物体がともに１つずつであっても関連度を調べることが好ましい。そして、関連度があらかじめ決めた閾値以上である場合に、それらは同じものであるとして対応付けする。この場合、あらかじめ決めた閾値は、それぞれの指標ごとに異なるが、経験値や実験値としてあらかじめ求めておくとよい。
【００７５】
一方、動体リストの動体が２つ以上の場合は、それら相互の関連度を調べて関連度の高い組み合わせを対応付けする。
【００７６】
たとえば、Ｓ６に来た段階で動体リストに２つの動体Ｍ１とＭ２がある場合、動体Ｍ１と未認識物体Ｏｂ１との関連度、動体Ｍ２と未認識物体Ｏｂ１との関連度をそれぞれ調べ、より関連度の高い方の組み合わせを対応付けする。
【００７７】
なお、動体が複数ある場合にどちらの動体との対応を先に調べるかは、たとえば時系列で古い動体と未認識物体との関連度を先に調べる。時系列で古い動体と未認識物体との関連度を先に調べる場合、動体リストにおいては、その動体が物体として検出された時間（時刻）、または検出されてからの経過時間をタグなどとして付与しておく。付与する時間（時刻）は、たとえば実時間である。また経過時間は時間そのものでもよいが、検出されてからのフレーム数をカウントすることでもよい。なお、「物体として検出された」とは、現在フレームにおいて物体（すなわち未認識物体）として検出された時点である。
【００７８】
またたとえば、フレームに座標系を設定し（レーザーレーダー１０１のフレームでは３次元座標系、ムービーカメラのフレームでは２次元座標系）、原点に近い方から先に調べるなどとしてもよい。さらにこれらに限らず任意の順番で調べてもよい。
【００７９】
フローチャートに戻り説明を続ける。Ｓ６で動体と未認識物体との対応を調べた結果、対応していると判断されたなら（Ｓ７：ＹＥＳ）、動体と未認識物体を対応付けして、動体は動体リストの中で対応付けしたことをタグなどで記録して更新する（Ｓ３０）。その後、Ｓ３へ戻り、処理を継続する。
【００８０】
一方、Ｓ７で動体と未認識物体とが対応しないと判断されたなら（Ｓ７：ＮＯ）、続いて、第１動体候補リストに第１動体候補があるか否かを確認して（Ｓ８）、第１動体候補がなければ（Ｓ８：ＮＯ）、Ｓ１１へ進む（図５参照）。一方、第１動体候補リストに第１動体候補があれば（Ｓ８：ＹＥＳ）、第１動体候補とＳ４で選択された未認識物体との対応を調べる（Ｓ９）。ここではＳ６と同様に第１動体候補と未認識物体の関連度を求め、対応しているか調べる。関連度の調べ方はＳ６における動体が第１動体候補に変わっただけであるので説明は省略する。
【００８１】
Ｓ９の結果、第１動体候補と未認識物体とが対応していると判断されたなら（Ｓ１０：ＹＥＳ）、対応付けされた第１動体候補を動体に変更して動体リストへ移動する（Ｓ３１）。つまり、この段階で、２フレーム連続して認識されていた第１動体候補が未認識物体と同じものと認識されたので３フレーム連続して認識されたことになる。このため第１動体候補を動体に変更する。その後、Ｓ３へ戻り、処理を継続する。
【００８２】
一方、Ｓ９の結果、第１動体候補と未認識物体とが対応しないと判断されたなら（Ｓ１０：ＮＯ）、続いて（以降図５参照）、第２動体候補リストに第２動体候補があるか否かを確認して（Ｓ１１）、第２動体候補がなければ（Ｓ１１：ＮＯ）、Ｓ１５へ進む。一方、第２動体候補リストに第２動体候補があければ（Ｓ１１：ＹＥＳ）、第２動体候補とＳ４で選択された未認識物体との対応を調べる（Ｓ１２）。ここではＳ６と同様に第２動体候補と未認識物体の関連度を求めて対応しているか調べる。関連度などの調べ方はＳ６における動体が第２動体候補に変わっただけであるので説明は省略する。
【００８３】
Ｓ１２の結果、第２動体候補と未認識物体とが対応していると判断されたなら（Ｓ１３：ＹＥＳ）、その第２動体候補は第１動体候補に変更して第１動体候補リストに移動させる（Ｓ３２）。つまり、この段階で、１フレームだけ認識されていた第２動体候補が未認識物体と同じものと認識されたので２フレーム連続して認識されたことになる。このため第２動体候補を第１動体候補に変更する。
【００８４】
一方、Ｓ１２の結果、第２動体候補と未認識物体とが対応しないと判断されたなら（Ｓ１３：ＮＯ）、続いて、ロスト動体リストにロスト動体があるか否かを確認して（Ｓ１５）、ロスト動体リストにロスト動体がなければ（Ｓ１５：ＮＯ）、Ｓ４で選択された未認識物体を第２動体候補として第２動体候補リストに入れる（Ｓ３３）。一方、ロスト動体リストにロスト動体があければ（Ｓ１５：ＹＥＳ）、ロスト動体と未認識物体との対応を調べる（Ｓ１６）。ここでも、Ｓ６と同様にロスト動体と未認識物体の関連度を求めて対応しているか調べる。関連度などの調べ方はＳ６と同様であるので説明は省略する。
【００８５】
Ｓ１６の結果、ロスト動体と未認識物体とが対応していると判断されたなら（Ｓ１７：ＹＥＳ）、そのロスト動体は動体としてロスト動体リストから動体リストに移動する（Ｓ１８）。
【００８６】
Ｓ１６の結果、動体と未認識物体とが対応しないと判断されたなら（Ｓ１７：ＮＯ）、Ｓ４で選択された未認識物体を第２動体候補として第２動体候補リストに入れる（Ｓ３３）。その後、Ｓ３へ戻り、処理を継続する。
【００８７】
Ｓ３において未認識物体がない場合（Ｓ３：ＮＯ）を説明する（図６参照）。未認識物体がない場合は、そもそも現在フレームで未認識物体が検出されなかった場合と、既に説明した処理により、未認識物体と動体、第１および第２動体候補、ロスト動体との対応関係を調べた後、未認識物体が存在しなくなった場合である。
【００８８】
Ｓ３において未認識物体がない場合（Ｓ３：ＮＯ）は、続いて動体リストに未対応の動体があるか否かを確認する（Ｓ４０）。
【００８９】
ここで、動体リストに未対応の動体があれば（Ｓ４０：ＹＥＳ）、動体リスト内の未対応の動体をすべてロスト動体としてロスト動体リストに移動する（Ｓ４１）。一方、動体リストに未対応の動体がなければ（Ｓ４０：ＮＯ）、そのままＳ４２へ進む。
【００９０】
続いて、第１動体候補リストおよび第２動体候補リスト内の第１動体候補および第２動体候補を削除して（Ｓ４２）、処理を終了する。処理終了後は、Ｓ１へ戻り、次の処理を継続することになる。
【００９１】
以上説明した処理手順では、複数の未認識物体がある場合に、対応を調べる未認識物体を１つずつ選択している（Ｓ４の処理）。これに代えて、複数の未認識物体について、同時に（時間的な差があっても同じステップとして）、対応関係を調べてそれぞれの対応に応じた処理、すなわち動体、動体候補、ロスト動体などとの対応付け、またはいずれとも対応しない処理などを並列に実行させてもよい。
【００９２】
次に、物体追跡方法を、動体、第１動体候補、第２動体候補、および未認識物体の事例を挙げて説明する。
【００９３】
図７は、前フレームまでで認識されている動体、第１動体候補、および第２動体候補の例を説明する説明図である。図示する状態は、上記処理手順のＳ１において、現在フレームが取得される時点の前フレームを示している。このとき、動体Ｍ１、第１動体候補Ｃ１、および第２動体候補Ｃ２が認識されている。図８は、図７のときの各リストを示すリスト図である。動体Ｍ１、第１動体候補Ｃ１、および第２動体候補Ｃ２がそれぞれ分類されて、登録されている。なお、ここではロスト動体リストにロスト動体はない。
【００９４】
図９は、現在フレームで未認識物体を検出した例を説明する説明図である。図示する状態は、Ｓ１で取得した現在フレーム内において、Ｓ２で未認識物体Ｏｂ１およびＯｂ２が検出されている。
【００９５】
図１０は、図７に示した前フレームと図９に示した現在フレームを重ね合わせた説明図である。なお、実際の処理においては、このような前フレームと現在フレームの重ね合わせ（画像合成）は必要ない。
【００９６】
この例では、Ｓ６において、動体Ｍ１と未認識物体Ｏｂ１との対応を調べることになる。
【００９７】
Ｓ６の処理の結果、ここでは動体Ｍ１と未認識物体Ｏｂ１が対応したものとする。図１１は動体Ｍ１と未認識物体Ｏｂ１が対応した状態を説明する説明図である。図１１では、動体Ｍ１と未認識物体Ｏｂ１が対応している（Ｏｂ１＝Ｃ２）。図においては、動体Ｍ１が未認識物体Ｏｂ１へ移動したことを矢印で示した。
【００９８】
この段階で、未認識物体Ｏｂ１については動体Ｍ１と対応付けされる。このため、前フレームに存在している第１動体候補Ｃ１、第２動体候補Ｃ２などとの対応について調べる必要はない。したがって、その分、物体追跡のための計算負荷が少なくなる。
【００９９】
この点、従来の方法では、現在フレームで検出された未認識物体と、前フレームまでで認識されているすべての物体（この例では、動体Ｍ１、第１動体候補Ｃ１、第２動体候補Ｃ２）との対応関係を総当たりで調べる。図１２は、比較例として、現在フレームで検出された未認識物体と、前フレームまでで認識しているすべての物体を総当たりで調べる例を説明する説明図である。
【０１００】
図１２に示すように、従来の方法による比較例では、未認識物体Ｏｂ１と、動体Ｍ１、第１動体候補Ｃ１、および第２動体候補Ｃ２との対応をすべて調べることになる。その結果、未認識物体Ｏｂ１に対して、第２動体候補Ｃ２が動体Ｍ１よりも近い位置にある場合、近くにある第２動体候補Ｃ２を前フレームからの動体と同じであると誤認識して、未認識物体Ｏｂ１と第２動体候補Ｃ２が対応すると判断されてしまう場合がある（Ｏｂ１＝Ｃ２）。この場合、図中の矢印で示したように第２動体候補Ｃ２が未認識物体Ｏｂ１へ移動したことになる。また、未認識物体と、過去フレームにあるすべての物体との対応を調べるため、多く時間がかかる。なお、この比較例の説明では、わかりやすくするために、動体Ｍ１、第１動体候補Ｃ１、第２動体候補Ｃ２などと分類して示したが、従来の方法において過去フレームで認識されている物体についての分類はない。
【０１０１】
これに対し、本実施形態では、過去フレームで所定時間（第１所定時間）以上連続して認識した動体との対応を先に調べるため、比較例のような誤認識はない。また、本実施形態では、過去フレームから既に動体と認識されている物体（すなわちここで動体に分類されている物体）との対応を先に調べているため、未認識物体が対応する可能性が高くなる。そうすると他の物体との対応を調べなくてもよくなる。特に、１フレームや２フレームなどの短時間しか出現していない物体との対応を調べなくてもよくなるので、その分、計算負荷が少なくなり、また処理時間も短くなる。
【０１０２】
図１１の事例に戻って説明を続ける。未認識物体Ｏｂ１の対応結果が出た後、引き続き未認識物体Ｏｂ２について対応を調べる。この段階では、動体Ｍ１は既に対応付けが終わっているので、Ｓ８に処理が進むことになる。Ｓ８では、未認識物体Ｏｂ２と第１動体候補Ｃ１との対応を調べることになる。その結果、ここでは未認識物体Ｏｂ２と第１動体候補Ｃ１とが対応するものとする。図１３は未認識物体Ｏｂ２と第１動体候補Ｃ１とが対応した状態を説明する説明図である。図１３では、２フレーム連続して認識されていた第１動体候補Ｃ１が、ここでさらに未認識物体Ｏｂ２と同じものと認識されたので、３フレーム連続して認識されたことになる。これにより第１動体候補Ｃ１は動体Ｍ２となる。また矢印で示すように、第１動体候補Ｃ１は動体Ｍ２へ移動したことなる。
【０１０３】
その後、さらに処理が進むと、第２動体候補Ｃ２には対応する物体がないので、第２に動体候補リストから削除される。この時点で第２動体候補Ｃ２は、たとえば、ノイズなどということになる。
【０１０４】
図１４は、処理が最後まで進んだ時点での各リストを示すリスト図である。図示するように、動体リストに動体Ｍ１およびＭ２が登録され、第１動体候補リストおよび第２動体候補リストは登録がなくなる。ロスト動体リストは元々登録がない。
【０１０５】
図１５は、処理終了時の現在フレームを説明する説明図である。図１５に示すように、処理終了時には現在フレームにおいて、動体Ｍ１とＭ２が認識されることになる。
【０１０６】
（レーザーレーダー１０１）
次に、レーザーレーダー１０１について説明する。
【０１０７】
レーザーレーダー１０１はライダー（ＬｉＤＡＲ（Ｌｉｇｈｔ  Ｄｅｔｅｃｔｉｏｎ  Ａｎｄ  Ｒａｎｇｉｎｇ））などとも称されており、レーザーを打ち出し、それが物体に反射して戻ってくるまでの時間を計測（ＴＯＦ（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ））し、距離を求める。それを一定範囲内を走査しながら行うことで３次元の距離画像が得られる。図１６は、レーザーレーダー１０１により得られる３次元の距離画像の例を示す図である。このような距離画像１枚１枚がフレームとなって、時系列に連続することで動画となる。
【０１０８】
距離画像では、図示するように、レーザーレーダー１０１の設置位置からの距離が判明した３次元画像が得られる。ここでは、複数の動体Ｍ１、Ｍ２、Ｍ３などが映っている。また、静止物Ｓｔ１、Ｓｔ２、Ｓｔ３なども映っている。これらは、レーザーレーダー１０１による測定結果が描画されて画像化されているものである。そして、この画像例では、動体として認識された物体に対して、動体であることを表す情報を重ねて表示している。ここでは動体であることを表す情報として直方体の枠（図示白線の枠）で物体（動体）を囲んでいる。このようにすることで、ユーザーが画面（動画）を見たときに、動体として認識されている物体がわかりやすくなる。なお、このような枠線はなくてもよいし、またユーザーからの指令により付けたり消したりできるようにしてもよい。また、動体であることを表す情報は、枠線に限らず三角や矢印など任意の印、さらには文字情報などであってもよい。
【０１０９】
図１７は、レーザーレーダー１０１の構成を説明する断面図である。
【０１１０】
図１７に示したレーザーレーダー１０１は、監視装置ＭＤとして用いられている例である。監視装置ＭＤは、傾いた壁面ＷＬに取り付けられた状態で示しているが、構成要素の形状や長さ等、実際と異なる場合がある。また、図１７では監視装置ＭＤが天地を逆にした状態で設置されているものとする。
【０１１１】
監視装置ＭＤは、たとえば、レーザー光束を出射するパルス式の半導体レーザーＬＤと、半導体レーザーＬＤからの発散光を平行光に変換するコリメートレンズＣＬと、コリメートレンズＣＬで平行とされたレーザー光を、回転するミラー面により監視空間に向かって走査投光するとともに、未認識物体からの反射光を反射させるミラーユニットＭＵと、ミラーユニットＭＵで反射された未認識物体からの反射光を集光するレンズＬＳと、レンズＬＳにより集光された光を受光するフォトダイオードＰＤと、半導体レーザーＬＤの出射タイミングとフォトダイオードＰＤの受光タイミングとの時間差に応じて距離情報を求める処理回路（処理部）ＰＲＯＣと、ミラーユニットＭＵを回転駆動するモータＭＴと、これらを収容する筐体ＣＳとを有する。フォトダイオードＰＤは、Ｙ方向に並んだ複数の画素を有する。
【０１１２】
半導体レーザーＬＤとコリメートレンズＣＬとで出射部ＬＰＳを構成し、レンズＬＳとフォトダイオードＰＤとで受光部ＲＰＳを構成し、ミラーユニットＭＵが走査部を構成し、さらにこれらで投受光ユニットを構成する。
【０１１３】
出射部ＬＰＳ、受光部ＲＰＳの光軸は、ミラーユニットＭＵの回転軸ＲＯに対して直交していると好ましい。
【０１１４】
壁面ＷＬ等に固定されたボックス状の筐体ＣＳは、上壁ＣＳａと、これに対向する下壁ＣＳｂと、上壁ＣＳａと下壁ＣＳｂとを連結する側壁ＣＳｃとを有する。側壁ＣＳｃの一部に開口ＣＳｄが形成され、開口ＣＳｄには透明板ＴＲが取り付けられている。
【０１１５】
ミラーユニットＭＵは、２つの四角錐を逆向きに接合して一体化した形状を有し、すなわち対になって向き合う方向に傾いたミラー面ＭＲ１、ＭＲ２を４対（ただし４対に限られない）有している。ミラー面ＭＲ１、ＭＲ２は、ミラーユニットの形状をした樹脂素材（たとえばＰＣ（Ｐｏｌｙｃａｒｂｏｎａｔｅ））の表面に、反射膜を蒸着することにより形成されていると好ましい。
【０１１６】
ミラーユニットＭＵは、筐体ＣＳに固定されたモータＭＴの軸ＭＴａに連結され、回転駆動されるようになっている。ここでは、軸ＭＴａの軸線（回転軸線）が鉛直方向に対して傾いたＹ方向に延在しており、またＹ方向に直交するＺ方向およびＸ方向によりなすＺＸ平面が水平面に対して傾いているが、軸ＭＴａの軸線を鉛直方向に一致させてもよい。
【０１１７】
監視装置ＭＤの未認識物体検出原理について説明する。図１７において、半導体レーザーＬＤからパルス状に間欠的に出射された発散光は、コリメートレンズＣＬで平行光束に変換され、回転するミラーユニットＭＵの第１ミラー面ＭＲ１に入射し、ここで反射され、さらに第２ミラー面ＭＲ２で反射した後、透明板ＴＲを透過して外部の監視空間に向けて、たとえば縦長の矩形断面を持つレーザースポット光として走査投光される。なお、出射されたレーザースポット光が未認識物体で反射し、反射光として戻ってくる方向を投受光方向という。同一投受光方向に進行するレーザースポット光束は、同一の画素で検出される。
【０１１８】
図１８は、ミラーユニットＭＵの回転に応じて、出射するレーザースポット光ＳＢ（ハッチングで示す）で、監視装置ＭＤの監視空間内を走査する状態を説明する説明図である。
【０１１９】
ここで、ミラーユニットＭＵの第１ミラー面ＭＲ１と第２ミラー面ＭＲ２の組み合わせにおいて、それぞれ交差角が異なっている。
【０１２０】
レーザー光は、回転する第１ミラー面ＭＲ１と第２ミラー面ＭＲ２にて、順次反射される。まず１番対の第１ミラー面ＭＲ１と第２ミラー面ＭＲ２にて反射したレーザー光は、ミラーユニットＭＵの回転に応じて、監視空間の一番上の領域Ｌｎ１を水平方向に左から右へと走査される。
【０１２１】
次に、２番対の第１ミラー面ＭＲ１と第２ミラー面ＭＲ２で反射したレーザー光は、ミラーユニットＭＵの回転に応じて、監視空間の上から２番目の領域Ｌｎ２を水平方向に左から右へと走査される。
【０１２２】
次に、３番対の第１ミラー面ＭＲ１と第２ミラー面ＭＲ２で反射したレーザー光は、ミラーユニットＭＵの回転に応じて、監視空間の上から３番目の領域Ｌｎ３を水平方向に左から右へと走査される。
【０１２３】
次に、４番対の第１ミラー面ＭＲ１と第２ミラー面ＭＲ２で反射したレーザー光は、ミラーユニットＭＵの回転に応じて、監視空間のもっとも下の領域Ｌｎ４を水平方向に左から右へと走査される。
【０１２４】
これにより監視装置ＭＤが監視可能な監視空間全体の１回の走査が完了する。このようにレーザースポット光束が２次元的に隙間なく走査される（走査されたレーザースポット光束の軌跡が隣接する場合（たとえば領域Ｌｎ１と領域Ｌｎ２）において、隣接する軌跡が隙間なく接することをいうが、一部重なり合う場合を含む）と、監視装置ＭＤの設定時に、ユーザーが直感的に空間把握しやすい距離画像が得られることになり、好ましい。
【０１２５】
この領域Ｌｎ１〜Ｌｎ４の走査により得られた画像を組み合わせて、１つのフレームＦＬが得られる。そして、ミラーユニットＭＵが１回転した後、１番対の第１ミラー面ＭＲ１と第２ミラー面ＭＲ２が戻ってくれば、再び監視空間の一番上の領域Ｌｎ１からもっとも下の領域Ｌｎ４までの走査を繰り返し、次のフレームＦＬが得られる。
【０１２６】
図１７を参照して、走査投光された光束のうち未認識物体に当たって反射したレーザー光の一部は、再び透明板ＴＲを透過して筐体ＣＳ内のミラーユニットＭＵの第２ミラー面ＭＲ２に入射し、ここで反射され、さらに第１ミラー面ＭＲ１で反射されて、レンズＬＳにより集光され、それぞれフォトダイオードＰＤの受光面で画素ごとに検知されることとなる。
【０１２７】
さらに、処理回路（不図示）が、半導体レーザーＬＤの出射タイミングとフォトダイオードＰＤの受光タイミングとの時間差に応じて距離情報を求める。これにより監視空間内の全領域で未認識物体の検出を行って、画素（測定点）ごとに距離情報（３次元の計測値）を持つ距離画像（測定点マーカー群ともいわれている）としてのフレームＦＬ（図１８参照）を得ることができる。距離画像の形状は、実際に走査されるスポット光束ＳＢの形状と同じである。距離画像は処理回路から物体追跡装置１０２に送られて、物体追跡が行われる。また距離画像は必要に応じてサーバー１０３に送られて記憶される。
【０１２８】
以上説明した実施形態によれば、以下のような効果を奏する。
【０１２９】
（１）本実施形態は、前フレームまでで、所定時間以上継続して検出している物体を第１種物体と分類し、所定時間未満の物体を第２種物体と分類した。本実施形態では第１種物体を動体、第２種物体を動体候補と称した。そして、現在フレームで検出された未認識物体は、動体から先に対応するかを調べる。未認識物体が動体と対応した場合は、その未認識物体を動体と対応付けすることで動体と認識し、未認識物体が動体と対応付かなければ動体候補との対応を調べることとした。これにより、動体と未認識物体が対応付けされたなら、動体候補については調べなくてもよくなる。このため、その分、計算負荷を低減することができ、処理時間も短くすることができる。また、１フレームや２フレームなどごく短い時間しか出現しないようなノイズや木々の揺れなどのようなものは動体候補として後回しで評価される。このため、そのようなノイズなどが物体追跡データ全体の中に紛れ込んでしまうことがなくなる。
【０１３０】
（２）未認識物体と対応付けた動体候補は、物体として検出されてからの経過時間が所定時間以上経過していれば動体に分類することとした。これにより、時間経過とともに同じ物体が認識されると動体候補を動体に分類して物体追跡することができる。
【０１３１】
（３）動体候補は、物体として検出されてからの経過時間が長い方（フレーム数の多い方）から順に第１動体候補、第２動体候補などと、複数の段階に分類することとした。そして経過時間が長い方（フレーム数の多い方）から順に未認識物体との対応を調べることとした。これにより、より細かく計算量の削減、ノイズの影響の低減を行うことができる。
【０１３２】
（４）動体についても、物体として検出されてからの経過時間が長い方（フレーム数の多い方）から順に複数の段階に分類しておき、経過時間が長い方から順に未認識物体との対応を調べることとした。これにより、より長い時間動体として認識されている物体から順に追跡できるようになる。
【０１３３】
（５）さらに、本実施形態では、未認識物体と対応していない動体を第３種物体と分類した。ここでも本実施形態では、第３種物体をロスト動体と称している。そして、未認識物体がロスト動体と対応した場合は、動体に分類し直すこととした。これにより、フレーム内で一時的に隠れた物体を再出現時に同一の動体として認識することができる。
【０１３４】
（６）未認識物体がいずれの動体候補とも対応していないと判断された場合は、未認識物体を現在フレームで新規に出現したものとして動体候補に分類することとした。これにより、現在フレームだけで出現した物体を動体候補として分類しておいて、時間経過とともに同じ物体が認識されなければ動体とせずに排除することができる。
【０１３５】
（７）所定時間を０．２秒以上１秒未満とすることでごく短時間の間現れて消えてしまうノイズや、風で揺れて生きる草花や木々を動体と認識しないようにできる。
【０１３６】
（８）時間のカウントをフレーム単位で行うこととした。これにより、経過時間がフレームを数えることでわかるようになる。また、フレーム内における物体の認識はフレーム単位で行われるため、物体を認識するための時間間隔として切りの良い時間でカウントすることができる。
【０１３７】
（９）認識した動体には、動体であることを表す情報とともに表示することとした。これによりユーザーが画面を見た時に、認識されている動体をわかりやすくなる。
【０１３８】
以上本発明を適用した実施形態を説明したが、本発明はこれら実施形態に限定されるものではない。
【０１３９】
画像取得センサーは、レーザーレーダー１０１ではなく、普通のムービーカメラを用いることもできる。ムービーカメラを用いた場合、３次元の距離情報は得られないが、フレーム内において物体がどの程度の時間（フレーム数）継続して存在しているかを認識することは可能である。したがって、ムービーカメラを用いた動画（時系列に並んだフレーム）から上述した実施形態同様に（３次元計測することを除いて）、物体追跡を行うことができる。
【０１４０】
また、実施形態では、動体候補（第２種物体）は、第１動体候補と第２動体候補の２段階とした。つまり物体として検出してから２つの経過時間（フレーム数）に関連付けしたものである。しかし、これは１つの経過時間に関連付けて１段階としてよいし、さらに複数の経過時間に関連付けて、ｎ段階（第ｎ動体候補（ただしｎは自然数））でもよい。
【０１４１】
また、動体についても経過時間（フレーム数）によって多段階に分けて管理してもよい。たとえば、物体として検出されてからの経過時間（フレーム数）ごとに、第１から第ｎ動体（ただしｎは自然数）とする。このようにすることで、過去フレームにおいて認識されている時間が長い（フレーム数が多い）方の動体から順に未認識物体との対応を調べることができる。
【０１４２】
そのほか本発明は特許請求の範囲に記載された構成に基づき様々な改変が可能であり、それらについても本発明の範疇である。
【符号の説明】
【０１４３】
１１  ＣＰＵ、
１２  ＲＡＭ、
１４  ＨＤＤ、
１０１  レーザーレーダー、
１０２  物体追跡装置。
【図１】
2019003334.tif 000003
【図２】
2019003334.tif 000004
【図３】
2019003334.tif 000005
【図４】
2019003334.tif 000006
【図５】
2019003334.tif 000007
【図６】
2019003334.tif 000008
【図７】
2019003334.tif 000009
【図８】
2019003334.tif 000010
【図９】
2019003334.tif 000011
【図１０】
2019003334.tif 000012
【図１１】
2019003334.tif 000013
【図１２】
2019003334.tif 000014
【図１３】
2019003334.tif 000015
【図１４】
2019003334.tif 000016
【図１５】
2019003334.tif 000017
【図１６】
2019003334.tif 000018
【図１７】
2019003334.tif 000019
【図１８】
2019003334.tif 000020