(57)【要約】【課題】  物体の移動軌跡のトラッキングを正確に行なう。【解決手段】  移動する物体５０にはマーカ６１が貼られている。部屋７０内の床、壁、棚には固定マーカ１１，１２，１３がそれぞれ貼付されている。カメラ２１は部屋７０内を常時監視している。物体５０が部屋７０に入ってくると、コンピュータシステム３０はカメラ２１で撮影された画像上で、物体５０と固定マーカ１１，１２，１３の距離を計算し、最小の距離に対応する固定マーカの番号と測定時刻を保存する。物体５０が移動を停止したり、部屋７０から出ていくと、コンピュータシステム３０は保存されている固定マーカの番号と測定時刻から物体５０の移動経路を作成し、ディスプレイに表示する。【選択図】    図１
2005069977.tif 000002
【特許請求の範囲】
【請求項１】
移動経路をトラッキングする各物体に、該物体を識別し、その位置を特定するためのマーカを付け、
物体が移動する空間内には複数の固定マーカを配置し、
カメラで前記空間内を撮影し、
画像上での前記物体と前記各固定マーカとの距離を測定し、測定された距離のうちで最小の距離に対応する固定マーカの識別情報と、測定時刻をメモリに保存し、
前記保存された固定マーカの識別情報と測定時刻から前記物体の移動経路情報を作成する物体移動経路トラッキング方法。
【請求項２】
前記最小の距離が所定の大きさ以下のときのみに、固定マーカの識別情報と、該測定時刻をメモリに保存する、請求項１に記載の物体移動経路トラッキング方法。
【請求項３】
識別および位置を特定するためのマーカが付けられた物体が移動する空間内に配置された複数の固定マーカと、
前記空間内を撮影するカメラと、
メモリと、
画像上での前記物体と前記各固定マーカとの距離を測定し、測定された距離のうちで最小の距離に対応する固定マーカの識別情報と、測定時刻を前記メモリに保存する手段と、
前記メモリに保存された固定マーカの識別情報と、測定時刻の情報から、前記物体の移動経路情報を作成する手段を有する物体移動経路トラッキング装置。
【請求項４】
前記の距離を測定し、固定マーカの識別情報と、測定時刻をメモリに保存する手段は、最小の距離が所定の大きさ以下のときにのみ、固定マーカの識別情報と、測定時刻をメモリに保存する、請求項３に記載の物体移動経路トラッキング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体に装着されたマーカをカメラで認識することによりその物体の移動経路のトラッキングを行なう方法および装置に関するものである。
【背景技術】
【０００２】
室内において移動可能な物体を素早く探し出すことは、多くの場合困難になり得る。収納庫や机などに納められたり、他の部屋に移動されたりする恐れがあり、物体は自分が意図していない場所に紛れ込んでいる可能性がある。
【０００３】
この問題に関する一つの可能な解決法は、識別信号を発することのできるＲＦＩＤのようなタグを物体に付けることである。このシステムでは物体にタグを装着する際に、異なる発信周波数を割り当てることにより、複数の物体の特定が可能になる。
【０００４】
別の解決法は、物体の移動足跡の検出を全て画像だけで行なうことである。室内をカメラで常時撮影しておき、物体の移動映像を取得する。目標となる物体を特定するために、あらかじめ物体画像固有の特徴量を抽出しておく。その特徴量を用いてカメラの映像中から物体画像を特定することによりその移動軌跡を獲得する。この場合、システムとしては安価である。
【非特許文献１】ＮＴＴ技術ジャーナル  ２００２年６月号  Ｐ３２「ＲＦＩＤタグを利用したユビキタスアプリケーション」
【非特許文献２】村瀬、Ｖ．Ｖ．Ｖｉｎｏｄ：“局所色情報を用いた高速物体探索‥アクティブ探索法‥”電子通信学会論文誌  Ｄ−II  Ｖｏｌ．Ｊ８１−Ｄ−II，Ｎｏ．９，ｐｐ．２０３５〜２０４２，１９９８
【非特許文献３】２００１年度電気学会全国大会、講演論文集  ｐ６４９「画像データによる備品管理システムの検討」
【発明の開示】
【発明が解決しようとする課題】
【０００５】
前者の解決法では、一般に利用できる識別システムの分解能が極めて低く、数メートル程度での場所の特定しかできない。さらにこのようなシステムでは一般に読み取りシステムを備えた位置検出器が近接して置かれていなければならないし、部屋などの空間では検出器を複数設置しなければならない。
【０００６】
後者の解決法では、現在の計算機の性能ではリアルタイム処理が困難なため、カメラ映像を記憶媒体に取り込まなければならず、コンピュータに負担がかかる。さらに、物体の特徴量抽出の精度が問題となり、多量の映像から意図する物体だけを特定することが困難である。
【０００７】
本発明の目的は、位置検出器を物体の近辺に置くことなく、多くの移動する物体の位置を同時に把握でき、その結果、物体の移動経路のトラッキングを正確に行なうことができる安価な物体移動経路トラッキング方法および装置を提供することにある。
【課題を解決するための手段】
【０００８】
移動経路をトラッキングする各物体に、該物体を識別し、その位置を特定するためのマーカを付け、物体が移動する空間内には複数の固定マーカを配置する。カメラで空間内を撮影し、画像上での前記物体と各固定マーカとの距離を測定し、接近した（距離が最小の）固定マーカの識別情報と、測定時刻をメモリに保存する。そして、物体が移動を停止したり、空間から出ていった場合には、保存された固定マーカの識別情報と測定時刻から物体の移動経路情報を作成する。
【０００９】
物体と固定マーカとの距離を測定するだけで、物体の移動経路がわかる理由を以下に説明する。
【００１０】
固定カメラで視野に入る全てのマーカを常時撮影している。よって、マーカの付いた物体がどの固定マーカに（画像の上で）どのくらいの距離にあるかを測定することができる（たとえば、（壁に固定された）固定マーカＡの近くに、動いている物体のマーカＢが、時刻ｈｈ：ｍｍ：ｓｓに何ピクセルまで近づいた、等）。これは、あくまで画像上の距離で、深さ方向の情報はとっていないので、実際の空間における距離とは異なる。しかし、カメラ画像の上では、各固定マーカから、そこに近づいた物体の履歴をひっぱりだすことができ、画像の上での軌跡は追うことができる。現実問題として、このトラッキング情報を物体の探索その他に使うとき、カメラ画像の上で、どこをいつ通過したかわかれば、実用上充分である。
【００１１】
移動経路は、たとえば、物体Ｂに関して、物体Ｂが近接した固定マーカＦ１が、その時刻とともに時刻ａａ：ｂｂ：ｃｃ  固定マーカＦ１、時刻ｄｄ：ｅｅ：ｆｆ  固定マーカＦ２のように表現される。
【００１２】
なお、最小の距離が所定の大きさ以下のときにのみ、固定マーカの識別情報と測定時刻を保存することで、保存するデータ量を少なくすることができる。この場合は、移動物体の空間内の全移動軌跡を表示するのではない。
【発明の効果】
【００１３】
以上説明したように、本発明によれば、物体の移動経路のトラッキングを、物体に貼付されているマーカと室内に配置された固定マーカとカメラによる簡単なシステムで実現できる。室内において移動可能な物体をどこにあるか素早く探すことができ、移動軌跡をトラッキングすることにより、物体の利用する場所や時間などの情報を簡単に獲得することができる。
【発明を実施するための最良の形態】
【００１４】
次に、本発明の実施の形態について図面を参照して説明する。
【００１５】
［第１の実施形態］
図１は本発明の第１の実施形態の物体移動経路トラッキングシステムの構成を示している。
【００１６】
移動する物体５０には、該物体５０を識別し、その位置を特定するためマーカ６１が貼られている。部屋７０内の床、壁、棚には移動物体５０の軌跡をトラッキングするための固定マーカ１１，１２，１３がそれぞれ貼付されている。部屋７０内にはカメラ２１が設置されている。このカメラ２１は部屋全体の視野を有している。コンピュータシステム３０はカメラ２１と接続され、移動物体５０の固定マーカ１１，１２，１３との距離の計算、データ保存、および移動経路の作成、表示処理を行なう。このコンピュータシステム３０は、もちろん部屋７０の外に配置されていてもよい。カメラ２１にワイヤレスでまたはワイヤリンクによって接続され、スタンドアロン型であってもよいし、データの保存や処理を分配して高速データ転送を行なうためにコンピュータネットワークに接続されていてもよい。
【００１７】
図２はコンピュータシステム３０に読み込まれて実行される物体移動経路トラッキングプログラムをブロック化したものである。このプログラムはフロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、あるいはコンピュータシステム３０に内蔵されるハードディスク装置等の記憶装置に格納されている。さらに、インターネットを介して送信されるものであってもよい。
【００１８】
このシステムではマーカ６１として、ワシントン大で開発され、フリーウェアで提供されている２次元マーカ（http://www.hitl.washington.edu/research/shared_space/）を一例として使用する。このマーカは中央部にパターンが描かれており、このマーカ６１をカメラ２１が捉えた時に中央のパターンとあらかじめコンピュータシステム３０に登録されているパターンとのテンプレートマッチングによって識別を行ない、マーカ６１が貼付されている物体５０を特定する。さらに、マーカ６１の形を登録パターンと比べることにより、カメラ２１からの３次元の空間位置をコンピュータ３１によって決定することができる。
【００１９】
図３は本実施形態の処理シーケンスを示すフローチャートである。カメラ２１が部屋７０内を常時監視している。部屋７０内に物体５０が入ってくると（ステップ１０１）、マーカ間距離計算部３１は物体５０（マーカ６１）と各固定マーカ１１，１２，１３間の画像上での距離（マーカ間距離）を計算する（ステップ１０２）。データ保存判断部３２は計算されたマーカ間距離のうちで最小の距離を所定値と比較し（ステップ１０３）、所定値以下であれば、最小の距離に対応する固定マーカの番号、該最小距離、その測定時刻の情報を位置情報データベース３３に保存する（ステップ１０４）。以上のマーカ間距離の計算とデータの保存は物体５０が部屋７０に入ってカメラ２１に捉えられてから部屋７０内に置かれて移動が止まってしまうか、部屋７０の外に持ち出されてマーカ６１を認識できなくなるまで連続して行なわれる（ステップ１０５）。また、移動物体の数が少ない場合は全データを保存することは問題ないが、移動物体の数が多い場合は、データが多量になってしまいコンピュータシステム３０に負担をかける恐れがある。そのようなことを防ぐためにこのシステムでは、カメラ２１に映っている固定マーカ１１，１２，１３に移動物体５０がある距離よりも近づいたときにのみデータを位置情報データベース３３に保存するようにしている。これによって、移動物体５０が固定マーカ１１，１２，１３に接近したときのデータは各固定マーカ１１，１２，１３に対して分割されて位置情報データベース３３に保存され、個々のデータ量を抑えることができる。物体軌跡情報表示部３４は位置情報データベース３３から固定マーカの番号と測定時刻の情報を読み出して物体５０の移動経路を作成し、ディスプレイに表示する（ステップ１０６）。なお、このとき距離も表示するようにしてよい。
【００２０】
［第２の実施形態］
図４は本発明の第２の実施形態の物体移動経路トラッキングシステムの構成図である。
【００２１】
本実施形態では、通常の可視光を検出できるカメラ２１の他に赤外線を検出できるカメラ２２を備えている。このカメラは部屋７０全体の視野を有している。部屋７０の床、壁、棚には移動物体５０の軌跡をトラッキングするための固定マーカ４１，４２，４３が貼られている。移動物体５０にはマーカ６２が貼られている。空間の位置の計算およびデータの保存、移動経路の作成、表示処理には、第１の実施形態と同様にコンピュータシステム３０を用いる。コンピュータシステム３０はもちろん部屋７０の外に配置されていてもよい。カメラ２１，２２にワイヤレスでまたはワイヤリンクによって接続され、スタンドアロン型であってもよいし、データの保存や処理を分配して高速データ転送を行なうためにコンピュータネットワークに接続されていてもよい。
【００２２】
このシステムでは赤外線タグをマーカ４１〜４３，６２として使用する。今回は一例として赤外線タグは特開２００２−３４０９６５号公報で提案されたものを使用する。このタグはコンピュータシステム３０から発光指令命令を含む情報をタグが受信すると、この発光指令命令に含まれる識別情報が自分に割り当てられた識別情報である場合に発光し、タグごとに異なる周期の断続的な赤外線信号を発光・送信する。この光は人間の目には見えないが赤外線カメラ２２には容易に見える。この信号を赤外線カメラ２２が捉えた時に、その信号パターンをあらかじめコンピュータシステム３０に登録されている物体の発信パターンと比べることにより物体５０を特定することができる。赤外線タグは自ら信号を発信するので、位置情報を提供するばかりでなく、位置依存型データを提供する遠隔センサ（例えば温度計や動作検出器）としても使用することができる。
【００２３】
図５はコンピュータ３２で行なわれる処理のブロック図で、図２のブロック図と基本的に同じであるが、本実施形態では赤外線カメラ２２の画像がデータ保存判断部３２に入力されている。データ保存判断部３２は、データを保存と判断したとき赤外線カメラ２２で撮影したその瞬間の画像も一緒に保存する。
【００２４】
なお、以上の実施形態では図２、図５の処理をプログラムで行なうとしたが、図２、図５の構成を有する装置によって行なうこともできる。
【図面の簡単な説明】
【００２５】
【図１】本発明の第１の実施形態の物体移動経路トラッキングシステムの構成を示す図である。
【図２】第１の実施形態のコンピュータシステム３０の構成を示すブロック図である。
【図３】マーカ付き物体の移動軌跡を検出・表示する処理のフローチャートである。
【図４】本発明の第２の実施形態の物体移動経路トラッキングシステムの構成を示す図である。
【図５】第２の実施形態のコンピュータシステム３０の構成を示すブロック図である。
【符号の説明】
【００２６】
１１，１２，１３    ２次元固定マーカ
２１，２２    カメラ
３０    コンピュータシステム
３１    ２次元マーカ間距離計算部
３２    データ保存判断部
３３    ２次元位置情報データベース
３４    物体軌跡情報表示部
４１，４２，４３    赤外線タグ
５０    移動物体
６１，６２    マーカ
７０    室内
１０１〜１０６    ステップ
【図１】
2005069977.tif 000003
【図２】
2005069977.tif 000004
【図３】
2005069977.tif 000005
【図４】
2005069977.tif 000006
【図５】
2005069977.tif 000007