(57)【要約】【課題】  本発明の目的は、軌跡に対応する移動体の画像を抽出することができる装置および方法を提供することである。【解決手段】  画像取得部１により、対象領域の画像を取得する。軌跡取得部２により、移動体の軌跡を取得する。処理部３は、次の機能を有する。（１）画像取得部１で取得される画像の座標系と、軌跡取得部２で取得される軌跡の座標系とを統合する機能、および（２）軌跡上に位置する移動体の画像を、画像取得部１で取得された画像から抽出する機能。  画像取得部１と軌跡取得部２と処理部３とは、ネットワーク４により接続されている。  画像取得部１は、カメラ１１とカメラ用端末１２とを備えている。軌跡取得部２は、レーザスキャナ２１とスキャナ用端末２２とを備えている。【選択図】図３
2005352988.tif 000002
【特許請求の範囲】
【請求項１】
画像取得部と、軌跡取得部と、処理部とを備えており、
前記画像取得部は、対象領域の画像を取得する構成となっており、
前記軌跡取得部は、移動体の軌跡を取得する構成となっており、
前記処理部は、
（１）前記画像取得部で取得される画像の座標系と、前記軌跡取得部で取得される軌跡の座標系とを統合する機能、および
（２）前記軌跡上に位置する移動体の画像を前記画像取得部で取得された画像から抽出する機能
を備えていることを特徴とする画像抽出装置。
【請求項２】
前記画像取得部と前記軌跡取得部と前記処理部とは、ネットワークにより接続されていることを特徴とする請求項１に記載の画像抽出装置。
【請求項３】
前記画像取得部は、カメラとカメラ用端末とを備えていることを特徴とする請求項１または２に記載の画像抽出装置。
【請求項４】
前記軌跡取得部は、レーザスキャナとスキャナ用端末とを備えていることを特徴とする請求項１〜３のいずれか１項に記載の画像抽出装置。
【請求項５】
前記軌跡取得部は、水平にスキャンしてレンジ画像を得るセンサとセンサ用端末とを備えていることを特徴とする請求項１〜３のいずれか１項に記載の画像抽出装置。
【請求項６】
前記センサはレーザスキャナであり、前記センサ用端末はスキャナ用端末であることを特徴とする請求項５に記載の画像抽出装置。
【請求項７】
統合部と抽出部と記憶部とを備えており、
前記統合部は、画像取得装置で取得される移動体の画像における座標系と、軌跡取得装置で取得される移動体の軌跡における座標系とを統合する構成となっており、
前記抽出部は、前記軌跡上に位置する移動体の画像を前記画像取得部で取得された画像から抽出する構成となっていることを特徴とする画像処理装置。
【請求項８】
前記抽出部は、前記軌跡から推測される前記移動体の向きに対応する属性を前記抽出された移動体の画像に付して、前記移動体の画像を前記記憶部に保存することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
以下のステップを備えたことを特徴とする画像抽出方法：
（１）対象領域における画像を取得するステップ；
（２）移動体の軌跡を取得するステップ；
（３）取得される画像の座標系と、取得される軌跡の座標系とを統合するステップ；
（４）前記軌跡上に位置する移動体の画像を、前記対象領域における画像から抽出するステップ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ある領域内の画像から移動体の画像を抽出するための画像抽出装置に関するものである。
【背景技術】
【０００２】
下記非特許文献１〜３に示されるように、本発明者らは、移動体（例えば歩行者）の移動軌跡を抽出する技術を提案している。この技術によれば、複数のレーザスキャナ（レーザセンサ）を用いることにより、精度良く軌跡を抽出することができる。
【０００３】
ところで、異なる時間に取得された軌跡に対応する移動体の同一性を判定するためには、移動体の画像と軌跡とを対応させることが好ましい。
【非特許文献１】中村克行、趙卉菁、柴崎亮介、坂本圭司、大鋸朋生、鈴川尚毅、マルチレーザスキャナを用いた歩行者の抽出、第10回画像センシングシンポジウム予稿集、2004
【非特許文献２】H. Zhao, R. Shibasaki, "Pedestrian Tracking using Multiple Laser Range Scanners ", Proc. of Computers on Urban Planning and Urban Management, May. 2003 Sendai, Japan.
【非特許文献３】H. Zhao, R. Shibasaki, N.Ishihara, "Pedestrian Tracking using Single-row Laser Range Scanners ", Proc. of IAPR Workshop on Machine Vision Application, Dec. 2002 Nara, Japan.
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、このような事情に鑑みてなされたものである。本発明の目的は、軌跡に対応する移動体の画像を抽出するための装置および方法を提供することである。
【課題を解決するための手段】
【０００５】
本発明に係る画像抽出装置は、画像取得部と、軌跡取得部と、処理部とを備えている。前記画像取得部は、対象領域の画像を取得する構成となっている。前記軌跡取得部は、移動体の軌跡を取得する構成となっている。前記処理部は、（１）前記画像取得部で取得される画像の座標系と、前記軌跡取得部で取得される軌跡の座標系とを統合する機能、および（２）前記軌跡上に位置する移動体の画像を前記画像取得部で取得された画像から抽出する機能を備えている。
【０００６】
前記画像取得部と前記軌跡取得部と前記処理部とは、ネットワークにより接続されていてもよい。
【０００７】
前記画像取得部は、カメラとカメラ用端末とを備えていてもよい。
【０００８】
前記軌跡取得部は、レーザスキャナとスキャナ用端末とを備えていてもよい。
【０００９】
前記軌跡取得部は、水平にスキャンしてレンジ画像を得るセンサとセンサ用端末とを備えていてもよい。前記センサは、例えばレーザスキャナであり、前記センサ用端末は、例えばスキャナ用端末である。
【００１０】
本発明に係る画像処理装置は、統合部と抽出部と記憶部とを備えている。前記統合部は、画像取得装置で取得される移動体の画像における座標系と、軌跡取得装置で取得される移動体の軌跡における座標系とを統合する構成となっている。前記抽出部は、前記軌跡上に位置する移動体の画像を前記画像取得部で取得された画像から抽出する構成となっている。
【００１１】
前記抽出部は、前記軌跡から推測される前記移動体の向きに対応する属性を前記抽出された移動体の画像に付して、前記移動体の画像を前記記憶部に保存する構成であってもよい。
【００１２】
本発明に係る画像抽出方法は、以下のステップを備えている：
（１）対象領域における画像を取得するステップ；
（２）移動体の軌跡を取得するステップ；
（３）取得される画像の座標系と、取得される軌跡の座標系とを統合するステップ；
（４）前記軌跡上に位置する移動体の画像を、前記対象領域における画像から抽出するステップ。
【発明の効果】
【００１３】
本発明によれば、軌跡に対応する移動体の画像を、比較的正確に抽出することが可能となる。
【発明を実施するための最良の形態】
【００１４】
（実施形態の構成）
以下、本発明の一実施形態に係る画像抽出装置を、添付図面を参照して説明する。この装置は、画像取得部１と、軌跡取得部２と、処理部３とを主体として構成されている（図１参照）。これらは、ネットワーク４に接続されており、これを介して、相互に情報の伝達を行うことができるようになっている。
【００１５】
画像取得部１は、複数のカメラ１１と、これらのカメラ１１にそれぞれ接続されたカメラ用端末１２とを備えている（図２参照）。カメラ１１は、通常は動画用カメラであるが、静止画用カメラであっても良い。カメラ１１は、カメラ用端末１２からの制御信号に基づいて、対象領域の画像を取得する構成となっている。対象領域は、使用者により適宜に設定される（後述）。カメラ用端末１２は、コンピュータにより構成されている。カメラ用端末１２の機能は、本実施形態の動作の説明において詳述する。
【００１６】
軌跡取得部２は、複数のレーザスキャナ２１と、これらのスキャナ２１にそれぞれ接続されたスキャナ用端末２２とを備えている（図２参照）。レーザスキャナ２１は、水平方向にスキャンすることにより、対象物までの距離を測定して、レンジ画像を得ることができるものである。これにより、軌跡取得部２は、移動体の軌跡を取得できるようになっている。軌跡取得部２の構成は、前記した非特許文献に記載された軌跡取得装置と同様なので、詳細な説明を省略する。なお、レーザスキャナに代えて、レンジ画像を得られる他のセンサ（例えばＵＷＢ（Ultra Wide Band）を用いたレーダ、ミリ波レーダなど）を用いることもできる。
【００１７】
処理部３は、コンピュータ（いわゆるサーバ）により構成されている。処理部３は、コンピュータハードウエアおよびコンピュータソフトウエアにより、機能要素として、座標統合部３１と抽出部３２と記憶部３３とを備えたものとなっている。座標統合部３１は、画像取得部１で取得される画像の座標系と、軌跡取得部２で取得される軌跡の座標系とを統合する機能を有している。なお、この実施形態では、取得された画像の統合は、画像取得部１で行っている。もちろん、画像の統合を処理部３で行っても良い。抽出部３２は、軌跡上に位置する移動体の画像を、画像取得部１で取得された画像から抽出する機能を有している。処理部３の各機能は、本実施形態の動作の説明において詳述する。
【００１８】
（実施形態の動作）
次に、本実施形態に係る画像抽出装置の動作を説明する。この実施形態では、画像取得部１のカメラ１１と、軌跡取得部２のレーザスキャナ２１とが、所定の位置に配置されている（図３参照）。この状態では、カメラ１１は、操作者が設定する領域における画像を取得できるようになっている。また、レーザスキャナ２１は、操作者が設定する領域における移動体の位置を取得できるようになっている。なお、図４には、キャリブレーション動作（後述）のためにマーカ５１，５２，５３およびキャリブレーションブロック６を対象領域内に配置した状態を示している。
【００１９】
（ステップＳａ１〜２）
図５に示されるように、まず、処理部３は、カメラ用端末１２およびスキャナ用端末２２（図においてはクライアントと総称）に同期信号を送る。
【００２０】
（ステップＳｂ１〜２およびＳｃ１〜２）
図８に示されるように、レーザ用端末２２は、同期信号を受信すると、時刻同期を行う。同様に、図９に示されるように、カメラ用端末１２は、同期信号を受信すると、時刻同期を行う。このように時刻同期を行うことにより、各端末で取得されたデータの取得時間を一致させることができる。
【００２１】
（ステップＳａ３〜６）
この実施形態の説明では、レーザスキャナ２１のキャリブレーション全体を図５のステップＳａ３で参照する。ステップＳａ３は、ステップＳａ４〜６を有している。ステップＳａ３において、まず、処理部３は、各スキャナ用端末２２にリクエスト信号を送る（ステップＳａ４）。各スキャナ用端末２２の動作は後述する。
【００２２】
各スキャナ用端末２２からサンプルデータを受信すると（ステップＳａ５）、処理部３の統合部３１は、サンプルデータをマッチングして、各レーザスキャナ２１の座標系から、ある統合座標系への変換パラメータを求める（ステップＳａ６）。
【００２３】
（ステップＳｂ３〜４）
各レーザ用端末２２は、処理部３からリクエスト信号を受け取ると（ステップＳｂ３）、各レーザスキャナ２１により、既知移動体を１回スキャンして、サンプルデータを取得し、このサンプルデータを処理部３に送る（ステップＳｂ４）。サンプルデータで取得された移動体の形状や位置や既知なので、サンプルデータを用いることにより、座標系を変換ないし統合するパラメータを得ることができる。
【００２４】
（ステップＳａ７〜１２）
つぎに、カメラ１１のキャリブレーション全体をステップＳａ７として参照しながら説明する。
【００２５】
まず、処理部３は、カメラ用端末１２のうちの１台に、データリクエスト信号を送る（ステップＳａ８）。カメラ用端末１２の動作は後述する。
【００２６】
ついで、処理部３は、当該カメラ用端末１２から、サンプルデータと、内部標定パラメータとを受信する（ステップＳａ９）。
【００２７】
ついで、処理部３の統合部３１は、当該カメラ用端末１２に接続されたカメラ１１の座標系から、ある統合座標系への外部標定パラメータを決める（ステップＳａ１０）。
【００２８】
ついで、使用者は、処理部３を介して、カメラ１１が画像を取得する領域（つまりカメラ画像と軌跡との座標系を対応させる領域）を設定する（ステップＳａ１１）。この領域を以下「トラッキングエリア」と称することがある。また、使用者は、リアルタイムトラッキング及びオーバレイ表示を行うかどうかを設定する。ステップＳａ１１が終了した後、次のカメラ１１があれば、ステップＳａ８〜１２を繰り返す（ステップＳａ１２）。
【００２９】
（ステップＳｃ３〜４）
カメラ用端末１２は、処理部３からネットワーク４を介してデータリクエスト信号（ステップＳａ１８）を受け取る（Ｓｃ３）。
【００３０】
ついで、カメラ用端末１２は、カメラ１１から、１ショット分の画像を取得する（ステップＳｃ４）。この画像には、例えば、位置が既知である複数のマーカ５１〜５３またはキャリブレーションブロック６のいずれかを含む画像とする。キャリブレーションブロック６をキャリブレーションに用いる場合には、ブロック６の隅、辺、面の位置などの情報が利用される。カメラ用端末１２は、この画像をサンプルデータとして制御部３に送る。さらに、制御部３は、カメラ１１の内部標定パラメータを制御部３に送る（ステップＳａ９参照）。
【００３１】
（ステップＳａ１３）
操作者は、その他のトラッキングエリアを設定し、そのエリアにおけるリアルタイムトラッキングの要否を設定する。
【００３２】
（ステップＳａ１４）
ついで、処理部３は、各カメラ用端末１２およびスキャナ用端末２２に、制御開始信号を送る。
【００３３】
（ステップＳｂ５〜１０：軌跡取得部の動作）
軌跡取得部２のスキャナ用端末２２は、計測開始信号を処理部３から受け取ると（ステップＳｂ５）、レーザスキャナ２１を動作させて、１スキャン分のデータを取得する（ステップＳｂ６）。
【００３４】
さらに、スキャナ用端末２２は、１スキャン分のデータから背景データを生成する。つまり、初回の動作では、最初に取得したデータが背景データとなる。スキャナ用端末２２は、その後のスキャン結果に基づいて、１時間毎に背景データを更新する（ステップＳｂ７）。
【００３５】
さらに、スキャナ用端末２２は、その後のスキャンデータと背景との差分に基づいて、動体データを抽出する（ステップＳｂ８）。
【００３６】
ついで、スキャナ用端末２２は、動体データ（つまり移動体の位置データ）を処理部３に送信する（ステップＳｂ９）。
【００３７】
処理部３から計測終了信号を受信するまで、スキャナ用端末２２は、ステップＳｂ６〜１０を繰り返す（ステップＳｂ１０）。
【００３８】
（ステップＳｃ５〜６：画像取得部の動作）
画像取得部１のカメラ用端末１２は、処理部３から計測開始信号を受け取ると（ステップＳｃ５）、カメラ１１を動作させて、一定のフレームレートで動画像を記録する（ステップＳｃ６）。取得した画像と移動体の軌跡との画像上の統合（いわゆるオーバレイ）は、後述する処理部３のステップＳａ１５〜２４の後に、画像取得部１において行われる（後述するステップＳｃ７〜８）。
【００３９】
（ステップＳａ１５〜２５：処理部の動作）
処理部３は、スキャナ用端末２２から動体データを受け取り（ステップＳａ１５）、記憶部３３に保存する。ついで、処理部３の座標統合部３１は、動体データを座標変換し、画像と同一の座標系に統合する（ステップＳａ１６）。ついで、トラッキングエリア毎に、次のサブルーチン（ステップＳａ１８〜２４）により、軌跡を抽出する。
【００４０】
（ステップＳａ１８〜２４：軌跡抽出のサブルーチン）
まず、該当トラッキングエリアがリアルタイムトラッキングを行い、かつオーバレイ表示も行う場合は（ステップＳａ１８）、処理部３の抽出部３２は、該当トラッキングエリアにある移動体データを抽出し（ステップＳａ１９）、これらを記憶部３３に保存する。そうでない場合はステップＳａ２４に進む。
【００４１】
さらに、リアルタイムトラッキングを行う場合には（ステップＳａ２０）、抽出部３２は、該当する移動体データを用いて、移動体の移動軌跡を抽出する（ステップＳａ２１）。抽出された軌跡情報も記憶部３３に保存する。
【００４２】
さらに、オーバレイ表示を行う場合には（ステップＳａ２２）、当該移動体を撮影したカメラ１１のための端末１２に、移動体データと軌跡データとを送る（ステップＳａ２３）。次のトラッキングエリアがあれば（ステップＳａ２４）、ステップＳａ１８〜２４を繰り返す。そうでなければステップＳａ２５に進む。
【００４３】
（ステップＳａ２５〜２６）
ついで、軌跡測定の処理が終了すると（ステップＳａ２５）、処理部３は、各カメラ用端末１２及び各スキャナ用端末２２に、計測終了信号を送る（ステップＳａ２６）。軌跡測定処理の終了は、操作者が指定しても良いし、何らかの条件に基づいて自動的に行っても良い。
【００４４】
（ステップＳｃ７〜８）
カメラ用端末１２は、移動体の軌跡データを処理部３から受信する（ステップＳａ２３参照）。さらに、カメラ用端末１２は、カメラ１１から得た動画像と軌跡データとをオーバレイ表示する。
【００４５】
（ステップＳｂ１０）
スキャナ用端末２２は、処理部３から計測終了信号を受け取ると、そこにおける処理を停止する。
【００４６】
（ステップＳｃ９）
同様に、カメラ用端末１２は、処理部３から計測終了信号を受け取ると、そこにおける処理を停止する。
【００４７】
前記した処理においては、軌跡に対応した位置にある画像を切り出すことができる。例えば、移動体が移動中の状況を連続動画撮影した場合には、軌跡の鉛直線上に位置する差分データを移動体の画像として取り出すことができる。一般に、移動体の画像が重なっている場合には、画像処理だけでこれらを切り分けることは難しい。本実施形態によれば、軌跡情報を用いて移動体の画像を切り出すので、軌跡に対応する移動体の画像を、比較的正確に抽出することが可能となる。なお、移動体が画像撮影の間、静止状態を続けていたり、画像が静止画像撮影の結果である場合には、その画像を切り出す場合、たとえば移動体が歩行者であれば、移動体は軌跡の鉛直線上に存在すると仮定して、身長に対応する所定の高さまでの画像を切り出せばよい。
【００４８】
従来の方法では、多数の動画像を用いて移動体を切り出しているので、多数のカメラが必要になってしまう。これに対して、本実施形態の方法によれば、カメラの台数が少なくても移動体の画像を切り出すことができる。また、設置箇所の制約も少ない。したがって、この実施形態の装置によれば、カメラの台数や配置の自由度を高めることができるという利点がある。
【００４９】
また、本実施形態においては、軌跡に対応した、時系列で変化する位置および向きに基づいて、求める移動体画像の向き（正面画像、側面画像など）に対して、撮影条件の最も良いカメラ及び撮影時刻を選定し、選定された時刻における軌跡の位置にある選定されたカメラ画像を切り出すことができる。なお、良い撮影条件の判断基準は、例えば、（１）求める移動体画像の向きと最も近い、（２）カメラが該当軌跡を撮影する光軸にほかの軌跡がない、ことである。
【００５０】
本実施形態の装置を用いた実施例を以下に説明する。
【００５１】
（実施例）
本実施形態の装置によれば、軌跡に対応した移動体の画像を切り出すことができる。このとき、軌跡情報を用いると、移動体の向きが判る。したがって、切り出された画像に、移動体の向きの属性を付して、記憶部３３に保存しておく。すると、移動体の画像を、正面画像、側面画像などの種類に分類して保存しておくことができる。移動体が静止している場合は、向き不明として保存しておけばよい。
【００５２】
このように属性を付した画像は、例えば次のように使用される。
（軌跡が途絶えた場合の移動体の同一性判定）
レーザスキャナ２１の計測領域の外、あるいは他の移動体の影に移動体が移動して、軌跡が途絶えることがある。その後再び軌跡が現れた場合に、新しい軌跡に対応する画像と、前記のように保存した画像とを、属性（向き）情報も加味して照合する。これにより、移動体の同一性の判定精度を向上させることができる。
（以前に当該領域に進入した移動体との同一性判定）
対象エリアに進入した軌跡に対応する移動体の画像と、以前に保存してある画像とを、属性（向き）情報も加味して照合する。これにより、進入した移動体が、過去にもその領域に進入したことがあるかどうかを、精度良く判定できる。すると、同じ領域に何度も進入する者を特定しやすくなり、不審者検出に有効となる。
【００５３】
なお、前記実施形態の記載は単なる一例に過ぎず、本発明に必須の構成を示したものではない。各部の構成は、本発明の趣旨を達成できるものであれば、上記に限らない。
さらに、前記した機能ブロックどうしは、複合して一つの機能ブロックに集約されても良い。また、一つの機能ブロックの機能が複数の機能ブロックの協働により実現されても良い。さらに、前記した機能ブロックは、機能として存在していればよく、機能実現のための手段としては、ハードウエア、コンピュータソフトウエア、これらの組み合わせなどの、任意のものを用いることができる。一つの機能ブロックが、物理的に離散した位置に配置されたハードウエアやコンピュータソフトウエアの協働により実現されてもよい。
【図面の簡単な説明】
【００５４】
【図１】本発明の一実施形態に係る画像抽出装置の全体的な構成を説明するためのブロック図である。
【図２】処理部を中心として各端末を配置した状態でのブロック図である。
【図３】カメラ及びレーザスキャナの配置状態を説明するための説明図である。
【図４】キャリブレーションの一方法を説明するための説明図である。
【図５】処理部の動作を説明するためのフローチャートである。
【図６】処理部の動作を説明するためのフローチャートである。
【図７】処理部の動作を説明するためのフローチャートである。
【図８】スキャナ用端末の動作を説明するためのフローチャートである。
【図９】カメラ用端末の動作を説明するためのフローチャートである。
【符号の説明】
【００５５】
１  画像取得部
１１  カメラ
１２  カメラ用端末
２  軌跡取得部
２１  レーザスキャナ（センサ）
２２  スキャナ用端末（センサ用端末）
３  処理部
３１  統合部
３２  抽出部
３３  記憶部
４  ネットワーク
【図１】
2005352988.tif 000003
【図２】
2005352988.tif 000004
【図３】
2005352988.tif 000005
【図４】
2005352988.tif 000006
【図５】
2005352988.tif 000007
【図６】
2005352988.tif 000008
【図７】
2005352988.tif 000009
【図８】
2005352988.tif 000010
【図９】
2005352988.tif 000011