(57)【要約】  撮影対象が出入りをする入退場検出領域を撮影する入退場検出カメラと、入退場検出カメラが撮影する撮影対象を検出する入退場検出上部センサと、入退場検出上部センサが撮影対象を検出する範囲に対して撮影対象を検出する範囲の一部が重複するように設置される上部センサと、入退場検出カメラにより撮影される２次元画像における撮影対象の位置座標と入退場検出領域の３次元座標情報とを基に撮影対象の初期位置の推定を行う初期位置推定部と、撮影対象の上部から見た撮影対象の位置を検出する上部位置検出部と、初期動線を生成する初期動線生成部と、初期動線に撮影対象の位置を追記し動線を生成する追跡部とを備える。
2019044038.tif 000002
【特許請求の範囲】
【請求項１】
撮影対象が出入りをする入退場検出領域を撮影する入退場検出カメラと、
前記撮影対象の上部に設置され、前記入退場検出カメラが撮影する前記撮影対象を検出する入退場検出上部センサと、
前記撮影対象の上部に設置され、前記入退場検出上部センサが前記撮影対象を検出する範囲に対して前記撮影対象を検出する範囲の一部が重複するように設置される上部センサと、
前記入退場検出カメラにより撮影される２次元画像における前記撮影対象の位置座標と前記入退場検出領域の３次元座標情報とを基に前記撮影対象の初期位置の推定を行う初期位置推定部と、
前記入退場検出上部センサ又は前記上部センサで検出された画像を基に前記撮影対象の上部から見た前記撮影対象の位置を検出する上部位置検出部と、
前記撮影対象の初期位置に対応する前記撮影対象の位置を初期動線の起点とし、前記撮影対象の位置のうち前記起点に最も距離が近い位置と前記起点とを結んで初期動線を生成する初期動線生成部と、
前記初期動線に前記撮影対象の位置を追記し、動線を生成する追跡部と
を備える撮影対象追跡装置。
【請求項２】
前記初期動線生成部が生成する前記初期動線を記憶し、前記初期動線を前記追跡部へ出力すると共に、前記追跡部が生成する前記動線を記憶する動線記憶部をさらに備える
請求項１に記載の撮影対象追跡装置。
【請求項３】
前記動線記憶部は、前記動線の開始位置を示す情報、前記動線に対応する前記撮影対象のＩＤの情報、前記動線が持つ位置座標の数の情報、及び前記動線に前記撮影対象の位置が追加された最終時刻の情報を記録する
請求項２に記載の撮影対象追跡装置。
【請求項４】
前記入退場検出上部センサ及び前記上部センサが可視光カメラである
請求項１から３のいずれか１項に記載の撮影対象追跡装置。
【請求項５】
前記入退場検出上部センサ及び前記上部センサが赤外線画像カメラである
請求項１から３のいずれか１項に記載の撮影対象追跡装置。
【請求項６】
前記入退場検出上部センサ及び前記上部センサがＴｏＦカメラである
請求項１から３のいずれか１項に記載の撮影対象追跡装置。
【請求項７】
撮影対象が出入りをする入退場検出領域を撮影するステップと、
前記撮影対象の上部から前記撮影対象を検出するステップと、
前記入退場検出領域を撮影するステップにより撮影された２次元画像における前記撮影対象の位置座標と前記入退場検出領域の３次元座標情報とを基に前記撮影対象の初期位置の推定を行うステップと、
前記撮影対象を検出するステップにおいて検出された画像を基に前記撮影対象の上部から見た前記撮影対象の位置を検出するステップと、
前記撮影対象の初期位置に対応する前記撮影対象の位置を初期動線の起点とし、前記撮影対象の位置のうち前記起点に最も距離が近い位置と前記起点とを結んで初期動線を生成するステップと、
前記初期動線に前記撮影対象の位置を追記するステップと
を備える撮影対象追跡方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視カメラによる撮影対象の追跡技術に関する。特に、撮影対象の頭部を検出し、撮影対象の動線を生成することで撮影対象を追跡する技術に関する。
【背景技術】
【０００２】
監視カメラシステムを用いて撮影対象の空間内での位置を追跡する処理が現実的なコストと十分な精度で実現可能になってきている。撮影対象の位置を追跡するシステムにおいては、視体積交差法によって複数のカメラから得られた検出結果を常に統合することで、撮影対象の位置を推定し、撮影対象の動線データを生成している。（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９―２６５９２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の撮影対象追跡装置では、撮影対象の３次元座標などの情報入手のために、常に１つの撮影対象が複数のカメラによって撮影される必要がある。１つの撮影対象に対し複数のカメラが必要であるため、監視する範囲に配置するカメラの数が多くなる問題があった。【０００５】
この発明は、上述のような課題を解決するためになされたもので、撮影対象を追跡するために監視する範囲に配置するカメラを少ない数で構成する撮影対象追跡装置を得るものである。
【課題を解決するための手段】
【０００６】
この発明は、撮影対象が出入りをする入退場検出領域を撮影する入退場検出カメラと、撮影対象の上部に設置され、入退場検出カメラが撮影する撮影対象を検出する入退場検出上部センサと、撮影対象の上部に設置され、入退場検出上部センサが撮影対象を検出する範囲に対して撮影対象を検出する範囲の一部が重複するように設置される上部センサと、入退場検出カメラにより撮影される２次元画像における撮影対象の位置座標と入退場検出領域の３次元座標情報とを基に撮影対象の初期位置の推定を行う初期位置推定部と、入退場検出上部カメラ又は上部センサで検出された画像を基に撮影対象の上部から見た撮影対象の位置を検出する上部位置検出部と、撮影対象の初期位置に対応する撮影対象の位置を初期動線の起点とし、撮影対象の位置のうち起点に最も距離が近い位置と起点とを結んで初期動線を生成する初期動線生成部と、初期動線に撮影対象の位置を追記し、動線を生成する追跡部とを備えるものである。
【発明の効果】
【０００７】
この発明は、入退場検出カメラで検出した位置座標と入退場検出領域の３次元座標情報とを基に撮影対象の初期位置の３次元座標の推定を行い、撮影対象の初期位置の３次元座標と入退場検出上部センサで検出された位置座標とを対応づけるため、監視する範囲に配置するカメラを少ない数で構成する撮影対象追跡装置を得ることが可能になる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施の形態１における撮影対象追跡装置の基本構成を示すブロック図である。
【図２】本発明の実施の形態１における入退場検出カメラ、入退場検出上部カメラ、及び上部カメラの配置を示す説明図である。
【図３】本発明の実施の形態１における入退場検出上部カメラ及び上部カメラの撮影範囲の重複配置の側面図である。
【図４】入退場検出カメラと入退場検出上部カメラの撮影範囲の重複配置の説明図である。
【図５】動線情報の例を示す表である。
【図６】初期動線生成処理の流れを示すフローチャートである。
【図７】追跡処理の流れを示すフローチャートである。
【発明を実施するための形態】
【０００９】
実施の形態１．
図１は、本発明の実施の形態１における撮影対象追跡装置の基本構成を示すブロック図である。図２は、本発明の実施の形態１における入退場検出カメラ１００、入退場検出上部カメラ２００、及び上部カメラ３００の配置を示す説明図である。図１において、入退場検出カメラ１００は、撮影された映像を撮影対象１０００である人物の顔を検出する顔検出部５００へ渡す。顔検出部５００は、映像上での位置座標を初期位置推定部７００へ渡す。初期位置推定部７００は、３次元座標に変換された位置座標を初期動線生成部８００へ渡す。また、入退場検出上部センサである入退場検出上部カメラ２００は、撮影された映像を、撮影対象１０００である人物の頭部等、人物の上部位置を検出する上部位置検出部６００へ渡す。なお、上部位置検出部６００は、撮影対象１０００の上部位置であれば頭部に限らず肩などを検出してもよい。上部センサである上部カメラ３００についても、撮影された映像を上部位置検出部６００へ渡す。上部位置検出部６００は、検出結果である頭部の位置座標を追跡部９００へ渡す。入退場検出上部カメラ２００及び上部カメラ３００は、可視光カメラである。また、上部位置検出部６００は、頭部の位置座標を初期動線生成部８００へ渡す。初期動線生成部８００は、初期動線情報を動線記憶部９５０へ渡す。動線記憶部９５０は、初期動線情報を記憶する一方、記憶した動線情報を追跡部９００へ渡す。また、動線記憶部９５０は、追跡部９００で生成された動線情報を記憶する。さらに、動線記憶部９５０は、動線情報を表示装置１１００へ渡す。動線記憶部９５０とは、初期動線生成部８００が生成する初期動線を記憶し、初期動線を追跡部９００へ出力すると共に、追跡部９００が生成する動線情報を記憶するものである。本発明の実施の形態１における撮影対象追跡装置において、カメラが設置された空間でありカメラの撮影範囲に収まっている空間を撮影対象空間と称する。
【００１０】
また、本実施の形態においては、頭部の撮影を上部カメラ３００又は入退場検出上部カメラ２００がおこなうとして説明を進める。
【００１１】
入退場検出カメラ１００は、撮影対象空間へ撮影対象１０００の出入りが行われる箇所を撮影するように備えつけられるカメラであり、一般的なカメラと同じく透視投影モデルに従ってカメラへの入射光から撮影像を生成する。言いかえれば、入退場検出カメラ１００は、透視投影モデルに従って撮影対象１０００を撮影する。撮影された映像は顔検出部５００へ渡される。
【００１２】
また、入退場検出カメラ１００の撮影対象空間において、撮影対象１０００の出入りが行われる箇所を入退場検出領域と称する。本実施の形態において撮影対象１０００の出入りが行われる箇所は入退場検出領域１である。なお、入退場検出領域１と入退場検出上部カメラ２００の配置などについては図２を用いて後に説明する。入退場検出領域１は複数あってよいが、その場合は本発明における入退場検出カメラ１００は入退場検出領域１と同数必要となる。また、その際は、撮影対象１０００が最初に入った入退場検出領域１に対応する入退場検出カメラ１００で撮影された映像を使って初期位置推定部７００において初期位置である３次元座標を算出する。
【００１３】
入退場検出領域は、撮影対象空間において、入退場検出カメラ１００で十分に撮影でき、撮影対象が出入りできる広さを持っていれば十分である。すなわち、必ずしも扉や壁等で区切られた平面である必要はなく、例えば細長い柱で示された門のようなもので合っても良い。
【００１４】
入退場検出上部カメラ２００は、撮影対象１０００を上方から撮影するように、撮影対象空間の上部に備え付けられるカメラである。入退場検出上部カメラ２００の撮影範囲の一部に入退場検出領域１を含む。入退場検出上部カメラ２００は少なくとも入退場検出カメラ１００と同数必要となる。撮影された映像は上部位置検出部６００へ渡される。
【００１５】
上部カメラ３００は、撮影対象１０００を上方から撮影するように、天井など、撮影対象空間の上部に備え付けられるカメラである。撮影された映像は上部位置検出部６００へ渡される。上部カメラ３００は入退場検出上部カメラ２００と異なり、撮影範囲の一部に入退場検出領域１を含むか否かは制約されないが、その一方で上部カメラ３００は複数台存在することを前提とし、互いに撮影範囲の一部を共有するように設置されるという制約を与える。以後、複数存在する上部カメラ３００は、その個体を互いに区別するために上部カメラ３００ａ、上部カメラ３００ｂ、…、上部カメラ３００ｘのように符号を付加する。
【００１６】
顔検出部５００は、入退場検出カメラ１００から渡された映像から撮影対象１０００である人物の顔検出を行い、その顔の映像上での位置座標を初期位置推定部７００へ渡す。また、顔検出部５００は、画像上での顔の領域を矩形として取得する。初期位置推定部７００へ渡される位置座標は、例えば顔の輪郭に接する４辺からなる矩形の上側２つの頂点を結んだ線の中点である。初期位置推定部７００へ渡された位置座標は、取得した矩形の上側２つの頂点を結んだ線の中点であることから、撮影対象１０００の高さ情報を得ることが可能である。「撮影対象１０００の高さ」とは、身長のことである。映像からの顔の検出には、Ｈａａｒ−Ｌｉｋｅ特徴を使用する等の公知技術を使用することができる。具体的には、隣り合う矩形領域の輝度値総和の差を出力とする検出器であるＨａａｒ−Ｌｉｋｅフィルタを複数組み合わせることにより、映像から顔検出を行うことができる。なお、後ろ向きの映像しか撮れない場合やマスクやヘルメットの着用により顔検出ができない場合も、顔に相当する部分を抽出し、顔の検出と同じように矩形を定義することで位置座標を得られれば、初期位置推定部７００へ位置座標を渡すことができる。
【００１７】
上部位置検出部６００は、入退場検出上部カメラ２００又は上部カメラ３００から渡され、一人の人物の動きから得られる複数の映像から人物頭部の検出を一括して行い、その映像上での２次元座標である位置座標を追跡部９００へ渡す。言い換えると、上部位置検出部６００では、入退場検出上部カメラ２００又は上部カメラ３００で撮影された映像を基に撮影対象１０００の上部から見た撮影対象１０００の位置の検出を行っている。人物頭部の検出には、背景差分法と楕円検出とを組み合わせる方法、フレーム間差分やオプティカルフロー計算による動体検出といった公知技術を使用することができる。「背景差分法」とは、観測画像と事前に取得しておいた画像とを比較することで、事前に取得した画像には存在しない物体を抽出する処理方法のことである。また、「オプティカルフロー」とは、時間的に連続するデジタル画像などの視覚表現の中で物体の動きをベクトルで表現することである。また、２次元座標である位置座標は、床面に平行な面を形成する２次元面における位置座標である
【００１８】
初期位置推定部７００は、顔検出部５００から渡された顔の映像上での位置座標を、入退場検出カメラ１００と入退場検出領域１との位置関係から、撮影対象空間の３次元座標に変換し、変換された座標を撮影対象１０００の初期位置として推定し、これを初期動線生成部８００へ渡す。言い換えると、初期位置推定部７００では、入退場検出カメラ１００により撮影される２次元画像における撮影対象１０００の位置座標と入退場検出領域１の３次元座標情報とを基に撮影対象１０００の初期位置の推定を行っている。なお、初期位置である座標とは撮影対象空間において撮影対象１０００が最初に位置する３次元座標である。初期位置である座標は、入退場検出領域１がなす平面と、入退場検出カメラ１００で撮影された映像上での位置座標と入退場検出カメラ１００が撮像する位置である視点とを結ぶ直線の延長線との交点を算出することで求められる。
【００１９】
初期位置推定部７００が３次元座標変換を行うための方法について記載する。まず、初期位置推定部７００は、入退場検出カメラ１００のカメラパラメータと、撮影対象空間における入退場検出領域１の３次元座標情報を持つものとする。
【００２０】
まず、入退場検出カメラ１００のカメラパラメータについて説明する。一般的に、投影過程が透視投影モデルに従い、かつレンズによる映像歪みが無視できるカメラであれば、撮影対象空間内のある点の３次元座標を（ｘ，ｙ，ｚ）とし、その点が映像上での位置座標（ｕ，ｖ）に投影される場合、（ｘ，ｙ，ｚ）と（ｕ，ｖ）の対応関係は以下の２つの数式で記述されることが知られている。
【００２１】
【数１】
2019044038.tif 000003
【００２２】
【数２】
2019044038.tif 000004
【００２３】
式（１）及び式（２）が持つ１２個の係数ｐ００〜ｐ２３は、撮影対象空間内の位置が測定済みである点を入退場検出カメラ１００で最低６点撮影し、各点が撮影された映像の位置座標を調べ、上記の２つの等式に当てはめて得られる１２変数の連立方程式を解くことで得られる。なお、式（１）と式（２）との分母部分は、同一である。ｐ００〜ｐ２３にはカメラの撮影対象空間内における投影中心位置、撮影方向、焦点距離、映像内の画素サイズ、及び映像中心位置を表現した情報が含まれる。以後、本発明においては係数ｐ００〜ｐ２３をカメラパラメータと総称する。このように、３次元空間中の位置と、カメラで撮影したときの映像中の位置との対応関係が、カメラの位置、姿勢、焦点距離、及び画素サイズをパラメータとする疑似線形変換となるため、両者が既知の点の対応関係から連立方程式を解くことでカメラパラメータを決定することができる。
【００２４】
次に、入退場検出領域１の３次元的な情報に関して説明する。一般に、３次元空間内における平面は、次の数式で表現できることが知られている。
【００２５】
【数３】
2019044038.tif 000005
【００２６】
したがって、撮影対象空間内において、入退場検出領域１を含む平面を事前に上記のａ〜ｃのパラメータで表現できるように計測しておけば、（ｕ，ｖ）及びｐ００〜ｐ２３、ａ〜ｃが既知である場合に、式（１）（２）（３）を合わせ、未知変数と式の数がともに３の連立方程式が得られる。すなわち、（ｘ，ｙ，ｚ）を確定できる。
【００２７】
入退場検出カメラ１００では入退場検出領域１を撮影しているため、入退場検出領域１から入室する人物は必ず入退場検出領域１を含む平面を通過するときに入退場検出カメラ１００に撮影される。したがって、式（１）（２）（３）からその映像上の位置座標を３次元空間中の位置座標である３次元座標に変換することが可能である。
【００２８】
入退場検出カメラ１００の撮影範囲が入退場検出領域１をカバーしていない場合、入退場検出カメラ１００で撮影される映像上の位置座標のいかなる点も、入退場検出領域１を表す平面の範囲の三次元空間上の座標と対応しない。したがって、すでに述べたとおり入退場検出カメラ１００の撮影範囲は入退場検出領域１をカバーしていることが本発明の構成において必要条件となる。
【００２９】
初期動線生成部８００は、入退場検出上部カメラ２００で撮影された撮影対象１０００の頭部の映像に基づいて上部位置検出部６００にて検出された座標と撮影対象１０００の初期位置の３次元座標とを対応付ける。撮影対象１０００の初期位置の３次元座標と対応付けられた上部位置検出部６００での検出座標を初期動線の起点とする。検出した頭部の座標のうち起点と最も距離が近い座標の位置を起点と結ぶことにより初期動線を生成する。言い換えると、初期動線生成部８００は、撮影対象１０００の初期位置に対応する撮影対象１０００の位置を初期動線の起点とし、撮影対象１０００の位置のうち起点に最も距離が近い位置と起点とを結んで初期動線を生成している。初期動線を生成するとは、起点の３次元座標を動線記憶部９５０へ記憶させ、起点と最も距離が近い座標の位置の３次元座標を動線記憶部９５０へ記憶させることである。また、入退場検出上部カメラ２００が撮影対象１０００を撮影した時刻や撮影対象１０００のＩＤ等も動線情報として動線記憶部９５０へ記憶される。
【００３０】
追跡部９００は、入退場検出上部カメラ２００及び上部カメラ３００で撮影され、上部位置検出部６００で検出された座標と、動線記憶部９５０に最後に記憶されている位置座標と最も距離が近い３次元座標を探して、探した撮影対象１０００の位置座標を、動線記憶部９５０に記憶させる。また、追跡部９００では、初期動線に撮影対象１０００の位置座標を追記し、動線を生成している。動線は、初期動線の最終位置の３次元座標の位置と最も距離が近い撮影対象１０００の頭部の座標の位置とを結んで生成される。初期動線から生成された以降の動線は、動線の最終位置と最も距離が近い撮影対象１０００の頭部の座標の位置と結んで生成される。初期動線とは、動線の初期の状態とも言える。
【００３１】
動線記憶部９５０は、初期動線生成部８００から渡された初期動線情報を記憶し、追跡部９００に対して記憶している動線情報を渡す。また、動線記憶部９５０は、追跡部９００によって追記された動線情報を再度記憶する。なお、追跡部９００によって、動線に撮影対象１０００の頭部の座標を追記することで新たな動線を生成するとも言える。また、初期動線情報とは、動線情報の最初の部分であり、言い換えれば動線情報の一部である。動線情報については動線記憶部９５０に関する記載の部分において説明する。
【００３２】
表示装置１１００は、動線記憶部９５０に記憶されている動線情報を、撮影対象空間の上側から俯瞰した２次元マップに投影した映像を作成することで利用者に提示する。
【００３３】
図２は、上述の通り、本発明の実施の形態１における入退場検出カメラ１００、入退場検出上部カメラ２００、及び上部カメラ３００の配置を示す説明図であり、また、撮影対象空間内の３次元座標軸をｘ軸、ｙ軸、及びｚ軸として示している。ｘ軸は、撮影対象空間における奥行き方向を示している。ｙ軸は、撮影対象空間における入退場検出領域１に平行な方向を示している。ｚ軸は、撮影対象空間における高さ方向を示している。また、図２において、入退場検出カメラ１００が撮影する映像上での位置座標軸をｕ軸、及びｖ軸として示している。ｕ軸は、入退場検出カメラ１００が撮影する映像上での水平方向を示している。ｖ軸は、入退場検出カメラ１００が撮影する映像上での垂直方向を示している。図３は、本発明の実施の形態１における入退場検出上部カメラ２００及び上部カメラ３００の撮影範囲の重複配置を示す側面図である。また、図４は、入退場検出カメラ１００と入退場検出上部カメラ２００との撮影範囲の重複配置の説明図である。本発明においては、図４に示すように入退場検出カメラ１００の撮影範囲が少なくとも入退場検出領域１の全体をカバーしていること、及び入退場検出上部カメラ２００が入退場検出カメラ１００同様に入退場検出領域１をカバーしていること、図３に示すように入退場検出上部カメラ２００及び上部カメラ３００の隣に配置されたカメラ同士で撮影する範囲の端同士が重なっていることが必要である。したがって、入退場検出上部カメラ２００と入退場検出カメラ１００とは少なくとも入退場検出領域１において撮影範囲を共有していることが撮影対象追跡の条件となる。また、入退場検出上部カメラ２００と入退場検出カメラ１００とで検出された撮影対象１０００が同一であることが撮影対象追跡の条件となる。なお、図２及び図３における撮影対象１０００ａ、撮影対象１０００ｂ、撮影対象１０００ｃ、及び撮影対象１０００ｄは、それぞれ撮影した時間の異なる撮影対象１０００である。
【００３４】
さらにここで、動線記憶部９５０に記録される動線情報について説明する。動線情報は、すなわち時系列に記録された位置座標の集合と、その時系列における順序、対応する撮影対象１０００のＩＤ、及び最後に撮影対象１０００が検出された時刻等を有する情報である。なお、撮影対象１０００のＩＤは、動線記憶部９５０で使用されているＩＤを確認し、使用されていない番号から任意に１つ選ぶことなどから取得することができる。動線記憶部９５０は、複数の動線情報をそれぞれの撮影対象１０００のＩＤによって区別が可能なように格納し、初期動線生成部８００又は追跡部９００からの要求に対して要求を基に動線情報を渡す。
【００３５】
図５は、動線情報の例を示す表である。この例ではＮ個の動線情報を格納している。また、図５では、各項（項番）ごとにデータ内容、データ形式、及びデータサイズを示している。データ内容とは、例えば、動線情報の個数Ｎ（動線の数Ｎ）、各動線の開始アドレスを示す情報（動線ＩＤ）、又は動線ＩＤの情報等である。データ形式とは、例えば正の整数１６ビット（ｕｎｓｉｇｎｅｄ  ｉｎｔ  １６ｂｉｔ）、正の整数３２ビット（ｕｎｓｉｇｎｅｄ  ｉｎｔ  ３２ｂｉｔ）、又は浮動小数（ｆｌｏａｔ）である。データサイズとは、８ビットを１単位として１６ビットであれば「２」、３２ビットであれば「４」である。２項目（項番２）には、動線情報の個数Ｎが格納されている。「３」〜「Ｎ＋２」項目には、表中で各動線の開始アドレスを示す情報が格納されている。「Ｎ＋３」項目には１個目の動線に対応する撮影対象１０００のＩＤの情報、「Ｎ＋４」項目には、１個目の動線が持つ位置座標の数の情報、「Ｎ＋５」項目には１個目の動線に位置座標が追加された最終時刻である最終更新時刻の情報が格納されている。なお、ここで言う「最終更新時刻」は最後に撮影対象１０００が検出された時刻である。この表に記載の例では、１個目の動線が持つ位置座標の数はｍ１個である。「Ｎ＋６」〜「Ｎ＋３＋３×ｍ１＋２」項目は、ｍ１個の３次元座標を追加された時刻順に並べたものである。「Ｎ＋３＋３×ｍ１＋３」項目以降は、「Ｎ＋３」〜「Ｎ＋３＋３×ｍ１＋２」項目と同様な動線情報がＮ個の動線に対応した動線情報の分だけ繰り返し配置される。
【００３６】
次に、初期動線生成部８００が３次元座標変換を行うための方法について説明する。図６は、初期動線生成処理の流れを示すフローチャートである。本フローチャートは、初期位置推定部７００が推定した３次元位置座標から、初期動線生成部８００が初期動線情報を生成するまでの流れを示している。初期動線生成部８００は、入退場検出カメラ１００におけるカメラパラメータｐ００〜ｐ２３が初期位置推定部７００において導出済みであることと同様に、入退場検出上部カメラ２００におけるパラメータｐ００〜ｐ２３も初期動線生成部８００において導出済みであるとする。
【００３７】
ステップＳ１１００において、初期位置推定部７００は顔検出部５００から渡された顔の映像上での位置座標を、入退場検出カメラ１００と入退場検出領域１との位置関係から、撮影対象空間の３次元座標に変換し、変換された座標を撮影対象１０００の初期位置として算出し、これを初期動線生成部８００へ渡す。次にステップＳ１２００では、上部位置検出部６００が入退場検出上部カメラ２００から得られた映像から映像中の２次元画像における頭部位置座標（ｕ，ｖ）を取得してこれを初期動線生成部８００に渡す。頭部位置座標を渡された初期動線生成部８００は、ステップＳ１３００において入退場検出カメラ１００で撮影された２次元画像における撮影対象１０００の位置座標と入退場検出領域１の３次元座標情報とから得られた３次元座標と頭部位置座標とを用いて２次元画像における頭部位置座標（ｕ，ｖ）から３次元座標への変換を行う。
【００３８】
上記で説明した通り、（ｕ，ｖ）及びｐ００〜ｐ２３、ａ〜ｃが既知である場合に、式（１）（２）（３）から頭部位置の３次元座標（ｘ，ｙ，ｚ）が得られる。
【００３９】
ステップＳ１４００で、前記の一時的な３次元座標のうちの２次元位置座標（ｘ，ｙ）と入退場検出カメラ１００で得られた顔の位置を示す２次元位置座標（ｘ，ｙ）との距離を算出し、距離が十分に近く、例えばユークリッド距離が設定した閾値以下である場合、同一の撮影対象と判断して、前記の一時的な３次元座標を最終的な３次元座標とする。なお、上記の閾値は、例えば人の肩幅等を基に設定すればよい。また、ユークリッド距離が設定した閾値より大きい場合、撮影対象が同一でないと判断して、ステップＳ１１００に戻って新たな初期位置検出を待つ。
【００４０】
ステップＳ１５００で、上部位置検出部６００にて検出された最終的な頭部位置の３次元座標と撮影対象１０００の初期位置の３次元座標とを対応付ける。撮影対象１０００の初期位置の３次元座標と対応付けられた上部位置検出部６００での検出座標を初期動線の起点とする。検出した頭部の座標のうち起点と最も距離が近い座標の位置を起点と結ぶことにより初期動線を生成する。ステップＳ１６００で起点と最も距離が近い座標の３次元座標を動線記憶部９５０に記憶させる。
【００４１】
図７は、追跡処理の流れを示すフローチャートである。本フローチャートを用いて、追跡部９００が３次元座標変換を行う方法について説明する。本フローチャートは上部カメラ３００から取得した映像と、動線記憶部９５０に記憶されている動線情報とを対応付け、動線情報を更新する処理の流れを示している。まず追跡部９００は、ステップＳ２１００において入退場検出上部カメラ２００及び上部カメラ３００で撮影され、上部位置検出部６００で検出された２次元座標と、動線記憶部９５０に記憶されている動線情報の中から２次元座標が最も近い最終位置座標（３次元座標）を取得する。この取得した３次元座標のうちｚ座標に着目すると、動線記憶部９５０にＮ個の動線情報が記憶されている場合、Ｎ個のｚ座標が取得できる。このとき、最後の撮影対象１０００の３次元座標はＮ個目の座標である。
【００４２】
次にステップＳ２２００において、追跡部９００は上部位置検出部６００が検出した映像中の２次元画像における頭部位置座標（ｕ，ｖ）を基に、ステップＳ１３００と同様、式（１）（２）と、既に得られたｎ個のｚ座標とを用いてｎ個の（ｘ，ｙ，ｚ）座標の組を算出する。個々のｚ座標から（ｘ，ｙ，ｚ）の３次元座標を算出する方法は、上部カメラ３００が透視投影モデルに従う撮像を行う場合には、ステップＳ１３００と同一の方法を用いることができる。なお、上部カメラ３００のパラメータについても入退場検出上部カメラ２００のパラメータと同様である。
【００４３】
次にステップＳ２３００において、事前位置座標との差が最小の候補を選定する。つまり、ｎ個の算出された（ｘ，ｙ，ｚ）座標の各々に対して、動線記憶部９５０から取得した元の３次元座標とユークリッド距離とを計算し、最も距離が小さくなるペアを抽出する。次にステップＳ２４００において、動線情報へ追記する。つまり、抽出されたペアにおいて、算出された側の（ｘ，ｙ，ｚ）座標を更新後の３次元座標とし、動線記憶部９５０から抽出された元の動線情報に対して検出時間情報とともに追記する。次にステップＳ２５００において、動線記憶部９５０へ記憶させる。つまり、動線記憶部９５０に再度記憶させる。
【００４４】
ここで、追跡部９００の処理内容が成立するための上部カメラ３００の３次元配置上の制約について記載する。ある動線情報の最終位置を与えたのが上部カメラ３００ａであり、かつその最終位置が上部カメラ３００ａの撮影範囲の端にあったものであるとする。上部カメラ３００ａと異なり、かつ上部カメラ３００ａと撮影範囲の端が重複している上部カメラ３００ｂとがあるとすると、その最終時刻において上部カメラ３００ｂでも上部カメラ３００ａにより取得した動線情報に該当する撮影対象１０００を検出している。
【００４５】
その場合、次の検出時刻で撮影対象１０００が上部カメラ３００ａの撮影範囲から出ている場合であっても、該当する撮影対象１０００は上部カメラ３００ｂで検出されることが期待され、このとき次の検出時刻において上部カメラ３００ｂの頭部検出結果によって動線情報の更新が可能となり、追跡を継続することができる。すなわち、図３に示されるように、撮影対象１０００の頭部が撮影できる程度に上部カメラ３００同士の撮影範囲が重複していることが、本発明において上部カメラ３００間で撮影対象１０００の追跡を行うための必要条件となる。
【００４６】
以上が実施の形態１における、撮影対象１０００の追跡による動線生成の方法の説明である。図６及び図７のフローチャートに記載された処理によって、撮影対象１０００の撮影対象空間における３次元位置を逐次追跡することが可能になる。
【００４７】
なお、ステップＳ２３００では、一つ以前の時刻に動線記憶部９５０から得られた位置座標である事前位置座標と３次元座標との距離が最少のものを選定する。事前位置座標と、さらにもう一つ以前の時刻の事前位置座標及び時間差から予測移動先座標を算出し、これらとの距離が最少となる候補を新たな移動先座標としてもよい。この方式は、各上部カメラ３００間の撮影範囲の共有をより少なくし、カメラの利用効率を向上させる効果がある。
【００４８】
また、ステップＳ２３００では、事前位置座標と３次元座標候補との距離が最少のものを選定するとしたが、事前位置座標と３次元座標候補となる各点を元の各上部カメラ映像へ逆にデータを渡し、対応する点付近の映像中の色情報を抜き出し、事前位置座標の色情報と各３次元座標候補の色情報とが最も近くなる候補を選定して新たな移動先座標としてもよい。この方式は、入退場検出上部カメラ２００及び上部カメラ３００をまたいだ追跡をより安定させる効果がある。
【００４９】
例えば、特許文献１では、視体積交差法によって複数のカメラから得られた検出結果を常に統合することで、撮影対象の位置を推定し、撮影対象の動線情報を生成しているので、１つの撮影対象に対し複数のカメラを配置しない場合、人物と動線とを誤認識するおそれがある。本発明では、撮影対象空間の３次元座標を推定し、撮影範囲を共有する部分以外の撮影範囲では、１つの撮影対象を１つのカメラで撮影したうえで高さ情報を含む３次元座標の情報を得るため、１つの撮影対象に対し複数のカメラを配置しない場合でも、人物と動線との誤認識のない検出をおこなう効果がある。
【００５０】
さらに、顔検出部５００、上部位置検出部６００、初期位置推定部７００、初期動線生成部８００、追跡部９００、及び動線記憶部９５０は、専用演算回路として実装しても良いし、あるいは汎用計算機上で動作するプログラムとして実装しても良い。プログラムとして実装する場合、顔検出部５００、上部位置検出部６００、初期位置推定部７００、初期動線生成部８００、追跡部９００、又は動線記憶部９５０のそれぞれが異なる計算機上で動作してもよい。顔検出部５００、上部位置検出部６００、初期位置推定部７００、初期動線生成部８００、追跡部９００、及び動線記憶部９５０が、１台の計算機上で動作してもよい。
【００５１】
本実施の形態で用いた入退場検出上部カメラ２００及び上部カメラ３００としては、入退場検出カメラ１００と同等のカメラを使用してもよい。例えば、入退場検出上部カメラ２００及び上部カメラ３００が魚眼レンズ等、レンズによる映像の歪みが無視できないカメラである場合には、歪み補正により映像上位置座標を変換してから式（１）（２）を適用することができる。魚眼カメラでは、射影モデルが光軸への入射角をθ、映像上の光軸中心からの距離をｒとすると、両者の関係は式（４）のようになる。
【００５２】
【数４】
2019044038.tif 000006
【００５３】
３次元空間中の位置が既知の点と、カメラで撮影したときの映像中の２次元画像における位置座標との対応から係数ｋ１〜ｋ５を求めることができる。同時にカメラの位置、姿勢、焦点距離、画素サイズ等も求め、歪みとずれの少ない俯瞰映像を生成できる。
【００５４】
上記のように本発明は、入退場検出カメラ１００と入退場検出領域１との位置関係から、撮影対象空間の３次元座標を推定したうえで、撮影範囲を共有する部分以外の撮影範囲では、１つの撮影対象１０００を１つのカメラで撮影して座標の情報を得るため、監視する範囲に配置するカメラを少ない数で構成する撮影対象追跡装置を得ることが可能になる。
【００５５】
なお、本実施の形態では、各上部カメラ３００に対し１つの上部位置検出部６００を備えていたが、各上部カメラ３００の各々に対し上部位置検出部６００を備える構成としてもよい。この構成の場合、入退場検出上部カメラ２００及び上部カメラ３００に対する頭部検出の処理が上部位置検出部６００の各々へ分散されるため、頭部検出の処理をより高速に実施できるという効果がある。
【００５６】
また、撮影対象１０００が人物に限るのであれば、入退場検出上部カメラ２００及び上部カメラ３００の代わりの入退場検出上部センサ及び上部センサとして赤外線画像カメラを用いてもよい。赤外線画像カメラを用いる場合、赤外線画像上で人物領域が周囲より温度の高い領域として表示されるため、カメラ同様に背景差分で人物がいない場合の赤外線画像との差分画像から人物領域を抽出でき、人物領域から円に近い領域が検出された場合、その領域を人物頭部として抽出できる。この改良は、動体検知を人に限定できるという効果がある。
【００５７】
また、入退場検出上部カメラ２００及び上部カメラ３００の代わりの入退場検出上部センサ及び上部センサとしてＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）カメラを用いてもよい。ＴｏＦカメラは、撮影対象１０００がいない場合との奥行きマップとの比較をとることでも上方から撮影対象１０００の相対位置を２次元座標として検出することが可能である。なお、「ＴｏＦ」とは、光の飛行時間を計って距離を計測する技術のことであり、カメラの出力はカメラ中心からの奥行き映像として得られる。ＴｏＦカメラを用いる場合、奥行き映像上で人物領域が奥行きの小さな領域として得られるため、カメラの場合と同様に背景差分で人物がいない場合の奥行き映像を引いた差分映像を取り、局所的に奥行きの小さくなる領域を人物頭部領域として抽出することができる。この改良は、撮影対象１０００の検出が通常のカメラに比べて安定になるという効果がある。
【００５８】
なお、以上の実施形態においては、入退場検出上部カメラ２００や上部カメラ３００など天井などに設置したカメラとして説明したが、俯瞰した位置のように撮影対象１０００の上部に設置するならば設置位置は天井に限定されるものではない。
【００５９】
なお、以上の実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。
【符号の説明】
【００６０】
１  入退場検出領域
１００  入退場検出カメラ
２００  入退場検出上部カメラ
３００  上部カメラ
５００  顔検出部
６００  上部位置検出部
７００  初期位置推定部
８００  初期動線生成部
９００  追跡部
９５０  動線記憶部
１１００  表示装置
【図１】
2019044038.tif 000007
【図２】
2019044038.tif 000008
【図３】
2019044038.tif 000009
【図４】
2019044038.tif 000010
【図５】
2019044038.tif 000011
【図６】
2019044038.tif 000012
【図７】
2019044038.tif 000013
【手続補正書】
【提出日】令和1年10月16日(2019.10.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮影対象が出入りをする入退場検出領域を撮影する入退場検出カメラと、
前記撮影対象を上方から検出するように設置され、前記入退場検出カメラが撮影する前記撮影対象を検出する入退場検出上部センサと、
前記撮影対象を上方から検出するように設置され、前記入退場検出上部センサが前記撮影対象を検出する範囲に対して前記撮影対象を検出する範囲の一部が重複するように設置される上部センサと、
前記入退場検出カメラにより撮影される２次元画像における前記撮影対象の位置座標と前記入退場検出領域の３次元座標情報とを基に前記撮影対象の初期位置の推定を行う初期位置推定部と、
前記入退場検出上部センサ又は前記上部センサで検出された画像を基に前記撮影対象の上方から見た前記撮影対象の位置を検出する上部位置検出部と、
前記撮影対象の初期位置に対応する前記撮影対象の位置を初期動線の起点とし、前記撮影対象の位置のうち前記起点に最も距離が近い位置と前記起点とを結んで初期動線を生成する初期動線生成部と、
前記初期動線に前記撮影対象の位置を追記し、動線を生成する追跡部と
を備える撮影対象追跡装置。
【請求項２】
前記初期動線生成部が生成する前記初期動線を記憶し、前記初期動線を前記追跡部へ出力すると共に、前記追跡部が生成する前記動線を記憶する動線記憶部をさらに備える
請求項１に記載の撮影対象追跡装置。
【請求項３】
前記動線記憶部は、前記動線の開始位置を示す情報、前記動線に対応する前記撮影対象のＩＤの情報、前記動線が持つ位置座標の数の情報、及び前記動線に前記撮影対象の位置が追加された最終時刻の情報を記録する
請求項２に記載の撮影対象追跡装置。
【請求項４】
前記入退場検出上部センサ及び前記上部センサが可視光カメラである
請求項１から３のいずれか１項に記載の撮影対象追跡装置。
【請求項５】
前記入退場検出上部センサ及び前記上部センサが赤外線画像カメラである
請求項１から３のいずれか１項に記載の撮影対象追跡装置。
【請求項６】
前記入退場検出上部センサ及び前記上部センサがＴｏＦカメラである
請求項１から３のいずれか１項に記載の撮影対象追跡装置。
【請求項７】
撮影対象が出入りをする入退場検出領域を撮影するステップと、
前記撮影対象の上方から前記撮影対象を検出するステップと、
前記入退場検出領域を撮影するステップにより撮影された２次元画像における前記撮影対象の位置座標と前記入退場検出領域の３次元座標情報とを基に前記撮影対象の初期位置の推定を行うステップと、
前記撮影対象を検出するステップにおいて検出された画像を基に前記撮影対象の上方から見た前記撮影対象の位置を検出するステップと、
前記撮影対象の初期位置に対応する前記撮影対象の位置を初期動線の起点とし、前記撮影対象の位置のうち前記起点に最も距離が近い位置と前記起点とを結んで初期動線を生成するステップと、
前記初期動線に前記撮影対象の位置を追記するステップと
を備える撮影対象追跡方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
この発明は、撮影対象が出入りをする入退場検出領域を撮影する入退場検出カメラと、撮影対象を上方から検出するように設置され、入退場検出カメラが撮影する撮影対象を検出する入退場検出上部センサと、撮影対象を上方から検出するように設置され、入退場検出上部センサが撮影対象を検出する範囲に対して撮影対象を検出する範囲の一部が重複するように設置される上部センサと、入退場検出カメラにより撮影される２次元画像における撮影対象の位置座標と入退場検出領域の３次元座標情報とを基に撮影対象の初期位置の推定を行う初期位置推定部と、入退場検出上部カメラ又は上部センサで検出された画像を基に撮影対象の上方から見た撮影対象の位置を検出する上部位置検出部と、撮影対象の初期位置に対応する撮影対象の位置を初期動線の起点とし、撮影対象の位置のうち起点に最も距離が近い位置と起点とを結んで初期動線を生成する初期動線生成部と、初期動線に撮影対象の位置を追記し、動線を生成する追跡部とを備えるものである。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
次にステップＳ２２００において、追跡部９００は上部位置検出部６００が検出した映像中の２次元画像における頭部位置座標（ｕ，ｖ）を基に、ステップＳ１３００と同様、式（１）（２）と、既に得られたＮ個のｚ座標とを用いてＮ個の（ｘ，ｙ，ｚ）座標の組を算出する。個々のｚ座標から（ｘ，ｙ，ｚ）の３次元座標を算出する方法は、上部カメラ３００が透視投影モデルに従う撮像を行う場合には、ステップＳ１３００と同一の方法を用いることができる。なお、上部カメラ３００のパラメータについても入退場検出上部カメラ２００のパラメータと同様である。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
次にステップＳ２３００において、事前位置座標との差が最小の候補を選定する。つまり、Ｎ個の算出された（ｘ，ｙ，ｚ）座標の各々に対して、動線記憶部９５０から取得した元の３次元座標とユークリッド距離とを計算し、最も距離が小さくなるペアを抽出する。次にステップＳ２４００において、動線情報へ追記する。つまり、抽出されたペアにおいて、算出された側の（ｘ，ｙ，ｚ）座標を更新後の３次元座標とし、動線記憶部９５０から抽出された元の動線情報に対して検出時間情報とともに追記する。次にステップＳ２５００において、動線記憶部９５０へ記憶させる。つまり、動線記憶部９５０に再度記憶させる。
【国際調査報告】
2019044038.tif 000014
2019044038.tif 000015
2019044038.tif 000016
2019044038.tif 000017