(57)【要約】【課題】奥行カメラと各オブジェクトとの相対的な位置関係にかかわらず各オブジェクトをオクルージョンにかかわらず精度良く追跡する。【解決手段】透視投影部４０は、カメラビューでのデプス画像DCを、トップビューでの仮想デプス画像DTに射影変換し、さらに左サイドビューでの仮想デプス画像DLおよび右サイドビューでの仮想デプス画像DRに射影変換する。ID割当実行部５０は、カメラビューでのデプス画像DCに基づいてオブジェクト同士のオクルージョンが検知されると、その観察エリアのトップビュー，左サイドビューおよび右サイドビューでの各仮想デプス画像DT，DL，DRに基づいてビューごとにオブジェクトを検知する。前回フレーム(f-1)と今回フレーム(f)との間で各オブジェクトの同一性は、その位置およびデブス分布に基づいて判断され、最尤のオブジェクト同士に同一IDを付することで各オブジェクトの追跡が継続される。【選択図】図２
2018073044.tif 000002
【特許請求の範囲】
【請求項１】
オブジェクトをその奥行映像に基づいて追跡するオブジェクト追跡装置において、
オブジェクトを含む観察エリアを撮影してカメラビューの奥行映像を取得する奥行カメラと、
前記奥行映像から各ピクセルがデプス値を有するデプス画像をフレーム単位で取得する手段と、
前記カメラビューのデプス画像に基づいてオブジェクト同士のオクルージョンを検知する手段と、
前記カメラビューのデプス画像に基づいて、当該カメラビューとは異なる複数の相互に異なる仮想ビューでの仮想デプス画像をそれぞれ算出する手段と、
オブジェクト同士のオクルージョンが検知されると、前記デプス画像および各仮想デプス画像に基づいて各オブジェクトを識別する手段と、
前記識別結果に基づいて各オブジェクトを追跡する手段と、
前記追跡の結果を表示する手段とを具備したことを特徴とするオブジェクト追跡装置。
【請求項２】
前記仮想デプス画像をそれぞれ算出する手段は、前記カメラビューのデプス画像を射影変換して各仮想ビューの仮想デプス画像を算出することを特徴とする請求項１に記載のオブジェクト追跡装置。
【請求項３】
前記仮想デプス画像をそれぞれ算出する手段は、前記カメラビューのデプス画像に基づいて、前記観察エリアのトップビュー、左サイドビューおよび右サイドビューの各仮想デプス画像を算出することを特徴とする請求項１または２に記載のオブジェクト追跡装置。
【請求項４】
前記各オブジェクトを識別する手段は、
前記デプス画像および各仮想デプス画像に基づいて、各ビューでの各オブジェクトの位置およびデプス分布をフレーム単位で検知する手段と、
前回フレームで検知されたオブジェクトごとに、今回フレームで検知された各オブジェクトとのペア間の類似度パラメータを、当該オブジェクトペアの距離およびデプス分布の差分に基づいて計算する手段とを具備し、
前記各オブジェクトを追跡する手段は、前記類似度パラメータに基づいて、最尤のオブジェクトペアに同一IDを割り当てることを特徴とする請求項１ないし３のいずれかに記載のオブジェクト追跡装置。
【請求項５】
複数の奥行カメラを備え、
各奥行カメラの観察エリアごとに予め設定されたマーカに基づいて、各奥行カメラにより得られた追跡の結果を同一の座標系上へ投影する手段をさらに具備し、
前記追跡の結果を表示する手段は、前記同一の座標系上に投影された追跡の結果を表示することを特徴とする請求項１ないし４のいずれかに記載のオブジェクト追跡装置。
【請求項６】
オブジェクトをその奥行映像に基づいて追跡するオブジェクト追跡方法において、
オブジェクトを含む観察エリアを撮影してカメラビューの奥行映像を取得し、
前記奥行映像から各ピクセルがデプス値を有するデプス画像をフレーム単位で取得し、
前記カメラビューのデプス画像に基づいてオブジェクト同士のオクルージョンを検知し、
オブジェクト同士のオクルージョンが検知されると、前記カメラビューのデプス画像に基づいて、当該カメラビューとは異なる複数の相互に異なる仮想ビューでの仮想デプス画像をそれぞれ算出し、
前記デプス画像および各仮想デプス画像に基づいて各オブジェクトを識別し、
前記識別結果に基づいて各オブジェクトを追跡し、
前記追跡の結果を表示することを特徴とするオブジェクト追跡方法。
【請求項７】
前記カメラビューのデプス画像を射影変換して各仮想ビューの仮想デプス画像を算出することを特徴とする請求項６に記載のオブジェクト追跡方法。
【請求項８】
前記カメラビューのデプス画像に基づいて、前記観察エリアのトップビュー、左サイドビューおよび右サイドビューの各仮想デプス画像を算出することを特徴とする請求項６または７に記載のオブジェクト追跡方法。
【請求項９】
前記各オブジェクトを識別する際は、
前記デプス画像および各仮想デプス画像に基づいて、各ビューでの各オブジェクトの位置およびデプス分布をフレーム単位で検知し、
前回フレームで検知されたオブジェクトごとに、今回フレームで検知された各オブジェクトとのペア間の類似度パラメータを、当該オブジェクトペアの距離およびデプス分布の差分に基づいて計算し、
前記類似度パラメータに基づいて、最尤のオブジェクトペアに同一IDを割り当てることを特徴とする請求項６ないし８のいずれかに記載のオブジェクト追跡方法。
【請求項１０】
複数の奥行カメラを備え、
各奥行カメラの観察エリアごとに予め設定されたマーカに基づいて、各奥行カメラにより得られた追跡の結果を同一の座標系上へ投影して表示することを特徴とする請求項６ないし９のいずれかに記載のオブジェクト追跡方法。
【請求項１１】
請求項６ないし１０のいずれかに記載のオブジェクト追跡方法をコンピュータに実行させるオブジェクト追跡プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、奥行映像上でオブジェクトを追跡するオブジェクト追跡装置、方法およびプログラムに係り、特に、オクルージョンにかかわらず頑健かつ高精度のオブジェクト追跡を可能にするオブジェクト追跡装置、方法およびプログラムに関する。
【背景技術】
【０００２】
監視カメラ映像や、スポーツ映像を対象としたオブジェクト追跡に関する手法がこれまでに数多く提案されている。これらのほとんどは、一定の撮影条件が満たされることを前提に、映像のカラー情報に基づく追跡を行っている。
【０００３】
一方、防犯やマーケティングの用途において、監視カメラ映像を用いた人物検出・追跡に関する需要が急速に高まっているが、解像度不足や照明条件の観点からカラー情報の利用が困難なケースが少なくない。また、プライバシーの観点から、人物を特定できてしまうカラー情報の利用が制限されており、代わりに人物を特定できない奥行映像のみからオブジェクト追跡を行う技術に対する期待が高まっている。
【０００４】
特許文献１には、奥行映像のフレーム間で各オブジェクトの位置、サイズおよび動きベクトルを比較し、オクルージョンの発生前後における各オブジェクトの位置、サイズおよび動きベクトルに基づいて各オブジェクトに同一IDを割り当てる技術が開示されている。
【０００５】
特許文献２には、奥行映像上で検知したオブジェクトの左右の各輪郭に沿ったオブジェクト曲線をそれぞれ抽出し、オクルージョンの発生前および解消後の各オブジェクトのオブジェクト曲線に基づいて各オブジェクトの対応関係を判定し、対応するオブジェクトに同一IDを割り当てる技術が開示されている。
【０００６】
特許文献３には、今回フレームで検知されたオブジェクトがオクルージョンにより生じた統合オブジェクトであると、この統合オブジェクトから前回フレームで検知されているオブジェクトに類似する部分を追跡対象のオブジェクトとして分割し、フレーム間で各オブジェクトをその類似度に基づいて追跡する技術が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特願2014-198941号
【特許文献２】特願2015-38594号
【特許文献３】特願2016-62076号
【非特許文献】
【０００８】
【非特許文献１】S. Thrun, and A. Bucken, "Integrating grid-based and topological maps for mobile robot navigation," Proceedings of the Thirteenth National Conference on Artificial Intelligence, pp944-950, 1996.
【非特許文献２】T. Bagautdinov, F. Fleuret, and P. Fua, "Probability Occupancy Maps for Occluded Depth Images," IEEE CVPR 2015.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上記の各先行技術は、奥行映像から得られるデプス情報に基づいて各オブジェクトを検知するので、奥行カメラとオブジェクトとの距離が大きく、デプス情報の信頼性が低いためにオブジェクトを正確に検知できないと、オブジェクトの追跡精度が低下してしまう。
【００１０】
また、上記の各先行技術では、各オブジェクトを奥行カメラのカメラビューで得られるデプス情報のみに基づいて検知するので、奥行カメラと各オブジェクトとの相対的な位置関係により、カメラビューでの識別が難しいオブジェクトについては追跡精度が低下してしまう。
【００１１】
本発明の目的は、上記の技術課題を解決し、奥行カメラと各オブジェクトとの相対的な位置関係にかかわらず、各オブジェクトをオクルージョンにかかわらず頑健かつ精度良く追跡できるオブジェクト追跡装置、方法およびプログラムを提供することにある。
【課題を解決するための手段】
【００１２】
上記の目的を達成するために、本発明は、オブジェクトをその奥行映像に基づいて追跡するオブジェクト追跡装置において以下のような構成を具備した点に特徴がある。
(1) オブジェクトを含む観察エリアを撮影してカメラビューの奥行映像を取得する奥行カメラと、奥行映像から各ピクセルがデプス値を有するデプス画像をフレーム単位で取得する手段と、カメラビューのデプス画像に基づいてオブジェクト同士のオクルージョンを検知する手段と、カメラビューのデプス画像に基づいて、当該カメラビューとは異なる複数の相互に異なる仮想ビューでの仮想デプス画像をそれぞれ算出する手段と、オブジェクト同士のオクルージョンが検知されると、デプス画像および各仮想デプス画像に基づいて各オブジェクトを識別する手段と、識別結果に基づいて各オブジェクトを追跡する手段と、追跡の結果を表示する手段とを具備した。
(2) カメラビューのデプス画像に基づいて、観察エリアのトップビュー、左サイドビューおよび右サイドビューの各仮想デプス画像を算出するようにした。
(3) 複数の奥行カメラを備え、各奥行カメラの観察エリアごとに予め設定されたマーカに基づいて、各奥行カメラにより得られた追跡の結果を同一の座標系上へ投影する手段をさらに具備し、追跡の結果を表示する手段は、同一の座標系上に投影された追跡の結果を表示するようにした。
【発明の効果】
【００１３】
本発明によれば、以下のような効果が達成される。
【００１４】
(1) カメラビューの奥行映像に基づくデプス画像に基づいて、カメラビュー以外の複数の仮想ビュー（例えば、トップビュー、左右の各サイドビュー）の仮想デプス画像を生成し、デプス画像および各仮想デプス画像に基づいて各オブジェクトを検知、識別するので、奥行カメラと各オブジェクトとの相対的な位置関係にかかわらず、各オブジェクトをオクルージョンにかかわらず精度良く追跡できるようになる。
【００１５】
(2) 各仮想ビューにおける前回フレームの各オブジェクトと今回フレームの各オブジェクトとの対応付けが、フレーム間での各オブジェクトの位置のみならず、各オブジェクトのデプス分布に基づいて行われるので、フレーム間での移動量が多いオブジェクトも精度よく追跡できるようになる。
【００１６】
(3) オブジェクトの観察エリアが広いために複数の奥行カメラで各オブジェクトを追跡する場合も、各奥行カメラの観察エリアが、予め各観察エリアに設定されたオーバラップマーカに基づいて統合されるので、オブジェクトが観察エリアを跨いで移動する場合も精度よく追跡できるようになる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態に係るオブジェクト追跡装置が設置される環境の一例を模式的に示した図である。
【図２】オブジェクト追跡装置の主要部の構成を示した機能ブロック図である。
【図３】デプス画像の例を示した図である。
【図４】オブジェクトの輪郭に外接する矩形領域の例を示した図である。
【図５】オブジェクトの矩形領域の重畳面積の割合に基づいてオクルージョンの発生を判定する方法を模式的に示した図である。
【図６】トップビューでの仮想デプス画像DT，左サイドビューでの仮想デプス画像DLおよび右サイドビューでの仮想デプス画像DRの例を示した図である。
【図７】カメラビューの一例を示した図である。
【図８】トップビューの一例を示した図である。
【図９】左サイドビューの一例を示した図である。
【図１０】右サイドビューの一例を示した図である。
【図１１】オブジェクトの移動軌跡の表示例を示した図である。
【図１２】本発明の一実施形態に係るオブジェクトの追跡方法および追跡プログラムの動作を示したフローチャートである。
【図１３】２つの観察エリアQ1，Q2の統合例を示した図である。
【図１４】３つの観察エリアQ1，Q2，Q3の統合例を示した図である。
【図１５】４つの観察エリアQ1，Q2，Q3，Q4の統合例を示した図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図1は、本発明の一実施形態に係るオブジェクト追跡装置が設置される環境の一例を模式的に示した図であり、ここでは２台の奥行カメラcam（cam1，cam2）を設置する場合を例にして説明する。
【００１９】
第１奥行カメラcam1は、第1観察エリアQ1内のオブジェクトObjを撮影し、そのカメラビューでの奥行映像を取得する。第２奥行カメラcam2は、第２観察エリアQ2内のオブジェクトObjを撮影し、そのカメラビューでの奥行映像を取得する。各観察エリアQ1，Q2は矩形であり、それぞれの４隅には、後述する透視投影用のマーカm11〜m14，m21〜m24が予め設定されている。
【００２０】
第１および第２観察エリアQ1，Q2は、その一辺を共有するように隣接配置される。当該一辺の一端および他端の各マーカm13，m23およびm14，m24は共通であり、前記一辺はオーバラップマーカmoverとして利用される。当該オーバラップマーカmoverは、オブジェクトObjが第１観察エリアQ1および第２観察エリアQ2の一方から他方に移動した場合でもオブジェクトObjを見失うことなく追跡を継続できるように、各観察エリアQ1，Q2を統合するために参照される。
【００２１】
図２は、前記奥行カメラcam1，cam2が撮影した奥行映像に基づいてオブジェクトを追跡するオブジェクト追跡装置の主要部の構成を示した機能ブロック図であり、ここでは、本発明の説明に不要な構成は図示が省略されている。本実施形態では、２台の奥行カメラcam1，cam2が独立してオブジェクト追跡を実行するが、その追跡メカニズムは同一なので、ここでは一方の奥行カメラcamに注目して説明する。
【００２２】
オブジェクト検知部１０は、図３に示したように、奥行映像から各ピクセルがデプス値を有するデプス画像をフレーム単位で取得し、当該デプス画像上でオブジェクトを検知する。本実施形態では、オブジェクトが存在しない環境下で撮影した背景画像を蓄積しておき、デプス画像と背景画像との差分が所定の閾値以上となる閉領域に基づいてオブジェクトが検知される。
【００２３】
矩形領域設定部２０は、図４に一例を示したように、各オブジェクトに対して、その輪郭に外接する矩形領域Kを設定する。オクルージョン判定部３０は重畳面積計算部３１を含み、各オブジェクトの矩形領域Kが重なる重畳範囲の面積の割合に基づいてオクルージョンの有無を判定する。
【００２４】
図５は、各オブジェクトの矩形領域Kの重畳面積の割合に基づいてオクルージョンの発生を判定する方法を模式的に示した図である。
【００２５】
本実施形態では、前回フレーム(f-1)で検知されたオブジェクトの矩形領域と今回フレーム(f)で検知されたオブジェクトの矩形領域との重なりが判断される。その結果、同図(a)に示したように、前回フレームで検知されたオブジェクトObjaf-1，Objbf-1の各矩形領域Ka，Kbと、今回フレームで検知されたオブジェクトObjcfの矩形領域Kcとの重畳範囲の面積の割合がいずれも５０パーセント以上であれば、オブジェクトObjcfは２つのオブジェクトObjaf-1，Objbf-1のオクルージョンにより生じた統合オブジェクトであると判断される。
【００２６】
これに対して、同図(b)に示したように、前回フレームで検知されたオブジェクトObjaf-1，Objbf-1の各矩形領域Ka，Kbと今回フレームで検知されたオブジェクトObjcfの矩形領域Kcとの重畳が検知されても、重畳範囲の面積の割合が５０パーセント以上の組み合わせが一つのみ（ここでは、オブジェクトObjaf-1，Objdfの組み合わせのみ）であればオクルージョン状態とは判定されない。
【００２７】
また、同図(c)に示したように、前回フレームで検知されたオブジェクトObjaf-1の矩形領域Kaと今回フレームで検知されたオブジェクトObjffの矩形領域Kfとの重畳範囲の面積の割合が５０パーセント以上であっても、それが一つのみであればオクルージョン状態とは判定されない。
【００２８】
図２へ戻り、透視投影部４０は、図６に示したように、前記４つのマーカm11〜m22のカメラ座標系での位置ならびに奥行カメラcamの内部パラメータおよび外部パラメータに基づいて、前記カメラビューでのデプス画像DCを、トップビュー（上面視）での仮想的なデプス画像DTに射影変換し、さらに左サイドビュー（左側面視）での仮想的なデプス画像DLおよび右サイドビュー（右側面視）での仮想的なデプス画像DRに射影変換する。各デプス画像Dは各ピクセル位置のデプス値dの集合として次式(1)で表され、各デプス値dの添え字x，yは各ピクセルの座標位置を表している。
【００２９】
【数１】
2018073044.tif 000003
【００３０】
本実施形態では、前記観察エリアQに設定された４つのマーカm11〜m22に基づいて次式(2)の行列Aが与えられると、観察エリアQのトップビューを得るための次式(3)の行列A'に基づいて変換行列Mを計算する。
【００３１】
【数２】
2018073044.tif 000004
【００３２】
【数３】
2018073044.tif 000005
【００３３】
ここでは、計算を簡単化するためにx0'=x2'=y0'=y1'=0とし、また観察エリアを予め設定された矩形状とすることでx1'=x3'=y2'=y3'とする。その結果、行列A'は次式(4)で表される。ここでは、X'=Y'である。
【００３４】
【数４】
2018073044.tif 000006
【００３５】
行列A，A'間の透視マッピングは次式(5)の計算により実行される。
【００３６】
【数５】
2018073044.tif 000007
【００３７】
ここで、xi，yiおよびx'i，y'iは既知なので、行列係数cijはLU分解を解くことで計算できる。c22=１とすれば、変換行列Mは次式(6)で表される。
【００３８】
【数６】
2018073044.tif 000008
【００３９】
簡単のために、変換行列Mを用いて観察エリアの左サイドおよび右サイドからの透視ビューを、次式(7)，(8)の行列AL，ARをそれぞれ決定することで得る。
【００４０】
【数７】
2018073044.tif 000009
【００４１】
【数８】
2018073044.tif 000010
【００４２】
ID割当実行部５０は、統合オブジェクト分割部５１，オブジェクト候補検知部５２，類似度パラメータ計算部５３およびオブジェクト対応付け部５４を含み、カメラビューでのデプス画像DCに基づいてオブジェクト同士のオクルージョンが検知されると、その観察エリアのトップビュー，左サイドビューおよび右サイドビューでの各仮想デプス画像DT，DL，DRに基づいて、ビューごとにオブジェクトを検知する。
【００４３】
そして、前回フレーム(f-1)と今回フレーム(f)との間で各オブジェクトの同一性が、その位置およびデブス分布に基づいて判断され、最尤のオブジェクト同士に同一IDを付することでオクルージョン中も各オブジェクトの追跡が継続される。
【００４４】
前記統合オブジェクト分割部５１は、オクルージョンにより複数のオブジェクトが統合したオブジェクト（統合オブジェクト）から、オクルージョン前の各オブジェクトとデプス値の分布が類似する各重畳範囲を追跡対象のオブジェクトとして分割する。
【００４５】
本実施形態では、n個のオブジェクトのオクルージョンにより生じた統合オブジェクトであれば、その領域内にデプス分布の異なるn個の領域が混在しているとの考察に基づいて、統合オブジェクトから各ピクセルのデプス値に基づいて複数の部分を分割して新たな追跡対象のオブジェクトとする。
【００４６】
ここでは初めに、前回フレームで検知されている統合前の各オブジェクトおよび今回フレームにおける重畳範囲に関して、次式(9)〜(12)で表されるデプスモデルxが生成される。ここで、変数aは統合前の各オブジェクトまたは重畳範囲に外接する矩形領域の幅wおよび高さhの関数であり、変数cは幅wおよび高さhの中心位置（座標）であり、変数dは各ピクセルのデプス値の関数である。
【００４７】
【数９】
2018073044.tif 000011
【００４８】
次いで、統合前の各オブジェクトのデプス分布と今回フレームにおける重畳範囲のデプス分布との類似性を判断するために、次式(13)のバッタチャリャ距離（Bhattacharyya distance：距離尺度）Bが計算される。
【００４９】
【数１０】
2018073044.tif 000012
【００５０】
ここで、σf，μfは今回フレームにおける重畳範囲のデプス値の分散および算術平均（中央値）であり、σf-1，μf-1は前回フレームで検知されたオブジェクトのデプス値の分散および算術平均（中央値）である。そして、今回フレームにおける各重畳範囲のうち、前回フレームで検知されている統合前の各オブジェクトとのバッタチャリャ距離Bの近い重畳範囲が統合オブジェクトから分割されて新たな追跡対象のオブジェクトとされる。
【００５１】
前記オブジェクト候補検知部５２は、各ビューの仮想デプス画像DT，DL，DRに基づいてオブジェクトを検知する。ここでは、ビューごとにそのデプス値をクラスタリングすることでオブジェクトが検知され、検知された各オブジェクトに外接する矩形領域が、それぞれオブジェクト候補領域とされる。
【００５２】
類似度パラメータ計算部５３は、前回フレームで検知されたオブジェクトごとに、今回フレームで検知された各オブジェクトとのペア（オブジェクトペア）の類似度パラメータを計算し、連続するフレーム間での各オブジェクトの同一性の指標とする。
【００５３】
図７ないし図１０は、前記類似度パラメータ計算部５３による類似度パラメータの計算方法を説明するための図であり、ここでは、２つのオブジェクトObj1，Obj2が奥行カメラcamに対して略平行に起立している場合を例にして説明する。
【００５４】
図７は、カメラビューの一例を示した図であり、本実施形態では、４つのマーカで囲まれた観察エリアQが、格子状に量子化されて予めN×N個のブロックに分割されている。このようなエリア分割は、非特許文献１，２に開示されたOccupancy Grid Mapの技術を利用して行うことができる。
【００５５】
本実施形態では、奥行カメラcamが地面から2.5mの高さの位置に配置され、フレームサイズがVGA解像度（640×480）であり、エリア分割は、例えばN=50として行われている。そして、オクルージョン中の２つのオブジェクトObj1，Obj2が位置している各ブロックが、オクルージョン中の各オブジェクトに占有されているブロック（占有ブロック）として認識される。
【００５６】
図８は、図７のカメラビューのデプス画像DCを射影変換して得られたトップビューでの仮想デプス画像DTに基づいて検知されたオブジェクトObj1，Obj2およびその位置を示した図であり、各オブジェクトObj1，Obj2の占有ブロックはハッチングで示されている。
【００５７】
図９は、図７のカメラビューのデプス画像DCを射影変換して得られた左サイドビューでの仮想デプス画像DLに基づいて検知されたオブジェクトおよびその位置を示した図であり、図１０は、図７のカメラビューのデブス情報DCを射影変換して得られた右サイドビューでの仮想デプス画像DRに基づいて検知されたオブジェクトおよびその位置を示した図である。
【００５８】
本実施形態では、以上のようにして仮想ビューごとにオブジェクト候補の位置およびそのデプス値が検知されると、前回フレーム(f-1)で検知されたオブジェクトObji（iはオブジェクト識別子）ごとに、今回フレーム(f)で検知された各オブジェクト候補Obj(i)との類似度パラメータΔ(π(i)f，πif-1)が、各オブジェクト間の距離およびデプス分布の差の総和として次式(14)により計算される。
【００５９】
【数１１】
2018073044.tif 000013
【００６０】
ここで、上式(14)の右辺第1項のB(pf，pf-1)は、今回フレーム(f)でのオブジェクトの位置と前回フレーム(f-1)でのオブジェクトの位置との距離であり、次式(15)で求められる。
【００６１】
【数１２】
2018073044.tif 000014
【００６２】
ここで、|pf，pf-1|は、今回フレームのオブジェクト候補Obj(i)の位置pfと前回フレームのオブジェクトObjiの位置pf-1とのユークリッド距離であり、例えば、各オブジェクトに外接するオブジェクト領域の重心位置間のユークリッド距離である。
【００６３】
そして、カメラビューにおいて、今回フレームでのオブジェクト候補Obj(i)の占有ブロックb(pf)と前回フレームでのオブジェクトObjiの占有ブロックb(pf-1)とが同一[b(pf)=b(pf-1)]であれば、距離B(pf，pf-1)は、カメラビューでのオブジェクトObji，Obj(i)間のユークリッド距離|pf，pf-1|に所定の係数αを乗じた値として求められる。
【００６４】
これに対して、カメラビューにおいて、今回フレームのオブジェクト候補Obj(i)の占有ブロックb(pf)と前回フレームのオブジェクトObjiの占有ブロックb(pf-1)とが同一でなければ[else]、距離B(pf，pf-1)は、各オブジェクトObji，Obj(i)のトップビューにおけるユークリッド距離|pf，pf-1|、左サイドビューにおけるユークリッド距離|pLf，pLf-1|および右サイドビューにおけるユークリッド距離|pRf，pRf-1|の総和に所定の係数αを乗じた値となる。
【００６５】
また、上式(14)の右辺第２項の各Γ(Df，Df-1)は、各ビューにおいて検知された今回フレームのオブジェクト候補Obj(i)のデプス分布と前回フレームのオブジェクトObjiのデブス分布との差であり、本実施形態では、バッタチャリ距離として次式(16)により求められる。
【００６６】
【数１３】
2018073044.tif 000015
【００６７】
ここでも、σf，μfは今回フレームにおける重畳範囲のデプス値の分散および算術平均（中央値）であり、σf-1，μf-1は前回フレームで検知されたオブジェクトのデプス値の分散および算術平均（中央値）である。そして、今回フレームにおけるオブジェクトのうち、前回フレームで検知されている統合前の各オブジェクトとのバッタチャリャ距離の近いオブジェクトが、当該統合前のオブジェクトと同一のオブジェクトとされる。
【００６８】
すなわち、Γ(DTf，DTf-1)は、トップビューにおいて検知された今回フレームでのオブジェクト候補Obj(i)のデプス分布と前回フレームでのオブジェクトObjiのデブス分布との距離である。同様に、Γ(DLf，DLf-1)は、左サイドビューにおいて検知された今回フレームでのオブジェクト候補Obj(i)のデプス分布と前回フレームでのオブジェクトObjiのデブス分布との距離である。同様に、Γ(DRf，DRf-1)は、右サイドビューにおいて検知された今回フレームでのオブジェクト候補Obj(i)のデプス分布と前回フレームでのオブジェクトObjiのデブス分布との距離である。
【００６９】
本実施形態では、オクルージョンが検知されると、前回フレーム(f-1)で検知された全てのオブジェクトごとに、今回フレーム(f)で検知された全てのオブジェクトとの全ての組み合わせに関して上記の計算が実行される。
【００７０】
オブジェクト対応付け部５３は、類似度パラメータが最小値を示すオブジェクト、すなわち次式(17)を満足するオブジェクト(i)に対して、前回フレームで当該オブジェクトに割り当てられたIDが付与される。
【００７１】
【数１４】
2018073044.tif 000016
【００７２】
このように、本実施形態では一のカメラビューに基づくデプス情報をトップビューおよび左右のサイドビューに射影変換することにより、オブジェクトを複数の異なる方向から見込んだデプス情報が得られるので、複数のオブジェクトがどのような位置関係でオクルージョン状態になっても、各オブジェクトを識別することができる。
【００７３】
図２へ戻り、動線表示部６０は、図１１に示したように、フレーム間で同一IDを割り当てられたオブジェクトを同一オブジェクトとみなして、各オブジェクトの移動軌跡をディスプレイ上に表示する。
【００７４】
本実施形態では、前記オーバラップマーカmoverに基づいて、前記２つの観察エリアQ1，Q2の2Dプレーンが統合される。そして、カメラcam1の追跡点およびカメラcam2の追跡点が前記統合プレーン上に投影され、オブジェクトごとに一つの動線（軌跡）として表示出力される。
【００７５】
図１２は、本発明の一実施形態に係るオブジェクトの追跡方法および追跡プログラムの動作を示したフローチャートであり、上記の各処理が各ステップで実行される。
【００７６】
ステップS１では、奥行カメラcamごとにピクセル単位でデプス値Dを有する奥行映像がフレーム単位で取り込まれる。ステップS２では、各フレーム画像と予め生成されている背景画像との差分データが2D座標系上に投影される。
【００７７】
ステップS３では、当該2D座標上でデプス値に基づくクラスタリングがピクセル単位で実行される。ステップS４では、前記クラスタリングの結果に基づいて、今回フレームの全てのオブジェクトが検知される。
【００７８】
ステップS５では、前回フレームで検知された各オブジェクトと今回フレームで検知された各オブジェクトとの類似度が総当たりで計算され、類似度のより高いオブジェクト同士が相互に対応付けられる。
【００７９】
ステップS６では、各オブジェクトに外接する矩形領域Kが設定され、各矩形領域同士の重畳範囲の面積の割合が算出される。ステップS７では、重畳面積の割合が所定の条件を満足するオブジェクト同士がオクルージョン関係にあると判定される。
【００８０】
このオクルージョン判定により、オクルージョン状態ではないと判定された今回フレームのオブジェクトに関してはステップS８へ進み、類似度が高かった前回フレームのオブジェクトのIDが付与される。これに対して、オクルージョン状態であると判定されたオブジェクト（統合オブジェクト）に関してはステップS９へ進み、統合オブジェクトが各ピクセルのデプス値に基づいて分割される。
【００８１】
ステップＳ１０では、カメラビューでのデプス情報DCを射影変換することでトップビューでの仮想デプス情報DT、左サイドビューでの仮想デプス情報DLおよび右サイドビューでの仮想デプス情報DRが生成される。
【００８２】
ステップＳ１１では、各ビューのデプス情報に基づいてオブジェクトが検知される。ここでも、各オブジェクトはビューごとにそのデプス値をクラスタリングすることで検知され、各オブジェクトに外接する矩形領域がオブジェクト候補領域とされる。
【００８３】
ステップＳ１２では、前回フレームで検知されたオブジェクトごとに、今回フレームで検知された全てのオブジェクトとの類似度パラメータが、上式(14)，(15)，(16)に基づいて計算される。ステップＳ１３では、上式(17)を満足する今回のオブジェクト、すなわち類似度パラメータが最小のオブジェクトに対して同一のIDが付与される。
【００８４】
ステップＳ１４では、前記オーバラップマーカmoverに基づいて、前記２つの観察エリアQ1，Q2が同一の座標系上に統合される。ステップＳ１５では、図１３に示したように、カメラcam1の追跡点およびカメラcam2の追跡点が前記統合された座標系上に投影され、オブジェクトごとに一つの動線（軌跡）として表示出力される。
【００８５】
本実施形態によれば、カメラビューのデプス画像に基づいてトップビューおよび左右の各サイドビューの仮想デプス画像を生成し、デプス画像および各仮想デプス画像に基づいて各オブジェクトを検知、識別するので、奥行カメラと各オブジェクトとの相対的な位置関係にかかわらず、各オブジェクトをオクルージョンの前後で精度良く追跡できるようになる。
【００８６】
また、本実施形態によれば、各仮想ビューにおける前回フレームの各オブジェクトと今回フレームの各オブジェクトとの対応付けが、フレーム間での各オブジェクトの位置および各オブジェクトのデプス分布に基づいて行われるので、フレーム間での移動量が多いオブジェクトも精度よく追跡できるようになる。
【００８７】
さらに、本実施形態によれば、オブジェクトの観察エリアが広いために複数の奥行カメラで各オブジェクトを追跡する場合も、各奥行カメラの観察エリアが、予め各観察エリアに設定されたオーバラップマーカmoverに基づいて統合されるので、オブジェクトが観察エリアを跨いで移動する場合も精度よく追跡できるようになる。
【００８８】
なお、上記の実施形態では２つの矩形の観察エリアQ1，Q2が、その一辺を共有するように統合される場合を例にして説明したが、本発明はこれのみに限定されるものではなく、図１４に示したように、３つの観察エリアQ1，Q2，Q3がオ−バラッップマーカmoverにより統合されるようにしても良い。あるいは図１５に示したように、４つの観察エリアQ1，Q2，Q3，Q4ないしはそれ以上の観察エリアがオ−バラッップマーカmoverにより統合されるようにしても良い。
【００８９】
さらに、上記の実施形態では、カメラビューのデプス情報に基づいて、トップビューの仮想デプス情報DT、左サイドビューの仮想デプス情報DLおよび右サイドビューの仮想デプス情報DRの３つの仮想ビューのデプス情報を取得するものとして説明したが、本発明はこれのみに限定されるものではなく、カメラビュー以外に、少なくとも２つの仮想ビューについて仮想デプス情報を取得し、ビューごとに各オクルージョンを識別するようにしても良い。
【符号の説明】
【００９０】
１０…オブジェクト検知部，２０…矩形領域設定部，３０…オクルージョン判定部，３１…重畳面積計算部，４０…透視投影部，５０…ID割当実行部，５１…統合オブジェクト分割部，５２…オブジェクト候補検知部，５３…類似度パラメータ計算部，５４…オブジェクト対応付け部，６０…動線表示部
【図１】
2018073044.tif 000017
【図２】
2018073044.tif 000018
【図３】
2018073044.tif 000019
【図４】
2018073044.tif 000020
【図５】
2018073044.tif 000021
【図６】
2018073044.tif 000022
【図７】
2018073044.tif 000023
【図８】
2018073044.tif 000024
【図９】
2018073044.tif 000025
【図１０】
2018073044.tif 000026
【図１１】
2018073044.tif 000027
【図１２】
2018073044.tif 000028
【図１３】
2018073044.tif 000029
【図１４】
2018073044.tif 000030
【図１５】
2018073044.tif 000031